謝旖欣,李子川,李飛宇

(湖南省疾病預(yù)防控制中心,長沙 410005)

湖南省疾控中心機房,除負責(zé)本單位內(nèi)部網(wǎng)絡(luò)和應(yīng)用系統(tǒng)外,還部署了全省疾控三級平臺和全省免疫規(guī)劃系統(tǒng)的軟、硬件系統(tǒng),承擔(dān)國家、省級、市級、縣級四級疾控中心及全省各類疾控業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)連通、業(yè)務(wù)紐帶和安全守護職能.湖南省疾控數(shù)據(jù)中心自建成以來一直在不斷優(yōu)化管理和監(jiān)控,但軟、硬件設(shè)備仍然比較欠缺,再加上機房建成時部署的酷點網(wǎng)絡(luò)監(jiān)控軟件license 已經(jīng)過期,原運維公司倒閉,繼續(xù)使用和運維成本較高,重新招標(biāo)商業(yè)網(wǎng)管軟件時間成本也比較高,在短時間內(nèi)只能先考慮開源軟件,盡快部署實施.

為實現(xiàn)業(yè)務(wù)信息系統(tǒng)數(shù)據(jù)的自動備份、保存和還原,于2017年,數(shù)據(jù)中心采購部署了HP DP 軟件.經(jīng)過一段時間的使用后發(fā)現(xiàn)軟件報警信息都只能顯示在軟件內(nèi)部日志中,延誤發(fā)現(xiàn)故障時機,多次造成了更廣泛的系統(tǒng)癱瘓和業(yè)務(wù)中斷.雖然軟件自帶有報告和通知報警功能,但HP DP 部署在內(nèi)網(wǎng),無法向外界發(fā)送報警.出于投入產(chǎn)出比的考慮,湖南省疾控數(shù)據(jù)中心暫時還沒有配備短信網(wǎng)關(guān)、私有郵件服務(wù)器,HP DP 無法通過短信網(wǎng)關(guān)和私有郵件服務(wù)器直接發(fā)送報警.為了提前發(fā)現(xiàn)并解決故障,筆者考慮使用網(wǎng)絡(luò)監(jiān)控軟件接收SNMP,然后轉(zhuǎn)發(fā)報警信息,研究低成本下如何實現(xiàn)故障報告向系統(tǒng)外實時報警功能,最后結(jié)合OpenNMS很好的解決了這一問題.

1 開源軟件選型和OpenNMS 概述

在網(wǎng)絡(luò)監(jiān)控軟件領(lǐng)域,以往都是商業(yè)軟件的天下,主要有BMC Patrol、CA Unicenter、HP View 或IBM Tivoli,這些軟件動輒花費百萬美元級的開銷,而很多小型公司和IT 部門根本無力承擔(dān).而開源網(wǎng)管軟件不僅具有價格優(yōu)勢,其定制靈活,功能多樣,大多有活躍的開源社區(qū)作為技術(shù)支持,并且很多開源軟件都有官方的商業(yè)技術(shù)支持,各大客戶反響良好[1].在開源運動的驅(qū)動下,網(wǎng)絡(luò)管理軟件市場涌現(xiàn)了很多優(yōu)秀的開源軟件.

最常用的開源網(wǎng)絡(luò)管理軟件有例如:Nagios、Hyperic HQ、Zabbix、Cacti、OpenNMS、Zenoss 等.

選擇哪一種開源軟件需要根據(jù)自身的需求和條件進行選擇,而且選擇了一種開源軟件也就選擇了一種架構(gòu),所以架構(gòu)的選擇也要結(jié)合數(shù)據(jù)中心工程們的開發(fā)運維能力,為后期二次開發(fā)做準(zhǔn)備.

根據(jù)前期對各種論文和網(wǎng)絡(luò)資料的分析,OpenNMS在License 限制、市場占用率、功能、二次開發(fā)等方面都具有比較明顯的優(yōu)勢.市場占有率方面,Nagios和opennms 應(yīng)用的比較廣,也意味著更多的資料可以獲取,更多的經(jīng)驗可以借鑒.但是Nagios 沒有配置界面,配置需要直接修改配置文件.OpenNMS 是基于java 的,Web 管理界面是基于JSP/Servlet,Spring MVC,二次開發(fā)門檻低.OpenNMS 為世界第一款企業(yè)級開源的基于開源協(xié)議開發(fā)的網(wǎng)絡(luò)管理軟件,能監(jiān)控分布式的異構(gòu)系統(tǒng)和網(wǎng)絡(luò)設(shè)備的運行狀態(tài),支持SNMP 網(wǎng)絡(luò)管理協(xié)議,確保管理的擴展性,功能全面,并且提供非常靈活的定制功能,從而有利于管理范圍的伸縮[2-8].而且OpenNMS 在其他數(shù)據(jù)中心也有過較成功的應(yīng)用先例[7].各軟件都能實現(xiàn)網(wǎng)絡(luò)管理的基本功能,表1只列出了各軟件有差異的幾項功能參數(shù),功能均相同的未列出.表2列出了綜合評分比較情況.

表1 各軟件功能主要差異項對比

表2 各軟件綜合對比小結(jié)

OpenNMS 的體系架構(gòu)一共分為4 層,分別為被管理層,監(jiān)控引擎處理層,數(shù)據(jù)存儲層,圖形界面用戶層.被管理層分為3 種類型:一種是被管理設(shè)備；一種是被管理服務(wù),各服務(wù)如HTTP,TCP,ICMP 等可被隨時監(jiān)控服務(wù)是否正常運行；一種是數(shù)據(jù)庫,管理端通過實時監(jiān)控數(shù)據(jù)庫的活動以及對數(shù)據(jù)庫的通信內(nèi)容進行判別、分析和判斷,若有異常及時報警并顯示報警原因.監(jiān)控引擎處理層通過定時輪詢設(shè)備及服務(wù),采集數(shù)據(jù)信息,實時更新數(shù)據(jù)庫來及時對底層數(shù)據(jù)進行更新和監(jiān)控,一旦發(fā)現(xiàn)異常,執(zhí)行報警行為.數(shù)據(jù)存儲層為OpenNMS 存儲設(shè)備信息和參數(shù)信息的地方,采用的數(shù)據(jù)庫為PostgreSQL 和RRD.用戶圖形界面層,用簡潔易操作的圖形界面給用戶提供一個使用平臺.如圖1所示是OpenNMS 的架構(gòu)圖[8].

圖1 OpenNMS 架構(gòu)圖

2 網(wǎng)絡(luò)監(jiān)控及實時報警實現(xiàn)思路

在數(shù)據(jù)中心的現(xiàn)實條件下,沒有私有郵件服務(wù)器和短信網(wǎng)關(guān)向外網(wǎng)及時報警,一種簡單的解決方案是增加私有郵件服務(wù)器或短信網(wǎng)關(guān).但是如果由應(yīng)用直接向外網(wǎng)報警,無法全局總覽運行和報警情況,最好是各應(yīng)用向網(wǎng)絡(luò)管理軟件發(fā)送報警信息,由網(wǎng)絡(luò)管理軟件統(tǒng)一存儲、轉(zhuǎn)發(fā)報警信息,這樣既能及時向外報警,又能集中將所有的報警信息都分類歸檔存儲,便于監(jiān)控和后期分析.所以我們采用的方式是搭建部署OpenNMS,OpenNMS 既可以主動監(jiān)測各節(jié)點故障和性能,又可以接收各應(yīng)用主動通過SNMP 發(fā)送的報警信息.

OpenNMS 官方文檔建議在linux 環(huán)境下開發(fā)、部署、使用,社區(qū)和大部分網(wǎng)絡(luò)資料也都是介紹在linux 環(huán)境下部署使用的,一般來說在linux 環(huán)境下部署能得到更好的技術(shù)支持.另外依據(jù)官方說明,OpenNMS 自1.3.8 版本后,已經(jīng)支持在windows 平臺下運行.windows 環(huán)境下的安裝和運維都更方便快捷,為了更快的部署實驗評估效果,數(shù)據(jù)中心首先選擇在windows server 2008 操作系統(tǒng)下部署OpenNMS,待實驗和運行評估效果后再考慮是否遷移到linux 環(huán)境.

網(wǎng)上有OpenNMS 在windows 環(huán)境下的安裝包,安裝包下載地址:https://sourceforge.net/projects/opennmszh/files/en/,安裝環(huán)境支持當(dāng)前主流Windows 操作系統(tǒng),支持64 位操作系統(tǒng).

筆者用OpenNMS 實現(xiàn)了以下功能:

(1) 網(wǎng)絡(luò)節(jié)點自動發(fā)現(xiàn)和集中管理.通過OpenNMS 對設(shè)備進行集中管理,如添加或刪除設(shè)備及服務(wù).

(2) 圖形用戶管理界面.

(3) 實時監(jiān)控.對設(shè)備的運行狀態(tài)進行實時監(jiān)控,采集設(shè)備的性能值,存儲到數(shù)據(jù)庫.OpenNMS 可以管理的對象包括:1)支持SNMP 網(wǎng)管的網(wǎng)絡(luò)設(shè)備；2)部署了SNMP 服務(wù)的服務(wù)器上的操作系統(tǒng).

(4) 故障事件管理.IT 運維管理人員所關(guān)注的問題,如系統(tǒng)資源出現(xiàn)短缺、數(shù)據(jù)庫連接失敗、網(wǎng)絡(luò)通信中斷、主機文件系統(tǒng)溢出等都會以事件的形式表現(xiàn)出來.

(5) 故障報警.當(dāng)監(jiān)測到設(shè)備有異常時,系統(tǒng)發(fā)送報警信息,通知給管理員.

(6) 操作系統(tǒng)監(jiān)控.

(7) 網(wǎng)絡(luò)節(jié)點配置信息管理.對設(shè)備進行配置,包括監(jiān)控配置和參數(shù)配置；對系統(tǒng)進行管理配置,包括數(shù)據(jù)采集、輪詢、報警的具體方式等.被監(jiān)控對象節(jié)點在數(shù)據(jù)庫中的配置信息也是IT 設(shè)備的資產(chǎn)信息,每個網(wǎng)絡(luò)節(jié)點都是一個特定的IT 資產(chǎn)設(shè)備.

3 HP DP 通過SNMP Trap 發(fā)送報告和通知

HP Data Protector 是惠普公司推出的一款為快速增長的業(yè)務(wù)數(shù)據(jù)提供可靠的數(shù)據(jù)保護和高度可訪問性的備份解決方案.

HP Data Protector 是完全的Client/Server 結(jié)構(gòu).它把整個備份環(huán)境分成多個獨立的邏輯單元,如下圖所示,多個邏輯單元可組合成有機整體,并服從中心節(jié)點的管理.邏輯單元主要包括備份客戶機(Backup Agent)或應(yīng)用客戶機(Application Agent),設(shè)備服務(wù)器(Media Agent,MA),備份服務(wù)器(Cell Manager,CM),用戶管理終端.備份客戶機和應(yīng)用客戶機可以統(tǒng)一歸類為數(shù)據(jù)客戶(Disk Agent,DA).備份服務(wù)器安裝并運行HP DP 軟件,擁有一個存儲各種備份信息的內(nèi)部數(shù)據(jù)庫(Internal Database,IDB).圖2展示了數(shù)據(jù)中心HP DP 備份環(huán)境[9].

圖2 數(shù)據(jù)中心HP DP 備份環(huán)境

HP DP 的報告模塊提供有關(guān)備份環(huán)境的各種信息.例如,可以檢查上一次備份、對象復(fù)制、對象合并或?qū)ο篁炞C的狀態(tài),檢查網(wǎng)絡(luò)中的哪些系統(tǒng)沒有針對備份進行過配置,檢查介質(zhì)池中介質(zhì)的使用量,檢查設(shè)備的狀態(tài)等.

HP DP 的通知模塊可在發(fā)生特定事件時從CM 發(fā)送通知.例如,備份、對象復(fù)制、對象合并或?qū)ο篁炞C會話完成后,可以發(fā)送含有會話狀態(tài)的電子郵件.

報告發(fā)送方法包括:廣播消息發(fā)送、電子郵件發(fā)送、SMTP 發(fā)送、外部發(fā)送、記錄到文件發(fā)送、SNMP 發(fā)送,通知發(fā)送方法比報告發(fā)送方法多了兩個方法:DP 事件日志方法、使用報告組發(fā)送方法.

通過SNMP 發(fā)送方法,可在發(fā)生指定事件時由CM 發(fā)送含有報告或通知輸出的SNMP Trap.該SNMP Trap 可由應(yīng)用程序使用各種SNMP Trap 進一步處理.

數(shù)據(jù)中心的CM 運行在HP-UX 系統(tǒng)中,通過配置/etc/snmpd.conf 文件設(shè)置SNMP Trap 社區(qū)名和Trap 目標(biāo),Trap 目標(biāo)可以是主機名也可以是IP 地址.在報告或通知的SNMP 發(fā)送對象中填寫/etc/snmpd.conf 中配置的Trap 目標(biāo),即可將報告或通知的SNMP Trap 發(fā)送到指定目標(biāo).

4 OpenNMS 事件配置并發(fā)送郵件

OpenNMS 包括一個強有力的事件通知系統(tǒng),OpenNMS 管理事件通知的進程是eventd.主要有兩種類型的事件:由OpenNMS 內(nèi)部產(chǎn)生的事件和通過外部的SNMP trap 產(chǎn)生的事件.OpenNMS 的事件可以伴隨一個通知,特別的事件可能通過頁面或Email,SMS等方式發(fā)出一個通知.本文以監(jiān)控并轉(zhuǎn)發(fā)HP DP 的SNMP 信息為例演示OpenNMS 的事件、通知配置.

4.1 在OpenNMS 中配置HP DP 節(jié)點的SNMP

在OpenNMS 的admin 菜單項的Configure OpenNMS 界面,選擇Configure SNMP Community Names by IP Address 菜單項.在這個菜單界面下可以設(shè)置采集對象的SNMP 版本、讀/寫社區(qū)名稱等配置信息.如果版本信息和讀/寫社區(qū)名稱不對,將無法正確采集到SNMP 信息.

4.2 為HP DP 配置SNMP Trap 事件

4.2.1 可視化配置

在admin-＞Configure OpenNMS 菜單的Manage Events Configuration 界面可以可視化的配置事件,也可以直接通過XML 文件配置事件.

4.2.2 配置文件配置

事件配置的主要文件位于$OPENNMS_HOME/etc與$OPENNMS_HOME/etc/events 目錄下.eventconf.xml.定義通用事件識別碼(Universal Event Identifiers或UEIs)以及它們的事件屏蔽(masks)、描述、記錄文件信息和嚴(yán)重程度.自定義事件在OpenNMS 也叫企業(yè)事件,自定義事件的配置文件常常命名為*.events.xml 的形式,*代表自定義事件名稱.自定義事件配置文件存放在$OPENNMS_HOME/etc/events 目錄下.

配置文件中各標(biāo)簽和變量的具體用法可參考OpenNMS 官方指南[10].

手動更改eventconx.xml 或其任何配置文件后,需要重啟OpenNMS 服務(wù)才能生效.根據(jù)官方指南手冊可以在OpenNMS Horizon 服務(wù)器上發(fā)出以下命令,觸發(fā)事件配置的重新加載:OPENNMS_HOME/bin/sendevent.pl uei.opennms.org/internal/reloadDaemonConfig -p 'daemonName Eventd'.但是筆者在windows 安裝版中沒有找到send-event 文件,可能只支持linux 安裝版.

重新加載配置后OpenNMS 就可以接收到HP DP 的SNMP trap 事件了.如圖3所示為OpenNMS 接收到HP DP 的SNMP trap 事件示例.

圖3 OpenNMS 接收到HP DP 的SNMP trap 事件示例

4.3 發(fā)送郵件配置

(1) 開啟通知狀態(tài)

在菜單選項Admin-＞ Configure OpenNMS 中將Notification Status 設(shè)置為on.

(2) 配置通知策略

在菜單Configure OpenNMS -＞ Configure Notifications -＞ Configure Destination Paths 中按向?qū)гO(shè)置通知的目標(biāo)路徑.由于數(shù)據(jù)中心暫時沒有私有的SMTP 郵件服務(wù)器,所以這里只能借助商用的(筆者選擇的是騰訊郵件服務(wù)),然后通過javaEmail 方式發(fā)送.給用戶發(fā)送郵件的前提是在系統(tǒng)用戶配置中給用戶設(shè)置了郵件地址.

郵件通知策略配置文件:$OPENNMS_HOME/etc/javamail-configuration.properties.圖4是以騰訊郵件服務(wù)器為例的javamail-configuration.properties 文件示例.

(3) 配置發(fā)送通知的事件

在菜單選項Admin-＞ Configure OpenNMS -＞Configure Notifications -＞ Configure Event Notifications中新增一個Event Notication,按向?qū)渲檬录ㄖ?

配置完成后管理員就可以接收到HP DP 的報告和報警郵件了.

圖4 javamail-configuration.properties 文件示例

5 OpenNMS 在數(shù)據(jù)中心的應(yīng)用及問題

目前數(shù)據(jù)中心在其內(nèi)部交換網(wǎng)絡(luò)和服務(wù)器群中部署了一臺OpenNMS 系統(tǒng),對70 多臺服務(wù)器(包括虛擬機)及網(wǎng)絡(luò)設(shè)備節(jié)點進行實施監(jiān)控.此次實施中沒有增加新的硬件設(shè)備,開源軟件也沒有投入資金成本,極大的節(jié)省了數(shù)據(jù)中心的開支.OpenNMS 針對節(jié)點的類型自動生成相應(yīng)的監(jiān)控報表和事件通知郵件.運用了OpenNMS 后,有利于管理員對IT 運行狀態(tài)進行日常監(jiān)控和分析,及時發(fā)現(xiàn)了網(wǎng)絡(luò)設(shè)備瓶頸,多次實時郵件報警HP DP 備份故障,及時發(fā)現(xiàn)故障點,為盡早解決問題爭取了時間.

圖5展示了OpenNMS 監(jiān)控主頁,可以總覽被監(jiān)控節(jié)點的總體運行狀況.圖6展示了以HP 小機為例的節(jié)點監(jiān)控情況,可以總覽特定節(jié)點的運行狀況.OpenNMS 可以圖形化動態(tài)展示被監(jiān)控節(jié)點的CPU、內(nèi)存、端口流量等多種性能參數(shù),圖7以HP 小機CPU為例展示了監(jiān)控效果圖.圖8截取了OpenNMS 每日定時以電子郵件方式發(fā)送HP DP 會話完成情況的部分郵 件列表.

圖5 OpenNMS 監(jiān)控主頁

圖6 HP 小機監(jiān)控頁面

但在實際運行中,也遇到一些問題,比較突出的是安裝的這一版本還有一些Bug,與官方指南手冊的說明也有一定出入,而且無法兼容中文,各報警郵件只能英文顯示,郵件中的中文均為亂碼.下一步將繼續(xù)深入研究OpenNMS 的源碼,弄懂其原理,尋找解決各種Bug 的方法.在適當(dāng)?shù)臅r候編譯自己的安裝版本,并且安 裝到linux 環(huán)境下,使運行更穩(wěn)定.

圖7 HP 小機CPU 監(jiān)控效果圖

圖8 OpenNMS 每日定時以電子郵件方式發(fā)送HP DP會話完成情況

6 結(jié)論與展望

在缺少短信網(wǎng)關(guān)和私有郵件服務(wù)器,同時經(jīng)費又有限的情況下,對于內(nèi)網(wǎng)的一些應(yīng)用報警,筆者沒有局限于對經(jīng)費的等、靠、要等依賴,而是借用OpenNMS的SNMP Trap 接收和郵件報警功能以幾乎零成本實現(xiàn)內(nèi)網(wǎng)應(yīng)用的郵件報警功能.使用OpenNMS 不僅很好的解決了之前HP DP 報警不及時的問題,也使各種IT 設(shè)備得到了實時監(jiān)控,對數(shù)據(jù)中心整體運行狀況有很好的掌握.相比于以前使用的收費網(wǎng)絡(luò)管理軟件,以后可以通過開源社區(qū)和自己研究源代碼來改進一些問題,比商用軟件更靈活,解決問題更有針對性和個性化,同時更有利于管理和運維人員對自己管理對象的了解和技術(shù)能力的提高.基于開源的精神,也將把一些研究成果向開源社區(qū)共享,共同進步.