李彭軍 戴少鋒

隨著國家教育信息化進(jìn)程的推進(jìn)，近年來，數(shù)字化校園和智慧校園的各種解決方案不斷在高校校園中落地交付和推廣應(yīng)用。保障師生教學(xué)教務(wù)活動(dòng)的正常開展，更是離不開各類業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行。如何及時(shí)和有效地感知各種業(yè)務(wù)系統(tǒng)，尤其是關(guān)鍵業(yè)務(wù)的運(yùn)行態(tài)勢，并對異常的運(yùn)行指標(biāo)進(jìn)行預(yù)警和分析等問題，成為了信息部門的重要任務(wù)之一。本文提出了關(guān)鍵業(yè)務(wù)鏈模型的設(shè)計(jì)思路和實(shí)踐應(yīng)用，包括運(yùn)行指標(biāo)定義、數(shù)據(jù)采集、聯(lián)動(dòng)預(yù)警和業(yè)務(wù)鏈可視化，能幫助有效提高關(guān)鍵業(yè)務(wù)運(yùn)維的整體效率。

一、系統(tǒng)整體架構(gòu)設(shè)計(jì)

校園關(guān)鍵業(yè)務(wù)鏈監(jiān)測與預(yù)警系統(tǒng)基于B/S架構(gòu)進(jìn)行設(shè)計(jì)與開發(fā)，系統(tǒng)功能模塊包括：指標(biāo)定義模塊、監(jiān)測數(shù)據(jù)采集、告警策略模塊、通知推送模塊、業(yè)務(wù)鏈構(gòu)建模塊、業(yè)務(wù)鏈可視化和系統(tǒng)管理等。

業(yè)務(wù)系統(tǒng)層： 需要做監(jiān)測與業(yè)務(wù)預(yù)警的各類校園業(yè)務(wù)應(yīng)用；

監(jiān)測數(shù)據(jù)采集與存儲(chǔ)： 通過各類標(biāo)準(zhǔn)協(xié)議（SNMP、Agent、IPMI、Syslog、業(yè)務(wù)API接口等）采集各個(gè)業(yè)務(wù)系統(tǒng)和IT基礎(chǔ)設(shè)施的運(yùn)行數(shù)據(jù)和歷史數(shù)據(jù)，整合到統(tǒng)一的數(shù)據(jù)層中；并通過標(biāo)準(zhǔn)格式定義進(jìn)行轉(zhuǎn)換，把有價(jià)值的數(shù)據(jù)輸出到基礎(chǔ)庫中，便于進(jìn)一步對數(shù)據(jù)的價(jià)值進(jìn)行挖掘和可視化輸出；

指標(biāo)定義與分析：通過分析采集到的運(yùn)行數(shù)據(jù)，定義業(yè)務(wù)健康度關(guān)鍵指標(biāo)體系。并由系統(tǒng)自動(dòng)校對關(guān)鍵指標(biāo)配置，對業(yè)務(wù)運(yùn)行數(shù)據(jù)進(jìn)行比對和分析，對異常數(shù)據(jù)進(jìn)行觸發(fā)預(yù)警和通知推送動(dòng)作；

可視化層：通過可視化組件，構(gòu)建業(yè)務(wù)鏈可視化視圖，并綁定實(shí)時(shí)業(yè)務(wù)運(yùn)行數(shù)據(jù)和指標(biāo)體系，通過大屏投屏的方式，對業(yè)務(wù)鏈實(shí)現(xiàn)一圖一業(yè)務(wù)的全局監(jiān)測效果呈現(xiàn)，讓業(yè)務(wù)系統(tǒng)運(yùn)維人員一眼能看懂業(yè)務(wù)的健康度。

二、關(guān)鍵業(yè)務(wù)指標(biāo)定義

關(guān)鍵業(yè)務(wù)指標(biāo)的評判和閾值的設(shè)置方法通常分為客觀評價(jià)法和主觀評價(jià)法。其中主觀評價(jià)法通常由業(yè)務(wù)領(lǐng)域?qū)＜腋鶕?jù)實(shí)際的經(jīng)驗(yàn)值、業(yè)務(wù)需求來設(shè)置各個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)行健康指標(biāo)閾值，確定影響業(yè)務(wù)系統(tǒng)運(yùn)行的關(guān)鍵指標(biāo)，這種方法的缺陷是具有一定的主觀性和隨意性。客觀評價(jià)法大多采用神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法，通過海量訓(xùn)練樣本建立評估模型。本系統(tǒng)結(jié)合兩種方法，基于層次分析法綜合考慮信息系統(tǒng)的業(yè)務(wù)邏輯和物理設(shè)施這兩個(gè)主要維度，包括節(jié)點(diǎn)CPU利用率、帶寬利用率、應(yīng)用系統(tǒng)響應(yīng)速度等因素，構(gòu)造判斷矩陣得到各個(gè)指標(biāo)的權(quán)值。這些指標(biāo)將作為衡量關(guān)鍵業(yè)務(wù)運(yùn)行健康度的標(biāo)準(zhǔn)，系統(tǒng)會(huì)根據(jù)采集到的運(yùn)行數(shù)據(jù)與指標(biāo)進(jìn)行比對，從而觸發(fā)預(yù)警等動(dòng)作。

三、監(jiān)測數(shù)據(jù)采集的實(shí)現(xiàn)

底層通過開源軟件Zabbix實(shí)現(xiàn)對監(jiān)測對象（網(wǎng)絡(luò)設(shè)備、服務(wù)器、PC設(shè)備、數(shù)據(jù)庫、中間件、存儲(chǔ)、備份、安全設(shè)備、應(yīng)用系統(tǒng)等）的運(yùn)行數(shù)據(jù)進(jìn)行采集。

數(shù)據(jù)采集可以分為兩種：主動(dòng)監(jiān)測和被動(dòng)監(jiān)測，系統(tǒng)采集端支持的采集方式包括Agent、SNMP（包括Trapping和Polling）、IPMI、JMX、SSH、Telent等，適合眾多復(fù)雜系統(tǒng)環(huán)境的部署。本次業(yè)務(wù)鏈監(jiān)測主要采用了SNMP、Agent和IPMI三種方式實(shí)現(xiàn)數(shù)據(jù)采集。

（一）SNMP協(xié)議方式

通過SNMP的查詢和陷入進(jìn)行監(jiān)控?cái)?shù)據(jù)的采集。適合對網(wǎng)絡(luò)設(shè)備，如防火墻、交換機(jī)、路由器等監(jiān)控?cái)?shù)據(jù)的采集。目前Zabbix系統(tǒng)支持SNMP v1 SNMP v2c和SNMP v3版本的協(xié)議。這種方式安全方便，只需在相關(guān)設(shè)備上配置和開啟SNMP服務(wù)，并允許監(jiān)控服務(wù)器查詢即可。

（二）Agent方式

在被監(jiān)測對象上安裝并運(yùn)行zabbix被代理進(jìn)程，通過該進(jìn)程收集監(jiān)測對象的運(yùn)行數(shù)據(jù)，并與Zabbix服務(wù)器或代理（Proxy）通信，主動(dòng)發(fā)送或被動(dòng)接受服務(wù)器的數(shù)據(jù)。這種方法只適用于采集服務(wù)器或工作站上的監(jiān)測數(shù)據(jù)，不適合路由器、交換機(jī)、防火墻等網(wǎng)絡(luò)設(shè)備。

（三）IPMI協(xié)議方式

智能平臺(tái)管理接口（IPMI，Intelligent Platform Management Interface），是管理基于Intel架構(gòu)的企業(yè)系統(tǒng)中所使用的外圍設(shè)備所采用的一種工業(yè)標(biāo)準(zhǔn)。通過這種方法采集數(shù)據(jù)的優(yōu)點(diǎn)是：可以采集到其它方法無法采集到的硬件狀態(tài)信息，例如CPU溫度、風(fēng)扇轉(zhuǎn)數(shù)、電源狀態(tài)等等，特別適用于服務(wù)器和存儲(chǔ)系統(tǒng)等硬件。缺點(diǎn)是需要被監(jiān)控硬件能夠支持。而目前主流服務(wù)器和存儲(chǔ)都會(huì)支持IPMI協(xié)議接口。

四、聯(lián)動(dòng)預(yù)警的實(shí)現(xiàn)

在數(shù)據(jù)采集完成之后，監(jiān)測數(shù)據(jù)會(huì)統(tǒng)一保存到系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)表中，系統(tǒng)的聯(lián)動(dòng)分析模塊會(huì)對采集到的數(shù)據(jù)和已經(jīng)定義好的業(yè)務(wù)健康度指標(biāo)體系進(jìn)行指標(biāo)比對和處理，判斷運(yùn)行數(shù)據(jù)是否有異常，是否符合預(yù)警條件。當(dāng)達(dá)到預(yù)警條件時(shí)，則把信息推送給聯(lián)動(dòng)預(yù)警模塊，預(yù)警模塊根據(jù)業(yè)務(wù)的級別通知渠道設(shè)置，主動(dòng)發(fā)送預(yù)警信息給管理人員。達(dá)到業(yè)務(wù)健康度的監(jiān)測和預(yù)警效果。

五、可視化應(yīng)用

通過上述的采集，系統(tǒng)里面已經(jīng)存有各關(guān)鍵業(yè)務(wù)的運(yùn)行數(shù)據(jù)。需要把這些數(shù)據(jù)以關(guān)鍵業(yè)務(wù)的維度，以直觀的方式整合和呈現(xiàn)出來。根據(jù)各業(yè)務(wù)鏈的特性，把各類數(shù)據(jù)按照故障排查的思路去梳理，包括物理層、數(shù)據(jù)層、應(yīng)用層、網(wǎng)絡(luò)層和體驗(yàn)層五個(gè)維度去構(gòu)建業(yè)務(wù)鏈。

物理層：包括設(shè)備設(shè)施和運(yùn)行環(huán)境。

數(shù)據(jù)層：包括數(shù)據(jù)庫和數(shù)據(jù)保障系統(tǒng)。

應(yīng)用層：包括操作系統(tǒng)和中間件。

網(wǎng)絡(luò)層：包括網(wǎng)絡(luò)傳輸和支撐的相關(guān)設(shè)備設(shè)施。

體驗(yàn)層：包括用戶對業(yè)務(wù)體驗(yàn)敏感的數(shù)據(jù)，如頁面響應(yīng)時(shí)長、下載速度等。

業(yè)務(wù)鏈構(gòu)建完成后，把相關(guān)的關(guān)鍵運(yùn)行數(shù)據(jù)和預(yù)警聯(lián)動(dòng)的觸發(fā)數(shù)據(jù)綁定到業(yè)務(wù)鏈上，最終構(gòu)建出一圖一業(yè)務(wù)的全局監(jiān)測效果，讓業(yè)務(wù)系統(tǒng)運(yùn)維人員在業(yè)務(wù)鏈視圖上快速判斷業(yè)務(wù)的健康度。如下圖是基于關(guān)鍵業(yè)務(wù)構(gòu)建的業(yè)務(wù)鏈可視化。

六、結(jié)語

本文利用Zabbix工具對關(guān)鍵業(yè)務(wù)鏈的運(yùn)行數(shù)據(jù)進(jìn)行采集，并按照業(yè)務(wù)特性構(gòu)建業(yè)務(wù)健康指標(biāo)體系，基于采集回來的運(yùn)行數(shù)據(jù)和業(yè)務(wù)健康指標(biāo)體系進(jìn)行指標(biāo)比對和處理，判斷運(yùn)行數(shù)據(jù)的健康度，實(shí)現(xiàn)聯(lián)動(dòng)預(yù)警的推送。同時(shí)通過把業(yè)務(wù)數(shù)據(jù)構(gòu)建到業(yè)務(wù)鏈上，實(shí)現(xiàn)了一圖一業(yè)務(wù)的可視化效果，并在真實(shí)的校園網(wǎng)環(huán)境下進(jìn)行部署和使用。實(shí)踐結(jié)果表明，本文提出的關(guān)鍵業(yè)務(wù)鏈監(jiān)測與預(yù)警方法可以為業(yè)務(wù)系統(tǒng)運(yùn)維人員提供一種透明、高效和低成本的支撐手段，進(jìn)一步提高了校園關(guān)鍵業(yè)務(wù)的整體運(yùn)維效率。