王紹紅

摘 要：“531工程”項目上線后天津交行基于新的IT架構(gòu)設(shè)計了一套無需部署代理端的IT監(jiān)控方案，即通過Linux網(wǎng)絡(luò)命令直接對主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點進(jìn)行逐一掃描，以掃描結(jié)果作為監(jiān)控指標(biāo)，通過指標(biāo)間的關(guān)系來定位故障點，豐富了生產(chǎn)系統(tǒng)監(jiān)控手段，提高了故障發(fā)現(xiàn)和排除的效率。

關(guān)鍵詞：IT運維；無代理監(jiān)控；指標(biāo)；故障定位；CMDB

中圖分類號：TP308 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2018）28-0096-03

Abstract： After the "531 Project" was launched， Bank of Communications Tianjin Branch designed a set of IT monitoring scheme based on the new IT architecture without the need to deploy the agent， that is， directly scanning the host service and network nodes one by one through the Linux network command. The scanning result is used as the monitoring index to locate the fault point through the relationship between the indicators， which enriches the monitoring means of the production system and improves the efficiency of fault detection and removal.

Keywords： IT operation and maintenance； agentless monitoring； index； fault location； CMDB

1 概述

隨著交通銀行“境內(nèi)外一體化全業(yè)務(wù)系統(tǒng)重構(gòu)工程” （即531工程）項目2015年7月在天津成功上線，交通銀行天津市分行（下面簡稱天津交行）在以新型技術(shù)架構(gòu)助推銀行轉(zhuǎn)型發(fā)展的道路上邁出了一大步。這項浩大的工程，以業(yè)務(wù)整合為突破口，打破橫向條塊分割的約束，立足當(dāng)下，著眼未來，以強(qiáng)大前臺、高效中臺、集約后臺合力打造一流的流程銀行。新架構(gòu)在為業(yè)務(wù)發(fā)展提供支撐和推力同時，也為開創(chuàng)IT運維工作新局面提供了契機(jī)。天津交行作為交通銀行的省級分行，在工程上線期間即考慮未來的分行IT監(jiān)控問題，基于對新架構(gòu)下主要系統(tǒng)的技術(shù)平臺高度統(tǒng)一的認(rèn)知，逐漸形成了一套對生產(chǎn)運行幾乎無影響的無代理監(jiān)控方案。傳統(tǒng)的監(jiān)控，一般是在各目標(biāo)主機(jī)部署代理端抓取系統(tǒng)運行信息發(fā)送給監(jiān)控服務(wù)器，由其加工后生成圖表、發(fā)出異常警告。由于代理端自身對系統(tǒng)資源是有消耗的，其開發(fā)、部署、維護(hù)需要一定的人力成本和時間成本。同時重要的網(wǎng)絡(luò)節(jié)點也需要監(jiān)控，而代理端程序很難在網(wǎng)絡(luò)設(shè)備上安裝，因而傳統(tǒng)模式存在某種局限性，需要新的監(jiān)控手段作為補(bǔ)充。新的方案放棄了傳統(tǒng)的代理端部署，改為通過Linux網(wǎng)絡(luò)命令直接對主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點進(jìn)行逐一掃描，以掃描結(jié)果作為監(jiān)控指標(biāo)，通過指標(biāo)間的關(guān)系來定位故障點，豐富了生產(chǎn)系統(tǒng)監(jiān)控手段，提高了故障發(fā)現(xiàn)和排除的效率。此方案一經(jīng)初步實施，即收到良好效果。據(jù)此設(shè)立的無代理監(jiān)控平臺（下稱監(jiān)控平臺）一期腳本僅幾千字節(jié)，以集中的網(wǎng)絡(luò)掃描代替分散的代理端數(shù)據(jù)采集，實現(xiàn)了對生產(chǎn)系統(tǒng)大部分重要節(jié)點的監(jiān)控。目前監(jiān)控平臺還在根據(jù)預(yù)先設(shè)計的方案持續(xù)建設(shè)中。本文謹(jǐn)從介紹平臺當(dāng)前架構(gòu)和技術(shù)出發(fā)，延伸到下一步以指標(biāo)及指標(biāo)依賴、指標(biāo)集合為核心的智能化監(jiān)控目標(biāo)，對未來可能使用到的其他技術(shù)做出初步的研究。

2 監(jiān)控平臺現(xiàn)狀和核心技術(shù)

傳統(tǒng)監(jiān)控模式下的信息流向是從各代理端到服務(wù)端，代理端處于主動地位。在天津交行的無代理監(jiān)控平臺中沒有代理端、服務(wù)端的區(qū)分，監(jiān)控的發(fā)起始于平臺主機(jī)，目標(biāo)則是IT系統(tǒng)的各個主機(jī)、網(wǎng)絡(luò)上的各個重要節(jié)點。常規(guī)情況下，監(jiān)控平臺根據(jù)預(yù)先定義的掃描策略在指定時間對目標(biāo)主機(jī)、網(wǎng)絡(luò)節(jié)點進(jìn)行網(wǎng)絡(luò)掃描，同步記錄掃描結(jié)果，生成可通過Web瀏覽器訪問的報告，發(fā)現(xiàn)有某項結(jié)果異常，根據(jù)策略中設(shè)定的信息發(fā)出警報。網(wǎng)絡(luò)掃描結(jié)果的有效性基于IT系統(tǒng)得以正常運行的三點基本要求：（1）各主機(jī)、網(wǎng)絡(luò)節(jié)點在網(wǎng)絡(luò)上處于連通狀態(tài)。（2）主機(jī)的對外服務(wù)端口處于監(jiān)聽狀態(tài)。（3）主機(jī)對外服務(wù)對請求應(yīng)該有合理的響應(yīng)。

監(jiān)控平臺運行在Linux操作系統(tǒng)上，其原生的三個網(wǎng)絡(luò)命令ping、netcat、curl可以分別按上述三點要求對IT系統(tǒng)（含網(wǎng)絡(luò)設(shè)備）進(jìn)行掃描。ping命令很常用，可檢測某個ip在網(wǎng)絡(luò)上能否到達(dá)。netcat命令是一個強(qiáng)大的端口通訊工具，可以檢測監(jiān)聽端口，發(fā)送報文，模擬交易請求。對于提供Web服務(wù)的主機(jī)，netcat命令已經(jīng)不能滿足全部要求，因為即使端口處于監(jiān)聽狀態(tài)，也不代表Web服務(wù)正常。這就需要用到curl命令，一個在文字環(huán)境下模擬瀏覽器訪問獲取頁面源代碼、下載文件、發(fā)送POST請求的工具。它無視Web服務(wù)器的具體應(yīng)用邏輯，帶上特定的參數(shù)執(zhí)行，通過判斷命令的Shell返回值即可檢測Web服務(wù)的正常性、Web部署的有效性。

curl命令和netcat命令一樣，也可以模擬交易請求。但是，生產(chǎn)環(huán)境中不可能大規(guī)模地模擬交易。一些系統(tǒng)對請求的來源和報文有校驗，而由于交易接口的龐雜與多變，監(jiān)控平臺不可能頻繁地去同步變更，因此，模擬交易只能在個別關(guān)鍵而簡單的監(jiān)控需求上有限使用。這些交易請求大都會返回用戶權(quán)限不足等業(yè)務(wù)類報錯信息，而這恰恰是正常的。

3 監(jiān)控指標(biāo)體系與故障定位

（1）指標(biāo)體系的引入。監(jiān)控平臺所使用的ping、netcat、curl三個網(wǎng)絡(luò)掃描命令，其執(zhí)行結(jié)果其實有著遞次依賴的關(guān)系。對于無法ping通的主機(jī)，只要其未禁止ICMP協(xié)議，使用netcat掃描肯定失敗，而對于netcat掃描端口返回失敗的Web服務(wù)，就沒必要再使用curl嘗試訪問了。生產(chǎn)系統(tǒng)實際運行中存在著更廣泛的依賴關(guān)系。對于交易路徑中串聯(lián)的各個系統(tǒng)節(jié)點，只要最后一個節(jié)點停止服務(wù)，那么其余的各節(jié)點交易都會返回失敗。對于負(fù)責(zé)與總行通訊的節(jié)點，其故障將導(dǎo)致分行業(yè)務(wù)近乎全局性的癱瘓，其他系統(tǒng)健康狀況再良好也無濟(jì)于事。網(wǎng)上也是如此，某個交換機(jī)的宕機(jī)，將使得整片網(wǎng)絡(luò)的電腦處于斷網(wǎng)狀態(tài)。將依賴關(guān)系反過來，由結(jié)果推導(dǎo)原因，可用于揭示某些問題?？梢詐ing通但netcat其某個端口不通，說明該端口未處于監(jiān)聽狀態(tài)。就交易渠道而言，柜面交易大面積報錯，但其他渠道沒有異常，那么基本可以判定柜面交易相關(guān)的系統(tǒng)出現(xiàn)了問題。為了規(guī)范化地描述上述分析判斷過程，在監(jiān)控方案中，將網(wǎng)絡(luò)掃描項稱為指標(biāo)，稱指標(biāo)間的依賴關(guān)系為指標(biāo)依賴，引入數(shù)學(xué)上的集合概念，將一組擁有某共同特性的指標(biāo)作為一個整體來分析，通過指標(biāo)、集合間的邏輯關(guān)系評估生產(chǎn)運行情況，從而構(gòu)建一個監(jiān)控指標(biāo)體系。這些共同特性包括網(wǎng)段、應(yīng)用系統(tǒng)、物理位置、邏輯位置或管理視角等多方面，根據(jù)監(jiān)控的需要而設(shè)定、擴(kuò)充、調(diào)整。（2）指標(biāo)體系的設(shè)計。監(jiān)控平臺目前的常規(guī)掃描策略在定義時已經(jīng)考慮了指標(biāo)間的依賴關(guān)系，避免無謂的重復(fù)，但是有時候，“重復(fù)”又是必要的。例如，netcat端口掃描結(jié)果正常意味著無需再進(jìn)行ping掃描，但是前者返回異常，那就需要后者來定位到底是網(wǎng)絡(luò)中斷還是端口服務(wù)停止。這種取舍的選擇，需要依靠指標(biāo)的依賴關(guān)系來決定。在定義指標(biāo)時，如果它的正常有賴于另一個指標(biāo)的正常，就要在指標(biāo)依賴關(guān)系配置文件中指定。一個指標(biāo)的正常有可能依賴多個指標(biāo)的正常，也可能是多個指標(biāo)的正常依賴于一個指標(biāo)的正常，就需要將對應(yīng)依賴關(guān)系拆成一對一的記錄存儲下來，以便于監(jiān)控平臺能夠智能地選擇需要檢測的指標(biāo)，避免沒必要的重復(fù)的同時也可以快速地判斷出是哪個指標(biāo)是系統(tǒng)異常的根源。有時候一個指標(biāo)的正常，會依賴多個其他指標(biāo)中任何一個或全部的正常。這多個指標(biāo)必然有某種共性，否則無法造成統(tǒng)一的影響，可以視為一個集合。集合內(nèi)成員在條件判斷上也許是“或”的關(guān)系，例如做了負(fù)載均衡的服務(wù)器組的任何一臺服務(wù)器正常即可保障基本的功能，也有可能是“與”的關(guān)系，例如一個交易路徑上的全部系統(tǒng)都正常才能保證交易能夠順利提交到總行。定義集合時需要考慮其成員關(guān)系的類型，不限于“或”和“與”。集合本身也是一個指標(biāo)，其值不是成員狀態(tài)的簡單疊加，而是要基于一個科學(xué)合理的算法進(jìn)行計算。例如一個前置機(jī)房內(nèi)的幾百臺設(shè)備因為某種動力環(huán)境原因?qū)е氯繑嗑W(wǎng)，監(jiān)控平臺不應(yīng)該為每臺設(shè)備播報一遍故障，而應(yīng)在檢測到全部斷網(wǎng)前已經(jīng)有一個準(zhǔn)確的評估，發(fā)出一個精準(zhǔn)的整體性警報。同指標(biāo)與指標(biāo)之間一樣，集合與集合、單個指標(biāo)之間也可以有依賴關(guān)系，集合可以有自己的子集，它也可能是其他集合的子集。除此外，集合還有交集、并集、補(bǔ)集運算，方法同數(shù)學(xué)上集合的運算一致。（3）故障點快速定位。在通常情況下，監(jiān)控平臺直接以一個又一個的指標(biāo)逐一呈現(xiàn)生產(chǎn)服務(wù)狀態(tài)，發(fā)現(xiàn)異常立即發(fā)出信息精準(zhǔn)的警報，直接定位到ip地址、端口、Web服務(wù)、Web部署，運維人員可以立即對目標(biāo)進(jìn)行檢查。

但是，很多時候，對故障的判斷不能只是靠這種孤立的指標(biāo)來實現(xiàn)，而是要參照多個指標(biāo)。以高可用集群為例。正常情況下，集群的兩個節(jié)點都處于網(wǎng)絡(luò)連通狀態(tài)，其中活動節(jié)點以Service IP對外提供服務(wù)。有一天忽然活動節(jié)點的Boot IP卻無法訪問，但集群的Service IP和備用節(jié)點的Boot IP處于連通狀態(tài)，那就說明集群的生產(chǎn)服務(wù)已經(jīng)發(fā)生了HA接管，活動節(jié)點宕機(jī)，備用節(jié)點已經(jīng)啟動對外服務(wù)。這里就需要ping三個ip地址，分別獲取指標(biāo)值，符合上述狀態(tài)，即可發(fā)出HA接管警報，而不僅僅是報告活動節(jié)點宕機(jī)。

一些復(fù)雜的情況，可以借助依賴關(guān)系和集合概念來分析。圖1是一個簡化的多樓層網(wǎng)絡(luò)節(jié)點圖，財務(wù)部分居3、4樓，分別通過各自樓層交換機(jī)連往核心交換機(jī)。而3樓除財務(wù)部還有一個保衛(wèi)部的監(jiān)控室，通過3樓交換機(jī)連往核心交換機(jī)。這樣3樓財務(wù)部同時屬于3樓和財務(wù)部的兩個集合，也就是它們的交集（圖2）。某日這個交集突然網(wǎng)絡(luò)癱瘓，那就要判斷它所屬兩個集合的其他成員（補(bǔ)集）的狀況，以此分析是哪個集合出了問題。如果3樓保衛(wèi)部也網(wǎng)絡(luò)癱瘓，4樓財務(wù)部沒有問題，那幾乎可以判定三樓這個集合所依賴的3樓交換機(jī)有了故障。如果3樓保衛(wèi)部和4樓財務(wù)部也都斷網(wǎng)，即3樓、4樓全部斷網(wǎng)，而這兩個樓層共同依賴的網(wǎng)絡(luò)節(jié)點是核心交換機(jī)，應(yīng)該是核心交換機(jī)出現(xiàn)了問題。一般情況下，同一樓層各部門的網(wǎng)絡(luò)狀況應(yīng)該是一樣的，如果某日出現(xiàn)兩層樓的財務(wù)部都網(wǎng)絡(luò)中斷，而3樓保衛(wèi)部的網(wǎng)絡(luò)卻處于連接狀態(tài)，那就需要進(jìn)一步排查，或許有其他未曾預(yù)計的原因，查明后設(shè)計好指標(biāo)和策略添加到監(jiān)控平臺中。

如同計算機(jī)人臉識別往往在速度、準(zhǔn)確性、靈活性上比不上人眼，實際生產(chǎn)運行中，輔助使用一些準(zhǔn)實時加載監(jiān)控指標(biāo)數(shù)據(jù)的動態(tài)圖表可能效果更好。例如參照機(jī)房布局圖和網(wǎng)絡(luò)拓?fù)鋱D，以主機(jī)、網(wǎng)絡(luò)設(shè)備為節(jié)點，以綠、紅兩色表示網(wǎng)絡(luò)連通性的正常和不正常，若某分區(qū)各個綠點忽然開始逐一變?yōu)榧t點，那么運維人員很容易產(chǎn)生直覺判斷：該分區(qū)很可能出現(xiàn)了全局性問題，譬如斷電。但是，人不可能一直盯著監(jiān)控屏幕看，除了動態(tài)圖表，更根本的解決方法是借助一些智能的算法（例如卡爾曼濾波算法）將這種經(jīng)驗的判斷轉(zhuǎn)換為監(jiān)控平臺的自動播報。

以效率而言，應(yīng)該將重要指標(biāo)和部分重要集合進(jìn)行高頻次重復(fù)掃描、精準(zhǔn)運算，及時發(fā)出告警信息，以便于運維人員第一時間獲得精準(zhǔn)信息，立即投入搶修，而其他指標(biāo)/集合的計算和動態(tài)直觀圖表的重繪，就不必過于強(qiáng)調(diào)時效性。

4 無代理IT監(jiān)控的未來研究方向

（1）根據(jù)監(jiān)控對象已有協(xié)議和接口輕度侵入。操作系統(tǒng)層的CPU、內(nèi)存、存儲、進(jìn)程等信息是傳統(tǒng)監(jiān)控基本的目標(biāo)。但在監(jiān)控平臺上，IT系統(tǒng)主機(jī)的這些數(shù)據(jù)都無法獲取到。對網(wǎng)絡(luò)設(shè)備，目前僅限于網(wǎng)絡(luò)連通性的判斷，無法完成對流量、策略等更深入的檢測，也不能做到路由自動發(fā)現(xiàn)。就應(yīng)用層和銀行交易而言，有時因為系統(tǒng)資源瓶頸、程序代碼存在bug以及其他暫時未知因素，在相關(guān)范圍內(nèi)也會有交易緩慢、失敗率過高甚至業(yè)務(wù)中斷等情況發(fā)生，而監(jiān)控平臺上卻毫無征兆。監(jiān)控平臺的這些短板，需要采用更廣泛的技術(shù)、擴(kuò)充無代理監(jiān)控的手段來解決。主機(jī)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件或廣泛或局部開放的外部訪問協(xié)議和接口為下一步的研究提供了方向，而交通銀行新一代業(yè)務(wù)系統(tǒng)普遍采用了具有自主知識產(chǎn)權(quán)的架構(gòu)平臺，技術(shù)上高度一致，為監(jiān)控方案的優(yōu)化提供了持續(xù)的便利條件。早年網(wǎng)絡(luò)監(jiān)控即使用了snmp（簡單網(wǎng)絡(luò)管理協(xié)議），這個技術(shù)現(xiàn)在還在廣泛的使用，網(wǎng)絡(luò)設(shè)備一般都默認(rèn)可以開啟snmp的外部訪問。另一個也具有廣泛性的協(xié)議是ssh（Secure Shell），Unix/Linux操作系統(tǒng)和許多的網(wǎng)絡(luò)設(shè)備都可以通過該協(xié)議訪問。在監(jiān)控平臺上部署數(shù)據(jù)庫、Web中間件、消息隊列工具等基礎(chǔ)軟件的客戶端，可以相應(yīng)地獲取IT系統(tǒng)上這些基礎(chǔ)軟件的運行狀況，間接獲得操作系統(tǒng)層的數(shù)據(jù)。這些協(xié)議和工具的訪問對監(jiān)控目標(biāo)難免會有一定的寫入權(quán)限，但建立了良好的安全訪問控制機(jī)制，可以將監(jiān)控對生產(chǎn)運行的擾動控制在合理的范圍內(nèi)，達(dá)到以輕度侵入實現(xiàn)無代理監(jiān)控的目的。

（2）與配置管理數(shù)據(jù)庫的整合。IT基礎(chǔ)架構(gòu)庫，即ITIL，是國際上最成熟的一套IT管理解決方案，為企業(yè)的IT服務(wù)管理實踐提供了一個客觀、嚴(yán)謹(jǐn)、可量化的標(biāo)準(zhǔn)和規(guī)范。作為ITIL的主要組成部分之一，配置管理數(shù)據(jù)庫，即CMDB，存儲與管理IT架構(gòu)中資源的各種配置信息，為IT建設(shè)、運維提供相關(guān)的基礎(chǔ)配置信息以及配置之間的相互關(guān)系，涵蓋硬件、操作系統(tǒng)、邏輯設(shè)備、系統(tǒng)配置、基礎(chǔ)軟件、應(yīng)用部署以及相關(guān)管理信息等各個方面。運維人員可以根據(jù)設(shè)備的名稱來檢索它上、下游和同級的關(guān)聯(lián)信息，輕松地了解生產(chǎn)運行全局資源的組織架構(gòu)，輔助判斷某項資源調(diào)整時可能涉及的方方面面，同樣也能知曉某項資源缺失會影響哪些業(yè)務(wù)和系統(tǒng)，或者反過來由某個結(jié)果推算導(dǎo)致其發(fā)生的原因。監(jiān)控平臺的指標(biāo)、集合及其相互關(guān)系，某種程度可以視為配置管理數(shù)據(jù)庫的一部分，在監(jiān)控層面可以認(rèn)為二者之間有相當(dāng)大的重合。例如，對于一個Service IP，在配置管理數(shù)據(jù)中，它從屬于某個高可用集群，其下一級又有多個對外提供服務(wù)的監(jiān)聽端口，而同樣的關(guān)系也會體現(xiàn)在監(jiān)控平臺上。在未來的方案中，配置管理數(shù)據(jù)庫的完整和及時更新，能為監(jiān)控平臺監(jiān)控對象的全面性、準(zhǔn)確性、合理性提供可靠的參照。相反，監(jiān)控平臺可以幫助核對配置管理數(shù)據(jù)庫中的數(shù)據(jù)，在配置管理數(shù)據(jù)庫的關(guān)系結(jié)構(gòu)圖中顯示配置項的可用狀態(tài)，提示出某些配置項信息或配置項之間關(guān)系的變化?；谂渲霉芾頂?shù)據(jù)庫數(shù)據(jù)和監(jiān)控平臺監(jiān)控對象的相似性與相關(guān)性，二者可以深度整合，避免維護(hù)兩套數(shù)據(jù)帶來的額外工作量和數(shù)據(jù)不一致，也便于運維人員更容易理解、把控雙方數(shù)據(jù)。

5 結(jié)束語

天津交行無代理IT監(jiān)控方案目前主要是實現(xiàn)了本文第一部分的目標(biāo)，即根據(jù)預(yù)先設(shè)定的策略對生產(chǎn)系統(tǒng)重要服務(wù)和生產(chǎn)網(wǎng)絡(luò)重要節(jié)點進(jìn)行網(wǎng)絡(luò)掃描，已經(jīng)覆蓋主要系統(tǒng)、大部分應(yīng)用服務(wù)和重要網(wǎng)絡(luò)節(jié)點。對于監(jiān)控指標(biāo)的依賴關(guān)系判定、集合劃分、邏輯關(guān)系分析、故障定位、圖表展示以及無代理檢測手段的擴(kuò)充、監(jiān)控平臺策略定義與配置管理數(shù)據(jù)庫的整合，目前在進(jìn)行進(jìn)一步的細(xì)化設(shè)計和深入研究。相信整個方案的完全實施，對的系統(tǒng)監(jiān)控工作將更有裨益，其輕量、易部署、易擴(kuò)展的特性也有助于它的向外推廣。

參考文獻(xiàn)：

[1]張曉丹.面向業(yè)務(wù)應(yīng)用交易的IT運維監(jiān)控系統(tǒng)建設(shè)思路[J].中國金融電腦，2015（1）.

[2]卑風(fēng).基于ITIL體系的銀行數(shù)據(jù)中心配置管理工具的分析與設(shè)計[J].微型電腦應(yīng)用，2013（3）.