“只有可見的，才是可運(yùn)維的?！边@是IT運(yùn)維人員常說(shuō)的一句話。

然而現(xiàn)實(shí)往往并不能如愿以償，過去的很長(zhǎng)一段時(shí)間內(nèi)，企業(yè)IT團(tuán)隊(duì)的精力往往都放在應(yīng)用系統(tǒng)的建設(shè)上，工作重心多是完成一個(gè)又一個(gè)項(xiàng)目，很少真正對(duì)所有的應(yīng)用系統(tǒng)做詳細(xì)的梳理、弄清楚其中的邏輯關(guān)系。再加上早期開發(fā)的一些應(yīng)用系統(tǒng)并沒有建立良好的開發(fā)和運(yùn)維流程，應(yīng)用系統(tǒng)之間的關(guān)聯(lián)關(guān)系也往往沒有規(guī)范的文檔可以查詢。這樣久而久之，隨著運(yùn)維人員的交替，支撐企業(yè)業(yè)務(wù)的應(yīng)用架構(gòu)已經(jīng)變得難以梳理，IT運(yùn)維面臨的壓力也越來(lái)越大。

而在眾多信息化建設(shè)開始較早的企業(yè)中，這種情形尤為明顯，一方面是由于建設(shè)時(shí)資源緊張等特殊因素，某臺(tái)服務(wù)器上可能運(yùn)行著多個(gè)不同的應(yīng)用程序，或者有一些邊緣組件平時(shí)不太引人注意。這些問題伴隨開發(fā)人員的更替，逐漸被人們淡忘，為后來(lái)的運(yùn)維工作埋下了隱患，國(guó)內(nèi)某大型商業(yè)銀行便是這方面的典型案例。

應(yīng)用可視化是關(guān)鍵

為此，該銀行開展了相應(yīng)的治理工作，以清除IT運(yùn)維工作中存在的死角。該項(xiàng)目負(fù)責(zé)人姜巖在接受采訪時(shí)表示，由于運(yùn)維人員的不斷交替，對(duì)整個(gè)應(yīng)用系統(tǒng)缺乏清晰的認(rèn)識(shí)是運(yùn)維工作面臨的最大難題。

顯然，如果沒有一種有效的梳理手段支撐，企業(yè)要解決應(yīng)用梳理問題，無(wú)疑是一項(xiàng)充滿挑戰(zhàn)的工作。特別是在業(yè)務(wù)與IT系統(tǒng)越來(lái)越緊密關(guān)聯(lián)的趨勢(shì)下，業(yè)務(wù)運(yùn)行會(huì)很依賴IT系統(tǒng)的支持，如果缺乏對(duì)IT架構(gòu)的理解，每一個(gè)未知風(fēng)險(xiǎn)都可能導(dǎo)致業(yè)務(wù)的嚴(yán)重中斷；另一方面，業(yè)務(wù)快速變化也對(duì)IT運(yùn)維的敏捷性提出了前所未有的要求，運(yùn)維人員只有對(duì)IT架構(gòu)保持充分的了解，才能讓IT跟得上業(yè)務(wù)變化的節(jié)奏。因此，如今的運(yùn)維人員已經(jīng)不能僅滿足于知道有哪些應(yīng)用和節(jié)點(diǎn)部署在企業(yè)中，更需要知道它們之間是如何連接和交互的。

為此，姜巖和他的團(tuán)隊(duì)嘗試過多種方法，比如使用Agent模式、日志分析、代碼植入等方式，不過效果并不盡如人意。由于這些方式直接與被管理系統(tǒng)、應(yīng)用程序產(chǎn)生交互，也就是說(shuō)其在監(jiān)視數(shù)據(jù)產(chǎn)生的同時(shí)，本身也會(huì)消耗系統(tǒng)、應(yīng)用程序資源，而這往往會(huì)導(dǎo)致資源緊張，進(jìn)而導(dǎo)致業(yè)務(wù)處理性能下降，甚至有不少用戶因此而遭受了嚴(yán)重的業(yè)務(wù)中斷故障。

在經(jīng)過多方考量后，最終他們采用了基于網(wǎng)絡(luò)數(shù)據(jù)資源的應(yīng)用性能管理方法，使用CrossFlow BPC（Business Performance Center）網(wǎng)絡(luò)與應(yīng)用性能管理產(chǎn)品進(jìn)行應(yīng)用梳理，并進(jìn)行相關(guān)的監(jiān)控管理。

而之所以采用這樣的方式，也是因?yàn)樵诋?dāng)前的應(yīng)用架構(gòu)下，應(yīng)用服務(wù)層級(jí)劃分已十分清晰，各層級(jí)間的交易全部通過網(wǎng)絡(luò)傳輸來(lái)完成，基礎(chǔ)設(shè)施和交付設(shè)施本身都以服務(wù)為中心向應(yīng)用提供界限明確的服務(wù)功能，使得數(shù)據(jù)采集設(shè)備可以輕松獲取關(guān)鍵交易環(huán)節(jié)的網(wǎng)絡(luò)數(shù)據(jù)，這給網(wǎng)絡(luò)數(shù)據(jù)源的獲取帶來(lái)了極大的便利和靈活性。

據(jù)姜巖介紹，整個(gè)項(xiàng)目的實(shí)施主要有五個(gè)關(guān)鍵步驟，包括應(yīng)用整體監(jiān)控的標(biāo)準(zhǔn)化制定；監(jiān)控統(tǒng)一管理的必要性分析；明確監(jiān)控統(tǒng)一管理的主要目標(biāo)；掌握監(jiān)控統(tǒng)一管理的關(guān)鍵技術(shù)及監(jiān)控統(tǒng)一管理最終如何展現(xiàn)與運(yùn)用?！罢麄€(gè)項(xiàng)目的關(guān)鍵詞就是整體、統(tǒng)一?！苯獛r解釋說(shuō)，只有做到整體監(jiān)控、統(tǒng)一管理，才能使IT系統(tǒng)可視化，運(yùn)維工作才能得心應(yīng)手。

整體監(jiān)控 統(tǒng)一管理

在具體的實(shí)施過程中，姜巖首先對(duì)現(xiàn)有應(yīng)用系統(tǒng)的整體構(gòu)成做了全面了解、仔細(xì)排查，包括哪些應(yīng)用是跨節(jié)點(diǎn)、跨層面的，哪些應(yīng)用是多維度的；然后按照應(yīng)用構(gòu)成信息的不同（不同應(yīng)用的基礎(chǔ)層面構(gòu)成信息、應(yīng)用內(nèi)部構(gòu)成信息、應(yīng)用外部關(guān)聯(lián)信息等都不盡相同），設(shè)定不同的KPI監(jiān)控指標(biāo)，再根據(jù)相應(yīng)的指標(biāo)分發(fā)相應(yīng)的監(jiān)控策略。姜巖表示，這樣做的好處就是可以全方位多維度地梳理應(yīng)用監(jiān)測(cè)點(diǎn)，并以體系化的監(jiān)控指標(biāo)作為分發(fā)策略的參考。在此基礎(chǔ)上，構(gòu)建起了三層架構(gòu)的監(jiān)控統(tǒng)一管理平臺(tái)，其中包含監(jiān)控對(duì)象及代理層、監(jiān)控工具層及監(jiān)控管理平臺(tái)，進(jìn)而對(duì)應(yīng)用產(chǎn)生的數(shù)據(jù)進(jìn)行采集、處理、監(jiān)控及管理。

其中作為數(shù)據(jù)采集的關(guān)鍵，中間層的監(jiān)控工具層起著至關(guān)重要的作用。因此，據(jù)姜巖介紹，他們前后部署了多個(gè)監(jiān)控工具用以監(jiān)視各個(gè)部件的情況，有針對(duì)惠普小型機(jī)監(jiān)控的OVO、針對(duì)網(wǎng)絡(luò)事件監(jiān)控的SORLAWINDS、針對(duì)IBM小型機(jī)監(jiān)控的TIOVLI、針對(duì)數(shù)據(jù)庫(kù)監(jiān)控的OMS、針對(duì)應(yīng)用性能整體監(jiān)控的CrossFlow BPC及針對(duì)存儲(chǔ)環(huán)境監(jiān)控的SOC等。

其中針對(duì)小型機(jī)、存儲(chǔ)、網(wǎng)絡(luò)的監(jiān)控工具主要監(jiān)控的是單一類型的系統(tǒng)，而針對(duì)應(yīng)用性能監(jiān)控的CrossFlow BPC則能在一定程度上起到全局監(jiān)控的作用。因?yàn)楫?dāng)系統(tǒng)中的某一應(yīng)用出現(xiàn)故障時(shí)，CrossFlow BPC能夠及時(shí)發(fā)現(xiàn)，并追根溯源，進(jìn)行自動(dòng)故障定位，在呈現(xiàn)應(yīng)用故障對(duì)用戶體驗(yàn)影響的同時(shí)，指出導(dǎo)致問題發(fā)生的根源組件和原因。

CrossFlow BPC能夠通過交易筆數(shù)、成功率、響應(yīng)時(shí)間、響應(yīng)率及返回碼5個(gè)指標(biāo)及交易時(shí)間、交易筆數(shù)2個(gè)維度對(duì)關(guān)鍵業(yè)務(wù)指標(biāo)進(jìn)行統(tǒng)計(jì)，并進(jìn)行深入的分析。而其內(nèi)置的SPV Discovery還能自動(dòng)呈現(xiàn)被監(jiān)控網(wǎng)絡(luò)數(shù)據(jù)的IP連接性，快速梳理應(yīng)用組件之間的邏輯訪問關(guān)系。

也正是由于以上的種種特性，姜巖使用其對(duì)銀行的核心業(yè)務(wù)進(jìn)行監(jiān)控，通過關(guān)鍵交易當(dāng)前的狀態(tài)分析、性能趨勢(shì)對(duì)比、交易直接探測(cè)等措施，明確當(dāng)前的各項(xiàng)交易處于什么狀態(tài)、有無(wú)威脅，并通過CrossFlow BPC梳理各項(xiàng)應(yīng)用之間的邏輯關(guān)系，降低人為出錯(cuò)的可能性。

在實(shí)際環(huán)境中，當(dāng)其中某項(xiàng)業(yè)務(wù)出現(xiàn)故障時(shí)，CrossFlow BPC會(huì)以明顯的顏色加以區(qū)分，并告知故障定位及告警數(shù)目，以方便用戶做進(jìn)一步的故障判斷。

據(jù)姜巖介紹，通過上述一系列的應(yīng)用梳理，數(shù)據(jù)采集、處理、分析工作，并在監(jiān)控統(tǒng)一管理平臺(tái)統(tǒng)一呈現(xiàn)，最終實(shí)現(xiàn)了應(yīng)用整體監(jiān)控的既定目標(biāo)，即在應(yīng)用整體結(jié)構(gòu)管理方面，能夠梳理應(yīng)用整體結(jié)構(gòu)，達(dá)到自動(dòng)實(shí)時(shí)監(jiān)測(cè)；在應(yīng)用健康運(yùn)行監(jiān)視方面，做到實(shí)時(shí)采集并監(jiān)測(cè)應(yīng)用運(yùn)行的狀態(tài)；在應(yīng)用運(yùn)行故障預(yù)警方面，實(shí)時(shí)分析并監(jiān)控應(yīng)用運(yùn)行的關(guān)鍵KPI；在應(yīng)用運(yùn)行故障報(bào)警方面，實(shí)時(shí)自動(dòng)檢查應(yīng)用服務(wù)狀態(tài)的異常情況；在應(yīng)用故障原因分析方面，采集故障現(xiàn)場(chǎng)數(shù)據(jù)，并進(jìn)行關(guān)聯(lián)數(shù)據(jù)分析。

如今，通過新建立的監(jiān)控統(tǒng)一管理平臺(tái)，姜巖的運(yùn)維工作已經(jīng)變得得心應(yīng)手。姜巖表示，現(xiàn)在通過總行的告警監(jiān)控視圖，運(yùn)維人員可以輕松查看各個(gè)部分的運(yùn)行情況。當(dāng)某一部分出現(xiàn)故障時(shí)，通過整體報(bào)警消息，運(yùn)維人員可以做到快速接管、準(zhǔn)確檢查、全程跟蹤并及時(shí)通報(bào)。