陳澤生

在醫(yī)療系統(tǒng)網(wǎng)絡(luò)、醫(yī)療業(yè)務(wù)應(yīng)用和數(shù)據(jù)中心運(yùn)維場(chǎng)景下，面對(duì)大量的醫(yī)療IT服務(wù)終端和系統(tǒng)以及其關(guān)聯(lián)關(guān)系的運(yùn)維工作，健康監(jiān)測(cè)工具是必不可少的，然而即使有了相關(guān)監(jiān)測(cè)工具后，隨之而來(lái)因醫(yī)務(wù)變更、維護(hù)配置變更、片區(qū)故障、人為失誤等異常情況導(dǎo)致的醫(yī)療系統(tǒng)告警風(fēng)暴和連鎖告警，往往讓運(yùn)維人員頭痛，有價(jià)值的告警信息往往會(huì)被告警風(fēng)暴淹沒(méi)掉，導(dǎo)致故障排查的響應(yīng)與分析定位工作受到很大阻礙，嚴(yán)重影響醫(yī)務(wù)工作的開(kāi)展，甚至?xí)?dǎo)致醫(yī)療事故。本文就醫(yī)療系統(tǒng)導(dǎo)致的告警風(fēng)暴的問(wèn)題，研究對(duì)其的收斂技術(shù)并加之實(shí)踐，進(jìn)一步提高檢測(cè)告警的有效性、及時(shí)性和精準(zhǔn)性，討論如何從告警風(fēng)暴中辨別出有效告警、重復(fù)告警和誤告警，如何精準(zhǔn)發(fā)現(xiàn)觸發(fā)其告警背后的醫(yī)療業(yè)務(wù)問(wèn)題根源，如何讓運(yùn)維人員從告警風(fēng)暴中釋放更多精力。

一、告警收斂整體框架設(shè)計(jì)

在醫(yī)療系統(tǒng)運(yùn)維監(jiān)測(cè)工作中，告警收斂是指對(duì)原始告警信息進(jìn)行分析和處理，以此來(lái)降低告警信息的整體數(shù)量規(guī)模。告警收斂的目的就是把無(wú)關(guān)的告警信息過(guò)濾或合并，盡量保留有價(jià)值的告警信息，幫助運(yùn)維人員作出快速而準(zhǔn)確的判斷。據(jù)此我們整個(gè)告警收斂框架設(shè)計(jì)主要分為四個(gè)步驟，包括原始告警輸入、相關(guān)性處理、告警收斂處理和主告警輸出。

（一）原始告警輸入

通過(guò)對(duì)接運(yùn)維監(jiān)控和日志等工具，把原始的告警、日志和指標(biāo)等信息按照標(biāo)準(zhǔn)化格式推送到告警收斂系統(tǒng)的告警事件庫(kù)，作為告警收斂的原始告警信息輸入。

（二）告警相關(guān)性處理

根據(jù)業(yè)務(wù)相關(guān)性，把輸入的數(shù)據(jù)進(jìn)行各種信息相關(guān)性處理，對(duì)告警信息進(jìn)行分層分組處理，形成具有較強(qiáng)業(yè)務(wù)相關(guān)性的告警堆棧陣列，作為下一步告警收斂處理的樣本。

（三）告警收斂處理

對(duì)告警堆棧陣列中的各個(gè)堆棧，適配各自的告警收斂策略算法，進(jìn)行自動(dòng)去重、自定義規(guī)則壓縮，以及基于關(guān)系拓?fù)渌惴ǖ氖諗?，?shí)現(xiàn)不同堆棧告警信息按照各自的業(yè)務(wù)規(guī)則進(jìn)行收斂和類(lèi)聚。

（四）主告警輸出

對(duì)進(jìn)行收斂處理后的主告警進(jìn)行輸出，包括收斂后主告警的標(biāo)識(shí)、收斂策略、壓縮量、新增的自定義維度等信息。并把主告警信息輸出到通知推送系統(tǒng)中，根據(jù)推送策略，向運(yùn)維人員推送郵件、短信、電話(huà)和第三方API發(fā)送告警通知；也可以把告警推送到根因分析模塊，與知識(shí)圖譜結(jié)合分析，智能識(shí)別和定位告警產(chǎn)生的根因問(wèn)題。

二、告警輸入與預(yù)處理的實(shí)現(xiàn)

原始告警信息來(lái)源于運(yùn)維監(jiān)控工具，包括Zabbix、Prometheus、Nagios、Open-Falcon等，我們可以采用HTTP API、ElasticSearch、郵件等多種方式從監(jiān)控工具中獲取到原始告警信息。以Zabbix為例，可通過(guò)Zabbix的觸發(fā)器動(dòng)作配置，把告警信息按照定義好的標(biāo)準(zhǔn)化格式推送到告警收斂系統(tǒng)的HTTP API，作為告警收斂的原始告警信息輸入。

三、告警相關(guān)性處理

原始告警輸入后，是一種無(wú)序散亂的形態(tài)，我們必須根據(jù)各種業(yè)務(wù)的特性和預(yù)警場(chǎng)景，對(duì)具有關(guān)聯(lián)性的告警進(jìn)行歸類(lèi)和打包。通過(guò)數(shù)據(jù)分層法和分組法，把告警分配到各個(gè)堆棧陳列中，并為各堆棧標(biāo)記上時(shí)間窗口和權(quán)重標(biāo)記。為了更好說(shuō)明，下面引用一個(gè)告警相關(guān)性處理例子。如下表是一組原始告警的輸入。

對(duì)原始數(shù)據(jù)進(jìn)行分層和分組處理，分層的維度可以按照告警的等級(jí)進(jìn)行劃分，分組的維度可以按照告警的類(lèi)別劃分，也可以根據(jù)業(yè)務(wù)特性按照不同的維度進(jìn)行劃分。劃分后形成的相關(guān)性堆棧陣列，然后把告警分配到各自的堆棧中。

四、告警收斂處理

對(duì)告警進(jìn)行相關(guān)性處理后，形成各個(gè)告警堆棧，根據(jù)堆棧的業(yè)務(wù)特性，關(guān)聯(lián)各個(gè)告警收斂策略，每個(gè)告警策略包含有一組或多組的收斂算法，常用的收斂算法有：

（一）時(shí)間窗口

根據(jù)每個(gè)堆棧的等級(jí)，定義每個(gè)堆棧的時(shí)間窗口，滿(mǎn)足時(shí)間窗口條件的告警觸發(fā)時(shí)間的告警，將會(huì)觸發(fā)一次收斂處理。例如A01堆棧設(shè)置了10分鐘的時(shí)間窗口，則每10分鐘對(duì)該堆棧中的告警進(jìn)行一次收斂處理。

（二）同類(lèi)去重

根據(jù)堆棧中告警的ID、對(duì)象、內(nèi)容、地域等信息匹配程度，自動(dòng)合并重復(fù)告警。例如樓宇片區(qū)停電的場(chǎng)景，對(duì)導(dǎo)致大量交換機(jī)告警內(nèi)容為“ping超時(shí)”的告警，可以根據(jù)告警的地域信息和告警內(nèi)容的同類(lèi)一致匹配性，達(dá)到自動(dòng)合并同類(lèi)告警的目的。

（三）自定義收斂規(guī)則

根據(jù)業(yè)務(wù)特性，自定義收斂規(guī)則，運(yùn)用正則表達(dá)式，對(duì)告警信息進(jìn)行提取，對(duì)符合正則表達(dá)式的告警進(jìn)行收斂壓縮。

（四）周期性收斂

在生產(chǎn)環(huán)境中會(huì)存在很多定時(shí)任務(wù)，如數(shù)據(jù)備份、定期重啟、晝夜策略變更等，這些定時(shí)任務(wù)的運(yùn)行可能會(huì)觸發(fā)某些告警，通過(guò)設(shè)置有針對(duì)性的時(shí)間表，與告警堆棧進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)基于時(shí)間表的周期收斂策略。

（五）靜默

某些業(yè)務(wù)的中斷會(huì)伴隨著一連串連鎖告警的觸發(fā)，而我們關(guān)注的只會(huì)是最關(guān)鍵的一個(gè)節(jié)點(diǎn)或指標(biāo)的告警，這個(gè)時(shí)候就需要把其他連鎖反應(yīng)的節(jié)點(diǎn)告警盡量靜默掉，使告警更精準(zhǔn)。

（六）基于拓?fù)潢P(guān)系的收斂

網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)都具有拓?fù)浠蛏舷掠蔚募?jí)聯(lián)關(guān)系，業(yè)務(wù)系統(tǒng)和組件之間的調(diào)用鏈也是存在類(lèi)似的依賴(lài)或映射關(guān)系，基于這種關(guān)系，位于拓?fù)潢P(guān)系上層節(jié)點(diǎn)或指標(biāo)產(chǎn)生的上游告警必然會(huì)連鎖觸發(fā)下游告警，我們把這種關(guān)系轉(zhuǎn)換為“節(jié)點(diǎn)IP+告警觸發(fā)器”組合的上下游關(guān)系，即可實(shí)現(xiàn)告警與告警之間的層級(jí)圖譜關(guān)系，進(jìn)而實(shí)現(xiàn)基于拓?fù)潢P(guān)系的告警收斂。例如以下是一組簡(jiǎn)單的拓?fù)涫纠?wù)器主機(jī)與網(wǎng)絡(luò)交換機(jī)的連接關(guān)系：

● 【上游】節(jié)點(diǎn)：10.12.20.1，對(duì)象：網(wǎng)絡(luò)交換機(jī)

● 【下游】節(jié)點(diǎn)：172.16.4.1，對(duì)象：服務(wù)器主機(jī)

上游節(jié)點(diǎn)產(chǎn)生的網(wǎng)絡(luò)中斷、硬件告警、流量擁塞等高等級(jí)告警，很大可能會(huì)導(dǎo)致下游節(jié)點(diǎn)也產(chǎn)生一系列的告警，有了這種拓?fù)潢P(guān)系，我們就可以通過(guò)收斂掉其下游節(jié)點(diǎn)的告警，歸并到上游節(jié)點(diǎn)的主告警上。這種拓?fù)潢P(guān)系可以以數(shù)據(jù)表的方式構(gòu)建，也可以基于已有的拓?fù)鋱D或CMDB圖譜來(lái)構(gòu)建。

五、主告警輸出

多條告警收斂處理后形成的一條主告警，主告警信息可以包括標(biāo)識(shí)、收斂策略、壓縮量、以及一些基于根因判斷知識(shí)的自定義維度等信息。把主告警信息輸出到通知推送系統(tǒng)中，根據(jù)推送策略，向運(yùn)維人員推送郵件、短信、電話(huà)和第三方API發(fā)送告警通知。也可以把告警推送到根因分析模塊，與知識(shí)圖譜結(jié)合分析，智能識(shí)別和定位告警產(chǎn)生的根因問(wèn)題。

六、結(jié)語(yǔ)

本文提出了應(yīng)對(duì)醫(yī)療系統(tǒng)海量告警風(fēng)暴的告警收斂整體框架構(gòu)想，通過(guò)對(duì)多個(gè)醫(yī)療系統(tǒng)的原始告警輸入、告警相關(guān)性處理、告警收斂處理和主告警輸出四個(gè)步驟，通過(guò)對(duì)原始告警的分層分組方法相關(guān)性處理，把原始告警類(lèi)聚到各個(gè)業(yè)務(wù)堆棧中，再通過(guò)時(shí)間窗口、同類(lèi)去重、收斂規(guī)則、基于拓?fù)潢P(guān)系等多種告警收斂算法，實(shí)現(xiàn)告警的收斂。目前該醫(yī)療告警收斂系統(tǒng)已在市＼區(qū)醫(yī)院醫(yī)療系統(tǒng)中正式上線(xiàn)運(yùn)行，運(yùn)行效果良好，能為運(yùn)維人員提供簡(jiǎn)潔而準(zhǔn)確的告警推送，提高了運(yùn)維效率的同時(shí)大大降低了運(yùn)維人員的告警信息分析負(fù)擔(dān)。