廣東飛達(dá)交通工程有限公司 傅宏偉

引言

高速公路作為我國交通運(yùn)輸基礎(chǔ)設(shè)施建設(shè)的重要構(gòu)成，已在由信息化轉(zhuǎn)向數(shù)字化、智能化的快速發(fā)展階段。高速智能化發(fā)展方向主要集中在對管理系統(tǒng)的智能升級上，由監(jiān)控系統(tǒng)、通信系統(tǒng)、收費(fèi)系統(tǒng)三大系統(tǒng)組成的高速智能化交通系統(tǒng)，涵蓋了龐雜的數(shù)據(jù)信息，如何做好這些數(shù)據(jù)的統(tǒng)一管理、調(diào)用、分析、故障發(fā)現(xiàn)、告警準(zhǔn)確及時(shí)等運(yùn)維工作，是推動(dòng)高速數(shù)字化、智能化的關(guān)鍵所在。數(shù)據(jù)統(tǒng)一化管理后，由于各系統(tǒng)的告警信息的匯聚也帶來另外一個(gè)問題：各個(gè)業(yè)務(wù)系統(tǒng)及IT基礎(chǔ)設(shè)施產(chǎn)生大量的重復(fù)告警、錯(cuò)誤告警增加了監(jiān)控人員識別及確認(rèn)時(shí)間，尤其在網(wǎng)絡(luò)異常及設(shè)備/系統(tǒng)故障情況下，大量的重復(fù)、無效告警形成告警風(fēng)暴，干擾了監(jiān)控人員正常工作，嚴(yán)重降低工作效率。

1 系統(tǒng)架構(gòu)

告警總體處理系統(tǒng)架構(gòu)如圖1。數(shù)據(jù)層：集中接入高速公路上主線、隧道、橋梁、服務(wù)區(qū)機(jī)電系統(tǒng)的所有告警數(shù)據(jù)，包括機(jī)電設(shè)備、IT基礎(chǔ)設(shè)施、AIOT相關(guān)設(shè)備告警數(shù)據(jù)；處理層：系統(tǒng)基于配置管理庫及人工策略庫，關(guān)聯(lián)規(guī)則庫經(jīng)過告警收斂處理輸出有效告警；應(yīng)用層：告警經(jīng)過收斂分析處理以及分類、分優(yōu)先級別進(jìn)行系統(tǒng)展示和提醒。

圖1 總體處理系統(tǒng)架構(gòu)圖

告警收斂流程：告警收斂是指部分告警產(chǎn)生時(shí)往往會(huì)伴隨著其它告警。此時(shí)可只對根本原因產(chǎn)生告警，其它告警收斂為子告警一并發(fā)送通知，以此降低告警總體數(shù)量，降低監(jiān)控人員的重復(fù)確認(rèn)的工作頻率。其主要包括正確告警重復(fù)、錯(cuò)誤告警多次的數(shù)量壓縮，告警關(guān)聯(lián)關(guān)系合并。

告警數(shù)量壓縮是指同一重復(fù)告警在指定的時(shí)間內(nèi)壓縮為一條告警，重復(fù)告警發(fā)生時(shí)只累計(jì)告警的數(shù)量，不增加告警推送，當(dāng)一條告警確認(rèn)為誤報(bào)時(shí)，后續(xù)產(chǎn)生的同類型告警自動(dòng)確認(rèn)為誤報(bào)，直到設(shè)備故障恢復(fù)為止；告警關(guān)聯(lián)關(guān)系合并是指相關(guān)聯(lián)的設(shè)備針對同一故障發(fā)出多個(gè)告警，系統(tǒng)根據(jù)設(shè)備的關(guān)聯(lián)關(guān)系依賴性、從屬關(guān)系及關(guān)聯(lián)規(guī)則對告警進(jìn)行甄別和合并[1]。

告警收斂流程分為五個(gè)步驟：告警收斂規(guī)則發(fā)現(xiàn)、實(shí)時(shí)告警輸入、基于人工策略過濾、基于收斂關(guān)聯(lián)規(guī)則進(jìn)行處理和告警輸出及智能提醒。

1.1 告警收斂規(guī)則生成

本文選用一種基于機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典的FPgrowth（Frequent Pattern Growth）模型算法的告警收斂方案，其作用是找到項(xiàng)集數(shù)據(jù)中的頻繁項(xiàng)并生成關(guān)聯(lián)規(guī)則，較Apriori算法具有更高的效率。項(xiàng)集表示一組項(xiàng)目（告警）的集合，對于告警關(guān)聯(lián)分析，一起告警事件可看作為一個(gè)項(xiàng)集，支持度為項(xiàng)集的頻率。置信度反映了關(guān)聯(lián)規(guī)則的可靠程度，其值為項(xiàng)集M支持度與N支持度比值。提升度可表示關(guān)聯(lián)規(guī)則的相關(guān)性程度，提升度高于1時(shí)表示正相關(guān)，低于1時(shí)表示負(fù)相關(guān)。提升度的數(shù)值越大正相關(guān)程度越高，越小負(fù)相關(guān)程度越高。當(dāng)提升度等于1時(shí)表示不相關(guān)。

支持度：(X→Y)=P(X,Y)/P(I)=P(X∪Y)/P(I)=num(XUY)/num(I)；置信度：(X→Y)=P(Y|X)=P(X,Y)/P(X)=P(XUY)/P(X)；提升度：(X→Y)=P(Y|X)/P(Y)。

FP-growth告警收斂規(guī)則發(fā)現(xiàn)的流程如下：定義項(xiàng)目最小支持度，輪詢所有原始數(shù)據(jù)，計(jì)算所有告警項(xiàng)的支持度，從原始告警數(shù)據(jù)集中剔除小于最小支持度告警數(shù)據(jù)項(xiàng)目，按照最小支持度大小對告警數(shù)據(jù)重新排序；針對上一步告警數(shù)據(jù)，輪詢原始數(shù)據(jù)，創(chuàng)建FP樹并逐個(gè)添加項(xiàng)集；輪詢FP樹獲取關(guān)聯(lián)規(guī)則，并計(jì)算置信度。為更直觀地展示這一過程，從如下示例數(shù)據(jù)入手。

1.1.1 計(jì)算項(xiàng)的支持度

原始數(shù)據(jù)中各項(xiàng)集編號/項(xiàng)集分別為：1/ABCEFO，2/ACG，3/EI，4/ACDEG，5/ACEGL，6/EJ，7/ABECEFP，8/ACD，9/ACEGM，10/ACEGN。統(tǒng)計(jì)原始數(shù)據(jù)中各項(xiàng)的支持度，為更加直觀的展示實(shí)際效果，將項(xiàng)一共出現(xiàn)在了幾個(gè)項(xiàng)集中作為該項(xiàng)的支持度，比如對于項(xiàng)“A”，在項(xiàng)集1、2、4、5、7、8、9、10中都出現(xiàn)過，共出現(xiàn)在了8個(gè)項(xiàng)集中，則A的支持度為8，其余各項(xiàng)的支持度為：A、C、E為8，G為5，B、D、F為2，I、J、L、M、N、P、O為1。

1.1.2 確定支持度閾值

同樣的，F(xiàn)P-Growth算法也需要確定支持度閾值，假定支持度閾值設(shè)定為2；篩選頻繁項(xiàng)。不滿足支持度閾值的項(xiàng)將被刪去，則保留的項(xiàng)和支持度如下：A、C、E為8，G為5，B、D、F為2；根據(jù)項(xiàng)的支持度對項(xiàng)集排序。為了構(gòu)建樹結(jié)構(gòu)需要將剩余項(xiàng)按照支持度進(jìn)行排序，亦即按照A、C、E、G、B、D、F這一順序排序項(xiàng)集。（同支持度的項(xiàng)可以按照項(xiàng)的出現(xiàn)順序進(jìn)行排序，不同支持度的項(xiàng)按照支持度排序，如G的支持度為5、小于E的支持度，則排在E后）。

1.1.3 創(chuàng)建樹并逐個(gè)添加項(xiàng)集

獲得經(jīng)過排序后的頻繁項(xiàng)集后，將建立項(xiàng)頭表和FP樹，項(xiàng)頭表可以被認(rèn)為是頻繁項(xiàng)及節(jié)點(diǎn)鏈表的組合，F(xiàn)P樹可被認(rèn)為是將項(xiàng)集內(nèi)的節(jié)點(diǎn)一一映射到樹中，樹上的每個(gè)節(jié)點(diǎn)為一個(gè)項(xiàng)，這些節(jié)點(diǎn)都可通過項(xiàng)頭表內(nèi)的節(jié)點(diǎn)鏈表訪問到，也可通過樹的根節(jié)點(diǎn)訪問到。如圖2所示，掃描項(xiàng)集編號為1的項(xiàng)集[A、C、E、B、F]后，可建立項(xiàng)頭標(biāo)以及樹，項(xiàng)頭表第一列為項(xiàng)的編號，第二列為該項(xiàng)的支持度，第三列為節(jié)點(diǎn)鏈表的起始點(diǎn)。重復(fù)上述步驟，直到掃描完成所有項(xiàng)集，可得圖3結(jié)果，其中部分項(xiàng)無法僅用一個(gè)節(jié)點(diǎn)表示，如G在項(xiàng)集2和5中，項(xiàng)集分別為[A、C、G]和[A、C、E、G、D]，因此需采用鏈表鏈接兩個(gè)節(jié)點(diǎn)。

表1 根據(jù)項(xiàng)的支持度對項(xiàng)集排序

圖2 FP樹型圖

圖3 FP樹型圖

1.1.4 掃描FP樹并獲得關(guān)聯(lián)規(guī)則

建立FP樹后挖掘關(guān)聯(lián)規(guī)則，需要引入FPGrowth算法特有的條件模式基的概念，條件模式基是指某個(gè)項(xiàng)的前綴路徑的集合，即從根節(jié)點(diǎn)到該項(xiàng)所有節(jié)點(diǎn)走過的路徑組成的新的樹。如，假定希望挖掘與D有關(guān)的規(guī)則，則D的條件模式基為圖4標(biāo)紅部分。獲得D的條件模式基后，可看出共有兩個(gè)主要分支，即A-C-E-G-D和A-C-D，由于末端節(jié)點(diǎn)D的出現(xiàn)次數(shù)都為1，因此以上兩個(gè)分支的出現(xiàn)次數(shù)也為1，這一點(diǎn)通過原始數(shù)據(jù)也可看出。接著能判斷其中的公共分支為A-C-D，在兩個(gè)分支中各出現(xiàn)1次，一共出現(xiàn)了2次，由于支持度閾值為2，因此[A、C、D]為頻繁項(xiàng)集之一，其子集[A，C],[A，D],[C，D]也就都是頻繁項(xiàng)集。至此演示了如何挖掘頻繁項(xiàng)集。

圖4 FP樹型圖

1.1.5 生成關(guān)聯(lián)規(guī)則并計(jì)算置信度

在特定的場景下，如果僅僅是頻繁項(xiàng)集并不能滿足使用者的需求，還需要將他們轉(zhuǎn)化為關(guān)聯(lián)規(guī)則，并針對這些關(guān)聯(lián)規(guī)則的可信程度進(jìn)行評估。關(guān)聯(lián)規(guī)則的格式為：項(xiàng)X=＞項(xiàng)Y，這意味著獲得了一條規(guī)則，規(guī)則的含義為在項(xiàng)X存在的情況下、有很大概率項(xiàng)Y也會(huì)存在。而置信度則是對這一規(guī)則的可信程度的考量，置信度100%意味著項(xiàng)X存在的情況下項(xiàng)Y永遠(yuǎn)存在，而50%則意味著項(xiàng)X存在時(shí)只有50%的概率同時(shí)出現(xiàn)項(xiàng)Y。這一指標(biāo)可以通過計(jì)算項(xiàng)X和項(xiàng)Y的出現(xiàn)次數(shù)與項(xiàng)X單獨(dú)出現(xiàn)次數(shù)的比值獲得。

1.2 基于人工策略過濾

策略規(guī)則與監(jiān)控業(yè)務(wù)緊密相關(guān)，允許監(jiān)控人員根據(jù)業(yè)務(wù)需求進(jìn)行配置和管理，告警合并可按照配置單元、主機(jī)、監(jiān)控策略（時(shí)間段）、業(yè)務(wù)規(guī)則等合并；按照主機(jī)合并策略，是指當(dāng)多個(gè)告警來自一臺(tái)主機(jī)，系統(tǒng)將這些告警壓縮為一條告警，將多余的告警累計(jì)為該告警的關(guān)聯(lián)數(shù)量，從而達(dá)到告警壓縮收斂的效果。

按照配置單元合并是指當(dāng)多個(gè)告警來自于配置單元相關(guān)聯(lián)的配置項(xiàng)時(shí)，系統(tǒng)根據(jù)配置項(xiàng)相的依賴關(guān)系和主從關(guān)系，將強(qiáng)依賴和從屬關(guān)系配置項(xiàng)產(chǎn)生的告警歸并到一起發(fā)送；按監(jiān)控策略合并是指若一個(gè)監(jiān)控策略下多臺(tái)機(jī)器或?qū)嵗a(chǎn)生告警，則該策略下多余告警合并到一起；按業(yè)務(wù)規(guī)則合并是指按照預(yù)先指定的業(yè)務(wù)規(guī)則進(jìn)行告警合并[2]。

1.3 告警輸出及智能提醒

合并后的告警根據(jù)系統(tǒng)的嚴(yán)重等級及通知方式（告警警報(bào)、語音播報(bào)、系統(tǒng)彈窗）智能的分發(fā)給監(jiān)控人員進(jìn)行確認(rèn)和處理。

2 試點(diǎn)效果

告警收斂算法2022年2月在紫惠高速隧道通行安全管控系統(tǒng)中應(yīng)用，經(jīng)半年的持續(xù)優(yōu)化升級和運(yùn)行，系統(tǒng)可對監(jiān)測到的告警數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。本文對系統(tǒng)在2022年2月1日～2022年7月30日的告警數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，從圖5可知系統(tǒng)告警收斂率平均達(dá)到89%。

圖5 統(tǒng)計(jì)分析圖

目前該告警收斂算法已應(yīng)用于隧道安全管控系統(tǒng)智能告警子模塊并正式在紫惠高速上線使用，系統(tǒng)運(yùn)行半年運(yùn)行效果良好，系統(tǒng)能有效歸并重復(fù)告警和甄別錯(cuò)誤告警，提升告警的精準(zhǔn)性和及時(shí)性，從而減少監(jiān)控人員的告警信息人工判別和確認(rèn)的大量重復(fù)勞動(dòng)。

在系統(tǒng)實(shí)際的運(yùn)行中發(fā)現(xiàn)，告警的收斂效率跟收斂規(guī)則有關(guān)，同時(shí)告警系統(tǒng)本身的告警質(zhì)量也對告警收斂效率影響較大。在下一步工作中將采用深度學(xué)習(xí)算法優(yōu)化告警事件關(guān)聯(lián)模型，提升重復(fù)告警的收斂率，同時(shí)對各個(gè)業(yè)務(wù)系統(tǒng)的告警采集方法及告警判斷的標(biāo)準(zhǔn)進(jìn)行改進(jìn)及優(yōu)化，從而提高告警收斂率。