［羅春艷 萬能］

1 引言

隨著移動通信網(wǎng)絡(luò)規(guī)模的不斷擴大，支撐網(wǎng)的告警種類、告警數(shù)量以及多源告警設(shè)備之間的告警信息也不斷增加[1]。然而，在現(xiàn)有的告警事務(wù)數(shù)據(jù)中的關(guān)聯(lián)規(guī)則只要依賴于專家經(jīng)驗，導(dǎo)致網(wǎng)絡(luò)故障根因分析效率不高，精度時好時壞[2]。另外，在網(wǎng)絡(luò)分布式環(huán)境下由于告警事務(wù)數(shù)據(jù)分布不均勻的問題，傳統(tǒng)集中式關(guān)聯(lián)規(guī)則挖掘方法很難確定最小支持度和最小置信度，從而使得關(guān)聯(lián)規(guī)則方法在某些區(qū)域中效果顯著，在某些區(qū)域中效果不理想。除此之外，傳統(tǒng)集中關(guān)聯(lián)規(guī)則采用專家經(jīng)驗設(shè)定的最小支持度和置信度也不適用于分布式環(huán)境下關(guān)聯(lián)規(guī)則的制定。為此，本文提出一種基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則處理技術(shù)，該技術(shù)通過貝葉斯深度學(xué)習(xí)的方法很好地解決了告警事務(wù)不均勻所導(dǎo)致的網(wǎng)絡(luò)故障根因分析效率和精度的問題，利用局部模型獲取的支持度和置信度分析全局模型中支持度和置信度分布，進而確定全局模型最小支持度和置信度，避免專家經(jīng)驗設(shè)定最小支持度和置信度所出現(xiàn)的效率不高和精度不高的問題。

2 相關(guān)方法

2.1 告警事務(wù)數(shù)據(jù)預(yù)處理方法

文獻[3～4]認為相鄰時間窗口的告警事務(wù)數(shù)據(jù)具有相似特征，因此在告警事務(wù)數(shù)據(jù)提取時，可以根據(jù)需求對告警事務(wù)數(shù)據(jù)進行壓縮處理，從而降低告警事務(wù)數(shù)據(jù)的冗余性。然而，基于滑動時間窗口的告警事務(wù)數(shù)據(jù)提取方式雖然簡單，但是也有很多不足，比如：滑動窗口假定數(shù)據(jù)告警事務(wù)數(shù)據(jù)分布是均勻的，并且在滑動時間窗口寬度確定的情況下，不同時間段所提取出來的告警事務(wù)數(shù)據(jù)質(zhì)量存在不一致現(xiàn)象，因此，采用固定時間窗口寬度提取的告警事務(wù)數(shù)據(jù)通常存在數(shù)據(jù)質(zhì)量不高的現(xiàn)象。

為了解決滑動時間窗口提取告警事務(wù)數(shù)據(jù)所帶來的問題，研究人員采用聚類算法對告警事務(wù)數(shù)據(jù)進行預(yù)處理。該方法利用有用告警事務(wù)數(shù)據(jù)稀疏特性，將告警時間段具有強相關(guān)性特征的事務(wù)數(shù)據(jù)進行提取，并基于文本相似度對提取的事務(wù)數(shù)據(jù)進行聚合形成告警事務(wù)數(shù)據(jù)簇，大大降低告警事務(wù)數(shù)據(jù)提取所帶來的數(shù)據(jù)冗余量過多的問題。告警事務(wù)數(shù)據(jù)預(yù)處理的流程如圖1 所示。

圖1 告警事務(wù)數(shù)據(jù)預(yù)處理流程

2.2 告警事務(wù)數(shù)據(jù)關(guān)聯(lián)性分析

網(wǎng)絡(luò)一種故障告警會引發(fā)多個設(shè)備告警行為，因此告警事務(wù)存儲數(shù)據(jù)庫中會存在數(shù)量非常龐大的告警信息。為了有效減少網(wǎng)絡(luò)管理人員的工作量，通過分析告警事務(wù)數(shù)據(jù)關(guān)聯(lián)性，結(jié)合關(guān)聯(lián)規(guī)則構(gòu)建告警關(guān)聯(lián)規(guī)則庫，并基于關(guān)聯(lián)結(jié)果定位網(wǎng)絡(luò)故障，實現(xiàn)告警事務(wù)數(shù)據(jù)的精準分析。

（1）基于文本相似度的告警事務(wù)數(shù)據(jù)聚合方法

為了解決不同設(shè)備所采集的告警時刻不一致問題，通常采用屬性相似度分析的方法[2～4]來實現(xiàn)告警事務(wù)數(shù)據(jù)聚合。假設(shè)經(jīng)過處理之后的告警事務(wù)數(shù)據(jù)可以用一個七元組進行表示其中，id表示告警事務(wù)數(shù)據(jù)的序號，timestamp表示告警事務(wù)數(shù)據(jù)的時間標(biāo)簽，src表示告警事務(wù)數(shù)據(jù)的源IP 地址，dst表示告警事務(wù)數(shù)據(jù)的目的IP 地址，mag表示告警事務(wù)數(shù)據(jù)的告警類別，sport表示告警事務(wù)數(shù)據(jù)的源端口，dport表示告警事務(wù)數(shù)據(jù)的目的端口?；诟婢瘜傩裕ǔ龝r間標(biāo)簽外）的相似度計算告警事務(wù)數(shù)據(jù)的整體相似性。

γij表示兩個告警事務(wù)數(shù)據(jù)的數(shù)據(jù)之間的相似性，告警事務(wù)數(shù)據(jù)采用七元組類似文本的方式進行處理，進而采用余弦相似性的方式來衡量告警數(shù)據(jù)之間的相似度。表示第i 個告警事務(wù)數(shù)據(jù)的數(shù)據(jù)，表示第j 個告警事務(wù)數(shù)據(jù)的數(shù)據(jù)。結(jié)合公式1 衡量告警事務(wù)數(shù)據(jù)庫中兩兩告警事務(wù)數(shù)據(jù)的相似性，如果相似性大于設(shè)定的閾值γθ，那么將兩個告警事務(wù)數(shù)據(jù)進行聚合，聚合的方式通常隨機刪除的方法對高相似度的告警數(shù)據(jù)進行剔除，進而降低告警事務(wù)數(shù)據(jù)的冗余度。

（2）基于關(guān)聯(lián)規(guī)則匹配的告警事務(wù)數(shù)據(jù)處理

在對告警事務(wù)數(shù)據(jù)進行合并后，傳統(tǒng)方法采用關(guān)聯(lián)規(guī)則來處理告警事務(wù)數(shù)據(jù)序列，并基于告警事務(wù)數(shù)據(jù)序列挖掘k-項集，結(jié)合設(shè)定的支持度和置信度挖掘告警事務(wù)數(shù)據(jù)的頻繁k-項集，產(chǎn)生告警關(guān)聯(lián)規(guī)則。

如果k-項集支持度滿足支持度閾值，那么集合X 稱為D 的k-項集。

其中，support(X)表示項集X 的支持度σX表示數(shù)據(jù)集D 中包含項集X 的數(shù)量，D 表示數(shù)據(jù)集中總的項集數(shù)量。（3）

其中，confident{D?X}表示頻繁項集X 的置信度，置信度是衡量告警事件事務(wù)數(shù)據(jù)發(fā)生的條件概率的穩(wěn)定性程度。

傳統(tǒng)的方法是通過人工的方式設(shè)置支持度閾值和置信度閾值，當(dāng)support(X)大于設(shè)定的支持度閾值時且confident{D?X}大于設(shè)定的置信度閾值時，則項集X 為頻繁項集。

基于公式2 和公式3，可以從告警事務(wù)數(shù)據(jù)集D 找出滿足要求的頻繁項集。

（3）基于LSTM 的告警故障類型識別與定位

由于告警事務(wù)數(shù)據(jù)涉及不同的告警信息，通過機器學(xué)習(xí)將告警信息的特征與故障類別進行相關(guān)性分析，實現(xiàn)告警故障的自動識別。目前告警故障類型識別模型有很多，包括支持向量機[5～6]、貝葉斯模型[7～8]、隨機森林[9～10]、BP神經(jīng)網(wǎng)絡(luò)[11～12]等。這些模型都是將經(jīng)過關(guān)聯(lián)規(guī)則分析的歷史告警事務(wù)數(shù)據(jù)的序列與人工經(jīng)驗設(shè)定的故障類型標(biāo)簽建立相關(guān)模型后，然后模式匹配的方式實現(xiàn)告警故障類型的預(yù)測。如果經(jīng)過關(guān)聯(lián)規(guī)則分析的歷史告警事務(wù)數(shù)據(jù)序列中蘊含了n 項告警，在對應(yīng)的檢測窗口中n 項序列與待預(yù)測的經(jīng)過關(guān)聯(lián)規(guī)則分析的告警序列相匹配，那么就能夠?qū)崿F(xiàn)告警故障類型識別；最后，基于告警故障類型發(fā)生的告警位置確定故障所在的位置。

然而，如何設(shè)置合理的支持度閾值和置信度閾值是告警事務(wù)數(shù)據(jù)處理的關(guān)鍵問題，因為合理的支持度閾值和置信度閾值直接影響頻繁項集的數(shù)量，也會直接影響告警故障類別識別的準確率。因此，本文基于分布式挖掘的方法挖掘告警關(guān)聯(lián)規(guī)則。也就是采用貝葉斯深度學(xué)習(xí)的方法實現(xiàn)頻繁項集支持度和置信度進行分布估計，從而為頻繁項集支持度閾值和置信度閾值的設(shè)定提供數(shù)據(jù)基礎(chǔ)。

3 基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則分析

隨著網(wǎng)絡(luò)規(guī)模的迅速擴大以及云計算大數(shù)據(jù)技術(shù)的快速發(fā)展，大規(guī)模數(shù)據(jù)的存儲、實時分析成為可能。然而，當(dāng)前的移動通信支撐網(wǎng)是2/3/4/5G 共存的異構(gòu)網(wǎng)絡(luò)，網(wǎng)絡(luò)的分層異構(gòu)特點使得傳統(tǒng)的集中處理告警數(shù)據(jù)方法難以滿足現(xiàn)有實時分析的要求，因此，分布式挖掘方法成為支撐網(wǎng)告警數(shù)據(jù)實時分析的重要訴求。

傳統(tǒng)的分布式挖掘方法通常采用縮小增量學(xué)習(xí)[13～15]和共享式投票的分布式算法[16～17]實現(xiàn)告警頻繁模式建模，這些方法雖然能夠?qū)Ψ植际降臄?shù)據(jù)進行實時學(xué)習(xí)，然而沒有從全局的角度考慮數(shù)據(jù)樣本分布的情況，因此在構(gòu)建告警關(guān)聯(lián)規(guī)則模式時有可能因為數(shù)據(jù)分布差異問題導(dǎo)致模型精度不高。為了解決數(shù)據(jù)分布差異問題，本文采用貝葉斯深度學(xué)習(xí)的方法實現(xiàn)告警關(guān)聯(lián)規(guī)則分布的估計，也就是基于所獲得的頻繁項集后，從全局的角度采用貝葉斯深度學(xué)習(xí)的方法對頻繁項集支持度和置信度進行分布估計，從而獲得全局角度下頻繁項集的支持度和置信度，實現(xiàn)中心模型的構(gòu)建，具體的流程如圖2 所示。

圖2 基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則分析流程

3.1 局部模型訓(xùn)練方法

本文采用聚類算法和滑動時間窗口算法對告警數(shù)據(jù)進行過濾后，對網(wǎng)絡(luò)中發(fā)生頻率較低、持續(xù)時間短的顫動告警數(shù)據(jù)進行提出，減少告警事務(wù)數(shù)據(jù)中的“噪音”，為告警事務(wù)數(shù)據(jù)的頻繁項集提供良好的數(shù)據(jù)基礎(chǔ)。

在此基礎(chǔ)上，本文采用基于文本相似度告警信息聚合，進一步壓縮數(shù)據(jù)量?？紤]到告警故障將會在特定的時間段產(chǎn)生大量的告警事務(wù)數(shù)據(jù)，雖然每一個告警設(shè)備產(chǎn)生的告警事務(wù)數(shù)據(jù)在時間上具有一定的差異性，但是從告警事務(wù)數(shù)據(jù)分布來看，各個設(shè)備所產(chǎn)生的告警事務(wù)數(shù)據(jù)在相似時間段會產(chǎn)生相似類型的告警屬性數(shù)據(jù)。基于上述的分析，假設(shè)經(jīng)過處理之后的告警事務(wù)數(shù)據(jù)采用文本相似度的告警信息相似度衡量公式為：

告警事務(wù)信息整合后，采用關(guān)聯(lián)規(guī)則的方法獲取不同區(qū)域支撐網(wǎng)的告警事務(wù)項項集以及各項集的支持度和置信度，形成局部模型。

3.2 基于貝葉斯深度學(xué)習(xí)的支持度和置信度數(shù)值估計

貝葉斯深度學(xué)習(xí)的思路是把參數(shù)分布作為神經(jīng)網(wǎng)絡(luò)的輸入，然后通過反向傳播優(yōu)化貝葉斯深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而確定參數(shù)的最終分布；結(jié)合參數(shù)分布確定參數(shù)的取值范圍，為全局模型的構(gòu)建提供數(shù)據(jù)基礎(chǔ)?；谪惾~斯深度學(xué)習(xí)的參數(shù)估計過程如圖3 所示。

圖3 基于貝葉斯深度學(xué)習(xí)的參數(shù)估計過程圖

假設(shè)某一個局部模型的告警事務(wù)項集和故障類型訓(xùn)練集為D 為{xi，yi}，第i 項告警事務(wù)項集的支持度服從均值為μi，方差為δi的高斯分布基于貝葉斯深度學(xué)習(xí)的損失函數(shù)為：

其中，δ1、δ2、δ、π是超參數(shù)，需要提前設(shè)置。ypred是基于告警事務(wù)項集所得出的故障類型的預(yù)測值，yj表示基于告警事務(wù)項集所設(shè)定的故障類型的標(biāo)簽值。

在局部模型頻繁項集產(chǎn)生的基礎(chǔ)上，結(jié)合支持度和置信度分布確定最小支持度和最小置信度（假設(shè)第i 項告警事務(wù)項集的支持度取值大于1 倍標(biāo)準值），以此篩選滿足條件的告警頻繁項集后，得到全局模型的所有頻繁項集。

3.3 基于LSTM 預(yù)測故障類型和故障概率

采用LSTM（Long Short Term Memory，長短記憶）神經(jīng)網(wǎng)絡(luò)預(yù)測故障發(fā)生的概率，輸入由告警事務(wù)項集，經(jīng)過多個隱含層實現(xiàn)告警故障類型以及告警故障概率。

圖4 基于LSTM 預(yù)測故障類型和故障概率流程圖

4 實驗分析

實驗采用某地市2020 年1～9 月的部分告警數(shù)據(jù)共768 035 條，未發(fā)生告警數(shù)據(jù)共359 025 821 條，從上述告警數(shù)據(jù)和未發(fā)生告警數(shù)據(jù)中提取30%作為測試數(shù)據(jù)集對模型的驗證，剩下的70%作為訓(xùn)練數(shù)據(jù)集對模型參數(shù)進行計算。

首先經(jīng)過聚類和滑動窗口處理得到合并后的告警事務(wù)序列后，分別采用本文的方法和共享式投票的分布式算法實現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測。

本文算法思路是：基于貝葉斯深度學(xué)習(xí)的支持度和置信度數(shù)值估計后，結(jié)合支持度和置信度數(shù)值分布過濾不滿足頻繁項集得到滿足條件的頻繁項集后采用LSTM 實現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測。

共享式投票的分布式算法是將局部模型進行加權(quán)平均后獲得全局模型頻繁項集支持度和置信度數(shù)值，結(jié)合最小支持度（通常大于支持度均值）和最小置信度數(shù)值（通常大于置信度均值）過濾不滿足頻繁項集得到滿足條件的頻繁項集后采用LSTM 實現(xiàn)告警類型和各類型發(fā)生概率的預(yù)測。

基于上述兩種不同的方法，得到滿足k-繁項集的數(shù)量對比如表1 所示。

表1 k-頻繁項集的數(shù)量對比

在獲取頻繁項集的基礎(chǔ)上，分別將上述的頻繁項集輸入到LSTM 中，得到模型的準確率和召回率對比如表2所示。

表2 k-頻繁項集輸入到LSTM 的準確率

由此可知，基于貝葉斯深度學(xué)習(xí)算法所獲得的支持度和置信度分布后，基于分布過濾滿足條件的頻繁項集用于網(wǎng)絡(luò)故障預(yù)測的準確率和召回率均比共享式投票的分布式算法高，這是因為貝葉斯深度學(xué)習(xí)對頻繁項集支持度和置信度的分布進行估計后，能夠從全局的角度考慮支持度和置信度的數(shù)值范圍，并基于統(tǒng)計角度來獲取最小支持度和置信度（大于1 倍標(biāo)準值），而共享式投票僅僅采用加權(quán)平均的方式獲得最小支持度和置信度，這種方法將所有局部模型的重要性視為一致，而沒有考慮不同局部模型數(shù)據(jù)分布不一致的問題，因此在準確率和召回率（特別是項集數(shù)量較小的情況下）較低。

5 結(jié)束語

本文針對現(xiàn)有關(guān)聯(lián)規(guī)則挖掘的方法沒有考慮到分布式環(huán)境下數(shù)據(jù)量和數(shù)據(jù)分布存在的問題所導(dǎo)致關(guān)聯(lián)規(guī)則效率和精度不高的問題，提出了一種基于分布式挖掘的支撐網(wǎng)告警關(guān)聯(lián)規(guī)則處理技術(shù)。該技術(shù)通過聚類算法和滑動窗口對告警事務(wù)數(shù)據(jù)進行預(yù)處理，找出一個告警事務(wù)數(shù)據(jù)密集集合，并通過滑動窗口找到相似時間發(fā)生的告警，從而形成告警事務(wù)數(shù)據(jù)存儲庫后，采用貝葉斯深度學(xué)習(xí)的方法實現(xiàn)告警事務(wù)頻繁項集支持度和置信度數(shù)值分布的估計，從而為分布式環(huán)境下告警事務(wù)數(shù)據(jù)分布式挖掘提供了科學(xué)的數(shù)據(jù)基礎(chǔ)，形成了告警事務(wù)關(guān)聯(lián)規(guī)則庫。最后，采用LSTM 的方法挖掘預(yù)測故障類型和故障概率，實現(xiàn)告警預(yù)警。實驗表明，本文所提出的方法在實際應(yīng)用中驗證了技術(shù)的可行性，可為分布式告警預(yù)測提供理論支撐。