蔣家駒 王伊婷 趙 娟 紀應天 呂 嚴 孟 浩

1.中國移動紫金（江蘇）創(chuàng)新研究院；2.中國移動通信研究院；3.中國移動通信集團江蘇有限公司

0 引言

隨著5G、NFV業(yè)務的逐步擴大，網(wǎng)絡逐漸呈現(xiàn)出IT化、切片化、垂直化、定制化的四化特征。由于四化特征的影響，網(wǎng)絡專業(yè)細化越來越明顯，導致原本純專家經(jīng)驗的運維模式很難繼續(xù)維系，故障隱患越來越難被發(fā)現(xiàn)。針對這一難題，本文提出了一種基于異常值檢測的核心網(wǎng)隱患故障發(fā)現(xiàn)算法，通過引入設備告警、性能指標、撥測數(shù)據(jù)、工程信息等網(wǎng)絡情況的表征數(shù)據(jù)，利用KDE（核密度估計）、PYOD（python異常檢測算法工具）等機器學習、深度學習算法，對網(wǎng)絡設備的表征數(shù)據(jù)的分布密度函數(shù)進行重建，并基于此概率分布密度模型對數(shù)據(jù)存在的異常概率點進行標注，從而發(fā)現(xiàn)網(wǎng)絡中的異常點也就是故障隱患點。最后進行多維網(wǎng)絡數(shù)據(jù)的橫向比較，從而判斷影響網(wǎng)絡健康的具體指標，輸出健康度畫像報告。

1 相關背景和研究

故障隱患發(fā)現(xiàn)是現(xiàn)網(wǎng)設備運行維護工作中的重要一環(huán)，維護人員通過對現(xiàn)網(wǎng)運行數(shù)據(jù)進行分析，從而發(fā)現(xiàn)網(wǎng)絡存在的故障隱患，并將其解決。目前主要的網(wǎng)絡故障隱患的發(fā)現(xiàn)方法有告警提示法、性能指標法、業(yè)務撥測法。其中告警提示法是通過監(jiān)控設備告警來發(fā)現(xiàn)網(wǎng)絡故障，但是隨著設備的增多，僅靠人力已無法監(jiān)控全量告警信息，可能會出現(xiàn)漏失故障信息的情況。性能指標法對網(wǎng)絡運行中的各類業(yè)務KPI指標設置固定閾值，當指標低于閾值時，便會產(chǎn)生相關告警，從而發(fā)現(xiàn)故障，但是固定閾值會導致該方法的適應能力較差。業(yè)務撥測法會模擬用戶使用網(wǎng)絡業(yè)務，正常情況下，撥測都會順利完成，當故障發(fā)生時，業(yè)務撥測會失敗，從而發(fā)現(xiàn)故障，但業(yè)務撥測法發(fā)現(xiàn)的故障在網(wǎng)絡中已經(jīng)真實發(fā)生，存在一定的滯后性，同時因為撥測需要占用大量卡號資源，使用成本較高?；诂F(xiàn)狀分析可以發(fā)現(xiàn)，研發(fā)一種對人力要求低、適應能力強、實時性強的故障隱患發(fā)現(xiàn)方法就是運營商迫切需要解決的問題。

近年來，隨著人工智能水平的發(fā)展，基于大數(shù)據(jù)的異常檢測方法已經(jīng)逐步完善，Markus等提出了基于直方圖的異常值得分方法（Histogram-based Outlier Score，HBOS），通過分析歷史的離群點檢測異常；Yue Zhao等提出的多個異常檢測算法的并行集成框架（Locally Selective Combination in Parallel Outlier Ensembles，LSCP）提供了多異常模型并行處理思路；Breunig等提出了局部離群因子檢測方法（Local Outlier Factor，LOF），通過分析樣本點的鄰域密度檢測異常；Kriegel等提出了基于角度的離群點檢測方法（Angle-based outlier detection，ABOD），通過計算每個樣本與所有其他樣本對所形成的夾角的方差檢測異常。通過這些異常檢測算法可以發(fā)現(xiàn)與大部分樣本不同的對象，也就是數(shù)據(jù)的離群點。對于網(wǎng)絡的運行指標而言，通過異常檢測發(fā)現(xiàn)的離群點就可能是網(wǎng)絡的運行異常狀態(tài)表征。

2 基于異常檢測的網(wǎng)絡隱患發(fā)現(xiàn)方法

前文所述的，通過異常檢測方法可以發(fā)現(xiàn)網(wǎng)絡指標的離群點，也就是網(wǎng)絡的異常狀態(tài)。目前網(wǎng)絡狀態(tài)表征數(shù)據(jù)主要有告警數(shù)據(jù)、性能數(shù)據(jù)、撥測數(shù)據(jù)、工程割接數(shù)據(jù)等。

告警數(shù)據(jù)波動是網(wǎng)絡狀態(tài)出現(xiàn)異常時最為直觀的體現(xiàn)，其中告警量size，為當前5分鐘時間切片內的告警量；1天環(huán)比告警量差值diff1day為當前時刻與昨日同時刻告警量的差值大小，計算公式diff1day=sizetoday-sizeyesterday；1周環(huán)比告警量差值diff7day為當前時刻與上周同時刻告警量的差值，計算公式diff7day=sizetoday-sizelastweek；同池組告警量差值pool_diff為當前時刻下，本設備與本設備所屬的池組下其他設備的告警量差值，計算公式pool_diff=sizetoday-1/nΣpoolsize。對告警量、1天環(huán)比告警量差值、1周環(huán)比告警量差值、同池組告警量差值進行異常檢測可以捕捉設備自身或池組內部的告警異常波動情況。

性能數(shù)據(jù)是網(wǎng)絡設備運行穩(wěn)定性的體現(xiàn)指標，根據(jù)網(wǎng)絡設備的不同分類，如表1所示，又可將性能指標分為信令面指標和用戶面指標兩類，對這兩類性能指標進行異常檢測可以發(fā)現(xiàn)網(wǎng)絡中出現(xiàn)波動的不穩(wěn)定點。

表1 模型輸入性能數(shù)據(jù)表

將告警數(shù)據(jù)、性能數(shù)據(jù)以及撥測數(shù)據(jù)和工程割接數(shù)據(jù)帶入異常檢測模型進行計算，模型選擇python的異常檢測工具PYOD庫，選取的算法包含以下12種異常檢測算法，如表2所示，并按圖1流程進行模型分析，最終輸出數(shù)據(jù)是否異常的判定結果。

圖1 PYOD異常檢測流程圖

表2 PYOD庫引入算法表

網(wǎng)絡運行數(shù)據(jù)經(jīng)過異常檢測模型會輸出當前時刻是否為異常的判斷，但此時并不確定哪個數(shù)據(jù)維度才是引起設備異常的主因，所以還需要進行主要異常維度判斷。在輸入核密度估計模型進行主因確認前，需要對多維數(shù)據(jù)進行預處理：

（1）對于信令面性能指標“TAU成功率”、“附著成功率”、“業(yè)務請求成功率”、“X2切換成功率”、“尋呼成功率”，用戶面性能指標“HTTP會話響應成功率大于500KB”，采用公式1進行預處理計算：

其中p為原始值，p'為預處理后后續(xù)模型的輸入值。

（2）對于上述經(jīng)過公式1計算的信令面指標以及用戶面性能指標“HTTP會話平均響應時延大于500KB（ms）”、“HTTP下載速率大于500KB（Kbps）”、“HTTP500下行流量（MB）”，采用公式2來進行歸一化處理：

其中x為原始值，xmin為7日內該維度的最小值，xmax為7日內的最大值，x'為預處理后后續(xù)模型的輸入值。

（3）對于告警類數(shù)據(jù)“size”、“diff1day”、“diff7day”、“pool_diff”，首先進行歸一化處理：

其中a為原始值，amin為7日內該維度的最小值，amax為7日內的最大值，a'為歸一化值。

考慮到size的業(yè)務含義即網(wǎng)元告警量滿足泊松分布，開方處理使這些指標轉變?yōu)楦咚狗植?，并保留符號?/p>

其中a'為公式3得出的歸一化值，a''為高斯變換后的值。

將預處理后的數(shù)據(jù)輸入核密度KDE模型進行密度擬合，輸入數(shù)據(jù)的時間長度為近7日，總計7*12*24=2016個輸入數(shù)據(jù)。由于數(shù)據(jù)已經(jīng)轉變?yōu)楦咚狗植?，選擇高斯核的核密度函數(shù)繼續(xù)計算：

其中K（x）為核密度函數(shù)，這里使用了高斯核密度函數(shù)。x為輸入數(shù)據(jù)。h為帶寬（bandwidth），是模型訓練的另一個參數(shù)，這里使用公式6進行確定：

其中R（k），m2（k）滿足：

n為輸入數(shù)據(jù)數(shù)，即2016。

至此可利用公式5進行核密度估計，計算得到輸入數(shù)據(jù)的change degree，也就是在核密度中的概率，流程如圖2所示。

圖2 核密度估計變化率計算流程圖

由于核密度估計為純數(shù)據(jù)分析，在結果輸出時還需結合固化經(jīng)驗對其進行修正，以增加結果準確性。

（1）對于信令面性能指標“TAU成功率”、“附著成功率”、“業(yè)務請求成功率”、“X2切換成功率”、“尋呼成功率”，用戶面性能指標“HTTP會話響應成功率大于500KB”、“HTTP下載速率大于500KB（Kbps）”，這7個指標出現(xiàn)原始值大于歷史7天均值時，change degree置為0。

（2）對于用戶面性能指標“HTTP會話平均響應時延大于500KB（ms）”，當指標原始值小于歷史7天均值時，將對應change degree置為0。

（3）對于用戶面性能指標“HTTP500下行流量（MB）”，設fnow為今日流量，fyesterday為昨日同時間流量，則當滿足時，change degree置為0。

經(jīng)過修正后，比較各數(shù)據(jù)維度的change degree，其中值最大的維度是引起異常的主要因素，也就是主要的故障隱患點。

3 方案實現(xiàn)與結果驗證

如前所述，將網(wǎng)絡運行數(shù)據(jù)通過PYOD的異常檢測算法和核密度估計算法，可以輸出網(wǎng)絡運行數(shù)據(jù)中是否存在異常點，以及引起異常的主要因素。按圖1、圖2流程進行算法部署。

采用現(xiàn)網(wǎng)數(shù)據(jù)輸入模型進行實驗，告警數(shù)據(jù)按5分鐘粒度進行切片，性能數(shù)據(jù)按5分鐘粒度文件入庫，數(shù)據(jù)集一天總計共12*24=288個。模型異常檢測輸出結果如圖3所示。

圖3 異常點檢測結果

抽取了LTE核心網(wǎng)3個網(wǎng)元進行結果驗證：

MME1：總共1533個結果，判斷為異常的點數(shù)為12，判定正確的異常數(shù)為8，即TP=8，判定錯誤的異常為4，即FP=4，不存在未定位出的異常，即FN=0，TN=1533-12=1521。可 算 出 準 確 率ACC=（8+1521）/（8+4+1521）=99.74%，精準率P=8/12=66.7%，召回率R=8/（8+0）=100%，F(xiàn)1=2*66.7%*100%/（66.7%+100%）=80%。

MME2：總共1439個結果，判定為異常的點數(shù)為43，TP=19，F(xiàn)P=24，F(xiàn)N=0，TN=1439-43=1396，ACC=（19+1396）/（19+24+1396）=98.33%，P=19/（19+24）=44.19%，R=19/（19+0）=100%，F(xiàn)1=2*44.19%*100%/（44.19%+100%）=61.29%。

SAEGW3：總共1249個結果，判定為異常的點數(shù)為1，TP=1，F(xiàn)P=0，F(xiàn)N=0，TN=1248，ACC=（1+1248）/（1+1248）=100%，P=1/（1+0）=100%.R=1/（1+0）=100%，F(xiàn)1=2*100%*100%/（100%+100%）=100%。

綜上平均準確率ACC=（99.74%+98.33%+100%）/3=99.36%。

精準率P=（66.7%+44.19%+100%）/3=70.3%。

召回率R=（100%+100%+100%）/3=100%。

F1=（80%+61.29%+100%）= 80.43%。

從實驗結果可以看出，在LTE核心網(wǎng)元的異常檢測中算法的平均準確率達到了99.36%，F(xiàn)1值達到了80.43%，取得了不錯的效果。

此外基于實驗結果，將本文所提出的異常檢測法與目前現(xiàn)行的幾種方法進行分析判斷時間對比，如表3所示，可以看到異常檢測法在目前三類主要的故障類型中均優(yōu)于其他三種方法，具備較強的應用場景適應能力。這也體現(xiàn)了本方法在現(xiàn)網(wǎng)運維中具有較高的使用價值。

表3 各類方法故障判斷時間對比表

4 結束語

隨著網(wǎng)絡技術的演進，網(wǎng)絡監(jiān)控維護工作也變得日益復雜。本文就網(wǎng)絡隱患故障的發(fā)現(xiàn)方法進行探討，提出了一種基于異常檢測分析的網(wǎng)絡隱患故障發(fā)現(xiàn)方法。從本文的實驗結果可以發(fā)現(xiàn)，這一算法相較于現(xiàn)行的方法而言，具有更廣的應用場景和較高的準確性，已經(jīng)具備現(xiàn)網(wǎng)的使用價值，為提高網(wǎng)絡維護效率，降低網(wǎng)絡故障風險帶來了新的思路。