蔣仕寶，杜翠鳳**，聶丹彤

（1.廣州杰賽科技股份有限公司，廣東 廣州 510310；2.中移互聯(lián)網(wǎng)有限公司，廣東 廣州 510000）

0 引言

傳統(tǒng)的網(wǎng)絡(luò)質(zhì)量優(yōu)化管理是結(jié)合專家經(jīng)驗對監(jiān)控平臺話統(tǒng)數(shù)據(jù)的網(wǎng)元指標或者小區(qū)指標進行人工提取特征，然后再結(jié)合投訴行為，找出KQI 數(shù)據(jù)特征與投訴行為的關(guān)系。該方法嚴重依賴專家經(jīng)驗，而且由于監(jiān)控該平臺的話統(tǒng)數(shù)據(jù)具有海量、高維的特點，因此，傳統(tǒng)的網(wǎng)絡(luò)質(zhì)量優(yōu)化管理方法已經(jīng)不適用于當前的時代特征。

基于網(wǎng)絡(luò)質(zhì)量的投訴預(yù)警模型受到了很多學(xué)者的關(guān)注。朱龍珠等人[1]提出基于隨機森林算法的投訴預(yù)警模型優(yōu)化方法，采用隨機森林實現(xiàn)投訴預(yù)警；陽許軍等人[2]提出基于大數(shù)據(jù)模型的投訴預(yù)警與提前干預(yù)分析，實現(xiàn)投訴原因的追溯；任華等人[3]提出基于大數(shù)據(jù)技術(shù)的客服投訴智能分類與預(yù)警系統(tǒng)，應(yīng)用多重算法，實現(xiàn)投訴歸類分析、指標分析、預(yù)警分析、根源分析及關(guān)聯(lián)分析，實現(xiàn)事前預(yù)防和預(yù)警、降低投訴數(shù)量、提升客戶服務(wù)質(zhì)量的目的；張婷[4]提出基于通信告警數(shù)據(jù)實現(xiàn)網(wǎng)絡(luò)投訴的智能分析系統(tǒng)。上述研究沒有考慮用戶投訴的滯后性特征，也就是用戶的投訴一般晚于網(wǎng)絡(luò)質(zhì)量問題的發(fā)生時間，因此，基于投訴信息的網(wǎng)元指標或者小區(qū)指標很難排查到真正的網(wǎng)絡(luò)問題。

本文針對投訴滯后性的特點，以滑動窗口的方式構(gòu)造KQI 數(shù)據(jù)的訓(xùn)練集合，其中預(yù)測標簽為N時刻之后的用戶投訴數(shù)據(jù)。在此基礎(chǔ)上，采用CNN 和LSTM 的方法提取KQI 數(shù)據(jù)的空間維度和時間維度的特征。

1 深度學(xué)習(xí)的相關(guān)理論

深度學(xué)習(xí)受到業(yè)界廣泛關(guān)注是因為其在圖像處理和自然語言處理方面具有優(yōu)秀的表現(xiàn)。和淺層算法相比，深度學(xué)習(xí)方法更擅長學(xué)習(xí)數(shù)據(jù)的特征，因此，深度學(xué)習(xí)在各種任務(wù)分類中具有顯著效果。作為一種數(shù)據(jù)驅(qū)動的算法，深度學(xué)習(xí)無須建立一個確定性的模型，只需要利用足夠多的歷史數(shù)據(jù)進行訓(xùn)練以獲取數(shù)據(jù)的特征表示，從而能夠完成諸如特征表示、分類、預(yù)測等任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）作為經(jīng)典的深度學(xué)習(xí)算法被應(yīng)用在圖像處理、人臉識別、語音識別、自然語言處理等領(lǐng)域[5-10]，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）、改進型遞歸神經(jīng)網(wǎng)絡(luò)（Modified Recurrent Neural Network）、長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory Network,LSTM）等也相繼被提出，用于情感分類、句子翻譯、問答系統(tǒng)等領(lǐng)域[11-15]。本文就CNN 和LSTM 的算法展開研究。

1.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)是包含卷積層計算并具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)[16]。卷積神經(jīng)網(wǎng)絡(luò)用來解決傳統(tǒng)網(wǎng)絡(luò)參數(shù)過多和調(diào)參工作量過大的問題。首先通過卷積核提取原始圖像或數(shù)據(jù)的特定特征；然后采用池化的方式縮小原始圖像或者數(shù)據(jù)的尺寸；接著將不同卷積核池化的結(jié)果進行平鋪（或稱為Flatten）；最后將Flatten 的輸出結(jié)果放進全連接層，采用Softmax 的方式對圖像或者數(shù)據(jù)進行分類。因此，卷積神經(jīng)網(wǎng)絡(luò)一般分為3 層：卷積層、池化層以及全連接層。

（1）卷積層

利用本層卷積核在上一級輸入層上逐一滑動窗口，加上偏置值，通過Sigmoid 函數(shù)得到各個特征提取層，然后采用下采樣Subsampling 得到各個特征映射層。特征提取層和特征映射層的輸出通常稱為特征圖（Feature Map）。

（2）池化層

池化層的目的是采用降采樣的方式，在不影響圖像質(zhì)量或者數(shù)據(jù)本身特征的情況下，通過壓縮維度，減少參數(shù)，減低原始圖像或者數(shù)據(jù)的尺寸。通常使用的池化方法是Maxpooling。

（3）全連接層

采用多個不同尺寸的卷積核對圖像或者數(shù)據(jù)進行卷積后，將會得到多維的數(shù)據(jù)特征值，在對多維數(shù)據(jù)進行池化后，通常需要對數(shù)據(jù)進行Flatten，然后將經(jīng)過Flatten處理的數(shù)據(jù)放進全連接層（Full Connected Layer）中，采用Softmax 實現(xiàn)圖像或者數(shù)據(jù)的分類。

相對于傳統(tǒng)的淺層前饋神經(jīng)網(wǎng)絡(luò)，CNN 在不明顯增加計算量的情況下使得網(wǎng)絡(luò)的性能明顯增強，因此得到很多學(xué)者的追捧。

1.2 長短記憶網(wǎng)絡(luò)(LSTM)

LSTM 是一種時間遞歸神經(jīng)網(wǎng)絡(luò)，擅長處理時間序列數(shù)據(jù)。與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)RNN 相比，LSTM 由于引入了記憶單元，該記憶單元能夠決定哪些狀態(tài)應(yīng)該被留下來，哪些狀態(tài)應(yīng)該被遺忘，因此能夠處理長期依賴問題。LSTM 由輸入層、隱含層和輸出層構(gòu)成，圖1 展現(xiàn)了LSTM 的內(nèi)部結(jié)構(gòu)，其中，朱紅色的圈代表向量的乘和向量的和，每一個神經(jīng)元都有一條水平線貫穿其中，這條水平線代表細胞的狀態(tài)，細胞的狀態(tài)就在這條水平線上進行傳送。而LSTM 的特色在于黃色矩形所代表的各種“門”。圖1 中第一個黃色矩形表示忘記門，決定哪些信息被保留，哪些信息被遺忘；第二個黃色矩形是輸入門，決定什么值將被更新，然后采用tanh 層創(chuàng)建一個新的候選值向量，用于更新細胞的狀態(tài)；最后就要決定該神經(jīng)單元需要輸出一個什么樣的值，該輸出是基于當前被更新后的細胞狀態(tài)的。首先運行最后一個黃色矩形輸出門（其實就是一個Sigmoid 層）來確定細胞狀態(tài)的哪個部分將輸出出去；接著，把細胞狀態(tài)通過tanh 層進行處理（得到一個-1～1 的值）并將它和Sigmoid 層的輸出相乘，最終得到輸出值。

圖1 長短記憶網(wǎng)絡(luò)LSTM的結(jié)構(gòu)示意圖

1.3 注意力機制

注意力機制源于人類的認知研究，由于信息處理的局限性，人類往往根據(jù)當前需求關(guān)注特定的信息。注意力機制最初應(yīng)用于圖像識別，當采用深度神經(jīng)網(wǎng)絡(luò)進行圖像識別時，僅關(guān)注部分重要的特征，以此提升識別的準確率。目前注意力機制一般用于seq2seq 模型中。seq2seq 模型如圖2 所示。

從圖2 可知，引入注意力機制后，語義編碼C并不是固定的，是根據(jù)不同時刻的輸入來決定，也就是注意力系數(shù)Ci是一個可變語義向量。

圖2 引入注意力機制的seq2seq模型

根據(jù)yi的概率分布決定yi的取值，定義條件概率為：

其中，yi-1表示上一時刻的輸出，X表示輸入值，si表示解碼器在i時刻的隱藏向量，ci表示在i時刻語義向量內(nèi)容。而ci是由編碼的隱含向量序列按照權(quán)重相加得到，可表示為：

其中，ɑij表示注意力分配概率分布，hj表示編碼器在j時刻的隱藏向量。而ɑij則由i-1 時刻的解碼器隱藏狀態(tài)si-1和j時刻的編碼器的隱層狀態(tài)hj共同決定，本文采用對齊模型來求解注意力分配的概率分布：

其中，eij表示si-1和hj的對齊程度，實際上是一個權(quán)重，vɑ與Wɑ則表示對齊模型的權(quán)值矩陣。

基于上述的方式，注意力模型就能運用在機器翻譯中，并能夠很好地表示整個輸入向量的意義。

2 融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量特征提取模型

由于影響網(wǎng)絡(luò)質(zhì)量的數(shù)據(jù)維度較多，因此，在選取網(wǎng)絡(luò)質(zhì)量特征提取的模型時，不僅需要考慮網(wǎng)絡(luò)特征多維數(shù)據(jù)的空間關(guān)系，還要考慮數(shù)據(jù)在時間維度的延續(xù)關(guān)系。本文通過融合CNN 和LSTM 模型，對網(wǎng)絡(luò)質(zhì)量特征進行提取，使得所提取的特征不僅具有空間表達能力，還具備時間表達能力。融合CNN 與LSTM 的網(wǎng)絡(luò)特征提取模型如圖3 所示。

圖3 融合CNN與LSTM的網(wǎng)絡(luò)質(zhì)量特征提取模型

原始輸入是以T為時間長度，n個樣本組成的數(shù)據(jù)。原始輸入分別輸入到CNN 和LSTM 網(wǎng)絡(luò)，經(jīng)過CNN 的一系列處理，最后由n個神經(jīng)元得到1×n維的特征向量：

經(jīng)過LSTM 處理后，在LSTM 的隱含層單元數(shù)量為n，最后隱含層輸出n×m維特征向量：

得到原始樣本在CNN 和LSTM 的特征表達之后，引入注意力機制對特征表達進行融合，形成融合特征表達fmap。特征融合的表達具體過程由公式(7)～公式(9) 表示。

其中，Wα為m×n維的權(quán)值矩陣，bα為偏置參數(shù)，均由網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得到。是Cr的轉(zhuǎn)置項。通過公式(7)將CNN 的特征向量和LSTM 的特征向量進行統(tǒng)合，并通過一組“權(quán)重”的方式表現(xiàn)出來，而這組“權(quán)重”實質(zhì)上就是對不同時間點的輸入向量進行有區(qū)別的賦值，采用Softmax 函數(shù)將“權(quán)重”進行歸一化后，將歸一化的“權(quán)重”αi與不同時間點的隱含層輸出向量進行相乘，并進行求和得到最終的融合特征表達fmap。αi和fmap的求解公式為：

引入注意力機制將CNN 抽取空間維度特征表達與LSTM 抽取時間維度特征進行融合，利用空間維度特征來調(diào)節(jié)時間維度特征，使時間維度特征在某些數(shù)據(jù)維度加強，在某些數(shù)據(jù)維度減弱。隨著時間的推移，某些關(guān)鍵因素對網(wǎng)絡(luò)質(zhì)量影響的程度正在加強，某些關(guān)鍵因素對網(wǎng)絡(luò)質(zhì)量影響的程度逐漸在減弱，而這種現(xiàn)象在不同網(wǎng)絡(luò)場景應(yīng)具有不同的變化規(guī)律。

3 實證分析

3.1 數(shù)據(jù)預(yù)處理

網(wǎng)優(yōu)平臺包括異頻硬切換成功率、同頻硬切換成功率、CS 異系統(tǒng)硬切換成功率等460 個指標，但是由于各個指標的數(shù)據(jù)數(shù)量級不一致，因此，本文需要對數(shù)據(jù)進行歸一化處理后，才能做后續(xù)分析。

3.2 數(shù)據(jù)集構(gòu)成

將上述歸一化數(shù)據(jù)按照時間順序進行排列，考慮到用戶投訴的滯后性，網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)很難通過滑動窗口截取，結(jié)合實際網(wǎng)絡(luò)質(zhì)量管理的經(jīng)驗，一般設(shè)置滑動周期為2 周，也就是以2 周為時間長度構(gòu)造某一個樣本的二維矩陣數(shù)據(jù)，結(jié)合網(wǎng)優(yōu)平臺對KPI 數(shù)據(jù)的采集頻率，那么樣本的大小為336×460。樣本數(shù)據(jù)對應(yīng)的結(jié)果數(shù)據(jù)為某小區(qū)被預(yù)測為QOE 異常的時段數(shù)所占的比例。樣本的構(gòu)造方法如圖4 所示。

為了驗證模型的準確性，本文對單步預(yù)測和多步預(yù)測進行比較，構(gòu)造不同的數(shù)據(jù)集合，分別取N=1,3,5,7并構(gòu)造對應(yīng)的數(shù)據(jù)集合。

3.3 淺層和深層特征信息融合獲取數(shù)據(jù)空間維度特征

圖4 樣本構(gòu)造方法示意圖

本文的數(shù)據(jù)集太大，如果用單純的CNN 神經(jīng)網(wǎng)絡(luò)對多維數(shù)據(jù)進行提取，只能得出深層的語義信息，很可能忽略淺層數(shù)據(jù)特征信息所對應(yīng)的局部特征語義信息。因此，本文采用CNN 對數(shù)據(jù)進行卷積處理，由淺入深提取數(shù)據(jù)的空間特征，采用不同的滑動窗口截取不同大小區(qū)域的數(shù)據(jù)進行特征提取，然后通過池化層將特征圖進行降維操作，最后通過融合層對淺層數(shù)據(jù)語義信息和深層數(shù)據(jù)語義信息進行融合，也就是將淺層和深層的特征圖進行疊加。根據(jù)相關(guān)的研究可知，融合層能夠在很大程度上減小輸入特征圖的尺寸，使得輸出通道數(shù)量增加，也就是從空間維度上提升了特征信息提取的精度。本文將深層語義信息和淺層語義信息的特征進行融合，對同一輸入的數(shù)據(jù)根據(jù)不同的卷積層提取的特征圖進行疊加融合，將淺層的特征信息和深層的語義信息進行融合分析，提升分類器分類的特征信息的精度。通過淺層和深層特征信息融合獲取數(shù)據(jù)空間維度特征的過程如圖5 所示。

3.4 融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取

通過融合深淺層特征信息獲?。∟+P）維的空間特征，在一定程度上擴展了KQI 數(shù)據(jù)的空間維度，考慮到用戶投訴的滯后性問題，因此，在提取KQI 特征的時候需要考慮KQI 數(shù)據(jù)在時間維度上的變化。本文融合CNN 和LSTM 的方法提取KQI 的數(shù)據(jù)特征，使得模型具備空間和時間的表達能力，使得增強特征信息更加清晰。

圖6 是融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取示意圖，輸入是以T為時間長度，（N+P）維度組成的數(shù)據(jù)（N+P＜n）。輸入分別輸入到CNN 和LSTM網(wǎng)絡(luò)，經(jīng)過CNN 的一系列處理，最后由（N+P）個神經(jīng)元得到1×（N+P）維的特征向量；經(jīng)過LSTM 處理后，在LSTM 的隱含層單元數(shù)量為（N+P），最后隱含層輸出（N+P）×m維特征向量；得到CNN 和LSTM 的特征表達之后，引入注意力機制對特征表達進行融合，形成融合特征表達fmap，實現(xiàn)網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取，在獲得特征提取后，能夠?qū)崿F(xiàn)用戶投訴的預(yù)測。

圖5 淺層和深層特征信息融合示意圖

圖6 融合CNN與LSTM的網(wǎng)絡(luò)質(zhì)量KQI數(shù)據(jù)特征提取示意圖

3.5 實驗結(jié)果分析

為驗證本文所提出的融合CNN 與LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取與預(yù)測的有效性，在基于TensorFlow的Keras 深度學(xué)習(xí)平臺上實現(xiàn)了該模型的訓(xùn)練與預(yù)測，并將本文提出的模型與單獨使用LSTM 和CNN 模型的預(yù)測結(jié)果進行對比，對比結(jié)果如圖7 所示。

由于單步預(yù)測的預(yù)測時間間隔較短，因此三種不同算法的預(yù)測準確度與真實水平大體一致。CNN 模型相對于真實水平偏離較大，LSTM 模型整體存在一個滯后效應(yīng)，CNN-LSTM 模型的偏離程度最小，但是在40 個點之后開始偏離真實曲線，但是其與真實曲線在趨勢上保持一致。圖8 為不同算法多步預(yù)測的準確率對比。

圖7 不同算法單步預(yù)測的準確率對比

圖8 不同算法多步預(yù)測的準確率對比

與單步預(yù)測相比，三種模型的多步預(yù)測都有不同程度的偏離，特別是CNN 和LSTM 均存在較嚴重的偏離真實趨勢的振蕩，只有CNN 和LSTM 算法與真實水平的趨勢大體保持一致。上述的實驗結(jié)果表明：由于本文融合CNN 和LSTM 算法的各自優(yōu)點，從某種程度上更加完備地提取KQI 數(shù)據(jù)的特征，那么投訴預(yù)測的準確率也就更加準確。

4 應(yīng)用場景

網(wǎng)絡(luò)部門根據(jù)KQI 的現(xiàn)狀數(shù)據(jù)進行實時提取，采用融合CNN-LSTM 的網(wǎng)絡(luò)質(zhì)量KQI 數(shù)據(jù)特征提取與預(yù)測的方法對整個網(wǎng)絡(luò)的質(zhì)量做出客觀的診斷和評判。以主動評估的方式代替被動投訴的方式收集現(xiàn)有實時的網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量信息，根據(jù)實時的診斷結(jié)果，結(jié)合設(shè)備優(yōu)化可充分改善現(xiàn)有網(wǎng)絡(luò)的數(shù)據(jù)業(yè)務(wù)質(zhì)量，實現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量的主動干預(yù)，提升用戶使用業(yè)務(wù)的滿意度。

5 結(jié)束語

本文提出一種融合CNN 和LSTM 的網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)特征提取方法，該方法不僅需要考慮網(wǎng)絡(luò)特征多維數(shù)據(jù)的空間關(guān)系，還要考慮數(shù)據(jù)在時間維度的延續(xù)關(guān)系。由于網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)具有高維特點，因此在處理數(shù)據(jù)空間關(guān)系時，引入融合深層語義信息和淺層語義信息來獲取數(shù)據(jù)的空間特征，使得特征空間的表達能力更強，更清晰。最后，在進行用戶投訴時，考慮到用戶投訴具有滯后性，因此，將T時間長度的特征信息放進模型中，從時間維度上訓(xùn)練用戶投訴和網(wǎng)絡(luò)質(zhì)量變化的關(guān)系，更能夠突出用戶感知的變化過程。實驗表明：CNN 與LSTM 的融合模型在特征表達上比單一模型更有效，單步預(yù)測與多步預(yù)測精度更高。