黃偉，劉存才，祁思博

針對設備端口鏈路的LSTM網(wǎng)絡流量預測與鏈路擁塞方案

黃偉，劉存才，祁思博

（中國電子科技集團公司第五十四研究所，河北 石家莊 050081）

針對設備端口鏈路流量，提出兩種基于長短期記憶網(wǎng)絡的預測模型。第一種針對在大時間粒度下平穩(wěn)變化的流量；第二種則針對在小時間粒度下波動劇烈的非平穩(wěn)流量。通過選用不同的數(shù)據(jù)劃分方式與模型訓練方法，構(gòu)建兩種具有不同網(wǎng)絡結(jié)構(gòu)的流量預測模型。實驗結(jié)果表明，前者在處理平穩(wěn)變化的流量時能夠達到極高的預測精度，后者在處理非平穩(wěn)流量時具有明顯優(yōu)于SVR模型、BP神經(jīng)網(wǎng)絡模型的預測效果。在第二種預測模型的基礎(chǔ)上，提出了參數(shù)可調(diào)的鏈路擁塞預警方案，實驗證明該方案具有一定的可行性。

長短期記憶網(wǎng)絡；機器學習；網(wǎng)絡流量預測；非平穩(wěn)流量預測；時間序列預測

1 引言

近年來，網(wǎng)絡業(yè)務日益復雜多元化，網(wǎng)絡流量更多地呈現(xiàn)出突發(fā)性與自相似性，流量的時間序列也愈加難以使用傳統(tǒng)的線性方法進行建模描述。為此，研究者開始嘗試將SVR[1-2]、BP神經(jīng)網(wǎng)絡[3-5]等機器學習方法應用于網(wǎng)絡流量乃至交通流量預測，試圖通過對歷史流量的學習來預測未來時間流量。從以往的研究中來看，多數(shù)研究者需要利用流量的周期性特征，這主要適用于較大時間粒度的流量預測[3-6]，需要長時間的訓練數(shù)據(jù)且無法保證預測的時效性。另外一種為短時流量預測[7-9]，由于小時間粒度下流量序列前后波動的不確定性，很難使用傳統(tǒng)機器學習方法對其進行精確的描述。但經(jīng)過大量的數(shù)據(jù)研究后發(fā)現(xiàn)，即使是短時間內(nèi)前后差異明顯的網(wǎng)絡流量數(shù)據(jù)，在一段時間范圍內(nèi)確實可能呈現(xiàn)不同程度上升或下降的趨勢，與此同時流量數(shù)據(jù)本身又不可避免地呈現(xiàn)波動性。

本文由上述觀點出發(fā)，試圖尋找一種能夠有效描述流量變化趨勢的方法，對大時間粒度下平穩(wěn)變化的流量進行精確的預測，對小時間粒度下波動劇烈的流量進行可靠的預測。之后，本文在短時流量預測的基礎(chǔ)上，綜合考慮以往的流量波動情況，探討判斷未來鏈路擁塞的預警方法。

2 相關(guān)研究

在第二類預測模型中，可以為1或大于1。此時，模型將使用更多時段的歷史數(shù)據(jù)而不僅是相鄰時間的數(shù)據(jù)進行訓練。一般來說，這種方式劃分的訓練數(shù)據(jù)更能反映流量數(shù)據(jù)一段時間的變化。的取值越大則訓練模型考慮的時間范圍越廣，相應地，模型的學習能力越容易飽和。循環(huán)神經(jīng)網(wǎng)絡對時序變化的數(shù)據(jù)具有很好的學習能力，文獻[9]提出了一種基于EMD的循環(huán)神經(jīng)網(wǎng)絡，它對具有周期性變化特性的非平穩(wěn)流量有較好的預測效果。文獻[10]針對具有混沌特性的非線性時間序列提出了一種名為Elman-NARX的神經(jīng)網(wǎng)絡模型。文獻[11]將協(xié)同進化算法引入Elman神經(jīng)網(wǎng)絡，提高了對混沌時間序列的預測精度。文獻[12]提出一種基于循環(huán)小波神經(jīng)網(wǎng)絡的預測模型，相較傳統(tǒng)神經(jīng)網(wǎng)絡模型有更好的預測效果。然而上述模型在處理較長的時間序列時，均存在發(fā)生梯度消失和梯度爆炸的風險。LSTM網(wǎng)絡不同于上述循環(huán)神經(jīng)網(wǎng)絡，可以很好地解決梯度消失問題[13]。它具有長短期記憶能力，適用于較長時間序列的預測。目前，LSTM網(wǎng)絡已經(jīng)較多地在交通流量預測的相關(guān)研究中被發(fā)掘和使用[14-17]。文獻[18]提出一種基于-means聚類的LSTM模型，其只考慮了相鄰時間點的數(shù)據(jù)變化。文獻[19]提出了一種三層混合的LSTM交通流量預測模型，文獻[20]提出了一種基于LSTM網(wǎng)絡的網(wǎng)絡流量預測模型，然而它們在時間延遲上的取值均為1，不足以反映數(shù)據(jù)的長期變化，模型存在改進空間。本文以LSTM網(wǎng)絡為基礎(chǔ)，提出了一種改進的時段劃分方法，將訓練數(shù)據(jù)的時段區(qū)間與時間延遲參數(shù)相對應，對模型進行階段性地訓練和預測。不同于傳統(tǒng)LSTM模型中訓練過程與預測過程相分離的特性，本文的網(wǎng)絡流量預測模型能夠隨實時數(shù)據(jù)不斷地進行更新。模型的訓練和預測依賴于最新獲取的流量數(shù)據(jù)，同時能繼承模型之前的參數(shù)，從而使預測結(jié)果保留歷史數(shù)據(jù)的部分特性。

對于本文要處理的網(wǎng)絡流量數(shù)據(jù)，預測難度更大一些，尤其是對于在小時間粒度下波動劇烈的非平穩(wěn)流量。在時間刻度上突發(fā)的無規(guī)則特性，無疑會加大學習流量數(shù)據(jù)真實的變化趨勢的難度。本文旨在不忽略極端數(shù)據(jù)的情況下，保證預測模型的穩(wěn)定性。針對這一問題，本文在下文的中將再做探討。

3 基于LSTM網(wǎng)絡的平穩(wěn)流量預測模型

本節(jié)詳細闡述基于LSTM網(wǎng)絡構(gòu)建流量預測模型的方法。其中包括原始數(shù)據(jù)的處理、訓練數(shù)據(jù)的劃分、模型的訓練以及未來流量的預測。

對之后獲取的任意流量序列都做如下處理。

以T長度的時間為一個周期，每經(jīng)過T時間長度就需要添加最新的數(shù)據(jù)來繼續(xù)訓練LSTM網(wǎng)絡。這樣，隨著新數(shù)據(jù)的到來，LSTM網(wǎng)絡的一系列參數(shù)也能隨之更新，從而可以滿足預測的實時性要求。更新方法是去除最舊的T時間長度的數(shù)據(jù)，添加最新的T時間長度的數(shù)據(jù)，從而保證流量序列的長度為，的長度為D+1。LSTM網(wǎng)絡的結(jié)構(gòu)如圖1所示，這里主要給出本文所采用的數(shù)據(jù)處理方式。如需了解LSTMCell的內(nèi)部結(jié)構(gòu)和原理，請參見文獻[11]。

4 基于改進LSTM網(wǎng)絡的非平穩(wěn)流量預測模型

第3節(jié)闡述了構(gòu)建LSTM流量預測模型的具體方法，然而該模型只適用于平穩(wěn)變化的流量序列?？紤]如下形式的非平穩(wěn)流量序列。即若干時間長度以來的流量均在較高的數(shù)值范圍內(nèi)波動，而當前時間長度內(nèi)的流量卻大幅度地降低了，事實上這種突發(fā)的情況僅僅持續(xù)了時間長度。在前文構(gòu)建的LSTM模型中，最新的時間長度內(nèi)的流量恰恰是訓練所使用的參照數(shù)據(jù)，也可以稱作標簽。因此該模型的訓練會在很大程度上受到當前時間長度內(nèi)的流量抖動的影響。對于上述形式的非平穩(wěn)流量序列，當前時間長度內(nèi)突減的流量很可能造成模型對未來流量的預測值遠低于真實值。

實際數(shù)據(jù)與以往經(jīng)驗表明，多數(shù)情況下的網(wǎng)絡流量數(shù)據(jù)是非平穩(wěn)的。而且為完成網(wǎng)絡流量的實時預測，需要在小時間粒度下進行處理，此時網(wǎng)絡流量的抖動更加明顯。對于已經(jīng)發(fā)生的流量抖動，一種處理方法是忽略大幅度偏離歷史經(jīng)驗的數(shù)據(jù)，即不使用這部分數(shù)據(jù)對模型進行更新。但這必然會導致一部分數(shù)據(jù)信息的丟失，使模型對于數(shù)據(jù)的變化不再敏感。本文旨在保證數(shù)據(jù)信息完整性的同時弱化最新時間長度內(nèi)的流量數(shù)據(jù)的影響。因此本文將選用更多的數(shù)據(jù)關(guān)系信息進行模型的訓練，而不僅僅以最新時間長度內(nèi)的數(shù)據(jù)作為參照。本文將在LSTM流量預測模型的基礎(chǔ)上進行改進，使模型在處理非平穩(wěn)流量時仍能夠有效學習數(shù)據(jù)的變化趨勢信息，從而保證預測的穩(wěn)定性。

改進后的LSTM（LSTM-modified）網(wǎng)絡結(jié)構(gòu)如圖2所示。觀察虛線可以直觀地發(fā)現(xiàn)，模型的訓練使用了多個相鄰時間長度的流量數(shù)據(jù)作為參照。理論上該模型既可以學習到歷史流量的變化趨勢，又能夠在一定程度上避免突發(fā)的流量抖動的影響，從而保證流量均值預測的穩(wěn)定性。

圖2 LSTM-modified網(wǎng)絡結(jié)構(gòu)

5 實驗與分析

本節(jié)的實驗內(nèi)容分為3部分：在第1部分中測試LSTM模型對于平穩(wěn)變化的流量的預測精度，并與SVR、BP神經(jīng)網(wǎng)絡構(gòu)建的模型進行對比；在第2部分中，對比SVR、BP神經(jīng)網(wǎng)絡、LSTM網(wǎng)絡、LSTM-modified網(wǎng)絡所構(gòu)建的模型對非平穩(wěn)變化的流量的預測性能；在第3部分中，基于LSTM-modified模型預測的流量均值探討并驗證未來鏈路擁塞的預警方法。

本文基于Python3.5.2進行編程實驗。SVR使用scikit-learn(0.19.1)實現(xiàn)，BP神經(jīng)網(wǎng)絡、LSTM網(wǎng)絡、LSTM-modified網(wǎng)絡均使用tensorflow(1.4.0)實現(xiàn)。SVR采用rbfkernel，其中=1×103=0.1。BP神經(jīng)網(wǎng)絡采取三層結(jié)構(gòu)，使用sigmoid激勵函數(shù)，隱藏層節(jié)點數(shù)目設置為36。LSTM與LSTM-modified網(wǎng)絡，包括Cell在內(nèi)也可看成三層結(jié)構(gòu)，Cell的大小設置為36。學習率的取值需要根據(jù)處理的數(shù)據(jù)適當調(diào)整，本文推薦的取值范圍是0.01~0.25。

5.1 平穩(wěn)流量預測實驗

實驗數(shù)據(jù)為某運營商時長一天的DNS流量。實驗中取值為12，取值為1 200。以秒為最小時間單位，則實驗目的是通過4 h的歷史流量來預測未來20 min的流量均值。對于平穩(wěn)流量，本文定義<0.1的情況為準確預測，>0.2的情況為不可信預測。實驗結(jié)果統(tǒng)計在表1中。

表1 運營商DNS流量預測效果

表1表明，對于運營商DNS流量的預測，LSTM模型具有最高的預測準確率，比SVR模型高5.17%，比BP模型高3.45%。雖然其不可信預測的概率稍高于其他模型，但仍然保持在很低的水平。實驗中LSTM模型的預測過程如圖3所示。

圖3 運營商DNS流量均值預測（以20 min為時間單位）

觀察圖3可以發(fā)現(xiàn)，預測值基本與真實值重合，這表明LSTM模型對平穩(wěn)流量有極強的預測能力。

5.2 非平穩(wěn)流量預測實驗

實驗數(shù)據(jù)為兩種具有不同突發(fā)程度的非平穩(wěn)流量數(shù)據(jù)，這里稱作MMPP流量與SelfLike流量。MMPP流量一般由若干個相關(guān)的流疊加產(chǎn)生，是網(wǎng)絡中較為常見流量類型。相較于MMPP流量，SelfLike流量具有更明顯的自相似特征，表現(xiàn)出更強的突發(fā)性。實驗中取值為12，取值為300。以秒為最小時間單位，則實驗目的是通過1h的歷史流量來預測未來5 min的流量均值。對于非平穩(wěn)流量，本文定義<0.25的情況為準確預測，>0.50的情況為不可信預測。對以上兩種流量數(shù)據(jù)進行4種模型的預測驗證，實驗結(jié)果統(tǒng)計在表2和表3中。

表2 MMPP流量預測效果

表3 SelfLike流量預測效果

表2表明，對于MMPP流量的預測，LSTM-modified模型具有最高的準確率和最低的不可信率，其中LSTM-modified模型的預測準確率相較于其他模型優(yōu)勢明顯，比SVR模型高12.05%，比BP模型高8.43%，比LSTM模型高7.23%。這說明本文對LSTM網(wǎng)絡的改進方法切實有效，能夠有效地提高模型對MMPP流量的預測能力。

表3表明，對于SelfLike流量的預測，LSTM模型具有最高的預測準確率和最低的不可信率，其中LSTM模型的預測準確率比SVR模型高27.71%，比BP模型高1.21%，比LSTM-modified模型高4.82%。可見神經(jīng)網(wǎng)絡模型在預測自相似流量時比SVR模型更具優(yōu)勢。不過由于自相似流量的特點，即在任何時間尺度上都具有相當大的突發(fā)性，各神經(jīng)網(wǎng)絡模型對SelfLike流量的預測效果沒有過多的差距。綜合來說，LSTM-modified模型相比于其他模型的適應性更強。因此，在不知道流量類型與特點的情況下，使用LSTM-modified模型進行流量預測是一個不錯的選擇。實驗中LSTM-modified模型的預測過程如圖4、圖5所示。

圖4 MMPP流量均值預測（以5 min為時間單位）

圖5 SelfLike流量均值預測（以5 min為時間單位）

從圖中不難發(fā)現(xiàn)，模型的預測值會隨著真實值的出現(xiàn)而不斷改變。直觀上看，預測值基本保持在真實值波動的中間區(qū)域。這說明LSTM- modified模型確實能夠?qū)W習到流量的變化趨勢，并且具備一定程度的流量預測能力。仔細觀察即可發(fā)現(xiàn)，圖中確實存在一些極端的真實值，不過它們并沒有對模型接下來的預測造成很大的干擾。這符合本文在第3節(jié)中的假設，并且印證了LSTM-modified模型的穩(wěn)定性。

5.3 鏈路擁塞預警實驗

本文的鏈路擁塞預警實驗以LSTM-modified流量預測模型為基礎(chǔ)，預警方法綜合考慮了預測的流量均值、歷史流量的波動情況以及鏈路帶寬等多個因素。在緩存并不充足的情況下，一旦瞬時流量超過鏈路帶寬，就會面臨分組丟失的風險。本文假設緩存為0，能容忍的發(fā)生分組丟失的時間比例上限為1%?？紤]5 min的流量，時間單位為秒。若總計發(fā)生分組丟失的時間超過3 s，則認為鏈路達到擁塞的臨界狀態(tài)。

根據(jù)5.2節(jié)的實驗，本文已經(jīng)具備通過1 h的歷史流量預測接下來5 min流量均值的能力，這里仍命名為Prediction。取前30(5×6) min的流量，計算最大18(3×6) s的流量均值，減去30 min的流量均值，得到近期流量的振幅Amplitude。Prediction、Amplitude、Correction相加可看作未來可能達到的流量上界，記為UpperBound。鏈路帶寬表示為Bandwidth，若滿足如下公式，則認為未來鏈路存在擁塞的風險

≥(8)

其中Correction為一個修正值，一般取值為正。原因是Prediction加上Amplitude并不是精確的流量上界，而且擁塞的預警一般需要一個提前量，以保證在鏈路擁塞之前做出應對措施。Correction的取值需要根據(jù)實際情況而定，本文實驗中所使用的取值為0.16×。鏈路帶寬設為5.8×(byte/s)，以一段SelfLike流量為實驗材料，實驗過程如圖6所示。

點A為滿足擁塞預警式(8)的第一個點，此時發(fā)生分組丟失的時間比例為0.33%，點B處發(fā)生分組丟失的時間比例為1.33%，點C處發(fā)生分組丟失的時間比例為0.67%，點D處發(fā)生分組丟失的時間比例為1.0%，點E處發(fā)生分組丟失的時間比例為0.33%，點F處發(fā)生分組丟失的時間比例為0.33%?？梢?，實驗中在點A處給出了鏈路擁塞的預警，而在其后點B與點D所對應的時段，鏈路確實達到了本文所定義的擁塞的條件，因此在點A給出鏈路擁塞的預警是適宜的。實驗結(jié)果表明，本文提出的預警方法切實有效，能夠幫助提前對未來鏈路的擁塞與否做出判斷。

圖6 流量上界預測與擁塞判斷

6 結(jié)束語

本文分類總結(jié)了關(guān)于網(wǎng)絡流量預測的歷史研究情況，針對在大時間粒度下平穩(wěn)變化的流量，提出了LSTM流量預測模型，并驗證了該模型具有優(yōu)于SVR模型、BP神經(jīng)網(wǎng)絡模型的極高的預測精度。針對在小時間粒度下波動劇烈的非平穩(wěn)流量，提出了具有改進的長短期記憶網(wǎng)絡結(jié)構(gòu)的LSTM-modified流量預測模型。本文通過實驗驗證了該模型在處理非平穩(wěn)的MMPP流量時具有明顯優(yōu)于其他模型的預測效果。在處理自相似特征明顯的SelfLike流量時，基于LSTM及其改進網(wǎng)絡的模型具有大幅度優(yōu)于SVR模型的預測能力。本文的主要研究目標是實現(xiàn)網(wǎng)絡流量的實時預測，這對于未來鏈路擁塞的判斷具有很高參考價值。本文在LSTM-modified模型的基礎(chǔ)上探討了一種鏈路擁塞預警方法，并通過實驗證明了該方法能夠及時有效地預測鏈路擁塞的發(fā)生。

[1] YU, F LIU, W GAO, C et al. Network situation prediction based on optimized SVR model[C]//International Conference on Mechatronic Sciences. 2014: 2414-2419.

[2] LIANG, Y QIU. L Network Traffic Prediction based on SVR improved by chaos theory and ant colony optimization[J]. International Journal of Future Generation Communication & Networking, 2015, 8: 484-488.

[3] LIU, J HUANG. Y L Nonlinear network traffic prediction based on BP neural network[J]. Journal of Computer Applications, 2007, 27(7):1770-1772.

[4] ZHU L, QIN L, XUE K Y, et al. A novel bp neural network model for traffic prediction of next generation network[C]//International Conference on Natural Computation. 2009(1): 32-38.

[5] WANG, X ZHANG, C ZHANG. S Modified Elman neural network and its application to network traffic prediction[C]//IEEE International Conference on Cloud Computing & Intelligent Systems. 2012: 629-633.

[6] GAO F. Network traffic prediction based on neural network[C]//. International Conference on Intelligent Transportation. 2016: 527-530.

[7] WANG. J S Modeling and prediction for network traffic based on elman neural network[J]. Computer Engineering, 2009, 35(9): 190-191.

[8] MA, X TAO, Z WANG, Y H Yu,et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C, 2015, 54: 187-197.

[9] CHEN S Y, CHOU. W Y Short-term traffic flow prediction using EMD-based recurrent Hermite neural network approach[C]// International IEEE Conference on Intelligent Transportation Systems. 2012: 1821-1826.

[10] ARDALANI-FARSA, M ZOLFAGHARI. S Chaotic time series prediction with residual analysis method using hybrid Elman– NARX neural networks[J]. Neurocomputing, 2010, 73(13-15): 2540-2553.

[11] CHANDRA, R ZHANG. M Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J]. Neurocomputing, 2012, 86(12): 116-123.

[12] ZHANG, K CHAI, Y FU. X A A network traffic prediction model based on recurrent wavelet neural network[C]//International Conference on Computer Science & Network Technology. 2013: 1630-1633.

[13] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[M]. Springer Berlin Heidelberg,2012, 9(8): 1735-1780.

[14] TIAN, Y PAN. L predicting short-term traffic flow by long short-term memory recurrent neural network[C]//IEEE International Conference on Smart City/Socialcom/Sustaincom. 2015: 153-158.

[15] DUAN, Y LV, Y WANG. F Y Travel time prediction with LSTM neural network[C]//IEEE International Conference on Intelligent Transportation Systems. 2016: 1053-1058.

[16] FU, R ZHANG, Z LI. L Using LSTM and GRU neural network methods for traffic flow prediction[C]//Chinese Association of Automation. 2017: 324-328.

[17] SHAO, H SOONG. B H Traffic flow prediction with long short-term memory networks (LSTMs)[C]//Region 10 Conference. 2017: 2986-2989.

[18] XUE, Z XUE. Y Multi long-short term memory models for short term traffic flow prediction[J]. IEICE Transactions on Information and Systems, 2018, 101(12): 3272-3275.

[19] LEE, Y J MIN. O Long short-term memory recurrent neural network for urban traffic prediction: a case study of seoul[C]// IEEE Conference on Intelligent Transportation Systems. 2018: 1279-1284.

[20] ZHUO, Q LI, Q HAN, Y et al. Long short-term memory neural network for network traffic prediction[C]//12th International Conference on Intelligent Systems and Knowledge Engineering. 2018: 1-6.

LSTM network traffic prediction and link congestion warning scheme for single port and single link

HUANG Wei, LIU Cuncai, QI Sibo

The 54th Research Institute of China Electronic Technology Group Corporation, Shijiazhuang 050081, China

To predict the traffic at single port and single link, two network traffic prediction models based on long short-term memory neural network were proposed. The first model is for the traffic which changes smoothly at large time granularity. The second model is for the nonstationary traffic which fluctuates violently at small time granularity. By selecting different methods of splitting data and training models, two traffic prediction models with different neural network structures were constructed. The experimental results show that the former can achieve a very high accuracy when predicting smoothly changed traffic, the latter has a significantly better prediction effect than the support vector regression model and the back propagation neural network model when dealing with nonstationary traffic. Based on the second model, a link congestion warning scheme with variable parameters was proposed. The scheme is proved to be practicable by experiments.

long short-term memory (LSTM), machine learning, network traffic prediction, nonstationary traffic prediction, time series prediction

The National Defence Science and Technology Key Laboratories Foundation of China (No.614210401050217)

TP393

A

10.11959/j.issn.2096?109x.2019066

黃偉（1978? ），男，河北保定人，中國電子科技集團公司第五十四研究所高級工程師，主要研究方向為通信系統(tǒng)總體技術(shù)、通信系統(tǒng)與網(wǎng)絡仿真。

劉存才（1965? ），男，河北石家莊人，中國電子科技集團公司第五十四研究所高級工程師，主要研究方向為通信網(wǎng)仿真和通信網(wǎng)可靠性研究。

祁思博（1991-），男，河北石家莊人，中國電子科技集團公司第五十四研究所工程師，主要研究方向為通信網(wǎng)仿真和軟件定義網(wǎng)絡。

論文引用格式：黃偉, 劉存才, 祁思博. 針對設備端口鏈路的LSTM網(wǎng)絡流量預測與鏈路擁塞方案[J]. 網(wǎng)絡與信息安全學報, 2019, 5(6): 50-57.

HUANG W, LIU C C, QI S B. LSTM network traffic prediction and link congestion warning scheme for single port and single link[J]. Chinese Journal of Network and Information Security, 2019, 5(6): 50-57.

2019-01-15；

2019-02-20

祁思博，773624104@qq.com

國防科技重點實驗室基金資助項目（No.614210401050217）