李佳男 李琳琳

(1.沈陽理工大學 遼寧沈陽 110159; 2.沈陽開放大學遼寧沈陽 110003)

隨著時代的進步，人們對通信網(wǎng)絡(luò)的需求越來越大，對通信質(zhì)量的要求也越來越高。在為通信網(wǎng)絡(luò)設(shè)計自適應擁塞控制和主動管理方案上，預測網(wǎng)絡(luò)流量的行為尤其重要[1]。預測通常依賴于構(gòu)建隨機模型來預測給定歷史值的后續(xù)時間序列值。傳統(tǒng)上，這是通過使用線性模型來實現(xiàn)的。用于時間序列預測的經(jīng)典線性模型包括自回歸（Autoregressive，AR）和自回歸滑動平均（Auto-Regressive Moving Average，ARMA）模型等[2-3]。這些模型在大多數(shù)報告的情況下適用于平穩(wěn)時間序列，即統(tǒng)計特性不隨時間變化的序列。而通信網(wǎng)絡(luò)會受到許多外界因素的影響,顯示出非線性趨勢。這種趨勢以及包含的非特定隨機因素，很可能會妨礙線性模型的準確預測，所以選擇非線性模型更為適合此方面研究。因此，非線性模型的對比選擇也成為預測網(wǎng)絡(luò)流量[4-5]的關(guān)鍵。

1 自相似流量特性與模型選擇

測量研究表明：網(wǎng)絡(luò)流量具有自相似等一系列特性[6]。顯著特征就是網(wǎng)絡(luò)流量中同時存在長程依賴和短程依賴。因此，需要模型來預測具有長期和短期依賴性的流量。而循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的記憶功能恰恰符合這一特征,作為非線性模型的同時，RNN 在神經(jīng)元之間建立聯(lián)系，與流量相關(guān)性特點十分切合，但傳統(tǒng)RNN也存在十分嚴重的問題，即在處理長時間序列時，其梯度在迭代過程中存在趨于0或越來越大[7]的情況，導致網(wǎng)絡(luò)無法繼續(xù)訓練下去。因此，作為RNN 的一種進化形式，長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）[8-9]更適合網(wǎng)絡(luò)流量的預測研究。

2 預測模型介紹

2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

RNN 作為一種經(jīng)常用來處理時間序列問題的神經(jīng)網(wǎng)絡(luò)從結(jié)構(gòu)上如圖1所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)圖

X為輸入變量；U、W、V為層間權(quán)值矩陣，分別為：輸入到隱含層、隱含層到隱含層、隱含層到輸出層；St可以看作一種“記憶體”，用來記憶之前時刻的信息；O則為序列的輸出。輸出0t由當下輸入與上一刻記憶共同作用得到。不同于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[10]，RNN 中的（U、V、W）固定不變,這在很大程度上減少了訓練難度與預估難度。不過，矩陣St 維度容量有限，導致長期記憶受限，即梯度消失，與自相似性不符，進而導致預測效果并不理想[11-12]。

2.2 長短期記憶網(wǎng)絡(luò)（LSTM）

作為RNN 的變體形式，LSTM 有效地解決了RNN長期記憶的梯度問題，為預測帶來了實質(zhì)性的幫助，更符合自相似流量實際情況，其記憶單元如圖2所示。

圖2 長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)記憶單元

LSTM 在RNN 上引入了一個細胞狀態(tài)（cell state）的概念，用來保存長期狀態(tài)。從圖2可以看出，單元間的連接由一條變?yōu)閮蓷l，短期記憶和長期記憶分別進行記憶。從圖中可以看出，記憶單元主要由3 個部分組成，分別為遺忘門、輸入門、輸出門，這3種門限作用各不相同。遺忘門作用是對是否丟棄之前的隱藏細胞狀態(tài)h(t-1)給以控制，其計算公式如式（1）所示。

輸入門作用是負責處理當前序列的輸入問題。其計算公式如式（2）、式（3）所示。

輸出門作用是輸出t-1 時刻的隱含狀態(tài)h(t-1)和t時刻的單元狀態(tài)c(t)。其計算公式如式（4）、式（5）所示。

σ和tanh的數(shù)學表達式如式（6）、式（7）所示。

上述所有公式中，Wf、Wi、Wc、Wo、Uf、Ui、Uc、Uo為權(quán)值矩陣，bf、bi、bc、bo為偏移量。

3 仿真過程與結(jié)果分析

3.1 仿真過程

第一，將ON/OFF 物理模型模擬出的網(wǎng)絡(luò)。流量作為仿真數(shù)據(jù)，由于長相關(guān)流量具有突發(fā)性，故需進行多次模擬，對比后得出較為合適的數(shù)據(jù)進行訓練和測試。

第二，用LSTM針對數(shù)據(jù)各方面特性進行建模，設(shè)置好各部分參數(shù)。

第三，將得到的訓練集數(shù)據(jù)輸入模型當中，反復模擬，并時刻調(diào)整各方面參數(shù)，縮小誤差，直至達到預測要求，完成訓練模型。

第四，將得到的測試集數(shù)據(jù)輸入改進后最終模型中，反復模擬，獲取最優(yōu)結(jié)果，并與原數(shù)據(jù)進行對比，分析預測結(jié)果。選用可以反映預測誤差實際情況的絕對誤差平均值（MAE）進行模型預測精確度評判。

MAE計算公式如式（8）所示。

3.2 參數(shù)設(shè)置及結(jié)果分析

該文數(shù)據(jù)集由ON/OFF 物理模型模擬產(chǎn)生。通過Matlab 軟件設(shè)置各項參數(shù)進行仿真，主要包括三大分布，設(shè)置參數(shù)如下：Poisson 分布λ=0.5，指數(shù)分布μ=2，Pareto 分布X=0.01，K=1.5,σ=θ=1,速率R=45（p/s）。得到如圖3的200 s自相似流量仿真圖，圖4則為LSTM預測仿真圖，圖5為預測效果對比圖。從圖像角度看，仿真圖形狀幾乎一致，反映出的效果達到預期。

圖3 200 s自相似流量仿真圖

圖4 LSTM模型流量預測仿真圖

圖5 預測結(jié)果對比圖

通過軟件在實際流量仿真圖和預測流量仿真圖中隨機抽取5 組數(shù)據(jù)進行對比，在橫坐標（時間）分別為15 s、42 s、72 s、86 s、179 s 處取其縱坐標（數(shù)據(jù)包個數(shù)），ON/OFF模型產(chǎn)出真實數(shù)據(jù)包分別為15個、27個、216 個、274 個、171 個。由LSTM 預測模型產(chǎn)出數(shù)據(jù)包分別對應為14 個、24 個、213 個、272 個、166 個。相對誤差分別為6.7%、11.1%、1.3%、0.7%、2.9%，表面上看，在15 s、42 s 時刻誤差較高，其原因是因為此時刻原始數(shù)據(jù)包數(shù)較小，此兩點誤差實際僅有1、3，故用相對誤差直接進行評判并不十分準確。故前文提出該文數(shù)據(jù)方面將由絕對誤差平均值進行評判，其函數(shù)表達式如式（8）所示，得出預測數(shù)據(jù)的絕對誤差平均值為2.8，遠小于實驗預設(shè)的目標值5。而從圖5 中看出的個別時刻誤差相對而言大一些，是由于自相似流量本身就具有不確定性、突變性，因而圖中起伏看起來較為明顯。綜上所述，運用長短期記憶網(wǎng)絡(luò)預測模型對自相似流量進行預測是完全可行的。

4 結(jié)語

文章根據(jù)網(wǎng)絡(luò)流量特性選擇產(chǎn)生過程較為一致的ON/OFF 物理模型產(chǎn)生自相似流量，并分析其性質(zhì)特點，對比選擇LSTM預測模型對網(wǎng)絡(luò)流量進行預測，反復實驗，不斷優(yōu)化數(shù)據(jù)。雖然與傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）相比，LSTM 神經(jīng)網(wǎng)絡(luò)作為變體，在結(jié)構(gòu)上相對復雜，但卻實實在在解決了RNN梯度以及無法長期等方面的問題，十分契合流量場相關(guān)特性，在精確度上也有很大提升。仿真軟件選擇了MATLAB 平臺，結(jié)果也證明網(wǎng)絡(luò)流量的可預測性。下一步計劃將其與隊列管理進行融合，在可以預測未來流量進入隊列的情況下，可以提前做出準備，相信這對網(wǎng)絡(luò)擁塞控制可以起到重要的作用。