魯華棟， 時磊

(河南工業(yè)職業(yè)技術(shù)學(xué)院 1.網(wǎng)絡(luò)管理中心，2.電子信息工程系，南陽 473000)

0 引言

隨著互聯(lián)網(wǎng)規(guī)模的不斷增大，每一個小時的網(wǎng)絡(luò)業(yè)務(wù)量不斷增多，增加了網(wǎng)絡(luò)擁塞頻率，網(wǎng)絡(luò)流量預(yù)測可以為網(wǎng)絡(luò)管理提供有有價值的參考意見，設(shè)計高精度、速度快的網(wǎng)絡(luò)流量預(yù)測模型十分關(guān)鍵[1-3]。

網(wǎng)絡(luò)流量預(yù)測的研究可以分為兩個階段：傳統(tǒng)階段和現(xiàn)代階段，傳統(tǒng)階段主要有時間序列法、多元線性回歸等[4-6]，它們假設(shè)網(wǎng)絡(luò)流量呈現(xiàn)線性變化規(guī)律，建模速度快，然而網(wǎng)絡(luò)流量受到多種因素影響，具有時變性、混沌性等，預(yù)測精度低，預(yù)測結(jié)果不可靠[7]?，F(xiàn)代階段主要采用機器學(xué)習(xí)算法對網(wǎng)絡(luò)流量進(jìn)行建模和預(yù)測，其中神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛，預(yù)測精度得到了一定提升[9-11]。極端學(xué)習(xí)機(extreme learning machine，ELM)屬于新前饋神經(jīng)網(wǎng)絡(luò)，建模效率要高于其它神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用于非線性的網(wǎng)絡(luò)流量預(yù)測建模[12]。標(biāo)準(zhǔn)限學(xué)習(xí)機采用隨機確定輸出權(quán)值，泛化能力差，易出現(xiàn)過擬合缺陷。因此有學(xué)者提出了一種改進(jìn)極端學(xué)習(xí)機(Regularized ELM，RELM)，泛化能力得到了改善，但RELM只能對網(wǎng)絡(luò)流量進(jìn)行離線建模，無法滿足網(wǎng)絡(luò)流量的在線預(yù)測要求[13]。為此，有學(xué)者提另一種改進(jìn)極端學(xué)習(xí)機(online sequential extreme learning machine，OS-ELM)，但計算復(fù)雜度高，建模效率低[14]。

為了更加準(zhǔn)確地對網(wǎng)絡(luò)流量進(jìn)行預(yù)測，提出了一種改進(jìn)極端學(xué)習(xí)機(Improved ELM，IELM)的網(wǎng)絡(luò)流量預(yù)測模型，并通過網(wǎng)絡(luò)流量數(shù)據(jù)的預(yù)測實驗驗證其可行性。結(jié)果表明，與其它網(wǎng)絡(luò)流量預(yù)測模型相比，改進(jìn)極限學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測結(jié)果更加可靠，可以更加準(zhǔn)確描述網(wǎng)絡(luò)流量將來的變化趨勢，提高了網(wǎng)絡(luò)流量的預(yù)測精度。

2 極端學(xué)習(xí)機算法及改進(jìn)

(1)

相關(guān)參數(shù)見[12]。

對式(1)直接進(jìn)行求解十分復(fù)雜，難以實現(xiàn)，為此引入拉格朗乘子,得到式(2)。

(2)

式中，Hk為神經(jīng)元矩陣,w為權(quán)值。

對式(2)進(jìn)行求偏導(dǎo)，同時設(shè)偏導(dǎo)數(shù)為零，那么可以得到式(3)。

(3)

式中，I為單位矩陣

極端學(xué)習(xí)機的回歸模型為式(4)。

(4)

式中，t和x分別為輸入和輸出。

在極端學(xué)習(xí)機的回歸過程中，實際就是找到βk的值，但該過程包括矩陣求逆運算，使得極限學(xué)習(xí)的學(xué)習(xí)比較費時。為此本文提出一種改進(jìn)極端學(xué)習(xí)機(IELM)。

設(shè)根據(jù)時間序列Sk已得到輸出權(quán)值βk，當(dāng)有訓(xùn)練樣本加入時，輸出權(quán)值變?yōu)槭?5)。

(5)

(6)

根據(jù)矩陣求逆引理得到Pk的遞推表達(dá)式為式(7)。

(7)

聯(lián)合式(5)和式(6)得到βk的遞推表達(dá)式為式(8)。

(8)

根據(jù)Cholesky分解方法求解βk，則有式(9)。

(9)

那么βL求解過程可被轉(zhuǎn)化為求解形如式(10)的線性方程，加快學(xué)習(xí)速度為式(10)。

ALβL=bL

(10)

對AL進(jìn)行Cholesky分解得到式(11)。

(11)

式中，SL是一個三角矩陣,如式(12)。

最后βL為

(12)

其中，sij表示SL中不為零的元素；fi為式(13)。

(13)

3 改進(jìn)極限學(xué)習(xí)網(wǎng)絡(luò)流量預(yù)測模型

3.1 混沌理論

設(shè)原始網(wǎng)絡(luò)流量數(shù)據(jù)集：{x(i),i=1,2,…,n}，根據(jù)混沌理論可以變?yōu)橐粋€多維時間序列為：X(t)={x(t),x(i+τ),…,x(i+(m-1)τ)，其中，τ表示延遲時間，分析一對樣本點：X(i)和X(j)，那么兩者的距離rij(m)為[15]式(14)。

(14)

關(guān)聯(lián)積分計算公式為式(15)。

(15)

式中，r為閾值。

將網(wǎng)絡(luò)流量數(shù)據(jù){x(i),i=1,2,…}可劃分成t個子時間序列，則有式(16)。

(16)

式中，Cl表示第l個子序列的相關(guān)積分。

極小值點的計算公式為式(17)。

(17)

令式(18)。

(18)

式中，Xi(m+1)為重構(gòu)后的i個向量；Xn(i,m)(m+1)為的Xi(m+1)最近鄰。

3.2 改進(jìn)學(xué)習(xí)機的網(wǎng)絡(luò)流量預(yù)測模型的工作過程

Step1:收集網(wǎng)絡(luò)流量歷史時間序列數(shù)據(jù)，對其歸一化操作，具體為式(19)。

(19)

式中，x(i)和x′(i)分別為原始和歸一化后的值，max()和min()分別為最大值和最小值。

Step2: 確定最佳τ和m，對原始網(wǎng)絡(luò)流量數(shù)據(jù)重構(gòu)，建立IELM的學(xué)習(xí)樣本。

Step3: 確定IELM輸入權(quán)值αk及隱含層偏差bk值，并將網(wǎng)絡(luò)流訓(xùn)練集輸入到IELM進(jìn)行訓(xùn)練。

Step4: 計算隱含層輸出矩陣H。

Step5: 計算輸出層權(quán)值βk。

Step6: 將βk代入式(4)建立網(wǎng)絡(luò)流量預(yù)測模型，并對測試集進(jìn)行驗證，根據(jù)結(jié)果對IELM的性能進(jìn)行分析。

4 網(wǎng)絡(luò)流量預(yù)測模型的性能測試

4.1 實驗環(huán)境及數(shù)據(jù)

為了分析改進(jìn)極端學(xué)習(xí)機的性能，選擇標(biāo)準(zhǔn)測試數(shù)據(jù)集http://newsfeed.ntcu.net/～news/2015/的每小時流量作為實驗對象，它們?nèi)鐖D1所示。

圖1 實驗數(shù)據(jù)

采用Intel 4核 3.0GHz CPU，32 GB RAM，Windows 10系統(tǒng)上作為實驗平臺，采用VC++6.0編程實現(xiàn)實驗。

4.2 數(shù)據(jù)混沌處理

采用混沌理論對圖1中的實驗數(shù)據(jù)進(jìn)行分析，得到τ和m變化曲線,如圖2所示。

可以發(fā)現(xiàn)，最佳τ=5，m=5，這樣表示網(wǎng)絡(luò)流量數(shù)據(jù)時間上有一定的關(guān)聯(lián)性，通過相空間重構(gòu)可以挖掘它們之間聯(lián)系，建立極端學(xué)習(xí)機的訓(xùn)練樣本和測試樣本。

4.3 結(jié)果與分析

選擇文獻(xiàn)[13]的改進(jìn)極端學(xué)習(xí)機、標(biāo)準(zhǔn)學(xué)習(xí)機進(jìn)行對照測試，并采用RMSE、MAPE對模型的性能進(jìn)行分析，具體為式(20)、式(21)。

(20)

(21)

IELM的網(wǎng)絡(luò)流量一步預(yù)測結(jié)果如圖3所示。

(a) τ

(b) m

(a) 預(yù)測結(jié)果

(b) 預(yù)測偏差

可以清楚看出，一步測精度高，誤差波動平穩(wěn)，說明將IELM用于網(wǎng)絡(luò)流量建模與預(yù)測是可行的，預(yù)測結(jié)果可靠。

預(yù)測建模主要對網(wǎng)絡(luò)流量將來變化趨勢進(jìn)行跟蹤，因此進(jìn)行多步預(yù)測性能分析，2步驟預(yù)測結(jié)果,如圖4所示。

可以發(fā)現(xiàn)，預(yù)測步長增加，預(yù)測誤差隨之增加，預(yù)測精度相應(yīng)降低，但是預(yù)測精度仍然很高，說明IELM具有較好的泛化性能。

統(tǒng)計所有模型的預(yù)測誤差，如表1所示。

從表1的預(yù)測誤差可以知道

(a) 預(yù)測結(jié)果

(b) 預(yù)測偏差

預(yù)測步長IELM文獻(xiàn)[13]ELMRMSEMAPErRMSEM＿ErrorRMSERMSE110．73．511．503．7912．095．02314．26．317．67．9020．399．29718．59．3723．3911．3729．6214．4

(1) 因為不能在線性對網(wǎng)絡(luò)流量進(jìn)行建模，隨著預(yù)測步長增大，ELM的網(wǎng)絡(luò)流誤差增加幅度比較大，過擬合現(xiàn)象出現(xiàn)的概率增加。

(2) 相對于ELM，IELM和文獻(xiàn)[13]的網(wǎng)絡(luò)流量預(yù)測結(jié)果得到了相應(yīng)改善，降低了網(wǎng)絡(luò)流量的預(yù)測誤差，因為IELM和文獻(xiàn)[13]改進(jìn)了訓(xùn)練方式，解決了ELM存在的局限性，使網(wǎng)絡(luò)流量的預(yù)測結(jié)果更優(yōu)。

(3) 與文獻(xiàn)[13]相比，IELM獲得出更高的網(wǎng)絡(luò)流量預(yù)測精度，這因為IELM通過新樣本的加入，模型參數(shù)進(jìn)行了動態(tài)更新，更好描述網(wǎng)絡(luò)流量最新的狀態(tài)，預(yù)測誤差顯著減少，網(wǎng)絡(luò)流量的預(yù)測準(zhǔn)確性始終比較高。

5 總結(jié)

網(wǎng)絡(luò)流量與許多因素相關(guān)，具有比較明顯的混沌性，為了加快網(wǎng)絡(luò)流量建模速度，獲得更優(yōu)的預(yù)測結(jié)果，提出了改進(jìn)極端學(xué)習(xí)機的網(wǎng)絡(luò)流量混沌預(yù)測模型，具體網(wǎng)絡(luò)流量預(yù)測結(jié)果表明，改進(jìn)極端學(xué)習(xí)機可以準(zhǔn)確把握網(wǎng)絡(luò)流量的變化趨勢，網(wǎng)絡(luò)流量的預(yù)測結(jié)果可靠，預(yù)測結(jié)果而且要優(yōu)于其它網(wǎng)

絡(luò)流量預(yù)測模型，從而有助于網(wǎng)絡(luò)流量的管理，有效降低網(wǎng)絡(luò)擁塞的頻率。

[1] 田中大,李樹江,王艷紅,等. 經(jīng)驗?zāi)Ｊ椒纸馀c時間序列分析在網(wǎng)絡(luò)流量預(yù)測中的應(yīng)用[J]. 控制與決策, 2015, 30(5): 905-911.

[2] 王升輝, 裘正定. 結(jié)合多重分形的網(wǎng)絡(luò)流量非線性預(yù)測[J]. 通信學(xué)報, 2007, 28(2): 45-57.

[3] 邱艷,張洪. 一種有效的網(wǎng)絡(luò)流量預(yù)測算法[J]. 成都大學(xué)學(xué)報(自然科學(xué)版), 2016, 35(2): 150-152.

[4] Chen Yuehui, Yang Bin, Meng Qingfang. Small-time scale network traffic prediction based on flexible neural tree [J]. Applied Soft Computing, 2012, 12(1): 274-279.

[5] 高波,張欽宇,梁永生,等. 基于EMD及ARMA的自相似網(wǎng)絡(luò)流量預(yù)測[J]. 通信學(xué)報,2011,32(4):47-56

[6] 田中大,高憲文,李樹江,等. 遺傳算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].計算機研究與發(fā)展,2015,52(5):1137-114.

[7] 王雪松,趙躍龍. 遺傳算法優(yōu)化延遲時間和嵌入維的網(wǎng)絡(luò)流量預(yù)測[J].計算機工程與應(yīng)用, 2014,50(12):66-70.

[8] 唐舟進(jìn),彭濤,王文博. 一種基于相關(guān)分析的局域最小二乘支持向量機小尺度網(wǎng)絡(luò)流量預(yù)測算法[J].物理學(xué)報, 2014, 63(13):130504-130514.

[9] 楊雷,李貴鵬,張萍. 改進(jìn)的Wolf步預(yù)測的網(wǎng)絡(luò)異常流量檢測[J]. 科技通報,2014,30(2):47-49.

[10] 李振剛.基于高斯過程回歸的網(wǎng)絡(luò)流量預(yù)測模型[J]. 計算機應(yīng)用,2014, 34(6):1251-1254.

[11] 李明迅，孟相如，袁榮坤等. 融合提升小波降噪和LSSVM的網(wǎng)絡(luò)流量在線預(yù)測[J]. 計算機應(yīng)用，2012，32(2): 340-342.

[12] 張弦,王宏力.基于貫序正則極端學(xué)習(xí)機的時間序列預(yù)測及應(yīng)用[J].航空學(xué)報,2011,32(7):1302-1308.

[13] Liu Nan, Wang Han. Ensemble based extreme learning machine[J].IEEE Signal Processing Letters, 2010, 17(8):754-757.

[14] Lan Yuan, Soh Yengchai, Huang Guangbin. Constructive hidden nodes selection of extreme learning machine for regression [J]. Neurocomputing, 2010, 73(16):3191-3199.

[15] 張濤,張穎江. 基于矢量空間重構(gòu)的網(wǎng)絡(luò)流量預(yù)測算法[J]. 計算機科學(xué), 2016, 43(7): 111-115.