魯華棟, 時磊
(河南工業(yè)職業(yè)技術(shù)學(xué)院 1.網(wǎng)絡(luò)管理中心,2.電子信息工程系,南陽 473000)
隨著互聯(lián)網(wǎng)規(guī)模的不斷增大,每一個小時的網(wǎng)絡(luò)業(yè)務(wù)量不斷增多,增加了網(wǎng)絡(luò)擁塞頻率,網(wǎng)絡(luò)流量預(yù)測可以為網(wǎng)絡(luò)管理提供有有價值的參考意見,設(shè)計高精度、速度快的網(wǎng)絡(luò)流量預(yù)測模型十分關(guān)鍵[1-3]。
網(wǎng)絡(luò)流量預(yù)測的研究可以分為兩個階段:傳統(tǒng)階段和現(xiàn)代階段,傳統(tǒng)階段主要有時間序列法、多元線性回歸等[4-6],它們假設(shè)網(wǎng)絡(luò)流量呈現(xiàn)線性變化規(guī)律,建模速度快,然而網(wǎng)絡(luò)流量受到多種因素影響,具有時變性、混沌性等,預(yù)測精度低,預(yù)測結(jié)果不可靠[7]?,F(xiàn)代階段主要采用機器學(xué)習(xí)算法對網(wǎng)絡(luò)流量進(jìn)行建模和預(yù)測,其中神經(jīng)網(wǎng)絡(luò)應(yīng)用最為廣泛,預(yù)測精度得到了一定提升[9-11]。極端學(xué)習(xí)機(extreme learning machine,ELM)屬于新前饋神經(jīng)網(wǎng)絡(luò),建模效率要高于其它神經(jīng)網(wǎng)絡(luò),可以應(yīng)用于非線性的網(wǎng)絡(luò)流量預(yù)測建模[12]。標(biāo)準(zhǔn)限學(xué)習(xí)機采用隨機確定輸出權(quán)值,泛化能力差,易出現(xiàn)過擬合缺陷。因此有學(xué)者提出了一種改進(jìn)極端學(xué)習(xí)機(Regularized ELM,RELM),泛化能力得到了改善,但RELM只能對網(wǎng)絡(luò)流量進(jìn)行離線建模,無法滿足網(wǎng)絡(luò)流量的在線預(yù)測要求[13]。為此,有學(xué)者提另一種改進(jìn)極端學(xué)習(xí)機(online sequential extreme learning machine,OS-ELM),但計算復(fù)雜度高,建模效率低[14]。
為了更加準(zhǔn)確地對網(wǎng)絡(luò)流量進(jìn)行預(yù)測,提出了一種改進(jìn)極端學(xué)習(xí)機(Improved ELM,IELM)的網(wǎng)絡(luò)流量預(yù)測模型,并通過網(wǎng)絡(luò)流量數(shù)據(jù)的預(yù)測實驗驗證其可行性。結(jié)果表明,與其它網(wǎng)絡(luò)流量預(yù)測模型相比,改進(jìn)極限學(xué)習(xí)的網(wǎng)絡(luò)流量預(yù)測結(jié)果更加可靠,可以更加準(zhǔn)確描述網(wǎng)絡(luò)流量將來的變化趨勢,提高了網(wǎng)絡(luò)流量的預(yù)測精度。
(1)
相關(guān)參數(shù)見[12]。
對式(1)直接進(jìn)行求解十分復(fù)雜,難以實現(xiàn),為此引入拉格朗乘子,得到式(2)。
(2)
式中,Hk為神經(jīng)元矩陣,w為權(quán)值。
對式(2)進(jìn)行求偏導(dǎo),同時設(shè)偏導(dǎo)數(shù)為零,那么可以得到式(3)。
(3)
式中,I為單位矩陣
極端學(xué)習(xí)機的回歸模型為式(4)。
(4)
式中,t和x分別為輸入和輸出。
在極端學(xué)習(xí)機的回歸過程中,實際就是找到βk的值,但該過程包括矩陣求逆運算,使得極限學(xué)習(xí)的學(xué)習(xí)比較費時。為此本文提出一種改進(jìn)極端學(xué)習(xí)機(IELM)。
設(shè)根據(jù)時間序列Sk已得到輸出權(quán)值βk,當(dāng)有訓(xùn)練樣本加入時,輸出權(quán)值變?yōu)槭?5)。
(5)
(6)
根據(jù)矩陣求逆引理得到Pk的遞推表達(dá)式為式(7)。
(7)
聯(lián)合式(5)和式(6)得到βk的遞推表達(dá)式為式(8)。
(8)
根據(jù)Cholesky分解方法求解βk,則有式(9)。
(9)
那么βL求解過程可被轉(zhuǎn)化為求解形如式(10)的線性方程,加快學(xué)習(xí)速度為式(10)。
ALβL=bL
(10)
對AL進(jìn)行Cholesky分解得到式(11)。
(11)
式中,SL是一個三角矩陣,如式(12)。
最后βL為
(12)
其中,sij表示SL中不為零的元素;fi為式(13)。
(13)
3.1 混沌理論
設(shè)原始網(wǎng)絡(luò)流量數(shù)據(jù)集:{x(i),i=1,2,…,n},根據(jù)混沌理論可以變?yōu)橐粋€多維時間序列為:X(t)={x(t),x(i+τ),…,x(i+(m-1)τ),其中,τ表示延遲時間,分析一對樣本點:X(i)和X(j),那么兩者的距離rij(m)為[15]式(14)。
(14)
關(guān)聯(lián)積分計算公式為式(15)。
(15)
式中,r為閾值。
將網(wǎng)絡(luò)流量數(shù)據(jù){x(i),i=1,2,…}可劃分成t個子時間序列,則有式(16)。
(16)
式中,Cl表示第l個子序列的相關(guān)積分。
極小值點的計算公式為式(17)。
(17)
令式(18)。
(18)
式中,Xi(m+1)為重構(gòu)后的i個向量;Xn(i,m)(m+1)為的Xi(m+1)最近鄰。
3.2 改進(jìn)學(xué)習(xí)機的網(wǎng)絡(luò)流量預(yù)測模型的工作過程
Step1:收集網(wǎng)絡(luò)流量歷史時間序列數(shù)據(jù),對其歸一化操作,具體為式(19)。
(19)
式中,x(i)和x′(i)分別為原始和歸一化后的值,max()和min()分別為最大值和最小值。
Step2: 確定最佳τ和m,對原始網(wǎng)絡(luò)流量數(shù)據(jù)重構(gòu),建立IELM的學(xué)習(xí)樣本。
Step3: 確定IELM輸入權(quán)值αk及隱含層偏差bk值,并將網(wǎng)絡(luò)流訓(xùn)練集輸入到IELM進(jìn)行訓(xùn)練。
Step4: 計算隱含層輸出矩陣H。
Step5: 計算輸出層權(quán)值βk。
Step6: 將βk代入式(4)建立網(wǎng)絡(luò)流量預(yù)測模型,并對測試集進(jìn)行驗證,根據(jù)結(jié)果對IELM的性能進(jìn)行分析。
4.1 實驗環(huán)境及數(shù)據(jù)
為了分析改進(jìn)極端學(xué)習(xí)機的性能,選擇標(biāo)準(zhǔn)測試數(shù)據(jù)集http://newsfeed.ntcu.net/~news/2015/的每小時流量作為實驗對象,它們?nèi)鐖D1所示。
圖1 實驗數(shù)據(jù)
采用Intel 4核 3.0GHz CPU,32 GB RAM,Windows 10系統(tǒng)上作為實驗平臺,采用VC++6.0編程實現(xiàn)實驗。
4.2 數(shù)據(jù)混沌處理
采用混沌理論對圖1中的實驗數(shù)據(jù)進(jìn)行分析,得到τ和m變化曲線,如圖2所示。
可以發(fā)現(xiàn),最佳τ=5,m=5,這樣表示網(wǎng)絡(luò)流量數(shù)據(jù)時間上有一定的關(guān)聯(lián)性,通過相空間重構(gòu)可以挖掘它們之間聯(lián)系,建立極端學(xué)習(xí)機的訓(xùn)練樣本和測試樣本。
4.3 結(jié)果與分析
選擇文獻(xiàn)[13]的改進(jìn)極端學(xué)習(xí)機、標(biāo)準(zhǔn)學(xué)習(xí)機進(jìn)行對照測試,并采用RMSE、MAPE對模型的性能進(jìn)行分析,具體為式(20)、式(21)。
(20)
(21)
IELM的網(wǎng)絡(luò)流量一步預(yù)測結(jié)果如圖3所示。
(a) τ
(b) m
(a) 預(yù)測結(jié)果
(b) 預(yù)測偏差
可以清楚看出,一步測精度高,誤差波動平穩(wěn),說明將IELM用于網(wǎng)絡(luò)流量建模與預(yù)測是可行的,預(yù)測結(jié)果可靠。
預(yù)測建模主要對網(wǎng)絡(luò)流量將來變化趨勢進(jìn)行跟蹤,因此進(jìn)行多步預(yù)測性能分析,2步驟預(yù)測結(jié)果,如圖4所示。
可以發(fā)現(xiàn),預(yù)測步長增加,預(yù)測誤差隨之增加,預(yù)測精度相應(yīng)降低,但是預(yù)測精度仍然很高,說明IELM具有較好的泛化性能。
統(tǒng)計所有模型的預(yù)測誤差,如表1所示。
從表1的預(yù)測誤差可以知道
(a) 預(yù)測結(jié)果
(b) 預(yù)測偏差
預(yù)測步長IELM文獻(xiàn)[13]ELMRMSEMAPErRMSEM_ErrorRMSERMSE110.73.511.503.7912.095.02314.26.317.67.9020.399.29718.59.3723.3911.3729.6214.4
(1) 因為不能在線性對網(wǎng)絡(luò)流量進(jìn)行建模,隨著預(yù)測步長增大,ELM的網(wǎng)絡(luò)流誤差增加幅度比較大,過擬合現(xiàn)象出現(xiàn)的概率增加。
(2) 相對于ELM,IELM和文獻(xiàn)[13]的網(wǎng)絡(luò)流量預(yù)測結(jié)果得到了相應(yīng)改善,降低了網(wǎng)絡(luò)流量的預(yù)測誤差,因為IELM和文獻(xiàn)[13]改進(jìn)了訓(xùn)練方式,解決了ELM存在的局限性,使網(wǎng)絡(luò)流量的預(yù)測結(jié)果更優(yōu)。
(3) 與文獻(xiàn)[13]相比,IELM獲得出更高的網(wǎng)絡(luò)流量預(yù)測精度,這因為IELM通過新樣本的加入,模型參數(shù)進(jìn)行了動態(tài)更新,更好描述網(wǎng)絡(luò)流量最新的狀態(tài),預(yù)測誤差顯著減少,網(wǎng)絡(luò)流量的預(yù)測準(zhǔn)確性始終比較高。
網(wǎng)絡(luò)流量與許多因素相關(guān),具有比較明顯的混沌性,為了加快網(wǎng)絡(luò)流量建模速度,獲得更優(yōu)的預(yù)測結(jié)果,提出了改進(jìn)極端學(xué)習(xí)機的網(wǎng)絡(luò)流量混沌預(yù)測模型,具體網(wǎng)絡(luò)流量預(yù)測結(jié)果表明,改進(jìn)極端學(xué)習(xí)機可以準(zhǔn)確把握網(wǎng)絡(luò)流量的變化趨勢,網(wǎng)絡(luò)流量的預(yù)測結(jié)果可靠,預(yù)測結(jié)果而且要優(yōu)于其它網(wǎng)
絡(luò)流量預(yù)測模型,從而有助于網(wǎng)絡(luò)流量的管理,有效降低網(wǎng)絡(luò)擁塞的頻率。
[1] 田中大,李樹江,王艷紅,等. 經(jīng)驗?zāi)J椒纸馀c時間序列分析在網(wǎng)絡(luò)流量預(yù)測中的應(yīng)用[J]. 控制與決策, 2015, 30(5): 905-911.
[2] 王升輝, 裘正定. 結(jié)合多重分形的網(wǎng)絡(luò)流量非線性預(yù)測[J]. 通信學(xué)報, 2007, 28(2): 45-57.
[3] 邱艷,張洪. 一種有效的網(wǎng)絡(luò)流量預(yù)測算法[J]. 成都大學(xué)學(xué)報(自然科學(xué)版), 2016, 35(2): 150-152.
[4] Chen Yuehui, Yang Bin, Meng Qingfang. Small-time scale network traffic prediction based on flexible neural tree [J]. Applied Soft Computing, 2012, 12(1): 274-279.
[5] 高波,張欽宇,梁永生,等. 基于EMD及ARMA的自相似網(wǎng)絡(luò)流量預(yù)測[J]. 通信學(xué)報,2011,32(4):47-56
[6] 田中大,高憲文,李樹江,等. 遺傳算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].計算機研究與發(fā)展,2015,52(5):1137-114.
[7] 王雪松,趙躍龍. 遺傳算法優(yōu)化延遲時間和嵌入維的網(wǎng)絡(luò)流量預(yù)測[J].計算機工程與應(yīng)用, 2014,50(12):66-70.
[8] 唐舟進(jìn),彭濤,王文博. 一種基于相關(guān)分析的局域最小二乘支持向量機小尺度網(wǎng)絡(luò)流量預(yù)測算法[J].物理學(xué)報, 2014, 63(13):130504-130514.
[9] 楊雷,李貴鵬,張萍. 改進(jìn)的Wolf步預(yù)測的網(wǎng)絡(luò)異常流量檢測[J]. 科技通報,2014,30(2):47-49.
[10] 李振剛.基于高斯過程回歸的網(wǎng)絡(luò)流量預(yù)測模型[J]. 計算機應(yīng)用,2014, 34(6):1251-1254.
[11] 李明迅,孟相如,袁榮坤等. 融合提升小波降噪和LSSVM的網(wǎng)絡(luò)流量在線預(yù)測[J]. 計算機應(yīng)用,2012,32(2): 340-342.
[12] 張弦,王宏力.基于貫序正則極端學(xué)習(xí)機的時間序列預(yù)測及應(yīng)用[J].航空學(xué)報,2011,32(7):1302-1308.
[13] Liu Nan, Wang Han. Ensemble based extreme learning machine[J].IEEE Signal Processing Letters, 2010, 17(8):754-757.
[14] Lan Yuan, Soh Yengchai, Huang Guangbin. Constructive hidden nodes selection of extreme learning machine for regression [J]. Neurocomputing, 2010, 73(16):3191-3199.
[15] 張濤,張穎江. 基于矢量空間重構(gòu)的網(wǎng)絡(luò)流量預(yù)測算法[J]. 計算機科學(xué), 2016, 43(7): 111-115.