田中大,李樹(shù)江,王艷紅,王向東
?
基于混沌理論與改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量多步預(yù)測(cè)
田中大,李樹(shù)江,王艷紅,王向東
(沈陽(yáng)工業(yè)大學(xué)信息科學(xué)與工程學(xué)院,遼寧沈陽(yáng) 110870)
網(wǎng)絡(luò)流量預(yù)測(cè)是網(wǎng)絡(luò)管理及網(wǎng)絡(luò)擁塞控制的重要問(wèn)題,針對(duì)該問(wèn)題提出一種基于混沌理論與改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)方法。首先利用0-1混沌測(cè)試法與最大Lyapunov指數(shù)法對(duì)不同時(shí)間尺度下的網(wǎng)絡(luò)流量樣本數(shù)據(jù)進(jìn)行分析,確定網(wǎng)絡(luò)流量在不同時(shí)間尺度下都具有混沌特性。將相空間重構(gòu)技術(shù)引入網(wǎng)絡(luò)流量預(yù)測(cè),通過(guò)C-C方法確定延遲時(shí)間,G-P算法確定嵌入維數(shù)。對(duì)網(wǎng)絡(luò)流量時(shí)間序列進(jìn)行相空間重構(gòu)之后,利用一種改進(jìn)的回聲狀態(tài)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)流量的多步預(yù)測(cè)。提出一種改進(jìn)的和聲搜索優(yōu)化算法對(duì)回聲狀態(tài)網(wǎng)絡(luò)的相關(guān)參數(shù)進(jìn)行優(yōu)化以提高預(yù)測(cè)精度。利用網(wǎng)絡(luò)流量的公共數(shù)據(jù)集以及實(shí)際數(shù)據(jù)進(jìn)行了仿真,結(jié)果表明,提出的預(yù)測(cè)方法具有更高的預(yù)測(cè)精度以及更小的預(yù)測(cè)誤差。
網(wǎng)絡(luò)流量;混沌;回聲狀態(tài)網(wǎng)絡(luò);時(shí)間尺度;預(yù)測(cè)
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)規(guī)模越來(lái)越大和復(fù)雜化,網(wǎng)絡(luò)信息流量劇增,網(wǎng)絡(luò)擁塞越來(lái)越嚴(yán)重,網(wǎng)絡(luò)管理的難度日益增加,如何有效地管理和控制網(wǎng)絡(luò),為用戶提高更加優(yōu)質(zhì)服務(wù)顯得十分重要。網(wǎng)絡(luò)流量是衡量網(wǎng)絡(luò)運(yùn)行負(fù)荷和狀態(tài)的重要參數(shù),通過(guò)對(duì)網(wǎng)絡(luò)流量的監(jiān)測(cè),可以及時(shí)了解網(wǎng)絡(luò)當(dāng)前運(yùn)行狀況,因此如何進(jìn)行網(wǎng)絡(luò)流量的精確預(yù)測(cè)引起了學(xué)者廣泛的關(guān)注[1]。
網(wǎng)絡(luò)流量是一定采樣時(shí)間內(nèi)通過(guò)網(wǎng)絡(luò)設(shè)備或傳輸介質(zhì)的信息量(報(bào)文數(shù)、數(shù)據(jù)分組數(shù)或字節(jié)數(shù))。一般的研究對(duì)象都為基于IP協(xié)議的網(wǎng)絡(luò)流量。網(wǎng)絡(luò)流量預(yù)測(cè)問(wèn)題可定義為[2]:給定當(dāng)前時(shí)刻的一組IP網(wǎng)絡(luò)流量數(shù)據(jù),則未來(lái)某一時(shí)刻的流量可由給出,這里為預(yù)測(cè)步長(zhǎng)。當(dāng)時(shí)為單步預(yù)測(cè),時(shí)為多步預(yù)測(cè)。相對(duì)于單步預(yù)測(cè)而言,多步預(yù)測(cè)有著更重要的理論與實(shí)際意義。
網(wǎng)絡(luò)流量是按時(shí)間采集的,因此是一種典型的時(shí)間序列數(shù)據(jù),具有高度非線性、多時(shí)間尺度和不確定性等特點(diǎn)。近些年來(lái),諸多學(xué)者對(duì)網(wǎng)絡(luò)流量預(yù)測(cè)進(jìn)行研究,提出了許多的預(yù)測(cè)方法。其中,很多學(xué)者將網(wǎng)絡(luò)流量看作線性模型,采用自回歸滑動(dòng)平均(ARMA, auto regressive moving average)模型[3, 4]、差分自回歸滑動(dòng)平均(ARIMA, auto regressive integrated moving average)模型[5, 6]以及差分自回歸求和滑動(dòng)平均模型[7,8](FARIMA, fractional auto regressive integrated moving average)等線性模型進(jìn)行預(yù)測(cè)。但是隨著網(wǎng)絡(luò)復(fù)雜度的增加,網(wǎng)絡(luò)流量特性已經(jīng)超出傳統(tǒng)意義上認(rèn)為的泊松或者馬爾可夫分布模型,而這些傳統(tǒng)時(shí)間序列分析方法均屬于線性模型,適合于季節(jié)性、周期性等特征平穩(wěn)的時(shí)間序列預(yù)測(cè)。對(duì)于具有非平穩(wěn)、非線性特征的網(wǎng)絡(luò)流量時(shí)間序列,由于它們不能全面反映網(wǎng)絡(luò)流量序列的復(fù)雜變化特征,預(yù)測(cè)準(zhǔn)確率比較低,使預(yù)測(cè)的精確性無(wú)法提高。而非線性預(yù)測(cè)模型主要包括支持向量機(jī)[9,10](SVM, support vector machine)、最小二乘支持向量機(jī)[11,12](LSSVM, least squares support vector machine)、人工神經(jīng)網(wǎng)絡(luò)(RBF神經(jīng)網(wǎng)絡(luò)[13]、ELM神經(jīng)網(wǎng)絡(luò)[14]以及Elman神經(jīng)網(wǎng)絡(luò)[15]等)、卡爾曼濾波模型[16](KFM, Kalman filtering mode)、灰色模型[17]等。雖然非線性模型的預(yù)測(cè)精度較線性模型有了一定程度的提高,但是也存在著各自的缺陷。SVM與LSSVM雖然需要樣本數(shù)少,但是其關(guān)鍵參數(shù)很難確定,預(yù)測(cè)精度受核參數(shù)影響很大;神經(jīng)網(wǎng)絡(luò)雖然可以任意精度逼近非線性函數(shù),但是其存在易陷于局部最優(yōu)值、網(wǎng)絡(luò)結(jié)構(gòu)難以確定的缺點(diǎn);卡爾曼濾波模型誤差難以量化,而網(wǎng)絡(luò)流量具有隨機(jī)性和突發(fā)性,使KFM模型運(yùn)算量大,參數(shù)設(shè)置復(fù)雜,實(shí)際應(yīng)用性較差;灰色模型只適合網(wǎng)絡(luò)流量數(shù)據(jù)變化不是劇烈的情況下。因此網(wǎng)絡(luò)流量的非線性預(yù)測(cè)模型也都存在著各自的局限性。很多學(xué)者也提出了一些混合預(yù)測(cè)模型[18~20],即將2種以上的預(yù)測(cè)模型通過(guò)某些算法進(jìn)行結(jié)合,達(dá)到提高預(yù)測(cè)精度的目的。
雖然學(xué)者們?cè)诰W(wǎng)絡(luò)流量預(yù)測(cè)問(wèn)題上進(jìn)行了大量的研究,但是目前的研究大多未考慮網(wǎng)絡(luò)流量時(shí)間序列具有的混沌特性,而實(shí)際網(wǎng)絡(luò)是一個(gè)時(shí)變的、開(kāi)放的復(fù)雜巨系統(tǒng),因此網(wǎng)絡(luò)流量具有高度的非線性和不確定性。理論上更精確的預(yù)測(cè)方法是用符合網(wǎng)絡(luò)流量特性的非線性動(dòng)力學(xué)理論進(jìn)行建模并預(yù)測(cè),以提高預(yù)測(cè)精度和可信度。對(duì)于確定性混沌系統(tǒng),采用基于混沌的相關(guān)理論進(jìn)行預(yù)測(cè),就能獲得較高的預(yù)測(cè)精度。但是目前考慮到混沌特性的相關(guān)研究只針對(duì)單一時(shí)間尺度的網(wǎng)絡(luò)流量進(jìn)行預(yù)測(cè)[21,22]。因而確定不同時(shí)間尺度下網(wǎng)絡(luò)流量序列是否具有混沌特性,是應(yīng)用混沌理論進(jìn)行網(wǎng)絡(luò)流量預(yù)測(cè)的前提。基于以上考慮,首先對(duì)不同時(shí)間尺度的網(wǎng)絡(luò)流量時(shí)間序列進(jìn)行混沌特性分析,通過(guò)0-1混沌測(cè)試法與最大Lyapunov指數(shù)法確定網(wǎng)絡(luò)流量時(shí)間序列具有混沌特性。針對(duì)網(wǎng)絡(luò)流量時(shí)間序列的混沌特性結(jié)合相空間重構(gòu)技術(shù)展開(kāi)預(yù)測(cè),利用C-C方法確定序列延遲時(shí)間,通過(guò)G-P算法確定序列嵌入維數(shù)。
在預(yù)測(cè)模型的選擇上,利用Jaeger等[23]于2001年提出的一種新型的遞歸神經(jīng)網(wǎng)絡(luò)—回聲狀態(tài)網(wǎng)絡(luò)(ESN, echo state network)。ESN核心部分是一個(gè)大規(guī)模儲(chǔ)備池,網(wǎng)絡(luò)的輸入權(quán)值和儲(chǔ)備池內(nèi)部連接權(quán)值隨機(jī)生成,并在訓(xùn)練中保持不變,只有輸出權(quán)值需要通過(guò)線性回歸方法求解,學(xué)習(xí)算法簡(jiǎn)單快速,彌補(bǔ)了一般神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺點(diǎn)。為了克服不同的儲(chǔ)備池參數(shù)以及輸入數(shù)據(jù)噪聲對(duì)于ESN預(yù)測(cè)效果的影響,提出對(duì)ESN輸入端加入補(bǔ)償信號(hào)與比例系數(shù),同時(shí)利用改進(jìn)的和聲搜索算法完成ESN最佳預(yù)測(cè)參數(shù)的確定。
綜上所述,本文提出一種基于混沌理論與回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量多步預(yù)測(cè)方法,首先確定網(wǎng)絡(luò)流量時(shí)間序列具有混沌特性,對(duì)原始網(wǎng)絡(luò)流量進(jìn)行相空間重構(gòu)處理,然后通過(guò)改進(jìn)的和聲搜索算法優(yōu)化預(yù)測(cè)模型的相關(guān)參數(shù),利用優(yōu)化后的參數(shù)進(jìn)行網(wǎng)絡(luò)流量的多步預(yù)測(cè)。通過(guò)仿真實(shí)驗(yàn)表明提出的方法具有更高的預(yù)測(cè)精度與更小的預(yù)測(cè)誤差。
網(wǎng)絡(luò)流量數(shù)據(jù)分組包括公共數(shù)據(jù)集與實(shí)際數(shù)據(jù)2部分。網(wǎng)絡(luò)流量時(shí)間尺度的劃分基本上分為小時(shí)間尺度與大時(shí)間尺度。一般認(rèn)為小時(shí)間尺度為采樣時(shí)間小于1 s。因此本文也認(rèn)為采樣間隔在1 s以內(nèi)的為小時(shí)間尺度,大于1 s間隔的為大時(shí)間尺度。
小時(shí)間尺度網(wǎng)絡(luò)流量數(shù)據(jù)集來(lái)自于http://ita.ee. lbl.gov/html/contrib/BC.html中的BC-pAug89數(shù)據(jù)集,其采集了3 142.82 s內(nèi)的包括局域網(wǎng)、廣域網(wǎng)等網(wǎng)絡(luò)的單向流量,按照10 ms、100 ms、1 s的采樣間隔,將數(shù)據(jù)集分成T_10 ms、T_100 ms、T_1s這3個(gè)數(shù)據(jù)集,為了對(duì)比研究方便,數(shù)據(jù)集長(zhǎng)度均取為1 000。大尺度網(wǎng)絡(luò)流量數(shù)據(jù)為ftp://ita.ee. lbl.gov/traces/BC-Oct89Ext4.TL.Z中的BC-Oct89Ext4數(shù)據(jù)集,共采集了307 h的共106組網(wǎng)絡(luò)流量數(shù)據(jù)。對(duì)其按照10 s、1 min、10 min、30 min、1 h的間隔采樣,生成T_10s、T_1min、T_10min、T_30min、T_1hour 5個(gè)數(shù)據(jù)集,這里前6個(gè)數(shù)據(jù)集的長(zhǎng)度都取為1 000,后2個(gè)數(shù)據(jù)集長(zhǎng)度取為300。8個(gè)數(shù)據(jù)集數(shù)據(jù)傳輸層均采用TCP協(xié)議,數(shù)據(jù)集的單位為byte。由此得到的8個(gè)數(shù)據(jù)集如圖1所示。
實(shí)際網(wǎng)絡(luò)流量數(shù)據(jù)來(lái)源于中國(guó)聯(lián)合網(wǎng)絡(luò)通信公司遼寧分公司3G網(wǎng)絡(luò)一核心路由器流入的網(wǎng)絡(luò)流量數(shù)據(jù),數(shù)據(jù)采集尺度為10 min,傳輸層協(xié)議為TCP協(xié)議,共采集300組數(shù)據(jù),單位為MB。圖2為300組實(shí)際網(wǎng)絡(luò)流量數(shù)據(jù)。
在給出網(wǎng)絡(luò)流量數(shù)據(jù)來(lái)源后,這里將對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分形特征的討論。分形理論由美國(guó)科學(xué)家Benoit于20世紀(jì)70年代中期創(chuàng)立,分形理論用于研究復(fù)雜系統(tǒng)的自相似性。重標(biāo)度極差分析(R/S, rescaled range analysis)是以分形理論為基礎(chǔ)的時(shí)間序列研究方法,該方法特別適用于分析具有長(zhǎng)相關(guān)特性的非線性時(shí)間序列,而且對(duì)所研究對(duì)象可不做任何假設(shè),屬非參數(shù)分析法,具有較好的穩(wěn)健性[24]。1951年,英國(guó)學(xué)者Hurst在研究尼羅河水流量時(shí),提出了R/S分析方法建立Hurst指數(shù),作為判斷時(shí)間序列數(shù)據(jù)是否是隨機(jī)游走還是有偏隨機(jī)游走的指標(biāo)。隨后分形學(xué)說(shuō)創(chuàng)始人Mandelbort在理論上證實(shí)了該方法的正確性,并加以完善與補(bǔ)充[25]。其方法可描述為
圖1 不同時(shí)間尺度下的網(wǎng)絡(luò)流量序列
表1 不同時(shí)間尺度網(wǎng)絡(luò)流量的Hurst指數(shù)
從表1中可觀察到,不同時(shí)間尺度下的網(wǎng)絡(luò)流量時(shí)間序列具有分形特征,且Hurst 指數(shù)值均大于0.5,表明不同時(shí)間尺度下的網(wǎng)絡(luò)流量時(shí)間序列數(shù)據(jù)服從分形布朗運(yùn)動(dòng),且時(shí)間序列具有長(zhǎng)期的正相關(guān)特征,所測(cè)定的時(shí)間周期內(nèi)表現(xiàn)的特征將得到延續(xù),即趨勢(shì)具有可持續(xù)性,這也說(shuō)明了網(wǎng)絡(luò)流量時(shí)間序列的可預(yù)測(cè)性。
混沌現(xiàn)象是非線性動(dòng)力系統(tǒng)中常見(jiàn)的現(xiàn)象?;煦缦到y(tǒng)是一個(gè)確定系統(tǒng),它對(duì)系統(tǒng)初值具有較強(qiáng)的敏感性。對(duì)于混沌系統(tǒng)的預(yù)測(cè)而言,由于其存在初值敏感性,因此不能長(zhǎng)期預(yù)測(cè),但是同時(shí)由于其確定性,混沌系統(tǒng)具有短期預(yù)測(cè)能力。對(duì)于網(wǎng)絡(luò)流量時(shí)間序列的預(yù)測(cè)問(wèn)題,首先需要確定其是否具有混沌特性,只有進(jìn)行不同時(shí)間尺度下網(wǎng)絡(luò)流量時(shí)間序列的混沌特性判定,才能確定不同時(shí)間尺度下網(wǎng)絡(luò)流量時(shí)間序列的可預(yù)測(cè)性。
網(wǎng)絡(luò)流量時(shí)間序列的混沌特性判定可通過(guò)0-1混沌測(cè)試方法[26]與最大Lyapunov指數(shù)[27]2種方法。受限于篇幅,算法具體計(jì)算過(guò)程可參見(jiàn)相關(guān)文獻(xiàn)。
3.1 0-1混沌測(cè)試法
從圖3~圖5可看出,10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列的與的相圖呈現(xiàn)布朗特性,而均方位移隨時(shí)間線性增長(zhǎng),同時(shí)計(jì)算可得到漸進(jìn)增長(zhǎng)率K為0.998 3,接近于1,因此10 ms時(shí)間尺度網(wǎng)絡(luò)流量序列具有混沌特性。同理,對(duì)其余8個(gè)不同時(shí)間尺度的網(wǎng)絡(luò)流量時(shí)間序列計(jì)算其漸進(jìn)增長(zhǎng)率,結(jié)果如表2所示,從中可看出不同時(shí)間尺度下的都趨近于1,0-1混沌測(cè)試法表明網(wǎng)絡(luò)流量時(shí)間序列在不同時(shí)間尺度下都具有混沌特性。
表2 不同時(shí)間尺度網(wǎng)絡(luò)流量的漸進(jìn)增長(zhǎng)率
3.2 相空間重構(gòu)
相空間重構(gòu)是混沌時(shí)間序列預(yù)測(cè)的基礎(chǔ),相空間重構(gòu)用原始系統(tǒng)中某個(gè)變量的延遲坐標(biāo)來(lái)重構(gòu)相空間,Takens從數(shù)學(xué)上為其奠定了可靠的基礎(chǔ)。他的基本觀點(diǎn)是:相空間重構(gòu)法雖然是用一個(gè)變量在不同時(shí)刻的值構(gòu)成相空間,但動(dòng)力系統(tǒng)的一個(gè)變量的變化自然跟此變量與系統(tǒng)的其他變量的相互作用有關(guān),即此變量隨時(shí)間的變化隱含著整個(gè)系統(tǒng)的動(dòng)力學(xué)規(guī)律。因此,重構(gòu)的相空間的軌跡也反映系統(tǒng)狀態(tài)的演化規(guī)律。
受限于篇幅,這里僅對(duì)10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列進(jìn)行詳細(xì)分析。利用C-C算法得到10 ms網(wǎng)絡(luò)流量時(shí)間序列的變化曲線如圖6所示。從圖中可看出的第一個(gè)局部最小值發(fā)生在,因此確定10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列的時(shí)延為2。按照G-P算法得到圖7所示的隨著的增大,的變化曲線,圖8的與關(guān)聯(lián)維數(shù)的曲線。從圖7與圖8可知,隨著嵌入維數(shù)的增加,線性區(qū)域內(nèi)出現(xiàn)了趨于飽和的現(xiàn)象,繼續(xù)增加嵌入維數(shù)幾乎不影響關(guān)聯(lián)積分的值。從圖8中可看出關(guān)聯(lián)維數(shù)的收斂值為4.5左右,依據(jù)原則,確定10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列的嵌入維數(shù)為10。
對(duì)于一個(gè)混沌時(shí)間序列,如果延遲時(shí)間取值不合理,混沌吸引子的相軌線被壓縮或被折疊,空間點(diǎn)對(duì)的距離分布不均勻。而從圖9與圖10的相圖可看出在為2時(shí),空間點(diǎn)對(duì)點(diǎn)間的距離趨于均勻分布,吸引子所包含信息量較大,二維與三維相圖表明其對(duì)吸引子有序結(jié)構(gòu)的展開(kāi)相對(duì)較為充分,因此確定延遲時(shí)間為2較為合理。
將10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列按照得到的嵌入維數(shù)與延遲時(shí)間進(jìn)行相空間重構(gòu),計(jì)算其遞歸圖(RP, recurrence plot),結(jié)果如圖11所示。
圖11表明,10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列不同于隨機(jī)信號(hào),其遞歸圖并非均勻分布于整個(gè)遞歸平面,而且存在與主對(duì)角線平行的直線段,因此10 ms尺度網(wǎng)絡(luò)流量序列為典型的混沌時(shí)間序列,在局部范圍內(nèi)具有可預(yù)測(cè)性。同理,可計(jì)算其他時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列對(duì)應(yīng)的相空間參數(shù),結(jié)果如表3所示。
表3 不同時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列相空間參數(shù)
3.3 最大Lyapunov指數(shù)
Lyapunov指數(shù)描述了系統(tǒng)軌道演化過(guò)程的特性,度量了系統(tǒng)對(duì)于初始條件依賴的敏感性,通過(guò)其各指數(shù)符號(hào)組合能很好判斷出系統(tǒng)的最終演化是否會(huì)出現(xiàn)混沌現(xiàn)象,Lyapunov指數(shù)中,最大的指數(shù)非常重要,如果網(wǎng)絡(luò)流量系統(tǒng)是混沌的,則至少有一個(gè)正的Lyapunov指數(shù)。利用wolf方法計(jì)算了9個(gè)數(shù)據(jù)集的最大Lyapunov指數(shù),結(jié)果如表4所示。從表4中可發(fā)現(xiàn)9個(gè)數(shù)據(jù)集的最大Lyapunov指數(shù)都大于0,因此同樣可表明網(wǎng)絡(luò)流量時(shí)間序列同樣具有混沌特性。
表4 不同時(shí)間尺度網(wǎng)絡(luò)流量的最大Lyapunov指數(shù)
通過(guò)0-1混沌測(cè)試法與最大Lyapunov指數(shù)方法可知網(wǎng)絡(luò)流量時(shí)間序列具有混沌特性,同時(shí)利用混沌理論中的相空間技術(shù)得到各個(gè)時(shí)間尺度網(wǎng)絡(luò)流量序列的重構(gòu)參數(shù)后,將利用下節(jié)的回聲狀態(tài)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)流量的預(yù)測(cè)。
回聲狀態(tài)網(wǎng)絡(luò)將網(wǎng)絡(luò)隱層設(shè)計(jì)成一個(gè)具有很多神經(jīng)元組成的稀疏網(wǎng)絡(luò),通過(guò)調(diào)整網(wǎng)絡(luò)內(nèi)部權(quán)值的特性達(dá)到記憶數(shù)據(jù)的功能。其內(nèi)部的動(dòng)態(tài)儲(chǔ)備池(DR, dynamic reservoir)包含了大量稀疏連接的神經(jīng)元,蘊(yùn)含系統(tǒng)的運(yùn)行狀態(tài),并具有短期記憶功能,而非線性系統(tǒng)的動(dòng)態(tài)特性即由DR產(chǎn)生?;芈暊顟B(tài)網(wǎng)絡(luò)一經(jīng)提出便成為學(xué)術(shù)界的研究熱點(diǎn),并應(yīng)用到各種不同領(lǐng)域,尤其是時(shí)間序列的預(yù)測(cè)問(wèn)題[33~35]。圖12為ESN網(wǎng)絡(luò)結(jié)構(gòu)[36]。
4.1 ESN學(xué)習(xí)算法
設(shè)系統(tǒng)具有個(gè)輸入單元,個(gè)內(nèi)部處理單元,同時(shí)具有個(gè)輸出單元,輸入單元、內(nèi)部狀態(tài)、輸出單元在時(shí)刻的值分別為
與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比,ESN的隱層是由較多神經(jīng)元構(gòu)成的循環(huán)網(wǎng)絡(luò)所形成的動(dòng)態(tài)儲(chǔ)備池。為使DR內(nèi)部具有動(dòng)態(tài)記憶能力,權(quán)值通常保持連接度5%至10%,譜半徑小于1。
(4)
4.2 權(quán)值計(jì)算
也就是希望計(jì)算權(quán)值矩陣滿足系統(tǒng)均方誤差最小,即求解如下目標(biāo)
(6)
可歸結(jié)為如下形式
4.3 基于相空間重構(gòu)與ESN的網(wǎng)絡(luò)流量多步預(yù)測(cè)
本文使用迭代法實(shí)現(xiàn)基于相空間重構(gòu)與ESN的網(wǎng)絡(luò)流量多步預(yù)測(cè),即ESN輸出層為1,通過(guò)反復(fù)迭代完成多步預(yù)測(cè),其實(shí)現(xiàn)步驟可表示為如下。
step1 采集網(wǎng)絡(luò)流量數(shù)據(jù),假設(shè)目前采集得到的網(wǎng)絡(luò)流量時(shí)間序列為,利用C-C方法計(jì)算延遲時(shí)間,利用G-P算法計(jì)算嵌入維數(shù),生成相空間重構(gòu)參數(shù)。
step2 對(duì)ESN模型參數(shù)賦值。生成輸入輸出集合,對(duì)ESN進(jìn)行訓(xùn)練,生成對(duì)應(yīng)權(quán)值矩陣。
5.1 儲(chǔ)備池參數(shù)優(yōu)化
ESN的性能由儲(chǔ)備池的4個(gè)參數(shù)決定的,簡(jiǎn)要介紹儲(chǔ)備池的4個(gè)參數(shù)[37]。
1) 儲(chǔ)備池內(nèi)部連接權(quán)譜半徑。為連接權(quán)矩陣的絕對(duì)值最大的特征值,記為,是保證網(wǎng)絡(luò)穩(wěn)定的必要條件。合理的才能確保ESN具有的回聲狀態(tài)屬性,使網(wǎng)絡(luò)狀態(tài)與輸入在足夠長(zhǎng)的時(shí)間后,對(duì)網(wǎng)絡(luò)的影響消失。
2) 儲(chǔ)備池規(guī)模。為儲(chǔ)備池中神經(jīng)元的個(gè)數(shù),儲(chǔ)備池的規(guī)模選擇與樣本個(gè)數(shù)有關(guān),對(duì)網(wǎng)絡(luò)性能影響很大,儲(chǔ)備池越大ESN對(duì)給定動(dòng)態(tài)系統(tǒng)的描述越準(zhǔn)確,但是過(guò)大會(huì)帶來(lái)過(guò)擬合問(wèn)題,導(dǎo)致模型對(duì)測(cè)試數(shù)據(jù)的泛化能力下降,目前一般的方法是逐漸增大,直到測(cè)試數(shù)據(jù)的性能指標(biāo)變壞為止。
3) 儲(chǔ)備池輸入單元尺度。為儲(chǔ)備池的輸入信號(hào)連接到儲(chǔ)備池內(nèi)部神經(jīng)元之前需要相乘的一個(gè)尺度因子,即對(duì)輸入信號(hào)進(jìn)行一定的縮放。Jaeger在其文獻(xiàn)[23]中給出了選擇原則,即需要處理的對(duì)象非線性越強(qiáng),越大。其本質(zhì)是通過(guò),將輸入數(shù)據(jù)轉(zhuǎn)換到神經(jīng)元激活函數(shù)所能適應(yīng)的范圍。
4) 儲(chǔ)備池稀疏程度。表示儲(chǔ)備池中神經(jīng)元之間的連接情況,儲(chǔ)備池中并不是所有神經(jīng)元之間都存在連接的。表示儲(chǔ)備池中相互連接的神經(jīng)元占總的神經(jīng)元()的百分比。可以衡量?jī)?chǔ)備池所包含向量的豐富程度,向量的豐富程度影響網(wǎng)絡(luò)的非線性逼近能力,因此越大意味著網(wǎng)絡(luò)非線性逼近能力越強(qiáng)。
儲(chǔ)備池的參數(shù)對(duì)于ESN網(wǎng)絡(luò)流量預(yù)測(cè)模型的預(yù)測(cè)精度有著重要的影響,為了說(shuō)明這些參數(shù)對(duì)預(yù)測(cè)精度的影響,以10 ms時(shí)間尺度網(wǎng)絡(luò)流量序列為例,利用前400組數(shù)據(jù)作為輸入,401到500組作為輸出進(jìn)行了測(cè)試。圖13給出了嵌入維數(shù),輸入單元尺度,儲(chǔ)備池稀疏程度,譜半徑變化范圍為[0.1,1),變化步長(zhǎng)為0.05,儲(chǔ)備池規(guī)模變化范圍為[10,150),變化步長(zhǎng)為1,100組網(wǎng)絡(luò)流量預(yù)測(cè)值與實(shí)際值之間均方根誤差(RMSE)的分布。
從圖13與圖14可以看出儲(chǔ)備池參數(shù)對(duì)于預(yù)測(cè)精度會(huì)造成不同的影響,因此如何根據(jù)網(wǎng)絡(luò)流量訓(xùn)練集選擇合適的模型參數(shù)是一個(gè)重要的問(wèn)題,直接影響最后ESN預(yù)測(cè)的精度。為了得到最優(yōu)的儲(chǔ)備池參數(shù),提出一種改進(jìn)的和聲搜索算法(IHS)進(jìn)行儲(chǔ)備池參數(shù)的尋優(yōu)。
和聲搜索(HS, harmony search)算法是2001年源于樂(lè)曲創(chuàng)作過(guò)程的模仿而出現(xiàn)的群智能優(yōu)化算法[38],算法利用所有個(gè)體的合作而產(chǎn)生新個(gè)體,具有不依賴初始條件,結(jié)構(gòu)簡(jiǎn)單、實(shí)現(xiàn)容易、收斂速度快等特點(diǎn)[39],相關(guān)文獻(xiàn)[40, 41]表明和聲搜索算法的優(yōu)化性能要強(qiáng)于遺傳、模擬退火、粒子群等優(yōu)化算法。
如下為標(biāo)準(zhǔn)HS算法實(shí)現(xiàn)步驟。給定優(yōu)化問(wèn)題
step1 HS算法首先初始化如下參數(shù):和聲記憶庫(kù)大?。℉MS, harmony memory size)、學(xué)習(xí)與記憶庫(kù)概率(HMCR, harmony memory consideration rate)、微調(diào)概率(PAR, pitch adjusting rate)、音調(diào)微調(diào)帶寬(BW, band width)、迭代次數(shù)(NI, number of iteration)。
step2 隨機(jī)創(chuàng)建和聲記憶庫(kù)如下
(9)
(10)
step5 重復(fù)步驟step3和step4,直到迭代次數(shù)達(dá)到。
雖然和聲搜索算法具有較好的全局尋優(yōu)能力,但是其算法存在隨機(jī)性大,穩(wěn)定性不高,同時(shí)搜索沒(méi)有方向性,因此在此作一定的改進(jìn)。由基本和聲搜索算法描述可知,HMCR有助于算法找到全局改進(jìn)解和局部改進(jìn)解,而PAR和BW在和聲微調(diào)中是非常重要的2個(gè)參數(shù),優(yōu)化前期階段保持較小的PAR值與較大的BW值有利于增強(qiáng)解向量的多樣性,從而能快速找到局部最優(yōu)解。而在優(yōu)化的后期,較小的BW與較大的PAR值有利于算法快速找到全局最優(yōu)解。標(biāo)準(zhǔn)的和聲搜索算法采用了固定的參數(shù)值,不能同時(shí)兼顧局部最優(yōu)解和全局最優(yōu)解的要求。同時(shí)算法的搜索速度與收斂精度也和算法參數(shù)是相關(guān)的,為提高算法搜索效率,克服標(biāo)準(zhǔn)和聲搜索算法的缺點(diǎn),作如下的改進(jìn)。
對(duì)于參數(shù)HMCR應(yīng)由大到小動(dòng)態(tài)調(diào)節(jié),這樣可使HM算法先對(duì)和聲記憶庫(kù)內(nèi)充分搜索,迭代搜索后期轉(zhuǎn)到和聲記憶庫(kù)外部搜索,可提高種群的多樣性,調(diào)節(jié)方法如下。
在HS算法的初期,PAR取值小有利于算法快速的搜索更好的區(qū)域,在HS算法的后期,較大的PAR則利于算法跳出局部最優(yōu)值,因此PAR應(yīng)該是從小到大變化的,改進(jìn)的PAR變化策略如下
(12)
對(duì)于BW,在算法初期較大的BW有利于HS算法在較大的范圍內(nèi)搜索,而算法搜索后期,較小的BW則有利于小范圍內(nèi)的精確搜索,因此BW應(yīng)該由大變小的,改進(jìn)的BW的變化策略如下。
(14)
為了驗(yàn)證改進(jìn)HS算法(IHS, improved harmony search)的性能,選用式(15)的Rosenbrock函數(shù)進(jìn)行測(cè)試。
為了消除隨機(jī)性的影響,所有算法都運(yùn)行20次,取平均值作為尋優(yōu)結(jié)果,圖15為某一次測(cè)試3種算法的適應(yīng)度收斂曲線,為了顯示方便,橫坐標(biāo)為每迭代50次記錄一次適應(yīng)度值,縱坐標(biāo)為適應(yīng)度取10的對(duì)數(shù)值,從圖中可看出本文改進(jìn)的HS算法較標(biāo)準(zhǔn)HS算法以及EHS算法收斂速度更快,同時(shí)具有更好的適應(yīng)度值。表5給出了3種算法的最佳適應(yīng)度值,平均適應(yīng)度值,適應(yīng)度均值的對(duì)比,最佳適應(yīng)度值與平均適應(yīng)度值反映了算法的收斂性,適應(yīng)度均值反映了算法的頑健性,成功率反映了算法全局尋優(yōu)能力。從表中可看出本文方法的最佳適應(yīng)度、適應(yīng)度均值等指標(biāo)都優(yōu)于其他2種算法。
表5 算法仿真結(jié)果
5.2 改進(jìn)的ESN
雖然利用上節(jié)的IHS算法可以對(duì)ESN的儲(chǔ)備池參數(shù)進(jìn)行優(yōu)化,但是ESN的性能與網(wǎng)絡(luò)輸入數(shù)據(jù)也是相關(guān)的,尤其輸入數(shù)據(jù)中的噪聲對(duì)于預(yù)測(cè)性能有著一定的影響。為了消除輸入數(shù)據(jù)中的噪聲信號(hào),可在輸入端加入一個(gè)補(bǔ)償信號(hào),則式(3)轉(zhuǎn)變?yōu)?/p>
(17)
相較于標(biāo)準(zhǔn)ESN,改進(jìn)的ESN由于引入輸入的補(bǔ)償而增加了3個(gè)參數(shù)、與,為了統(tǒng)一處理,這里可以同樣采用上節(jié)的IHS算法進(jìn)行優(yōu)化。
這里對(duì)改進(jìn)的ESN進(jìn)行算法穩(wěn)定性分析。文獻(xiàn)[43]指出只有網(wǎng)絡(luò)具有回聲狀態(tài)屬性時(shí),對(duì)網(wǎng)絡(luò)的訓(xùn)練才是有意義的,因此網(wǎng)絡(luò)的訓(xùn)練算法應(yīng)該保證網(wǎng)絡(luò)具有回聲狀態(tài)屬性。通過(guò)對(duì)隨機(jī)產(chǎn)生的內(nèi)部連接權(quán)矩陣進(jìn)行整體的運(yùn)算保證儲(chǔ)備池的回聲狀態(tài)屬性,即保證網(wǎng)絡(luò)的穩(wěn)定性。實(shí)際應(yīng)用中在穩(wěn)定性方面,它可以通過(guò)預(yù)先設(shè)定動(dòng)態(tài)記憶庫(kù)矩陣的譜半徑來(lái)保證遞歸網(wǎng)絡(luò)的穩(wěn)定性,當(dāng)矩陣的譜半徑小于1()時(shí),回聲狀態(tài)網(wǎng)絡(luò)是漸進(jìn)穩(wěn)定的,由于本文并未改進(jìn)標(biāo)準(zhǔn)ESN權(quán)值矩陣的產(chǎn)生過(guò)程,因此改進(jìn)的ESN也是漸進(jìn)穩(wěn)定的。
綜上,基于改進(jìn)的ESN與儲(chǔ)備池參數(shù)優(yōu)化的預(yù)測(cè)過(guò)程可描述如下。
1) 建模過(guò)程
step1 采集網(wǎng)絡(luò)流量數(shù)據(jù),生成建模數(shù)據(jù)集。
step2 根據(jù)網(wǎng)絡(luò)流量訓(xùn)練樣本序列,通過(guò)C-C算法與G-P算法確定相空間重構(gòu)參數(shù)。
step3 設(shè)置IHS算法參數(shù),設(shè)定待優(yōu)化參數(shù)為儲(chǔ)備池參數(shù)、、、以及、與取值范圍。
step4 網(wǎng)絡(luò)流量樣本數(shù)據(jù)歸一化處理,利用相應(yīng)樣本參數(shù)訓(xùn)練ESN,將網(wǎng)絡(luò)流量預(yù)測(cè)值與網(wǎng)絡(luò)流量實(shí)際值的RMSE作為適應(yīng)度函數(shù),即
利用IHS算法結(jié)合適應(yīng)度函數(shù)反復(fù)迭代進(jìn)行參數(shù)的優(yōu)化,直到滿足結(jié)束條件,輸出最佳參數(shù)。
2) 在線預(yù)測(cè)過(guò)程
step2 按照式(6)、式(7)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,計(jì)算輸出權(quán)矩陣,通過(guò)式(17)、式(18)預(yù)測(cè)未來(lái)時(shí)刻的網(wǎng)絡(luò)流量預(yù)測(cè)值。
為了說(shuō)明本文方法的有效性,利用10 ms時(shí)間尺度網(wǎng)絡(luò)流量時(shí)間序列與實(shí)際采集的遼寧聯(lián)通網(wǎng)絡(luò)流量時(shí)間序列進(jìn)行仿真研究。其中10 ms時(shí)間尺度網(wǎng)絡(luò)流量序列前400組數(shù)據(jù)作為訓(xùn)練樣本,401到500組作為測(cè)試樣本。遼寧聯(lián)通網(wǎng)絡(luò)流量樣本數(shù)據(jù)前250組作為訓(xùn)練樣本,后50組作為測(cè)試樣本。儲(chǔ)備池參數(shù)的變化范圍為,,,。由于網(wǎng)絡(luò)流量數(shù)據(jù)都進(jìn)行了歸一化處理,因此改進(jìn)ESN的3個(gè)參數(shù)取值范圍為,,。按照上文步驟利用IHS算法進(jìn)行參數(shù)優(yōu)化,優(yōu)化結(jié)果如表6所示。
表6 參數(shù)優(yōu)化結(jié)果
預(yù)測(cè)精度是指預(yù)測(cè)模型對(duì)實(shí)際數(shù)據(jù)擬合的好壞程度,即預(yù)測(cè)模型所產(chǎn)生的預(yù)測(cè)值與實(shí)際值擬合程度的優(yōu)劣。除了通過(guò)預(yù)測(cè)曲線擬合程度之外,預(yù)測(cè)效果的評(píng)價(jià)指標(biāo)還包括MAE(平均絕對(duì)誤差)、MAPE(平均絕對(duì)百分誤差)、RMSE(均方根誤差)、ME(絕對(duì)誤差)、MRE(平均相對(duì)誤差)等。MAE、MAPE以及RMSE對(duì)較大的預(yù)測(cè)誤差不存在正負(fù)抵消的問(wèn)題,易于計(jì)算,對(duì)于預(yù)測(cè)系統(tǒng)的整體性能評(píng)價(jià)十分重要,而ME與MRE等評(píng)價(jià)指標(biāo)由于將正誤差與負(fù)誤差正負(fù)抵消,會(huì)導(dǎo)致對(duì)預(yù)測(cè)效果的錯(cuò)誤判斷,因此選擇MAE、MAPE與RMSE作為評(píng)價(jià)指標(biāo)。RMSE定義如式(19),MAE與MAPE的定義分別如式(20)與式(21)。
(21)
6.1 T_10ms數(shù)據(jù)集仿真對(duì)比
作為對(duì)比,與文獻(xiàn)[3]中的ARMA模型(預(yù)測(cè)模型參數(shù)為=3,=1),文獻(xiàn)[4]中的ARIMA模型(預(yù)測(cè)模型參數(shù)為=4,=3,=1),文獻(xiàn)[12]中的組合核函數(shù)LSSVM模型(預(yù)測(cè)模型參數(shù)為=32,=0.92,=101.36,=6.21,=3.25),文獻(xiàn)[15]中的Elman神經(jīng)網(wǎng)絡(luò)(預(yù)測(cè)模型參數(shù)為輸入層為300,中間層為50,輸出層為100,最大迭代次數(shù)為5 000)進(jìn)行了仿真對(duì)比。圖16為本文預(yù)測(cè)方法與其他幾種方法的網(wǎng)絡(luò)流量預(yù)測(cè)值與實(shí)際值對(duì)比曲線,圖17為幾種方法的預(yù)測(cè)誤差分布對(duì)比。從圖16與圖17可知提出的預(yù)測(cè)方法具有更好的預(yù)測(cè)效果與預(yù)測(cè)精度,預(yù)測(cè)誤差更小,預(yù)測(cè)值與實(shí)際值擬合更好。
表7為本文方法與其他幾種方法的T_10ms數(shù)據(jù)集預(yù)測(cè)評(píng)價(jià)指標(biāo)的對(duì)比。
表7 T_10ms數(shù)據(jù)集預(yù)測(cè)指標(biāo)對(duì)比
從10 ms時(shí)間尺度的網(wǎng)絡(luò)流量預(yù)測(cè)仿真結(jié)果中可看出,本文的網(wǎng)絡(luò)流量預(yù)測(cè)方法在數(shù)據(jù)擬合程度以及預(yù)測(cè)誤差上都優(yōu)于當(dāng)前主要的預(yù)測(cè)方法。對(duì)于其他時(shí)間尺度的7組網(wǎng)絡(luò)流量也進(jìn)行了仿真驗(yàn)證,預(yù)測(cè)效果與精度同樣優(yōu)于其他的方法,限于篇幅原因,這里不給出具體仿真結(jié)果。
對(duì)于時(shí)間序列預(yù)測(cè)問(wèn)題,預(yù)測(cè)時(shí)間也是一個(gè)重要的指標(biāo)。預(yù)測(cè)時(shí)間包括離線建模時(shí)間與在線預(yù)測(cè)時(shí)間。表8為本機(jī)(CPU為Intel i3-4030, 4 GB內(nèi)存,Windows 7操作系統(tǒng),仿真軟件Matlab R2010b)環(huán)境下的建模與100步在線預(yù)測(cè)所需時(shí)間。從表8中可看出,由于本文需要利用IHS算法對(duì)ESN的參數(shù)進(jìn)行優(yōu)化建模,因此需要的時(shí)間要長(zhǎng)于ARMA、ARIMA以及Elman神經(jīng)網(wǎng)絡(luò),與多核LSSVM比較接近。這些模型在線預(yù)測(cè)時(shí)間相差不大,各個(gè)模型的單步預(yù)測(cè)時(shí)間都小于采樣周期10 ms,說(shuō)明這些預(yù)測(cè)方法都可以滿足T_10ms數(shù)據(jù)集,而對(duì)于更大時(shí)間尺度的100 ms甚至秒級(jí)之上的網(wǎng)絡(luò)流量而言,在線預(yù)測(cè)時(shí)間遠(yuǎn)小于其時(shí)間尺度,因此在線預(yù)測(cè)時(shí)間可滿足實(shí)際的應(yīng)用。
表8 不同模型離線建模與在線預(yù)測(cè)時(shí)間對(duì)比
6.2 聯(lián)通網(wǎng)絡(luò)流量數(shù)據(jù)集仿真對(duì)比
對(duì)比模型依然選擇上節(jié)的幾種預(yù)測(cè)方法,ARMA模型參數(shù)為=7,=6;ARIMA模型參數(shù)為=9,=8,=1;組合核函數(shù)LSSVM模型參數(shù)同文獻(xiàn)[12];Elman神經(jīng)網(wǎng)絡(luò)參數(shù)為輸入層為150,中間層為80,輸出層為50,最大迭代次數(shù)為5 000。圖18為本文預(yù)測(cè)方法與其他幾種方法的網(wǎng)絡(luò)流量預(yù)測(cè)值與實(shí)際值對(duì)比曲線,圖19為幾種方法的預(yù)測(cè)誤差分布對(duì)比,表9為幾種方法的聯(lián)通網(wǎng)絡(luò)流量數(shù)據(jù)集預(yù)測(cè)評(píng)價(jià)指標(biāo)的對(duì)比。
從圖18、圖19以及表9可知提出的預(yù)測(cè)方法對(duì)于實(shí)際采集的網(wǎng)絡(luò)流量數(shù)據(jù)同樣具有更好的預(yù)測(cè)效果。
表9 聯(lián)通網(wǎng)絡(luò)流量數(shù)據(jù)集預(yù)測(cè)指標(biāo)對(duì)比
基于以上仿真結(jié)果,預(yù)測(cè)效果提高的主要原因在于通過(guò)0-1混沌測(cè)試法與最大Lyapunov指數(shù)法確定網(wǎng)絡(luò)流量具有混沌特性,將相空間重構(gòu)技術(shù)引入網(wǎng)絡(luò)流量預(yù)測(cè),同時(shí)對(duì)ESN進(jìn)行一定的改進(jìn),并結(jié)合IHS算法進(jìn)行儲(chǔ)備池參數(shù)的聯(lián)合優(yōu)化,因此提高了網(wǎng)絡(luò)流量的預(yù)測(cè)精度。
針對(duì)網(wǎng)絡(luò)流量的預(yù)測(cè)問(wèn)題而提出一種基于混沌理論與回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量多步預(yù)測(cè)方法。首先將網(wǎng)絡(luò)流量樣本按照不同時(shí)間尺度進(jìn)行分類,通過(guò)0-1混沌測(cè)試法與最大Lyapunov指數(shù)法對(duì)不同時(shí)間尺度網(wǎng)絡(luò)流量進(jìn)行分析,確定網(wǎng)絡(luò)流量具有混沌特性。在此基礎(chǔ)上,利用相空間重構(gòu)技術(shù),確定重構(gòu)參數(shù),然后通過(guò)改進(jìn)的回聲狀態(tài)網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)流量進(jìn)行多步預(yù)測(cè)。同時(shí),利用改進(jìn)的和聲搜索算法對(duì)回聲狀態(tài)網(wǎng)絡(luò)預(yù)測(cè)模型相關(guān)的參數(shù)進(jìn)行優(yōu)化。通過(guò)仿真對(duì)比表明所提出的預(yù)測(cè)方法具有更高的預(yù)測(cè)精度以及更小的預(yù)測(cè)誤差。
[1] QU H, MA W T, ZHAO J H. Prediction method for network traffic based on maximum correntropy criterion[J]. China Communications, 2013(1):134-145.
[2] 王升輝, 裘正定. 結(jié)合多重分形的網(wǎng)絡(luò)流量非線性預(yù)測(cè)[J]. 通信學(xué)報(bào),2007, 28(2):45-50.
WANG S H, QIU Z D. Network traffic nonlinear prediction combined with mutifractal[J]. Journal on Communications,2007, 28(2): 45-50.
[3] LANER M, SVOBODA P, RUPP M. Parsimonious fitting of long-range dependent network traffic using ARMA models[J]. IEEE Communications Letters,2013,17(12): 2368-2371.
[4] ZHOU D D, CHEN S L, DONG S. Network traffic prediction based on ARIMA model[J]. International Journal of Computer Science Issues, 2012,6(9):106-111.
[5] WANG J. A process level network traffic prediction algorithm based on ARIMA model in smart substation[C]// 2013 IEEE Int Conf on Signal Processing, Communications and Computing. Washington, DC. c2013: 1-5.
[6] 袁小坊,陳楠楠,王東,等. 城域網(wǎng)應(yīng)用層流量預(yù)測(cè)模型[J]. 計(jì)算機(jī)研究與發(fā)展, 2009, 46(3): 434-442.
YUAN X F, CHEN N N, WANG D,et al. Traffic prediction models of traffics at application layer in metro area network[J]. Journal of Computer Research and Development, 2009, 46(3):434-442.
[7] REN X Y,YANG Y,ZHANG J F, et al. Parameter estimation and application of time-varying FARIMA model[J]. International Journal of Advancements in Computing Technology, 2011, 3(3):89-94.
[8] 陳曉天, 劉靜嫻. 改進(jìn)的基于小波變換和FARIMA 模型的網(wǎng)絡(luò)流量預(yù)測(cè)算法[J]. 通信學(xué)報(bào), 2011, 32(4): 153-157.
CHEN X T, LIU J X. Network traffic prediction based on wavelet transformation and FARIMA[J].Journal on Communications,2011, 2011, 32(4): 153-157.
[9] 孟慶芳, 陳月輝, 馮志全. 基于局域相關(guān)向量機(jī)回歸模型的小尺度網(wǎng)絡(luò)流量的非線性預(yù)測(cè)[J]. 物理學(xué)報(bào),2013,62(15):150509.
MENG Q F, CHEN Y H, FENG Z Q, et al. Nonlinear prediction of small scale network traffic based on local relevance vector machine regression model[J]. Acta Phys Sin, 2013, 62(15):150509.
[10] LIU X W, LI H, CHEN L. An improved forecasting algorithm for wireless network traffic[J]. IEICE Electronics Express, 2011, 8(12):916-922.
[11] 唐舟進(jìn), 彭濤, 王文博.一種基于相關(guān)分析的局域最小二乘支持向量機(jī)小尺度網(wǎng)絡(luò)流量預(yù)測(cè)算法[J]. 物理學(xué)報(bào),2014,63(13):130504.
TANG Z J, PENG T, WANG W B. A local least square support vector machine prediction algorithm of small scale network traffic based on correlation analysis[J]. Acta Phys Sin, 2014,63(13):130504.
[12] 田中大,高憲文,石彤. 用于混沌時(shí)間序列預(yù)測(cè)的組合核函數(shù)最小二乘支持向量機(jī)[J]. 物理學(xué)報(bào),2014,63(16):160508.
TIAN Z D, GAO X W, SHI T. Combination kernel function least squares support vector machine for chaotic time series prediction[J]. Acta Phys Sin, 2014, 63(16):160508.
[13] Li X B. RBF neural network optimized by particle swarm optimization for forecasting urban traffic flow[C]// 3rd International Symposium on Intelligent Information Technology Application. c2009: 124-127.
[14] QIAN F. A extreme learning machines approach for accurate estimation of large-scale IP network traffic matrix[J]. Journal of Computational Information Systems, 2012, 8(2):755-762.
[15] WANG J S, WANG J K, ZHANG M Z. Prediction of internet traffic based on Elman neural network[C]// Chinese Control and Decision Conference. c2009: 1248-1252.
[16] 趙艷平,姜子運(yùn). 基于EKF的神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)流量預(yù)測(cè)中的應(yīng)用[J]. 蘭州交通大學(xué)學(xué)報(bào),2009, 28(6):23-25.
ZHAO Y P, JIANG Z Y. Network traffic prediction based on EKF neural network[J]. Journal of Lanzhou Jiaotong University, 2009, 28(6):23-25.
[17] CAO J H, LIU Y, DAI Y. Network traffic prediction based on error advanced DGM(1,1) model[C]// International Conference on Wireless Communication Networking and Mobile Computing. c2007:6353-6356.
[18] PENG Y, LEI M, LI J B, et al.A novel hybridization of echo state networks and multiplicative seasonal ARIMA model for mobile communication traffic series forecasting[J]. Neural Computing and Applications, 2012: 1-8.
[19] WANG P, ZHANG S Y, CHEN X J. VoIP traffic capacity estimation of hybrid network based on finite user timely refuse model[C]// 5th International Conference on Wireless Communications, Networking and Mobile Computing. c2009:1-4.
[20] CHANG B R, TSAI H F. Improving network traffic analysis by foreseeing data-packet-flow with hybrid fuzzy-based model prediction[J]. Expert Systems with Applications, 2009, 36(2): 6960-6965.
[21] 溫祥西,孟相如,馬志強(qiáng),等.小時(shí)間尺度網(wǎng)絡(luò)流量混沌性分析及趨勢(shì)預(yù)測(cè)[J]. 電子學(xué)報(bào),2012, 40(8): 1609-1616.
WEN X X, MENG X R, MA Z Q , et al. The chaotic analysis and trend prediction on small-time scale network traffic[J]. Acta Electronic Sinica, 2012, 40(8): 1609-1616.
[22] LIU X W, FANG X M,QIN Z H,et al. A short-term forecasting algorithm for network traffic based on chaos theory and SVM[J]. Journal of Network and Systems Management, 2011, 19(4): 427-447.
[23] JAEGER H, HAAS H. Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication[J]. Science, 2004, 304(5667): 78-80.
[24] XUE Y, JIA L S, TENG W Z, et al. Long-range correlations in vehicular traffic flow studied in the framework of Kerner's three-phase theory based on rescaled range analysis[J]. Communications in Nonlinear Science and Numerical Simulation, 2015, 22(1-3): 285-296.
[25] MANDELBORT B B. How long is the coast of Britain statistical self-similarity and fractional dimension[J]. Science, 1967, 1556(3775):636-678.
[26] GOTTALD G A, MELBOURNE I. On the implementation of 0-1 test for chaos[J]. SIAM Journal on Applied Dynamical Systems, 2009, 8(1):129-145.
[27] WOLF A, SWIFT J B, SWINNEY H L, et al. Determining Lyapunov exponents from a time series[J]. Physica D, 1985, 16:285-317.
[28] 李新杰, 胡鐵松, 等. 0-1測(cè)試方法的徑流時(shí)間序列混沌特性應(yīng)用[J]. 水科學(xué)進(jìn)展,2012, 32(6): 875-882.
LI X J, HU T S, et al. Application of the 0-1 test algorithm for chaos to runoff time series[J]. Advances in Water Science, 2012, 32(6): 875-882.
[29] KHATIBI R,SIVAKUMAR B,GHORBANI M A,et al . Investigating chaos in river stage and discharge time series[J].Journal of Hydrology,2012(414-415):108-117.
[30] KIM H S, EYKHOLT R, SALAS J D. Nonlinear dynamics delay times, and embedding windows [J]. Physica D, 1999, 127(1): 48-60.
[31] 張洪賓,孫小端,賀玉龍.短時(shí)交通流復(fù)雜動(dòng)力學(xué)特性分析及預(yù)測(cè)[J]. 物理學(xué)報(bào),2014,63(4):040505.
ZHANG H B, SUN X D, HE Y L. Analysis and prediction of complex dynamical characteristics of short-term traffc flow[J]. Acta Phys. Sin, 2014,63(4): 040505.
[32] GRASSBERGER P, PROCACCIA I. Measuring the strangeness of strange attractors[J]. Physics D, 1983, 9:189-208
[33] ONGENAE F, VAN L S, VERSTRAETEN D, et al. Time series classification for the prediction of dialysis in critically ill patients using echo state networks[J]. Engineering Applications of Artificial Intelligence, 2013,26(3):984- 996.
[34] SHENG C Y, ZHAO J, LIU Y,et al. Prediction for noisy nonlinear time series by echo state network based on dual estimation[J]. Neurocomputing,2012(82):186-195.
[35] LI D C,HAN M,WANG J. Chaotic time series prediction based on a novel robust echo state network[J]. IEEE Trans on Neural Networks and Learning Systems,2012,23(5):787-797.
[36] OZTURK M C, XU D M, PRINCIPE J C. Analysis and design of echo state networks[J]. Neural Computation, 2007, 19(1): 111-138.
[37] 彭宇,王建民,彭喜元. 基于回聲狀態(tài)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)方法研究[J]. 電子學(xué)報(bào), 2010, 38(z1):148-154.
PENG Y, WANG J M, PENG X Y. Researches on time series prediction with echo state networks[J]. Acta Electronic Sinica, 2010, 38(z1):148-154.
[38] GEEM Z W, KIM J H, LOGANATHAN G V. A new heuristic optimization algorithm: harmony search [J].Simulations, 2001, 76(2): 60-68.
[39] 歐陽(yáng)海濱,高立群,鄒德旋, 等. 和聲搜索算法探索能力研究及其修正[J]. 控制理論與應(yīng)用,2014, 31(1):57-65.
OUYANG H B, GAO L Q, ZOU D X, et al. Exploration ability study of harmony search algorithm and its modification[J]. Control Theory and Applications, 2014, 31(1):57-65.
[40] MAHDAVI M, FESANGHARY M,DAMANGIR E. An improved harmony search algorithm for solving optimization problems[J].Applied Mathematics and Computation, 2007, 188(2): 1567-1579.
[41] ALATAS B. Chaotic harmony search algorithms [J]. Applied Mathematics and Computation, 2010, 216(9): 2687-2699.
[42] DAS S, MUKHOPADHYAY A, ROY A, et al. Exploratory power of the harmony search algorithm: analysis and improvements for global numerical optimization [J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2011, 41(1): 89-106.
[43] 彭宇,王建民,彭喜元.儲(chǔ)備池計(jì)算概述[J]. 電子學(xué)報(bào), 2011, 39(10):2387-2396.
PENG Y, WANG J M, PENG X Y. Survey on reservoir computing[J]. Acta Electronic Sinica, 2011, 39(10): 2387- 2396.
Network traffic multi-step prediction based on chaos theory and improved echo state network
TIAN Zhong-da, LI Shu-jiang, WANG Yan-hong, WANG Xiang-dong
(College of Information Science and Engineering, Shenyang University of Technology, Shenyang 110870, China)
Network traffic prediction was an important problem of network management and network congestion control. In order to solve this problem, a network traffic prediction method based on chaos theory and improved echo state network was proposed. Firstly, network traffic sample with different time scale were analyzed by 0-1 test algorithm for chaos and maximum Lyapunov exponent, the calculation results show that the network traffic has chaotic characteristics in different time scale. The phase space reconstruction technique was introduced for the prediction of network traffic, the delay time was determined through the C-C method, the embedding dimension was determined through the G-P algorithm. Network traffic time series was processed with phase space reconstruction, the multi-step prediction of network traffic was achieved by an improved echo state network. In order to improve the prediction precision, the key dynamic reservoir and prediction parameters of echo state network were optimized by an improved harmony search algorithm. Through the simulation on public and actual network traffic data, the results verify the proposed prediction method has higher prediction accuracy and smaller prediction error.
network traffic, chaos, echo state network, time scale, prediction
TP393
A
10.11959/j.issn.1000-436x.2016053
2015-03-31;
2015-12-02
國(guó)家自然科學(xué)重點(diǎn)基金資助項(xiàng)目(No.61034005);遼寧省博士啟動(dòng)基金資助項(xiàng)目(No.20141070)
The National Natural Science Foundation of China (No.61034005), Liaoning Province Doctor Startup Fund (No.20141070)
田中大(1978-),男,遼寧沈陽(yáng)人,博士,沈陽(yáng)工業(yè)大學(xué)講師,主要研究方向?yàn)闀r(shí)間序列建模與預(yù)測(cè)、網(wǎng)絡(luò)控制系統(tǒng)時(shí)延補(bǔ)償、非線性系統(tǒng)預(yù)測(cè)控制等。
李樹(shù)江(1966-),男,遼寧沈陽(yáng)人,博士,沈陽(yáng)工業(yè)大學(xué)教授,主要研究方向?yàn)閺?fù)雜工業(yè)過(guò)程建模與控制、智能控制技術(shù)的應(yīng)用研究與開(kāi)發(fā)等。
王艷紅(1967-),女,遼寧沈陽(yáng)人,博士,沈陽(yáng)工業(yè)大學(xué)教授,主要研究方向?yàn)樯a(chǎn)調(diào)度與優(yōu)化、先進(jìn)制造信息系統(tǒng)、分布式信息處理與智能控制。
王向東(1959-),男,遼寧沈陽(yáng)人,博士,沈陽(yáng)工業(yè)大學(xué)教授,主要研究方向?yàn)樯a(chǎn)調(diào)度與優(yōu)化、復(fù)雜工業(yè)過(guò)程建模與控制、智能控制技術(shù)的應(yīng)用研究與開(kāi)發(fā)。