［錢劉熠輝］

1 引言

網(wǎng)絡(luò)流量預(yù)測(cè)問(wèn)題是伴隨著網(wǎng)絡(luò)用戶數(shù)量和業(yè)務(wù)訪問(wèn)量迅猛增長(zhǎng)而變得越發(fā)關(guān)鍵的研究課題。能否對(duì)于未來(lái)時(shí)刻的流量變化趨勢(shì)做出準(zhǔn)確且可信的預(yù)測(cè)，對(duì)于網(wǎng)絡(luò)運(yùn)營(yíng)人員的突發(fā)流量處置，線路故障告警，網(wǎng)絡(luò)拓?fù)鋬?yōu)化等工作都有著重要的支撐作用。

流量預(yù)測(cè)問(wèn)題通常被分為長(zhǎng)期預(yù)測(cè)和短期預(yù)測(cè)兩大類別。長(zhǎng)期預(yù)測(cè)的特點(diǎn)是流量數(shù)據(jù)的采樣間隔比較大（一般為一個(gè)月），采樣的總數(shù)據(jù)量比較小，流量大小的變化幅度比較平緩。傳統(tǒng)的回歸算法和主成分分析等對(duì)于流量長(zhǎng)期預(yù)測(cè)問(wèn)題有著良好的效果。短期預(yù)測(cè)的特點(diǎn)是流量數(shù)據(jù)的采樣間隔較小（一般為數(shù)分鐘），總樣本數(shù)據(jù)量較大，但相對(duì)地流量采樣值的變化幅度劇烈，采樣的隨機(jī)性誤差明顯，變化趨勢(shì)常呈現(xiàn)非線性規(guī)律，因而基于線性回歸和自回歸的研究思路在處理短期流量預(yù)測(cè)問(wèn)題時(shí)表現(xiàn)不佳。

短期流量數(shù)據(jù)常呈現(xiàn)出不同周期長(zhǎng)度的變化規(guī)律，因此之前周期的流量值變化模式對(duì)于預(yù)測(cè)當(dāng)前周期內(nèi)的流量變化規(guī)律有重要的先驗(yàn)作用。循環(huán)神經(jīng)網(wǎng)絡(luò)在處理時(shí)序數(shù)據(jù)時(shí)能夠很好地?cái)M合歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)的關(guān)聯(lián)性，因此常被用于解決周期數(shù)據(jù)的回歸問(wèn)題。除此之外，不同網(wǎng)絡(luò)鏈路的流量值之間又由于路由的相互關(guān)聯(lián)或等價(jià)等因素，存在著明顯的空間拓?fù)湎嚓P(guān)性，即該鏈路的流量值時(shí)序數(shù)據(jù)與另一鏈路的流量值時(shí)序數(shù)據(jù)存在正相關(guān)或負(fù)相關(guān)關(guān)系。如果我們將除本序列以外的其他序列流量值也作為某一時(shí)刻的特征輸入算法模型，有利于模型通過(guò)訓(xùn)練學(xué)習(xí)到時(shí)序數(shù)據(jù)中規(guī)律一致（相關(guān)性較強(qiáng)）的特征，增強(qiáng)模型對(duì)這種周期規(guī)律的掌握程度；同時(shí)，通過(guò)學(xué)習(xí)其他非周期性的特征，模型嘗試將其與本序列流量值的非周期波動(dòng)建立關(guān)聯(lián)，從而提高模型的泛化能力，使其對(duì)流量的突發(fā)變化有更好的預(yù)測(cè)。

2 網(wǎng)絡(luò)流量短期預(yù)測(cè)方案

2.1 LSTM 算法

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，其模型結(jié)構(gòu)如圖1 所示。RNN 訓(xùn)練數(shù)據(jù)的輸入輸出根據(jù)時(shí)間發(fā)展順序進(jìn)行排列，RNN 的每一層按照時(shí)間順序逐步推進(jìn)訓(xùn)練：

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)

（1）每一層神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)包含該層級(jí)對(duì)應(yīng)的時(shí)序輸入數(shù)據(jù)和上一層級(jí)的隱藏狀態(tài)參數(shù)；

（2）該層網(wǎng)絡(luò)的隱藏狀態(tài)參數(shù)是上述兩個(gè)輸入加權(quán)疊加并經(jīng)過(guò)非線性連接的激活值；

（3）該層網(wǎng)絡(luò)的輸出則為隱藏狀態(tài)參數(shù)再經(jīng)過(guò)一次非線性連接的激活值。

對(duì)于流量預(yù)測(cè)而言，我們可以將需要預(yù)測(cè)的未來(lái)流量值作為RNN 最后一層的輸出值（目標(biāo)優(yōu)化函數(shù)），將過(guò)去已知的流量值時(shí)序數(shù)據(jù)作為輸入，逐層順序輸入RNN網(wǎng)絡(luò)對(duì)隱藏狀態(tài)參數(shù)進(jìn)行優(yōu)化，經(jīng)過(guò)多輪訓(xùn)練后得到能夠輸出最佳輸出值的最優(yōu)隱藏狀態(tài)參數(shù)。

當(dāng)時(shí)間長(zhǎng)度較大時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 的梯度計(jì)算容易出現(xiàn)梯度衰減或梯度爆炸，這導(dǎo)致循環(huán)神經(jīng)網(wǎng)絡(luò)在實(shí)際中難以捕捉時(shí)間序列中時(shí)間周期較大的變化趨勢(shì)。LSTM（Long Short-term Memory，長(zhǎng)短期記憶）是一種常用的門控循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠解決上述在RNN 網(wǎng)絡(luò)訓(xùn)練中出現(xiàn)的問(wèn)題。LSTM 模型中每一層包含三個(gè)門控：輸入門，遺忘門和輸出門，其模型結(jié)構(gòu)如圖2 所示，其中Hadamard 乘積是矩陣的逐項(xiàng)乘積。LSTM 引入了記憶細(xì)胞的概念，作為另一種按照時(shí)間順序逐級(jí)傳遞的隱藏信息。LSTM 的每一個(gè)門控的輸入都包含了上一時(shí)刻的隱藏狀態(tài)和當(dāng)前時(shí)刻的輸入數(shù)據(jù)，因此每一個(gè)門控都有對(duì)上述兩項(xiàng)數(shù)據(jù)加權(quán)疊加的作用。具體來(lái)說(shuō)：

圖2 LSTM 模型的工作原理

（1）遺忘門的主要作用是控制上一時(shí)刻的記憶細(xì)胞以怎樣的比例保留在這一層的計(jì)算中，即上一時(shí)刻記憶細(xì)胞和這一時(shí)刻候選記憶細(xì)胞的加權(quán)系數(shù)；

（2）輸入門的主要作用是控制由上一時(shí)刻隱藏狀態(tài)和當(dāng)前時(shí)刻輸入數(shù)據(jù)共同組成的輸入以怎樣的比例得到候選記憶細(xì)胞；

（3）輸出門的主要作用是控制這一時(shí)刻的輸入會(huì)以怎樣的方式對(duì)新得到的記憶細(xì)胞進(jìn)行加權(quán)，最終得到這一層新的隱藏狀態(tài)。

與另一種常用的門控循環(huán)神經(jīng)網(wǎng)絡(luò)GRU 相比，LSTM 有兩個(gè)不同的門（遺忘門和輸入門）產(chǎn)生新的狀態(tài)，而GRU 只有一種更新門；LSTM 對(duì)新產(chǎn)生的狀態(tài)可以通過(guò)輸出門進(jìn)行調(diào)節(jié)，而GRU 對(duì)輸出無(wú)任何調(diào)節(jié)。因此，LSTM 在模型結(jié)構(gòu)上更加強(qiáng)大和靈活，有著更好的特征表達(dá)能力。

2.2 LightGBM 算法

LightGBM 是一種基于Boosting 的決策樹集成學(xué)習(xí)算法，其提出的主要原因是為了解決隨機(jī)森林預(yù)測(cè)精度較低和XGBoost 處理大數(shù)據(jù)量時(shí)速度較慢的問(wèn)題。決策樹算法的基本原理如圖3 所示，每次從所有樣本中抽取一定數(shù)量的樣本組成抽樣集，為抽樣集訓(xùn)練一個(gè)樹模型用于目標(biāo)參數(shù)的分類或回歸，最終的輸出結(jié)果為所有樹模型的目標(biāo)預(yù)測(cè)結(jié)果的疊加。

圖3 決策樹的基本原理

與隨機(jī)森林所有決策樹并行運(yùn)算的Bagging思路不同，LightGBM 中的決策樹之間存在串聯(lián)的關(guān)系。具體而言，每一層弱分類器由很多決策樹構(gòu)成，下一層弱分類器的任務(wù)是擬合上一層弱分類器誤差函數(shù)對(duì)預(yù)測(cè)值的殘差（預(yù)測(cè)值與真實(shí)值之間的誤差），訓(xùn)練完成后，所有弱分類器的結(jié)果相加等于預(yù)測(cè)結(jié)果。除此之外，LightGBM 還在以下方面進(jìn)行了優(yōu)化：

（1）基于直方圖的決策樹算法：把連續(xù)的特征值離散化成k 個(gè)整數(shù)，在遍歷數(shù)據(jù)的時(shí)候，根據(jù)離散化后的值作為索引在直方圖中累積統(tǒng)計(jì)量，根據(jù)遍歷后的直方圖的離散值及其對(duì)應(yīng)的統(tǒng)計(jì)量尋找最優(yōu)的分割點(diǎn)。直方圖算法不僅不需要額外存儲(chǔ)預(yù)排序的結(jié)果，而且可以只保存特征離散化后的值，因而可以顯著地降低算法的運(yùn)行時(shí)間。

（2）按葉分裂的生長(zhǎng)方式：常規(guī)決策樹算法的葉節(jié)點(diǎn)是按層生長(zhǎng)的，同一層的所有節(jié)點(diǎn)都進(jìn)行分裂然后根據(jù)訓(xùn)練參數(shù)進(jìn)行剪枝，這一步驟完成后再進(jìn)行更深一層的葉節(jié)點(diǎn)分裂。LightGBM 使用了帶有深度限制的按葉生長(zhǎng)算法，每次從當(dāng)前所有葉子中找到分裂增益最大的一個(gè)葉子對(duì)其進(jìn)行分裂，如此循環(huán)。在分裂次數(shù)相同的情況下，按葉分裂的方法可以更好地降低分類誤差，得到更高的預(yù)測(cè)精度。

3 網(wǎng)絡(luò)流量短期預(yù)測(cè)結(jié)果

在LSTM 模型的訓(xùn)練過(guò)程中，訓(xùn)練數(shù)據(jù)時(shí)間窗口的長(zhǎng)度是一個(gè)重要的訓(xùn)練參數(shù)，它決定了模型在預(yù)測(cè)某一時(shí)刻的流量值時(shí)將回看該時(shí)刻之前多少個(gè)時(shí)刻的流量值，代表著模型對(duì)于歷史流量變化的“記憶程度”。過(guò)小的時(shí)間窗口長(zhǎng)度會(huì)導(dǎo)致模型無(wú)法學(xué)習(xí)到長(zhǎng)周期的流量變化規(guī)律，而過(guò)長(zhǎng)的窗口長(zhǎng)度又會(huì)導(dǎo)致模型傾向于整體規(guī)律而對(duì)當(dāng)前的流量幅值水平可能出現(xiàn)的上下波動(dòng)不夠敏感，那么我們?nèi)绾魏侠淼剡x擇這一參數(shù)就變得至關(guān)重要。

現(xiàn)實(shí)生活中，時(shí)序數(shù)據(jù)往往會(huì)呈現(xiàn)出和具體時(shí)刻或日期相關(guān)的規(guī)律，如早晚的更替，一星期內(nèi)的某一天等。這意味著我們可以嘗試以具有實(shí)際意義的時(shí)間長(zhǎng)度為周期來(lái)探索流量數(shù)據(jù)的規(guī)律。例如，對(duì)大部分鏈路而言，其流量峰值往往出現(xiàn)在晚上18 :00～21 :00 而其流量谷值會(huì)出現(xiàn)在深夜2 :00～5 :00，這一規(guī)律對(duì)于每一天而言是相對(duì)固定的；此外，工作日（星期一至星期五）的流量水平和周末（星期六～星期日）相比也會(huì)存在一定的差異，這一規(guī)律是以一周為時(shí)間周期出現(xiàn)的。圖4 是我們選取GEANT數(shù)據(jù)集16-5 序列的流量數(shù)據(jù)并將其視為離散信號(hào)進(jìn)行快速傅里葉變換得到的單邊頻譜結(jié)果，可以觀察到在頻率f=45 和f=90 處有兩個(gè)矮峰。這一結(jié)果說(shuō)明該鏈路的流量值存在大致以45 或90 個(gè)采樣值為周期的變化規(guī)律。由于GEANT 數(shù)據(jù)集的流量采樣間隔為15 min，意味著每一天數(shù)據(jù)集的采樣數(shù)量為96，這與我們計(jì)算得到的大致時(shí)間周期值相匹配，說(shuō)明該鏈路存在著以24 h 為周期的變化規(guī)律。因此，我們將時(shí)間窗口的長(zhǎng)度設(shè)置為100，這是略大于一個(gè)時(shí)間周期的窗口長(zhǎng)度，保證了LSTM 模型能夠?qū)W習(xí)到在周期規(guī)律同一相位處的流量特征。

圖4 離散流量時(shí)序數(shù)據(jù)FFT 頻譜分析

我們用LSTM 深度學(xué)習(xí)模型來(lái)處理Abilene 和GEANT公開數(shù)據(jù)集短期流量數(shù)據(jù)并對(duì)未來(lái)不同時(shí)刻的流量值進(jìn)行預(yù)測(cè)實(shí)驗(yàn)。我們選取GEANT 數(shù)據(jù)集中的16-5 序列和Abilene 數(shù)據(jù)集的OD2-2 序列進(jìn)行測(cè)試，取全部數(shù)據(jù)的最后2 000 個(gè)流量采樣值用于模型訓(xùn)練和預(yù)測(cè)，訓(xùn)練集和測(cè)試集的比例為7:3，不設(shè)置驗(yàn)證集，訓(xùn)練100 個(gè)Epoch之后的模型用于預(yù)測(cè)600 個(gè)測(cè)試樣本。我們分別預(yù)測(cè)下一時(shí)刻和96 個(gè)時(shí)刻后這2 種情形的流量值并與簡(jiǎn)單預(yù)測(cè)（NM）進(jìn)行比較，得到實(shí)驗(yàn)結(jié)果如表1 所示。我們觀察到，LSTM 模型在實(shí)驗(yàn)中的表現(xiàn)均優(yōu)于簡(jiǎn)單預(yù)測(cè)。圖5 和圖6展示了LSTM 在GEANT 和Abilene 數(shù)據(jù)集的兩個(gè)序列上預(yù)測(cè)的損失函數(shù)變化曲線和流量值預(yù)測(cè)曲線，我們可以認(rèn)為L(zhǎng)STM 模型在學(xué)習(xí)規(guī)律性較好的時(shí)間序列數(shù)據(jù)時(shí)能夠利用其時(shí)間窗口的特性，保留較長(zhǎng)時(shí)間以前的輸入流量數(shù)據(jù)作為當(dāng)前時(shí)刻預(yù)測(cè)的參考，從而學(xué)習(xí)到周期變化的規(guī)律。

表1 LSTM 流量短期預(yù)測(cè)結(jié)果

圖5 GEANT 16-5 鏈路LSTM 預(yù)測(cè)結(jié)果

圖6 Abilene OD2-2 鏈路LSTM 預(yù)測(cè)結(jié)果

短期流量數(shù)據(jù)往往是以多個(gè)流量矩陣的形式呈現(xiàn)的，每個(gè)矩陣的兩個(gè)維度分別代表著流量的流出節(jié)點(diǎn)和流入節(jié)點(diǎn)。為了驗(yàn)證訓(xùn)練數(shù)據(jù)構(gòu)造時(shí)空特征對(duì)提升LSTM 流量短期預(yù)測(cè)準(zhǔn)確率的作用，我們選取GEANT 數(shù)據(jù)集從節(jié)點(diǎn)16流出的23 個(gè)序列組成的流量矩陣進(jìn)行實(shí)驗(yàn)，來(lái)預(yù)測(cè)48 小時(shí)（192 個(gè)時(shí)刻）之后矩陣各個(gè)序列的流量值。我們分別對(duì)1 特征和23 特征兩種訓(xùn)練數(shù)據(jù)特征構(gòu)造進(jìn)行測(cè)試，具體地：

（1）1 特征預(yù)測(cè)：樣本的輸入特征為該序列前N 個(gè)時(shí)刻的流量值（N 是時(shí)間窗口的長(zhǎng)度）；

（2）23 特征預(yù)測(cè)：樣本的輸入特征為流量矩陣所有23 個(gè)序列的前N 個(gè)時(shí)刻的流量值。

我們?yōu)槊恳粋€(gè)序列單獨(dú)訓(xùn)練一個(gè)LSTM 模型來(lái)預(yù)測(cè)該序列的未來(lái)流量，這一過(guò)程重復(fù)23 次，最終將預(yù)測(cè)結(jié)果拼接得到流量矩陣未來(lái)600 個(gè)時(shí)刻的預(yù)測(cè)結(jié)果。我們將600 個(gè)測(cè)試樣本在時(shí)間順序上前繼的600 個(gè)時(shí)刻設(shè)置為驗(yàn)證集，并加入Early Stopping 機(jī)制防止模型過(guò)度擬合訓(xùn)練數(shù)據(jù)。各個(gè)數(shù)據(jù)集上預(yù)測(cè)的準(zhǔn)確率評(píng)價(jià)指標(biāo)如表2 所示，我們可以觀察到基于空間關(guān)聯(lián)的流量矩陣特征構(gòu)造（23特征）對(duì)于總體預(yù)測(cè)準(zhǔn)確率的提升有較為明顯的效果，NMAE 指標(biāo)與簡(jiǎn)單預(yù)測(cè)NM 相比下降10%。

表2 多特征流量矩陣LSTM 預(yù)測(cè)結(jié)果

LightGBM 模型能夠從多維特征中篩選出分類顯著性最強(qiáng)的特征，因此也適用于多時(shí)空特征的流量短期預(yù)測(cè)。表3 展示了我們對(duì)GEANT 數(shù)據(jù)集從節(jié)點(diǎn)16 流出的23 個(gè)流量序列進(jìn)行預(yù)測(cè)的結(jié)果。我們分別對(duì)下一時(shí)刻和未來(lái)192 個(gè)時(shí)刻后的流量值進(jìn)行預(yù)測(cè)，從結(jié)果中我們看到LightGBM 對(duì)于下一時(shí)刻的流量預(yù)測(cè)效果不佳，這是因?yàn)闆Q策樹的特征分裂增益計(jì)算僅取決于上一時(shí)刻的鏈路流量值，沒有綜合考慮時(shí)間序列的長(zhǎng)期流量變化規(guī)律，因此在預(yù)測(cè)下一時(shí)刻流量值時(shí)LSTM 具有更好的性能。在預(yù)測(cè)較遠(yuǎn)的未來(lái)時(shí)刻流量值時(shí)，LightGBM 模型有著良好的表現(xiàn)，尤其是在預(yù)測(cè)突發(fā)性較強(qiáng)的鏈路流量時(shí)有最佳的表現(xiàn)。這是因?yàn)槠渌溌返牧髁恐祵?duì)于當(dāng)前預(yù)測(cè)鏈路的流量取值范圍起到了一定的門控約束作用，因而LightGBM 模型能夠更好地判斷鏈路當(dāng)前的工作狀態(tài)。

表3 多特征流量矩陣LightGBM 預(yù)測(cè)結(jié)果

由于LSTM 模型和LightGBM 模型在處理周期時(shí)序數(shù)據(jù)和非周期時(shí)序數(shù)據(jù)上各有優(yōu)劣，后續(xù)研究應(yīng)考慮針對(duì)實(shí)際鏈路情形對(duì)模型的預(yù)測(cè)結(jié)果進(jìn)行自適應(yīng)的加權(quán)融合，從而提高總體方案的泛化能力。

4 結(jié)論

對(duì)于流量的短期預(yù)測(cè)，基于LSTM 模型的深度學(xué)習(xí)預(yù)測(cè)方法對(duì)于周期性流量序列預(yù)測(cè)展現(xiàn)出了良好的泛化能力，能夠?qū)ο乱豢躺踔廖磥?lái)幾日的流量值做出準(zhǔn)確的預(yù)測(cè)?；诹髁烤仃嚨亩鄷r(shí)空特征訓(xùn)練數(shù)據(jù)構(gòu)造能夠有效地降低流量值采樣隨機(jī)性對(duì)預(yù)測(cè)準(zhǔn)確率的影響，提高了全網(wǎng)流量預(yù)測(cè)的可行性。同時(shí)，基于LightGBM 決策樹的流量預(yù)測(cè)模型具有快速且精確的優(yōu)點(diǎn)，未來(lái)可在LSTM 與LightGBM 間的模型融合進(jìn)行更深入的研究工作。