張 戈,翟劍鋒

(中國(guó)社會(huì)科學(xué)院大學(xué) 計(jì)算機(jī)教研部,北京 102488)

在中國(guó)互聯(lián)網(wǎng)迅猛發(fā)展的大背景下,網(wǎng)絡(luò)視頻的需求量激增,各大網(wǎng)站已經(jīng)紛紛采用CDN 網(wǎng)絡(luò)架構(gòu)以應(yīng)對(duì)在運(yùn)營(yíng)中遇到的各種難題,比如網(wǎng)站訪問(wèn)量激增問(wèn)題、如何提升網(wǎng)站的訪問(wèn)速度問(wèn)題、以及網(wǎng)站帶寬嚴(yán)重不足導(dǎo)致用戶無(wú)法正常訪問(wèn)等問(wèn)題.本文的研究目標(biāo)是根據(jù)帶寬時(shí)間序列數(shù)據(jù),可以準(zhǔn)確地預(yù)測(cè)下一時(shí)刻的帶寬值,依此對(duì)時(shí)間序列中的每個(gè)時(shí)間節(jié)點(diǎn)進(jìn)行實(shí)時(shí)監(jiān)控,發(fā)現(xiàn)并反饋異常點(diǎn)及其異常情況,及時(shí)向運(yùn)維人員發(fā)出告警,從而幫助運(yùn)維人員采取相應(yīng)后續(xù)措施,進(jìn)而有效地避免和解決運(yùn)營(yíng)中出現(xiàn)的各類問(wèn)題和帶寬成本不可控制等難題.

本文提出了一個(gè)新的帶寬預(yù)測(cè)時(shí)序模型—局部加權(quán)回歸串行長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory network,LSTM)預(yù)測(cè)模型.針對(duì)原始帶寬數(shù)據(jù)具有的長(zhǎng)時(shí)間依賴和數(shù)據(jù)單一等特點(diǎn),使用按時(shí)序插值采樣的方法構(gòu)造數(shù)據(jù)集,擬合局部加權(quán)最小二乘法回歸模型,將其預(yù)測(cè)結(jié)果作為訓(xùn)練集串行LSTM 時(shí)序模型進(jìn)行最終帶寬異常值預(yù)測(cè).使用4sigma 原則判斷某時(shí)刻帶寬是否為異常,并按等級(jí)標(biāo)準(zhǔn)發(fā)出異常告警.通過(guò)實(shí)驗(yàn)證明,本文提出的模型泛化能力較強(qiáng),可以較準(zhǔn)確地預(yù)測(cè)異常時(shí)刻,并按異常值的級(jí)別向運(yùn)維人員發(fā)出準(zhǔn)確告警.

1 相關(guān)算法原理與分析

目前異常值的檢測(cè)方法有統(tǒng)計(jì)的方法、聚類的方法以及一些專門的異常值檢測(cè)算法[1]:基于概率分布模型[2]的異常值檢測(cè),它把具有低概率的數(shù)據(jù)點(diǎn)判斷為異常值,該算法對(duì)于多元高維數(shù)據(jù)的異常檢測(cè)效果較差;基于K 近鄰(KNN)的離群點(diǎn)檢測(cè),它依據(jù)數(shù)據(jù)點(diǎn)的距離以及K 值判斷出異常值[3],該算法過(guò)度依賴K 值的選擇,對(duì)密度不均衡的樣本數(shù)據(jù)不適用;基于密度的離群點(diǎn)檢測(cè)方法,使用DBSCAN 聚類算法[4]計(jì)算密度,依據(jù)密度定義異常值,該算法同樣依賴參數(shù)的選擇,且時(shí)間復(fù)雜度相對(duì)較高;基于聚類的方法判斷異常值,如果一個(gè)數(shù)據(jù)不強(qiáng)屬于任何一個(gè)簇,則該數(shù)據(jù)點(diǎn)為異常值,該算法對(duì)離群點(diǎn)的判斷依賴簇的個(gè)數(shù)和質(zhì)量;基于滑動(dòng)窗口的異常檢測(cè)方法,該方法使用滑動(dòng)窗口對(duì)原始時(shí)間序列進(jìn)行分割,利用擴(kuò)展的Frobenius 范數(shù)來(lái)判斷異常子序列,但面對(duì)大數(shù)據(jù)量的時(shí)間序列,算法的時(shí)間復(fù)雜度過(guò)高[5].這些異常值的檢測(cè)方法均不適用于本研究的數(shù)據(jù)異常值檢測(cè)情況.

在時(shí)間序列預(yù)測(cè)中,循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一種非常強(qiáng)大的對(duì)序列數(shù)據(jù)進(jìn)行建模和預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)工具[6].本研究嘗試使用RNN 模型進(jìn)行訓(xùn)練,但是在實(shí)際訓(xùn)練過(guò)程中,發(fā)現(xiàn)RNN 模型隨著其模型深度的不斷增加,會(huì)發(fā)生梯度爆炸或者梯度消失的現(xiàn)象.

LSTM 算法是誤差反向傳播算法[7],包括3 個(gè)步驟:前向計(jì)算每個(gè)神經(jīng)元的輸出值、反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)、根據(jù)相應(yīng)的誤差項(xiàng)計(jì)算每個(gè)權(quán)重的梯度[8].在LSTM的3 種門中,遺忘門是LSTM的關(guān)鍵組成部分,它決定了上一時(shí)刻的單元狀態(tài)Ct–1有多少信息可以保留到當(dāng)前時(shí)刻Ct.遺忘門的權(quán)重Wf的權(quán)重梯度,可以根據(jù)其相應(yīng)的誤差項(xiàng)δf,t計(jì)算獲得[9].通過(guò)反向調(diào)整誤差機(jī)制,LSTM 算法可以有效地解決循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失或者梯度爆炸的問(wèn)題.

1.1 最小二乘法

線性回歸是利用數(shù)理統(tǒng)計(jì)中回歸分析,來(lái)確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法[10].其表達(dá)形式為y=w′x+e,e為誤差服從均值為0的正態(tài)分布,使用最小二乘法[11]來(lái)確定模型的系數(shù).最小二乘法通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配.

1.2 局部加權(quán)最小二乘法

局部加權(quán)l(xiāng)owess (locally weighted regression)[12]是一種用于局部回歸分析的非參數(shù)方法.之所以我們這里采取加權(quán)最小二乘法,是因?yàn)槲覀儼l(fā)現(xiàn)離擬合點(diǎn)越近的樣本點(diǎn),它的取值對(duì)擬合線的影響應(yīng)該更大,損失函數(shù)的定義應(yīng)該優(yōu)先降低與擬合直線距離近的點(diǎn)的誤差.

1.3 時(shí)間序列算法LSTM

長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò),它能夠?qū)W習(xí)長(zhǎng)期依賴性,尤其是在長(zhǎng)序列預(yù)測(cè)問(wèn)題中表現(xiàn)不俗[13].標(biāo)準(zhǔn)LSTM 由遺忘門、輸入門、輸出門和隱藏狀態(tài)組成[14].LSTM的單元結(jié)構(gòu)如圖1[15]所示.LSTM 對(duì)時(shí)間序列的前期信息的存儲(chǔ)和更新是由這些門控來(lái)決定的.門控由Sigmoid 函數(shù)和點(diǎn)乘運(yùn)算實(shí)現(xiàn),實(shí)質(zhì)是一個(gè)全連接層,它的一般公式為式(1)[16]:

圖1 LSTM 單元結(jié)構(gòu)圖

其中,σ(x)是Sigmoid 函數(shù),即非線性激活函數(shù)[17],可以將計(jì)算結(jié)果映射到[0,1]的區(qū)間中,當(dāng)它為0 時(shí),代表沒(méi)有信息可以通過(guò),當(dāng)它為1 時(shí),代表所有信息都可以通過(guò).W表示權(quán)重矩陣[7],b表示偏置值.

2 局部加權(quán)回歸LSTM 時(shí)序算法設(shè)計(jì)

帶寬異常值預(yù)測(cè)是高度依賴長(zhǎng)距離時(shí)刻數(shù)據(jù)的時(shí)序問(wèn)題,采用LSTM 作為模型進(jìn)行預(yù)測(cè)最為合適.LSTM框架中每一時(shí)刻的輸出誤差可以反向傳遞給前一時(shí)刻,使用梯度下降調(diào)整網(wǎng)絡(luò)參數(shù)[7].但是在實(shí)踐中我們發(fā)現(xiàn)帶寬預(yù)測(cè)中原始數(shù)據(jù)是真實(shí)帶寬值,其中包含異常值,異常值如果作為訓(xùn)練集會(huì)讓機(jī)器誤以為是正常值進(jìn)行學(xué)習(xí),因此非常有必要找到這些異常值,也就是噪點(diǎn),并對(duì)他們進(jìn)行處理,處理后的數(shù)據(jù)再使用LSTM 進(jìn)行訓(xùn)練,會(huì)得到更為準(zhǔn)確的異常檢測(cè)結(jié)果.為此,本文提出了一個(gè)新的帶寬預(yù)測(cè)時(shí)序模型框架:首先采局部加權(quán)最小二乘法回歸擬合初始模型,使用初始模型的預(yù)測(cè)結(jié)果作為L(zhǎng)STM的訓(xùn)練集,真實(shí)值作為L(zhǎng)STM的驗(yàn)證集,串行LSTM 時(shí)序算法進(jìn)行預(yù)測(cè),然后使用4sigma方法比對(duì)原始真實(shí)值和現(xiàn)在的預(yù)測(cè)值的偏差,判斷異常等級(jí),做出相應(yīng)級(jí)別的異常告警,包括以下幾個(gè)步驟:

1)數(shù)據(jù)預(yù)處理;

2)插值采樣生成回歸模型樣本點(diǎn);

3)對(duì)樣本點(diǎn)數(shù)據(jù)進(jìn)行l(wèi)owess 局部加權(quán);

4)最小二乘法回歸擬合模型得出預(yù)測(cè)結(jié)果;

5)調(diào)整回歸系數(shù)λ 優(yōu)化模型;

6)將預(yù)測(cè)結(jié)果作為L(zhǎng)STM的輸入進(jìn)行訓(xùn)練;

7)采用4sigma 原則判斷帶寬異常值;

8)根據(jù)實(shí)際偏差與訓(xùn)練偏差的比例等級(jí)標(biāo)準(zhǔn)發(fā)出相應(yīng)異常警告.局部加權(quán)回歸LSTM 時(shí)序算法活動(dòng)圖如圖2所示.

圖2 局部加權(quán)回歸LSTM 時(shí)序算法活動(dòng)圖

2.1 插值采樣

本文在帶寬預(yù)測(cè)時(shí),將訓(xùn)練集數(shù)據(jù)按照每43 個(gè)時(shí)刻點(diǎn)為一組進(jìn)行采樣,在每組時(shí)間序列中,前42 列作為訓(xùn)練集樣本點(diǎn)的特征,第43 列為其對(duì)應(yīng)的y,之后的樣本點(diǎn)均采用按時(shí)間梯形重疊的方法進(jìn)行插值采樣,具體過(guò)程如下:

1)原始數(shù)據(jù)的帶寬值是每間隔3 s的真實(shí)數(shù)據(jù),本文對(duì)處理后的4 萬(wàn)多原始數(shù)據(jù)每間隔15 min 進(jìn)行一次插值采樣;

2)采樣過(guò)程使用時(shí)序重疊的方法:用第1 個(gè)時(shí)刻到第42 個(gè)時(shí)刻的帶寬數(shù)據(jù)作為預(yù)測(cè)模型的訓(xùn)練集樣本點(diǎn)的特征值,即x1,第43 個(gè)時(shí)刻的帶寬數(shù)據(jù)作為這個(gè)樣本點(diǎn)對(duì)應(yīng)的結(jié)果真實(shí)值y1;然后用第2 個(gè)時(shí)刻到第43 個(gè)時(shí)刻的帶寬數(shù)據(jù)作為第2 個(gè)訓(xùn)練集樣本點(diǎn)x2的特征值,第44 個(gè)時(shí)刻的帶寬數(shù)據(jù)作為第2 個(gè)樣本點(diǎn)對(duì)應(yīng)的真實(shí)值y2.以此類推,一共采樣出1 000 個(gè)樣本點(diǎn),即1000 行42 列的X和1 000 行1 列的y,X具有42 個(gè)特征,X矩陣如式(2).

其中,m為1 000,n為42.插值采樣獲取時(shí)間序列如圖3所示.

圖3 插值采樣獲取時(shí)間序列示意圖

2.2 局部加權(quán)最小二乘法擬合模型

局部加權(quán)最小二乘法擬合模型流程如下:

1)使用每組時(shí)間序列(x1,x2,…,xn)(n=43)的前42 個(gè)時(shí)刻點(diǎn)作為一個(gè)擬合點(diǎn)的特征向量;

2)采用lowess 算法為擬合點(diǎn)數(shù)據(jù)局部加權(quán),距離擬合點(diǎn)遠(yuǎn)的樣本點(diǎn)權(quán)重低,距離近的樣本點(diǎn)權(quán)重高.距離公式為:

其中,xi是擬合點(diǎn),xj是訓(xùn)練集的樣本點(diǎn).權(quán)值函數(shù)有二次函數(shù)B和三次函數(shù)W[18],在經(jīng)過(guò)數(shù)據(jù)實(shí)驗(yàn)后,發(fā)現(xiàn)三次函數(shù)下降速度過(guò)快,縮小了異常點(diǎn)閾值,本文使用二次函數(shù)B,函數(shù)公式為:

3)對(duì)數(shù)據(jù)進(jìn)行歸一化處理;

4)使用最小二乘法擬合模型[19],公式為:

其中,為預(yù)測(cè)值,X和Y為訓(xùn)練集x_train和y_train[20].

5)對(duì)模型進(jìn)行測(cè)評(píng),評(píng)估指標(biāo)MSE 不滿足要求則調(diào)整回歸系數(shù)λ優(yōu)化模型[20].

上述過(guò)程完成后,調(diào)用LSTM 模型進(jìn)行后續(xù)操作.

2.3 異常值判斷算法和告警等級(jí)標(biāo)準(zhǔn)設(shè)計(jì)

2.3.1 異常值判斷算法設(shè)計(jì)

本文算法框架對(duì)帶寬值的預(yù)測(cè)依賴帶寬時(shí)序,對(duì)于帶寬預(yù)測(cè)這一獨(dú)立事件其結(jié)果影響因素單一,偏差是異常值的判斷依據(jù),偏差值屬于正態(tài)分布,目前對(duì)于此類情況通常采用“正態(tài)分布3sigma 原則”作為異常值判斷依據(jù)[21].偏差是指預(yù)測(cè)結(jié)果與真實(shí)值之間的差異.根據(jù)正態(tài)分布我們知道,測(cè)量值范圍在[x–σ,x+σ]的概率為0.682 7.在[x–3σ,x+3σ]的概率為0.997[21],其中x表示測(cè)量的平均值,σ表示偏差.本文經(jīng)過(guò)調(diào)節(jié)參數(shù),最終采用“4sigma 原則”作為異常值檢測(cè)方法:將4 個(gè)標(biāo)準(zhǔn)差作為基準(zhǔn),用驗(yàn)證集的差值和測(cè)試集的4 個(gè)標(biāo)準(zhǔn)差相比,如果大于1,則說(shuō)明這個(gè)值是異常值,表示帶寬異常,發(fā)出告警.

2.3.2 告警等級(jí)設(shè)計(jì)

實(shí)際的偏差與訓(xùn)練的偏差之間的絕對(duì)偏差表示了是否異常.而異常的程度可以用相對(duì)偏差表示,也就是實(shí)際偏差與訓(xùn)練偏差的比例,根據(jù)該比例值的大小設(shè)置了8 個(gè)告警級(jí)別,告警級(jí)別用變量 表示,告警級(jí)別如表1所示.

表1 異常告警級(jí)別

3 實(shí)驗(yàn)結(jié)果和分析

在局部加權(quán)最小二乘法模型預(yù)測(cè)部分,使用Matlab R2016a 作為開發(fā)平臺(tái);在LSTM 時(shí)序模型部分,使用Keras+TensorFlow 框架,Spyder+Python 編程環(huán)境.

3.1 插值采樣數(shù)據(jù)集

原始數(shù)據(jù)是真實(shí)帶寬值,約為45 000 個(gè)數(shù)據(jù).首先進(jìn)行數(shù)據(jù)處理將數(shù)據(jù)單位轉(zhuǎn)換為GB,然后進(jìn)行插值采樣.每隔15 min 采樣一次.

3.2 局部加權(quán)最小二乘法擬合模型實(shí)驗(yàn)

局部加權(quán)最小二乘法擬合模型預(yù)測(cè)結(jié)果如圖4所示,圖中紅色有“陡峭波峰”的曲線為真實(shí)值,藍(lán)色曲線為模型預(yù)測(cè)值.我們可以認(rèn)為明顯高于預(yù)測(cè)值的“凸點(diǎn)”為異常值,在模型中我們將他們作為噪點(diǎn),用此刻的預(yù)測(cè)值進(jìn)行替代,作為L(zhǎng)STM的訓(xùn)練集和測(cè)試集.

圖4 局部加權(quán)最小二乘法擬合模型預(yù)測(cè)結(jié)果

3.3 LSTM 訓(xùn)練實(shí)驗(yàn)

設(shè)置LSTM 網(wǎng)絡(luò)隱藏層神經(jīng)元個(gè)數(shù)為100,輸入特征維度為1,激活函數(shù)使用linear,樣本訓(xùn)練次數(shù)設(shè)置為100 次,網(wǎng)絡(luò)使用 Adam 優(yōu)化器,每批次處理100 條樣本,validation_split 訓(xùn)練集驗(yàn)證集的分割值為0.33.LSTM 網(wǎng)絡(luò)結(jié)構(gòu)部分代碼如圖5所示.

圖5 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

3.3.1 模型評(píng)價(jià)

本文采用loss 曲線對(duì)模型進(jìn)行評(píng)價(jià),并給出算法的時(shí)間復(fù)雜度對(duì)算法可行性加以說(shuō)明.

使用loss 曲線作為評(píng)價(jià)標(biāo)準(zhǔn),損失函數(shù)loss 使用均方誤差MSE (mean squared error),其公式為:

圖6是模型的100 次完整訓(xùn)練過(guò)程,可以看出從第1 次完整訓(xùn)練到第100 次完整訓(xùn)練,訓(xùn)練集loss 值從0.016 4 降到了4.65e–04.

圖6 LSTM 執(zhí)行過(guò)程

圖7是100 次訓(xùn)練過(guò)程模型訓(xùn)練集和驗(yàn)證集損失loss的對(duì)比圖,其中藍(lán)色(靠下)曲線是訓(xùn)練集loss 值隨著迭代過(guò)程的變化曲線,橙色(靠上)曲線是驗(yàn)證集loss 值的變化曲線,可以看出訓(xùn)練集數(shù)據(jù)在大約第10 次訓(xùn)練之后loss 值已經(jīng)迅速降至趨近于0的數(shù)值,之后的訓(xùn)練其loss 均平緩趨近于0,訓(xùn)練集loss和驗(yàn)證集loss 都已經(jīng)收斂并且它們之間相差不大,說(shuō)明既沒(méi)有過(guò)擬合也沒(méi)有欠擬合,模型學(xué)習(xí)充分,效果良好.

圖7 訓(xùn)練集loss和驗(yàn)證集loss 對(duì)比

模型算法主要包括局部加權(quán)最小二乘和LSTM 兩個(gè)部分.最小二乘法的時(shí)間復(fù)雜度正比于n2×k,其中n是特征數(shù),k是樣本數(shù)量.LSTM 算法的時(shí)間復(fù)雜度為n×d2,其中n為時(shí)間序列長(zhǎng)度,d為向量長(zhǎng)度.兩個(gè)部分的時(shí)間復(fù)雜度數(shù)量級(jí)都是O(n2),取兩個(gè)部分值大的作為模型的時(shí)間復(fù)雜度.因此按LSTM 進(jìn)行計(jì)算,模型時(shí)間復(fù)雜度為42×1002.經(jīng)過(guò)實(shí)驗(yàn),1728 個(gè)樣本數(shù)據(jù)的執(zhí)行時(shí)間穩(wěn)定在0:01:05.942850 左右,約1 min.1728 個(gè)樣本數(shù)據(jù)是取的3 天的帶寬監(jiān)測(cè)值,在實(shí)際應(yīng)用中,數(shù)據(jù)池維持在9 天的帶寬數(shù)據(jù)進(jìn)行預(yù)測(cè),系統(tǒng)采用IntelR710 服務(wù)器,還可以提高約20%的執(zhí)行效率,該算法在實(shí)際應(yīng)用中具有可行性.

圖8是使用測(cè)試集對(duì)模型進(jìn)行準(zhǔn)確度計(jì)算的結(jié)果,模型預(yù)測(cè)準(zhǔn)確度為0.774 19,即約為77%.

圖8 模型準(zhǔn)確度

3.3.2 參數(shù)調(diào)整

(1)調(diào)整參數(shù)batch_size

如果batch_size 值設(shè)置過(guò)大,比如200,那么代碼執(zhí)行速度會(huì)快很多,但是預(yù)測(cè)精確度會(huì)降低;如果該值設(shè)置過(guò)小,比如5,精確度會(huì)較高但是代碼執(zhí)行速度會(huì)變慢.因此設(shè)置batch_size為100.

(2)調(diào)整參數(shù)epochs

從圖9可以看出,epochs為200 時(shí),模型在第10 次訓(xùn)練之后訓(xùn)練集loss 值降為9.2092e–04.epochs為100 時(shí),模型在第10 次訓(xùn)練之后訓(xùn)練集loss 值也已到達(dá)9.0460e–04,說(shuō)明epochs為100 已經(jīng)足夠,模型訓(xùn)練已經(jīng)非常充分,不需要增至200.

圖9 epochs 設(shè)置為200和100 執(zhí)行過(guò)程

圖10是epochs 設(shè)置為50 時(shí)的驗(yàn)證集loss和訓(xùn)練集loss(高線)對(duì)比曲線圖.可以看出驗(yàn)證集loss和訓(xùn)練集loss 曲線間距generalization gap 增大,且訓(xùn)練集loss 在第14 次才降至8.6938e–04,后續(xù)仍有起伏,說(shuō)明模型訓(xùn)練不充分,出現(xiàn)欠擬合的風(fēng)險(xiǎn)比較大,因此epochs 值最后設(shè)置為100.

圖10 epochs 設(shè)置為50 驗(yàn)證集和訓(xùn)練集loss

在異常值的判斷中結(jié)合預(yù)測(cè)值和真實(shí)值的偏差.圖11是每時(shí)刻預(yù)測(cè)結(jié)果和真實(shí)值的偏差,該值接近于0 說(shuō)明偏差小.從圖中可見約在5:00、7:10、9:25、12:30 幾個(gè)時(shí)刻出現(xiàn)了明顯偏差,根據(jù)4sigma 原則判斷這4 個(gè)時(shí)刻為異常值,結(jié)果見圖12.除此4 個(gè)時(shí)刻外,其他時(shí)刻也有出現(xiàn)偏差的情況,比如在6:00 時(shí)刻也發(fā)生了偏差,但是其不符合4sigma的異常定量,所以模型判斷該時(shí)刻帶寬正常.

圖11 預(yù)測(cè)值和真實(shí)值的偏差

根據(jù)異常時(shí)刻實(shí)際偏差與訓(xùn)練偏差的比例Rela_BiasLevel 按值的大小分為8 個(gè)告警級(jí)別,值越大告警級(jí)別越高.圖12是模型測(cè)評(píng)的3 個(gè)異常時(shí)刻點(diǎn)的Rela_BiasLevel 定量告警示意圖.

圖12 異常值告警示意圖

4 結(jié)論與展望

本文以帶寬異常值預(yù)測(cè)為目標(biāo),從解決實(shí)際問(wèn)題出發(fā),構(gòu)造了一套適用于研究目標(biāo)的異常值預(yù)測(cè)算法.該算法將局部加權(quán)l(xiāng)owess 融入最小二乘法回歸模型,使模型曲線更為平滑,有效的解決了回歸模型的欠擬合問(wèn)題.該算法將局部加權(quán)最小二乘法擬合模型的輸出結(jié)果作為L(zhǎng)STM的訓(xùn)練集,起到了剔除噪點(diǎn)的作用,使得LSTM 預(yù)測(cè)結(jié)果更為準(zhǔn)確.從實(shí)驗(yàn)結(jié)果來(lái)看,本文提出的異常值預(yù)測(cè)模型算法具有很高的實(shí)用價(jià)值,異常值預(yù)測(cè)結(jié)果較為準(zhǔn)確,有效地避免和解決了網(wǎng)絡(luò)運(yùn)營(yíng)中帶寬異常帶來(lái)的各類問(wèn)題和帶寬成本不可控制等難題.

另外,本文的研究尚未結(jié)束,算法中仍有一些內(nèi)容有待研究.第一,局部加權(quán)回歸模型產(chǎn)生的誤差和LSTM 模型產(chǎn)生的誤差,會(huì)不會(huì)有疊加放大的情況,要如何消化這些誤差.第二,局部加權(quán)回歸模型的預(yù)測(cè)結(jié)果是否可以和原始樣本按一定比例合成數(shù)據(jù)作為L(zhǎng)STM的訓(xùn)練集.第三,可否在LSTM 每次反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)時(shí),加入局部加權(quán)的思想干預(yù)網(wǎng)絡(luò)參數(shù)的調(diào)整尤其是遺忘門的權(quán)重函數(shù)Wf.本課題將針對(duì)上述這些內(nèi)容展開后續(xù)研究.