［張偉 劉甫琴］

1 引言

隨著5G行業(yè)的蓬勃發(fā)展，5G商用逐漸落地，各種網(wǎng)絡(luò)應(yīng)用的數(shù)量呈指數(shù)級的增長。日益增長的流量對5G網(wǎng)絡(luò)切片提出了更高的要求。由于流量分布在區(qū)域上呈現(xiàn)不均衡的狀態(tài)，為了實現(xiàn)數(shù)據(jù)高效傳輸，就必須優(yōu)化網(wǎng)絡(luò)流量管理，而網(wǎng)絡(luò)流量管理的前提是對網(wǎng)絡(luò)流量進行提前預(yù)測?；诹髁款A(yù)測的基礎(chǔ)，針對網(wǎng)絡(luò)流量的變化實現(xiàn)網(wǎng)絡(luò)切片的動態(tài)調(diào)整成為了當前5G切片管理的重要課題。目前基于深度學(xué)習(xí)的移動網(wǎng)絡(luò)流量預(yù)測成為移動網(wǎng)絡(luò)流量預(yù)測領(lǐng)域的研究重點，當前大多數(shù)研究僅僅局限于研究網(wǎng)絡(luò)流量的時間相關(guān)性[1～5]，并沒有深度研究移動網(wǎng)絡(luò)的空間相關(guān)性。除了采用深度學(xué)習(xí)對流量進行時空分析外，為了保證流量預(yù)測的準確性，本文在對流量進行時空特征分析的基礎(chǔ)上，融合回歸殘差網(wǎng)絡(luò)對流量進行回歸預(yù)測和殘差預(yù)測，通過對殘差的推理，實現(xiàn)其他深度學(xué)習(xí)網(wǎng)絡(luò)不具備的全局最優(yōu)性和最佳逼近性能，從而保證網(wǎng)絡(luò)流量信息全局信息的延續(xù)性。

2 融合深度學(xué)習(xí)與回歸殘差神經(jīng)網(wǎng)絡(luò)的流量預(yù)測思路

針對網(wǎng)絡(luò)流量受到噪音擾動以及深度學(xué)習(xí)模型自身的不足，本文將深度學(xué)習(xí)、回歸分析以及RBF進行融合，對模型做了以下三方面的改進：首先，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）對網(wǎng)絡(luò)流量進行時空特征提取[6]，作為后續(xù)對流量預(yù)測模型改進的基礎(chǔ)；其次，考慮到不同卻與的流量數(shù)據(jù)往往會收到非高斯噪音的影響，本文將回歸分析方法應(yīng)用到網(wǎng)絡(luò)流量預(yù)測模型的改進中，提出了基于回歸殘差神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)誤差預(yù)測模型；最后，針對傳統(tǒng)的回歸分析預(yù)測不穩(wěn)定的問題，將回歸分析的預(yù)測值與殘差預(yù)測值進行結(jié)合，實現(xiàn)網(wǎng)絡(luò)流量的預(yù)測。融合深度學(xué)習(xí)與回歸殘差神經(jīng)網(wǎng)絡(luò)的流量預(yù)測思路如圖1所示。

2.1 基于注意力機制的CNN-LSTM網(wǎng)絡(luò)流量時空特征提取

基于注意力機制的CNN-LSTM模型是一個融合CNN與LSTM雙通道的模型，兩種模型以注意力機制相融合，使得模型具有時間和空間的表達能力。該模型的步驟分為四步：（1）基于CNN提取流量的時間特征表達；（2）基于LSTM提取流量的空間特征表達；（3）采用softmax對CNN和LSTM的特征表達進行融合；（4）采用注意力機制對時空特征各維度權(quán)重進行計算。具體方法是：將CNN的特征向量與LSTM的特征向量融合成一組權(quán)重，并采用softmax激活函數(shù)將權(quán)重歸一化到0-1，形成不同特征維度的權(quán)重表達；（5）將注意力機制輸出的各維度權(quán)重與LSTM的隱含層特征元素進行相乘，形成融合注意力機制的特征表達。由此看來，不僅能夠?qū)W習(xí)到局部特征的重要性程度，還能全面反映流量的上下文信息，避免出現(xiàn)由于流量數(shù)據(jù)步長過長導(dǎo)致記憶丟失和梯度彌散的問題。

考慮現(xiàn)有網(wǎng)絡(luò)流量的特征，基于注意力機制的CNNLSTM的網(wǎng)絡(luò)流量特征提取的具體過程如圖2所示。

圖2 基于注意力機制的CNN-LSTM的網(wǎng)絡(luò)流量特征提取

樣本分別從左右兩個通道輸入網(wǎng)絡(luò)。左通道為CNN網(wǎng)絡(luò)，將n*20維的樣本輸入CNN網(wǎng)絡(luò)，在CNN最后一層輸出1*n維的特征向量：

右通道為LSTM網(wǎng)絡(luò)，LSTM輸出維度為n*m的特征向量。n為序列長度。M為LSTM隱藏層輸出維度。

在得到兩個通道的特征表達之后，采用注意力機制實現(xiàn)特征重要程度提取。

Wa為m*n維的權(quán)值矩陣；ba為偏置項，均由訓(xùn)練時學(xué)習(xí)得到；的轉(zhuǎn)置。等式（3）將CNN的特征向量與LSTM的特征向量融合成一組權(quán)重，并通過式（4）softmax激活函數(shù)將權(quán)重歸一化到0-1。最后通過式（5），將LSTM不同時間點的隱含層輸出向量與對應(yīng)的權(quán)重ai相乘，并求和，以此作為樣本最終的特征表達，即由此可知，包含n個時空特征。

2.2 基于回歸殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測及流量預(yù)測

傳統(tǒng)的回歸模型是基于歷史的流量數(shù)據(jù)進行短時的流量預(yù)測，在常規(guī)模式下具有良好的預(yù)測能力。但是網(wǎng)絡(luò)流量具有隨機性和波動性等特性，遇到突發(fā)的事件，基于歷史數(shù)據(jù)的回歸模型預(yù)測值和實際值會產(chǎn)生很大的偏差[7]。如果結(jié)合注意力機制挖掘出當前流量特征與上下游的時空關(guān)系，那么采用上下游的數(shù)據(jù)特征來修正預(yù)測點的預(yù)測值，模型的預(yù)測精度就會提高?；谏鲜龅乃枷?，本文利用RBF神經(jīng)網(wǎng)絡(luò)模型將融合注意力機制的時空特征與回歸分析的殘差進行時空關(guān)聯(lián)，通過RBF產(chǎn)生的殘差預(yù)測結(jié)果對回歸模型的預(yù)測數(shù)據(jù)進行修正，最終形成流量預(yù)測?；诨貧w殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測及流量預(yù)測如圖3所示。

圖3 基于回歸殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測與流量預(yù)測思路

（1）基于回歸分析模型的流量殘差預(yù)測

將因變量代進去回歸分析模型中，得到的流量擬合值為：

殘差向量可以表示為：

由此可知，殘差向量包含m個殘差。

（2）基于回歸殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測

RBF神經(jīng)網(wǎng)絡(luò)是一種三層的神經(jīng)網(wǎng)絡(luò)，包括輸入層、隱藏層、輸出層。從輸入空間到隱層空間的變換是非線性的，而從隱層空間到輸出層空間變換是線性的[8]。RBF神經(jīng)相較于BP神經(jīng)網(wǎng)絡(luò)收斂速度更快，使用性更強，隱層單元數(shù)也就是網(wǎng)絡(luò)的結(jié)構(gòu)可以根據(jù)研究的具體問題，在訓(xùn)練階段自適應(yīng)地調(diào)整。RBF是高效的前饋式神經(jīng)網(wǎng)絡(luò)，它具有唯一最佳逼近的特性，能夠有效避免局部最優(yōu)的問題。

在提取流量數(shù)據(jù)的時空特征向量和對原始數(shù)據(jù)進行回歸分析之后，可以將經(jīng)過訓(xùn)練的流量時空特征和m個殘差值作為RBF網(wǎng)絡(luò)的輸入，得到流量殘差預(yù)測值?；诨貧w殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測思路如圖4所示。

圖4 基于回歸殘差RBF神經(jīng)網(wǎng)絡(luò)的殘差預(yù)測

圖4輸入層的維度為n+m維，輸出層維度是m維。

RBF神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為：

3 實驗分析

為了驗證融合深度學(xué)習(xí)與殘差回歸神經(jīng)網(wǎng)絡(luò)對流量預(yù)測的有效性，將該方法用于預(yù)測中山聯(lián)通5G試驗網(wǎng)中進行測試，以期驗證該算法在5G流量預(yù)測的有效性。本文在預(yù)測準確性和模型收斂性兩個方面與傳統(tǒng)的殘差神經(jīng)網(wǎng)絡(luò)ST-ResNet方法[9]進行了對比。兩種算法的誤差結(jié)果如表1所示，本文算法的預(yù)測誤差為10.5，低于ST-ResNet方法的預(yù)測誤差13.8。這是因為ST-ResNet方法只是采用簡單的卷積層提取網(wǎng)絡(luò)流量數(shù)據(jù)的空間特征，而本文采用CNN+LSTM提取時空特征，因此得到更加抽象的特征。除此之外，采用回歸殘差RBF神經(jīng)網(wǎng)絡(luò)對殘差進行修正的方法考慮到當前流量特征與數(shù)據(jù)上下游的時空關(guān)系，實現(xiàn)其他深度學(xué)習(xí)網(wǎng)絡(luò)不具備的全局最優(yōu)性和最佳逼近性能，提升了預(yù)測的準確率。

表1 ST-ResNet方法與本文方法的誤差對比

除此之外，還需要對比兩種方法的收斂結(jié)果，收斂結(jié)果如圖5所示。圖中的RMSE代表誤差，epoch代表迭代次數(shù)。從圖5可以看出，隨著迭代次數(shù)的增加，模型的誤差在不斷縮小，當模型迭代到74次左右時，本文模型的誤差開始收斂到某一個固定值，而在模型迭代到88次左右時，模型誤差趨于穩(wěn)定。而ST-ResNet方法迭代到82次左右時才開始收斂，而迭代次數(shù)達到94次才趨于穩(wěn)定，綜上所述，ST-ResNet算法收斂性比本文算法差。主要原因是：本文采用的CNN+LSTM提取的時空特征的方法能夠在很大程度上反映了流量的特征，極大減少了計算量，提升了模型的收斂速度。

圖5 迭代次數(shù)與誤差曲線

4 結(jié)束語

本文提出一種融合深度學(xué)習(xí)與回歸殘差神經(jīng)網(wǎng)絡(luò)的流量預(yù)測新方法。該方法在基于注意力機制的CNN-LSTM網(wǎng)絡(luò)流量時空特征提取基礎(chǔ)上，采用回歸殘差RBF神經(jīng)網(wǎng)絡(luò)對殘差進行修正后，實現(xiàn)流量的精準預(yù)測。該方法的主要優(yōu)勢在于對流量的時間和空間信息進行提取，極大減少了模型的計算量，有利于提升模型的迭代能力；除此之外，回歸殘差RBF神經(jīng)網(wǎng)絡(luò)對殘差進行推理，實現(xiàn)其他深度學(xué)習(xí)網(wǎng)絡(luò)不具備的全局最優(yōu)性和最佳逼近性能，從而保證網(wǎng)絡(luò)流量預(yù)測的準確性。