郭娘容，甘浩宇，陳立豐，賴 粵

（廣東工業(yè)大學(xué)，廣州 510006）

0 引言

隨著通信技術(shù)的快速發(fā)展，寬帶移動通信技術(shù)已經(jīng)迭代到第五代，即5G 網(wǎng)絡(luò)。在網(wǎng)絡(luò)可靠性精準(zhǔn)切片和資源消耗等方面，5G 網(wǎng)絡(luò)有著更高的要求。實現(xiàn)5G 網(wǎng)絡(luò)資源的精準(zhǔn)預(yù)測，可以為企業(yè)預(yù)留5G 和精準(zhǔn)切片提供數(shù)據(jù)支撐，對企業(yè)提高網(wǎng)絡(luò)資源利用率，降低能源開銷方面具有重要意義。

近年來，因為深度學(xué)習(xí)網(wǎng)絡(luò)模型對時間序列數(shù)據(jù)有良好的預(yù)測效果，所以受到學(xué)者們廣泛關(guān)注和應(yīng)用。目前常用基于深度學(xué)習(xí)網(wǎng)絡(luò)的流量預(yù)測方法主要有：卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短時記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元網(wǎng)絡(luò)（GRU）。

本文將5G 通信特點和垂直行業(yè)業(yè)務(wù)相結(jié)合，提出了一種基于CNN-GRU的網(wǎng)絡(luò)流量預(yù)測模型。在eMBB 應(yīng)用場景下，研究5G 通信的帶寬峰值及其變化趨勢，挖掘5G 網(wǎng)絡(luò)流量特點。為了獲取時間序列數(shù)據(jù)間更深層次的關(guān)系，使用CNN 和GRU 兩種神經(jīng)網(wǎng)絡(luò)結(jié)合的網(wǎng)絡(luò)模型對時間序列數(shù)據(jù)進行處理，CNN 網(wǎng)絡(luò)提取5G 網(wǎng)絡(luò)流量的特征向量，并將其作為GRU 神經(jīng)網(wǎng)絡(luò)的輸入。實驗結(jié)果表明，本文提出的CNN-GRU模型相對于傳統(tǒng)模型具有更好的預(yù)測效果，提高了模型的訓(xùn)練精度，同時訓(xùn)練結(jié)果擁有較高的擬合度，實現(xiàn)對5G 網(wǎng)絡(luò)帶寬數(shù)據(jù)高效、精準(zhǔn)、可靠的預(yù)測。

1 深度學(xué)習(xí)網(wǎng)絡(luò)原理

1.1 CNN

卷積神經(jīng)網(wǎng)絡(luò)（CNN）廣泛應(yīng)用于人臉識別、疾病分析、圖形處理等領(lǐng)域，一般由輸入層、卷積層、池化層、全連接層以及輸出層構(gòu)成。其中卷積層可從輸入數(shù)據(jù)中快速精準(zhǔn)的提取樣本特征。池化層有兩個典型特性。一是可以大幅度加快模型的訓(xùn)練速度，對提取的特征信息進行降維處理，降低訓(xùn)練量。二是防止模型訓(xùn)練結(jié)果的過擬合。實際的操作中，常在兩個相鄰的卷積層之間加入1層池化層。全連接層的特性之一是能將當(dāng)前訓(xùn)練所提取特征和保留的樣本特征進行組合。正是由于CNN 擁有局部連接和權(quán)值共享的特性，使得CNN 可以精準(zhǔn)高效地從輸入數(shù)據(jù)中挖掘潛在的特征。

1.2 GRU

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）由于其在連續(xù)數(shù)據(jù)預(yù)測方面效果顯著，而被學(xué)者廣泛的關(guān)注。LSTM是RNN 的一種變種，而GRU 是在LSTM 基礎(chǔ)上，對其結(jié)構(gòu)進行簡化的一種網(wǎng)絡(luò)。LSTM 主要包括輸入門、輸出門和遺忘門三種不同的門結(jié)構(gòu)。GRU設(shè)計的初衷是為了簡化LSTM的結(jié)構(gòu)，它將遺忘門和輸入門合二為一變成更新門。數(shù)學(xué)描述公式為式（1），式（2），式（3）和式（4）所示。

其中，，分別為更新門、重置門和sigmoid 函數(shù)。是當(dāng)前時刻的輸入，為上一時刻的記憶變量，，為對應(yīng)的權(quán)值參數(shù)，?為候選集，為現(xiàn)在的狀態(tài)。首先，輸入數(shù)據(jù)與上時刻記憶變量間進行排列組合，經(jīng)過sigmoid 函數(shù)，輸入數(shù)據(jù)轉(zhuǎn)換為（0，1）之間，并且輸入到更新門和重置門。然后，再將重置門，輸入數(shù)據(jù)以及過去狀態(tài)變量，三者進行線性變換組合。最后，將兩者的信息疊加作為當(dāng)前時刻的輸出。GRU 模型使用了更新門用來替換LSTM 中的輸入門和遺忘門，由于只有兩個門控單元，從計算復(fù)雜度的角度來說，它比LSTM 的效率高。但總體而言，LSTM和GRU兩種網(wǎng)絡(luò)模型都能很好的處理和解決時間序列數(shù)據(jù)，解決訓(xùn)練數(shù)據(jù)長時間依賴的問題。

2 CNN-GRU網(wǎng)絡(luò)模型

2.1 5G網(wǎng)絡(luò)的整體架構(gòu)

本文5G 網(wǎng)絡(luò)流量的研究對象屬于5G 接入網(wǎng)側(cè)流量，側(cè)重研究無線終端在接入網(wǎng)側(cè)的網(wǎng)絡(luò)表現(xiàn)。在eMBB場景下，通過分析網(wǎng)絡(luò)帶寬的峰值、連續(xù)性、臨界點表現(xiàn)等信息，預(yù)測未來帶寬的變化趨勢。實現(xiàn)5G 帶寬的精準(zhǔn)預(yù)測，對基站的能源開銷，資源規(guī)劃提供數(shù)據(jù)支撐。5G網(wǎng)絡(luò)的架構(gòu)可以大致分為核心網(wǎng)、傳輸網(wǎng)，以及接入網(wǎng)三部分，具體架構(gòu)如圖1所示。

圖1 5G網(wǎng)絡(luò)架構(gòu)

2.2 CNN-GRU網(wǎng)絡(luò)模型設(shè)計

相對于4G 流量而言，5G 流量帶寬峰值更高，上升的速度更快，5G 網(wǎng)絡(luò)高峰期的帶寬持續(xù)和流量的快速回落也和4G 流量有所差別。選擇預(yù)測模型時，需要兼顧短期的時間數(shù)據(jù)，同時也要將歷史長期數(shù)據(jù)進行存儲和記憶。此外，針對于高峰與低谷之間的臨界邊緣數(shù)據(jù)，只有足夠深層且記憶能力強大的網(wǎng)絡(luò)模型，才有能力去克服邊界上的擾動。因此，5G 帶寬預(yù)測需要更深層次，更多參數(shù)的網(wǎng)絡(luò)來進行特征提取。

為了解決上述問題，使用兩種神經(jīng)網(wǎng)絡(luò)組合而成的CNN-GRU網(wǎng)絡(luò)模型進行設(shè)計。其結(jié)合了CNN 和GRU 兩種網(wǎng)絡(luò)模型的優(yōu)點，不僅可以精準(zhǔn)高效的從時間序列數(shù)據(jù)中挖掘潛在的特征，而且具有強大的記憶能力。首先，將帶寬數(shù)據(jù)進行歸一化。然后，輸入到CNN 網(wǎng)絡(luò)中進行帶寬數(shù)據(jù)特征提取，將CNN 網(wǎng)絡(luò)訓(xùn)練后的結(jié)果作為GRU 網(wǎng)絡(luò)的輸入。通過GRU 網(wǎng)絡(luò)模型進行訓(xùn)練以及Adam 優(yōu)化算法對參數(shù)的更新迭代。最后，再將輸出的結(jié)果進行反歸一化。

對比傳統(tǒng)網(wǎng)絡(luò)模型，CNN-GRU 網(wǎng)絡(luò)模型有著更深的網(wǎng)絡(luò)層數(shù)，更多的模型參數(shù)，可以更有效的提取eMBB 數(shù)據(jù)間的關(guān)系。CNN-GRU 網(wǎng)絡(luò)模型中的CNN部分使用3層卷積層，和3層池化層，其中池化層的池化方法選取最大池化。LSTM的單元數(shù)也為3層，具體結(jié)構(gòu)如圖2所示。

圖2 CNN-GRU網(wǎng)絡(luò)模型

3 5G流量預(yù)測實驗及結(jié)果分析

3.1 數(shù)據(jù)集介紹

本文實驗使用的數(shù)據(jù)集，來自一家愛爾蘭的網(wǎng)絡(luò)運營商。該數(shù)據(jù)集在5G 網(wǎng)絡(luò)環(huán)境下，通過靜態(tài)和車載兩種模式產(chǎn)生。測試的方式包括視頻流媒體和文件下載等。

3.2 數(shù)據(jù)集預(yù)處理

大帶寬被認為是5G 網(wǎng)絡(luò)的顯著的特性之一，本文將流量帶寬數(shù)據(jù)作為衡量5G 網(wǎng)絡(luò)性能的指標(biāo)。采用靜態(tài)環(huán)境下文件下載產(chǎn)生的流量下行帶寬數(shù)據(jù)作為輸入數(shù)據(jù)，選擇CNN，LSTM，GRU模型與本文模型進行對比。

首先，對訓(xùn)練數(shù)據(jù)進行預(yù)處理，原數(shù)據(jù)集是多個小文件，對2019年12月16日至2020年2月27 日的5 天采集的數(shù)據(jù)進行整合。然后，去除掉一些無用的數(shù)據(jù)，放棄一些沒有處于下載狀態(tài)的數(shù)據(jù)，即下載帶寬為0 的數(shù)據(jù)（此部分無效數(shù)據(jù)認為是設(shè)備或者環(huán)境造成的干擾）。最后，分析數(shù)據(jù)集的5G 網(wǎng)絡(luò)帶寬流量特性，確定帶寬預(yù)測的輸入特征、將帶寬數(shù)據(jù)和和時間數(shù)據(jù)歸一化到（0，1）之間，并作為CNN-GRU網(wǎng)絡(luò)模型的輸入。

3.3 模型評價指標(biāo)

為了更好對網(wǎng)絡(luò)模型的預(yù)測結(jié)果進行評價分析，將均方根誤差（）、平均絕對誤差（）以及方（Squared）作為評價指標(biāo)。評價公式的數(shù)學(xué)表達如式（5），式（6），式（7）所示。

均方根誤差，可以較為精確反映訓(xùn)練模型的離散程度。當(dāng)?shù)臄?shù)值越小的時候，表示這個模型的聚合程度越高，該模型越為精確。

平均絕對誤差，是將實驗的預(yù)測結(jié)果與實際結(jié)果作差，取絕對值，然后再求均值。

當(dāng)?shù)闹翟叫?，表示模型的誤差越小。

方（Squared），方被學(xué)者認為是衡量線性回歸的最好的方法之一，方主要將預(yù)測結(jié)果轉(zhuǎn)化為范圍在0 至1 之前的準(zhǔn)確度，可以較為直觀的顯現(xiàn)一個模型的擬合度。當(dāng)模型的擬合度非常理想的時候，其數(shù)值會無線靠近1。

3.4 結(jié)果分析

對訓(xùn)練數(shù)據(jù)集分別采用LSTM模型、GRU模型、CNN-LSTM 模型以及本文提出的CNN-GRU模型進行特征提取和組合。網(wǎng)絡(luò)模型中CNN 的卷積層數(shù)為3 層，LSTM 和GRU 的單元數(shù)也為3層。實驗過程中，激活層選取Relu 激活函數(shù)，參數(shù)更新迭代的算法為Adam，數(shù)據(jù)回溯的值為20。實驗結(jié)果如表1所示。

表1 不同預(yù)測模型評價指標(biāo)匯總

實驗結(jié)果顯示，LSTM和GRU的訓(xùn)練結(jié)果接近，在中的差值小于2.5%，在中差值小于4.3%，Squared也只有一個百分點的差別。與之類似的，CNN-LSTM 和CNN-GRU，在和指標(biāo)中也分別只有小于2.1%，和3.3%的差別，Squared 也只有一個百分點的差別。因此，可近似的認為LSTM和GRU訓(xùn)練效果一致，CNN-LSTM和CNN-GRU訓(xùn)練效果一致。

對比LSTM和CNN-LSTM 兩種模型，我們可以觀察到訓(xùn)練結(jié)果在精度上有顯著提高，和分別減少了9.9%和10.9%，Squared 亦提高了4 個百分點。與之類似的，對比GRU 和CNN-GRU，和分別減少了12.3%和15.0%，Squared提高了5個百分點。

在加入了CNN 模型后，兩種模型的訓(xùn)練精度都有進一步的提升。但從模型結(jié)構(gòu)的角度上選擇CNN-GRU會更為合適。當(dāng)未來遇到更為海量的數(shù)據(jù)需求，GRU 只有兩個門單元，對比LSTM 的三個門單元，模型更為簡單，訓(xùn)練的參數(shù)更少。因此，認為CNN-GRU 是5G 網(wǎng)絡(luò)環(huán)境下帶寬流量預(yù)測的理想模型。

為了更深入的研究本文提出的CNN-GRU模型在訓(xùn)練過程的情況，記錄模型的訓(xùn)練過程并以畫圖的形式呈現(xiàn)。圖3 為CNN-GRU 模型歷史訓(xùn)練過程，圖4為圖3在測試部分的放大圖。

圖3 CNN-GRU模型歷史訓(xùn)練過程

圖4 CNN-GRU模型測試過程（放大）

橫軸代表帶寬數(shù)據(jù)的時間點，縱軸代表下載帶寬的數(shù)值，藍色部分表示原始數(shù)據(jù)，橙色部分表示訓(xùn)練數(shù)據(jù)，紅色部分則為測試數(shù)據(jù)。從結(jié)果上看，CNN-GRU 訓(xùn)練過程中的整體表現(xiàn)較為平穩(wěn)，雖然在部分的帶寬峰值預(yù)測中表現(xiàn)得不夠完美，但是對于帶寬數(shù)據(jù)流量的總體趨勢預(yù)測屬于較為理想的水平。結(jié)合較高的擬合度，驗證了本文模型對時間序列帶寬數(shù)據(jù)具有良好的預(yù)測效果。

3.5 網(wǎng)絡(luò)預(yù)測與垂直行業(yè)應(yīng)用結(jié)合

本文的CNN-GRU 模型對5G 帶寬具有良好的預(yù)測效果，可以為垂直行業(yè)的資源優(yōu)化提供數(shù)據(jù)支撐。以下，在電力物聯(lián)網(wǎng)背景下，提出一種基于流量帶寬預(yù)測的5G 網(wǎng)絡(luò)切片系統(tǒng)方案，將CNN-GRU 模型與電力業(yè)務(wù)結(jié)合，實現(xiàn)5G 網(wǎng)絡(luò)的精細化切片，提高網(wǎng)絡(luò)資源利用率，減少5G 基站能源消耗和運營成本，系統(tǒng)架構(gòu)如圖5所示。

圖5 基于CNN-GRU模型的5G切片系統(tǒng)架構(gòu)

（1）系統(tǒng)的輸入為電力物聯(lián)網(wǎng)中實際場景下的業(yè)務(wù)帶寬數(shù)據(jù)，通過本文的CNN-GRU模型進行參數(shù)迭代，經(jīng)過模型訓(xùn)練后輸出預(yù)測的帶寬信息。同時，通過監(jiān)測工具（Pioneer，Wireshark和Iperf 等）動態(tài)監(jiān)測5G 網(wǎng)絡(luò)的資源信息，包括CPU、內(nèi)存等計算資源的監(jiān)測，以及吞吐率、可靠性、多設(shè)備并發(fā)等網(wǎng)絡(luò)存儲性能的監(jiān)測。

（2）將預(yù)測的帶寬信息和當(dāng)前的鏈路資源信息進行整和，并與電力物聯(lián)網(wǎng)的業(yè)務(wù)需求進行匹配，進一步得到針對業(yè)務(wù)的切片需求。

（3）基于帶寬流量預(yù)測的切片需求可以直觀表達未來的一段時間電力負載情況，廠區(qū)的邊緣服務(wù)器將這些信息作為參數(shù)，構(gòu)建目標(biāo)網(wǎng)絡(luò)和損失函數(shù)，利用如強化學(xué)習(xí)的貪婪算法等進行迭代，最大化獎勵，從而實現(xiàn)精細化的網(wǎng)絡(luò)切片。切片結(jié)果影響下一次模型的訓(xùn)練，通過調(diào)整參數(shù)及算法更新，得到最理想的eMBB網(wǎng)絡(luò)資源切片策略，從而實現(xiàn)網(wǎng)絡(luò)資源負載的優(yōu)化。

4 結(jié)語

由于擁有近似的結(jié)構(gòu)，LSTM網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)的訓(xùn)練結(jié)果相近，都能較好的處理時間序列數(shù)據(jù)。此基礎(chǔ)上加入CNN 模型，增加了3 層CNN 的卷積層，訓(xùn)練過程迭代中的參數(shù)將會變多，模型訓(xùn)練的時間也會相應(yīng)的增加。更多的參數(shù)提高了深度學(xué)習(xí)網(wǎng)絡(luò)的深度，挖掘數(shù)據(jù)與數(shù)據(jù)之間更深層的關(guān)系，模型變得更為穩(wěn)健。反映在模型評價指標(biāo)中，訓(xùn)練的時間變長，但是精度得到了提升。CNN-GRU和CNN-LSTM 的訓(xùn)練結(jié)果并沒有太大的差別，但是GRU 對比LSTM 擁有比其簡單的結(jié)構(gòu)，理論上來參數(shù)的計算量更小，為了后期更為大數(shù)據(jù)量的考慮，選擇使用CNN-GRU 作為模型選擇。綜上所述，CNN-GRU 模型能夠提高模型的訓(xùn)練精度，同時擁有較高的擬合度，實現(xiàn)對5G 網(wǎng)絡(luò)下帶寬數(shù)據(jù)高效、精準(zhǔn)、可靠的預(yù)測。

未來可研究，在uRLLC 以及mMTC 的場景下，結(jié)合時延和連接數(shù)等數(shù)據(jù)對5G 網(wǎng)絡(luò)的實際表現(xiàn)進行預(yù)測，進一步提升預(yù)測模型對5G 網(wǎng)絡(luò)的適用度以及處理數(shù)據(jù)的能力。