摘 要:工業(yè)控制場(chǎng)景下5GA 終端傳輸時(shí)延是確定性網(wǎng)絡(luò)能力的直接表征之一,時(shí)延預(yù)測(cè)對(duì)提高網(wǎng)絡(luò)確定性至關(guān)重要。由于傳輸時(shí)延序列的不穩(wěn)定性和隨機(jī)性,單一模型難以準(zhǔn)確預(yù)測(cè)。針對(duì)該問(wèn)題,提出一種基于優(yōu)化變分模態(tài)分解(Variational Mode Decomposition,VMD) 和卷積注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Convolutional Attention Long Short Term MemoryNetwork,CA-LSTM) 的傳輸時(shí)延預(yù)測(cè)方法。為提高VMD 的分解性能,利用相關(guān)系數(shù)檢驗(yàn)法確定時(shí)延序列分解的模態(tài)數(shù),并利用蝗蟲(chóng)優(yōu)化尋優(yōu)分解的懲罰因子和保真度系數(shù);設(shè)計(jì)CA-LSTM 網(wǎng)絡(luò),借助卷積濾波器以及注意力機(jī)制使得網(wǎng)絡(luò)具備分辨時(shí)延特征重要程度的能力;將各模態(tài)預(yù)測(cè)值重建成一維時(shí)延值得到預(yù)測(cè)結(jié)果。實(shí)驗(yàn)研究結(jié)果表明,優(yōu)化VDM 能夠?qū)ⅲ担墙K端傳輸時(shí)延序列有效分解,結(jié)合CA-LSTM 模型相比于經(jīng)典LSTM 在MSE、RMSE 和MAE 上分別提升了37. 1% 、21. 3%和23. 6% 。
關(guān)鍵詞:5G 時(shí)延;變分模態(tài)分解;相關(guān)系數(shù);蝗蟲(chóng)優(yōu)化算法;卷積注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)
中圖分類(lèi)號(hào):TN929. 5 文獻(xiàn)標(biāo)志碼:A 開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
文章編號(hào):1003-3106(2024)04-1034-09
0 引言
5G 確定性網(wǎng)絡(luò)技術(shù)的目標(biāo)是將網(wǎng)絡(luò)從“盡力而為”轉(zhuǎn)變?yōu)椤皽?zhǔn)時(shí)、準(zhǔn)確”地控制端到端時(shí)延,以應(yīng)用在交通監(jiān)管[1]、工廠自動(dòng)化控制[2]、娛樂(lè)以及自動(dòng)駕駛[3]等低時(shí)延需求領(lǐng)域。網(wǎng)絡(luò)終端設(shè)備傳輸時(shí)延的準(zhǔn)確測(cè)量和分析在網(wǎng)絡(luò)調(diào)度[4-5]、系統(tǒng)實(shí)時(shí)性[6]和工作負(fù)載預(yù)測(cè)[7-8]等方面發(fā)揮作用。然而,5G 空口、產(chǎn)品特性、設(shè)備參數(shù)配置以及網(wǎng)絡(luò)環(huán)境等因素會(huì)增大網(wǎng)絡(luò)時(shí)延的時(shí)變性和隨機(jī)性,同時(shí)增大時(shí)延的預(yù)測(cè)難度。
5G-A 終端傳輸時(shí)延作為時(shí)序數(shù)據(jù),其預(yù)測(cè)方法主要分為線性預(yù)測(cè)方法和非線性預(yù)測(cè)方法。線性預(yù)測(cè)方法的問(wèn)題在于需要精確建模,不適用于動(dòng)態(tài)范圍大、非線性強(qiáng)的網(wǎng)絡(luò)時(shí)延。非線性預(yù)測(cè)方法中,支持向量機(jī)(Support Vector Machine,SVM)和最小二乘支持向量機(jī)(Least Squares Support VectorMachines,LSSVM)對(duì)于非線性和高維模式識(shí)別具有獨(dú)特的優(yōu)勢(shì)[9],可以用來(lái)預(yù)測(cè)強(qiáng)非線性的網(wǎng)絡(luò)時(shí)延。然而,其參數(shù)確定是個(gè)相當(dāng)有難度的過(guò)程。神經(jīng)網(wǎng)絡(luò)是一個(gè)表達(dá)能力、快速計(jì)算能力極強(qiáng)的非線性模型,可用于時(shí)序預(yù)測(cè)[10]。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)利用門(mén)結(jié)構(gòu)解決了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)梯度消失和梯度爆炸的問(wèn)題。但無(wú)法分辨時(shí)延特征是否足夠重要,不能從大量的輸入信息中選擇其中的關(guān)鍵信息重點(diǎn)處理,并忽略其他信息。
從目前的研究成果看,由于傳輸時(shí)延序列的不穩(wěn)定性和隨機(jī)性,使用單一模型預(yù)測(cè)時(shí)延難以較好地描述傳輸時(shí)延序列的特征。因此,研究多模型預(yù)測(cè)成為提高預(yù)測(cè)精度的突破口,時(shí)延序列分解成多個(gè)分量。時(shí)間序列分解技術(shù)目前應(yīng)用比較廣泛的有小波分解[11-12]、局域均值分解以及集合經(jīng)驗(yàn)?zāi)B(tài)分解。小波分解的缺點(diǎn)是容易產(chǎn)生很多沒(méi)有原有物理意義的諧波。局域均值分解以及集合經(jīng)驗(yàn)?zāi)B(tài)分解都屬于遞歸式分解方法,存在端點(diǎn)效應(yīng)和模態(tài)混疊現(xiàn)象[13-14]。變分模態(tài)分解(Variational Mode Decom-position,VMD)是近年來(lái)提出的建立在希爾伯特變換、維納濾波器和頻率混合等概念基礎(chǔ)上的一種完全非遞歸式的自適應(yīng)分解模型[15],解決了頻率相近的分量不能夠分離的問(wèn)題,有效避免了模態(tài)混疊現(xiàn)象[16],但其分解時(shí)延序列時(shí)參數(shù)的選取對(duì)分解結(jié)果影響較大。
針對(duì)上述問(wèn)題,本文提出一種基于優(yōu)化VMD和CA-LSTM 的確定性網(wǎng)絡(luò)———5G-A 終端傳輸時(shí)延預(yù)測(cè)方法。在采用VMD 時(shí),利用相關(guān)系數(shù)檢驗(yàn)法和蝗蟲(chóng)優(yōu)化算法優(yōu)化其參數(shù)選取。為增強(qiáng)LSTM 提取變量之間局部依賴(lài)關(guān)系的能力,使得神經(jīng)網(wǎng)絡(luò)能夠聚焦重要的時(shí)延特征,設(shè)計(jì)卷積注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Convolutional Attention Long Short TermMemory Network,CA-LSTM)。為每個(gè)模態(tài)的時(shí)序數(shù)據(jù)訓(xùn)練不同的CA-LSTM 預(yù)測(cè)模型,并通過(guò)每個(gè)模態(tài)分量的預(yù)測(cè)值重建出最終預(yù)測(cè)值。本文提出的基于優(yōu)化VMD 和CA-LSTM 的確定性網(wǎng)絡(luò)5G 時(shí)延預(yù)測(cè)算法可以達(dá)到較好的精度。
1 工業(yè)控制場(chǎng)景終端時(shí)延模型
本文時(shí)延數(shù)據(jù)采集的發(fā)送端和接收端均利用TCP / IP 協(xié)議實(shí)現(xiàn)雙端通信。發(fā)送端每隔一段固定時(shí)間發(fā)送一個(gè)TCP 包給接收端得到單程時(shí)延(One-way Transmit Time,OTT)。該OTT 構(gòu)成如圖1 所示。T1 為發(fā)送端發(fā)送數(shù)據(jù)包和TCP / IP 執(zhí)行時(shí)延,T2 為接收端接收數(shù)據(jù)和TCP / IP 執(zhí)行時(shí)延,T12 為發(fā)送端發(fā)送數(shù)據(jù)包時(shí)的5G 網(wǎng)絡(luò)時(shí)延。因此本文所采用的單端時(shí)延數(shù)據(jù)TOTT = T1 +T12 +T2 。發(fā)送端每隔一段固定時(shí)間發(fā)送一個(gè)固定大小的TCP 包,數(shù)據(jù)包帶有時(shí)間標(biāo)簽,數(shù)據(jù)包經(jīng)過(guò)5G 空口傳輸?shù)浇邮斩耍邮斩私邮盏浇?jīng)空口返回的數(shù)據(jù)包后,通過(guò)計(jì)算當(dāng)前時(shí)間的時(shí)間戳與接收數(shù)據(jù)包中的時(shí)間戳的差值得到數(shù)據(jù)包的OTT。
時(shí)延數(shù)據(jù)實(shí)驗(yàn)環(huán)境部署在上海華為工業(yè)3C 設(shè)備制造場(chǎng)景下,利用自研測(cè)試工具,在現(xiàn)場(chǎng)模擬工業(yè)控制設(shè)備與可編程邏輯控制器(Programmable LogicController,PLC)設(shè)備收發(fā)數(shù)據(jù)包的過(guò)程。測(cè)試組網(wǎng)如圖2 所示。工具兩端為設(shè)備端和PLC 端,分別接入2 個(gè)5G 客戶前置設(shè)備終端(Customer PremiseEquipment,CPE)。2 臺(tái)終端通過(guò)基站和核心網(wǎng)建立通信,實(shí)現(xiàn)無(wú)線的單端數(shù)據(jù)包傳送。實(shí)驗(yàn)發(fā)送端每隔16 ms 發(fā)送一個(gè)帶有時(shí)間戳的TCP 包,數(shù)據(jù)包大小為64 B。接收端通過(guò)接收時(shí)的當(dāng)前時(shí)間戳和接收數(shù)據(jù)包帶有的時(shí)間戳,統(tǒng)計(jì)OTT。為保證時(shí)延的可靠性,實(shí)驗(yàn)環(huán)境內(nèi)除所需5G 終端外無(wú)其他終端,且測(cè)試終端本身關(guān)閉其他與網(wǎng)絡(luò)相關(guān)程序,所測(cè)時(shí)延可排除終端等非空口因素的影響。5G 終端傳輸時(shí)延受空口因素影響,本身具有高頻率時(shí)變和隨機(jī)性的特點(diǎn),增大了根據(jù)歷史時(shí)延預(yù)測(cè)接下來(lái)時(shí)刻時(shí)延的難度。
2 5G-A 終端傳輸時(shí)延預(yù)測(cè)方法
2. 1 方法介紹
本文針對(duì)工業(yè)場(chǎng)景確定性網(wǎng)絡(luò)的5G-A 終端傳輸時(shí)延提出了一個(gè)基于優(yōu)化VMD 和CA-LSTM 的時(shí)延預(yù)測(cè)算法,該預(yù)測(cè)方法示意如圖3 所示。
該方法使用的數(shù)據(jù)是工業(yè)控制場(chǎng)景下一系列連續(xù)的5G 終端傳輸時(shí)延值,能夠通過(guò)前一段時(shí)間的隨機(jī)時(shí)延值預(yù)測(cè)接下來(lái)時(shí)刻的時(shí)延值。在劃分訓(xùn)練集與測(cè)試集之后,為降低5G 時(shí)延的不穩(wěn)定性,分別對(duì)訓(xùn)練集和測(cè)試集采取VMD 方法分解原始時(shí)延序列值,將一維數(shù)據(jù)分解為多維數(shù)據(jù)。該分解算法有3 個(gè)重要參數(shù)對(duì)傳輸時(shí)延數(shù)據(jù)分解結(jié)果影響較大,分別為模態(tài)數(shù)K,懲罰因子α 和保真度系數(shù)τ。利用相關(guān)系數(shù)檢驗(yàn)確定K 的選取,利用蝗蟲(chóng)優(yōu)化算法完成參數(shù)α、τ 的自動(dòng)尋優(yōu)。分解工作完成后,分別將每一模態(tài)的時(shí)序數(shù)據(jù)標(biāo)準(zhǔn)化,消除指標(biāo)間量綱的影響。分解后每一模態(tài)的5G 時(shí)延時(shí)序數(shù)據(jù)相關(guān)性、非線性和非平穩(wěn)性都表現(xiàn)出各自特點(diǎn)。在模態(tài)分量中,一些分量成為原始時(shí)延序列的近似分量,具有長(zhǎng)期相關(guān)性的特點(diǎn);另一些則作為細(xì)節(jié)分量,具有短期相關(guān)性的特點(diǎn)。
由于LSTM 無(wú)法分辨某時(shí)段的時(shí)延序列數(shù)據(jù)是否足夠重要,不能從大量的輸入信息中選擇其中的關(guān)鍵信息重點(diǎn)處理,本文設(shè)計(jì)CA-LSTM,結(jié)構(gòu)如圖4所示。CA-LSTM 在LSTM 組件基礎(chǔ)上增加一層卷積層組件,目的是提取時(shí)間維度上的短期模式以及變量之間的局部依賴(lài)關(guān)系,并為LSTM 組件引入注意力機(jī)制,以高權(quán)重聚焦重要信息,以低權(quán)重忽略不相關(guān)的信息;同時(shí)還可以不斷進(jìn)行權(quán)重值調(diào)整,使得在不同時(shí)間段信息也可以選取重要信息,具有較高的可擴(kuò)展性和魯棒性。因此為每一個(gè)模態(tài)的時(shí)延數(shù)據(jù)訓(xùn)練不同的CA-LSTM 預(yù)測(cè)模型,其中每一模態(tài)的傳輸時(shí)延特征由該模態(tài)時(shí)延子序列和原始時(shí)延序列組成。如圖3“預(yù)測(cè)模型構(gòu)建”所示,灰色序列表示模態(tài)信息,藍(lán)色序列表示原始時(shí)延序列。通過(guò)每一模態(tài)的模型得到對(duì)應(yīng)模態(tài)的時(shí)序數(shù)據(jù)預(yù)測(cè)值之后,使用反標(biāo)準(zhǔn)化將數(shù)據(jù)恢復(fù)成原來(lái)的量綱。將各模態(tài)預(yù)測(cè)值重建成一維時(shí)延值,得到預(yù)測(cè)結(jié)果。接下來(lái)詳細(xì)介紹基于優(yōu)化VMD 和CA-LSTM 的時(shí)延預(yù)測(cè)算法的各個(gè)模塊。
2. 2 VMD
VMD 是一種完全非遞歸式的分解模型,能夠自適應(yīng)分解序列。假設(shè)工業(yè)控制場(chǎng)景確定性網(wǎng)絡(luò)5G終端傳輸時(shí)延序s(t)是由K 個(gè)中心頻率不同、帶寬有限的子序列{xk(t)}(k = 1,2,…,K)組成,且各個(gè)工程與應(yīng)用子序列的和等于原始時(shí)延序列s(t)。VMD 的本質(zhì)是條件極值問(wèn)題,包括變分模型的建立和求解兩部分。
2. 2. 1 變分模型建立
確定性網(wǎng)絡(luò)5G 終端時(shí)延序列VMD 的本質(zhì)即是在K 個(gè)子序列和為輸入信號(hào)終端時(shí)延序列s(t)的情況下,使得K 個(gè)子時(shí)延序列各自代表的本征模態(tài)函數(shù)xk(t)估計(jì)帶寬之和最小。變分模型的建立主要分成3 個(gè)步驟:
① 希爾伯特變換。各子時(shí)延序列代表的本征模態(tài)函數(shù)xk(t)通過(guò)希爾伯特變換得到其解析信號(hào),也就獲得模態(tài)函數(shù)xk(t)的單邊頻譜。
② 頻率混合。對(duì)解析信號(hào)乘上e-jωkt,將解析后的模態(tài)函數(shù)頻譜調(diào)制到基頻帶:
式中:τ 表示保真度系數(shù),n 表示第n 次迭代。
在循環(huán)迭代過(guò)程中,利用式(7)判斷是否滿足收斂條件。若滿足條件,分解結(jié)束;若不滿足條件則需要繼續(xù)迭代以達(dá)到設(shè)置的最大迭代次數(shù)或者滿足迭代條件。利用上述公式求得x^n+1k (ω)后,對(duì)其傅立葉逆變換即可得到xk(t):
2. 3 相關(guān)系數(shù)檢驗(yàn)法確定K
選取不同的K 值會(huì)得到不同模態(tài)數(shù)的時(shí)延子序列分解結(jié)果,每種分解結(jié)果存在不同的殘差。如果VMD 能夠有效分解工業(yè)控制場(chǎng)景5G 終端傳輸時(shí)延數(shù)據(jù),模態(tài)分解后結(jié)果的殘差應(yīng)相對(duì)較小,同時(shí)殘差與原時(shí)延序列的相關(guān)性也會(huì)偏小。衡量相關(guān)性使用的指標(biāo)為皮爾遜系數(shù):
確定K 值的具體步驟如下:
① 初始化K = 2,α、τ 采用默認(rèn)值,使用VMD 算法分解原始5G 時(shí)延數(shù)據(jù);
② 分解完成后計(jì)算殘差與原序列的相關(guān)系數(shù)Rk,并計(jì)算各模態(tài)時(shí)延子序列與原始序列的相關(guān)系數(shù)Rki;
③ 如果殘差與原始時(shí)延序列的相關(guān)系數(shù)小于各模態(tài)分量與原序列的相關(guān)系數(shù),并且|Rk| 相比于|Rk-1| 突然變小很多倍,則說(shuō)明尋找到最優(yōu)K 值;否則K = K+1,繼續(xù)進(jìn)行以上步驟。
2. 4 蝗蟲(chóng)優(yōu)化算法確定α 和τ
確定K 之后,α 和τ 關(guān)系著各模態(tài)時(shí)延子序列不同程度的時(shí)延殘差(Residual Error Index,REI),影響分解結(jié)果以及最終的預(yù)測(cè)精度。利用蝗蟲(chóng)優(yōu)化算法[17]根據(jù)最小化分解結(jié)果與原時(shí)延序列的差距不斷優(yōu)化α 和τ:
α 和τ 的具體求解步驟如下:
① 初始化懲罰因子和保真度系數(shù),K 值由上述方法計(jì)算;
② 利用α 和τ 初始化蝗蟲(chóng)種群,根據(jù)初始化的參數(shù)采用VMD 分解5G 終端傳輸時(shí)延數(shù)據(jù),分解結(jié)果計(jì)算上式指標(biāo),據(jù)指標(biāo)初始化適應(yīng)度矩陣;
③ 設(shè)置最大迭代次數(shù),不指定目標(biāo)適應(yīng)度;
④ 利用蝗蟲(chóng)優(yōu)化算法不斷迭代更新蝗蟲(chóng)的位置信息,計(jì)算新位置的適應(yīng)度,并保存全局最優(yōu);
⑤ 迭代次數(shù)達(dá)到設(shè)置數(shù)值,停止迭代,得到全局最優(yōu)位置,即α 和τ。
2. 5 CA-LSTM
2. 5. 1 LSTM
LSTM 是一種以RNN 為基礎(chǔ)改進(jìn)的深度學(xué)習(xí)算法。RNN 對(duì)具有序列特性的數(shù)據(jù)非常有效,能夠挖掘數(shù)據(jù)中的時(shí)序信息以及以及語(yǔ)義信息。每一時(shí)刻的隱藏層不僅由該時(shí)刻的輸入層決定,還由上一時(shí)刻的隱藏層決定。當(dāng)5G 終端傳輸時(shí)延數(shù)據(jù)的間隔變長(zhǎng)時(shí),循環(huán)時(shí)間網(wǎng)絡(luò)會(huì)出現(xiàn)梯度消失的現(xiàn)象。RNN 這種無(wú)法保存長(zhǎng)期記憶的特點(diǎn)將會(huì)影響5G 時(shí)延預(yù)測(cè)的精度。LSTM 除了可以記錄每個(gè)時(shí)刻的隱藏值之外,引入輸入門(mén)、輸出門(mén)和遺忘門(mén)來(lái)控制每一時(shí)刻特征的流失與損失。由于LSTM 門(mén)控結(jié)構(gòu)的存在控制了對(duì)過(guò)去信息的保留程度[18],如果門(mén)選擇保留舊狀態(tài),那么梯度就會(huì)接近于1,可以緩解梯度消失問(wèn)題,如圖5 所示。
遺忘門(mén)、輸入門(mén)和輸出門(mén)可以表示為:
ft = σ(Wfx Xt + Wfh Ht-1 + Wfc Ct-1 + bf ), (10)
it = σ(Wix Xt + Wih Ht-1 + Wic Ct-1 + bi), (11)
ot = σ(Wox Xt + Woh Ht-1 + Woc Ct-1 + bo ), (12)
式中:ft、it、ot 分別表示遺忘門(mén)、輸入門(mén)和輸出門(mén)的輸出結(jié)果,Ht-1 、Ct-1 分別表示t-1 時(shí)刻的短期記憶信息和記憶單元中的狀態(tài)值,σ 表示激活函數(shù),Wfx、Wfh、Wfc 分別表示遺忘門(mén)與輸入層、隱藏層、記憶單元之間的權(quán)值系數(shù)矩陣,Wix、Wih、Wic 分別表示輸入門(mén)與輸入層、隱藏層、記憶單元之間的權(quán)值系數(shù)矩陣,Wox、Woh、Woc 分別表示輸出門(mén)與輸入層、隱藏層、記憶單元之間的權(quán)值系數(shù)矩陣,bf、bi、bo 分別表示遺忘門(mén)、輸入門(mén)、輸出門(mén)計(jì)算時(shí)對(duì)應(yīng)的偏執(zhí)項(xiàng)。圖5中最上面的水平線是LSTM 的核心部分細(xì)胞狀態(tài),保存的信息是長(zhǎng)期記憶:
Ct = ft Ct-1 + it tanh(Wcx Xt + Wch Ht-1 + bc ), (13)
式中:Ct-1 、Ct 表示t-1 時(shí)刻和t 時(shí)刻記憶細(xì)胞的狀態(tài)值。最終根據(jù)記憶細(xì)胞狀態(tài)確定輸出值:
Ht = ot tanh(Ct)。(14)
2. 5. 2 卷積神經(jīng)網(wǎng)絡(luò)組件
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的成功在很大程度上在于能夠捕獲各種重要的信號(hào)模式。因此,應(yīng)用CNN 濾波器來(lái)增強(qiáng)模型的學(xué)習(xí)能力。CA-LSTM 的卷積網(wǎng)絡(luò)目的是提取傳輸時(shí)延時(shí)間維度上的短期模式以及變量之間的局部依賴(lài)關(guān)系。卷積層由J 個(gè)尺寸為ω 的一維卷積濾波器組成,其輸出HC 計(jì)算如下:
HCi,j = Hi ? ckωj, (15)
式中:HCi,j 表示隱藏狀態(tài)H 第i 個(gè)行向量Hi 和第j 個(gè)大小為ω 的卷積核ckωj卷積后的結(jié)果。HC 由所有行向量與J 個(gè)一維卷積濾波器的結(jié)果組合而成。
2. 5. 3 注意力機(jī)制模塊
經(jīng)過(guò)CNN 濾波器得到HC ,需要對(duì)HC 的每行加權(quán)求和,最終計(jì)算出vt。定義函數(shù)f 如下:
f(HCi,Ht) = (HCi) T Wq Ht, (16)
式中:HCi為HC 的第i 行,Ht 為t 時(shí)刻的隱藏狀態(tài),Wq 為權(quán)重矩陣。利用Sigmoid 函數(shù)得到HC 每一行的權(quán)重,對(duì)HC 的每一行加權(quán)求和,得到vt:
與LSTM 組件t 時(shí)刻的輸出Ht 融合得到最終的預(yù)測(cè)輸出:
yt = Ww(Wh ht + Wv vt), (18)
式中,Ww 、Wh、Wv 為權(quán)重矩陣,yt 為t 時(shí)刻最終預(yù)測(cè)輸出。
3 實(shí)驗(yàn)
3. 1 數(shù)據(jù)集與參數(shù)設(shè)置
整個(gè)數(shù)據(jù)集共4 156 個(gè)時(shí)延數(shù)據(jù),將80% 的數(shù)據(jù)用作訓(xùn)練集,20% 的數(shù)據(jù)用作測(cè)試集,分別在訓(xùn)練集和測(cè)試集制作樣本。
VMD 分解實(shí)驗(yàn)?zāi)J(rèn)懲罰因子α = 2 000,保真度系數(shù)τ = 0。CALSTM 訓(xùn)練時(shí)batch size 的大小為32,dropout 的大小為0. 2,CNN 層filter size 大小為50,個(gè)數(shù)為32。在訓(xùn)練過(guò)程中為防止過(guò)擬合引入驗(yàn)證集,占訓(xùn)練集的10% ,并打亂樣本的順序。訓(xùn)練最多運(yùn)行500 個(gè)epoch,但如果連續(xù)20 個(gè)epoch 驗(yàn)證集損失沒(méi)有改善,則提前停止。這提高了泛化能力。訓(xùn)練使用的代價(jià)函數(shù)是均方誤差損失函數(shù)。
3. 2 時(shí)延預(yù)測(cè)評(píng)價(jià)指標(biāo)
采用回歸問(wèn)題中常用檢測(cè)指標(biāo)MSE、RMSE 和MAE,計(jì)算如下:
3. 3 K 值選取
在利用VMD 分解工業(yè)控制場(chǎng)景確定性網(wǎng)絡(luò)5G終端傳輸時(shí)延數(shù)據(jù)時(shí)需要先確定分解的模態(tài)個(gè)數(shù)K。K 會(huì)對(duì)時(shí)延數(shù)據(jù)的分解性能產(chǎn)生影響,為說(shuō)明K的影響,分別?。?= 2,3,4,5,6 得到時(shí)延數(shù)據(jù)的VMD 分解結(jié)果。同時(shí)利用相關(guān)性檢驗(yàn)方法確定本次研究中5G 時(shí)延數(shù)據(jù)的K 值。如表1 所示,在K =2,3,4,5,6 時(shí),殘差與5G 時(shí)延原始序列的相關(guān)系數(shù)都要小于各模態(tài)與原始序列的相關(guān)系數(shù)。當(dāng)K = 2時(shí),殘差分量的相關(guān)系數(shù)與各模態(tài)的相關(guān)系數(shù)處在同一個(gè)數(shù)量級(jí),說(shuō)明在時(shí)延時(shí)間序列分解后存在輕微的模態(tài)混疊現(xiàn)象。當(dāng)K = 3 時(shí),殘差分量的相關(guān)系數(shù)突然下降至0. 01,下降近10 倍,而且遠(yuǎn)小于各模態(tài)的相關(guān)系數(shù),說(shuō)明5G 時(shí)延序列分解較為充分,不存在模態(tài)混疊現(xiàn)象。當(dāng)K>3 時(shí),殘差分量的相關(guān)系數(shù)下降幅度不明顯,說(shuō)明VMD 出現(xiàn)過(guò)分解現(xiàn)象。綜上所述,當(dāng)K = 3 時(shí),VMD 既沒(méi)有出現(xiàn)模態(tài)混疊現(xiàn)象,也沒(méi)有產(chǎn)生過(guò)分解。因此在接下來(lái)的研究中選取分解模態(tài)數(shù)為3。
3. 4 α 和τ 的確定
當(dāng)K = 3 時(shí),繼續(xù)采用蝗蟲(chóng)優(yōu)化算法對(duì)參數(shù)α 和τ 尋優(yōu)。參數(shù)尋優(yōu)時(shí),設(shè)置初始粒子數(shù)為500,最大迭代次數(shù)設(shè)置為500。最終得到α = 277. 77,τ =2. 79。VMD 優(yōu)化前后的REI 值如表2 所示,可以看出本文提出的優(yōu)化VMD 分解時(shí)延序列方法REI 值遠(yuǎn)小于優(yōu)化前的REI 值。優(yōu)化分解算法分解后得到的時(shí)延子序列更接近原5G 終端傳輸時(shí)延序列。
3. 5 分解結(jié)果
采用相關(guān)系數(shù)檢驗(yàn)法和蝗蟲(chóng)優(yōu)化算法得到最優(yōu)參數(shù)后,確定K = 3,α = 277. 77,τ = 2. 79。采用上述參數(shù)值,得到采用VMD 的分解結(jié)果,如圖6 所示。由圖6 可以看出,模態(tài)1(圖6 中標(biāo)注為x1 ;s、x2 、x3同理)是工業(yè)控制場(chǎng)景確定性網(wǎng)絡(luò)5G 終端傳輸時(shí)延序列(s)的近似分量,主要展現(xiàn)的是5G 時(shí)延序列的整體趨勢(shì);模態(tài)2(x2 )和模態(tài)3(x3 )是5G 時(shí)延序列的細(xì)節(jié)分量,展現(xiàn)的是5G 時(shí)延序列在不同細(xì)節(jié)上的變化趨勢(shì),同時(shí)反映了時(shí)延序列隨機(jī)特性。分解后的殘差量也非常小,從變化包絡(luò)上可以看出殘差與原始序列不相關(guān)。
為驗(yàn)證本文提出的工業(yè)控制場(chǎng)景下5G 終端傳輸時(shí)延分解方法的性能,利用集合經(jīng)驗(yàn)?zāi)B(tài)分解中常用的正交性能指標(biāo)(Index of Orthogonality,IO)來(lái)定量分析分解效果[19]。IO 值越小則分解性能越高。不同分解方法的IO 值如表3 所示,可以看出,本文提出的時(shí)延序列分解方法IO 值遠(yuǎn)小于集合經(jīng)驗(yàn)?zāi)B(tài)分解算法的IO 值,證明本文提出的方法分解效果好于集合經(jīng)驗(yàn)?zāi)B(tài)分解的效果。
3. 6 時(shí)延預(yù)測(cè)
時(shí)延序列分解為3 個(gè)模態(tài)子序列后,為每一個(gè)模態(tài)的時(shí)序數(shù)據(jù)訓(xùn)練不同的LSTM 模型,最后將各模態(tài)預(yù)測(cè)值重建成一維時(shí)延值,得到預(yù)測(cè)結(jié)果。
圖7 展示了測(cè)試集所有時(shí)延的實(shí)際值與預(yù)測(cè)值的比較。可以看出,使用本文提出的方法來(lái)預(yù)測(cè)工業(yè)控制場(chǎng)景下的傳輸時(shí)延序列能夠達(dá)到較好的預(yù)測(cè)效果。預(yù)測(cè)值與實(shí)際值不僅趨勢(shì)吻合,甚至在時(shí)延由于網(wǎng)絡(luò)波動(dòng)或者其他原因起伏的時(shí)候同樣能夠達(dá)到非常好的效果。
為更清晰地展現(xiàn)實(shí)驗(yàn)結(jié)果,圖8 展示了測(cè)試集中一段連續(xù)時(shí)延實(shí)際值與預(yù)測(cè)值的比較。由圖8 更能清晰地看出本文提出的基于VMD 和CALSTM 的終端傳輸時(shí)延預(yù)測(cè)方法的優(yōu)越性能。
圖9 展示了5G 終端傳輸時(shí)延序列分解后各模態(tài)預(yù)測(cè)誤差的分布??梢钥闯?,3 個(gè)模態(tài)的時(shí)延預(yù)測(cè)誤差均分布在0 附近,說(shuō)明CALSTM 在預(yù)測(cè)各模態(tài)時(shí)延特征時(shí),能發(fā)揮優(yōu)勢(shì),保持較好的性能。圖10 展示了各模態(tài)傳輸時(shí)延的實(shí)際值與預(yù)測(cè)值的比較。由于原始時(shí)延序列采用本文提出的時(shí)延序列分解算法后,各模態(tài)之間的信息互相干擾較小,每個(gè)模態(tài)的預(yù)測(cè)效果也比較精準(zhǔn)。
為說(shuō)明本文提出方法的有效性,選擇其他2 類(lèi)算法模型進(jìn)行對(duì)比。第一類(lèi)方法是偏向傳統(tǒng)時(shí)延預(yù)測(cè)的線性方法———ARIMA,結(jié)合文獻(xiàn)[11]提出的思想,將ARIMA 方法與小波分解結(jié)合。第二類(lèi)方法是機(jī)器學(xué)習(xí)中的非線性時(shí)延預(yù)測(cè)方法———SVM、LSSVM、極端梯度提升樹(shù)(Extreme GradientBoosting,XGBoost)以及RNN 算法。類(lèi)似本文提出的算法流程,將VMD 與機(jī)器學(xué)習(xí)算法結(jié)合起來(lái)對(duì)比實(shí)驗(yàn)效果。此外,為證明CALSTM 表征終端傳輸時(shí)延時(shí)相對(duì)于LSTM 的優(yōu)勢(shì),同樣對(duì)比了VMDLSTM 的預(yù)測(cè)結(jié)果。
表4 展示了本文提出的方法對(duì)比其他方法的MSE、RMSE 和MAE 等回歸指標(biāo)。在本文采用的5G確定性網(wǎng)絡(luò)端到端傳輸時(shí)延數(shù)據(jù)集上,提出的方法與其他時(shí)延預(yù)測(cè)常用方法相比都取得了最好的結(jié)果,尤其領(lǐng)先ARIMA、SVM、LSSVM 和RNN 等實(shí)驗(yàn)結(jié)果。通過(guò)與經(jīng)典LSTM 的對(duì)比結(jié)果表明,本文改進(jìn)后的網(wǎng)絡(luò)在MSE、RMSE 和MAE 三個(gè)指標(biāo)上分別提升了37. 1% 、21. 3% 和23. 6% 。
4 結(jié)束語(yǔ)
為提高工業(yè)控制場(chǎng)景確定性網(wǎng)絡(luò)5G 終端傳輸時(shí)延的預(yù)測(cè)性能,本文提出了一種傳輸時(shí)延預(yù)測(cè)方法。該方法首先通過(guò)VMD 算法分解原時(shí)延序列,并且利用相關(guān)系數(shù)檢驗(yàn)法和蝗蟲(chóng)優(yōu)化算法優(yōu)化分解性能。分解后各模態(tài)序列分別作為原始序列的近似分量和細(xì)節(jié)分量,提出CALSTM 為每一個(gè)模態(tài)的時(shí)序數(shù)據(jù)訓(xùn)練不同的預(yù)測(cè)模型。將各模態(tài)預(yù)測(cè)值重建成一維時(shí)延值,得到預(yù)測(cè)結(jié)果。實(shí)驗(yàn)研究表明,與其他預(yù)測(cè)方法相比,所提出的預(yù)測(cè)方法具有更高的預(yù)測(cè)精度。本文未來(lái)的工作是研究如何繼續(xù)優(yōu)化VMD 的性能以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),以達(dá)到更高的預(yù)測(cè)精度。
參考文獻(xiàn)
[1] 艾渤,馬國(guó)玉,鐘章隊(duì). 智能高鐵中的5G 技術(shù)及應(yīng)用[J]. 中興通信技術(shù),2019,25(6):42-47.
[2] KOKKONIEMITARKKANEN H,HORSMANHEIMO S,GRUDNITSKY A,et al. Enabling Safe Wireless HarborAutomation via 5G URLLC [C]∥ 2019 IEEE 2nd 5GWorld Forum (5GWF). Dresden:IEEE,2019:403-408.
[3] BAGHERI H,NOORARAHIM M,LIU Z L,et al. 5GNRV2X:Toward Connected and Cooperative AutonomousDriving[J]. IEEE Communications Standards Magazine,2021,5(1):48-54.
[4] ZHANG X M,HAN Q L,GE X H,et al. NetworkedControl Systems:A Survey of Trends and Techniques[J].IEEE / CAA Journal of Automatica Sinica,2020,7 (1 ):1-17.
[5] YUAN H T,BI J,ZHOU M C,et al. Timeaware Multiapplication Task Scheduling with Guaranteed Delay Constraints in Green Data Center[J]. IEEE Transactions onAutomation Science and Engineering,2018,15 (3 ):1138-1151.
[6] BI J,FENG T Z,YUAN H T. Realtime and ShorttermAnomaly Detection for GWAC Light Curves [J ].Computers in Industry,2018,97:76-84.
[7] BI J,YUAN H T,ZHOU M C. Temporal Prediction ofMultiapplication Consolidated Workloads in DistributedClouds[J]. IEEE Transactions on Automation Science andEngineering,2019,16(4):1763-1773.
[8] BI J,YUAN H T,ZHANG L B,et al. SGWSCN:An Integrated Machine Learning Approach for Workload Forecasting in Geodistributed Cloud Data Centers[J]. Information Sciences,2019,481:57-68.
[9] KANG Q,SHI L,ZHOU M C,et al. A DistancebasedWeighted Undersampling Scheme for Support Vector Machines and Its Application to Imbalanced Classification[J]. IEEE Transactions on Neural Networks and LearningSystems,2017,29(9):4152-4165.
[10] YU P F,YAN X S. Stock Price Prediction Based on DeepNeural Networks[J]. Neural Computing and Applications,2020,32(6):1609-1628.
[11] TIAN Z D. A Method to Predict Random Timedelay ofNetworked Control System[J]. IETE Journal of Research,2020,68(5):3503-3513.
[12] BI J,ZHANG L B,YUAN H T,et al. Hybrid Task Prediction Based on Wavelet Decomposition and ARIMA Modelin Cloud Data Center[C]∥2018 IEEE 15th InternationalConference on Networking,Sensing and Control (ICNSC).Zhuhai:IEEE,2018:1-6.
[13] 戴婷,張榆鋒,章克信,等. 經(jīng)驗(yàn)?zāi)B(tài)分解及其模態(tài)混疊消除的研究進(jìn)展[J]. 電子技術(shù)應(yīng)用,2019,45 (3):7-12.
[14] 趙斯琪,李松松,欒明慧,等. 基于集合經(jīng)驗(yàn)?zāi)B(tài)分解的超聲檢測(cè)信號(hào)處理[J]. 無(wú)損檢測(cè),2021,43 (5):16-23.
[15] 吳龍文,聶雨亭,張宇鵬,等. 基于變分模態(tài)分解的自適應(yīng)濾波降噪方法[J]. 電子學(xué)報(bào),2021,49 (8 ):1457-1465.
[16] DRAGOMIRETSKIY K,ZOSSO D. Variational Mode Decomposition[J]. IEEE Transactions on Signal Processing,2013,62(3):531-544.
[17] ALGAMAL Z Y,QASIM M K,LEE M H,et al. ImprovingGrasshopper Optimization Algorithm for HyperparametersEstimation and Feature Selection in Support Vector Regression [J ]. Chemometrics and Intelligent LaboratorySystems,2021,208:104196.
[18] LANDI F,BARALDI L,CORNIA M,et al. WorkingMemory Connections for LSTM [J ]. Neural Networks,2021,144:334-341.
[19] SHON S,HA J H,POKHREL B P,et al. Intrinsic ModeFunction and Its Orthogonality of the Ensemble EmpiricalMode Decomposition Using Orthogonalization Method[J].Journal of the Korean Association for Spatial Structures,2019,19(2):101-108.
作者簡(jiǎn)介
劉 壯 男,(1996—),碩士。主要研究方向:確定性網(wǎng)絡(luò)時(shí)延預(yù)測(cè)。
盛志超 男,(1985—),博士,副研究員。主要研究方向:通信信號(hào)處理。
魏 浩 男,(1988—),博士,中興通信股份有限公司無(wú)線研究院算法高級(jí)系統(tǒng)工程師。主要研究方向:信道編譯碼、多天線預(yù)編碼與接收機(jī)技術(shù)、毫米波通信組網(wǎng)等。
余鴻文 男,(1991—),博士。主要研究方向:智能表面、毫米波通信。
方 勇 男,(1964—),博士,教授。主要研究方向:通信信號(hào)處理。
基金項(xiàng)目:國(guó)家自然科學(xué)基金(61901254);航空科學(xué)基金(2020Z0660S6001)