孔 青，張建照，柳永祥

（國防科技大學(xué)第六十三研究所，江蘇 南京 210000）

0 引 言

隨著物聯(lián)網(wǎng)技術(shù)的興起，物聯(lián)網(wǎng)設(shè)備用頻需求快速增加。由于現(xiàn)實(shí)中物聯(lián)網(wǎng)專用工作頻段不足，如何充分利用現(xiàn)有頻譜資源，是物聯(lián)網(wǎng)技術(shù)發(fā)展面臨的一大難題。認(rèn)知無線電技術(shù)為緩解頻譜資源難以充分利用問題提供了一種有效手段。通過頻譜預(yù)測和頻譜感知功能，認(rèn)知無線電技術(shù)支持次級用戶提前預(yù)測信道未來頻譜占用規(guī)律，并機(jī)會(huì)性接入主用戶未使用的頻譜空洞，從而達(dá)到充分利用頻譜資源的目的。

常用的頻譜預(yù)測模型包括自回歸綜合移動(dòng)平均（ARIMA）模型、支持向量機(jī)（SVM）模型、隱馬爾科夫（HMM）模型和關(guān)聯(lián)模式挖掘等傳統(tǒng)統(tǒng)計(jì)學(xué)模型。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，多層感知機(jī)（MLP）和長短時(shí)記憶網(wǎng)絡(luò)（LSTM）等技術(shù)在頻譜預(yù)測領(lǐng)域取得了超過統(tǒng)計(jì)學(xué)模型的良好性能。文獻(xiàn)[4]提出了基于MLP進(jìn)行頻譜預(yù)測的方法。文獻(xiàn)[5]通過構(gòu)建HMM和MLP兩種頻譜預(yù)測方案，從提高頻譜利用率和節(jié)省感知能量兩個(gè)方面分析了信道狀態(tài)預(yù)測對頻譜感知性能的影響。文獻(xiàn)[6]構(gòu)建了復(fù)雜LSTM網(wǎng)絡(luò)以預(yù)測人工生成的跳頻序列。文獻(xiàn)[7]引入田口方法優(yōu)化LSTM網(wǎng)絡(luò)的超參數(shù)設(shè)計(jì)過程，在提高預(yù)測準(zhǔn)確度的同時(shí)，計(jì)算量相比傳統(tǒng)網(wǎng)格搜索優(yōu)化方法減少了50%。文獻(xiàn)[8]通過分析流行業(yè)務(wù)頻段時(shí)域和頻域相關(guān)性，揭示了時(shí)域和頻域存在的較強(qiáng)相關(guān)性以及這種相關(guān)性的聚集效應(yīng)。這項(xiàng)工作在文獻(xiàn)[9]中得到進(jìn)一步研究，文獻(xiàn)[9]開發(fā)了一種魯棒時(shí)頻二維聯(lián)合推理算法，利用與被預(yù)測頻點(diǎn)相似或相鄰頻點(diǎn)預(yù)測同一時(shí)隙的頻點(diǎn)狀態(tài)，該方法屬于推理算法，不具有時(shí)域預(yù)測功能。文獻(xiàn)[10]測量了土耳其三家無線運(yùn)營商所屬頻段的頻譜活動(dòng)數(shù)據(jù)，考慮到相鄰頻點(diǎn)的相關(guān)性和時(shí)間相關(guān)性，設(shè)計(jì)了2D-LSTM預(yù)測模型。仿真結(jié)果表明，2D-LSTM提升了預(yù)測性能，與本文不同的是，該文預(yù)測的是量化后的頻譜狀態(tài)并且未充分利用時(shí)間上的周期趨勢。

然而，即使深度學(xué)習(xí)方法在頻譜預(yù)測中有如此多的應(yīng)用，處理頻譜數(shù)據(jù)中的聯(lián)合時(shí)間-頻域相關(guān)性的工作也是有限的。此外，由于用戶活動(dòng)模式潛在的規(guī)律性，一些業(yè)務(wù)頻帶的歷史頻譜狀態(tài)顯示出潮汐效應(yīng)，即日、周周期性變化。現(xiàn)有研究未充分考慮頻譜數(shù)據(jù)頻域相關(guān)性和時(shí)間周期趨勢。

為此，本文在分析實(shí)測頻譜數(shù)據(jù)的基礎(chǔ)上，針對頻譜數(shù)據(jù)時(shí)間-頻域相關(guān)性和時(shí)間上的周期性，提出了二維采樣LSTM預(yù)測框架2D-SPLSTM?；趯?shí)測數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，與經(jīng)典方法相比，在預(yù)測精確度指標(biāo)上均有提升。

1 理論與模型

1.1 相關(guān)性理論

頻譜狀態(tài)之所以能夠通過歷史數(shù)據(jù)進(jìn)行預(yù)測，正是因?yàn)轭l譜狀態(tài)之間具有相關(guān)性?，F(xiàn)實(shí)中的頻譜數(shù)據(jù)由頻譜分析儀測量得到，通常以一定聚合方式和時(shí)頻分辨率存儲為數(shù)據(jù)矩陣。將時(shí)間和頻率維度上的頻譜數(shù)據(jù)按照時(shí)隙進(jìn)行劃分，就得到某一頻點(diǎn)處個(gè)連續(xù)時(shí)間序列 ,即S={,,...,X,...,X}，同理，S={X,X,...,X,...,X)} 表示時(shí)刻，在個(gè)連續(xù)頻點(diǎn)的頻譜狀態(tài)。其中，代表隨機(jī)變量，表示隨機(jī)變量序列。

2個(gè)隨機(jī)變量的相關(guān)系數(shù)可由如下公式計(jì)算：

式中：cov(·)表示協(xié)方差算子；(·)表示統(tǒng)計(jì)平均算子；和是2個(gè)任意的隨機(jī)變量；μ和μ是統(tǒng)計(jì)平均；σ和σ是標(biāo)準(zhǔn)差。相關(guān)系數(shù)的絕對值越大，相關(guān)性越強(qiáng)。當(dāng)和是同一時(shí)間序列不同延時(shí)的子序列時(shí)，由式（1）可計(jì)算出該序列的自相關(guān)系數(shù)，自相關(guān)系數(shù)表示時(shí)間序列演化的自相似性。

對圖4所示的實(shí)測頻譜數(shù)據(jù)進(jìn)行相關(guān)性分析，從圖1中可以清楚觀察到頻域也含有較強(qiáng)的相關(guān)性，并且相關(guān)性呈現(xiàn)聚集效應(yīng)。隨機(jī)選擇3個(gè)信道的時(shí)間序列，計(jì)算得出延遲系數(shù)=1到720的自相關(guān)系數(shù)的變化曲線，如圖2所示。信道的自相關(guān)系數(shù)呈現(xiàn)一日（等于480個(gè)時(shí)隙）周期性變化，這反映了信道狀態(tài)演化呈現(xiàn)日周期特性，以上頻域的較強(qiáng)相關(guān)性和周期特性促使本文開發(fā)更加有效的模型，以實(shí)現(xiàn)更加高效的頻譜預(yù)測功能。

圖1 實(shí)測頻譜數(shù)據(jù)的頻域相關(guān)性

圖2 信道自相關(guān)系數(shù)

1.2 長短時(shí)記憶網(wǎng)絡(luò)

長短時(shí)記憶網(wǎng)絡(luò)（LSTM）模型的基本部分是具有存儲單元和門結(jié)構(gòu)的存儲塊，每個(gè)存儲塊的門結(jié)構(gòu)分為3個(gè)部分：輸入門、輸出門和遺忘門。每個(gè)存儲塊處理時(shí)間序列的單個(gè)時(shí)隙數(shù)據(jù)，存儲塊按照前后時(shí)隙串行計(jì)算。門結(jié)構(gòu)中包含Sigmoid函數(shù)層，該函數(shù)把值壓縮到0～1之間，便于信息的更新或去除。遺忘門決定了一個(gè)值是否會(huì)保留在內(nèi)存中。另一方面，輸出門確定當(dāng)前時(shí)刻的輸出。LSTM的前向計(jì)算過程總結(jié)如下：

1.3 頻譜預(yù)測模型

不同于傳統(tǒng)頻譜預(yù)測模型，僅在時(shí)域?qū)v史數(shù)據(jù)進(jìn)行建模分析，本文提出了如圖3所示的預(yù)測模型2D-SPLSTM。

圖3 2D-SPLSTM結(jié)構(gòu)

圖3中利用2個(gè)2D-LSTM組件分別對歷史頻譜數(shù)據(jù)中的接近趨勢和周期趨勢進(jìn)行數(shù)據(jù)挖掘，提取的時(shí)間序列特征經(jīng)過融合后激活，得到模型預(yù)測值，與真實(shí)值進(jìn)行比對后計(jì)算損失，損失值經(jīng)過反向傳播后更新模型參數(shù)，至此完成一次訓(xùn)練過程。2D-LSTM每個(gè)時(shí)隙輸入的是中心頻點(diǎn)和相鄰頻點(diǎn)組成的一組向量特征 {...,X,X,X,X,X,...}，其中，X表示時(shí)刻中心頻點(diǎn)處的頻譜狀態(tài)，2D-LSTM更有利于充分挖掘相鄰頻點(diǎn)之間數(shù)據(jù)相關(guān)性。

對于預(yù)測目標(biāo)Y，2個(gè)2D-LSTM網(wǎng)絡(luò)被用于建模接近趨勢和周期趨勢，接近趨勢為歷史頻譜數(shù)據(jù)中與預(yù)測目標(biāo)接近的時(shí)隙數(shù)據(jù)：

式中，表示接近趨勢的序列長度。周期趨勢為歷史頻譜數(shù)據(jù)中距離預(yù)測目標(biāo)周期性采樣得到的數(shù)據(jù)：

算法1 2D-SPLSTM算法

輸入 ：歷史頻譜數(shù)據(jù)矩陣 {X|=1,...,；=1,...,} ；

每個(gè)時(shí)隙輸入向量維度；接近趨勢和周期趨勢時(shí)隙長度 ：、；預(yù)測范圍 Δ。

輸出：訓(xùn)練完成的2D-SPLSTM模型和測試集上的性能指標(biāo)；

（1）←；

（2）構(gòu)建樣本集；

（3）=max{,·-Δ} ；

（4）對1/2·(+1)≤≤-1/2·(+1)執(zhí)行循環(huán)操作；

（5）對≤≤-Δ執(zhí)行循環(huán)操作；

（8）X為樣本標(biāo)簽 ；

（10）內(nèi)層循環(huán)結(jié)束；

（11）循環(huán)取樣結(jié)束，得到樣本集，將樣本集按照8/1/1和時(shí)間先后順序，劃分為訓(xùn)練集、驗(yàn)證集、測試集；

（12）訓(xùn)練模型；

（13）初始化2D-SPLSTM中所有可訓(xùn)練參數(shù)，將訓(xùn)練集、驗(yàn)證集作為模型輸入，根據(jù)驗(yàn)證集損失值變化設(shè)置早停門限；

（14）訓(xùn)練至停止，得到訓(xùn)練好的2D-SPLSTM模型；（15）驗(yàn)證模型；

（16）將測試集作為模型輸入，輸出預(yù)測結(jié)果并計(jì)算性能指標(biāo)。

1.4 算法復(fù)雜度分析

一個(gè)標(biāo)準(zhǔn)LSTM存儲塊中的參數(shù)總量可以計(jì)算為：

式中，、分別表示每個(gè)時(shí)間步輸入向量的維度、記憶單元的數(shù)量（與隱層節(jié)點(diǎn)的數(shù)量相等）。將LSTM模型計(jì)算每個(gè)參數(shù)在每個(gè)時(shí)間步的時(shí)間復(fù)雜度記為(1)，由于每個(gè)時(shí)間步之間串行計(jì)算，總的時(shí)間復(fù)雜度即為time_steps·(p)，time_steps為時(shí)間步。對于1D-LSTM與2D-LSTM模型，差別主要在于每個(gè)時(shí)間步的輸入維度從一維向多維擴(kuò)展，這對時(shí)間復(fù)雜度影響不大。

算法的復(fù)雜度可以根據(jù)訓(xùn)練和驗(yàn)證階段的運(yùn)行時(shí)間大致表示。在模型訓(xùn)練階段，2D-SPLSTM模型的時(shí)間計(jì)算復(fù)雜度可以評估為：

式中：()、()分別表示建模周期趨勢和建模接近趨勢的2D-LSTM組件的時(shí)間復(fù)雜度；()為融合層中全連接層的時(shí)間復(fù)雜度。由于2個(gè)組件在融合之前相互獨(dú)立，可以并行計(jì)算，2D-SPLSTM模型的時(shí)間復(fù)雜度可以改寫為：

對于包含一個(gè)全連接層的融合層，其時(shí)間復(fù)雜度計(jì)算為：

式中：為全連接層節(jié)點(diǎn)數(shù)；為全連接層輸入維度；為輸出維度。2D-SPLSTM模型中，由于融合層參數(shù)量相比LSTM網(wǎng)絡(luò)很小，()相比()可以忽略，()=max{(),()}。

綜上所述，模型訓(xùn)練一次的時(shí)間復(fù)雜度與各2D-LSTM組件的時(shí)間步呈線性正相關(guān)，本節(jié)提出的模型時(shí)間復(fù)雜度相比1D-LSTM并無明顯提升。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

我們采用的數(shù)據(jù)集來自一個(gè)公開的頻譜分享網(wǎng)站Electrosense。如圖4所示，頻率范圍為792～820 MHz，傳感器imdea_adsb位于西班牙馬德里一處室外場地，頻譜聚合的頻率分辨率為200 kHz，時(shí)間分辨率為3 min，時(shí)間跨度從2021年8月6日至2021年8月31日，所采集的頻譜矩陣為11 980行141列，即11 980個(gè)時(shí)隙141個(gè)頻點(diǎn)，采集的數(shù)據(jù)類型為無線信號的信噪比（dB）。該頻帶為LTE無線通信業(yè)務(wù)頻帶，從圖4可以明顯看出整個(gè)頻帶被劃分為3個(gè)子頻帶，子頻帶中間為保護(hù)頻帶，一般不含有用信號，所以顯示較低的功率水平。子頻帶中頻譜演化呈現(xiàn)有規(guī)律的帶狀間隔分布，進(jìn)一步表明了頻譜演化的周期特性。

圖4 實(shí)測頻譜數(shù)據(jù)平面視圖

2.2 參數(shù)設(shè)置與性能評估

仿真由基于Python環(huán)境下的Keras庫實(shí)現(xiàn)，構(gòu)建的LSTM網(wǎng)絡(luò)模型設(shè)置了2個(gè)隱藏層，隱藏層均具有16個(gè)節(jié)點(diǎn)，激活函數(shù)選為整流線性單元（ReLU）。模型融合部分為一個(gè)20個(gè)節(jié)點(diǎn)的全連接層，激活函數(shù)為Sigmoid激活函數(shù)，輸出經(jīng)過歸一化的待預(yù)測頻譜狀態(tài)。優(yōu)化器選擇Adam，批尺寸為1 024，最大訓(xùn)練輪數(shù)設(shè)置為20，損失函數(shù)選擇均方誤差（MSE）。接近趨勢中=5，周期趨勢=7，=480，每一時(shí)隙的中心頻點(diǎn)和相鄰頻點(diǎn)總數(shù)為5。

訓(xùn)練集、測試集和驗(yàn)證集按照8/1/1劃分。訓(xùn)練集和測試集一起進(jìn)行模型訓(xùn)練，為防止過擬合并加快訓(xùn)練過程，根據(jù)測試集的損失值設(shè)定了早停門限，當(dāng)測試集上的損失值降低到一定水平即停止訓(xùn)練。同時(shí)，采用全局最大-最小歸一化方法將頻譜狀態(tài)歸一化至(0, 1]之間，經(jīng)過驗(yàn)證集驗(yàn)證，模型性能評估在反歸一化后進(jìn)行。平均絕對百分比誤差（MAPE）、均方根誤差（RMSE）和R2分?jǐn)?shù)用于評估模型性能。多層感知機(jī)（MLP）和1D-LSTM模型用來進(jìn)行對比分析，MLP設(shè)置2個(gè)隱層，節(jié)點(diǎn)數(shù)分別為20、15，對比模型的輸入均為接近趨勢的數(shù)據(jù)，即5個(gè)時(shí)隙的數(shù)據(jù)。

2.3 仿真結(jié)果與討論

本節(jié)首先評估短期預(yù)測時(shí)的性能比較，設(shè)置Δ=3 min，即預(yù)測目標(biāo)為下一時(shí)隙的頻譜狀態(tài)。為消除隨機(jī)性的影響，實(shí)驗(yàn)進(jìn)行了10次，取平均值作為最終結(jié)果。如表1所列，本文所提出的2D-SPLSTM模型在各項(xiàng)性能指標(biāo)上均優(yōu)于對比模型，由于MLP不能獲取時(shí)間序列中的時(shí)空關(guān)聯(lián)性，性能較低。與MLP和1D-LSTM模型相比，提出的模型MAPE指標(biāo)相對提升了11.1%和3.3%，其他各項(xiàng)指標(biāo)均有顯著提升，驗(yàn)證了2D-SPLSTM模型在挖掘時(shí)頻域相關(guān)性和周期趨勢的有效性。

表1 模型性能對比

圖5說明了在跨步預(yù)測場景下本文提出的2D-SPLSTM模型與其他模型的MAPE指標(biāo)性能對比，跨步預(yù)測即根據(jù)歷史數(shù)據(jù)直接推測不同時(shí)隙間隔的未來頻譜狀態(tài)。設(shè)置Δ=3 min、6 min、9 min、12 min、15 min,即預(yù)測范圍從1個(gè)時(shí)隙到5個(gè)時(shí)隙，可以觀察到，隨著預(yù)測范圍的變化，其他模型的預(yù)測性能下降明顯，本文提出的模型獲得了相對穩(wěn)定的預(yù)測性能。這一現(xiàn)象說明接近趨勢此時(shí)所含的相關(guān)信息明顯減少，周期趨勢的加入，對跨步預(yù)測場景更加重要。

圖5 不同預(yù)測范圍下模型性能對比

3 結(jié) 語

本文根據(jù)實(shí)測頻譜數(shù)據(jù)時(shí)-頻域相關(guān)性和時(shí)間上的周期趨勢，提出一種能夠挖掘時(shí)-頻域相關(guān)性和時(shí)間上周期趨勢的頻譜預(yù)測模型。通過融合這兩種趨勢的相關(guān)性，在一定程度上提高了模型在實(shí)測數(shù)據(jù)集上的性能。本文研究的是歷史數(shù)據(jù)豐富情況下的短時(shí)預(yù)測問題，與現(xiàn)實(shí)情況還存在一定差距。在實(shí)際應(yīng)用時(shí)，頻繁切換頻段或改變部署地點(diǎn)帶來的歷史頻譜數(shù)據(jù)不足和長時(shí)有效的預(yù)測問題，是下一步重點(diǎn)關(guān)注的研究方向。