馮蘊(yùn)天，吳霞，許雄，張榮慶

（1.電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國家重點(diǎn)實(shí)驗(yàn)室，河南 洛陽 471003；2.同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201804；3.同濟(jì)大學(xué)軟件學(xué)院，上海 201804）

1 引言

傳統(tǒng)的電磁態(tài)勢演化預(yù)測采用純電磁理論，時間復(fù)雜度高，并且不能實(shí)時獲得計(jì)算數(shù)據(jù)。相比之下，使用深度學(xué)習(xí)的電磁態(tài)勢演化預(yù)測可以大大降低計(jì)算的復(fù)雜度和時間，并且可以得到實(shí)時的仿真數(shù)據(jù)。因此，使用深度學(xué)習(xí)建立電磁態(tài)勢的預(yù)測模型具有重要意義[1]。

對電離層參數(shù)預(yù)測是電磁態(tài)勢預(yù)測的重要組成部分。電離層環(huán)境變化對電子信息系統(tǒng)有著重要影響，高頻通信中，準(zhǔn)確預(yù)測電離層參數(shù)在無線通信的多個領(lǐng)域，例如通信裝備、航天器、雷達(dá)及導(dǎo)航裝備的設(shè)計(jì)和運(yùn)行維護(hù)都具有重要意義[2]。

為了改進(jìn)傳統(tǒng)純電磁理論預(yù)測方式的缺點(diǎn)，考慮到電離層的非線性屬性，國內(nèi)外的學(xué)者提出了一些新的預(yù)測方法以期獲得更精確的電磁態(tài)勢預(yù)測模型[3-4]。已有研究證明了人工神經(jīng)網(wǎng)絡(luò)在預(yù)測非線性的短波電離層參數(shù)上的優(yōu)勢[5]。針對反向傳播（BP,back propagation）神經(jīng)網(wǎng)絡(luò)預(yù)測存在的梯度消失等問題，長短期記憶（LSTM,long short-term memory）于1997 年被提出[6]。在逐點(diǎn)預(yù)測電離層參數(shù)的短期變化中，LSTM 網(wǎng)絡(luò)對于周期性最強(qiáng)的F2層臨界頻率f0F2的預(yù)測效果較好，因此本文以LSTM 為基礎(chǔ)，搭建神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)電離層參數(shù)的短期和日均值變化預(yù)測，并在LSTM 網(wǎng)絡(luò)結(jié)構(gòu)中加入經(jīng)驗(yàn)?zāi)B(tài)分解（EMD,empirical mode decomposition）算法。作為處理非線性信號的網(wǎng)絡(luò)優(yōu)化方法，EMD 算法已被廣泛應(yīng)用于深度學(xué)習(xí)中的數(shù)據(jù)處理[7]。文獻(xiàn)[8-9]分別在BP 神經(jīng)網(wǎng)絡(luò)和小波神經(jīng)網(wǎng)絡(luò)中使用EMD算法進(jìn)行地鐵沉降監(jiān)測和短期電力負(fù)荷預(yù)測，EMD算法的引入減小了預(yù)測均方誤差，證明了EMD 算法在提高神經(jīng)網(wǎng)絡(luò)預(yù)測精度上的可行性。

本文提出的電離層參數(shù)預(yù)測算法使用逐點(diǎn)預(yù)測和序列預(yù)測2 種方法，在使用多維預(yù)測的基礎(chǔ)上，又使用了在處理非線性數(shù)據(jù)上表現(xiàn)良好的EMD 算法進(jìn)行優(yōu)化，預(yù)測電離層參數(shù)的每小時和每天的變化規(guī)律，并分析EMD 算法和多維預(yù)測在提升預(yù)測精度上的優(yōu)劣性。此外，本文將Adam 優(yōu)化器作為網(wǎng)絡(luò)的優(yōu)化器[10]，以期在不降低網(wǎng)絡(luò)對短期變化的預(yù)測精度的條件下，改善電離層參數(shù)的日均值預(yù)測，使整個網(wǎng)絡(luò)結(jié)構(gòu)可以同時應(yīng)用于電離層數(shù)據(jù)的短期和日均值變化預(yù)測。

2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

LSTM 網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）。循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)是把所有模塊鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，以鏈?zhǔn)较噙B的重復(fù)模塊稱為循環(huán)單元。LSTM 網(wǎng)絡(luò)循環(huán)單元如圖1 所示。

LSTM 網(wǎng)絡(luò)內(nèi)部有4 個網(wǎng)絡(luò)層，其與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（包含3 個網(wǎng)絡(luò)層，即輸入層、隱藏層和輸出層）最大不同之處就是在循環(huán)單元中增加了一個細(xì)胞狀態(tài)ct。細(xì)胞狀態(tài)是LSTM 網(wǎng)絡(luò)的核心，從圖1 可以看出，LSTM 網(wǎng)絡(luò)通過3 個門控制細(xì)胞狀態(tài)，分別是輸入門、輸出門、遺忘門。循環(huán)單元的輸出ht不只取決于當(dāng)前的輸入和上一步的輸出，還取決于細(xì)胞上一步的狀態(tài)。3 個門中最重要的是遺忘門，其作用是當(dāng)數(shù)據(jù)xt輸入網(wǎng)絡(luò)循環(huán)單元時決定是否丟棄上一步的循環(huán)單元狀態(tài)ht?1。遺忘門狀態(tài)ft為

圖1 LSTM 網(wǎng)絡(luò)循環(huán)單元

其中，σ是sigmoid 函數(shù)，bf是遺忘門偏置項(xiàng)，Ct?1代表細(xì)胞的上一步狀態(tài)；Wxf、Whf、Wcf分別是遺忘門狀態(tài)下xt,ht?1,ct?1對應(yīng)的權(quán)重矩陣（后續(xù)計(jì)算式中W的含義同理），矩陣中元素的數(shù)值為0～1，0表示將數(shù)據(jù)全部丟棄，1 表示全部保留。通過權(quán)重矩陣確定是否保留上一步的細(xì)胞狀態(tài)，以及上一步循環(huán)單元的輸出狀態(tài)與輸入數(shù)據(jù)xt。確定需要丟棄的數(shù)據(jù)后，將輸入數(shù)據(jù)與隱藏層狀態(tài)通過輸入門得到輸入門狀態(tài)it。輸入門狀態(tài)it為

其中，bi是輸入門偏置項(xiàng)，通過式(1)和式(2)得到輸入門狀態(tài)和遺忘門狀態(tài)后，就可以通過遺忘門狀態(tài)丟棄一部分舊的細(xì)胞狀態(tài)，并通過輸入門更新得到新的細(xì)胞狀態(tài)。新的細(xì)胞狀態(tài)ct為

其中，bc是細(xì)胞狀態(tài)偏置項(xiàng)，*是卷積符號。通過式(2)和式(3)得到輸入門狀態(tài)和更新細(xì)胞狀態(tài)后，根據(jù)輸入數(shù)據(jù)以及隱藏層上一步狀態(tài)就可以得到新的循環(huán)單元輸出狀態(tài)ht。將細(xì)胞狀態(tài)ct與輸入數(shù)據(jù)xt通過輸出門得到輸出門的狀態(tài)。輸出門狀態(tài)ot為

其中，ot的作用是確定循環(huán)單元的輸出狀態(tài)。將細(xì)胞狀態(tài)ct經(jīng)過一個tanh 層得到一個?1～1 的量值，該量值與輸出門相乘就可以得到該循環(huán)單元的最終輸出ht，如式(5)所示。

3 電離層參數(shù)逐點(diǎn)預(yù)測

3.1 數(shù)據(jù)預(yù)處理與模型訓(xùn)練

本文用于預(yù)測電離層短期變化的數(shù)據(jù)來自漠河電離層觀測站2014 年的觀測數(shù)據(jù)。漠河電離層觀測站的數(shù)據(jù)透明度高，并且觀測準(zhǔn)確度高，是合適的測試數(shù)據(jù)。這些觀測數(shù)據(jù)包括F2層臨界頻率f0F2、B1參數(shù)、F2層最低虛高h(yuǎn)pf、F2層3 000 km傳播因子M(3000)F2改變、F2層最小反射頻率fmin等。從中選取質(zhì)量較高的連續(xù)1 400 h 的數(shù)據(jù)作為樣本，將得到的數(shù)據(jù)樣本分為訓(xùn)練集和測試集。取樣本中86%的數(shù)據(jù)（共1 200 h）作為訓(xùn)練集，剩下200 h 的數(shù)據(jù)作為測試集。為了使網(wǎng)絡(luò)更快收斂，首先將訓(xùn)練集數(shù)據(jù)采用Minmaxscaler 方法進(jìn)行歸一化預(yù)處理；然后用預(yù)處理后的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，用訓(xùn)練好的網(wǎng)絡(luò)得到預(yù)測結(jié)果，通過對比測試集中的真實(shí)數(shù)據(jù)和預(yù)測結(jié)果分析預(yù)測效果。

訓(xùn)練網(wǎng)絡(luò)時，將24 h（即一天）的數(shù)據(jù)作為一個序列輸入，使用24 h 的數(shù)據(jù)預(yù)測后1 h 的數(shù)據(jù)。經(jīng)過多次實(shí)驗(yàn)調(diào)整，將網(wǎng)絡(luò)的batchsize 設(shè)置為16，一次訓(xùn)練16 個數(shù)據(jù)，網(wǎng)絡(luò)一個周期迭代75 次，共訓(xùn)練3 個周期，即迭代225 次。預(yù)測采用逐點(diǎn)預(yù)測，即每次只預(yù)測單一的點(diǎn)，LSTM 網(wǎng)絡(luò)中的序列本身是一個滑動窗口，窗口大小與序列長度相同，預(yù)測完一個點(diǎn)后，窗口移動到下一個測試數(shù)據(jù)，這樣每次預(yù)測時都可使用完整的測試數(shù)據(jù)進(jìn)行預(yù)測。例如，預(yù)測漠河電離層F2層臨界頻率時，如果要預(yù)測某時刻的數(shù)據(jù)，則將前面24 h 的數(shù)據(jù)輸入訓(xùn)練好的LSTM 網(wǎng)絡(luò)，依次類推，不斷使用測試集的數(shù)據(jù)得到每一小時的預(yù)測結(jié)果。使用逐點(diǎn)預(yù)測方法預(yù)測電離層的不同參數(shù)，預(yù)測評價標(biāo)準(zhǔn)采用真實(shí)數(shù)據(jù)與預(yù)測數(shù)據(jù)之間的均方誤差（MSE,mean-square error）。

其中，yi表示真實(shí)數(shù)據(jù)，y0表示預(yù)測數(shù)據(jù)。

在LSTM 網(wǎng)絡(luò)的基礎(chǔ)上使用優(yōu)化器Adam。為了防止訓(xùn)練過程中出現(xiàn)過擬合，本文在第一層和第三層神經(jīng)網(wǎng)絡(luò)后面加入dropout 層，以0.2 的概率隨機(jī)斷開輸入的LSTM 神經(jīng)元，減少了神經(jīng)元之間的共同適應(yīng)性和相互依賴性，確保了模型在丟失個體的情況下依然能保持良好的穩(wěn)健性，避免發(fā)生過擬合。

3.2 EMD 算法與多維預(yù)測算例分析

本文在搭建的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)中加入EMD 算法，使用Python 的經(jīng)驗(yàn)?zāi)B(tài)分解工具箱Pyhht 將預(yù)處理后的數(shù)據(jù)分解為多個本征模函數(shù)。將電離層數(shù)據(jù)分解為9 個本征模函數(shù)，每個本征模函數(shù)訓(xùn)練4 個周期，一個周期迭代75 次，每個本征模函數(shù)共迭代300 次，將EMD 算法得到的預(yù)測結(jié)果與多維預(yù)測（prediction2）結(jié)果對比，如圖2 所示。通過比較預(yù)測數(shù)據(jù)波形與真實(shí)數(shù)據(jù)波形的誤差以及均方誤差可以看出，基于EMD 算法的預(yù)測數(shù)據(jù)在75 h 后偏離真實(shí)數(shù)據(jù)。

圖2 EMD 算法和多維預(yù)測的f0F2預(yù)測結(jié)果對比

基于EMD 算法的電離層傳輸因子M(3 000)F2和最低虛高h(yuǎn)pf 與多維預(yù)測結(jié)果對比分別如圖3 和圖4所示。顯然，基于EMD 算法的M(3 000)F2預(yù)測波形在幅度上比多維預(yù)測更接近真實(shí)數(shù)據(jù)。由于M(3 000)F2序列穩(wěn)定性較差，使用LSTM 預(yù)測或者多維預(yù)測得到的預(yù)測結(jié)果較差，通過EMD 可以將數(shù)據(jù)進(jìn)行平穩(wěn)化處理，使預(yù)測效果大大提高。與fmin參數(shù)預(yù)測結(jié)果相似，基于EMD 算法的hpf 在60 h 后的預(yù)測數(shù)據(jù)比多維預(yù)測更接近真實(shí)數(shù)據(jù)，總體預(yù)測效果也更好。

圖3 EMD 算法和多維預(yù)測的F2層M(3 000)F2預(yù)測結(jié)果對比

根據(jù)實(shí)驗(yàn)結(jié)果可以看出，EMD 算法可以作為短期變化預(yù)測的優(yōu)化方法，并且對于非平穩(wěn)時間序列的優(yōu)化效果要好于多維預(yù)測。但對于本身具有周期性的數(shù)據(jù)，EMD 算法的作用有限。不同預(yù)測方法的MSE 比較如表1 所示。與直接使用LSTM 網(wǎng)絡(luò)預(yù)測的均方誤差相比，基于EMD 算法的fmin預(yù)測比多維預(yù)測減少了23%；M(3 000)F2的預(yù)測均方誤差比多維預(yù)測減少了18.8%；hpf 的預(yù)測均方誤差比多維預(yù)測減少了11.8%。

圖4 EMD 算法和多維預(yù)測的hpf 短期變化預(yù)測結(jié)果對比

表1 預(yù)測算法的MSE 比較

4 電離層參數(shù)時間序列預(yù)測

LSTM 網(wǎng)絡(luò)在電離層的短期變化和日均值變化預(yù)測中都能較好地匹配真實(shí)數(shù)據(jù)。但這種算法存在一定的局限性，因?yàn)槊恳粋€預(yù)測點(diǎn)在預(yù)測前都能得到真實(shí)數(shù)據(jù)，即使預(yù)測出現(xiàn)錯誤，算法也會直接使用真實(shí)數(shù)據(jù)來預(yù)測下一個點(diǎn)從而忽略這個錯誤。但在實(shí)際研究中有時需要直接預(yù)測一段時間內(nèi)的電離層參數(shù)變化，這是逐點(diǎn)預(yù)測無法做到的。為此，本節(jié)首先采用全序列預(yù)測，通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)一次性預(yù)測電離層參數(shù)在一段時間內(nèi)的變化規(guī)律。全序列預(yù)測與逐點(diǎn)預(yù)測的不同之處在于，預(yù)測時采用上一時刻的預(yù)測數(shù)據(jù)而不是真實(shí)數(shù)據(jù)。通過預(yù)測24 個數(shù)據(jù)點(diǎn)后，使用神經(jīng)網(wǎng)絡(luò)前24h 的電離層數(shù)據(jù)預(yù)測下一時刻的數(shù)據(jù)，可以一次性預(yù)測電離層參數(shù)在未來多個小時內(nèi)的變化趨勢。電離層參數(shù)f0F2的全序列預(yù)測結(jié)果如圖5所示。實(shí)驗(yàn)結(jié)果證明，電離層參數(shù)的短期變化的序列預(yù)測可以和逐點(diǎn)預(yù)測一樣通過EMD 算法優(yōu)化預(yù)測精度。

圖5 f0F2短期變化全序列預(yù)測結(jié)果

5 結(jié)束語

本文以LSTM 為基礎(chǔ)，搭建神經(jīng)網(wǎng)絡(luò)模型以實(shí)現(xiàn)電離層參數(shù)的短期和日均值變化預(yù)測。通過預(yù)測結(jié)果分析了LSTM網(wǎng)絡(luò)對不同類型的電離層參數(shù)的預(yù)測效果，并將這些結(jié)果作為對照組，分別使用多維預(yù)測和EMD 算法對網(wǎng)絡(luò)進(jìn)行優(yōu)化，驗(yàn)證多維預(yù)測和EMD 算法在提高預(yù)測精度上的可行性。未來工作可以嘗試在新的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)變式，例如門控循環(huán)單元（GRU,gated recurrent unit）和雙向LSTM（Bi-LSTM）網(wǎng)絡(luò)使用多維預(yù)測和EMD 算法，降低網(wǎng)絡(luò)的計(jì)算成本，并且不再局限于預(yù)測電離層數(shù)據(jù)，還包括預(yù)測經(jīng)緯度、地磁指數(shù)、場強(qiáng)等電磁態(tài)勢參數(shù)，進(jìn)一步提高預(yù)測精度。