王安義，王煜儀

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

0 引 言

傳統(tǒng)調(diào)制識別方法根據(jù)識別策略分為兩類[1]，即：基于最大似然理論的識別方法[2]和基于特征提取的識別方法[3]。前者由于計算復雜度高且需依賴大量先驗知識而未廣泛應用。后者通過人工提取專家特征進行分類，瞬時特征[4]、高階累積量[5,6]、小波變換[7]等是常用特征，此類方法存在專家特征提取困難，且在小尺度衰落信道環(huán)境下識別率低等問題。

近年來深度學習憑借自動提取原始數(shù)據(jù)特征的能力，逐漸應用于調(diào)制識別領域[8]。文獻[9]利用卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)對11種調(diào)制信號進行識別，結(jié)果表明深度學習方法優(yōu)于傳統(tǒng)的特征提取方法。文獻[10,11]結(jié)合CNN和長短期記憶(long short-term memory，LSTM)網(wǎng)絡搭建組合神經(jīng)網(wǎng)絡模型，同時獲取信號時頻特征提高識別率。文獻[12]提出時空多通道MCLDNN網(wǎng)絡，以同相/正交(in-phase/quadrature，I/Q)序列、同相分量序列和正交分量序列共同作為輸入實現(xiàn)特征互補，融合一維、二維卷積和LSTM提取信號時頻特征。

以上提到的基于深度學習的調(diào)制識算法均缺少對神經(jīng)網(wǎng)絡中關鍵特征的捕捉，導致識別性能難以提升。本文提出多注意力機制網(wǎng)絡的調(diào)制識別算法，以I/Q序列和信號瞬時幅度/相位(amplitude/phase, A/P)特征構(gòu)造雙通道輸入方式，增加特征多樣性。在特征提取方面，加強了網(wǎng)絡對特征向量通道、空間和時間維度上關鍵信息的獲取能力，提高調(diào)制信號識別率。與其它算法對比，結(jié)果表明本文算法在小尺度衰落信道下具有更好的識別性能。

1 信號模型及預處理

假設信號經(jīng)過帶有加性高斯白噪聲(AWGN)的多徑衰落信道，且受到頻率偏移、相位偏移等影響，接收信號經(jīng)數(shù)字下變頻后轉(zhuǎn)換為基帶信號X(n)表示為

(1)

基帶信號X(n)的向量形式為：X=[X(1),X(2),…,X(N)]， 復數(shù)形式為：X=I+Q=Re(X)+j·Im(X)，I和Q分別為信號的同相分量和正交分量，Re(X)和Im(X)分別為實部和虛部，X的矩陣形式XI/Q表示為

(2)

調(diào)制信號在小尺度衰落信道中受多徑衰落、頻率偏移和相位偏移等因素影響，信號內(nèi)部發(fā)生嚴重的包絡衰減，導致接收端I/Q序列正交性不足。若僅將I/Q序列作為神經(jīng)網(wǎng)絡輸入則很難提取出有效的特征。由于不同信號間瞬時幅度/相位特征差異較大，有助于區(qū)分信號，因此本文通過提取信號A/P特征并與I/Q序列共同作為網(wǎng)絡輸入，使網(wǎng)絡實現(xiàn)多尺度感受野，獲取更具區(qū)分度的特征。

幅度特征A(n)提取的具體過程為

(3)

其中，I(n) 和Q(n) 分別代表同相、正交分量的第n個數(shù)據(jù)。

相位特征P(n) 提取的具體過程為

P(n)=arctan[Q(n)/I(n)]

(4)

獲取的A/P特征矩陣形式XA/P表示為

(5)

2 網(wǎng)絡框架

多注意力機制網(wǎng)絡整體框架如圖1所示，主體上分為頻域特征提取模塊和時域特征提取模塊。首先將經(jīng)過預處理得到的雙通道數(shù)據(jù)并行輸入頻域特征提取模塊學習頻域信息，再使融合特征輸入時域特征提取模塊獲取時間特征，最后將特征向量輸入全連接層，使其映射到更易分類的空間進行分類輸出。

圖1 多注意力機制網(wǎng)絡整體框架

2.1 頻域特征提取模塊

為解決深度神經(jīng)網(wǎng)絡因?qū)訑?shù)增加導致的網(wǎng)絡退化現(xiàn)象，殘差網(wǎng)絡(residual network，ResNet)[13]利用恒等映射a和殘差映射R(a)相加實現(xiàn)特征向量的空間傳遞，將淺層與深層特征結(jié)合，輸出向量表示為O(a)=R(a)+a。 殘差連接不會給網(wǎng)絡模型增加額外參數(shù)和計算復雜度，并且可防止網(wǎng)絡梯度消失或梯度爆炸，提高網(wǎng)絡訓練性能。密集連接網(wǎng)絡(densely connected convolutional networks，DenseNet)[14]利用特征重用的方法將每一層的輸出特征都作為后續(xù)層的輸入，提高了網(wǎng)絡分類精度。

本文結(jié)合ResNet和DenseNet的優(yōu)點，將ResNet中特征傳遞的思想融入DenseNet構(gòu)建殘差密集塊(residual dense block，RDB)，并在其中引入改進的卷積注意力機制模塊[15](improved convolutional block attention module，ICBAM)，提升網(wǎng)絡對通道和空間信息的表達能力。將RDB提取的兩路特征向量通過通道連接的方式實現(xiàn)特征融合，再將融合向量送入數(shù)量為80，尺寸為2×8的卷積核中學習空間相關性，最后通過Reshape層將特征向量調(diào)整二維形式輸入BiGRU層。RDB的網(wǎng)絡結(jié)構(gòu)及具體參數(shù)設置如圖2所示。

圖2 殘差密集塊網(wǎng)絡結(jié)構(gòu)

每個RDB包含4個二維卷積層，通過兩組密集連接和一組殘差連接組成。Conv代表卷積層， 128(1,8) 的含義是卷積核數(shù)量為128，尺寸為1×8。在密集連接過程中，通道維數(shù)量會成倍增加，導致訓練難度加大，因此在RDB的最后一層卷積采用尺寸為1×1的卷積核進行降維，此操作不會增加額外計算參數(shù)。每個卷積層的步長均設為1，激活函數(shù)選用ReLu函數(shù)解決非線性分類問題，采用批量歸一化層(batch normalization，BN)加快訓練收斂速度，提高模型魯棒性。

在每個密集連接后引入改進卷積注意力機制模塊，其網(wǎng)絡結(jié)構(gòu)如圖3所示。ICBAM通過對輸入特征向量的通道和空間區(qū)域分配注意力權重，捕捉信號的關鍵頻域特征。

圖3 ICBAM網(wǎng)絡結(jié)構(gòu)

圖3中通道注意力模塊將輸入特征向量F∈C×T×W(其中C，T，W分別為特征的通道量、高度和寬度)按通道維進行全局最大池化和平均池化，再進行特征映射。傳統(tǒng)CBAM常通過全連接層進行特征映射，產(chǎn)生大量計算參數(shù)，增加計算時間。為減少冗余計算，本文選擇一維卷積操作代替全連接層進行特征映射，由于卷積神經(jīng)網(wǎng)絡具有參數(shù)共享的特性，可以減少通道注意力模塊的計算參數(shù)，降低計算時間，提高運算效率。特征向量經(jīng)過一維卷積運算后進行整形相加，再通過激活函數(shù)得到通道注意力矩陣MC(F)∈C×1×1。 將MC(F)與輸入特征向量F點乘得到空間注意力模塊的輸入F’。計算通道注意力矩陣的過程為

(6)

(7)

式中：f2D是卷積尺寸為3×3的二維卷積運算。

最后將空間注意力矩陣MS(F) 與F’點乘得到通道-空間注意力輸出特征向量F’’。

2.2 時域特征提取模塊

通信信號不僅在空間上具有相關性，在時間上也具有關聯(lián)，循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)在處理時間序列上具有強大學習能力。門控循環(huán)單元(gated recurrent unit，GRU)作為一種典型的循環(huán)神經(jīng)網(wǎng)絡，在保證學習性能的同時可減少張量運算，從而降低網(wǎng)絡復雜度，提高網(wǎng)絡收斂速度。GRU主要包括重置門rt和更新門zt(t表示當前時刻)。其中重置門決定前一時刻信息被遺忘的程度，更新門決定保留前一時刻信息的程度，GRU的前向傳播公式如下

rt=σ(Wr[ht-1,xt])

(8)

zt=σ(Wz[ht-1,xt])

(9)

h′t=tanh(Wh[rt⊙ht-1,xt])

(10)

ht=zt⊙h′t+(1-zt)⊙ht-1

(11)

式中：xt表示當前輸入，ht-1和ht分別表示前一時刻和當前時刻的隱藏單元狀態(tài)，h′t表示經(jīng)重置門處理后的候選狀態(tài)值，Wr，Wz，Wh表示權重參數(shù)，⊙表示Hadamard乘積。

BiGRU在處理長序列數(shù)據(jù)時無法判斷哪些是對信號識別有用的關鍵特征，導致分類精度難以提高。本文將軟注意力機制(soft attention mechanism，SAM)[16]加入BiGRU層后，更加關注時域特征之間的聯(lián)系，對BiGRU每一時間步的輸出隱藏狀態(tài)向量分配注意力權重系數(shù)，為區(qū)分度更強的關鍵特征分配更高權重以提高信號識別率。其具體工作原理如下：假設經(jīng)BiGRU層的輸出序列為H={h1,h2,h3,…,hK-1,hK} (K為輸出的隱藏狀態(tài)向量長度)，q為查詢向量，注意力分布αt的計算過程為

(12)

式中：s(ht,q) 為注意力打分函數(shù)，用來計算ht和q的相關性。

考慮到算法復雜度及計算效率，選擇點積模型作為打分函數(shù)，其公式如下

(13)

注意力分布αt反映了查詢向量q所對應的第t個輸入向量的受關注程度。最后將αt和BiGRU的輸出ht通過加權平均得到輸出向量

(14)

將經(jīng)時域特征提取模塊的輸出向量送入全連接層實現(xiàn)特征映射，最后一層采用Softmax作為激活函數(shù)，使輸出向量轉(zhuǎn)換為信號對應每種調(diào)制方式的概率，更易進行分類。

3 實驗仿真與分析

實驗硬件平臺配置：i9-9900k中央處理器；RTX2080Ti顯卡；32 GB內(nèi)存。軟件平臺配置：Matlab2020；Python3.7；Tensorflow1.15.0框架；Keras2.3.1函數(shù)庫。

3.1 實驗數(shù)據(jù)與仿真條件

網(wǎng)絡訓練使用分類交叉熵損失函數(shù)計算損失值作為評估標準，其表達式如下

(15)

式中：l為調(diào)制方式種類數(shù)，y為實際值，y′為預測輸出值。

通過Adam優(yōu)化函數(shù)反向更新權值參數(shù)。訓練時設置早停機制，以驗證集損失函數(shù)為標準，10輪內(nèi)未下降時則中止訓練。當訓練提前中止或達到最高迭代次數(shù)時，保存最優(yōu)網(wǎng)絡模型。

3.2 仿真實驗一

為驗證本文算法中信號預處理操作的有效性，對比本文雙通道I/Q+A/P路輸入與單通道I/Q路輸入方式對網(wǎng)絡識別性能的影響，結(jié)果如圖4所示。從圖中可以看出，當信噪比大于-4 dB時，由I/Q+A/P路構(gòu)建的雙通道輸入方式對9種信號的平均識別率均高于單通道I/Q路輸入方式。原因是小尺度衰落信道下的信號受多徑效應等復雜條件影響，導致I/Q數(shù)據(jù)的正交性不足，而A/P特征通過反映信號的幅度相位關系，可以輔助神經(jīng)網(wǎng)絡提取多尺度信號特征。由此驗證本文算法在預處理階段提取A/P特征，構(gòu)建雙通道輸入的方法對提高小尺度衰落信道下的調(diào)制信號識別率是可行的。

圖4 不同通道輸入下的識別率對比

3.3 仿真實驗二

對比引入傳統(tǒng)CBAM+SAM、只引入ICBAM、只引入SAM、不引入注意力機制4種算法，驗證本文提出的多注意力機制網(wǎng)絡對識別性能的影響，圖5為各算法在不同信噪比下對9種信號的平均識別率。

圖5 注意力機制對識別性能的影響

由圖5得出，在低信噪比時各算法識別性能區(qū)分度較小，當信噪比大于0 dB時，識別率差距逐漸增大。其中不引入注意力機制算法的識別率最低，單獨引入ICBAM或SAM后，識別率會有所提升，其原因為ICBAM通過在特征向量的通道與空間區(qū)域之間捕捉重要信息，學習表現(xiàn)力強的頻域特征，同時給低頻噪聲分配小權重，降低其對信號識別的干擾；BiGRU在運算時容易遺忘關鍵信息，而SAM可以對BiGRU不同時刻輸出狀態(tài)進行打分，為關鍵的時間信息分配更高的注意力系數(shù)。引入傳統(tǒng)CBAM+SAM算法與本文算法均結(jié)合多種注意力機制，在各信噪比下的識別率均表現(xiàn)突出，驗證了多注意力機制的引入有利于網(wǎng)絡識別性能提升。

表1介紹了以上5種算法對9種信號在各信噪比下的平均識別率、最高識別率、測試時間3種性能指標。在平均識別率表現(xiàn)上，只引入ICBAM和只引入SAM算法相比不引入注意力機制算法分別提高了1.08%和1.74%，而傳統(tǒng)CBAM+SAM算法和本文算法分別提高了3.76%和4.22%，且本文算法在最高識別率上達到95.81%，均高于其它算法；測試時間上傳統(tǒng)CBAM+SAM時間最長，原因是傳統(tǒng)CBAM通過全連接層進行特征映射得到通道注意力矩陣，造成計算參數(shù)過多，導致算法復雜；而本文算法采用ICBAM，其利用一維卷積替代全連接層，在提高識別性能的同時優(yōu)化了網(wǎng)絡訓練效率。

表1 注意力機制對識別性能指標的影響

3.4 仿真實驗三

為對比不同頻域特征提取模塊網(wǎng)絡架構(gòu)對識別性能的影響，將雙通道數(shù)據(jù)輸入至卷積核數(shù)量、尺寸、步長相同的CNN、ResNet、DenseNet以及RDB中進行性能測試。

表2和表3分別介紹了4種架構(gòu)在部分信噪比下的識別率以及總體性能指標。可以得到本文設計的RDB網(wǎng)絡架構(gòu)單批次訓練時間為0.107 s，與其它3種架構(gòu)相比，所需訓練時間最長，但在信號的平均識別率和最高識別率上均表現(xiàn)最佳，以識別性能的提升彌補了訓練時間稍長的缺點。

表2 部分信噪比下的識別率

表3 不同網(wǎng)絡架構(gòu)下識別性能指標

3.5 仿真實驗四

為驗證本文算法對9種調(diào)制信號的識別能力，分析了不同信噪比下的調(diào)制方式識別率和混淆矩陣，結(jié)果如圖6和圖7所示。

圖6 9種信號在不同信噪比下的識別率

圖7 不同信噪比下的混淆矩陣

從圖6可得，9種小尺度衰落信道下的信號識別率均隨信噪比上升而提高，當信噪比大于8 dB時，大多數(shù)信號識別率超過90%；8PSK和16PSK兩種信號在信噪比較低時難以準確識別，但隨著信噪比增加，識別率也很快升高；值得注意的是，當信噪比較高時，除16PSK、64QAM兩種信號外，其它信號基本可以準確識別，原因是高階PSK和QAM信號易受噪聲攻擊，尤其在小尺度衰落信道下，信號極易受到干擾導致被淹沒在噪聲中。未來可進一步對此類高階調(diào)制信號進行研究，減少噪聲以及小尺度衰落對識別率的影響。

圖7給出了信噪比分別為0 dB、8 dB、18 dB時的混淆矩陣。當處于低信噪比0 dB時，信號受強噪聲影響，如圖7(a)所示，大部分信號無法準確識別，尤其是QPSK、8PSK、16PSK之間的混淆最為嚴重，原因是三者同屬PSK類內(nèi)調(diào)制方式，其本身信號結(jié)構(gòu)及特征較為相近，當經(jīng)過小尺度衰落信道，信號的正交性以及幅相特征造破壞，導致難以區(qū)分。隨著信噪比上升，信號之間的混淆逐漸減輕，圖7(b)中當信噪比在8 dB時混淆趨于穩(wěn)定，大部分信號識別率均高于90%；圖7(c)信噪比在18 dB時的混淆最小，其誤差主要來自16PSK與8PSK、64QAM與16QAM之間，16PSK約10%的數(shù)據(jù)被識別為8PSK，64QAM約12%的數(shù)據(jù)被識別為16QAM，這是由于信號結(jié)構(gòu)相似所導致的。其次可以發(fā)現(xiàn)，低階PSK、QAM以及PAM4、GMSK、CPFSK在小尺度衰落信道下抗干擾性能較好，當信噪比較高時基本可以準確識別。

3.6 仿真實驗五

將本文算法與CNN[9]、CLDNN[10]、雙流CNN-LSTM[11]、MCLDNN[12]的識別性能進行對比，結(jié)果如圖8所示。

圖8 本文算法與其它文獻算法識別性能對比

其中CNN和CLDNN算法均為單通道I/Q路輸入方式，二者最高識別率分別為71.42%和82.70%。相較于將單一I/Q序列輸入網(wǎng)絡，多通道輸入的方式取得了更好的識別結(jié)果，其中MCLDNN和雙流CNN-LSTM算法的最高識別率分別達到了93.87%和92.83%，且各信噪比下的識別率均高于單路輸入的算法，進一步驗證了多通道輸入的方式能有效提高識別率。本文算法以I/Q序列和信號A/P特征作為輸入，獲取信號的多樣性特征，利用多注意力機制提升網(wǎng)絡學習關鍵特征的能力，所提取的特征具有較強的抗干擾性，在小尺度衰落信道下的識別率取得了明顯優(yōu)勢。當信噪比大于-4 dB時，識別率高于其它文獻算法。當信噪比為0 dB和18 dB時，識別率較其它文獻算法分別提升了約1.8%和2%以上。

4 結(jié)束語

本文提出多注意力機制網(wǎng)絡實現(xiàn)對小尺度衰落信道下9種調(diào)制信號的識別。通過引入改進卷積注意力機制模塊和軟注意力機制提升網(wǎng)絡對信號關鍵特征的捕捉能力。仿真結(jié)果表明，在瑞利衰落為三徑信道的小尺度衰落條件下，信噪比為18 dB時，平均識別率達95.81%。驗證算法所提取的特征能更好地應對小尺度衰落信道干擾，識別性能相比其它深度學習算法更優(yōu)。未來實現(xiàn)調(diào)制識別的小樣本無監(jiān)督學習仍有待研究，使算法在少量標簽數(shù)據(jù)下仍保持較高識別率。