譚繼遠，張立民，鐘兆根

（1.海軍航空大學(xué)研究生一隊，山東 煙臺 264001；2.海軍航空大學(xué)信息融合研究所，山東 煙臺 264001；3.海軍航空大學(xué)航空基礎(chǔ)學(xué)院，山東 煙臺 264001）

0 引言

信號調(diào)制識別技術(shù)一直是無線通信領(lǐng)域的一個研究熱點，廣泛應(yīng)用于軍事、民用領(lǐng)域，例如電子對抗、信號監(jiān)測與信息獲取等，是認知無線電、感知頻譜的基礎(chǔ)［1-2］。近年來，調(diào)制識別技術(shù)得到了極大的發(fā)展，國內(nèi)外學(xué)者對信號不同調(diào)制方式的識別和不同信道、噪聲條件下的信號調(diào)試識別進行了大量的研究，取得了一些較為實用的成果，包括最大似然法［3-4］、高階累積量法［5］、循環(huán)譜算法［6］和KS 檢測算法［1，7］等。

隨著通信技術(shù)的發(fā)展，通信信號的調(diào)制方式種類也多種多樣，如何在不同信噪比以及不同信道條件下有效區(qū)分多種調(diào)制方式仍是一個研究的難點，目前該方面的文獻相對較少。

N.Ghani 提出了利用等信號的平方譜譜峰數(shù)以及功率譜的差異進行分類［8］，該方法能對10 種調(diào)制方式進行識別，但是僅限于AWGN 信道。2007 年，K.Maliatsos 等人首次引入小波變換［9］，先通過小波變換來降低噪聲的影響，然后提取特征進行調(diào)制識別，實現(xiàn)了PSK、FSK、ASK 和QAM 的多種調(diào)制方式的識別，同時降低了計算復(fù)雜度，但是沒有分析信噪比低于10 dB 時算法的性能。近年來，深度學(xué)習(xí)逐漸應(yīng)用到調(diào)制識別領(lǐng)域，與傳統(tǒng)的機器學(xué)習(xí)相比，深度學(xué)習(xí)不需知道關(guān)于調(diào)制信號的信息，具有直接從原始數(shù)據(jù)自動學(xué)習(xí)特征的優(yōu)點。2016 年，Timothy J O’Shea 等人提出了利用卷積神經(jīng)網(wǎng)絡(luò)對11 種調(diào)制信號進行分類［10］，結(jié)果表明，該方法優(yōu)于傳統(tǒng)的識別方法，在識別種類和準確率上都有所提高，但是對QPSK 的識別率較低，同時算法的運算時間較長。2017 年，Krishna Karra 等提出了基于深度神經(jīng)網(wǎng)絡(luò)（Hierarchical Deep Neural Networks，H-DNN）的識別方法［11］，該方法解決了文獻［10］中對WBFM 識別率不高的問題，但是產(chǎn)生了新的問題，4-QAM 和16-QAM 之間的識別率有所降低。2018 年，Rundong Li 等提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的魯棒自動VHF用于調(diào)制識別［12］，該方法提高了抗噪聲性能和算法的魯棒性，但是識別種類有所降低，共識別了7 種調(diào)制方式，同時網(wǎng)絡(luò)復(fù)雜度有所增加。文獻［13］中首次將CNNs 和LSTM 結(jié)合的卷積長短期深層神經(jīng)網(wǎng)絡(luò)應(yīng)用于調(diào)制識別領(lǐng)域，相比于CNNs 識別網(wǎng)絡(luò)，CLDNN 由于網(wǎng)絡(luò)深度的增加，識別性能得到了提高。

本文將卷積神經(jīng)網(wǎng)絡(luò)與雙向長短期記憶神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種卷積雙向長短期神經(jīng)網(wǎng)絡(luò)的信號多調(diào)制方式識別。該方法首次將BiLSTM 應(yīng)用于調(diào)制識別領(lǐng)域，同時減少卷積層的數(shù)目，構(gòu)建成一個更簡單的神經(jīng)網(wǎng)絡(luò)，達到了調(diào)制識別的目的。本文提出的CNN-BiLSTM 方法具有以下優(yōu)點：1）網(wǎng)絡(luò)層數(shù)與訓(xùn)練參數(shù)減少，識別時間大大減少；2）無需信道、噪聲等先驗信息，調(diào)制識別率得到了一定的提高。

1 信號模型與網(wǎng)絡(luò)描述

1.1 信號模型

假設(shè)接收信號的模型為

其中，yn為接收信號，H 為信道，xn為輸入信號，ωn為時刻n 處的噪聲采樣。調(diào)制識別就是研究接收信號{yn}，n=1，2，3，…，N 為何種調(diào)制方式問題，其中信號可以是模擬或數(shù)字數(shù)據(jù)類型。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNNs 是一種前饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中具有平移不變性的特點，因此，一直是圖像識別領(lǐng)域的核心算法之一。標準的CNNs 一般由輸入層、卷積層、池化層、全連接層和輸出層組成［14］，如圖1 所示。

圖1 標準卷積神經(jīng)網(wǎng)絡(luò)

1.3 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)

BiLSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN），它能將預(yù)測信息的前面若干輸入和后面若干輸入共同利用，這樣預(yù)測會更加準確。BiLSTM 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 雙向LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖

該網(wǎng)絡(luò)的前向傳播層和反向傳播層共同連接著輸出層，其中包含6 個共享權(quán)值W1～W6。該網(wǎng)絡(luò)首先通過前向傳播層正向計算一遍，保存正向計算過程中每時刻向前隱含層的輸出［15］。然后，通過反向傳播層反向計算，得到反向計算的每時刻向后隱含層的輸出。最后，每個時刻的輸出為相應(yīng)時刻前向傳播和反向傳播輸出的綜合，數(shù)學(xué)表達式如下：

其中，ht表示正向傳播中，t 時刻向前隱含層的輸出。ht'表示反向傳播中，t 時刻向前隱含層的輸出。ot為t 時刻輸出層的輸出。

2 實驗數(shù)據(jù)與CNN-BiLSTM 網(wǎng)絡(luò)

2.1 實驗數(shù)據(jù)庫

調(diào)制識別的數(shù)據(jù)庫來源于Timothy J O’Shea 公開的RML2016.04C 和RML2016.10a 數(shù)據(jù)集，該數(shù)據(jù)集是由I/Q 兩路數(shù)據(jù)組成，是一個包括每次采樣數(shù)據(jù)的同相和正交分量，維數(shù)為2×128。兩個數(shù)據(jù)集分別由220 000 個調(diào)制數(shù)據(jù)樣本和162 060 個調(diào)制數(shù)據(jù)樣本組成［16］，共包含11 種調(diào)制類別，其中包括AM-DSB，AM-SSB，WBFM 3 種模擬調(diào)制和BPSK，8PSK，CPFSK，GFSK，4QAM，16QAM，64QAM 和QPSK 等8 種數(shù)字調(diào)制。這些數(shù)據(jù)在SNR=-20 dB 到SNR=18 dB 上以2 dB 間隔近似均勻分布，這些調(diào)制數(shù)據(jù)樣本使用真實的語音和文本信號，在衰落、多徑和加性高斯白噪聲等信道條件下獲得，因此，逼近真實場景數(shù)據(jù)。與RML2016.04C 數(shù)據(jù)集相比，RML2016.10a 數(shù)據(jù)集通過了更加嚴格的信道條件，加強了各種外在條件的影響，因此，該數(shù)據(jù)集更加接近真實場景下的調(diào)制信號。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用的CNN-BiLSTM 網(wǎng)絡(luò)由一個BiLSTM層和一個全連接層兩個卷積層組成。兩個卷積層采用修正線性單元ReLU 作為激活函數(shù)，BiLSTM 采用sigmoid 作為激活函數(shù)，全連接層采用軟最大函數(shù)SoftMax 作為激活函數(shù)對11 種調(diào)制數(shù)據(jù)進行分類，同時卷積層和BiLSTM 層采用丟失輸出Dropout 防止出現(xiàn)過擬合的現(xiàn)象。同時，選用Adam 作為梯度下降優(yōu)化算法，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 CNN-BiLSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入層為I/Q 兩路的2×128 維度的調(diào)制數(shù)據(jù)，第1 層卷積層卷積核大小為1×3，個數(shù)為128 個。第2 層卷積層卷積核大小為2×3，個數(shù)為32 個。BiLSTM 層神經(jīng)元個數(shù)為128 個，最后一層全連接層神經(jīng)元個數(shù)為11 個，對應(yīng)11 種調(diào)制類型。

2.3 網(wǎng)絡(luò)實現(xiàn)

首先對輸入數(shù)據(jù)進行處理，使用Keras 中的Reshape 函數(shù)將2×128 維度的調(diào)制數(shù)據(jù)轉(zhuǎn)換為（None，1，2，128）的4D 張量，依次代表（樣本數(shù)、圖像高度、圖像寬度、圖像通道數(shù)），作為卷積層的輸入。經(jīng)過兩層卷積層的卷積后，輸出為（None，32，1，124） 的維度為32×124 的4D 張量。因為BiLSTM 層的輸入要求為3D 張量，所以再次使用Reshape 函數(shù)將4D 張量轉(zhuǎn)換為（None，32，124），將32 作為BiLSTM 網(wǎng)絡(luò)輸入序列的維度，124 作為BiLSTM 網(wǎng)絡(luò)輸入序列的長度輸入到BiLSTM 網(wǎng)絡(luò)中［19］。經(jīng)過式（1）～式（3）的雙向運算后，輸出3D 張量（None，32，256），然后，經(jīng)過Flatten 將3D 張量轉(zhuǎn)化為2D 張量，傳遞到最后的全連接層中。

2.3.1 卷積層的學(xué)習(xí)

在卷積層中，假設(shè)卷積層的輸入為X∈RA×B，其中A 表示輸入信號的特征的數(shù)量，B 表示輸入信號的數(shù)量。令x=［x1x2… xB］，其中，xb表示信號b的特征矢量。卷積層的激活可以計算成：

其中，hj，k表示第j 個特征圖的卷積網(wǎng)絡(luò)輸出，為第j 個卷積器的權(quán)值參數(shù)，s 是卷積器的大小，aj是第j 個特征圖的偏置。輸入和卷積器進行加權(quán)平均后，由非線性激活函數(shù)θ 計算得到網(wǎng)絡(luò)的輸出結(jié)點值。通過式（4），卷積層實現(xiàn)了特征圖的卷積，得到了相應(yīng)的輸出特征。本文采用的非線性激活函數(shù)θ為ReLU，具體表達式如式（5）所示：

卷積層的輸入通道數(shù)由輸入4D 張量的通道數(shù)決定。輸出張量的通道數(shù)由卷積層的輸出通道數(shù)決定，輸出張量的高度和寬度計算公式如下。

其中，heightout代表卷積層輸出張量的高度，heightin代表卷積層輸入張量的寬度，heightkernel代表卷積核的高度，padding 代表掃描方式，本文選擇的是valid。stride 代表卷積核個數(shù)，widthout代表輸出張量的寬度，widthout和widthkernel分別代表卷積層輸入張量的寬度與卷積核的寬度。

2.3.2 BiLSTM 層

卷積層后，仍然會保持著前后時序相關(guān)性，經(jīng)過式（2）～式（4）的雙向運算后，輸入到最后的全連接層，BiLSTM 層的實現(xiàn)采用的是Keras.model，從Keras 庫中引入Bidirectional，代碼實現(xiàn)如下：

model.add（Bidirectional（LSTM（128，return_sequences=True），merge_mode=’concat’））

model.add（Dropout（dr））

其中，dr 為0.5，代表每次訓(xùn)練隨機刪除50 %的隱神經(jīng)元，由于每次訓(xùn)練刪除的神經(jīng)元不同，使得每個神經(jīng)元會盡可能發(fā)揮自己的作用，避免過擬合的出現(xiàn)。

2.3.3 softmax 層

全連接層采用的是softmax 函數(shù)，其可以用于多分類過程，將多個神經(jīng)元的輸入映射到（0，1）之間，每個映射可以看成輸出概率，從而進行多分類。假設(shè)上一層的輸出為{z1，z2，…，zn}，softmax 層運算公式如式（8）所示。

其中，ki代表代表zi在預(yù)測結(jié)果中的概率。將輸出概率轉(zhuǎn)化為圖像顯示，就是混淆矩陣，能直觀地反映各調(diào)制方式的識別情況。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

實驗運行在Windows7 系統(tǒng)下，CPU 為Intel（R）Core（TM）i5-4210U，無GPU 的參與，內(nèi)存為12 G。網(wǎng)絡(luò)搭建的深度學(xué)習(xí)庫采用Keras，后端選擇的是TensorFlow。網(wǎng)絡(luò)訓(xùn)練做大次數(shù)為100 次，采用EarlyStopping 函數(shù)，將網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)設(shè)置為監(jiān)測值，當(dāng)監(jiān)測值超過5 次訓(xùn)練未發(fā)生下降時，網(wǎng)絡(luò)將停止訓(xùn)練并輸出訓(xùn)練結(jié)果。將兩個數(shù)據(jù)集的各個信噪比下50%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其余50%的調(diào)制數(shù)據(jù)作為檢測數(shù)據(jù)。

3.2 網(wǎng)絡(luò)訓(xùn)練分析

本文提出的CNN-BiLSTM 網(wǎng)絡(luò)在兩個數(shù)據(jù)集下的訓(xùn)練與測試損失函數(shù)如圖4、圖5 所示，從圖中可以看出，在調(diào)制環(huán)境較為理想的RML2016.04C下，經(jīng)過大約30 次訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)趨于穩(wěn)定；在RML2016.10a 下，大約經(jīng)過60 次訓(xùn)練，網(wǎng)絡(luò)的損失函數(shù)趨于穩(wěn)定。而且兩者的訓(xùn)練損失函數(shù)與測試損失函數(shù)較為平滑且較為接近，沒有出現(xiàn)明顯的波動，說明本文提出的網(wǎng)絡(luò)訓(xùn)練過程良好，未出現(xiàn)過擬合或欠擬合的問題。

圖4 RML2016.04C 下CNN-BiLSTM的訓(xùn)練次數(shù)與損失函數(shù)圖

圖5 RML2016.10a 下CNN-BiLSTM的訓(xùn)練次數(shù)與損失函數(shù)圖

3.3 正確識別率對比

3.3.1 RML2016.04C 條件下的正確識別對比

從圖6 可以看出，在SNR 低于-14 dB 時，本文識別網(wǎng)絡(luò)的識別性能略低于文獻［11］中的CNN2 卷積神經(jīng)網(wǎng)絡(luò)。但是，隨著信噪比的提高，本文識別網(wǎng)絡(luò)的識別率高于CNN2，并且在SNR=-2 dB 時，識別率達到了90%以上。圖7～圖10 為識別混淆矩陣，反映了各個調(diào)制方式的識別情況。從圖7～圖10 可以看出，算法識別率的提高主要是由于對8PSK 和WBFM 的識別效果增強。

圖6 RML2016.04C 下CNN-BiLSTM 與CNN2 識別率對比圖

3.3.2 RML2016.10a 條件下的正確識別率

下面對比了RML2016.10a 條件下兩層卷積神經(jīng)網(wǎng)絡(luò)（CNN2）、三層卷積神經(jīng)網(wǎng)絡(luò)（CNN3）、四層卷積神經(jīng)網(wǎng)絡(luò)（CNN4）、CNN-BiLSTM、三卷積層的殘差網(wǎng)絡(luò)（Residual Network，ResNet）、四卷積層的殘差網(wǎng)絡(luò)的正確識別率，上述網(wǎng)絡(luò)的識別情況可參照文獻［14］。由圖11 可以看出，只有兩個卷積層的CNN-BiLSTM 的識別效果優(yōu)于CNN2、CNN3 和三卷積層的ResNet，并且網(wǎng)絡(luò)的復(fù)雜度低于CNN3 和具有3 個卷積層的ResNet。雖然本文網(wǎng)絡(luò)識別性能低于CNN4 和四卷積層的ResNet，但是上面兩種網(wǎng)絡(luò)是以網(wǎng)絡(luò)深度與參數(shù)的增加換取識別率的提高，復(fù)雜度增加。

圖7 SNR=0 dB 時，CNN 的混淆矩陣

圖8 SNR=0 dB 時，CNN-BiLSTM 的混淆矩陣

圖9 SNR=16 dB 時，CNN 的混淆矩陣

圖10 SNR=16 dB 時，CNN-BiLSTM 的混淆矩陣

圖11 RML2016.10a 下不同識別網(wǎng)絡(luò)識別率對比圖

3.4 復(fù)雜度分析

復(fù)雜度分析中，因為CNN3，CNN4 和ResNet 的復(fù)雜度都高于CNN2［14］，所以主要對比了本文所提CNN-BiLSTM 與 文 獻［11］ 中 的CNN2 網(wǎng) 絡(luò) 在RML2016.04C 下的運行時間與訓(xùn)練參數(shù)數(shù)量，得到的算法運行時間與訓(xùn)練參數(shù)如表1 所示。由表1 可以看出，CNN2 的單次訓(xùn)練平均運行時間是本文網(wǎng)絡(luò)的5.6 倍，總用時為本文網(wǎng)絡(luò)的5.1 倍。同時，CNN2 的網(wǎng)絡(luò)訓(xùn)練參數(shù)比本文網(wǎng)絡(luò)的訓(xùn)練參數(shù)多將近一個量級。

表1 CNN-BiLSTM 與CNN2 運行時間與訓(xùn)練參數(shù)對比表

4 結(jié)論

本文基于公開的RML2016.10a 和RML2016.04C 兩個數(shù)據(jù)集，研究了11 種調(diào)制方式的識別問題。本文方法基于卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶神經(jīng)網(wǎng)絡(luò)，建立了CNN-BiLSTM 的調(diào)制識別網(wǎng)絡(luò)，充分利用CNN 在圖像處理中的優(yōu)勢和BiLSTM的前后時序相關(guān)性，達到了區(qū)分11 種調(diào)制方式的目的。實驗結(jié)果表明，其大大降低了網(wǎng)絡(luò)復(fù)雜度，調(diào)制識別性能得到了一定的改善。下一步將重點研究在信噪比低于-14 dB 時，如何有效提高算法的識別性能。