吳佩軍 侯 進(jìn)* 呂志良 劉雨靈 徐 茂 張笑語 陳 曾

1(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 四川 成都 611756)2(成都華日通訊技術(shù)有限公司 四川 成都 610045)

0 引 言

多進(jìn)制數(shù)字相位調(diào)制技術(shù)是現(xiàn)代通信系統(tǒng)中常用的數(shù)字調(diào)制技術(shù)之一。如何有效地識別出多進(jìn)制數(shù)字相位調(diào)制(Multiple Phase Shift Keying,MPSK)信號中的BPSK、QPSK和8PSK信號一直是調(diào)制識別領(lǐng)域內(nèi)人們關(guān)注的一個熱點和難點問題。

在傳統(tǒng)的調(diào)制信號識別領(lǐng)域，主要采用基于統(tǒng)計和基于決策的兩大類方法進(jìn)行識別。然而傳統(tǒng)方法具有求解參數(shù)多、計算公式復(fù)雜等缺點。

近年來，大量的機(jī)器學(xué)習(xí)算法，如期望最大值算法[1]、反向傳播人工神經(jīng)網(wǎng)絡(luò)[2]、k鄰近算法[3]以及支持向量機(jī)[4]等算法被逐漸應(yīng)用于調(diào)制信號識別領(lǐng)域內(nèi)，并取得了一定的成效。

卷積神經(jīng)網(wǎng)絡(luò)(Con1volution Neural Network,CNN)作為機(jī)器學(xué)習(xí)算法的一大重要分支，近年來在圖像識別領(lǐng)域取得了許多重要突破。深層卷積神經(jīng)網(wǎng)絡(luò)更容易提取到數(shù)據(jù)的抽象特征，獲得不同數(shù)據(jù)類別間的隱式表達(dá)，有利于捕捉圖像數(shù)據(jù)中的關(guān)鍵信息[5]。Krizhevshky等[6]提出了AlexNet模型，它指出隨著網(wǎng)絡(luò)層數(shù)的加深，可以學(xué)習(xí)圖像中的復(fù)雜高維特征，提升分類準(zhǔn)確率。此外，AlexNet使用Relu作為激活函數(shù)，降低了參數(shù)計算量；并且使用了dropout技術(shù)在訓(xùn)練時剔除某些神經(jīng)元，避免模型的過擬合。但AlexNet在淺層時使用如9×9、11×11的大卷積核提取特征，具有運算開銷大的缺點。VGG[8]通過使用多個3×3的卷積核代替AlexNet的大卷積核，減少了運算參數(shù)，改進(jìn)了AlexNet運算開銷大的缺點。與此同時，Inception V1[7]通過提出一種分解-變換-聚合的結(jié)構(gòu)：使用1×1、3×3和5×5的卷積核并行合并，并在合并后接1×1卷積核以減少特征數(shù)量。隨著CNN層數(shù)的加深，容易出現(xiàn)梯度擴(kuò)散。此時單純地加深網(wǎng)絡(luò)層數(shù)難以提升識別準(zhǔn)確率。因此，文獻(xiàn)[9]在Inception V1的基礎(chǔ)上加入了批量正則化層(Batch Normalization,BN)，提出了Inception V3模型，BN層的加入能夠提升網(wǎng)絡(luò)的泛化能力。ResNet[10]將輸入信息跨層傳遞并與卷積后的輸出相加，在不增加網(wǎng)絡(luò)層數(shù)的情況下保留了豐富的高維信息，進(jìn)一步解決了梯度擴(kuò)散的問題。何凱明等[11]提出了ResNeXt模型，在文獻(xiàn)[10]的結(jié)構(gòu)中加入了文獻(xiàn)[9]的分解-變換-聚合思想，使得ResNeXt能夠在不增加網(wǎng)絡(luò)復(fù)雜度的情況下提升準(zhǔn)確率。文獻(xiàn)[12]提出了DenseNet模型，能夠有效地解決梯度消失的問題，并且在大幅度減少參數(shù)量的前提下，強(qiáng)化了特征傳播、支持特征重用。

近年來，CNN在調(diào)制信號識別領(lǐng)域內(nèi)也開始逐漸興起，并取得了一定的成效。薛偉等[13]利用小波變換提取MFSK、MPSK和MQAM信號的特征參數(shù)，再將提取的特征輸入到三層的人工神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，取得了較好的分類效果，但此方法需要人工提取參數(shù)特征，且人工神經(jīng)網(wǎng)絡(luò)相比深層CNN提取特征的能力有限。Hauser等[14]利用原始IQ數(shù)據(jù)作為4層CNN的輸入，實現(xiàn)了8類調(diào)制信號的識別，識別準(zhǔn)確率達(dá)到了80%。文獻(xiàn)[15]將原始IQ數(shù)據(jù)輸入到4層CNN進(jìn)行訓(xùn)練，對不同信噪比的調(diào)制信號進(jìn)行了識別分類，模型在高信噪比情況下識別準(zhǔn)確率較高，隨著信噪比的減小，準(zhǔn)確率降低，最終在測試集上達(dá)到66.9%的準(zhǔn)確率。文獻(xiàn)[16]參考文獻(xiàn)[9]提出的Inception結(jié)構(gòu)，設(shè)計了一個三層的CNN提取原始IQ數(shù)據(jù)的特征，再將提取的特征輸入到長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)進(jìn)行分類，實現(xiàn)了PSK、QAM和FSK等調(diào)制信號的分類識別，識別準(zhǔn)確率最終達(dá)到了87%。但這一方法對MQAM的子類信號識別準(zhǔn)確率不高，16QAM和64QAM的準(zhǔn)確率均只有40%左右。文獻(xiàn)[14-16]都為利用原始IQ數(shù)據(jù)輸入到淺層CNN中進(jìn)行分類，取得了一定的成效?？紤]到CNN對于豐富的圖像信息的提取效果，將IQ數(shù)據(jù)經(jīng)過變換生成圖像數(shù)據(jù)訓(xùn)練的研究也逐漸增多，已有方法說明調(diào)制信號的圖像信息較原始IQ數(shù)據(jù)，能夠提升CNN的分類準(zhǔn)確率。陳敏華等[17]提出一種基于CNN的信道均衡算法，利用星座圖實現(xiàn)了QPSK的識別，達(dá)到了82%的準(zhǔn)確率，但信號種類單一，識別難度較小。Zhang等[18]將雷達(dá)信號的時頻圖輸入到一個5層的卷積網(wǎng)絡(luò)進(jìn)行特征提取，再將提取的特征輸入到多層感知機(jī)，實現(xiàn)了8類雷達(dá)信號的分類，最終準(zhǔn)確率達(dá)到了93.7%。Wang等[19]提出了一個基于調(diào)制信號眼圖的6層CNN，實現(xiàn)了RZ-OOK、NRZ-OOK、RZ-DPSK和4PAM的識別。Zhang等[20]利用信號時頻圖輸入到一個5層的CNN中，實現(xiàn)了LFM、SFM、PFM、FSK及未調(diào)制信號的識別，達(dá)到了99.1%的準(zhǔn)確率，但此方法對于FSK信號識別準(zhǔn)確率較低，大約為90%。Karra等[21]提出了一種分層深度神經(jīng)網(wǎng)絡(luò)，利用IQ數(shù)據(jù)經(jīng)過FFT變換得到信號時頻圖，實現(xiàn)了一個11類信號的分類器，最終達(dá)到了90%的總準(zhǔn)確率，但該網(wǎng)絡(luò)對于QPSK、8PSK和16QAM的識別效果均低于70%。Peng等[22]利用調(diào)制信號的星座圖輸入CNN的經(jīng)典模型AlexNet中進(jìn)行訓(xùn)練，實現(xiàn)了QPSK、8PSK、16QAM和64QAM的分類，但模型對16QAM和64QAM識別效果差，低信噪比情況下16QAM和64QAM準(zhǔn)確率僅有80%，相比文獻(xiàn)[15]，單類調(diào)制信號的子類識別效果有了顯著提升。

目前存在的分類方法中，主要使用淺層CNN進(jìn)行調(diào)制信號的識別，且CNN多用于不同種類調(diào)制信號的識別，但對于單類調(diào)制信號子分類的識別研究不多。單類調(diào)制信號子分類之間相似度比不同種類間信號大，使用原始IQ數(shù)據(jù)識別難度大，利用圖像信息可以提升其分類準(zhǔn)確率。針對上述問題，本文采用IQ信號的時頻圖作為訓(xùn)練數(shù)據(jù)，并用深層的CNN以提取圖像的高維特征，這樣既避免了依靠人工設(shè)計復(fù)雜分類器，又實現(xiàn)了相似度較高信號的自動識別。

1 數(shù)據(jù)采集與預(yù)處理

1.1 IQ數(shù)據(jù)采集

為收集實驗所需的MPSK的三類子信號BPSK/QPSK/8PSK，本文采用Agilent E4438矢量信號發(fā)生器發(fā)射信號，通過天線使用R&S ESMD接收機(jī)進(jìn)行接收。采集過程中參數(shù)設(shè)置如下：固定濾波帶寬為150 KHz，頻點583 M，頻譜帶寬為500 kHz，濾波器為矩形濾波器。為了客觀真實地反映信號特征，本文在進(jìn)行數(shù)據(jù)采集時，采用以1 kHz為步長從24 kHz變化至30 kHz的7種碼率和以10 dBm為步長從-20 dBm變化至-50 dBm的4種幅度交叉組合，得到28種信號。

1.2 數(shù)據(jù)預(yù)處理

對于調(diào)制信號，時頻圖具有重要的意義，其特征通常蘊藏于相位隨時間的變化中，時間和頻率兩者具有緊密的聯(lián)系。從統(tǒng)計的角度看，時頻圖能比較完整地包含信號的關(guān)鍵信息。因此，利用時頻圖進(jìn)行分類識別是信號進(jìn)行分類識別中最有效的途徑之一。短時傅里葉變換(Short-Time Fourier Transform,STFT)通過加窗對時域信號進(jìn)行無限等長細(xì)分，每個細(xì)分部分近似平穩(wěn)，進(jìn)一步對每個加窗細(xì)分部分進(jìn)行傅里葉變換，從而得到IQ數(shù)據(jù)的二維時頻譜。

短時傅里葉變換形式表示為：

(1)

式中:ω(n)為窗函數(shù),x[n]為輸入信號序列，n為時域采樣點數(shù)。

由于海明窗能夠加寬主瓣減小旁瓣，波動性小，能夠有效抑制MPSK信號的頻譜泄露，因此本文采用海明窗函數(shù)作為STFT變換的窗函數(shù)。海明窗函數(shù)表示為：

ω[n]=0.54-(0.46×cos(n/N))

(2)

式中:n為輸入信號序列，N為FFT點數(shù)，本文中N設(shè)為2 048。

采集的IQ數(shù)據(jù)通過STFT變換，即可得到MPSK信號的時頻圖,如圖1所示。通過圖1可以看出MPSK信號的時頻圖相似程度極高，肉眼很難完全區(qū)分。

圖1 BPSK/QPSK/8PSK的時頻圖

由于MPSK信號的時頻圖的形式較為固定，若在預(yù)處理中加入翻轉(zhuǎn)、隨機(jī)剪裁等數(shù)據(jù)增強(qiáng)的處理并不會提升實際應(yīng)用中的準(zhǔn)確率，反而會導(dǎo)致模型在實際應(yīng)用中的識別效果不佳、泛化性差。因此在數(shù)據(jù)集的預(yù)處理過程中，本文僅將圖像的大小縮放為112×112像素，不進(jìn)行對比度、亮度和隨機(jī)剪裁等操作。

生成的所有時頻圖被隨機(jī)劃分成訓(xùn)練集、驗證集和測試集三個部分，并設(shè)定數(shù)據(jù)類別的標(biāo)簽，數(shù)據(jù)劃分情況如表1所示。

表1 時頻圖數(shù)據(jù)集劃分情況

2 MPSK識別算法模型

2.1 ReSENet網(wǎng)絡(luò)

目前，已經(jīng)有諸多優(yōu)秀模型在圖像識別領(lǐng)域內(nèi)取得了良好成效。本文受深度卷積神經(jīng)網(wǎng)絡(luò)ResNeXt[11]啟發(fā)，設(shè)計了一個33層的CNN網(wǎng)絡(luò)ReSENet，用以提取信號的高維特征，并進(jìn)行識別。ReSENet的整體結(jié)構(gòu)如表2所示。

表2 ReSENet網(wǎng)絡(luò)結(jié)構(gòu)圖

續(xù)表2

在設(shè)計過程中，本文結(jié)合文獻(xiàn)[23]的SENet網(wǎng)絡(luò)能夠強(qiáng)調(diào)有用通道中信息的特點，加入了SENet中的SE模塊作為ReSENet的基礎(chǔ)模塊ReSE。ReSE模塊結(jié)構(gòu)如圖2所示。圖2中ResNeXt單元結(jié)構(gòu)和SE模塊分別如圖3和圖4所示。

圖2 ReSE模塊結(jié)構(gòu)圖

圖3 ResNeXt結(jié)構(gòu)單元示意圖

圖4 SE模塊結(jié)構(gòu)圖

圖5 神經(jīng)元的內(nèi)積

由于時頻圖的各種特征對識別的貢獻(xiàn)不一，卷積層在低層提取輪廓、紋理等特征，在高層提取抽象特征，卷積層提取的特征無法由人為辨別是否有效，而SE模塊的特征重定向功能解決了上述問題。特征重定向通過學(xué)習(xí)全局信息，能夠自動判斷每個特征通道的重要程度，并對特征通道設(shè)定權(quán)重，顯式地建立特征通道之間的相互依賴關(guān)系，從而強(qiáng)調(diào)有用特征，抑制對識別貢獻(xiàn)少的特征。SE模塊主要分為兩部分：擠壓模塊Squeeze和激勵模塊Excitation。SE模塊實現(xiàn)特征重定向的步驟如算法1所示。

算法1SE模塊的特征重定向

步驟1:將卷積后的特征的全局空間信息分通道壓縮，壓縮方式為全局平均池化，計算式表示為:

(3)

式中:uc為卷積后的三維特征，其通道數(shù)、高和寬分別用C、H和W表示；zc為壓縮后的新信道信息。

s=σ(g(z,W))=σ(W2δ(W1z))

(4)

式中:σ為sigmoid激活函數(shù)，σ為Relu函數(shù)，W1和W2中的降維比例R可自行設(shè)置為4、16、64等，s為捕獲的信道間非線性互斥關(guān)系。

步驟3：將步驟2中得到的權(quán)重加權(quán)到每個通道的特征上，完成通道維度上的特征重定向，計算式表示為：

(5)

經(jīng)過多次卷積提取特征后，將得到的特征圖輸入到全局平均池化層(Global Average Pooling,GAP)中。GAP能夠強(qiáng)化特征圖與分類之間的關(guān)系。利用GAP代替?zhèn)鹘y(tǒng)CNN中的全連接層能夠更好地避免整體網(wǎng)絡(luò)結(jié)構(gòu)的過擬合[25]。然后，將經(jīng)過GAP的特征圖輸入到softmax層中，最后利用交叉熵?fù)p失函數(shù)計算預(yù)測概率與真實類別的誤差，從而實現(xiàn)了MPSK信號的分類。

2.2 模型優(yōu)化

此外，本文對ReSENet網(wǎng)絡(luò)做出了以下優(yōu)化：

(1) 梯度下降算法用于更新和計算梯度，使其逼近或達(dá)到最優(yōu)解，從而最小化損失函數(shù)。Adam算法[26]相對原本的ResNeXt使用的Momentum梯度下降算法，具有學(xué)習(xí)率自適應(yīng)、對選擇的超參數(shù)魯棒性高的優(yōu)點，所以本文采用了文獻(xiàn)[26]中的Adam算法。

(2) 采用LeakyRelu[24]作為本文的激活函數(shù)，減少Relu激活函數(shù)神經(jīng)元死亡從而進(jìn)一步緩解梯度消失問題，提升網(wǎng)絡(luò)性能。LeakyRelu的表達(dá)式如下：

(6)

式中:αi其中是一個很小的常數(shù)(本文取0.01)，yi是經(jīng)過激活函數(shù)后的結(jié)果，xi是圖像進(jìn)行卷積操作后的結(jié)果。

(3) 加入了L2正則化[27]以減少模型與時頻圖中噪聲信息的相關(guān)性，減少過擬合。

(4) 使用3×3的卷積核[8]，而非ResNeXt提出的7×7卷積核，在兼顧卷積獲取的信息同時提升網(wǎng)絡(luò)的運算效率。

(5) 使用了Xavier初始化，可以提升模型的訓(xùn)練速度及分類準(zhǔn)確率[28]。

3 實 驗

3.1 參數(shù)配置

本文使用圖形工作站訓(xùn)練神經(jīng)網(wǎng)絡(luò)，顯卡為 GTX 1080Ti，處理器為Inter(R) Core(R) CPU i7-8700k 3.70 GHz，內(nèi)存為16 GB。軟件環(huán)境為Windows 10系統(tǒng)，使用TensorFlow 1.8.0深度學(xué)習(xí)框架，開發(fā)語言為Python 3.5。ResNeXt中分支數(shù)量設(shè)為4，SE模塊中的降維比例R設(shè)為4。網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)步長設(shè)置為4 000步，batch size設(shè)置為32。

3.2 實驗結(jié)果與分析

將制作的時頻圖數(shù)據(jù)輸入到ReSENet中進(jìn)行訓(xùn)練，模型在4 000步達(dá)到收斂，識別準(zhǔn)確率為99.9%，其在測試集上的識別率如表3所示。

表3 測試集的識別率

圖6為ReSENet在不同層數(shù)不同訓(xùn)練步數(shù)所提取的時頻圖特征，可以看出在網(wǎng)絡(luò)低層提取的低維特征與時頻圖具有相似性，隨著層數(shù)加深和訓(xùn)練步數(shù)的增加，提取的特征越抽象。

圖6 ReSENet提取的特征圖

3.2.1有無SE模塊的對比

本文對SE模塊對ReSENet網(wǎng)絡(luò)性能的影響進(jìn)行了實驗，結(jié)果如圖7所示。

圖7 SE模塊對ReSENet網(wǎng)絡(luò)性能影響

在深度學(xué)習(xí)中，損失函數(shù)和準(zhǔn)確率常用于評價模型的分類性能。觀察圖7可以得出，含有SE模塊的模型在訓(xùn)練過程中準(zhǔn)確率和損失更快達(dá)到最優(yōu)，且波動較小。最終含有SE模塊的準(zhǔn)確率為99.9%，損失為0.020 4；不含SE模塊的模型準(zhǔn)確率為98.2%，損失為0.001 3。SE模塊的加入提升了1.7%的準(zhǔn)確率，并且損失下降了0.001 3，證明了SE模塊的特征重定向功能對模型的性能提升具有顯著效果。

3.2.2不同梯度下降算法的比較

為了驗證Adam算法對模型的性能，本文與Momentum、SGD及Adagrad三種不同的梯度下降算法進(jìn)行了對比實驗。參考了文獻(xiàn)[29]中的梯度下降算法優(yōu)化器的參數(shù)設(shè)置，再經(jīng)過調(diào)參試驗，最終本文所采用的參數(shù)設(shè)置如表4所示。

表4 不同梯度下降算法的參數(shù)設(shè)置

圖8分別顯示了使用不同梯度下降算法的ReSENet的損失及準(zhǔn)確率隨步數(shù)變化的情況。由圖8可知， 不論在準(zhǔn)確率還是損失的收斂效果上，Adam算法在1 000步時已達(dá)到了明顯優(yōu)于其他算法的效果，在后續(xù)訓(xùn)練過程中也一直穩(wěn)定，驗證了Adam算法的有效性。

圖8 不同梯度下降算法效果對比

3.2.3不同激活函數(shù)的比較

圖9為不同激活函數(shù)對模型的影響，觀察圖9可知，LeakyRelu函數(shù)相較于sigmoid函數(shù)具有更好的準(zhǔn)確率，相較于Relu激活函數(shù)更快達(dá)到準(zhǔn)確率最優(yōu)值且波動較小，說明使用LeakyRelu函數(shù)提高了模型的穩(wěn)定性。

選擇特異性的通用引物338F(5′-ACTCCTACGGGAGGCAGCAG-3′)、806R(5′-GGACTACHVGGGTWTCTAAT-3′)[8]擴(kuò)增細(xì)菌16Sr RNA 序列V3+V4區(qū)，并利用Illumina Miseq高通量測序平臺對PCR擴(kuò)增產(chǎn)物進(jìn)行分析，所用引物均由上海美吉生物有限公司合成。

圖9 不同激活函數(shù)效果對比

3.2.4與其他神經(jīng)網(wǎng)絡(luò)的對比

為了驗證本文方法的性能，本文對ReSENet、文獻(xiàn)[19]提出的6層CNN網(wǎng)絡(luò)(CNN-6)和文獻(xiàn)[20]提出的5層CNN網(wǎng)絡(luò)(CNN-5)使用同樣的樣本集分別進(jìn)行實驗。如圖10所示，ReSENet的訓(xùn)練準(zhǔn)確率遠(yuǎn)超過CNN-6[19]、CNN-5[20]，達(dá)到99.9%。

圖10 ReSENet與其他網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練準(zhǔn)確率對比

為進(jìn)一步顯示模型性能的差異，采用同類論文中常用的混淆矩陣顯示測試集上的實驗結(jié)果。如圖11所示，圖中橫軸表示類別的真實種類，縱軸表示預(yù)測種類。以圖11(a)為例，BPSK總計1 000幅，其中999幅預(yù)測正確，只有1幅被誤判為QPSK。由圖11可知，CNN-6對BPSK識別效果良好，但對QPSK及8PSK的識別效果較差；CNN-5對每類信號的識別較為均衡，但對各類信號的識別準(zhǔn)確率均較低。而ReSENet對每類圖片均具有最好的識別效果，對三類信號的識別準(zhǔn)確率達(dá)99.9%，較CNN-6提升了18.5%，較CNN-5提升了26.7%。

(a) ReSENet

(b) CNN-6[19]

(c) CNN-5[20]圖11 ReSENet與其他網(wǎng)絡(luò)結(jié)構(gòu)測試集效果對比

可以看出，本文使用的ReSENet結(jié)構(gòu)具有三大優(yōu)點：

(1) CNN-6[19]、CNN-5[20]均采用層數(shù)較少的卷積神經(jīng)網(wǎng)絡(luò)，而ReSENet具有27層多分支并行結(jié)構(gòu)，網(wǎng)絡(luò)越深越寬，其對應(yīng)的濾波器能夠提取到越復(fù)雜抽象的特征，越利于信號的準(zhǔn)確分類。

(2) CNN-6和CNN-5的卷積核尺寸分別為5×5、9×9而ReSENet使用了多個3×3和1×1卷積核進(jìn)行堆疊，以減少每步參數(shù)的計算量。

(3) 本文加入的SE模塊能夠?qū)W習(xí)特征通道間的相互依賴關(guān)系，提升有用特征通道對識別準(zhǔn)確率的貢獻(xiàn)。

4 結(jié) 語

本文針對MPSK子類信號難以用傳統(tǒng)方法自動識別、現(xiàn)有方法識別準(zhǔn)確率較低的問題，提出了一種新的深度卷積神經(jīng)網(wǎng)絡(luò)模型ReSENet。經(jīng)過實驗驗證，本文提出的ReSENet在MPSK數(shù)據(jù)集的分類上具有優(yōu)秀的表現(xiàn)，識別準(zhǔn)確率達(dá)到99.9%，實現(xiàn)了特征自提取的目的，解決了已有方法對調(diào)制信號子類識別準(zhǔn)確率不高的問題。但本文僅對MPSK子信號的識別進(jìn)行了研究，在后續(xù)工作中，可以考慮將進(jìn)一步完善網(wǎng)絡(luò)，將其應(yīng)用于多種調(diào)制信號，如MFSK、ASK和QAM等子類混合的識別任務(wù)中。