陳 昊,郭文普,康 凱

(火箭軍工程大學(xué) 作戰(zhàn)保障學(xué)院,西安 710025)

0 引 言

自動(dòng)調(diào)制識(shí)別(Automatic Modulation Recognition,AMR)用于檢測(cè)截獲信號(hào)的調(diào)制類型,為信息獲取提供前提保證。作為信號(hào)檢測(cè)和解調(diào)的關(guān)鍵環(huán)節(jié),自動(dòng)調(diào)制識(shí)別在多個(gè)領(lǐng)域得到了廣泛應(yīng)用,如頻譜檢測(cè)、頻譜感知、認(rèn)知無(wú)線電等。

傳統(tǒng)的AMR方法可以分為兩類:基于最大似然的方法[1]和基于特征的方法[2-3]?；谧畲笏迫坏姆椒ㄔ谪惾~斯假設(shè)下通過(guò)最大似然方式獲得理論最優(yōu)的識(shí)別效果,但需已知噪聲和信道參數(shù)場(chǎng)景?；谔卣鞯姆椒ㄊ紫忍崛⌒盘?hào)特征,而后利用如決策樹、人工神經(jīng)網(wǎng)絡(luò)及支持向量機(jī)等分類器[4-5]完成分類,但需要用專業(yè)知識(shí)設(shè)計(jì)特征,且設(shè)計(jì)的特征不夠具有代表性,極易受噪聲的干擾。

深度學(xué)習(xí)(Deep Learning,DL)已經(jīng)在AMR領(lǐng)域得到了廣泛的探索。文獻(xiàn)[6]首次提出卷積無(wú)線電調(diào)制識(shí)別網(wǎng)絡(luò),性能優(yōu)于基于專家特征的分類器性能。文獻(xiàn)[7]借鑒圖像處理領(lǐng)域殘差網(wǎng)絡(luò)(Residual Network,ResNet)和密集連接網(wǎng)絡(luò)(Densely Connected Network,Densenet),建立對(duì)應(yīng)調(diào)制識(shí)別模型,通過(guò)跳躍連接來(lái)加強(qiáng)不同層之間的特征傳播,并同時(shí)引入了一種卷積長(zhǎng)短期深度神經(jīng)網(wǎng)絡(luò)模型(Convolutional Long Short-Term Deep Neural Network,CLDNN)。文獻(xiàn)[8-9]通過(guò)CNN和GRU(Gate Recurrent Unit,GRU)的有效結(jié)合來(lái)提升網(wǎng)絡(luò)模型的特征提取能力。文獻(xiàn)[10]對(duì)I/Q數(shù)據(jù)進(jìn)行預(yù)處理得到振幅和相位,再經(jīng)過(guò)雙層LSTM進(jìn)行特征提取。文獻(xiàn)[11]將信號(hào)的高階累積量、瞬時(shí)特征和循環(huán)譜作為輸入,利用CNN和GRU并向網(wǎng)絡(luò)進(jìn)行特征提取。文獻(xiàn)[12]在CNN模型中引入注意力機(jī)制。文獻(xiàn)[13]提出了一種輕量化設(shè)計(jì)方案,從時(shí)間和空間的角度有效提取信號(hào)特征,減少冗余參數(shù)。但是,上述神經(jīng)網(wǎng)絡(luò)模型均存在不足:涉及的卷積網(wǎng)絡(luò)模塊都是分層疊加的,導(dǎo)致網(wǎng)絡(luò)層的感受野范圍有所受限,特征提取不夠充分,低信噪比條件下自動(dòng)調(diào)制識(shí)別準(zhǔn)確率不高。

文獻(xiàn)[14]提出了一種新的構(gòu)建塊Res2Net,在卷積塊中構(gòu)造分組殘差連接,增加網(wǎng)絡(luò)層的感受野范圍,與利用分層卷積提取特征方法相正交,在參數(shù)數(shù)量和計(jì)算開銷基本不變的條件下特征提取更加細(xì)粒度化,在語(yǔ)音識(shí)別[15]、時(shí)間序列分析[16]和對(duì)象檢測(cè)[17]上取得了不錯(cuò)的應(yīng)用效果。文獻(xiàn)[18]關(guān)注特征通道之間的依賴關(guān)系,提出了新的架構(gòu)單元SENet,通過(guò)顯式地建模通道之間的依賴關(guān)系,自適應(yīng)重新校準(zhǔn)通道方向的特征響應(yīng),使用全局信息來(lái)選擇性強(qiáng)調(diào)重要特征,抑制不太有用的特征。SENet可易集成到其他網(wǎng)絡(luò)結(jié)構(gòu)中,如SE-ResNet[19]、SENet-TCN[20]等,在參數(shù)少量增加的代價(jià)下網(wǎng)絡(luò)模型得到了較好優(yōu)化。文獻(xiàn)[10]和文獻(xiàn)[20]均在識(shí)別模型中加入雙層LSTM模塊,可以有效處理序列數(shù)據(jù),提取時(shí)域相關(guān)性,取得了較好的識(shí)別效果。

本文針對(duì)卷積網(wǎng)絡(luò)模塊都是分層疊加的,導(dǎo)致網(wǎng)絡(luò)層的感受野范圍有所受限,特征提取不夠充分,低信噪比條件下自動(dòng)調(diào)制識(shí)別準(zhǔn)確率不高的問(wèn)題,將SENet模塊作為門控機(jī)制集成到Res2Net模塊中,構(gòu)建得到門控Res2Net模塊,用于替換ResNet模型[7]中的前兩個(gè)卷積層,并在卷積網(wǎng)絡(luò)后加入雙層LSTM,利用LSTM對(duì)長(zhǎng)時(shí)序列的記憶有效性對(duì)卷積特征進(jìn)行序列建模,綜合提出了通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)調(diào)制識(shí)別模型。在基準(zhǔn)數(shù)據(jù)集上與相關(guān)模型性能的比較結(jié)果表明,本文所提模型能取得更高的識(shí)別準(zhǔn)確率。

1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)

本文提出的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型主要由1維卷積層、門控Res2Net模塊、2維卷積層、長(zhǎng)短期記憶層和全連接層組成,相關(guān)詳細(xì)參數(shù)如表1所示,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

表1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)參數(shù)

圖1 通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)

1維卷積層利用1×1卷積核進(jìn)行特征圖升維,門控Res2Net模塊將輸入特征圖均分成4份,利用在卷積塊中構(gòu)造分層殘差連接的方式提取多尺度特征,對(duì)應(yīng)卷積核維度分別是1×3和2×3。在殘差連接處加入SENet作為門控單元,學(xué)習(xí)特征通道之間的關(guān)系,并自適應(yīng)調(diào)整相關(guān)權(quán)重,更新優(yōu)化特征層。經(jīng)過(guò)殘差連接后,加強(qiáng)不同層之間的特征傳播,將初始卷積特征與經(jīng)過(guò)門控Res2Net模塊后的多尺度特征進(jìn)行融合,而后通過(guò)兩層2維卷積層進(jìn)行特征圖降維,改變特征數(shù)據(jù)排序后送入LSTM進(jìn)行特征序列建模,學(xué)習(xí)特征之間的關(guān)聯(lián)性,最后通過(guò)維度分為128和11的全連接層進(jìn)行調(diào)制樣式識(shí)別。

1.1 Res2Net

在多個(gè)尺度上表示特征對(duì)于計(jì)算機(jī)視覺(jué)任務(wù)具有重要意義。與大多數(shù)卷積網(wǎng)絡(luò)以分層的方式表示多尺度特征不同,圖2所示的Res2Net模塊通過(guò)在卷積塊中構(gòu)造分層殘差連接,增加網(wǎng)絡(luò)層的感受野范圍,在更細(xì)粒度的水平上提高了多尺度表示能力。

圖2 Res2Net模塊

作用機(jī)理為:將輸入特征圖分為s組,用xii∈{1,2,…,s}表示,每個(gè)特征圖子集空間尺寸相同,ki表示卷積操作,特征子集xi與上一層卷積輸出ki-1()相加后進(jìn)行再卷積ki()。因?yàn)榉謮K殘差卷積操作,促使特征圖在多次卷積后有更大更細(xì)的感受野,有利于全局信息和局部信息的提取與融合。

(1)

1.2 SENet

SENet稱為壓縮與激勵(lì)網(wǎng)絡(luò),通過(guò)顯式地建模卷積特征通道之間的權(quán)重關(guān)系,從而來(lái)提高網(wǎng)絡(luò)產(chǎn)生特征的表示質(zhì)量。SENet模塊結(jié)構(gòu)如圖3所示。

圖3 SENet模塊

其作用機(jī)理是:輸入為C個(gè)特征圖,維度為H×W,首先進(jìn)行全局平均池化,此時(shí)各特征圖分別對(duì)應(yīng)一個(gè)權(quán)值;對(duì)權(quán)值整體通過(guò)Sigmoid函數(shù)進(jìn)行自適應(yīng)更新,將更新權(quán)值與原特征圖進(jìn)行相乘,通過(guò)學(xué)習(xí)全局信息來(lái)選擇性強(qiáng)調(diào)有用信息特征,抑制不太有用的特征。

由于新的卷積網(wǎng)絡(luò)模型的設(shè)計(jì)與開發(fā)是一項(xiàng)困難的工程任務(wù),通常需要選擇許多新的超參數(shù)和圖層配置,相比之下,SENet模塊結(jié)構(gòu)簡(jiǎn)單,可直接應(yīng)用于現(xiàn)有的架構(gòu)中,從而有效提高網(wǎng)絡(luò)性能,并且SENet在參數(shù)規(guī)模上也是輕量級(jí)的,只會(huì)略微增加模型的復(fù)雜性和計(jì)算負(fù)擔(dān)。因此,本文將SENet與Res2Net模塊進(jìn)行融合,得到門控Res2Net模塊,如圖4所示。

圖4 門控Res2Net

1.3 LSTM

遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)被廣泛用于從時(shí)間序列數(shù)據(jù)中學(xué)習(xí)持久性特征。LSTM是一種特殊類型的RNN,它在學(xué)習(xí)長(zhǎng)期依賴關(guān)系方面非常有效。LSTM單元結(jié)構(gòu)如圖5所示,由輸入門、遺忘門和輸出門組成,可以在保留重要信息的同時(shí)遺忘無(wú)關(guān)信息,更好地處理長(zhǎng)時(shí)間依賴性問(wèn)題,本文將LSTM用于卷積網(wǎng)絡(luò)層后,對(duì)卷積特征進(jìn)行序列建模,提升特征提取的有效性。

2 實(shí)驗(yàn)結(jié)果與分析

先給出實(shí)驗(yàn)數(shù)據(jù)和參數(shù)設(shè)置,然后設(shè)置兩個(gè)實(shí)驗(yàn)來(lái)評(píng)估基于通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)的性能。為確保實(shí)驗(yàn)公平公正,本文對(duì)比對(duì)象為使用RML2016.10a公開數(shù)據(jù)集進(jìn)行訓(xùn)練的網(wǎng)絡(luò),第一個(gè)實(shí)驗(yàn)主要用于評(píng)估卷積層替換為門控Res2Net模塊和加上LSTM模塊的有效性,第二個(gè)實(shí)驗(yàn)用于將本文所提模型與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在分類準(zhǔn)確率上進(jìn)行對(duì)比。

2.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置

為方便對(duì)比驗(yàn)證所提模型的性能,本文使用GNU無(wú)線電生成的Radio2016.10a作為數(shù)據(jù)集。該數(shù)據(jù)集包含WBFM、AM-DSB、AM-SSB、BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK和8PSK共11種常用調(diào)制信號(hào),每種調(diào)制信號(hào)信噪比范圍為-20～18 dB,每間隔2 dB生成1 000個(gè)樣本,共生成220 000個(gè)調(diào)制信號(hào)。該數(shù)據(jù)集每個(gè)信號(hào)長(zhǎng)度為128,由實(shí)部I分量和虛部Q分量合并存儲(chǔ)為一個(gè)復(fù)數(shù)組,在模擬惡劣的傳播環(huán)境中產(chǎn)生,如高斯白噪聲、多路徑衰落、采樣率偏移、中心頻率偏移等。

將數(shù)據(jù)集內(nèi)各調(diào)制樣式單個(gè)信噪比的信號(hào),以6∶2∶2隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。梯度更新的批處理大小為400,使用Adam優(yōu)化器,交叉熵?fù)p失作為損失函數(shù),如果驗(yàn)證損失在10個(gè)時(shí)期內(nèi)沒(méi)有改善則利用回調(diào)函數(shù)減半學(xué)習(xí)率,如果驗(yàn)證損失在50個(gè)時(shí)期內(nèi)沒(méi)有改善則利用回調(diào)函數(shù)停止訓(xùn)練。所有實(shí)驗(yàn)在單個(gè)NVIDIA GeForce GTX1050Ti GPU上運(yùn)行。

2.2 模塊有效性

為探究本文提出卷積模塊替換為門控Res2Net模塊和加入LSTM模塊對(duì)網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率的影響,設(shè)置了第一個(gè)實(shí)驗(yàn),3個(gè)對(duì)比對(duì)象分別為:對(duì)象1是文獻(xiàn)[7]提出的ResNet模型;對(duì)象2是在對(duì)象1基礎(chǔ)上將前兩個(gè)卷積模塊換為門控Res2Net模塊,其中卷積層內(nèi)卷積核數(shù)量及維度保持一致;對(duì)象3是在對(duì)象2的基礎(chǔ)上,在卷積網(wǎng)絡(luò)后加上雙層LSTM模塊,即為本文提出的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)。不同模塊組成在不同信噪比下的識(shí)別準(zhǔn)確率如圖6所示。

圖6 不同模塊組成下模型識(shí)別準(zhǔn)確率

從圖6中可以看出,整體上隨著卷積層替換為門控Res2Net模塊和添加LSTM模塊,模型在各信噪比上識(shí)別精度均有一定提升,尤其是替換為門控Res2Net模塊后,相較于ResNet模型在信噪比大于0 dB后有7%～9%的準(zhǔn)確率提升,且原卷積模塊與門控Res2Net模塊兩者參數(shù)量相差不大,說(shuō)明了門控Res2Net模塊對(duì)于特征獲取和調(diào)制識(shí)別的有效性。在卷積網(wǎng)絡(luò)后加入雙層LSTM,使得模型較為復(fù)雜,運(yùn)行時(shí)間有所增加,但在可接受范圍內(nèi),并且因?yàn)樘砑覮STM模塊,使得卷積層不用直接與全連接層相連,參數(shù)量得以減少,如表2所示。

表2 不同模塊組成下模型運(yùn)行時(shí)長(zhǎng)及參數(shù)量對(duì)比

2.3 不同模型識(shí)別準(zhǔn)確率比較

圖7給出了本文所提模型與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在識(shí)別準(zhǔn)確率上的對(duì)比結(jié)果。

圖7 Radio2016.10a下不同網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率

由圖7可知,本文所提網(wǎng)絡(luò)模型在不同信噪比下識(shí)別準(zhǔn)確率優(yōu)于其他模型,當(dāng)信噪比大于2 dB時(shí)平均識(shí)別準(zhǔn)確率在91%以上,在信噪比為12 dB時(shí)準(zhǔn)確率達(dá)到92.68%,而其他網(wǎng)絡(luò)最高識(shí)別準(zhǔn)確率依次為84.9%(CLDNN),90%(PET-CGDNN),84.2% (CGDNet),90.9%(LSTM)。不同網(wǎng)絡(luò)模型的參數(shù)量和大于0 dB后平均識(shí)別準(zhǔn)確率如表3所示。

表3 參數(shù)量和平均識(shí)別準(zhǔn)確率對(duì)比

由表3可知,本文所提網(wǎng)絡(luò)模型在與傳統(tǒng)CLDNN模型參數(shù)量基本相同的前提下,平均識(shí)別準(zhǔn)確率提升了約7%。輕量化模型PET-CGDNN、CGDNet和LSTM通過(guò)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)在降低參數(shù)數(shù)量的同時(shí)識(shí)別準(zhǔn)確率隨之降低。本文所提通道門控Res2Net網(wǎng)絡(luò)雖然參數(shù)量較大,但在輕量化網(wǎng)絡(luò)模型的基礎(chǔ)上,并非簡(jiǎn)單地增加參數(shù)就能獲得更好的識(shí)別準(zhǔn)確率,如本文采用的LSTM模型(層數(shù)為2,每層單元數(shù)為128),文獻(xiàn)[10]在不同層數(shù)和不同單元數(shù)下進(jìn)行了對(duì)比實(shí)驗(yàn),結(jié)果表明,在網(wǎng)絡(luò)結(jié)構(gòu)固定時(shí),增加每層單元數(shù),即增加用于表征的參數(shù)數(shù)量并不會(huì)帶來(lái)較大性能提升。如在LSTM模型層數(shù)為2和3時(shí),單層單元數(shù)由128調(diào)整到256,但網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率未有提升。

為進(jìn)一步證明通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別有效性,本文選擇信噪比為4 dB時(shí)各網(wǎng)絡(luò)的識(shí)別結(jié)果,并以混淆矩陣的形式表示出來(lái),如圖8所示。

圖8 信噪比為4 dB時(shí)各網(wǎng)絡(luò)識(shí)別混淆矩陣

從混淆矩陣中可以發(fā)現(xiàn),識(shí)別錯(cuò)誤主要在16QAM與64QAM之間和AM-DSB與WBFM之間,原因可能是16QAM和64QAM因在數(shù)字域存在大量重疊星座點(diǎn)而引起混淆,AM-DSB和WBFM兩者均為連續(xù)調(diào)制,均通過(guò)模擬音頻信號(hào)產(chǎn)生,兩者特征在復(fù)平面上趨于一致。

為進(jìn)一步證明通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型的泛化性,將其與CLDNN[7]、PET-CGDNN[8]、CGDNet[9]和LSTM[10]在更大的基準(zhǔn)數(shù)據(jù)集Radio2016.10b下進(jìn)行訓(xùn)練驗(yàn)證,識(shí)別準(zhǔn)確率如圖9所示。

從圖9中可以看出,本文所提的通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率優(yōu)于其他對(duì)比模型,在更大規(guī)模數(shù)據(jù)集下驗(yàn)證了其具有較強(qiáng)的泛化性。

3 結(jié)束語(yǔ)

針對(duì)低信噪比下如何提高自動(dòng)調(diào)制識(shí)別準(zhǔn)確率的問(wèn)題,本文提出了通道門控Res2Net卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)調(diào)制識(shí)別模型。該模型主要在ResNet模型的基礎(chǔ)上,通過(guò)將卷積層替換為門控Res2Net模塊使得特征提取更加細(xì)粒度化,自適應(yīng)調(diào)整特征通道權(quán)重,并在卷積網(wǎng)絡(luò)后加入雙層LSTM對(duì)卷積特征進(jìn)行序列建模?；鶞?zhǔn)數(shù)據(jù)集仿真實(shí)驗(yàn)證明,本文提出的網(wǎng)絡(luò)在不同信噪比下識(shí)別精度均有一定提升,證實(shí)了引入的多尺度卷積模塊、門控機(jī)制和長(zhǎng)短期記憶網(wǎng)絡(luò)的有效性。

但是,本文模型復(fù)雜度和計(jì)算量依然較大,不利于計(jì)算資源受限的邊緣通信設(shè)備應(yīng)用部署,因此,在后續(xù)工作中將圍繞模型輕量化進(jìn)行研究論證。