陳 煜,賀升權(quán),余 勤

(四川大學(xué) 電氣工程學(xué)院,成都 610065)

0 引 言

自動(dòng)調(diào)制識別技術(shù)是在先驗(yàn)知識不足和諸多參數(shù)未知(如信號功率、載波頻率、相位等)的情況下,通信系統(tǒng)接收端對接收信號調(diào)制類型進(jìn)行判別的技術(shù)。主流的調(diào)制識別方法主要分為三類:基于似然理論、基于特征提取[4-5]和基于深度學(xué)習(xí)[6-13]?；谧畲笏迫坏姆椒ㄓ捎谄鋸?fù)雜性的問題,在調(diào)制識別中存在很大的障礙?；谔卣魈崛〉姆椒ㄊ紫忍崛∪缢矔r(shí)時(shí)域參數(shù)、高階累積量、星座圖、循環(huán)譜、小波變換等有效特征,再通過支持向量機(jī)(Support Vector Machine,SVM)等機(jī)器學(xué)習(xí)方法對特征進(jìn)行擬合從而獲得用于調(diào)制識別的模型,但該方式需經(jīng)驗(yàn)判斷以對特征進(jìn)行設(shè)計(jì)。

在過去的幾年中,由于深度學(xué)習(xí)的快速發(fā)展,計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域取得了巨大研究進(jìn)展,因此有研究學(xué)者嘗試將數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法應(yīng)用于調(diào)制識別領(lǐng)域[6-13]。添加更多的特征到輸入和生成更深的對抗網(wǎng)絡(luò)可以提高信號的分類識別精度,但是,在移動(dòng)式或者嵌入式設(shè)備應(yīng)用場景中,如果模型過于龐大,系統(tǒng)可能面臨內(nèi)存不足、響應(yīng)速度慢的問題,故而大型網(wǎng)絡(luò)難以投入實(shí)際應(yīng)用。為此,設(shè)計(jì)一個(gè)參數(shù)少、響應(yīng)速度快的模型進(jìn)行訓(xùn)練是很有必要的[14-15]。

文獻(xiàn)[16]提出了一種輕型卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)制分類,0～18 dB的平均識別率為90%。文獻(xiàn)[17]使用了失真校正模塊和分類模塊,從時(shí)間和空間的角度有效提取信號特征,并減少冗余參數(shù)量以縮減模型大小。文獻(xiàn)[18]提取了信號的同相正交相關(guān)特征和時(shí)域特征,并輸入到輕量型的神經(jīng)網(wǎng)絡(luò)(IQCNet)中,平均識別率達(dá)到了86.94%。文獻(xiàn)[19]使用一維卷積、長短時(shí)記憶網(wǎng)絡(luò)構(gòu)建輕量級神經(jīng)網(wǎng)絡(luò)提取特征,在提升識別率的同時(shí)能夠減少訓(xùn)練參數(shù)數(shù)量、縮短訓(xùn)練時(shí)間。

本文利用深度可分離卷積的參數(shù)量小、特征提取能力強(qiáng)的優(yōu)點(diǎn),搭建基礎(chǔ)特征提取單元,使網(wǎng)絡(luò)模型輕量化;同時(shí)對部分輸入增添了跳躍式連接,以融合不同空間的特征;引入了通道洗牌操作,對通道及特征重新分配,加強(qiáng)了不同的通道間的特征學(xué)習(xí)能力。此外,對比了多種激活函數(shù),同時(shí)增加通道注意機(jī)制,使整個(gè)網(wǎng)絡(luò)可以根據(jù)不同通道的重要性進(jìn)行調(diào)整,從而避免冗余特征的干擾,提高整個(gè)網(wǎng)絡(luò)的表達(dá)能力。

1 快速調(diào)試識別算法

整體的調(diào)制識別框架如圖1所示。在特征提取階段,數(shù)據(jù)先后輸入到不同步長的基礎(chǔ)結(jié)構(gòu)中,得到了更加全局的、融合了不同通道及空間信息的特征。同時(shí)對每個(gè)基礎(chǔ)結(jié)構(gòu)網(wǎng)絡(luò)的輸出規(guī)定為64,128,256,然后使用基礎(chǔ)模塊的三階段端到端識別。

(a)整體流程

1.1 基礎(chǔ)結(jié)構(gòu)單元

已有研究提出了4個(gè)高效網(wǎng)絡(luò)指南[15],即G1——相同的輸入輸出通道寬度可以最小化內(nèi)存訪問成本;G2——過多的群卷積會增加內(nèi)存訪問成本,從而使模型速度變慢;G3——模型的分支數(shù)量越少,模型的速度越快;G4——元操作不能被忽略。元操作包括加(Add)、RelU、深度卷積(Depth-Wise convolution)等操作。

本文設(shè)計(jì)的兩種不同步長的基礎(chǔ)特征提取單元如圖1(b)所示,圖2為經(jīng)過這兩種不同步長的特征提取單元的維度細(xì)節(jié)變化圖。圖2(a)表示步長為2的降采樣特征提取單元,在每個(gè)單元開始,都將復(fù)制輸入從而生成左右兩分支,左分支由步長為2的深度可分離塊構(gòu)成,右分支由逐點(diǎn)卷積層和步長為2的深度可分離塊構(gòu)成。為滿足G1,令輸入和輸出通道相同。圖2(b)表示步長為1的基礎(chǔ)單元,在每個(gè)單元的開始,信道分割將特征通道數(shù)為c的輸入平均分為兩支,每支的通道數(shù)為c/2。按照準(zhǔn)則G3,右分支由逐點(diǎn)卷積層和步長為1的深度可分離塊構(gòu)成,為增加非線性,第一層的卷積核的個(gè)數(shù)為輸出的1/2;左分支的結(jié)構(gòu)不做處理。為了滿足G4,在卷積之后把兩個(gè)分支進(jìn)行融合,從而使得通道數(shù)量保持不變(G1),再進(jìn)行信道洗牌(Channel Shuffle)[15]操作來保證兩個(gè)分支間的通道間能進(jìn)行信息交流。

(a)步長為2的特征提取單元細(xì)節(jié)

不同步長的深度可分離塊的內(nèi)部結(jié)構(gòu)圖如圖3所示。由圖可見,逐通道卷積是對輸入的每個(gè)通道分別進(jìn)行卷積運(yùn)算,其能夠在保證特征提取的同時(shí)大量減少參數(shù)量,但此方式缺乏通道間的信息交流;而添加的逐點(diǎn)卷積能夠?qū)W習(xí)不同通道間在相同空間位置上的信息,重新組合生成新的特征圖,從而增加了特征的學(xué)習(xí)利用率。

圖3 不同步長的深度可分離塊的內(nèi)部結(jié)構(gòu)

在基礎(chǔ)特征提取單元中,本文將逐通道卷積的卷積核大小設(shè)為5×5,使卷積核不僅可以學(xué)習(xí) I/Q 通道的特征,也可以在一定范圍內(nèi)學(xué)習(xí)到信號的頻域信息;同時(shí),設(shè)置數(shù)量不同的卷積核的個(gè)數(shù)來增加整個(gè)網(wǎng)絡(luò)的非線性。

此外,為了增加特征通道之間的通信,提高網(wǎng)絡(luò)的特征提取能力,本文引入信道洗牌操作,即實(shí)現(xiàn)了特征重組,使信息可以在不同通道之間進(jìn)行流轉(zhuǎn)。假定將輸入層分為g組,總通道數(shù)為g×n,首先將通道維度拆分為(g,n)兩個(gè)維度,然后將這兩個(gè)維度轉(zhuǎn)置變成(n,g),最后重塑(reshape)成一個(gè)維度(g,n)。具體實(shí)現(xiàn)如圖4所示。

(a)普通卷積時(shí)的通道及特征變化

為了進(jìn)一步得到不同特征的通道的重要程度,并針對不同的任務(wù)增強(qiáng)或者抑制不同的通道,本文還引入了通道注意力機(jī)制[21]。這種注意力機(jī)制主要包括壓縮(Squeeze)和激勵(lì)(Excitation)兩部分。壓縮部分是利用全局平均池化技術(shù)(Global Average Pooling,GAP),將特征映射U壓縮到通道描述符z∈Rc,z的第c個(gè)元素zc可以通過以下公式計(jì)算:

(1)

式中:Fsq(uc)代表對第c個(gè)通道的特征映射uc進(jìn)行壓縮操作;H代表通道的高度;W代表通道的寬度。

為了能夠更好地實(shí)現(xiàn)特征復(fù)用,本文把輸入的特征和注意力機(jī)制輸出的特征進(jìn)行了融合,解決了深層網(wǎng)絡(luò)的梯度消失問題的同時(shí)加強(qiáng)了特征的傳播,有利于提高識別的準(zhǔn)確率。

1.2 激活函數(shù)

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)的大腦,它對深度神經(jīng)網(wǎng)絡(luò)的有效性和訓(xùn)練起著核心作用。從f(x)=|x|函數(shù)的光滑逼近中可以找到一個(gè)最大函數(shù)的一般逼近公式:

(2)

ReLU函數(shù)由這個(gè)公式推演而來,其公式為

fReLU(x)=max(0,x) 。

(3)

但ReLU函數(shù)存在“ReLU死亡問題”,即在網(wǎng)絡(luò)訓(xùn)練過程中,會使50%的神經(jīng)元死亡。為了進(jìn)一步的提升特征信息的利用率和網(wǎng)絡(luò)性能,本文引入了ReLU6激活函數(shù)和SMU激活函數(shù)[20],計(jì)算公式分別如(4)和式(5)所示:

fReLU6(x)=min(6,max(0,x)),

(4)

(5)

式中:α和μ為可學(xué)習(xí)的超參數(shù);erf()為高斯誤差函數(shù),

(6)

ReLU、ReLU6、SMU激活函數(shù)的圖像如圖5所示。對比ReLU6和ReLU可知,ReLU6 對輸出進(jìn)行了限制,在高維度時(shí)提高空間的特征利用率和避免了過擬合;對比SMU和ReLU可知,SMU在原點(diǎn)處具有更好的平滑性和可微特性,避免了信號在細(xì)節(jié)處的流失。在高緯度時(shí)采用SMU激活函數(shù),能使網(wǎng)絡(luò)模型在不過擬合的情況下提取到更加豐富的細(xì)節(jié)特征。

(a)ReLU激活函數(shù)圖像

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的是開源綜合生成數(shù)據(jù)集RML2016.10a進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集共220 000條IQ(In-phase Quadrature)數(shù)據(jù),有FM、AM-DSB、AM-SSB、BPSK、QPSK、8PSK、PAM4、QAM16、QAM64、GFSK和CPFSK等11種調(diào)制方式;信噪比范圍[-20,+18]dB,以2 dB為間隔共20種信噪比;每種信噪比下的每種調(diào)制類型的信號數(shù)量為1 000,每條IQ信號樣本長度為128,最后樣本維度表示為(220 000,2,128)。在樣本生成過程,除了加入噪聲外,還考慮了多徑衰落、采樣率偏移和頻率偏移等信道傳輸影響,以模擬真實(shí)的通信環(huán)境。

2.2 實(shí)驗(yàn)設(shè)置

本文硬件環(huán)境為Intel(R) CoreTM i9-9900K CPU @3.6 GHz,32 GB DDR4內(nèi)存及GeForce RTX 2080 Super(16 GB顯存)的64位計(jì)算機(jī)。

軟件平臺為Windows 10專業(yè)版操作系統(tǒng),Python 3.7(64位)及TensorFlow 2.5深度學(xué)習(xí)框架。在訓(xùn)練深度學(xué)習(xí)模型時(shí)使用TensorFlow-GPU版本,硬件加速減少訓(xùn)練時(shí)間。

訓(xùn)練過程中的batchsize設(shè)置為64,優(yōu)化器選用的Adam,初始學(xué)習(xí)率為0.001,并引入學(xué)習(xí)率衰減策略,即當(dāng)驗(yàn)證集準(zhǔn)確率在8個(gè)周期內(nèi)沒有提升,則學(xué)習(xí)率衰減為原來的1/10。數(shù)據(jù)集劃分是根據(jù)每種信噪比對應(yīng)的每一類調(diào)制信號以7∶1∶2的比例隨機(jī)劃分訓(xùn)練集、驗(yàn)證集和測試集。同時(shí)引入早停機(jī)制,即觀察驗(yàn)證集準(zhǔn)確率在15個(gè)周期內(nèi)有無提升,若沒有提升,則停止訓(xùn)練。

2.3 對比實(shí)驗(yàn)

2.3.1 總體識別精度

為體現(xiàn)本文所提出的模型的效果,選取CNN、ResNet-50、LSTM、Dense-121、CLDNN、Sepconv模型作為實(shí)驗(yàn)對比網(wǎng)絡(luò)模型,其中,ResNet-50模型具有50層,Dense-121模型具有121層,Sepconv模型為直接使用深度可分離卷積層代替本文模型中的深度可分離卷積塊得來。各個(gè)模型在各信噪比下識別率的比較結(jié)果如圖6所示,可見CNN的最高正確率為74%,ResNet-50的最高正確率有89%,LSTM的最高正確率為86%,CLDNN的最高正確率為87%,Dense-121的最高識別準(zhǔn)確率為90%,Sepconv模型的最高準(zhǔn)確率為87%,本文模型的識別準(zhǔn)確率最高,為91%。

圖6 各個(gè)模型的準(zhǔn)確率對比

在SNR∈[0,+18]dB時(shí)各個(gè)模型的準(zhǔn)確率對比如表1所示,可以看出當(dāng)信噪比大于0時(shí),本文的平均識別率為90.60%,比其他模型高出1.19%～17.62%。本文的算法將瞬時(shí)信息提取出來,豐富了特征的維度,同時(shí)利用深度可分離塊的輕量性優(yōu)點(diǎn),實(shí)現(xiàn)了對多種調(diào)制信號的快速、高精度識別。

表1 SNR∈[0,+18]dB時(shí)各個(gè)模型的準(zhǔn)確率對比

SepConv模型是由深度可分離卷積層代替本文模型中的深度可分離塊得來,但是本文模型中的深度可分離塊中分離出來的1×1逐點(diǎn)卷積不僅是平衡輸出通道的作用,還可以高效地低維嵌入單個(gè)特征池、卷積后再次進(jìn)行非線性映射,允許網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的功能[22]。得益于1×1逐點(diǎn)卷積的優(yōu)點(diǎn),本文提出模型的準(zhǔn)確率要高于SepConv模型的準(zhǔn)確率。

2.3.2 混淆矩陣對比分析

為了區(qū)分每一類信號的識別率,本文繪制了各個(gè)模型結(jié)構(gòu)產(chǎn)生的混淆矩陣,如圖7所示,橫軸表示預(yù)測的類型,縱軸表示真實(shí)的類型,對角線為各種調(diào)制信號的識別精度,顏色越深說明精度越高。由圖7可見,本文的模型在SNR=0 dB時(shí)有最好的識別率,表明本文的模型能夠更好地提取和學(xué)習(xí)特征的信息。

圖7 SNR=0 dB時(shí)不同模型生成的混淆矩陣對比

WBFM和AM-DSB都屬于連續(xù)調(diào)制,數(shù)據(jù)集中的WBFM和AM-DSB數(shù)據(jù)是通過采樣模擬音頻信號生成的,存在靜默周期,因此對于所有模型來說識別率都較低。而對于16QAM 和64QAM,它們同屬于正交幅度調(diào)制,在星座圖上是分布在一定范圍內(nèi)的相等模長不同相位或者相同相位不相等模長,一般需要使用兩種模型有針對性地對這兩種調(diào)制信號進(jìn)行識別。從圖7可以看出,相比于其余的5種算法,本文所提出的模型對16QAM 和64QAM的識別精度有明顯提升,表明本文的模型有較好的魯棒性,從而使得分類識別時(shí)有更好的效果。

2.3.3 激活函數(shù)對比分析

為了探究不同激活函數(shù)對模型效果產(chǎn)生的影響,本文通過改變相同卷積下的激活函數(shù)進(jìn)行實(shí)驗(yàn),在以上7個(gè)模型各自測試了15次,最后取平均值和方差,結(jié)果如表2所示。

表2 ReLU、ReLU6、SMU激活函數(shù)在不同的模型條件下對精度的影響

從表2可以看出,對比ReLU激活函數(shù),ReLU6激活函數(shù)的使用使模型的識別準(zhǔn)確率提高了1%～2%,主要原因是ReLU激活函數(shù)的輸出值范圍是[0,∞],低精度的float16無法精確描述其數(shù)值,會帶來精度損失,而ReLU6激活函數(shù)的輸出值范圍是[0,6],對輸出值進(jìn)行限制,使得在float16的低精度時(shí),也能有很好的數(shù)值分辨率;SMU激活函數(shù)的使用使模型的識別準(zhǔn)確率提高了1%～4%,它是由最大函數(shù)的平滑逼近而來的平滑激活函數(shù),在原點(diǎn)處有更好的平滑性和可微性,同時(shí),使用反向傳播技術(shù)更新可訓(xùn)練激活函數(shù)參數(shù),使得可訓(xùn)練的超參數(shù)更加滿足分類識別的要求,從而提高了分類識別精度。

方差的大小意味著每個(gè)變量與總體均數(shù)之間的差異。在統(tǒng)計(jì)學(xué)中,經(jīng)常用方差衡量隨機(jī)變量的離散程度,當(dāng)數(shù)據(jù)分布比較分散時(shí),數(shù)據(jù)波動(dòng)較大,從而意味著方差較大;反之?dāng)?shù)據(jù)波動(dòng)較小,方差較小。對比ReLU、ReLU6、SMU所對應(yīng)的實(shí)驗(yàn)可以看出,使用SMU激活函數(shù)的數(shù)據(jù)方差最小,這說明了這組數(shù)據(jù)的波動(dòng)較小,意味著使用SMU激活函數(shù)可以使結(jié)果更穩(wěn)定,有利于增加網(wǎng)絡(luò)模型的穩(wěn)定性。

2.3.4 復(fù)雜度分析

若假設(shè)輸入特征圖的大小為DF×DF×M,輸出特征圖的大小為DF×DF×N,卷積核大小為DK×DK×M,則普通卷積計(jì)算量為

P=DK×DK×M×N×DF×DF,

(7)

而逐通道卷積計(jì)算量為

P1=DK×DK×M×DF×DF,

(8)

逐點(diǎn)卷積計(jì)算量為

P2=DF×DF×M×N,

(9)

那么逐通道卷積與普通卷積的計(jì)算量比為

(10)

深度可分離卷積與普通卷積的計(jì)算量比為

(11)

通過式(7)～(11)的理論推導(dǎo)可知,本文所提模型計(jì)算量更小,有利于實(shí)際應(yīng)用的開展。通過實(shí)驗(yàn)數(shù)據(jù)對比了各個(gè)模型的時(shí)間復(fù)雜性和模型參數(shù)量,結(jié)果如表3和圖8所示。

表3 各個(gè)模型的深度和超參數(shù)量的對比

(a)各個(gè)模型的運(yùn)行時(shí)間對比

從表3可以看出,本文的模型結(jié)構(gòu)參數(shù)量為75 000,小于除SepConv模型以外的其他模型參數(shù),這說明了深度可分離塊的使用使得模型具有小巧、輕量的特征。根據(jù)圖8的對比可知,本文模型的運(yùn)行時(shí)間和參數(shù)量都小于CNN、CLDNN和LSTM,但是識別準(zhǔn)確率卻遠(yuǎn)高于這3種模型;對于識別精度相差不大的ResNet-50和Dense-121,本文提出的模型結(jié)構(gòu)運(yùn)行只需5.55 min,遠(yuǎn)遠(yuǎn)小于這兩種模型;而相比于SepConv模型,本文模型的運(yùn)行時(shí)間和參數(shù)量與之相差不大,但有5%的準(zhǔn)確率的提升,這說明本文的模型結(jié)構(gòu)具有良好的識別精度,同時(shí)在有限的訓(xùn)練周期內(nèi)收斂得更快。

3 結(jié)束語

針對現(xiàn)有調(diào)制識別只關(guān)注識別精度,導(dǎo)致模型參數(shù)量過大、識別時(shí)間過長等問題,本文設(shè)計(jì)了兩種不同步長的特征提取單元,兩者共同包含的深度可分離卷積結(jié)構(gòu)可有效地減少模型超參數(shù)及訓(xùn)練耗時(shí),為輕量型網(wǎng)絡(luò)的搭建提供了新思路。同時(shí),采用通道洗牌及全連接層加強(qiáng)通道間信息交流,提高了模型特征提取、復(fù)用及學(xué)習(xí)的能力;并采用注意力機(jī)制為不同特征通道進(jìn)行加權(quán),進(jìn)一步挖掘調(diào)制信號內(nèi)部的潛在特征,進(jìn)而提高了模型的識別準(zhǔn)確率。最后,為了保證模型的穩(wěn)定性,本文采用SMU激活函數(shù),相較于ReLU、ReLU6等激活函數(shù),其更能減小識別結(jié)果的波動(dòng)。本文模型和其他深度學(xué)習(xí)模型均在RML2016.10a數(shù)據(jù)集上進(jìn)行驗(yàn)證分析,結(jié)果表明所提模型具有識別率更高、穩(wěn)定性更好、超參數(shù)更少和擬合速度更快的明顯優(yōu)勢。

本文在設(shè)計(jì)相關(guān)調(diào)制識別模型過程中,需要人為優(yōu)化相關(guān)結(jié)構(gòu)及參數(shù),這些過程都相對耗時(shí),以后可借鑒神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,利用現(xiàn)代計(jì)算機(jī)的強(qiáng)大算力,自動(dòng)搜索設(shè)計(jì)適合調(diào)制識別任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。同時(shí),針對本文所設(shè)計(jì)的輕量化調(diào)制識別模型,所采用的深度可分離卷積還比較簡單,未來還可采用更先進(jìn)的卷積函數(shù),對模型進(jìn)行壓縮,以取得更加高效的調(diào)制識別性能。