楊小蒙，張 濤，莊建軍，唐 震1b,

(1.南京信息工程大學(xué) a.電子與信息工程學(xué)院；b.計(jì)算機(jī)與軟件學(xué)院，南京 210044;2.國防科技大學(xué)第六十三研究所，南京 210007)

0 引 言

隨著通信技術(shù)的發(fā)展，調(diào)制方式變的越來越復(fù)雜，用頻設(shè)備不斷增多，這對自動調(diào)制識別技術(shù)提出了新的要求?；谔卣魈崛〉哪Ｊ阶R別越來越受重視，研究者正積極尋找新的特征參數(shù)和設(shè)計(jì)更好的分類規(guī)則來達(dá)到更好的自動調(diào)制識別性能。目前，常見的特征提取方法大都從時(shí)域、頻域等維度提取調(diào)制信號的瞬時(shí)統(tǒng)計(jì)特征[1]、高階累積量[2-3]和循環(huán)譜等特征[4]，在一定情況下能夠準(zhǔn)確識別不同調(diào)制類型的信號，識別速度相對較快，但是需要人工提取特征，選擇哪種特征依賴于人的專業(yè)知識，而且閾值難以確定。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學(xué)習(xí)的一個分支，憑借其在圖像分類上的優(yōu)越性能，能夠把調(diào)制信號的識別問題轉(zhuǎn)化為圖像分類問題，從圖像中自動提取特征，受到了研究者們的關(guān)注[5-14]。模型剪枝作為模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計(jì)算量。文獻(xiàn)[15]基于權(quán)重修剪網(wǎng)絡(luò)中不重要的連接，在ImageNet數(shù)據(jù)集上，在不損失精度的同時(shí)將AlexNet和VGG-16的參數(shù)數(shù)量分別減少了9倍和13倍。文獻(xiàn)[16]對整個層進(jìn)行修剪，提出一種結(jié)構(gòu)化稀疏學(xué)習(xí)(Structured Sparsity Learning，SSL)方法來正則化深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)的結(jié)構(gòu)，將20層的ResNet減少到了18層，并把識別率從91.25%提高到了92.60%。

文獻(xiàn)[15]和[16]分別把剪枝對象作用于細(xì)粒度的權(quán)重級別和粗粒度的層級別上，雖然減少了模型的資源消耗，但是不能兼具靈活性和通用性。受其啟發(fā)，本文著眼于解決低復(fù)雜度約束條件下電磁調(diào)制信號識別問題，提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)(Sparse Deep Neural Network，SDNN)的電磁信號調(diào)制識別算法，把剪枝對象作用于通道上，而通道級別的剪枝在靈活性和易于實(shí)現(xiàn)之間實(shí)現(xiàn)了很好的權(quán)衡。實(shí)驗(yàn)結(jié)果表明，選取50%為剪枝率對模型剪枝后，提出的稀疏深度神經(jīng)網(wǎng)絡(luò)能夠有效降低模型存儲和計(jì)算成本，在精度損失0.2%的前提下，模型的參數(shù)量減少了72%，每秒浮點(diǎn)運(yùn)算次數(shù)減少了45%。

1 信號圖像域特征提取

常見的4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM等調(diào)制信號的基帶波形為

(1)

式中：g(t)為等效濾波器；v(t)為加性高斯白噪聲；an為調(diào)制信號符號序列。不同調(diào)制信號的信號序列具體設(shè)計(jì)如下：

對于ASK類信號，有

an=In+jQn。

(2)

式中：In∈{1，2,…,M-1}，M為調(diào)制進(jìn)制數(shù)；Qn=0。

對于PSK類信號，有

(3)

對于 QAM 類信號，有

an=In+jQn。

(4)

對調(diào)制信號進(jìn)行正交解調(diào)獲取I/Q兩路數(shù)據(jù)，繪制出信號星座圖后，以每一信號點(diǎn)為中心，為各點(diǎn)劃定邊長為r的矩形區(qū)域，分別計(jì)算星座圖中各信號點(diǎn)在各自矩形區(qū)域的信號點(diǎn)個數(shù)d，也即矩形區(qū)域的密度表征，依據(jù)d的大小為各信號點(diǎn)上色，增強(qiáng)圖像特征。以8PSK為例，星座圖依據(jù)點(diǎn)密度上色示意圖如圖1所示。

圖1 8PSK依據(jù)點(diǎn)密度上色示意圖

在信噪比為0 dB、6 dB以及10 dB的高斯白噪聲下，可得8種信號的數(shù)據(jù)處理效果，如圖2所示。

圖2 不同信噪比噪聲下的信號處理效果

2 稀疏深度神經(jīng)網(wǎng)絡(luò)

AlexNet由Krizhevsky等人在2012年ImageNet競賽中提出，并以顯著優(yōu)勢贏得了比賽冠軍。AlexNet模型整體結(jié)構(gòu)先采用卷積層提取圖片特征，然后采用全連接層對特征分類。與全連接層相比，卷積層采用局部連接和權(quán)值共享的方式進(jìn)行數(shù)據(jù)傳遞，減少了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。因此，為了減少模型的資源消耗，對AlexNet模型進(jìn)行改進(jìn)。首先仍然采用卷積層提取圖片特征。與AlexNet模型不同的是，改進(jìn)型AlexNet采用卷積層代替全連接層對特征分類。為了進(jìn)一步加快網(wǎng)絡(luò)訓(xùn)練速度，在每一卷積層后，ReLu激活函數(shù)前加上批歸一化(Batch Normalization，BN)層。整體結(jié)構(gòu)如圖3所示，其中每個Block層由三部分組成，分別是卷積層、BN層、ReLU激活層。卷積層用于提取圖片特征；BN層用于對特征數(shù)據(jù)歸一化，加快網(wǎng)絡(luò)訓(xùn)練；ReLU激活層用于加入非線性因素，提高模型的表達(dá)能力。

圖3 改進(jìn)型AlexNet整體結(jié)構(gòu)

模型剪枝是模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計(jì)算量，讓模型更加緊湊高效，而模型稀疏化是一種模型剪枝的有效方法。先前的研究表明，稀疏性可以在不同的級別上實(shí)現(xiàn)，例如權(quán)重級別、核級別、通道級別或?qū)蛹墑e。相比于權(quán)重級的實(shí)現(xiàn)難度和層級的低靈活性，通道級稀疏性在靈活性和易于實(shí)現(xiàn)之間提供了一個很好的折中，它可以應(yīng)用于任何典型的CNN或完全連接的網(wǎng)絡(luò)(將每個神經(jīng)元視為一個通道)。通道級稀疏性為每個通道引入一個縮放因子γ，乘以該通道的輸出；然后，聯(lián)合網(wǎng)絡(luò)權(quán)重和這些縮放因子，并對后者施加稀疏性正則化；最后，修剪那些小縮放因子通道，并微調(diào)被修剪的網(wǎng)絡(luò)。本文以改進(jìn)型AlexNet為原模型，利用通道級稀疏性剪枝算法對模型進(jìn)行壓縮，具體流程如圖4所示。

圖4 模型壓縮流程圖

2.1 通道稀疏化

上述改進(jìn)型AlexNet模型中設(shè)置了BN層，不僅可以加快訓(xùn)練速度，提高網(wǎng)絡(luò)泛化能力，層中的縮放因子γ也可以用來評估模型通道的重要性。BN層運(yùn)算公式如下所示：

(5)

如公式(5)所示，縮放因子γ與通道的輸出相乘，所以γ的大小直接影響B(tài)N層輸出的大小。若BN層輸出越小，那么通過激活函數(shù)后的輸出就越接近于0，后續(xù)的輸出均近似0，因此該通道對整體網(wǎng)絡(luò)的增益微乎其微，可以認(rèn)為縮放因子γ的值近似等于該通道對網(wǎng)絡(luò)的貢獻(xiàn)值。因此可以將BN層的γ參數(shù)作為縮放因子與深度學(xué)習(xí)網(wǎng)絡(luò)中的每一個通道相關(guān)聯(lián)，評估每一個通道的重要性。

為了讓網(wǎng)絡(luò)自動識別不重要的通道，對縮放因子γ實(shí)施稀疏性懲罰，在原來的損失函數(shù)中增加一項(xiàng)關(guān)于γ的正則化，讓縮放因子與網(wǎng)絡(luò)權(quán)重一起被優(yōu)化。公式如下：

(6)

式中：x,y是訓(xùn)練輸入和目標(biāo)；W是網(wǎng)絡(luò)中可訓(xùn)練參數(shù)；g(·)是在縮放因子上的懲罰項(xiàng)；λ是兩項(xiàng)的平衡因子。式(6)中的第一項(xiàng)是訓(xùn)練損失函數(shù)，第二項(xiàng)是稀疏正則化項(xiàng)。

2.2 剪枝和微調(diào)

通過稀疏正則化訓(xùn)練后，模型中許多縮放因子都會趨于0。接著按從小到大的順序?qū)s放因子的絕對值排序，然后為整個網(wǎng)絡(luò)所有層設(shè)置剪枝率作為所有縮放因子值的一個比例，剪枝時(shí)按照這個比例剪掉網(wǎng)絡(luò)中相應(yīng)的通道。如圖5所示，卷積層卷積核數(shù)目與輸出通道特征圖一一對應(yīng)，虛線矩形框?qū)?yīng)的縮放因子在剪枝范圍內(nèi)，剪枝后，經(jīng)過剔除冗余的卷積核，就可以得到一個較少參數(shù)、運(yùn)行時(shí)占內(nèi)存小、低計(jì)算量的緊湊網(wǎng)絡(luò)。

圖5 模型剪枝

經(jīng)過較大規(guī)模的剪枝后，改進(jìn)型AlexNet模型中各卷積層冗余的通道被剔除，網(wǎng)絡(luò)性能會有所降低。為了恢復(fù)網(wǎng)絡(luò)性能，需要對壓縮后的模型進(jìn)行微調(diào)(再訓(xùn)練)。如圖6所示，將上色星座圖輸入剪枝后的模型，調(diào)整網(wǎng)絡(luò)權(quán)重，恢復(fù)因剪枝損失的精度，其中，S(S={s1,s2,…,sn},n=8)為剪枝前各卷積層通道數(shù)集合，Sp(Sp={p1,p2,…,pn},n=8)為剪枝后通道數(shù)集合，pi

圖6 微調(diào)示意圖

3 實(shí)驗(yàn)與評估

實(shí)驗(yàn)選取的8種調(diào)制信號分別是4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM，均由Matlab仿真生成。信道環(huán)境是加性高斯白噪聲，信噪比范圍是0～10 dB。數(shù)據(jù)集中，訓(xùn)練集與測試集的比為7∶3。訓(xùn)練集每類調(diào)制信號每個信噪比下生成700個樣本，測試集每類調(diào)制信號每個信噪比下生成300個樣本，每個樣本均由10 000個采樣點(diǎn)生成。實(shí)驗(yàn)基于PyTorch深度學(xué)習(xí)框架構(gòu)建了改進(jìn)型AlexNet和剪枝模型，選取Adam作為優(yōu)化器，分別對實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行訓(xùn)練和測試。為驗(yàn)證本文提出的SDNN對于調(diào)制信號的識別性能以及資源消耗，實(shí)驗(yàn)主要分兩步：首先，針對不同剪枝率下模型性能有所差別，分析在不同剪枝率下模型對于調(diào)制信號的識別性能和資源消耗，選取合適的剪枝率；然后，為分析本文所提網(wǎng)絡(luò)SDNN對調(diào)制信號的識別性能以及資源消耗，與傳統(tǒng)AlexNet、VGG16模型以及剪枝前的IAlexM模型進(jìn)行對比分析。

3.1 剪枝率選取

隨著剪枝率的提高，模型參數(shù)量和計(jì)算量逐漸減少，與此同時(shí)，模型識別率也會下降，剪枝率過小或過大都不能同時(shí)兼顧模型資源消耗和識別性能。因此需要選取一個適中的剪枝率。實(shí)驗(yàn)選取10%～90%為剪枝率p范圍，間隔為10%依次對原模型進(jìn)行剪枝，分析各剪枝率下的模型壓縮情況。如表1所示(p=0代表原模型)，隨著剪枝率的提高，除了作為輸出層不參與剪枝的Conv8外，模型各卷積層通道數(shù)逐漸減少。

剪枝后，對模型進(jìn)行再訓(xùn)練(微調(diào))，恢復(fù)模型識別性能。微調(diào)后，為了比較不同剪枝率下的模型識別性能，分別以各剪枝率下的剪枝模型對電磁信號進(jìn)行訓(xùn)練和測試，得出不同剪枝率下的整體識別率，評估識別性能。如圖7(b)所示，模型收斂時(shí)，隨著剪枝率的提高，模型識別率逐漸降低。剪枝前，原模型的識別率為97%；剪枝后，剪枝率小于50%時(shí)模型總體識別率幾乎沒有損失，精度損失約在1%以內(nèi)；但是當(dāng)剪枝率大于50%時(shí)，模型總體識別率下降速度加快，剪枝率為60%時(shí)精度損失約3%，剪枝率為70%和80%時(shí)精度損失約6%，剪枝率為90%時(shí)精度下降嚴(yán)重，與原模型將近97%的識別率相差約10%。

表1 改進(jìn)型AlexNet各卷積層在不同剪枝率下剪枝后的通道數(shù)量

圖7 各剪枝率下剪枝前后整體識別率對比圖

從以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，隨著剪枝率的提高，模型通道數(shù)逐漸降低，識別準(zhǔn)確率逐漸減少。為了兼顧識別率和壓縮率，選取拐點(diǎn)50%為剪枝率時(shí)精度損失不大，且壓縮率較高。

3.2 識別性能分析

由3.1節(jié)實(shí)驗(yàn)分析，選取50%為剪枝率對改進(jìn)型AlexNet模型IAlexM進(jìn)行剪枝，并對模型再次訓(xùn)練，恢復(fù)損失的精度，最終獲得SDNN。為分析本文所提網(wǎng)絡(luò)對于調(diào)制信號的識別性能，首先將調(diào)制信號數(shù)據(jù)集分別輸入AlexNet、VGG16、IAlexM以及SDNN進(jìn)行對比實(shí)驗(yàn)。四類模型的整體識別率如圖8所示，不同信噪比下的識別率如圖9所示。從整體識別率分析，當(dāng)各模型收斂時(shí)，本文改進(jìn)模型IAlexM和剪枝后模型SDNN的整體識別率分別是97%和96.8%，而傳統(tǒng)模型AlexNet和VGG16只達(dá)到92%，與本文所提模型相比，相差約5%。從不同信噪比下的識別率分析，各模型的識別率隨著信噪比的增加呈現(xiàn)增長的趨勢，而本文所提模型SDNN與IAlexM在不同信噪比下的識別性能都要優(yōu)于傳統(tǒng)的AlexNet和VGG16。由于剪枝后模型性能有所下降，剪枝后的模型SDNN在各信噪比下的識別率與剪枝前的IAlexM模型有細(xì)微的差別。

圖8 四類模型的整體識別率

圖9 四類模型在不同信噪比下的識別率

為了進(jìn)一步分析剪枝后模型對于電磁信號的識別性能，繪制模型分類后的混淆矩陣，如圖10所示，橫軸代表真實(shí)標(biāo)簽，縱軸代表預(yù)測標(biāo)簽，橫軸與縱軸交叉的部分便是混淆矩陣。圖10中所用測試集每類調(diào)制信號總共1 800個樣本，可以看出，4ASK、BPSK、QPSK、OQPSK調(diào)制信號實(shí)現(xiàn)了100%的識別，而16QAM、32QAM和64QAM之間互相產(chǎn)生混淆，并且32QAM與8PSK產(chǎn)生輕微混淆。從以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，混淆矩陣中的混淆現(xiàn)象是符合實(shí)際的，由于星座圖上色后，不同調(diào)制類型的低階信號區(qū)分度較大，而高階信號相似性強(qiáng)，所以本文所提稀疏深度神經(jīng)網(wǎng)絡(luò)對于ASK、PSK、QAM這三類不同調(diào)制類型的低階信號容易區(qū)分，不易發(fā)生混淆，而對于高階的QAM信號，對于不同階數(shù)的QAM容易發(fā)生混淆。

圖10 50%剪枝率下的模型的分類矩陣

3.3 模型壓縮效果評估

3.1節(jié)實(shí)驗(yàn)驗(yàn)證了不同剪枝率下模型對于電磁信號的識別性能和模型通道數(shù)變化情況，在選取50%為剪枝率對模型剪枝后，模型識別性能仍然保持一定的精度，總體識別率達(dá)到了96.8%，相較于原模型，精度僅損失0.2%。在此基礎(chǔ)上分析模型壓縮效果，定量分析剪枝后模型的資源消耗。從表1中可以發(fā)現(xiàn)，模型剪枝后，除了作為分類輸出的卷積層，其他各卷積層的通道數(shù)都相應(yīng)地減少了一定的比例，本節(jié)單獨(dú)抽出50%剪枝率下的通道數(shù)變化情況與原模型進(jìn)行對比，利用柱狀圖進(jìn)行可視化呈現(xiàn)，如圖11所示。為進(jìn)一步分析模型的壓縮效果，將模型通道數(shù)的變化映射到模型的存儲規(guī)模和計(jì)算速度變化的情況，以模型參數(shù)量作為模型規(guī)模的評價(jià)指標(biāo)，以每秒浮點(diǎn)運(yùn)算次數(shù)(FLOPs)作為模型運(yùn)行速度的評價(jià)指標(biāo)。AlexNet、VGG16、IAlexM和SDNN的資源消耗如表2所示。

圖11 50%剪枝率下剪枝前后卷積層通道數(shù)對比圖

表2 50%剪枝率下模型資源消耗結(jié)果

通過以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，本文提出的改進(jìn)型AlexNet模型IAlexM不管是參數(shù)量還是FLOPs都要低于傳統(tǒng)的AlexNet和VGG16模型，并且利用稀疏化通道剪枝算法修剪了網(wǎng)絡(luò)中冗余的通道后，相較于剪枝前，網(wǎng)絡(luò)中卷積層的參數(shù)量減少了72%，計(jì)算量(FLOPs)減少了42%，但是模型識別精度僅僅下降了0.2%，一方面驗(yàn)證了原模型是過參數(shù)化的，另一方面也驗(yàn)證了本文剪枝算法的有效性。

4 結(jié) 論

本文提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)的電磁信號調(diào)制識別方法，用于在低復(fù)雜度約束條件下提升電磁信號調(diào)制識別的性能。實(shí)驗(yàn)結(jié)果表明，稀疏深度神經(jīng)網(wǎng)絡(luò)在保證了電磁信號調(diào)制識別精度的前提下能夠有效降低模型參數(shù)和FLOPs。