曲志昱 李 根 鄧志安

(哈爾濱工程大學(xué)信息與通信工程學(xué)院 哈爾濱 150001)

(先進(jìn)船舶通信與信息技術(shù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室 哈爾濱 150001)

1 引言

雷達(dá)信號識別是電子對抗的重要環(huán)節(jié)[1]。通過對截獲的雷達(dá)信號進(jìn)行識別，可以判斷敵方雷達(dá)的類型、威脅等級，對于奪得戰(zhàn)場的信息優(yōu)勢有重要意義[2]。隨著新體制雷達(dá)大規(guī)模投入使用[3]，實(shí)際戰(zhàn)時(shí)偵察到的雷達(dá)信號可能為新調(diào)制類型信號，因此雷達(dá)信號識別算法需要進(jìn)行識別類型擴(kuò)展。

近年來，學(xué)者將機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的算法應(yīng)用在雷達(dá)信號識別領(lǐng)域。文獻(xiàn)[4]將奇異值熵與分形維數(shù)作為特征向量，利用支持向量機(jī)(Support Vector Machine, SVM)實(shí)現(xiàn)了對8種雷達(dá)信號的識別。文獻(xiàn)[5,6]都是利用卷積神經(jīng)網(wǎng)絡(luò)去噪，然后利用Inception網(wǎng)絡(luò)進(jìn)行分類識別，在低信噪比下(-10 dB)仍有90%以上的識別正確率。文獻(xiàn)[7]設(shè)計(jì)了棧式稀疏自動編碼器，將預(yù)處理過的8種雷達(dá)信號時(shí)頻圖像送入進(jìn)行離線訓(xùn)練后，整體識別正確率達(dá)到96.4%。以上的識別算法雖然有較好識別正確率但是都是經(jīng)過離線學(xué)習(xí)后識別固定類別的信號。當(dāng)有識別類型擴(kuò)展的需求時(shí)，需要已有類別與擴(kuò)展類別的所有數(shù)據(jù)集混合后重新開始訓(xùn)練網(wǎng)絡(luò)，這對于設(shè)備的存儲資源和訓(xùn)練時(shí)間均有較高要求。文獻(xiàn)[8]基于殘差網(wǎng)絡(luò)與3元損失函數(shù)學(xué)習(xí)得到特征映射，利用設(shè)計(jì)的基于樣本庫的識別方法實(shí)現(xiàn)識別類型擴(kuò)展，但是隨著類型的增加訓(xùn)練后的識別正確率有待提高。

本文采用增量學(xué)習(xí)的訓(xùn)練方法實(shí)現(xiàn)雷達(dá)信號識別類型擴(kuò)展。針對增量學(xué)習(xí)過程中網(wǎng)絡(luò)會出現(xiàn)災(zāi)難性遺忘[9]問題，本文利用基于特征平均值距離的方法選擇極少典型樣本構(gòu)成新訓(xùn)練集，設(shè)計(jì)了基于殘差的增量學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，并利用知識蒸餾與注意力圖[10]緩解災(zāi)難性遺忘，實(shí)現(xiàn)了識別類型的有效擴(kuò)展。仿真實(shí)驗(yàn)表明，在存儲資源有限的條件下，本方法對原有分類與擴(kuò)展分類的雷達(dá)信號均有良好的識別準(zhǔn)確率。

2 知識蒸餾與注意力圖

2.1 知識蒸餾

知識蒸餾[11]是一種有效的模型壓縮方法，它將復(fù)雜模型所學(xué)到的“知識”遷移到參數(shù)量少的簡單模型中。在知識蒸餾過程中，訓(xùn)練簡單模型時(shí)加入復(fù)雜模型的softmax層輸出作為軟標(biāo)簽輔助訓(xùn)練，用來提高簡單模型的識別效果。在復(fù)雜模型產(chǎn)生軟標(biāo)簽的過程中，加入溫度變量T使各個(gè)類別產(chǎn)生較平滑的概率分布，如式(1)所示，這使得負(fù)標(biāo)簽所攜帶的信息相對放大，模型訓(xùn)練更加關(guān)注負(fù)標(biāo)簽

2.2 注意力圖

隨著深度卷積神經(jīng)網(wǎng)絡(luò)在解決復(fù)雜視覺問題方面取得了長足進(jìn)步，學(xué)者對于網(wǎng)絡(luò)做出決策時(shí)的“依據(jù)”也進(jìn)行了研究。注意力圖 (attention map)是一種反映網(wǎng)絡(luò)可解釋性的重要方法，其能夠表示網(wǎng)絡(luò)做出輸出決策時(shí)對輸入圖像最關(guān)注的區(qū)域。本文使用梯度加權(quán)類激活映射(Gradient-weighted Class activation mapping, Grad-Cam)[12]表示注意力圖。Grad-Cam將網(wǎng)絡(luò)的特征圖賦予不同的權(quán)重，然后通過生成熱力圖標(biāo)記出輸入圖像中對預(yù)測影響較大的像素區(qū)域。卷積神經(jīng)網(wǎng)絡(luò)最后一層卷積含有最豐富的語義信息與空間信息[13]，所以Grad-Cam將最后一層卷積作為特征圖。當(dāng)圖像進(jìn)入網(wǎng)絡(luò)后，得到其全連接層輸出，計(jì)算全連接層輸出最大值對特征圖的梯度，經(jīng)過平均計(jì)算后得到特征圖權(quán)重，如式(3)所示

本文利用Grad-Cam對線性調(diào)頻信號(Linear Frequency Modulation, LFM)、Frank編碼信號、二相編碼信號(Binary Phase-coded Signal,BPSK)、V型調(diào)頻信號(DLFM)、偶2次調(diào)頻信號(Even Quadratic Frequency Modulation, EQFM)與正弦調(diào)頻信號(Sinusoidal Frequency Modulation signal, SFM)產(chǎn)生的熱力圖與疊加到原時(shí)頻圖像的效果圖如圖1所示。在熱力圖中，紅色區(qū)域表示對網(wǎng)絡(luò)輸出影響較大的區(qū)域，由圖1可以看出紅色區(qū)域主要覆蓋信號的時(shí)頻結(jié)構(gòu)，也就是說網(wǎng)絡(luò)對信號調(diào)制類型識別時(shí)其決策依據(jù)主要為信號的時(shí)頻結(jié)構(gòu)。同時(shí)網(wǎng)絡(luò)對于不同雷達(dá)信號的注意力圖不同，將其作為額外的監(jiān)督信息，在進(jìn)行擴(kuò)展類型識別時(shí)可以幫助緩解災(zāi)難性遺忘。

圖1 雷達(dá)脈內(nèi)調(diào)制信號時(shí)頻圖像Grad-Cam可視化效果

3 基于知識蒸餾與注意力圖的雷達(dá)信號識別方法

本方法首先將雷達(dá)信號的平滑偽Wigner-Ville分布(Smooth Pseudo Wigner-Ville Distribution,SPWVD)作為網(wǎng)絡(luò)的輸入，將積累的擴(kuò)展類型信號與存儲的典型原有分類信號混合組成新的數(shù)據(jù)集。然后進(jìn)行類別增量訓(xùn)練，訓(xùn)練過程中加入知識蒸餾損失與注意力圖損失緩解訓(xùn)練過程中的災(zāi)難性遺忘。最后進(jìn)行數(shù)據(jù)集管理，采用基于均值距離的樣本選擇方法，選擇典型新類樣本進(jìn)行存儲，同時(shí)刪除部分原有分類樣本維持存儲樣本總數(shù)不變。具體流程圖如圖2所示。

圖2 基于知識蒸餾與注意力圖的雷達(dá)信號識別方法流程

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用基于增量學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)，信號經(jīng)過SPWVD后送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，過程可以分為特征提取與分類識別，如圖3所示。其中θs為用于特征提取的參數(shù)，一般為卷積神經(jīng)網(wǎng)絡(luò)中的卷積層。θo為識別已有類別所用到的參數(shù)，當(dāng)需要進(jìn)行類型擴(kuò)展時(shí)增加全連接層的輸出，所增加的參數(shù)用θn表示[14]。

圖3 增量識別卷積神經(jīng)網(wǎng)絡(luò)參數(shù)示意圖

本文基于殘差網(wǎng)絡(luò)[15]設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，共有4組殘差單元，每組殘差單元兩層卷積，將雷達(dá)信號做SPWVD后，經(jīng)過線性插值調(diào)整為128×128的圖像作為輸入。最初的卷積層加上4組殘差單元組成特征提取參數(shù)θs，全連接層的參數(shù)作為θo，輸出擴(kuò)展后增加的參數(shù)為θn。最后一組卷積單元的輸出含有對時(shí)頻圖像最豐富的語義信息且未丟失空間信息，所以將其作為特征圖用于計(jì)算Grad-Cam, softmax層的輸出含有對時(shí)頻圖像預(yù)測概率的信息，所以將其作為軟標(biāo)簽。利用網(wǎng)絡(luò)擴(kuò)展前后對于擴(kuò)展類型數(shù)據(jù)Grad-Cam與輸出預(yù)測的不同作為額外的監(jiān)督信息加入訓(xùn)練。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)

3.2 基于知識蒸餾與注意力圖的增量訓(xùn)練

3.3 數(shù)據(jù)集管理

增量學(xué)習(xí)過程通常在存儲資源有限的條件下進(jìn)行[16]。采用基于特征均值距離的方法選擇每一類的典型樣本進(jìn)行存儲可滿足存儲資源有限的條件?；谔卣骶稻嚯x的選擇方法如式(8)所示

圖5 基于知識蒸餾與注意力圖的增量訓(xùn)練過程

圖6 模型關(guān)注區(qū)域差異示意圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

為評估本方法的有效性，使用MATLAB生成數(shù)據(jù)，每種雷達(dá)脈內(nèi)調(diào)制信號的頻率參數(shù)根據(jù)采樣頻率做歸一化處理，每種信號的長度N=512～1024且每種信號的參數(shù)都有一個(gè)動態(tài)變化的范圍。首先將參數(shù)如表1所示的6種雷達(dá)脈內(nèi)調(diào)制信號作為已識別的信號類型，數(shù)據(jù)集樣本信噪比范圍在-10～8 dB，每隔2 dB每種信號產(chǎn)生500個(gè)樣本，所以每種信號有5000個(gè)樣本，其中4500個(gè)樣本作為訓(xùn)練集，500個(gè)樣本作為驗(yàn)證集。測試集數(shù)據(jù)信噪比在-12～0 dB，每隔1 dB產(chǎn)生500個(gè)樣本數(shù)據(jù)。

表1 已識別信號參數(shù)設(shè)置

基于以上訓(xùn)練集，訓(xùn)練得到模型Mt-1作為原有信號的識別模型。同時(shí)選取文獻(xiàn)[18,19]所提出的模型與本文模型進(jìn)行對比。文獻(xiàn)[18]采用了基于AlexNet的模型進(jìn)行識別，文獻(xiàn)[19]采用了擴(kuò)張殘差網(wǎng)絡(luò)進(jìn)行識別。訓(xùn)練完成后用測試集測試，在不同信噪比環(huán)境下識別準(zhǔn)確率如圖7所示。由圖7明顯看出本文所用網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率較高，所用網(wǎng)絡(luò)結(jié)構(gòu)對信號有良好的特征提取能力與分類識別能力。

圖7 準(zhǔn)確率對比

設(shè)存儲容量為600個(gè)樣本，訓(xùn)練完成的模型Mt-1利用基于樣本特征均值的方法，每一類信號選取100個(gè)作為典型樣本進(jìn)行存儲。仿真參數(shù)如表2所示的雷達(dá)脈內(nèi)調(diào)制信號依次作為擴(kuò)展類型。信噪比設(shè)置與已識別的6類信號相同，每類新增信號同樣也為4500個(gè)樣本。所有訓(xùn)練過程batchsize設(shè)為64，采用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)為1×10-3，隨訓(xùn)練過程遞減，知識蒸餾時(shí)設(shè)T=2，知識蒸餾損失、注意力圖損失與交叉熵?fù)p失的加權(quán)系數(shù)分別取0.8, 0.1, 0.1。

表2 擴(kuò)展類型信號參數(shù)設(shè)置

4.2 與聯(lián)合訓(xùn)練效果對比

聯(lián)合訓(xùn)練是將原有分類與擴(kuò)展分類的所有數(shù)據(jù)混合重新開始訓(xùn)練，不存在災(zāi)難性遺忘問題，可以看作增量學(xué)習(xí)識別效果的上限，但是對于存儲及訓(xùn)練時(shí)間有較高要求。本次實(shí)驗(yàn)與聯(lián)合訓(xùn)練方法進(jìn)行對比，在識別6類調(diào)制信號的基礎(chǔ)上依次增加新調(diào)制類型。

圖8為當(dāng)擴(kuò)展類型數(shù)量為4類，采用基于聯(lián)合訓(xùn)練的方法、未添加注意力圖損失的方法與本文方法訓(xùn)練時(shí)，每隔10個(gè)batchsize所記錄的損失值，由圖8可以看出每種方法訓(xùn)練完成后模型都收斂。圖9為擴(kuò)展類型為4類時(shí)，以上3種方法所訓(xùn)練的模型在-5 dB下識別效果的混淆矩陣。由圖9可以看出，在-5 dB時(shí)本文方法的識別效果好于未添加注意力圖損失的方法，且只有幾種信號的正確率略低于聯(lián)合訓(xùn)練方法。圖10為擴(kuò)展類型數(shù)量為4時(shí)，聯(lián)合訓(xùn)練與本方法訓(xùn)練時(shí)與訓(xùn)練后所存儲的樣本數(shù)量。因?yàn)楸痉椒ú捎玫膿p失函數(shù)緩解了災(zāi)難性遺忘，所以訓(xùn)練時(shí)只需600個(gè)典型原有類別的樣本與4500個(gè)擴(kuò)展類型樣本。當(dāng)新增識別4類訓(xùn)練完成后，網(wǎng)絡(luò)總共可以識別10類雷達(dá)脈內(nèi)調(diào)制信號，根據(jù)樣本選擇方法每一類保存60個(gè)典型樣本。同時(shí)，由于本方法訓(xùn)練集樣本數(shù)量低于聯(lián)合訓(xùn)練樣本數(shù)量數(shù)倍，所以訓(xùn)練時(shí)間也會縮短。綜上，本文方法進(jìn)行雷達(dá)信號增量識別的效果與聯(lián)合訓(xùn)練大致相當(dāng)，但訓(xùn)練時(shí)間和存儲要求遠(yuǎn)低于聯(lián)合訓(xùn)練。

圖8 不同模型損失

圖9 信噪比-5 dB識別效果對比

圖10 聯(lián)合訓(xùn)練與本文方法存儲數(shù)量對比

4.3 緩解災(zāi)難性遺忘有效性驗(yàn)證

為驗(yàn)證所采用的損失函數(shù)的有效性，在相同數(shù)據(jù)集情況下，與文獻(xiàn)[20]基于連續(xù)微調(diào)的增量識別方法進(jìn)行對比；為驗(yàn)證存儲典型樣本的有效性，與只采用擴(kuò)展類型數(shù)據(jù)訓(xùn)練的方法進(jìn)行對比。當(dāng)依次擴(kuò)展1～4類調(diào)制信號時(shí)，得到每種模型在-12～0 dB下對于所有調(diào)制信號的平均識別正確率如圖11所示。

由圖11對比可知，由于添加了知識蒸餾損失與注意力圖損失，從而緩解了網(wǎng)絡(luò)對已有信號類型的遺忘，本文方法識別正確率要明顯高于文獻(xiàn)[20]中只采用交叉熵?fù)p失的連續(xù)微調(diào)方法。同時(shí)，當(dāng)只用擴(kuò)展類型數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，與本文采用典型原有樣本存儲的方法在低信噪下的識別正確率有很大差距。這是因?yàn)榈托旁氡惹闆r下時(shí)頻結(jié)構(gòu)受損嚴(yán)重，識別正確率相對較低，當(dāng)僅使用擴(kuò)展類型數(shù)據(jù)訓(xùn)練沒有原有數(shù)據(jù)參與時(shí)，模型對已識別信號更容易遺忘。綜上，本文方法所采用的知識蒸餾、注意力圖與典型樣本存儲能夠緩解增量識別過程中的災(zāi)難性遺忘，提高模型的識別正確率。

圖11 識別正確率與信噪比關(guān)系曲線

4.4 增量識別擴(kuò)展性驗(yàn)證

為測試本方法識別效果隨擴(kuò)展類型數(shù)量增加的變化，設(shè)計(jì)依次增加8種調(diào)制信號。每一類進(jìn)行增量訓(xùn)練后，用信噪比為-7 dB的測試集進(jìn)行測試。增量到8種信號時(shí)，模型總共可以識別14種信號，每一類信號存儲43個(gè)典型樣本。模型對調(diào)制信號的識別正確率與擴(kuò)展數(shù)量的關(guān)系如圖12所示。由圖12可知，隨著識別種類的增加模型識別效果逐漸下降。這主要是因?yàn)殡S著調(diào)制類型的增多，模型所學(xué)到的“知識”越多，再次新增類別時(shí)，“遺忘掉的知識”也會增多。同時(shí)由于存儲限制，每一類的典型樣本也會越來越少，也會造成識別效果下降。

圖12 類別擴(kuò)展數(shù)量與識別正確率關(guān)系曲線

5 結(jié)論

本文基于知識蒸餾、注意力圖與典型樣本選擇等方法，提出了一種基于殘差網(wǎng)絡(luò)的雷達(dá)信號增量識別方法，有效地解決了雷達(dá)調(diào)制信號識別類型擴(kuò)展問題。仿真結(jié)果表明，本方法對原有分類和擴(kuò)展分類的調(diào)制信號識別正確率逼近于聯(lián)合訓(xùn)練模型得到的結(jié)果，但訓(xùn)練時(shí)間和存儲要求遠(yuǎn)低于后者，同時(shí)本文所采用的損失函數(shù)能夠有效緩解類別增量過程中的災(zāi)難性遺忘，使得模型對原有分類和擴(kuò)展分類信號均有較好的識別正確率。