郭澤坤，田 隆，韓 寧，王鵬輝，劉宏偉，陳 渤

(1.西安電子科技大學(xué) 雷達(dá)信號(hào)處理國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710071；2.中國人民解放軍32181部隊(duì)，陜西 西安 710032)

雷達(dá)高分辨距離像(High Resolution Range Profile，HRRP)是由寬帶雷達(dá)信號(hào)獲取的目標(biāo)散射中心子回波沿雷達(dá)射線投影的向量和，它包含了目標(biāo)散射中心的分布信息、目標(biāo)結(jié)構(gòu)以及目標(biāo)尺寸等重要特征[1-3]。與合成孔徑雷達(dá)(SAR)等相比，雷達(dá)高分辨距離像具有穩(wěn)定、易于獲取和處理的特點(diǎn)[4]。隨著寬帶雷達(dá)以及雷達(dá)自動(dòng)目標(biāo)識(shí)別技術(shù)(RATR)的發(fā)展，雷達(dá)高分辨距離像已成為備受關(guān)注的研究熱點(diǎn)。

雷達(dá)目標(biāo)識(shí)別系統(tǒng)包括預(yù)處理、特征提取和分類三部分[3]。在進(jìn)行目標(biāo)特征提取及分類之前，通常會(huì)經(jīng)過數(shù)據(jù)預(yù)處理消除原始信號(hào)的3個(gè)敏感性[2-3]。有大量研究表明，提取具有鑒別性的特征對(duì)于提高雷達(dá)高分辨距離像目標(biāo)識(shí)別性能至關(guān)重要[5]。淺層統(tǒng)計(jì)識(shí)別模型雖然對(duì)訓(xùn)練樣本量要求不高，但是其性能嚴(yán)重受限于其線性的建模方式，導(dǎo)致模型對(duì)數(shù)據(jù)的特征提取能力不足，這類經(jīng)典的方法包括因子分析(Factor Analysis，F(xiàn)A)模型[6]、最大相關(guān)系數(shù)法(Maximum Correlation Coefficient，MCC)[7]以及自適應(yīng)高斯分類器(Automatic Gaussian Classifier，AGC)等[8]。文獻(xiàn)[1]提出了多任務(wù)稀疏學(xué)習(xí)的統(tǒng)計(jì)建模方法，通過挖掘不同任務(wù)間共享的結(jié)構(gòu)信息降低了模型對(duì)數(shù)據(jù)量的需求，在雷達(dá)高分辨距離像庫內(nèi)小樣本識(shí)別中取得了不錯(cuò)的性能。為了提高模型對(duì)數(shù)據(jù)的特征提取能力，得益于深度學(xué)習(xí)在模式識(shí)別中的快速發(fā)展，以深層神經(jīng)網(wǎng)絡(luò)為代表的特征提取方法也被廣泛應(yīng)用于雷達(dá)高分辨距離像的特征提取。針對(duì)雷達(dá)高分辨距離像小樣本識(shí)別問題，文獻(xiàn)[3]首先通過批歸一化算法改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)收斂慢的問題，然后對(duì)雷達(dá)高分辨距離像進(jìn)行自動(dòng)特征提取，再利用支持向量機(jī)(SVM)對(duì)其進(jìn)行分類；文獻(xiàn)[4]提出了一種基于遷移學(xué)習(xí)的雷達(dá)目標(biāo)識(shí)別方法，該方法首先在大樣本雷達(dá)高分辨距離像數(shù)據(jù)上訓(xùn)練得到一個(gè)初始卷積神經(jīng)網(wǎng)絡(luò)模型，再結(jié)合飛機(jī)目標(biāo)識(shí)別任務(wù)調(diào)優(yōu)模型參數(shù)，顯著改善了模型在小樣本條件下的目標(biāo)識(shí)別能力。然而，這兩種方法仍然是基于庫內(nèi)小樣本識(shí)別場(chǎng)景，無法實(shí)現(xiàn)對(duì)庫外非合作目標(biāo)的高效泛化。文獻(xiàn)[6]利用元學(xué)習(xí)實(shí)現(xiàn)了對(duì)于庫內(nèi)目標(biāo)的庫外姿態(tài)角的快速泛化；然而，該方法仍然假設(shè)測(cè)試樣本的類別是訓(xùn)練集中見過的。

筆者提出一種基于卷積神經(jīng)網(wǎng)絡(luò)模型連續(xù)自蒸餾(Convolutional Neural Network Sequential Self-Distillation，CNN-SSD)的雷達(dá)高分辨距離像非合作(庫外小樣本)目標(biāo)識(shí)別方法。一方面通過連續(xù)自蒸餾機(jī)制對(duì)類別間的相關(guān)性進(jìn)行建模，提高了模型提取特征的泛化能力，同時(shí)利用集成學(xué)習(xí)的思想對(duì)連續(xù)自蒸餾進(jìn)行改進(jìn)，實(shí)驗(yàn)表明改進(jìn)后的模型對(duì)非合作目標(biāo)的特征提取的泛化能力更強(qiáng)；另一方面，考慮到基于梯度下降優(yōu)化得到的分類器性能受觀測(cè)數(shù)據(jù)量影響較大[9]，采用了基于優(yōu)化的具有閉式解的線性分類器對(duì)蒸餾得到的非合作目標(biāo)的特征進(jìn)行分類。文中主要討論了兩種滿足條件的分類器，它們分別是：支持向量機(jī)(SVM)和邏輯回歸(Logistic)。

1 采用CNN-SSD的雷達(dá)高分辨距離像小樣本目標(biāo)識(shí)別方法

1.1 定義目標(biāo)識(shí)別小樣本訓(xùn)練任務(wù)

定義小樣本目標(biāo)識(shí)別模型訓(xùn)練數(shù)據(jù)Dm={(X，y)}，其中共有C類樣本，X為訓(xùn)練集，y為標(biāo)簽，通過Dm進(jìn)行訓(xùn)練，獲取特征提取器。該過程為

(1)

其中，Lce為交叉熵?fù)p失函數(shù)，φ為特征提取網(wǎng)絡(luò)參數(shù)，θ為梯度下降優(yōu)化下的分類器參數(shù)。

然后，以具有閉式解的線性分類器為基學(xué)習(xí)器進(jìn)行分類器訓(xùn)練：

(2)

其中，θlc為具有閉式解的線性分類器參數(shù)；A為基學(xué)習(xí)器，表達(dá)式為y*=fθlc(X*)，下標(biāo)*表示s或q；特征提取網(wǎng)絡(luò)參數(shù)φ在該過程中保持不變。

(3)

其中，Lmeta為損失函數(shù)，m為平均類別準(zhǔn)確率(Mean Class Accuracy，MCA)。

1.2 基于自蒸餾模型改進(jìn)的神經(jīng)網(wǎng)絡(luò)

基于自蒸餾模型改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程如圖1所示，它分成兩個(gè)子過程：基模型訓(xùn)練過程和子模型蒸餾提取過程。在基模型訓(xùn)練環(huán)節(jié)，通過雷達(dá)高分辨距離像訓(xùn)練數(shù)據(jù)Dm獲取基模型，用于子模型的蒸餾提?。辉谧幽Ｐ驼麴s提取環(huán)節(jié)，通過對(duì)所訓(xùn)練的基模型進(jìn)行模型連續(xù)自蒸餾，獲得G代子模型，并以最后一代(第G代)改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型作為特征提取器對(duì)非合作小樣本目標(biāo)提取特征。

圖1 自蒸餾模型改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練及測(cè)試流程

1.2.1 基模型訓(xùn)練

(a) Softmax函數(shù)

通過式(1)的方式訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。該過程中交叉熵?fù)p失函數(shù)通過Softmax進(jìn)行計(jì)算[10]：

(4)

令T>1，這樣會(huì)使Softmax函數(shù)曲線更加平滑，突出了不同類別之間的相關(guān)性，同時(shí)兼顧了類別之間的絕對(duì)關(guān)系保持不變[11]。因此，以新的概率分布pi為監(jiān)督信息，更易學(xué)習(xí)到性能更加魯棒的子模型。

(b) 基模型集成

(5)

其中，Φ為集成模型對(duì)樣本提取的特征向量，φi表示第i個(gè)基模型的參數(shù)。

(6)

其中，Φi和Φj分別為類別i和類別j通過集成模型所提取的特征向量。

集成后的基模型參數(shù)在以后的學(xué)習(xí)中固定不變，不再更新。

1.2.2 子模型蒸餾提取

(7)

式(7)可以進(jìn)一步展開成下式：

(8)

(9)

其中，φ1為需要學(xué)習(xí)的子模型參數(shù)。

在此過程中，通過學(xué)習(xí)率自適應(yīng)算法Adam優(yōu)化的方法最小化LKD，從而得到的子模型稱為第1代子模型，該過程稱之為模型知識(shí)蒸餾。將分類和模型知識(shí)蒸餾的目標(biāo)聯(lián)合起來，可以將第一代子模型的優(yōu)化目標(biāo)表示為

(10)

其中，β=1-α，表示均衡因子，用于平衡不同目標(biāo)函數(shù)對(duì)模型參數(shù)學(xué)習(xí)的影響。

為了實(shí)現(xiàn)多代模型連續(xù)自蒸餾，進(jìn)一步引入了網(wǎng)絡(luò)自生機(jī)制[12]，對(duì)第1代子模型繼續(xù)進(jìn)行知識(shí)蒸餾。以第1代子模型與第2代初始子模型的輸出類別概率分布繼續(xù)進(jìn)行上述訓(xùn)練過程，直至第G代，得到了第G代子模型。該過程如下：

(11)

其中，φG-1和φG分別為G-1和G代模型所學(xué)參數(shù)，f(Dm，φG-1)和f(Dm，φG)分別為G-1代和G代子模型概率分布。選擇第G代子模型為最終的特征提取器，用于對(duì)僅有少量觀測(cè)樣本的非合作目標(biāo)進(jìn)行特征提取。模型連續(xù)自蒸餾可以在訓(xùn)練數(shù)據(jù)集上模型性能不降低的前提下迭代多代進(jìn)行訓(xùn)練，新代的子模型會(huì)在其上一代子模型的基礎(chǔ)上引入新的自由度(由初始化帶來的)，因而能夠快速準(zhǔn)確地泛化到未知的新的類別中去。在實(shí)驗(yàn)中，筆者經(jīng)驗(yàn)性地給出了該結(jié)論成立的邊界條件。

1.3 分類器

具有閉式解的線性分類器，如支持向量機(jī)、邏輯回歸以及嶺回歸等，對(duì)于訓(xùn)練樣本數(shù)稀疏的場(chǎng)景，它們具有易于快速優(yōu)化求解的特點(diǎn)[9]。因此，筆者采用向量機(jī)、邏輯回歸對(duì)自蒸餾模型提取到的特征進(jìn)行分類。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證所提出的基于雷達(dá)高分辨距離像的非合作目標(biāo)小樣本識(shí)別方法的有效性，首先通過三維制圖軟件構(gòu)建50類飛機(jī)的3D模型；然后通過高頻電磁計(jì)算軟件對(duì)該50類飛機(jī)的模型進(jìn)行電磁仿真，得到飛機(jī)目標(biāo)的寬帶電磁散射數(shù)據(jù)。對(duì)該數(shù)據(jù)進(jìn)行逆傅里葉變換(IFFT)，進(jìn)而得到飛機(jī)模型的一維距離像(HRRP)。仿真參數(shù)如表1所示。

表1 電磁散射計(jì)算參數(shù)

對(duì)50類飛機(jī)在84°俯仰角下進(jìn)行電磁計(jì)算，每類目標(biāo)的每個(gè)俯仰角有3 200個(gè)雷達(dá)高分辨距離像樣本，每類目標(biāo)的方位角覆蓋范圍為10.05°～90°。圖2展示了50類飛機(jī)中部分飛機(jī)的三維模型及對(duì)應(yīng)的一維距離像。

圖2 部分飛機(jī)目標(biāo)三維模型及仿真一維距離像

為了克服雷達(dá)高分辨距離像敏感性問題，筆者參照文獻(xiàn)[2]對(duì)所得到的一維距離像數(shù)據(jù)進(jìn)行能量歸一、重心對(duì)齊處理，得到預(yù)處理之后的一維距離像。注意，對(duì)于所使用的統(tǒng)計(jì)模型，筆者對(duì)上述處理過后的距離像再進(jìn)行分幀，以克服姿態(tài)敏感性；對(duì)于基于深度模型的其他方法，筆者不進(jìn)行此操作。

2.2 實(shí)驗(yàn)設(shè)置

在模型結(jié)構(gòu)及超參數(shù)設(shè)置方面，采用三層卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)模型[13]。第1層輸入通道數(shù)為1，輸出通道數(shù)為32，步長為9；第2層輸出通道為64，步長為9；第3層輸出通道為128，步長為9。最后通過全連接層，將卷積輸出的特征轉(zhuǎn)化為向量。另一方面，設(shè)置Softmax的溫度系數(shù)T為4，并固定不變。設(shè)置式(10)～(11)中均衡因子系數(shù)α為0.4。根據(jù)1.3節(jié)的介紹，使用支持向量機(jī)和邏輯回歸作為分類器，對(duì)比分析在K等于1、5和10個(gè)樣本的條件下，非合作(庫外)目標(biāo)的識(shí)別結(jié)果。

2.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證筆者所提方法(CNNSSD-SVM和CNNSSD-Logistic模型)的有效性，將其與多個(gè)基線算法進(jìn)行了定量和定性的分析比較，見表2。其中，SVM是按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面[9-10]。Logistic屬于對(duì)數(shù)線性模型，其本質(zhì)是假設(shè)數(shù)據(jù)服從高斯分布，然后使用極大似然估計(jì)做參數(shù)估計(jì)[10]。AGC屬于統(tǒng)計(jì)識(shí)別模型的一種，通過計(jì)算每類每幀樣本的均值及方差作為模板庫，對(duì)測(cè)試樣本進(jìn)行匹配識(shí)別[8]。CNN-FC是利用卷積神經(jīng)網(wǎng)絡(luò)提取特征并用全連接網(wǎng)絡(luò)分類的方法，該方法在測(cè)試階段在非合作目標(biāo)上對(duì)全連接網(wǎng)絡(luò)進(jìn)行微調(diào)。CNNSSD-SVM和CNNSSD-Logistic為基模型集成之后通過連續(xù)自蒸餾迭代3次，將得到的第3代子模型作為特征提取器，通過SVM和Logistic對(duì)提取的特征進(jìn)行分類的方法。

表2 小樣本識(shí)別方法準(zhǔn)確率對(duì)比

對(duì)于識(shí)別能力而言，模型對(duì)5類飛機(jī)進(jìn)行識(shí)別，不訓(xùn)練模型進(jìn)行隨機(jī)猜測(cè)的識(shí)別正確率應(yīng)不低于20%。如表2所示，SVM和Logistic具備對(duì)非合作目標(biāo)小樣本識(shí)別的能力，并且隨著樣本數(shù)增多，其識(shí)別能力提升明顯。以SVM為例，每類10個(gè)樣本時(shí)的性能較每類1個(gè)樣本的性能提高超過30%；而AGC則由于樣本維度遠(yuǎn)高于樣本數(shù)量，導(dǎo)致其協(xié)方差矩陣估計(jì)較差，其性能遠(yuǎn)低于其他兩種淺層的基線模型。CNN-FC這種基于非合作目標(biāo)微調(diào)分類器的方法在每類樣本數(shù)不超過10的情況下，其識(shí)別準(zhǔn)確率約為20%，因此不具備識(shí)別能力，說明這類具有閉式解的線性分類器(淺層模型)在小樣本非合作目標(biāo)識(shí)別任務(wù)中較基于新數(shù)據(jù)微調(diào)的深度模型更魯棒。另一方面，筆者所提出的CNNSSD-SVM和CNNSSD-Logistic方法相較于淺層模型SVM和Logistic，在1個(gè)樣本的實(shí)驗(yàn)中準(zhǔn)確率分別提高了19.66%和18.08%，在5個(gè)樣本的實(shí)驗(yàn)中準(zhǔn)確率分別提高了17.62%和21.23%，在10個(gè)樣本的實(shí)驗(yàn)中準(zhǔn)確率分別提高了14.43%和20.10%。由此可見，筆者所提方法相較于SVM和Logistic方法其識(shí)別準(zhǔn)確率更高，說明連續(xù)自蒸餾有利于模型學(xué)習(xí)到更具泛化能力的關(guān)于非合作目標(biāo)的特征表示。

另一方面，筆者進(jìn)行了如表3所示的消融實(shí)驗(yàn)，驗(yàn)證了自蒸餾模型和連續(xù)自蒸餾模型以及分類器的選擇對(duì)非合作目標(biāo)小樣本識(shí)別能力的影響，共對(duì)所提方法的6種變體進(jìn)行了實(shí)驗(yàn)。其中，CNN-SVM和CNN-Logistic為卷積神經(jīng)網(wǎng)絡(luò)提取特征，分別利用SVM和Logistic對(duì)所提特征進(jìn)行分類。CNNKD-SVM和CNNKD-Logistic為通過模型知識(shí)蒸餾獲取特征提取器，并分別通過SVM和Logistic進(jìn)行分類。CNNSSD-SVM和CNNSSD-Logistic如上所述。

如表3所示，以基于SVM分類器的3種變體為例(下面3行)，在非合作目標(biāo)每類帶標(biāo)注訓(xùn)練樣本數(shù)為1、5和10的條件下，筆者所提方法與CNN-SVM性能相比均提高2%左右，與CNNKD-SVM相比性能也均有所提升，平均漲幅在1%左右。由此可見，筆者所提方法較CNN-SVM和CNNKD-SVM更加準(zhǔn)確。對(duì)于基于CNN的深層模型的不同變體，從模型關(guān)于新的非合作目標(biāo)的識(shí)別時(shí)間上來看，筆者所提方法耗時(shí)均小于CNNKD-SVM和CNN-SVM。由此可見，筆者所提方法更加高效。

表3 小樣本識(shí)別率消融實(shí)驗(yàn)

最后，通過T-SNE[6]可視化方法對(duì)5個(gè)樣本條件下訓(xùn)練好的SVM、Logistic、AGC、CNN-FC、CNNSSD-Logistic以及CNNSSD-SVM模型在相應(yīng)的雷達(dá)高分辨距離像測(cè)試樣本上對(duì)其預(yù)測(cè)類別分布情況進(jìn)行可視化展示，從而定性地對(duì)表2得到的數(shù)值結(jié)果進(jìn)行解釋?？梢暬Y(jié)果如圖3所示，三角形、正方形、圓點(diǎn)、十字星和五角星這5種不同形狀分別代表5種不同類別的非合作目標(biāo)的樣本點(diǎn)。SVM、Logistic、AGC以及CNN-FC的5類樣本點(diǎn)分布雜亂，聚集性弱，CNNSSD-Logistic和CNNSSD-SVM的5類樣本點(diǎn)分布整齊，聚集性強(qiáng)。因此，在非合作目標(biāo)小樣本識(shí)別問題中，筆者所提方法較其他基線方法識(shí)別能力最強(qiáng)。

圖3 雷達(dá)高分辨距離像測(cè)試集樣本TSNE分類可視化

3 結(jié)束語

為了提高模型在小樣本條件下對(duì)非合作目標(biāo)雷達(dá)高分辨距離像的泛化能力，筆者提出了一種卷積神經(jīng)網(wǎng)絡(luò)模型連續(xù)自蒸餾(CNNSSD)的雷達(dá)高分辨距離像小樣本目標(biāo)識(shí)別方法。該方法在類別多樣化的完備合作目標(biāo)訓(xùn)練集上學(xué)習(xí)一個(gè)基模型作為初始的特征提取器，隨后基于模型連續(xù)自蒸餾機(jī)制得到泛化能力更高效的新的特征提取器，最后使用具有閉式解的線性分類器(SVM、Logistic)進(jìn)行分類識(shí)別?；陔姶欧抡鏀?shù)據(jù)開展了實(shí)驗(yàn)驗(yàn)證，結(jié)果證明，利用類別多樣的完備合作目標(biāo)訓(xùn)練集，所提方法可以有效地提高模型對(duì)非合作小樣本目標(biāo)的泛化能力，實(shí)現(xiàn)了對(duì)庫外樣本的快速有效識(shí)別。