黃湘鵬，黃曉剛

(海軍裝備部駐南京地區(qū)第四軍事代表室，南京 211106)

0 引 言

在過去幾年中，小型無人駕駛飛機的普及迅速發(fā)展，并且有望進一步增加。小型無人機在軍事領(lǐng)域和民用領(lǐng)域都得到越來越廣泛的應(yīng)用，例如獲得重要事件的電視錄像或在危險地區(qū)提供急救支持。無人機在給人們生活帶來便利的同時也對個人隱私、社會安全、軍事安全等領(lǐng)域構(gòu)成了嚴重威脅。[1-2]如何更快、更精確地實現(xiàn)無人機的檢測和識別是無人機反制的前提，但小型無人機由于飛行速度較慢、飛行高度較低等原因很難被檢測到。此外，飛鳥可能會導(dǎo)致無人機檢測系統(tǒng)出現(xiàn)很多的虛警。因此，不僅必須及時檢測進來的無人機，而且要將其歸類為可疑的、具有潛在危險的人造目標。

一般來說，小型無人機的檢測和識別可以使用不同的傳感器執(zhí)行，例如聲學(xué)傳感器、高分辨率紅外傳感器、光學(xué)傳感器和雷達等。通常，通過聲傳感器進行的檢測很不可靠，因為小型無人機相對安靜，并且在城市中環(huán)境噪聲水平一般較高。利用光學(xué)圖像實現(xiàn)無人機檢測和識別是一種常用手段。隨著機器學(xué)習(xí)及深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的研究者選擇構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)無人機分類，在有足夠訓(xùn)練資源的情況下可以達到較好的性能。[3]高分辨紅外傳感器能夠在一定距離檢測無人機，檢測后可以通過放大目標區(qū)域以獲得支持分類的詳細圖像。但是，紅外傳感器無法提供目標的速度和范圍，既不適合大區(qū)域搜索也不適合霧天等惡劣天氣條件下運行，而這些卻是雷達的強項。國外有些研究者使用高重頻雷達獲取目標微多普勒特征，實現(xiàn)無人機分類。[4-6]本文聚焦于無人機與飛鳥的分類識別，提出一種基于深度學(xué)習(xí)的無人機識別方法。主要工作有：(1)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，利用深度學(xué)習(xí)網(wǎng)絡(luò)強大的學(xué)習(xí)能力，對目標RCS序列進行特征學(xué)習(xí)，獲得特征向量后使用邏輯回歸進行分類；(2)針對無人機數(shù)據(jù)遠少于飛鳥數(shù)據(jù)量的問題，基于SMOTE(Synthetic Minority Over-sampling Technique)算法提出聚類SMOTE算法，一定程度上緩解了數(shù)據(jù)不平衡問題。通過實測數(shù)據(jù)驗證，本文方法具有良好的分類性能，在無人機識別正確率達到87%的同時過濾掉60%的飛鳥目標。

1 處理流程

圖1為無人機識別流程。首先由雷達回波提取目標RCS序列，訓(xùn)練集和測試集數(shù)據(jù)獨立采集，可驗證方法的有效性；然后對訓(xùn)練集和測試集數(shù)據(jù)分別進行預(yù)處理，本文采用均值方差歸一化，測試集使用訓(xùn)練集的均值方差進行歸一化；訓(xùn)練集數(shù)據(jù)由于存在數(shù)據(jù)不平衡的問題，使用聚類SMOTE算法插值平衡；使用平衡后的訓(xùn)練集訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，使用測試集驗證訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)。

圖1 無人機識別流程

2 深度學(xué)習(xí)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文的深度學(xué)習(xí)網(wǎng)絡(luò)使用卷積神經(jīng)網(wǎng)絡(luò)搭建，有1個輸入層、兩個卷積層加池化層、1個全連接層和1個輸出層。卷積核大小為3*1。卷積層及全連接層激活函數(shù)均為ReLU函數(shù)。第2層卷積層及全連接層接dropout，隨機失活一半的神經(jīng)元，以緩解過擬合現(xiàn)象。訓(xùn)練時訓(xùn)練集數(shù)據(jù)批量輸入，大小為N*12*1(其中N為批大小，12為序列長度，1為通道數(shù))。經(jīng)過第1層卷積后輸出特征圖大小為N*12*32，經(jīng)過池化后特征圖大小為N*6*32。第2層卷積后輸出特征圖大小為N*6*64，經(jīng)過池化后特征圖大小為N*3*64。全連接層輸出128維特征向量，輸出層輸出目標為無人機的置信度，越接近1則無人機的置信度越高。圖2為無人機識別網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 無人機識別網(wǎng)絡(luò)結(jié)構(gòu)

2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)模型中的重要內(nèi)容。[7]在傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)中引用了卷積核、池化層等操作，實現(xiàn)了權(quán)值共享，具有強大的特征提取能力，并且相對于全連接網(wǎng)絡(luò)有效減少了網(wǎng)絡(luò)參數(shù)，在一定程度上緩解了過擬合，提升了網(wǎng)絡(luò)的性能。

卷積神經(jīng)網(wǎng)絡(luò)由輸入層、輸出層及多個隱藏層構(gòu)成。隱藏層一般包括卷積層、池化層。池化層接在卷積層后面，減少特征維數(shù)。輸入樣本在輸入后首先經(jīng)過卷積層，與卷積核進行卷積，然后加上偏置。經(jīng)過卷積后輸出的特征向量再輸入池化層進行特征降維。一般網(wǎng)絡(luò)中有多個卷積層和池化層。卷積層的輸出作為池化層的輸入，池化層的輸出作為下一層卷積的輸入。重復(fù)上述的卷積池化操作，直至達到設(shè)定的網(wǎng)絡(luò)深度。在卷積和池化操作后，輸出的特征向量一般會使用非線性激活函數(shù)激活映射成非線性特征。卷積神經(jīng)網(wǎng)絡(luò)的最后一層或幾層一般是全連接層。全連接層的作用是對卷積結(jié)構(gòu)提取的抽象特征進行合并整合。在網(wǎng)絡(luò)末尾通常會連接著logistic回歸或softmax分類器，實現(xiàn)二分類或者多分類。

2.3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

和其他的人工神經(jīng)網(wǎng)絡(luò)類似，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程通常分為前向傳播和后向傳播兩個主要過程。[8]前向傳播表達了特征信息的傳遞。反向傳播主要是傳播誤差，計算梯度通過梯度下降方法實現(xiàn)參數(shù)的更新，并使參數(shù)最終收斂至全局最小或局部最先值。

(1) 前向傳播

全連接層前向傳播公式可以表示為

al=σ(al-1wl+bl)

(1)

其中，σ()為非線性激活函數(shù)，一般有Sigmoid、tanh、ReLU等。

卷積層的前向傳播公式可表示為

al=σ(al-1*wl+bl)

(2)

池化層是對卷積得到的特征圖進行下采樣的過程，主要有平均池化、最大池化等方式。

(2) 后向傳播

? 最后一層的殘差

(3)

δL=▽aCeσ′(zL)

(4)

? 全連接層殘差反向傳播公式

δl=((wl+1)Tδl+1)·σ′(zl)

(5)

? 全連接層權(quán)重及偏置更新公式

(6)

(7)

? 卷積層殘差反向傳播公式

δl=δl+1*rot180(wl+1)·σ′(zl)

(8)

? 卷積層權(quán)重及偏置更新公式

(9)

(10)

池化層殘差反向傳播時，如果是最大池化層，則下一層的誤差項的值會原封不動地傳遞到上一層對應(yīng)區(qū)塊中的最大值所對應(yīng)的神經(jīng)元，而其他神經(jīng)元的誤差項的值都為零。如果是平均池化層，下一層的誤差項會平均分配到上一層對應(yīng)區(qū)塊中的所有神經(jīng)元。

3 聚類SMOTE算法

在進行鳥和無人機的數(shù)據(jù)處理時，由于鳥類數(shù)據(jù)多，無人機數(shù)據(jù)少，鳥類樣本是無人機樣本的好幾倍，數(shù)據(jù)集存在嚴重的不平衡問題，因此可能會導(dǎo)致模型學(xué)到的分類決策面傾向鳥類一側(cè)，導(dǎo)致無人機分裂損失過大，無法有效識別無人機。數(shù)據(jù)集不平衡問題是機器學(xué)習(xí)中經(jīng)常遇到的一類問題。在不平衡問題中一般將樣本多的類稱為多數(shù)類，樣本少的類稱為少數(shù)類。在像本文的這種二分類問題中，將多數(shù)類稱為負類，少數(shù)類稱為正類。由于樣本數(shù)量的嚴重傾斜，直接分類具有很大的偏向性。多數(shù)類的分類準確率相對較高，少數(shù)類的分類準確率相對較低。不均衡數(shù)據(jù)的分類問題是機器學(xué)習(xí)、深度學(xué)習(xí)領(lǐng)域的重要研究內(nèi)容之一，在均衡數(shù)據(jù)集上表現(xiàn)良好的分類方法在不均衡數(shù)據(jù)集上往往會暴露出很多問題。常用的解決方法主要分為兩個層面：數(shù)據(jù)層面和算法層面。數(shù)據(jù)層面包括上采樣、下采樣和混合采樣，算法層面主要包括單類學(xué)習(xí)、集成學(xué)習(xí)、代價敏感性學(xué)習(xí)等方法，目前比較常用的方法是SMOTE算法。[9]

3.1 SMOTE算法

SMOTE算法是一種過采樣算法，被廣泛應(yīng)用于解決不平衡數(shù)據(jù)集的問題，其主要思想是：對于每一個少數(shù)類樣本x，搜索其K個同類最近鄰樣本，若上采樣的倍率是N，則在其K個最近鄰樣本中隨機選擇N個樣本，記為y1,y2,…,yN，在少數(shù)類樣本x和yi(i=1,2,…,N)之間進行隨機線性插值，構(gòu)造新的少數(shù)類樣本pi。公式描述如下：

pi=x+rand(0,1)*(yi-x),i=1,2,…,N

(11)

在使用公式(11)插值后，將新產(chǎn)生的少數(shù)類樣本加入到原來的訓(xùn)練集中產(chǎn)生新的訓(xùn)練集。

3.2 基于聚類的SMOTE

由圖3可以看出，由于未考慮少數(shù)類內(nèi)間聚類問題，直接插值會產(chǎn)生噪聲，導(dǎo)致分類性能下降。因此，本文提出一種基于聚類的SMOTE算法，其基本思想是先利用K-means算法在少數(shù)類內(nèi)部產(chǎn)生聚類，然后圍繞類中心使用SMOTE算法插值。具體步驟如下：

(1) 統(tǒng)計雜波點數(shù)M、目標點數(shù)N(M>N)；

(2) 基于ENN(Edited Nearest Neighbor)，清理雜波噪聲點，假設(shè)有P點；

(3) 利用T-SNE對目標數(shù)據(jù)可視化，得到目標類間聚類數(shù)C；

(4) 基于K-means對目標進行聚類，聚類數(shù)設(shè)為C，聚類產(chǎn)生C個類間簇；

(5) 對每個類間簇使用SMOTE插值，每個點插值個數(shù)為(M-N-P)/N。

圖3 SMOTE插值

4 分類性能評價指標

由于類別不平衡，不能簡單地使用平均準確率作為評價指標，因為多數(shù)類樣本對平均準確率的影響更大，性能評估度量應(yīng)區(qū)別對待不同類別上的準確率，最常見的評價指標有F-measure、G-mean、AUC[10]等。為了介紹這些指標，先要引入模糊矩陣這一概念，如表1所示。

表1 混淆矩陣

TP表示實際為正例被分為正例的樣本數(shù)，同理FN、FP、TN分別表示對應(yīng)情況的樣本數(shù)，顯然有TP+FN+FP+TN=樣本總數(shù)。精準度是分類問題常用的評價指標，在樣本平衡時可以有效地反映分類器的分類性能。

(12)

針對不平衡數(shù)據(jù)集，常用的評價指標有F-measure、G-mean、ROC曲線和AUC。

(13)

(14)

可以看出，G-mean值綜合考慮了兩類的分類準確率，相對于單獨使用準確率而言，能夠更好地衡量分類器的分類性能，不均衡數(shù)據(jù)集下常用的衡量指標。

在本文中，分類器采用卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)末尾使用logistic回歸輸出樣本是無人機的置信度。實際上，可以設(shè)置一系列置信度閾值，大于閾值則認為是正類(無人機)，小于閾值則認為是負類(鳥)。因此，可以得到一個動態(tài)的指標。一般將“真正類率”(TPR)作為縱軸，“假正類率”(FPR)作為橫軸，得到的曲線稱為ROC曲線。TPR和FPR定義為

(15)

(16)

一般來說，ROC曲線越靠近左上角說明分類器性能越好。為了定量地比較，可以ROC曲線下的面積，也就是AUC值，AUC值越大則說明分類器性能越好。本文綜合使用這幾個指標來評價無人機的分類性能。

5 實錄數(shù)據(jù)驗證

5.1 數(shù)據(jù)集

訓(xùn)練集和測試集來自不同日期、不同批次的數(shù)據(jù)。因此，測試集可有效驗證方法的泛化能力。從表2可以看出，數(shù)據(jù)集存在嚴重的不平衡問題，訓(xùn)練集中不平衡比例達到了8.36。因此，在訓(xùn)練前使用聚類插值方法將無人機樣本從544個擴充到4 548個。實驗中也使用了未平衡的原始數(shù)據(jù)訓(xùn)練作為對照比較。

表2 數(shù)據(jù)集

在數(shù)據(jù)輸入網(wǎng)絡(luò)前需要對數(shù)據(jù)預(yù)處理，將數(shù)據(jù)縮放在0～1間。無人機和鳥樣本示例如圖4所示。

5.2 訓(xùn)練過程及特征可視化

在訓(xùn)練中，隨著訓(xùn)練的進行，訓(xùn)練損失會逐漸降低，網(wǎng)絡(luò)會慢慢收斂，測試集的AUC值會逐漸上升。圖5為訓(xùn)練集損失曲線，圖6為測試集AUC變化曲線。

訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)最后一層全連接層輸出網(wǎng)絡(luò)學(xué)習(xí)到的特征向量(如圖7所示)，分別為鳥類樣本和無人機類樣本對應(yīng)的特征向量。為了驗證學(xué)習(xí)到的特征向量具有有效的可分性，使用PCA降維可視化(如圖8所示)，可以看出數(shù)據(jù)在學(xué)習(xí)到的特征上具有明顯的可分性。

圖4 數(shù)據(jù)集樣本

圖5 訓(xùn)練集損失曲線

圖6 測試集AUC變化曲線

圖7 特征向量

圖8 特征向量可視化結(jié)果

5.3 性能分析

為了驗證本文方法的有效性，采用F-measure、G-mean、ROC曲線、AUC 4個指標評價最終性能，并將使用SMOTE平衡的訓(xùn)練集和未平衡的訓(xùn)練集作為對照組，驗證聚類SMOTE解決本文不平衡問題的能力。由表3可以看出，聚類SMOTE方法3種定量指標值均優(yōu)于對照組，且由圖9通過ROC曲線可以看出聚類SMOTE的 ROC曲線完全包裹住對照組曲線。實驗結(jié)果可以看出，聚類SMOTE可有效緩解數(shù)據(jù)不平衡問題。將置信度閾值設(shè)為0.5后得到混淆矩陣如表4?？梢钥闯觯跓o人機識別率達到87%的同時可過濾60%的虛假目標。

表3 指標對比

表4 混淆矩陣

6 結(jié)束語

由于小型無人機飛行速度較慢、飛行高度較低且RCS小，飛鳥會導(dǎo)致無人機檢測系統(tǒng)出現(xiàn)大量虛警。本文聚焦于無人機和飛鳥的識別問題，使用深度學(xué)習(xí)網(wǎng)絡(luò)對RCS序列進行特征學(xué)習(xí)，針對數(shù)據(jù)不平衡問題提出聚類SMOTE算法，進而實現(xiàn)無人機的有效識別。經(jīng)過實錄數(shù)據(jù)驗證，本文方法在無人機識別準確率達到87%的同時過濾掉60%的飛鳥目標。