馬 旗，孫曉軍，張 楊，姜雨辰

(國防科技大學(xué)電子對抗學(xué)院， 合肥 230037)

0 引言

近年來，隨著電子科技的發(fā)展，帶動了無人機行業(yè)的興起，并以迅猛的姿態(tài)融入了社會生活中的各個方面。與此同時，無人機也對社會安全與軍事安全構(gòu)成了嚴(yán)重威脅。例如，英媒報道2015年上半年有至少9架無人機試圖越過圍墻潛入監(jiān)獄，并給囚犯投遞藥物和電子設(shè)備等。此外，無人機擾航、恐怖襲擊等事件也時有發(fā)生。因此，快速準(zhǔn)確地檢測識別未知的無人機變得非常重要。由于無人機目標(biāo)的熱輻射特性，在紅外探測器中能夠較為容易的突顯，因此采用成本較低的紅外探測手段對低空無人機進(jìn)行檢測識別具有良好的應(yīng)用前景。

空中無人機檢測識別任務(wù)主要有如下幾種方法。文獻(xiàn)[1]提出了一種基于視頻回歸的無人機檢測方法，利用回歸器來穩(wěn)定運動，并采用固定大小的立方體框來檢測目標(biāo)。當(dāng)無人機緩慢飛行時，檢測性能較好，但實際效果表現(xiàn)較差。之后，王靖宇等人[2]提出了一種基于神經(jīng)網(wǎng)絡(luò)的低空弱小無人機目標(biāo)檢測方法，對不同背景噪聲下無人機能夠較好地檢測，但沒有考慮無人機類型與檢測速度。因此，對未知無人機進(jìn)行快速準(zhǔn)確地定位識別仍面臨許多挑戰(zhàn)。

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的模型在目標(biāo)檢測領(lǐng)域具有廣泛的應(yīng)用，能更快更好地滿足當(dāng)今社會圖像視頻大數(shù)據(jù)的要求，并涌現(xiàn)出許多典型的方法，如Faster R-CNN[3]、SSD[4]以及YOLO[5]等方法。對空中的無人機進(jìn)行定位識別，速度是十分重要的。而其中SSD與YOLO這兩類方法在檢測速度上都能達(dá)到實時的檢測。

因此，根據(jù)無人機的特征及實際情況，文中提出了一種基于紅外圖像的低空無人機檢測識別方法。該方法通過深度殘差網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，再結(jié)合多尺度模型對空中不同大小的無人機進(jìn)行類別的判斷和目標(biāo)的定位。最后利用實際采集的紅外數(shù)據(jù)集對不同網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，結(jié)果表明，文中方法在檢測速度損失較小的情況下，檢測識別性能優(yōu)于其他方法。

1 檢測識別方法框架

對于低空紅外無人機目標(biāo)，文中設(shè)計了基于深度學(xué)習(xí)的整體框架圖，主要分為訓(xùn)練和測試兩個部分。訓(xùn)練階段，主要是利用監(jiān)督學(xué)習(xí)的方法，將帶有標(biāo)簽的紅外無人機圖像輸入到深度殘差網(wǎng)絡(luò)中進(jìn)行特征提取，然后將深度特征輸入到預(yù)測網(wǎng)絡(luò)中進(jìn)行目標(biāo)的位置回歸和類型識別，經(jīng)過多個周期的迭代，使得損失值不斷降低至不再變化，最終得到檢測識別模型。測試階段，將未訓(xùn)練的無人機圖片輸入到模型中，重新加載訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重，對新的圖片進(jìn)行特征提取及結(jié)果預(yù)測，最終得到目標(biāo)的類別、置信度及邊界框信息。該方法訓(xùn)練測試的整體框架如圖1所示。

圖1 無人機目標(biāo)檢測識別方法框架圖

2 網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示為用于低空無人機檢測識別的卷積神經(jīng)網(wǎng)絡(luò)，分為殘差網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)。深度殘差網(wǎng)絡(luò)用兩層殘差的方式來提取紅外圖片中無人機目標(biāo)的特征，而預(yù)測網(wǎng)絡(luò)則采用金字塔型的多尺度模型用于無人機目標(biāo)的檢測識別。最后添加非極大值抑制NMS層剔除多次預(yù)測的結(jié)果，得到最終的檢測識別結(jié)果。

1)殘差網(wǎng)絡(luò)。圖2中第一個虛線框內(nèi)表示的是殘差網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)設(shè)置。

圖中主要組成為Conv塊與RES BLOCK塊。前者表示卷積過程，輸入層以512×512×3的紅外圖像為例，第一層用16個大小為3×3的卷積核進(jìn)行卷積操作得到512×512×16的特征圖；然后將其輸入到第二層，用32個大小為3×3的卷積核進(jìn)行步長為2的卷積，替代池化操作。后者表示殘差結(jié)構(gòu)[6]，主要由兩層卷積(1×1卷積層和3×3卷積層)與跳躍連接構(gòu)成，輸出特征圖大小保持不變。具體結(jié)構(gòu)示意圖如圖3所示，跳躍連接由帶加號的實線圓圈表示，其相應(yīng)的公式如式(1)所示。

xl+1=xl+F(xl,Wl)

(1)

式中：xl和xl+1表示第l個殘差塊的輸入向量與輸出向量，F(xiàn)(xl,Wl)表示殘差結(jié)構(gòu)中的轉(zhuǎn)換函數(shù)。

圖2 殘差網(wǎng)絡(luò)與預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)圖

之后的網(wǎng)絡(luò)結(jié)構(gòu)由2、8、4、4和4組不同的殘差塊組成，并分別輸出128×128×64，64×64×128，32×32×256，16×16×512與8×8×1024大小的特征圖。這5組殘差塊都按上述結(jié)構(gòu)組成，只有卷積核與特征圖的大小不同。除此之外，為加速訓(xùn)練，在所有卷積層上添加了批歸一化層[7]與leakyReLu層。

圖3 殘差塊結(jié)構(gòu)示意圖

2)預(yù)測網(wǎng)絡(luò)。預(yù)測網(wǎng)絡(luò)采用了金子塔型的多尺度模型，利用不同尺寸大小的特征圖對不同大小的無人機目標(biāo)進(jìn)行預(yù)測，使得結(jié)果更加準(zhǔn)確，網(wǎng)絡(luò)結(jié)構(gòu)由圖2中第二個虛線框內(nèi)所示。多尺度模型結(jié)構(gòu)由4種不同分辨的分支構(gòu)成(8×8，16×16，32×32與64×64)，每一個分支單獨對一類尺度的目標(biāo)進(jìn)行預(yù)測。且每個分支由3層對應(yīng)分辨率的卷積層構(gòu)成。為了提升模型對特征的表達(dá)，對于分辨率為16×16，32×32與64×64的分支，執(zhí)行2倍大小的最近鄰上采樣。此外，為了提升檢測能力，結(jié)合上下文的語義信息，實現(xiàn)特征共享，將深度殘差網(wǎng)絡(luò)中對應(yīng)大小的特征圖與這3個分支進(jìn)行連接，圖中用加號表示。

在結(jié)果預(yù)測階段，將每幅紅外圖像劃分為4種不同大小的S×S(8，16，32與64)的單元格，每個單元預(yù)測3個大小不同的邊界框，每個邊界框?qū)?yīng)3個目標(biāo)類別、1個置信度及4個邊界框的偏移量，對應(yīng)的張量可以表示為S×S×[3×(4+1+3)]。通過NMS后，將會得到一個模型預(yù)測結(jié)果。預(yù)測結(jié)果中目標(biāo)置信度的計算如式(2)所示。

(2)

2.2 損失函數(shù)

在對網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，需要設(shè)置損失函數(shù)來進(jìn)行不斷的優(yōu)化。隨著訓(xùn)練周期的加深，損失值越來越小，得到的模型性能逐漸增強。文中借鑒YOLO的損失函數(shù)，采用預(yù)測張量與圖像標(biāo)簽的誤差值和均方值進(jìn)行訓(xùn)練的優(yōu)化。由于沒有目標(biāo)的單元格占大多數(shù)，因此設(shè)置不同的比例系數(shù)平衡有無目標(biāo)存在的預(yù)測框之間差異性。同時，還引入類別判斷與邊界框偏移的損失系數(shù)，讓含有目標(biāo)的邊界框損失系數(shù)具有較高的比例。具體的表達(dá)式如式(3)所示。

(3)

3 實驗及結(jié)果

3.1 紅外目標(biāo)數(shù)據(jù)集

通常數(shù)據(jù)集多是可見光圖像，紅外源的數(shù)據(jù)集較少，且應(yīng)用于無人機方面沒有大型公開的數(shù)據(jù)集。因此文中利用紅外探測器與3型民用無人機進(jìn)行了紅外數(shù)據(jù)集的采集與構(gòu)建。

1)數(shù)據(jù)的采集。設(shè)備選擇：紅外探測器選擇和普威視的紅外安防監(jiān)控設(shè)備。無人機選擇常見的大疆系列無人機共3型，分別為大疆-精靈3、大疆-御PRO與大疆-S900。采集環(huán)境：考慮到安全性等因素，選擇白天不同時間段的學(xué)校操場、郊區(qū)工地等開闊地進(jìn)行數(shù)據(jù)采集。同時，為進(jìn)一步豐富數(shù)據(jù)樣本，采集了無人機飛行時的各種姿態(tài)，包括平穩(wěn)飛行、急速升降、遠(yuǎn)近飛行等。最終得到5 824張紅外圖像。

2)數(shù)據(jù)標(biāo)注及擴增。對于采集的紅外圖像，需要進(jìn)行標(biāo)注標(biāo)簽信息，3型無人機的標(biāo)簽分別為：DJ-3、DJ-Pro和DJ-S900，標(biāo)注方式采用手工標(biāo)注。為確保采集樣本的有效性，對不完整的目標(biāo)不進(jìn)行標(biāo)注。最終篩選出5 500張紅外圖像中的無人機目標(biāo)，并對其進(jìn)行邊界框及類別信息的標(biāo)注。按4∶1的比例將帶有標(biāo)簽的數(shù)據(jù)分為訓(xùn)練集和測試集。

由于數(shù)據(jù)擴增有助于提升模型的檢測識別性能，因此對訓(xùn)練數(shù)據(jù)進(jìn)行隨機的數(shù)據(jù)增強操作以擴充樣本量。采用的方式包括亮度、對比度調(diào)整，圖像翻轉(zhuǎn)及±1°～20°的旋轉(zhuǎn)操作。如果經(jīng)過處理后的圖像中有目標(biāo)殘缺或完全丟失情況，則剔除該樣本。

3)紅外數(shù)據(jù)集構(gòu)建。通過采集、處理及數(shù)據(jù)擴增后，紅外數(shù)據(jù)集中訓(xùn)練集圖像包含30 000張圖像，測試集包含1 100張圖像。訓(xùn)練集用于網(wǎng)絡(luò)的訓(xùn)練，測試集用于訓(xùn)練后模型性能的驗證。

3.2 訓(xùn)練環(huán)境及參數(shù)設(shè)置

實驗選擇SSD、YOLOv2、YOLOv3方法與文中方法進(jìn)行效果比較。實驗的環(huán)境如下：深度學(xué)習(xí)框架選擇Caffe與Darknet；服務(wù)器工作站配置為Ubuntu 18.04操作系統(tǒng)，Intel(R) Xeon(R) CPU E5-2673 v3 @ 2.40 GHz，搭載GeForce GTX 1080Ti/PCIe/SSE2顯卡，32 GB內(nèi)存。

訓(xùn)練過程中，每種方法的訓(xùn)練參數(shù)設(shè)置相同。具體設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置

根據(jù)網(wǎng)絡(luò)的配置，需要設(shè)置4種尺度12個錨點進(jìn)行匹配。通過K-means聚類方法[8]對紅外訓(xùn)練集自動生成對應(yīng)尺度的錨點，分別為：(20×12)，(27×16)，(34×22)，(48×23)，(53×32)，(72×38)，(98×54)，(123×69)，(152×81)，(203×114)，(256×156)，(301×184)，并且與真實框的平均重疊率為88.12%。

3.3 實驗結(jié)果與分析

通過利用測試集對不同的方法進(jìn)行測試實驗，重點比較對不同類別低空無人機的檢測識別能力，并對結(jié)果進(jìn)行評估分析。

在利用測試集進(jìn)行實驗時，將紅外測試集圖像輸入訓(xùn)練好的模型，進(jìn)行結(jié)果預(yù)測。當(dāng)目標(biāo)的預(yù)測框與真實邊界框的IOU(交并比)≥0.5且目標(biāo)類別判斷正確時，則結(jié)果正確，否則錯誤。同時，采用AP(average precision)值(單位：%)、mAP(mean average precision)值(單位：%)和檢測速度(單位：張/s)作為評價指標(biāo)。該評價指標(biāo)能較好地反映模型的召回率、準(zhǔn)確率和實時性。最終，實驗結(jié)果如表2及圖4所示。

通過表2可以看出，文中方法在AP值與mAP值上都優(yōu)于其他方法，mAP值達(dá)到了78.21%。因此，通過加深網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建多尺度模型預(yù)測結(jié)果能夠提升檢測識別性能。隨著網(wǎng)絡(luò)深度的加深，參數(shù)量也有所增加，導(dǎo)致在檢測速度上有所下降，達(dá)到約28張/s，但仍具有實時檢測的水平。圖4展示了文中方法的部分測試結(jié)果。綠色方框為DJ-Pro，藍(lán)色方框為DJ-3，紅色方框為DJ-S900，類別右邊的數(shù)字為置信度。

表2 不同方法在不同測試集上的評價結(jié)果

圖4 文中方法的部分測試結(jié)果

4 結(jié)論

為降低無人機的低空威脅，提升對無人機的檢測識別能力，文中利用深度學(xué)習(xí)框架，構(gòu)建了殘差網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)對紅外數(shù)據(jù)集進(jìn)行訓(xùn)練，并與其他常用的方法進(jìn)行比較分析。通過殘差網(wǎng)絡(luò)提取無人機目標(biāo)的深度特征使得網(wǎng)絡(luò)對無人機的表征能力得到了提升，同時預(yù)測網(wǎng)絡(luò)的多尺度模型結(jié)構(gòu)與上下文語義信息相結(jié)合能夠較好地匹配不同尺寸的無人機目標(biāo)，這樣使得訓(xùn)練得到的模型在檢測性能上有較大的提升。雖然網(wǎng)絡(luò)深度的加深使得參數(shù)量增加，導(dǎo)致檢測速度上有所損失，但模型的整體檢測速度依然能夠維持較快水平。

此外，文中方法還存在一些未驗證的部分。例如，無人機類別數(shù)的增加對檢測識別會造成怎樣的影響；在夜間或光線昏暗環(huán)境下，無人機的紅外特性更加明顯，性能是否會提升，這些都是將來繼續(xù)深入研究的內(nèi)容。