王 磊,張啟亮,翁明善
(1.空軍工程大學(xué)研究生院,陜西 西安 710051;2.中國人民解放軍93688部隊(duì),天津 300202; 3.空軍工程大學(xué)防空反導(dǎo)學(xué)院,陜西 西安 710051;4.中國人民解放軍93159部隊(duì),遼寧 大連 116033)
隨著電子技術(shù)的不斷發(fā)展,近年來小型多旋翼無人機(jī)技術(shù)日趨成熟,成為一種新興的遙感手段。它可以根據(jù)攜帶的裝備器材,完成戰(zhàn)時(shí)偵察監(jiān)視、電子干擾、火力打擊、毀傷評估、通信中繼等任務(wù)[1],也在測繪、反恐、災(zāi)難救援、水利水電建設(shè)、農(nóng)業(yè)估產(chǎn)等民用方面發(fā)揮極大作用[2]。由于其在低空、超低空領(lǐng)域飛行,具有目標(biāo)小,隱蔽性強(qiáng)的特點(diǎn),容易被敵方用于情報(bào)偵察,低空突防后實(shí)施火力打擊,從而造成國家重要秘密外泄,重點(diǎn)要害目標(biāo)遭受威脅,對我國空防安全帶來了新的挑戰(zhàn)。
小型多旋翼無人機(jī)低空、超低空飛行時(shí)地雜波較強(qiáng),使得雷達(dá)探測能力嚴(yán)重下降,多輸入多輸出(multiple input multiple output, MIMO)雷達(dá)具有較強(qiáng)的雜波抑制能力與抗干擾能力[3],可以作為一種探測多旋翼無人機(jī)的有效手段。雷達(dá)捕獲多旋翼無人機(jī)目標(biāo)后進(jìn)行信號處理,當(dāng)采用固定門限,由于較強(qiáng)的地雜波會(huì)產(chǎn)生較高的虛警率,影響雷達(dá)檢測性能。傳統(tǒng)恒虛警概率檢測(constant false alarm rate, CFAR)算法采用統(tǒng)計(jì)理論,以臨近的參考單元信號強(qiáng)度動(dòng)態(tài)調(diào)整雷達(dá)的檢測門限,采樣單元信號強(qiáng)度大于門限便認(rèn)為有目標(biāo),小于門限便認(rèn)為無目標(biāo),在保持虛警概率不變化的基礎(chǔ)上盡可能提升檢測能力[4]。但當(dāng)噪聲功率較高時(shí),CFAR算法的檢測能力會(huì)急劇下降,對于強(qiáng)地雜波下的低空、超低空多旋翼無人機(jī)檢測概率較低。
近年來,隨著深度學(xué)習(xí)的高速發(fā)展,在機(jī)器視覺領(lǐng)域科研人員提出了大量基于深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的模型,尤其是2012年AlexNet[5]的提出,更是為目標(biāo)檢測開辟了新的研究方向。此后,RCNN[6]、SPPNet[7]、Faster-RCNN[8]、YOLO(you only look once)、SSD(single shot multibox detecor)[9]、Retina-Net[10]等優(yōu)秀算法相繼被提出,并在光學(xué)圖像處理領(lǐng)域得到了較為廣泛的應(yīng)用。
通過不同的雷達(dá)信號處理方法,可以得到不同形式的雷達(dá)圖像,部分經(jīng)過處理的雷達(dá)圖像會(huì)呈現(xiàn)出光學(xué)圖像的某些特征。因此,越來越多的學(xué)者開始將光學(xué)圖像處理領(lǐng)域的深度學(xué)習(xí)成果應(yīng)用于雷達(dá)圖像處理領(lǐng)域,主要有合成孔徑雷達(dá)(synthetic aperture radar,SAR)圖像、高分辨距離像(high resolution range profile,HRRP)、微多普勒譜圖、距離多普勒(R-D)譜圖等[11]。SAR圖像與光學(xué)圖像的較大相似性使得深度學(xué)習(xí)在SAR圖像處理領(lǐng)域的應(yīng)用較為廣泛。2017年,徐豐、王海鵬等人提出了復(fù)數(shù)深度CNN并應(yīng)用于全極化SAR圖像的地物分類中,在Flevoland 15類地物分類中取得了95%的精度[12]。在HRRP識別領(lǐng)域,Karabayir O等人采用典型的CNN對艦船目標(biāo)模型進(jìn)行分類,在自制的HRRP數(shù)據(jù)集上取得了93.9%的識別率[13]。南京電子研究所王國帥等人為改善基于CNN的模型對于雷達(dá)目標(biāo)識別的泛化能力,將深度適配網(wǎng)絡(luò)引入到HRRP目標(biāo)識別中,并對損失函數(shù)進(jìn)行了改進(jìn),實(shí)驗(yàn)表明,該方法可顯著提升模型的泛化能力與魯棒性[14]。在微多普勒譜圖識別領(lǐng)域,海軍航空大學(xué)蘇寧遠(yuǎn)等人將CNN用于海上目標(biāo)微多普勒的檢測分類,分別構(gòu)建4種微動(dòng)信號的二維時(shí)頻圖,采用LeNet、AlexNet、GoogLeNet 3種CNN模型與傳統(tǒng)支持向量機(jī)(support vector machines,SVM)的分類性能進(jìn)行比較,結(jié)果表明3種CNN模型均能取得較好的分類檢測性能[15]。文獻(xiàn)[16]針對傳統(tǒng)彈道目標(biāo)的微多普勒分類性能差的問題,提出了一種深度CNN模型,實(shí)驗(yàn)結(jié)果表明該方法在低信噪比下的分類準(zhǔn)確率更高。在R-D譜圖識別領(lǐng)域,研究人員通過采集10個(gè)人的11類手勢動(dòng)作進(jìn)行R-D譜圖序列分類,最終獲得87.6%的平均識別率[17]。文獻(xiàn)[18]通過深度學(xué)習(xí)網(wǎng)絡(luò)對飛鳥與無人機(jī)的回波序列圖、微動(dòng)時(shí)頻圖、R-D譜圖等進(jìn)行提取,輸入多通道CNN模型,為飛鳥和無人機(jī)的識別分類問題提供了新思路。
針對上述情況,本文將光學(xué)圖像處理領(lǐng)域準(zhǔn)確度、實(shí)時(shí)性較為均衡的YOLOv4[19]目標(biāo)檢測算法引入到多旋翼無人機(jī)目標(biāo)檢測中,并對其進(jìn)行改進(jìn)。
YOLOv4算法是由Alexey Bochkovskiy等人在2020年基于YOLOv3算法改進(jìn)而來,很好地平衡了算法的檢測精度與檢測速度,是當(dāng)下應(yīng)用較多的一種目標(biāo)檢測算法。圖像輸入模型后,首先會(huì)被分割成76×76、38×38、19×19三種尺寸的網(wǎng)格,用于檢測不同尺度的目標(biāo)。如果被檢測目標(biāo)的中心位于某一個(gè)網(wǎng)格內(nèi)部,便由這個(gè)網(wǎng)格來負(fù)責(zé)檢測目標(biāo),并計(jì)算出3個(gè)預(yù)測框,每個(gè)預(yù)測框包含框的中心點(diǎn)坐標(biāo)(x,y)、框的寬度、框的高度、目標(biāo)的置信度等5個(gè)參數(shù)以及目標(biāo)類別C,共計(jì)5+C個(gè)參數(shù)信息。YOLOv4算法主要由主干特征提取網(wǎng)絡(luò)CSPDarknet53、空間金字塔池化(spatial pyramid pooling,SPP)結(jié)構(gòu)、路徑聚合網(wǎng)絡(luò) (path aggregation network,PAnet)以及3個(gè)YOLO Head模塊組成[20],算法結(jié)構(gòu)如圖1所示。
圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of YOLOv4
SPP結(jié)構(gòu)是對CSPDarknet53結(jié)構(gòu)的最后一個(gè)特征層經(jīng)過3次卷積后分別利用4個(gè)尺度進(jìn)行最大池化操作,池化核大小分別為1×1、5×5、9×9、13×13,從而最大程度地增加感受野,分離出較為明顯的上下文特征。PANet結(jié)構(gòu)用來進(jìn)行反復(fù)提取特征,完成傳統(tǒng)特征金字塔自下而上提取特征后,再次在76×76、38×38、19×19這3個(gè)有效特征層中自上而下提取特征,從而完成特征融合,有效提升目標(biāo)特征的提取能力。最后將通過PANet結(jié)構(gòu)處理的3個(gè)特征層輸入到Y(jié)OLO Head中對每個(gè)特征層的預(yù)測框進(jìn)行判斷,最后通過非極大值抑制和先驗(yàn)框調(diào)整的方法篩選出置信度較高的框作為目標(biāo)的最終預(yù)測框。
YOLOv4的總損失函數(shù)是由回歸框預(yù)測誤差lloc、置信度誤差lconf以及分類誤差lcls三部分組成[20]:
Loss=lloc+lconf+lcls。
(1)
回歸框預(yù)測誤差lloc為
(2)
(3)
(4)
式中,ηIOU(M,N)表示真實(shí)框與預(yù)測框的交并比,ρ2(Mctr,Nctr)表示真實(shí)框與預(yù)測框中心點(diǎn)的歐氏距離,m表示能夠包括真實(shí)框與預(yù)測框最小閉合區(qū)域的對角線距離,wgt表示真實(shí)框的寬度,hgt表示真實(shí)框的高度,w表示預(yù)測框的寬度,h表示預(yù)測框的高度。
置信度誤差lconf為
(5)
分類誤差lcls為
(6)
SENet(squeeze-and-excitation networks)是2017年Jie Hu等人將注意力機(jī)制引入CNN后,提出的一種全新的圖像識別結(jié)構(gòu)[21]。該結(jié)構(gòu)提出了一種即插即用的SE模塊,通過該模塊可以學(xué)習(xí)通道間的信息,生成通道的權(quán)值向量,放大有用的特征通道,抑制作用較小的通道,實(shí)現(xiàn)對通道信息的篩選,緩解干擾信息對網(wǎng)絡(luò)模型的影響,圖2為SE模塊結(jié)構(gòu)圖[21]。
圖2 SE模塊結(jié)構(gòu)圖Fig.2 SE module structure diagram
特征圖U的通道數(shù)為C,寬和高分別為H和W。U輸入SE模塊后,首先是Squeeze操作,會(huì)對每個(gè)通道進(jìn)行全局平均池化,將特征圖的寬和高壓縮至C×1×1的一維向量,計(jì)算公式為
(7)
式(7)中,(i,j)為特征圖U坐標(biāo)軸上橫縱坐標(biāo)為i和j的點(diǎn)。
隨后進(jìn)行Excitation操作,利用兩個(gè)全連接層對一維向量進(jìn)行映射變換,生成對應(yīng)的注意力權(quán)重。第1個(gè)全連接層的激活函數(shù)為ReLU函數(shù),第2個(gè)全連接層的激活函數(shù)為Sigmoid函數(shù),計(jì)算公式為
S=Fex(Z,W)=Sigmoid(W2×ReLU(W1,Z)),
(8)
最后將得到的權(quán)重向量與通道進(jìn)行相乘,得到輸出結(jié)果,計(jì)算公式為
(9)
式(9)中,符號“?”表示逐元素相乘。
由于小型多旋翼無人機(jī)的多個(gè)旋翼會(huì)產(chǎn)生多普勒頻移,其在雷達(dá)R-D譜圖上呈現(xiàn)出的將不再是一個(gè)亮點(diǎn),而是特征較為明顯的帶狀線,這種帶狀線能夠豐富小型多旋翼無人機(jī)目標(biāo)的特征,可以使YOLOv4算法學(xué)習(xí)到更深層次的特征,從而進(jìn)一步提升檢測概率。因此,本文算法對于無人機(jī)的檢測在R-D譜圖上進(jìn)行。圖3為本文算法的整體流程。
圖3 算法整體流程Fig.3 The overall flow of the algorithm
通過實(shí)驗(yàn)室自制4入4出MIMO雷達(dá)系統(tǒng)對大疆M600pro多旋翼無人機(jī)進(jìn)行跟蹤檢測,得到原始的雷達(dá)回波信號。原始雷達(dá)回波為一維向量,無法滿足YOLOv4算法的輸入條件,需要對數(shù)據(jù)進(jìn)行預(yù)處理。通過對距離維進(jìn)行匹配濾波,隨后對多普勒維進(jìn)行快速傅里葉變換(fast Fourier transform,F(xiàn)FT),提取目標(biāo)的多普勒頻率,獲得回波信號在距離-多普勒域能量分布的二維數(shù)據(jù)矩陣,進(jìn)而得到多旋翼無人機(jī)的R-D譜圖。圖4為經(jīng)過數(shù)據(jù)預(yù)處理后的R-D譜圖。
圖4 經(jīng)過數(shù)據(jù)預(yù)處理后的多旋翼無人機(jī)R-D譜圖Fig.4 R-D spectrum of multi-rotor UAV after data pretreatment
2.2.1先驗(yàn)框改進(jìn)
由于YOLOv4模型所提供的先驗(yàn)框是通過聚類VOC數(shù)據(jù)集得到的,VOC數(shù)據(jù)集有20種目標(biāo)類別且目標(biāo)尺寸、長寬比例差別較大,與本文所用無人機(jī)R-D譜圖數(shù)據(jù)集中目標(biāo)的邊界框尺寸不符,如果直接使用原始先驗(yàn)框尺寸,會(huì)造成大量漏檢,因此采用k-means聚類算法對R-D譜圖數(shù)據(jù)集中標(biāo)注的目標(biāo)尺寸進(jìn)行聚類分析,得到聚類后的先驗(yàn)框尺寸為(198,11),(219,12),(228,13),(235,11),(238,15),(241,11),(240,13),(249,12),(256,14)。為加大先驗(yàn)框參數(shù)之間的差距,提升不同特征層與先驗(yàn)框的匹配度,本文在k-means聚類算法的基礎(chǔ)上對先驗(yàn)框尺寸進(jìn)行了縮放,具體縮放方法如下:
(10)
2.2.2嵌入SE模塊
針對YOLOv4算法不能學(xué)習(xí)通道間特征重要程度的問題,考慮將SE模塊嵌入YOLOv4網(wǎng)絡(luò)中,從而提升算法的特征提取能力。SE模塊通常會(huì)在某些卷積層中使用,由于YOLOv4算法的特征提取網(wǎng)絡(luò)采用的是CSPDarkNet53結(jié)構(gòu),該結(jié)構(gòu)對于圖像特征的提取能力已經(jīng)足夠使用,不需要再嵌入SE模塊。故本文考慮在YOLO Head層前嵌入SE模塊,這樣既可以緩解干擾信息對模型的影響,又能減少SE模塊中全連接層帶來的運(yùn)算量。圖5為改進(jìn)后的SE-YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖。
圖5 改進(jìn)后的SE-YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Improved SE-YOLOv4 network structure diagram
訓(xùn)練完成后,將測試集輸入到訓(xùn)練好的YOLOv4與SE-YOLOv4網(wǎng)絡(luò)分別進(jìn)行檢測,通過調(diào)整置信度的閾值來控制目標(biāo)的檢測結(jié)果,當(dāng)預(yù)測結(jié)果的置信度大于閾值則認(rèn)為是目標(biāo),當(dāng)預(yù)測結(jié)果的置信度小于閾值則認(rèn)為不是目標(biāo),從而得到不同虛警概率下目標(biāo)的檢測概率。
為了更好地評估算法的檢測性能,本文將YOLOv4和SE-YOLOv4算法得到的預(yù)測結(jié)果與真實(shí)結(jié)果進(jìn)行對比,統(tǒng)計(jì)出其檢測概率Pd與虛警概率Pfa,隨后再與CFAR算法進(jìn)行比較。由于預(yù)測框與實(shí)際框不能完全一致,故若預(yù)測框在距離維的對應(yīng)點(diǎn)數(shù)處于真實(shí)框在距離維對應(yīng)點(diǎn)數(shù)的±25%以內(nèi)(包含25%),統(tǒng)計(jì)為正確檢測,超出±25%的部分統(tǒng)計(jì)為虛警。檢測概率Pd與虛警概率Pfa的計(jì)算公式如下:
(11)
(12)
式(12)中,Y為距離維總點(diǎn)數(shù),y0、y1分別為實(shí)際框向上、向下擴(kuò)展其長度25%所對應(yīng)的距離維點(diǎn)數(shù)。
本文實(shí)驗(yàn)采用Windows10系統(tǒng),酷睿i9-10900F處理器,內(nèi)存120 G,RTX3090顯卡,通過Matlab軟件對雷達(dá)接收到的回波信號進(jìn)行預(yù)處理,使用cuda11.0、cudnn8.0、pytorch1.7.0搭建網(wǎng)絡(luò)模型,訓(xùn)練完成后,在測試集上對模型進(jìn)行檢測,隨后使用Matlab軟件對CFAR、YOLOv4及SE-YOLOv4算法的檢測結(jié)果進(jìn)行統(tǒng)計(jì)評估。
對第1組原始一維信號進(jìn)行數(shù)據(jù)預(yù)處理后得到1組大小為933×735,分辨率96dpi的目標(biāo)R-D譜圖。隨后通過對第1組圖像增加椒鹽噪聲(salt and pepper noise)、高斯噪聲(gaussian noise)、隨機(jī)噪聲(random noise)以及變換通道 (transform channel)的方式進(jìn)行數(shù)據(jù)增強(qiáng),增強(qiáng)后的數(shù)據(jù)集共計(jì)6 650張圖像,并使用LabelImg軟件對圖像進(jìn)行標(biāo)注。按照9∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集與驗(yàn)證集,其中訓(xùn)練集5 985張,驗(yàn)證集665張。圖6是對同一張R-D譜圖進(jìn)行4種方式的數(shù)據(jù)增強(qiáng)后得到的圖像。
圖6 數(shù)據(jù)增強(qiáng)Fig.6 Data enhancement
測試集采用在第2組原始一維信號上疊加噪聲后,再進(jìn)行數(shù)據(jù)預(yù)處理,生成疊加噪聲功率分別為5、10、15、20 dB共計(jì)4組測試集,每組6 160張圖像。圖7為疊加噪聲功率為5、10、15、20 dB時(shí)的R-D譜圖。
圖7 不同疊加噪聲功率下的目標(biāo)R-D譜圖Fig.7 R-D spectra of targets with different added noise powers
圖像輸入尺寸為608×608,共計(jì)訓(xùn)練100代。前50代采用凍結(jié)網(wǎng)格的方式訓(xùn)練,初始學(xué)習(xí)率為0.001,Batchsize為16;50至100代進(jìn)行解凍訓(xùn)練,Batchsize為4,初始學(xué)習(xí)率為0.000 1。圖8為模型訓(xùn)練時(shí)的Loss下降曲線。
圖8 Loss下降曲線Fig.8 Loss decline curve
實(shí)驗(yàn)中通過不斷調(diào)整CFAR算法的檢測門限,調(diào)整YOLOv4和SE-YOLOv4算法的置信度閾值,得到算法不同的檢測概率Pd與虛警概率Pfa,繪制出疊加噪聲功率分別為5、10、15和20 dB時(shí)的接收機(jī)工作特性(receiver operating characteristic, ROC)曲線[22],如圖9—圖12所示。由于雷達(dá)虛警概率通常保持在10-6量級左右,故本文僅對雷達(dá)虛警概率小于1×10-5時(shí)雷達(dá)的檢測性能進(jìn)行統(tǒng)計(jì)評估。
圖9 疊加噪聲功率為5 dB的ROC曲線Fig.9 The ROC curve with the added noise power equal to 5 dB
圖10 疊加噪聲功率為10 dB的ROC曲線Fig.10 The ROC curve with the added noise power equal to 10 dB
圖11 疊加噪聲功率為15 dB的ROC曲線Fig.11 The ROC curve with the added noise power equal to 15 dB
圖12 疊加噪聲功率為20 dB的ROC曲線Fig.12 The ROC curve with the added noise power equal to 20 dB
從圖9—圖12中可以看出,在虛警概率小于1×10-5時(shí),YOLOv4原模型與CFAR算法的檢測概率均不超過0.6,兩者檢測性能基本相當(dāng)。當(dāng)疊加噪聲功率變化時(shí),YOLOv4原模型的檢測性能波動(dòng)較為明顯,但CFAR算法的檢測性能波動(dòng)不明顯,魯棒性更強(qiáng)。
對于SE-YOLOv4算法,當(dāng)虛警概率大于2×10-6時(shí),算法的檢測性能隨著疊加噪聲功率的增加略有下降。當(dāng)虛警概率小于2×10-6,疊加噪聲為5 dB時(shí),算法的檢測概率能夠保持在0.5~0.9之間,當(dāng)疊加噪聲功率為10~20 dB時(shí),算法的檢測性能隨著疊加噪聲功率的增加有所下降,但波動(dòng)不明顯,基本保持在0.2~0.7之間,可以看出算法的檢測性能良好。
實(shí)驗(yàn)表明,對原始YOLOv4算法的先驗(yàn)框進(jìn)行改進(jìn)后,加大先驗(yàn)框之間的尺寸差異,使得先驗(yàn)框能夠與不同特征層更好地進(jìn)行匹配,降低了算法的漏檢概率;其次,由于增加了SE模塊,改進(jìn)后的SE-YOLOv4算法能夠在不改變網(wǎng)絡(luò)結(jié)構(gòu)的情況下對特征圖進(jìn)行重構(gòu),實(shí)現(xiàn)強(qiáng)調(diào)重要特征,忽略不重要的特征,增強(qiáng)模型的表征能力,進(jìn)一步提高模型檢測性能。此外,由于算法的虛警概率是通過調(diào)整置信度的閾值來控制,當(dāng)虛警概率小于2×10-6時(shí),置信度閾值已經(jīng)調(diào)整為極高值,導(dǎo)致算法在虛警概率小于2×10-6時(shí),檢測概率快速下降。
針對基于傳統(tǒng)CFAR算法的MIMO雷達(dá)在地雜波較強(qiáng)的環(huán)境中對于小型多旋翼無人機(jī)檢測性能急劇下降的問題,本文基于YOLOv4算法對多旋翼無人機(jī)的R-D譜圖進(jìn)行識別。在通過k-means聚類算法聚類后,對先驗(yàn)框進(jìn)行了針對性的縮放,使其能夠更好地匹配不同特征層。隨后通過對YOLOv4算法增加SE模塊,進(jìn)一步增強(qiáng)了算法的檢測性能。實(shí)驗(yàn)表明,改進(jìn)后的SE-YOLOv4算法的檢測性能優(yōu)于CFAR算法與YOLOv4原算法。后續(xù)將在SE-YOLOv4算法的基礎(chǔ)上繼續(xù)進(jìn)行改進(jìn),進(jìn)一步提升MIMO雷達(dá)對小型多旋翼無人機(jī)的檢測性能。