賈曉雅, 汪洪橋, 楊亞聃, 崔忠馬, 熊 斌

(1. 火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院, 陜西 西安 710025; 2. 北京遙感設(shè)備研究所, 北京 100854;3. 中國航天科工集團有限公司科研生產(chǎn)部, 北京 100048)

0 引 言

目標(biāo)檢測作為計算機視覺的一個重要應(yīng)用,根據(jù)檢測的目標(biāo)、圖像來源和側(cè)重點等給研究者更細化的現(xiàn)實研究。根據(jù)檢測的目標(biāo)可分為日常目標(biāo)檢測和特定目標(biāo)檢測,日常目標(biāo)為常用目標(biāo)檢測數(shù)據(jù)集中的目標(biāo),特定目標(biāo)包括具有研究意義的某種特定的目標(biāo)種類,如飛機、艦船、橋梁、交通標(biāo)志、行人檢測等。根據(jù)檢測的圖像來源可分為可見光圖像、紅外圖像、 合成孔徑雷達(synthetic aperture radar， SAR)圖像等。目標(biāo)檢測可側(cè)重小樣本、小目標(biāo)、輕量化等具有特點的檢測方向。通過以上細化,讓目標(biāo)檢測的具體應(yīng)用及改進有了更多可能性和方向性。SAR圖像艦船目標(biāo)檢測作為目標(biāo)檢測的一個重要應(yīng)用方向,對其深入研究具有重要的軍事和社會意義。

常見的傳統(tǒng)SAR圖像目標(biāo)檢測方法是恒虛警率[1](constant false alarm rate, CFAR),還有模板匹配[2]、尾跡檢測[3]、基于小波變換[4]的檢測方法等。傳統(tǒng)方法的特征提取多依靠人工的設(shè)計,難以應(yīng)對復(fù)雜多變的檢測環(huán)境。以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)為框架的深度學(xué)習(xí)方法在可見光圖像的目標(biāo)檢測算法中取得了較好的發(fā)展,現(xiàn)也被應(yīng)用到SAR和紅外圖像的目標(biāo)檢測中。如:針對SAR圖像艦船目標(biāo)成像小的特點改進神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),實現(xiàn)SAR海面艦船目標(biāo)識別算法[5];提出了一種適應(yīng)多尺度、小目標(biāo)檢測的骨干網(wǎng)[6];考慮紅外強度提出一種新的骨干網(wǎng)絡(luò)[7]。

深度學(xué)習(xí)方法有以精度高為優(yōu)勢的兩階段檢測算法,包括區(qū)域CNN(region-CNN, R-CNN)[8]、SPP(spatial pyramid pooling)-Net[9]、Fast R-CNN[10]、Faster R-CNN[11]等,和以速度快為優(yōu)勢的一階段檢測算法,包括YOLO(you only look once)[12]、SSD(single shot multibox detector)[13]、YOLOv2[14]、YOLOv3[15]等。YOLOv4[16]中指出通過模塊化結(jié)構(gòu),以上檢測算法都可分為Backbone、Neck、Head 3部分,更利于對特征提取、特征融合、檢測頭的構(gòu)建和優(yōu)化。

Backbone作為提取特征的主干網(wǎng)絡(luò),是獲得特征圖的關(guān)鍵步驟,視覺幾何群 (visual geometry group, VGG)網(wǎng)絡(luò)[17]、ResNet[18]、ResNeXt[19]、Darknet53[15]都是經(jīng)典的特征提取網(wǎng)絡(luò)。近年來,更具目的性的Backbone應(yīng)運而生。Hourglass將重復(fù)的自下而上和自上而下的處理與中間監(jiān)督結(jié)合使用以提高網(wǎng)絡(luò)性能[20];MobileNet是為移動和嵌入式應(yīng)用提出的高效模型[21];EfficientNet可以在保證精度與速度的同時實現(xiàn)模型縮放[22];HRNet通過并行連接高分辨率到低分辨率卷積以保持高分辨率表示[23]。

Neck可以實現(xiàn)淺層與深層特征圖的融合,達到對Backbone提取的特征充分利用的效果。從特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPNs)到PANet(path aggregation network)[24]、NAS(neural architecture search)-FPN[25]、BiFPN(bi-directional FPN)[22]等,其連接方式越來越復(fù)雜。HRFPN是HRNet為了保持高分辨率提出的特征融合方式[23]。Balanced Feature Pyramid使用相同深度集成的平衡語義特征來加強多級特征[26]。經(jīng)過證實,特征融合結(jié)構(gòu)對平均精度有較為明顯的提升。

Head主要負(fù)責(zé)預(yù)測目標(biāo)的類別和位置,分為一階段檢測算法的密集預(yù)測和兩階段檢測算法的稀疏預(yù)測。其中,對于邊界框的預(yù)測也分為兩種方法,一種是基于錨框的,另一種是無錨框的。因為使用錨框會造成正負(fù)錨框數(shù)量巨大不平衡,增加超參數(shù),減緩訓(xùn)練速度,所以近年來CornerNet[27]、ExtremeNet[28]、CenterNet[29]、FSAF(feature selective anchor-free)[30]、FCOS(fully convolutional one-stage)[31]、FoveaBox[32]等讓無錨框檢測成為另一種邊界框預(yù)測的選擇。

對于SAR圖像艦船目標(biāo)檢測,SAR圖像不僅會伴隨相干斑噪聲的產(chǎn)生,其圖像特征比可見光圖像也更加復(fù)雜,且艦船目標(biāo)在不同場景下尺度變化大,加之環(huán)境干擾等因素,給檢測帶來困難。鑒于以上分析,本文將模型分為Backbone、Neck、Head 3部分去創(chuàng)新,方法如下:

(1) Backbone使用改進CSPDarknet53[16]作為特征提取網(wǎng)絡(luò)。CSPDarknet53是YOLOv4的主干網(wǎng)絡(luò),可以兼顧精度和速度,并降低模型大小。但SAR圖像干擾大、可利用的特征信息少,所以在CSPDarknet53網(wǎng)絡(luò)上增加全局上下文模塊(GC block)[33]來提高網(wǎng)絡(luò)注意力,可以減少虛警。

(2) 為了充分融合多層特征圖,Neck部分選擇FPN并使用感受野模塊(receptive field block, RFB)[34],使特征的可區(qū)分性和魯棒性更強。

(3) Head采用基于anchor free的FoveaBox進行類別和位置預(yù)測,可以更好地適應(yīng)艦船目標(biāo)大小的變化,改善了艦船尺寸差別大錨框大小預(yù)測不準(zhǔn)的問題。

本文把無錨框與骨干網(wǎng)為CSPDarknet的YOLO框架相結(jié)合,并用于SAR圖像艦船目標(biāo)檢測,在公開數(shù)據(jù)集上取得了性能提升。

1 基于YOLO框架的無錨框SAR圖像艦船目標(biāo)檢測方法

本文基于YOLO框架,在CSPDarknet53特征提取網(wǎng)絡(luò)上增加注意力機制GC block,將提取后的特征圖經(jīng)過FPN特征融合,得到5層具有不同尺度信息的特征圖,其中大小為104和52尺度的特征圖使用RFB增大感受野,最后由FoveaBox檢測頭進行檢測。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 基于注意力機制的特征提取網(wǎng)絡(luò)

CSPDarknet53是在Darknet53網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上結(jié)合跨階段局部(cross stage partial, CSP)結(jié)構(gòu)形成的主干網(wǎng)絡(luò),CSP結(jié)構(gòu)可以與Backbone結(jié)合,使計算量降低的同時保證網(wǎng)絡(luò)的精確度,讓目標(biāo)檢測模型更加輕量化?？紤]SAR圖像復(fù)雜的特性,增加注意力機制GC block來提高檢測的準(zhǔn)確率。將GC block應(yīng)用到CSPDarknet53特征提取網(wǎng)絡(luò)的CSP結(jié)構(gòu)后,可以對全局上下文進行有效建模,實現(xiàn)空域注意力機制。

1.1.1 用于艦船檢測的全局上下文建模

在SAR圖像中,艦船目標(biāo)呈現(xiàn)大小和形狀面不同的特性,且有海島、陸地物體以及相干斑噪聲的干擾,不易進行目標(biāo)檢測。增加全局上下文建模有利于特征圖對全文信息的獲取。GC block融合了Non-local[35]和SENet[36],既實現(xiàn)了對全局上下文的建模,又能降低計算量,成為即插即用的注意力機制模塊。

圖2 GC block結(jié)構(gòu)

第2步找到通道間的依賴。Wv 1和Wv 2是1×1卷積,為了使模型輕量化,使用瓶頸轉(zhuǎn)換模塊代替。層規(guī)范化添加在兩層瓶頸轉(zhuǎn)換(ReLU之前)結(jié)構(gòu)之間,可以降低優(yōu)化難度,作為利于泛化的正則化器。這部分的計算公式為

δ(·)=Wv 2ReLU(LN(Wv 1(·)))

(1)

1.1.2 可視化結(jié)果對比

實驗中采用SAR艦船目標(biāo)檢測數(shù)據(jù)集(SAR ship target detection dataset, SSDD)[37]進行可視化結(jié)果對比。選擇尺度大小為52的特征圖進行熱力圖可視化(圖3第3行),與沒有使用GC block的同尺度熱力圖結(jié)果(圖3第2行)作對比。如圖3所示,第一行為數(shù)據(jù)集原圖,共選擇4個場景作對比,從左至右依次包括多目標(biāo)(小尺度)、多目標(biāo)(較大尺度)、十字相干斑噪聲干擾以及單個大尺度目標(biāo)。對比可以看出添加GC block可以有效提高注意力,對噪聲干擾和環(huán)境干擾有一定抵抗能力。

圖3 熱力圖結(jié)果對比

1.2 基于增大感受野的特征金字塔融合網(wǎng)絡(luò)

為了讓FoveaBox獲得更多特征信息,選擇使用4層不同尺度的特征圖用FPN進行特征融合。為增大特征圖的感受野,增強深層特征,本文在前兩層FPN上添加RFB,因為后面特征分辨率太小無法使用較大的卷積核,將FPN中1×1卷積替換為RFB。RFB是輕量級增大感受野的方法,能夠增強特征的表達。

RFB是由多分支卷積塊組成的,分為具有不同卷積核的多分支卷積層和空洞卷積層兩部分。前部分與Inception[38]功能相同,可以獲得不同的視野尺度;后部分模擬人類視覺群體感受野的大小和偏心率之間的比率,區(qū)分出中心區(qū)域,以便在更大的區(qū)域和更多上下文中捕獲信息。

RFB在Inception的基礎(chǔ)上增加了空洞卷積,在每個分支中選擇瓶頸結(jié)構(gòu)以減少計算量,3個分支卷積核大小分別為1、3、5,依次膨脹1、3、5,可得到更大的感受野,方便對SAR圖像目標(biāo)的捕獲。

1.3 無錨框檢測

FoveaBox是一種基于無錨框的檢測方法,逐像素直接預(yù)測目標(biāo)出現(xiàn)的可能性和對應(yīng)的邊界。FoveaBox將真實的邊界框(x1,y1,x2,y2)映射到不同尺度的特征金字塔上。

(2)

式中:2l是第l層特征金字塔的步長值。由此可知中心點c的位置和映射的真實邊界框的寬、高為

(3)

為了劃分正負(fù)樣本,引入(收縮因子,使正樣本比當(dāng)前映射的邊界框小:

(4)

為了預(yù)測邊界框,FoveaBox將特征圖上正樣本區(qū)域內(nèi)的點(x,y)映射回原圖像,再與真實邊界框(x1,y1,x2,y2)計算歸一化偏移,最后用log空間函數(shù)正則化:

(5)

FoveaBox對FPN傳來的5層特征圖進行檢測,針對5層特征金字塔圖的大小,設(shè)計S分別為32、64、128、256、512作為每層的基本尺度,以確定每層特征圖上可檢測到的目標(biāo)尺度范圍。在檢測過程中一個目標(biāo)可能在多層金字塔被檢測到,這樣可以充分利用鄰層信息,使訓(xùn)練更加可靠。經(jīng)過訓(xùn)練,可以為每個(x,y)生成邊界框。

1.4 損失函數(shù)

訓(xùn)練損失函數(shù)分為分類損失和回歸損失,定義如下:

(6)

2 實驗及結(jié)果分析

使用Ubuntu18.04 LTS操作系統(tǒng),CPU:Intel Xeon E5-2609 v4 @1.70 GHz(16,GPU:NVIDIA GeForce GTX 1080,內(nèi)存32 GB,編程語言為python語言,框架為torch。

2.1 實驗設(shè)置

選擇SSDD作為實驗的數(shù)據(jù)集。SSDD共包括1 160張SAR艦船圖像,總計2 456個艦船,擁有多尺度、多角度的艦船圖像,適用于多種場景下的艦船目標(biāo)檢測。實驗訓(xùn)練時,從數(shù)據(jù)集中隨機選取835張作為訓(xùn)練圖片,185張作為測試圖片,剩余圖片用作驗證,其中測試圖共480個目標(biāo)。優(yōu)化算法為SGD,設(shè)置初始學(xué)習(xí)率為0.001,動量為0.9,衰減系數(shù)0.000 5。Batchsize為4,共迭代500次,并保存最好的訓(xùn)練參數(shù)。

實驗中所有模型均使用了翻轉(zhuǎn)和裁剪,可以增廣數(shù)據(jù)集,利于模型訓(xùn)練。重新調(diào)整輸入圖像的大小,統(tǒng)一調(diào)整為416×416進行訓(xùn)練和檢測。

2.2 實驗結(jié)果

2.2.1 消融及對比實驗結(jié)果

本文主要使用的是基于YOLO框架的網(wǎng)絡(luò),其中應(yīng)用了以下改進方法:① 使用FoveaBox無錨框檢測算法;② 選擇CSPDarknet53作為特征提取網(wǎng)絡(luò);③ 在特征提取網(wǎng)絡(luò)上增加GC block;④ 在FPN中應(yīng)用RFB。為了充分說明各種改進方法對檢測的提高,分別進行了消融實驗。結(jié)果如表1所示。表2為本文方法與YOLOv3和FoveaBox原文網(wǎng)絡(luò)方法的對比結(jié)果。

表1 消融實驗結(jié)果

表2 對比實驗結(jié)果

表1和表2中, AP(average precision)為平均精度,通過對精確率-召回率(P-R)曲線圖求積分得到。Recall為召回率,FA為虛警率。

(7)

在YOLOv3、FoveaBox和本文方法收斂后,將300次迭代的AP結(jié)果進行對比,如圖4所示。

圖4 AP結(jié)果對比圖

2.2.2 檢測結(jié)果

圖5是最終改進方法(實驗序號6)在SSDD數(shù)據(jù)集上的檢測結(jié)果圖,圖5(a)展示了遠海多目標(biāo)檢測結(jié)果,圖5(b)展示了近海多目標(biāo)檢測結(jié)果,圖5(c)展示了大尺度目標(biāo)檢測結(jié)果。圖6是檢測過程中出現(xiàn)虛警、漏警情況的結(jié)果圖,紅色框表示虛警,紫色框表示漏警。從以上檢測結(jié)果圖看,基于無錨框的檢測方法對各種場景、尺度有較好的適應(yīng)。

圖5 基于本文方法的檢測結(jié)果

圖6 虛警、漏警情況

2.3 實驗分析

從表1和表2可以看出,基于YOLO框架的無錨框SAR艦船目標(biāo)檢測方法在SSDD檢測中平均精度提高至94.8%,召回率達到96%,相較其他中間過程模型在性能上有一定的提高,與YOLOv3相比平均精度提高了3.8%,模型大小減小了90.1 MB。與FoveaBox原文網(wǎng)絡(luò)相比平均精度提高3.6%,虛警率降低36.7%。由于增加模塊導(dǎo)致檢測速度相較YOLOv3和FoveaBox來說有所降低。從圖4可以看出，本文提出的方法平均精度值要優(yōu)于YOLOv3和FoveaBox。

表1中,比較實驗1～實驗3可知,FoveaBox和FPN的組合可以提高平均精度和召回率,但會導(dǎo)致虛警率略微提高,證明將無錨框應(yīng)用到SAR圖像艦船目標(biāo)檢測是可行的;CSPDarknet53網(wǎng)絡(luò)可以在原性能上有效減小模型大小,利于網(wǎng)絡(luò)輕量化設(shè)計。對比實驗3～實驗5可以得出,GC block和RFB都使平均精度、召回率有所降低,GC block主要使虛警率明顯降低,貢獻了5.2%,RFB貢獻了1.7%,說明對于SAR圖像來說全局上下文建模更有利于獲得更準(zhǔn)確的信息。對比實驗3和實驗6可知,GC block和RFB共同作用于檢測算法時,能讓平均精度和召回率均提高0.4%,虛警率減少4.5%,比使用其中一種方法取得的效果好。

具體分析圖5可知,本文算法在遠海多目標(biāo)、近海多目標(biāo)和不同尺度的目標(biāo)檢測時,都能夠有良好的檢測結(jié)果,且能夠降低干擾的影響,實現(xiàn)對艦船目標(biāo)的精確識別。圖6是產(chǎn)生虛警、漏警的情況圖,分析原因可知:在海島與艦船形狀、大小相似時易產(chǎn)生虛警;檢測多個相鄰艦船目標(biāo)時,神經(jīng)網(wǎng)絡(luò)不易識別具體艦船數(shù)量,導(dǎo)致虛警、漏警都易增加;沿海環(huán)境復(fù)雜且沿海多目標(biāo)樣本較少,會造成漏警增多。

3 結(jié)束語

本文基于YOLO框架,把無錨框應(yīng)用到對SAR圖像的艦船目標(biāo)檢測任務(wù)中,提高了SAR艦船目標(biāo)檢測的平均精度和召回率。CSPDarknet53特征提取網(wǎng)絡(luò)可以輕量化整個模型,使模型大小有效降低。把GC block和RFB應(yīng)用到網(wǎng)絡(luò)中,可以在保持原有平均精度和召回率的同時提升檢測精度,減少虛警,使模型更加可靠,為輕量化提升目標(biāo)檢測性能提供可行方法。 接下來會針對檢測速度的問題,繼續(xù)優(yōu)化模型,并嘗試遷移應(yīng)用到其他SAR圖像艦船數(shù)據(jù)集上,以提升本文方法的泛化能力。