張 明, 王子龍, 呂曉琪, 3, 喻大華, 張寶華, 李建軍

一種增強(qiáng)型YOLOv3的合成孔徑雷達(dá)(SAR)艦船檢測方法

張 明1, 2, 王子龍1, 呂曉琪1, 3, 喻大華1, 張寶華1, 李建軍1

(1. 內(nèi)蒙古科技大學(xué) 信息工程學(xué)院模式識別與智能圖像處理重點(diǎn)實(shí)驗(yàn)室, 內(nèi)蒙古 包頭 014010; 2. 大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院, 遼寧 大連 116026; 3. 內(nèi)蒙古工業(yè)大學(xué), 內(nèi)蒙古 呼和浩特 010051)

近年來, 海戰(zhàn)場成為現(xiàn)代戰(zhàn)爭的主要作戰(zhàn)區(qū)域之一, 艦船目標(biāo)逐漸成為海上重點(diǎn)監(jiān)測對象, 能否快速準(zhǔn)確地識別海戰(zhàn)場艦船目標(biāo)的戰(zhàn)術(shù)意圖, 給指揮員的決策提供必要的支持, 這關(guān)系到一場海上戰(zhàn)役的成敗。隨著合成孔徑雷達(dá)(synthetic aperture radar, SAR)成像技術(shù)的不斷發(fā)展, 大量SAR圖像可用于艦船目標(biāo)檢測與識別。利用SAR圖像進(jìn)行艦船目標(biāo)檢測與識別, 已經(jīng)成為重要的海洋應(yīng)用之一。針對傳統(tǒng)SAR圖像艦船檢測方法準(zhǔn)確率較低的問題, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合感受野(receptive field block, RFB)模塊, 提出一種增強(qiáng)型的SAR艦船檢測方法。該方法在最近公開的SAR圖像艦船檢測數(shù)據(jù)集上平均準(zhǔn)確率值達(dá)到了91.50%, 與原YOLOv3相比提高了0.92%。實(shí)驗(yàn)結(jié)果充分表明本文提出的算法在SAR艦船的檢測中具有較好的檢測效果。

艦船檢測; 合成孔徑雷達(dá)(SAR); YOLO; 遙感圖像

合成孔徑雷達(dá)(synthetic aperture radar, SAR)[1]是一種主動式高分辨率微波成像傳感器, 在微波遙感領(lǐng)域中得到了快速的發(fā)展。與光學(xué)、紅外傳感器相比, SAR不會受到天氣、光照等外部條件的影響, 具有全天時(shí)、全天候、大尺度、遠(yuǎn)距離和連續(xù)觀測運(yùn)動目標(biāo)的能力, 并能拍攝高分辨率的圖像。SAR成像的過程中能夠觀測到海面艦船目標(biāo)、艦船尾跡圖像變化及穿透海水探測復(fù)雜地形。而且, 對海面目標(biāo)進(jìn)行成像時(shí)具有長期、連續(xù)、實(shí)時(shí)等特點(diǎn), 所以利用大量的SAR數(shù)據(jù)信息[2-7], 可以對海面艦船目標(biāo)進(jìn)行檢測與跟蹤。因此, SAR更適用于艦船目標(biāo)檢測、偵察和監(jiān)視等研究。

SAR圖像艦船檢測方法主要包括基于統(tǒng)計(jì)模型、基于特征的方法和深度學(xué)習(xí)模型[8-9], 傳統(tǒng)的方法有恒虛警率(constant false alarm rate, CFAR)[10-11]等。李健偉等[12]將候選區(qū)域提取的二值化標(biāo)準(zhǔn)梯度方法(binarized normed gradients, BING)[13]和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-convolutional neural network, Fast R-CNN)[14]相結(jié)合, 以這種方法進(jìn)行SAR艦船檢測, 檢測率達(dá)到73.5%。楊龍等[15]將單點(diǎn)多框檢測器(single shot multi box detector, SSD)應(yīng)用到SAR艦船檢測中, 提出了上下文信息的遷移學(xué)習(xí)模型, 實(shí)現(xiàn)了87.1%的檢測精度。而當(dāng)前主流算法為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法, 如: SSD[16], YOLO[17](you only look once), YOLOv2[18], YOLOv3[19], R-CNN[20](region-convolutional neural network), Fast R-CNN[21]和Faster R-CNN[22]等。深度學(xué)習(xí)模型中的特征金字塔模型(feature pyramid network, FPN)因其能通過跨尺度特征融合的結(jié)構(gòu), 解決多尺度目標(biāo)檢測問題, 已被廣泛用于多尺度檢測[23]。如: NAS-FPN (Neural architec-ture search with rein forcement learning)[24], PANet (path aggregation network)[25], YOLOv3等網(wǎng)絡(luò)。其中檢測精度和速度比較好的算法是YOLOv3, 檢測精度可達(dá)到90.58%。為了進(jìn)一步提高艦船檢測精度, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)和感受野(RFB)模塊, 提出一種增強(qiáng)型的SAR艦船檢測方法, 該方法可以解決復(fù)雜場景下艦船目標(biāo)精準(zhǔn)檢測問題, 同時(shí)為海上目標(biāo)檢測智能化發(fā)展提供技術(shù)支撐, 進(jìn)而對未來戰(zhàn)場態(tài)勢評估、戰(zhàn)術(shù)目標(biāo)打擊等任務(wù)提供指導(dǎo)建議。

1 方法

1.1 YOLOv3算法原理

YOLOv3主要使用殘差網(wǎng)絡(luò)改進(jìn)特征提取網(wǎng)絡(luò), 將基礎(chǔ)網(wǎng)絡(luò)DarkNet-19[18]升級到DarkNet-53[19], 通過DarkNet-53特征提取網(wǎng)絡(luò)對輸入圖像提取特征, 得到一定大小的特征圖, 借鑒特征金字塔網(wǎng)絡(luò)的思想, 在3個不同尺度(13×13、26×26和52×52)大小的特征圖上, 給每個尺度分配三個不同大小的預(yù)選框, 然后基于圖像的全局信息進(jìn)行目標(biāo)預(yù)測, 從而實(shí)現(xiàn)端到端的檢測。

YOLOv3損失函數(shù)公式如下:

=loss+wh+class+confidence, (1)

其中, 為損失函數(shù);loss為目標(biāo)中心相對所在網(wǎng)格左上角坐標(biāo)的偏移量誤差；wh為預(yù)選框長寬誤差；class為分類誤差，confidence為目標(biāo)置信度誤差。

1.2 感受野(RFB)模塊原理

RFB結(jié)構(gòu)主要有兩個特點(diǎn)[26]: (1) 使用不同尺寸卷積核的卷積層構(gòu)成的多分枝結(jié)構(gòu); (2) 引入了空洞卷積層, 來增加感受野。其中RFB結(jié)構(gòu)中用不同膨脹因子rate(內(nèi)核元素間的距離)表示空洞卷積層的參數(shù)。在RFB結(jié)構(gòu)中每個分支上, 特定核大小的卷積層后面跟著一個相應(yīng)膨脹系數(shù)的卷積層, 所有不同尺寸和膨脹因子的卷積層的特征圖被連接起來, 合成一個卷積數(shù)組, 達(dá)到融合不同特征的目的。其結(jié)構(gòu)如下圖1所示。

RFB-s和RFB相比, 針對于多尺度檢測問題主要有兩個改進(jìn), 一方面用3×3卷積層代替5×5卷積層, 另一方面用1×3和3×1卷積層代替3×3卷積層, 主要目的應(yīng)該是為了減少計(jì)算量, 本文用RFB-s網(wǎng)絡(luò)對YOLOv3進(jìn)行改進(jìn)。RFB-s其結(jié)構(gòu)如下圖2所示。

1.3 改進(jìn)的模型結(jié)構(gòu)

本文算法分別在YOLOv3中的DarkNet-53的最后一層、第152層與最后一層上采樣連接后、和第92層與第152層上采樣連接后加入感受野模塊(圖3紅色部分)。新的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

圖1 RFB模型結(jié)構(gòu)

圖2 RFB-s 模型結(jié)構(gòu)

1.4 參數(shù)設(shè)置

本文實(shí)驗(yàn)在中科院公布的數(shù)據(jù)集進(jìn)行SAR艦船檢測模型的訓(xùn)練, 訓(xùn)練參數(shù): batch_size為32, 動量為0.9, 權(quán)重衰減正則系數(shù)為0.000 5, 學(xué)習(xí)率為0.001, IOU設(shè)置為0.5。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)采用中國科學(xué)院空天信息研究院數(shù)字地球重點(diǎn)實(shí)驗(yàn)室王超研究員團(tuán)隊(duì)最近公開的SAR圖像船舶檢測數(shù)據(jù)集。該數(shù)據(jù)集來自國產(chǎn)高分三號SAR數(shù)據(jù)和Sentinel-1 SAR數(shù)據(jù), 均為多源、多模式SAR圖像。包含SAR艦船檢測圖像43 550張, 圖片大小為256×256, 將數(shù)據(jù)集按照7︰1︰2隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集。其中部分?jǐn)?shù)據(jù)集樣本如圖4所示。

圖3 YOLOv3-RFB-s網(wǎng)絡(luò)模型圖

圖4 數(shù)據(jù)集樣本

2.2 實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)都在一個深度學(xué)習(xí)加速計(jì)算服務(wù)器上進(jìn)行, 該服務(wù)配置CPU為Intel Xeon E3 v4, GPU為NVIDIA v10, 內(nèi)存為32 G, 所提出的網(wǎng)絡(luò)模型都在公開的TensorFlow框架和Keras人工神經(jīng)網(wǎng)絡(luò)庫上實(shí)現(xiàn)。

2.3 實(shí)驗(yàn)評價(jià)指標(biāo)

為了有效地評價(jià)模型性能, 本文采用平均準(zhǔn)確率平均準(zhǔn)確率(mean average precision,ma)、d(檢測率)和m(漏檢率)等評價(jià)指標(biāo)。公式定義為:

平均準(zhǔn)確率為:

檢測率為:

漏檢率為:

式中,為準(zhǔn)確率;為召回率;為被預(yù)測為正樣本,實(shí)際為正樣本;為被預(yù)測為負(fù)樣本, 實(shí)際為正樣本;為真實(shí)目標(biāo)。

2.4 置信度的選擇

為了得到更有效的模型, 本文設(shè)置了三個不同的置信度參數(shù), 分別為0.2、0.25和0.3。實(shí)驗(yàn)結(jié)果如表1所示。在檢測的樣本中一共有圖片8 710張, 有艦船目標(biāo)11 805個。從表1中(其中被預(yù)測為正樣本, 實(shí)際為負(fù)樣本)。可以得出, 本文實(shí)驗(yàn)在不同置信度的檢測結(jié)果中, 當(dāng)置信度為0.2的時(shí)候檢測效果最好, 平均準(zhǔn)確率為91.50%, 檢測率為93.63%, 漏檢率為6.37%。

表1 不同置信度下的實(shí)驗(yàn)結(jié)果

為了評估所提模型的收斂性, 本文將模型損失曲線可視化, 如圖5所示。實(shí)驗(yàn)結(jié)果表明, 損失曲線在第30個epoch時(shí)接近零, 在隨后的20個批次中, 損失曲線沒有明顯的波動, 從這些現(xiàn)象可以得出模型已經(jīng)達(dá)到收斂狀態(tài)。

此外, 為了評價(jià)所提模型的性能, 本文與原YOLOv3網(wǎng)絡(luò)進(jìn)行了比較。當(dāng)兩個模型的置信度均設(shè)置為0.2時(shí), 從表2中可以得出, 本文的模型與YOLOv3相比檢測到的目標(biāo)數(shù)量提高68個, 誤檢數(shù)量減少130個, 漏檢數(shù)量減少68個, 檢測率提高了0.57%, 平均準(zhǔn)確率值提高了0.92%。說明本文方法與YOLOv3相比具有較好的檢測效果, 在性能上有了進(jìn)一步的提升。

圖5 模型的loss曲線

表2 實(shí)驗(yàn)SAR艦船檢測結(jié)果評價(jià)指標(biāo)

為了驗(yàn)證所提模型的有效性, 本文將模型的曲線可視化, 如圖6所示。結(jié)果表明, 隨著召回率的上升, 改進(jìn)后模型的精確度下降比較緩慢, 且模型的精準(zhǔn)確度大于YOLOv3, 說明改進(jìn)后的模型與YOLOv3相比, 在艦船檢測特征提取的過程中, 具有更強(qiáng)大的提取與判別能力。

圖6 模型的P-R曲線圖

為了驗(yàn)證方法的有效性, 本文隨機(jī)選取三幅圖像, 分別用原YOLOv3和本文方法進(jìn)行艦船檢測, 實(shí)驗(yàn)結(jié)果效果圖如圖7所示, 在(d)與(g)圖片中原YOLOv3與本文實(shí)驗(yàn)同時(shí)正確檢測出真實(shí)目標(biāo)但原YOLOv3出現(xiàn)了誤檢現(xiàn)象。在(e)與(h)圖片中YOLOv3出現(xiàn)漏檢現(xiàn)象。在(f)與(i)圖片中YOLOv3沒有正確檢測出艦船。而本文實(shí)驗(yàn)?zāi)軌蛘_檢測出下圖中的艦船目標(biāo), 且得分相對較高。與YOLOv3相比在簡單和復(fù)雜的背景下都具有較好的檢測結(jié)果。

3 結(jié)論

針對SAR艦船檢測準(zhǔn)確率較差、檢測困難的問題, 本文在YOLOv3的基礎(chǔ)上, 結(jié)合DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)和感受野(RFB)模塊, 提出一種增強(qiáng)型的SAR艦船檢測方法, 該方法具有較好的檢測效果。在實(shí)驗(yàn)過程中通過設(shè)置不同置信度, 最終發(fā)現(xiàn)當(dāng)置信度為0.2時(shí)模型效果最優(yōu)。為了驗(yàn)證模型的有效性, 該模型檢測結(jié)果與YOLOv3進(jìn)行了比較, 結(jié)果表明該模型不僅提升了檢測率, 而且降低了誤檢率,在相對復(fù)雜的環(huán)境下能夠更準(zhǔn)確地檢測出圖像中的艦船目標(biāo)。但是, 本文算法在多個小目標(biāo)密集且噪聲比較大的時(shí)候, 虛假目標(biāo)也會呈現(xiàn)高亮度的狀態(tài)與真實(shí)目標(biāo)非常接近很難分辨出真實(shí)目標(biāo), 會存在漏檢或誤檢的現(xiàn)象, 之后我們將會針對這一現(xiàn)象進(jìn)行改進(jìn), 提高在高噪聲、多目標(biāo)的情況下的檢測性能。

圖7 SAR艦船檢測結(jié)果圖

(a-c)為數(shù)據(jù)集中真實(shí)的目標(biāo)(黃色框標(biāo)出); (d-f)為原YOLOv3檢測結(jié)果; (g-i)為本文方法的檢測結(jié)果

(a-c) Real targets in the data set (marked in yellow boxes); (d-f) Detection results using the original YOLOv3 method; (g-i) Detection results using our method

[1] WANG Y, WANG C, ZHANG H, et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J]. Remote Sensing, 2019, 11(7): 765-771.

[2] CHEN S, WANG H, XU F, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806-4817.

[3] BREKKE C, SOLBERG A H. Oil spill detection by satellite remote sensing[J]. Remote sensing of environ-ment, 2005, 95(1): 1-13.

[4] ELDHUSET K. An automatic ship and ship wake detection system for spaceborne SAR images in coastal regions[J]. IEEE transactions on Geoscience and Remote Sensing, 1996, 34(4): 1010-1019.

[5] ZHANG T, ZHANG X. High-speed ship detection in SAR images based on a grid convolutional neural net-work[J]. Remote Sensing, 2019, 11(10): 1206-1213.

[6] ZHANG M, AN J, ZHANG J, et al. Enhanced delaunay triangulation sea ice tracking algorithm with combining feature tracking and pattern matching[J]. Remote Sen-sing, 2020, 12(3): 581-587.

[7] 張明, 呂曉琪, 張曉峰, 等. 結(jié)合紋理特征的SVM海冰分類方法研究[J]. 海洋學(xué)報(bào), 2018, 40(11): 149-156.

ZHANG Ming, Lü Xiaoqi, ZHANG Xiaofeng, et al. Research on SVM sea ice classification based on texture features[J]. Haiyang Xuebao, 2018, 40(11): 149-156.

[8] HUANG Z, PAN Z, LEI B. Transfer learning with deep convolutional neural network for SAR target clas-si-fication with limited labeled data[J]. Remote Sensing, 2017, 9(9): 907-913.

[9] WANG C, ZHANG H, WU F, et al. A novel hierarchical ship classifier for COSMO-SkyMed SAR data[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 11(2): 484-488.

[10] GAO G. A parzen-window-kernel-based CFAR algori-thm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 8(3): 557-561.

[11] HOU B, CHEN X, JIAO L. Multilayer CFAR detection of ship targets in very high resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 12(4): 811-815.

[12] 李健偉, 曲長文, 彭書娟, 等. 基于級聯(lián)CNN的SAR圖像艦船目標(biāo)檢測算法[J]. 控制與決策, 2019, 44(1): 40-44.

LI Jianwei, QU Changwen, PENG Shujuan, et al. Ship targets detection method based on convolutional neural network for SAR image[J]. Fire Control & Command Control, 2019, 44(1): 40-44.

[13] CHENG M M, ZHANG Z, LIN W Y, et al. BING: Binarized normed gradients for objectness estimation at 300fps[C]//Proceedings of the IEEE conference on com-puter vision and pattern recognition, 2014: 3286-3293.

[14] SIMONYAN K, ZISSERMAN A. Very deep convolutio-nal networks for large-scale image recognition[J/OL]. arXiv preprint arXiv: 1409.1556, 2014.

[15] 楊龍, 蘇娟, 李響. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的SAR艦船目標(biāo)檢測[J]. 系統(tǒng)工程與電子技術(shù), 2019, 41(9): 1990-1997.

YANG Long, SU Juan, LI Xiang. Ship detection in SAR images based on deep convolutional neural network[J]. Systems Engineering and Electronics, 2019, 41(9): 1990- 1997.

[16] LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision. Springer, Cham, 2016: 21-37.

[17] REDMON J, DIVVALA S, GIRSHCK R, et al. You only look once: Unified, real-time object detection[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2016: 779-788.

[18] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of the IEEE conference on com-pu-ter vision and pattern recognition, 2017: 7263-7271.

[19] REDMON J, FARHADI A. Yolov3: An incremental impro-vement[J/OL]. arXiv preprint arXiv: 1804. 02767, 2018.

[20] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE con-ference on computer vision and pattern recognition, 2014: 580-587.

[21] GIRSHICK R. Fast r-cnn[C]//Proceedings of the IEEE in-ternational conference on computer vision, 2015: 1440-1448.

[22] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[23] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 2117-2125.

[24] GHIASI G, LIN T Y, LE Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 7036-7045.

[25] ZHAO Q, SHENG T, WANG Y, et al. M2det: A single-shot object detector based on multi-level feature pyramid network[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 9259-9266.

[26] LIU S, HUANG D. Receptive field block net for accurate and fast object detection[C]//Proceedings of the European Conference on Computer Vision (ECCV), 2018: 385-400.

An enhanced YOLOv3 method for synthetic aperture radar (SAR) ship detection

ZHANG Ming1, 2, WANG Zi-long1, Lü Xiao-qi1, 3, YU Da-hua1, ZHANG Bao-hua1,LI Jian-jun1

(1. Key Laboratory of Pattern Recognition and Intelligent Image Processing, College of Information Engi-neering, Inner Mongolia University of Science and Technology, Baotou 014010, China; 2. School of Infor-mation Science and Technology, Dalian Maritime University, Dalian 116026, China; 3. Inner Mongolia University of Technology, Hohhot 010051, China)

Recently, the naval battlefield has become one of the main operational areas of modern warfare. Ship targets have gradually become the key objects monitored at sea. The success of a maritime battle is related to the ability to quickly and accurately identify the tactical intent of ship targets on the naval battlefield and to provide the necessary support for the commander’s decision-making. With the development of synthetic aperture radar (SAR) imaging technology, a large number of SAR images can be used for ship target detection and recognition. Detection and identification of marine targets have become one of the most important marine applications of SAR data. In order to solve the problem of low accuracy of traditional SAR image ship detection, this paper proposes an enhanced SAR ship detection based on the algorithm YOLOv3 and the DarkNet-53 network structure, combined with the receptive field block (RFB) module. This method achieves a mean average precision (ma) value of 91.50% in the recently published SAR image detection data set and shows an improvement of 0.92% compared with the original YOLOv3. The experimental results show that the algorithm proposed in this paper is effective in enhancing SAR ship detection.

ship detection; SAR; YOLO; remote sensing image

Nov. 12, 2020

TP751

A

1000-3096(2021)12-0001-07

10.11759/hykx20201112001

2020-11-12;

2021-05-07

國家自然科學(xué)基金項(xiàng)目(61771266, 81871430, 61663036, 62066036); 內(nèi)蒙古自治區(qū)高等學(xué)?？茖W(xué)研究項(xiàng)目(NJZY18150); 內(nèi)蒙古杰出青年培育基金項(xiàng)目(2018JQ02)

[National Natural Science Foundation of China, Nos. 61771266, 81871430, 61663036, 62066036; Research Program of science and technology at Universities of Inner Mongolia Autonomous Region, No. NJZY18150; Inner Mongolia Outstanding Youth Cultivation Fund, No. 2018JQ02]

張明(1985—), 男, 內(nèi)蒙古巴彥淖爾人, 副教授, 主要研究領(lǐng)域?yàn)檫b感圖像處理, 模式識別和深度學(xué)習(xí)等, 電話: 15174962922, E-mail: nkd_zm@imust.edu.cn; 呂曉琪(1963—),通信作者, 男, 內(nèi)蒙古包頭人, 博士, 教授, 主要從事醫(yī)學(xué)圖像處理、模式識別方面的研究, E-mail: lxiaoqi@imut.edu.cn

(本文編輯: 康亦兼)