孫 顯 王智睿 孫元睿 刁文輝 張 躍 付 琨③
①(中國(guó)科學(xué)院空天信息創(chuàng)新研究院 北京 100190)
②(中國(guó)科學(xué)院大學(xué) 北京 100190)
③(中國(guó)科學(xué)院網(wǎng)絡(luò)信息體系技術(shù)科技創(chuàng)新重點(diǎn)實(shí)驗(yàn)室 北京 100190)
合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)是一種主動(dòng)式微波成像雷達(dá),它具備全天時(shí)、全天候的觀測(cè)能力,在軍事和民用領(lǐng)域中具有廣闊的應(yīng)用前景。近幾年來(lái),隨著我國(guó)對(duì)地觀測(cè)技術(shù)的進(jìn)步,高分三號(hào)等多顆高分辨率SAR成像衛(wèi)星陸續(xù)投入使用,SAR數(shù)據(jù)的質(zhì)量和數(shù)量得到持續(xù)提升。
SAR圖像解譯一直面臨較大的挑戰(zhàn)。SAR成像和光學(xué)成像差別較大,表征不直觀,且成像時(shí)存在的相干斑、疊掩等現(xiàn)象容易對(duì)目標(biāo)判讀產(chǎn)生干擾?,F(xiàn)有日常作業(yè)中大多采用人工解譯,費(fèi)時(shí)費(fèi)力,難以滿足海量SAR圖像實(shí)時(shí)解譯的需求。
港口及海上區(qū)域的艦船目標(biāo)持續(xù)監(jiān)測(cè)是一項(xiàng)重要的應(yīng)用任務(wù)[1]。艦船目標(biāo)的提取和檢測(cè)也一直是SAR圖像解譯領(lǐng)域的研究熱點(diǎn)。SAR艦船檢測(cè)分為近岸艦船檢測(cè)和遠(yuǎn)海艦船檢測(cè)兩類。一般情況下,遠(yuǎn)海艦船中背景相對(duì)單一,前景目標(biāo)提取任務(wù)難度略低;而近岸區(qū)域艦船數(shù)量較多,種類更為豐富,但由于港口處于海陸分割區(qū)域,受背景噪聲干擾、地物類型多變等影響,對(duì)目標(biāo)提取和識(shí)別的難度較大。
經(jīng)典的艦船檢測(cè)方法主要是將統(tǒng)計(jì)學(xué)習(xí)與恒虛警率(Constant False Alarm Rate,CFAR)方法相結(jié)合。在針對(duì)單極化SAR的艦船目標(biāo)檢測(cè)研究中,Rey[2]最早提出利用K分布海雜波模型結(jié)合CFAR的檢測(cè)方法,Novak等人[3]則發(fā)展了利用高斯模型的雙參數(shù)CFAR的方法,D.Stagliano等人[4]也提出了一種基于CFAR與小波變換聯(lián)合的SAR圖像艦船目標(biāo)檢測(cè)算法。Jinglu He等人[5]進(jìn)一步提出了一種基于超像素級(jí)局部信息測(cè)量的極化SAR艦船自動(dòng)檢測(cè)方法,通過(guò)生成多尺度超像素來(lái)計(jì)算某一超像素與周圍像素間的測(cè)量值,將不同度量從超像素級(jí)轉(zhuǎn)換為像素級(jí)進(jìn)行判別和分類檢測(cè)。傳統(tǒng)方法雖然已經(jīng)廣泛地應(yīng)用在艦船檢測(cè)中,但其比較依賴于人工設(shè)計(jì)特征分類器提取艦船特征,比如CFAR算法的性能依賴于對(duì)海洋雜波的建模。同時(shí),考慮到人工設(shè)計(jì)的特征分類器往往不能充分區(qū)別艦船和島礁、近岸人造設(shè)施等虛警目標(biāo),因此往往在背景相對(duì)單一的遠(yuǎn)海艦船檢測(cè)中效果較好,而在背景復(fù)雜的近岸艦船檢測(cè)中效果并不理想。
近年來(lái),隨著深度學(xué)習(xí)方法逐步發(fā)展,已出現(xiàn)了許多使用深度神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)檢測(cè)算法,在一定程度上改善了傳統(tǒng)學(xué)習(xí)方法的不足。常用的網(wǎng)絡(luò)模型包括自動(dòng)編碼器、玻爾茲曼機(jī)以及卷積神經(jīng)網(wǎng)絡(luò)。尤其是卷積神經(jīng)網(wǎng)絡(luò),相繼出現(xiàn)了Alex Network (AlexNet),VGG,Google Network(GoogleNet)和殘差網(wǎng)絡(luò)(Residual Network,Res-Net)等基礎(chǔ)網(wǎng)絡(luò),及以此為結(jié)構(gòu)的眾多目標(biāo)檢測(cè)模型,包括SSD,YOLOv1和Faster-RCNN(Faster-Region Convolutional Neural Networks)等,這些方法在SAR艦船檢測(cè)領(lǐng)域中也逐漸成為主流。
然而,深度學(xué)習(xí)方法往往需要大量的訓(xùn)練樣本數(shù)據(jù)作為支撐。在計(jì)算機(jī)視覺(jué)領(lǐng)域,已有較多的公開樣本數(shù)據(jù)集,如ImageNet[6],VOC[7],COCO[8]等,數(shù)據(jù)規(guī)模達(dá)上千類目標(biāo)、百萬(wàn)級(jí)切片。最近兩年,在光學(xué)遙感領(lǐng)域,也有DOTA[9],HRRSD[10],RSOD[11,12]等數(shù)據(jù)集先后公開,為眾多算法的研究測(cè)試提供了便利。
相比之下,SAR圖像艦船檢測(cè)領(lǐng)域現(xiàn)有的公開數(shù)據(jù)集較為有限,可見(jiàn)公開報(bào)道的主要有SSDD[13],OpenSARShip[14]以及文獻(xiàn)[15]所提供的數(shù)據(jù)集。這3類數(shù)據(jù)集均以民用艦船目標(biāo)的切片為主,切片尺寸一般為256×256像素,分辨率包括3 m,5 m,8 m,10 m和20 m等,背景相對(duì)單一,遠(yuǎn)海背景為主,近岸背景較少。這3個(gè)數(shù)據(jù)集發(fā)布后,較好地促進(jìn)了深度神經(jīng)網(wǎng)絡(luò)模型在SAR艦船檢測(cè)中的應(yīng)用,同時(shí)也基于主流深度學(xué)習(xí)算法定義了數(shù)據(jù)集的指標(biāo)基準(zhǔn)。
事實(shí)上,衛(wèi)星應(yīng)用中的艦船檢測(cè)往往是在整景圖像上處理的,覆蓋面積一般為數(shù)十平方公里甚至更大。這種條件下,目標(biāo)周圍的環(huán)境,如碼頭、道路、附屬建筑,甚至海浪等對(duì)艦船檢測(cè)性能也有較大的影響。尤其是在近岸和有島礁的場(chǎng)景中。因此,一個(gè)包含遠(yuǎn)海與近岸等更真實(shí)、更多樣的場(chǎng)景、涵蓋多種類型艦船目標(biāo)的數(shù)據(jù)集將有利于訓(xùn)練出性能更優(yōu)、魯棒性更強(qiáng)、實(shí)用性更高的SAR艦船檢測(cè)模型。
為了促進(jìn)SAR艦船檢測(cè)方面的研究、提升國(guó)產(chǎn)化數(shù)據(jù)的使用率,本文基于高分三號(hào)衛(wèi)星數(shù)據(jù),構(gòu)建了一個(gè)面向?qū)挿鶊?chǎng)景的SAR艦船目標(biāo)公開樣本數(shù)據(jù)集,命名為AIR-SARShip-1.0。該數(shù)據(jù)集包含31景SAR圖像,場(chǎng)景類型包含港口、島礁、不同級(jí)別海況的海面等,標(biāo)注信息主要為艦船目標(biāo)的位置,并經(jīng)過(guò)專業(yè)判讀人員的確認(rèn),目前該數(shù)據(jù)集以支持復(fù)雜場(chǎng)景下的艦船目標(biāo)檢測(cè)等應(yīng)用為主。該數(shù)據(jù)集已可通過(guò)《雷達(dá)學(xué)報(bào)》官網(wǎng)的相關(guān)鏈接(http://radars.ie.ac.cn/web/data/getData?dataType=SA RDataset)免費(fèi)下載使用。另外,文中還使用幾種常見(jiàn)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行了比較實(shí)驗(yàn)與分析,形成該數(shù)據(jù)集SAR艦船檢測(cè)性能指標(biāo)的基準(zhǔn),便于其他學(xué)者以此為參考展開相關(guān)研究。
高分三號(hào)衛(wèi)星是國(guó)家高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng)中的民用微波遙感成像衛(wèi)星,也是我國(guó)首顆C頻段多極化高分辨率合成孔徑雷達(dá)衛(wèi)星[16]。本文公開的AIR-SARShip-1.0數(shù)據(jù)集均來(lái)源于高分三號(hào)衛(wèi)星,包含31景大圖,數(shù)據(jù)集信息如表1所示,圖像分辨率包括1 m和3 m,成像模式包括聚束式和條帶式,極化方式為單極化,圖像格式為Tiff,圖像尺寸絕大多數(shù)為3000×3000像素,本文列出了數(shù)據(jù)集中每一幅圖像的詳細(xì)信息,包括圖像編號(hào)、像素尺寸、分辨率、海況、場(chǎng)景以及艦船數(shù)量,詳細(xì)信息如文后附表1所示。
表1 數(shù)據(jù)集信息Tab.1 The dataset information
AIR-SARShip-1.0數(shù)據(jù)集按照PASCAL VOC數(shù)據(jù)集格式標(biāo)注,結(jié)果保存文件為XML格式。圖1(a)展示了數(shù)據(jù)集中某幅圖像的艦船標(biāo)注樣例,圖1(b)所示為XML文件中一個(gè)目標(biāo)的標(biāo)注示例,該文件中實(shí)際包含圖1(a)中所有艦船目標(biāo)的矩形框信息,圖1(b)中僅僅列出其中一個(gè)目標(biāo)的矩形框信息。XML文件中包含對(duì)應(yīng)圖像文件名、圖像像素大小、圖像通道數(shù)、圖像分辨率、每個(gè)目標(biāo)的類別名稱以及目標(biāo)框的位置。以圖像左上角點(diǎn)位坐標(biāo)原點(diǎn),每個(gè)目標(biāo)所在區(qū)域按矩形框標(biāo)注,依次包括矩形框X軸坐標(biāo)的最小值(xmin)與最大值(xmax)、Y軸坐標(biāo)的最小值(ymin)與最大值(ymax)4個(gè)坐標(biāo)點(diǎn),坐標(biāo)值即為矩形框在圖像中實(shí)際像素的位置,標(biāo)注文件的格式跟VOC數(shù)據(jù)集中標(biāo)注文件的格式保持一致。圖2中則展示了該數(shù)據(jù)集的典型場(chǎng)景示例,可以發(fā)現(xiàn)圖像不僅包含眾多的艦船信息,還包括周圍海域、陸地及港口相關(guān)信息,更加貼近實(shí)際艦船檢測(cè)應(yīng)用。
實(shí)際訓(xùn)練過(guò)程中存在訓(xùn)練集與測(cè)試集的分配問(wèn)題,考慮本數(shù)據(jù)集中包含共31景大圖,一般建議按照大約2:1的比例,將21景圖像作為訓(xùn)練數(shù)據(jù),其余10景圖像作為測(cè)試數(shù)據(jù)。矩形框的面積分布圖如圖3所示,圖中橫軸代表矩形框的面積所屬區(qū)間,縱軸代表該面積范圍內(nèi)艦船數(shù)量占總數(shù)量的比重,例如第1個(gè)柱狀條代表有6%的艦船矩形框面積在1000以下,第2個(gè)柱狀條代表有13%的艦船矩形框面積在1000到2000之間。鑒于每張大圖的尺寸是3000×3000像素,從圖3可以看出大多數(shù)目標(biāo)矩形框都分布于2000~5000,在整張大圖中占比例較小,即使把整張大圖做出500×500像素的切片,艦船矩形框在切片中的占比也僅僅在0.008~0.020,因此該數(shù)據(jù)集的場(chǎng)景大、目標(biāo)小的特性十分顯著。對(duì)比視覺(jué)領(lǐng)域中最具挑戰(zhàn)性的數(shù)據(jù)集之一COCO,其小目標(biāo)的比例也僅為41%,因此,AIR-SARShip-1.0數(shù)據(jù)集重點(diǎn)考驗(yàn)算法模型對(duì)小目標(biāo)的檢測(cè)性能。
圖1 數(shù)據(jù)集標(biāo)注示意圖Fig.1 The annotated example in the dataset
圖2 AIR-SARShip-1.0數(shù)據(jù)集中場(chǎng)景示例Fig.2 The example scenes of AIR-SARShip-1.0 dataset
圖3 數(shù)據(jù)集艦船矩形框面積分布Fig.3 The area distribution of ship rectangle in the dataset
在深度學(xué)習(xí)流行之前,各國(guó)研究者對(duì)SAR艦船檢測(cè)領(lǐng)域進(jìn)行了深入研究,提出了許多經(jīng)典SAR艦船檢測(cè)算法,如CFAR算法、最佳熵自動(dòng)門限法(Kapur,Sahoo and Wong,KSW)、基于K分布的CFAR方法等。最佳熵自動(dòng)門限法將信息論中Shannon熵概念用于圖像分割,其出發(fā)點(diǎn)是使圖像中目標(biāo)與背景分布的信息量最大。該算法通過(guò)選取雙閾值克服了單閾值分割算法對(duì)高分辨率圖像存在的艦船檢測(cè)不連通、檢測(cè)虛警高等問(wèn)題。CFAR檢測(cè)方法是雷達(dá)信號(hào)檢測(cè)領(lǐng)域里最常用和最有效的檢測(cè)算法之一,這個(gè)算法的核心思想是在保證虛警率為常數(shù)的同時(shí),根據(jù)虛警率和SAR圖像海洋雜波的統(tǒng)計(jì)特性(即海洋雜波的概率密度函數(shù))計(jì)算得到檢測(cè)艦船目標(biāo)的閾值。當(dāng)以高斯模型建立海洋背景雜波模型時(shí),可以得到雙參數(shù)CFAR算法,但是在很多情況下,高斯模型對(duì)海洋雜波的描述并不理想,所以1976年Jakeman和Pusey引入K分布的概念用來(lái)描述海洋雜波,即基于K分布的CFAR方法,進(jìn)一步提升了艦船檢測(cè)的精度,得到普遍認(rèn)可。本文實(shí)驗(yàn)部分將利用3種經(jīng)典艦船檢測(cè)算法在AIR-SARShip-1.0數(shù)據(jù)集上進(jìn)行測(cè)試與分析。
近些年來(lái),隨著深度學(xué)習(xí)技術(shù)的發(fā)展,視覺(jué)領(lǐng)域中的目標(biāo)檢測(cè)問(wèn)題也涌現(xiàn)出諸多算法,主要分為兩大類:?jiǎn)坞A段目標(biāo)檢測(cè)器和雙階段目標(biāo)檢測(cè)器。單階段代表算法有SSD[17],YOLOv1[18],RetinaNet[19]等,單階段檢測(cè)算法YOLOv1只包含2個(gè)部分:特征提取部分以及檢測(cè)目標(biāo)框部分,YOLOv1將圖像劃分為S×S個(gè)網(wǎng)格,每個(gè)物體所在網(wǎng)格中心負(fù)責(zé)預(yù)測(cè)目標(biāo)框位置以及類別,且僅能預(yù)測(cè)單類物體。SSD與YOLOv1不同點(diǎn)在于,SSD添加了錨框以及多尺度特征提取層,改善了YOLOv1網(wǎng)格粗糙、對(duì)小目標(biāo)檢測(cè)精度差的缺點(diǎn)。雙階段代表算法有RCNN[20],Fast-RCNN[21],Faster-RCNN[22],FPN(Feature Pyramid Networks)[23]等,其中最具有代表性的是Faster-RCNN,該算法包含3個(gè)部分:第1部分為基礎(chǔ)網(wǎng)絡(luò),從圖像提取高層特征;第2部分為區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network,RPN),提出可能為目標(biāo)的候選框;最后一部分為預(yù)測(cè)框回歸網(wǎng)絡(luò),基于候選框?qū)δ繕?biāo)做進(jìn)一步分類及位置回歸。由于雙階段檢測(cè)網(wǎng)絡(luò)有候選框提取部分,所以在控制正負(fù)樣本比例以及后續(xù)更精細(xì)化調(diào)節(jié)候選框的位置上要優(yōu)于單階段檢測(cè)網(wǎng)絡(luò),但同時(shí)也大大增加了檢測(cè)的時(shí)間成本。
上述視覺(jué)領(lǐng)域的目標(biāo)檢測(cè)算法都有相似的基礎(chǔ)網(wǎng)絡(luò),例如VGG,ResNet等。VGG主要分為卷積網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)兩部分。ResNet主要用于解決隨著網(wǎng)絡(luò)深度增加而導(dǎo)致網(wǎng)絡(luò)性能下降的問(wèn)題,它巧妙地設(shè)計(jì)了跳接模塊組成殘差塊,大大加深了可使用的網(wǎng)絡(luò)深度,常用的ResNet網(wǎng)絡(luò)包括ResNet50,ResNet101,ResNet152。
目前,在數(shù)據(jù)增強(qiáng)中主要使用的手段有圖像翻轉(zhuǎn)、隨機(jī)縮放以及旋轉(zhuǎn),其中圖像旋轉(zhuǎn)主要是做90°旋轉(zhuǎn),而SAR衛(wèi)星經(jīng)常會(huì)對(duì)同一個(gè)地點(diǎn)做多時(shí)相以及多角度的成像,但這個(gè)角度是不確定的,既不是90°旋轉(zhuǎn)也不是180°的翻轉(zhuǎn),如圖4所示,這兩幅SAR圖像近似在同一地點(diǎn)成像,但是成像角度有一定差異。SAR成像不同于光學(xué)成像,不同角度的成像結(jié)果差異較大[24],如果只使用旋轉(zhuǎn)90°的數(shù)據(jù)增強(qiáng)方式檢測(cè)性能提升很有限。為了解決這一問(wèn)題,本文中采用小角度間隔密集旋轉(zhuǎn)增強(qiáng)的Faster-RCNN檢測(cè)方法(Faster-RCNN based on Dense Rotation,Faster-RCNN-DR),以求獲得數(shù)據(jù)角度的多樣性,從而進(jìn)一步提升SAR艦船目標(biāo)檢測(cè)的性能。圖5展示了原圖和逆時(shí)針旋轉(zhuǎn)20°,40°和 60°之后的圖像。
根據(jù)應(yīng)用場(chǎng)景和成像模式的不同,SAR圖像的分辨率具有多樣性,同一艦船目標(biāo)在不同分辨率圖像中、不同艦船目標(biāo)在相同分辨率圖像中會(huì)呈現(xiàn)出大小不一的特點(diǎn),多分辨率SAR影像中艦船多尺度特性給目標(biāo)檢測(cè)帶來(lái)了較大的挑戰(zhàn)。在深度卷積神經(jīng)網(wǎng)絡(luò)中,低層卷積層的特征圖含有豐富的空間信息,但是語(yǔ)義信息較少,高層的特征圖含有較多的語(yǔ)義信息但是空間信息較少,而且尺度較小的目標(biāo)經(jīng)過(guò)多層卷積之后留下的信息很少,不利于對(duì)小目標(biāo)檢測(cè)與識(shí)別。因此,為了解決不同分辨率SAR圖像多尺度艦船目標(biāo)的檢測(cè)難題,文獻(xiàn)[25]提出了一種基于密集連接端到端網(wǎng)絡(luò)結(jié)構(gòu)(Densely Connected End-to-end Neural Network,DCENN)的艦船檢測(cè)算法。該網(wǎng)絡(luò)的主要結(jié)構(gòu)如圖6所示,使用Res-Net101作為基礎(chǔ)網(wǎng)絡(luò),圖像經(jīng)過(guò)多次卷積之后,隨著卷積網(wǎng)絡(luò)的加深,特征圖有越來(lái)越多的語(yǔ)義信息,但是分辨率越來(lái)越低。為了使高分辨率的特征圖同時(shí)擁有高層特征圖的語(yǔ)義信息,可將高層特征圖與低層特征圖進(jìn)行如圖7所示的迭代連接。在基礎(chǔ)網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)之后是二階段的檢測(cè)子網(wǎng)絡(luò)(如圖6虛線框內(nèi)所示),它具體分為候選區(qū)池化部分和用于分類和回歸的全連接層部分,通過(guò)對(duì)這兩部分進(jìn)行了輕量化改進(jìn)處理,既保證了檢測(cè)精度又降低了內(nèi)存占用、提升了處理速度。
為了驗(yàn)證深度學(xué)習(xí)方法相比傳統(tǒng)方法的優(yōu)越性,本文在AIR-SARShip-1.0數(shù)據(jù)集上做了實(shí)驗(yàn),比較第3部分中提到的幾種算法的艦船檢測(cè)性能,并給出具體分析。實(shí)驗(yàn)機(jī)器的操作系統(tǒng)為Ubuntu 16.04,內(nèi)存32 GB,CPU使用Intel Xeon E5-2630,深度學(xué)習(xí)算法使用到的顯卡是NVIDIA Telsa P100,傳統(tǒng)算法沒(méi)有使用顯卡加速,只使用CPU進(jìn)行計(jì)算。將數(shù)據(jù)集分為測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù),其中訓(xùn)練數(shù)據(jù)為21景大圖,測(cè)試數(shù)據(jù)為10景大圖,數(shù)據(jù)集中會(huì)提供train.txt和test.txt的文件詳細(xì)記錄訓(xùn)練集和測(cè)試集的文件名。在CFAR算法中認(rèn)為海洋雜波服從(0,1)的高斯分布;在基于K分布的CFAR算法中,設(shè)置參數(shù)K=2;在最佳熵自動(dòng)門限法中,根據(jù)數(shù)據(jù)圖像自動(dòng)選擇最佳閾值參數(shù)。由于傳統(tǒng)算法不需要訓(xùn)練數(shù)據(jù),故直接使用測(cè)試集數(shù)據(jù)集進(jìn)行試驗(yàn),測(cè)試精度如表2所示。
圖4 同一地區(qū)不同角度成像示例Fig.4 Imaging examples of the same area at different angles
圖5 旋轉(zhuǎn)圖像示例Fig.5 The examples of rotated images
圖6 DCENN網(wǎng)絡(luò)主要結(jié)構(gòu)Fig.6 The main structure of DCENN network
其中AP計(jì)算方式如式(1)所示
其中pinterp(rn+1)計(jì)算方式如式(2)所示
圖7 基于密集連接融合特征圖Fig.7 The fusion feature map based on dense connection
其中,TP代表檢測(cè)結(jié)果為真且真值為真的檢測(cè)框數(shù)量,F(xiàn)P代表檢測(cè)結(jié)果為真但真值為假的檢測(cè)框數(shù)量,F(xiàn)N代表檢測(cè)結(jié)果為假但真值為真的檢測(cè)框數(shù)量。如式(5)所示
定義交并比IOU為檢測(cè)框與標(biāo)注框重合部分面積除以兩者做并集部分的面積,當(dāng)IOU大于0.5認(rèn)為檢測(cè)成功,記為TP,當(dāng)IOU小于0.5認(rèn)為是為虛警,記為FP,然后未檢測(cè)出的艦船記為FN。由于本數(shù)據(jù)集只包含艦船一類,所以代表所有類的AP平均值mAP與AP值相同。
視覺(jué)領(lǐng)域的深度學(xué)習(xí)目標(biāo)檢測(cè)算法SSD,YOLOv1和Faster-RCNN以及基于旋轉(zhuǎn)增強(qiáng)的檢測(cè)網(wǎng)絡(luò)算法均使用開源框架Pytorch進(jìn)行實(shí)驗(yàn),焦嬌等人的DCENN算法使用Tensorflow開源框架進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中,將大圖切成500×500像素尺寸大小,然后使用圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、對(duì)比度增強(qiáng)和隨機(jī)縮放等方式做數(shù)據(jù)增強(qiáng),其中Faster-RCNN,SSD-512,SSD-300,YOLOv1幾種算法使用的訓(xùn)練集是經(jīng)過(guò)90°旋轉(zhuǎn)增強(qiáng)的,而基于Faster-RCNN的旋轉(zhuǎn)增強(qiáng)算法使用的訓(xùn)練集是經(jīng)過(guò)以10°為間隔密集旋轉(zhuǎn)增強(qiáng)的。在SSD中使用了兩種圖像尺寸,SSD-300和SSD-512。實(shí)驗(yàn)中設(shè)置學(xué)習(xí)率為0.00001,動(dòng)量設(shè)置為0.99,根據(jù)GPU的內(nèi)存限制,設(shè)置SSD-300的批處理量為24,SSD-512為4,Faster-RCNN為12,DCENN算法[25]設(shè)置為1,其它超參數(shù)均設(shè)置相同如文獻(xiàn)[22],基于旋轉(zhuǎn)增強(qiáng)的檢測(cè)網(wǎng)絡(luò)算法中超參數(shù)設(shè)置與Faster-RCNN完全相同。
表2 經(jīng)典機(jī)器學(xué)習(xí)算法艦船檢測(cè)性能基準(zhǔn)Tab.2 The performance benchmarks of classic ship detection algorithm
各深度學(xué)習(xí)算法的艦船檢測(cè)性能如表3所示,其中每種算法的運(yùn)行速度用FPS衡量,F(xiàn)PS代表每秒鐘該算法可檢測(cè)的圖像張數(shù),其中DCENN,Faster-RCNN-DR,Faster-RCNN,YOLOv1這幾種算法輸入的測(cè)試圖像尺寸為500×500,SSD-512輸入測(cè)試圖像尺寸為512×512,SSD-300輸入測(cè)試圖像尺寸為300×300。從表中可以看出,使用90°旋轉(zhuǎn)訓(xùn)練集增強(qiáng)的算法中,YOLOv1的指標(biāo)最低,運(yùn)行速度最快,而文獻(xiàn)[25]提出的SAR艦船檢測(cè)算法性能最優(yōu),運(yùn)行速度最慢。在單階段目標(biāo)檢測(cè)算法中,YOLOv1沒(méi)有使用錨框進(jìn)行預(yù)測(cè),而是將圖像劃分為S×S個(gè)網(wǎng)格,每個(gè)網(wǎng)格只能預(yù)測(cè)一個(gè)目標(biāo),所以YOLOv1在AIR-SARShip-1.0這種密集小目標(biāo)較多的數(shù)據(jù)集中檢測(cè)性能較差,但也正因?yàn)槿コ^框,使得YOLOv1的運(yùn)行速度最快;SSD在訓(xùn)練時(shí)加入錨框,而且在網(wǎng)絡(luò)多個(gè)特征層中進(jìn)行預(yù)測(cè),彌補(bǔ)了YOLOv1的不足,檢測(cè)性能有所提升,但運(yùn)行時(shí)間稍慢于YOLOv1;Faster-RCNN作為典型的雙階段檢測(cè)算法,使用RPN網(wǎng)絡(luò)提出候選框使得后面檢測(cè)網(wǎng)絡(luò)更精確的回歸目標(biāo)框的位置,性能優(yōu)于單階段檢測(cè)算法,同時(shí)擁有雙階段算法的缺點(diǎn),運(yùn)行速度明顯慢于單階段算法。同樣是使用Faster-RCNN檢測(cè)算法,F(xiàn)aster-RCNN-DR以10°為間隔的密集旋轉(zhuǎn)數(shù)據(jù)增強(qiáng)方法比90°旋轉(zhuǎn)增強(qiáng)方法在性能上提升了4.9%,這是因?yàn)槊芗D(zhuǎn)的方式在一定程度上提升了數(shù)據(jù)集的豐富性和角度多樣性,因?yàn)闆](méi)有在網(wǎng)絡(luò)階段做出額外工作因此與Faster-RCNN檢測(cè)算法運(yùn)行時(shí)間基本相同。DCENN艦船檢測(cè)算法中因?yàn)槭褂昧嗣芗B接,并且在多個(gè)特征層上進(jìn)行預(yù)測(cè),能更好地提取艦船特征,所以算法的性能最高,而密集連接也帶來(lái)了更高的計(jì)算量,使得算法運(yùn)行時(shí)間最長(zhǎng)。
表4給出了3種代表性算法在近岸和遠(yuǎn)海兩種不同場(chǎng)景的檢測(cè)結(jié)果,可以發(fā)現(xiàn),遠(yuǎn)海場(chǎng)景的檢測(cè)精度明顯高于近岸場(chǎng)景,在本數(shù)據(jù)集上的最高精度優(yōu)于95%,而近岸場(chǎng)景的性能則降低20%以上。這符合遠(yuǎn)海場(chǎng)景背景相對(duì)單一、噪聲較少,而近岸場(chǎng)景受碼頭、建筑物、陸地等干擾較多的實(shí)際情況,也在一定程度上表明,近岸艦船目標(biāo)檢測(cè)距離實(shí)用仍有較大差距,是一個(gè)具有挑戰(zhàn)性的研究課題。
表4 不同場(chǎng)景下算法性能結(jié)果Tab.4 The performance benchmarks of different scenes based on different algorithms
為了更直觀地展示算法在AIR-SARShip-1.0數(shù)據(jù)集的檢測(cè)效果,以某一景大圖為例,使用Faster-RCNN算法進(jìn)行艦船目標(biāo)檢測(cè),結(jié)果如圖8所示,綠色框中數(shù)字代表檢測(cè)框的置信度。從圖中可以看出,絕大多數(shù)艦船目標(biāo)均正確檢測(cè)出(圖8c),檢測(cè)框與目標(biāo)重合度較好(圖8c)、有一定差距且存在虛警(圖8a)、檢測(cè)框重合度稍差(圖8b)、少數(shù)艦船漏檢(圖8d)??傮w而言,檢測(cè)結(jié)果還存在不理想情況,性能有待進(jìn)一步提升。
圖8 基于Faster-RCNN的SAR艦船檢測(cè)示意圖Fig.8 The detection example of SAR ship based on Faster-RCNN
為了促進(jìn)深度學(xué)習(xí)技術(shù)在SAR艦船檢測(cè)領(lǐng)域中的應(yīng)用,本文公開了一個(gè)大場(chǎng)景、高分辨的AIRSARShip-1.0數(shù)據(jù)集,該數(shù)據(jù)集包括近岸、遠(yuǎn)海兩種場(chǎng)景。本文使用傳統(tǒng)艦船檢測(cè)算法及常見(jiàn)的深度學(xué)習(xí)檢測(cè)算法進(jìn)行了實(shí)驗(yàn),結(jié)果發(fā)現(xiàn):深度學(xué)習(xí)算法的檢測(cè)性能明顯優(yōu)于傳統(tǒng)艦船算法,其中DCENN檢測(cè)算法在密集連接網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上使用多個(gè)特征層進(jìn)行預(yù)測(cè),艦船檢測(cè)AP指標(biāo)最高,但運(yùn)行速度最慢。其次,使用密集角度旋轉(zhuǎn)的數(shù)據(jù)擴(kuò)充方式可以在一定程度上提升數(shù)據(jù)的角度多樣性,有利于模型性能提升且不會(huì)對(duì)預(yù)測(cè)時(shí)帶來(lái)額外的運(yùn)算。另外,文中分別在近岸和遠(yuǎn)海兩種場(chǎng)景下測(cè)試了不同算法的性能,其中各算法在遠(yuǎn)海場(chǎng)景中性能差異較小,而在近岸場(chǎng)景中差異較大,這說(shuō)明近岸環(huán)境更加復(fù)雜、艦船檢測(cè)面臨的挑戰(zhàn)更加嚴(yán)峻。實(shí)驗(yàn)結(jié)果為AIR-SARShip-1.0數(shù)據(jù)集構(gòu)建了性能基準(zhǔn),方便其他學(xué)者進(jìn)一步展開SAR艦船檢測(cè)的相關(guān)研究。
附錄
高分辨率SAR艦船檢測(cè)數(shù)據(jù)集-1.0(AIR-SARShip-1.0)依托《雷達(dá)學(xué)報(bào)》官方網(wǎng)站發(fā)布,現(xiàn)已上傳至學(xué)報(bào)網(wǎng)站“數(shù)據(jù)”版塊“SAR樣本數(shù)據(jù)集”,網(wǎng)址為:http://radars.ie.ac.cn/web/data/getData?dataType=SARDataset,如附圖1所示。
AIR-SARShip-1.0數(shù)據(jù)集依托國(guó)家高分辨率對(duì)地觀測(cè)系統(tǒng)重大科技專項(xiàng),構(gòu)建一套面向?qū)挿鶊?chǎng)景、覆蓋典型類型、貼近實(shí)際應(yīng)用的艦船目標(biāo)數(shù)據(jù)集,旨在進(jìn)一步提高國(guó)產(chǎn)化數(shù)據(jù)使用率,推動(dòng)SAR目標(biāo)檢測(cè)等先進(jìn)技術(shù)的深入研究。該數(shù)據(jù)集所有權(quán)歸國(guó)家高分辨率對(duì)地觀測(cè)系統(tǒng)重大科技專項(xiàng)和中國(guó)科學(xué)院空天信息創(chuàng)新研究院所有,《雷達(dá)學(xué)報(bào)》編輯部具有編輯出版權(quán)等。
附圖 1 AIR-SARShip-1.0數(shù)據(jù)集發(fā)布地址App.Fig.1 Release address of AIR-SARShip-1.0 dataset
附表 1 AIR-SARShip-1.0數(shù)據(jù)集詳情App.Tab.1 AIR-SARShip-1.0 dataset information in detail
續(xù)表 1