SAR圖像艦船目標(biāo)檢測(cè)數(shù)據(jù)集構(gòu)建研究綜述
2021-11-30 04:24:00黃瓊男朱衛(wèi)綱李永剛
電訊技術(shù) 2021年11期
黃瓊男，朱衛(wèi)綱，李永剛
(航天工程大學(xué) a.研究生院；b.電子與光學(xué)工程系，北京 101416)
0 引 言
合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)作為一種主動(dòng)式微波成像傳感器，具有全天時(shí)工作、全天候成像、作用距離遠(yuǎn)等特點(diǎn)，且能穿云破霧，在可見度極低的氣象條件下仍能獲得高分辨率二維圖像[1]。此外，SAR圖像能夠獲取不同頻段下目標(biāo)的散射特性[2]，極大地提高了所獲取信息的豐富度，在國防、軍事、環(huán)境等方面具有重大的意義。目前，SAR圖像已經(jīng)成為針對(duì)海上目標(biāo)進(jìn)行檢測(cè)的重要數(shù)據(jù)之一[3]。自深度學(xué)習(xí)問世以來，其在人臉識(shí)別、物體檢測(cè)、智能監(jiān)控等領(lǐng)域掀起一股研究熱潮，同樣也在SAR圖像解譯領(lǐng)域大放異彩，如R-CNN系列[4-6]、YOLO系列[7-8]、SSD[9]等目標(biāo)檢測(cè)算法的相繼提出，極大地提高了SAR圖像目標(biāo)檢測(cè)技術(shù)智能化。影響深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)的因素主要包括算法和數(shù)據(jù)兩大方面，大多數(shù)學(xué)者專注于目標(biāo)檢測(cè)算法的改進(jìn)和開拓，僅有少部分學(xué)者致力于數(shù)據(jù)的研究。數(shù)據(jù)作為推動(dòng)深度學(xué)習(xí)技術(shù)發(fā)展的“原油”，大多數(shù)深度學(xué)習(xí)模型的訓(xùn)練需要依靠大量的數(shù)據(jù)。本文主要對(duì)幾種公開的SAR圖像數(shù)據(jù)集進(jìn)行梳理與分析，其中包括數(shù)據(jù)集的構(gòu)建方法、存在的不足等，以期促使更多高質(zhì)量SAR艦船數(shù)據(jù)集的出現(xiàn)，提高星載SAR圖像實(shí)際工程應(yīng)用能力。
1 SAR艦船數(shù)據(jù)集的構(gòu)建方法
現(xiàn)階段，世界已經(jīng)步入大數(shù)據(jù)時(shí)代，發(fā)展如火如荼的深度學(xué)習(xí)更是離不開“大數(shù)據(jù)”，構(gòu)建特定任務(wù)的數(shù)據(jù)集是人工智能項(xiàng)目的第一步。缺少數(shù)據(jù)集，很多深度學(xué)習(xí)框架只是一副軀殼；雜亂無章的數(shù)據(jù)集只會(huì)使得算法紙上談兵、停滯不前，缺少有效的實(shí)驗(yàn)進(jìn)行驗(yàn)證。數(shù)據(jù)集的構(gòu)建[10]不是一堆數(shù)據(jù)的簡單集合，而是根據(jù)所研究的內(nèi)容，依據(jù)具體的算法模型，經(jīng)過合理的樣本構(gòu)建策略，精準(zhǔn)的樣本標(biāo)注策略，以及對(duì)特定樣本的擴(kuò)充等步驟，構(gòu)建成一個(gè)具有規(guī)模性、多樣性、高效性、易擴(kuò)展性的集合。
SAR艦船圖像數(shù)據(jù)集更不是各種SAR艦船數(shù)據(jù)的簡單收集，而是針對(duì)具體的影響因素進(jìn)行特定數(shù)據(jù)的收集。影響SAR艦船目標(biāo)檢測(cè)性能因素包括SAR系統(tǒng)平臺(tái)、場(chǎng)景環(huán)境以及艦船目標(biāo)自身等因素。例如：SAR-Ship-Dataset數(shù)據(jù)集[11]針對(duì)復(fù)雜場(chǎng)景下艦船目標(biāo)檢測(cè)率低的問題，構(gòu)建了一個(gè)用于深度學(xué)習(xí)目標(biāo)檢測(cè)任務(wù)的復(fù)雜場(chǎng)景SAR艦船數(shù)據(jù)集；LS-SSDD數(shù)據(jù)集[12]針對(duì)大場(chǎng)景小艦船目標(biāo)構(gòu)建了一個(gè)適用于小艦船目標(biāo)檢測(cè)的SAR圖像數(shù)據(jù)集；等。上述兩種數(shù)據(jù)集分別從場(chǎng)景環(huán)境和目標(biāo)屬性兩種角度對(duì)SAR艦船數(shù)據(jù)集進(jìn)行構(gòu)建。此外，不同的SAR系統(tǒng)平臺(tái)，其成像參數(shù)(分辨率、成像角度、極化方式等)各不相同，同一SAR系統(tǒng)的參數(shù)設(shè)置也有較大差異，對(duì)應(yīng)的目標(biāo)觀測(cè)能力也不盡相同。少數(shù)學(xué)者從SAR成像屬性的角度對(duì)SAR目標(biāo)檢測(cè)技術(shù)進(jìn)行研究，但相關(guān)公開數(shù)據(jù)集較少。AIR-SARShip數(shù)據(jù)集[13]構(gòu)建了一個(gè)高分辨率SAR艦船數(shù)據(jù)集，但未對(duì)分辨率進(jìn)一步細(xì)分類。
SAR艦船數(shù)據(jù)集的構(gòu)建基本流程如圖1所示。
圖1 SAR艦船數(shù)據(jù)集構(gòu)建基本流程圖
數(shù)據(jù)采集通常選取繁忙的港口、海峽等地區(qū)，在采集之前需要選取所需的成像模式。由于合成孔徑雷達(dá)斜視成像的特點(diǎn)，需要對(duì)其進(jìn)行相應(yīng)的預(yù)處理操作，例如，需要對(duì)Sentinel-1衛(wèi)星單層單元(Single-level Cell,SLC)產(chǎn)品數(shù)據(jù)進(jìn)行幾何校正和輻射定標(biāo)等處理。幾何校正是為了消除原始SAR圖像中的幾何變形，實(shí)現(xiàn)對(duì)目標(biāo)精確定位；輻射定標(biāo)可以確定目標(biāo)灰度值與后向散射系數(shù)之間的關(guān)系。此外，預(yù)處理階段還應(yīng)包括有船-海對(duì)比度提升、圖像相干斑濾波等操作步驟。圖像裁剪階段，常見的有人工裁剪法、規(guī)則網(wǎng)格裁剪法和滑動(dòng)窗口裁剪法。人工裁剪耗時(shí)耗力，規(guī)則網(wǎng)格裁剪易造成艦船目標(biāo)被截?cái)?，滑?dòng)窗口裁剪需要設(shè)置合理的窗口尺寸和重疊率——重疊率較小，艦船目標(biāo)仍存在被裁斷的風(fēng)險(xiǎn)；重疊率過大，易造成大量的重復(fù)數(shù)據(jù)。HRSID數(shù)據(jù)集[14]構(gòu)建過程中，采用帶有線性變換的裁剪函數(shù)來實(shí)現(xiàn)，通過對(duì)圖像設(shè)置不同的閾值，不僅實(shí)現(xiàn)了裁剪的功能，又提升了船-海對(duì)比度。LS-SSDD數(shù)據(jù)集保留了純背景切片，并利用實(shí)驗(yàn)驗(yàn)證了訓(xùn)練網(wǎng)絡(luò)中加入一定量的純背景切片可以降低虛警率，提高檢測(cè)性能。除了受艦船自身尺寸的影響，不同分辨率下的SAR圖像所展示的艦船尺寸差異較大，高分辨率下的SAR圖像可以刻畫艦船的一些宏觀結(jié)構(gòu)，易于標(biāo)注；弱小艦船目標(biāo)和低分辨率SAR圖像中艦船目標(biāo)呈現(xiàn)出密集的強(qiáng)散射像素點(diǎn)，而在場(chǎng)景復(fù)雜的近岸地區(qū)，起重機(jī)、吊塔等人造設(shè)施同樣在SAR圖像中表現(xiàn)為高亮的點(diǎn)目標(biāo)，增加了標(biāo)注的難度。對(duì)于此類目標(biāo)，一些數(shù)據(jù)集在標(biāo)注時(shí)借助光學(xué)遙感圖像以及AIS信息輔助標(biāo)記。現(xiàn)有的SAR艦船數(shù)據(jù)集大多按照PASCAL VOC數(shù)據(jù)集[15]標(biāo)注策略進(jìn)行標(biāo)注，即采用LabelImg或Colabeler等標(biāo)注工具對(duì)艦船目標(biāo)的最小包圍框進(jìn)行標(biāo)記，每張圖像對(duì)應(yīng)一個(gè)可擴(kuò)展標(biāo)記語言(Extensible Markup Language,XML)文件，如圖2所示，該文件包含有切片形狀、包圍框位置等信息。其中，標(biāo)簽
圖2 SAR艦船目標(biāo)標(biāo)注示意圖
2 公開的SAR艦船數(shù)據(jù)集
在光學(xué)圖像領(lǐng)域，質(zhì)量高且規(guī)模大的數(shù)據(jù)集相繼被提出，大大促進(jìn)了目標(biāo)檢測(cè)等相關(guān)技術(shù)的發(fā)展，然而就SAR數(shù)據(jù)而言，卻面臨著以下幾個(gè)問題：
第一，相比于易于獲取的光學(xué)數(shù)據(jù)，SAR圖像數(shù)據(jù)難以獲取，特別是對(duì)于非合作目標(biāo)或特定樣本的SAR圖像數(shù)據(jù)，且人工標(biāo)注成本高等原因，導(dǎo)致公開的SAR圖像數(shù)據(jù)集有限；
第二，在數(shù)據(jù)的收集和整理中，需要耗費(fèi)大量的時(shí)間和精力，例如PASCAL VOC數(shù)據(jù)集在收集和標(biāo)記數(shù)據(jù)上花費(fèi)了700多個(gè)小時(shí)，而SAR圖像難以辨識(shí)，常需要其他輔助方法進(jìn)行目標(biāo)標(biāo)注，大大增加了構(gòu)建過程的復(fù)雜度。
以上問題表明相較于普通光學(xué)圖像數(shù)據(jù)，SAR圖像數(shù)據(jù)難以處理，公開的SAR圖像數(shù)據(jù)集相對(duì)較少，而且大多未給出標(biāo)記樣本，圖像中的目標(biāo)數(shù)據(jù)需要進(jìn)行人工標(biāo)注，人工標(biāo)注過程中會(huì)存在很多無法確定是否為艦船的目標(biāo)，因此不可避免地會(huì)存在一些錯(cuò)誤標(biāo)注的情況，檢測(cè)的不穩(wěn)定性將會(huì)增加，給SAR圖像解譯技術(shù)帶來了巨大的挑戰(zhàn)。
2.1 SAR圖像數(shù)據(jù)源
公開的SAR圖像數(shù)據(jù)采集于衛(wèi)星平臺(tái)、機(jī)載平臺(tái)和彈載平臺(tái)等，常見的星載SAR圖像數(shù)據(jù)源有TerraSAR-X衛(wèi)星、Sentinel-1衛(wèi)星和GF-3衛(wèi)星等。傳感器使用的是微波部分的電磁頻譜，頻率范圍為0.3～300 GHz，波長范圍0.1～100 cm。按波長可劃分為L、S、C、X等頻段[2]，波長依次由高到低。波長與雷達(dá)的穿透性能有關(guān)，波長越長穿透能力就越強(qiáng)，例如，波長大于2 cm的雷達(dá)系統(tǒng)不會(huì)受到云霧的干擾。TerraSAR-X衛(wèi)星工作波長為1.2～3 cm，屬于X頻段；GF-3衛(wèi)星和Sentinel-1衛(wèi)星為3～5 cm，屬于C頻段，也是較為常用的頻段。
TerraSAR-X衛(wèi)星是德國宇航中心發(fā)射的首顆分辨率為1 m的商用衛(wèi)星，攜帶高分辨率的X頻段傳感器，含有聚束式、條帶式和推掃式三種成像模式，并擁有多種極化方式，具有較高的輻射精度，重訪周期短，在三天內(nèi)即可對(duì)全球任意地點(diǎn)重訪拍攝。Sentinel-1衛(wèi)星是歐洲航天局哥白尼計(jì)劃(Global Monitoring for Environment and Security,GMES)中的地球觀測(cè)衛(wèi)星，由兩顆衛(wèi)星組成，載有C頻段合成孔徑雷達(dá)，具有條帶模式等四種工作模式，可以實(shí)現(xiàn)中到高分辨率的成像能力和廣泛的覆蓋范圍[16]。GF-3衛(wèi)星是我國首顆分辨率達(dá)到1 m的C頻段多極化SAR成像衛(wèi)星，觀測(cè)幅寬10～650 km，空間分辨率1～500 m，可為用戶提供長時(shí)間穩(wěn)定數(shù)據(jù)的支撐服務(wù)。
上述三種SAR數(shù)據(jù)源的部分信息統(tǒng)計(jì)如表1所示。
表1 SAR數(shù)據(jù)源信息統(tǒng)計(jì)表
由三種數(shù)據(jù)源采集而得的SAR艦船圖片切片如圖3所示。
圖3 三種數(shù)據(jù)源樣本示例
GF-3、Sentinel-1數(shù)據(jù)源采用C頻段，穿透性能更強(qiáng)，對(duì)海洋探測(cè)效果較好，其中GF-3分辨率范圍更為廣泛，最高分辨率可以達(dá)到1 m，其采用12種成像模式，是世界上C頻段成像模式最多的合成孔徑雷達(dá)。觀測(cè)幅寬和分辨率相互制約，由于海洋面積遼闊，通常用于海洋艦船目標(biāo)檢測(cè)的分辨率觀測(cè)幅寬范圍較廣，此類衛(wèi)星的典型代表是Sentinel-1，其分辨率可以達(dá)到中到高分辨率水平，在海洋監(jiān)視任務(wù)中同樣頗受青睞。此外，不同極化方式所獲取的SAR數(shù)據(jù)信息豐富度不同，全極化SAR數(shù)據(jù)在目標(biāo)檢測(cè)等領(lǐng)域能夠提供比單極化SAR數(shù)據(jù)更為豐富的信息[17]。李燾[18]對(duì)不同極化方式下的SAR圖像進(jìn)行分析，針對(duì)單極化和全極化兩種方式提出了適用于SAR目標(biāo)檢測(cè)任務(wù)的改進(jìn)方法。圖像分辨率也是影響檢測(cè)效果的因素之一，高分辨率SAR圖像艦船目標(biāo)能展現(xiàn)出更多的細(xì)節(jié)，而在低分辨率SAR圖像中艦船目標(biāo)往往只表現(xiàn)為一個(gè)白色高亮的點(diǎn)，網(wǎng)絡(luò)所能學(xué)習(xí)到的特征也較為有限，使得檢測(cè)精度較低。不同雷達(dá)由于其參數(shù)、分辨率、成像模式不同，所以由不同衛(wèi)星獲取的同一艦船目標(biāo)也存在較大不同，如圖4為不同衛(wèi)星下同一艦船圖像。
圖4 同一艘船在GF-3和TerraSAR-X衛(wèi)星下的圖像[20]
由圖4可知，同一艘船在GF-3衛(wèi)星和TerraSAR-X衛(wèi)星下所呈圖像差異較大，相比于TerraSAR-X，GF-3衛(wèi)星下艦船目標(biāo)存在較多的尾跡像素點(diǎn)和散焦像素點(diǎn)。武思文[19]通過不同數(shù)據(jù)源在卷積神經(jīng)網(wǎng)絡(luò)模型上的分類表現(xiàn)，證實(shí)了不同雷達(dá)數(shù)據(jù)對(duì)SAR艦船分類性能影響不同，并從卷積特征的提取角度進(jìn)行分析，如圖5和圖6所示。同一艘船在不同衛(wèi)星下所呈圖像不同，且經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)所提取的深度特征也存在差異。文獻(xiàn)[19]中實(shí)驗(yàn)論證表明，由同一雷達(dá)數(shù)據(jù)組成的數(shù)據(jù)集訓(xùn)練所得模型，其分類準(zhǔn)確率要高于不同雷達(dá)數(shù)據(jù)組成的數(shù)據(jù)集。
圖5 GF-3艦船數(shù)據(jù)最后一層卷積特征可視化[20]
圖6 TerraSAR-X艦船數(shù)據(jù)最后一層卷積特征可視化[20]
Ao等人[20]利用改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)從Sentinel-1數(shù)據(jù)到TerraSAR-X數(shù)據(jù)的轉(zhuǎn)變，并采用VGG網(wǎng)絡(luò)對(duì)比Sentinel-1數(shù)據(jù)和TerraSAR-X數(shù)據(jù)經(jīng)卷積提取后的特征，如圖7所示?？梢钥闯?，由于分辨率較低，Sentinel-1數(shù)據(jù)清晰度較差，經(jīng)5層卷積后，所提取的特征差異逐漸增大。
圖7 Sentinel-1(上)和TerraSAR-X(下)數(shù)據(jù)卷積特征可視化[21]
受分辨率的限制，艦船目標(biāo)在Sentinel-1衛(wèi)星下清晰度較差，GF-3衛(wèi)星下艦船目標(biāo)的散焦像素和尾跡像素明顯多于TerraSAR-X數(shù)據(jù)。同一SAR艦船數(shù)據(jù)在不同衛(wèi)星下所呈現(xiàn)的圖像不同，且經(jīng)卷積操作提取的特征也存在差異，導(dǎo)致不同衛(wèi)星數(shù)據(jù)所訓(xùn)練出的模型檢測(cè)性能不同。Sentinel-1是獲取大場(chǎng)景SAR圖像的一個(gè)很好的選擇，而TerraSAR-X和GF-3則是高分辨率的一個(gè)很好的解決方案。
2.2 SAR艦船數(shù)據(jù)集
伴隨著SAR衛(wèi)星的不斷升空，SAR圖像數(shù)據(jù)量不斷增大，越來越多的SAR圖像數(shù)據(jù)集相繼被提出。針對(duì)海洋中的艦船目標(biāo)有小樣本型數(shù)據(jù)集SSDD、小尺寸型數(shù)據(jù)集SAR-Ship-Dataset、大場(chǎng)景型數(shù)據(jù)集AIR-SARShip，以及傾向于實(shí)例分割的HRSID數(shù)據(jù)集和大場(chǎng)景小目標(biāo)型數(shù)據(jù)集LS-SSDD等。
SSDD數(shù)據(jù)集[21]是第一個(gè)專門用于SAR圖像艦船目標(biāo)檢測(cè)的數(shù)據(jù)集，由于采用的是人工制作，艦船目標(biāo)大都位于圖像切片的中心位置，包含有四種極化方式，分辨率范圍為1～15 m，艦船目標(biāo)分布于遠(yuǎn)海和近岸不同場(chǎng)景中。數(shù)據(jù)集包含不同分辨率、尺寸、海況、傳感器類型等條件下的艦船SAR圖像，一共有1 160個(gè)圖像和2 456個(gè)艦船，平均每個(gè)圖像有2.12只船。
SAR-Ship-Dataset數(shù)據(jù)集[22]是一個(gè)面向復(fù)雜場(chǎng)景的規(guī)模較大的SAR圖像數(shù)據(jù)集，數(shù)據(jù)集由102張GF-3圖像和Sentinel-1圖像中的43 819張艦船切片組成。針對(duì)小目標(biāo)樣本居多的特性，在構(gòu)建時(shí)將滑動(dòng)窗口設(shè)定為256 pixel×256 pixel，且為了豐富目標(biāo)背景，在滑動(dòng)窗口期間，在行和列上都移動(dòng)128 pixel，保留相鄰艦船切片50%的重疊率。最后將整個(gè)數(shù)據(jù)集按7∶2∶1的比例隨機(jī)分割成訓(xùn)練集、驗(yàn)證集和測(cè)試集，大量的圖像樣本可以使模型學(xué)習(xí)到更加豐富的艦船特征，但丟棄了大量的純背景切片，破壞了大場(chǎng)景星載SAR圖像的屬性。
AIR-SARShip-1.0數(shù)據(jù)集[13]以及在此基礎(chǔ)上構(gòu)建的AIR-SARShip-2.0數(shù)據(jù)集是一個(gè)面向高分辨率、大尺寸場(chǎng)景的SAR艦船檢測(cè)數(shù)據(jù)集，這兩個(gè)數(shù)據(jù)集共包含有331景GF-3 SAR圖像，場(chǎng)景類型包含港口、島礁、不同級(jí)別海況的海面等，標(biāo)注信息主要為艦船目標(biāo)的位置，背景涵蓋近岸和遠(yuǎn)海等多種場(chǎng)景。圖像分辨率包括1 m和3 m，成像模式包括聚束式和條帶式，極化方式為單極化，圖像尺寸大多為1 000 pixel×1 000 pixel、3 000 pixel×3 000 pixel，并按照PASCAL VOC數(shù)據(jù)集格式標(biāo)注，結(jié)果保存文件為XML格式。相比于SSDD數(shù)據(jù)集，其場(chǎng)景更大，更適合目標(biāo)檢測(cè)技術(shù)在星載SAR實(shí)際工程中的應(yīng)用。
HRSID數(shù)據(jù)集[14]在99張Sentinel-1B圖像、36張TerraSAR-X和1張TanDEM-X圖像的基礎(chǔ)上進(jìn)行一系列操作，構(gòu)建成一個(gè)由5 604張圖像、16 951個(gè)艦船切片組成的數(shù)據(jù)集，每張圖像的尺寸為800 pixel×800 pixel，并且按照MS COCO數(shù)據(jù)集[22]的標(biāo)注格式(JSON文件)來制作標(biāo)簽。在裁剪過程中，將艦船相對(duì)密集和近海區(qū)域單獨(dú)分開，并對(duì)海上零星分布的艦船切片設(shè)置自定義閾值，滑動(dòng)窗口采用800 pixel×800 pixel，且裁剪重復(fù)率設(shè)置為20%，最后，去掉沒有目標(biāo)的400張裁剪圖像。在標(biāo)注時(shí)，采用多邊形進(jìn)行標(biāo)注，且在近海區(qū)域采用與SAR圖像有相似成像日期的光學(xué)遙感圖像來輔助標(biāo)注，標(biāo)注文件以JSON格式存儲(chǔ)。
LS-SSDD數(shù)據(jù)集[12]包含有15景大場(chǎng)景Sentinel-1圖像，其中10景用于訓(xùn)練集，5景用于測(cè)試集，數(shù)據(jù)集共含有9 000張子圖像切片，其中保留了純背景切片。構(gòu)建過程分為原始數(shù)據(jù)采集、圖像格式轉(zhuǎn)換、調(diào)整大小等步驟。采用先將TIFF格式原始圖像轉(zhuǎn)換成JPG格式的方法，而非常見的先進(jìn)行裁剪而后進(jìn)行格式轉(zhuǎn)換；裁剪階段采用規(guī)則網(wǎng)格裁剪法，雖然檢測(cè)完成后只需簡單的拼接即可還原為原始大圖，但艦船目標(biāo)存在被裁斷的風(fēng)險(xiǎn)；標(biāo)注階段得到了AIS信息和谷歌地球提供的光學(xué)圖像的支持。值得一提的是，其規(guī)定小艦船尺寸衡量標(biāo)準(zhǔn)參照的是MS COCO數(shù)據(jù)集所劃分的像素比例：最小包圍框面積小于 322pixel占COCO數(shù)據(jù)集中圖像平均大小(279 752 pixel)的0.37%。因此，將0.37%的像素比例用于確定小艦船目標(biāo)尺寸，而非簡單的目標(biāo)像素?cái)?shù)。LS-SSDD數(shù)據(jù)集是首個(gè)從工程應(yīng)用的角度構(gòu)建的針對(duì)大場(chǎng)景小艦船檢測(cè)數(shù)據(jù)集，其提出的全自動(dòng)檢測(cè)流程和30個(gè)檢測(cè)基準(zhǔn)為工程應(yīng)用提供了一定參考。
公開的數(shù)據(jù)集中存在有錯(cuò)標(biāo)漏標(biāo)的現(xiàn)象，且針對(duì)船舶尾跡像素和散焦像素是否應(yīng)標(biāo)注在真實(shí)包圍框中的問題，不同的數(shù)據(jù)集做法不同。如圖8(a)左圖、右圖分別為HRSID、LS-SSDD數(shù)據(jù)集中被裁斷的目標(biāo)樣本；圖8(b)為SAR-Ship-Dataset數(shù)據(jù)集中漏標(biāo)和錯(cuò)標(biāo)的數(shù)據(jù)樣本；SSDD數(shù)據(jù)集不將船舶尾跡像素和散焦像素包括在真實(shí)目標(biāo)包圍框中，如圖8(c)左圖所示，而AIR-SARShip數(shù)據(jù)集做法與之相反，如圖8(c)右圖所示。此外，純背景圖像切片的取舍問題、圖像預(yù)處理階段亮度與對(duì)比度的設(shè)置等也有待研究。
除了公開的幾種數(shù)據(jù)集外，還有一些未公開的數(shù)據(jù)集也提供了很好的構(gòu)建方法。韓子碩[23]選取7景的Sentinel-1圖像，其中5景作為訓(xùn)練數(shù)據(jù)，包含有1 936幅子圖像，其余2景切割而成的3 536幅子圖像作為測(cè)試集，其中只有591幅含有目標(biāo)，保留的純背景切片更好地滿足了實(shí)際工程中的應(yīng)用。子圖像的構(gòu)建是以10%的重疊率將大圖剪切成500 pixel×500 pixel的子圖像塊，完成檢測(cè)后，拼接子圖像再次利用非極大值抑制(Non-Maximum Suppression，NMS)消除重復(fù)標(biāo)記的目標(biāo)，既避免了目標(biāo)被遺漏的可能，又保證了圖像的完整性。
此外，帶有AIS信息適用于識(shí)別任務(wù)的SAR艦船數(shù)據(jù)集包括OpenSARShip數(shù)據(jù)集[24]、FUSAR-Ship數(shù)據(jù)集[25]等。OpenSARShip是針對(duì)Sentinel-1艦船數(shù)據(jù)解譯的數(shù)據(jù)集，其由11景圖像11 346個(gè)艦船切片組成。數(shù)據(jù)集的構(gòu)建步驟為首先對(duì)原始圖像進(jìn)行預(yù)處理，在進(jìn)行標(biāo)注時(shí)利用一種在線協(xié)調(diào)標(biāo)簽工具(Online Coordinate Label Tool,OCLT)進(jìn)行半自動(dòng)標(biāo)注，然后將SAR圖像與AIS信息進(jìn)行集成，最后對(duì)每個(gè)艦船切片進(jìn)行后處理。FUSAR-Ship數(shù)據(jù)集是由126景GF-3數(shù)據(jù)組成，包括15種主要船舶類別，并對(duì)各類船舶和非船舶樣本進(jìn)行了簡單的八分類。各類船舶目標(biāo)和非船舶目標(biāo)的光學(xué)圖像切片和SAR圖像切片對(duì)比如圖9所示。然后，利用SAR數(shù)據(jù)與AIS信息集成的自動(dòng)匹配方法進(jìn)行注釋，構(gòu)建了一個(gè)含有5 000多個(gè)高分辨率船舶切片和數(shù)千個(gè)非船舶切片樣本的大型數(shù)據(jù)集，促進(jìn)了船舶識(shí)別技術(shù)的發(fā)展。
圖9 各類樣本的光學(xué)圖像與SAR圖像對(duì)比[25]
上述幾種公開的SAR艦船圖像數(shù)據(jù)集信息統(tǒng)計(jì)如表2所示。
表2 SAR艦船數(shù)據(jù)集信息統(tǒng)計(jì)表
其中SSDD原論文中公布的為2 456艘艦船，本文利用Python軟件根據(jù)1 160個(gè)對(duì)應(yīng)標(biāo)簽文件統(tǒng)計(jì)結(jié)果為2 540艘。
不同的數(shù)據(jù)集構(gòu)建方法不盡相同，SSDD數(shù)據(jù)是由人工裁剪而來，艦船切片的長度和寬度包含有多種尺寸，艦船目標(biāo)大都分布在艦船切片的中心位置，整體場(chǎng)景較為簡單，是應(yīng)用較為廣泛的數(shù)據(jù)集；AIR-SARShip2.0數(shù)據(jù)集艦船目標(biāo)的包圍框平均面積約為12 477 pixel，相應(yīng)地，艦船目標(biāo)尺寸相對(duì)較大；SAR-Ship-Dataset包含有59 535個(gè)艦船目標(biāo)，數(shù)據(jù)量巨大，不足之處是圖像尺寸以及目標(biāo)尺寸相對(duì)較小，無法滿足實(shí)際應(yīng)用需求。可以看出，不同的數(shù)據(jù)集具有不同的傾向性，SSDD傾向于小樣本型，AIR-SARShip傾向于大場(chǎng)景型，SAR-Ship-Dataset傾向于小目標(biāo)尺寸型，HRSID更傾向于實(shí)例分割，LS-SSDD保留了純背景切片，其目標(biāo)的像素尺寸更小，更適用于工程應(yīng)用。現(xiàn)有的數(shù)據(jù)集大都為相關(guān)學(xué)者提供了不同數(shù)量的檢測(cè)基準(zhǔn)，其中LS-SSDD數(shù)據(jù)集提供了高達(dá)30個(gè)檢測(cè)基準(zhǔn)，可為后續(xù)的研究提供有益的參考。
圖10為SAR艦船數(shù)據(jù)集構(gòu)建發(fā)展歷程。針對(duì)SAR艦船目標(biāo)檢測(cè)任務(wù)，首先是2018年提出的SSDD數(shù)據(jù)集，填補(bǔ)了SAR艦船圖像目標(biāo)檢測(cè)領(lǐng)域的空白，為研究人員提供了統(tǒng)一衡量標(biāo)準(zhǔn)，但該數(shù)據(jù)集樣本數(shù)量不足，制約了進(jìn)一步的研究，于是便出現(xiàn)了SAR-Ship-Dataset數(shù)據(jù)集。此數(shù)據(jù)集含有大量的樣本數(shù)據(jù)，但其圖像尺寸太小，無法滿足實(shí)際的應(yīng)用需求。隨后提出的AIR-SARShip-1.0雖然有著較大的場(chǎng)景，但目標(biāo)數(shù)據(jù)較少，且圖像質(zhì)量不高。HRSID相比于SSDD等數(shù)據(jù)集在標(biāo)注階段有較大的進(jìn)步，其借助谷歌地球?qū)ε灤繕?biāo)進(jìn)行了正確的標(biāo)注。LS-SSDD在標(biāo)注時(shí)更是獲得了AIS信息的支持，并將純背景切片加入到訓(xùn)練網(wǎng)絡(luò)中，有利于模型學(xué)習(xí)到豐富的純背景特征。這些數(shù)據(jù)集的提出極大地促進(jìn)了SAR圖像解譯技術(shù)的進(jìn)步，促使更多高質(zhì)量SAR圖像數(shù)據(jù)集的出現(xiàn)。
圖10 SAR艦船數(shù)據(jù)集構(gòu)建發(fā)展歷程
3 討論與展望
數(shù)據(jù)集是突破應(yīng)用瓶頸的重要環(huán)節(jié)之一，好的數(shù)據(jù)集甚至比好的網(wǎng)絡(luò)模型還要重要，特別是在數(shù)據(jù)緊缺的SAR圖像解譯領(lǐng)域，如何構(gòu)建高質(zhì)量的數(shù)據(jù)集是急需解決的難點(diǎn)問題之一。盡管近幾年來，所提出的SAR圖像艦船數(shù)據(jù)集越來越接近工程自動(dòng)化應(yīng)用水平，但所構(gòu)建數(shù)據(jù)集若要滿足實(shí)際工程需求，仍需考慮以下幾個(gè)方面：
(1)影響因素。影響SAR艦船目標(biāo)檢測(cè)的因素有多種，由上文可知，同一艘船在不同的衛(wèi)星平臺(tái)下成像不同，且經(jīng)卷積操作提取的特征也存在差異，因此，不同星載平臺(tái)數(shù)據(jù)的檢測(cè)性能也可能不同。此外，同一星載平臺(tái)下不同分辨率和成像角度等成像屬性參數(shù)也同樣影響檢測(cè)性能，在構(gòu)建SAR圖像艦船數(shù)據(jù)集時(shí)需考慮不同的影響因素分類別進(jìn)行構(gòu)建，并利用相對(duì)應(yīng)類別的訓(xùn)練模型進(jìn)行檢測(cè)。
(2)應(yīng)用場(chǎng)景。從像素比例的角度看，用于海洋監(jiān)視的星載SAR數(shù)據(jù)場(chǎng)景較大，而在大場(chǎng)景SAR圖像中艦船目標(biāo)一般較小，因此，具有大場(chǎng)景、小目標(biāo)特性的數(shù)據(jù)集更適合星載SAR數(shù)據(jù)的實(shí)際工程應(yīng)用。針對(duì)小目標(biāo)的尺寸標(biāo)準(zhǔn)，常見的小艦船目標(biāo)尺寸的劃分方法有兩種，一種沿用MS COCO數(shù)據(jù)集的小目標(biāo)像素尺寸，另一種依據(jù)MS COCO數(shù)據(jù)集的小目標(biāo)像素占整張切片的像素比例，由于SAR艦船數(shù)據(jù)與普通光學(xué)數(shù)據(jù)之間差異較大，因此需要提出適合SAR艦船數(shù)據(jù)的尺寸劃分標(biāo)準(zhǔn)。
(3)數(shù)據(jù)規(guī)模。深度學(xué)習(xí)是塊“黑盒”，通常用于訓(xùn)練的樣本數(shù)據(jù)越多越好，但倘若把所有的數(shù)據(jù)都用來訓(xùn)練模型，則又回到20世紀(jì)80年代——計(jì)算機(jī)的算力和內(nèi)存能否支持模型的求解，且訓(xùn)練樣本中往往包含有大量相似特征的數(shù)據(jù)，并不能使模型的檢測(cè)性能有較大提升。由于現(xiàn)有的技術(shù)手段無法確定單個(gè)樣本數(shù)據(jù)對(duì)檢測(cè)結(jié)果的影響，需要探究訓(xùn)練樣本量與檢測(cè)結(jié)果之間的關(guān)系，從實(shí)際工程應(yīng)用中成本效益的角度出發(fā)，確定所構(gòu)建SAR艦船數(shù)據(jù)集的規(guī)模。
(4)圖像裁剪。由于原始圖像較大，在網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，需要對(duì)圖像進(jìn)行格式轉(zhuǎn)化并裁剪。圖像裁剪對(duì)數(shù)據(jù)集的影響同樣至關(guān)重要，大量被裁斷的目標(biāo)數(shù)據(jù)將嚴(yán)重降低模型檢測(cè)的性能。不同的數(shù)據(jù)集所采用的裁剪方法不同，人工裁剪法效率低下；規(guī)則網(wǎng)格裁剪法導(dǎo)致目標(biāo)易被截?cái)啵换瑒?dòng)窗口裁剪法在檢測(cè)完成后需要經(jīng)過復(fù)雜的變換才能轉(zhuǎn)換為原圖，且需要設(shè)置合理的重疊率。此外，裁剪的艦船切片尺寸以及裁剪后純背景切片的留舍問題也有待研究。
(5)標(biāo)注方法。對(duì)目標(biāo)進(jìn)行精準(zhǔn)的標(biāo)注是衡量數(shù)據(jù)集質(zhì)量好壞的重要指標(biāo)之一。SAR艦船圖像相比于普通光學(xué)圖像較難辨識(shí)，且一些艦船具有明顯的尾跡和散點(diǎn)散焦的特性，大大增加了標(biāo)注的難度，相對(duì)應(yīng)的光學(xué)遙感圖像和AIS信息提供了很好的輔助標(biāo)記手段。主動(dòng)學(xué)習(xí)和弱監(jiān)督目標(biāo)檢測(cè)技術(shù)的發(fā)展，是對(duì)智能化標(biāo)注方法的有益探索，但目前仍以人工標(biāo)注為主，具有較大的不確定性。針對(duì)SAR圖像，相比于水平框，旋轉(zhuǎn)框更匹配艦船目標(biāo)的形狀，能夠高效地利用SAR圖像數(shù)據(jù)。
4 結(jié) 論
構(gòu)建高質(zhì)量的SAR圖像艦船數(shù)據(jù)集能夠提高星載SAR數(shù)據(jù)利用率，促進(jìn)基于深度學(xué)習(xí)的SAR目標(biāo)檢測(cè)技術(shù)的發(fā)展。本文分析了幾種公開的SAR艦船圖像數(shù)據(jù)集，指出了構(gòu)建數(shù)據(jù)集過程中存在的難點(diǎn)問題，以期促使更多高質(zhì)量數(shù)據(jù)集的出現(xiàn)，提高星載SAR圖像工程應(yīng)用能力。
猜你喜歡
艦船科學(xué)技術(shù)(2022年21期)2022-12-12 08:07:10
艦船科學(xué)技術(shù)(2021年12期)2021-03-29 01:28:44
數(shù)學(xué)物理學(xué)報(bào)(2019年3期)2019-07-23 01:15:40
家庭影院技術(shù)(2018年9期)2018-11-02 05:31:32
自動(dòng)化學(xué)報(bào)(2017年5期)2017-05-14 06:20:52
成都信息工程大學(xué)學(xué)報(bào)(2017年6期)2017-03-16 03:04:32
電信科學(xué)(2016年11期)2016-11-23 05:07:58
艦船科學(xué)技術(shù)(2016年1期)2016-02-27 15:39:26
中國組織化學(xué)與細(xì)胞化學(xué)雜志(2016年3期)2016-02-27 11:15:40
中國當(dāng)代醫(yī)藥(2015年17期)2015-03-01 02:03:38
