張?zhí)忑? 過 杰

基于改進(jìn)Faster R-CNN模型的SAR圖像溢油檢測(cè)方法

張?zhí)忑?, 2, 3, 過 杰1, 2, 4

(1. 中國(guó)科學(xué)院煙臺(tái)海岸帶研究所 中國(guó)科學(xué)院環(huán)境過程與生態(tài)修復(fù)重點(diǎn)實(shí)驗(yàn)室, 山東 煙臺(tái) 264003; 2. 中國(guó)科學(xué)院煙臺(tái)海岸帶研究所 山東省海岸帶環(huán)境過程重點(diǎn)實(shí)驗(yàn)室, 山東 煙臺(tái) 264003; 3. 中國(guó)科學(xué)院大學(xué), 北京 100049; 4. 中國(guó)科學(xué)院海洋大科學(xué)中心, 山東 青島 266071)

SAR(synthetic aperture radar)圖像溢油暗斑準(zhǔn)確識(shí)別對(duì)海上溢油應(yīng)急工作具有重要的意義。為減少SAR圖像特征提取、特征選擇過程中人為因素對(duì)溢油檢測(cè)精度的影響, 本文將Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)模型引入SAR圖像溢油檢測(cè)并進(jìn)行了改進(jìn)。針對(duì)溢油暗斑形狀多樣及SAR圖像背景復(fù)雜的特點(diǎn), 選用結(jié)構(gòu)一致且實(shí)用性強(qiáng)的VGG16卷積網(wǎng)絡(luò)獲取圖像特征, 并使用軟化非極大值抑制算法(Soft-NMS)進(jìn)行優(yōu)化。同時(shí)基于相同的數(shù)據(jù)集, 提取常用的SAR圖像幾何特征、灰度特征和紋理特征, 構(gòu)建反向傳播(backpropagation, BP)人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法并與Faster R-CNN方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明, 基于改進(jìn)Faster-RCNN模型的溢油檢測(cè)方法溢油檢測(cè)率達(dá)到0.78, 且溢油檢測(cè)虛警率低于0.25, 相比BP人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法樣本識(shí)別率、溢油檢測(cè)率分別提高了4%和5%, 溢油虛警率降低了5%。

SAR; Faster R-CNN; 溢油檢測(cè); BP神經(jīng)網(wǎng)絡(luò)

海洋石油平臺(tái)泄漏、運(yùn)輸船只事故及非法排放等造成的海洋溢油污染, 嚴(yán)重威脅海洋生態(tài)環(huán)境安全以及海洋產(chǎn)業(yè)的發(fā)展[1-3]。因此, 如何及時(shí)監(jiān)測(cè)溢油位置、面積, 準(zhǔn)確識(shí)別油膜及估算溢油量, 是海洋溢油污染監(jiān)測(cè)急需解決的問題, 這對(duì)于海洋溢油應(yīng)急實(shí)施、保護(hù)海洋生態(tài)環(huán)境、減少溢油造成的經(jīng)濟(jì)損失具有重要的意義。

衛(wèi)星遙感觀測(cè)技術(shù)的快速發(fā)展使合成孔徑雷達(dá)(synthetic aperture radar, SAR)以其全天時(shí)、全天候的優(yōu)勢(shì)在海洋溢油污染監(jiān)測(cè)中發(fā)揮著“主力軍”的作用[4-5]。目前, 應(yīng)用SAR數(shù)據(jù)進(jìn)行海上溢油檢測(cè)的方法主要有閾值法[6-10]、概率統(tǒng)計(jì)方法[11-13]、決策樹方法[14-15]、人工神經(jīng)網(wǎng)絡(luò)方法等[16-19]。其中, 人工神經(jīng)網(wǎng)絡(luò)方法因其較強(qiáng)的自學(xué)習(xí)能力、泛化能力和容錯(cuò)能力, 能夠較好地解決非線性分類問題, 被用于海面溢油和疑似溢油檢測(cè)研究[16-19]。Singha等[16]構(gòu)建雙層人工神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了SAR圖像暗斑檢測(cè)、特征提取及溢油暗斑目標(biāo)分類的過程, 并分析了不同特征組合對(duì)人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)精度的影響。石立堅(jiān)等利用方差分析方法對(duì)溢油識(shí)別特征參量進(jìn)行篩選, 并利用反向傳播(backpropagation, BP)神經(jīng)網(wǎng)絡(luò)建立溢油識(shí)別模型實(shí)現(xiàn)了SAR圖像溢油暗斑的有效識(shí)別[19]。

近些年, 深度學(xué)習(xí)框架引領(lǐng)了計(jì)算機(jī)圖像識(shí)別及相關(guān)學(xué)科的新一輪的研究熱潮。圖像特征的關(guān)注點(diǎn)由傳統(tǒng)的圖像全局特征轉(zhuǎn)變?yōu)閳D像卷積多尺度特征。相比較于傳統(tǒng)的圖像識(shí)別框架, 深度學(xué)習(xí)框架圖像特征自動(dòng)提取的特點(diǎn), 為機(jī)器學(xué)習(xí)的快速推廣與應(yīng)用帶來了巨大的優(yōu)勢(shì)[20-23]。深度學(xué)習(xí)框架在卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的基礎(chǔ)上不斷優(yōu)化更新發(fā)展了Fast R-CNN (fast region- con--volutional neural network), Faster R-CNN (faster region- convolutional neural network), Mask R-CNN等神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別框架, 這些框架現(xiàn)已有較好的應(yīng)用實(shí)例[20, 24-26]。在SAR圖像海上溢油識(shí)別方面, 已有學(xué)者進(jìn)行了相關(guān)研究。Guo等[27]選取了5組RADARSAT-2數(shù)據(jù)的6種幾何特征, 8種紋理特征和4種極化特征, 組成優(yōu)化特征子集輸入到CNN神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練并使用測(cè)試樣本進(jìn)行分類測(cè)試, 測(cè)試結(jié)果表明CNN網(wǎng)絡(luò)對(duì)SAR圖像上溢油和疑似溢油區(qū)域有很好的區(qū)分能力。Nieto-Hidalgo等[28]人針對(duì)機(jī)載側(cè)視雷達(dá)(side-looking airborne radar, SLAR)數(shù)據(jù)構(gòu)建了雙層CNN神經(jīng)網(wǎng)絡(luò)模型, 用以區(qū)分船只和海面溢油, 并分析了不同訓(xùn)練參數(shù)對(duì)識(shí)別結(jié)果的影響, 比較了11種卷積神經(jīng)網(wǎng)絡(luò), 結(jié)果表明雙層CNN神經(jīng)網(wǎng)絡(luò)在卷積核窗口大小為7時(shí), 識(shí)別精度最高。

目前, 多數(shù)研究[16-19]通過圖像全局特征提取及特征選擇構(gòu)建特征子集的方式, 構(gòu)建基于人工神經(jīng)網(wǎng)絡(luò)的溢油檢測(cè)方法, 而針對(duì)星載SAR數(shù)據(jù)使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行溢油和疑似溢油區(qū)分的研究相對(duì)較少。人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法雖能取得較好的溢油檢測(cè)效果, 但此類方法特征提取、特征選擇過程較為復(fù)雜, 且特征處理過程中易受到人為主觀意識(shí)的影響。而深度卷積神經(jīng)網(wǎng)絡(luò)將特征提取、特征選擇、識(shí)別定位及檢測(cè)結(jié)果可視化, 集成于同一個(gè)神經(jīng)網(wǎng)絡(luò)中, 避免了在特征提取、特征選擇等過程中人為因素的干擾。故本文提出基于改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型的SAR圖像溢油檢測(cè)方法, 選用VGG16網(wǎng)絡(luò)獲取SAR圖像卷積特征, 在Faster R-CNN神經(jīng)網(wǎng)絡(luò)中完成特征提取及特征選擇過程, 使用軟化非極大值抑制算法(soft non-maximum suppression, Soft-NMS)優(yōu)化了傳統(tǒng)的非極大值抑制算法(non-maximum suppression, NMS), 并基于相同的數(shù)據(jù)集與人工神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對(duì)比。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)及數(shù)據(jù)預(yù)處理

本文對(duì)選取的26景渤海海域WSM(wide swath)觀測(cè)模式、VV極化模式的ENVISAT ASAR影像數(shù)據(jù), 以及20景干涉寬幅觀測(cè)模式、VV極化模式的Sentinel-1 GRDH數(shù)據(jù)進(jìn)行了輻射校正和幾何校正。因兩種數(shù)據(jù)的分辨率分別為30 m×30 m和20 m× 22 m, 故采用雙線性插值法將Sentinel-1數(shù)據(jù)重采樣為30 m。本文選擇增強(qiáng)型Lee濾波對(duì)SAR圖像進(jìn)行圖像降噪處理, 圖1為濾波窗口為3、5和7時(shí)的濾波結(jié)果。由圖1可知增強(qiáng)型Lee濾波窗口大小為7時(shí)濾波效果最好且濾波窗口選擇結(jié)果與文獻(xiàn)[29]實(shí)驗(yàn)結(jié)論一致; 若繼續(xù)增大濾波器窗口, 則圖像的邊緣保持程度會(huì)降低, 運(yùn)算量也相應(yīng)的會(huì)增大[29], 故本文增強(qiáng)型Lee濾波窗口大小設(shè)置為7?；谏鲜鎏幚砗蟮腟AR圖像, 根據(jù)溢油的溢油判定規(guī)則[8-9, 16-17]選取溢油與疑似溢油樣本, 共計(jì)選取602個(gè)有效樣本, 其中溢油暗斑樣本250個(gè), 疑似溢油暗斑樣本352個(gè)。解譯的樣本中包含了溢油、船舶尾跡、低風(fēng)速區(qū)、背風(fēng)區(qū)、海洋內(nèi)波等, 圖2為選取典型的溢油和疑似溢油樣本示例, 圖2中a為溢油樣本, b為背風(fēng)區(qū)樣本, c為低風(fēng)速區(qū)樣本, d為船舶尾跡樣本。

Faster-RCNN神經(jīng)網(wǎng)絡(luò)雖然對(duì)輸入的圖像的大小沒有具體的要求, 為能夠記錄暗斑在樣本圖像中的準(zhǔn)確位置, 使用LabelImg開源軟件[30]對(duì)樣本圖像暗斑進(jìn)行標(biāo)記(圖3), 生成用于記錄樣本區(qū)域、類別及其他相關(guān)信息的xml文件, 實(shí)現(xiàn)了對(duì)輸入圖像的管理。將上述的溢油與疑似溢油數(shù)據(jù)集轉(zhuǎn)換為VOC2007數(shù)據(jù)集格式[31], 有利于Faster R-CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。在Faster R-CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練中, 訓(xùn)練集和測(cè)試集按照7︰3的比例對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)選取, 得到訓(xùn)練樣本421個(gè)和測(cè)試樣本181個(gè)。

為避免數(shù)據(jù)集不同對(duì)算法比較的客觀性帶來影響, 在人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法中, 將上述切分好的訓(xùn)練集再次按照5︰2的比例對(duì)樣本進(jìn)行分配, 得到訓(xùn)練樣本301個(gè)、驗(yàn)證樣本120個(gè)。本文參考相關(guān)文獻(xiàn)提取了溢油與疑似溢油樣本的10個(gè)幾何特征、14個(gè)灰度特征以及15個(gè)紋理特征。其中, 10個(gè)幾何特征包括樣本暗斑周長(zhǎng)、面積、目標(biāo)復(fù)雜度[32]及Hu不變矩[33]的前3階的幾何矩特征, 14個(gè)灰度特征包括樣本暗斑邊緣梯度及目標(biāo)灰度偏度等[32], 15個(gè)紋理特征則來源于洪繼光[34]提出的基于灰度共生矩陣的大小梯度優(yōu)勢(shì)及逆差距等15個(gè)紋理特征。因某些特征提取時(shí)自身帶有量綱(如周長(zhǎng))且特征數(shù)據(jù)的范圍不一, 需先要對(duì)39個(gè)特征分別進(jìn)行歸一化處理, 歸一化處理方法為:

式(1)中, ynorm為歸一化后的特征值, xi為原始特征值, Xmax和Xmin為原始特征值中的最大值和最小值。

圖2 樣本集中幾種典型的溢油和疑似溢油樣本

圖3 使用labelImg對(duì)樣本進(jìn)行標(biāo)記

1.2 改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型

任少卿等提出了Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型[35], 該模型首先在結(jié)構(gòu)上做出了重大的改變, 模型將特征提取層、RPN(region proposal networks)層和包圍框回歸層及分類層集成在一個(gè)網(wǎng)絡(luò)中, 這樣可以在一個(gè)深度學(xué)習(xí)的框架中完成特征提取、分類以及位置修正的整個(gè)過程。Faster R-CNN網(wǎng)絡(luò)總體可分為4個(gè)部分: 卷積層、RPN網(wǎng)絡(luò)層、ROI pooling層以及Classification層。卷積層主要通過卷積、池化等過程生成特征圖。使用RPN網(wǎng)絡(luò)代替Selective search等傳統(tǒng)的候選框生成方法, 實(shí)現(xiàn)了網(wǎng)絡(luò)的端到端訓(xùn)練, 極大地提升了檢測(cè)框生成的速度。ROI pooling層收集輸入的特征圖和建議候選框送入全連接層實(shí)現(xiàn)目標(biāo)識(shí)別。Classification層實(shí)現(xiàn)對(duì)檢測(cè)框的再次準(zhǔn)確定位, 通過全連接層與Soft-max分類器確定候選區(qū)具體的類別, 輸出目標(biāo)為某類別的概率向量; 同時(shí)再次利用包圍框回歸獲得每個(gè)候選區(qū)的位置偏移量, 獲取更加精確的目標(biāo)檢測(cè)框。因本文選用的樣本為單波段圖像, 故將圖像數(shù)據(jù)的Conv2d函數(shù)的第一個(gè)參數(shù)設(shè)置為1。

本研究針對(duì)海面油膜形狀多樣、大小不一且SAR數(shù)據(jù)信噪比相對(duì)較低、圖像背景復(fù)雜的特點(diǎn), 使用了一種結(jié)構(gòu)簡(jiǎn)單、實(shí)用性強(qiáng)的VGG16網(wǎng)絡(luò)[36]獲取圖像卷積特征。VGG16網(wǎng)絡(luò)超參數(shù)較少, 結(jié)構(gòu)一致; 模型使用3個(gè)窗口為3的卷積核代替了原來窗口為7的卷積核, 在保證有相同感受野的條件下, 提升了網(wǎng)絡(luò)的深度, 在一定程度上提升了特征提取的效果, 減少了權(quán)重參數(shù)的數(shù)量, 有利于提取盡可能多的特征。對(duì)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型檢測(cè)框處理模塊, 使用Soft-NMS對(duì)原模型中默認(rèn)的非極大值抑制算法NMS進(jìn)行改進(jìn)[37], 較好地解決了目標(biāo)檢測(cè)框因重疊覆蓋而導(dǎo)致檢測(cè)結(jié)果精度降低的問題。

NMS算法是Faster R-CNN算法中重要的部分, 其將所有的檢測(cè)框進(jìn)行重疊度IOU(intersection over union)的計(jì)算, 如果重疊度大于某個(gè)閾值則此檢測(cè)框被抑制[37]。為減少高度重疊的冗余的檢測(cè)框的生成, 需要進(jìn)行檢測(cè)框優(yōu)化后處理, 傳統(tǒng)的NMS算法處理的計(jì)算公式為:

式(2)中, S為第個(gè)檢測(cè)生成框的得分;為得分最大的檢測(cè)生成框,為檢測(cè)生成框的集合且C中第個(gè)檢測(cè)框,T為某一設(shè)定的閾值。傳統(tǒng)NMS采用了硬分類的的判斷方式?jīng)Q定是否保留相鄰的檢測(cè)生成框, 這種方法的問題在于閾值設(shè)置較低時(shí), 包含在框內(nèi)的同類目標(biāo)會(huì)因硬分類的方式而導(dǎo)致目標(biāo)不被檢測(cè), 造成檢測(cè)結(jié)果的缺失[37]。故使用Soft-NMS算法, 基于降低檢測(cè)框置信度的方式減弱上述問題的影響, Soft-NMS算法的計(jì)算公式為:

1.3 BP人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)因其非線性推理的特性及較強(qiáng)的學(xué)習(xí)歸納能力被眾多的溢油檢測(cè)研究使用[16-19, 32], 本文選用應(yīng)用廣泛的BP人工神經(jīng)網(wǎng)絡(luò)完成溢油檢測(cè)研究。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

BP神經(jīng)網(wǎng)絡(luò)的輸入層輸入數(shù)據(jù)通常為特征向量的組合, 其節(jié)點(diǎn)的個(gè)數(shù)需要根據(jù)實(shí)驗(yàn)確定[16, 19, 32]。輸出層節(jié)點(diǎn)的個(gè)數(shù)一般由實(shí)際分類研究中分類數(shù)量來確定。隱含層層數(shù)及隱含層節(jié)點(diǎn)個(gè)數(shù)的確定是BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)過程中最重要的一環(huán), 隱含層調(diào)節(jié)的好壞將決定BP神經(jīng)網(wǎng)絡(luò)的分類精度。一般地, 采用梯度下降算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行連接權(quán)值及反向誤差的調(diào)節(jié)。BP神經(jīng)網(wǎng)絡(luò)不同層的節(jié)點(diǎn)采用全連接模式, 同層節(jié)點(diǎn)互不影響。BP神經(jīng)網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)基于反傳誤差的權(quán)重更新規(guī)則如下:

圖4 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

式(6)中,y為神經(jīng)網(wǎng)絡(luò)訓(xùn)練所要達(dá)到的目標(biāo)值,Y為神經(jīng)網(wǎng)絡(luò)給出的預(yù)測(cè)值,為輸出層節(jié)點(diǎn)個(gè)數(shù)。因BP神經(jīng)網(wǎng)絡(luò)是一種學(xué)習(xí)過程顯示型的人工神經(jīng)網(wǎng)絡(luò), 輸入層的輸入內(nèi)容不能是樣本圖像, 故需要對(duì)圖像樣本進(jìn)行特征提取, 提取后的特征組合可作為BP神經(jīng)網(wǎng)絡(luò)的輸入。

2 結(jié)果與討論

2.1 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

研究使用基于CPU版本的Tensorflow框架下的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練, 訓(xùn)練時(shí)使用的硬件配置為i7處理器, 運(yùn)行內(nèi)存大小為16 GB; 軟件環(huán)境為Window 10操作系統(tǒng), Python 3.7版本, Matlab 2019版本。人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法則基于Matlab神經(jīng)網(wǎng)絡(luò)工具包實(shí)現(xiàn)。

為了能夠客觀評(píng)價(jià)改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法及人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法的溢油檢測(cè)效果, 選用了溢油檢測(cè)率(R), 樣本識(shí)別率(R)和溢油虛警率(AR)對(duì)兩種溢油檢測(cè)方法進(jìn)行評(píng)價(jià)。溢油檢測(cè)率為對(duì)溢油樣本進(jìn)行正確分類的測(cè)度; 樣本識(shí)別率為能夠正確識(shí)別溢油和疑似溢油兩類的樣本的測(cè)度, 溢油虛警率為屬于疑似溢油類別的樣本被分類為溢油類別的測(cè)度, 以上評(píng)價(jià)指標(biāo)的定義分別如下:

其中,R為溢油樣本被正確分類的個(gè)數(shù),W為溢油樣本被分類為疑似溢油樣本的個(gè)數(shù),R為疑似溢油樣本被分類為溢油樣本的個(gè)數(shù),W為疑似溢油樣本被正確分類的個(gè)數(shù)。

2.2 實(shí)驗(yàn)及結(jié)果分析

基于1.1小節(jié)中預(yù)處理后的樣本集, 分別應(yīng)用改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法和人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法進(jìn)行了溢油檢測(cè)方法實(shí)驗(yàn)。因海面SAR溢油檢測(cè)容易受到疑似溢油暗斑的影響, 疑似溢油暗斑也將參與Faster R-CNN的訓(xùn)練。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí), 學(xué)習(xí)速率設(shè)置為0.005, batch_size設(shè)置為16, 每次讀入16個(gè)樣本圖像。為加快訓(xùn)練收斂的速度且保證梯度下降的方向不變, 本文梯度下降方式設(shè)置為動(dòng)量梯度下降, 以減弱訓(xùn)練過程中梯度振蕩現(xiàn)象。RPN網(wǎng)絡(luò)的IOU閾值設(shè)置為0.7, 候選區(qū)域數(shù)量設(shè)置為300, 即選擇300個(gè)最優(yōu)的候選框傳遞給Faster R-CNN神經(jīng)網(wǎng)絡(luò)的分類層進(jìn)行目標(biāo)識(shí)別。迭代次數(shù)設(shè)置為40 000次。圖5記錄了Faster R-CNN神經(jīng)網(wǎng)絡(luò)每次訓(xùn)練的分類總損失。學(xué)習(xí)速率初始設(shè)置為0.005, 且學(xué)習(xí)速率衰減設(shè)置為每10 000次衰減一次。

由圖5訓(xùn)練次數(shù)和分類總損失圖可以看出, 當(dāng)訓(xùn)練次數(shù)達(dá)到30 000次時(shí), 神經(jīng)網(wǎng)絡(luò)收斂到較小的分類總損失, 當(dāng)?shù)螖?shù)臨近40 000次時(shí), 分類總損失進(jìn)一步減小且趨于穩(wěn)定, 說明本文Faster R-CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練40 000次可得到較好的訓(xùn)練結(jié)果。

圖5 Faster-RCNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)與分類總損失

為完成BP神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)實(shí)驗(yàn), 應(yīng)先確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由相關(guān)文獻(xiàn)可知[16, 19, 32, 38], 需對(duì)特征進(jìn)行特征降維, 以減小特征冗余并獲取貢獻(xiàn)度最大的特征。故本文采用主成分分析方法對(duì)提取的39個(gè)特征進(jìn)行特征降維, 依據(jù)特征降維結(jié)果選取了貢獻(xiàn)度最大的6個(gè)特征作為BP神經(jīng)網(wǎng)絡(luò)的輸入, 這6個(gè)特征分別為: 樣本暗斑的面積、周長(zhǎng)、暗斑目標(biāo)與背景方差比值、相關(guān)系數(shù)、角二階矩及熵。輸出層設(shè)置為溢油和疑似溢油兩個(gè)節(jié)點(diǎn)。隱含層層數(shù)為1層[39]且隱含層節(jié)點(diǎn)個(gè)數(shù)根據(jù)文獻(xiàn)[40]中的經(jīng)驗(yàn)公式及多次樣本訓(xùn)練確定本文BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)個(gè)數(shù)為11個(gè), 文獻(xiàn)[40]中的經(jīng)驗(yàn)公式定義為:

式(10)中,為隱層節(jié)點(diǎn)個(gè)數(shù),n為輸入節(jié)點(diǎn)個(gè)數(shù),ut為輸出節(jié)點(diǎn)個(gè)數(shù),的取值范圍為[1, 10]且為整數(shù)。本文使用traingdx訓(xùn)練函數(shù)對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 采用提前停止法防止BP神經(jīng)網(wǎng)絡(luò)過擬合[32]。BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練性能圖如圖6所示, 當(dāng)?shù)螖?shù)達(dá)到92次時(shí)神經(jīng)網(wǎng)絡(luò)收斂, 迭代訓(xùn)練停止。

將VOC格式測(cè)試集中的SAR圖像樣本輸入本文溢油檢測(cè)模型進(jìn)行驗(yàn)證。將上述特征提取特征及特征選擇后的測(cè)試集樣本輸入BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型驗(yàn)證。驗(yàn)證集中包含80個(gè)溢油樣本, 101個(gè)疑似溢油樣本。基于本文2.1中的評(píng)價(jià)方法對(duì)本文兩種溢油檢測(cè)模型進(jìn)行精度評(píng)價(jià), 評(píng)價(jià)結(jié)果如表1所示。由表1的評(píng)價(jià)結(jié)果可知, 本文方法樣本識(shí)別率達(dá)到了0.790, 溢油檢測(cè)率達(dá)到了0.775, 溢油虛警率為0.244。對(duì)比表1中兩種模型的評(píng)價(jià)結(jié)果可以發(fā)現(xiàn), 本文改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法樣本識(shí)別率提高了4.4%, 溢油檢測(cè)率提高了5%, 溢油虛警率降低了4.8%。實(shí)驗(yàn)結(jié)果表明, 本文提出方法能對(duì)提升溢油檢測(cè)率、降低溢油虛警率具有一定的效果。

圖6 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練性能圖

表1 兩種神經(jīng)網(wǎng)絡(luò)模型驗(yàn)證結(jié)果

2.3 實(shí)例驗(yàn)證

本文獲取2景中國(guó)海域的SAR衛(wèi)星數(shù)據(jù), 驗(yàn)證兩種溢油檢測(cè)方法。圖7a為黃海海域南部的ERS-1 SAR影像, 影像獲取日期為1995年6月19日, 圖7b為南海海域的ERS-2 SAR影像, 獲取日期為1997年7月13日。圖7a和圖7b中暗斑根據(jù)溢油判定規(guī)則[8-9, 16-17]以及文獻(xiàn)[19]、[41]中的解譯結(jié)果對(duì)圖中的溢油和疑似溢油暗斑進(jìn)行了標(biāo)記。圖7a共解譯了11個(gè)溢油和疑似溢油暗斑, 圖7b共解譯了10個(gè)溢油和疑似溢油暗斑, 紅色序號(hào)標(biāo)記的暗斑為溢油暗斑, 白色序號(hào)標(biāo)記的暗斑為疑似溢油暗斑。除圖7b序號(hào)為5、9和10暗斑因背景較為復(fù)雜需要在綠色框范圍進(jìn)行特征提取外, 圖7a和圖7b中大部分暗斑獨(dú)立且易于BP神經(jīng)網(wǎng)絡(luò)方法特征提取。溢油和疑似溢油暗斑解譯結(jié)果如圖7所示。

圖7 改進(jìn)Faster-RCNN神經(jīng)網(wǎng)絡(luò)模型溢油檢測(cè)結(jié)果

圖7展示了本文改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型在驗(yàn)證圖像上的溢油檢測(cè)結(jié)果。圖7a驗(yàn)證結(jié)果表明除序號(hào)為11的溢油暗斑未被檢出, 其他的溢油暗斑均正確檢測(cè), 同時(shí)檢測(cè)出了其他未標(biāo)記的溢油暗斑(1、2), 由文獻(xiàn)[41]可知,1、2兩者均為溢油暗斑。圖7a中11個(gè)暗斑經(jīng)人工神經(jīng)網(wǎng)絡(luò)方法檢測(cè)后序號(hào)為1～7的溢油暗斑被正確檢測(cè), 8號(hào)和11號(hào)溢油暗斑被人工神經(jīng)網(wǎng)絡(luò)方法判定為疑似溢油暗斑。觀察分析圖7a中8號(hào)和11號(hào)暗斑可知, 兩個(gè)溢油暗斑與海水的邊緣對(duì)比度較低, 呈現(xiàn)緩慢過度的趨勢(shì), 溢油暗斑與海水邊緣的對(duì)比程度不如1～7號(hào)明顯, 人工神經(jīng)網(wǎng)絡(luò)方法錯(cuò)誤地將8號(hào)和11號(hào)暗斑檢測(cè)為疑似溢油暗斑。圖7b中除10號(hào)的疑似溢油暗斑被誤判為溢油暗斑外, 其余溢油和疑似溢油暗斑均正確檢測(cè), 同時(shí)也檢測(cè)出未標(biāo)記溢油暗斑(3)。10號(hào)暗斑與7號(hào)和8號(hào)溢油暗斑形狀、灰度和紋理特征相似且區(qū)分度較低, 導(dǎo)致本文方法誤將10號(hào)疑似溢油暗斑檢測(cè)為溢油暗斑。圖7b中10個(gè)暗斑經(jīng)人工神經(jīng)網(wǎng)絡(luò)方法檢測(cè)后, 序號(hào)為1、2、3、6、8的溢油暗斑被正確檢測(cè), 5號(hào)疑似溢油暗斑被判定為溢油暗斑, 7號(hào)溢油暗斑被判定為疑似溢油暗斑。5號(hào)疑似溢油暗斑和7號(hào)溢油暗斑分別與條狀溢油暗斑和船舶尾跡暗斑相似, 導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)誤判。由上述兩種方法溢油檢測(cè)驗(yàn)證結(jié)果分析可知, 基于改進(jìn)Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型溢油檢測(cè)結(jié)果優(yōu)于人工神經(jīng)網(wǎng)絡(luò)方法, 且能使溢油檢測(cè)結(jié)果可視化。

3 結(jié)論

本文選取了602個(gè)SAR溢油和疑似溢油樣本, 針對(duì)傳統(tǒng)特征提取、特征選擇過程易受到人為因素影響的問題, 提出了基于改進(jìn)的Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型的SAR圖像溢油檢測(cè)方法。利用上述樣本數(shù)據(jù)集, 基于人工神經(jīng)網(wǎng)絡(luò)建模方式建立了人工神經(jīng)網(wǎng)絡(luò)溢油檢測(cè)方法?；跍y(cè)試集對(duì)兩種方法溢油檢測(cè)效果進(jìn)行了客觀評(píng)價(jià), 評(píng)價(jià)結(jié)果表明: 本文方法相比BP神經(jīng)網(wǎng)絡(luò)方法樣本識(shí)別率和溢油檢測(cè)率分別提高了4%和5%, 溢油虛警率降低了5%。實(shí)例驗(yàn)證結(jié)果表明, 本文方法能夠有效地檢測(cè)SAR圖像上的溢油暗斑且可視化程度高, 具有一定的參考和應(yīng)用價(jià)值。

本文嘗試使用Faster R-CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行溢油檢測(cè)并提高了SAR圖像的溢油檢測(cè)精度, 但本文溢油檢測(cè)率仍然較低, 方法存在不足: 本文所使用的SAR圖像溢油和疑似溢油暗斑樣本較少, 故在后續(xù)工作中需增加樣本并對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練, 調(diào)整溢油和疑似溢油暗斑樣本比例, 進(jìn)行更細(xì)致的神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)節(jié)和優(yōu)化, 進(jìn)一步對(duì)兩種溢油檢測(cè)模型開展分析和評(píng)價(jià)。此外, 后續(xù)工作中將考慮融入環(huán)境及位置信息(如風(fēng)速大小、與陸地的距離等)以提高本文方法的溢油檢測(cè)精度, 并將其與更多的溢油檢測(cè)方法進(jìn)行對(duì)比, 進(jìn)一步驗(yàn)證本文方法的有效性。

[1] WANG C Y, LI X, GUO J, et al. Biodegradation of marine oil spill residues using aboriginal bacterial consortium based on Penglai 19-3 oil spill accident, China[J]. Ecotoxicology and Environmental Safety, 2018, 159(sep): 20-27.

[2] GUO J, LIU X, XIE Q. Characteristics of the Bohai Sea oil spill and its impact on the Bohai Sea ecosystem[J]. Chinese Science Bulletin, 2013, 58(19): 2276-2281.

[3] LIU X, GUO J, GUO M, et al. Modelling of oil spill trajectory for 2011 Penglai 19-3 coastal drilling field, China[J]. Applied Mathematical Modelling, 2015, 39(18): 5331-5340.

[4] LI X, LI C, YANG Z, et al. SAR imaging of ocean surface oil seep trajectories induced by near inertial oscillation[J]. Remote Sensing of Environment, 2013, 130: 182-187.

[5] ZHANG B, PERRIE W, LI X, et al. Mapping sea surface oil slicks using RADARSAT-2 quad-polarization SAR image[J]. Geophysical Research Letters, 2011, 38, L10602.

[6] KANAA T F N, TONYE E, MERCIER G, et al. Detection of oil slick signatures in SAR images by fusion of hysteresis thresholding responses[M]. New York: IEEE, 2003.

[7] INDREGARD M, SOLBERG A, CLAYTON P. D2-report on benchmarking oil spill recognition approaches and best practice[R]. European Commission, 2004.

[8] SOLBERG A H S, DOKKEN S T, SOLBERG R. Automatic detection of oil spills in ENVISAT, RADARSAT and ERS SAR images[C]//IEEE. Piscataway, New Jersey: International Geoscience and Remote Sensing Sym-posium (IGARSS), 2003: 2747-2749.

[9] SOLBERG A H S, STORVIK G, SOLBERG R, et al. Automatic detection of oil spills in ERS SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(4): 1916-1924.

[10] 孫元芳, 周斌, 蓋穎穎, 等. 遙感監(jiān)測(cè)墨西哥灣溢油目標(biāo)識(shí)別算法[J]. 測(cè)繪科學(xué), 2015, 40(3): 63-67, 106.

SUN Yuanfang, ZHOU Bin, GAI Yingying, et al. Extraction algorithm of oil spill cases in Gulf of Mexico with RS data[J]. Science of Surveying and Mapping, 2015, 40(3): 63-67, 106.

[11] MARGHANY M. RADARSAT for oil spill trajectory model[J]. Environmental Modelling & Software, 2004, 19(5): 473-483.

[12] MARGHANY M. RADARSAT automatic algorithms for detecting coastal oil spill pollution[J]. International Journal of Appplied Earth Observation and Geoinformation, 2001, 3, 191-196.

[13] SOLBERG A H S, BREKKE C, HUSOY P O. Oil spill detection in Radarsat and Envisat SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(3): 746-755.

[14] 丁新濤, 曾侃, 賀明霞. 用于SAR圖像海面溢油自動(dòng)識(shí)別的Bagging-Adaboost決策樹分類器系統(tǒng)[J]. 中國(guó)海洋大學(xué)學(xué)報(bào), 2018, 48(10): 132-142.

DING Xintao, ZENG Kan, HE Mingxia. A Bagging-Ada Boost-DT multiple classifier system based on SAR image for marine oil spill automatic detection[J]. Periodical of Ocean University of China, 2018, 48(10): 132-142.

[15] 施永春. 基于Adaboost的SAR圖像溢油檢測(cè)[J]. 電腦知識(shí)與技術(shù), 2011, 7(29): 7252-7254.

SHI Yongchun. Using Adaboost to detect oil spill in SAR images[J]. Computer Knowledge and Technology, 2011, 7(29): 7252-7254.

[16] SINGHA S, BELLERBY T J, TRIESCHMANN O. Satellite oil spill detection using artificial neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(6): 2355-2363.

[17] SINGHA S, RESSEL R, VELOTTO D, et al. A combination of traditional and polarimetric features for oil spill detection using TerraSAR-X[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(11): 4979-4990.

[18] SINGHA S, VESPE M, TRIESCHMANN O. Automatic Synthetic Aperture Radar based oil spill detection and performance estimation via a semi-automatic operational service benchmark[J]. Marine Pollution Bulletin, 2013, 73(1): 199-209.

[19] 石立堅(jiān), 趙朝方, 劉朋. 基于紋理分析和人工神經(jīng)網(wǎng)絡(luò)的SAR圖像中海面溢油識(shí)別方法[J]. 中國(guó)海洋大學(xué)學(xué)報(bào), 2009, 39(6): 1269-1274.

SHI Lijian, ZHAO Chaofang, LIU Peng. Oil spill identification in marine SAR images based on texture feature and artificial neural network[J]. Periodical of Ocean University of China, 2009, 39(6): 1269-1274.

[20] 張銀松, 趙銀娣, 袁慕策. 基于改進(jìn)Faster-RCNN模型的粘蟲板圖像昆蟲識(shí)別與計(jì)數(shù)[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào), 2019, 24(5): 115-122.

ZHANG Yinsong, ZHAO Yindi, YUAN Muce. Insect identification and counting based on an improved Faster-RCNN model of the sticky board image[J]. Journal of China Agricultural University, 2019, 24(5): 115-122.

[21] 張文達(dá), 許悅雷, 倪嘉成, 等. 基于多尺度分塊卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(4): 1033-1038.

ZHANG Wenda, XU Yuelei, NI Jiancheng, et al. Image target recognition method based on multi-scale block convolutional neural network[J]. Journal of Computer and Applications, 2016, 36(4): 1033-1038.

[22] 田壯壯, 占榮輝, 胡杰民, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識(shí)別研究[J]. 雷達(dá)學(xué)報(bào), 2016, 5(3): 320-325.

TIAN Zhuangzhuang, ZHAN Ronghui, HU Jiemin, et al. SAR ATR based on convolutional neural network[J]. Journal of Radars, 2016, 5(3): 320-325.

[23] 黃潔, 姜志國(guó), 張浩鵬, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像艦船目標(biāo)檢測(cè)[J]. 北京航空航天大學(xué)學(xué)報(bào), 2017, 43(9): 1841-1848.

HUANG Jie, JIANG Zhiguo, ZHANG Haopeng, et al. Ship detection in remote sensing images using convolutional neural network[J]. Journal of Beijing University of Aeronautics and Astronautics, 2017, 43(9): 1841-1848.

[24] 林剛, 王波, 彭輝, 等. 基于改進(jìn)Faster-RCNN的輸電線巡檢圖像多目標(biāo)檢測(cè)及定位[J]. 電力自動(dòng)化設(shè)備, 2019, 39(5): 213-218.

LIN Gang, WANG Bo, PENG Hui, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric Power Automation Equipment, 2019, 39(5): 213-218.

[25] 張中寶, 王洪元, 張繼, 等. 基于Faster-RCNN的遙感圖像飛機(jī)檢測(cè)算法[J]. 南京師大學(xué)報(bào)(自然科學(xué)版), 2018, 41(4): 79-86.

ZHANG Zhongbao, WANG Hongyuan, ZHANG Ji, et al. Airplane detection in remote sensing image based on Faster-RCNN algorithm[J]. Journal of Nanjing Normal University(Natural Science Edition), 2018, 41(4): 79-86.

[26] YANG J F, WAN J H, MA Y, et al. Oil spill hyperspectral remote sensing detection based on DCNN with multi-scale features[J]. Journal of Coastal Research, 2019, 90: SI, 332-339.

[27] GUO H, WU D, AN J. Discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[J]. Sensors, 2017(17), 1837.

[28] NIETO-HIDALGO M, GALLEGO A J, GIL P, et al. Two-stage convolutional neural network for ship and spill detection using SLAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5217-5230.

[29] 杜偉娜. 基于恒虛警率和幾何特征的SAR影像海洋溢油檢測(cè)方法研究[D].阜新: 遼寧工程技術(shù)大學(xué), 2015.

DU Weina. Research on marine oil spill detection method using SAR image based on CFAR and geometric features[D]. Fuxin: Liaoning Technical University, 2015.

[30] TZUTALIN. LabelImg. Git code. [CP/OL]. [2018-04-18]. https: //github.com/tzutalin/labelImg.

[31] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The Pascal visual object classes (VOC) challen-ge[J]. International Journal of Computer Vision, 2010, 88: 303-338.

[32] 朱宗斌. SAR海洋溢油監(jiān)測(cè)多源信息融合研究[D]. 青島: 中國(guó)海洋大學(xué), 2015.

ZHU Zongbin. Study of multi-source information fusion on SAR ocean oil spill detection[D]. Qingdao: Ocean University of China, 2015.

[33] HU M K. Visual pattern recognition by moment invariants[J]. Information Theory, 1962, 8(2): 179-187.

[34] 洪繼光. 灰度-梯度共生矩陣紋理分析方法[J].自動(dòng)化學(xué)報(bào), 1984, 10: 2225.

HONG Jiguang. Gray level-gradient cooccurrence matrix texture analysis method[J]. Acta Automatica Sinica, 1984, 10: 2225.

[35] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39: 1137-1149.

[36] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]// BENGIO Y, LECUN Y. International Conference on Learning Representations. Lille, France: University of Oxford, 2015: 1-14.

[37] BODLA N, SINGH B, CHELLAPPA R, et al. Soft- NMS - Improving object detection with one line of code[C] // IEEE.Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 5561-5569.

[38] 石立堅(jiān). SAR及MODIS數(shù)據(jù)海面溢油監(jiān)測(cè)方法研究[D]. 青島: 中國(guó)海洋大學(xué), 2008.

SHI Lijian. Sea surface oil spill detection method by SAR and MODIS[D]. Qingdao: Ocean University of China, 2008.

[39] 吳丹妮. 基于PolSAR海面溢油和類似溢油區(qū)的分類研究[D]. 大連: 大連海事大學(xué), 2018.

WU Danni. Study on discrimination of oil slicks and lookalikes in polarimetric SAR images using CNN[D]. Dalian: Dalian Maritime University, 2018.

[40] 飛思科技產(chǎn)品研發(fā)中心. 神經(jīng)網(wǎng)絡(luò)理論與MATLAB 7實(shí)現(xiàn)[M]. 北京: 電子工業(yè)出版社, 2005.

[41] 王棟. SAR圖像海面溢油檢測(cè)技術(shù)研究[D]. 長(zhǎng)沙: 國(guó)防科技大學(xué), 2014.

WANG Dong. Study of oil spill detection technology in SAR imagery[D]. Changsha: National University of Defense Techology, 2014.

Oil spill detection method for SAR images based on the improved Faster R-CNN model

ZHANG Tian-long1, 2, 3, GUO Jie1, 2, 4

(1. CAS Key Laboratory of Coastal Environmental Processes and Ecological Remediation, Yantai Institute of Coastal Zone Research, Chinese Academy of Sciences (CAS), Yantai, Shandong 264003, China; 2. Shandong Key Laboratory of Coastal Environmental Processes, Yantai Institute of Coastal Zone Research, CAS, Yantai, Shandong 264003, China; 3. University of Chinese Academy of Sciences, Beijing 100049, China; 4. Center for Ocean Mega-Science, CAS, Qingdao 266071, China)

Oil spill emergency work needs to detect oil spills accurately in synthetic aperture radar (SAR) images. To reduce the influence of human factors on oil spill detection accuracy in the SAR image feature extraction and selection processes, the Faster R-CNN model is introduced and improved in this study. Because of the various shapes of oil spills and the complex background, the VGG16 convolutional network with consistent structure and strong practicability is selected to obtain the image features. The Soft-NMS algorithm is used to optimize the Faster R-CNN model. On the basis of the same dataset, the most frequently used geometric, gray, and texture features of SAR images were extracted to build the backpropagation (BP) artificial neural network oil spill detection model, which is compared with the method proposed in this study. The experimental results show that the detection rate of the improved Faster R-CNN model is 0.78, and the false alarm rate is lower than 0.25. Compared with the BP artificial neural network method, the identification and detection rates of the improved Faster R-CNN model are increased by 4% and 5%, respectively, and the oil spill false alarm rate is decreased by 5%.

SAR; Faster R-CNN; oil spill detection; BP neural network

Apr. 6, 2020

P76

A

1000-3096(2021)05-0103-10

10.11759/hykx20200406001

2020-04-06;

2020-05-11

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2017YFC1405600); 國(guó)家自然科學(xué)基金(42076197); 國(guó)家自然科學(xué)基金(41576032)

[National Key Research & Development Program of China, No. 2017YFC1405600; National Science Foundation of China, No. 42076197; National Science Foundation of China, No. 41576032]

張?zhí)忑?1994—), 男, 山東淄博人, 碩士研究生, 研究方向: 海洋微波遙感應(yīng)用, 電話: 0535-2109192, E-mail: tlzhang@yic.ac.cn; 過杰(1965—), 女,通信作者, 河南開封人, 研究員, 研究方向: 海洋微波遙感及應(yīng)用, 電話: 0535-2109192, E-mail: jguo@yic.ac.cn

(本文編輯: 叢培秀)