徐慧芳,黃冬梅,賀琪,杜艷玲,覃學(xué)標(biāo),時(shí)帥,胡安鐸
(1.上海海洋大學(xué) 信息學(xué)院,上海 201306;2.上海建橋?qū)W院 信息技術(shù)學(xué)院,上海 201306;3.上海電力大學(xué),上海 201306;4.上海電力大學(xué) 國際交流與合作處,上海 201306)
海洋鋒作為海洋中不同水系或水團(tuán)之間的狹窄過渡帶,是海洋中最具代表性的中尺度動(dòng)力過程之一。在形成海洋鋒面的水團(tuán)中,溫度、鹽度、營養(yǎng)鹽、水色等水文要素會(huì)發(fā)生劇烈變化,因此可以用溫度、鹽度、密度、水色、葉綠素等要素的水平梯度來描述海洋鋒。根據(jù)要素不同,分別記作溫度鋒、鹽度鋒、水色鋒、營養(yǎng)物質(zhì)鋒等,而海表溫度鋒(Sea Surface Temperatures Front,SSTF)是海洋鋒的重要表現(xiàn)形式,常用來研究海洋鋒[1]。在海洋鋒區(qū),由不同水體攜運(yùn)的營養(yǎng)鹽類在鋒區(qū)較為豐富,常有浮游植物在此大量繁殖,這為浮游動(dòng)物和魚類提供了充足的餌料,而海洋鋒區(qū)的浮游生物富聚為深遠(yuǎn)海海上風(fēng)電的合理規(guī)劃及選址提供了重要的指導(dǎo)意義[2-3]。此外,有專家指出臺(tái)風(fēng)路徑的形成與海洋鋒面有很大關(guān)系[4]。因此,研究中尺度海洋鋒的檢測(cè)及變化,對(duì)海洋物理生態(tài)環(huán)境變化、漁業(yè)資源評(píng)估、漁情預(yù)報(bào)、軍事及臺(tái)風(fēng)路徑的預(yù)測(cè)、深遠(yuǎn)海風(fēng)電等均有重要意義,這已成為物理海洋學(xué)以及海洋交叉學(xué)科中的重要課題之一[5-6]。
自20 世紀(jì)70 年代以來,海洋鋒的檢測(cè)研究已取得了很大進(jìn)展。在海洋鋒檢測(cè)任務(wù)中,人們常利用SST 遙感影像檢測(cè)海洋鋒,旨在從影像中提取海溫過渡帶和鋒線。目前,傳統(tǒng)檢測(cè)海洋鋒的方法集中在梯度閾值法及邊緣檢測(cè)算法,基于梯度閾值法的海洋鋒檢測(cè),閾值的選擇標(biāo)準(zhǔn)不統(tǒng)一,且依賴于人為設(shè)定,主觀性強(qiáng),無法滿足對(duì)復(fù)雜多樣的海洋鋒的準(zhǔn)確檢測(cè);基于傳統(tǒng)邊緣檢測(cè)方法的常用算法主要有Canny 算子、sobel 算子等,這些算子較適用于有固定邊緣(如陸地等)的物體檢測(cè)[7]。由于海洋鋒是SST 遙感影像中的小目標(biāo)實(shí)體,邊緣信息不明顯、多變、對(duì)比度不強(qiáng),呈現(xiàn)弱邊緣性,使用傳統(tǒng)的邊緣檢測(cè)算法使得海洋鋒的漏檢及誤檢率高[8-11]。小波理論作為一種非平穩(wěn)信號(hào)的時(shí)間-尺度分析手段,被廣泛用于海洋鋒的檢測(cè),其核心思想是基于多尺度分析,大尺度能夠提取出信號(hào)邊緣信息,抗干擾性較強(qiáng),但邊緣的定位精度較差,小尺度影像邊緣定位較準(zhǔn)確,但噪聲較大[12]。
隨著深度學(xué)習(xí)研究的不斷深入,卷積神經(jīng)網(wǎng)絡(luò)(CNN)和R-CNN 在圖像識(shí)別、語音識(shí)別、目標(biāo)識(shí)別等各種場(chǎng)景上取得了巨大的成功。多種融合深度學(xué)習(xí)的海洋鋒檢測(cè)方法也相繼被提出,并取得了較高的檢測(cè)精度[13-15]。在CNN 基礎(chǔ)上,He 等提出的Mask R-CNN 網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)圖像的像素級(jí)實(shí)例分割[16]。歐攀等利用Mask RCNN 算法對(duì)RGB 圖像上的目標(biāo)進(jìn)行識(shí)別與分割,通過對(duì)目標(biāo)物體進(jìn)行三維建模,實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確定位[17]。胡炎等融合深度學(xué)習(xí)研究多尺度SAR 艦船目標(biāo)檢測(cè),實(shí)現(xiàn)艦船的高效識(shí)別[18]。Deng 等基于CNN 提出了一種的渦旋檢測(cè)方法,將傳統(tǒng)渦旋檢測(cè)問題轉(zhuǎn)化為一種二分類問題,最終實(shí)現(xiàn)中尺度渦旋的高精度識(shí)別[19]。Estanislau 等將CNN 應(yīng)用到海洋鋒識(shí)別過程中,針對(duì)海洋鋒的數(shù)據(jù)集匱乏問題,提出一種遷移式的神經(jīng)網(wǎng)絡(luò),可以有效識(shí)別出目標(biāo)海域中是否存在海洋鋒[13]。Sun 等提出了海洋鋒檢測(cè)和細(xì)粒度位置的多尺度檢測(cè)框架[20]??紤]到AlexNet、CaffeNet、Goog LeNet 和VGGNet 等深度網(wǎng)絡(luò)在有限的訓(xùn)練數(shù)據(jù)下容易出現(xiàn)過擬合的實(shí)際情況,Lima 等在前期研究基礎(chǔ)上提出一種微調(diào)的神經(jīng)網(wǎng)絡(luò),用于海洋鋒的檢測(cè)[21]。針對(duì)海洋鋒面的弱邊緣性,Li 等基于CNN提出了一種海洋鋒識(shí)別網(wǎng)絡(luò),該網(wǎng)絡(luò)將每階段卷積后的特征進(jìn)行融合,并使用二元交叉熵?fù)p失函數(shù)和IoU 損失函數(shù),修正模型誤差,最終識(shí)別出更精確的海洋鋒[22]。曹維東等基于Mask R-CNN 提出一種自動(dòng)化識(shí)別海洋鋒的方法,該方法在對(duì)海洋鋒進(jìn)行像素級(jí)的識(shí)別基礎(chǔ)上,基于閾值法對(duì)鋒面識(shí)別結(jié)果進(jìn)行精細(xì)化調(diào)整,得出了較好的海洋鋒識(shí)別結(jié)果[14]。Xu 等針對(duì)海洋鋒數(shù)據(jù)量小、弱邊緣性等自身特性,將一種改進(jìn)的Mask R-CNN 網(wǎng)絡(luò)應(yīng)用于海洋鋒的檢測(cè),通過多次迭代訓(xùn)練及參數(shù)修正,實(shí)現(xiàn)了海洋鋒的高精度檢測(cè)[23]。
基于深度學(xué)習(xí)的目標(biāo)檢測(cè),目標(biāo)特征的有效表達(dá)和提取是提高目標(biāo)檢測(cè)的關(guān)鍵。隨著SENet(Squeeze and Excitation Net)新型網(wǎng)絡(luò)的提出,SE(Squeeze and Excitation)被廣泛應(yīng)用于基于深度學(xué)習(xí)的目標(biāo)檢測(cè)任務(wù),它通過采用一種全新的“特征重標(biāo)定”策略對(duì)每個(gè)通道的重要程度進(jìn)行評(píng)估,增強(qiáng)特征提取效果[24]。Roy 等基于SE 模塊提出了一種新型的scSE 模塊,用于目標(biāo)的檢測(cè),實(shí)驗(yàn)結(jié)果表明在實(shí)際檢測(cè)分割任務(wù)中,scSE 模塊的性能明顯優(yōu)于SE 模塊[25]。Lee 等提出了一種空間注意力引導(dǎo)的Mask 分割方法,提升網(wǎng)絡(luò)對(duì)圖像中重要特征的關(guān)注度,增強(qiáng)目標(biāo)特征的提取[26]。
基于SST 遙感影像提取海洋鋒線信息屬于海洋要素場(chǎng)高頻信息的提取,使用傳統(tǒng)方法和一般的融合深度學(xué)習(xí)的方法難度很大,且難以達(dá)到理想的檢測(cè)效果。受scSE 注意力機(jī)制的啟發(fā),本文基于Mask R-CNN 提出一種注意力引導(dǎo)的海洋鋒檢測(cè)方法,通過加權(quán)策略提升網(wǎng)絡(luò)對(duì)重要通道特征和重要空間位置特征的關(guān)注度,增強(qiáng)目標(biāo)特征的提取效果,從而提高模型的檢測(cè)精度;并通過引入優(yōu)化損失函數(shù),提高海洋鋒目標(biāo)邊緣定位準(zhǔn)確率。最后,為驗(yàn)證本文算法檢測(cè)性能,構(gòu)建不同數(shù)據(jù)集,并設(shè)計(jì)多組對(duì)比實(shí)驗(yàn),不斷修正模型參數(shù)及優(yōu)化損失函數(shù),提高海洋鋒檢測(cè)精度。
Mask R-CNN 是一種典型的二階段目標(biāo)檢測(cè)網(wǎng)絡(luò),由Backbone、RPN(Region proposal network)、ROIAlign 和Classifier 四部分組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示[16]。Backbone 作為Mask R-CNN 的骨干網(wǎng)絡(luò),由殘差網(wǎng)絡(luò)(Residual network,ResNet)和特征金字塔網(wǎng)絡(luò)(Feature pyramid network,F(xiàn)PN) 組成,用于提取輸入圖像的特征;RPN 用于生成候選區(qū)域(Region proposal),并對(duì)每個(gè)特征區(qū)域進(jìn)行類別可能性判斷和回歸;ROIAlign 用于收集圖像特征和候選區(qū)域特征,作為后續(xù)全連接層的輸入,而后進(jìn)行目標(biāo)類別判定;Classifier 通過計(jì)算候選區(qū)域類別,再次進(jìn)行框回歸,精確定位檢測(cè)框,并為目標(biāo)生成掩碼。
圖1 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖
scSE 注意力模塊作為一種突出目標(biāo)特征和抑制噪聲的重要手段,是空間壓縮通道激勵(lì)模塊(Channel Squeeze and Spatial Excitation,sSE)和通道壓縮空間激勵(lì)模塊(Spatial Squeeze and Channel Excitation,cSE)的并行組合[25]。通過計(jì)算特征圖通道和空間特征的重要性程度,增強(qiáng)網(wǎng)絡(luò)對(duì)特征圖中重要通道和空間特征的學(xué)習(xí)能力,優(yōu)化目標(biāo)檢測(cè)效果。scSE 注意力模塊對(duì)于輸入的特征圖,首先進(jìn)行空間特征的壓縮,根據(jù)各通道之間的依賴關(guān)系對(duì)特征圖進(jìn)行調(diào)整,并通過全局池化及歸一化操作后計(jì)算各通道的重要性,提高網(wǎng)絡(luò)對(duì)重要通道特征的學(xué)習(xí)能力。其次,壓縮特征圖的通道特征,經(jīng)過歸一化操作計(jì)算特征圖中各個(gè)位置的空間信息重要性,增強(qiáng)重要空間位置特征?;谏鲜雒枋?,將得到的同時(shí)具有重要通道特征和重要空間特征的特征子圖進(jìn)行更強(qiáng)的激勵(lì),引導(dǎo)網(wǎng)絡(luò)在訓(xùn)練過程中對(duì)目標(biāo)重要特征的學(xué)習(xí)。具體算法步驟如下:
輸入:特征圖U= [u1,u2,…,uc];
輸出:具有高重要性的特征子圖U′= [u′1,u′2,…,u′c]。
海洋鋒作為SST 影像中的弱邊緣小目標(biāo),經(jīng)過多次卷積和池化操作后,大量的小目標(biāo)特征信息易被丟棄,導(dǎo)致檢測(cè)結(jié)果存在較多的錯(cuò)檢和漏檢。針對(duì)此問題,對(duì)Mask R-CNN 中的特征提取網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),設(shè)計(jì)scSE 注意力模塊引導(dǎo)的特征提取網(wǎng)絡(luò),提升網(wǎng)絡(luò)的特征提取效果;此外,針對(duì)實(shí)例分割時(shí)目標(biāo)邊緣定位不準(zhǔn)確的問題,引入IoU boundary loss 構(gòu)建新的Mask 損失函數(shù),提高邊界檢測(cè)精度。
1.3.1 scSE 模塊嵌入設(shè)計(jì) Resnet-50 與Resnet-101 作為Mask R-CNN 常用的殘差網(wǎng)絡(luò),其網(wǎng)絡(luò)的深度對(duì)海洋鋒檢測(cè)效果具有很大的影響。深層殘差網(wǎng)絡(luò)在有限的訓(xùn)練數(shù)據(jù)下容易出現(xiàn)過擬合,目標(biāo)檢測(cè)效果差。因此,文中選用淺層的Resnet-50 網(wǎng)絡(luò)提取特征,并將scSE 注意力模塊嵌入Resnet 網(wǎng)絡(luò)中,通過加權(quán)策略提升網(wǎng)絡(luò)對(duì)海洋鋒重要特征的關(guān)注度,增強(qiáng)骨干網(wǎng)絡(luò)對(duì)重要的空間和通道特征的表征能力,并有效緩解淺層網(wǎng)絡(luò)對(duì)復(fù)雜高層特征提取效果差的問題,融合scSE 模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。
圖2 融合scSE 空間注意力模塊的Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖
1.3.2 損失函數(shù)的優(yōu)化設(shè)計(jì) 在深度學(xué)習(xí)中,損失函數(shù)是衡量一個(gè)模型學(xué)習(xí)能力強(qiáng)弱的重要指標(biāo),它代表著真實(shí)值與預(yù)測(cè)值的差異。傳統(tǒng)的Mask RCNN 網(wǎng)絡(luò)的損失函數(shù)由分類誤差(Lcls)、回歸框誤差(Lbox)和掩膜誤差(Lmask)3 部分組成,其公式如下:
Lcls使用Softmax 損失函數(shù)計(jì)算目標(biāo)的分類概率,Lbox使用SmoothL1函數(shù)計(jì)算邊框損失,公式如下:
式中:x 為輸入值。在進(jìn)行檢測(cè)任務(wù)時(shí),網(wǎng)絡(luò)輸出每類對(duì)象的mask,Lmask為所有像素平均二值交叉熵(Binary crossentropy)損失函數(shù),計(jì)算公式如下:
在海洋鋒檢測(cè)的任務(wù)中,利用LabelMe 軟件進(jìn)行實(shí)際目標(biāo)標(biāo)注時(shí),僅關(guān)注海洋鋒的邊緣信息就能很好地表征目標(biāo)對(duì)象,因此邊緣信息對(duì)于海洋鋒檢測(cè)十分重要。原始Mask R-CNN 損失函數(shù)依賴于區(qū)域信息,造成邊緣信息的檢測(cè)不準(zhǔn)確。針對(duì)此問題,本文對(duì)Lmask進(jìn)行優(yōu)化,引入IoU boundary loss構(gòu)建新的Mask 損失函數(shù),通過提取Mask 掩碼的邊界像素,計(jì)算真實(shí)Mask 邊界與預(yù)測(cè)Mask 邊界的重合情況[28],記為Lboundary:
式中:|Cj|表示真實(shí)Mask 邊界像素強(qiáng)度之和,||表示預(yù)測(cè)Mask 邊界像素強(qiáng)度之和。優(yōu)化后Mask 部分的損失函數(shù)記為Lmask-boundary:
式中:y 表示二值化后的實(shí)際輸出,y^表示二值化后的預(yù)測(cè)輸出。
本文在TensorFlow-keras 深度學(xué)習(xí)框架下,融合scSE 空間注意力模塊構(gòu)建了一種改進(jìn)Mask RCNN 的海洋鋒自動(dòng)檢測(cè)模型。根據(jù)海洋鋒邊緣信息的強(qiáng)弱不同,本文將海洋鋒預(yù)先劃分為2 類,分別記為Sfront 和Wfront,Sfront 表示強(qiáng)海洋鋒,Wfront 表示弱海洋鋒。其中,參考專家經(jīng)驗(yàn)將鋒面兩側(cè)溫度差為3~6 ℃,水平溫度梯度在1.5~3 ℃/km區(qū)間視為強(qiáng)鋒;將鋒面兩側(cè)溫度差為1~3 ℃,水平溫度梯度在0.1~1.5 ℃/km 區(qū)間視為弱鋒[29-30]。
充足的訓(xùn)練樣本是基于深度學(xué)習(xí)的海洋鋒檢測(cè)的基礎(chǔ),海洋鋒作為SST 遙感影像上的小尺度、弱邊緣目標(biāo)檢測(cè)對(duì)象,構(gòu)建充足有效的訓(xùn)練數(shù)據(jù)集成本高、難度大,尤其在海洋鋒面的邊緣信息多變且不明顯的弱海洋鋒區(qū)域,數(shù)據(jù)集構(gòu)建難度更大。針對(duì)此問題,本文收集全球海洋鋒多發(fā)地SST 影像(文中選取海洋鋒聚集多發(fā)的墨西哥灣及加利福尼亞灣影像),如圖3(a)所示,分別進(jìn)行有效擴(kuò)增和特征增強(qiáng)處理。根據(jù)海洋鋒的呈現(xiàn)形式,對(duì)含有海洋鋒的遙感影像進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)及批量裁剪的擴(kuò)充和基于CLAHE(Contrast Limited Adaptive Histogram Equalization) 算法的特征增強(qiáng)處理,得到2010—2020 年2100 景的紅外與微波融合的SST 增強(qiáng)遙感影像,如圖3(b)所示;紅外波段數(shù)據(jù)來自Terra 和Aqua 衛(wèi)星的MODIS 數(shù)據(jù),微波波段數(shù)據(jù)來自AMSR-E 和AMSR2 傳感器,數(shù)據(jù)空間分辨率為9 km,時(shí)間分辨率為1d;為驗(yàn)證不同數(shù)據(jù)對(duì)模型性能的影響,文中計(jì)算增強(qiáng)影像的灰度影像和梯度影像,如圖3(c)、(d)所示。
圖3 數(shù)據(jù)集
數(shù)據(jù)集建立完成后,使用LabelMe 軟件按照COCO(Common Objects in Context)數(shù)據(jù)集的格式對(duì)三種數(shù)據(jù)集分別進(jìn)行標(biāo)注,并盡量將連續(xù)的鋒區(qū)劃為一體,圖4 為標(biāo)注示例圖。標(biāo)注完成后,使用本文提出的融合scSE 注意力的Mask R-CNN 網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練。為滿足訓(xùn)練與測(cè)試要求,將75%樣本作為訓(xùn)練集(train set) 用于模型的訓(xùn)練,25%作為測(cè)試集(test set),用來評(píng)估訓(xùn)練后模型的泛化誤差。
圖4 標(biāo)注示例圖
為滿足海洋鋒檢測(cè)精度的需求,首先將COCO數(shù)據(jù)集訓(xùn)練好的通用圖像分類網(wǎng)絡(luò)模型作為預(yù)訓(xùn)練模型,COCO 數(shù)據(jù)集是一個(gè)含有328 000 景影像及2 500 000 個(gè)標(biāo)簽的大型數(shù)據(jù)集,常作為目標(biāo)檢測(cè)、物體分割等識(shí)別模型的預(yù)訓(xùn)練數(shù)據(jù)集;并利用構(gòu)建好的三種訓(xùn)練數(shù)據(jù)集,對(duì)預(yù)訓(xùn)練好的模型進(jìn)行多次迭代訓(xùn)練及參數(shù)調(diào)整(表1)。批量大?。╞atch_size)設(shè)置為16、32、64、128;學(xué)習(xí)率(Learning rate)設(shè)置為0.01、0.001、0.0001;1000×n 表示模型的迭代次數(shù),1≤n≤30。通過不斷調(diào)整模型訓(xùn)練時(shí)的batch_size、Learning rate 及迭代次數(shù)三個(gè)參數(shù),根據(jù)海洋鋒的檢測(cè)效果,選擇最優(yōu)的參數(shù)組合。
表1 模型的參數(shù)設(shè)置
準(zhǔn)確率(Accuracy)反映了檢測(cè)模型對(duì)所有目標(biāo)類別的檢測(cè)性能,是模型預(yù)測(cè)正確的個(gè)數(shù)和所有預(yù)測(cè)個(gè)數(shù)的比值。而在實(shí)際檢測(cè)任務(wù)中,研究者更關(guān)注檢測(cè)目標(biāo)的檢測(cè)結(jié)果。為客觀、全面地評(píng)價(jià)網(wǎng)絡(luò)模型,文中選用平均精確度mAP(Mean Average Precision)值和IoU(Intersection-over-union)值對(duì)模型的整體性能進(jìn)行評(píng)估。mAP 是預(yù)測(cè)多個(gè)目標(biāo)類別的平均查準(zhǔn)率,通過精確率(Precision,P),召回率(Recall,R)計(jì)算得出,以P 為縱坐標(biāo),R為橫坐標(biāo),繪制P-R(Presicion-recall) 曲線,mAP 則為多類別P-R 曲線下的面積平均值。P 為檢測(cè)出的實(shí)際目標(biāo)數(shù)與檢測(cè)出的樣本總數(shù)之比,R為檢測(cè)出的實(shí)際目標(biāo)數(shù)與樣本中實(shí)際目標(biāo)總數(shù)之比。公式如下:
式中:TP 表示實(shí)際目標(biāo)圖像被正確檢測(cè)出來的樣本個(gè)數(shù);FP 為不是實(shí)際目標(biāo)圖像,卻被檢測(cè)為目標(biāo)圖像的樣本個(gè)數(shù);FN 為實(shí)際目標(biāo)圖像中未檢測(cè)出來的樣本個(gè)數(shù);C 為目標(biāo)種類個(gè)數(shù)。
在大多數(shù)的目標(biāo)檢測(cè)任務(wù)中,mAP 可以很好地表征模型的檢測(cè)性能,無法對(duì)目標(biāo)的位置進(jìn)行有效評(píng)估。針對(duì)此問題,文中選用交并比(Intersection-over-union)指標(biāo)對(duì)Mask 掩碼位置進(jìn)行評(píng)估。IoU 是用來衡量真實(shí)目標(biāo)框與實(shí)際檢測(cè)目標(biāo)框差異的參數(shù),真實(shí)目標(biāo)框和實(shí)際檢測(cè)目標(biāo)框分別記作A和B,即用來表示實(shí)際檢測(cè)目標(biāo)框與真實(shí)海洋鋒的重合情況,IoU=1 表示完全重合,IoU= 0 表示無任何交集,其公式為:
經(jīng)過多次參數(shù)調(diào)整訓(xùn)練,文中將網(wǎng)絡(luò)學(xué)習(xí)率設(shè)為0.001,每次迭代的批處理量(Batch size)設(shè)為32,每迭代1000 次,對(duì)海洋鋒進(jìn)行一次預(yù)測(cè)。經(jīng)過25 000 次迭代后,訓(xùn)練網(wǎng)絡(luò)已具備檢測(cè)海洋鋒的能力。表2 中給出不同迭代次數(shù),網(wǎng)絡(luò)的訓(xùn)練損失(loss) 及識(shí)別精度(mAP)。從表2 中可以看出,經(jīng)過25 000 次迭代后,訓(xùn)練損失得到有效收斂,并逐步下降,模型的檢測(cè)精度也隨之提高,達(dá)0.89 以上。
表2 訓(xùn)練網(wǎng)絡(luò)損失和識(shí)別精確率
為了驗(yàn)證數(shù)據(jù)對(duì)海洋鋒檢測(cè)結(jié)果的影響,本文按照數(shù)據(jù)標(biāo)注時(shí)對(duì)強(qiáng)、弱海洋鋒的分類分別對(duì)三種數(shù)據(jù)集進(jìn)行訓(xùn)練,并計(jì)算IoU 和mAP 評(píng)估模型的定位準(zhǔn)確率和檢測(cè)準(zhǔn)確率。IoU 作為海洋鋒識(shí)別的量化精度結(jié)果,可通過計(jì)算圖5(b)與5(c)的交并比得到。三種數(shù)據(jù)集下的模型定位準(zhǔn)確率及檢測(cè)準(zhǔn)確率測(cè)試結(jié)果如表3 所示。圖5(b)為人工標(biāo)注結(jié)果,圖5(c)為本文提出模型的檢測(cè)結(jié)果。
表3 模型定位準(zhǔn)確率及檢測(cè)準(zhǔn)確率測(cè)試結(jié)果
圖5 海洋鋒識(shí)別精度量化過程
表3 展示了不同數(shù)據(jù)集下迭代30 000 次后海洋鋒檢測(cè)結(jié)果,研究發(fā)現(xiàn),利用梯度影像進(jìn)行海洋鋒檢測(cè)時(shí),其定位準(zhǔn)確率和檢測(cè)準(zhǔn)確率均高于增強(qiáng)影像和灰度影像。這一實(shí)驗(yàn)結(jié)果表明,海表面溫度變化的梯度差異更能準(zhǔn)確地描述海洋鋒存在與否。對(duì)比三種數(shù)據(jù)集的強(qiáng)、弱鋒的檢測(cè)精度和定位準(zhǔn)確率,進(jìn)一步表明了本文提出的模型也適用于弱鋒的檢測(cè)。
為體現(xiàn)本文模型對(duì)海洋鋒檢測(cè)效果的優(yōu)勢(shì),將其與傳統(tǒng)Mask R-CNN 模型、Xu 等提出的Mask R-CNN[23]及YOLOv3 模型在三種數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。本文模型在原始Mask R-CNN 網(wǎng)絡(luò)基礎(chǔ)上融合了scSE 空間注意力模塊,同時(shí)優(yōu)化了損失函數(shù)。通過迭代30 000 次訓(xùn)練,得到模型定位準(zhǔn)確率及模型精度,分別如表4、表5 所示。圖6 給出部分測(cè)試數(shù)據(jù)集的檢測(cè)結(jié)果及原始影像的對(duì)照?qǐng)D,其中圖6(a)為部分標(biāo)注數(shù)據(jù),圖6(b)為標(biāo)注數(shù)據(jù)對(duì)應(yīng)的輸出檢測(cè)結(jié)果。為檢驗(yàn)Lboundary損失函數(shù)對(duì)海洋鋒定位效果,文中在相同的數(shù)據(jù)集下,分別利用模型中原有損失函數(shù)Lmask和優(yōu)化的Lmask-boundary損失函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn),具體實(shí)驗(yàn)對(duì)比結(jié)果見表4。
表4 模型定位準(zhǔn)確率對(duì)比
表5 模型精度對(duì)比
圖6 測(cè)試數(shù)據(jù)的輸出結(jié)果
如表4、表5 結(jié)果所示,相比YOLOv3、傳統(tǒng)Mask R-CNN 算法及Xu 等[23]的方法,本文提出的海洋鋒檢測(cè)方法的定位準(zhǔn)確率和檢測(cè)精度都有一定提高。且無論采用哪種模型,使用梯度影像數(shù)據(jù)集訓(xùn)練得到的模型的定位準(zhǔn)確率及檢測(cè)精度均最高,灰度影像檢測(cè)效果最差。此外,本文方法平均定位準(zhǔn)確率為89.13%,平均mAP 為88.87%。相比YOLOv3、Mask R-CNN 及Xu 等[23]算法mAP 值分別提高了6.57%、5.31%和1.97%。通過對(duì)比不同損失函數(shù)下本文方法的IoU 值,在三種數(shù)據(jù)集下,Lmask-boundary損失函數(shù)下的IoU 均高于原有Lmask損失函數(shù),分別提升2.04%、4.40%和3.30%。而mAP 值的提升僅在0.03%左右。綜合考慮模型的定位準(zhǔn)確率及檢測(cè)精度評(píng)價(jià)指標(biāo),本文方法的檢測(cè)效果優(yōu)于已有模型,證明了方法的可行性和有效性。
在海洋鋒的檢測(cè)任務(wù)中,快速識(shí)別海洋鋒是實(shí)際漁業(yè)應(yīng)用的關(guān)鍵。為有效評(píng)估模型的檢測(cè)效率,文中給出了特征增強(qiáng)影像集在不同網(wǎng)絡(luò)模型、不同迭代次數(shù)下運(yùn)行的所用時(shí)長,如圖7 所示。在不同迭代次數(shù)的情況下,本文模型消耗時(shí)間最短,并遠(yuǎn)遠(yuǎn)低于YOLOv3 完成模型時(shí)所消耗的時(shí)間。
圖7 不同模型的訓(xùn)練時(shí)間對(duì)比圖
海洋鋒作為一種重要的海洋現(xiàn)象,快速、精確檢測(cè)海洋鋒對(duì)海洋生態(tài)及深遠(yuǎn)海海上風(fēng)電選址、漁業(yè)資源、臺(tái)風(fēng)路徑預(yù)測(cè)等都有重要意義。結(jié)合深度學(xué)習(xí)技術(shù)在圖像識(shí)別、目標(biāo)檢測(cè)等領(lǐng)域的發(fā)展,本文融合scSE 空間注意力模塊構(gòu)建了一種改進(jìn)Mask R-CNN 的海洋鋒自動(dòng)檢測(cè)模型,并針對(duì)邊緣目標(biāo)定位不準(zhǔn)確的問題,構(gòu)建了新的Mask 損失函數(shù),以實(shí)現(xiàn)海洋鋒像素級(jí)的高精度檢測(cè)。為適應(yīng)融合深度學(xué)習(xí)的海洋鋒檢測(cè)需求,針對(duì)海洋鋒數(shù)據(jù)稀缺、小目標(biāo)及弱邊緣特性,在訓(xùn)練數(shù)據(jù)集準(zhǔn)備階段對(duì)數(shù)據(jù)分別進(jìn)行多種形式的擴(kuò)充及特征增強(qiáng)預(yù)處理操作。其次,模型訓(xùn)練階段,采用淺層殘差網(wǎng)絡(luò)和融合scSE 空間注意力模塊對(duì)不同數(shù)據(jù)集進(jìn)行重要特征的提取,實(shí)現(xiàn)強(qiáng)弱海洋鋒的高精度識(shí)別。針對(duì)海洋鋒目標(biāo)邊緣定位不準(zhǔn)確的問題,引入IoU boundary loss 構(gòu)建新的Mask 損失函數(shù),提高邊界檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明,本文方法利用梯度影像對(duì)海洋鋒識(shí)別的平均定位準(zhǔn)確率和檢測(cè)精度分別為91.6%、91.4%,且在不同網(wǎng)絡(luò)、不同迭代次數(shù)下,本文模型消耗時(shí)間最短。此外,根據(jù)專家經(jīng)驗(yàn)設(shè)立合理的海洋鋒檢測(cè)標(biāo)準(zhǔn),篩選海洋強(qiáng)、弱鋒數(shù)據(jù)集,分別利用不同強(qiáng)度的海洋鋒驗(yàn)證模型的有效性,結(jié)果顯示強(qiáng)鋒和弱鋒的檢測(cè)精度和定位準(zhǔn)確率非常接近,表明本文提出的模型也適用于弱鋒的檢測(cè)。