佟劍峰,于 雨,韓少彬

齊魯工業(yè)大學(山東省科學院) 海洋技術(shù)科學學院,山東 青島 266000

深度學習領(lǐng)域近些年來發(fā)展迅速,基于深度學習的目標檢測與分割的算法不斷取得突破。相繼出現(xiàn)了Mask R-CNN、Faster R-CNN[1]、YOLO[2]、SSD[3]、FCN[4]等一系列算法模型,體現(xiàn)了深度學習在目標檢測與分割方面的巨大潛力。深度學習是指多層人工神經(jīng)網(wǎng)絡(luò)以及訓練它的方法,神經(jīng)網(wǎng)絡(luò)會導入標注好的數(shù)據(jù),對這些數(shù)據(jù)進行特征提取,然后對網(wǎng)絡(luò)模型進行訓練。最終得到模型的權(quán)重參數(shù)?；谏疃葘W習的目標檢測與分割算法前景廣闊,具有準確率高、可適配復雜環(huán)境等特點。因此適合水面物體的檢測工作。眾多的研究人員對該領(lǐng)域不斷探索,Yuan等[5]提出利用 Fast R-CNN 檢測算法實現(xiàn)對艦船的識別分類;Wang等[6]基于 Resnet 網(wǎng)絡(luò)提出海上目標快速檢測算法;Chen等[7]將多尺度策略融合到了Resnet的多層卷積中,并在特征圖上添加了雙線性插值進行上采樣,以增強小目標的檢測效果。

鑒于水平面復雜多變的環(huán)境,本研究通過對原始的Mask R-CNN網(wǎng)絡(luò)模型進行改進,改進的模型以Mask R-CNN網(wǎng)絡(luò)模型為基本的框架,通過對骨干網(wǎng)絡(luò)進行替換并且引入注意力機制模塊從而有效的提高模型性能,更好的實現(xiàn)對于水面物體的實例分割。

1 Mask R-CNN模型及其改進

1.1 Mask R-CNN網(wǎng)絡(luò)模型的結(jié)構(gòu)

Mask R-CNN為一個經(jīng)典的兩階段實例分割模型,即在檢測階段先將候選區(qū)域提取出來,再進行分類和回歸[8]。其主要是由骨干網(wǎng)絡(luò)(Backbone)、候選區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network)、檢測網(wǎng)絡(luò)(Full Convolution Nets)構(gòu)成。

Mask R-CNN網(wǎng)絡(luò)模型的工作流程如下：首先將圖像輸入到骨干網(wǎng)絡(luò)中得到相對應(yīng)的特征圖。再利用RPN網(wǎng)絡(luò)生成多個不同寬高比以及不同大小的anchors,對這些anchors進行NMS非極大值抑制,通過設(shè)定閾值獲得一定數(shù)量的anchors,并進行回歸校正,獲得目標候選框。將這些候選框映射到特征圖上獲得相應(yīng)的特征矩陣。將每個特征矩陣通過RoI Align進行下采樣,獲得相同尺寸的特征圖。最后對這些統(tǒng)一尺寸的特征圖進行分類、回歸和以及Mask的生成。Mask R-CNN網(wǎng)絡(luò)模型的結(jié)構(gòu)圖如圖1所示。

圖1 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

對于Mask R-CNN網(wǎng)絡(luò)模型的改進主要包括兩個部分：一是將原始骨干網(wǎng)絡(luò)中的Resnet50替換成為Resnext50[9];二是在FPN網(wǎng)絡(luò)結(jié)構(gòu)中,引入注意力機制。

1.2 骨干網(wǎng)絡(luò)中Resnet50的替換

由于水面環(huán)境存在不利天氣條件所造成的視覺模糊、周圍環(huán)境在水中的反射、閃光等一系列復雜的情況,以上問題都會導致水面物體難以檢測。因此提出利用 ResNeXt50結(jié)構(gòu)作為骨干網(wǎng)絡(luò)替換原始的Mask R-CNN網(wǎng)絡(luò)模型中的Resnet50結(jié)構(gòu)。ResNeXt50結(jié)構(gòu)結(jié)合了inception結(jié)構(gòu)與Resnet50結(jié)構(gòu)的優(yōu)點,既有殘差結(jié)構(gòu)可以方便訓練,又可對提取的特征進行多角度理解。相比于Resnet50結(jié)構(gòu),其可以在不顯著增加參數(shù)復雜度的前提下提高準確率,同時還減少了超參數(shù)的數(shù)量。ResNeXt50結(jié)構(gòu)借助shortcut connection的思想,實現(xiàn)了信息在整個網(wǎng)絡(luò)中傳播,從而避免了“梯度消失”,提高了網(wǎng)絡(luò)對于水面細小物體以及深層特征的感知能力[10]。ResNeXt50的Block結(jié)構(gòu)如圖2所示。

圖2 ResNeXt的Block結(jié)構(gòu)

1.3 帶有SENet注意力機制模塊的FPN網(wǎng)絡(luò)

在特征金字塔網(wǎng)絡(luò)(feature pyramid networks,FPN)之前,大多數(shù)的目標檢測方法與分類方法一樣,都使用單層的特征圖來進行處理,并沒有將高層的語義信息添加到底層特征圖中。在檢測過程中,底層特征圖尺寸大,感受野小,非常適合圖像中小目標檢測;高層特征圖尺寸小,感受野大,合適于圖像中大目標的檢測。2017年Lin等[11]提出了特征金字塔(FPN)結(jié)構(gòu),FPN結(jié)構(gòu)采用多尺度特征融合的方式,對高底層特征圖進行融合。這種方式可以充分的利用底層特征圖的細節(jié)信息。但是,FPN網(wǎng)絡(luò)結(jié)構(gòu)存在有不足,由于該網(wǎng)絡(luò)直接將融合后的特征圖進行卷積操作,直接進行預測。使得其無法充分融合特征圖的語義信息。

針對FPN網(wǎng)絡(luò)存在的問題,提出了帶有SENet注意力機制模塊[12]的FPN網(wǎng)絡(luò)結(jié)構(gòu),目的是增強不同尺度特征圖之間的融合效果。改進后的FPN網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。I1到I4是ResNeXt50結(jié)構(gòu)中獲取的4個特征圖。I1到I4的通道數(shù)分別為{256,512,1 024,2 048},尺寸分別為{160×160,80×80,40×40,20×20}。為了使每個特征圖融合時尺寸和通道數(shù)保持一致,FPN網(wǎng)絡(luò)首先將4個輸入的特征圖進行1×1卷積,將其通道數(shù)統(tǒng)一為256。然后將輸出的特征圖一方面進入注意力機制SENet模塊中進行特征增強,另一方面將1×1卷積得到的特征圖使用雙線性插值的方法進行兩倍的上采樣,將上采樣后的高層特征圖與底層特征圖之間進行融合。將融合后的結(jié)果送入注意力機制SENet模塊中。

SENet模塊具體實現(xiàn)方式是：第一步：壓縮,即對輸入進來的特征圖進行全局池化,將輸入的H×W×256的特征圖的大小壓縮成1×1×256。第二步：激勵,首先將1×1×256的輸入特征圖通過全連接層壓縮通道數(shù),通過Relu激活函數(shù)后再進入到全連接層中恢復通道數(shù),最后通過Sigmoid激活函數(shù),得到1×1×256的特征圖。第三步：通道加權(quán),將最終輸出的特征圖(1×1×256)與原始的特征圖(H×W×256)進行逐通道的相乘,得到最終的輸出。

特征圖通過SENet模塊后再進入到3×3的卷積之中進行卷積操作,得到P2到P5共四個特征圖。對P5特征圖進行步長為2的最大池化下采樣得到P6特征圖。最終得到P2到P6共5個特征圖。

通過該結(jié)構(gòu)實現(xiàn)了高層特征圖的信息向底層特征圖之間的傳遞,增強了底層特征圖的語義信息。

1.4 Mask R-CNN網(wǎng)絡(luò)模型的損失函數(shù)

損失函數(shù)用來衡量模型的輸出值與真實值之間的差距,通過尋找損失函數(shù)的最小值使得預測結(jié)果更接近于真實值。損失函數(shù)的值越小則表明模型對于數(shù)據(jù)擬合程度就越好。

Mask R-CNN網(wǎng)絡(luò)模型其損失函數(shù)L的計算方式如式(1)所示：

L=Lcls+Lbox+Lmask,

(1)

其中,Lcls為分類損失,Lbox為回歸損失,Lmask為分割損失。

對于分類損失Lcls,計算方式如式(2)所示：

其中,k為類別個數(shù),yi為真實的標簽,Pi預測為第i個類別的概率。

對于回歸損失Lbox,計算方式如式(3)所示：

對于分割損失Lmask,計算方式如式(5)所示：

1.5 模型的評價指標

為了驗證網(wǎng)絡(luò)結(jié)構(gòu)的有效性,通過測算在IOU=0.5與IOU=0.75時目標檢測任務(wù)與實例分割任務(wù)的平均精度(AP)值,從而判斷模型在檢測過程之中是否錯檢。通過測算目標檢測與實例分割任務(wù)的平均召回率(AR)值,從而判斷模型是否漏檢。

作為模型實際檢測效果的評價指標。AP的計算方式如式(6)所示：

precision為精確率,表示在被所有預測為正的樣本中實際為正樣本的概率,其計算方式如式(7)所示。

其中,FP(False Positive)指預測錯誤情況,TP(True Positive)為預測正確情況。

AR的計算方式如式(8)所示：

Recall為召回率,表示在實際為正的樣本中被預測為正樣本的概率,其計算方式如式(9)所示：

其中,FN(False Negative)為沒有預測出來的情況。

2 材料與方法

2.1 數(shù)據(jù)集的采集與構(gòu)建

開放的COCO 2017數(shù)據(jù)集其構(gòu)成主要是通過收集復雜日常場景中的圖像來實現(xiàn)。該數(shù)據(jù)集總共包含超過12萬張圖像,91種對象類別,其中包含有3 000張船只圖片,用來進行檢測與分割。

由于公開的coco2017數(shù)據(jù)集中水平面目標物體類別基本為船舶,對于海上常見的浮標、平臺等目標物體涵蓋數(shù)量過少,為了豐富海上實例分割數(shù)據(jù)集的數(shù)量和類別,使用labelme圖像標注工具對采集到的2 000張圖片進行人工標注(圖4),并利用python語言與OpenCV工具包對采集到的圖片進行數(shù)據(jù)集的增強,包括添加高斯噪聲(圖5)、隨機亮度(圖6)等方法,增強后的數(shù)據(jù)集共有5 169張圖片。對于標注生成對應(yīng)的json文件,按照coco數(shù)據(jù)集格式進行整理,并且按7∶3的比例將數(shù)據(jù)集劃分成訓練集和測試集。制作數(shù)據(jù)集時主要標注水面船舶、平臺、浮標等物體。

圖4 labelme標注示例圖 圖5 對圖片添加高斯噪聲 圖6 對圖片添加隨機亮度

2.2 實驗環(huán)境

烏班圖20.04為運行環(huán)境,16G運行內(nèi)存,6G GPU顯存。NVIDIA 3060顯卡。CUDA 11.6。batch size設(shè)置為1。學習率設(shè)定為0.004,衰減學習率為0.050?？偣灿柧?8個epoch,訓練至第14個epoch時進行學習率的衰減,衰減后再訓練4個epoch。

2.3 模型訓練

利用劃分好的數(shù)據(jù)集進行模型的訓練。利用訓練集訓練圖像模型,用測試集測試模型訓練的結(jié)果。在訓練過程中,模型逐漸收斂,繪制的損失曲線如圖7所示,橫坐標表示訓練的epoch次數(shù),縱坐標表示訓練過程中的損失值。

圖7 訓練過程中損失值的變化

3 結(jié)果分析

3.1 識別效果比對

通過對比改進前后的Mask R-CNN網(wǎng)絡(luò)模型對于實際場景中圖像的識別效果從而直觀判斷,改進后的Mask R-CNN網(wǎng)絡(luò)模型相對于原始的Mask R-CNN網(wǎng)絡(luò)模型對于水面物體目標檢測與分割提升的有效性。識別結(jié)果圖如圖8所示。通過該識別效果圖可以直觀的看出,改進后的Mask R-CNN網(wǎng)絡(luò)模型能夠有效地應(yīng)對水面上存在的大霧、反射等不利環(huán)境條件。

圖8 改進前后Mask R-CNN網(wǎng)絡(luò)模型對水面物體的識別情況

3.2 消融實驗

消融實驗即在深度學習模型檢測之中,通過減少一些改進特征,以驗證特定的網(wǎng)絡(luò)結(jié)構(gòu)和訓練策略對于模型訓練所產(chǎn)生的影響[13]。因此本研究通過消融實驗探究各項改進對于原始的Mask R-CNN網(wǎng)絡(luò)模型提升的有效性。

原始的Mask R-CNN網(wǎng)絡(luò)模型是以Resnet50+FPN作為骨干網(wǎng)絡(luò)。通過表1可以得出結(jié)論,在IOU=0.5的判別方式中,將Resnet50替換成ResNeXt50之后的Mask R-CNN網(wǎng)絡(luò)模型相比于原始的Mask R-CNN網(wǎng)絡(luò)模型,平均精度在目標檢測方面提高了1.7%,在實例分割方面提高了2.0%。同時,在FPN網(wǎng)絡(luò)上增加SENet注意力機制,使得模型在目標檢測方面提高了2.3%,在實例分割方面提高了1.5%。綜合以上兩種改進策略,改進后的Mask R-CNN網(wǎng)絡(luò)模型相較于原始的Mask R-CNN網(wǎng)絡(luò)模型的平均精度在目標檢測方面提高了4.0%,在實例分割方面提高了3.5%。

表1 不同結(jié)構(gòu)的AP50與AP75實驗結(jié)果對比 %

在IOU=0.75的判別方式中,改進后的網(wǎng)絡(luò)模型相比于改進前的網(wǎng)絡(luò)模型,在目標檢測方面提高了6.1%,在實例分割方面提高了5%。由此可以看出,改進后的模型相比于改進前的模型對于目標的定位更加的精確。

通過表2可以得出結(jié)論,將Resnet50替換成ResNeXt50之后的Mask R-CNN網(wǎng)絡(luò)模型相比于原始的Mask R-CNN網(wǎng)絡(luò)模型,平均召回率在目標檢測方面提高了1.2%,在實例分割方面提高了1.4%。同時,在FPN網(wǎng)絡(luò)上增加SENet注意力機制,使得模型的平均召回率在目標檢測方面提高了1.1%,在實例分割方面提高了0.7%。綜合以上兩種改進策略,改進后的Mask R-CNN網(wǎng)絡(luò)模型相較于原始的Mask R-CNN網(wǎng)絡(luò)模型的平均召回率在目標檢測方面提高了2.3%,在實例分割方面提高了2.1%。

表2 不同結(jié)構(gòu)的AR與fps實驗結(jié)果對比

通過消融實驗對于fps的分析可知,此種改進并沒有使得模型的運算量大幅度增加,但是提高了模型的平均精度和平均召回率。因此是一種較為高效的改進策略。

4 總 結(jié)

為了對水面物體進行實例分割,本實驗首先將獲取的2 000張圖片用labelme標注工具進行標注并進行數(shù)據(jù)增強從而實現(xiàn)對數(shù)據(jù)集構(gòu)建和擴充。其次提出了一種改進的Mask R-CNN網(wǎng)絡(luò)模型,將原始Mask R-CNN網(wǎng)絡(luò)模型中的Resnet50替換成為ResNeXt50,并且在FPN結(jié)構(gòu)中引入SENet注意力機制模塊。通過以上改進,提高了算法精度。相較于原始的Mask R-CNN網(wǎng)絡(luò)模型,改進后的模型對于水面物體檢測數(shù)據(jù)集在沒有大幅度增加運算量的情況下,在平均精度以及平均召回率方面有了一定的提升。因此,改進后的模型更加適合于水面物體檢測的應(yīng)用場景。同時該模型對于海上無人船的研究以及海洋場景的監(jiān)測活動均有著借鑒意義。

由于實驗條件的限制,該模型依然有著很多值得改進的地方。由于缺乏大規(guī)模的數(shù)據(jù)集,會忽略一些特殊的目標,使得該算法模型實際應(yīng)用中遇到阻礙。其次,還應(yīng)該對算法模型不斷進行研究,找出更加適合的骨干網(wǎng)絡(luò),從而進一步提高模型的檢測效率。