鄧 權，林明星

(1.山東大學 機械工程學院，山東 濟南 250061；2.高效潔凈機械制造教育部重點實驗室，山東 濟南 250061；3.機械工程國家級實驗教學示范中心，山東 濟南 250061)

0 引 言

海洋是地球最大的生態(tài)系統(tǒng)，擁有豐富多樣的生物資源，如何高效合理地開發(fā)海洋生物資源，對人類的發(fā)展異常重要。海洋生物檢測是實現(xiàn)海洋生物資源可持續(xù)開發(fā)的首要技術之一，檢測算法可分為傳統(tǒng)圖像處理方法和基于深度學習的方法[1]。傳統(tǒng)方法由候選目標區(qū)域提取算法以及候選目標區(qū)域分類算法組成[2]。由于不同波長的光在水中的衰減率差異，水下圖片會出現(xiàn)嚴重的失真問題，畸變程度大。水下環(huán)境復雜，目標與背景高度相似且存在嚴重的重疊或殘缺問題。傳統(tǒng)檢測算法設計流程繁瑣、魯棒性差、可移植性差，無法滿足海洋生物檢測的要求。隨著深度學習的發(fā)展，目前深度學習目標檢測在生物識別、醫(yī)學檢測、缺陷檢測等領域的使用率逐年增高[3]。深度學習目標檢測算法主要分為兩類，一類是以Faster RCNN為代表的two stage目標檢測算法[4]。這類算法分為兩個階段，第一階段通過RPN(區(qū)域生成網(wǎng)絡)產生大量候選區(qū)域(proposals)，RPN網(wǎng)絡對這些proposals做初步篩選和精修，篩除大量無用的proposals，然后利用邊框回歸對剩余的proposals進行初步修正，第二階段通過預測網(wǎng)絡對剩余的proposals做最終的分類和位置精修。另一種則是以SSD(single shot detector)[5]、YOLO(you only look once)[6-8]等檢測網(wǎng)絡為主的one stage檢測算法，這類檢測網(wǎng)絡直接通過回歸的方式預測分類和位置。two stage訓練復雜、運行速度慢，難以滿足水下目標檢測對實時性的需求。one stage方法雖然精度上較two stage低，但速度快，適合對速度有要求的應用場景。SSD算法具有檢測速度快、準確率高的優(yōu)勢，被廣泛應用于各類目標識別場景。為了進一步提高檢測性能，研究者在SSD網(wǎng)絡的基礎上提出了各種改進算法。例如，Jeong等人提出了RSSD算法[9]，RSSD算法采用上下雙向流融合特征層的方式增強特征層的語義信息。Cheng-Yang Fu等人提出了類似沙漏的DSSD目標檢測網(wǎng)絡，通過跳層連接和反卷積構建出新特征金字塔[10]。這些改進算法會顯著增加模型的計算量和參數(shù)量，降低運行效率，難以滿足實際應用要求。

為了進一步提高SSD網(wǎng)絡的檢測準確率，該文在引入較少參數(shù)量和計算量的情況下，通過融合模塊和特征增強模塊提高模型準確率。實驗表明，該算法參數(shù)量僅比原網(wǎng)絡高1.97 M，但是檢測平均精度可達80.8%，最高檢測速度FPS達74，遠高于其他改進算法，可以較好地滿足海洋生物檢測對實時性和準確率的要求。

1 SSD網(wǎng)絡模型

1.1 SSD網(wǎng)絡結構

SSD是一種多目標的one stage目標檢測算法，具有檢測速度快、準確率高的優(yōu)點，模型示意圖如圖1所示。

圖1 SSD網(wǎng)絡模型

網(wǎng)絡結構主要包括兩個子網(wǎng)絡，分別是特征提取網(wǎng)絡和預測網(wǎng)絡。特征提取網(wǎng)絡在VGG16的基礎上提取特征，將VGG16的全連接層fc6、fc7替換成卷積層，同時用步長為2的3×3卷積替換池化層，擴大感受野。為了彌補視野損失，采用Dilation算法[11]擴大感受野。預測網(wǎng)絡負責預測目標類別以及框坐標。輸入300×300的圖片后，SSD網(wǎng)絡經過一系列卷積和池化得到六層特征，尺度分別為38×38、19×19、10×10、5×5、3×3、1×1。

1.2 先驗框生成

SSD獲取特征后采用了與Faster RCNN機制類似的先驗框匹配機制匹配真實框(ground truth)。為了匹配不同尺度的目標，不同特征圖上的像素點設置尺度互不相同的先驗框，先驗框尺度sk可以按照公式1確定：

(1)

(2)

(3)

1.3 損失函數(shù)

SSD目標損失函數(shù)為位置損失Lloc和類別置信度損失Lconf加權相加，總損失函數(shù)如式4所示。

(4)

式中，x為當前檢測框的類別信息，c為類別置信度，α為權重系數(shù)，g為真實框的位置信息，N為與真實目標檢測框相匹配的先驗框個數(shù)。Lloc(x,l,g)為位置損失，損失函數(shù)為SmoothL1函數(shù)，如式5所示。

(5)

其中，Lconf(x,c)是多類別置信度c的交叉熵損失函數(shù)softmax loss，如式6和式7所示。

(6)

(7)

2 改進SSD網(wǎng)絡

SSD初始網(wǎng)絡特征金字塔淺層特征尺寸大，含有充足的細節(jié)信息，但語義信息過少。深層特征感受視野大，含有充足的語義信息，但隨著感受視野增加，細節(jié)信息逐漸丟失。淺層的細節(jié)信息對定位異常重要，而深層的語義信息有助于識別大目標，通過深層和淺層的特征融合可以大大增加淺層的語義信息，可以豐富深層特征層的細節(jié)信息，從整體上提高檢測模型的檢測準確率。Lin Tsung-Yi提出了FPN(feature pyramid networks for object detection)網(wǎng)絡[12]，F(xiàn)PN將圖像金字塔中的特征自深層到淺層相加融合，這種方法可以較大幅度地提升小目標檢測率，但其計算量較大且特征只是單向流動，會造成部分信息丟失，限制準確率進一步提升。Li Zuoxin等人提出FSSD提取前三層特征融合后，用融合后的特征層重新生成預測網(wǎng)絡所需特征金字塔[13]。這些融合模型帶來了過多的參數(shù)和運算量，無法達到實時性要求。該文提取出部分特征層后采用上下雙向流特征融合的方法提高SSD網(wǎng)絡的檢測準確率。為了更好地提高檢測準確率，該文提出了特征增強模塊，通過融合不同感受野特征圖的方式顯著提升特征層的特征表達能力，提高準確率?；诟倪MSSD的海洋生物檢測模型結構如圖2所示。

圖2 海洋生物檢測算法

2.1 特征融合

由于原始SSD網(wǎng)絡缺少特征融合，導致輸入到預測網(wǎng)絡的特征感受野小、細節(jié)信息不足，難以準確定位。每個特征層單獨檢測，缺乏上下文信息聯(lián)合分析，網(wǎng)絡容易產生重復檢測的問題。由于尺度相差較大，NMS算法無法很好地剔除這些冗余框，導致目標重復標記。通過充分利用特征層上下文的信息,可以盡可能避免重復檢查的問題。改進網(wǎng)絡模型通過上下雙向流特征融合的方式增強特征表達能力，提高目標檢測網(wǎng)絡對目標的準確率。特征融合主要有三種方式，分別為：逐像素相加或者相乘、按照權重進行像素相加以及融合層特征通道拼接。前兩者計算速度較快、引入的參數(shù)量少，但是準確率較低。為了提高模型對復雜水下環(huán)境的適應能力，保證改進SSD網(wǎng)絡對水下復雜目標的檢測效果，該文選擇特征拼接的方式進行融合。為了盡可能減小計算量，保證檢測實時性，改進SSD網(wǎng)絡算法只選取前三層進行特征融合，即對Conv4_3、Conv7以及Conv8_2層進行特征拼接融合，特征層尺度分別為38×38、19×19、10×10。在拼接融合前需要對特征層進行池化或者反卷積操作統(tǒng)一尺度。具體操作為當淺層特征需要融合深層特征時，把深層特征輸入到反卷積層統(tǒng)一尺度。而當深層特征需要融合淺層時，通過最大池化層(Maxpool)縮小淺層尺度統(tǒng)一尺度。

針對不同特征層融合，該文分別設計了三種模塊以滿足融合需求，結構如圖3所示。為了縮減模型，在融合前對目標融合層用1×1卷積降低通道數(shù)，減小計算量和參數(shù)量。融合模塊a結構將Conv7和Conv8_2通過反卷積上采樣，上采樣后三個特征層的尺度統(tǒng)一為38×38，最后將三層特征層拼接融合，為了盡可能減少參數(shù)，提高計算速度，同時減小因模型結構復雜度上升帶來的過擬合風險，這里將通道從512縮小為384。融合模塊b將Conv4_3和Conv8_2分別通過最大池化層下采樣和反卷積統(tǒng)一特征尺度后，將三層特征層拼接融合，同時為了減小計算量，通道數(shù)由原SSD的1 024縮減為512。融合模塊c將Conv4_3和Conv7降維后通過最大池化下采樣統(tǒng)一尺度后拼接融合。

融合模塊a 融合模塊b 融合模塊c 圖3 特征融合模塊

2.2 特征增強模塊

LiuSongtao等人提出RFB[14]網(wǎng)絡，該算法在淺層中嵌入融合了不同感受野特征的模塊，可以大幅度提升模型的檢測效果，但這種算法用了大量的大尺度卷積核，計算復雜度偏高。Li Zeming等人提出了Light-Head R-CNN[15]算法，算法中通過大尺度分解卷積在保證準確率的情形下大幅度減小計算量。

為了進一步提升特征融合以后的淺層特征層，該文設計了一種功能強大的特征增強模塊。該模塊簡單高效、移植性好，可以很輕松地嵌入其他目標檢測網(wǎng)絡。FCN[16]等網(wǎng)絡采用池化的方法增加感受野，這些算法池化后需要通過雙線性插值上采樣擴大特征圖尺度。這種池化后通過上采樣擴大特征尺度的方法會造成一定的信息丟失，影響模型性能的進一步提升。帶洞卷積(dilation)可以在參數(shù)量保持不變的情況下，增大卷積核感受野，同時避免信息丟失[10]。因此該文提出的特征增強模塊采用這種方式增大感受野，增強輸入特征層的語義信息，同時又不引入過多的參數(shù)。

為了避免引入過多的參數(shù)量和計算量，僅在增強后的Conv4_3和Conv7上分別嵌套了一個特征增強模塊。特征增強模塊內部結構如圖4所示，左側分支中將通道減為原來1/2，然后連接一個大小為3×3，Dilation為3的帶洞卷積，中部分支和右側分支通道數(shù)縮減為1/4。中部分支采用大尺寸k×k卷積(該文取5)。為了進一步減小參數(shù)量和算法復雜度，利用分解策略將k×k分解成1×k和k×1的卷積。右側分支與中部分支對稱分布，將分解順序反轉，從而保證右側分支獲取與中部分支不同的特征。特征增強模塊通過三個不同的分支模塊和卷積核，獲取不同的感受野信息，提高最終模型的準確率。

圖4 特征增強模塊

3 實驗結果與分析

3.1 實驗環(huán)境與數(shù)據(jù)集

實驗環(huán)境基于Ubuntu 18.04LTS系統(tǒng)，采用Pytorch1.3.0深度學習框架訓練模型，python版本3.7.0，顯卡型號為GeForce RTX 1080Ti，處理器為Intel(R) Xeon(R) Gold 5118。文中所用海洋生物數(shù)據(jù)集來自Open image V4和自行收集，共4 400張圖片。數(shù)據(jù)集制作成voc格式，按照8∶1∶1劃分訓練集、驗證集和測試集，數(shù)據(jù)集主要包括以下9個類別：Crab、Sea cucumber、Sea turtle、Shark、Starfish、Jellyfish、Lobster、Skates、Oyster。

3.2 評價指標

為了綜合評估算法的準確率和速度，該文選擇類別精度(AP)、平均類別精度(mAP)以及FPS(frames per second)指標作為評估標準。FPS即每秒檢測的圖片數(shù)目，通過輸入視頻流即可檢測。AP能表示單類別的精度，而mAP表示所有類別精度的平均值。AP測量需要用到交并比(IOU)，IOU高于閾值的樣本為正樣本，低于的為負樣本。AP計算需要用到精度(Precision)、召回率(Recall)，具體如下式所示：

(8)

(9)

(10)

其中，TP為預測為正的正樣本，F(xiàn)P為預測為正的負樣本，F(xiàn)N為預測為負的正樣本，p(r)為精度-召回率曲線。

3.3 實驗過程與結果

實驗中采用遷移學習的策略降低訓練難度并提高檢測效果，模型在預訓練好的VGG16模型上訓練，損失函數(shù)與原SSD網(wǎng)絡保持一致，batch size設為32，最大訓練次數(shù)為250 epoch，動量因子0.9，權重衰減系數(shù)0.000 5，學習率設為0.003，當?shù)鷈poch分別達到150和200時，將學習率減小為當前學習率的1/10，優(yōu)化器選擇SGD算法。輸入圖片大小為300×300，采用數(shù)據(jù)增廣操作對圖片進行翻轉、裁剪等操作以擴充數(shù)據(jù)集，降低過擬合風險。損失曲線如圖5所示。可以看到當?shù)?00個epoch后損失基本不再下降，總loss約1.3，訓練結束。

為了進一步驗證文中算法帶來的提升，將原始SSD網(wǎng)絡和文中網(wǎng)絡進行了詳細的類別比較，結果如表1所示。

圖5 訓練損失曲線 表1 單類別精度

目標SSD/%改進SSD/%Crab83.086.2Sea cucumber74.278.1Sea turtle84.491.0Shark85.388.8Lobster68.571.6Starfish88.889.5Jellyfish84.287.4Skates63.877.4Oyster50.357.2mAP/%75.880.8

結果顯示，對于數(shù)據(jù)集中的9個類別，文中改進算法較原始網(wǎng)絡均有較大性能提升，其中Oyster和Sea turtle等小目標提升明顯，Oyster較原始網(wǎng)絡提高了6.9%，Sea turtle提升6.6%。

除此之外，為了進一步對比網(wǎng)絡的檢測能力，在海洋生物驗證集上，將改進的算法與當前一系列優(yōu)秀算法進行了比較。對比結果如表2所示。當輸入大小為300×300時，文中算法參數(shù)量為27.03 M，參數(shù)量僅比初始網(wǎng)絡多了1.97 M，但mAP卻提高了5%。算法參數(shù)量明顯低于DSSD、FSSD等優(yōu)秀的改進算法，但準確率遠高于這些改進算法，檢測速度為74 FPS，略低于原SSD網(wǎng)絡的83 FPS，高于其他改進算法，能滿足海洋生物檢測的實時性要求。

表2 不同算法檢測能力對比

圖6為效果展示。其中左側為SSD網(wǎng)絡檢測效果展示，而右側為文中改進算法的效果展示。根據(jù)(a)、(c)圖可見，原始SSD網(wǎng)絡對小目標的檢測效果不好，容易漏檢殘缺或者重疊的目標，而文中改進算法對小目標的檢測效果不錯。(b)顯示由于SSD各個特征層單獨檢測，缺少綜合分析上下文信息，容易造成重復檢測，改進算法通過融合上下信息，可以有效避免重復檢測問題。原始SSD網(wǎng)絡對小目標和重疊目標識別效果差，漏檢率高，而文中改進算法效果良好，能滿足海洋生物檢測要求。

圖6 效果展示

4 結束語

該文提出了一種基于改進SSD網(wǎng)絡的海洋生物識別算法。算法模型通過融合模塊增強Conv4_3、Conv7以及Conv8_2的特征表達能力，大大提高了網(wǎng)絡的檢測性能。為了進一步提高檢測性能，在Conv4_3、Conv7后加入兩個特征增強模塊，提高淺層的特征表達能力。通過上述輕量化的模塊，在引入很少參數(shù)量計算量的前提下，很好地提高了淺層特征的信息表達能力，大幅度提高了對海洋生物，尤其是對小目標的檢測效果。實驗結果表明，該算法模型綜合檢測性能較原始網(wǎng)絡及其他改進網(wǎng)絡好，具有準確率高、檢測速度快的優(yōu)點，能夠很好地滿足海洋生物檢測的要求。