張翔宇, 朱立軍

(沈陽化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 遼寧 沈陽 110142)

海洋魚類檢測(cè)是海洋魚類進(jìn)出口的重要一步,由于海洋魚類的顏色、紋理各異,形態(tài)不一,檢測(cè)難度較大.而且同一種群的魚類中不同品種往往具有相似的顏色、形狀以及紋理等特征,這更進(jìn)一步增加了海洋魚類檢測(cè)的難度.僅依靠人工對(duì)進(jìn)出口的海洋魚類進(jìn)行鑒別,經(jīng)常會(huì)發(fā)生漏檢、誤檢現(xiàn)象,檢疫人員也需要豐富的專業(yè)知識(shí)和經(jīng)驗(yàn).因此,針對(duì)海洋魚類檢測(cè)算法的研究具有重要價(jià)值.

目前海洋魚類檢測(cè)方法大部分都是基于傳統(tǒng)機(jī)器學(xué)習(xí)方法,如支持向量機(jī)(SVM)和BP 神經(jīng)網(wǎng)絡(luò)等方法.其中Alsmadi等[1]根據(jù)圖片中魚的尺寸和形狀的測(cè)量特征使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類.Hu等[2]提出了一種基于顏色和紋理特征的多類支持向量機(jī)魚種分類方法.姚潤璐等[3]以白魚、鯽魚、鱖魚和鳊魚為研究對(duì)象,采用數(shù)字圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)淡水魚自動(dòng)識(shí)別.吳一全等[4]利用Krawtchouk矩、灰度共生矩陣、蜂群優(yōu)化多核最小二乘支持向量機(jī)的識(shí)別方法對(duì)5種淡水魚進(jìn)行分類,該方法的識(shí)別精度達(dá)到了83.33%以上.顧?quán)嵠降萚5]將傳統(tǒng)的SVM與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合在Fish4-Knowledge數(shù)據(jù)集上,達(dá)到了98.6%的準(zhǔn)確率.這些傳統(tǒng)機(jī)器學(xué)習(xí)方法普遍是通過人類的先驗(yàn)知識(shí)提取特征,再進(jìn)行分類識(shí)別,因此存在魯棒性不強(qiáng)、特征挖掘能力差和魚類種類可擴(kuò)展性不強(qiáng)等問題.

近年來,越來越多的學(xué)者以深度學(xué)習(xí)算法代替?zhèn)鹘y(tǒng)機(jī)器學(xué)習(xí)算法,并將其應(yīng)用在目標(biāo)檢測(cè)領(lǐng)域,取得巨大的成功.當(dāng)前比較流行的基于深度學(xué)習(xí)目標(biāo)檢測(cè)框架可以分為兩類：一類是基于候選區(qū)域的R-CNN[6]系列,如R-CNN、Fast R-CNN[7]、Faster R-CNN[8]等two-stage框架,需要先使用區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)產(chǎn)生目標(biāo)候選框,然后再對(duì)候選框做分類與回歸;而另一類是SSD[9]、Yolo系列[10-12]等one-stage檢測(cè)框架,直接在卷積神經(jīng)網(wǎng)絡(luò)得到的特征圖上生成候選框.不少學(xué)者在兩類框架基礎(chǔ)上對(duì)內(nèi)部子模塊進(jìn)行創(chuàng)新改進(jìn),基于深度學(xué)習(xí)的算法正逐漸代替?zhèn)鹘y(tǒng)的機(jī)器學(xué)習(xí)算法.

Faster R-CNN 網(wǎng)絡(luò)模型在圖片為復(fù)雜背景時(shí)對(duì)各類別目標(biāo)具有較強(qiáng)的鑒別能力,同時(shí)檢測(cè)速度可滿足實(shí)時(shí)檢測(cè)的需求.袁紅春等[13]提出了一種基于Faster R-CNN二次遷移學(xué)習(xí)和帶彩色恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(MSRCR)的方法,以克服水下魚類圖像樣本量不足的問題.Li等[14]使用Faster R-CNN級(jí)聯(lián)ReLU、Inception和HyperNet等構(gòu)建塊來改變卷積層的結(jié)構(gòu),使網(wǎng)絡(luò)的平均準(zhǔn)確度均值mAP達(dá)到了89.95%.本文選取 Faster R-CNN 網(wǎng)絡(luò)作為海洋魚類檢測(cè)的基礎(chǔ)框架,但是,在試驗(yàn)中僅使用原始的Faster R-CNN 模型檢測(cè)海洋魚類圖片存在以下兩點(diǎn)不足：第一,圖片中的海洋魚類尺寸差異較大,無法準(zhǔn)確檢測(cè)出小目標(biāo);第二,海洋魚類種間差異較小,以Resnt50作為卷積層對(duì)細(xì)顆粒度圖像檢測(cè)時(shí)存在不足.因此,針對(duì)海洋魚類尺寸差異較大的問題,本文在Faster R-CNN基礎(chǔ)上進(jìn)行改進(jìn),使用雙向特征金字塔網(wǎng)絡(luò)(BiFPN),使網(wǎng)絡(luò)得到更豐富的特征信息;應(yīng)用ROI-Align算法對(duì)差異較大的海洋魚類精確定位;使用特征矩陣作外積相乘的方法以提高相似魚類的識(shí)別準(zhǔn)確度.該方法解決了實(shí)際應(yīng)用中海洋魚類紋理相似、尺寸差異大等因素的影響,提高了海洋魚類檢測(cè)的準(zhǔn)確率,為海關(guān)進(jìn)出口檢疫工作提供了一定的參考價(jià)值.

1 Faster R-CNN 目標(biāo)檢測(cè)模型

經(jīng)過R-CNN和Fast RCNN的積淀,Ren等[8]在2015年創(chuàng)新性地提出了Faster R-CNN,摒棄了Fast R-CNN 中比較耗時(shí)的選擇性搜索(selective search)算法,使用RPN獲取候選框,使得目標(biāo)檢測(cè)模型中候選框生成速度顯著提升.把特征提取、候選框生成、邊界回歸和分類等任務(wù)整合在一個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)端到端的訓(xùn)練,使得兩階段檢測(cè)算法在速度和精度上有較大提升.

Faster R-CNN的基本結(jié)構(gòu)如圖1所示,其步驟為：

圖1 Faster R-CNN架構(gòu)Fig.1 Faster R-CNN architecture

第一步： 將原始圖像直接輸入卷積層(conv layers),使用Resnet50作為卷積層,經(jīng)過卷積、池化和激活函數(shù)運(yùn)算后在最后一層卷積層中得到特征圖(feature maps),由區(qū)域生成網(wǎng)絡(luò)(RPN)和經(jīng)感興趣池化(ROI Pooling)層共享該特征圖.

第二步： RPN層根據(jù)錨點(diǎn)生成若干個(gè)候選框.此網(wǎng)絡(luò)中存在一個(gè)3×3的滑動(dòng)窗口(sliding window),步長設(shè)為 1,每個(gè)滑動(dòng)窗口根據(jù)不同的尺度和比例(2∶1,1∶1,1∶2)生成9個(gè)錨點(diǎn)框(anchor box).每個(gè)錨點(diǎn)框?qū)?yīng)的是一個(gè)建議區(qū)域.通過anchors來解決邊界框列表長度不定的問題,生成候選區(qū)域框,然后將候選區(qū)域輸入到ROI Pooling層.

第三步： ROI Pooling層接收共享卷積層產(chǎn)生的特征圖以及RPN網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域框,綜合兩部分輸入后提取ROI特征,并固定第四步全連接層的輸入維度.

第四步： 在全連接層判斷候選區(qū)域特征圖的類別,同時(shí)通過SmoothL1損失函數(shù)計(jì)算邊框回歸,優(yōu)化預(yù)測(cè)邊框的精確位置.

Faster R-CNN 網(wǎng)絡(luò)采用多任務(wù)網(wǎng)絡(luò),為使多任務(wù)損失最小,整個(gè)網(wǎng)絡(luò)的總損失定義為

(1)

分類的損失函數(shù)定義為

(2)

邊框回歸損失函數(shù)定義為：

(3)

(4)

2 改進(jìn)的Faster R-CNN目標(biāo)檢測(cè)模型

目標(biāo)檢測(cè)是海洋魚類識(shí)別重要一步,但是直接將目標(biāo)檢測(cè)模型Faster R-CNN 應(yīng)用于海洋魚類目標(biāo)檢測(cè)場(chǎng)景時(shí),存在小目標(biāo)檢測(cè)難度大和檢測(cè)相似魚類準(zhǔn)確率低等問題.針對(duì)以上問題,本文提出一種改進(jìn)的Faster R-CNN 的魚類目標(biāo)檢測(cè)方法,其架構(gòu)如圖2所示.結(jié)合雙向特征金字塔網(wǎng)絡(luò)(BiFPN)和特征矩陣外積融合的方式增強(qiáng)特征融合;應(yīng)用感興趣區(qū)域?qū)R(ROI Align)層對(duì)檢測(cè)目標(biāo)精確定位,進(jìn)一步提高海洋魚類檢測(cè)的準(zhǔn)確率.

圖2 改進(jìn)后的Faster R-CNN架構(gòu)Fig.2 Improved Faster R-CNN architecture

2.1 BiFPN結(jié)構(gòu)

在Lin等[15]提出特征金字塔網(wǎng)絡(luò)(FPN)之前,學(xué)者們都是將卷積層最后一層的輸出作為特征圖,但是隨著對(duì)圖片進(jìn)行卷積操作,特征圖的分辨率會(huì)降低,在圖片的語義信息增強(qiáng)的同時(shí)也會(huì)丟失位置信息,不利于小物體以及細(xì)小紋路的檢測(cè).FPN借鑒了圖像金字塔的思想來融合各維度特征圖,目前FPN已經(jīng)被廣泛應(yīng)用于圖像識(shí)別任務(wù)中.Tan等[16]在EfficientDet中使用加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BiFPN),引入可學(xué)習(xí)的權(quán)重來學(xué)習(xí)不同輸入特征的重要性,同時(shí)反復(fù)應(yīng)用自頂向下和自底向上的多尺度特征融合.當(dāng)融合不同分辨率的特征時(shí),不再采用常見的將它們調(diào)整為相同分辨率,然后對(duì)它們進(jìn)行匯總的方式,而是借鑒金字塔注意網(wǎng)絡(luò)[17],引入全局自注意力上采樣來恢復(fù)像素定位.由于輸入特征擁有不同的分辨率,它們通常對(duì)目標(biāo)檢測(cè)的貢獻(xiàn)是不同的.因此,將每個(gè)輸入增加一個(gè)可學(xué)習(xí)的權(quán)重,讓網(wǎng)絡(luò)了解每個(gè)輸入特征的重要性,更高效地聚合各卷積層輸出的不同尺度的特征信息.

圖3 BiFPN結(jié)構(gòu)Fig.3 Framework of BiFPN

(5)

(6)

在原始的Faster R-CNN模型的主干網(wǎng)絡(luò)之后增加頸部連接層,應(yīng)用BiFPN 算法,將高分辨率的低層特征圖中位置信息和低分辨率的高層特征圖中語義信息相融合,以達(dá)到預(yù)測(cè)的效果.同時(shí)可訓(xùn)練參數(shù)使得在特征融合時(shí)讓網(wǎng)絡(luò)自主學(xué)習(xí)不同層級(jí)特征的融合,以提高不同層級(jí)特征的合理度,提高海洋魚類圖像中目標(biāo)檢測(cè)的精度.

2.2 特征矩陣外積融合

2.3 ROI Align

ROI Align是在Mask-RCNN[20]里提出的一種池化方法,是對(duì)ROI Pooling進(jìn)行兩次量化造成的區(qū)域不匹配的改進(jìn).ROI Align取消了ROI Pooling中的兩次量化操作,使用雙線性內(nèi)插差值算法保留坐標(biāo)的浮點(diǎn)數(shù),從而將整個(gè)特征聚集過程轉(zhuǎn)化為一個(gè)連續(xù)的操作,提高了精度.ROI Align 示意圖見圖4,具體步驟如下：

圖4 ROI Align 示意圖Fig.4 Schematic diagram of ROI Align

第一步： 第一次池化,遍歷每一個(gè)候選區(qū)域,保持尺寸的浮點(diǎn)數(shù)不做量化.如得到的候選區(qū)域?yàn)?0.12×14.78,經(jīng)過第一次量化后尺寸保持不變,仍然為20.12×14.78.

第二步： 第二次池化,將候選區(qū)域分劃分為7×7個(gè)同等大小的子單元,每個(gè)子單元尺寸也不做量化.如劃分為7×7個(gè)單元,每個(gè)子單元的大小為2.87×2.11.

第三步： 將每個(gè)子單元再平均分成4份,取其中心點(diǎn)的像素作為本區(qū)域的像素值,而中心點(diǎn)的值用離當(dāng)前中心最近的4個(gè)整數(shù)坐標(biāo)的值進(jìn)行雙線性插值運(yùn)算得到,再進(jìn)行最大池化操作,輸出大小固定為7×7.

與ROI Pooling 相比,ROI Align保留了尺寸的浮點(diǎn)數(shù),減小了在回歸定位時(shí)像素偏差產(chǎn)生的影響,在檢測(cè)小物體時(shí)效果更佳.

3 實(shí)驗(yàn)方法與實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)訓(xùn)練和測(cè)試的工作平臺(tái)環(huán)境如表1所示.

表1 實(shí)驗(yàn)工作平臺(tái)環(huán)境Table 1 Experiment platform environment

3.2 海洋魚類數(shù)據(jù)集

海洋魚類目標(biāo)檢測(cè)的實(shí)驗(yàn)數(shù)據(jù)集使用的是PASCAL VOC數(shù)據(jù)集格式,數(shù)據(jù)集中圖片源于在海鮮市場(chǎng)拍攝和搜集公開數(shù)據(jù)集上的圖片,包含：黃花魚、大黃魚、龍膽石斑魚和青石斑魚等21種常見的海洋魚類,共 8647 張圖片.使用 LableImg軟件人工標(biāo)注數(shù)據(jù)集,其中每張圖片僅含一種魚類.隨機(jī)抽取2張魚類圖片對(duì)其進(jìn)行標(biāo)注,標(biāo)注后的圖像見圖5,數(shù)據(jù)集中魚類圖片對(duì)比度強(qiáng)、清晰度高.其中訓(xùn)練集包含6053幅,占數(shù)據(jù)集總量的70%,測(cè)試集包含2594幅,占數(shù)據(jù)集總量的30%.

圖5 標(biāo)注后的圖像Fig.5 Labeled image

3.3 模型訓(xùn)練與評(píng)價(jià)方法

為克服海洋魚類訓(xùn)練樣本不足的問題和加速網(wǎng)絡(luò)訓(xùn)練,應(yīng)用一次遷移學(xué)習(xí).首先將原始Faster R-CNN模型在PASCAL VOC2012數(shù)據(jù)集上預(yù)訓(xùn)練,然后在海洋魚類訓(xùn)練集上訓(xùn)練,對(duì)權(quán)重進(jìn)行微調(diào),以適應(yīng)海洋魚類數(shù)據(jù)集的檢測(cè).

各實(shí)驗(yàn)使用的訓(xùn)練參數(shù)設(shè)置：初始學(xué)習(xí)率為0.01,權(quán)重衰減系數(shù)為0.000 1,經(jīng)過4個(gè) epoch后學(xué)習(xí)率下降為0.001,參數(shù)優(yōu)化器選用SGD,動(dòng)量因子設(shè)為0.9,并利用旋轉(zhuǎn)、平移和調(diào)整飽和度等數(shù)據(jù)增強(qiáng)的方法擴(kuò)充數(shù)據(jù)集中的圖像樣本數(shù)量.

原始Faster R-CNN訓(xùn)練時(shí)loss值的變化可以直觀地反映訓(xùn)練迭代情況.圖6 為原始Faster R-CNN訓(xùn)練時(shí)loss值變化情況,橫軸表示迭代次數(shù),縱軸表示loss值.在迭代到大約14 000次時(shí),loss值降為0.04左右,隨后逐漸趨于穩(wěn)定,在訓(xùn)練集上基本收斂,達(dá)到了預(yù)期效果.各實(shí)驗(yàn)都是將loss訓(xùn)練至loss變化趨于平穩(wěn)為止.

圖6 訓(xùn)練時(shí)loss變化情況Fig.6 Loss change during training

平均準(zhǔn)確度(AP)是對(duì)精確率和召回率綜合考慮,是衡量算法可靠性的重要指標(biāo)之一.同時(shí)計(jì)算出21類檢測(cè)目標(biāo)的平均準(zhǔn)確度均值(mAP),mAP 值反映了檢測(cè)模型識(shí)別所有類別的綜合性能,因此,使用平均準(zhǔn)確度、平均準(zhǔn)確度均值和平均檢測(cè)時(shí)長作為衡量標(biāo)準(zhǔn).平均準(zhǔn)確度定義為

(7)

平均準(zhǔn)確度(AP)可由以精確率(P)為縱軸、召回率(R)為橫軸的精確率-召回率(P-R)曲線下方的面積表示.其中精確率和召回率的定義如下：

(8)

(9)

式中：STP表示標(biāo)簽為正樣本且預(yù)測(cè)結(jié)果也為正樣本的數(shù)量;SFP表示標(biāo)簽為負(fù)樣本但預(yù)測(cè)結(jié)果為正樣本的數(shù)量;SFN表示標(biāo)簽為正樣本但預(yù)測(cè)結(jié)果為負(fù)樣本的數(shù)量.其中,預(yù)測(cè)結(jié)果為正樣本是置信度閾值的樣本,預(yù)測(cè)結(jié)果為負(fù)樣本是小于置信度閾值的樣本.

mAP的定義為

(10)

式中n為數(shù)據(jù)集中海洋魚類的種類個(gè)數(shù).本文數(shù)據(jù)集中海洋魚類種類有21種,所以n=21.

平均檢測(cè)時(shí)長是評(píng)價(jià)模型檢測(cè)速度的指標(biāo)之一.其計(jì)算公式為

(11)

3.4 實(shí)驗(yàn)結(jié)果與分析

使用本文構(gòu)建的海洋魚類數(shù)據(jù)集訓(xùn)練、測(cè)試改進(jìn)的 Faster R-CNN 模型的檢測(cè)性能.不同模型的檢測(cè)結(jié)果如表2所示,改進(jìn)的Faster R-CNN模型的平均準(zhǔn)確度相比于前4種模型,其mAP值最高,相較于原始Faster R-CNN 在mAP值上有7.4%的提升.在使用特征矩陣外積融合方法時(shí)提升較大,為5.3%,此方法是將特征矩陣外積相乘,增強(qiáng)了特征的融合,使得檢測(cè)模型在性能上提升較大.

表2 不同模型的mAP值對(duì)比Table 2 Comparison of mAP values of different models

表3對(duì)比了在Faster R-CNN基礎(chǔ)上增加BiFPN和ROI Align后在龍膽石斑魚和青石斑魚、牙片魚和多寶魚兩組相似魚類的檢測(cè)平均準(zhǔn)確度,改進(jìn)后的模型在相似魚類上有2.7%～3.6%的提升,檢測(cè)的mAP有3.1%的提升.

表3 相似魚類在Faster R-CNN和改進(jìn)后的模型上平均準(zhǔn)確度Table 3 Average accuracy of similar fish on Faster R-CNN and improved model

表4比較了兩種模型的訓(xùn)練和測(cè)試運(yùn)行時(shí)間.從實(shí)驗(yàn)結(jié)果可得出,改進(jìn)的Faster R-CNN模型比原始的 Faster R-CNN模型訓(xùn)練時(shí)間長,檢測(cè)速度也有所降低,但仍在可接受范圍內(nèi).

表4 兩種模型時(shí)間對(duì)比Table 4 Time comparison between the two models

4 結(jié) 論

使用改進(jìn)的Faster R-CNN模型對(duì)海洋魚類圖片進(jìn)行檢測(cè),同時(shí)也和其他方法進(jìn)行了比較,并優(yōu)化了改進(jìn)后的Faster R-CNN關(guān)鍵參數(shù),使其更有利于海洋魚類的檢測(cè).

(1) 使用ResNet50 結(jié)構(gòu)作為特征提取模塊,該模型不需要對(duì)圖像進(jìn)行預(yù)處理,讓其從原始圖像中自主學(xué)習(xí)海洋魚類的特征,避免傳統(tǒng)機(jī)器學(xué)習(xí)算法中手工設(shè)計(jì)特征表達(dá)魯棒性差的因素,能更準(zhǔn)確地反映海洋魚類圖片的特征信息.

(2) 使用BiFPN和ROI Align相結(jié)合的方法,在相似魚類檢測(cè)中,其平均準(zhǔn)確度均值(mAP)有3.1%的提升;使用特征矩陣外積融合的方法對(duì)魚類檢測(cè),其平均準(zhǔn)確度提升較高.

(3) 基于改進(jìn)的 Faster R-CNN 模型,由于模型復(fù)雜度增加導(dǎo)致模型的訓(xùn)練時(shí)間和測(cè)試時(shí)間有所增加,識(shí)別單張圖片的平均時(shí)長為 0.08 s.

改進(jìn)的 Faster R-CNN 模型實(shí)現(xiàn)了對(duì)海洋魚類圖片的端到端快速、準(zhǔn)確的檢測(cè),檢測(cè)海洋魚類數(shù)據(jù)集的平均準(zhǔn)確度達(dá)到85.3%,可為海關(guān)進(jìn)出口海洋魚類創(chuàng)造一定的經(jīng)濟(jì)效益.