王紅君，季曉宇，趙輝, 2，岳有軍

(1. 天津理工大學(xué)電氣電子工程學(xué)院，天津市，300384； 2. 天津農(nóng)學(xué)院工程技術(shù)學(xué)院，天津市，300392)

0 引言

語(yǔ)義分割能實(shí)現(xiàn)采集到的圖像中每一個(gè)像素值的推斷，從而為每個(gè)細(xì)粒度的像素值打上語(yǔ)義標(biāo)簽。隨著不斷的發(fā)展，語(yǔ)義分割已成為計(jì)算機(jī)視覺(jué)研究的重要方向之一，并應(yīng)用于淡水魚(yú)目標(biāo)快速識(shí)別與檢測(cè)領(lǐng)域[1]。

傳統(tǒng)的目標(biāo)檢測(cè)方法包含選擇區(qū)域、提取特征、分類器分類、定位目標(biāo)等幾個(gè)步驟[2]。基于學(xué)習(xí)方式的提取特征方法主要有邊緣檢測(cè)及閾值分割，如Otsu的基于最大類間方差閾值分割方法[3]和Canny的基于雙閾值處理和邊緣追蹤的邊緣檢測(cè)算法[4]，手工提取的特征包括紋理、顏色、形狀等，之后再通過(guò)SVM、AdaBoost、神經(jīng)網(wǎng)絡(luò)等方法訓(xùn)練分類器用來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)[5-6]。以往這些方法雖然參數(shù)的數(shù)量很少同時(shí)檢測(cè)難易程度很低,但是提取的特征較難表征其中蘊(yùn)含的深層像素信息，導(dǎo)致目標(biāo)檢測(cè)的結(jié)果與真實(shí)任務(wù)要求相距甚遠(yuǎn)。

隨著人工神經(jīng)網(wǎng)絡(luò)(ANN)[7]與計(jì)算機(jī)技術(shù)的逐漸進(jìn)步，不斷改進(jìn)的算法優(yōu)化，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)潛力，深度學(xué)習(xí)方法[8]在目標(biāo)像素級(jí)的語(yǔ)義分割技術(shù)中也獲得了巨大進(jìn)步。鑒于此，本文提出了基于SENet[9]優(yōu)化的Deeplabv3+淡水魚(yú)體各部分語(yǔ)義分割模型[10]，利用Deeplabv3+中的空洞卷積提取圖像語(yǔ)義特征，實(shí)現(xiàn)增大感受野，減少池化或下采樣過(guò)程中丟失的淡水魚(yú)邊緣等細(xì)節(jié)信息，添加的空洞空間金字塔池化(ASPP)[11]結(jié)構(gòu)進(jìn)行多尺度特征融合，捕獲圖像上下文信息，逐步精細(xì)化分割結(jié)果，引入SENet到網(wǎng)絡(luò)結(jié)構(gòu)中，增強(qiáng)網(wǎng)絡(luò)對(duì)特征維度的信息通道選擇能力，降低識(shí)別錯(cuò)誤率，優(yōu)化網(wǎng)絡(luò)性能，實(shí)現(xiàn)淡水魚(yú)頭、腹、鰭更加精細(xì)語(yǔ)義分割結(jié)果。

1 分割算法流程與Deeplabv3+網(wǎng)絡(luò)

1.1 魚(yú)體分割算法流程

本文提出的淡水魚(yú)體語(yǔ)義分割方法主要是利用了SENet網(wǎng)絡(luò)能夠合理利用特征通道，進(jìn)而實(shí)現(xiàn)Deeplabv3+網(wǎng)絡(luò)的進(jìn)一步優(yōu)化。首先圖像采集并擴(kuò)充數(shù)據(jù)，然后樣本標(biāo)簽標(biāo)定采用的是labelme軟件,完成淡水魚(yú)數(shù)據(jù)集建立，再將完整數(shù)據(jù)集輸入到改進(jìn)后的魚(yú)體分割網(wǎng)絡(luò)完成任務(wù)訓(xùn)練，當(dāng)損失值趨近于收斂時(shí)刻，采取停止訓(xùn)練。在最終的分割過(guò)程中，用驗(yàn)證集來(lái)評(píng)估語(yǔ)義分割效果，流程如圖1所示。

圖1 魚(yú)體分割算法流程圖Fig. 1 Fish body segmentation algorithm flowchart

1.2 Deeplabv3+網(wǎng)絡(luò)

在2014年Long等將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(CNN)中全連接層取代為一個(gè)個(gè)的卷積層搭建成全卷積神經(jīng)網(wǎng)絡(luò)(FCN),實(shí)現(xiàn)了對(duì)圖像每個(gè)像素級(jí)別的分類，由此開(kāi)啟了卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)義分割的先河。目前，基于深度學(xué)習(xí)的語(yǔ)義分割方法有：(1)利用完全卷積網(wǎng)絡(luò)(Fully Convolutional Networks)來(lái)修改原先的具有全連接層的分類網(wǎng)絡(luò)(例如AlexNet，VGG，GoogleNet)，從而創(chuàng)建微調(diào)后的語(yǔ)義分割網(wǎng)絡(luò)[12]；(2)U-Net網(wǎng)絡(luò)結(jié)構(gòu)中的收縮路徑(contracting path)使用池化層逐漸縮小空間尺寸，不斷地下采樣實(shí)現(xiàn)上下文有效信息的獲取，而擴(kuò)張路徑(expansive path)通過(guò)利用反卷積操作恢復(fù)對(duì)象細(xì)節(jié)和空間尺寸用以實(shí)現(xiàn)精確定位的目的。同時(shí)擴(kuò)張路徑與收縮路徑同一級(jí)別特征圖采用橫向連接信息這一方式，有利于擴(kuò)張路徑能夠更好地恢復(fù)物體的細(xì)節(jié)特征[13]；(3)Deeplabv3+語(yǔ)義分割算法是在以往Deeplabv1-v3的內(nèi)容上不斷推廣衍變而來(lái)，首先Deeplabv1[14]中的卷積操作帶有孔洞，實(shí)現(xiàn)下采樣和池化的減少，網(wǎng)絡(luò)的感受野得以增大，使得特征圖變得更加密集。全連接CRF操作的采用，增加了對(duì)象分割精度，然而在處理多尺度分割對(duì)象時(shí)會(huì)存在一定的能力局限性。為克服上述提到的困難，Deeplabv2[15]在v1的結(jié)構(gòu)上采用空洞空間金字塔池化(ASPP)的操作，將輸入的特征圖利用采樣率不同的空洞卷積完成相應(yīng)的卷積過(guò)程，實(shí)現(xiàn)多尺度獲取圖像信息中的上下文內(nèi)容。但是當(dāng)ASPP操作中3×3卷積核擴(kuò)張率逐漸增大，3×3卷積將形成為1×1卷積，為克服此問(wèn)題并實(shí)現(xiàn)整個(gè)圖像中的全部信息內(nèi)容的整合，Deeplabv3[16]把ASPP操作中3×3卷積核數(shù)量修改為3個(gè),每一個(gè)卷積核的擴(kuò)張率分別為{6,12,18}，同時(shí)新引入了一個(gè)全局平均池化，來(lái)克服不斷下采樣導(dǎo)致細(xì)節(jié)信息逐漸丟失以及圖像分辨率降低的問(wèn)題。同時(shí)，在計(jì)算量不增加的情況下使每個(gè)輸出卷積都包含信息的范圍較大，增大了感受野，提高了目標(biāo)的語(yǔ)義分割的速度，且識(shí)別精度進(jìn)一步提升，并且對(duì)圖像中的較小以及較薄的魚(yú)鰭目標(biāo)仍有顯著的語(yǔ)義分割效果。由于ASPP中包含了淺層特征，即對(duì)象位置的內(nèi)容，因此v3刪除了CRF全連接。Deeplabv3+總結(jié)了上述幾種語(yǔ)義分割算法的部分優(yōu)勢(shì)，伴隨著該網(wǎng)絡(luò)的不斷加深，骨干網(wǎng)絡(luò)由原先的殘差網(wǎng)絡(luò)(ResNet)替換為深度可分離卷積(Xception)[17]，模型計(jì)算的參數(shù)量減少了，編碼和解碼內(nèi)容的增加，使特征圖上采樣過(guò)程中匯聚了低層特征，有利于對(duì)象邊界信息優(yōu)化，同時(shí)恢復(fù)特征內(nèi)容使用線性插值方法，實(shí)現(xiàn)了網(wǎng)絡(luò)分割精度進(jìn)一步的提高。Deeplabv3+模型結(jié)構(gòu)如圖2所示。

圖2 Deeplabv3+網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Deeplabv3+ network structure

1.3 SENet模塊

SENet網(wǎng)絡(luò)結(jié)構(gòu)利用不同通道特征之間的依賴性，促使網(wǎng)絡(luò)對(duì)處理特征的挑選和刪除性能不斷提高，它由Squeeze、Excitation和Reweight構(gòu)成其網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。整個(gè)過(guò)程為：①Squeeze操作，利用全局平均池化使單個(gè)通道的特征層被池化成具體的一個(gè)數(shù)據(jù)；②Excitation操作，通過(guò)賦值操作，賦予兩層全連接層各自一個(gè)權(quán)重值，來(lái)構(gòu)建不同通道互相之間的依賴性；③Reweight操作，通過(guò)Sigmoid函數(shù)歸一化權(quán)重使之能夠歸一化為0～1的范圍，最后對(duì)每個(gè)通道進(jìn)行乘法運(yùn)算促使權(quán)值加權(quán)到原先特征上。其映射關(guān)系如式(1)～式(3)所示。

(1)

s=Fe x(z,W)

=σ(g(z,W))=σ(W2δ(W1,z))

(2)

xc=Fscale(uc,s)=sc·uc

(3)

其中，uc代表每一個(gè)特征通道，W1和W2為全連接操作的權(quán)重，全連接之間使用激活函數(shù)δ(ReLU)來(lái)進(jìn)行非線性處理，最后通過(guò)歸一化函數(shù)σ(Sigmoid)來(lái)輸出權(quán)重向量，并與原特征圖對(duì)應(yīng)進(jìn)行乘法操作。

圖3 SENet模塊結(jié)構(gòu)Fig. 3 SENet module structure

1.4 Deeplabv3+的優(yōu)化

Deeplabv3+的骨干網(wǎng)絡(luò)DCNN使用Xception作為基網(wǎng)絡(luò)，如圖4所示。網(wǎng)絡(luò)不斷的進(jìn)行下采樣以及池化操作，使網(wǎng)絡(luò)的特征維度通道從64、128、256、728、1 024、1 536、2 048逐漸增大，伴隨著特征通道數(shù)的增加，每層的特征計(jì)算量急劇上升，然而這些特征通道中包含大量無(wú)效的特征維度信息，導(dǎo)致在大量運(yùn)算過(guò)程中淡水魚(yú)識(shí)別網(wǎng)絡(luò)出現(xiàn)準(zhǔn)確度、性能、參數(shù)利用率降低的問(wèn)題。

圖4 淡水魚(yú)體語(yǔ)義分割中的基網(wǎng)絡(luò)Fig. 4 Base network in semantic segmentation of freshwater fish

針對(duì)此問(wèn)題，通過(guò)SENet結(jié)構(gòu)利用不同通道的依賴性，促使分割網(wǎng)絡(luò)提高對(duì)淡水魚(yú)特征的挑選和刪除性能，實(shí)現(xiàn)優(yōu)化語(yǔ)義分割結(jié)果，提高各部位準(zhǔn)確率，增強(qiáng)參數(shù)利用率的目的，嵌入SENet的卷積模塊的結(jié)構(gòu)如圖5所示。由于Xception中含有skip-connections的模塊，在Addition前首先對(duì)分支上Xception的特征實(shí)現(xiàn)重標(biāo)定特征的操作。如果是對(duì)Addition后的主支位置上特征進(jìn)行重標(biāo)定特征操作，由于存在0～1的Scale操作流程在主干上，在比較深的網(wǎng)絡(luò)結(jié)構(gòu)BP優(yōu)化時(shí)就會(huì)在靠近輸入層位置極易出現(xiàn)梯度彌散的問(wèn)題，使得難以優(yōu)化模型。

圖5 嵌入SENet的卷積模塊Fig. 5 Convolution module embedded in SENet

2 試驗(yàn)結(jié)果分析

下述對(duì)優(yōu)化后的Deeplabv3+語(yǔ)義分割算法進(jìn)行了結(jié)論性驗(yàn)證。首先是操作平臺(tái)構(gòu)成和神經(jīng)網(wǎng)絡(luò)超參數(shù)相關(guān)設(shè)置，然后是本次試驗(yàn)采用的數(shù)據(jù)集，試驗(yàn)完成后對(duì)所提出的淡水魚(yú)分割算法進(jìn)行理論分析，并與未改進(jìn)的語(yǔ)義分割算法進(jìn)行比對(duì)分析。

2.1 試驗(yàn)平臺(tái)及相關(guān)參數(shù)設(shè)置

本文使用網(wǎng)絡(luò)上開(kāi)放的COCO數(shù)據(jù)集來(lái)初始訓(xùn)練SENet優(yōu)化的Xception網(wǎng)絡(luò)結(jié)構(gòu)模型，利用自建的背景單一淡水魚(yú)數(shù)據(jù)集實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)微調(diào)同時(shí)搭配不同擴(kuò)張率的卷積來(lái)達(dá)到提取淡水魚(yú)體各部分密集的像素特征的要求；搭配隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)法實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練流程；在樣本數(shù)據(jù)擴(kuò)充方面[18]，以隨機(jī)挑選0.5～2之間的比例放縮輸入樣本集并在網(wǎng)絡(luò)訓(xùn)練流程中將對(duì)圖像進(jìn)行任意角度旋轉(zhuǎn)。采用Intel Xeon(R)CPUE5-2650 v4@2.20 Hz×48、12 GB的GeForce GTX1080Ti×2GPU并且運(yùn)行內(nèi)存為64GB作為試驗(yàn)硬件平臺(tái)，Ubuntu18.04作為試驗(yàn)操作系統(tǒng)，CUDA9.0作為并行計(jì)算框架版本號(hào)，CUDNN7.6.0為深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)。使用編程語(yǔ)言Python在深度學(xué)習(xí)框架Tensorflow上具體實(shí)現(xiàn)了本文中SENet優(yōu)化后的Deeplabv3+語(yǔ)義分割模型并完成相應(yīng)的模型訓(xùn)練過(guò)程。

2.2 淡水魚(yú)試驗(yàn)數(shù)據(jù)集

訓(xùn)練樣本數(shù)據(jù)集來(lái)源包含兩部分，一部分是微軟開(kāi)源數(shù)據(jù)集(COCO),包含80多類對(duì)象，用于模型的預(yù)訓(xùn)練過(guò)程；另一部分為自建用于訓(xùn)練和評(píng)價(jià)淡水魚(yú)體頭，腹、鰭各部分的語(yǔ)義分割性能數(shù)據(jù)集。其中，2 258張用于訓(xùn)練的淡水魚(yú)數(shù)據(jù)集圖片，同時(shí)還設(shè)置了驗(yàn)證圖片為1 464和用于測(cè)試過(guò)程的1 448張圖片，所有圖像背景統(tǒng)一為純白色，減少額外變量干擾，樣本成像質(zhì)量略有不同；圖像包含鯉魚(yú)、鰱魚(yú)、鯽魚(yú)、草魚(yú)和鳊魚(yú)五類目標(biāo)，所有目標(biāo)在圖像呈現(xiàn)不同的姿態(tài)特征，包含淡水魚(yú)頭、鰭、身，3個(gè)前景類別和1個(gè)背景類別共4個(gè)語(yǔ)義分類。

2.3 魚(yú)體分割效果的定性分析

根據(jù)本文提出的SENet優(yōu)化后的Deeplabv3+語(yǔ)義分割算法，在自己構(gòu)建的淡水魚(yú)圖像數(shù)據(jù)集上進(jìn)行了試驗(yàn)驗(yàn)證。本文利用SENet優(yōu)化后Deeplabv3+語(yǔ)義分割的算法與原始Deeplabv3+的語(yǔ)義分割算法試驗(yàn)結(jié)果如圖6所示。其中淡水魚(yú)原始圖像為圖6第1列所示，未經(jīng)優(yōu)化的Deeplabv3+語(yǔ)義分割結(jié)果為圖6第2列所示，本文在使用了SENet優(yōu)化之后的Deeplabv3+算法語(yǔ)義分割結(jié)果為第3列所示，第4列為ground-truth,即利用labelme軟件制作的真實(shí)的語(yǔ)義標(biāo)簽,第5列為淡水魚(yú)圖像分割的可視化結(jié)果。

(a) 原始圖像

(b) Deeplabv3+

(c) 本文算法

(d) ground-truth

(e) 可視化

由圖6可以看出，相比較傳統(tǒng)Deeplabv3+語(yǔ)義分割算法，本文算法在充分利用特征維度的通道信息后，在淡水魚(yú)體邊緣細(xì)節(jié)部分處理的精度性較好，實(shí)現(xiàn)了淡水魚(yú)體語(yǔ)義分割能力的顯著增強(qiáng)，有利于后續(xù)的淡水魚(yú)實(shí)現(xiàn)機(jī)械加工處理，減少水產(chǎn)品人工操作勞動(dòng)強(qiáng)度大，作業(yè)效率低，分割淡水魚(yú)頭、腹、鰭各部分的精度低等問(wèn)題。

Deeplabv3+語(yǔ)義分割模型和SENet優(yōu)化的Deeplabv3+語(yǔ)義分割模型在訓(xùn)練了50 000次后，各自損失函數(shù)Loss值如圖7所示。通過(guò)損失函數(shù)對(duì)比圖可以知道SENet優(yōu)化后的網(wǎng)絡(luò)比傳統(tǒng)Deeplabv3+語(yǔ)義分割模型損失值低將近0.15，損失值函數(shù)圖像越低表明語(yǔ)義分割模型能夠取得更好擬合效果，同時(shí)語(yǔ)義分割模型Deeplabv3+魯棒性也更加優(yōu)異。

圖7 不同算法下實(shí)現(xiàn)淡水魚(yú)體語(yǔ)義分割的Loss函數(shù)圖Fig. 7 Loss function diagram for implementing semantic segmentation of freshwater fish body under different algorithms

2.4 魚(yú)體分割效果的定量分析

本文采用MIoU(Mean Intersection over Union)作為淡水魚(yú)體語(yǔ)義分割能力的重要評(píng)價(jià)指標(biāo)，當(dāng)然也可以解釋成平均交并比，即計(jì)算IoU(Intersection over Union)值在淡水魚(yú)體每個(gè)部位上的均值。IoU和MIou的定義如式(4)、式(5)所示。

(4)

(5)

式中:k+1——包括背景在內(nèi)的語(yǔ)義類別總數(shù)；

i——真實(shí)值；

j——預(yù)測(cè)值；

Pi j——將類別i預(yù)測(cè)為類別j的像素?cái)?shù)量。

基于上述評(píng)價(jià)標(biāo)準(zhǔn)，用本文提出的SENet優(yōu)化的Deeplabv3+算法和原始Deeplabv3+語(yǔ)義分割算法在自建的淡水魚(yú)數(shù)據(jù)集上進(jìn)行了試驗(yàn)結(jié)果對(duì)比，如表1和表2所示。和Deeplabv3+比較，由于優(yōu)化算法獲得淡水魚(yú)圖像中每個(gè)特征通道重要程度是通過(guò)使用自主學(xué)習(xí)的方式，然后再根據(jù)重要程度去提升有用的特征并抑制對(duì)當(dāng)前淡水魚(yú)體語(yǔ)義分割任務(wù)用處不大的特征，使得原始Deeplabv3+網(wǎng)絡(luò)得到更好地優(yōu)化，所以在物體邊緣等細(xì)節(jié)部分有著更好的分割性能。由表2可知，本文算法的語(yǔ)義分割MIoU值達(dá)到了93%左右，同時(shí)由于SENet網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化使得原始Deeplabv3+模型的FPS減少，節(jié)約了時(shí)間成本，提高了加工效率，性能得到顯著提高的同時(shí)并達(dá)到了目前領(lǐng)先的淡水魚(yú)體分割水平，為后續(xù)實(shí)現(xiàn)全自動(dòng)化的淡水魚(yú)加工提供了強(qiáng)大的軟件系統(tǒng)支持。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)下淡水魚(yú)特征IoU值對(duì)比表Tab. 1 Comparison of IoU values of freshwater fish characteristics under different network structures

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)下性能比較Tab. 2 Performance comparison under different network structures

3 結(jié)論

本文提出了一種基于SENet優(yōu)化的Deeplabv3+淡水魚(yú)體語(yǔ)義分割算法，得到以下結(jié)論。

1) 充分發(fā)掘Deeplabv3+的優(yōu)點(diǎn)，通過(guò)將擴(kuò)張/空洞卷積生成的特征圖應(yīng)用到骨干網(wǎng)絡(luò)中，一方面克服不斷下采樣導(dǎo)致淡水魚(yú)圖像分辨率降低以及魚(yú)鰭等部位細(xì)節(jié)信息丟失的問(wèn)題。同時(shí)，在計(jì)算量不增加的情況下使每個(gè)輸出卷積都包含淡水魚(yú)信息的范圍較大，增大了感受野，提高了魚(yú)體各部位語(yǔ)義分割的速度，并且對(duì)圖像中的較小以及較薄的魚(yú)鰭目標(biāo)有顯著的語(yǔ)義分割效果。

2) SENet結(jié)構(gòu)使用自主學(xué)習(xí)的方式獲取淡水魚(yú)圖像中每個(gè)特征通道的重要程度，再根據(jù)重要程度去提升有用的特征并抑制對(duì)當(dāng)前淡水魚(yú)體語(yǔ)義分割任務(wù)用處不大的特征。與傳統(tǒng)Deeplabv3+方法相比較，優(yōu)化后的網(wǎng)絡(luò)在MIoU上提高到了93%，檢測(cè)速度下降到42 ms,損失函數(shù)的損失值降低了0.15，實(shí)現(xiàn)了淡水魚(yú)體各部位更好的識(shí)別與檢測(cè)。

3) 在語(yǔ)義分割的基礎(chǔ)上，可以進(jìn)一步將其應(yīng)用到魚(yú)體的三維建模上，實(shí)現(xiàn)淡水魚(yú)體空間位置的語(yǔ)義點(diǎn)云獲取，有利于進(jìn)一步精細(xì)化淡水魚(yú)體語(yǔ)義分割結(jié)果。