趙德安 劉曉洋 孫月平 吳任迪 洪劍青 阮承治

(江蘇大學電氣信息工程學院， 鎮(zhèn)江 212013)

0 引言

我國河蟹養(yǎng)殖業(yè)增長迅速，養(yǎng)殖面積約47萬hm2，年產(chǎn)量約80萬t，總產(chǎn)值超過500億元，現(xiàn)已成為中國漁業(yè)生產(chǎn)中最具潛力的支柱產(chǎn)業(yè)[1]。但是相關河蟹養(yǎng)殖技術以及自動化養(yǎng)殖機械方面仍然比較落后，不能滿足工業(yè)化、規(guī)?；酿B(yǎng)殖需求[2]。其中河蟹的自動化投餌是工業(yè)化養(yǎng)殖的重要發(fā)展方向。

目前國內(nèi)外有關水下河蟹識別研究較少，但是機器視覺在漁業(yè)生產(chǎn)中的應用研究已經(jīng)得到部分學者的關注。JIANG等[3]采用粒子濾波算法實現(xiàn)了實驗室環(huán)境下河蟹的自動視頻跟蹤，但并未涉及河蟹的識別。王勇平等[4]和胡利永等[5]采用攝像頭對魚群進食的水面進行監(jiān)控，通過分析魚群搶食時造成的水花和波浪確定進食面積變化，從而實現(xiàn)精確投餌。馬國強等[6]采用K-均值聚類算法識別海中水箱養(yǎng)殖的石斑魚，在圖像清晰、干擾較小的情況下能夠達到較高的識別率。

河蟹主要在池塘底部活動，且水質(zhì)條件較差，水中存在氣泡和懸浮物等雜質(zhì)。因此水體會對光線產(chǎn)生較大的衰減作用，對采集圖像的質(zhì)量有較大影響。此外河蟹的形狀與姿態(tài)存在較大差異，這給河蟹識別帶來了難度，傳統(tǒng)目標識別方法難以滿足河蟹的識別需求。近年來深度卷積神經(jīng)網(wǎng)絡的迅猛發(fā)展，為水下河蟹的識別提供了新的方向[7-8]?，F(xiàn)已有學者將此類基于卷積神經(jīng)網(wǎng)絡的目標檢測框架應用于農(nóng)業(yè)和漁業(yè)生產(chǎn)中，并取得了較好的效果[9-11]。傅隆生等[12]采用1998年提出的經(jīng)典卷積神經(jīng)網(wǎng)絡LeNet成功地實現(xiàn)了獼猴桃的識別。熊俊濤等[13]采用更快速卷積神經(jīng)網(wǎng)絡(Faster regions with convolutional neural networks，F(xiàn)aster RCNN)實現(xiàn)了自然環(huán)境下綠色柑橘的識別。薛月菊等[14]采用YOLO V2實現(xiàn)了綠色芒果的識別。

為實現(xiàn)自動投餌船的精確投餌，本文提出基于機器視覺的水下河蟹識別方法。針對水下環(huán)境采用優(yōu)化的Retinex算法對水下圖像進行增強，以提高圖像對比度，增強河蟹在圖像中的細節(jié)表現(xiàn)，然后采用最新的YOLO V3深度學習模型對河蟹進行識別。為科學確定投餌量以及根據(jù)河蟹分布進行精確投餌提供可靠的反饋信息。

1 圖像采集與增強

1.1 圖像采集

實驗樣本圖像采集于江蘇省常州市長蕩湖河蟹養(yǎng)殖基地。圖像采集裝置是廣州海豹光電公司研發(fā)的游弋式渾濁水下監(jiān)控系統(tǒng)，型號為HB-HZSJC-AK。該系統(tǒng)由船體和控制箱兩部分組成。船體如圖1a所示，在船體下方安裝有可伸縮水下攝像頭以及LED輔助照明光源。攝像頭采集的圖像和視頻通過無線網(wǎng)絡傳輸至控制箱，如圖1b所示。在傍晚河蟹覓食時進行圖像采集，如圖1c所示。所采集圖像格式為jpg，圖像分辨率為960像素×576像素。

圖1 圖像采集系統(tǒng)Fig.1 Image acquisition system

1.2 圖像增強

水下攝像頭采集的圖像如圖2a所示。由于水中光線衰減較大造成圖像對比度低，同時由于受到水中雜質(zhì)等影響使得圖像較為模糊。因此，首先需要對圖像進行必要的增強，以便于在后續(xù)識別中提取河蟹特征。水下圖像增強方法主要分為3類：①基于空間域的圖像增強算法，如對比度拉伸、直方圖均衡等。②基于頻域的圖像增強方法，如同態(tài)濾波[15-16]、小波變換等。③基于顏色恒常性理論的增強方法，如自動白平衡、Retinex算法[17-18]等。

實驗分別采用全局直方圖均衡、自適應直方圖均衡、同態(tài)濾波和Retinex算法對水下圖像進行增強。因河蟹與背景并沒有顯著的顏色差異，因此將拍攝的彩色圖像轉(zhuǎn)換為灰度圖像，并針對灰度圖像進行增強。全局直方圖均衡的增強效果如圖2b所示，從圖中可以看出該方法對光照不均圖像的增強效果較差，易造成局部過亮從而丟失部分圖像信息。自適應直方圖均衡的增強效果如圖2c所示，自適應直方圖均衡通過改變圖像局部對比度增強了圖像細節(jié)同時也克服了全局直方圖均衡的缺陷，但是增強效果并不顯著。圖2d是同態(tài)濾波的效果圖，增強后的圖像雖然在視覺上更加純凈，但是其對比度弱于圖2c。相對于圖2c，Retinex算法的增強效果(圖2e)更差，且圖像整體偏亮。因此，上述4種圖像增強方法均未達到預期的增強效果。

圖2 不同方法增強效果對比Fig.2 Comparisons of different image enhancement methods

圖3 優(yōu)化算法的增強效果對比Fig.3 Comparisons of optimized image enhancement methods

為了達到理想的圖像增強效果，結(jié)合上述結(jié)果，采用自適應直方圖均衡分別對同態(tài)濾波和Retinex算法進行優(yōu)化。優(yōu)化后的圖像增強效果如圖3所示。對比圖3a和圖3b可以看出，經(jīng)優(yōu)化的同態(tài)濾波算法增強后，圖像中的暗區(qū)域都得到了相應增強；而優(yōu)化的Retinex算法對細節(jié)不顯著的區(qū)域增強效果較優(yōu)化的同態(tài)濾波算法差。河蟹作為圖像檢測對象，自身具有大量的細節(jié)特征。兩種方法對檢測對象河蟹的增強效果是相當?shù)?，?yōu)化的Retinex算法對細節(jié)不顯著區(qū)域的增強效果較差，能夠減少后續(xù)識別的干擾，因此選擇優(yōu)化的Retinex算法作為水下圖像的增強算法。

Retinex算法將圖像理解為入射圖像和反射圖像的乘積，即

T(x,y)=G(x,y)H(x,y)

(1)

式中T——給定圖像

G——反射圖像

H——入射圖像

x、y——圖像中像素的橫、縱坐標值

入射圖像對應圖像的低頻部分，而反射圖像對應圖像的高頻部分。優(yōu)化的Retinex算法對水下圖像進行增強的流程如圖4所示。首先將原圖轉(zhuǎn)換為灰度圖像，然后通過頻域低通濾波估算出入射圖像，接著將灰度圖像和入射圖像轉(zhuǎn)換到對數(shù)域相減，從而得到反射圖像，最后采用自適應直方圖均衡再次對反射圖像進行增強。其中，對數(shù)變換是為了實現(xiàn)式(1)中入射圖像和反射圖像的分離，以便于通過減法操作得到反射圖像。

圖4 Retinex算法增強圖像流程圖Fig.4 Flow chart of image enhancement by Retinex

2 水下河蟹識別

YOLO是近年來被廣泛應用的目標檢測深度學習框架[19]，本文采用最新提出的YOLO V3對河蟹進行識別定位。

2.1 建立數(shù)據(jù)集

圖5 數(shù)據(jù)集樣本標注Fig.5 Labelled images in dataset

深度學習對于訓練樣本的數(shù)量要求較大，數(shù)據(jù)量的多少會直接影響河蟹的識別精度。為建立可供YOLO V3訓練和測試的數(shù)據(jù)集，實驗通過多渠道采集實驗圖像。在長蕩湖河蟹養(yǎng)殖基地采集的水下河蟹圖像共計1 731幅，抽取其中1 500幅(圖5b)進行圖像增強，然后用于YOLO V3模型的訓練和性能測試，剩余圖像用于后續(xù)的對比實驗。為了進一步豐富數(shù)據(jù)集并提高網(wǎng)絡泛化能力，在實驗室環(huán)境下采集河蟹圖像1 000幅(圖5a)，此外在互聯(lián)網(wǎng)上下載河蟹圖像1 000幅(圖5c)。共計3 500幅河蟹圖像用于YOLO V3模型的訓練和測試，其中70%用于訓練，30%用于測試。但是仍然達不到模型訓練的數(shù)量要求，因此需要對數(shù)據(jù)集進行擴增。通過沿縱向和橫向翻轉(zhuǎn)圖像、平移圖像、縮放圖像、添加高斯噪聲、旋轉(zhuǎn)圖像以及裁剪圖像等方法，對圖像數(shù)據(jù)集進行擴增。

完善的數(shù)據(jù)集除了包括大量的樣本圖像，還需要對圖像中的檢測目標進行標注。實驗采用矩形框?qū)有愤M行標注，但是河蟹具有1對蟹螯和4對蟹腿，若將其全部框選進行標注則會使得標注區(qū)域包含大量背景。背景中存在的無用特征會干擾模型的訓練和性能表現(xiàn)。因此，人工標注河蟹時只關注河蟹的主要特征，主要對河蟹的身體和1對蟹螯進行框選。具體標注情況如圖5所示，標注框包含了河蟹的身體和大部分蟹螯以及小部分蟹腿。圖像標注信息采用PASCAL VOC數(shù)據(jù)集的格式進行保存，具體包含所標注圖像在硬盤中的地址、矩形標注框左上角在圖像中的坐標、標注框的長和寬以及標注的類別。因為河蟹的顏色并不是其顯著的特征，為了減少數(shù)據(jù)量并提高YOLO V3的訓練和識別效率，實驗室采集的圖像和網(wǎng)絡下載的圖像均轉(zhuǎn)換為灰度圖像。

2.2 YOLO網(wǎng)絡結(jié)構

YOLO深度卷積神經(jīng)網(wǎng)絡一直以其識別的快速性受到廣泛關注，但是其目標檢測的準確性還相對欠佳。近幾年，YOLO模型通過自身不斷優(yōu)化并吸收單次多類檢測器(Single shot multibox detector，SSD)、Faster RCNN等其他目標檢測模型的優(yōu)點已經(jīng)經(jīng)歷了3個版本的迭代。最新的YOLO V3在識別速度和準確性上都有了顯著改善，并被應用于多個領域。不同于Faster RCNN、區(qū)域全卷積神經(jīng)網(wǎng)絡(Region-based fully convolutional network, R-FCN)等采用區(qū)域建議和分類器相結(jié)合的算法思想，YOLO將圖像分為S×S個網(wǎng)格，通過回歸方法一次性預測所有網(wǎng)格所含目標的包圍框、置信度以及類別概率。因此，YOLO能夠在識別速度上遠超其他目標檢測網(wǎng)絡，其識別速度能夠滿足實際應用場景對實時性的要求。

YOLO V3網(wǎng)絡結(jié)構如圖6a所示，其采用類殘差網(wǎng)絡構造[20]的DarkNet-53作為基礎網(wǎng)絡對目標特征進行學習。殘差網(wǎng)絡的基本結(jié)構單元如圖6b所示，該結(jié)構使得網(wǎng)絡能夠不斷加深且不會造成梯度消失或梯度爆炸，從而加強對圖像特征的學習，提高識別的精確度。從圖6中可以看出，YOLO V3抽取3個不同尺度的圖像特征進行回歸預測，提高了對不同尺度目標的檢測能力。該網(wǎng)絡已經(jīng)在COCO等數(shù)據(jù)集上進行了相應的訓練，但為了提高其對水下河蟹的識別速率和準確性，實驗對網(wǎng)絡結(jié)構進行了必要的調(diào)整。原網(wǎng)絡輸入是尺寸為416像素×416像素×3通道的彩色圖像，這使得YOLO V3的首個卷積層必須采用3維卷積核，以適應對彩色圖像的識別。因為所有圖像為灰度圖像，因此采用2維卷積核替代3維卷積核，從而可以將首個卷積層的權值數(shù)量減少到原來的1/3，從而提高網(wǎng)絡訓練和識別的效率。此外，水下河蟹的識別中需要檢測的目標只有河蟹1個類別，因此通過修改YOLO V3的輸出類別數(shù)量，可以極大地減少網(wǎng)絡所預測張量的維度，使得每個尺度所預測張量的長度僅為18，從而減少不必要的運算量。

圖6 YOLO V3網(wǎng)絡結(jié)構Fig.6 YOLO V3 network structure

2.3 河蟹檢測網(wǎng)絡的訓練

首先將數(shù)據(jù)集中的圖像樣本全部轉(zhuǎn)換為416像素×416像素，以便于輸入網(wǎng)絡進行訓練。訓練時以128幅圖像為一個批次進行小批量訓練，每訓練一批圖像，權值進行一次更新。權值的衰減速率設為0.000 5，動量設置為0.9，初始學習率設為0.001。模型訓練的硬件平臺配置為2個Intel E5-2683處理器，4個顯存為11 GB的 Nvidia GTX1080Ti 顯卡和2根32 GB內(nèi)存條。共對YOLO V3模型進行了6 000次迭代，網(wǎng)絡損失函數(shù)L的輸出如圖7所示。為了清晰地展示損失值的變化，將縱坐標設置為lg(L+1)。從圖7中可以看出，在前250次的迭代中損失值迅速下降，在250次到2 000次迭代中損失值緩慢減小，而2 000次后損失值保持穩(wěn)定沒有顯著變化。在訓練過程中每迭代1 000次輸出一個模型，因此本次訓練共輸出6個模型，依次為模型1～6。

圖7 損失函數(shù)的輸出結(jié)果Fig.7 Output result of loss function

為選取合適的模型，需要采用多種指標對模型的性能進行評判。常用的評價標準包括交并比I，即人工標記框與網(wǎng)絡預測框的交集與并集的比例, 準確率P、召回率R、F1分數(shù)與平均精度均值Q的計算公式為

(2)

(3)

(4)

(5)

式中U——真正，即網(wǎng)絡預測的正樣本中包含正樣本的數(shù)量

V——假正，即網(wǎng)絡預測的正樣本中包含負樣本的數(shù)量

W——假負，即未被網(wǎng)絡預測的正樣本數(shù)量

J——精度均值函數(shù)，即準確率P與召回率R所構成P-R曲線與橫縱坐標所圍成的面積

C——所檢測目標類別的數(shù)量

k——類別序號

實驗只需要檢測河蟹這一類目標，因此，本文C取1。其中，交并比的閾值選擇是直接影響準確率和召回率的重要因素。該閾值越大，準確率越大，召回率反之。實驗目的為檢測河蟹的數(shù)量和分布，因此對交并比的要求不高，但為了保證檢測的準確率，交并比也不能過低，因此選擇交并比I>50%作為判斷目標是否被正確檢測的標準。表1列出了每個模型相應的性能參數(shù)。從表中可以看出，模型1性能最差，而模型3～6性能較好且沒有顯著差異，因此，只在后4個模型中選擇合適的模型進行河蟹識別。為了對4個模型的性能進行恰當?shù)呐判?，需要明確性能參數(shù)的優(yōu)先級。實驗采用的性能參數(shù)優(yōu)先級由大到小為Q、F1、R、P、I。Q是對模型性能衡量最為全面的參數(shù)，排在首位。按照此優(yōu)先級進行排序，模型5的性能最佳，只在準確率和交并比上略差于其他模型。因此選擇模型5對水下河蟹進行檢測。

表1 輸出網(wǎng)絡模型的性能參數(shù)Tab.1 Performance parameters of output network model %

3 實驗與討論

3.1 不同類型河蟹的識別

為了進一步測試所選取的網(wǎng)絡模型對河蟹的識別能力，對實驗室和水下采集的河蟹圖像以及水下不同尺寸河蟹的圖像分別進行識別。實驗室環(huán)境下采集的河蟹圖像背景簡單，干擾少，河蟹特征清晰。通過對比所選模型對水下河蟹與實驗室環(huán)境下河蟹的識別效果，可以看出水下環(huán)境對河蟹識別的影響。此外，由于池塘底部的起伏造成拍攝的河蟹圖像尺寸存在較大差異，且YOLO V3模型對不同尺寸的目標識別能力存在一定的差異，因此對水下河蟹按尺寸進行分類，驗證所選取模型對不同尺寸河蟹的識別能力。河蟹尺寸按照河蟹占圖像總面積的百分比進行分類，百分比為5%及以下的河蟹為小尺寸河蟹(圖8a)，百分比5%～20%的河蟹為中尺寸河蟹(圖8b)，百分比20%及以上的河蟹為大尺寸河蟹(圖8c)。

表2列出了所選取模型對不同類型河蟹識別結(jié)果的相關統(tǒng)計參數(shù)，表中“數(shù)量”表示測試圖像中人工統(tǒng)計的河蟹數(shù)量。從表中可以看出，所選模型對實驗室采集的河蟹圖像的識別準確率100%，既沒有誤識別也不存在漏識別，并且交并比也同樣很高。這說明所選模型在簡單背景下能夠保證超高的識別準確率。從所選模型對水下圖像的識別統(tǒng)計參數(shù)可以看出，水下環(huán)境對河蟹的檢測產(chǎn)生了較大的干擾，使得各項參數(shù)都有所下降，而其中小尺寸河蟹的識別效果最差。一方面是因為小尺寸河蟹與攝像頭和光源距離較遠且光線在水中衰減過快，使得小尺寸河蟹圖像較為模糊，特征不明顯，另一方面是因為YOLO V3模型自身對小尺寸目標的檢測效果稍有欠缺。中尺寸河蟹的識別效果較為理想，識別準確率能夠達到較高水平。而大尺寸河蟹圖像中河蟹的特征清晰，其識別效果近似于實驗室環(huán)境下的識別效果，水下環(huán)境對所選模型的識別并未產(chǎn)生顯著影響。

圖8 不同尺寸的河蟹圖像Fig.8 Crab images in different sizes

類型數(shù)量I/%UVWP/%R/%F1/%實驗室圖像9693.869600100100100水下圖像 25381.2623182296.6591.3093.90小尺寸河蟹6873.825341592.9877.9484.80中尺寸河蟹13384.621263797.6794.7496.18大尺寸河蟹5285.34521098.1110099.05

圖9展示了部分識別錯誤的河蟹圖像，圖9a和圖9c是因為網(wǎng)絡所預測的目標位置與實際目標位置偏差較大被判斷為識別錯誤。圖9b存在漏識別，下方的河蟹沒有被成功檢測，而圖9d則存在誤識別。

3.2 不同方法的檢測效果對比

為進一步驗證YOLO V3對于水下河蟹識別的可靠性，分別與基于區(qū)域建議機制的Faster RCNN[21]和傳統(tǒng)的梯度方向直方圖(Histogram of oriented gradient，HOG)+支持向量機(Support vector machine，SVM)[22]的方法進行比較。Faster RCNN經(jīng)歷了從RCNN、Fast RCNN等多個版本的迭代，通過加入?yún)^(qū)域建議網(wǎng)絡(Region proposal net, RPN)實現(xiàn)了端到端的目標檢測，使得識別速率和準確率都得到了較大的提高。HOG+SVM最早用于行人檢測，該方法通過多尺度滑窗提取圖像的HOG形狀特征并采用SVM對特征向量進行分類，對于不規(guī)則形狀物體的檢測具有較好的效果。這兩種方法與YOLO V3在相同的數(shù)據(jù)集上進行訓練并在同一硬件平臺上運行，該硬件平臺配置為i5-7400 處理器，主頻3 GHz，8 GB內(nèi)存。

圖9 部分存在錯誤識別的圖像Fig.9 Examples of falsely detected crabs

表3列出了3種方法對于水下河蟹識別效果的統(tǒng)計參數(shù)。從表中可以看出，F(xiàn)aster RCNN的識別效果與YOLO V3相當，且略優(yōu)于YOLO V3的識別效果，但是其識別速率與YOLO V3相差較大。HOG+SVM對于河蟹的識別效果最差，存在較多的漏識別和誤識別且識別速率也最慢。通過具體分析錯誤識別的圖像可知，HOG+SVM對于較為模糊的圖像識別能力較差，從而產(chǎn)生較多的漏識別。此外，不同于行人在圖像中的方向具有一致性，河蟹在圖像中的姿態(tài)和朝向存在較大差異，這使得HOG特征分布離散，SVM難以分類，因此造成較多的誤識別。綜合識別效果和運行速率來看，YOLO V3是3種方法中最適合用于搭載在河蟹自動投餌船上對水下河蟹進行識別的算法。

表3 不同方法識別統(tǒng)計參數(shù)Tab.3 Statistical parameters of different methods

4 結(jié)論

(1)針對水下環(huán)境采集圖像質(zhì)量差的特點，提出了有效的水下圖像增強方法。通過對比多種圖像增強方法，最終選擇優(yōu)化的Retinex算法對水下河蟹圖像進行增強，使得水下河蟹特征更加明顯，為后續(xù)模型訓練和特征學習提供了基礎。

(2)基于深度卷積神經(jīng)網(wǎng)絡的YOLO V3模型目標檢測框架，通過修改網(wǎng)絡的輸入輸出構建適合河蟹識別的網(wǎng)絡結(jié)構，并構建數(shù)據(jù)集對模型進行訓練和性能測試，最終輸出模型的平均精度均值達86.42%，對水下河蟹識別準確率為96.65%，召回率為91.30%。

(3)對比了所選訓練模型對不同環(huán)境下河蟹的識別效果，表明YOLO V3模型在河蟹特征清晰、環(huán)境干擾小的情況下能夠?qū)崿F(xiàn)接近100%的識別精度，對水下小尺寸河蟹這類特征模糊、干擾較多的情況識別率較低。

(4)通過與Faster RCNN、HOG+SVM進行河蟹識別效果對比，只有YOLO V3能夠在保證識別效果的同時確保識別速率。在同一硬件平臺上YOLO V3識別速率達10.67 f/s。