王　斌， 徐建瑜， 王春琳

(1 寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211；2 寧波大學(xué)海洋學(xué)院，浙江 寧波 315211)

?

基于計算機視覺的梭子蟹蛻殼檢測及不同背景對蛻殼的影響

王斌1， 徐建瑜1， 王春琳2

(1 寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江 寧波 315211；2 寧波大學(xué)海洋學(xué)院，浙江 寧波 315211)

摘要：為研究不同背景(白色無沙、藍色無沙、藍色有沙)對三疣梭子蟹(Portunus trituberculatus)蛻殼持續(xù)時長與蛻殼周期的影響，搭建了3組24 h連續(xù)拍攝梭子蟹蛻殼的循環(huán)水養(yǎng)殖實驗環(huán)境，從稚蟹5期開始拍攝不同背景下養(yǎng)殖的梭子蟹30 d，并設(shè)計了一種基于計算機視覺技術(shù)的梭子蟹蛻殼自動檢測方案。該方案運用了圖像處理中數(shù)學(xué)形態(tài)學(xué)方法成功實現(xiàn)了無沙背景的蛻殼自動檢測，檢測準確率達到97.9%，同時訓(xùn)練Adaboost分類器自動檢測有沙背景的蛻殼行為，準確率達到79.5%。結(jié)果顯示，藍色有沙背景組的梭子蟹蛻殼持續(xù)時長縮短了15.3%，蛻殼周期縮了12.0%，梭子蟹蛻殼時間主要集中在3∶00—6∶00及18∶00—21∶00兩個時段。研究表明，三疣梭子蟹更適合在有沙背景中蛻殼。

關(guān)鍵詞：三疣梭子蟹；背景選擇；蛻殼；計算機視覺；自動檢測

三疣梭子蟹(Portunustrituberculatus)作為大型海產(chǎn)經(jīng)濟類蟹，是我國重要的水產(chǎn)養(yǎng)殖品種之一[1]。三疣梭子蟹一生蛻殼13次左右，每次蛻殼都是梭子蟹生長的關(guān)鍵時刻。影響梭子蟹蛻殼生長的因素有很多，如：高溫可以加快梭子蟹蛻殼后的硬化速度[2]，高鹽度會抑制梭子蟹新殼的硬化[3-4]，梭子蟹可以通過水中溶氧含量調(diào)節(jié)生理成分指標[3,5]，在1 500 lx光照強度下受到的脅迫小、代謝水平高[6]等。背景環(huán)境對水產(chǎn)生物生長的影響(增長率、能量消耗、存活率、覓食、色變、光譜敏感度)也一直受到關(guān)注[7-10]。但是，關(guān)于不同背景對梭子蟹蛻殼生長影響的研究尚未見報導(dǎo)。

計算機視覺技術(shù)在水產(chǎn)養(yǎng)殖中包括生物計數(shù)、尺寸和重量估計、性別鑒定和質(zhì)量評估、物種和品種鑒定、狀態(tài)檢測等方面[11-13]的應(yīng)用越來越廣泛，利用計算機視覺技術(shù)不僅可以有效地減少量化數(shù)據(jù)帶來的主觀誤差，而且也可以方便地獲取手工測量難以得到的數(shù)據(jù)。為此，提出了一種基于計算機視覺的梭子蟹蛻殼自動檢測方法，并在此基礎(chǔ)上分析了不同背景對梭子蟹蛻殼的影響。

1材料與方法

1.1試驗材料

三疣梭子蟹樣本于2014年7—8月捕自浙江省寧波市象山縣鑫億鮮活水產(chǎn)有限公司養(yǎng)殖場內(nèi)，所有梭子蟹樣本都為稚蟹5期，且保持健康活躍的狀態(tài)，并在水箱中適應(yīng)一段時間。

梭子蟹蛻殼圖像采集裝置由實驗裝置盒、三腳架、Basler工業(yè)相機和計算機組成(圖1)。蟹盒為亞克力材料制成，尺寸為48 cm×36 cm×12 cm，外部有不同顏色的貼紙，蟹盒中的九宮格通過小孔保持水源流通，水循環(huán)系統(tǒng)保持與相同外界水源的流通，并實時記錄該水源的水溫、溶氧、鹽度、pH等。3個獨立的攝像頭分辨率均為1 600 pix×1 200 pix，夜間采用850 nm的紅外光源照明拍攝，每個攝像頭同時拍攝9只梭子蟹，并實時通過千兆交換機把拍攝視頻傳輸?shù)接嬎銠C上，再根據(jù)算法程序自動檢測梭子蟹是否蛻殼。

1.梭子蟹　2.攝像頭　3.蟹盒　4.計算機　5.交換機6.三腳架　7.進水口　8.出水口圖1　圖像采集示意圖Fig.1　Diagram of image acquisition

1.2試驗方法

試驗開始前，為避免外界細菌感染梭子蟹，需對蟹盒裝置和細沙進行高錳酸鉀消毒。然后調(diào)整三腳架的高度和相機的焦距，使整個拍攝畫面清晰、完整。

實驗背景分為白色無沙、藍色無沙和藍色有沙，每個背景下選擇9只梭子蟹樣本進行觀察，直到梭子蟹蛻殼2次達到第7期為止。因為無法判斷梭子蟹第5期的蛻殼時間，所以本文計算的是第6期至第7期的蛻殼天數(shù)。實驗過程中，海水溫度26～29 ℃，溶氧6.5～8.0 mg/L，鹽度21～25，pH 7～8。實驗進行了30 d，基本保證了每只蟹都蛻殼2次。拍攝視頻的幀速為1 FPS，視頻的編碼方式為Xvid視頻編碼，視頻的輸出格式為.avi。

利用計算機視覺技術(shù)自動識別梭子蟹的蛻殼行為，是根據(jù)蛻殼后梭子蟹的殼變?yōu)?個來識別檢測的。在無沙背景下比較容易分辨出梭子蟹的蛻殼行為，主要從圖像處理角度來設(shè)計蛻殼檢測算法；而有沙背景與梭子蟹的殼色比較相近，較難分辨出來，因此采用機器學(xué)習(xí)訓(xùn)練分類器的方法來設(shè)計蛻殼檢測算法。

2蛻殼檢測

2.1無沙背景下的蛻殼檢測

在白色無沙與藍色無沙背景下，運用數(shù)字圖像處理中數(shù)學(xué)形態(tài)學(xué)[14]的方法，通過分割兩個不同的最大連通域來分辨2個不同的蟹殼，從而檢測梭子蟹的蛻殼行為(圖2)。

圖2　無沙背景下的蛻殼圖像處理Fig.2　Processes of molting image in non-sand background

圖2a為蛻殼原灰度圖，使用OTSU法[15]二值化原圖，得到二值化圖像(圖2b)，由圖2b看出依然有比較多的噪聲點，且兩個蟹殼連在一起；再選擇大小為7×7的結(jié)構(gòu)元素，通過開運算來去除部分噪聲，同時可以分隔開兩個蟹殼區(qū)域(圖2c)；圖2d是圖2c的連通域，根據(jù)連通域面積大于200像素且長寬比大于1/3來篩選出蟹殼區(qū)域(圖2e)；圖2f是限制長寬比得到的結(jié)果圖，最終成功得到兩個蟹殼連通域圖像。

2.2有沙背景下的蛻殼檢測

由于有沙背景比較復(fù)雜，且與蟹殼圖像的灰度值相近，所以通過數(shù)字圖像處理的方法不易得到2個蟹殼圖像來判斷梭子蟹是否蛻殼。因此將通過訓(xùn)練梭子蟹蟹殼分類器的方法來識別蟹殼。首先通過提前收集好的梭子蟹圖像與蟹殼圖像離線訓(xùn)練分類器，然后使用窮盡匹配的方式進行在線蟹殼目標檢測，其中最重要的是選擇特征，建立一個分類器。檢測梭子蟹蛻殼分為訓(xùn)練分類器和使用分類器兩部分(圖3)。

2.2.1訓(xùn)練分類器

訓(xùn)練分類器(圖4)的核心思想是采用Adaboost算法[16]訓(xùn)練梭子蟹模型。具體訓(xùn)練梭子蟹分類器主要步驟如下：

(1)準備訓(xùn)練集。收集各種條件下的梭子蟹圖片500張，并將其歸一化為24×24像素大小，并加以旋轉(zhuǎn)和調(diào)節(jié)亮度處理形成2 000張作為正樣本。選擇不含有梭子蟹的圖片2 000張作為負

圖3　有沙背景下的蛻殼檢測流程圖Fig.3　Flow chart of molting detection in sand background

樣本，為了保證訓(xùn)練分類器的魯棒性，負樣本的圖片應(yīng)保證多樣性。

(2)提取特征。訓(xùn)練一個好的梭子蟹模型，關(guān)鍵是選擇一些適合的梭子蟹特征。比較優(yōu)秀的局部特征有Haar-like[17]特征和LBP特征[18]，可以根據(jù)需要選擇適合的模型特征。本文選擇Haar-like特征，通過特征模板在圖像中移動，根據(jù)積分圖運算法則計算梭子蟹圖像的Haar-like特征。

(3)生成弱分類器。每一個Haar-like 特征都對應(yīng)著一個弱分類器，每一個弱分類器都是根據(jù)它所對應(yīng)的Haar-like特征的參數(shù)來定義的。訓(xùn)練最優(yōu)弱分類器的過程實際上就是在尋找合適的分類器閾值，使該分類器對所有樣本的判讀誤差最低。

(4)根據(jù)誤差率最小原理來挑選最優(yōu)的弱分類器，并根據(jù)誤差率來計算每個弱分類器相應(yīng)權(quán)重，最后當誤差率小于閾值時，即可聯(lián)成一個強分類器。

圖4　Adaboost訓(xùn)練流程圖Fig.4　Flow chart of training classifier with Adaboost

2.2.2使用分類器

利用已經(jīng)訓(xùn)練好的分類器來檢測梭子蟹蛻殼。使用分類器主要分為以下兩個部分：(1)遍歷圖像，選擇各種尺度，遍歷梭子蟹蛻殼視頻圖像，以便識別不同大小的目標圖像。(2)特征提取與比較，選擇相應(yīng)的Haar-like特征，然后從上述遍歷的圖像部分提取特征，再與訓(xùn)練好的梭子蟹模型比較，判斷所遍歷區(qū)域是否是梭子蟹。若遍歷的整個圖像有兩個梭子蟹模型，則判斷梭子蟹已蛻殼。圖5a為蛻殼前檢測出一個蟹殼，圖5b檢測出2個蟹殼，即被認為是蛻殼后。

a　　　　　　　　　　　b圖5　基于Adaboost算法的蟹殼檢測結(jié)果Fig.5　Result of detection based on Adaboost

2.3蛻殼檢測算法結(jié)果

蛻殼檢測算法預(yù)測的結(jié)果可以用準確率P、召回率R、分值S來衡量，計算公式分別為：

式中：TP—真正類(true positive)，即實例是正類，也被預(yù)測成正類；TN—真假類(true negative)，即實例是負類，也被預(yù)測成負類(表1)；FP—假正類(false positive)，即實例是負類，也被預(yù)測成正類；FN—假負類(false negative)，即正類被預(yù)測成負類。本文選擇了50個蛻殼的正樣本和50個未蛻殼的負樣本進行測試，無沙與有沙背景檢測蛻殼結(jié)果見表1。由表1可知，無沙背景的score分值高達94.9%，有沙背景的score分值為74.5%，基本可以滿足梭子蟹蛻殼的預(yù)測。

表1　無沙與有沙背景下檢測蛻殼預(yù)測結(jié)果

3試驗結(jié)果

3.1蛻殼持續(xù)時長

梭子蟹蛻殼時是其最為脆弱的時刻，也容易受到同類或其他物種的襲擊，所以蛻殼持續(xù)時間越長受到攻擊的概率也就越大。同時，在蛻殼過程中，梭子蟹容易受到外界環(huán)境的干擾而蛻殼未遂，造成斷肢或死亡，因而蛻殼持續(xù)時間越短，順利蛻殼的可能性也就越大。

蛻殼持續(xù)時長的計算是從梭子蟹尾殼微微裂開(圖6a)到新蟹完全從蟹殼蛻出(圖6b)。

圖6　梭子蟹蛻殼始末Fig.6　Diagram of molting start and end

蛻殼的持續(xù)時長可以從梭子蟹蛻殼的視頻中計算出來，表2是不同背景中梭子蟹的蛻殼持續(xù)時間。從表中可以看出，藍色有沙背景比其它2個對照組的蛻殼平均持續(xù)時間縮短了15.3%，白色無沙與藍色無沙的蛻殼持續(xù)時長基本相同。

表2　不同背景下的蛻殼持續(xù)時長

注：“—”表示梭子蟹蛻殼死亡，下同。

3.2蛻殼周期

蛻殼周期是指梭子蟹2次蛻殼的時間間隔，文中計算的是第6期到第7期的蛻殼周期。不同背景的蛻殼周期見表3。可以看出，有沙的蛻殼周期會縮短12.6%，而白色無沙和藍色無沙背景的蛻殼周期基本相同。

表3　不同背景下的蛻殼周期

3.3蛻殼時間點分布

分析蛻殼時間點有助于判斷梭子蟹更傾向于在哪個時間段發(fā)生蛻殼行為?？偣才臄z到54次梭子蟹的具體蛻殼時間(圖7)。可以看出，梭子蟹蛻殼時刻主要集中在3∶00—6∶00及18∶00—21∶00兩個時段，而其他時間段比較隨機。

圖7　蛻殼時間直方圖Fig.7　Histogram of molting time

4討論

4.1蛻殼檢測算法

蛻殼檢測算法中，無沙背景的score分值高達94.9%，基本可以滿足梭子蟹蛻殼的預(yù)測。正樣本中有4例被錯誤預(yù)測成負樣本是因為：一是2個蟹殼比較靠近沒有分割開來，二是大面積的喂養(yǎng)餌料被誤認為是蟹殼。此外，面積法[19]也是一種計算蛻殼檢測的方法，即前景像素大于閾值時規(guī)定為蛻殼，但此方法易受殘餌、糞便、邊緣等因素干擾。

有沙背景的score分值為74.5%，原因可能是由于梭子蟹蛻殼的訓(xùn)練樣本比較少，從而使正樣本被分類成正樣本的數(shù)目比較少。從有沙蛻殼圖(圖5)可以看出，蟹殼與背景沙子的顏色比較接近，但蟹殼紋理特征比較光滑，所以下一步可以嘗試替換局部區(qū)域特征來替換Haar-like特征來訓(xùn)練分類器，提高識別率。

4.2不同背景對蛻殼的影響

蛻殼是甲殼類生物生長的必經(jīng)過程，從幼體到成體，需要經(jīng)歷多次蛻殼。蛻殼持續(xù)時長、蛻殼周期與蛻殼時間點分布，除與甲殼類生物本身有關(guān)外，還取決于外界的環(huán)境因素，例如生長的背景環(huán)境。不同的背景環(huán)境下，甲殼類蛻殼情況差異較大。

研究結(jié)果表明，三疣梭子蟹在藍色有沙背景中比其它2個對照組的蛻殼平均持續(xù)時間縮短了15.3%，其原因可能是因為梭子蟹在自然環(huán)境下習(xí)慣于有沙背景，容易找到遮蔽物保護自己順利蛻殼，也有可能是因為有沙背景摩擦力大，更利于蛻殼。有沙背景的蛻殼周期會縮短12.6%，而在無沙的白色和藍色背景下，蛻殼周期基本相同，所以優(yōu)先選擇有沙背景進行軟殼蟹的養(yǎng)殖，但這也增加了蛻殼識別的難度。蛻殼周期的縮短有利于梭子蟹上市時間的提前，而且可以在一定程度上減少餌料的消耗。梭子蟹蛻殼時刻主要集中在3∶00—6∶00及18∶00—21∶00兩個時段，可能是這兩個時段是天黑，梭子蟹蛻殼更加安全。蛻殼時間分布規(guī)律對后期生產(chǎn)軟殼蟹有指導(dǎo)意義。

5結(jié)論

三疣梭子蟹的蛻殼是梭子蟹生命中尤為重要的階段。本文基于計算機視覺技術(shù)實現(xiàn)了梭子蟹蛻殼的自動檢測，并探討了不同背景對梭子蟹蛻殼持續(xù)時長和蛻殼周期的影響，從而選擇更加適合梭子蟹蛻殼的外界背景環(huán)境。結(jié)果顯示，梭子蟹更適合在有沙背景中蛻殼，但有沙背景增加了養(yǎng)殖過程中水循環(huán)處理凈化的難度，同時也增加了梭子蟹蛻殼自動檢測的難度，而梭子蟹蛻殼檢測是后續(xù)軟殼蟹大批量生產(chǎn)的重要環(huán)節(jié)。本文分別利用不同的方法檢測了梭子蟹的蛻殼行為，無沙背景的檢測更為簡單有效，有沙背景與梭子蟹的顏色比較接近，因此選擇模式識別訓(xùn)練分類器的方法來識別蛻殼。為了得到更加嚴謹和全面的結(jié)論，增加每組背景環(huán)境中梭子蟹的數(shù)量，同時考慮盡可能多的蛻殼期數(shù)，是未來實驗研究方向之一。

□

參考文獻

[1]史會來,金翀略,林桂裝,等.浙江三疣梭子蟹養(yǎng)殖現(xiàn)狀[J].河北漁業(yè), 2010 (7)：39-41.

[2]戴超.溫度對三疣梭子蟹蛻殼、鈣化生理及呼吸代謝的影響[D].青島：中國海洋大學(xué), 2013.

[3]張貴.溶解氧、鹽度、氨氮、亞硝酸鹽氮對三疣梭子蟹存活和攝餌的影響[D].湛江：廣東海洋大學(xué), 2012.

[4]路允良,王芳,趙卓英,等. 鹽度對三疣梭子蟹生長, 蛻殼及能量利用的影響[J].中國水產(chǎn)科學(xué), 2012, 19(2)：237-245.

[5]LIU C B, XIAO M, FENG Y H,etal. Effects of water dissolved oxygen level on physiological responses in portunus trituberculatus (Miers, 1876) [J]. Chinese Journal of Animal Nutrition, 2011, 3：23-25.

[6]王馨.光照對三疣梭子蟹行為, 呼吸代謝和生長影響的研究[D].青島：中國海洋大學(xué), 2014.

[7]PAPOUTSOGLOU S E, KARAKATSOULI N, CHIRAS G. Dietary L-tryptophan and tank colour effects on growth performance of rainbow trout (Oncorhynchus mykiss) juveniles reared in a recirculating water system[J]. Aquacultural engineering, 2005, 32(2)：277-284.

[8]MARTINEZ-CARDENAS L, PURSER G J. Effect of tank colour on Artemia ingestion, growth and survival in cultured early juvenile pot-bellied seahorses (Hippocampusabdominalis)[J]. Aquaculture, 2007, 264(1)：92-100.

[9]ULLMANN J F P, GALLAGHER T, HART N S,etal. Tank color increases growth, and alters color preference and spectral sensitivity, in barramundi (Latescalcarifer)[J]. Aquaculture, 2011, 322：235-240.

[10]BATZINA A, KARAKATSOULI N. Is it the blue gravel substrate or only its blue color that improves growth and reduces aggressive behavior of gilthead seabream Sparus aurata?[J]. Aquacultural Engineering, 2014, 62：49-53.

[11]ZION B. The use of computer vision technologies in aquaculture-a review[J]. Computers and electronics in agriculture, 2012, 88：125-132.

[12]徐建瑜,崔紹榮,苗香雯,等.計算機視覺技術(shù)在水產(chǎn)養(yǎng)殖中的應(yīng)用與展望[J].農(nóng)業(yè)工程學(xué)報, 2006, 21(8)：174-178.

[13]穆春華,范良忠,劉鷹.基于計算機視覺的循環(huán)水養(yǎng)殖系統(tǒng)殘餌識別研究[J].漁業(yè)現(xiàn)代化, 2015, 42(2)：33-37.

[14]王樹文,閆成新,張?zhí)煨?等.數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用[J].計算機工程與應(yīng)用, 2005, 40(32)：89-92.

[15]OTSU N. A threshold selection method from gray-level histograms[J]. Automatica, 1975, 11(285-296)：23-27.

[16]FREUND Y, SCHAPIRE R E. Experiments with a new boosting algorithm[C]//ICML, 1996, 96：148-156.

[17]VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C]//CVPR, 2001, 1：511-518.

[19]王碩,范良忠,劉鷹. 基于計算機視覺的大菱鲆魚苗計數(shù)方法研究[J].漁業(yè)現(xiàn)代化, 2015, 42(1)：16-19.

Computer-vision based molting detection ofPortunustritubercularusand effects of different backgrounds on molting

WANG Bin1， XU Jianyu1， WANG Chunlin2

(1FacultyofInformationScienceandTechnology,NingboUniversity,Ningbo315211,China;2SchoolofMarineScience,NingboUniversity,Ningbo315211,China)

Abstract：To observe the impacts of different backgrounds (white without sand, blue without sand, and blue with sand) on molting duration and molting cycle of Portunus tritubercularus, 3 groups of experimental aquaculture environment were built up with circulating water and 24-hour continuous monitoring. All crabs in the three different backgrounds were observed for 30 days since they grew into fifth-period juveniles, and a detection scheme for crab molting based on computer vision was designed, which, by using the mathematical morphology method of image processing, successfully realized the automatic detection of molting in the background without sand with a precision rate of 97.9%; meanwhile, molting of the with-sand group was detected using Adaboost classifier and the precision rate was 79.5%. The data showed that molting duration was reduced by 15.3% and molting cycle was shortened by 12.0% in the blue with sand group. Besides, molting activity occurred at two peak times respectively between 3∶00- 6∶ 00 and 18∶00-21∶ 00. Therefore, Portunus tritubercularus prefers molting in sand background.

Key words：Portunus tritubercularus; background selection; molting; computer vision; detection

中圖分類號：TP391

文獻標志碼：A

文章編號：1007-9580(2016)02-011-06

DOI：10.3969/j.issn.1007-9580.2016.02.003

作者簡介：王斌(1990—)，男，碩士研究生，研究方向：圖像處理與機器視覺。E-mail：beenkinger@gmail.com通信作者：徐建瑜(1973—)，女，副教授，博士，研究方向：生物圖像處理與水產(chǎn)養(yǎng)殖工程。E-mail：xujianyu@nbu.edu.cn

基金項目：寧波大學(xué)學(xué)科項目“水產(chǎn)養(yǎng)殖苗期生物信息獲取關(guān)鍵技術(shù)研究(XKL 14D2052)”；浙江省重大科技攻關(guān)專項“智能集約化水產(chǎn)養(yǎng)殖生物信息識別系統(tǒng)的研發(fā)(2011B81003)”

收稿日期：2016-01-21修回日期：2016-03-18