陳彩文， 杜永貴， 周 超， 孫傳恒

(1.太原理工大學(xué)信息工程學(xué)院，山西太原 030024；2.國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心/農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室/北京市農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心，北京 100097)

隨著中國(guó)水產(chǎn)養(yǎng)殖業(yè)的快速發(fā)展，魚類的精細(xì)養(yǎng)殖技術(shù)在現(xiàn)代工廠化水產(chǎn)養(yǎng)殖中受到了越來越多的關(guān)注。在生產(chǎn)中，魚的攝食行為能夠反映其生理狀況及養(yǎng)殖條件是否合適等。同時(shí)正確地識(shí)別魚群攝食行為不僅可以提高魚類的養(yǎng)殖效率、避免水質(zhì)污染，而且可以壓縮生產(chǎn)成本。因此，研究魚群的攝食行為對(duì)提升魚類養(yǎng)殖技術(shù)具有積極作用[1-3]。但當(dāng)前大部分的魚類養(yǎng)殖還是基于人工觀測(cè)的投喂模式，而人工投喂須要養(yǎng)殖人員具有一定的養(yǎng)殖經(jīng)驗(yàn)[4-5]。通過人眼正確地判斷出魚群的攝食狀態(tài)，并根據(jù)經(jīng)驗(yàn)人為地投放相應(yīng)的投餌量。但是，高昂的人工成本及投喂飼料的主觀性極大地影響了生產(chǎn)過程中的效率。因此，正確識(shí)別出魚群的攝食行為對(duì)工廠精細(xì)化養(yǎng)殖具有重要的實(shí)用價(jià)值[6-7]。

利用計(jì)算機(jī)視覺技術(shù)及時(shí)發(fā)現(xiàn)和檢測(cè)魚類的運(yùn)動(dòng)狀態(tài)，可以為魚類的餌料量提供重要的參考信息。計(jì)算機(jī)視覺技術(shù)因其非接觸、高精度、可量化的優(yōu)點(diǎn)，目前已逐漸應(yīng)用于動(dòng)物自動(dòng)識(shí)別研究領(lǐng)域。隨著現(xiàn)代魚類養(yǎng)殖檢測(cè)技術(shù)的進(jìn)步，不少國(guó)內(nèi)外專家已將計(jì)算機(jī)視覺技術(shù)應(yīng)用到水產(chǎn)品檢測(cè)與分級(jí)中，并取得了一定的成果[8-10]。在運(yùn)動(dòng)目標(biāo)檢測(cè)方面，Kato等開發(fā)了1個(gè)金魚目標(biāo)檢測(cè)與跟蹤系統(tǒng)，實(shí)現(xiàn)了對(duì)金魚的自動(dòng)檢測(cè)與行為識(shí)別[11]；Ma等利用計(jì)算機(jī)視覺系統(tǒng)跟蹤魚的軌跡來監(jiān)測(cè)水質(zhì)[12]；張志強(qiáng)等利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)了對(duì)鰱魚、鯽魚、鳊魚和鯉魚的分類識(shí)別，準(zhǔn)確率高達(dá)96.67%[13]。于欣等利用光流法和特征統(tǒng)計(jì)的方法對(duì)魚群的異常行為進(jìn)行檢測(cè)，取得了較好的試驗(yàn)效果[14]。但目前對(duì)魚群運(yùn)動(dòng)狀態(tài)識(shí)別的相關(guān)研究還較少。因此，本研究嘗試?yán)糜?jì)算機(jī)視覺技術(shù)對(duì)魚群的運(yùn)動(dòng)狀態(tài)進(jìn)行分類識(shí)別，以期達(dá)到對(duì)魚類的自動(dòng)監(jiān)測(cè)。

1 試驗(yàn)材料和設(shè)備

本試驗(yàn)在北京小湯山國(guó)家精準(zhǔn)農(nóng)業(yè)示范基地的循環(huán)水養(yǎng)殖系統(tǒng)的養(yǎng)殖池中進(jìn)行。本研究選用鏡鯉魚群作為試驗(yàn)對(duì)象，為保證圖片的成像質(zhì)量，相機(jī)架在養(yǎng)殖池的斜上方，拍攝時(shí)適當(dāng)?shù)卣{(diào)整相機(jī)的角度，使相機(jī)的視野能夠清晰地拍到魚群的運(yùn)動(dòng)情況。然后從所拍攝的圖片中，挑選成像質(zhì)量較好的魚群正常游動(dòng)時(shí)的圖片和攝食時(shí)的圖片進(jìn)行分析。

本試驗(yàn)所采用的數(shù)據(jù)集為自制的魚群圖片，魚群圖片庫共有420張圖片(210張魚群在正常游動(dòng)下的圖片和210張魚群在攝食時(shí)的圖片)，分別把魚群運(yùn)動(dòng)圖片庫中魚群正常游動(dòng)狀態(tài)和魚群在攝食狀態(tài)的前110張圖片作為訓(xùn)練集，后100張魚群正常游動(dòng)時(shí)的圖片和魚群在攝食時(shí)的圖片作為測(cè)試集，即訓(xùn)練集共有220張圖片、測(cè)試集共有200張圖片。試驗(yàn)所采用的相機(jī)為尼康D90，圖像為1 280×720的真彩圖像，格式為JEPG。圖像分析軟件采用的是MATLAB R2013a和libsvm-mat-2.89工具箱。圖像采集裝置如圖1所示。

2 數(shù)據(jù)處理

由于魚類具有應(yīng)激性，且魚類在水中活動(dòng)會(huì)引起水面不斷波動(dòng)，因此在水中檢測(cè)魚群的運(yùn)動(dòng)狀態(tài)難度較大，但筆者通過對(duì)循環(huán)水養(yǎng)殖系統(tǒng)的長(zhǎng)期觀察發(fā)現(xiàn)，魚群在攝食時(shí)，會(huì)在水面激起強(qiáng)烈的水花，引起水面晃動(dòng)，而魚群在正常游動(dòng)的情況下，不存在這一狀況，因此利用魚群在不同運(yùn)動(dòng)狀態(tài)下所對(duì)應(yīng)的紋理可以識(shí)別出魚群的運(yùn)動(dòng)狀態(tài)[15]。

圖像的紋理分析是指通過一定的圖像處理技術(shù)抽取出物體的紋理特征，從而獲得對(duì)紋理定量或定性描述的過程。一般情況下圖像的紋理特征具有周期性，它能反映物品的質(zhì)地，如粗糙度、光滑度、顆粒度、隨機(jī)性、規(guī)范性等。關(guān)于紋理，國(guó)內(nèi)外的研究學(xué)者做了大量的研究，并從中總結(jié)了多種描繪紋理的方法[15-18]，但各種方法的適用場(chǎng)合各不相同，經(jīng)過對(duì)比大量文獻(xiàn)資料，在本試驗(yàn)中選擇3種較為典型的紋理特征提取方法來提取魚群的紋理特征，分別為灰度差分統(tǒng)計(jì)法、灰度共生矩陣、高斯-馬爾科夫隨機(jī)場(chǎng)模型[19-21]。

對(duì)于一幅魚群圖片，首先須要對(duì)圖片進(jìn)行預(yù)處理，然后用這3種方法提取魚群的紋理特征，最后利用支持向量機(jī)(support vector machine，簡(jiǎn)稱SVM)對(duì)魚群的運(yùn)動(dòng)狀態(tài)進(jìn)行分類識(shí)別，繼而判斷出魚群的運(yùn)動(dòng)狀態(tài)，以達(dá)到對(duì)魚群運(yùn)動(dòng)狀態(tài)分類識(shí)別的目的。本試驗(yàn)的系統(tǒng)流程如圖2所示。

2.1 基于灰度差分統(tǒng)計(jì)法的紋理特征提取

灰度差分統(tǒng)計(jì)法的核心思想是通過計(jì)算圖像的統(tǒng)計(jì)特征，從中推導(dǎo)出一些特征量來描述紋理。設(shè)(x，y)為圖像中的一點(diǎn)，該點(diǎn)和它只有微小距離的點(diǎn)(x+Δx，y+Δy)的灰度差值為

gΔ(x，y)=g(x，y)-g(x+Δx，y+Δy)。

2.2 基于灰度共生矩陣的紋理特征提取

灰度共生矩陣是一種典型的分析紋理圖像的二階統(tǒng)計(jì)法，它描述了灰度圖像關(guān)于方向、相鄰間隔、變化幅度等的綜合信息，這種方法在許多文獻(xiàn)中得到了推廣應(yīng)用，是最為有效的描述紋理的算子之一。一般取其中的4個(gè)常用的紋理特征參數(shù)，這4個(gè)紋理參數(shù)分別為

(1)能量：它反映的是灰度圖像分布均勻的程度和紋理粗細(xì)的程度，當(dāng)其值越大時(shí)，紋理越粗糙。公式如下：

式中：i代表灰度圖像中的一個(gè)像素點(diǎn)；j代表灰度圖像中的另一個(gè)像素點(diǎn)；θ代表灰度圖像中像素點(diǎn)i和像素點(diǎn)j與坐標(biāo)橫軸的夾角；d代表像素點(diǎn)i和像素點(diǎn)j之間的距離。

(2)相關(guān)性：它度量了空間灰度共生矩陣元素在行或列方向上的相似程度，因此，其值的大小反映了圖像中局部灰度的相關(guān)性。公式如下：

(3)逆差矩：反映了圖像紋理局部變化的大小，當(dāng)紋理越規(guī)則時(shí)，其值越大。公式如下：

(4)對(duì)比度：刻畫了圖像紋理的清晰程度，當(dāng)圖像越清晰時(shí)，其值就越大。公式如下：

2.3 基于高斯馬爾科夫隨機(jī)場(chǎng)模型的紋理特征提取

馬爾科夫隨機(jī)場(chǎng)(Markov random field，簡(jiǎn)稱 MRF)作為一種描述圖像結(jié)構(gòu)的概率模型，能夠兼顧紋理局部的隨機(jī)性和整體上的規(guī)律性，它在描述物理現(xiàn)象空間或背景依賴性方面有著無可比擬的優(yōu)越性。在本試驗(yàn)中選用高斯-馬爾科夫隨機(jī)場(chǎng)(Gauss Markov random filed，簡(jiǎn)稱GMRF)模型來描述魚群的紋理特征，該模型以鄰域系統(tǒng)為基礎(chǔ)，通過一個(gè)鄰域系統(tǒng)，可以把圖像中的點(diǎn)和其鄰域中任意其他的點(diǎn)聯(lián)系起來。現(xiàn)取圖像中某一點(diǎn)s，其灰度值y(s)是s鄰域Ns灰度的函數(shù)，Ns是以s點(diǎn)為中心，r為半徑，但不包括s的對(duì)稱鄰域[23]。則在一個(gè)M×M的網(wǎng)格點(diǎn)集S，GMRF模型可以用包含多個(gè)未知數(shù)的線性方程來表示：

y(s)=∑r∈Nsθr[y(s+r)+y(s-r)]+e(s)。

式中：θr為未知系數(shù)；e(s)為零均值的高斯噪聲序列。在GMRF模型中，鄰域系統(tǒng)的階數(shù)決定了模型描述圖像紋理的能力，階數(shù)越高，模型描述的紋理越復(fù)雜，結(jié)合魚群運(yùn)動(dòng)時(shí)的紋理情況，并參考相關(guān)文獻(xiàn)，最后選定系統(tǒng)的階數(shù)為3，此時(shí)共提取了魚群的6個(gè)紋理特征向量。如圖3所示，a、b分別為魚群在正常游動(dòng)狀態(tài)和攝食狀態(tài)下的原始圖片，c、d分別為魚群在正常游動(dòng)狀態(tài)和攝食狀態(tài)下的灰度圖片。

3 結(jié)果與分析

3.1 SVM對(duì)魚群運(yùn)動(dòng)狀態(tài)的識(shí)別

支持向量機(jī)是根據(jù)Vapnik提出的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則來提高學(xué)習(xí)機(jī)泛化能力的方法，其本質(zhì)是通過非線性變換將原始的特征空間變換到一個(gè)高維的空間，在這個(gè)新的空間里求取最優(yōu)分類面。支持向量機(jī)因其須要調(diào)整的參數(shù)較少，準(zhǔn)確率高，魯棒性強(qiáng)，且有著良好的抗干擾能力，因此在分類識(shí)別中得到了廣泛的應(yīng)用[24-25]。

假設(shè)訓(xùn)練樣本為{(x1，y1)，(x2，y2)，…，(xN，yN)}，其中xi∈Rd代表輸入，yi∈{±1}代表輸出。設(shè)最優(yōu)決策面方程為wTxi+b=0，yi(wTxi+b)≥1-ξi為約束條件，其中ξi為線性不可分條件下的松弛變量。最優(yōu)決策面的求解必須盡量使平均錯(cuò)誤誤差減到最小，因此利用 Lagrange 乘子將求解問題轉(zhuǎn)化為以下的約束優(yōu)化問題[25]：

由于核函數(shù)參數(shù)g和懲罰因子c的確定影響了SVM的精度，因此為了提高分類效率及減少分類的時(shí)間，在本試驗(yàn)中使用libsvm程序包來實(shí)現(xiàn)參數(shù)的最優(yōu)選擇，libsvm程序包不僅分類效果好，而且提供了很多默認(rèn)的參數(shù)值，免去了后期的調(diào)試，大大減少了人力物力的消耗。在本試驗(yàn)中是通過libsvm來對(duì)支持向量機(jī)的核函數(shù)進(jìn)行自動(dòng)尋優(yōu)，經(jīng)過參數(shù)尋優(yōu)后，g取0.707 1，c取4。最后根據(jù)對(duì)整個(gè)訓(xùn)練集進(jìn)行訓(xùn)練獲得支持向量機(jī)的模型，利用獲取的模型分別對(duì)訓(xùn)練樣本圖像和測(cè)試樣本圖像的紋理特征向量所組成的數(shù)據(jù)集進(jìn)行測(cè)試，測(cè)試樣本分類準(zhǔn)確率達(dá)到96.5%，程序運(yùn)行時(shí)間為 39.04 s。

3.2 特征降維后SVM對(duì)魚群運(yùn)動(dòng)狀態(tài)的識(shí)別

要想對(duì)紋理特征進(jìn)行全面的描述，須要將這些特征有機(jī)地融合在一起，本試驗(yàn)決定用主成分分析法(principal component analysis，簡(jiǎn)稱PCA)來對(duì)這13個(gè)特征向量進(jìn)行降維，這樣做的好處就是去掉特征向量中的冗余信息，保留主要信息。

主成分分析法是一種線性降維方法，能夠降低樣本的維度，主要是基于變量協(xié)方差矩陣對(duì)原始信息進(jìn)行壓縮和提取處理。它的核心思想如下：

假設(shè)有m個(gè)n維數(shù)據(jù)，首先將數(shù)據(jù)進(jìn)行中心化，即計(jì)算該維數(shù)據(jù)平均值，再利用原數(shù)據(jù)與平均值相減，得到以下結(jié)果：

求出協(xié)方差矩陣：

計(jì)算協(xié)方差矩陣的特征向量以及特征值。假設(shè)矩陣C的秩為p，特征值順序排列記為λ1≥λ2≥λ3≥λ4≥…≥λp>0。

選取較大的前i個(gè)特征值對(duì)應(yīng)的特征向量vi=xTvi，i=1，2，…，l，則樣本x可以表示為[y1，y2，y3，…，yk]T，其維數(shù)由n維降到了l維。

在本試驗(yàn)中通過PCA算法把提取出來的特征向量降到了3維。由表1可知，測(cè)試樣本的準(zhǔn)確率有所下降，運(yùn)行時(shí)間大大縮短。但分類準(zhǔn)確率還是相對(duì)較高的，為93.5%。

表1SVM的識(shí)別結(jié)果

4 結(jié)論

本試驗(yàn)利用計(jì)算機(jī)視覺技術(shù)，對(duì)魚群的運(yùn)動(dòng)狀態(tài)進(jìn)行分類識(shí)別。結(jié)果表明，利用灰度差分統(tǒng)計(jì)法、灰度共生矩陣法和基于高斯馬爾科夫隨機(jī)場(chǎng)模型的方法共提取了魚群的13個(gè)紋理特征，在識(shí)別魚群的攝食行為中具有較高的精度和識(shí)別速度，在220張訓(xùn)練樣本，200張測(cè)試樣本中，SVM對(duì)測(cè)試集的識(shí)別率達(dá)到96.5%，運(yùn)行時(shí)間為39.04 s，通過PCA降維后，使得提取的紋理特征向量的維數(shù)降為3維，SVM對(duì)測(cè)試集的識(shí)別率達(dá)到93.5%，運(yùn)行時(shí)間為0.63 s，雖然識(shí)別率有所下降，但是識(shí)別速度有了大大的提高，這樣更能達(dá)到魚群實(shí)時(shí)分類的目的。

本試驗(yàn)充分利用了魚群攝食時(shí)產(chǎn)生的水花及由水面抖動(dòng)等引起的圖像紋理變化，對(duì)魚群的運(yùn)動(dòng)狀態(tài)進(jìn)行分類識(shí)別，避免了對(duì)魚群其他特征的提取，且本試驗(yàn)所需的設(shè)備種類較少，成本低，操作簡(jiǎn)單，對(duì)計(jì)算機(jī)性能要求不高。本試驗(yàn)所介紹的方法對(duì)于魚群運(yùn)動(dòng)狀態(tài)的識(shí)別提供了一種全新的思路。

參考文獻(xiàn)：

[1]Liu Z Y，Li X，F(xiàn)an L Z，et al. Measuring feeding activity of fish in RAS using computer vision[J]. Aquacultural Engineering，2014，60(1)：20-27.

[2]周應(yīng)祺，王 軍，錢衛(wèi)國(guó)，等. 魚類集群行為的研究進(jìn)展[J]. 上海海洋大學(xué)學(xué)報(bào)，2013，22(5)：734-743.

[3]胡金有，王靖杰，張小栓，等. 水產(chǎn)養(yǎng)殖信息化關(guān)鍵技術(shù)研究現(xiàn)狀與趨勢(shì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(7)：251-263.

[4]陳 紅，夏 青，左 婷，等. 基于紋理分析的香菇品質(zhì)分選方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(3)：285-292.

[5]Israeli D，Kimmel E. Monitoring the behavior of hypoxia-stressedCarassiusauratususing computer vision[J]. Aquacultural Engineering，1996，15(6)：423-440.

[6]Wu T H，Huang Y，Chen J M. Development of an adaptive neural-based fuzzy inference system for feeding decision-making assessment in silver perch(Bidyanusbidyanus)culture[J]. Aquacultural Engineering，2015，66：42-51.

[7]Mallet D，Pelletier D. Underwater video techniques for observing coastal marine biodiversity：a review of sixty years of publications(1952—2012)[J]. Fisheries Research，2014，154(3)：44-62.

[8]Papadakis V M，Papadakis I E，Lamprianidou F，et al.A computer-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering，2012，46(2)：53-59.

[9]李 賢，范良忠，劉子毅，等. 基于計(jì)算機(jī)視覺的大菱鲆對(duì)背景色選擇習(xí)性研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(10)：189-193.

[10]段延娥，李道亮，李振波，等. 基于計(jì)算機(jī)視覺的水產(chǎn)動(dòng)物視覺特征測(cè)量研究綜述[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(15)：1-11.

[11]Kato S，Tamada K，Shimada Y，et al. A quantification of goldfish behavior by an image processing system[J]. Behavioural Brain Research，1996，80(1/2)：51-55.

[12]Ma H，Tsai T F，Liu C C. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems With Applications，2010，37(7)：5158-5171.

[13]張志強(qiáng)，牛智有，趙思明. 基于機(jī)器視覺技術(shù)的淡水魚品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(11)：388-392.

[14]于 欣，侯曉嬌，盧煥達(dá)，等. 基于光流法與特征統(tǒng)計(jì)的魚群異常行為檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(2)：162-168.

[15]任立輝，李文東，慈興華，等. 基于LIBSVM的石油錄井中巖屑巖性識(shí)別方法研究[J]. 中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，40(9)：131-136.

[16]Sadoul B，Mengues P E，F(xiàn)riggens N C，et al. A new method for measuring group behaviours of fish shoals from recorded videos taken in near aquaculture conditions[J]. Aquaculture，2014，430：179-187.

[17]Pautsina A，Cisar P，Stys D，et al. Infrared reflection system for indoor 3D tracking of fish[J]. Aquacultural Engineering，2015，69：7-17.

[18]Zhao J，Gu Z B，Shi M M，et al. Spatial behavioral characteristics and statistics-based kinetic energy modeling in special behaviors detection of a shoal of fish in a recirculating aquaculture system[J]. Computers and Electronics in Agriculture，2016，127：271-280.

[20]徐小軍，邵 英，郭尚芬. 基于灰度共生矩陣的火焰圖像紋理特征分析[J]. 計(jì)算技術(shù)與自動(dòng)化，2007，26(4)：64-67.

[21]劉 麗，匡綱要. 圖像紋理特征提取方法綜述[J]. 中國(guó)圖象圖形學(xué)報(bào)，2009，14(4)：622-635.

[22]范良忠，劉 鷹，余心杰，等. 基于計(jì)算機(jī)視覺技術(shù)的運(yùn)動(dòng)魚檢測(cè)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(7)：226-230.

[23]王慧勤，雷 剛. 基于LIBSVM的風(fēng)速預(yù)測(cè)方法研究[J]. 科學(xué)技術(shù)與工程，2011，11(22)：5440-5442，5450.

[24]Ashley P J. Fish welfare：current issues in aquaculture[J]. Applied Animal Behaviour Science，2007，104(4)：199-235.

[25]張學(xué)工. 關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J]. 自動(dòng)化學(xué)報(bào)，2000，26(1)：32-42