張勝茂，趙 申，張 衡，楊東海

(1. 中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所 農(nóng)業(yè)部東海與遠(yuǎn)洋漁業(yè)資源開發(fā)利用重點(diǎn)實(shí)驗(yàn)室，上海 200090；2. 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200090)

基于視頻分析的魚類運(yùn)動目標(biāo)提取

張勝茂1，趙 申2，張 衡1，楊東海1

(1. 中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所 農(nóng)業(yè)部東海與遠(yuǎn)洋漁業(yè)資源開發(fā)利用重點(diǎn)實(shí)驗(yàn)室，上海 200090；2. 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200090)

中國是一個水產(chǎn)養(yǎng)殖大國，漁業(yè)養(yǎng)殖產(chǎn)業(yè)不但具有一個很大的基數(shù)而且增量也是相當(dāng)可觀。因此傳統(tǒng)依靠人工對漁業(yè)進(jìn)行病害防治的方法過于低效，也不能提供較高的可靠性；在圖像處理和計(jì)算機(jī)視覺技術(shù)快速發(fā)展的基礎(chǔ)上，選擇使用視頻監(jiān)控的手段，利用計(jì)算機(jī)對圖像進(jìn)行分析進(jìn)而得出對魚類行為的判斷結(jié)果，滿足高效、穩(wěn)定等要求。本文提出了基于監(jiān)控視頻分析進(jìn)行魚類運(yùn)動捕捉的方法，首先對視頻圖像進(jìn)行灰度化處理，利用高斯模板對圖像進(jìn)行平滑處理，最后選擇對視頻幀使用高斯混合模型的方法進(jìn)行建模得到背景模型，進(jìn)而得到運(yùn)動的前景目標(biāo)，提出了對前景輪廓進(jìn)行合理性分析提高檢測正確率的方法，并且通過實(shí)驗(yàn)驗(yàn)證得到了較好的效果。

計(jì)算機(jī)視覺； 視頻分析； 運(yùn)動檢測； 高斯混合模型

在水產(chǎn)品養(yǎng)殖業(yè)中，通過魚類運(yùn)動的活躍程度分析可以判斷魚的健康狀況；通過對魚類在水層中聚集位置的分析可以推測水質(zhì)狀況；當(dāng)魚類感染寄生蟲時也會表現(xiàn)出特定的行為動作，因此對魚類的各種行為進(jìn)行分析一直是研究人員關(guān)心的問題。最開始的魚類行為研究是由人工觀察記錄數(shù)據(jù)，存在任務(wù)繁重、記錄不準(zhǔn)確、觀察不全面等諸多缺陷。隨著技術(shù)的發(fā)展，開始出現(xiàn)了自動記錄的方式，如對魚群的活動檢測采用回聲探測技術(shù)[1]；對魚的生理行為分析采用聲音測量的方式[2]；隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展和硬件計(jì)算能力的不斷提升，魚類行為的研究開始進(jìn)入了以視覺信息為基礎(chǔ)的自動分析階段[3,4]。1996年，以金魚的行為作為研究對象，Kato等[5]開發(fā)出了一個計(jì)算機(jī)圖形處理系統(tǒng)；2004年，Kato等[6]借助計(jì)算機(jī)和圖像處理技術(shù)，開展了對斑馬魚行為的研究；2003年，Suzuki等[7]利用計(jì)算機(jī)視覺技術(shù)進(jìn)行了不同大小的魚類群體行為的差異性研究；2009年，Wang等[8]對魚類在擁擠環(huán)境中的活動行為進(jìn)行了建模分析。在國內(nèi)，也有盧煥達(dá)等[9]利用計(jì)算機(jī)視覺技術(shù)，設(shè)計(jì)魚類行為監(jiān)控系統(tǒng)完成對魚群的自動監(jiān)控工作；近些年，由于人們對環(huán)境污染檢測意識的逐步提高，魚類的運(yùn)動狀態(tài)在一定程度上反應(yīng)了水質(zhì)的狀況，設(shè)計(jì)基于視覺的方法進(jìn)行魚類運(yùn)動分析來反映水環(huán)境質(zhì)量也成為了研究的熱點(diǎn)問題[10]。

利用計(jì)算機(jī)視覺技術(shù)進(jìn)行魚類行為的分析對魚的正常活動不產(chǎn)生影響，與聲波和光電的測量手段相比，不會使魚類產(chǎn)生應(yīng)激反應(yīng)，不改變魚類生活的環(huán)境，屬于一種非接觸測量方式，能夠真實(shí)地反映出魚類在自然環(huán)境下的活動狀態(tài)。一般的魚類行為視頻監(jiān)控系統(tǒng)包含視頻圖像的獲取、圖像的預(yù)處理、魚類運(yùn)動捕捉、魚類行為分析。其中獲取魚類準(zhǔn)確位置，是后續(xù)運(yùn)動狀態(tài)跟蹤、軌跡生成、行為分析的基礎(chǔ)，因此對運(yùn)動檢測至關(guān)重要，其好壞在很大程度上影響了后續(xù)處理的質(zhì)量，本文首先對獲取的圖像進(jìn)行灰度化處理，利用高斯模板對圖像進(jìn)行平滑處理，在一定程度上濾除圖像獲取和傳輸過程中噪聲帶來的影響，利用高斯混合模型的方法對背景進(jìn)行建模獲得運(yùn)動目標(biāo)，能夠抑制水面緩慢小幅度波動及水底水草的搖擺帶來的影響，得到前景模板之后進(jìn)行形態(tài)學(xué)操作分割出完整的輪廓，最后本文引入對輪廓目標(biāo)的合理性分析提高目標(biāo)檢測的準(zhǔn)確率。

1 系統(tǒng)組成

本文所述方法由圖1所示的硬件實(shí)驗(yàn)平臺進(jìn)行驗(yàn)證，該實(shí)驗(yàn)裝置包括魚類運(yùn)動容器、前端攝像頭采集裝置、PC端圖像處理裝置。采集視頻分辨率為1 920×1 080像素，幀率為25幀/s。如果考慮魚類運(yùn)動的三維物理位置，可以增加攝像頭數(shù)目，利用多攝像頭進(jìn)行實(shí)時數(shù)據(jù)融合分析。該視覺系統(tǒng)相機(jī)數(shù)據(jù)傳輸通過USB接口實(shí)現(xiàn)，相機(jī)輸出圖像為RGB三通道彩色圖像。

圖1 魚類行為檢測系統(tǒng)

軟件系統(tǒng)包含圖像獲取、圖像灰度化預(yù)處理和高斯平滑、背景建模得到運(yùn)動的前景目標(biāo)、對獲取的前景形態(tài)學(xué)操作后得到輪廓、對輪廓進(jìn)行合理性分析得到所要檢測魚類目標(biāo)。其處理流程如圖2所示。

圖2 系統(tǒng)軟件流程圖

2 魚類運(yùn)動檢測

魚類在水中常表現(xiàn)為運(yùn)動狀態(tài)，因此通過對運(yùn)動檢測可以有效地得到魚體輪廓和狀態(tài)，為進(jìn)一步的行為分析提供了數(shù)據(jù)支撐。計(jì)算機(jī)視覺中常用的運(yùn)動檢測方法有幀差法、光流法、背景建模法等。幀差法[11]是利用連續(xù)幀的像素值進(jìn)行差分，將新生成的圖像進(jìn)行閾值化處理得到運(yùn)動目標(biāo)，幀差法對光線變化不敏感、更新較快，較為簡單，但是對較大的目標(biāo)分割效果較差；光流是在1950年由Gison[12]提出的，光流法是依靠像素點(diǎn)建立的二維速度矢量場進(jìn)行運(yùn)動分析，對背景是否為靜止?fàn)顟B(tài)沒有要求，常見的求解光流的方法有Horn-Schunck[13]方法和Lucas-Kanade[14]方法等，但都存在計(jì)算量大的缺點(diǎn)；背景建模法能夠有效地抑制背景中干擾像素，比較適合現(xiàn)實(shí)場景中使用。

2.1 圖像灰度化預(yù)處理和高斯平滑

一般情況下，對魚類行為的觀察數(shù)據(jù)為彩色視頻圖像資料，彩色圖像的每一個像素都是由R、G、B三個分量決定的，每一個像素點(diǎn)的顏色變化范圍有1 600多萬(255×255×255)種?；叶葓D像是R、G、B三個分量相等(R=G=B)的一種圖像，每一個像素點(diǎn)的值(灰度值)的變化范圍是255種。灰度圖像中涵蓋大量的信息而且數(shù)據(jù)量較小，為了加快處理速度，通常需要將圖像進(jìn)行灰度化處理，在系統(tǒng)中采用如式1所示的方法進(jìn)行灰度化處理。

Gray=0.72169×B+0.715160×G+0.212671×R

(1)

在圖像的獲取過程中，攝像頭采集硬件和圖像數(shù)據(jù)傳輸過程往往引入噪聲，為了改善質(zhì)量，需要對圖像進(jìn)行平滑處理，常見的平滑方法有均值濾波、中值濾波、高斯濾波、頻域?yàn)V波，在本系統(tǒng)中用二維高斯函數(shù)(式2)對圖像進(jìn)行了高斯平滑。

(2)

式中，x和y分別為圖像中像素的行與列的二維坐標(biāo)，σ是標(biāo)準(zhǔn)差。

二維高斯函數(shù)具有旋轉(zhuǎn)不變性，濾波器對圖像平滑過程中沒有方向性；高斯函數(shù)是單值函數(shù)，對模板中心很遠(yuǎn)的像素點(diǎn)的影響較弱，不會造成圖像失真的現(xiàn)象；高斯濾波器的平滑程度可以由參數(shù)σ決定。在對圖像進(jìn)行濾波處理時往往采用模板的方式在圖像上進(jìn)行卷積操作，系統(tǒng)采用如圖3所示的模板進(jìn)行平滑操作。

圖3 高斯平滑模板

2.2 運(yùn)動目標(biāo)檢測

在運(yùn)動目標(biāo)的提取過程中一般的噪聲干擾為水面和水中藻類的波動，而這些變化的分布常常可以使用高斯函數(shù)進(jìn)行描述，所以采用高斯混合模型對背景進(jìn)行建模能夠有效的濾除噪聲提取運(yùn)動的前景目標(biāo)[15]。高斯分布是一種重要的概率分布，又稱為正態(tài)分布，生活中的隨機(jī)變量都符合高斯分布的特征，其在很多領(lǐng)域都有著重要的作用。高斯概率密度函數(shù)數(shù)學(xué)表達(dá)式為式3。

(3)

式中，x為隨機(jī)變量，μ是高斯分布期望，σ為高斯分布的方差，自然情況下的隨機(jī)變量，很大一部分都分布在3σ范圍以內(nèi)。關(guān)于高斯混合模型對背景建模，Porikli等[16]取得了較好的結(jié)果。對采用RGB色彩模型的圖像，對圖像中的每個像素的三個通道分別進(jìn)行建模；對灰度圖像每個坐標(biāo)位置的灰度值進(jìn)行建模，系統(tǒng)中為了增加系統(tǒng)的穩(wěn)定性，這里選擇2.5σ作為一個閾值。

在使用單個高斯模型對背景建模時，無法排除水面較為嚴(yán)重的波動和水中水草和其它物體的晃動。因此采用混合高斯模型，采用多個高斯模型對背景進(jìn)行建模。如果采用K個高斯模型對像素X進(jìn)行建模，那么其在t時刻的概率應(yīng)為式4。

(4)

式中，wk(t)為權(quán)重值，表示第k個高斯模型的權(quán)重，且滿足權(quán)重累計(jì)和為1；μk(t)為分布期望。

定義一個閾值δw來判斷模型的穩(wěn)定程度，穩(wěn)定模型滿足式5。

(5)

此時的權(quán)值應(yīng)該由大到小排列，滿足上述條件，即認(rèn)為第k以上的模型是穩(wěn)定的，其占了總比重的δw以上的比例。利用下式6來區(qū)別前景信息和背景信息，滿足條件的判定為背景信息，否則認(rèn)為是前景。

|X(t)-μk(t)|<2.5σk(t)

(6)

在區(qū)分出前景背景信息時，需要對模型進(jìn)行更新處理，按照以下規(guī)則(式7、8、9)進(jìn)行：其中α值越大，背景的更新速度越快，同樣β也決定著更新的速率。更新的過程讓與背景匹配度較高的模型權(quán)重不斷增加，減小匹配度較低的模型的權(quán)重。

wi,t+1=(1-α)wi,t+α

(7)

μk,t+1=(1=β)μk,t+βXt

(8)

(9)

當(dāng)遇到?jīng)]有模型可以進(jìn)行此時的匹配時，這里引入新的模型，應(yīng)設(shè)置其權(quán)值較少，方差較大，當(dāng)前圖像幀的像素?cái)?shù)值作為均值。當(dāng)模型不滿足穩(wěn)定模型的條件時，將這些模型舍棄處理。

2.3 形態(tài)學(xué)操作

對于高斯混合模型建模得到背景后分割出的前景圖像中的目標(biāo)往往含有大量的空洞，對于應(yīng)屬于背景的區(qū)域也往往含有許多孤立的噪聲點(diǎn)，為了改善這種狀況，一個比較簡單的方法是對得到的圖像進(jìn)行形態(tài)學(xué)操作。

基本形態(tài)學(xué)操作包括膨脹和腐蝕。膨脹是將一些圖像(或圖形的部分區(qū)域)A與核B進(jìn)行卷積。其中用來進(jìn)行卷積的核的形狀和尺寸可以是任意形式和大小，但在多數(shù)情況下選擇使用中間帶參考點(diǎn)的實(shí)心正方形或圓盤。進(jìn)行卷積的過程，可以看成是利用以卷積核為模板在圖像中求局部最大值的操作過程。而腐蝕操作可以看作是膨脹的反操作，它是一種求解局部最小值的過程。膨脹操作示意如圖4a所示，腐蝕操作示意如圖4b所示。

圖4 形態(tài)學(xué)圖像操作

在本文中先對圖像進(jìn)行一次腐蝕操作，然后再進(jìn)行多次膨脹操作，用得到的結(jié)果圖像和前景圖像進(jìn)行“與”操作，就實(shí)現(xiàn)孤立點(diǎn)的刪除。

2.4 輪廓分析

在得到分割好的前景運(yùn)動目標(biāo)后，根據(jù)目標(biāo)的輪廓就能得到外接矩形相關(guān)信息。在獲得魚類大小和形狀等先驗(yàn)知識的情況下就可以對得到的輪廓和外接矩形進(jìn)行合理性分析，濾除與所要觀察的目標(biāo)相關(guān)性較小的序列進(jìn)一步提高系統(tǒng)的準(zhǔn)確性，通過實(shí)驗(yàn)驗(yàn)證了此方法能夠有效保證目標(biāo)檢測的正確率。

在本文中主要考慮了目標(biāo)的長寬比b、輪廓面積a兩個因素進(jìn)行相關(guān)性比較，在獲取相機(jī)與觀察目標(biāo)的距離和目標(biāo)大小的情況下，能夠確定出兩個參數(shù)需滿足式10，其中bmin、amin分別是相關(guān)參數(shù)的設(shè)定最小值， bmax、amax分別是相關(guān)參數(shù)的設(shè)定最大值。

bmin

(10)

3 結(jié)果與討論

利用上文中的硬件構(gòu)建實(shí)驗(yàn)平臺進(jìn)行測試。將攝像頭架設(shè)在魚缸的合適位置，以能夠獲得較好的視野且引入最小的干擾為目標(biāo)，通過USB接口從攝像頭讀取的連續(xù)兩幀彩色圖像如圖5所示。

圖5 攝像頭獲取的彩色圖像(A為前一幀，B為后一幀)

對于彩色圖像直接使用幀差法進(jìn)行運(yùn)動檢測有圖6所示的結(jié)果，可以看出雖然能夠得到魚所在位置的大致信息，但對噪聲的魯棒性不強(qiáng)，對噪聲的抑制能力較弱，不能得到較為完整的邊緣。對上述圖像進(jìn)行灰度化后使用幀差法得到如圖6所示的結(jié)果。

圖6 圖像灰度化進(jìn)行幀差(A,B為連續(xù)幀，C為結(jié)果圖)

對幀差后的圖像進(jìn)行彩色化處理后得到如圖7a所示的結(jié)果，可以看出存在大量噪聲；對于含有噪聲的圖像進(jìn)行二值化處理得到了如圖7b所示的結(jié)果。

圖7 噪聲去除

使用文中的高斯混合模型的方法對背景進(jìn)行建模獲取運(yùn)動目標(biāo)，并對圖像進(jìn)行形態(tài)學(xué)操作得到了如圖8所示的結(jié)果，通過與幀差法的結(jié)果進(jìn)行對比可以看出，通過本模型得到的結(jié)果對噪聲的干擾有較好的抑制作用，對表現(xiàn)較為嚴(yán)重的水面波動在實(shí)驗(yàn)結(jié)果基本得到濾除，也能夠得到魚類的大致輪廓信息，但存在邊緣不連續(xù)的缺點(diǎn)。

圖8 高斯混合模型分割結(jié)果

為了驗(yàn)證本文中所引入的輪廓合理性分析的有效性，對含有大量噪聲的如圖9a所示的圖像進(jìn)行處理，獲取魚體輪廓，然后得到輪廓的外接矩形，如圖9b所示的結(jié)果，此方法可以達(dá)到較好的預(yù)期效果，能夠有效地提取目標(biāo)。

4 結(jié)論

通過以上實(shí)驗(yàn)結(jié)果可以看出，通過簡單的方法能夠有效地得到運(yùn)動目標(biāo)的主要信息，但是存在著大量的噪點(diǎn)，不能得到目標(biāo)的完整形狀、外觀。使用高斯混合模型對背景進(jìn)行建模的方法，雖然抑制了大量噪聲的干擾，但是計(jì)算復(fù)雜度較大，邊緣存在缺失的部分。通過大量實(shí)驗(yàn)發(fā)現(xiàn)，分割出目標(biāo)的主體部分較容易，但對魚尾等顏色較淺的透明組織存在一定難度，考慮在以后的分割過程中引入模板的方法，對目標(biāo)的各部分進(jìn)行精確分割，引入跟蹤的方法，將跟蹤的結(jié)果反饋到分割過程。

圖9 目標(biāo)提取

[1] ABAID N, PORFIRI M. Collective behavior of fish in one-dimensional annular domains [C]. American Control Conference, Marriott Waterfront, Baltimore, MD, USA, 2010, 63-68.

[2] CONTI S G, ROUX P, FAUVEL C,etal. Acoustical monitoring of fish density, behavior, and growth rate in a tank [J]. Aquaculture, 2007, 251(2-4):314-323.

[3] CHA B J, BAE B S, CHO S K,etal. A simple method to quantify fish behavior by forming time-lapse image [J]. Aquacultural Engineering, 2012(51):15-20.

[4] STIEN L H, BRATLAND S, AUSTEVOLL I,etal. A video analysis procedure for assessing vertical fish distribution in aquaculture tanks[J]. Aquacultural engineering, 2007, 37(2): 115-124.

[5] KATO S, TAMADA K, SHIMADA Y,etal. A quantification of goldfish behavior by an image processing system [J]. Behavioural brain research, 1996, 80(1): 51-55.

[6] KATO S, NAKAGAWA T, OHKAWA M,etal. A computer image processing system for quantification of zebrafish behavior [J]. Journal of neuroscience methods, 2004, 134(1): 1-7.

[7] SUZUKI K, TAKAGI T, HIRAISHI T. Video analysis of fish schooling behavior in finite space using a mathematical mode[J]. Fisheries Research, 2003, 60(1): 3-10.

[8] WANG X, MA X, GRIMSON W E. Unsupervised activity perception in crowded and complicated scenes using hierarchical Bayesian models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 539-555.

[9] 盧煥達(dá)，劉鷹，余心杰等. 基于計(jì)算機(jī)視覺技術(shù)的運(yùn)動與檢測算法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2011,38(1)：19-23.

[10] MA H, TSAI T F, LIU C C. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems with Applications, 2010, 37(7): 5158-5171.

[11] PARAGIOS N, DERICHE R. Geodesic active contours and level sets for the detection and tracking of moving objects[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(3): 266-280.

[12] GIBSON J J. The perception of the visual world [M]. Westport: Greenwood Press, 1950.

[13] HORN B K P, SCHUNCK B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1):185-203.

[14] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of Imaging Understanding Workshop. Vancouver, British Columbia, 1981, 81(1): 674-679.

[15] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, 2.

[16] PPRIKLI F, TUZEL O. Human body tracking by adaptive background models and mean-shift analysis[C]. IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. 2003: 1-9.

Study on fish moving object extraction based on video analysis

ZHANG Sheng-mao1, ZHAO Shen2, ZHANG Heng1, YANG Dong-hai1

(1.KeyLaboratoryofEastChinaSea&OceanicFisheryResourcesExploitationandUtilizationofMinistryofAgriculture,EastChinaSeaFisheriesResearchInstitute，ChineseAcademyofFisherySciences,Shanghai200090,China; 2.SchoolofOpticalandComputerEngineering,UniversityofShanghaiforScienceandTechnology200090,China)

China is a superpower aquaculture country. The aquaculture industry not only has a considerable large base but also shows a very high speed increase. The traditional ways in fisheries disease prevention are very inefficient and perform a low reliability. With the rapid development of image processing and computer vision technology, the method of video monitoring is chosen to analyze the image by computer, and then to judge the results of fish behaviors. Firstly, the color image is converted into gray image. Then, Gaussian template is used to smooth the images. Finally, Gaussian Mixture Model (GMM) is used to obtain the background model. It is used to get the images of moving fish. It also provides the way of getting more stable result by analyzing the outline of targets. The methods herein have been verified by experiments. Application of video analysis techniques will increase the aquatic production level of automation and fine processing capacity.

computer vision; video analysis; motion detection; Gaussian Mixture Model

2016-10-29

2016-12-31

中央級公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(東海水產(chǎn)研究所2016T01)；上海市自然科學(xué)基金項(xiàng)目(15ZR1450000)

張勝茂(1976-)，男，副研究員、博士。研究方向：漁業(yè)遙感，地理信息系統(tǒng)，圖像處理。 E-mail：ryshengmao@126.com。

2095-3666(2017)01-0044-07

10.13233/j.cnki.fishis.2017.01.008

TP 751.1

A