張勝茂，趙 申，張 衡，楊東海

(1. 中國水產(chǎn)科學研究院東海水產(chǎn)研究所 農業(yè)部東海與遠洋漁業(yè)資源開發(fā)利用重點實驗室，上海 200090；2. 上海理工大學 光電信息與計算機工程學院，上海 200090)

基于視頻分析的魚類運動目標提取

張勝茂1，趙 申2，張 衡1，楊東海1

(1. 中國水產(chǎn)科學研究院東海水產(chǎn)研究所 農業(yè)部東海與遠洋漁業(yè)資源開發(fā)利用重點實驗室，上海 200090；2. 上海理工大學 光電信息與計算機工程學院，上海 200090)

中國是一個水產(chǎn)養(yǎng)殖大國，漁業(yè)養(yǎng)殖產(chǎn)業(yè)不但具有一個很大的基數(shù)而且增量也是相當可觀。因此傳統(tǒng)依靠人工對漁業(yè)進行病害防治的方法過于低效，也不能提供較高的可靠性；在圖像處理和計算機視覺技術快速發(fā)展的基礎上，選擇使用視頻監(jiān)控的手段，利用計算機對圖像進行分析進而得出對魚類行為的判斷結果，滿足高效、穩(wěn)定等要求。本文提出了基于監(jiān)控視頻分析進行魚類運動捕捉的方法，首先對視頻圖像進行灰度化處理，利用高斯模板對圖像進行平滑處理，最后選擇對視頻幀使用高斯混合模型的方法進行建模得到背景模型，進而得到運動的前景目標，提出了對前景輪廓進行合理性分析提高檢測正確率的方法，并且通過實驗驗證得到了較好的效果。

計算機視覺； 視頻分析； 運動檢測； 高斯混合模型

在水產(chǎn)品養(yǎng)殖業(yè)中，通過魚類運動的活躍程度分析可以判斷魚的健康狀況；通過對魚類在水層中聚集位置的分析可以推測水質狀況；當魚類感染寄生蟲時也會表現(xiàn)出特定的行為動作，因此對魚類的各種行為進行分析一直是研究人員關心的問題。最開始的魚類行為研究是由人工觀察記錄數(shù)據(jù)，存在任務繁重、記錄不準確、觀察不全面等諸多缺陷。隨著技術的發(fā)展，開始出現(xiàn)了自動記錄的方式，如對魚群的活動檢測采用回聲探測技術[1]；對魚的生理行為分析采用聲音測量的方式[2]；隨著計算機視覺技術的發(fā)展和硬件計算能力的不斷提升，魚類行為的研究開始進入了以視覺信息為基礎的自動分析階段[3,4]。1996年，以金魚的行為作為研究對象，Kato等[5]開發(fā)出了一個計算機圖形處理系統(tǒng)；2004年，Kato等[6]借助計算機和圖像處理技術，開展了對斑馬魚行為的研究；2003年，Suzuki等[7]利用計算機視覺技術進行了不同大小的魚類群體行為的差異性研究；2009年，Wang等[8]對魚類在擁擠環(huán)境中的活動行為進行了建模分析。在國內，也有盧煥達等[9]利用計算機視覺技術，設計魚類行為監(jiān)控系統(tǒng)完成對魚群的自動監(jiān)控工作；近些年，由于人們對環(huán)境污染檢測意識的逐步提高，魚類的運動狀態(tài)在一定程度上反應了水質的狀況，設計基于視覺的方法進行魚類運動分析來反映水環(huán)境質量也成為了研究的熱點問題[10]。

利用計算機視覺技術進行魚類行為的分析對魚的正?；顒硬划a(chǎn)生影響，與聲波和光電的測量手段相比，不會使魚類產(chǎn)生應激反應，不改變魚類生活的環(huán)境，屬于一種非接觸測量方式，能夠真實地反映出魚類在自然環(huán)境下的活動狀態(tài)。一般的魚類行為視頻監(jiān)控系統(tǒng)包含視頻圖像的獲取、圖像的預處理、魚類運動捕捉、魚類行為分析。其中獲取魚類準確位置，是后續(xù)運動狀態(tài)跟蹤、軌跡生成、行為分析的基礎，因此對運動檢測至關重要，其好壞在很大程度上影響了后續(xù)處理的質量，本文首先對獲取的圖像進行灰度化處理，利用高斯模板對圖像進行平滑處理，在一定程度上濾除圖像獲取和傳輸過程中噪聲帶來的影響，利用高斯混合模型的方法對背景進行建模獲得運動目標，能夠抑制水面緩慢小幅度波動及水底水草的搖擺帶來的影響，得到前景模板之后進行形態(tài)學操作分割出完整的輪廓，最后本文引入對輪廓目標的合理性分析提高目標檢測的準確率。

1 系統(tǒng)組成

本文所述方法由圖1所示的硬件實驗平臺進行驗證，該實驗裝置包括魚類運動容器、前端攝像頭采集裝置、PC端圖像處理裝置。采集視頻分辨率為1 920×1 080像素，幀率為25幀/s。如果考慮魚類運動的三維物理位置，可以增加攝像頭數(shù)目，利用多攝像頭進行實時數(shù)據(jù)融合分析。該視覺系統(tǒng)相機數(shù)據(jù)傳輸通過USB接口實現(xiàn)，相機輸出圖像為RGB三通道彩色圖像。

圖1 魚類行為檢測系統(tǒng)

軟件系統(tǒng)包含圖像獲取、圖像灰度化預處理和高斯平滑、背景建模得到運動的前景目標、對獲取的前景形態(tài)學操作后得到輪廓、對輪廓進行合理性分析得到所要檢測魚類目標。其處理流程如圖2所示。

圖2 系統(tǒng)軟件流程圖

2 魚類運動檢測

魚類在水中常表現(xiàn)為運動狀態(tài)，因此通過對運動檢測可以有效地得到魚體輪廓和狀態(tài)，為進一步的行為分析提供了數(shù)據(jù)支撐。計算機視覺中常用的運動檢測方法有幀差法、光流法、背景建模法等。幀差法[11]是利用連續(xù)幀的像素值進行差分，將新生成的圖像進行閾值化處理得到運動目標，幀差法對光線變化不敏感、更新較快，較為簡單，但是對較大的目標分割效果較差；光流是在1950年由Gison[12]提出的，光流法是依靠像素點建立的二維速度矢量場進行運動分析，對背景是否為靜止狀態(tài)沒有要求，常見的求解光流的方法有Horn-Schunck[13]方法和Lucas-Kanade[14]方法等，但都存在計算量大的缺點；背景建模法能夠有效地抑制背景中干擾像素，比較適合現(xiàn)實場景中使用。

2.1 圖像灰度化預處理和高斯平滑

一般情況下，對魚類行為的觀察數(shù)據(jù)為彩色視頻圖像資料，彩色圖像的每一個像素都是由R、G、B三個分量決定的，每一個像素點的顏色變化范圍有1 600多萬(255×255×255)種?；叶葓D像是R、G、B三個分量相等(R=G=B)的一種圖像，每一個像素點的值(灰度值)的變化范圍是255種。灰度圖像中涵蓋大量的信息而且數(shù)據(jù)量較小，為了加快處理速度，通常需要將圖像進行灰度化處理，在系統(tǒng)中采用如式1所示的方法進行灰度化處理。

Gray=0.72169×B+0.715160×G+0.212671×R

(1)

在圖像的獲取過程中，攝像頭采集硬件和圖像數(shù)據(jù)傳輸過程往往引入噪聲，為了改善質量，需要對圖像進行平滑處理，常見的平滑方法有均值濾波、中值濾波、高斯濾波、頻域濾波，在本系統(tǒng)中用二維高斯函數(shù)(式2)對圖像進行了高斯平滑。

(2)

式中，x和y分別為圖像中像素的行與列的二維坐標，σ是標準差。

二維高斯函數(shù)具有旋轉不變性，濾波器對圖像平滑過程中沒有方向性；高斯函數(shù)是單值函數(shù)，對模板中心很遠的像素點的影響較弱，不會造成圖像失真的現(xiàn)象；高斯濾波器的平滑程度可以由參數(shù)σ決定。在對圖像進行濾波處理時往往采用模板的方式在圖像上進行卷積操作，系統(tǒng)采用如圖3所示的模板進行平滑操作。

圖3 高斯平滑模板

2.2 運動目標檢測

在運動目標的提取過程中一般的噪聲干擾為水面和水中藻類的波動，而這些變化的分布常?？梢允褂酶咚购瘮?shù)進行描述，所以采用高斯混合模型對背景進行建模能夠有效的濾除噪聲提取運動的前景目標[15]。高斯分布是一種重要的概率分布，又稱為正態(tài)分布，生活中的隨機變量都符合高斯分布的特征，其在很多領域都有著重要的作用。高斯概率密度函數(shù)數(shù)學表達式為式3。

(3)

式中，x為隨機變量，μ是高斯分布期望，σ為高斯分布的方差，自然情況下的隨機變量，很大一部分都分布在3σ范圍以內。關于高斯混合模型對背景建模，Porikli等[16]取得了較好的結果。對采用RGB色彩模型的圖像，對圖像中的每個像素的三個通道分別進行建模；對灰度圖像每個坐標位置的灰度值進行建模，系統(tǒng)中為了增加系統(tǒng)的穩(wěn)定性，這里選擇2.5σ作為一個閾值。

在使用單個高斯模型對背景建模時，無法排除水面較為嚴重的波動和水中水草和其它物體的晃動。因此采用混合高斯模型，采用多個高斯模型對背景進行建模。如果采用K個高斯模型對像素X進行建模，那么其在t時刻的概率應為式4。

(4)

式中，wk(t)為權重值，表示第k個高斯模型的權重，且滿足權重累計和為1；μk(t)為分布期望。

定義一個閾值δw來判斷模型的穩(wěn)定程度，穩(wěn)定模型滿足式5。

(5)

此時的權值應該由大到小排列，滿足上述條件，即認為第k以上的模型是穩(wěn)定的，其占了總比重的δw以上的比例。利用下式6來區(qū)別前景信息和背景信息，滿足條件的判定為背景信息，否則認為是前景。

|X(t)-μk(t)|<2.5σk(t)

(6)

在區(qū)分出前景背景信息時，需要對模型進行更新處理，按照以下規(guī)則(式7、8、9)進行：其中α值越大，背景的更新速度越快，同樣β也決定著更新的速率。更新的過程讓與背景匹配度較高的模型權重不斷增加，減小匹配度較低的模型的權重。

wi,t+1=(1-α)wi,t+α

(7)

μk,t+1=(1=β)μk,t+βXt

(8)

(9)

當遇到?jīng)]有模型可以進行此時的匹配時，這里引入新的模型，應設置其權值較少，方差較大，當前圖像幀的像素數(shù)值作為均值。當模型不滿足穩(wěn)定模型的條件時，將這些模型舍棄處理。

2.3 形態(tài)學操作

對于高斯混合模型建模得到背景后分割出的前景圖像中的目標往往含有大量的空洞，對于應屬于背景的區(qū)域也往往含有許多孤立的噪聲點，為了改善這種狀況，一個比較簡單的方法是對得到的圖像進行形態(tài)學操作。

基本形態(tài)學操作包括膨脹和腐蝕。膨脹是將一些圖像(或圖形的部分區(qū)域)A與核B進行卷積。其中用來進行卷積的核的形狀和尺寸可以是任意形式和大小，但在多數(shù)情況下選擇使用中間帶參考點的實心正方形或圓盤。進行卷積的過程，可以看成是利用以卷積核為模板在圖像中求局部最大值的操作過程。而腐蝕操作可以看作是膨脹的反操作，它是一種求解局部最小值的過程。膨脹操作示意如圖4a所示，腐蝕操作示意如圖4b所示。

圖4 形態(tài)學圖像操作

在本文中先對圖像進行一次腐蝕操作，然后再進行多次膨脹操作，用得到的結果圖像和前景圖像進行“與”操作，就實現(xiàn)孤立點的刪除。

2.4 輪廓分析

在得到分割好的前景運動目標后，根據(jù)目標的輪廓就能得到外接矩形相關信息。在獲得魚類大小和形狀等先驗知識的情況下就可以對得到的輪廓和外接矩形進行合理性分析，濾除與所要觀察的目標相關性較小的序列進一步提高系統(tǒng)的準確性，通過實驗驗證了此方法能夠有效保證目標檢測的正確率。

在本文中主要考慮了目標的長寬比b、輪廓面積a兩個因素進行相關性比較，在獲取相機與觀察目標的距離和目標大小的情況下，能夠確定出兩個參數(shù)需滿足式10，其中bmin、amin分別是相關參數(shù)的設定最小值， bmax、amax分別是相關參數(shù)的設定最大值。

bmin

(10)

3 結果與討論

利用上文中的硬件構建實驗平臺進行測試。將攝像頭架設在魚缸的合適位置，以能夠獲得較好的視野且引入最小的干擾為目標，通過USB接口從攝像頭讀取的連續(xù)兩幀彩色圖像如圖5所示。

圖5 攝像頭獲取的彩色圖像(A為前一幀，B為后一幀)

對于彩色圖像直接使用幀差法進行運動檢測有圖6所示的結果，可以看出雖然能夠得到魚所在位置的大致信息，但對噪聲的魯棒性不強，對噪聲的抑制能力較弱，不能得到較為完整的邊緣。對上述圖像進行灰度化后使用幀差法得到如圖6所示的結果。

圖6 圖像灰度化進行幀差(A,B為連續(xù)幀，C為結果圖)

對幀差后的圖像進行彩色化處理后得到如圖7a所示的結果，可以看出存在大量噪聲；對于含有噪聲的圖像進行二值化處理得到了如圖7b所示的結果。

圖7 噪聲去除

使用文中的高斯混合模型的方法對背景進行建模獲取運動目標，并對圖像進行形態(tài)學操作得到了如圖8所示的結果，通過與幀差法的結果進行對比可以看出，通過本模型得到的結果對噪聲的干擾有較好的抑制作用，對表現(xiàn)較為嚴重的水面波動在實驗結果基本得到濾除，也能夠得到魚類的大致輪廓信息，但存在邊緣不連續(xù)的缺點。

圖8 高斯混合模型分割結果

為了驗證本文中所引入的輪廓合理性分析的有效性，對含有大量噪聲的如圖9a所示的圖像進行處理，獲取魚體輪廓，然后得到輪廓的外接矩形，如圖9b所示的結果，此方法可以達到較好的預期效果，能夠有效地提取目標。

4 結論

通過以上實驗結果可以看出，通過簡單的方法能夠有效地得到運動目標的主要信息，但是存在著大量的噪點，不能得到目標的完整形狀、外觀。使用高斯混合模型對背景進行建模的方法，雖然抑制了大量噪聲的干擾，但是計算復雜度較大，邊緣存在缺失的部分。通過大量實驗發(fā)現(xiàn)，分割出目標的主體部分較容易，但對魚尾等顏色較淺的透明組織存在一定難度，考慮在以后的分割過程中引入模板的方法，對目標的各部分進行精確分割，引入跟蹤的方法，將跟蹤的結果反饋到分割過程。

圖9 目標提取

[1] ABAID N, PORFIRI M. Collective behavior of fish in one-dimensional annular domains [C]. American Control Conference, Marriott Waterfront, Baltimore, MD, USA, 2010, 63-68.

[2] CONTI S G, ROUX P, FAUVEL C,etal. Acoustical monitoring of fish density, behavior, and growth rate in a tank [J]. Aquaculture, 2007, 251(2-4):314-323.

[3] CHA B J, BAE B S, CHO S K,etal. A simple method to quantify fish behavior by forming time-lapse image [J]. Aquacultural Engineering, 2012(51):15-20.

[4] STIEN L H, BRATLAND S, AUSTEVOLL I,etal. A video analysis procedure for assessing vertical fish distribution in aquaculture tanks[J]. Aquacultural engineering, 2007, 37(2): 115-124.

[5] KATO S, TAMADA K, SHIMADA Y,etal. A quantification of goldfish behavior by an image processing system [J]. Behavioural brain research, 1996, 80(1): 51-55.

[6] KATO S, NAKAGAWA T, OHKAWA M,etal. A computer image processing system for quantification of zebrafish behavior [J]. Journal of neuroscience methods, 2004, 134(1): 1-7.

[7] SUZUKI K, TAKAGI T, HIRAISHI T. Video analysis of fish schooling behavior in finite space using a mathematical mode[J]. Fisheries Research, 2003, 60(1): 3-10.

[8] WANG X, MA X, GRIMSON W E. Unsupervised activity perception in crowded and complicated scenes using hierarchical Bayesian models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 539-555.

[9] 盧煥達，劉鷹，余心杰等. 基于計算機視覺技術的運動與檢測算法[J]. 農業(yè)工程學報,2011,38(1)：19-23.

[10] MA H, TSAI T F, LIU C C. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems with Applications, 2010, 37(7): 5158-5171.

[11] PARAGIOS N, DERICHE R. Geodesic active contours and level sets for the detection and tracking of moving objects[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(3): 266-280.

[12] GIBSON J J. The perception of the visual world [M]. Westport: Greenwood Press, 1950.

[13] HORN B K P, SCHUNCK B G. Determining optical flow [J]. Artificial Intelligence, 1981, 17(1):185-203.

[14] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of Imaging Understanding Workshop. Vancouver, British Columbia, 1981, 81(1): 674-679.

[15] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. IEEE, 1999, 2.

[16] PPRIKLI F, TUZEL O. Human body tracking by adaptive background models and mean-shift analysis[C]. IEEE International Workshop on Performance Evaluation of Tracking and Surveillance. 2003: 1-9.

Study on fish moving object extraction based on video analysis

ZHANG Sheng-mao1, ZHAO Shen2, ZHANG Heng1, YANG Dong-hai1

(1.KeyLaboratoryofEastChinaSea&OceanicFisheryResourcesExploitationandUtilizationofMinistryofAgriculture,EastChinaSeaFisheriesResearchInstitute，ChineseAcademyofFisherySciences,Shanghai200090,China; 2.SchoolofOpticalandComputerEngineering,UniversityofShanghaiforScienceandTechnology200090,China)

China is a superpower aquaculture country. The aquaculture industry not only has a considerable large base but also shows a very high speed increase. The traditional ways in fisheries disease prevention are very inefficient and perform a low reliability. With the rapid development of image processing and computer vision technology, the method of video monitoring is chosen to analyze the image by computer, and then to judge the results of fish behaviors. Firstly, the color image is converted into gray image. Then, Gaussian template is used to smooth the images. Finally, Gaussian Mixture Model (GMM) is used to obtain the background model. It is used to get the images of moving fish. It also provides the way of getting more stable result by analyzing the outline of targets. The methods herein have been verified by experiments. Application of video analysis techniques will increase the aquatic production level of automation and fine processing capacity.

computer vision; video analysis; motion detection; Gaussian Mixture Model

2016-10-29

2016-12-31

中央級公益性科研院所基本科研業(yè)務費專項資金項目(東海水產(chǎn)研究所2016T01)；上海市自然科學基金項目(15ZR1450000)

張勝茂(1976-)，男，副研究員、博士。研究方向：漁業(yè)遙感，地理信息系統(tǒng)，圖像處理。 E-mail：ryshengmao@126.com。

2095-3666(2017)01-0044-07

10.13233/j.cnki.fishis.2017.01.008

TP 751.1

A