張勝茂,張衡,唐峰華,吳祖立,么宗利,樊偉
(中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所,農(nóng)業(yè)部東海與遠(yuǎn)洋漁業(yè)資源開發(fā)利用重點實驗室,上海200090)
計算機(jī)視覺技術(shù)在監(jiān)測魚類游泳行為中的研究進(jìn)展
張勝茂,張衡,唐峰華,吳祖立,么宗利,樊偉
(中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所,農(nóng)業(yè)部東海與遠(yuǎn)洋漁業(yè)資源開發(fā)利用重點實驗室,上海200090)
借助計算機(jī)視覺技術(shù)研究魚類游泳行為已逐漸成為熱點課題,它模擬生物視覺原理,通過處理采集的圖片或視頻獲得動態(tài)目標(biāo)參數(shù)信息,以達(dá)到對魚類游泳行為監(jiān)測分析的目的,本研究旨在介紹國內(nèi)外該領(lǐng)域的研究進(jìn)展,并展望其發(fā)展趨勢。首先介紹魚體監(jiān)測目標(biāo)的種類選擇與影像獲取方法,然后介紹影像中的背景去除與目標(biāo)檢測,并對影像數(shù)據(jù)直接和擬合提取目標(biāo)參數(shù)的單個魚體目標(biāo)游泳參數(shù)提取方法,以及運動預(yù)測法和特征匹配法的多魚體目標(biāo)監(jiān)測方法進(jìn)行詳細(xì)闡述,對游泳行為監(jiān)測參數(shù)進(jìn)行分類,并介紹了相關(guān)影像處理常用軟件,最后總結(jié)了計算機(jī)視覺監(jiān)測存在的難點及未來發(fā)展趨勢。
計算機(jī)視覺;游泳行為;目標(biāo)檢測;魚類跟蹤
計算機(jī)視覺(Computer vision)技術(shù)是一種快速、經(jīng)濟(jì)、有效的測量和評價手段,通過實現(xiàn)人的視覺功能,來感知、識別和理解三維場景,可以根據(jù)軌跡、位置、尺寸、形狀、加速度等進(jìn)行魚類游泳行為的識別與分析[1-2]。對魚類游泳行為的研究為改進(jìn)捕撈技術(shù)、優(yōu)化養(yǎng)殖環(huán)境、監(jiān)測水源水質(zhì)[3-4]、增強(qiáng)漁業(yè)資源保護(hù)與管理能力提供了理論基礎(chǔ),是魚類行為學(xué)、生理學(xué)、生態(tài)學(xué)等學(xué)科的重要研究內(nèi)容[5]。早期魚類游泳行為監(jiān)測以直接觀察和手工記錄為主[6],基本處于定性階段,受人為主觀判斷影響較大,且耗時較長,試驗數(shù)據(jù)的可靠性較低。而對魚類行為的研究需要大量應(yīng)激反應(yīng)、集群、洄游等實測數(shù)據(jù),這些數(shù)據(jù)的獲取是一個耗時費力的過程[7],影像技術(shù)的出現(xiàn)提高了試驗數(shù)據(jù)的準(zhǔn)確性和試驗效率,有效地推動了魚類行為學(xué)分析技術(shù)的研究發(fā)展[8],早在1933年,動物學(xué)家就開始用電影膠片紀(jì)錄魚類運動及轉(zhuǎn)向過程[9]。近年來,計算機(jī)視覺監(jiān)測技術(shù)發(fā)展迅速[10-11],可在自然光條件下拍攝魚類活動,快速獲取魚的位置、方向、游速等信息,這種方式不干擾魚類活動,魚類不會產(chǎn)生應(yīng)激反應(yīng),獲取的數(shù)據(jù)既可以輔助魚類行為特征分析[11-12],也可以用于驗證魚類行為建模效果。使用計算機(jī)進(jìn)行魚類圖像的處理,可以大大提高工作效率及準(zhǔn)確度,實現(xiàn)非干擾式的長時間連續(xù)監(jiān)測、高頻率快速量化獲取游泳行為參數(shù),以用于魚類游泳能力評價,對輔助魚類的養(yǎng)殖、捕撈、魚道建設(shè),以及研究魚類生長、繁殖、捕食等規(guī)律均有重要的生物學(xué)意義[8,13]。
1.1 監(jiān)測目標(biāo)魚的種類選擇
魚類游泳行為研究的對象受實驗室觀察條件所限,監(jiān)測的魚類目標(biāo)不能太大,游動性不能過強(qiáng),因此,監(jiān)測對象多為幼小魚體或體型小的成魚,需選擇魚類習(xí)性較適合研究目的的物種。胭脂魚Myxocyprinus asiaticus是中國二級保護(hù)動物,仔魚期體長為1.6~2.2 cm,體形細(xì)長,體長為體高的4.7倍,具有典型的集群行為,非常適合借助視頻技術(shù)開展早期發(fā)育階段集群行為的發(fā)生過程研究[14]。斑馬魚Danio rerio體型纖細(xì),成體長3~4 cm,斑馬魚和人類基因有著87%的高度同源性,有學(xué)者采用高通量視頻跟蹤技術(shù)檢測48孔板中斑馬魚幼魚游泳行為參數(shù)的變化,研究低劑量鎘對其神經(jīng)發(fā)育的影響[15],利用視頻跟蹤系統(tǒng)研究敵敵畏對斑馬魚游泳行為的影響等[16]。鯉科Cyprinidae魚種多分布廣,該科魚種是主要的淡水養(yǎng)殖品種,其游泳行為差別大,是較好的影像監(jiān)測研究對象,如雜食性的鯽Carassius auratus,草食性的中華倒刺鲃Spinibarbus sinensis和草魚Ctenopharyngodon idellus,濾食性的鳙Aristichthys nobilis和鰱Hypophthalmichthys molitrix,通過視頻技術(shù)容易比較研究食性對鯉科魚類流速選擇行為的影響[17],鳊Parabramis pekinensis較其他魚類對溫度更為敏感,可研究溫度變化對其自發(fā)運動的影響[18]。
1.2 影像信息獲取
在客觀世界的三維場景中,計算機(jī)視覺技術(shù)利用計算機(jī)來模擬人的視覺功能獲取空間影像,并對其進(jìn)行數(shù)據(jù)處理與信息提取,最終用于現(xiàn)實中的檢測、測量、跟蹤等[19],客觀事物的視頻信息獲取是進(jìn)行計算機(jī)視覺應(yīng)用的第一步。
1.2.1 單攝像頭 玻璃水槽一般采用立方體,四周粘貼白色防水紙張以減少鏡像的影響,使視頻圖像背景比較均勻、清晰,單攝像頭一般放置在玻璃水槽的正上方,并使鏡頭正對水面[6],也可以放置在水箱的4個側(cè)面監(jiān)測魚缸中魚的生態(tài)狀況[3,19-21],記錄的位置為二維坐標(biāo)。單攝像頭與一個反射鏡組合可記錄魚在玻璃水箱中的三維空間坐標(biāo),如將攝像機(jī)放置在水箱的側(cè)面,水箱上方安裝一面可調(diào)節(jié)角度的反射鏡,拍攝時鏡面傾斜角為45°,相當(dāng)于設(shè)置一臺從上向下拍攝的虛擬攝像機(jī),實現(xiàn)單攝像機(jī)的三維成像[7,12],反射鏡也可以放置在水箱的其他側(cè)面組合拍攝[22],如圖1-A所示。水箱4個底角中的一個角可以作為原點,該底角相交的3個水箱邊緣限定為坐標(biāo)軸,攝像機(jī)獲得的真實圖像和反射鏡獲得的虛擬圖像,經(jīng)過坐標(biāo)系的變換可獲得三維坐標(biāo)。
1.2.2 雙攝像頭 從不同角度同時拍攝記錄魚類活動的雙攝像頭平臺比較容易構(gòu)建,可以把一臺攝像機(jī)放置在水箱正上方記錄水平坐標(biāo)面,另一臺放置在側(cè)面記錄垂直坐標(biāo)面[23]。也有研究者把兩個攝像頭安裝在底面平臺的兩個導(dǎo)軌上,用計算機(jī)控制電機(jī)驅(qū)動導(dǎo)軌,實現(xiàn)二維跟蹤自由游動的魚,其中一個攝像頭方向向上拍攝底視圖,另一個攝像頭的拍攝方向也朝正上方,但通過在魚缸側(cè)面45°處放置一個條狀的反射鏡拍攝魚的側(cè)視圖[24]。借助激光束和反射鏡,雙攝像頭也可以對魚鰭活動引起的粒子圖像測速[25],水箱側(cè)面有兩個攝像頭,在水箱底部由氬離子激光所提供的光束被圓柱形透鏡聚焦后,從水箱底部將其投射到流動池的工作區(qū)
中,其中一個高速攝像頭記錄由魚鰭活動引起水粒子的運動圖像,水箱中安裝45°反射鏡,另一個攝像頭記錄反射鏡中的魚體側(cè)面。
1.2.3 多攝像頭 多個攝像頭可以根據(jù)不同研究目的進(jìn)行組合監(jiān)測,能夠獲取魚類精細(xì)的三維結(jié)構(gòu),或者獲取較大視場范圍內(nèi)魚類的同步活動。3個及3個以上的攝像頭能實現(xiàn)立體監(jiān)測,從不同角度同步拍攝獲取魚體擺動參數(shù)[26],如圖1-B所示。Santana-Garcon等[27]以2個攝像頭為一組,從5~200 m的不同深度部署多組攝像頭,組成立體遠(yuǎn)洋水下視頻系統(tǒng),立體監(jiān)測中上層魚類游泳群聚。Watson等[28]用3組攝像頭組成水下立體視頻系統(tǒng),在澳大利亞西南部哈梅林灣3個珊瑚礁區(qū),研究溫帶珊瑚魚的相對密度和物種豐富度。Bryan等[29]把4個攝像頭按照一定間隔安裝在底拖網(wǎng)上輔助資源調(diào)查,在拖曳底拖網(wǎng)時,分析比目魚的游泳行為及逃逸情況。Kane等[30]用12個彩色CCD相機(jī)定量分析魚游泳行為應(yīng)激反應(yīng),他把游泳行為的改變作為亞致死毒性監(jiān)測的質(zhì)變點,并以此作為一個毒理學(xué)影響的環(huán)境風(fēng)險評估和分析工具等。
圖1 魚類行為的視頻監(jiān)控示意圖Fig.1 Fish behavior video surveillance
2.1 背景去除與目標(biāo)檢測
通過攝像頭獲取的影像在監(jiān)測目標(biāo)游泳參數(shù)提取前,一般均要先經(jīng)過圖像預(yù)處理、背景去除和目標(biāo)檢測。在圖像預(yù)處理時,彩色圖信息量大影響處理速度,一般需要轉(zhuǎn)化成灰度圖像,圖像采集、傳輸及處理中常有噪聲影響和干擾,如魚體圖中有縫隙或不完整,魚體邊緣存在毛刺,背景中有小塊的像素斑點等,一般采用中值濾波、閾值濾波和形態(tài)學(xué)等方法去噪[4]。
因研究對象是魚體,故需將魚體影像從水體、魚缸等背景中分離開來。常用的背景去除與目標(biāo)檢測方法有幀間差分法、光流法、減背景法、多尺度分水嶺分割算法、時空域聯(lián)合分割算法等。幀間差分法檢測運動目標(biāo)速度快,且不受光照變化影響,適用于靜態(tài)場景中的運動目標(biāo),以提取出魚體二值化圖像[6],但用相鄰幀之間比較,前景圖像易出現(xiàn)空白。光流法是用運動序列圖像中亮度模式的流動反映目標(biāo)運動信息,能在相機(jī)運動的情況下獲取動態(tài)目標(biāo),由于使用迭代方法復(fù)雜度高,需有較高的硬件要求,不適用于實時性要求較高的環(huán)境。減背景法是用當(dāng)前的視頻圖像與背景比較,提取出與背景差別過大的像素作為目標(biāo),因此,需要事先對前景建模。多尺度分水嶺分割算法能夠有效抑制分水嶺過度分割,算法以變化檢測為基礎(chǔ),通過相鄰兩幀的幀差得到目標(biāo)運動區(qū)域,精確分割魚類運動視頻目標(biāo)得到魚體影像[4]。
2.2 單個魚體的目標(biāo)監(jiān)測
2.2.1 影像數(shù)據(jù)直接提取目標(biāo)參數(shù) 圖像經(jīng)過預(yù)處理、背景去除和目標(biāo)檢測后,可以通過提取魚體曲線和計算胸尾鰭位置等提取魚體局部游泳參數(shù),也可以通過提取魚體質(zhì)心和計算空間位置等提取魚體游泳速度、角度等信息(圖2)。
圖2 影像數(shù)據(jù)直接提取目標(biāo)參數(shù)Fig.2 Target parameters directly extracted from the images
魚類游動主要靠軀干、尾鰭、胸鰭協(xié)調(diào)配合,準(zhǔn)確提取時間序列中魚體軀干、尾鰭和胸鰭的體曲線是分析魚類游泳機(jī)理的關(guān)鍵。研究中可通過圖像差分后經(jīng)閾值劃分提取出魚體的輪廓,再利用能量函數(shù)抽取出魚的體曲線,然后用樣條曲線參數(shù)擬合,得到魚游動時體干曲線變化的準(zhǔn)確數(shù)據(jù)和各種運動學(xué)參數(shù)[31]。也可以通過距離變換求卷積的方法計算魚體骨架,再擬合中心骨架線得到魚體曲線[24],在圖像中以白色代表目標(biāo),黑色代表背景生成二值圖像,用距離變換法把二值圖像變換為灰度圖像,該圖像的每個輸出像素被設(shè)置成與輸入圖像中背景像素最近的距離。隨后對距離變換圖進(jìn)行卷積運算,保留結(jié)果中像素灰度值最大值,把獲得的圖像通過閾值分割轉(zhuǎn)換為二值圖像獲得骨架,這時骨架不連續(xù),寬度不是單像素,有毛刺或分支,經(jīng)過形態(tài)學(xué)運算中腐蝕、膨脹、開運算和閉運算得到一個單像素寬度的連續(xù)骨架[32]。用一階重心矩方法提取質(zhì)心,定位骨架中魚尾末端的坐標(biāo)及胸鰭根部和末梢的坐標(biāo),以魚尾鰭末端到魚體曲線在質(zhì)心處切線的距離作為魚尾鰭擺幅,魚體曲線在魚尾鰭末端處和質(zhì)心處兩切線的夾角作為魚尾鰭擺角,魚尾鰭平面和豎直面的夾角作為魚尾鰭扭轉(zhuǎn)角,胸鰭根部所在的水平面內(nèi),魚體表面在鰭根處的切線與胸鰭在該水平面內(nèi)投影的夾角作為胸鰭擺角,胸鰭平面與豎直面的夾角作為胸鰭扭轉(zhuǎn)角,胸鰭與水平面的夾角作為胸鰭俯仰角[24]。
經(jīng)過背景去除與目標(biāo)檢測,可以獲取到魚體圖像,整個魚體的游泳運動檢測實質(zhì)就是把魚看成一個質(zhì)點,提取質(zhì)點軌跡,計算速度、方向等參數(shù),如圖2所示。圖像處理中幾何不變矩可以作為一個重要的特征來表示物體,用目標(biāo)區(qū)域的形心坐標(biāo)來表示物體的位置,區(qū)域的不變矩特征,作為目標(biāo)圖像的形狀特征參數(shù)能通過計算區(qū)域內(nèi)的像素點得出,目標(biāo)的形心可以采用邊緣提取后的目標(biāo)進(jìn)行計算,利用Sobel算子提取魚體的邊緣,通過邊緣輪廓計算形心點,把形心點作為跟蹤點,模擬出魚類運動軌跡,該方法用于不是特別復(fù)雜場景中的魚類跟蹤具有較好的效果[6]。此外,也可以基于邊緣多值的權(quán)值計算方法,進(jìn)行加權(quán)Hausdorff距離度量,根據(jù)邊緣多值圖像分配權(quán)值,定位魚體目標(biāo),實現(xiàn)精確跟蹤目標(biāo)[4]。
2.2.2 影像擬合提取目標(biāo)參數(shù) 通過影像擬合間接提取魚體目標(biāo)游泳參數(shù)的過程如圖3所示,圖像要經(jīng)過預(yù)處理、背景去除和目標(biāo)檢測,還要創(chuàng)建魚體三維模型,再在每個相機(jī)拍攝的圖像中,點擊魚嘴和魚尾,校準(zhǔn)模型和相機(jī),并初始化魚體位置。在拍攝的圖像中分割出魚體目標(biāo)圖像,預(yù)測魚的位置、方向和身體曲率等參數(shù)初始化模型,并經(jīng)過多次變換這些參數(shù)[33],找到最佳參數(shù)值,最大限度地減少模型虛擬影像與魚體目標(biāo)圖像間的差異。當(dāng)虛擬圖像在與所有相機(jī)中的魚體圖像匹配均為最優(yōu)時結(jié)束圖像比較,計算模型的質(zhì)量中心,提取出魚體的游泳參數(shù)[34]。
圖3 影像擬合提取目標(biāo)參數(shù)Fig.3 Target parameters extraction from image fitting
一個虛擬的魚體三維模型由多個橫截面組成,通過改變模型的參數(shù)可模擬魚游泳時的不同形態(tài)。沿著魚體從頭到尾的方向,間隔一定距離橫向切割產(chǎn)生多個截面,這種方式對表現(xiàn)魚體形狀具有較大的靈活性,通過這些截面容易創(chuàng)建三維表面模型,且在魚體彎曲的情況下可通過模型橫截面簡單的旋轉(zhuǎn)和平移來模擬。以斑馬魚幼魚為例,將其分成軀干、眼睛和內(nèi)側(cè)鰭,它們的截面形狀分別由3次樣條函數(shù)、超橢圓和普通橢圓來描述,身體不同位置的截面形狀參數(shù),通過與真實的魚體對比確定[35]。魚體上每一個位置以及3部分的外部輪廓合并成為一個完整的橫截面,所有合并的橫截面有相同數(shù)量的邊緣點,可以將它們連成四邊形的面,從而創(chuàng)建一個三維表面模型,由于橫截面垂直于魚體的中心線,因此,基于中心線位置可以較容易地改變模型形狀。接下來需要對多個相機(jī)拍攝的影像進(jìn)行圖像分割,劃分出魚體目標(biāo)的圖像,用于與模型投影的虛擬影像擬合對比。圖像擬合效果由魚體模型投影虛擬圖像與當(dāng)前時間圖像間的重疊情況來判斷,將三維魚體模型投影的虛擬平面圖像疊加到分割后的圖像,統(tǒng)計合成的圖像中所有非零像素數(shù),再減去重疊影像中非零像素數(shù),虛擬圖像與實際圖像間不重合的像素的總數(shù)反映擬合的效果。假設(shè)模型截面密度相同,可以計算出模型的質(zhì)心,以圖像最佳擬合時設(shè)置的位置、方向和身體曲率參數(shù)作為當(dāng)前圖像中魚體的形態(tài)參數(shù),由多個圖像提取的模型參數(shù)可進(jìn)一步計算出游泳速度、魚體左右擺動角度、上下擺動角度和滾動角度[26]。
2.3 多魚體的目標(biāo)監(jiān)測
魚類群體游泳行為廣泛存在于大自然中,它對魚的覓食和躲避天敵等起到至關(guān)重要的作用[36],從視頻中準(zhǔn)確地魯棒性恢復(fù)多目標(biāo)魚體軌跡是一個具有挑戰(zhàn)性的問題。經(jīng)過背景去除檢測到魚體目標(biāo)后,進(jìn)行位置提取與運動跟蹤、軌跡聯(lián)接,提取魚的位置、軌跡、速度和方向,可以進(jìn)一步計算出魚體間的距離、夾角等參數(shù),為研究魚類群體結(jié)構(gòu)特征提供依據(jù),如圖4所示。攝像設(shè)備獲取影像的覆蓋范圍一定,且魚類行為觀察水箱一般體積有限,當(dāng)兩條或多條魚游到一起,或距離較近時容易出現(xiàn)相互遮擋,因此,多目標(biāo)跟蹤的難點是不同目標(biāo)區(qū)別跟蹤,常用的方法有運動預(yù)測法、特征匹配法。
圖4 多魚體目標(biāo)監(jiān)測Fig.4 Multi-fish target detection
2.3.1 運動預(yù)測法 魚體目標(biāo)影像體現(xiàn)為多個像素組成的面,一般以魚體連通區(qū)域的質(zhì)心或魚體頭部中心點進(jìn)行跟蹤,在搜索窗口內(nèi)進(jìn)行搜索,若能找到匹配區(qū)域,將新位置添加到目標(biāo)軌跡中,若在搜索窗口內(nèi)找不到匹配區(qū)域,且目標(biāo)數(shù)小于總目標(biāo)數(shù)據(jù),說明發(fā)生遮檔,則跟蹤結(jié)束。當(dāng)發(fā)生遮擋的魚之間相互分離,到一定距離時,在運動檢測中就會發(fā)現(xiàn)新的目標(biāo)出現(xiàn),則分裂結(jié)束,分裂前預(yù)測目標(biāo)區(qū)域可能位置,分裂后將預(yù)測區(qū)域與分裂出的目標(biāo)區(qū)域匹配,如果匹配成功,則兩個目標(biāo)關(guān)聯(lián),如果目標(biāo)匹配失敗,則作為新目標(biāo)進(jìn)行跟蹤[37]。為了減少遮擋帶來的歧義性問題,一般是通過統(tǒng)計方法預(yù)測目標(biāo)的位置,常用的統(tǒng)計方法有貝葉斯理論、卡爾曼濾波、粒子濾波、核密度估計等[38]。王麗娜等[3]采用二階卡爾曼濾波器預(yù)測運動目標(biāo)的位置,在對預(yù)測后的運動目標(biāo)和前景目標(biāo)進(jìn)行匹配時,利用圖像塊匹配來精確定位目標(biāo)的位置,對魚缸內(nèi)放養(yǎng)的6條小型熱帶魚的視頻圖像進(jìn)行運動目標(biāo)檢測與跟蹤。徐盼麟等[7]通過目標(biāo)跟蹤窗確定和窗內(nèi)量測選定來定義魚的初始信息,再基于
JPDA(Joint probabilistic data association)計算出所有魚的量測值和每條魚間相互關(guān)聯(lián)的概率,通過卡爾曼濾波進(jìn)行下一幀目標(biāo)的預(yù)測和跟蹤6條紅鼻剪刀魚Hemigrammus bleheri。Bojilov等[39]用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法結(jié)合交互式多模型算法(Interacting multiple model algo-rithm,IMM),提出多個機(jī)動目標(biāo)跟蹤的高效方法。預(yù)測魚體目標(biāo)位置然后匹配的方法識別速度快,可以用于實時的環(huán)境,但會出現(xiàn)目標(biāo)識別錯誤,產(chǎn)生后續(xù)的目標(biāo)跟蹤錯誤疊加。
2.3.2 特征匹配法 魚體游動時有些特征變化較小,可以看作是剛體的運動,可作為識別魚的特征。如斑馬魚在游動過程中頭部區(qū)域基本無形變,提出頭部和魚眼顯著性特征,然后通過統(tǒng)計學(xué)方法設(shè)計的基于魚眼的魚頭檢測器,實現(xiàn)快速、準(zhǔn)確檢測魚頭的位置和方向,在有多個目標(biāo)被跟蹤時,用檢測魚眼算法檢測圖像后,需要在檢測到的目標(biāo)與跟蹤器間建立對應(yīng)關(guān)系,即多對多關(guān)聯(lián),每個跟蹤器與其附近最匹配的檢測值關(guān)聯(lián),達(dá)到多目標(biāo)跟蹤,在嚴(yán)重的身體遮擋情況下基本也能工作[40]。魚體紋理特征也可以作為不同個體的識別標(biāo)志,使用紋理特征識別視頻中的每一個個體,通過識別跟蹤,防止目標(biāo)跟蹤錯誤的傳播,并可在一段時間內(nèi)重復(fù)使用紋理特征識別[41]。特征匹配識別方式基本可以實現(xiàn)魚體目標(biāo)準(zhǔn)確識別,但由于多個目標(biāo)要分別匹配,計算量大,因此,跟蹤目標(biāo)數(shù)量受限。
3.1 魚體局部監(jiān)測參數(shù)
魚體游泳運動的動力主要是來自軀干部和尾部的擺動,背鰭、腹鰭、臀鰭、胸鰭均有保持魚體平衡的作用,Gibb等[42]通過處理拍攝魚的側(cè)視和底視圖,分析得到了胸鰭的擺動頻率、速度與魚游動速度的關(guān)系。尾鰭主要決定運動方向,Ferry等[43]在魚尾鰭加了8個標(biāo)記點,拍攝魚的后視和側(cè)視圖,測得魚游動時魚尾鰭各點的分布,得到魚尾鰭運動參數(shù)。吳冠豪等[24]通過處理跟蹤時記錄的圖像,獲得了鯽在前游、倒游和拐彎3種運動模式下的身體曲線,以及尾鰭和胸鰭的運動學(xué)參數(shù)。Lauder等[44]研究了魚類游泳運動中胸鰭的功能,以及背鰭和尾鰭間的水動力相互作用,并將研究成果應(yīng)用到水下機(jī)器人動力推進(jìn)上。
3.2 基礎(chǔ)監(jiān)測參數(shù)
首先從影像數(shù)據(jù)中提取出魚體位置信息,一段時間獲取的系列位置點組成運動軌跡,軌跡是開展魚類游泳行為學(xué)研究的一個基礎(chǔ)參數(shù)。在水質(zhì)監(jiān)測系統(tǒng)中跟蹤魚的運動軌跡,提取可以反映水質(zhì)污染狀況的魚類行為參數(shù),如利用運動軌跡計算魚群的運動狀態(tài)(速度、高度、間距等),檢測運動軌跡出現(xiàn)急劇變快的影像,并根據(jù)魚群的游動狀態(tài)變化判斷水質(zhì)的突變[21,37]。在實際養(yǎng)殖環(huán)境下對魚類運動軌跡的實時跟蹤,可以檢測魚群異常行為,能有效地應(yīng)用到現(xiàn)代化水產(chǎn)養(yǎng)殖中,從而提升養(yǎng)殖技術(shù)含量,為網(wǎng)箱養(yǎng)殖提供可靠依據(jù)[6]。王卓等[16]利用視頻研究了斑馬魚染毒前后運動軌跡變化,正常情況下斑馬魚進(jìn)入新環(huán)境后會有明顯的探索興趣,對照組斑馬魚較頻繁地上下穿梭,在箱壁附近活動較多,染毒后的斑馬魚行為出現(xiàn)明顯的刻板轉(zhuǎn)圈行為,隨著濃度的增加,運動軌跡單一集中在頂部。
3.3 單位時間監(jiān)測參數(shù)
魚類的游泳行為特征需要通過魚的游動速度、角速度等數(shù)據(jù)來表達(dá)。由魚體時間序列位置點(軌跡)可以計算出單位時間監(jiān)測參數(shù),徐盼麟等[7]基于單攝像機(jī)視頻輸出紅鼻剪刀魚的三維坐標(biāo),計算出魚與魚間的實時距離、夾角,以及魚體實時速度和方向等參數(shù)。視頻圖像提取魚的平均游泳速度和高度,可以判斷魚的健康狀況,分析魚類行為[3]。史慧勤等[15]采用高通量視頻跟蹤技術(shù)檢測斑馬魚幼魚的移動距離、平均速度、最大速度、快速運動頻率參數(shù)對不同濃度氯化鎘受試液刺激的變化。時間單位的長短可以根據(jù)具體研究目的確定,王卓等[16]分析了斑馬魚6 min的單位時間數(shù)據(jù),發(fā)現(xiàn)該魚隨著染毒濃度的增加,水平移動距離和穿梭次數(shù)逐漸減少。
3.4 狀態(tài)持續(xù)時間參數(shù)
根據(jù)魚體游泳平均速度、最大速度、移動距離等劃分試驗中魚體的狀態(tài),然后統(tǒng)計一段時間內(nèi)各狀態(tài)的持續(xù)時間,評價魚體對某種環(huán)境的適應(yīng)性。自然生境中常發(fā)生環(huán)境溫度變動,影響魚類自發(fā)游動,彭靜等[18]研究恒溫和周期性變溫對鳊幼魚自發(fā)運動的影響時,利用視頻處理技術(shù)獲取圓形水槽外周和中心區(qū)域魚停留的時間,以及整個過程中魚運動的總路程、運動和靜止時間,同時,通過上述指標(biāo)計算出運動過程中的平均速度和運動占總過程的時間比,作為評價試驗魚自發(fā)運動的相關(guān)指標(biāo)。魚類對水流速度存在選擇性,吳青怡等[17]設(shè)計了直徑呈線性增大的圓錐形流速選擇儀,用梯度流速判斷鯉科魚類的流速選擇,分析得到每個速度區(qū)域試驗魚的停留時間,并計算單次進(jìn)入的平均停留時間和停留時間比例。
3.5 群體監(jiān)測參數(shù)
根據(jù)位置、軌跡、速度、方向等參數(shù),可以計算出魚體間的實時距離、夾角等參數(shù),為進(jìn)一步研究魚類集群行為、群體結(jié)構(gòu)的空間關(guān)系提供參考[7]。目標(biāo)魚和最為鄰近魚在兩個較短時刻,它們的相對距離的變化作為分離游泳指數(shù),用于表示魚群中的平行游泳指數(shù),研究游泳能力和群居習(xí)性之間的關(guān)系[14]。選擇某時刻多個試驗對象中的一條魚作為中心,選擇目標(biāo)魚附近n(n小于總數(shù))條魚中的最短距離,然后以離中心魚最近的n條魚為目標(biāo),計算每一條魚到最近魚的距離,可以得到n+1個針對一條中心魚的數(shù)據(jù),取其平均值即為該時刻的最近鄰距離,該距離除以魚體全長,就是相對全長最近鄰距離,該指標(biāo)被用來評價魚類群體的緊湊程度[14],其游泳模式隨著集群行為的發(fā)生由間歇高速游泳向持續(xù)巡游游泳轉(zhuǎn)變。
魚類游泳行為參數(shù)提取基本通過計算機(jī)軟件程序?qū)崿F(xiàn),研究者使用的軟件主要有商業(yè)軟件、免費軟件和個性化開發(fā)軟件3種。荷蘭諾達(dá)思公司的商業(yè)分析軟件Noldus,能對魚的胚胎以及幼魚和成魚的觀察數(shù)據(jù)進(jìn)行收集、分析、表達(dá)和管理,并對其行為過程進(jìn)行科學(xué)的數(shù)據(jù)化分析[45-46]。法國威尼爾公司的Logger Pro可作為數(shù)據(jù)采集和行為分析商業(yè)軟件,能逐幀捕捉錄像中的圖像,有數(shù)據(jù)采集和量化分析工具,易于學(xué)習(xí)和使用。丹麥Loligo公司的水生動物行為學(xué)研究商業(yè)套件Loligo Systems,可以方便地研究游動的魚的生理、能量學(xué)、行為、生物力學(xué)和動力學(xué)[47]。美國邁斯沃克公司的Matlab軟件有數(shù)學(xué)庫、圖形庫和強(qiáng)大的圖像處理工具箱,支持多種圖像格式,圖像處理工具箱有圖像變換、圖像分析、特征提取等工具,用戶可以自定義編程實現(xiàn)。加拿大邁創(chuàng)圖公司的Matrox MIL商業(yè)分析軟件有配套的硬件設(shè)備,帶有擴(kuò)展優(yōu)化函數(shù)(圖像采集,顯示和存檔)的高級編程庫,是一個管理圖像采集、顯示和存檔的動態(tài)控件的集合,用戶可自定義開發(fā)。SwisTrack是在GPLv3許可協(xié)議下的免費軟件,采用OpenCV庫進(jìn)行快速圖像處理,提供了應(yīng)用軟件和源代碼,可用于魚類的視頻分析,但只能實現(xiàn)二維平面上多目標(biāo)自動追蹤[48]。一些研究者用免費的EmguCV、OpenCV庫,以及收費的Matrox公司MIL8.0庫等做二次開發(fā)[19,37],或自主開發(fā)軟件研究魚類游泳行為[21]。
魚類游泳行為屬于動物行為學(xué)的范疇,與魚類生態(tài)學(xué)、魚類生理學(xué)和漁業(yè)學(xué)關(guān)系密切,其主要研究魚類受外部刺激和內(nèi)部刺激產(chǎn)生的游泳行為變化,包括游泳類型、游泳模式和游泳機(jī)理。多年來,人們圍繞魚類的游泳行為,以及內(nèi)外部影響因素,采用多種監(jiān)測方法,開展了大量研究工作,經(jīng)常采用的方式是傳統(tǒng)的觀察法,這種方法具有易操作、形象化、實在化的優(yōu)點,但觀測者容易擾動魚體目標(biāo),從而影響其自然游動,且一般只能在白天進(jìn)行定性分析,難于進(jìn)行定量比較,故只適于初步了解魚類游泳行為特點,不適合精度要求高的游泳行為研究。近年來,魚類游泳行為學(xué)在各種高新技術(shù)的支持下發(fā)展迅速,涌現(xiàn)出了多種前沿技術(shù),如遙感遙測、衛(wèi)星標(biāo)志、光束監(jiān)測、計算機(jī)視覺監(jiān)測等。遙感遙測法采用超聲波遙測技術(shù)研究魚類游泳運動,具有試驗針對性強(qiáng)、跟蹤性好的特點,它是通過接收機(jī)跟蹤魚體內(nèi)發(fā)射機(jī)發(fā)出超聲波信號,來監(jiān)測魚體游泳參數(shù),用于參數(shù)測定的傳感器裝于發(fā)射機(jī)內(nèi),受魚體大小所限發(fā)射機(jī)內(nèi)只能容納少量傳感器,這種方法對追蹤魚體的數(shù)量和規(guī)格有限制,同時對試驗魚有傷害,也會影響試驗魚的游泳行為,且儀器成本較高。可脫離衛(wèi)星標(biāo)志(Pop-up satellite archival tags)是一種用于跟蹤較大個體魚的浮標(biāo),方法是先把浮標(biāo)固定在魚體上,并隨魚的游動記錄深度和位置,一段時間后浮標(biāo)自動脫離魚體,通過衛(wèi)星發(fā)回數(shù)據(jù),該方式主要限于大型魚類,如金槍魚,這種標(biāo)志成本較高,每個幾萬元。光束監(jiān)測是通過水下發(fā)射的光束,在魚游動時受魚體遮擋,引起光束中斷與連接自動記錄魚類游泳速度及行為,光檢測的準(zhǔn)確度較高,但裝置較復(fù)雜,不能區(qū)分魚群的各目標(biāo)。
計算機(jī)視覺技術(shù)在20世紀(jì)50年代歸入模式識別,其主要集中在二維圖像分析和識別上,到20世紀(jì)70年代出現(xiàn)了一些視覺應(yīng)用系統(tǒng),在80年代中期,計算機(jī)視覺獲得了蓬勃發(fā)展,新概念、新方法、新理論不斷涌現(xiàn),計算機(jī)視覺技術(shù)在魚類游泳行為監(jiān)測中具有明顯的技術(shù)優(yōu)勢,是實現(xiàn)基于魚類個體或小群體監(jiān)測的關(guān)鍵技術(shù),基于計算機(jī)圖像分析系統(tǒng),可實現(xiàn)多個魚體目標(biāo)游泳行為參數(shù)的精確測定,利用多個攝像機(jī)可實現(xiàn)動物三維活動的監(jiān)測。但由于受圖像處理技術(shù)、硬件條件、機(jī)器視覺理論的限制,加上魚類本身特點及其生活環(huán)境的復(fù)雜性,使得計算機(jī)視覺技術(shù)在魚類游泳行為監(jiān)測中還存在著一定的不足和局限。從魚類活動環(huán)境來看,現(xiàn)在的監(jiān)測一般是在實驗室水箱中,水箱壁做了反光處理,并且借助輔助光,但在自然條件下比較復(fù)雜,光的折射與反射影響監(jiān)測精度,水質(zhì)條件影響圖像清晰度,水的流動、波動、氣泡等也會影響成像效果。從魚體本身來看,各種魚體大小不一、形狀各異,游速差別較大,圖像處理中要針對每個魚種設(shè)計特定算法和模型,魚類是變溫動物,晚上通過紅外拍攝效果較差,而超聲波監(jiān)測則會影響魚的生長。從影像設(shè)備來看,水上攝像頭受水的反光、鏡像等光學(xué)現(xiàn)象影響大,水下攝像頭受水流影響穩(wěn)定性差,而水深的影響會出現(xiàn)離焦現(xiàn)象,導(dǎo)致圖像不清晰。計算機(jī)視覺存在各種缺陷,因此,在進(jìn)行魚類游泳能力研究時,要針對魚的種類、規(guī)格、生態(tài)習(xí)性和游泳方式等選擇合適的試驗條件和監(jiān)測方法,以期準(zhǔn)確地獲取魚的游泳行為參數(shù)。
隨著計算機(jī)、電子、光學(xué)等技術(shù)的不斷成熟與完善,計算機(jī)視覺技術(shù)不斷發(fā)展,它不僅能完成模擬人眼的功能,還能完成人眼所不能勝任的工作,未來目標(biāo)是非接觸、客觀化、自動化、高精度和持續(xù)不間斷的監(jiān)測,以實現(xiàn)精度、速度和工業(yè)現(xiàn)場環(huán)境下的可靠性,對于未來魚體動態(tài)目標(biāo)機(jī)器視覺監(jiān)測將更多地投入到實效性、魯棒性、實用性的研究中,有力地推動魚類游泳行為研究,為更好地了解魚類的行為生態(tài)習(xí)性、保護(hù)漁業(yè)資源和改良增養(yǎng)殖技術(shù)提供理論依據(jù)。
[1] Korel F,Luzuriaga D A,Balaban M O.Quality evaluation of raw and cooked catfish(Ictalurus punctatus)using electronic nose and machine vision[J].Journal of Aquatic Food Product Technology, 2001,10(1):3-18.
[2] Luzuriaga D A,Balaban M O,Yeralan S.Analysis of visual quality attributes of white shrimp by machine vision[J].Journal of Food Science,1997,62(1):113-118.
[3] 王麗娜,方景龍.基于視頻理解的活體魚水質(zhì)監(jiān)測實驗[J].杭州電子科技大學(xué)學(xué)報,2010,30(6):33-35.
[4] 程淑紅,蔡菁,胡春海.基于視頻算法的魚類運動跟蹤研究[J].光電工程,2011,38(2):14-18.
[5] 于曉明,張秀梅.魚類游泳能力測定方法的研究進(jìn)展[J].南方水產(chǎn)科學(xué),2011,7(4):76-84.
[6] 江丹丹,桂福坤.基于視頻圖像的魚類行為軌跡追蹤[J].浙江海洋學(xué)院學(xué)報:自然科學(xué)版,2015,34(2):112-118.
[7] 徐盼麟,韓軍,童劍鋒.基于單攝像機(jī)視頻的魚類三維自動跟蹤方法初探[J].水產(chǎn)學(xué)報,2012,36(4):623-628.
[8] 鐘金鑫,張倩,李小榮,等.不同流速對鱇(魚良)白魚游泳行為的影響[J].生態(tài)學(xué)雜志,2013,32(3):655-660.
[9] Gray J.Studies in animal locomotion III.The propulsive mechanism of the whiting(Gadus merlangus)[J].Journal of Experimental Biology,1933,10(4):391-400.
[10] 張勝茂,郭全友.圖像分析技術(shù)在水產(chǎn)品屬性特征識別中的應(yīng)用[J].漁業(yè)信息與戰(zhàn)略,2013,28(1):39-43.
[11] 宋波瀾,張華.Cu離子濃度對雜交鱘幼魚行為、血液指標(biāo)和抗氧化酶的影響[J].大連海洋大學(xué)學(xué)報,2014,29(3):241-245.
[12] 徐盼麟,韓軍.基于視頻的水箱內(nèi)魚類行為觀測系統(tǒng)[J].湖南農(nóng)業(yè)科學(xué),2011(19):140-142.
[13] 袁喜,涂志英,韓京成,等.流速對鯽魚游泳行為和能量消耗影響的研究[J].水生態(tài)學(xué)雜志,2011,34(4):103-109.
[14] 石小濤,王博,王雪,等.胭脂魚早期發(fā)育過程中集群行為的形成[J].水產(chǎn)學(xué)報,2013,37(5):705-710.
[15] 史慧勤,張利軍,苑曉燕,等.氯化鎘暴露對斑馬魚幼魚神經(jīng)行為毒性作用[J].生態(tài)毒理學(xué)報,2013,8(3):374-380.
[16] 王卓,蒲韻竹,陳怡君,等.敵敵畏對斑馬魚運動行為的影響[J].國際藥學(xué)研究雜志,2013,40(3):327-330.
[17] 吳青怡,曾令清,曹振東,等.鯉科魚類的流速選擇及其與食性的關(guān)系[J].水產(chǎn)學(xué)報,2015,39(12):1807-1816.
[18] 彭靜,曾令清,曹振東,等.恒溫和周期性變溫對鳊幼魚自發(fā)運動的影響[J].重慶師范大學(xué)學(xué)報:自然科學(xué)版,2016(3):27-30.
[19] 盧煥達(dá),劉鷹,范良忠.基于計算機(jī)視覺的魚類行為自動監(jiān)測系統(tǒng)設(shè)計與實現(xiàn)[J].漁業(yè)現(xiàn)代化,2011,38(1):19-23.
[20] 徐建瑜,劉鷹.基于計算機(jī)視覺的羅非魚適應(yīng)環(huán)境的體色變化研究[J].水生生物學(xué)報,2009,33(2):164-169.
[21] 范良忠,劉鷹,余心杰,等.基于計算機(jī)視覺技術(shù)的運動魚檢測算法[J].農(nóng)業(yè)工程學(xué)報,2011,27(7):226-230.
[22] Pereira P,Oliveira R F.A simple method using a single video camera to determine the three-dimensional position of a fish[J]. Behavior Research Methods,Instruments&Computers,1994,26 (4):443-446.
[23] Viscido S V,Parrish J K,Grünbaum D.Individual behavior and emergent properties of fish schools:a comparison of observation and theory:emergent properties of complex marine systems:a macroecological perspective[J].Marine Ecology Progress Series,2004, 273:239-249.
[24] 吳冠豪,曾理江.用于自由游動魚三維測量的視頻跟蹤方法[J].中國科學(xué)(G輯:物理學(xué)力學(xué)天文學(xué)),2007,36(6):760-766.
[25] Drucker E G,Lauder G V.Locomotor forces on a swimming fish:three-dimensional vortex wake dynamics quantified using digital particle image velocimetry[J].Journal of Experimental Biology, 1999,202:2393-2412.
[26] Voesenek C J,Pieters R P,van Leeuwen J L.Automated reconstruction of three-dimensional fish motion,forces,and torques [J].PLoS One,2016,11(1):e0146682.
[27] Santana-Garcon J,Newman S J,Harvey E S.Development and validation of a mid-water baited stereo-video technique for investigating pelagic fish assemblages[J].Journal of Experimental Marine Biology and Ecology,2014,452:82-90.
[28] Watson D L,Harvey E S,Anderson M J,et al.A comparison of temperate reef fish assemblages recorded by three underwater stereo-video techniques[J].Marine Biology,2005,148(2):415-425.
[29] Bryan D R,Bosley K L,Hicks A C,et al.Quantitative video analysis of flatfish herding behavior and impact on effective area sweptof a survey trawl[J].Fisheries Research,2014,154:120-126.
[30] Kane A S,Salierno J D,Gipson G T,et al.A video-based movement analysis system to quantify behavioral stress responses of fish [J].Water Research,2004,38(18):3993-4001.
[31] 郭春釗,汪增福.基于序列圖像的魚游運動機(jī)理分析[J].實驗力學(xué),2005,20(4):525-531.
[32] 張融,鄭宏遠(yuǎn),李錄,等.一種計量青鳉魚胸鰭和尾鰭擺動頻率和幅值的計算機(jī)視覺算法[J].生態(tài)毒理學(xué)報,2015,10 (4):154-161.
[33] Lagarias J C,Reeds J A,Wright M H,et al.Convergence properties of the Nelder—Mead simplex method in low dimensions[J]. SIAM Journal on Optimization Archive,1998,9(1):112-147.
[34] Rodriguez A,Ehlenberger D,Kelliher K,et al.Automated reconstruction of three-dimensional neuronal morphology from laser scanning microscopy images[J].Methods,2003,30(1):94-105.
[35] van Leeuwen J L,Voesenek C J,Müller U K.How body torque and Strouhal number change with swimming speed and developmental stage in larval zebrafish[J].Journal of The Royal Society, Interface,2015,12:0479.
[36] Berdahl A,Torney C J,Ioannou C C,et al.Emergent sensing of complex environments by mobile animal groups[J].Science, 2013,339:574-576.
[37] 胡江龍,方景龍,王大全.多目標(biāo)跟蹤算法在水質(zhì)監(jiān)測中的應(yīng)用[J].機(jī)電工程,2012,29(5):613-615.
[38] 王勇.基于統(tǒng)計方法的運動目標(biāo)檢測與跟蹤技術(shù)研究[D].武漢:華中科技大學(xué),2009.
[39] Bojilov L,Alexiev K,Konstantinova P D.An accelerated IMM JPDA algorithm for tracking multiple manoeuvring targets in clutter [M]//Dimov I,Lirkov I,Margenov S,et al.Numerical Methods and Applications.Berlin Heidelberg:Springer,2003.
[40] 朱佩儒,劉燁,王碩鴻,等.基于學(xué)習(xí)的斑馬魚檢測與跟蹤[J].計算機(jī)應(yīng)用與軟件,2015,32(9):227-230.
[41] Pérez-Escudero A,Vicente-Page J,Hinz R C,et al.idTracker:tracking individuals in a group by automatic identification of unmarked animals[J].Nature Methods,2014,11(7):743-748.
[42] Gibb A,Jayne B,Lauder G.Kinematics of pectoral fin locomotion in the bluegill sunfish Lepomis macrochirus[J].Journal of Experimental Biology,1994,189(1):133-161.
[43] Ferry L A,Lauder G V.Heterocercal tail function in leopard sharks:a three-dimensional kinematic analysis of two models [J].The Journal of Experimental Biology,1996,199(10):2253-2268.
[44] Lauder G V,Anderson E J,Tangorra J,et al.Fish biorobotics:kinematics and hydrodynamics of self-propulsion[J].Journal of Experimental Biology,2007,210(16):2767-2780.
[45] Stewart A M,Grieco F,Tegelenbosch R A J,et al.A novel 3D method of locomotor analysis in adult zebrafish:implications for automated detection of CNS drug-evoked phenotypes[J].Journal of Neuroscience Methods,2015,255:66-74.
[46] Bestman J E,Stackley K D,Rahn J J,et al.The cellular and molecular progression of mitochondrial dysfunction induced by 2,4-dinitrophenol in developing zebrafish embryos[J].Differentiation,2015,89(3-4):51-69.
[47] Regan M D,Kuchel L J,Huang S S Y,et al.The effect of dietary fish oil and poultry fat replacement with canola oil on swimming performance and metabolic response to hypoxia in stream type spring chinook salmon parr[J].Aquaculture,2010,308(3-4):183-189.
[48] 石小濤,胡運燊,王博,等.運用免費計算機(jī)軟件SwisTrack分析鰱幼魚游泳行為[J].水生生物學(xué)報,2014,38(3):588-591.
Research progress on fish swimming behavior monitoring by computer vision technology
ZHANG Sheng-mao,ZHANG Heng,TANG Feng-hua,WU Zu-li,YAO Zong-li,FAN Wei
(Key Laboratory of East China Sea&Oceanic Fishery Resources Exploitation and Utilization,Ministry of Agriculture,East China Sea Fisheries Research Institute,Chinese Academy of Fishery Sciences,Shanghai 200090,China)
Currently,computer vision technology which simulates the principle of biological vision has been widely applied in study of fish swimming behavior via collection and processing dynamic target parameter information including pictures or videos.Research progress on fish swimming behavior monitoring by computer vision technology is summarized.Firstly,the fish target selection and image acquisition methods are introduced.Secondly the background removal and target detection are presented.Thirdly extraction method of swimming parameters for single fish target with direct extraction and fitting extraction is presented.The method of motion prediction and feature matching for multi fish object monitoring is described in detail.Then the swimming behavior monitoring parameters are classified,and relevant image processing software used commonly is introduced.Finally,the difficulties and future trends of computer vision monitoring are discussed.
computer vision;swimming behavior;target detection;fish tracking
S917
A
10.16535/j.cnki.dlhyxb.2017.04.019
2095-1388(2017)04-0493-08
2016-11-05
中央級公益性科研院所基本科研業(yè)務(wù)費專項(東海水產(chǎn)研究所2016T01);上海市自然科學(xué)基金資助項目(15ZR1450000);河口海岸學(xué)國家重點實驗室開放基金資助項目(SKLEC-KF201403)
張勝茂(1976—),男,博士,副研究員。E-mail:ryshengmao@126.com
樊偉(1971—),男,博士,研究員。E-mail:dhyqzh@sh163.net