張涵鈺，李振波*，李蔚然，楊 普

（1.中國農(nóng)業(yè)大學(xué) 信息與電氣工程學(xué)院，北京 100083；2.農(nóng)業(yè)農(nóng)村部 國家數(shù)字漁業(yè)創(chuàng)新中心，北京 100083；3.農(nóng)業(yè)農(nóng)村部 智慧養(yǎng)殖技術(shù)重點實驗室，北京 100083；4.農(nóng)業(yè)農(nóng)村部 農(nóng)業(yè)信息獲取技術(shù)重點實驗室，北京 100083）

0 引言

中國是世界上唯一養(yǎng)殖水產(chǎn)品總量超過捕撈總量的主漁業(yè)國家，農(nóng)業(yè)農(nóng)村部通過數(shù)據(jù)統(tǒng)計得出中國水產(chǎn)養(yǎng)殖產(chǎn)量從2016 年的4 793.2 萬噸增長至2021 年的5 388 萬噸，預(yù)計2022 年將進一步增長至5 630 萬噸，充分說明發(fā)展?jié)O業(yè)的重要性［1］。但是在水產(chǎn)養(yǎng)殖中，養(yǎng)殖密度過高或投喂餌料過少會導(dǎo)致水產(chǎn)動物出現(xiàn)缺氧、搶食和生長緩慢等現(xiàn)象，從而影響水產(chǎn)養(yǎng)殖的產(chǎn)出；密度過低或投喂餌料過多則浪費養(yǎng)殖基地的養(yǎng)殖空間及養(yǎng)殖成本；此外，是否能根據(jù)養(yǎng)殖密度合理預(yù)估市場水產(chǎn)品價格對水產(chǎn)養(yǎng)殖經(jīng)濟效益影響較大。因此，養(yǎng)殖數(shù)量統(tǒng)計是水產(chǎn)品飼養(yǎng)銷售過程中的重要任務(wù)，為飼料投喂、養(yǎng)殖密度調(diào)整、經(jīng)濟效益估算等提供了極大便利［2-3］。

雖然水產(chǎn)品數(shù)量統(tǒng)計對于水產(chǎn)養(yǎng)殖具有重要作用，但目前水產(chǎn)養(yǎng)殖計數(shù)領(lǐng)域仍普遍使用人工計數(shù)方法，主要有稱重法、杯量法等，此類方法具有很多局限性。首先，人工計數(shù)需要大量時間與精力的投入，存在人為誤差，會造成經(jīng)濟損失；其次，魚類、蝦類等水產(chǎn)動物對外界環(huán)境變化感受較敏感，容易出現(xiàn)竄游、驚跳、昏迷、食欲不振等應(yīng)激反應(yīng)，魚體易受到物理損傷且影響計數(shù)準(zhǔn)確性，而蝦類甚至?xí)霈F(xiàn)大量死亡導(dǎo)致農(nóng)民嚴(yán)重?fù)p失［4-5］；最后，人工計數(shù)使不良商家在水產(chǎn)品銷售中缺斤少兩具有可操作性，例如在使用稱重計數(shù)過程中，水產(chǎn)動物規(guī)格是否均勻、稱重圍數(shù)時是否將水產(chǎn)動物分布攪拌均勻都會直接影響最后統(tǒng)計出總數(shù)量的誤差率［6-7］。

因此，為克服人工計數(shù)帶來的弊端、實現(xiàn)水產(chǎn)養(yǎng)殖的智能化處理，目前已有部分學(xué)者利用傳感器計數(shù)研發(fā)了水產(chǎn)動物計數(shù)方法：何貞俊等［8］設(shè)計出一種基于光柵的魚道過魚計數(shù)系統(tǒng)，利用遮擋紅外技術(shù)對通過的魚類進行計數(shù)；武智等［9］設(shè)計了一種利用魚道進行過魚計數(shù)的聲學(xué)評估方法，對采集的聲學(xué)數(shù)據(jù)進行分析得到魚道的過魚數(shù)量。與人工計數(shù)方法相比，這些計數(shù)器裝置一定程度上減少了對水產(chǎn)動物的損傷和人力物力的投入，但安裝過程較復(fù)雜，需要提前勘察水產(chǎn)養(yǎng)殖環(huán)境，且計數(shù)精度受到水產(chǎn)動物尺寸的限制。

近年來，數(shù)據(jù)采集設(shè)備和計算機處理器等硬件設(shè)備、圖像技術(shù)、深度學(xué)習(xí)等取得了極大進步［10-11］。機器視覺作為一種非入侵技術(shù)，利用相機與電腦模擬人眼對目標(biāo)進行識別、跟蹤、測量等操作，也因此在各行各業(yè)擁有廣泛應(yīng)用，包括人臉識別閘機、自動跟蹤攝像機、自動駕駛汽車等較常見的實際產(chǎn)品［12］?；跈C器視覺的自動化水產(chǎn)動物計數(shù)方案因低成本、高精度、高效率的特點，逐漸成為水產(chǎn)養(yǎng)殖計數(shù)的重要研究方向之一。本文通過綜述水產(chǎn)動物的數(shù)據(jù)采集方法、計數(shù)方法實驗研究和計數(shù)方法具體應(yīng)用三個方面，展開機器視覺在水產(chǎn)養(yǎng)殖計數(shù)方面的整體研究應(yīng)用過程，研究對象主要以水產(chǎn)養(yǎng)殖中魚類、蝦蟹和扇貝等常見的養(yǎng)殖品種為主。

1 數(shù)據(jù)采集設(shè)備

在早期水產(chǎn)養(yǎng)殖的計數(shù)研究中，由于設(shè)備和方法的稀缺簡陋，大多采用紅外傳感器等硬件設(shè)備實現(xiàn)水產(chǎn)動物計數(shù)。基于機器視覺的計數(shù)方法由于對圖像數(shù)據(jù)具有較強的依賴性，數(shù)據(jù)集不足且質(zhì)量較差而限制了它的發(fā)展。如今隨著光學(xué)、聲學(xué)成像系統(tǒng)創(chuàng)新改進，機器視覺技術(shù)逐漸成為水產(chǎn)養(yǎng)殖計數(shù)研究的新選擇。其中采集數(shù)據(jù)使用的相機主要分為光學(xué)相機和聲吶相機兩大類：光學(xué)相機隨著光學(xué)成像技術(shù)的不斷創(chuàng)新和圖像分辨率的突破性提高，已經(jīng)成為可固定于水上或水下進行水產(chǎn)動物數(shù)據(jù)采集的重要設(shè)備［13］；由于部分水域環(huán)境存在照明不均勻、水質(zhì)渾濁、背景復(fù)雜等問題，光學(xué)相機難以采集到高質(zhì)量的數(shù)據(jù)，而聲波不僅在水下傳播的衰損較小且可采集到水下較大范圍的水產(chǎn)動物，因此聲吶相機可以解決光學(xué)相機的水下使用問題，是實現(xiàn)渾濁水域下數(shù)據(jù)采集的主要手段［14］。

1.1 光學(xué)相機

光學(xué)相機根據(jù)數(shù)據(jù)采集原理可以分為單目多光譜相機、雙目多光譜相機、單目近紅外相機和單目高光譜相機四類。

單目多光譜相機結(jié)構(gòu)簡單、成本低，容易獲取二維圖像或視頻，但是由于水產(chǎn)動物群體通常具有遮擋重疊等現(xiàn)象，因此在利用單目多光譜相機計數(shù)時，常在限制目標(biāo)群體通過的空間內(nèi)進行數(shù)據(jù)采集，以減小目標(biāo)群體遮擋粘連導(dǎo)致的誤差。劉世晶等［15］利用焦距8 mm，采樣頻率24 frame/s 的單目多光譜相機以固定幀率在透明有機玻璃材質(zhì)制作的過魚管道上方拍攝管道內(nèi)介質(zhì)運動情況，并將拍攝圖片實時傳到計算機端獲取過魚數(shù)量。Hashisho 等［16］利用透明有機玻璃及白色塑料板制作一種用于蝦類生產(chǎn)槽的水上浮動箱，通過限制浮動箱中蝦群的數(shù)量，減少蝦群互相遮擋及波浪狀水面對相機拍攝效果的影響，進而實現(xiàn)蝦群的檢測計數(shù)。總的來說，單目多光譜相機能快速獲取所需的水產(chǎn)動物信息，但是由于水產(chǎn)動物群體的遮擋問題，在計數(shù)過程中需要對目標(biāo)群體運動進行限制，且對計算量要求較高。

雙目多光譜相機采用兩個處于固定位置關(guān)系的單目相機，同時獲取相同時間位置的檢測對象的兩個二維信息，構(gòu)造目標(biāo)群體的三維圖像或視頻數(shù)據(jù)，有助于解決高密度群體中的遮擋問題，實現(xiàn)對自由游動的水產(chǎn)動物的數(shù)量統(tǒng)計。Costa 等［17］利用雙目相機獲取金槍魚從漁網(wǎng)轉(zhuǎn)移到浮動籠的視頻，估算出該批次金槍魚數(shù)量，在金槍魚轉(zhuǎn)移過程中，兩臺由電纜連接同步的相機每秒記錄兩張圖像，由人工神經(jīng)網(wǎng)絡(luò)將每對圖像中像素之間的距離轉(zhuǎn)換為真實物體中點之間的距離，自動校正估計到相機和方向的距離，并分析圖像獲取多個生物特征信息用于魚群數(shù)量估計。雙目相機對于高密度群體的使用效果優(yōu)于單目多光譜相機，但由于雙目相機需要配置校對等操作，便捷性相對較差。

單目近紅外相機的感光元件區(qū)別于多光譜相機，主要強調(diào)紅外輻射信號的接收，因此與雙目多光譜相機通過計算兩幅圖像對應(yīng)點間的位置偏差獲取物體三維信息不同，近紅外相機利用水體吸收紅外光、水下動物反射紅外光、水下動物在不同水深的紅外光反射強度不同的原理，構(gòu)建反射光強度與水下動物深度之間關(guān)系，實現(xiàn)了單臺相機的三維成像采集。相較于雙目多光譜相機，單目近紅外相機不僅降低了需要多個相機的設(shè)備成本，還避免了數(shù)據(jù)校對融合等問題。另外，單目近紅外相機已被廣泛應(yīng)用于魚類行為分析，實現(xiàn)了在光照條件差、遮擋嚴(yán)重問題下單個魚類的檢測［18-20］。但目前基于近紅外圖像的水產(chǎn)動物計數(shù)研究較少，且單目近紅外相機仍存在精度較低，易受水面噪聲、反光影響的問題。

單目高光譜相機拍攝可以獲得從紫外光、可見光到紅外光的豐富光譜信息，與多光譜相機相比，具有更高的光譜分辨率和光譜內(nèi)容，為水產(chǎn)動物的準(zhǔn)確探測提供了豐富特征，在水下光線昏暗、背景復(fù)雜的環(huán)境下獲取圖像或視頻信息具有優(yōu)勢。因此部分學(xué)者基于單目高光譜相機進行水下數(shù)據(jù)采集技術(shù)研究，F(xiàn)u 等［21］提出了一種基于波段選擇的高光譜水下目標(biāo)檢測方法，以約束目標(biāo)最佳折射率選擇光譜波長中專用于被檢目標(biāo)的波段子集，構(gòu)建了一個集成最佳波段子集的水下光譜成像系統(tǒng)，從而進行水下目標(biāo)圖像采集，獲得比未進行波段選擇的高光譜檢測更高的圖像采集檢測速率。雖然高光譜相機的豐富光譜信息有利于水下目標(biāo)成像，但正是由于光譜信息較多，導(dǎo)致高光譜數(shù)據(jù)冗余度高、成像慢、處理時間長，不能滿足水產(chǎn)動物計數(shù)實時性的要求，因此高光譜相機的實際應(yīng)用能力還需提高［22］。

1.2 聲吶相機

隨著設(shè)備儀器的進步，聲吶成像作為一種新的探測深海生物的方法出現(xiàn)，聲吶相機也因此被應(yīng)用于水產(chǎn)動物計數(shù)。目前，自適應(yīng)分辨率成像聲吶（Adaptive Resolution Imaging Sonar，ARIS）和雙頻識別聲吶（Dual-frequency IDentification SONar，DIDSON）在魚群計數(shù)方面運用較廣泛［23-24］。Shahrestani 等［23］將ARIS 集成在一個2 軸旋轉(zhuǎn)器中處理連續(xù)59 h 記錄的鏡頭，探測碼頭附近的魚類，該方法成功地以高于94%的準(zhǔn)確率統(tǒng)計水下大型自由游動魚類的數(shù)量。Jing等［24］將DIDSON 部署在水下0.5 m 的船舷上，獲取不同時間段的水下魚類聲吶圖像，結(jié)果表明利用聲吶圖像的自動計數(shù)的誤差約10%。而側(cè)掃聲吶（Side-Scan Sonar，SSS）則對扇貝生物量統(tǒng)計具有不可或缺的作用［25-26］，棲息于海床中的扇貝與礫石、海沙等海底沉積物遮擋混合問題嚴(yán)重，因此獲取高質(zhì)量的海底圖像是實現(xiàn)扇貝計數(shù)的首要任務(wù)。Enomoto等［25］將SSS 部署于水下航行器獲得海底圖像，并根據(jù)扇貝的紋理特征設(shè)計一種從海底沉積物中分類出扇貝區(qū)域的方法，該方法以超過96%的識別率實現(xiàn)了水下扇貝自動計數(shù)。

在水下難以觀察、結(jié)構(gòu)復(fù)雜、渾濁和黑暗的環(huán)境中，聲吶相機以非破壞性的方式對水下動物的數(shù)量、大小和行為進行采樣，而且聲吶相機不局限于單點部署，可以部署在移動應(yīng)用程序中，成功解決了海洋、淡水采樣的諸多限制。但是聲吶相機也存在多處缺陷，其中常用于獲取水下魚群信息的DIDSON、ARIS 聲吶主要存在以下問題：聲吶成像易受環(huán)境干擾，若水底的反射強度掩蓋接近水底的魚類反射，會導(dǎo)致水底的魚類無法成功成像［27］；船只等移動設(shè)備的噪聲驅(qū)趕魚群，導(dǎo)致探測范圍內(nèi)魚類偏少，增大計數(shù)誤差［24］；聲吶圖像或視頻的分辨率較低，遠離聲吶設(shè)備且體型較小的魚群在聲吶圖像中難以辨別［14］。而常用于海底扇貝的SSS 聲吶則存在目標(biāo)影像模糊、畸變、易受載體運動狀態(tài)及海洋環(huán)境噪聲影響等問題。5 種常見成像設(shè)備對比分析如表1 所示。

表1 五種常見圖像采集設(shè)備的對比分析Tab.1 Comparison analysis of five common image acquisition devices

1.3 其他設(shè)備

在水產(chǎn)養(yǎng)殖計數(shù)領(lǐng)域，除上述使用一種相機進行數(shù)據(jù)采集的方法外，少數(shù)學(xué)者基于光學(xué)相機與聲吶相機自身的特點，將兩者結(jié)合使用，以完成特定的計數(shù)任務(wù)。Chang 等［28］為實現(xiàn)網(wǎng)箱內(nèi)特定種類的魚群生物量估計，利用聲吶相機與雙目相機共同拍攝網(wǎng)箱內(nèi)同一區(qū)域，通過檢測聲吶圖像與雙目圖像產(chǎn)生的重疊三維點云區(qū)域確定計數(shù)范圍，實現(xiàn)目標(biāo)群體的數(shù)量、長度等生物量統(tǒng)計；然而該方法主要依靠聲吶圖像進行數(shù)量統(tǒng)計，其中的雙目圖像僅協(xié)助聲吶設(shè)備獲取目標(biāo)魚群的分布信息。目前大多數(shù)計數(shù)研究仍以單一數(shù)據(jù)分析為主，盡管部分學(xué)者使用Gavia AUV［29］、HabCam Ⅱ［30］等集成聲吶相機與光學(xué)相機的設(shè)備進行數(shù)據(jù)采集，但仍以該類設(shè)備中單一類型相機所采集的數(shù)據(jù)進行計數(shù)分析。

2 基于機器視覺的水產(chǎn)動物計數(shù)方法

目前，大多數(shù)學(xué)者利用機器視覺技術(shù)對人群、車流等群體進行計數(shù)方法研究，該類計數(shù)方法能實現(xiàn)對公共場所的人群密度與分布的智能監(jiān)控，有助于避免人群聚集，提高社會安全防范能力，具有一定的現(xiàn)實意義［31］。其中計數(shù)方法主要分為兩大類：基于傳統(tǒng)機器學(xué)習(xí)的計數(shù)方法與基于深度學(xué)習(xí)的計數(shù)方法。傳統(tǒng)的計數(shù)方法一般是在提取到目標(biāo)群體的圖像特征后，使用機器學(xué)習(xí)實現(xiàn)目標(biāo)群體的計數(shù)，在處理大量復(fù)雜數(shù)據(jù)方面具有一定優(yōu)勢［32］；但是深度學(xué)習(xí)不需要復(fù)雜的特征提取工程且適應(yīng)性強［33-34］，在生物量統(tǒng)計領(lǐng)域表現(xiàn)出了明顯優(yōu)勢。因此，在水產(chǎn)養(yǎng)殖領(lǐng)域，部分學(xué)者將基于機器視覺的人群計數(shù)方法用于水產(chǎn)動物群體，而局限于人體、車體目標(biāo)與水產(chǎn)品目標(biāo)的個體特征與活動場所的不同，基于機器視覺的水產(chǎn)動物計數(shù)方法仍具有水產(chǎn)動物種類繁多、水下數(shù)據(jù)采集困難、高密度群體互相遮擋等待解決問題。

2.1 基于傳統(tǒng)機器學(xué)習(xí)的計數(shù)方法

水產(chǎn)動物的輪廓、面積、骨架和端點等幾何特征是基于傳統(tǒng)機器學(xué)習(xí)進行計數(shù)研究的重要數(shù)據(jù)依據(jù)。在魚群數(shù)目較小、遮擋問題不嚴(yán)重時，魚群在圖像中的斑點信息與輪廓信息可通過連通域面積法計數(shù)。Toh 等［35］在過濾圖像噪聲和背景后，在圖像中保留僅對應(yīng)魚的斑點，取斑點的中間區(qū)域作為魚的計數(shù)依據(jù)，但是該方法要求魚類大小需要保持基本相同，且隨著魚數(shù)量的增加，魚群之間相互遮擋現(xiàn)象增多，導(dǎo)致估計精度降低。除了利用斑點信息以外，也有學(xué)者利用魚類輪廓的面積信息統(tǒng)計魚群數(shù)量，Labuguen 等［36］利用圖像處理技術(shù)檢測魚苗輪廓所占像素面積，以每個輪廓內(nèi)的像素面積之和獲得魚群數(shù)量，雖然該方法對700 條以下的魚苗魚群的計數(shù)準(zhǔn)確率能超過95%，但是與利用斑點信息計數(shù)的缺陷一樣，當(dāng)魚苗數(shù)量過多、魚群相互遮擋時計數(shù)誤差增加。

由于基于魚類輪廓、面積等特征的計數(shù)精度容易受到魚體遮擋影響，因此部分學(xué)者利用魚類的骨架、端點等特征進行魚群計數(shù)方法研究，從而降低魚體相互遮擋對計數(shù)精度的影響。范嵩等［37］利用先膨脹后腐蝕的閉運算獲取魚苗端點，并采用逐個遍歷連通域根據(jù)端點判斷魚苗數(shù)目的方法計數(shù)，實驗結(jié)果表明平均誤差為7.34%；但仍存在一個較明顯的問題：圖像邊緣的魚苗顏色偏淡且圖像分割后的長寬比不足，邊緣魚苗容易被腐蝕成孤立的像素，而不是理想狀況的端點，從而增大計數(shù)誤差。

而在利用幾何特征進行魚群計數(shù)的方法中，除了連通域面積法和端點細(xì)化法，曲線演化法也是較常見的一種計數(shù)方法。王碩等［38］針對單幀大菱鲆魚粘連現(xiàn)象，提出一種基于曲線演化的圖像處理方法，將圖像預(yù)處理后的二值魚苗粘連輪廓曲線作為初始演化曲線進行處理，通過水平集方法進行常值演化，統(tǒng)計演化過程中最大輪廓曲線數(shù)得到魚苗數(shù)量。實驗結(jié)果表明，與面積法、端點法相比，曲線演化法可以有效對粘連的大菱鲆魚分離計數(shù)，計數(shù)精度接近100%；但該方法易受外部雜質(zhì)影響且仍無法完全解決魚重疊時的計數(shù)問題。

上述基于幾何特征的計數(shù)方法不僅適用于魚群，也同樣適用于其他水產(chǎn)動物的計數(shù)研究；而且，基于扇貝、蝦類等水產(chǎn)動物的個體特征，模板匹配法也被部分學(xué)者用于生物量統(tǒng)計，進而提高計數(shù)精度。Khantuwan 等［39］結(jié)合連通域面積法與模板匹配法提出一種蝦苗計數(shù)方法，該方法將蝦群圖像拆分為無遮擋圖像和高密度遮擋圖像，分別利用連通域像素面積法與模板匹配法進行生物量統(tǒng)計，其中模板匹配法通過比較模板蝦體與蝦群圖像的相似度獲取密集區(qū)域的蝦群數(shù)量，最終以97%準(zhǔn)確率得到蝦苗整體數(shù)量。Kannappan 等［40］則利用模板匹配法評估圖像分割結(jié)果與扇形的相似性來獲得圖像中扇貝的數(shù)量，能使用低分辨率圖像數(shù)據(jù)以較高精度獲得扇貝生物量。除此之外，基于太平洋白蝦苗體積較小、身體透明的特點，Kesvarakul 等［41］直接檢測圖像斑點信息實現(xiàn)了蝦苗的數(shù)量統(tǒng)計，誤差相比人工計數(shù)降低6.9%；但由于該方法依賴透明蝦體內(nèi)臟等部分與水體環(huán)境的對比實現(xiàn)計數(shù)，因此不同養(yǎng)殖環(huán)境的水中雜質(zhì)及水體外觀均會影響計數(shù)效果，在實際使用中需要根據(jù)情況調(diào)整圖像處理程序中的水體參數(shù)，具有一定不便性。

由于視頻幀相比單獨圖像具有空間、時間維度等更多信息，因此在基于圖像處理的水產(chǎn)動物計數(shù)方法研究之外，利用水下視頻進行計數(shù)也是多數(shù)學(xué)者關(guān)注的研究重點，可從中尋找精度更高、效率更快的計數(shù)方法。部分學(xué)者利用圖像中魚群多個連通分量之間的關(guān)系實現(xiàn)魚群生物量統(tǒng)計：Fabic等［42］設(shè)計了一種基于連通分量標(biāo)記的斑點計數(shù)法用于視頻序列中的魚群計數(shù)，利用Canny 邊緣算法捕捉魚的輪廓，通過連接分量分析將檢測出的輪廓轉(zhuǎn)換為斑點，并對斑點進行計數(shù)，計數(shù)平均誤差低于10%；Hernández-Ontiveros 等［43］則開發(fā)了一種嵌入式系統(tǒng)，直接利用圖像中魚體面積及周長的連通分量關(guān)系直接計算魚群的數(shù)量，計數(shù)精度高于96.64%，此類方法易于操作且成本較低，但同樣易受高密度魚群互相遮擋影響。魚類定位是魚類檢測、識別、計數(shù)和跟蹤的重要步驟，因此部分學(xué)者以提高定位速率及精度實現(xiàn)魚群計數(shù)，Li等［44］利用圖像的歸一化梯度特征區(qū)分背景中的魚群，并對歸一化梯度特征進行二值化處理提高魚群定位的速率，最終以97.1%的召回率實現(xiàn)魚群定位并計數(shù)。除此之外，目標(biāo)跟蹤也是部分學(xué)者通過水下視頻實現(xiàn)計數(shù)的主要方法，Morais等［45］基于貝葉斯濾波算法對水下魚類進行視覺跟蹤與計數(shù)，不僅可以獲取不同魚類的游動能力、遷徙時間和峰值流量等相關(guān)信息，還可以估計魚類隨時間運動軌跡，實現(xiàn)在渾濁水下、魚群相互遮擋的情況下，精度高達81%的魚群計數(shù)。不同于Morais 等基于光學(xué)數(shù)據(jù)的跟蹤計數(shù)研究，沈蔚等［46］利用Echoview 聲學(xué)數(shù)據(jù)處理軟件以及相關(guān)算法對DIDSON 在水庫中采集到的聲學(xué)數(shù)據(jù)進行處理，以α-β軌跡跟蹤算法在聲學(xué)數(shù)據(jù)中進行跟蹤，并根據(jù)魚類目標(biāo)回聲閾值進行目標(biāo)識別計數(shù)，平均計數(shù)誤差為7.2%。跟蹤計數(shù)方法在其他水產(chǎn)動物計數(shù)領(lǐng)域也有應(yīng)用，Tan 等［47］遠程操控水下潛水器獲取視頻序列，通過目標(biāo)檢測與跟蹤進行水下龍蝦數(shù)量的統(tǒng)計，計數(shù)精度為83%。該方法基于檢測龍蝦洞穴的數(shù)量估算龍蝦生物量，但攝像機與洞穴之間的距離或角度會導(dǎo)致洞穴形狀變化從而影響檢測精度。上述方法在離散目標(biāo)的識別準(zhǔn)確率上有所提升，能獲得相對較高的統(tǒng)計精度；然而，對于魚群這類具有較高密度、個體姿態(tài)多且活動范圍較大的群體，雖可以在一定程度上降低魚體遮擋對計數(shù)精度的影響，但仍存在多個跟蹤軌跡相互交叉、跟蹤ID 易切換的情況，從而產(chǎn)生重復(fù)計數(shù)或少計數(shù)的問題。

對于水下動物自動化計數(shù)，部分學(xué)者關(guān)注目標(biāo)群體相互遮擋影響計數(shù)精度等問題。重疊魚類的計數(shù)主要由輪廓、面積、端點等幾何特征決定，F(xiàn)an 等［48］提出將計數(shù)問題轉(zhuǎn)化為分類問題，使用反向傳播神經(jīng)網(wǎng)絡(luò)（Back-Propagation Neural Network，BPNN）和最小二乘支持向量機（Least Squares Support Vector Machine，LSSVM）［49-50］構(gòu)建分類模型，實驗表明，結(jié)合了多個幾何特征的LSSVM 比BPNN 更優(yōu)，平均計數(shù)準(zhǔn)確率高達98.73%，而BPNN 只有94.4%；Le 等［51］提出了另一種基于骨架端點的算法，不同于范嵩等［37］提出的方法受魚群遮擋影響較大且會出現(xiàn)邊緣魚類無法得到理想端點的缺點，該方法結(jié)合自適應(yīng)閾值分割法和骨架提取方法有效地解決了圖像中魚群重疊遮擋的問題，且對高密度魚群的計數(shù)仍可達到較高精度，平均計數(shù)誤差小于6%?；趥鹘y(tǒng)機器學(xué)習(xí)的計數(shù)方法的對比分析如表2 所示。

表2 基于傳統(tǒng)機器學(xué)習(xí)的計數(shù)方法的對比分析Tab.2 Comparison analysis of counting methods based on traditional machine learning

2.2 基于深度學(xué)習(xí)的計數(shù)方法

基于傳統(tǒng)機器學(xué)習(xí)的計數(shù)方法在進行圖像處理時，大多需要人工提取復(fù)雜的特征。為特定的對象和場景設(shè)計選擇合適的特征費時費力，而且提取的特征是否合適往往取決于研究人員的經(jīng)驗。采用深度學(xué)習(xí)的計數(shù)方法能通過神經(jīng)網(wǎng)絡(luò)自動提取語義特征，與傳統(tǒng)的機器學(xué)習(xí)方法相比，具有更優(yōu)的泛化能力和準(zhǔn)確性。深度學(xué)習(xí)中應(yīng)用于水下動物計數(shù)的神經(jīng)網(wǎng)絡(luò)主要分為人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。基礎(chǔ)CNN 的結(jié)構(gòu)如圖1 所示。

圖1 基礎(chǔ)CNN的結(jié)構(gòu)Fig.1 Structure of basic CNN

早在1995 年，便有學(xué)者基于視頻圖像分析ANN 在水產(chǎn)動物計數(shù)研究中的可行性，Newbury 等［52］利用像素求和、直方圖頻率單元求和的傳統(tǒng)統(tǒng)計方法與ANN 中的反向傳播網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)魚群計數(shù)，并對三種計數(shù)方法的結(jié)果進行對比，兩種傳統(tǒng)統(tǒng)計方法的計數(shù)準(zhǔn)確率分別是85%、88%，但它們的計數(shù)誤差與魚群密度成正比，僅對低密度魚群計數(shù)效果較好；而在相同數(shù)據(jù)集上，ANN 的計數(shù)方法最佳，準(zhǔn)確率可達94%，且計數(shù)前無須人工提取圖像特征，驗證了ANN 對實現(xiàn)魚群計數(shù)等任務(wù)具有良好效果。

自此，部分學(xué)者基于ANN 研究魚群計數(shù)的新方法，Zheng 等［53］提出了一種利用模糊人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)魚群計數(shù)的方法，以魚群陰影的平均長度作為依據(jù)，利用基于神經(jīng)網(wǎng)絡(luò)反饋的數(shù)字圖像智能窗口將魚群圖像劃分為不同級別的網(wǎng)格，并將每個網(wǎng)格數(shù)據(jù)作為ANN 輸入，進而實現(xiàn)準(zhǔn)確率為95%的魚群數(shù)量統(tǒng)計。該方法雖能解決重疊魚群對計數(shù)問題的影響，但需要提前設(shè)置合理的窗口大小，窗口較大適合低密度魚群，窗口較小適合高密度魚群，因此對于不同的應(yīng)用場所需要設(shè)置不同規(guī)格的智能窗口。同樣，為解決魚群遮擋對計數(shù)精度的影響，Zhang 等［54］提出一種基于圖像密度分級和局部回歸的魚群計數(shù)方法，采用基于連通區(qū)域面積的閾值法對魚群密度等級進行分級，并為每個密度級別的數(shù)據(jù)集分別構(gòu)建基于BPNN 的回歸模型，實現(xiàn)在魚群圖像子區(qū)域的局部計數(shù)，最后通過合并同一圖像的連通區(qū)域計數(shù)結(jié)果獲得平均絕對誤差為0.298 5 的魚群整體數(shù)量統(tǒng)計。該方法在一定程度上減少了魚群粘連對計數(shù)結(jié)果的影響，而且不同密度級別的數(shù)據(jù)集解決了不同密度水平下魚群圖像樣本不均衡問題，提高了計數(shù)的穩(wěn)定性；但該方法基于實驗室環(huán)境實現(xiàn)，尚未在實際養(yǎng)殖環(huán)境進行驗證，具體應(yīng)用效果仍待研究。

然而，ANN 需要在模型訓(xùn)練前將二維圖像轉(zhuǎn)化為一維向量，容易導(dǎo)致圖像空間特征丟失且模型訓(xùn)練參數(shù)量較大。因此，自2012 年AlexNet 成功運用于視覺任務(wù)中，基于CNN 的深度學(xué)習(xí)研究不斷出現(xiàn)并改進創(chuàng)新，在各個領(lǐng)域廣泛應(yīng)用［55］。水下動物計數(shù)也因CNN 的發(fā)展逐漸出現(xiàn)了相關(guān)的圖像分割計數(shù)、檢測計數(shù)、跟蹤計數(shù)和回歸計數(shù)等方法。

在基于圖像分割的水產(chǎn)動物計數(shù)研究中，由于U-Net 分割效果較好且完全適用于小數(shù)據(jù)集［56］，Thai 等［57］基于U-Net提出一種蝦群計數(shù)方法，利用U-Net、分水嶺分割對圖像進行分割，并通過閾值分割提取蝦群信息，最后通過蝦群輪廓和邊界框計算蝦群數(shù)量及蝦體長度。實驗表明，該方法可以獲得平均絕對誤差0.093 的蝦群計數(shù)結(jié)果和均方根誤差0.293的蝦體長度估計，但蝦群密度過高、蝦體相互遮擋重疊仍會影響計數(shù)性能。為了解決蝦群計數(shù)中遮擋粘連對計數(shù)結(jié)果的影響，Nguyen 等［58］利用兩階段掩膜的基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Region-based Convolutional Neural Network，Mask R-CNN）［59］實現(xiàn)了蝦苗的分割計數(shù)，以兩階段重復(fù)對同一圖像進行預(yù)測計數(shù)，對于低重疊、中度重疊和高度重疊水平的圖像可分別達到99.7%、95.4%和72.9%的計數(shù)精度，一定程度上解決了蝦群重疊遮擋對計數(shù)結(jié)果的影響，但該方法計數(shù)速度及在高密度蝦群的計數(shù)性能仍需進一步提高。而在魚群分割計數(shù)中，針對魚群活動行為較明顯的現(xiàn)象，Tseng等［60］不局限于單獨對圖像進行處理，而是利用Mask R-CNN對魚群視頻幀進行像素級的背景檢測和目標(biāo)分割，從而識別出圖像中的魚體目標(biāo)，并在此基礎(chǔ)上，通過使用時間閾值法與距離閾值法確定魚群數(shù)量，召回率可達93.84%。基于圖像分割水產(chǎn)養(yǎng)殖計數(shù)方法雖然可以得到較高的計數(shù)精度，但是有一個較明顯的共同問題：計數(shù)速度需進一步提高且仍無法完全實現(xiàn)高密度群體的準(zhǔn)確計數(shù)。

不同于圖像分割直接對目標(biāo)像素進行定位，目標(biāo)檢測僅需要預(yù)測出目標(biāo)邊界框，便可得到相關(guān)計數(shù)依據(jù)，更加方便快捷?；谀繕?biāo)檢測的水產(chǎn)動物計數(shù)方法則根據(jù)檢測方法的不同分為一階段檢測計數(shù)與二階段檢測計數(shù)兩種方法：二階段方法首先生成可能包含水產(chǎn)動物的候選區(qū)域，通過特征提取、邊界回歸等方法不斷細(xì)化，進一步準(zhǔn)確定位物體的位置實現(xiàn)計數(shù)［61］；一階段方法直接在網(wǎng)絡(luò)中提取圖像特征實現(xiàn)圖像中的水產(chǎn)動物檢測計數(shù)。在二階段方法中，部分學(xué)者通過改進網(wǎng)絡(luò)模型提高檢測計數(shù)的精度，Li 等［62］在Faster RCNN（Faster Region-based Convolutional Neural Network）［63］的基礎(chǔ)上級聯(lián)線性整流函數(shù)（Rectified Linear Unit，ReLU）、Inception 和HyperNet 等構(gòu)建塊改變卷積層的結(jié)構(gòu)，構(gòu)建了新的魚類識別模型，進一步提高檢測效果，識別計數(shù)準(zhǔn)確率達到89.95%，且單張圖像檢測時間為0.089 s，接近實時檢測的要求，但計數(shù)精度有所犧牲。而一階段方法在保持一定精度的前提下可以實現(xiàn)更快甚至實時的檢測，Lainez 等［64］以改進圖像預(yù)處理結(jié)果實現(xiàn)高精度的魚群檢測計數(shù)，將魚群圖像裁剪為400 像素×400 像素大小，并利用圖像灰度處理與圖像分段技術(shù)，使CNN 直接運用于不同圖像片段中實現(xiàn)99.63%平均精度的檢測，最后通過檢測閾值調(diào)整實現(xiàn)99.17%平均精度的魚群計數(shù)；該方法雖然具有較好的檢測計數(shù)效果，但僅適用于分辨率為400×400 的圖像，因此具有應(yīng)用局限性。Rasmussen 等［26］則以改進的CNN 模型實現(xiàn)計數(shù)應(yīng)用，直接以YOLOv2 架構(gòu)［65］構(gòu)建野生扇貝計數(shù)模型，不僅可以獨立分析水下機器人采集的連續(xù)圖像，而且在實時速度下的平均計數(shù)精度達到了86%。張璐等［66］則針對水產(chǎn)養(yǎng)殖中魚群圖像背景復(fù)雜、目標(biāo)多尺度的問題，提出一種基于多尺度融合與無錨點YOLOv3［67］的魚群計數(shù)方法，以96.26%準(zhǔn)確率實現(xiàn)魚群的生物量統(tǒng)計。目前基于檢測的計數(shù)方法具有較高精度，但是檢測計數(shù)需要使用滑動窗口逐個檢測對象，在高密度魚群相互遮擋的情況下，與分割計數(shù)的方法具有同樣問題，無法檢測部分被遮擋物體。

除了上述直接利用檢測結(jié)果進行計數(shù)的方法，部分學(xué)者從實際問題出發(fā)，將基于深度學(xué)習(xí)的檢測模型與多目標(biāo)跟蹤算法相結(jié)合，利用目標(biāo)跟蹤的方法統(tǒng)計水下運動動物的數(shù)量。Xu 等［68］將自動檢測技術(shù)應(yīng)用于水下機器人進行海洋小目標(biāo)探測，提出一種基于Faster R-CNN 檢測模型和核化相關(guān)濾波跟蹤算法的海洋目標(biāo)檢測方法進行海參、扇貝等生物計數(shù)，平均檢測精度為79.6%，對渾濁水下的低密度水產(chǎn)品有較好的跟蹤計數(shù)效果；但模型復(fù)雜度較高，無法實現(xiàn)海洋目標(biāo)的實時監(jiān)測。在跟蹤計數(shù)方面，除了將濾波類跟蹤算法與檢測模型結(jié)合外，部分學(xué)者將SORT（Simple Online and Realtime Tracking）［69］、DeepSORT［70］等綜合跟蹤算法用于跟蹤計數(shù)，具有更好的跟蹤效果。Tanaka 等［71］利用YOLOv3 與SORT 構(gòu)建了捕魚船進魚量統(tǒng)計模型，對金槍魚的計數(shù)準(zhǔn)確率為89%，召回率為87%；然而，此類跟蹤計數(shù)方法為解決傳統(tǒng)跟蹤中跟蹤目標(biāo)id 切換對計數(shù)的影響，只能跟蹤某一固定區(qū)域的群體實現(xiàn)數(shù)量統(tǒng)計，且該固定區(qū)域常需要根據(jù)實際問題設(shè)計，所以該類方法的使用不具有通用性，但由于它直接面向現(xiàn)實問題設(shè)計，因此具有一定的應(yīng)用性。

基于檢測和圖像分割的方法在高密度群體中的計數(shù)效果較差，因此基于密度圖回歸的方法逐漸被用于解決高密度群體的計數(shù)問題［72］。Lempitsky 等［73］首次提出采用密度圖模擬計數(shù)目標(biāo)的空間密度分布的方法后，大量基于密度圖估計的方法被提出，在計數(shù)領(lǐng)域取得了顯著的進步［74-75］?；诿芏葓D的計數(shù)方法減小了計數(shù)過程中檢測和定位計數(shù)目標(biāo)的工作量，將問題歸納為圖像密度的估計問題，在密度圖任何區(qū)域通過積分獲取該區(qū)域內(nèi)目標(biāo)的數(shù)量。Yu 等［76］提出了一種基于多尺度殘差網(wǎng)絡(luò)［77］的魚群計數(shù)方法，利用多尺度注意力機制提高了網(wǎng)絡(luò)提取不同大小魚類特征的能力，并通過殘差網(wǎng)絡(luò)模塊融合圖像中的深淺層特征，獲得了清晰度較高的密度圖準(zhǔn)確反映魚群分布情況，計數(shù)誤差較低。Zhou等［78］則為了消除攝像機透視效應(yīng)和圖像分辨率對密度估計的影響，提出一種基于多尺度上下文增強卷積網(wǎng)絡(luò)的魚類密度估計方法，采用多尺度濾波器并行處理魚群圖像，并用上下文增強模塊幫助網(wǎng)絡(luò)理解圖像全局上下文信息，從而將不同特征圖融合在一起構(gòu)造魚群密度圖，計算魚類數(shù)量，相比先前的密度圖方法有效地解決了魚群遮擋、粘連的問題，提高了計數(shù)精度；但多尺度卷積網(wǎng)絡(luò)明顯存在訓(xùn)練時間長、多列結(jié)構(gòu)參數(shù)冗余的缺陷。因此，王金鳳等［79］利用擴展CNN［80］構(gòu)建魚群密度檢測模型，在保持分辨率的同時擴大感知域，生成高質(zhì)量的魚群分布密度圖，魚群密度檢測準(zhǔn)確率高達90%以上。密度圖的方法除了用于魚群，對密集程度較高、體積較小的蝦群也具有相關(guān)應(yīng)用。Zhang 等［81］提出一種基于完全卷積回歸網(wǎng)絡(luò)的蝦卵計數(shù)方法，通過將輸入的圖像回歸到它的密度圖中來計算密集分布的蝦卵，平均計數(shù)準(zhǔn)確率可達99.2%。密度圖的方法在保留了局部特征信息的同時，提供了目標(biāo)群體的二維分布信息與群體運動的速度信息，在一定程度上提高了計數(shù)的準(zhǔn)確性，但在實際的養(yǎng)殖場景中含有氣泡、光線、遮擋等干擾因素，導(dǎo)致所呈現(xiàn)的預(yù)測密度圖存在一定誤差［78］?；谏疃葘W(xué)習(xí)的計數(shù)方法對比分析如表3 所示。

表3 基于深度學(xué)習(xí)的計數(shù)方法的對比分析Tab.3 Comparison analysis of counting methods based on deep learning

3 計數(shù)方法在主流養(yǎng)殖模式中的應(yīng)用

上述計數(shù)方法的研究均以實際養(yǎng)殖中水產(chǎn)品數(shù)量統(tǒng)計為目的，本章將基于主流實際養(yǎng)殖模式，對深水網(wǎng)箱養(yǎng)殖、循環(huán)水養(yǎng)殖和池塘養(yǎng)殖等養(yǎng)殖模式中水產(chǎn)計數(shù)方法的實際應(yīng)用與相關(guān)市場產(chǎn)品進行綜述。

3.1 深水網(wǎng)箱養(yǎng)殖模式

深水網(wǎng)箱養(yǎng)殖是指在較深海域內(nèi)搭建網(wǎng)箱并利用投餌系統(tǒng)、水下監(jiān)控系統(tǒng)等配套措施，進行離岸養(yǎng)殖的一種海水養(yǎng)殖模式。其中的網(wǎng)箱則分為傳統(tǒng)網(wǎng)箱與大圍網(wǎng)兩類：傳統(tǒng)網(wǎng)箱常采用網(wǎng)衣、浮力裝置組成木質(zhì)浮式網(wǎng)箱；而大圍網(wǎng)則利用打樁、沉沙袋將網(wǎng)衣沉入海底，形成網(wǎng)兜用于養(yǎng)殖［82］。近年來，我國在深水網(wǎng)箱數(shù)字化設(shè)計、裝備自動控制、數(shù)字化管理以及大型魚類網(wǎng)箱養(yǎng)殖等方面取得了重要進展［83］。但是如何在復(fù)雜的網(wǎng)箱環(huán)境中獲取網(wǎng)箱內(nèi)魚群數(shù)量，進而評估網(wǎng)衣完整性及飼料投放情況仍是目前多數(shù)學(xué)者關(guān)注的重點。

深水網(wǎng)箱養(yǎng)殖大多屬于渾濁海域，水下能見度低，利用機器視覺技術(shù)在網(wǎng)箱內(nèi)實現(xiàn)魚群計數(shù)具有一定限制。因此，聲吶計數(shù)法是目前機器視覺技術(shù)應(yīng)用于深水網(wǎng)箱中較常見的計數(shù)方法，基于光學(xué)圖像的計數(shù)方法則需要以提高圖像質(zhì)量作為計數(shù)前提，較繁瑣。黃健等［84］將超聲波換能器基陣置于網(wǎng)箱中部水下，利用分裂波束接收目標(biāo)回波并對空間采樣，實現(xiàn)網(wǎng)箱內(nèi)生物量實際情況的探測，通過水上信號收發(fā)電路向換能器基陣發(fā)射超聲頻電信號并接收處理換能器輸出的電信號為生物量評估處理提供數(shù)據(jù)基礎(chǔ)。另外，他們還構(gòu)建了相應(yīng)的深水網(wǎng)箱生物量評估模型，運用單回波脈寬檢測和跟蹤方法在單體魚連續(xù)的回波蹤跡中檢測魚的游速及方向，并利用圖像分析技術(shù)壓縮回波噪聲，實現(xiàn)了在低信噪比數(shù)據(jù)中對網(wǎng)箱中生物量的檢測估計。如圖2（a）所示，可以發(fā)現(xiàn)該方法利用多個換能器組成換能器基陣實現(xiàn)多個波束共同作用進行目標(biāo)探測，導(dǎo)致設(shè)備的體積大且成本較高。劉延猛等［85］針對上述問題提出了無人艇聲吶計數(shù)方法，區(qū)別于超聲波換能器基陣技術(shù)，利用魚鰾中空氣與水體中其他物體聲吶特性的顯著區(qū)別進行魚體目標(biāo)識別，在無人艇上安裝探測聲吶及無線收發(fā)器，管理人員通過對水中無人艇遠程遙控實現(xiàn)探測聲吶對水下目標(biāo)信息的探測與處理，并通過無線收發(fā)器將數(shù)據(jù)傳送到遠程終端機，利用聲吶回波能強度實現(xiàn)魚群計數(shù)、獲取魚類體型大小及重量等目標(biāo)。當(dāng)然，也有部分學(xué)者直接利用單目多光譜相機在水下進行魚群圖像采集并計數(shù)，Zhang 等［86］在深水網(wǎng)箱底部安裝與水面形成一定角度的單目多光譜相機，自下而上拍攝魚類照片，如圖2（b）所示，其中相機與水面形成的角度一定程度上避免了垂直光對圖像采集的影響，但受水下海域水質(zhì)渾濁、能見度低的影響，水下圖像質(zhì)量較低。因此他們在圖像預(yù)處理部分通過顏色校正與對比度增強的方法實現(xiàn)水下圖像質(zhì)量的提高，為魚群計數(shù)提供可行性，最后以混合神經(jīng)網(wǎng)絡(luò)模型進行密度圖估計，魚群計數(shù)精度為95.06%。

圖2 深水網(wǎng)箱養(yǎng)殖計數(shù)方法的實際應(yīng)用示意圖Fig.2 Schematic diagrams of applications of counting methods in deep water net cage culture

深水網(wǎng)箱中魚群生物量的評估為相關(guān)管理人員掌握魚類生長情況、獲取魚群逃逸信息和判斷網(wǎng)箱的損壞情況提供了數(shù)據(jù)依據(jù)，有利于根據(jù)魚群數(shù)量控制餌料投放和檢查網(wǎng)箱完整性；但是，中國種類繁多的海水魚中適應(yīng)深海網(wǎng)箱養(yǎng)殖的種類較少，主要是大黃魚、美國紅魚、大西洋鮭魚等品種。因此目前面向深水網(wǎng)箱的魚群計數(shù)方法適用的魚類品種較少，我國深水網(wǎng)箱的養(yǎng)殖品種仍待豐富，相關(guān)計數(shù)方法也將因此快速發(fā)展。

3.2 循環(huán)水養(yǎng)殖模式

循環(huán)水養(yǎng)殖是通過一系列水處理單元將養(yǎng)殖池中產(chǎn)生的廢水處理后再次循環(huán)回用的新型養(yǎng)殖模式，以去除養(yǎng)殖水體有害污染物、凈化養(yǎng)殖環(huán)境為目的，利用物理過濾、消毒等處理將凈化后的水體重新輸入養(yǎng)殖池的過程，解決了水資源利用率低的問題，為高密度養(yǎng)殖提供了有利條件［87］。但養(yǎng)殖密度過高將引起水產(chǎn)動物應(yīng)激反應(yīng)，改變它們的內(nèi)在生理狀況，導(dǎo)致養(yǎng)殖群體的生長率和存活率下降，增大個體間生長差異，因此水產(chǎn)品計數(shù)在循環(huán)水養(yǎng)殖中具有一定應(yīng)用價值［88］。循環(huán)水養(yǎng)殖模式在不斷推廣下，已經(jīng)逐漸發(fā)展出各種分支，主要包括池塘工程化循環(huán)水養(yǎng)殖和工廠化循環(huán)水養(yǎng)殖等模式，根據(jù)循環(huán)水養(yǎng)殖模式在不同環(huán)境的應(yīng)用，水產(chǎn)動物數(shù)量的統(tǒng)計方法也具有不同特點。

池塘工程化循環(huán)水養(yǎng)殖模式俗稱為跑道魚模式，通過創(chuàng)建仿生態(tài)的常年流水環(huán)境，實現(xiàn)多個魚類品種的高密度養(yǎng)殖，如草魚、鱸魚、鯽魚等常見的淡水魚品種［89］?；诔靥裂h(huán)水養(yǎng)殖過程中，魚群以流水魚道為生活環(huán)境的現(xiàn)象，陳從平等［90］提出一種基于水下視頻的魚道過魚量自動計數(shù)系統(tǒng)，主要包括水下攝像機和視頻處理工作站，水下攝像頭與視頻處理工作站中的圖像采集卡連接，安裝在魚道側(cè)壁靠近防逃網(wǎng)出口的位置進行圖像數(shù)據(jù)采集，而視頻處理工作站在視頻處理過程中首先在視場中設(shè)計部分區(qū)域視為計數(shù)緩沖區(qū)以降低計算量，并在計數(shù)緩沖區(qū)中進一步設(shè)置增強計數(shù)區(qū)，當(dāng)魚從一側(cè)逐漸進入有效計數(shù)區(qū)，系統(tǒng)自動對魚體進行連續(xù)識別跟蹤，連續(xù)3 幀圖像均檢測到則進行計數(shù)，從而實現(xiàn)計數(shù)時段內(nèi)魚道內(nèi)實際過魚量的全天候自動計數(shù)。該方法結(jié)合計數(shù)現(xiàn)場實際情況，對計數(shù)方法和規(guī)則進行了相應(yīng)開發(fā)且避免過多設(shè)備的附加使用，對于自然情況下的池塘循環(huán)水跑道魚計數(shù)具有一定的實用價值。

工廠化循環(huán)水養(yǎng)殖模式不同于池塘循環(huán)水養(yǎng)殖中利用推水增氧裝置和吸污裝置實現(xiàn)池塘水24 h 循環(huán)流動增氧及魚糞殘餌收集，而是將魚群直接放養(yǎng)于靜水養(yǎng)殖池，并利用微濾機、低壓溶氧機和顆粒收集器等設(shè)備直接對養(yǎng)殖池中的循環(huán)水進行處理，相比易受水溫、氣候、環(huán)境等各種因素影響的露天池塘循環(huán)水養(yǎng)殖模式，工廠化循環(huán)水養(yǎng)殖受自然環(huán)境的影響較小，且根據(jù)養(yǎng)殖者需求更易于調(diào)整養(yǎng)殖程序［91-92］。但工廠化循環(huán)養(yǎng)殖車間一般光線較暗，若直接增加光源或額外補光，將影響魚類的正常生長，因此為獲得較好的圖像拍攝效果，周超等［93］將近紅外相機應(yīng)用于工廠化循環(huán)水養(yǎng)殖魚類的行為評估中，通過設(shè)置近紅外相機與近紅外光源獲取魚體的近紅外圖像，并利用軟件處理分析近紅外圖像獲得魚類的游動速度，為監(jiān)控魚類行為提供了信息依據(jù)。這種利用近紅外相機獲取光線較暗的養(yǎng)殖池圖像的方法同樣對工業(yè)化循環(huán)水魚群計數(shù)獲取高質(zhì)量魚群圖像具有借鑒意義。除此之外，由于養(yǎng)殖池內(nèi)魚群密度較高，養(yǎng)殖品種主要是半滑舌鰨、大菱鲆、紅鰭東方鲀等遮擋粘連嚴(yán)重的魚類［92］，導(dǎo)致基于機器視覺的魚群計數(shù)方法使用具有一定局限性。因此，吸魚泵等實現(xiàn)魚群分離的硬件設(shè)備具有不可或缺的作用，王碩等［38］利用吸魚泵將大菱鲆魚苗吸入數(shù)魚機通道中，并利用通道斜上方的工業(yè)相機對通道內(nèi)的大菱鲆魚苗進行拍攝，吸魚泵一定程度上減少了魚群粘連對拍攝效果的影響，并設(shè)計曲線演化法實現(xiàn)通道內(nèi)粘連魚群的分離計數(shù)。除此之外，利用三維圖像信息解決魚苗重疊問題對于魚群計數(shù)具有較好效果，但目前三維圖像多用于魚體體長測量，在魚群計數(shù)方面的應(yīng)用還需進一步拓展［94-95］。

3.3 池塘養(yǎng)殖模式

池塘養(yǎng)殖模式是利用人工開挖或天然池塘進行水產(chǎn)經(jīng)濟動植物養(yǎng)殖的一種生產(chǎn)方式，主要包括魚菜共生養(yǎng)殖模式、多級人工濕地養(yǎng)殖模式和稻魚綜合種養(yǎng)模式，且草魚、鰱魚、鯉魚、香魚等魚類是我國池塘養(yǎng)殖中較普遍的品種［96］。然而，池塘本身的封閉性易引起水體流動不暢通而出現(xiàn)水質(zhì)問題，低質(zhì)量的水質(zhì)直接影響池塘養(yǎng)殖的經(jīng)濟產(chǎn)出，因此利用魚群計數(shù)方法定期獲得池塘魚群數(shù)量對養(yǎng)殖人員評估養(yǎng)殖情況具有重要意義。

克服解決渾濁水質(zhì)對計數(shù)結(jié)果的影響，是基于機器視覺的魚群計數(shù)方法應(yīng)用于池塘養(yǎng)殖模式必須解決的問題。因此，與深水網(wǎng)箱中解決渾濁水質(zhì)對計數(shù)影響的方法一致，聲吶計數(shù)方法同樣適用于池塘養(yǎng)殖計數(shù)，而由于應(yīng)用范圍的不同，池塘養(yǎng)殖更適合小型聲吶的計數(shù)方法。童劍鋒等［97］將DIDSON 聲吶相機探頭安裝在水下20 cm 處，在黑暗渾濁、能見度較低的水中，利用聲吶鏡頭以10 frame/s 的幀率形成聲波波束進而生成接近光學(xué)照片畫質(zhì)的圖像，并基于游動的魚群與落葉、垃圾等雜質(zhì)的移動速度、方向區(qū)別較大的特征，正確地對游動的魚群進行跟蹤計數(shù)；但該方法將聲吶相機安裝在固定地點，計數(shù)前需要在池塘中設(shè)定計數(shù)區(qū)域，對自然情況下的池塘使用具有不便性。張翔等［27］將DIDSON 聲吶探頭安裝在船舷左側(cè)置于水下0.5 m 處，如圖3 所示，根據(jù)雙頻識別聲吶的低頻1.1 MHz、高頻1.8 MHz 的兩種工作頻率探測距離的不同對水庫進行自動調(diào)節(jié)的走航式調(diào)查，并利用檢測跟蹤算法對聲吶圖像中的魚體進行跟蹤統(tǒng)計。雖然該方法利用船只實現(xiàn)了池塘全范圍探測計數(shù)，具有一定的實用價值，但聲吶相機自身的缺陷及池塘環(huán)境的限制仍將導(dǎo)致計數(shù)誤差，面向渾濁水域的魚群計數(shù)方法仍需進一步研究。

圖3 池塘養(yǎng)殖聲吶計數(shù)方法應(yīng)用示意圖Fig.3 Schematic diagrams of application of sonar counting method in pond culture

綜上所述，基于機器視覺進行不同養(yǎng)殖環(huán)境的水產(chǎn)品計數(shù)所需的數(shù)據(jù)采集與計數(shù)方法各有不同。深水網(wǎng)箱的養(yǎng)殖模式水下能見度低、大多屬于渾濁水域，多以聲吶、超聲波設(shè)備進行數(shù)據(jù)采集，且由于其養(yǎng)殖范圍較大、養(yǎng)殖群體較多，因此跟蹤計數(shù)是常選擇的一種計數(shù)方法，但是對于扇貝類常隱匿于水底的養(yǎng)殖品種，其他計數(shù)方法同樣具有應(yīng)用需求；循環(huán)水養(yǎng)殖模式主要分為池塘化循環(huán)養(yǎng)殖與工廠化循環(huán)養(yǎng)殖，其中池塘化循環(huán)養(yǎng)殖因其獨特的跑道式養(yǎng)殖方法，常利用光學(xué)相機與跟蹤計數(shù)方法進行跑道內(nèi)魚群數(shù)量統(tǒng)計，而工廠化循環(huán)養(yǎng)殖主要進行大菱鲆等遮擋粘連嚴(yán)重的魚類養(yǎng)殖，計數(shù)過程常利用吸魚泵等設(shè)備進行魚群分離，直接利用光學(xué)相機采集吸魚泵通道內(nèi)的魚群數(shù)據(jù)并以常規(guī)的幾何特征計數(shù)方法進行計數(shù)，但是根據(jù)其他對于遮擋魚群的研究可知，近紅外、雙目等三維圖像相機對于該養(yǎng)殖模式下的魚群計數(shù)具有參考意義，計數(shù)方法也可隨之改變；池塘養(yǎng)殖模式雖同樣存在渾濁水質(zhì)的問題，但是由于養(yǎng)殖范圍較小，因此小型聲吶與船只的結(jié)合使用可完成該養(yǎng)殖環(huán)境下的數(shù)據(jù)采集，且常規(guī)的計數(shù)方法均可完成數(shù)量統(tǒng)計。

總的來說，對于不同的養(yǎng)殖環(huán)境，主要區(qū)別就是數(shù)據(jù)采集方式，而計數(shù)方法的使用則是根據(jù)養(yǎng)殖范圍與計數(shù)需求的不同略有區(qū)別。水產(chǎn)計數(shù)方法在各種養(yǎng)殖模式中應(yīng)用的對比分析如表4 所示。

表4 基于實際水產(chǎn)養(yǎng)殖環(huán)境的計數(shù)應(yīng)用Tab.4 Counting applications based on actual aquaculture environment

3.4 其他

除上述基于實際水產(chǎn)養(yǎng)殖環(huán)境所設(shè)計開發(fā)的水產(chǎn)品計數(shù)應(yīng)用外，部分學(xué)者以設(shè)計通用計數(shù)設(shè)備為主，使水產(chǎn)品計數(shù)脫離實際養(yǎng)殖環(huán)境，根據(jù)水產(chǎn)動物的個體特點直接進行計數(shù)設(shè)備的研究，能更廣泛地應(yīng)用于不同品種的水產(chǎn)品。

在魚群計數(shù)方面，Garcia 等［98］利用跟蹤計數(shù)方法設(shè)計出了一套魚苗計數(shù)器，令魚體通過水流進入掃描區(qū)域，利用相機將流水魚群圖像進行記錄，并采用自定義軟件通過跟蹤計數(shù)算法分析和計算每個圖像，從而得到通過該計數(shù)器的魚苗數(shù)量。目前已有多個公司利用此類流水計數(shù)方法進行魚類計數(shù)器裝置的開發(fā)，主要有冰島VAKI 公司、挪威AquaScan公司、法國Faivre 公司和比利時的Calitri Technology 公司，其中VAKI 公司以機器視覺計數(shù)方法為主，AquaScan 公司與Faivre 公司偏重紅外傳感器成像計數(shù)方法，Calitri Technology公司則以光電計數(shù)方為代表［99］。以機器視覺計數(shù)方法為主的VAKI 公司，已針對不同使用場景、不同尺寸的魚類研發(fā)了各類功能和大小的計數(shù)器，主要包括通道計數(shù)器、管道計數(shù)器，如用于捕撈船的Smolt 計數(shù)器配合大型真空泵和捕撈船上的加壓水流能以每小時360 000 尾的速度進行500 g 以上的魚類計數(shù)；用于漁場的Micro 計數(shù)器可在將魚類從孵化場運出時，在捕撈船和運輸卡車上實現(xiàn)0.1 g～200 g 小魚的分級計數(shù)，甚至可以達到每小時500 000 尾的計數(shù)速度。

而在蝦苗水產(chǎn)品的計數(shù)設(shè)備研發(fā)方面，多數(shù)學(xué)者將密度圖計數(shù)方法嵌入計數(shù)設(shè)備實現(xiàn)蝦苗計數(shù)設(shè)備的集成開發(fā)。范松偉等［100］設(shè)計出一套蝦苗計數(shù)儀原型機，利用漫反射光源燈箱集成補光燈與蝦苗容器白扁盤，將蝦苗放置在箱體下方的白扁盤中，利用箱體頂部的手機實現(xiàn)蝦苗圖像的拍攝與數(shù)量統(tǒng)計。目前，加拿大科技公司XpertSea 所開發(fā)的XperCount 蝦苗計數(shù)設(shè)備是基于此類方法的成熟產(chǎn)品，將蝦苗等水產(chǎn)品倒入測量桶內(nèi)，通過裝備頂部的觸摸顯示屏可直接對設(shè)備內(nèi)部的水生生物進行計數(shù)、測大小、稱重和成像，從而獲得蝦群每日生長速率、飼料轉(zhuǎn)化率、放養(yǎng)密度和存活率等精確數(shù)據(jù)［101］。

雖然上述產(chǎn)品使水產(chǎn)品計數(shù)不再局限于相應(yīng)的養(yǎng)殖環(huán)境，令用戶可以更方便快捷地獲得水產(chǎn)品的數(shù)量，但仍存在兩個明顯問題：1）目前已成熟的數(shù)魚器產(chǎn)品均根據(jù)目標(biāo)魚體特征設(shè)計，不能廣泛應(yīng)用于多種魚類，如大多數(shù)設(shè)備僅能用于長寬比不大的魚類，而對于體型修長、魚體柔軟的魚類難以獲得較好結(jié)果；2）上述魚苗、蝦苗的計數(shù)設(shè)備都需要將相應(yīng)水產(chǎn)品從養(yǎng)殖場所取出，使它們進入計數(shù)設(shè)備進行生物量統(tǒng)計，此類做法不僅易導(dǎo)致養(yǎng)殖動物的應(yīng)激反應(yīng)，造成經(jīng)濟損失，而且人工取苗將消耗人力資源，沒有達到智慧漁業(yè)中裝備機械化、操作智能化的目標(biāo)。

4 展望

在水產(chǎn)養(yǎng)殖中，水產(chǎn)品計數(shù)是進行種群評估和合理規(guī)劃養(yǎng)殖的重要手段，基于機器視覺的自動計數(shù)方法既降低了計數(shù)的成本與時間，又避免了計數(shù)過程中人為誤差的出現(xiàn)，在計數(shù)領(lǐng)域具有更準(zhǔn)確簡便的優(yōu)勢；但由于圖像處理技術(shù)、硬件設(shè)備和視覺原理等條件限制，水下動物自身運動遮擋、水下環(huán)境復(fù)雜和生活習(xí)性等問題的影響，機器視覺技術(shù)在水下動物計數(shù)中的研究與實際使用還存在一些不足和局限性：

1）數(shù)據(jù)集不足。水下動物數(shù)據(jù)集的采集具有采集環(huán)境復(fù)雜、拍攝亮度較低和生物運動干擾等問題，而且在數(shù)據(jù)集標(biāo)注中，水下動物數(shù)量龐大導(dǎo)致標(biāo)注工作量較大。我國目前開源的大規(guī)模水下動物數(shù)據(jù)集較少，且在一些分散的小型數(shù)據(jù)集中存在數(shù)據(jù)樣本少、分類不準(zhǔn)確和查詢不方便等問題，而基于深度學(xué)習(xí)的計數(shù)方法最重要的就是利用大量樣本進行模型訓(xùn)練，雖然目前大多數(shù)研究人員通過添加噪聲、調(diào)整圖片對比度和飽和度等圖像預(yù)處理方法進行數(shù)據(jù)擴充，但仍未解決本質(zhì)問題，大規(guī)模水下動物圖像數(shù)據(jù)庫的構(gòu)建在未來研究中將是一個重要研究目標(biāo)。

2）數(shù)據(jù)采集方法待改進。目前水下動物計數(shù)算法大多基于實驗室中滿足光照條件的多光譜數(shù)據(jù)進行研究，而在實際生活中，多光譜相機采集水下信息易受光照強度、水下動物遮擋和復(fù)雜背景的影響。近紅外、高光譜相機與聲吶相機根據(jù)它們自身特點可以有效解決采集環(huán)境對圖像或視頻信息的影響。因此，不同類型的相機結(jié)合使用，利用信息融合技術(shù)實現(xiàn)水下動物多類型數(shù)據(jù)信息融合，可以有效解決水下動物生活環(huán)境與不同相機自身缺陷對數(shù)據(jù)采集的影響，此外，無人機、捕魚船、潛水艇等相機承載設(shè)備的改進同樣對獲得高質(zhì)量的圖像或視頻信息以實現(xiàn)更好的水產(chǎn)品生物量估計具有促進作用。

3）高密度群體互相遮擋。基于傳統(tǒng)機器學(xué)習(xí)的計數(shù)方法大多僅適用于中低密度群體，高密度群體相互遮擋會導(dǎo)致計數(shù)準(zhǔn)確率降低，而模擬水下動物群的空間密度分布進行積分計數(shù)的密度圖方法與利用視頻幀的空間時間維度信息的跟蹤計數(shù)方法，可以有效解決高密度群體的遮擋粘連問題。但密度圖的生成容易受到原始圖片中無關(guān)元素的干擾，從而影響計數(shù)準(zhǔn)確率，而且目前對于密度圖是否能正確反映群體的空間分布缺少研究。在群體總數(shù)估計正確的情況下，若局部區(qū)域的數(shù)量估計存在較大誤差，可能導(dǎo)致密度圖無法正確反映真實的空間分布，基于視頻幀的跟蹤計數(shù)方法則會由于多個目標(biāo)軌跡交叉切換導(dǎo)致重復(fù)計數(shù)或少計數(shù)等問題。因此提高密度圖估計的準(zhǔn)確性與跟蹤算法的軌跡穩(wěn)定性是未來解決高密度群體互相遮擋問題、提高計數(shù)算法準(zhǔn)確性的重要方向。

4）算法對高算力的依賴性?；谏疃葘W(xué)習(xí)的計數(shù)方法在高密度水下動物群圖像中的計數(shù)準(zhǔn)確性較高，但是深度學(xué)習(xí)對硬件設(shè)備的算力要求較高，與一些傳統(tǒng)的機器學(xué)習(xí)算法相比，應(yīng)用場景受到一定限制且實時效果較差。在實際水產(chǎn)養(yǎng)殖環(huán)境中，為減少樣本的大量標(biāo)注工作并提高方法的實時效果，利用半監(jiān)督或無監(jiān)督學(xué)習(xí)的訓(xùn)練方法在水產(chǎn)養(yǎng)殖中實現(xiàn)計數(shù)任務(wù)可能更實際，而在深度學(xué)習(xí)方法中降低模型的參數(shù)量，應(yīng)用輕量級網(wǎng)絡(luò)，在保障計數(shù)準(zhǔn)確性的基礎(chǔ)上，提高算法的實時性，也是基于深度學(xué)習(xí)的水產(chǎn)品計數(shù)方法未來可以考慮的研究要點。

5）遷移模型具有局限性。近年來，基于機器視覺的人群、車流計數(shù)方法應(yīng)運而生，為水產(chǎn)養(yǎng)殖計數(shù)研究提供了諸多可參考內(nèi)容。然而，水產(chǎn)養(yǎng)殖環(huán)境完全區(qū)別于其他物種、水產(chǎn)品種類繁多，同一種類的水產(chǎn)品仍具有較大的特征差異、魚蝦等群體無規(guī)則運動更易遮擋等問題，使基于機器視覺的其他群體計數(shù)方法直接運用于水下動物具有挑戰(zhàn)性，因此，根據(jù)水產(chǎn)品自身特點及其養(yǎng)殖環(huán)境對所遷移的模型進行改進是未來將其他物種的計數(shù)方法應(yīng)用水產(chǎn)養(yǎng)殖的首要考慮問題。

6）計數(shù)方法與實際養(yǎng)殖結(jié)合不足。目前基于機器視覺的水下動物計數(shù)算法大多處于實驗室研究創(chuàng)新階段，在實際生活中的具體使用仍缺乏相關(guān)研究，在不同的養(yǎng)殖環(huán)境對計數(shù)算法運用的限制各有不同，因此基于不同養(yǎng)殖環(huán)境進行水產(chǎn)品計數(shù)硬件開發(fā)是水下動物計數(shù)在實際生活中使用必不可少的內(nèi)容，而在水產(chǎn)品計數(shù)硬件開發(fā)中設(shè)備的便攜性、物理穩(wěn)定性和可調(diào)節(jié)性等內(nèi)容均是需要考慮的內(nèi)容。

7）產(chǎn)品成熟度有待提高。目前我國漁業(yè)仍以小規(guī)模養(yǎng)殖為主，存在養(yǎng)殖規(guī)范性和科學(xué)性弱、機械化水平較低且水產(chǎn)養(yǎng)殖品種眾多等現(xiàn)象。而目前較成熟的計數(shù)設(shè)備大多面向大規(guī)模養(yǎng)殖中的單種水產(chǎn)品，無法廣泛應(yīng)用于多種水產(chǎn)品，因此水產(chǎn)品計數(shù)設(shè)備應(yīng)以小型化、模塊化為改進方向：小型化設(shè)計更適用于小規(guī)模養(yǎng)殖，降低成本且便于轉(zhuǎn)移；以零部件更換為主的模塊化設(shè)計，可應(yīng)用于多種類型的水產(chǎn)品；此外，自動吸魚泵、分級機等機械化設(shè)備的同步發(fā)展對計數(shù)產(chǎn)品的使用具有促進作用。

5 結(jié)語

本文通過對圖像數(shù)據(jù)采集設(shè)備的應(yīng)用、近20 年基于機器視覺的水產(chǎn)動物計數(shù)方法和不同水產(chǎn)養(yǎng)殖模式中水產(chǎn)動物計數(shù)實際使用進行深入分析，闡述了基于機器視覺的計數(shù)方法對現(xiàn)代水產(chǎn)中實現(xiàn)非入侵式水下動物計數(shù)的重要意義。隨著圖像采集設(shè)備、圖像處理技術(shù)和計算機算力的不斷改進更新，水產(chǎn)品計數(shù)在復(fù)雜環(huán)境獲取圖像、低質(zhì)量圖像處理和計數(shù)方法改進等方面得到了更大的突破。然而基于機器視覺的水產(chǎn)品計數(shù)方法大多處于實驗室研究階段，而已有的計數(shù)產(chǎn)品仍需改進，真正實現(xiàn)計數(shù)算法在不同養(yǎng)殖模式中的使用有待繼續(xù)研究。