安志強 ，李智軍 ，劉 碩 ，趙永剛 ，陳啟俊 ，左然濤 ，林遠山 ※

（1. 大連海洋大學信息工程學院,大連 116023；2. 遼寧省海洋信息技術重點實驗室,大連 116023；3. 設施漁業(yè)教育部重點實驗室,大連海洋大學,大連 116023；4. 大連鑫玉龍海洋生物種業(yè)科技股份有限公司,大連 116007；5. 大連海洋大學水產與生命學院,大連 116023 ）

0 引言

海珍品庫存是水產養(yǎng)殖企業(yè)在海珍品放苗、養(yǎng)殖狀態(tài)監(jiān)測、精準投喂和經濟效益估算等方面的重要參考數據[1]。傳統的海珍品庫存估算主要采用人工抽樣方法，例如稱質量和框選計數等。這類方法勞動力成本高、效率低、且難以保證結果的準確性和全面性。因此，自動、準確、快速地統計完整養(yǎng)殖圈內海珍品的數量已成為當前迫切需要解決的問題之一[2]。近年來，無人船[3]、水下機器人[4]和深度學習[5-6]等新技術的發(fā)展為真正解決實際養(yǎng)殖環(huán)境下的海珍品數量估算問題提供了可能。

國內外學者在水下拍攝圖像的基礎上，嘗試采用傳統圖像處理[7-8]和機器學習[9-12]技術開展海珍品自動計數的研究。傳統圖像處理方法的基本思路是首先在RGB、HSV、Lab 或YCbCr 等[13-16]顏色空間對海珍品對象進行分割，然后采用連通區(qū)域統計、端點細化、曲線演化、模板匹配和分類檢測等方法統計數量，并有效應用在魚群、蝦苗[17]、扇貝苗[18]等的計數上。但是傳統圖像處理方法受水下圖像模糊、對比度差、噪聲和復雜背景等因素干擾[19-20]，導致海珍品數量統計的準確率普遍較低。

機器學習中的深度學習具有自動逐層提取語義特征、泛化能力強、魯棒性好等優(yōu)點[21]，為此國內外學者紛紛嘗試將深度學習技術應用到海珍品計數上，涌現出分割計數、檢測計數等方法。基于圖像分割的計數方法，一般利用U-Net[22]、Mask R-CNN[23]等對圖像進行像素級的背景檢測和目標分割，識別出圖像中的蝦體[24-25]、魚體[26]等目標，最后在此基礎上使用時間閾值法與空間閾值法確定海珍品數量。由于基于圖像分割的計數方法需要對目標進行像素級的定位，計算量較大。為此，部分學者提出了基于目標檢測的海珍品計數方法，其僅需要預測出目標邊界框，便可得到相關計數依據，更加方便快捷。這種方法的基本思路是首先使用Faster R-CNN[27]、YOLO[28]等目標檢測算法對圖像中海珍品對象進行檢測，然后根據目標邊界框的數量確定海珍品的數量，已被應用于魚群[29-30]和扇貝[31]的計數上。

然而，上述利用深度學習技術的海珍品計數方法大多只能統計單張圖像內的海珍品數量，并未實現對完整養(yǎng)殖圈內海珍品的數量統計，而且只針對單一品種進行檢測計數。為此，本文以真實底播養(yǎng)殖環(huán)境下的海珍品為研究對象，以水下拍攝的海珍品視頻為數據源，將基于深度學習的檢測模型與多目標跟蹤算法相結合，嘗試利用視頻目標跟蹤的方法同時統計多種海珍品（海參、扇貝、海膽）的數量。為保證海珍品檢測跟蹤算法的實時性與準確性，采用新近發(fā)布的YOLOv7[32]作為為目標檢測網絡，以期在保證檢測精度的前提下實現更快的處理速度。在此基礎上，借鑒多目標跟蹤BYTE[33]跟蹤算法的思想，提出一種面向多類別海珍品的跟蹤與計數方法，為水產養(yǎng)殖的智慧管理提供科學決策依據。本文所提方法已在大連鑫玉龍海洋生物種業(yè)科技股份有限公司海參庫存評估中得到應用。

1 材料與方法

本節(jié)首先介紹了多類別海珍品技術方法的總體框架，使用到的算法技術為基于檢測的跟蹤算法，因此又分別介紹了檢測器與跟蹤器的設計，最后介紹了用來評價本文所提算法的評價指標。

1.1 多類別的海珍品計數方法總體框架

本文旨在解決統計視頻中各類海珍品數量的問題。鑒于多目標跟蹤技術能夠檢測并跟蹤視頻中的每個物體，因此采用多目標跟蹤技術實現視頻中各類海珍品的計數。其基本思路是使用目標檢測器檢測新的海珍品，并利用跟蹤器對其進行跟蹤，獲取視頻中所有海珍品的軌跡信息，最后根據軌跡數量計算各類海珍品的數量，總體框架如圖1 所示。首先，將視頻中第i幀的圖像送入基于深度學習的海珍品目標檢測器中，得到第i幀的檢測結果；然后，將此檢測結果與第i-1 幀海珍品軌跡經跟蹤軌跡預測算法得到的預測框進行目標匹配，得到第i幀的匹配結果；最后，根據匹配結果更新海珍品的軌跡狀態(tài)；以此反復，直到整個視頻處理完成。最終得到所有海珍品的軌跡，通過分析這些軌跡即可估算出各類海珍品的數量。

圖1 多類別的海珍品計數方法總體框架Fig.1 General framework of multi-category sea foods counting method

1.2 基于YOLOv7 的海珍品檢測器設計

本文所采用的多目標跟蹤方法為基于檢測的跟蹤技術，其跟蹤性能嚴重依賴目標檢測器的性能。為此，選用YOLO 系列最新版本YOLOv7 作為檢測器基礎算法。YOLOv7 是一種一階段的目標檢測算法，算法通過直接回歸的方式一次處理并獲得對應物體的目標區(qū)域、位置及類別，其檢測速度通常比兩階段目標檢測算法快，能在精度和效率上進行很好的平衡，為實現實時海珍品的跟蹤計數奠定了基礎。

YOLOv7 針對不同的場景和應用提供了YOLOv7-tiny、YOLOv7、YOLOv7-X 等7 種不同的模型，綜合海珍品計數的實際需求，在此選用標準版的YOLOv7 模型權重實現快速、高精度的海珍品檢測器并使用“2017 首屆水下機器人目標抓取大賽（2017 Underwater Robot Picking Contest，URPC2017）”提供的真實水下圖像數據集[34]訓練YOLOv7 模型。首先將包含海參、海膽、扇貝三類海珍品的17 655 張圖像按8:1:1 的比例隨機劃分成訓練集14 055 張圖片用于訓練，校驗集1 800 張圖片用于驗證和測試集1 800 張圖片用于測試。

YOLOv7 檢測器訓練的設置為圖片自適應大小640×640，初始學習率為0.01，動量為0.9，權重衰減為0.000 5，批量大小為16，訓練回合數為300，每訓練10 個回合進行1 個測試回合。海珍品檢測器訓練所采用的操作系統為Ubuntu18.04，深度學習框架為PyTorch，試驗處理器為AMD Ryzen Threadripper 1920X 12 核，顯卡為NVIDIA GeForce RTX2080。

1.3 基于BYTE 的多類別海珍品跟蹤計數算法設計

1.3.1 跟蹤器設計的總體思路

實際養(yǎng)殖環(huán)境下的海珍品視頻具有同類海珍品的相似性高、水下圖像模糊缺色等特點，這可能會嚴重影響使用外觀信息進行數據關聯的多目標檢測器的性能。為此，本文借鑒BYTE 的基本思想，僅利用視頻中目標的運動信息及其他啟發(fā)信息實現多類別海珍品跟蹤器，其總體思路如圖2 所示。

圖2 基于BYTE的多類別海珍品跟蹤計數算法設計的總體思路Fig.2 The general idea of multi-category sea foods tracking and counting algorithm design based on BYTE

首先將檢測的結果進行分級，分為高分目標Dh和低分目標Dl，高分目標Dh與信任目標預測框Tc通過匈牙利算法進行第一次匹配。匹配成功的目標保存到信任軌跡中并更新，剩余的目標預測框Tc_r與低分目標Dl通過匈牙利算法進行第二次匹配。剩余的的高分目標Dh_r與不信任目標預測框Tu通過匈牙利算法進行第三次匹配。第二次匹配成功的目標同樣保存到信任軌跡中并更新，剩余的目標預測框Tc_r_r標記為丟失軌跡并存放在不信任軌跡中，剩余的低分目標Dl_r將不再對其進行處理。第三次匹配成功的目標與前兩次進行相同的操作，剩余的目標預測框Tu_r對于已匹配上的軌跡出現丟失的情況對其進行丟失軌跡處理，并為其設置一個閾值k，當匹配失敗的次數大于閾值k將其丟棄否則將其標記為丟失軌跡存放到不信任軌跡中。其他的剩余目標預測框Tu_r對其進行未匹配新軌跡丟棄處理，之后對虛假身份(identity,ID)數進行更新，剩余的高分目標Dh_r_r將對其進行多類別海珍品目標新軌跡生成處理并將其存放到不信任軌跡中，最后更新軌跡狀態(tài)，以此反復。

1.3.2 多類別海珍品新軌跡生成策略

多目標跟蹤器為了更好地跟蹤每個物體，需要在每個物體剛出現時為其創(chuàng)建一條軌跡記錄并在后續(xù)幀中進行更新、維護?，F有大多數基于多目標跟蹤的計數方法對不同類別的物體用同一套ID 系統無差別地創(chuàng)建、維護軌跡，這樣需要對所有軌跡進行分析才能實現多類別物體計數，較為耗時、費事。為了充分利用ID 本身所蘊含的數量信息，實現多類別海珍品的快速計數，為此設計一種多類別海珍品新軌跡生成策略，按類別為每類海珍品分配獨立的ID，具體如圖3 所示。

圖3 多類別ID 分配策略流程圖Fig.3 Flowchart of the multi-class ID allocation policy

經過兩次匹配仍未匹配成功的高分目標Dh_r_r，認為其是一個新的海珍品的軌跡，因此將對其進行激活并對其進行ID 分配，其包含的主要信息有類別、位置等。首先將高分目標Dh_r_r的類別傳入ID 分配模塊中，在ID分配模塊中創(chuàng)建了n個ID 分配器用來存放每個類別的海珍品ID。然后根據各類別為其分配ID，如當前類別為海參，其對應的數字類別為1，所以類別1ID 分配器將會為其分配一個ID，并將原有的ID 數量進行加一操作，其他類別以此類推，分配好的ID 將會與其對應的位置等信息結合到一起形成最終輸出的海珍品軌跡。

1.3.3 多類別海珍品計數策略

若使用上述多類別海珍品新軌跡生成策略對海珍品軌跡進行初始化，原理上每類的最新ID 號（當前最大值）即是該類別海珍品的數量，因為最新ID 號為此類的軌跡數。然而，經分析發(fā)現，受目標檢測器精度的影響，檢測結果會出現虛假的目標，進而產生虛假的軌跡，造成數量的虛報，這會對最終的計數產生重要的影響。

為了解決此問題，本文引入信任機制，即將跟蹤軌跡分成信任軌跡和不信任軌跡，其中信任軌跡為連續(xù)多幀均能很好匹配的軌跡，而不信任軌跡主要包括跟丟的軌跡、新軌跡等。為統計虛假軌跡的數量，在新軌跡生成之初先將其標記為新軌跡，并加入不信任軌跡中待進一步考察，若下一幀能很好與高分目標匹配成功，則將其加入信任軌跡；否則，對應類別的虛假軌跡數加一，將對應軌跡刪除。在匹配過程中優(yōu)先對信任軌跡進行匹配，不信任軌跡最后匹配。為此，多類別海珍品的數量采用式(1)計算。

1.3.4 多類別海珍品計數算法闡述

在上述各策略的基礎上，可得到多類別海珍品跟蹤計數算法，算法的輸入是海珍品視頻（圖像序列）V，目標檢測器為Det,跟蹤分數閾值。算法的輸出是海珍品各類別的數量N c以及對應個體的軌跡T。

算法將當前幀的目標檢測結果分為高分目標框集合Dh和低分目標框集合Dl，并且利用卡爾曼濾波器預測上時刻軌跡的預測框集合Tc，為后續(xù)的多次關聯奠定基礎。

1.4 評價指標設計

平均計數精度(average counting precision,ACP)、平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)等指標通常被用來評價基于多目標跟蹤的計數方法的性能。這些指標更適用于基于過線模式的計數方法，而并不適用于基于ID 號模式的計數方法，因為基于ID 號方法的結果受目標的誤檢、ID 切換和漏檢影響較為嚴重。針對誤檢這一指標，一種情況是將某一類誤檢為另一類，但由于本文研究的3 種海珍品之間差異較大，這種情況很少出現。另一種情況是原本此處沒有海珍品，但算法錯誤檢測了幾幀，此時便為其分配了一個ID，造成海珍品數量統計較真實情況增多，但本文通過改進算法解決了這個問題，因此沒有將其考慮進評價指標。而ID 切換和漏檢是十分常見的，ID 切換會造成海珍品統計數量較真實值偏大的結果，而漏檢又會使得海珍品統計數量較真實值偏小，如果出現這樣的情況按照傳統的指標去評價就會出現測試結果與真實值結果相近，但真實情況相差較大的問題。為此，本文提出一套考慮ID 切換和漏檢的計數平均指標，分別為改進平均計數精度(modified average counting precision,MACP)、改進平均絕對誤差(modified mean absolute error,MMAE)、改進均方根誤差(modified root mean square error,MRMSE)，具體計算見式（2）～（4）。這套指標能較客觀地評價基于ID 號模式的計數方法的性能。

式中S表示算法統計的目標數量，G表示真實數量，NIDs表示跟蹤ID 切換的次數，NL表示漏檢海珍品的數量，NV表示海珍品視頻的個數。

2 結果與分析

2.1 多類別海珍品計數方法有效性驗證

為了驗證本文方法的有效性和可用性，使用測試視頻（其中的圖像未用來訓練）中的一個片段對其進行評價，并從該視頻中隨機挑選一幀用來展示，被挑選出的視頻幀如圖4 所示。圖中holothurian、echinus、scallop分別表示海參、海膽和扇貝，其對應的檢測框顏色為紅色、黃色和藍色。

圖4 測試視頻4 的前107 幀統計結果Fig.4 Statistical results of the first 107 frames of test video 4

其數量為5、12 和6 個，這些數量為被測海珍品視頻前107 幀各類別的總和，統計結果顯示在該幀的正上方。海珍品的數量是根據其真實跟蹤軌跡ID 得到的，真實跟蹤軌跡ID 為當前類別海珍品最大ID 值減去該類別海珍品虛假軌跡數量得到的。結果表明，本文基于視頻多目標跟蹤的多類別海珍品計數方法能夠多類別、快速準確統計水下海珍品視頻中的海珍品數量。

2.2 多類別海珍品計數方法對比試驗

為了充分驗證本文算法的性能，以4 個不同于訓練集的海珍品視頻中的海珍品為試驗數據，以目標檢測領域應用廣泛、性能良好的YOLOv5[35]和YOLOv7 檢測模型為檢測器，分別結合DeepSORT[36]和BYTE 算法進行海珍品的數量統計。其中，測試視頻的真實海珍品數量由5 名研究人員進行統計。首先記錄視頻的第一幀出現的海珍品數量，然后，逐幀播放并記錄新出現的海珍品數量，播放結束后每名人員分別得到各類別的數量，最后將5 名研究人員得到海珍品數量進行取均值，用作試驗的真實數值，視頻1-4 中海珍品的統計結果分別為66、85、59 和61。

表1 為各算法性能對比結果。從表1 中可以看出，DeepSORT 類的計數算法得到的結果普遍虛高，其原因是在跟蹤過程中ID 切換次數過多，比如YOLOv5+DeepSORT 在視頻1 中產生了7 次ID 切換。而YOLOv5+BYTE 和YOLOv7+BYTE 的計數算法ID 切換次數較少，因此得到的海珍品數量統計結果比較接近真實值，但是其漏檢數量偏高，偏高的原因是跟蹤過程中軌跡丟失較多引起的，將這項指標考慮進去便容易得出其結果是偏低的。本文方法無論是ID 切換的數量還是漏檢的數量都是相對較低的，得出的結果也是比較可靠的并且還實現了多類別同時計數的功能。

表1 不同海珍品計數方法的數量統計結果和定量評價Table 1 Quantitative statistical results and quantitative evaluation of different counting methods for sea foods

由于與本文對比的算法并沒有實現多類別ID 分配功能，得出的指標均是按照總數計算得來的，其中表現較差的是YOLOv5、YOLOv7+DeepSORT 算法，最差的是YOLOv5+DeepSORT，其MACP、MMAE、MRMSE、和幀率（FR）均最低，分別為62.11%、25.25、29.41 和25 幀/s，證明DeepSORT 算法不適用于根據ID 統計海珍品數量這種方法；BYTE算法結合YOLOv5、YOLOv7目標檢測算法表現效果更好，較好的是YOLOv7+BYTE，其MACP、MMAE、MRMSE、和FR 分別為86.39%、9.00、9.08和33 幀/s，但其計數精度不能滿足實際工作需要，不適合直接應用到實際工作中，仍需加以改進；本文的YOLOv7+BYTEFit 表現最好，其MACP、MMAE、MRMSE、和FR 分別為91.62%、5.75、6.38 和32 幀/s，均優(yōu)于以上各算法，尤其在MACP和FR 指標上比YOLOv5+Deep-SORT 高了29.51 個百分點和8 幀/s，在MMAE、MRMSE指標上分別降低19.50 和12.08。

2.3 實際應用

為了將本文所提方法更好地應用到實際的水產養(yǎng)殖生產中，基于所提方法實現了簡單的海珍品計數系統，如圖5 所示。

圖5 計數系統軟件界面圖Fig.5 Software interface diagram of Counting system

軟件界面包括海珍品計數檢測信息的實時顯示、跟蹤檢測模型的選擇、運行參數的設置以及運行控制和顯示運行信息等功能。計數系統工作時在計數檢測實時顯示區(qū)顯示檢測到的海珍品畫面，在其頂部顯示類別數量等信息；數據模型準備區(qū)用來選擇跟蹤檢測模型和待檢測視頻；參數設置區(qū)可調整檢測海珍品的IoU 和置信度的閾值；運行控制區(qū)用來控制計數系統需要執(zhí)行的內容以及運行結果的處理等功能；信息交互區(qū)用來顯示計數系統運行的階段和已完成檢測的海珍品信息等內容。本文軟件已在大連鑫玉龍海洋生物種業(yè)科技股份有限公司海參庫存評估中得到實際應用。

3 結論

本文以水下海珍品視頻為研究對象，針對統計海珍品數量的問題，提出一種基于視頻多目標跟蹤的多類別海珍品計數方法。主要工作為設計改進BYTE 目標跟蹤方法，以及將該方法封裝成系統并應用到實際生產工作中。試驗結果得到如下結論：

1）測試結果顯示本文方法的改進平均計數精度為91.62%、改進平均絕對誤差為5.75、改進均方根誤差為6.38、幀率為32 幀/s，其計數精度和計數效率滿足實際的需求可有效解決傳統海珍品數量統計費時費力、不精準以及安全性不高等問題。

2）本文方法與YOLOv5+DeepSORT、YOLOv5+BYTE、YOLOv7+DeepSORT 以及YOLOv7+BYTE 等算法進行對比，所提方法在改進平均計數精度、改進平均絕對誤差和改進均方根誤差這3 個指標上優(yōu)于其他算法，尤其在改進平均計數精度和幀率指標比YOLOv5+DeepSORT 高了29.51 個百分點和8 幀/s，在改進平均絕對誤差、改進均方根誤差指標上分別降低19.50 和12.08，是實現多類別海珍品數量快速準確統計的有效方法。

需要指出的是，本方法對于不同水下環(huán)境的海珍品計數存在誤檢的情況，雖然使用相同環(huán)境的水下數據集訓練檢測模型可以很好地解決由于不同環(huán)境導致的誤檢等問題，但是水下環(huán)境因受光照等因素影響，變化較大，若每次采集海珍品視頻都需先使用相同環(huán)境的數據集訓練檢測模型后，再進行統計計數，這將耗費巨大的人力物力。此外，本方法還會出現ID 切換和漏檢的問題，這兩個問題也是影響計數精度的關鍵所在。因此未來還需就水下環(huán)境與ID 切換和漏檢這兩方面做進一步的改進與探索。