張勝茂，孫永文，樊偉，唐峰華，崔雪森，伍玉梅

(1.大連海洋大學(xué) 航海與船舶工程學(xué)院，遼寧 大連 116023； 2.中國(guó)水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所 農(nóng)業(yè)農(nóng)村部漁業(yè)遙感重點(diǎn)實(shí)驗(yàn)室，上海 200090)

2019年，全球海洋捕撈年產(chǎn)量約8 000萬t，其中，四分之一的種群處在生物不可持續(xù)水平上捕撈，兼捕的海龜Cheloniamydas、海鳥、鯨豚等，在捕撈過程中也面臨威脅[1]。隨著生產(chǎn)方式的轉(zhuǎn)變，漁業(yè)觀察員制度可有效減少漁業(yè)捕撈中的兼捕，在資源養(yǎng)護(hù)和管理中起著至關(guān)重要的作用。然而，人類觀察員方式執(zhí)行成本高、覆蓋率低。如觀察員制度比較完善的金槍魚延繩釣覆蓋率僅為5%，受新冠疫情影響，觀察員派遣更加困難。而且該制度記錄數(shù)據(jù)時(shí)效性差，受主觀因素影響，有時(shí)所收集的數(shù)據(jù)不夠客觀可靠[2]。近年來，計(jì)算機(jī)視覺技術(shù)發(fā)展迅速，電子監(jiān)控(electronic monitoring,EM)為人類觀察員計(jì)劃提供了有益補(bǔ)充。推廣電子監(jiān)控可降低監(jiān)測(cè)成本、擴(kuò)大覆蓋范圍，同時(shí)可以客觀地監(jiān)督漁船捕撈活動(dòng)，減少棄?mèng)~量，維護(hù)海洋生態(tài)環(huán)境健康的可持續(xù)性[3]。海洋漁業(yè)資源的充分開發(fā)已經(jīng)受到各國(guó)重視，各國(guó)均不斷加強(qiáng)捕撈監(jiān)管，并投入了大量的人力、物力，通過引入新的技術(shù)手段，以自動(dòng)獲取、分析漁船作業(yè)現(xiàn)場(chǎng)數(shù)據(jù)，掌握漁場(chǎng)捕撈狀況，進(jìn)而提升相關(guān)管理的科學(xué)性、可靠性和便利性。

深度學(xué)習(xí)是通過構(gòu)建具有較多隱藏層的機(jī)器學(xué)習(xí)模型并儲(chǔ)存海量的訓(xùn)練數(shù)據(jù)，學(xué)習(xí)更有用的目標(biāo)特征，進(jìn)而提升分類和預(yù)測(cè)的準(zhǔn)確性的一種技術(shù)。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，其在海洋領(lǐng)域的應(yīng)用趨于成熟，在海洋捕撈[4-5]、保護(hù)珍稀海洋生物[6-7]等方面取得了突破性進(jìn)展。如利用漁獲物圖像或視頻幀識(shí)別漁獲物及計(jì)算漁獲物數(shù)量，并通過測(cè)量漁獲物體長(zhǎng)、體寬，進(jìn)而預(yù)估捕撈努力量，以及利用衛(wèi)星遙感影像識(shí)別船舶等。目前，在上述具體應(yīng)用中利用深度學(xué)習(xí)方法所取得的準(zhǔn)確率，基本可以滿足業(yè)務(wù)化需求，但由于海洋環(huán)境復(fù)雜、背景噪音和圖像失真等問題，準(zhǔn)確識(shí)別實(shí)地場(chǎng)景中的漁獲物、船舶和網(wǎng)具等遇到了各種挑戰(zhàn)。因此，在實(shí)際的海洋環(huán)境中，如何快速準(zhǔn)確地識(shí)別、測(cè)量實(shí)地對(duì)象，仍存在許多需要加強(qiáng)的領(lǐng)域，如不同類型漁船的檢測(cè)與識(shí)別，以及提高相似魚種的識(shí)別準(zhǔn)確度等。本文從數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、算法設(shè)計(jì)、模型訓(xùn)練和模型精度評(píng)價(jià)等方面，總結(jié)了漁業(yè)捕撈生產(chǎn)監(jiān)測(cè)模型的構(gòu)建過程，以漁船與漁船行為、漁獲物、漁場(chǎng)預(yù)報(bào)、船員和漁具為對(duì)象，綜述了深度學(xué)習(xí)技術(shù)在海洋漁業(yè)捕撈中的應(yīng)用，并針對(duì)實(shí)際應(yīng)用中存在的問題，提出了未來重點(diǎn)研究方向。

1 海洋漁業(yè)捕撈中深度學(xué)習(xí)發(fā)展歷程

1.1 深度學(xué)習(xí)在海洋漁業(yè)捕撈中的近期應(yīng)用

在20世紀(jì)初，深度學(xué)習(xí)模型就已經(jīng)運(yùn)用于測(cè)量魚類的大小，但受當(dāng)時(shí)計(jì)算機(jī)算力低等限制未能推廣。隨著計(jì)算機(jī)算力的提升，以及各種檢測(cè)速度快、檢測(cè)精度高的模型誕生，國(guó)內(nèi)外學(xué)者開展了大量深度學(xué)習(xí)應(yīng)用于海洋漁業(yè)捕撈生產(chǎn)領(lǐng)域的研究。2017年，Tung等[8]開發(fā)的VGG-16(visual geometry group-16)、Inception-V3兩個(gè)卷積網(wǎng)絡(luò)分類器，實(shí)現(xiàn)了金槍魚Thunnus、比目魚Pleuronectiformes、大青鯊Prionaceglauca的識(shí)別，VGG-16的準(zhǔn)確率達(dá)94.5%，Inception-V3的準(zhǔn)確率達(dá)92.25%。2019年，陳英義等[9]針對(duì)背景干擾較強(qiáng)、魚類目標(biāo)偏小等因素導(dǎo)致訓(xùn)練結(jié)果較差的問題，構(gòu)建了FTVGG-16(fine-tuning VGG-16)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)，對(duì)長(zhǎng)鰭金槍魚Thunnusalalunga、大眼金槍魚Thunnusobesus、黃鰭金槍魚Thunnusalbacores、鯕鰍Coryphaenidae、月光魚Xiphophorusmaculatus、大青鯊和帶魚Trichiuruslepturus進(jìn)行訓(xùn)練識(shí)別，平均準(zhǔn)確率為97.66%，F(xiàn)TVGG-16模型優(yōu)于VGG-16、VGG-19和ResNet-50(residual network-50)。2019年，F(xiàn)itzgerald等[6]運(yùn)用CNN和CNN結(jié)合支持向量機(jī)(support vector machine，SVM)，對(duì)萊桑信天翁Phoebastriaimmutabilis、黑腳信天翁Phoebastrianigripes和北富爾馬信天翁Fulmarisglacialis等11種海鳥副漁獲進(jìn)行識(shí)別，總體平均正確率達(dá)93.0%。2018年，Allken等[10]開發(fā)了一個(gè)Inception-V3神經(jīng)網(wǎng)絡(luò)，可自動(dòng)分類來自深度視覺拖網(wǎng)攝像頭系統(tǒng)圖像中的物種，包括藍(lán)鱈Micromesistiuspoutassou、大西洋鯡Clupeaharengus和鯖Pneumatophorusjaponicus等，準(zhǔn)確率達(dá)到94%。2020年，Zhong等[7]構(gòu)建了一個(gè)集成的CNN模型(AlexNet、VGG16、ResNet、DenseNet)，經(jīng)過訓(xùn)練被動(dòng)聲學(xué)，可將白鯨Delphinapterusleucas檢測(cè)結(jié)果分類為真或假，準(zhǔn)確率達(dá)到96.57%。2020年，Tseng等[11]設(shè)計(jì)了一種可識(shí)別魚頭、魚尾叉和色板的CNN分類器，通過估算魚類體長(zhǎng)，實(shí)現(xiàn)魚類體長(zhǎng)的自動(dòng)測(cè)量，模型檢測(cè)準(zhǔn)確率為98.78%，魚體體長(zhǎng)的平均絕對(duì)誤差和測(cè)量的平均相對(duì)誤差率分別為5.36 cm和4.26%。2020年，Hu等[12]運(yùn)用改進(jìn)的Fast R-CNN模型開發(fā)了一種可識(shí)別北太平洋火槍烏賊Loligobeka、褶魷魚Todarodespacificus、柔魚Acalamary的手持圖像采集系統(tǒng)，測(cè)試準(zhǔn)確率為85.7%，平均運(yùn)行時(shí)間為0.144 s。2020年，Tseng等[13]提出了一種使用Mask R-CNN在電子監(jiān)控系統(tǒng)視頻中自動(dòng)預(yù)篩選收獲魚的方法，運(yùn)用該模型可識(shí)別金槍魚、馬林魚Histiophorusorientalis、大青鯊及浮標(biāo)，魚類檢測(cè)與魚類識(shí)別平均檢測(cè)精度(mean average precision，MAP)為93.51%和98.06%。2021年，Chen等[14]提出了運(yùn)用一種改進(jìn)的YOLOv3(you only look once v3)模型(AE-YOLOv3)，訓(xùn)練合成孔徑雷達(dá)(synthetic aperture radar，SAR)影像識(shí)別6種船，該模型對(duì)礦石船、散貨船、普通貨船、集裝箱船、漁船和客船的檢測(cè)精度平均達(dá)98.72%，優(yōu)于Fast R-CNN、YOLOv3兩種深度學(xué)習(xí)模型。

1.2 深度學(xué)習(xí)方案的改進(jìn)

除了直接對(duì)魚類應(yīng)用深度學(xué)習(xí)技術(shù)之外，在利用單一的深度學(xué)習(xí)模型，其準(zhǔn)確率難以提高的情況下，有學(xué)者提出了一些改進(jìn)方案。2018年，顧?quán)嵠降萚15]為解決小規(guī)模數(shù)據(jù)集需要人工提取特征的不可遷移性，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)CNN魚類分類模型與SVM模型的混合分類模型識(shí)別23類魚種，準(zhǔn)確率達(dá)98.6%。2021年，F(xiàn)u等[5]提出了一種從二維海洋環(huán)境模式預(yù)測(cè)鰹魚Katsuwonuspelamis捕撈量的方法，該方法第一階段運(yùn)用了Faster R-CNN模型訓(xùn)練海溫圖，提取出候選的鰹魚在地圖上的位置，第二階段運(yùn)用了支持向量回歸(support vector regression，SVR)估計(jì)捕獲量，結(jié)果顯示，提出的方法比普通漁民預(yù)測(cè)捕撈量的準(zhǔn)確率平均提高3%。

1.3 主要應(yīng)用對(duì)象

深度學(xué)習(xí)在海洋捕撈生產(chǎn)中的主要應(yīng)用對(duì)象有漁船與漁船行為、漁獲物、漁場(chǎng)預(yù)報(bào)、船員和漁具。深度學(xué)習(xí)技術(shù)在海洋領(lǐng)域的應(yīng)用多圍繞解決有效監(jiān)管漁獲物濫捕及人員安全問題，進(jìn)行漁船、漁具和預(yù)測(cè)漁場(chǎng)位置等研究也是為了更好地監(jiān)管。有關(guān)深度學(xué)習(xí)技術(shù)的更多研究則是直接檢測(cè)漁獲物。隨著常見海洋漁獲物的識(shí)別、分類和尺寸測(cè)量的準(zhǔn)確率進(jìn)一步提高，以及被識(shí)別生物的種類是否屬于受保護(hù)生物、生物的生長(zhǎng)階段及生物開始出現(xiàn)至最終出現(xiàn)的區(qū)域等細(xì)化分析程度的增強(qiáng)，深度學(xué)習(xí)為預(yù)估捕撈量、預(yù)測(cè)捕撈區(qū)域和設(shè)置海洋生物保護(hù)區(qū)等方面提供了重要的技術(shù)支持，并為國(guó)家海洋牧場(chǎng)建立了更加完善的自主監(jiān)管系統(tǒng)。但相關(guān)技術(shù)應(yīng)用仍然存在挑戰(zhàn)：數(shù)據(jù)量少，數(shù)據(jù)擴(kuò)充后的實(shí)地有效數(shù)據(jù)量仍不能達(dá)到提高模型準(zhǔn)確度的效果；數(shù)據(jù)標(biāo)簽需要人工標(biāo)注，較費(fèi)時(shí)；目前可使用的模型仍不能同時(shí)滿足海洋漁業(yè)捕撈生產(chǎn)實(shí)時(shí)的高精度、高檢測(cè)速度。

2 漁業(yè)捕撈生產(chǎn)監(jiān)測(cè)模型的構(gòu)建

深度學(xué)習(xí)方法應(yīng)用于海洋捕撈生產(chǎn)智能識(shí)別領(lǐng)域中，可實(shí)現(xiàn)目標(biāo)的檢測(cè)與識(shí)別。應(yīng)用深度學(xué)習(xí)方法的過程一般包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、算法設(shè)計(jì)、模型訓(xùn)練和模型精度評(píng)價(jià)(圖 1)。首先獲取原始數(shù)據(jù)，對(duì)于傳送到模型的原始數(shù)據(jù)或文件，均有或多或少的背景噪音，符合基本訓(xùn)練要求的數(shù)據(jù)量有限，若直接進(jìn)行模型訓(xùn)練，效果一般較差。因此，在模型訓(xùn)練初始階段，需要運(yùn)用預(yù)處理方法處理數(shù)據(jù)，生成數(shù)據(jù)集。經(jīng)過預(yù)處理后的數(shù)據(jù)可直接選擇已訓(xùn)練好的經(jīng)典算法，在此基礎(chǔ)上進(jìn)行微調(diào)模型或固定特征模型訓(xùn)練，也可設(shè)計(jì)新的模型重新訓(xùn)練。創(chuàng)建完成模型之后，將訓(xùn)練集(一般將處理好數(shù)據(jù)的70%～80%作為訓(xùn)練集)導(dǎo)入模型中進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后導(dǎo)入測(cè)試集(剩余數(shù)據(jù)的20%～30%作為測(cè)試集)測(cè)試模型精度。

圖1 深度學(xué)習(xí)一般流程圖Fig.1 General flowchart of deep learning

2.1 獲取數(shù)據(jù)的方法

數(shù)據(jù)獲取是模型訓(xùn)練的基石，采用適當(dāng)方法獲取畫質(zhì)高清且數(shù)量足夠的待識(shí)別目標(biāo)的數(shù)據(jù)，可大大減少預(yù)處理工作量，并提升模型的識(shí)別準(zhǔn)確率。目前，獲取實(shí)際場(chǎng)景數(shù)據(jù)的主要方法有衛(wèi)星拍攝[6]、海上無人機(jī)錄像[7]、船上安裝電子監(jiān)控系統(tǒng)[8-19]、船上安裝聲吶[20]和船上安裝水聽器[21]等。具體獲取數(shù)據(jù)的工具及其用途如表1所示。

表1 獲取數(shù)據(jù)的工具及其用途Tab.1 Tools for obtaining data and their uses

2.2 數(shù)據(jù)預(yù)處理方法

在實(shí)際應(yīng)用中，選擇合理的數(shù)據(jù)預(yù)處理方法，將極大地提高模型訓(xùn)練精度和泛化能力。用于海洋捕撈生產(chǎn)數(shù)據(jù)的預(yù)處理方法較多，常用方法有數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)和數(shù)據(jù)打標(biāo)簽等。表2簡(jiǎn)述了海洋捕撈生產(chǎn)中常用的數(shù)據(jù)預(yù)處理方法、特點(diǎn)和適用場(chǎng)景，其中，數(shù)據(jù)清洗是模型訓(xùn)練的第一步，可初步篩選出包含待識(shí)別目標(biāo)的數(shù)據(jù)集。常用的數(shù)據(jù)增強(qiáng)方法包括幾何翻轉(zhuǎn)、Mosaic[22]、SamplePairing[23]、Mixup[24]、Cutout[25]、CutMix[26]和Fmix[27]，上述數(shù)據(jù)增強(qiáng)方法豐富了訓(xùn)練和測(cè)試的樣本，提升了模型的穩(wěn)定性。除此之外，Mixup、CutMix等可結(jié)合數(shù)據(jù)增強(qiáng)策略進(jìn)一步提升模型性能，數(shù)據(jù)增強(qiáng)策略包括Autoaugment、Rand Augment、Fast Autoaugment和Trivial Augment等[28]。數(shù)據(jù)打標(biāo)簽是指為待識(shí)別目標(biāo)打上特定標(biāo)簽，為模型學(xué)習(xí)樣本做準(zhǔn)備。常用的打標(biāo)簽工具有Labelimg[29]或Labelme，Labelimg主要用于對(duì)目標(biāo)進(jìn)行大致的標(biāo)定，常見有框選標(biāo)定，用于目標(biāo)檢測(cè)；Labelme主要用于較為細(xì)致的輪廓標(biāo)定，用于語義分割或?qū)嵗指?。?duì)于識(shí)別圖像中漁獲物或其他目標(biāo)，需要人工標(biāo)注；對(duì)于判定漁船狀態(tài)的圖像，可使用機(jī)器打標(biāo)簽。預(yù)處理方法多是針對(duì)二維圖像，但在當(dāng)前海洋漁業(yè)捕撈生產(chǎn)中，特別在遠(yuǎn)洋漁業(yè)領(lǐng)域多為視頻數(shù)據(jù)，對(duì)視頻數(shù)據(jù)的預(yù)處理方法，大多先采用降維，再選擇二維圖像預(yù)處理方法處理數(shù)據(jù)，也有使用視頻軟件按幀數(shù)輸出二維圖像進(jìn)行降維的。

表2 數(shù)據(jù)預(yù)處理方法、特點(diǎn)和適用場(chǎng)景Tab.2 Preprocessing methods，features and applicable scene of data

2.3 深度學(xué)習(xí)模型及分類

1)深度學(xué)習(xí)模型。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)模型中的一種基礎(chǔ)模型，其廣泛應(yīng)用于圖像分類。CNN基礎(chǔ)架構(gòu)：導(dǎo)入一個(gè)圖像作為輸入層，對(duì)輸入的圖像進(jìn)行若干“卷積+池化”，最后利用全連接層實(shí)現(xiàn)圖像的分類。隨著深度學(xué)習(xí)模型在各領(lǐng)域的應(yīng)用逐漸增多，傳統(tǒng)模型的缺陷愈發(fā)明顯，最終難以達(dá)到理想效果。有學(xué)者選擇在原有模型基礎(chǔ)上，逐步加入新的模型改進(jìn)或設(shè)計(jì)新的模型，在以CNN為基礎(chǔ)的經(jīng)典網(wǎng)絡(luò)中，LeNet5是開山之作，AlexNet開始展現(xiàn)出CNN的強(qiáng)大[28]，并為后續(xù)模型的改進(jìn)提供了經(jīng)驗(yàn)和技術(shù)。在海洋漁業(yè)生產(chǎn)領(lǐng)域研究較成功的模型主要有VGG系列[30]、ResNet系列[31]、Inception系列[32]、R-CNN系列[33]和YOLO系列[34]等。

2)模型的分類。根據(jù)檢測(cè)問題的步驟不同，深度學(xué)習(xí)模型可劃分為兩階段目標(biāo)檢測(cè)模型和一階段目標(biāo)檢測(cè)模型。其中，兩階段目標(biāo)檢測(cè)模型，是指先產(chǎn)生候選區(qū)域，后對(duì)候選區(qū)域進(jìn)行分類；一階段目標(biāo)檢測(cè)模型，是指直接產(chǎn)生目標(biāo)的類別概率和位置坐標(biāo)值。兩階段目標(biāo)檢測(cè)模型中，發(fā)展迅速的模型有以R-CNN為基礎(chǔ)的Fast R-CNN、Faster R-CNN、Mask R-CNN等。圖2簡(jiǎn)述R-CNN系列具有代表性模型的發(fā)展、功能。2014年，Girshick等[35]提出R-CNN模型，應(yīng)用后發(fā)現(xiàn)了模型存在弊端，將特征提取、分類和回歸整合，提出了Fast R-CNN[36]。2017年，Ren等[37]在Fast R-CNN基礎(chǔ)上加上候選框生成模型，提出了Faster R-CNN模型。2017年，He等[38]在Faster R-CNN模型基礎(chǔ)上增加了預(yù)測(cè)分割Mask分支,建立了Mask R-CNN模型。R-CNN模型的不斷創(chuàng)新，促進(jìn)了兩階段目標(biāo)檢測(cè)模型識(shí)別被遮擋目標(biāo)或變形目標(biāo)精度的不斷提升。

圖2 4種兩階段目標(biāo)檢測(cè)模型Fig.2 Four types of two-stage target detection model

與一階段目標(biāo)檢測(cè)模型相比，兩階段目標(biāo)檢測(cè)模型檢測(cè)精度較高，但其檢測(cè)速度較慢。一階段目標(biāo)檢測(cè)模型主要有SSD、RetinaNet、YOLO系列等，其中，YOLO系列模型因檢測(cè)速度快、精度不斷提升得到學(xué)者青睞。表3簡(jiǎn)述YOLO系列模型的功能、提升和應(yīng)用情況，其發(fā)展過程主要包括：2016—2018年，Redmon等[39-41]從YOLOv1完善至YOLOv3；2020年，Bochkovskiy等[22]提出YOLOv4模型；2021年Ultralytics公司推出了YOLOv5模型[42]。YOLO系列極大地提高了檢測(cè)速度，可滿足漁業(yè)捕撈實(shí)時(shí)監(jiān)測(cè)的要求。

表3 YOLOv1～YOLOv5目標(biāo)檢測(cè)模型及應(yīng)用Tab.3 Model and application of YOLOv1 to YOLOv5 target detection network

2.4 模型訓(xùn)練

深度學(xué)習(xí)模型擅長(zhǎng)從大量標(biāo)記特征數(shù)據(jù)中學(xué)習(xí)，但面對(duì)實(shí)際應(yīng)用場(chǎng)景中無足夠大小的數(shù)據(jù)集時(shí)，選擇的訓(xùn)練模型更多是隨機(jī)初始化，過程中需要反復(fù)調(diào)整模型，最終效果難以預(yù)知。在實(shí)際應(yīng)用中，解決上述問題的方法大多是建立在預(yù)訓(xùn)練模型之上，即遷移學(xué)習(xí)。根據(jù)有無專用的大型數(shù)據(jù)集分為新模型訓(xùn)練和遷移學(xué)習(xí)訓(xùn)練。

1)新模型訓(xùn)練。 在捕撈生產(chǎn)中，面對(duì)不具有可使用的大型或?qū)Ｓ袛?shù)據(jù)集情況下，首先需要花費(fèi)大量時(shí)間和資金，通過人工或攝像頭等方式獲取數(shù)據(jù)。然后通過構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)與更改激活函數(shù)，進(jìn)而改進(jìn)原有模型。

2)遷移學(xué)習(xí)訓(xùn)練。遷移學(xué)習(xí)方案應(yīng)用最為廣泛，可分為微調(diào)模型和固定特征模型兩種實(shí)現(xiàn)方式。微調(diào)模型遷移訓(xùn)練是指在非常大的數(shù)據(jù)集上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，運(yùn)用預(yù)訓(xùn)練后的模型初始化網(wǎng)絡(luò)，模型的其他部分按照正常訓(xùn)練流程進(jìn)行。固定特征模型遷移訓(xùn)練是指將預(yù)訓(xùn)練后模型的最后一個(gè)全連接層刪除，保持其余網(wǎng)絡(luò)的權(quán)重不變，即以其余卷積神經(jīng)網(wǎng)絡(luò)作為新數(shù)據(jù)集的固定特征提取器，并將具有隨機(jī)權(quán)重的新層作為最后一個(gè)全連接層，僅訓(xùn)練具有隨機(jī)權(quán)重的新層。根據(jù)兩種主要遷移學(xué)習(xí)方式，提出4種數(shù)據(jù)情況和2種模型選擇的建議(表4)。

表4 4種典型場(chǎng)景下遷移學(xué)習(xí)模型選擇Tab.4 Selection of transfer learning models in four typical scenarios

2.5 模型評(píng)價(jià)

海洋捕撈生產(chǎn)中，利用深度學(xué)習(xí)方法主要實(shí)現(xiàn)目標(biāo)檢測(cè)和目標(biāo)分類功能，根據(jù)實(shí)際應(yīng)用中實(shí)現(xiàn)的功能不同，評(píng)價(jià)模型性能可分為目標(biāo)檢測(cè)性能指標(biāo)和目標(biāo)識(shí)別性能指標(biāo)(表5)。

表5 不同功能下評(píng)價(jià)模型性能的指標(biāo)Tab.5 Model evaluation performance indicators under different functions

1)目標(biāo)檢測(cè)性能指標(biāo)。平均檢測(cè)精度(mean average precision，MAP)是衡量模型平均檢測(cè)和分類能力的重要指標(biāo)，當(dāng)MAP大于提前設(shè)定的閾值時(shí)，則認(rèn)為檢測(cè)成功，且MAP值越大越好；交并比(intersection of union，IOU)指預(yù)測(cè)框與真實(shí)框的重疊率，重疊率越高越好；檢測(cè)速度(frames per second，F(xiàn)PS)指一秒鐘可處理圖像的數(shù)量，處理的數(shù)量越多，模型運(yùn)算能力越強(qiáng)。

2)目標(biāo)分類性能指標(biāo)。精確率(precision)是預(yù)測(cè)結(jié)果為正的樣本中真正樣本與所有預(yù)測(cè)結(jié)果為正的樣本的比值，可反映一個(gè)類別的預(yù)測(cè)正確率。召回率(recall)是預(yù)測(cè)結(jié)果中的正樣本與數(shù)據(jù)集所有正樣本的比值，可衡量模型找到所有相關(guān)目標(biāo)的能力。準(zhǔn)確率(accuracy)一般用于評(píng)價(jià)模型的全局準(zhǔn)確程度，可衡量模型找到相關(guān)目標(biāo)的能力。一個(gè)較好的分類器性能應(yīng)該有如下表現(xiàn)：召回率增長(zhǎng)的同時(shí)，準(zhǔn)確率保持較高水平。實(shí)際情況中，僅依據(jù)精確率或召回率不能全面評(píng)價(jià)模型的優(yōu)劣，可采用繪制模型的精確率-召回率(precision-recall，P-R)曲線，橫軸為召回率，縱軸為精確率，P-R曲線包圍面積為檢測(cè)精度(average precision，AP)，AP值越大，說明模型性能越好。F1-score為精確率和召回率的調(diào)和平均值，根據(jù)P-R曲線可計(jì)算出F1-score值，F(xiàn)1-score值越高，說明模型的穩(wěn)健性越好。ROC曲線(receiver operating characteristic curve)由改變分類的閾值產(chǎn)生，AUC (area under curve)是指ROC曲線與坐標(biāo)軸組成的面積，AUC值越大，說明模型性能越好。

3 深度學(xué)習(xí)在漁業(yè)捕撈中的應(yīng)用

深度學(xué)習(xí)模型可為海洋領(lǐng)域智能化發(fā)展提供強(qiáng)有力的技術(shù)支持，特別是在海洋漁業(yè)生產(chǎn)領(lǐng)域的檢測(cè)與識(shí)別中，可通過訓(xùn)練SAR影像、人工標(biāo)定或者算法跟蹤的目標(biāo)局部特征，以及語義、視頻幀[3]等實(shí)現(xiàn)目標(biāo)檢測(cè)與識(shí)別。目前，深度學(xué)習(xí)方法在海洋漁業(yè)捕撈生產(chǎn)中有著較為廣泛地應(yīng)用，表6和表7簡(jiǎn)述了深度學(xué)習(xí)在海洋漁業(yè)捕撈生產(chǎn)應(yīng)用中獲取數(shù)據(jù)的方法、模型及適用場(chǎng)景，面對(duì)不同的研究需求，表6中幾種獲取數(shù)據(jù)的方法可供選擇；面對(duì)等量、等質(zhì)量的輸入數(shù)據(jù)，表7中模型可供選擇。圖3簡(jiǎn)述了模型中應(yīng)用最廣泛的YOLO、R-CNN模型，并舉例說明其應(yīng)用目標(biāo)，如漁船與漁船行為、漁獲物、漁場(chǎng)預(yù)報(bào)、船員和漁具等。

圖3 模型及應(yīng)用Fig.3 Model and application

表6 數(shù)據(jù)搭載平臺(tái)及適用場(chǎng)景Tab.6 Data acquisition platform and applicable scenarios

表7 模型及適用場(chǎng)景Tab.7 Models and applicable scene

3.1 漁船及漁船行為

運(yùn)用深度學(xué)習(xí)方法檢測(cè)和識(shí)別漁船及漁船行為是當(dāng)前智能化監(jiān)測(cè)漁船捕魚行為的熱門研究方法(表8)。利用深度學(xué)習(xí)模型檢測(cè)與識(shí)別SAR影像中的各類船舶，可確定漁船進(jìn)出港口時(shí)間，促進(jìn)漁船規(guī)范出港，如表8前兩個(gè)研究數(shù)據(jù)源均為SeaShips數(shù)據(jù)集，特征增強(qiáng)的AE-YOLOv3模型識(shí)別準(zhǔn)確率較高，其擴(kuò)充樣本量為YOLOv4的兩倍是檢測(cè)效果提升的原因之一，但相應(yīng)的訓(xùn)練耗時(shí)也會(huì)增加。基于VMS(vessel monitoring system)獲取的空間數(shù)據(jù)，運(yùn)用深度學(xué)習(xí)方法識(shí)別漁船捕魚行為也是當(dāng)下研究的熱點(diǎn)之一。2020年，Gao等[50]提出了一種基于特征融合的VMS漁船作業(yè)類型識(shí)別算法，提高了漁船作業(yè)類型識(shí)別的準(zhǔn)確性。2022年，Wang等[51]建立了3D卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了限額捕撈漁船狀態(tài)識(shí)別方法。目前，YOLOv3、YOLOv4對(duì)于常見船只的識(shí)別準(zhǔn)確度較高，但兩階段算法識(shí)別船舶的應(yīng)用較缺乏，其中，F(xiàn)aster R-CNN可直接對(duì)全局提取特征，建議采用Faster R-CNN分析不同類型漁船的特征，如有無桁架、有無集魚燈等。VMS數(shù)據(jù)作為模型輸入?yún)?shù)，可通過增加有效參數(shù)量提升識(shí)別漁船行為的準(zhǔn)確率。

表8 深度學(xué)習(xí)應(yīng)用于漁船及漁船行為識(shí)別的研究Tab.8 Research on the application of deep learning in fishing boats and fishing boat behavior recognition

3.2 漁獲物

海洋漁獲物作為全球捕撈漁業(yè)產(chǎn)量增長(zhǎng)的主要驅(qū)動(dòng)力，巨大的捕獲量可能會(huì)影響海洋生物的生態(tài)平衡，因此，對(duì)其監(jiān)管刻不容緩。如果未來僅靠觀察員手動(dòng)記錄的漁獲日志作為規(guī)范指標(biāo)，成本高且準(zhǔn)確度較低，而采用深度學(xué)習(xí)方法，其自動(dòng)檢測(cè)和識(shí)別魚類的能力較突出，可作為規(guī)范海洋捕撈的技術(shù)手段。近幾年，為規(guī)范捕撈量、監(jiān)測(cè)生物多樣性、獲取海洋資源管理指標(biāo)、保護(hù)海洋物種及監(jiān)測(cè)入侵物種，許多學(xué)者利用深度學(xué)習(xí)模型訓(xùn)練漁獲物及受保護(hù)海洋生物(表9)，隨著模型的不斷改進(jìn)或創(chuàng)新，各國(guó)可通過深度學(xué)習(xí)方法收集準(zhǔn)確的數(shù)據(jù)，以規(guī)范海洋漁業(yè)的捕撈生產(chǎn)。

表9 不同研究的目的及模型Tab.9 Objectives and algorithm models of different studies

深度學(xué)習(xí)方法應(yīng)用于漁獲物的檢測(cè)和識(shí)別，可實(shí)現(xiàn)漁獲物的計(jì)數(shù)、分類及體長(zhǎng)與體寬的測(cè)量。具有代表性的兩階段目標(biāo)檢測(cè)模型Mask R-CNN，已經(jīng)被用于解決圖像或視頻中目標(biāo)檢測(cè)、計(jì)數(shù)和測(cè)量的問題。如2022年，Palmer等[64]運(yùn)用Mask R-CNN設(shè)計(jì)了一個(gè)自動(dòng)估計(jì)海豚數(shù)量與平均叉長(zhǎng)的模型，平均精度為79.8%，海豚級(jí)別精度為96.06%，海豚級(jí)別召回率為90.54%，模型精度為86.10%。兩階段目標(biāo)識(shí)別模型精度較高，但其檢測(cè)速度較慢，且需要多個(gè)GPU訓(xùn)練模型。一階段目標(biāo)識(shí)別模型應(yīng)運(yùn)而生，其中，具有代表性的YOLO模型可在短時(shí)間內(nèi)完成模型的訓(xùn)練，并實(shí)現(xiàn)目標(biāo)檢測(cè)，該模型也被學(xué)者應(yīng)用于漁獲物的檢測(cè)。2021年，王書獻(xiàn)等[18]運(yùn)用YOLOv5中的4種模型檢測(cè)金槍魚與浮球，結(jié)果證明，YOLOv5l模型最適用于檢測(cè)金槍魚。雖然深度學(xué)習(xí)技術(shù)的精度與速度不能同時(shí)滿足實(shí)際需求，但應(yīng)優(yōu)先考慮精度，對(duì)特定魚種開展模型預(yù)訓(xùn)練，在保持魚類識(shí)別、計(jì)數(shù)等準(zhǔn)確度的同時(shí)，加強(qiáng)對(duì)有遮擋物的相似魚種的識(shí)別，通過提取目標(biāo)區(qū)域周圍多尺度上下文信息特征，進(jìn)一步提升識(shí)別精度。

3.3 漁場(chǎng)預(yù)報(bào)

為了在捕撈作業(yè)期間將捕撈能力最優(yōu)化，常采用新的漁場(chǎng)尋找技術(shù)，較準(zhǔn)確地判斷漁場(chǎng)位置，可減少尋找魚類的時(shí)間，減少油耗，增加下網(wǎng)次數(shù)，從而提高捕撈產(chǎn)量。目前，大多數(shù)漁民仍依據(jù)自身經(jīng)驗(yàn)判斷漁場(chǎng)位置，效果不盡如人意。為解決這一問題，2020年，Xu等[65]將配備北斗導(dǎo)航漁船返回的軌跡數(shù)據(jù)輸出熱力圖，運(yùn)用CNN模型尋找圖像中與尺度、方向相關(guān)的高概率數(shù)據(jù)，以估計(jì)未來漁場(chǎng)位置。2021年，F(xiàn)u等[5]提出一種Faster R-CNN結(jié)合支持向量回歸的方法，從二維海洋環(huán)境模式預(yù)測(cè)鰹魚捕撈量，所提方法比普通漁民的經(jīng)驗(yàn)預(yù)測(cè)準(zhǔn)確率平均提高了3%。目前，分別應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)漁船軌跡或海洋環(huán)境因子分布來預(yù)測(cè)漁場(chǎng)，預(yù)測(cè)的漁場(chǎng)較人為判斷準(zhǔn)確，建議今后將漁船軌跡與海洋環(huán)境因子分布結(jié)合起來，預(yù)測(cè)漁場(chǎng)位置。

3.4 船員

人員定位系統(tǒng)已廣泛應(yīng)用于民用船舶安全管理系統(tǒng)中，實(shí)現(xiàn)了對(duì)大型船舶的人員管理和安全事故中人員的疏散和逃生管理。與大型船舶相比，中小型船舶狀況較差、設(shè)備不足，需要采取措施加以改善。已有學(xué)者開展了運(yùn)用深度學(xué)習(xí)方法提高船員人身安全系數(shù)的研究。如2019年，Ma等[66]運(yùn)用融合算法對(duì)視頻中的人臉圖像資源進(jìn)行采集和整合，并運(yùn)用R-CNN訓(xùn)練來往船上的人臉，搭建了船員人臉識(shí)別定位分析應(yīng)用平臺(tái)，通過識(shí)別人臉，實(shí)現(xiàn)了船上人員的定位；2021年，Kim等[67]運(yùn)用YOLOv2識(shí)別船員人臉，建立了船員墜落檢測(cè)系統(tǒng)，并經(jīng)過測(cè)試驗(yàn)證了系統(tǒng)的可用性，船員識(shí)別的平均精度為46.76%。由于每艘漁船人員不能固定，建議漁業(yè)部門匯總并預(yù)訓(xùn)練船員人臉信息，形成合法船員識(shí)別系統(tǒng)，以提高船員的安全保障能力。

3.5 漁具

非法、未報(bào)告和無管制的捕撈活動(dòng)，是對(duì)海洋生態(tài)系統(tǒng)和可持續(xù)漁業(yè)的全球性威脅。運(yùn)用深度學(xué)習(xí)方法檢測(cè)漁具并對(duì)漁具計(jì)數(shù)，可為監(jiān)管捕魚行為提供輔助信息。2017年，Branquinho等[68]運(yùn)用CNN訓(xùn)練船載攝像機(jī)拍攝的360張有漁具與無漁具的圖像，實(shí)現(xiàn)自動(dòng)學(xué)習(xí)算法檢測(cè)并記錄捕魚活動(dòng)，準(zhǔn)確率約為85%，并且成功實(shí)現(xiàn)漁具計(jì)數(shù)。2020年，湯先鋒等[69]基于VMS獲取的刺網(wǎng)和拖網(wǎng)漁船數(shù)據(jù)，微調(diào)VGG16模型后，實(shí)現(xiàn)了輔助刺網(wǎng)、拖網(wǎng)作業(yè)類型的識(shí)別，檢測(cè)精度達(dá)94.3%。目前，深度學(xué)習(xí)方法可通過檢測(cè)二維圖像中漁具特征進(jìn)而判斷捕魚事件的發(fā)生，卻無法判斷放網(wǎng)還是收網(wǎng)。建議數(shù)據(jù)采用視頻幀[70]，加入時(shí)間維度可實(shí)現(xiàn)判斷。

4 存在問題及展望

4.1 存在問題

目前，利用深度學(xué)習(xí)技術(shù)解析海洋捕撈漁船捕撈信息還未得到廣泛應(yīng)用，究其原因有諸多方面，如人為干擾、監(jiān)測(cè)環(huán)境復(fù)雜、監(jiān)測(cè)技術(shù)限制、捕撈方式多樣和漁業(yè)管理需求存在差別等。

1)人為干擾。漁船作業(yè)中不僅可能存在非法轉(zhuǎn)載，以及誤捕的海鳥、海龜和鯊魚等是否及時(shí)放生等問題，而且還可能存在涉及漁業(yè)捕撈商業(yè)秘密等問題。為防止不合理的作業(yè)行為被記錄，船員會(huì)故意損壞、關(guān)閉攝像機(jī)，影響數(shù)據(jù)獲取。

2)監(jiān)控設(shè)備部署。海洋漁業(yè)捕撈作業(yè)是一種流程復(fù)雜、協(xié)調(diào)性高的多人合作作業(yè)方式，并且漁船“一船一型”，漁具收放、漁獲收集等所在的操作位置、占用空間大小存在差別，以及監(jiān)控設(shè)備安裝的適宜性等，直接影響漁獲、漁具和船員作業(yè)等信息獲取的完整性。

3)光照因素制約。除攝像機(jī)本身因素外，光照是影響成像質(zhì)量的主要因素，影響光照的條件主要有4方面因素：一是，海上作業(yè)天氣多變，陰、雨、霧會(huì)對(duì)燈光或自然光光照產(chǎn)生影響；二是，捕撈作業(yè)全天均可能進(jìn)行，不同時(shí)刻自然光差別大；三是，晚上作業(yè)漁船使用照明燈有多種，不同燈光的亮度、強(qiáng)度存在差異，有時(shí)目標(biāo)還存在陰影；四是，漁具材料多樣，漁獲反光影響成像等。

4)目標(biāo)因素制約。識(shí)別檢測(cè)的目標(biāo)具有多尺度、多角度和不完整等問題。如漁獲物在甲板上放置角度不固定，漁獲物大小差別大，同種魚類個(gè)體大小也存在差異，從而影響目標(biāo)的識(shí)別和測(cè)量。部分作業(yè)方式動(dòng)作相似度高，少量圖片難以區(qū)分，如卷繩機(jī)放線和收線就難于區(qū)別。船員上魚或收放漁具等操作動(dòng)作快，需要開發(fā)快速識(shí)別檢測(cè)的模型。受目標(biāo)因素制約，面向海洋漁業(yè)捕撈生產(chǎn)的深度學(xué)習(xí)方法需要大量地標(biāo)注樣本訓(xùn)練模型，樣本收集和樣本標(biāo)注的標(biāo)準(zhǔn)化情況也影響模型的應(yīng)用推廣。

5)數(shù)據(jù)量制約。海洋捕撈漁船一般至少安裝4個(gè)攝像機(jī)，其圖像分辨率有QCIF、CIF、D1、720 P和1 080 P。在720 P的情況下按H.264壓縮，一年數(shù)據(jù)量為21TB，以現(xiàn)在海上通信條件，回傳萬分之一的數(shù)據(jù)價(jià)格高達(dá)百萬，故實(shí)時(shí)獲取捕撈信息時(shí)，數(shù)據(jù)量成為制約因素。

6)漁業(yè)管理需求差別。各個(gè)國(guó)家和區(qū)域，以及各海域漁業(yè)組織，受其漁業(yè)資源種類、捕撈方式、管理流程和關(guān)注角度等因素影響，對(duì)電子監(jiān)控獲取內(nèi)容千差萬別，受電子監(jiān)控解析技術(shù)限制，許多需求還未能滿足。

4.2 未來重點(diǎn)研究方向

通過總結(jié)深度學(xué)習(xí)技術(shù)的應(yīng)用發(fā)現(xiàn)，獲取原始數(shù)據(jù)的方法多為電子監(jiān)控拍攝，預(yù)處理方法中應(yīng)用最多的是數(shù)據(jù)擴(kuò)充、數(shù)據(jù)壓縮和數(shù)據(jù)標(biāo)簽，訓(xùn)練對(duì)象包括圖像、視頻幀和音頻。實(shí)現(xiàn)海洋漁業(yè)生產(chǎn)目標(biāo)檢測(cè)的主流方法是深度學(xué)習(xí)，總結(jié)近幾年深度學(xué)習(xí)在海洋漁業(yè)捕撈生產(chǎn)中的應(yīng)用發(fā)現(xiàn)：模型中兩階段目標(biāo)檢測(cè)模型檢測(cè)精度高但速度較慢，一階段目標(biāo)檢測(cè)模型檢測(cè)速度快但精度較差；兩階段模型中R-CNN系列愈發(fā)精準(zhǔn)，一階段模型中YOLO系列模型檢測(cè)速度保持較高的同時(shí)精度在不斷提升，當(dāng)YOLO系列模型具有數(shù)量充足的高質(zhì)量數(shù)據(jù)時(shí)，則與兩階段模型精度相近。針對(duì)目前模型在海洋漁業(yè)捕撈應(yīng)用中存在的問題，今后需在以下方面重點(diǎn)開展工作：

1)利用遷移學(xué)習(xí)或強(qiáng)化學(xué)習(xí)等方法來拓展識(shí)別目標(biāo)種類及增強(qiáng)檢測(cè)模型。當(dāng)前大多數(shù)目標(biāo)檢測(cè)方法，對(duì)于檢測(cè)識(shí)別數(shù)據(jù)集上干擾程度低的目標(biāo)準(zhǔn)確率較高(如檢測(cè)圖像中僅有單一的魚種)，對(duì)海洋環(huán)境中如遮擋、模糊、光線變化和物體變形等目標(biāo)檢測(cè)識(shí)別的魯棒性較差，因此，在缺少待驗(yàn)證目標(biāo)經(jīng)驗(yàn)的條件下，利用遷移學(xué)習(xí)或強(qiáng)化學(xué)習(xí)等方法來拓展識(shí)別目標(biāo)種類及增強(qiáng)檢測(cè)算法，實(shí)現(xiàn)目標(biāo)的精確檢測(cè)是未來的研究熱點(diǎn)之一。

2)利用高精度的特征提取網(wǎng)絡(luò)有效提高目標(biāo)分類準(zhǔn)確率。當(dāng)前大多數(shù)目標(biāo)檢測(cè)模型運(yùn)用性能較高的分類網(wǎng)絡(luò)完成特征提取。然而，檢測(cè)與識(shí)別分類間的差異性致使深度學(xué)習(xí)的結(jié)果會(huì)產(chǎn)生誤差，因此，研究適用于海洋漁業(yè)生產(chǎn)相關(guān)目標(biāo)檢測(cè)的特征提取網(wǎng)絡(luò)很有必要。此外，特征提取網(wǎng)絡(luò)的參數(shù)規(guī)模需要耗費(fèi)大量硬件資源進(jìn)行訓(xùn)練，為滿足實(shí)時(shí)目標(biāo)檢測(cè)需求，如何壓縮和加速網(wǎng)絡(luò)訓(xùn)練也是一個(gè)值得研究的方向。

3)通過邊緣計(jì)算技術(shù)解決電子監(jiān)控實(shí)時(shí)解析和數(shù)據(jù)傳輸壓力。邊緣計(jì)算的發(fā)展及云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展息息相關(guān)，其核心是保障網(wǎng)絡(luò)邊緣側(cè)應(yīng)用的實(shí)時(shí)性問題。AI攝像機(jī)、AI船載處理器的出現(xiàn)為電子監(jiān)控?cái)?shù)據(jù)實(shí)時(shí)解析提供了條件，電子監(jiān)控中使用具有GPU計(jì)算能力的終端，利用邊緣計(jì)算技術(shù)，實(shí)時(shí)提取捕撈作業(yè)信息并發(fā)回，基本可以解決數(shù)據(jù)量問題。

4)制定統(tǒng)一標(biāo)準(zhǔn)以規(guī)范電子監(jiān)控在漁業(yè)管理中的應(yīng)用。各國(guó)負(fù)責(zé)自己專屬經(jīng)濟(jì)區(qū)內(nèi)的漁業(yè)資源管理，區(qū)域漁業(yè)管理組織(regional fisheries management organizations，RFMO)共同負(fù)責(zé)管理世界上大多數(shù)高度洄游的魚類種群。為確保漁業(yè)發(fā)展的可持續(xù)性，需要有關(guān)漁獲量、兼捕量、捕撈努力量和法規(guī)遵守情況的可靠數(shù)據(jù)。電子監(jiān)控可以實(shí)現(xiàn)高覆蓋率，是人類觀測(cè)員的有效輔助或替代手段，通過一套技術(shù)和操作標(biāo)準(zhǔn)實(shí)施統(tǒng)一的電子監(jiān)控方法，對(duì)于確保信息準(zhǔn)確收集和共享至關(guān)重要。目前，中國(guó)在漁船電子監(jiān)控方面研究薄弱，且電子監(jiān)控涉及商業(yè)信息和隱私，因此，需要加快電子監(jiān)控相關(guān)研究積累，實(shí)現(xiàn)數(shù)據(jù)自控，制定中國(guó)電子監(jiān)控標(biāo)準(zhǔn)，在國(guó)際漁業(yè)管理中提出中國(guó)方案，發(fā)揮中國(guó)負(fù)責(zé)任的漁業(yè)大國(guó)作用。