李均鵬 祝開(kāi)艷* 楊 澍

1(大連海洋大學(xué)信息工程學(xué)院 遼寧 大連 116023)2(大連理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 大連 116024)

0 引 言

非法無(wú)序的海洋漁業(yè)捕撈嚴(yán)重危害著海洋生態(tài)的可持續(xù)發(fā)展，而現(xiàn)有捕撈監(jiān)管方法主要有船上觀察員監(jiān)管、聲吶檢測(cè)海底魚(yú)群數(shù)量、漁船攝像頭拍攝捕撈視頻后人工分析等，這些方法對(duì)人的依賴性較強(qiáng)[1]，而且往往存在效率低下甚至監(jiān)管不作為等問(wèn)題。為了確保禁漁期魚(yú)類(lèi)生態(tài)安全，緩解高昂的人工成本，實(shí)現(xiàn)對(duì)漁船長(zhǎng)時(shí)間不間斷地監(jiān)控，許多國(guó)家開(kāi)始嘗試使用漁船攝像頭結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)來(lái)監(jiān)控漁船捕撈情況[1]。漁船攝像頭拍攝的圖像場(chǎng)景復(fù)雜，目標(biāo)物周?chē)嬖诠庹?、異?lèi)相似物、遮擋等強(qiáng)干擾因素。復(fù)雜的監(jiān)管場(chǎng)景需要高度智能化的捕撈監(jiān)管系統(tǒng)，這個(gè)系統(tǒng)的關(guān)鍵則是泛化性較強(qiáng)的魚(yú)類(lèi)識(shí)別方法，基于機(jī)器學(xué)習(xí)的圖像識(shí)別方法為我們提供了借鑒。

目前，根據(jù)特征提取方式的不同，機(jī)器學(xué)習(xí)領(lǐng)域有關(guān)魚(yú)類(lèi)識(shí)別的研究方法可以分為基于傳統(tǒng)手工設(shè)計(jì)特征的學(xué)習(xí)方法和自動(dòng)提取特征的學(xué)習(xí)方法。杜偉東等[2]依靠傳統(tǒng)手工設(shè)計(jì)特征方式，利用小波包變換和離散余弦變換方法提取特征，然后利用支持向量機(jī)(Support Vector Machine，SVM)分類(lèi)，最終對(duì)3種魚(yú)類(lèi)的整體識(shí)別準(zhǔn)確率達(dá)到了90%以上。雖然該系統(tǒng)有不錯(cuò)的精度，但是手工設(shè)計(jì)特征的好壞主要依賴于經(jīng)驗(yàn)和運(yùn)氣[3]，而且手工設(shè)計(jì)的特征一般都只針對(duì)特定的環(huán)境或物種，相關(guān)學(xué)習(xí)方法往往存在泛化性不足等問(wèn)題。近年來(lái)，利用深度學(xué)習(xí)方法自動(dòng)提取目標(biāo)特征成為最有效的特征學(xué)習(xí)方法[3]，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的深度學(xué)習(xí)方法是其典型代表。在魚(yú)類(lèi)識(shí)別研究領(lǐng)域，張俊龍等[4]使用CNN結(jié)合圖像預(yù)處理技術(shù)，對(duì)11種海底魚(yú)類(lèi)圖像進(jìn)行分類(lèi)，識(shí)別準(zhǔn)確率在90%以上。Qin等[5]使用CNN提取圖像特征，SVM作為分類(lèi)器，在Fish4-know-ladge(F4K)[6]魚(yú)類(lèi)數(shù)據(jù)集上識(shí)別準(zhǔn)確率為98.64%，但其模型訓(xùn)練成本過(guò)大。而顧?quán)嵠降萚7]使用遷移學(xué)習(xí)結(jié)合SVM分類(lèi)器，大大降低了模型訓(xùn)練成本，在F4K魚(yú)類(lèi)數(shù)據(jù)集上準(zhǔn)確率達(dá)到了98.6%。王柯力[8]等使用遷移學(xué)習(xí)的方法，對(duì)4種水產(chǎn)動(dòng)物的識(shí)別準(zhǔn)確率為97.4%。但上述方法所采用的實(shí)驗(yàn)數(shù)據(jù)背景干擾較小，和漁業(yè)監(jiān)管等復(fù)雜場(chǎng)景存在較大差異。機(jī)器學(xué)習(xí)領(lǐng)域有關(guān)復(fù)雜場(chǎng)景海洋魚(yú)類(lèi)識(shí)別方法的探討，目前主要存在于Kaggle平臺(tái)上的過(guò)度捕撈監(jiān)管圖像識(shí)別(The Nature Conservancy Fisheries Monitoring，NCFM)比賽，但該平臺(tái)并不公布參賽方案的識(shí)別準(zhǔn)確率等內(nèi)容，也尚未發(fā)現(xiàn)相關(guān)方案的理論性探討?？傮w看來(lái)，當(dāng)前有關(guān)魚(yú)類(lèi)識(shí)別方法的文獻(xiàn)中尚未發(fā)現(xiàn)專門(mén)針對(duì)捕撈監(jiān)管復(fù)雜場(chǎng)景的系統(tǒng)性理論研究。

卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)目標(biāo)特征需要花費(fèi)大量的時(shí)間，但是預(yù)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型(PretrainedCNN)具有良好的可遷移性[9]。在相似的任務(wù)上，PretrainedCNN經(jīng)過(guò)遷移，既可以確保較為理想的訓(xùn)練效果，又可以節(jié)省大量的訓(xùn)練時(shí)間。所以，遷移學(xué)習(xí)近年來(lái)成為圖像識(shí)別領(lǐng)域的主要方法之一。

我們?cè)谘芯亢Ｑ鬂O業(yè)捕撈監(jiān)管智能化系統(tǒng)時(shí)發(fā)現(xiàn)，使用遷移學(xué)習(xí)和模型融合的方法可以有效解決復(fù)雜場(chǎng)景下海洋魚(yú)類(lèi)識(shí)別問(wèn)題。該方法從ImageNet數(shù)據(jù)集獲取InceptionV3預(yù)訓(xùn)練模型，把此模型的特征提取部分作為實(shí)驗(yàn)?zāi)Ｐ偷奶卣魈崛∑?，并把非特征提取部分替換為AveragePooling(平均池化)層和Softmax分類(lèi)層，形成新的訓(xùn)練網(wǎng)絡(luò)(PretrainedCNN+Softmax)，隨后使用目標(biāo)物周?chē)休^強(qiáng)干擾的NCFM數(shù)據(jù)集(海洋捕撈監(jiān)控?cái)?shù)據(jù),Kaggle)[10]對(duì)實(shí)驗(yàn)?zāi)Ｐ偷木W(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行微調(diào)(fine-tune)，經(jīng)過(guò)十折交叉驗(yàn)證后，得到十個(gè)存在差異的識(shí)別模型。為了進(jìn)一步提高模型的識(shí)別準(zhǔn)確率，實(shí)驗(yàn)過(guò)程中利用集成學(xué)習(xí)中的模型融合策略對(duì)這十個(gè)模型進(jìn)行融合優(yōu)化，以強(qiáng)化該方法在復(fù)雜場(chǎng)景下的魯棒性和泛化性。

本研究主要貢獻(xiàn)在于提出了一種專門(mén)針對(duì)海洋漁業(yè)捕撈監(jiān)管這種復(fù)雜場(chǎng)景的魚(yú)類(lèi)識(shí)別方法(Transfer Learning+Model Fusion)。較之其他方法，該方法將遷移學(xué)習(xí)和模型融合進(jìn)行了有效結(jié)合：利用遷移學(xué)習(xí)降低網(wǎng)絡(luò)復(fù)雜度，減少訓(xùn)練時(shí)間；利用模型融合技術(shù)進(jìn)一步提高識(shí)別準(zhǔn)確率、魯棒性和泛化性。此外，本文在訓(xùn)練和預(yù)測(cè)環(huán)節(jié)都采用了數(shù)據(jù)增廣策略，在解決樣本數(shù)量不足問(wèn)題的同時(shí)，有助于增強(qiáng)模型的泛化性。經(jīng)實(shí)驗(yàn)對(duì)比驗(yàn)證，該方法識(shí)別準(zhǔn)確率和泛化性等性能明顯優(yōu)于傳統(tǒng)方法和現(xiàn)有相關(guān)深度學(xué)習(xí)方法，可以為海洋漁業(yè)捕撈監(jiān)管系統(tǒng)的智能化升級(jí)提供可靠的技術(shù)支撐。

1 實(shí)驗(yàn)?zāi)Ｐ团c方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

1.1.1基本原理

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種層次模型。原始數(shù)據(jù)經(jīng)由輸入層傳入，通過(guò)卷積、池化和非線性激活函數(shù)映射等一系列操作的層層堆疊，將低層次的具象信息逐層提取表示為高層次的抽象信息，這個(gè)過(guò)程稱為前向傳播[11]。最終，卷積神經(jīng)網(wǎng)絡(luò)的最后一層把目標(biāo)任務(wù)形式化為損失函數(shù)，把預(yù)測(cè)結(jié)果和真實(shí)結(jié)果進(jìn)行對(duì)比，得到誤差后憑借反向傳播算法[12]將其由最后一層逐層前傳，參數(shù)校正更新后再次進(jìn)行前向傳播，如此往復(fù)，直到最后模型收斂[11]。卷積操作運(yùn)算公式如下[13]：

(1)

1.1.2InceptionV3

InceptionV3[14]是由Google在2014年發(fā)布的GoogLeNet(InceptionV1)[15]改進(jìn)而來(lái)。GoogLeNet采用了Inception架構(gòu)，對(duì)比傳統(tǒng)卷積的單一尺寸卷積核操作，這種Inception架構(gòu)選用多種尺寸的卷積核，并且在同一個(gè)卷積層進(jìn)行卷積操作。同時(shí)，為了防止多種尺寸卷積核拼接到一起后feature map寬度過(guò)大而導(dǎo)致的參數(shù)數(shù)量過(guò)多問(wèn)題，加入了1×1的卷積核降低feature map寬度。InceptionV3中的Inception模塊有三種不同的卷積操作架構(gòu)，如圖1所示。

(a) 輸入為35×35的架構(gòu)

(b) 輸入為17×17的架構(gòu)

顯然，到了InceptionV3版本，Inception模塊不僅改進(jìn)了架構(gòu)，使其包含三種不同的結(jié)構(gòu)，而且汲取了VGGNet[16]精華思想，用小尺寸卷積核代替大尺寸卷積核，減少了計(jì)算量；同時(shí)，非線性映射的增多，也擴(kuò)展了模型表達(dá)能力[14]。

1.2 遷移學(xué)習(xí)

把已有知識(shí)遷移到相似領(lǐng)域的新環(huán)境中應(yīng)用的方法稱為遷移學(xué)習(xí)[17]。遷移學(xué)習(xí)的核心思想是復(fù)用，利用現(xiàn)有模型去解決新環(huán)境或新領(lǐng)域中的問(wèn)題是其基本使命。

遷移學(xué)習(xí)涉及到了域和任務(wù)的概念。一個(gè)域D主要由特征空間χ以及χ上的邊際概率分布P(X)組成，其中，X={x1,x2,…,xn}∈χ。對(duì)于給定的特定域，一個(gè)任務(wù)T包含標(biāo)簽空間Y和預(yù)測(cè)函數(shù)f(·)兩個(gè)部分，即T={Y，f(·)}[17]。若給定一個(gè)源域Ds和一個(gè)相對(duì)應(yīng)的任務(wù)Ts，一個(gè)目標(biāo)域Dt和一個(gè)相對(duì)應(yīng)的任務(wù)Tt，在保證Ds≠Dt、Ts≠Tt的情況下，把在Ds、Ts中學(xué)到的信息應(yīng)用到Dt、Tt中，以期Tt中的預(yù)測(cè)函數(shù)f(·)得到提高。

目標(biāo)域數(shù)據(jù)較少情況下，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的遷移，可以把源域數(shù)據(jù)上的預(yù)訓(xùn)練模型應(yīng)用在目標(biāo)域上，改進(jìn)后形成新的訓(xùn)練模型，從而更好地解決目標(biāo)任務(wù)。

1.3 預(yù)訓(xùn)練模型

如表1所示，VGG16、VGG19、ResNet50[18]、GoogLeNet等都是在ImageNet上大放異彩的模型。通過(guò)對(duì)比這些模型在ImageNet上的Top1準(zhǔn)確率、Top5準(zhǔn)確率、訓(xùn)練參數(shù)量以及網(wǎng)絡(luò)層數(shù)，發(fā)現(xiàn)InceptionV3在準(zhǔn)確率較為理想的情況下，訓(xùn)練參數(shù)量也相對(duì)較少。因此，本研究選擇InceptionV3作為預(yù)訓(xùn)練模型。

表1 ImageNet競(jìng)賽中部分模型對(duì)比[19]

1.4 微 調(diào)

Jason Yosinski等[9]經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)前幾層訓(xùn)練后得到的通用特征遷移效果較好，而網(wǎng)絡(luò)變深后學(xué)習(xí)到的一些特定特征并不適合遷移；另外，深度遷移網(wǎng)絡(luò)中加入fine-tune，可以較好地克服數(shù)據(jù)之間的差異，在目標(biāo)任務(wù)中甚至比原始網(wǎng)絡(luò)效果更好，而且發(fā)現(xiàn)網(wǎng)絡(luò)層數(shù)的遷移可以加速網(wǎng)絡(luò)學(xué)習(xí)和優(yōu)化。本實(shí)驗(yàn)在針對(duì)網(wǎng)絡(luò)層數(shù)進(jìn)行遷移并構(gòu)建完成新的訓(xùn)練網(wǎng)絡(luò)后，使用fine-tune的方法對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。

1.4.1網(wǎng)絡(luò)遷移

不同數(shù)據(jù)集訓(xùn)練出的模型在深層網(wǎng)絡(luò)的語(yǔ)義信息有較大差異。本實(shí)驗(yàn)從預(yù)訓(xùn)練模型InceptionV3中取出特征提取部分，作為實(shí)驗(yàn)?zāi)Ｐ偷奶卣魈崛∑?，在特征提取器后接入AveragePooling層和Softmax分類(lèi)層，新的訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)(PretrainedCNN+Softmax)如圖2所示。

圖2 訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)

為初步驗(yàn)證方法的性能，實(shí)驗(yàn)針對(duì)新網(wǎng)絡(luò)直接進(jìn)行訓(xùn)練，最終得到的模型(未經(jīng)過(guò)微調(diào)、交叉驗(yàn)證和模型融合)識(shí)別準(zhǔn)確率為67.5%。

1.4.2通過(guò)fine-tune微調(diào)網(wǎng)絡(luò)

如圖2所示，本研究搭建的新網(wǎng)絡(luò)保留了源模型的全部特征提取能力，即預(yù)訓(xùn)練模型底層通用特征部分的權(quán)重參數(shù)得到保留，而高層語(yǔ)義特征則針對(duì)目標(biāo)域數(shù)據(jù)集重新訓(xùn)練，這種架構(gòu)更加適應(yīng)目標(biāo)樣本。另外，新網(wǎng)絡(luò)的特征提取部分并不需要隨機(jī)初始化，往往經(jīng)過(guò)小幅度調(diào)整就能夠收斂。所以，本實(shí)驗(yàn)針對(duì)目標(biāo)域數(shù)據(jù)以0.000 1的學(xué)習(xí)率對(duì)整個(gè)網(wǎng)絡(luò)重新訓(xùn)練，使其在目標(biāo)任務(wù)上的表現(xiàn)更加優(yōu)秀。同時(shí)，較低的學(xué)習(xí)率確保了權(quán)重參數(shù)每輪迭代變化幅度較小，可以有效避免過(guò)擬合。

1.5 模型融合

對(duì)模型本身的改進(jìn)需要較長(zhǎng)的研究周期，相比之下，模型融合能在較短時(shí)間內(nèi)提升整個(gè)系統(tǒng)的認(rèn)知能力。所以，本實(shí)驗(yàn)采用了集成學(xué)習(xí)中的模型融合策略，使算法性能得到進(jìn)一步優(yōu)化。

1.5.1模型融合的核心思想

綜合使用若干個(gè)基學(xué)習(xí)器，不同基學(xué)習(xí)器經(jīng)過(guò)訓(xùn)練形成不同的模型，通過(guò)恰當(dāng)?shù)娜诤戏椒梢猿浞职l(fā)揮各個(gè)模型的優(yōu)勢(shì)，最終得到一個(gè)經(jīng)過(guò)優(yōu)化后的結(jié)果。這個(gè)結(jié)果融合了多個(gè)模型的假設(shè)，抵消了單一假設(shè)和目標(biāo)假設(shè)之間的誤差，往往比單一模型得到的結(jié)果具有更強(qiáng)的魯棒性和泛化性[20]。在模型融合時(shí)，如果單體模型性能較好且各個(gè)模型之間存在一定差異，進(jìn)行融合后就會(huì)得到更好的效果。

1.5.2模型融合方法

模型融合主要有投票法、學(xué)習(xí)法和平均法。結(jié)合本研究特點(diǎn)，擬采用平均法進(jìn)行模型融合。平均法常用于數(shù)值型輸出的任務(wù)，分為簡(jiǎn)單平均法和加權(quán)平均法。簡(jiǎn)單平均法是把各個(gè)訓(xùn)練模型的輸出結(jié)果相加求平均后的結(jié)果作為最終輸出結(jié)果，公式如下[21]：

(2)

式中：T表示融合模型數(shù)量；hi(x)表示單個(gè)模型的輸出結(jié)果。加權(quán)平均法是把各個(gè)模型的輸出結(jié)果加權(quán)求平均后的結(jié)果作為最終輸出結(jié)果，公式如下[21]：

(3)

式中：T表示融合模型數(shù)量；wi表示模型權(quán)重(由訓(xùn)練獲得)；hi(x)表示單個(gè)模型的輸出結(jié)果。

一般而言，模型之間性能相差較大時(shí)采用加權(quán)平均法，性能相近但存在一定差異時(shí)則采用簡(jiǎn)單平均法。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用NCFM數(shù)據(jù)集，該數(shù)據(jù)集來(lái)源于kaggle數(shù)據(jù)競(jìng)賽平臺(tái)。數(shù)據(jù)集圖像由漁業(yè)監(jiān)管組織安裝在漁船上的攝像頭拍攝，主要用來(lái)監(jiān)測(cè)非法捕撈情況。該數(shù)據(jù)集共有3 777幅魚(yú)類(lèi)圖像，分為8種識(shí)別類(lèi)別，分別為鲯鰍魚(yú)(DOL)、長(zhǎng)鰭金槍魚(yú)(ALB)、黃鰭金槍魚(yú)(YFT)、大眼金槍魚(yú)(BET)、月魚(yú)(LAG)、鯊魚(yú)(SHARK)、其他魚(yú)類(lèi)(OTHER)、無(wú)魚(yú)類(lèi)(NoF)，其他魚(yú)類(lèi)和無(wú)魚(yú)類(lèi)圖像的存在可以更好地提升訓(xùn)練模型的泛化性。圖3為該數(shù)據(jù)集部分魚(yú)類(lèi)圖像示例。觀察圖像可知，目標(biāo)物處于有光照、異類(lèi)相似物(甲板覆蓋物破洞等)、遮擋等強(qiáng)干擾因素的復(fù)雜場(chǎng)景里。

(a) 大眼金槍魚(yú) (b) 黃鰭金槍魚(yú) (c) 長(zhǎng)鰭金槍魚(yú)圖3 部分魚(yú)類(lèi)圖像示例

2.2 實(shí)驗(yàn)設(shè)置與環(huán)境

實(shí)驗(yàn)在系統(tǒng)環(huán)境為CentOS 7.5的阿里云服務(wù)器上進(jìn)行，該服務(wù)器配備一張顯存為16 GB的Tesla-P100顯卡。設(shè)計(jì)實(shí)驗(yàn)方案時(shí)，在pengpaiSH[22]方案公開(kāi)部分(Kaggle平臺(tái)TOP5%，實(shí)驗(yàn)復(fù)現(xiàn)后準(zhǔn)確率為89.55%)的基礎(chǔ)上，進(jìn)一步采用了增加數(shù)據(jù)增廣種類(lèi)、十折交叉驗(yàn)證以及模型融合等策略。訓(xùn)練使用以TensorFlow為后端的Keras框架，設(shè)置訓(xùn)練迭代次數(shù)(epoch)為100，批處理數(shù)量為32；在使用顯存為7 819 MB的情況下，整體訓(xùn)練時(shí)間約41小時(shí)40分鐘。實(shí)驗(yàn)流程框架如圖4所示。

圖4 實(shí)驗(yàn)流程框架圖

2.3 數(shù)據(jù)處理

2.3.1數(shù)據(jù)集劃分

實(shí)驗(yàn)采用分層抽樣方法，把NCFM數(shù)據(jù)集內(nèi)3 777幅圖像劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，比例為8∶1∶1。其中，3 061幅用于訓(xùn)練，336幅用于交叉驗(yàn)證，380幅用于測(cè)試。為了確保交叉驗(yàn)證后得到的每個(gè)模型之間存在一定差異，實(shí)驗(yàn)隨機(jī)劃分了十個(gè)不同的訓(xùn)練集和交叉驗(yàn)證集，并使用同樣的測(cè)試集驗(yàn)證模型性能。

2.3.2數(shù)據(jù)歸一化與數(shù)據(jù)增廣

根據(jù)InceptionV3模型輸入要求，本實(shí)驗(yàn)把數(shù)據(jù)集內(nèi)大小不同的圖像進(jìn)行歸一化，調(diào)整為299×299像素。

數(shù)據(jù)增廣可以增大樣本量，有效避免過(guò)擬合。為了強(qiáng)化模型的泛化性和魯棒性，本實(shí)驗(yàn)不僅在訓(xùn)練過(guò)程中進(jìn)行了數(shù)據(jù)增廣，而且在預(yù)測(cè)過(guò)程中也進(jìn)行了數(shù)據(jù)增廣。模型預(yù)測(cè)原圖像后，會(huì)再預(yù)測(cè)增廣后的圖像。把模型對(duì)原圖像預(yù)測(cè)的結(jié)果和對(duì)增廣圖像預(yù)測(cè)的結(jié)果相加求平均，所得平均數(shù)作為最終預(yù)測(cè)結(jié)果輸出。實(shí)驗(yàn)采用的數(shù)據(jù)增廣技術(shù)為角度變換、平移、橫向和縱向翻轉(zhuǎn)等。數(shù)據(jù)增廣效果示例如圖5所示。

(a) 原圖 (b) 角度偏移 (c) 橫向翻轉(zhuǎn)圖5 數(shù)據(jù)增廣效果示例

2.4 模型差異性分析

實(shí)驗(yàn)進(jìn)行十折交叉驗(yàn)證后，得到十個(gè)不同的模型，任意選取其中兩個(gè)(模型1，模型10)作為對(duì)照組，通過(guò)準(zhǔn)確率以及損失值的變化曲線來(lái)觀察模型之間的差異性。如圖6、圖7所示。其中：訓(xùn)練準(zhǔn)確率表示訓(xùn)練集精度的變化，交叉驗(yàn)證準(zhǔn)確率表示交叉驗(yàn)證集精度的變化；訓(xùn)練損失值表示訓(xùn)練集誤差值的變化，交叉驗(yàn)證損失值表示交叉驗(yàn)證集誤差值的變化。

觀察圖6、圖7可知：起初兩個(gè)模型準(zhǔn)確率都比較低，且損失函數(shù)的損失值都呈快速下降趨勢(shì)；大約在60次迭代以后，兩者都開(kāi)始趨于收斂，而且模型在訓(xùn)練集和驗(yàn)證集上的準(zhǔn)確率以及損失值都非常接近，模型表現(xiàn)良好，沒(méi)有出現(xiàn)過(guò)擬合。對(duì)比圖6、圖7可知，模型10訓(xùn)練集圖像和驗(yàn)證集圖像之間的間隙相對(duì)于模型1較小，說(shuō)明模型10的擬合能力比模型1好。兩者對(duì)比表明，訓(xùn)練出的各個(gè)模型之間雖然性能相近但也存在一定差異，這一結(jié)果與實(shí)驗(yàn)預(yù)期一致。

(a) InceptionV3模型1準(zhǔn)確率變化曲線

(b) InceptionV3模型1損失變化曲線圖6 InceptionV3模型1訓(xùn)練過(guò)程

(a) InceptionV3模型10準(zhǔn)確率變化曲線

(b) InceptionV3模型10損失變化曲線圖7 InceptionV3模型10訓(xùn)練過(guò)程

2.5 實(shí)驗(yàn)結(jié)果

Softmax分類(lèi)層最終輸出結(jié)果為數(shù)值型，且由圖6、圖7分析可知，各模型之間整體性能相近并存在一定差異，所以本實(shí)驗(yàn)采用了簡(jiǎn)單平均法對(duì)各模型進(jìn)行融合。另外，為了驗(yàn)證模型融合是否對(duì)預(yù)測(cè)準(zhǔn)確率有提升作用，本實(shí)驗(yàn)任意選取了3組單個(gè)模型(模型1、模型5、模型10)的準(zhǔn)確率分別和模型融合后的準(zhǔn)確率進(jìn)行對(duì)比，對(duì)比結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果 %

實(shí)驗(yàn)結(jié)果表明，模型融合策略利用不同模型之間的差異性，對(duì)各個(gè)模型的輸出結(jié)果進(jìn)行融合，在整體上起到了互補(bǔ)作用，測(cè)試準(zhǔn)確率有明顯提升，在模型1、模型5、模型10上分別提高1.578%、1.038%、0.518%。

2.6 方法泛化性分析

為了驗(yàn)證模型融合后的泛化性是否得到了提升，本實(shí)驗(yàn)選取了圖3中的(a)圖(大眼金槍魚(yú))進(jìn)行預(yù)測(cè)結(jié)果輸出，該圖為測(cè)試集中的圖像。在這幅圖像中，目標(biāo)物周?chē)嬖谳^多類(lèi)似魚(yú)形狀的甲板覆蓋物破洞、漁民對(duì)魚(yú)的遮擋以及漁民手上的白手套等典型強(qiáng)干擾因素，識(shí)別難度較大。分別輸出模型1、模型5、模型10以及融合后的模型對(duì)這幅圖像的預(yù)測(cè)結(jié)果(概率最高的種類(lèi)為預(yù)測(cè)結(jié)果)，如表3所示。

表3 圖像預(yù)測(cè)結(jié)果

由表3可知，單個(gè)模型輸出結(jié)果對(duì)錯(cuò)皆有，模型融合后則得到正確結(jié)果。這是因?yàn)樵谏疃葘W(xué)習(xí)中，模型可能會(huì)因?yàn)閷W(xué)習(xí)能力的強(qiáng)大而學(xué)習(xí)到數(shù)據(jù)上的一些噪音，進(jìn)而導(dǎo)致模型考慮問(wèn)題相對(duì)片面，很難泛化[23]。通過(guò)融合多個(gè)模型并使用簡(jiǎn)單平均法對(duì)結(jié)果取平均，就會(huì)降低對(duì)噪音部分的考慮，增強(qiáng)方法整體的泛化性和魯棒性。

2.7 與相關(guān)方法對(duì)比分析

本文方法與相關(guān)方法準(zhǔn)確率對(duì)比如表4所示。

表4 準(zhǔn)確率對(duì)比

顯然，和傳統(tǒng)方法相比，利用遷移學(xué)習(xí)和模型融合的方法對(duì)海洋漁業(yè)捕撈監(jiān)管復(fù)雜場(chǎng)景下的魚(yú)類(lèi)圖像進(jìn)行識(shí)別分類(lèi)，準(zhǔn)確率有明顯提升，而且不需要人為設(shè)計(jì)特征，增強(qiáng)了模型的可用性。綜合分析表3、表4可知，相較于CNN相關(guān)模型，遷移學(xué)習(xí)和模型融合的方法不但準(zhǔn)確率更高而且泛化性也更強(qiáng)，對(duì)海洋漁業(yè)捕撈監(jiān)管復(fù)雜場(chǎng)景具有明顯的適用性。

3 結(jié) 語(yǔ)

針對(duì)海洋漁業(yè)捕撈監(jiān)管復(fù)雜場(chǎng)景，提出了一種基于遷移學(xué)習(xí)模型融合的海洋魚(yú)類(lèi)識(shí)別方法。該方法經(jīng)過(guò)遷移學(xué)習(xí)節(jié)省了大量訓(xùn)練時(shí)間；利用交叉驗(yàn)證、模型融合和數(shù)據(jù)增廣等策略則確保了其識(shí)別準(zhǔn)確率和泛化性；在NCFM數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，識(shí)別準(zhǔn)確率達(dá)到了97.368%。實(shí)驗(yàn)結(jié)果表明，使用遷移學(xué)習(xí)和模型融合的方法可以有效解決漁業(yè)監(jiān)管復(fù)雜場(chǎng)景下的海洋魚(yú)類(lèi)識(shí)別問(wèn)題，能夠?yàn)闈O業(yè)捕撈監(jiān)管系統(tǒng)智能化升級(jí)提供可靠的技術(shù)支持。后續(xù)研究中，將嘗試加入目標(biāo)檢測(cè)和多種不同模型融合技術(shù)，進(jìn)一步提升復(fù)雜場(chǎng)景海洋魚(yú)類(lèi)識(shí)別方法的整體性能。在此基礎(chǔ)上，結(jié)合信號(hào)處理技術(shù)，探討識(shí)別方法在現(xiàn)實(shí)環(huán)境中的落地，力爭(zhēng)在信號(hào)可傳輸?shù)暮Ｑ髤^(qū)域?qū)崿F(xiàn)季節(jié)性漁業(yè)捕撈監(jiān)管的智能化和即時(shí)化。