朱 明 ，李夢(mèng)珂 ，萬(wàn) 鵬 ,4※，肖暢宇 ，趙竣威

（1. 華中農(nóng)業(yè)大學(xué)工學(xué)院，武漢 430070；2. 農(nóng)業(yè)農(nóng)村部水產(chǎn)養(yǎng)殖設(shè)施工程重點(diǎn)實(shí)驗(yàn)室，武漢 430070；3. 農(nóng)業(yè)農(nóng)村部長(zhǎng)江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，武漢 430070；4. 農(nóng)業(yè)農(nóng)村部華南現(xiàn)代農(nóng)業(yè)智能裝備重點(diǎn)實(shí)驗(yàn)室，廣州，510630）

0 引 言

淡水魚種類識(shí)別是淡水魚機(jī)械化、自動(dòng)化加工處理的基礎(chǔ)[1-3]，同時(shí)在淡水魚的養(yǎng)殖、捕撈、銷售等環(huán)節(jié)具有重要應(yīng)用[4-5]。目前，淡水魚分類識(shí)別依靠人工進(jìn)行，勞動(dòng)強(qiáng)度大、識(shí)別效率和準(zhǔn)確度較低，因此，開(kāi)展準(zhǔn)確、高效的淡水魚種類識(shí)別方法研究對(duì)推動(dòng)淡水魚養(yǎng)殖及加工的機(jī)械化、自動(dòng)化具有重要意義。

機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)生產(chǎn)中具有廣泛應(yīng)用，在水產(chǎn)養(yǎng)殖領(lǐng)域，常被用來(lái)獲取養(yǎng)殖對(duì)象的視覺(jué)屬性，并據(jù)此研發(fā)快速、高效的種類識(shí)別、分級(jí)分選等方法[6]。如張志強(qiáng)等[7-8]提取魚體尺寸特征，通過(guò)統(tǒng)計(jì)分析建立魚體分類模型；WHITE 等[9-10]提取魚體顏色特征和尺寸特征后分別采用判別分析法和貝葉斯分類器對(duì)魚類圖像進(jìn)行分類；HU 等[11-12]提取魚體形態(tài)多種特征并采用支持向量機(jī)對(duì)魚體分類；萬(wàn)鵬等[13]提取魚體形態(tài)特征和顏色特征采用BP 神經(jīng)網(wǎng)絡(luò)對(duì)淡水魚品種進(jìn)行識(shí)別。綜上所述，傳統(tǒng)機(jī)器視覺(jué)的淡水魚種類識(shí)別方法流程為魚體圖像預(yù)處理、特征值提取、基于特征值的魚體分類模型構(gòu)建；其中，魚體圖像預(yù)處理過(guò)程繁瑣，流程較多，易受圖像獲取環(huán)境的干擾，對(duì)魚體特征值提取效果有較大影響；而魚體特征值表達(dá)魚體的特征信息，直接影響淡水魚種類識(shí)別的準(zhǔn)確度，但常規(guī)的特征值提取難以挖掘魚體深層次的特征信息。特征點(diǎn)是指在不同圖像中能夠?qū)⒛繕?biāo)識(shí)別出來(lái)的具有統(tǒng)一性質(zhì)的位置點(diǎn)，在魚體圖像中則表現(xiàn)為魚頭、魚鰭、魚尾等具有顯著特征的位置點(diǎn)?；谔卣鼽c(diǎn)檢測(cè)的目標(biāo)識(shí)別在生產(chǎn)生活中被廣泛應(yīng)用，因此，準(zhǔn)確檢測(cè)魚體的特征點(diǎn)并提取魚體的特征信息可以用于淡水魚的種類識(shí)別。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展與應(yīng)用，相關(guān)學(xué)者利用深度學(xué)習(xí)技術(shù)對(duì)魚類的種類識(shí)別方法進(jìn)行了研究。如陳英義等[14-15]通過(guò)改進(jìn)的VGG16 網(wǎng)絡(luò)模型對(duì)魚類進(jìn)行識(shí)別；萬(wàn)鵬等[16]構(gòu)建了基于改進(jìn)的ResNet50 模型的淡水魚種類識(shí)別方法；時(shí)揚(yáng)揚(yáng)[17]提出了一種將空間金字塔池化和DenseNet 相融合的圖像識(shí)別方法用于淡水魚種類檢測(cè)；VANEEDA 等[18]設(shè)計(jì)了基于深度卷積神經(jīng)網(wǎng)絡(luò)的海水魚分類方法?；谏疃葘W(xué)習(xí)技術(shù)的目標(biāo)分類是一種端到端的分類方法，與傳統(tǒng)機(jī)器視覺(jué)技術(shù)相比，其簡(jiǎn)化了圖像目標(biāo)的識(shí)別流程并保證了分類準(zhǔn)確率，但是這種端到端的方法導(dǎo)致特征提取過(guò)程被隱藏于整個(gè)分類過(guò)程中，難以對(duì)特征提取的結(jié)果進(jìn)行定量描述。

AlexNet 模型[19]是首個(gè)應(yīng)用于圖像分類的深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，它有5 個(gè)卷積層和3 個(gè)全連接層，采用圖形處理器代替中央處理器進(jìn)行運(yùn)算，不但能加速網(wǎng)絡(luò)的訓(xùn)練速度，還能提升數(shù)據(jù)的使用規(guī)模，同時(shí)具備收斂速度更快、錯(cuò)誤率較低、能避免模型過(guò)擬合等優(yōu)點(diǎn)。本文以典型的大宗淡水魚為研究對(duì)象，以經(jīng)典AlexNet模型為基礎(chǔ)，構(gòu)建改進(jìn)AlexNet 模型對(duì)淡水魚特征點(diǎn)進(jìn)行檢測(cè)，在此基礎(chǔ)上提取魚體的形態(tài)特征值構(gòu)建特征向量，并結(jié)合Fisher 判別分析對(duì)淡水魚種類進(jìn)行識(shí)別，以期提高淡水魚種類識(shí)別準(zhǔn)確率及識(shí)別速率，為淡水魚分類識(shí)別、魚體特征參數(shù)檢測(cè)、魚體分割等自動(dòng)化前處理加工裝置的研制提供借鑒。

1 淡水魚特征點(diǎn)檢測(cè)數(shù)據(jù)集構(gòu)建及預(yù)處理

1.1 淡水魚原始圖像獲取

為了獲取淡水魚圖像，本文搭建了淡水魚圖像采集裝置，其結(jié)構(gòu)如圖1 所示。

圖1 淡水魚圖像采集裝置示意圖Fig.1 Schematic diagram of the freshwater fish image acquisition device

淡水魚圖像采集裝置由圖像采集平臺(tái)、BASLER 工業(yè)相機(jī)（德國(guó)Blaser，acA640-90 gm）、鏡頭（日本Computar，M0814-MP2）、光源、相機(jī)支架、計(jì)算機(jī)系統(tǒng)、淡水魚圖像采集軟件等構(gòu)成。采集魚體圖像時(shí)，通過(guò)調(diào)整鏡頭與魚體樣本之間的距離改變相機(jī)的視場(chǎng)，即可對(duì)不同淡水魚樣本進(jìn)行圖像采集。

本文以鳊、鳙、草魚、鰱、鯉5 種典型的大宗淡水魚為研究對(duì)象。魚體樣本自市場(chǎng)隨機(jī)采購(gòu)，要求魚體完整、呈鮮活狀態(tài)，采購(gòu)回來(lái)后放于水池中暫養(yǎng)。5 種淡水魚樣本的質(zhì)量范圍為：鳊0.3～0.8 kg，鳙1.0～1.9 kg，草魚0.6～1.4 kg，鰱1.2～2.1 kg，鯉0.9～1.8 kg。

采集魚體圖像時(shí)，先將淡水魚擊暈，擦干魚體，再將魚體樣本放置于相機(jī)的正下方，分別采集魚頭朝左、魚身傾斜角度隨機(jī)的魚體正反兩面完整淡水魚原始圖像，如圖2 所示。

1.2 淡水魚圖像數(shù)據(jù)增強(qiáng)

為了增加訓(xùn)練樣本的多樣性，擴(kuò)充訓(xùn)練樣本數(shù)量，提升模型的適應(yīng)性能，需對(duì)采集的淡水魚圖像進(jìn)行數(shù)據(jù)增強(qiáng)。本文采用添加椒鹽噪聲和高斯噪聲、改變圖像亮度、對(duì)圖像向上和向下平移、以及高斯模糊等方法對(duì)采集的淡水魚原始圖像進(jìn)行處理，共得到5 種淡水魚樣本圖像7 200 張，每種淡水魚圖像各1 440 張，組成淡水魚圖像數(shù)據(jù)集。

1.3 淡水魚魚體特征點(diǎn)標(biāo)記和坐標(biāo)獲取

為了準(zhǔn)確檢測(cè)淡水魚魚體特征點(diǎn)，首先需要確定魚體特征點(diǎn)，并對(duì)圖像數(shù)據(jù)集中的魚體圖像進(jìn)行特征點(diǎn)標(biāo)記。根據(jù)淡水魚魚體結(jié)構(gòu)和外形，本文將魚體分為魚頭、魚身、魚尾三部分，共設(shè)定20 個(gè)特征點(diǎn)，其中魚頭部分特征點(diǎn)為魚體吻端、魚體眼部、魚體鰓蓋骨后緣與上下邊緣位置；魚身部分特征點(diǎn)為魚鰭與魚身連接點(diǎn)、魚體輪廓過(guò)渡點(diǎn)位置；魚尾部分特征點(diǎn)為魚體尾鰭末端、尾鰭與魚身連接點(diǎn)、魚體脊椎骨末端位置。魚體20 個(gè)特征點(diǎn)的位置標(biāo)記如圖3 所示。

采用LabelMe 軟件對(duì)圖像數(shù)據(jù)集中魚體特征點(diǎn)位置進(jìn)行標(biāo)記，標(biāo)記結(jié)果為原圖像坐標(biāo)系中相對(duì)原點(diǎn)的坐標(biāo)值。利用Python 程序編寫算法將魚體圖像特征點(diǎn)信息寫入csv 表格文件，構(gòu)建包含淡水魚圖像及對(duì)應(yīng)特征點(diǎn)信息的淡水魚特征點(diǎn)檢測(cè)數(shù)據(jù)集，用于特征點(diǎn)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)模型的訓(xùn)練和測(cè)試。5 種淡水魚特征點(diǎn)位置如圖4所示。

圖4 5 種淡水魚魚體20 個(gè)特征點(diǎn)位置Fig.4 Location of 20 feature points on the body of five species of freshwater fish

1.4 圖像預(yù)處理

淡水魚特征點(diǎn)檢測(cè)數(shù)據(jù)集在輸入網(wǎng)絡(luò)結(jié)構(gòu)模型訓(xùn)練之前，需要進(jìn)行預(yù)處理。本文調(diào)用PyTorch 算法工具庫(kù)對(duì)淡水魚圖像進(jìn)行處理。首先采用尺寸壓縮算法將圖像數(shù)據(jù)集中魚體圖像的尺寸壓縮成227 像素×227 像素大??；再采用歸一化處理將圖像像素值大小由[0，255] 轉(zhuǎn)變?yōu)閇0，1] ；最后采用張量處理將圖像和對(duì)應(yīng)特征點(diǎn)信息由Numpy 格式轉(zhuǎn)換為PyTorch 中的Tensor 格式。經(jīng)預(yù)處理后，淡水魚魚體圖像成為3 通道×227 像素×227 像素的張量，有助于加快深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練和收斂速度、提升模型的檢測(cè)精度。

2 基于改進(jìn)AlexNet 模型的淡水魚特征點(diǎn)檢測(cè)方法

2.1 改進(jìn)AlexNet 模型的構(gòu)建

經(jīng)典AlexNet 模型由5 個(gè)卷積層和3 個(gè)全連接層構(gòu)成（圖5）。卷積層共包含1 個(gè)11×11 的卷積層、1 個(gè)5×5 的卷積層和3 個(gè)3×3 的卷積層，并在第1、2、5 層的卷積層設(shè)置最大池化模塊，在池化操作時(shí)，每次移動(dòng)的步長(zhǎng)小于池化的窗口長(zhǎng)度，有利于減少過(guò)擬合。輸入圖像經(jīng)過(guò)一系列卷積操作后，在第5 層輸出的特征圖尺寸為6×6×256，經(jīng)過(guò)展平處理后，輸出特征矩陣大小變?yōu)?×1×9 216，然后經(jīng)過(guò)3 層全連接層，最后由softmax 計(jì)算得到類別概率。

圖5 經(jīng)典AlexNet 模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of classical AlexNet model

為了縮減模型大小、提升模型的運(yùn)算效率，同時(shí)選擇適用于特征點(diǎn)檢測(cè)的損失函數(shù)，本文對(duì)經(jīng)典AlexNet模型結(jié)構(gòu)進(jìn)行改進(jìn)和優(yōu)化，方案如下：

1）減小卷積核大小。為了減小模型的參數(shù)量和計(jì)算量，改進(jìn)AlexNet 模型將前兩層卷積的11×11 和5×5 尺寸的卷積核改為7×7 和3×3 尺寸的卷積核，這2 種尺寸的卷積核應(yīng)用于多種經(jīng)典神經(jīng)網(wǎng)絡(luò)中，并取得了較好的效果[20]。同時(shí)，為保證卷積完成后輸出特征圖的尺寸，把前兩層卷積操作的步長(zhǎng)s和填充p改為2 和0。

2）去除局部響應(yīng)歸一化（local response normalization，LRN）。經(jīng)典AlexNet 模型的局部響應(yīng)歸一化可以將數(shù)據(jù)分布調(diào)整到合理的范圍內(nèi)，有助于計(jì)算處理，從而提高泛化能力，但是提升能力有限，同時(shí)還會(huì)導(dǎo)致內(nèi)存消耗和計(jì)算時(shí)間增加[21]，因此本文在改進(jìn)AlexNet 模型中去除了LRN 結(jié)構(gòu)。

3）引入批量歸一化（batch normalization，BN）。為了有效避免梯度消失，加快網(wǎng)絡(luò)收斂，改善正則化策略，本文在改進(jìn)AlexNet 模型的卷積層之后、激活函數(shù)之前添加BN 層。

4）更換損失函數(shù)并修改全連接層參數(shù)。本文選擇均方誤差（mean square error，MSE）作為改進(jìn)AlexNet 模型特征點(diǎn)檢測(cè)問(wèn)題的損失函數(shù)[22]。

改進(jìn)AlexNet 模型第5 層輸出的特征圖經(jīng)過(guò)展平處理后的輸出特征矩陣大小為1×1×9 216。為了減少全連接層參數(shù)，并使改進(jìn)AlexNet 模型能夠輸出對(duì)應(yīng)數(shù)量的坐標(biāo)值，將全連接層Fc6 層和Fc7 層的輸出特征通道數(shù)修改為4 096 和1 000，并將全連接層Fc8 層的輸出特征矩陣大小定為1×1×40。改進(jìn)后的AlexNet 模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。

圖6 改進(jìn)AlexNet 模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of improved AlexNet model

圖6 中，改進(jìn)AlexNet 模型在網(wǎng)絡(luò)的主體結(jié)構(gòu)上與經(jīng)典AlexNet 模型相同，都由5 個(gè)卷積層和3 個(gè)全連接層構(gòu)成，保留了第1、2、5 層的卷積層的最大池化模塊；在激活函數(shù)的選擇上，改進(jìn)AlexNet 模型仍選擇ReLU激活函數(shù)；為減少過(guò)擬合，改進(jìn)AlexNet 模型保留了Dropout。

改進(jìn)AlexNet 模型卷積層的卷積核大小分別為7、3、3、3、3，前2 個(gè)卷積操作的步長(zhǎng)為2，其余層均為1；最大池化的采樣窗口大小為3×3，步長(zhǎng)為2；輸入圖像經(jīng)過(guò)一系列卷積操作后，在第5 層卷積層輸出的特征圖尺寸為6×6×256，經(jīng)過(guò)展平處理后進(jìn)入3 層全連接層，最后輸出特征矩陣大小變?yōu)?×1×40。在特征點(diǎn)檢測(cè)問(wèn)題中，F(xiàn)c8 的輸出為40 個(gè)坐標(biāo)值，對(duì)應(yīng)20 個(gè)特征點(diǎn)的橫、縱坐標(biāo)。

2.2 淡水魚特征點(diǎn)檢測(cè)評(píng)價(jià)指標(biāo)

為評(píng)價(jià)利用改進(jìn)AlexNet 模型對(duì)魚體特征點(diǎn)檢測(cè)的效果，參考現(xiàn)有特征點(diǎn)檢測(cè)相關(guān)研究[23-26]，選擇歸一化平均誤差（E）和失敗率（failure rate，F(xiàn)R）作為特征點(diǎn)檢測(cè)準(zhǔn)確度的評(píng)價(jià)指標(biāo)；并使用平均檢測(cè)時(shí)間作為特征點(diǎn)檢測(cè)速度的評(píng)價(jià)指標(biāo)。

2.2.1 歸一化平均誤差

歸一化平均誤差是衡量特征點(diǎn)檢測(cè)準(zhǔn)確度的重要指標(biāo)。魚體圖像中，特征點(diǎn)1 表征魚體吻端，特征點(diǎn)18 表征魚體脊椎骨末端位置，本研究以魚體特征點(diǎn)1 與特征點(diǎn)18 之間的距離為歸一化距離，對(duì)每個(gè)圖像求歸一化平均誤差，并在整個(gè)測(cè)試集上求其平均值。則每個(gè)圖像歸一化平均誤差E的計(jì)算式為

式中Pi和Qi為圖像上第i個(gè)特征點(diǎn)的真實(shí)坐標(biāo)和預(yù)測(cè)坐標(biāo)；L為該圖像上魚體特征點(diǎn)1 與特征點(diǎn)18 之間的距離。歸一化平均誤差的值越小，說(shuō)明特征點(diǎn)定位準(zhǔn)確率越高。

2.2.2 失敗率

失敗率是指特征點(diǎn)定位失敗，即歸一化平均誤差大于閾值δ的魚體圖像在圖像數(shù)據(jù)集中所占的比例，用Fδ表示閾值為δ時(shí)的失敗率。

為了確定閾值δ的取值，參考人臉特征點(diǎn)檢測(cè)的閾值選取方法[23-26]，同時(shí)考慮淡水魚特征點(diǎn)檢測(cè)數(shù)據(jù)集的實(shí)際情況，確定閾值δ設(shè)定為0.02 和0.03，使用F0.02和F0.03表示2 種閾值下的失敗率。

2.2.3 平均檢測(cè)時(shí)間

為了評(píng)價(jià)圖像特征點(diǎn)檢測(cè)的速度，論文以淡水魚測(cè)試樣本圖像特征點(diǎn)的平均檢測(cè)時(shí)間來(lái)衡量檢測(cè)速度，平均檢測(cè)時(shí)間的計(jì)算式為

式中T為平均檢測(cè)時(shí)間，s；Tstart為檢測(cè)開(kāi)始的時(shí)刻，即第一張測(cè)試樣本圖像輸入模型的時(shí)刻；Tend為檢測(cè)結(jié)束的時(shí)刻，即最后一張測(cè)試樣本圖像的檢測(cè)結(jié)果輸出的時(shí)刻；Ntest為測(cè)試樣本圖像的數(shù)量。

2.3 改進(jìn)AlexNet 模型的訓(xùn)練

2.3.1 模型的訓(xùn)練環(huán)境

文中模型訓(xùn)練和測(cè)試時(shí)的環(huán)境為： Windows 11 操作系統(tǒng)，GPU 為NVIDIA GeForce RTX 3 090，編程語(yǔ)言為Python3.8，深度學(xué)習(xí)框架為PyTorch，基礎(chǔ)配置為Anaconda3、PyCharm。

2.3.2 模型訓(xùn)練過(guò)程

網(wǎng)絡(luò)模型訓(xùn)練時(shí)，將數(shù)據(jù)集按照8∶1∶1 的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，使用Adam 優(yōu)化算法更新梯度，使用余弦退火算法衰減學(xué)習(xí)率，使用Kaiming 正態(tài)分布初始化卷積層權(quán)重。網(wǎng)絡(luò)模型訓(xùn)練流程如圖7 所示。

圖7 模型訓(xùn)練流程Fig.7 Model training process

2.4 試驗(yàn)分析

在進(jìn)行性能分析和對(duì)比試驗(yàn)前，對(duì)構(gòu)建的模型進(jìn)行超參數(shù)優(yōu)化，確定最優(yōu)的超參數(shù)組合。使用不同的初始學(xué)習(xí)率和批次大小訓(xùn)練模型并比較模型的訓(xùn)練效果，結(jié)果表明：當(dāng)初始學(xué)習(xí)率設(shè)定為0.000 1、批次大小設(shè)定為32 時(shí)模型訓(xùn)練效果最好；當(dāng)模型迭代次數(shù)達(dá)到250 次時(shí)所有條件下模型均可完全收斂。因此，在對(duì)模型進(jìn)行訓(xùn)練時(shí)，針對(duì)不同的方案和模型設(shè)置相同的優(yōu)化算法、迭代次數(shù)、學(xué)習(xí)率和批次大小，并使用相同的均方誤差損失函數(shù)；其中初始學(xué)習(xí)率設(shè)定為0.000 1，批次大小設(shè)定為32，迭代次數(shù)設(shè)定為250 次。

2.4.1 消融試驗(yàn)

為了研究不同改進(jìn)方案對(duì)優(yōu)化模型性能的影響，本文從卷積核大小、LRN 層取舍、BN 層設(shè)置3 個(gè)角度提出了對(duì)經(jīng)典AlexNet 模型的改進(jìn)方案，同時(shí)本文設(shè)置了5 種試驗(yàn)方案進(jìn)行性能分析，各試驗(yàn)方案具體設(shè)置和試驗(yàn)結(jié)果如表1 所示。

表1 試驗(yàn)方案與試驗(yàn)結(jié)果Table 1 Experiment schemes and experiment results

各試驗(yàn)方案訓(xùn)練集前100 輪的損失曲線如圖8 所示。

圖8 各試驗(yàn)方案訓(xùn)練集前100 輪的損失曲線Fig.8 Loss curve for the first 100 rounds of training set for each experiment scheme

由表1 可知，方案1 為經(jīng)典AlexNet 模型結(jié)構(gòu)，方案2 在方案1 的基礎(chǔ)上用7×7 和3×3 尺寸的卷積核代替11×11 和5×5 尺寸的卷積核，其參數(shù)量減少為45.223×106，浮點(diǎn)運(yùn)算量減少為0.900×109，而歸一化平均誤差的均值和失敗率無(wú)明顯改變，說(shuō)明減小卷積核尺寸可在不影響模型檢測(cè)效果的基礎(chǔ)上簡(jiǎn)化模型。方案3 在方案1的基礎(chǔ)上去除LRN 層，去除LRN 層后，對(duì)模型各方面影響較小，說(shuō)明LRN 層的優(yōu)化效果不明顯，故可去除。方案4 在方案1 的基礎(chǔ)上去除LRN 層，并添加批量歸一化層，其歸一化平均誤差的均值減小為0.009 6，失敗率F0.02和F0.03分別減小為2.36%和0.97%，但方案4 的參數(shù)量和浮點(diǎn)計(jì)算量略有增加，這是由于BN 層進(jìn)行了歸一化計(jì)算造成的。方案5 在方案1 的基礎(chǔ)上綜合了3 種改進(jìn)方案，結(jié)果表明，其參數(shù)量減少為45.224×106，浮點(diǎn)運(yùn)算量減少為0.906×109，失敗率F0.02和F0.03分別減小為2.50%和0.83%，由圖8 可知，方案5 的模型收斂速度優(yōu)于其他方案，說(shuō)明方案5 在模型大小、計(jì)算量、檢測(cè)效果方面均優(yōu)于原始模型。

綜上所述，本文提出的對(duì)經(jīng)典AlexNet 模型的改進(jìn)方案均對(duì)特征點(diǎn)檢測(cè)效果的提高產(chǎn)生了效果，其中方案5 在模型大小、計(jì)算量、檢測(cè)效果方面呈現(xiàn)出了較好的改善效果，其歸一化平均誤差的均值僅為0.009 9，失敗率F0.02和F0.03為2.50%和0.83%，因此本文將方案5 作為最終改進(jìn)方案。

2.4.2 不同模型對(duì)比試驗(yàn)

采用VGG16 模型和MobileNetV2 模型開(kāi)展對(duì)比試驗(yàn)。其中VGG16 模型[21]是一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型，在圖像識(shí)別領(lǐng)域受到了廣泛的應(yīng)用[27-28]；MobileNetV2模型是一種輕量化的卷積神經(jīng)網(wǎng)絡(luò)模型，使用了深度可分離卷積來(lái)減少參數(shù)量和計(jì)算量，加強(qiáng)了特征表征能力，準(zhǔn)確率更高，模型更小[29]。

在相同的試驗(yàn)環(huán)境下，每種模型均使用相同的均方誤差損失函數(shù)，并調(diào)整模型最后一層的參數(shù)使之能輸出40 個(gè)坐標(biāo)值。試驗(yàn)時(shí)使用同一數(shù)據(jù)集對(duì)不同模型進(jìn)行訓(xùn)練和測(cè)試，3 種模型的初始學(xué)習(xí)率和批次大小為0.000 1、32，迭代次數(shù)為250 次。對(duì)比試驗(yàn)結(jié)果如表2 所示。

表2 不同模型的測(cè)試結(jié)果Table 2 Test results of different models

由表2 可知，改進(jìn)AlexNet 模型的參數(shù)量為45.224×106，浮點(diǎn)計(jì)算量為0.906×109，均優(yōu)于VGG16 模型，在測(cè)試集上歸一化平均誤差的均值也小于VGG16 模型，對(duì)特征點(diǎn)的檢測(cè)更準(zhǔn)確。與輕量化網(wǎng)絡(luò)MobileNetV2相比，改進(jìn)AlexNet 模型的參數(shù)量和浮點(diǎn)計(jì)算量雖然比較大，但歸一化平均誤差的均值明顯小于輕量化網(wǎng)絡(luò)MobileNetV2 模型，并且平均檢測(cè)時(shí)間也無(wú)明顯差距。從失敗率的角度比較，改進(jìn)AlexNet 模型的F0.02和F0.03小于其他2 種模型。

綜上所述，改進(jìn)AlexNet 模型在保證了特征點(diǎn)檢測(cè)準(zhǔn)確度的基礎(chǔ)上，同時(shí)保證了時(shí)效性，有利于實(shí)現(xiàn)模型在實(shí)際場(chǎng)景中的應(yīng)用。

2.4.3 不同種類淡水魚的特征點(diǎn)檢測(cè)結(jié)果

使用包含5 種淡水魚的特征點(diǎn)檢測(cè)數(shù)據(jù)集對(duì)改進(jìn)AlexNet 模型進(jìn)行訓(xùn)練，并用包含單一種類淡水魚的測(cè)試集對(duì)模型進(jìn)行測(cè)試，不同種類淡水魚特征點(diǎn)檢測(cè)的歸一化平均誤差和失敗率如表3 所示。

表3 不同種類淡水魚特征點(diǎn)檢測(cè)結(jié)果Table 3 Detection results of feature points of different species of freshwater fish

由表3 可知，改進(jìn)AlexNet 模型對(duì)5 種淡水魚特征點(diǎn)檢測(cè)準(zhǔn)確度都較高，測(cè)試集歸一化平均誤差的均值均不高于0.011 4；從失敗率角度看，5 種淡水魚的失敗率F0.02均小于5%，F(xiàn)0.03均小于3%。這說(shuō)明改進(jìn)AlexNet模型對(duì)5 種淡水魚的特征點(diǎn)檢測(cè)具有較好結(jié)果，改進(jìn)AlexNet 模型對(duì)不同種類淡水魚特征點(diǎn)檢測(cè)具有較好適應(yīng)性。

為了表征淡水魚特征點(diǎn)檢測(cè)效果，將改進(jìn)AlexNet網(wǎng)絡(luò)模型預(yù)測(cè)的特征點(diǎn)結(jié)果與標(biāo)記的真實(shí)點(diǎn)繪制在圖像中，則5 種淡水魚檢測(cè)效果如圖9 所示。

圖9 5 種淡水魚數(shù)據(jù)集訓(xùn)練改進(jìn)模型的檢測(cè)結(jié)果Fig.9 Detection results of training improved model on data set of 5 freshwater fish species

由圖9 可知，本文構(gòu)建的改進(jìn)AlexNet 模型對(duì)5 種淡水魚特征點(diǎn)的檢測(cè)都比較準(zhǔn)確，預(yù)測(cè)點(diǎn)和真實(shí)點(diǎn)的擬合程度較好。進(jìn)一步分析發(fā)現(xiàn)，魚體頭部和背部特征點(diǎn)檢測(cè)結(jié)果最好，而魚體腹部和尾部的預(yù)測(cè)點(diǎn)與真實(shí)點(diǎn)的偏差較大。這是因?yàn)轸~體腹部顏色較淺，特征不明顯，特征提取較為困難，因此造成了特征點(diǎn)的偏差；而魚尾柔軟易擺動(dòng)使得圖像采集時(shí)部分魚尾的姿態(tài)發(fā)生變化，這對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和最終的檢測(cè)效果產(chǎn)生了一定的影響。

綜上所述，改進(jìn)AlexNet 模型可用于5 中淡水魚魚體特征點(diǎn)檢測(cè)，且檢測(cè)準(zhǔn)確率高，速度快。

3 基于Fisher 判別分析的淡水魚種類識(shí)別方法

前述魚體圖像中設(shè)定的特征點(diǎn)根據(jù)魚體的外形特征進(jìn)行標(biāo)記，不能直接表征魚體的形態(tài)特征并對(duì)淡水魚種類進(jìn)行識(shí)別。因此，論文在前述魚體特征點(diǎn)檢測(cè)的基礎(chǔ)上，提取魚體形態(tài)特征值構(gòu)建魚體特征向量，結(jié)合判別分析對(duì)淡水魚種類識(shí)別方法進(jìn)行研究。

3.1 基于特征點(diǎn)的淡水魚形態(tài)特征值提取及特征向量構(gòu)建

魚體的特征點(diǎn)分布于淡水魚的外形輪廓及體表特定部位，特征點(diǎn)兩兩之間的歐式距離可以表征魚體的大小及形態(tài)特征，本文以魚體特征點(diǎn)1 與18 之間的歐式距離表征魚體體長(zhǎng)，以魚體表面每?jī)蓚€(gè)特征點(diǎn)之間的歐式距離與魚體體長(zhǎng)的比值作為形態(tài)特征值，則單條淡水魚體表20 個(gè)特征點(diǎn)可以得到190 個(gè)特征值。淡水魚表面特征點(diǎn)間距離示意圖如圖10 所示。

圖10 淡水魚特征點(diǎn)與特征點(diǎn)間距離示意圖Fig.10 Schematic diagram of the distances between feature points and feature points in freshwater fish

如圖10 所示，假定淡水魚圖像左上角的坐標(biāo)為(0,0)，則魚體圖像上第p個(gè)特征點(diǎn)(xp,yp)與第q個(gè)特征點(diǎn)(xq,yq)之間的歐式距離為

式中p、q為特征點(diǎn)編號(hào)，p、q=1, 2, …, 20，且p＜q。

特征點(diǎn)1 與18 之間的歐式距離為

淡水魚特征值可表示為

故可構(gòu)建單條淡水魚的魚體特征向量

則向量V為190 維列向量。

3.2 基于Fisher 判別分析的淡水魚分類方法

Fisher 判別分析法是一種線性有監(jiān)督分類技術(shù)，對(duì)樣本的分布無(wú)任何要求，可以將樣本向低維空間投影，使得樣本集中的各個(gè)類在低維特征空間中形成若干個(gè)聚合的可分離的子集，通過(guò)計(jì)算待測(cè)樣本到各類中心的距離，從而完成分類。本文在前述魚體特征向量構(gòu)建的基礎(chǔ)上，利用Fisher 判別分析構(gòu)建模型對(duì)淡水魚種類進(jìn)行識(shí)別。

從淡水魚圖像數(shù)據(jù)集中隨機(jī)選取5 種淡水魚圖像各140 張構(gòu)建Fisher 判別分析模型的樣本集，每類淡水魚圖像中，40 張作為訓(xùn)練樣本，其余作為測(cè)試樣本。

樣本類別數(shù)N=5，訓(xùn)練樣本總數(shù)m=200，第i類訓(xùn)練樣本的數(shù)量mi=40，i= 1, 2, …, 5。根據(jù)訓(xùn)練樣本集中淡水魚的特征點(diǎn)坐標(biāo)構(gòu)造每個(gè)魚體樣本的特征向量，設(shè)置訓(xùn)練樣本種類標(biāo)簽，構(gòu)建Fisher 判別分析模型訓(xùn)練樣本集D，則：

式中i= 1, 2, …, 5；j= 1, 2, …, 40；Vij為第i類樣本集中第j個(gè)樣本的特征向量；yij為第i類樣本集中第j個(gè)樣本的種類標(biāo)簽，yij= 1, 2, …, 5。

第i個(gè)類別樣本的均值向量 μi和所有樣本的均值向量 μ的計(jì)算式如下：

式中i= 1, 2, …, 5；為第i個(gè)類別樣本中40 個(gè)樣本的特征向量中指定位置特征值的平均值。

每個(gè)類別的類內(nèi)散度矩陣之和SW與類間離散度矩陣SB的計(jì)算式為

則Fisher 準(zhǔn)則函數(shù)為

式中tr（）表示矩陣的跡。

根據(jù)Fisher 判別分析的基本原理，求使準(zhǔn)則函數(shù)JF(W)達(dá)到最大時(shí)的解W，即求廣義特征值問(wèn)題：

則W的閉式解是的k個(gè)最大非零廣義特征值對(duì)應(yīng)的特征向量組成的矩陣，且k≤N—1，故最多有4 個(gè)特征向量。

將W視為一個(gè)投影矩陣，將樣本向4 維空間投影，即將訓(xùn)練樣本降維，則每個(gè)維度的貢獻(xiàn)率如表4 所示。

表4 各維度貢獻(xiàn)率Table 4 Contribution rate of each dimension

根據(jù)表4 可知，前3 個(gè)維度的累計(jì)貢獻(xiàn)率已達(dá)到了98.522%，綜合考慮累計(jì)貢獻(xiàn)率和高維度帶來(lái)的計(jì)算量的增加，選擇的前3 個(gè)最大非零廣義特征值對(duì)應(yīng)的特征向量組成W矩陣，因此確定了最佳投影方向。

Fisher 線性判別函數(shù)為：

即：

式中Y=[Y1,Y2,Y3] ，表示將樣本向W矩陣表示的方向投影后的向量，也即訓(xùn)練樣本降維后的向量。

將訓(xùn)練樣本集中的所有樣本向W矩陣表示的方向投影，得到所有樣本投影后的向量。將投影后的向量視為三維空間的點(diǎn)，繪制投影結(jié)果在三維空間的分布，如圖11所示。

圖11 訓(xùn)練樣本投影結(jié)果可視化Fig.11 Visualization of training samples projection results

在圖11 中，異類樣本點(diǎn)之間界限明顯，同類樣本點(diǎn)分布集中，這說(shuō)明樣本在三維空間容易區(qū)分。

對(duì)于待測(cè)樣本，計(jì)算樣本的特征向量Vt，分別計(jì)算Vt到每個(gè)種類樣本均值的馬氏距離，其中最小距離對(duì)應(yīng)的類別即為待測(cè)樣本的預(yù)測(cè)類別。Vt到第i類樣本的馬氏距離dt的計(jì)算式如下：

式中 μi為第i類樣本的均值向量；為第i類樣本的協(xié)方差矩陣。

3.3 基于特征點(diǎn)的淡水魚種類識(shí)別方法驗(yàn)證

取Fisher 判別分析模型樣本集中的測(cè)試樣本，采用改進(jìn)AlexNet 模型檢測(cè)測(cè)試樣本的特征點(diǎn)構(gòu)建魚體特征向量，再使用Fisher 判別分析對(duì)淡水魚種類進(jìn)行檢測(cè)。為驗(yàn)證本文特征提取方法對(duì)不同分類方法的適用性，同時(shí)使用貝葉斯判別法[30]進(jìn)行淡水魚種類識(shí)別檢測(cè)試驗(yàn)，并比較2 種方法的檢測(cè)準(zhǔn)確率及平均識(shí)別時(shí)間t，試驗(yàn)結(jié)果如表5 所示。

表5 淡水魚種類識(shí)別試驗(yàn)結(jié)果Table 5 Test results of freshwater fish species identification

由表5 可知，基于魚體特征點(diǎn)，采用Fisher 判別分析法對(duì)5 種淡水魚進(jìn)行識(shí)別的平均準(zhǔn)確率為98.0%，單張圖像的平均識(shí)別時(shí)間為0.368 s；采用貝葉斯判別法對(duì)5 種淡水魚進(jìn)行識(shí)別的平均準(zhǔn)確率為96.4%，略低于Fisher 判別分析法，單張圖像的平均識(shí)別時(shí)間為0.404 s，略高于Fisher 判別分析法。試驗(yàn)結(jié)果表明，使用改進(jìn)AlexNet 模型檢測(cè)魚體特征點(diǎn)并提取魚體特征向量可用于淡水魚的分類檢測(cè)；基于特征點(diǎn)構(gòu)建的魚體形態(tài)特征向量適用于不同的分類檢測(cè)方法，其中使用Fisher 判別分析法進(jìn)行分類的準(zhǔn)確率更高，并具有較好的時(shí)效性。

4 結(jié) 論

1）本文提出了一種基于特征點(diǎn)檢測(cè)的淡水魚種類識(shí)別方法，該方法首先利用卷積神經(jīng)網(wǎng)絡(luò)獲取魚體特征點(diǎn)，再使用特征點(diǎn)信息結(jié)合Fisher 判別分析法對(duì)淡水魚種類進(jìn)行識(shí)別。

2）在經(jīng)典AlexNet 模型的基礎(chǔ)上，通過(guò)改變卷積核尺寸、去除局部響應(yīng)歸一化、加入批量歸一化、更換損失函數(shù)構(gòu)建了改進(jìn)AlexNet 模型。使用改進(jìn)AlexNet 模型進(jìn)行特征點(diǎn)檢測(cè)，其歸一化平均誤差的均值為0.009 9，閾值取0.02 和0.03 時(shí)的失敗率分別為2.50%和0.83%，優(yōu)于經(jīng)典AlexNet 模型，且對(duì)5 種淡水魚的檢測(cè)效果均較好。將改進(jìn)AlexNet 模型與其他特征提取網(wǎng)絡(luò)對(duì)比，歸一化平均誤差的均值和失敗率均小于VGG16 模型和輕量化網(wǎng)絡(luò)MobileNetV2 模型。

3）根據(jù)魚體表面特征點(diǎn)提取魚體形態(tài)特征值構(gòu)建魚體特征向量，采用Fisher 判別分析進(jìn)行淡水魚種類識(shí)別，對(duì)5 種淡水魚種類的識(shí)別準(zhǔn)確率達(dá)到98.0%，單張魚體圖像的平均檢測(cè)時(shí)間為0.368 s，具有較好的實(shí)時(shí)性。

本研究提出了基于改進(jìn)AlexNet 模型的淡水魚特征點(diǎn)檢測(cè)方法，并通過(guò)魚體特征點(diǎn)構(gòu)建魚體特征向量實(shí)現(xiàn)對(duì)淡水魚的種類識(shí)別；同時(shí)該研究方法也可用于其他淡水魚種類識(shí)別、魚體特征參數(shù)檢測(cè)及魚體分割加工裝置研究等方面。