王文成 蔣慧 喬倩 祝捍皓 鄭紅

[摘要]魚類識別在漁業(yè)資源研究、魚類知識科普、水產養(yǎng)殖加工、魚類稀有物種保護等領域有著廣泛的應用前景。為了準確對采集的圖像進行分類識別，提出一種基于Keras深度學習框架的魚類圖像識別算法，以ResNet50為基礎網絡框架，使用混淆矩陣優(yōu)化分類器對圖像的自動分類模型。利用該模型對10種魚類進行分類識別，結果顯示正確識別率達到了93.33%。

[關鍵詞]深度學習;ResNet50網絡;混淆矩陣;Keras框架;魚類圖像識別

[中圖分類號]TP391.41 [文獻標識碼]A

21世紀計算機技術迅速發(fā)展，人工智能滲透到各個領域。 機器視覺是人工智能領域的一個重要分支，它主要用于模仿人類視覺功能的機器，通過對目標圖像進行特征提取并加以分析理解，最終實現(xiàn)目標的分類識別。目前機器視覺技術已經被用到多字體漢字識別、中藥飲片圖像識別、車標識別算法研究等領域。魚類識別在漁業(yè)資源研究、魚類知識科普、水產養(yǎng)殖加工、魚類稀有物種保護、等領域有著廣泛的應用前景。近年來，國內外學者針對基于機器視覺技術在魚類分類識別上的應用進行了諸多的研究，分類識別的方法涉及到基于特征值、相關系數(shù)法、分級分類法、支持向量機、神經網絡等方法。

C.Spampinato等通過利用灰度直方圖的統(tǒng)計矩提取的紋理特征平均正確識別率約為92%。杜偉東等利用基于支持向量機結合聲散射數(shù)據(jù)決策層融合方法，對魚類進行圖像分類識別，準確率在 90%以上。張俊龍等提出基于一種深度學習的海底觀測視頻中魚類識別方法，首先利用背景差分法過濾掉不包含魚類的圖片，對海洋魚類識別準確率的幅度提升了23%。

從已報道的研究結果中可以了解到，在各項分類方法中，特征值識別算法簡單、易于操作，但是識別率不高;相關系數(shù)識別，算法簡潔，識別準確率也較高，但應用范圍窄;分級分類算法運算量太大;支持向量機算法靈活多變，識別率很高，但是存在對大規(guī)模訓練樣本難以實施、而且需要手動選擇特征值問題;相比較來說卷積神經網絡（Convolutional Neural Network， CNN）具備自主學習能力，魯棒性比較好。但CNN需要獲取大量的訓練數(shù)據(jù)，隨著神經網絡層數(shù)的增加，計算復雜度提高，訓練模型的周期增長。隨著網絡的深入，訓練集準確度出現(xiàn)降低現(xiàn)象，影響識別效果和準確性。

基于上述分析，本文提出一種基于Keras深度學習框架的魚類圖像識別算法，使用混淆矩陣（Confusion matrix）清晰的輸出識別數(shù)量，softmax概率分類器輸出識別的準確率，對巴鰹魚、大菱鲆、頜針魚、黑鯛魚、黃鰭鯛、金錢魚、鱸魚、綠鰭魚、銀鯧魚、鯔魚10種魚進行分類 和識別進行探索研究。

1技術路線

Y.Lecun等人提出最初將深度學習應用在目標識別中。在CNN的深度結構中，每個模塊包含卷積層和池化層，這些模塊是逐個堆疊。卷積層共享權重，池化層通過對卷積層的輸出進行采樣來降低下一層的數(shù)據(jù)速率。因此，圖像可以用作直接輸入，繁瑣的特征提取過程得以消除。

1.1 ResNet結構圖

在CNN的深度結構中，隨著網絡層的深入，會出現(xiàn)梯度耗散和梯度爆炸問題，導致訓練集準確率下降。這一問題可以通過殘差網絡解決，使得網絡的性能在深度增加的同時也得以提升。圖1為殘差塊結構圖，其中ResNet包含了兩種映射：一種是身份映射，是指圖1中的曲線，另一種是殘差映射，指的是除了“曲線”之外的部分，所以最終輸出為，身份映射，顧名思義，是指自身，它是x的公式，殘差映射是指“差”，即x，y所以殘差指的是F（x）。

1.2 ResNet50網絡模型

ResNet50中包含了49個卷積層和1個全連階層，其中，第二至第五階段中的ID BLOCK x2代表的是兩個不改變尺寸的殘差塊，CONV BLOCK代表的是添加尺度的殘差塊，每個殘差塊包含三個卷積層，因此有1 + 3×（3+4+6+3） = 49個卷積層，結構如圖2所示。

圖2中的CONV是卷積操作的卷積層，Batch Norm是批量正則化處理，Relu是激活函數(shù)，MAX POOL表示最大池化操作，AVG POOL表示全局平均池化層操作，stage1到stage5表示殘差塊。輸入數(shù)據(jù)的大小為256 × 256 × 3，由于ResNet50神經網絡輸入數(shù)據(jù)大小為224 × 224 × 3，所以需要在輸入數(shù)據(jù)前面進行圖像預處理，把大小不規(guī)格數(shù)據(jù)的裁剪成指定的大小的數(shù)據(jù)，進行歸一化處理，針對整個訓練集圖片，每個通道平均減去訓練集的通道平均值。經過殘差塊的連續(xù)卷積運算后，圖像像素矩陣的通道數(shù)量越來越深，然后通過Flatten圖層將圖像像素Matrix的大小更改為batch_size×2048。最后，圖像像素矩陣大小輸入到完整連接層FC[14]，相應的類別概率由softmax分類器輸出。

1.3? ? softmax分類器和混淆矩陣

分類問題中使用的softmax函數(shù)可以用下面的式（1）表示。

exp（x）是以自然常數(shù)e為底的指數(shù)函數(shù)。假如等式（1）在輸出層中有m個神經元，并且第t個神經元的輸出是，如等式（1）所示，softmax函數(shù)的分子是輸入變量的指數(shù)函數(shù)，分母是所有輸入變量的指數(shù)函數(shù)的和。然而，在計算機上運行上述方程存在一定的缺陷，這就是溢出問題。softmax函數(shù)的實現(xiàn)是執(zhí)行指數(shù)函數(shù)，但此時指數(shù)函數(shù)的值很容易變得很大。所以softmax函數(shù)的實現(xiàn)可以像（2）這樣進行改進，這里的C可以使用任何值，但為了防止溢出，通常使用輸入變量的最大值。

混淆矩陣是除了ROC（Receiver Operating Characteristic）曲線和AUC（Area Under Curve）之外的另一個判斷分類好壞程度的方法。

以下有幾個概念需要先說明：

TP（True Positive）： 真實為0，預測也為0

FN（False Negative）： 真實為0，預測為1

FP（False Positive）： 真實為1，預測為0

TN（True Negative）： 真實為1，預測也為1

precision=：預測為0的準確率;

sensitivity=recall=：真實為0的準確率;

f1score = 2* precision* recall / precision + recall

2? ? 實驗

2.1? ? 實驗平臺

實驗平臺是Keras，一個基于Python語言的深度學習框架。硬件環(huán)境為Inter（R） Xeon（R） Silver 4116 CPU @ 2.10GHz，使用Windows Server 2012 R2 Datacenter服務器，基礎配置為Anaconda，Python3.7版本，Python終端進行了OpenCV、Keras環(huán)境的搭建。

2.2? ? 選用的數(shù)據(jù)集

本文采用的數(shù)據(jù)集是自己手動在網絡上收集的圖片和部分自己拍攝所得，有10種魚類，共有圖片908張，10種魚類圖片如圖3所示。分別為巴鰹魚、大菱鲆、頜針魚、黑鯛魚、黃鰭鯛、金錢魚、鱸魚、綠鰭魚、銀鯧魚、鯔魚，按訓練集807

驗證集101分層采樣，并且采取相同的預處理操作，以保證驗證和測試結果的準確性最后將數(shù)據(jù)分成大小為相同的的批次，方便后續(xù)模型的訓練。

2.3實驗結果分析

在多分類任務中，不適合使用PR曲線和ROC曲線來進行指標評價，但我們仍可以通過混淆矩陣來進行處理?？梢酝ㄟ^matplotlib的matshow（）函數(shù)，分類結果的好壞能直接顯示出來，圖4展示了混淆矩陣的結果。

通過圖4我們可以直觀的看出各種魚的數(shù)量，分別為頜針魚62、鯔魚135、金錢魚90、大菱鲆113、銀鯧魚84、黑鯛魚105、鱸魚101、黃鰭鯛93、綠鰭魚75、巴鰹魚32，通過以上數(shù)據(jù)繪制統(tǒng)計表1。

表1顯示了誤差數(shù)據(jù)的圖像結果，將混淆矩陣的每個值除以相應類別中的圖像總數(shù)。計算出10種魚的f1score分比為頜針魚1.00、鯔魚0.985、金錢魚1.00、大菱鲆1.00、銀鯧魚1.00、黑鯛魚1.00、鱸魚0.99、黃鰭鯛0.877、綠鰭魚0.987、巴鰹魚1.00，通過f1score可以看出分類指標很好。

神經網絡中超參數(shù)的取值對模型的性能有很大的影響.實驗中設定學習率為固定的值0.0001，批次大小為4，訓練集數(shù)據(jù)807，驗證集數(shù)據(jù)101，梯度參數(shù)更新方法采用SGD+momentum，迭代次數(shù)6000次，ResNet50模型經過30epoch訓練，在訓練集上的準確率在99%以上，在驗證集上正確率為93.33%，模型訓練到20epoch時，訓練集上的誤差幾乎降至為零，驗證集上的誤差也降到了0.2以下，驗證集上的平均誤差為0.28，說明該模型收斂速度較快，識別精度高，驗證集上的準確率較高，誤差比較低。并且模型在驗證集上的誤差比訓練機上的誤差低，說明很好的抑制了過擬合，對圖像識別效果較好，ResNet50模型在訓練集和驗證集上的準確率、誤差如圖5所示。

3 結語

本文從深度學習的角度出發(fā)，利用卷積神經網絡在計算機視覺中的優(yōu)勢，提出了一種基于Keras深度學習框架的魚類圖像識別算法，以及使用混淆矩陣實現(xiàn)分類識別精確度。ResNet50卷積神經網絡包含卷積層、批規(guī)范層、池化層、全連接層以及softmax層，采用SGD+momentum優(yōu)化算法對模型參數(shù)進行更新。該模型能夠抑制過擬合，收斂速度較快，訓練時間較短，殘余網絡解決了深度網絡訓練艱難的問題，提高了性能。模型平均準確率為93.33%，模型具有較高的識別精度和魯棒性。該模型不僅可以應用在魚類圖像分類識別中，也可以用于其他動物的圖像分類識別，比如鳥類。

雖然ResNet50模型達到預期的分類識別效果，但是，由于本文采用的數(shù)據(jù)集是自己手動在網絡上收集的圖片和部分自己拍攝所得，背景干擾強度不是很大，而且數(shù)據(jù)集數(shù)量不是很多，以后需要增加更多的圖片數(shù)量進行訓練、驗證，在強背景干擾情況下做出更高的識別精度。

[參考文獻]

[1] Chai W J，Wang L M.Recognition of Chinese characters using deep convolutional neural network[J].Journal of Image and Graphics，2018，23（3）：0410-0417.

[2] 孫鑫，錢會南.基于深度卷積網絡的中藥飲片圖像識別[J].世界科學技術-中醫(yī)藥現(xiàn)代化，2017，19（2）：218-222.

[3] 陳小娥， 楊薇薇.基于深度學習的車標識別算法的研究與實現(xiàn)[J].長春工程學院學報（自然科學版），2017，18（2）：117-120.

[4] 基于機器視覺的大黃魚形態(tài)參數(shù)快速檢測方法[J].集成技術， 2014（5）：45-51.

[5] 涂兵， 王錦萍， 王思成，等.基于背部輪廓相關系數(shù)算法的淡水魚種類識別研究[J].計算機工程與應用，2016，52（16）：162-166.

[6] Hu J，Li D，Duan Q，et al. Fish species classification by color， texture and multi-class support vector machine using computer vision[J]. Computers and Electronics in Agriculture，2012，88（none）：133-140.

[7] 李彥冬， 郝宗波， 雷航. 卷積神經網絡研究綜述[J]. 計算機應用， 2016， 36（9）：2508-2515.

[8] 杜偉東，李海森，魏玉闊，等.基于SVM的決策融合魚類識別方法[J]. 哈爾濱工程大學學報，2015（5）：623-627.

[9] 張俊龍，曾國蓀，覃如. 基于深度學習的海底觀測視頻中魚類的識別方法[J]. 計算機應用，2019，39（2）：72-77.

[10] Lécun Y， Bottou L，Bengio Y，et al. Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998， 86（11）：2278-2324.

[11] 王恒，李霞，劉曉芳，等.基于ResNet50網絡的乳腺癌病理圖像分類研究[J].中國計量大學學報，2019，30（1）：72-77.

[12] 林明旺. 深度學習在魚類圖像識別與分類中的應用[J]. 數(shù)字技術與應用， 2017（4）：96-97.