劉玉耀 彭瓊尹

基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的甌柑病蟲害識別研究

劉玉耀 彭瓊尹

（浙江東方職業(yè)技術(shù)學院 浙江溫州 325000）

傳統(tǒng)的甌柑病蟲害檢測方式主要依靠人工肉眼查看，效率較低，而且需要檢測人員具備豐富的專業(yè)知識。針對這些問題，文章提出了基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的甌柑病蟲害識別方法。首先選取Xception、InceptionResNetV2、MobileNetV2、DenseNet121四種深度卷積模型，然后采用遷移學習策略，將各個模型在PlantVillage數(shù)據(jù)上訓練得到預訓練模型，遷移到甌柑病蟲害識別模型中，并對比各個模型的識別性能。結(jié)果表明：（1）遷移學習能夠大大提高模型的泛化能力，經(jīng)過遷移學習后，4種模型在甌柑病蟲害訓練集和驗證集上的準確率均達到了85%以上，其中Xception遷移模型表現(xiàn)最好，準確率在訓練集和驗證集上分別為99.3%，97.1%；（2）在測試集上，Xception遷移模型的整體性能優(yōu)于其他3種遷移模型，總體測試準確率達到了97.38%，精確率、召回率和F1 Score也均達到了97%以上。綜上所述，Xception遷移模型識別精確率高，實用性強，可為今后甌柑病蟲害防控提供參考。

甌柑病蟲害；卷積神經(jīng)網(wǎng)絡(luò)；遷移學習；PlantVillage；Xception遷移模型

甌柑（BlancocvSuavissima），產(chǎn)于浙江省溫州市甌海區(qū)，是甌海的傳統(tǒng)特產(chǎn)，也是國家地理標志產(chǎn)品之一，在營養(yǎng)和藥用方面均有很高的價值。但甌柑產(chǎn)量容易受到天氣、病害、蟲害等自然因素的影響，其中病蟲害是制約甌柑產(chǎn)量提高的關(guān)鍵性因素[1]。因此，精準、快速識別出甌柑病蟲害并及時提供防治措施，對于有效防控甌柑病蟲害以及提高其總產(chǎn)量極其重要。

傳統(tǒng)的甌柑病蟲害鑒定主要通過人工肉眼檢測，主觀性強，容易造成誤判，并且該方法需要檢測人員具有很強的專業(yè)知識和豐富的經(jīng)驗。近年，隨著深度學習理論的不斷完善和計算機硬件性能的不斷提高，人工智能技術(shù)得到了飛速發(fā)展[2]，使卷積神經(jīng)網(wǎng)絡(luò)在機器視覺、自然語言處理等領(lǐng)域取得的重大突破[3]，很多基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類與識別方法已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域[4]。帖軍等[5]提出一種基于ResNet34模型的融合模型F-ResNet，該模型解決了單一模型中泛化能力弱、魯棒性較差等問題，對自然環(huán)境下柑橘病害識別準確率達到93.6%。馬浚誠等[6]采用了一種復合顏色特征及其檢測方法，構(gòu)建了一個基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識別系統(tǒng)，識別準確率為95.7%。郭陽等[7]對比4種卷積網(wǎng)絡(luò)模型后，選取識別精度較高的YOLOv3算法并引入田間復雜情況下的水稻蟲害識別法，識別準確率大于98%。孫鵬等[8]將注意力機制引入到卷積神經(jīng)網(wǎng)絡(luò)中，構(gòu)建了大豆病蟲害識別模型，識別準確率達到了96.85%，比引入前的卷積神經(jīng)網(wǎng)絡(luò)準確率提高了6.53%。顧興健等[9]提出一種多尺度U網(wǎng)絡(luò)，引入CB模塊將病害特征提取階段與病斑分割階段連接，同時實現(xiàn)番茄葉部病斑分割與病害識別，經(jīng)測試平均像素準確率、平均交并比和頻權(quán)交并比分別達到了86.15%,75.25%和90.27%。黃雙萍等[10]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet構(gòu)建的水稻穗瘟病檢測方法，采用SGD優(yōu)化GoogLeNet模型，在驗證集上水稻穗瘟病識別率達到了92.0%。郭小清等[11]提出一種適用于移動平臺的多尺度識別模型Multi-ScaleAlexNet，該模型大大降低了運行所消耗的內(nèi)存，番茄葉部病害的識別率達到了89.2%。

深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分類識別上的優(yōu)異性能，使其廣泛應(yīng)用于各種領(lǐng)域。然而在實際應(yīng)用場景中，如果想要得到一個高識別率的神經(jīng)網(wǎng)絡(luò)模型，往往需要海量的數(shù)據(jù)作為支撐，而且從中提取特征信息時也會消耗大量的時間和計算資源，這為研究基于深度卷積神經(jīng)網(wǎng)絡(luò)的甌柑病蟲害智能識別技術(shù)增加了難度。遷移學習理論的提出為此類問題提供了解決方法，其思想是把預訓練模型的權(quán)重參數(shù)遷移到新模型中來幫助新模型訓練，從而加速模型收斂，遷移學習能夠避免模型重新學習，有效彌補小數(shù)據(jù)量上出現(xiàn)的過擬合問題，極大程度上縮減模型的學習時間[12]。目前遷移學習在農(nóng)業(yè)領(lǐng)域也取得了快速的發(fā)展，楊紅云[13]等將VGG16模型在圖像數(shù)據(jù)集ImageNet上訓練得到的權(quán)重參數(shù)，遷移到水稻害蟲的識別當中，該模型的平均測試準確率達到了99.05%。林相澤等[14]提出了一種基于遷移學習和Mask R-CNN的稻飛虱圖像分類方法，先利用遷移學習在ResNet50框架上訓練數(shù)據(jù)，然后基于Mask R-CNN分別對水稻飛虱進行分類，平均識別精度達到了0.923。趙立新等[15]改進了AlexNet模型，采用遷移學習策略先在PlantVillage數(shù)據(jù)集訓練取得預訓練模型，經(jīng)過參數(shù)微調(diào)后獲得遷移模型，最終識別率達到了93.50%。

綜上所述，文章以甌柑的瘡痂病、紅蜘蛛、黃龍病、潰瘍病、潛葉娥和炭疽病6種常見的病蟲害為研究對象構(gòu)建數(shù)據(jù)集，在深度學習框架下，分別建立基于Xception、InceptionResNetV2、MobileNetV2、DenseNet121等4種深度卷積神經(jīng)網(wǎng)絡(luò)模型，并結(jié)合遷移學習訓練思想，將PlantVillage數(shù)據(jù)集訓練得到預訓練模型參數(shù)，遷移到甌柑病蟲害識別模型中，通過對比不同模型的識別精度，選取識別效果最佳的甌柑病蟲害識別模型，旨在幫助果農(nóng)減少因病蟲害造成的經(jīng)濟損失，加速甌柑種植業(yè)的發(fā)展。

1 數(shù)據(jù)集

1.1 圖像采集

甌柑在自然生長環(huán)境下的病蟲害有400多種，其中危害嚴重的多達50種。為了方便研究，只選擇較為常見的瘡痂病、紅蜘蛛、黃龍病、潰瘍病、潛葉娥和炭疽病6種病蟲害作為研究對象。甌柑病蟲害數(shù)據(jù)主要來源于兩部分，一部分通過搜索互聯(lián)網(wǎng)圖庫獲取，一部分拍攝于浙江省溫州市大羅山甌柑采摘園。為了能夠獲取最佳圖片數(shù)據(jù)，采用高性能數(shù)碼相機分別在不同角度、不同背景下進行拍攝，最終共獲取樣本數(shù)據(jù)圖片457張；其中瘡痂病65張，潰瘍病76張，炭疽病81張，黃龍病100張，紅蜘蛛60張，潛葉娥75張。圖1為6種不同的甌柑病蟲害圖像。

1.2 數(shù)據(jù)集預處理

甌柑病蟲害發(fā)生是動態(tài)的，在自然條件下很難大量采集，而將模型在源數(shù)據(jù)量較少的情況下進行訓練，很容易發(fā)生過擬合現(xiàn)象，導致識別效果不佳。為了提高模型的泛化能力，避免發(fā)生過擬合情況，本研究使用離線數(shù)據(jù)增強技術(shù)，對源數(shù)據(jù)進行擴充；具體做法是對源數(shù)據(jù)集中的每一張圖片進行隨機旋轉(zhuǎn)、平移、縮放、左右翻轉(zhuǎn)、隨機裁剪、顏色變換、改變亮度、高斯噪聲等相應(yīng)的變化，經(jīng)過數(shù)據(jù)增強后，樣本圖像由原來的457張擴增到4 391張；經(jīng)過增強圖像數(shù)據(jù)處理后的模型，更有能力去應(yīng)對真實場景下的變化。另外，為了方便神經(jīng)網(wǎng)絡(luò)模型的訓練，將1.1中所采集到的6類甌柑病蟲害的圖像整理歸類，分別放入6個子文件夾中；同時，為了提高模型的識別速度、減少算法開銷，將圖片的大小統(tǒng)一調(diào)整為224×224×3像素，在保留病蟲害區(qū)域的同時去除背景、黑邊框等冗余信息。對于小規(guī)模樣本集，為了更準確地反映模型的效能，常見的劃分比例是60%訓練集、20%驗證集、20%測試集，故本研究將擴充后的數(shù)據(jù)集按6:2:2比例劃分成訓練集、驗證集和測試集，分別用于模型的訓練、驗證和測試，詳細分配情況如表1所示。

表1 病蟲害數(shù)據(jù)集分配

2 模型構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是基于人類視覺，通過逐層分級對不同物體進行區(qū)分的理論基礎(chǔ)上提出的一種網(wǎng)絡(luò)結(jié)構(gòu)，主要由輸入層、卷積層、激活函數(shù)、池化層、全連接層和輸出層等多層組成（圖2）。在卷積神經(jīng)網(wǎng)絡(luò)中，原始圖片從輸入層輸入后，經(jīng)卷積、池化等一系列操作，從輸出層輸出所屬類的概率。其中，卷積層作為卷積神經(jīng)網(wǎng)絡(luò)的最核心部分，主要用于輸入圖片的特征提取，每一個神經(jīng)元輸入通過與卷積核進行卷積計算獲取特征信息。卷積計算公式為：

池化層作為卷積神經(jīng)網(wǎng)絡(luò)另一個重要組成部分，主要用于對輸入特征圖的壓縮，特征圖通過平均池化或最大池化進行降維，經(jīng)池化后可以簡化神經(jīng)網(wǎng)絡(luò)的參數(shù)計算量，降低計算資源消耗，提高計算速度，同時還可提高模型的魯棒性。圖片經(jīng)過多次卷積、池化操作后，將圖片特征輸入一至多層的全連接層（圖2），最后輸出層使用Softmax分類函數(shù)輸出所屬類的概率。

圖2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2.2 基于遷移學習的卷積網(wǎng)絡(luò)模型構(gòu)建

深度卷積網(wǎng)絡(luò)在圖像特征提取方面的優(yōu)異表現(xiàn)，使其被廣泛應(yīng)用于圖像分類、目標檢測、圖像分割等方面。因此，本研究采用Xception、InceptionResNetV2、MobileNetV2、DenseNet121四種在ImageNet數(shù)據(jù)集上表現(xiàn)優(yōu)異的深度卷積網(wǎng)絡(luò)來實現(xiàn)甌柑的病蟲害檢測；為了使模型能夠在少量數(shù)據(jù)的情況下依然能夠有效地提取圖片特征信息，結(jié)合遷移學習思想，先在PlantVillage數(shù)據(jù)集上進行預訓獲得4個遷移學習模型，經(jīng)進一步改造后用于甌柑病蟲害檢測。整個遷移卷積網(wǎng)絡(luò)的計算過程如下。

（1）將甌柑病害原始數(shù)據(jù)預處理后，按6:2:2的比例劃分為3部分，一部分為訓練數(shù)據(jù)（主要用于模型的訓練），一部分為驗證數(shù)據(jù)（主要用于模型的調(diào)參），一部分為測試數(shù)據(jù)（主要用于模型的性能評價）。

（2）用與甌柑病蟲害相似度較高的Plant-Village數(shù)據(jù)集對各個模型進行遷移學習，獲得遷移學習模型。

（3）分別去掉各個遷移學習網(wǎng)絡(luò)模型頂部包括輸出層在內(nèi)的全部全連接層，然后使用一組自定義的頂層替代，結(jié)構(gòu)如圖3所示。自定義頂層由一層全局平均池化層+兩層包含2 048個節(jié)點的全連接層（激活函數(shù)為ReLU）+Dropout層+一層包含6個節(jié)點的Softmax輸出層組成。

（4）用圖3中自定義頂層結(jié)構(gòu)替代原來各個遷移學習模型的頂層，對遷移學習模型進行改造。

（5）將上述劃分的訓練數(shù)據(jù)集輸入到改造后的遷移學習模型中，凍結(jié)除自定義頂層外的其它網(wǎng)絡(luò)層的參數(shù)，訓練模型自定義頂層。

（6）將（1）中劃分的測試集數(shù)據(jù)輸入到訓練后的深度遷移學習模型中，對模型的識別率進行測試。

圖3 自定義頂層結(jié)構(gòu)

3 結(jié)果與分析

3.1 基于遷移學習的模型訓練結(jié)果分析

將上述所構(gòu)建的甌柑病蟲害訓練數(shù)據(jù)集和驗證數(shù)據(jù)集隨機打亂，分別輸入到Xception、InceptionResNetV2、MobileNetV2、DenseNet121四個預訓練模型中進行訓練，模型的輸入圖像分辨率均為224×224×3，優(yōu)化算法采用能夠通過動量和自適應(yīng)學習率來加快收斂速度的Adam，選取交叉熵損失函數(shù)，各個模型超參數(shù)的詳細配置如表2所示。在訓練過程中，模型的準確率（acc）和損失值（loss）隨著訓練次數(shù)的增加而不斷變化，其變化直接反映各個模型的訓練情況。各個遷移模型分別在訓練集和驗證集上的值和值的曲線變化情況見圖4。隨著epochs訓練輪數(shù)的增加，各個模型的值不斷的下降，值不斷上升；當訓練次數(shù)達到80輪時，和開始趨于平穩(wěn)，最終經(jīng)過100個epochs的訓練后，各個模型趨于收斂。從綜合模型的準確率和損失函數(shù)變化情況可以看出， Xception預模型在訓練集和驗證集上表現(xiàn)最好，loss值在訓練集上為0.04，在驗證集上為0.13；acc值在訓練集上為99.3%，在驗證集上為97.1%，具有較好的擬合特性。而其余3個預訓練模型在訓練集和驗證集的loss和acc之間的差值均較大，存在一定程度的過擬合現(xiàn)象。

表2 模型超參配置

3.2 基于遷移學習的模型測試結(jié)果分析

為了進一步探究各個模型對甌柑病蟲害的識別效果，使用2.2節(jié)劃分的甌柑病蟲害測試集對模型進行測試，分別建立了Xception、InceptionResNetV2、MobileNetV2、DenseNet121遷移模型的分類混淆矩陣，如圖5所示。從混淆矩陣可以看出，Xception遷移模型對6類病蟲害識別錯誤數(shù)明顯低于其它3個遷移模型，預測值與實際值吻合度高，識別效果最好，尤其在瘡痂病、炭疽病、黃龍病和紅蜘蛛這4類病蟲害上表現(xiàn)最好，同時在相對比較難識別的潰瘍病和潛葉娥上也有較好的表現(xiàn)。

A. 各模型訓練損失值曲線；B. 各模型驗證損失值曲線；C. 各模型訓練準確率曲線；D. 各模型驗證準確率曲線。

A.Xception；B.InceptionResNetV2；C.MobileNetV2；D.DenseNet121。

進一步對比分析4種遷移模型的準確率（Accuracy）、精確率(Precision)、召回率(Recall)、F1 Score，結(jié)果如表3所示。從表3可以看出，Xception遷移模型的準確率、精確率、召回率和F1 Score均高于其它3種遷移模型，參數(shù)值分別為97.39%、99.43%、97.01%、98.19%，整體性能表現(xiàn)優(yōu)異，泛化能力好。同時，對比與Xception遷移模型在準確率、精確率、召回率和F1 Score上比較接近的InceptionResNetV2遷移模型，兩模型可訓練的參數(shù)總量接近，但在模型大小方面InceptionResNetV2遷移模型是Xception遷移模型的2倍多；因此，訓練需要占用更多計算資源、耗費更多時間，而且InceptionResNetV2遷移模型檢測完成所有測試集消耗16 s，Xception遷移模型卻只消耗8 s。綜上所述，本研究選取Xception遷移網(wǎng)絡(luò)模型作為甌柑病蟲害的檢測與識別算法，實現(xiàn)對甌柑病蟲害的自動、準確、快速、即時診斷。

表3 各個遷移模型在測試集上性能對比

4 結(jié)論

文章以常見的6種甌柑病蟲害為研究對象，提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的甌柑病蟲害自動識別技術(shù)，先選取Xception、InceptionResNetV2、MobileNetV2、DenseNet121四種在ImageNet數(shù)據(jù)集上表現(xiàn)優(yōu)異的深度神經(jīng)網(wǎng)絡(luò)，使用與甌柑病蟲害數(shù)據(jù)特征較為相似的PlantVillage數(shù)據(jù)集對各個模型進行遷移學習，獲得遷移模型；然后利用所建立的甌柑病蟲害數(shù)據(jù)集對4種遷移模型進行訓練和測試，得出以下研究結(jié)論：

（1）各個遷移模型在訓練集和驗證集上的對比分析結(jié)果表明，基于PlantVillage數(shù)據(jù)集的遷移學習大大提高了模型的泛化能力，使得模型能夠在源數(shù)據(jù)較少的情況下獲得較好的識別效果。經(jīng)過遷移學習后，4種模型在甌柑病蟲害訓練集和驗證集上的準確率均達到了85%以上，其中Xception遷移模型表現(xiàn)最好，acc值在訓練集和驗證集上分別為99.3%，97.1%。

（2）各個遷移模型在測試集上的對比分析結(jié)果表明，Xception遷移模型的整體性能優(yōu)于其它3種遷移模型，針對瘡痂病、炭疽病、黃龍病和紅蜘蛛這4類病蟲害的識別效果最好，總體測試準確率達到了97.38%，精確率、召回率和F1 Score也均達到了97%以上。

綜上，本研究構(gòu)建的Xception遷移模型可用于甌柑病蟲害的快速識別，所提供的理論基礎(chǔ)和技術(shù)可以推廣應(yīng)用到其他農(nóng)作物上。但模型仍然需要進一步優(yōu)化改進，以降低復雜多變的自然條件對識別精度的影響，如天氣、角度、光線等，這些因素可能會導致模型在實際應(yīng)用中識別效果不理想；在以后的研究中，將針對此類不足進行優(yōu)化研究。

[1] 魏開炬, 胡玉彪. 甌柑主要病蟲害的防治[J]. 特種經(jīng)濟動植物, 2009, 12(11): 53-54.

[2] Andreas Kamilaris, Francesc X, Prenafeta-Boldú. Deep learning in agriculture: A survey [J]. Computers and Electronics in Agriculture , 2018, 147: 70-90.

[3] Najafabadi M M, Villanustre F, Khoshgoftaar T M, et al. Deep learning applications and challenges in big data analytics[J]. Journal of Big Data, 2015, 2(1): 1.

[4] 邊柯橙, 楊海軍, 路永華. 深度學習在農(nóng)業(yè)病蟲害檢測識別中的應(yīng)用綜述[J]. 軟件導刊, 2021, 20(3): 26-33.

[5] 帖軍, 羅均, 鄭祿, 等. 基于改進殘差網(wǎng)絡(luò)的柑橘病害識別[J]. 中南民族大學學報(自然科學版), 2021, 40(6): 621-630.

[6] 馬浚誠, 杜克明, 鄭飛翔, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識別系統(tǒng)[J]. 農(nóng)業(yè)工程學報, 2018, 34(12): 186- 192.

[7] 郭陽, 許貝貝, 陳桂鵬, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的水稻蟲害識別方法[J]. 中國農(nóng)業(yè)科技導報, 2021, 23(11): 99-109.

[8] 孫鵬, 陳桂芬, 曹麗英. 基于注意力卷積神經(jīng)網(wǎng)絡(luò)的大豆害蟲圖像識別[J]. 中國農(nóng)機化學報, 2020, 41(2): 171-176.

[9] 顧興健, 朱劍峰, 任守綱, 等. 多尺度U網(wǎng)絡(luò)實現(xiàn)番茄葉部病斑分割與識別[J]. 計算機科學, 2021, 48(S2): 360- 366+381.

[10] 黃雙萍, 孫超, 齊龍, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測方法[J]. 農(nóng)業(yè)工程學報, 2017, 33(20): 169-176.

[11] 郭小清, 范濤杰, 舒欣. 基于改進Multi-Scale AlexNet的番茄葉部病害圖像識別[J]. 農(nóng)業(yè)工程學報, 2019, 35(13): 162-169.

[12] Eihan Wen, Ssiprsad Ravishankar, Yoram Bresler. Structured, Over complete Sparsifying Transform Learning with Convergence Guarantees and Applications[J]. International Journal of Computer Vision, 2015, 114(2-3).

[13] 楊紅云, 肖小梅, 黃瓊, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學習的水稻害蟲識別[J]. 激光與光電子學進展, 2022, 59（16）：1615004-1-8.

[14] 林相澤, 朱賽華, 張俊媛, 等. 基于遷移學習和Mask R-CNN的稻飛虱圖像分類方法[J]. 農(nóng)業(yè)機械學報, 2019, 50(7): 201-207.

[15] 趙立新, 侯發(fā)東, 呂正超, 等. 基于遷移學習的棉花葉部病蟲害圖像識別[J]. 農(nóng)業(yè)工程學報, 2020, 36(7): 184-191.

Research on Diseases and Insect Pests Identification of OuGan Based on Convolution Neural Network and Transfer Learning

LIU Yuyao PENG Qiongyin

(Zhejiang Dongfang Polytechnic, Wenzhou, Zhejiang 325000, China)

The traditional method of detecting diseases and insect pests of OuGan (a mandarin orange) mainly relies on manual inspection, which is inefficient and requires rich professional knowledge of the inspector. In order to solve these problems, this paper proposed a method of identifying diseases and insect pests of OuGan based on convolutional neural network and migration learning strategy. Firstly, four convolutional models were selected such as Xception, InceptionResNetV2, MobileNetV2, and DenseNet121. Then, the migration learning strategy was adopted to train each models on the Plantvillage data to obtain the pre-trained model, which was migrated to the pests and diseases identification model of OuGan. Finally, the recognition performance of each model was compared.The result showed that: 1) Migrating learning strategy can greatly improve the generalization ability of the model. After migration, the accuracy of pre-trained models were above 85% on the training set and validation set. Among them, the pre-trained Xception model had the best identification effect and the accuracy rate was 99.3% on the training set and 97.1% on the validation set. 2) On the test set, the pre-trained Xception model was better than the other pre-trained models. The overall test accuracy was 97.38% and the accuracy, recall and F1 Score also were above 97%. In conclusion, the pre-trained Xception model had high recognition accuracy and strong practicability, which could provide reference for future pest control of OuGan.

OuGan pests and diseases; convolution neural network; transfer learning; PlantVillage; pre-trained Xception

S436.66，TP183

A

10.12008/j.issn.1009-2196.2022.09.012

2022-05-06；

2022-05-16

溫州市科技計劃項目（No.N20210018）。

劉玉耀（1990—），男，碩士，軟件設(shè)計師，主要研究方向為人工智能、數(shù)據(jù)庫，E-mail：355678428@qq.com。

（責任編輯 林海妹）