駱潤玫 王衛(wèi)星,2

基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究綜述*

駱潤玫1王衛(wèi)星1,2

（1.華南農業(yè)大學電子工程學院/人工智能學院，廣東 廣州 510642 2.廣東省農情信息監(jiān)測工程技術中心，廣東 廣州 510642）

植物病蟲害嚴重影響植物的生長與生產，對其進行及時精準的識別與管控，能有效提升植物的產量和質量。近年來，深度學習發(fā)展迅猛，卷積神經(jīng)網(wǎng)絡作為深度學習的代表算法之一，具有較好的圖像分類和識別能力，廣泛應用于植物病蟲害的識別研究。對近幾年基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究進行綜述；簡要介紹幾種基礎網(wǎng)絡的模型結構、網(wǎng)絡結構優(yōu)化方法、卷積神經(jīng)網(wǎng)絡與其他方法的結合應用等；探討目前基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究的熱點難點，并對其應用前景進行展望。

卷積神經(jīng)網(wǎng)絡；深度學習；病蟲害識別；模型優(yōu)化

0 引言

植物病蟲害是影響植物生長與生產的主要因素之一，及時發(fā)現(xiàn)并識別植物病蟲害，對其進行有效管控，能減少生產損失，提升植物的產量和質量[1]。傳統(tǒng)的植物病蟲害識別方法需要人工觀察作物病癥并鑒定識別，耗費大量時間，且相關的專業(yè)鑒定需要高額費用[2]。

為解決這一問題，基于機器學習的植物病蟲害識別研究受到廣泛關注。但機器學習算法仍需手動進行特征提取，操作繁瑣且提取抽象特征較難，算法識別精度難以提升。此后，具有強大圖像處理能力的深度學習發(fā)展迅猛[3]，并廣泛應用于植物病蟲害的識別研究[4]。深度學習方法使用的卷積神經(jīng)網(wǎng)絡模型較多，這些網(wǎng)絡模型在大規(guī)模識別任務中，已能實現(xiàn)優(yōu)于相關專家的識別準確度[5]。

隨著深度學習的快速發(fā)展，網(wǎng)絡結構也不斷優(yōu)化，基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究，具有識別準確性高、魯棒性強、泛化性好等特點[6]；但仍存在一些挑戰(zhàn)，如深度卷積神經(jīng)網(wǎng)絡的計算參數(shù)量大，需進行大量的實驗以確定最優(yōu)的網(wǎng)絡結構。此外，高效的深度學習算法仍依賴大規(guī)模的數(shù)據(jù)集，在實際應用中需獲取足夠大的樣本數(shù)據(jù)集，以提高識別準確率[7]。

現(xiàn)有的一些研究方法，在一定程度上解決了以上問題。如利用遷移學習方法，節(jié)約網(wǎng)絡訓練時間，減少計算資源浪費[8]；將淺層的卷積神經(jīng)網(wǎng)絡與機器學習算法結合，在保障識別準確率的前提下降低網(wǎng)絡結構復雜程度[2]等。本文對近年來基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究進行綜述，分別從卷積神經(jīng)網(wǎng)絡模型、網(wǎng)絡結構優(yōu)化和卷積神經(jīng)網(wǎng)絡與其他方法的結合等3個方面進行介紹，并展望未來的發(fā)展趨勢。

1 卷積神經(jīng)網(wǎng)絡模型

基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究中，常用的基礎網(wǎng)絡有AlexNet[9]、VGGNet[10]、Inception[11]和ResNet[12]。

1.1 AlexNet網(wǎng)絡

AlexNet網(wǎng)絡是2012年ILSVRC[13]比賽的冠軍模型，包括5個卷積層、3個匯聚層和3個全連接層，結構如圖1所示。

該網(wǎng)絡使用數(shù)據(jù)增強提升模型準確率，利用Dropout防止過擬合，用ReLU代替飽和非線性函數(shù)，降低模型的計算復雜度，提升訓練速度[14]。由于網(wǎng)絡規(guī)模超出當時單個GPU的內存限制，該模型將網(wǎng)絡結構拆成2部分，分別放在2個GPU上進行并行訓練，不僅解決了GPU的內存限制問題，還提高了訓練速度[9]。隨著深度學習的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡的模型結構越來越復雜，網(wǎng)絡層數(shù)也不斷增加，使用多個GPU進行并行訓練的優(yōu)勢也更加明顯。AlexNet網(wǎng)絡展示了卷積神經(jīng)網(wǎng)絡強大的圖像識別能力，推進了深度學習的發(fā)展。

圖1 KRIZHEVSKY等設計的AlexNet網(wǎng)絡模型結構[9]

1.2 VGGNet網(wǎng)絡

VGGNet網(wǎng)絡模型結構比較簡單，由卷積層堆疊模塊、最大池化層以及全連接層等構成，結構如圖2所示。

圖2 SIMONYAN等設計的VGGNet網(wǎng)絡模型結構[10]

1.3 Inception網(wǎng)絡

Inception網(wǎng)絡由多個Inception模塊和少量匯聚層堆疊而成。Inception模塊能改進網(wǎng)絡內部計算資源的利用率，進一步提升網(wǎng)絡性能，結構如圖3所示，其中圖3(b)為圖3(a)的改進結構。

圖3 SZEGEDY等設計的2種Inception模塊結構[11]

Inception網(wǎng)絡有多個版本，最早的InceptionV1版本即著名的GoogLeNet網(wǎng)絡，是ILSVRC 2014的冠軍模型，由9個Inception模塊和5個匯聚層以及其他卷積層和全連接層構成，共22層網(wǎng)絡。該網(wǎng)絡在計算需求適度增加時能獲得顯著的性能提升，訓練速度比VGGNet網(wǎng)絡更快[11]。InceptionV3網(wǎng)絡用多層的小卷積核替換大卷積核，減少卷積計算量和計算參數(shù)，還引入標簽平滑和批量歸一化等優(yōu)化方法訓練[16]。Inception網(wǎng)絡有效解決了由于網(wǎng)絡加深、加寬所造成的計算資源消耗問題，為卷積神經(jīng)網(wǎng)絡結構的發(fā)展提供了新思路。

1.4 ResNet網(wǎng)絡

ResNet網(wǎng)絡是ILSVRC 2015的冠軍模型。該網(wǎng)絡提出殘差結構，通過給非線性的卷積層增加直連邊的方法提高信息傳播效率，并使高層的梯度能直接回傳，解決深層網(wǎng)絡梯度消失的問題，結構如圖4所示。

圖4 HE等設計的殘差網(wǎng)絡結構[12]

該殘差結構直接將輸入信息繞道傳到輸出，保護了信息的完整性，整個網(wǎng)絡只需學習輸入、輸出的差別部分，有效簡化了網(wǎng)絡訓練。ResNet網(wǎng)絡作者對不同深度的ResNet網(wǎng)絡性能進行評估，驗證了通過大幅提升網(wǎng)絡結構深度可有效提升網(wǎng)絡識別精度[12]。ResNet網(wǎng)絡的拓展性好，可直接用于其他網(wǎng)絡，且網(wǎng)絡訓練速度快、易優(yōu)化。目前，許多研究者對ResNet網(wǎng)絡進行改進，出現(xiàn)很多優(yōu)秀的基于殘差結構的卷積神經(jīng)網(wǎng)絡[17]。

1.5 對比與總結

本文對常用基礎卷積神經(jīng)網(wǎng)絡結構的特點、網(wǎng)絡性能改進方法進行簡單對比，結果如表1所示。

表1 常用基礎的卷積神經(jīng)網(wǎng)絡結構對比結果

這些基礎卷積神經(jīng)網(wǎng)絡在實際應用時仍存在局限性，面對過于復雜的圖像時，網(wǎng)絡模型無法快速、準確地識別圖像特征[23]。在實際應用研究中，需根據(jù)實際情況對以上基礎網(wǎng)絡結構進行相應優(yōu)化，以提高網(wǎng)絡的準確率、實用性、經(jīng)濟性。

2 網(wǎng)絡結構優(yōu)化

卷積神經(jīng)網(wǎng)絡具有自動提取圖像特征、泛化能力強、識別準確率高等特點，廣泛應用于復雜視覺圖像處理任務[24-25]。在植物病蟲害識別研究中，國內外學者在卷積神經(jīng)網(wǎng)絡結構優(yōu)化上做了許多有益的探索，取得很多研究成果[26-27]。

2.1 網(wǎng)絡結構精煉與提速

許多研究者對卷積神經(jīng)網(wǎng)絡結構進行優(yōu)化改進，在提高網(wǎng)絡準確率的同時，有效精簡網(wǎng)絡結構、提高網(wǎng)絡訓練速度。HAN等為解決卷積神經(jīng)網(wǎng)絡難以部署在有限硬件資源嵌入式系統(tǒng)的問題，引入“深度壓縮”方法，包括減少參數(shù)數(shù)量、權重量化和霍夫曼編碼3個步驟，對網(wǎng)絡結構進行壓縮，使其能在有限的硬件資源上得以利用[28]，如圖5所示。

圖5 HAN設計的“深度壓縮”方法[28]

孫俊等將批量歸一化與全局池化相結合，對卷積神經(jīng)網(wǎng)絡模型進行改進，提高模型的識別精度與魯棒性[29]。YUAN等將遷移學習與2種深度學習結構AlexNet和VGGNet結合使用，解決可用標簽數(shù)據(jù)有限的問題，并引入批量歸一化與干擾標簽技術，有效減少訓練的迭代次數(shù)，避免過擬合問題[30]。GINGH等受AlexNet網(wǎng)絡的啟發(fā)，提出具有更高分類精度的多層卷積神經(jīng)網(wǎng)絡，利用非線性激活函數(shù)、Dropout、最大池化層等方法提高網(wǎng)絡性能[31]。HANG等針對傳統(tǒng)卷積神經(jīng)網(wǎng)絡訓練時間長、模型參數(shù)多等問題，將初始模塊結構、擠壓激勵模塊和全局池化層相結合，將卷積層的特征數(shù)據(jù)進行多尺度融合，同時采用全局平均池化層替代全連接層，有效減少模型參數(shù)數(shù)量，提高網(wǎng)絡模型識別精度[32]。LV等基于AlexNet網(wǎng)絡，引入批量歸一化、PRelu激活函數(shù)、優(yōu)化器等提高網(wǎng)絡性能，結合拓展卷積和多尺度卷積提高網(wǎng)絡特征提取能力，并從不同角度驗證了特征增強算法能有效提高網(wǎng)絡識別能力[33]。CHEN等利用帶有Inception模塊的VGGNet增強模型，研究植物葉片病害識別的深度卷積神經(jīng)網(wǎng)絡的遷移學習，考慮先從典型的海量數(shù)據(jù)集學習預訓練模型，再遷移到自己的數(shù)據(jù)訓練特定任務，實驗結果表明該方法能有效改進網(wǎng)絡識別性能[34]。AI等設計一種混合網(wǎng)絡模型Inception-ResNet-v2，不僅含有殘差結構的深度優(yōu)勢，還保留Inception結構的特點，提升網(wǎng)絡識別精度，有效應用于植物病蟲害的識別[35]。

2.2 網(wǎng)絡結構優(yōu)化與數(shù)據(jù)增強技術

數(shù)據(jù)增強技術可增加數(shù)據(jù)的多樣性，將數(shù)據(jù)增強技術與卷積神經(jīng)網(wǎng)絡結合，可有效提高網(wǎng)絡識別性能。王敬賢等針對小樣本訓練深度網(wǎng)絡產生的過擬合問題，研究基于淺層卷積神經(jīng)網(wǎng)絡模型的識別方法，并利用數(shù)據(jù)增強技術擴充數(shù)據(jù)集，將深度卷積神經(jīng)網(wǎng)絡模型與基于瓶頸層特征提取的遷移學習技術相結合，提升網(wǎng)絡模型識別性能[36]。JIANG等利用數(shù)據(jù)增強技術和圖像注釋技術構建蘋果葉病數(shù)據(jù)集，通過引入Inception結構和Rainbow concatenation連接方式，提出基于深度神經(jīng)網(wǎng)絡的蘋果葉病檢測模型，檢測速度快、準確性高[37]。GEETHARAMANI等提出一種基于深度卷積神經(jīng)網(wǎng)絡的植物葉片病害識別模型，采用圖像翻轉、伽馬校正、噪聲注入、主成分分析顏色增強、旋轉和縮放6種數(shù)據(jù)增強方法，與流行的遷移學習方法進行比較，驗證該模型性能更優(yōu)[38]。ARUN等利用基于圖像處理和深度學習的圖像增強技術對植物葉片病害數(shù)據(jù)集進行增強，并利用遷移學習技術研究數(shù)據(jù)增強技術性能，實驗結果表明，使用生成對抗網(wǎng)絡（GAN）和神經(jīng)樣式轉移（NST）技術的增強數(shù)據(jù)集獲得更高準確率[39]。ZENG等利用深度卷積生成對抗網(wǎng)絡將原始訓練數(shù)據(jù)集增加了2倍，采用Incep- tion_v3模型進行識別，平均準確率為92.60%，比利用原始訓練數(shù)據(jù)集訓練的識別準確率提高近20%[40]。WU等提出一種深度卷積生成對抗網(wǎng)絡的數(shù)據(jù)增強方法，有效擴大數(shù)據(jù)集、增加特征多樣性，具有較好的泛化能力，top-1的平均識別準確率可達94.33%[41]，主要流程如圖6所示。

圖6 WU等提出的生成對抗網(wǎng)絡的主要流程[41]

2.3 引入注意力機制的網(wǎng)絡結構

許多研究者發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡與注意力機制相結合，能有效提高網(wǎng)絡性能。NIE等提出一種新的注意力機制應用于病害檢測的特征提取網(wǎng)絡，與傳統(tǒng)的病害檢測網(wǎng)絡相比，性能更好，在4個類別的目標檢測中為77.54%，草莓黃萎病檢測的準確率為99.95%[42]。侯金秀等針對多種植物葉片病害識別提出一種融合通道信息注意力網(wǎng)絡模型，利用以殘差結構為主的基礎網(wǎng)絡提取特征，并將提取的特征通過注意力網(wǎng)絡融合，對病害特征重新標定，在交叉熵函數(shù)中添加約束條件加快模型收斂速度[43]。融合后的網(wǎng)絡模型識別準確性比Resnet18、VGG_11和VGG_16網(wǎng)絡都高，且模型的復雜度僅為對比實驗中最優(yōu)模型的一半。ZENG等提出一種自注意卷積神經(jīng)網(wǎng)絡，提高了網(wǎng)絡模型的抗干擾能力和魯棒性，并討論了自注意網(wǎng)絡的位置、通道大小、網(wǎng)絡數(shù)量等對識別性能的影響，為今后的研究提供啟示[44]。冷佳旭等通過特征融合、上下文學習和注意力機制等方法，提高小目標檢測和識別性能，為小目標檢測和識別的研究提供思路[45]。DAI等提出一種具有雙重注意力和拓撲融合機制的生成對抗網(wǎng)絡，有效將不清晰圖像轉化為清晰的高分辨率圖像，如圖7所示，提高農業(yè)病害圖像分類的準確率，并使用權值共享方案減少參數(shù)數(shù)量，提高網(wǎng)絡性能[46]。同年，DAI等又提出具有二次注意力和殘差密集融合機制的生成對抗網(wǎng)絡，并使用該網(wǎng)絡轉換低分辨率害蟲圖像，以提高分類準確率[47]。

圖7 DAI等提出的DATFGAN網(wǎng)絡生成的超分辨率圖像[46]

2.4 針對特定環(huán)境的網(wǎng)絡結構優(yōu)化

卷積神經(jīng)網(wǎng)絡結構優(yōu)化還可從其他方面進行探索。LI等為構建實時作物病蟲害視頻檢測系統(tǒng)，提出一種基于深度學習的自定義視頻檢測系統(tǒng)，可在視頻中檢測病蟲害，并驗明其網(wǎng)絡模型比現(xiàn)有的其他卷積神經(jīng)網(wǎng)絡模型更適合于視頻檢測病蟲害[48]。NAZKI等提出一種在無監(jiān)督圖像翻譯環(huán)境中使用的生成式對抗網(wǎng)絡管道，以改善植物病害數(shù)據(jù)集中數(shù)據(jù)分布學習，將分類決策邊界向更好的性能轉移，并優(yōu)化自然圖像的特征激活，與經(jīng)典的數(shù)據(jù)增強方法（水平翻轉圖像、垂直翻轉圖像、縮放和旋轉等）相比，該方法能有效提高卷積神經(jīng)網(wǎng)絡的分類精度[49]。蒲秀夫等針對卷積神經(jīng)網(wǎng)絡運行時間長、參數(shù)量大的問題，提出基于二值化卷積神經(jīng)網(wǎng)絡模型的植物病蟲害識別方法，試驗以VGG16模型為基準，采用深度網(wǎng)絡模型對植物病蟲害進行分類，結果表明二值化模型的計算速度近似原模型的2倍，且在分割數(shù)據(jù)集下測試的平均識別準確率達到96.8%[50]。DARWISH等提出一種基于卷積神經(jīng)網(wǎng)絡和正交學習粒子群優(yōu)化算法的植物病害診斷優(yōu)化模型，采用正交學習粒子群算法查找超參數(shù)的最佳值，并優(yōu)化這些超參數(shù)的數(shù)量，提高網(wǎng)絡訓練速度和識別效果[51]。YUAN等針對傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡方法對作物病葉圖像分割精度低的問題，提出一種面向空間金字塔的編碼器-解碼器級聯(lián)卷積神經(jīng)網(wǎng)絡，對不同條件下的作物病葉圖像進行實驗，結果表明，該方法具有更高的分割精度，能有效提高作物病害識別的準確率[52]。

2.5 小結

卷積神經(jīng)網(wǎng)絡結構優(yōu)化的相關研究概述如表2所示。

表2 卷積神經(jīng)網(wǎng)絡結構優(yōu)化的相關研究概述

根據(jù)實際研究需求，對卷積神經(jīng)網(wǎng)絡結構進行優(yōu)化，提升網(wǎng)絡模型識別性能。但隨著網(wǎng)絡性能的提升，網(wǎng)絡結構的復雜程度、部署在嵌入式設備所需的硬件資源也相應增加。因此，如何在保障網(wǎng)絡性能的同時盡可能降低網(wǎng)絡結構的復雜程度、硬件需求等問題仍需進一步研究。

3 卷積神經(jīng)網(wǎng)絡與其他方法結合

近年來，在植物病蟲害識別的應用研究中，將卷積神經(jīng)網(wǎng)絡與其他方法相結合，不僅提高網(wǎng)絡識別精度，還提高研究方法的實用性、便捷性和經(jīng)濟性。

3.1 卷積神經(jīng)網(wǎng)絡與機器學習技術結合

機器學習技術常用于簡單的淺層結構，能捕獲數(shù)據(jù)中的信息并進行相應的預測與決策[53]。為有效簡化卷積神經(jīng)網(wǎng)絡結構，研究人員對卷積神經(jīng)網(wǎng)絡與機器學習技術的結合進行研究，并取得一定成果。秦豐等基于卷積神經(jīng)網(wǎng)絡提取病斑圖像特征，建立病害識別支持向量機模型，利用卷積神經(jīng)網(wǎng)絡與支持向量機的結合，降低模型復雜性[54]；但該研究的識別精度相對較差。后續(xù)LI等對卷積神經(jīng)網(wǎng)絡與支持向量機的結合進行進一步研究，提出2種將淺層卷積神經(jīng)網(wǎng)絡與傳統(tǒng)機器學習算法相結合的方法，總體流程如圖8所示。

圖8 LI等提出的病害檢測方法總體流程[2]

利用遷移學習從VGG-16模型摘取淺層神經(jīng)網(wǎng)絡進行特征提取，利用支持向量機與隨機樹分別進行圖像識別與分類，保障識別精度的同時降低模型復雜性，降低硬件要求與成本[2]。JIANG等提出一種將卷積神經(jīng)網(wǎng)絡與支持向量機相結合的網(wǎng)絡模型，利用實驗獲得最優(yōu)的特征組合和模型參數(shù)，提高模型的收斂速度與識別精度，比直接使用CNN進行特征提取和病害識別的傳統(tǒng)模型精度更高[7]。HAIDER等提出一種使用決策樹和不同深度學習模型識別和分類小麥病害的通用方法，決策樹的準確率提高了28.5%，卷積神經(jīng)網(wǎng)絡的準確率提高了4.3%（達到97.2%），并在基于知識的系統(tǒng)中形成小麥病害的決策規(guī)則[55]。

3.2 卷積神經(jīng)網(wǎng)絡與高光譜成像技術結合

卷積神經(jīng)網(wǎng)絡與高光譜成像技術的結合，為卷積神經(jīng)網(wǎng)絡的發(fā)展與研究提供了新思路。桂江生等提出一種基于卷積神經(jīng)網(wǎng)絡模型的大豆花葉病害的診斷識別方法，根據(jù)高光譜圖像信息提取并計算感興趣區(qū)域的平均光譜值，建立基于高光譜圖像的CNN模型；研究表明，該模型能更精確地檢測初期大豆花葉病[56]。NAGASUBRAMANIAN等提出一種可直接同化高光譜數(shù)據(jù)的3D深卷積神經(jīng)網(wǎng)絡，利用顯著圖的概念，視化最敏感的像素位置，還可用于分類近紅外區(qū)域的最敏感波長；該模型不僅具有較高的識別準確性，還提供模型預測的生理學洞見，為后續(xù)的研究提供思路[57]。WEI等利用如圖9所示的高光譜成像系統(tǒng)進行圖像采集，使用卷積神經(jīng)網(wǎng)絡模型提取可見光-近紅外范圍內的光譜特征，用以估計玉米幼苗的冷害，卷積神經(jīng)網(wǎng)絡的冷損傷檢測結果與化學法檢測結果的相關系數(shù)為0.8219，證明了基于卷積神經(jīng)網(wǎng)絡建模的光譜分析可為玉米幼苗冷害檢測提供參考[58]。MA等利用2株感染了黑斑的玫瑰的光譜特征和圖像特征訓練卷積神經(jīng)網(wǎng)絡模型，采用多重散射校正和標準正態(tài)變量方法對光譜數(shù)據(jù)進行預處理，并對高光譜圖像進行裁剪、中值濾波和二值化預處理，實驗結果表明，基于特征融合的卷積神經(jīng)網(wǎng)絡模型具有更高精度，基于卷積神經(jīng)網(wǎng)絡的光譜分析能夠檢測出玫瑰黑斑，可為其他植物病害的檢測提供參考，具有良好的研究意義和發(fā)展前景[59]。李光浩等發(fā)明一種小麥赤霉病的高光譜無損檢測方法，采用卷積神經(jīng)網(wǎng)絡模型同時處理小麥患病籽粒的光譜信息和空間信息，利用小麥籽粒高光譜特征波段、RGB通道的數(shù)據(jù)集進行模型訓練，可顯著提高小麥赤霉病識別的準確率[60]。

圖9 WEI等提出的高光譜成像系統(tǒng)整體結構[58]

3.3 卷積神經(jīng)網(wǎng)絡與移動硬件設備結合

為提高卷積神經(jīng)網(wǎng)絡的實用性和便攜性，許多學者研究在移動硬件設備上使用的輕量級卷積神經(jīng)網(wǎng)絡。HUANG等利用無人機采集圖像，同時進行地面調查，模擬和地理配準采集的多光譜圖像，采用支持向量機分類場景，并利用轉移卷積神經(jīng)網(wǎng)絡識別螨蟲侵害，識別準確率較高，該方法驗證了使用無人機的多光譜圖像進行螨蟲感染檢測研究的可行性[61]。為實現(xiàn)手機端的植物病害葉片檢測，劉洋等對MobileNet和Inception V3兩種輕量級卷積神經(jīng)網(wǎng)絡進行遷移學習，得到2種作物病害分類模型，將這2種分類模型分別移植到Android手機端；實驗結果表明，這2種模型的平均識別率較高，且MobileNet相比Inception V3在手機端占用的內存更小，運算更快，更適合在手機端進行植物病害識別應用[62]。AKIYAMA等提出卷積神經(jīng)網(wǎng)絡的移動應用程序，該程序對比VGG19、MobileNet和MobileNetV2三個卷積神經(jīng)網(wǎng)絡模型，采用MobileNetV2的植物識別應用程序平均1為0.992，表明該網(wǎng)絡性能較高、實用性較好，該應用為植物病蟲害識別研究提供了新思路[63]。周惠汝等建立一個共享水稻病害圖像數(shù)據(jù)庫，并開發(fā)一款手機軟件輔助農戶識別病害以及制定施藥策略；但由于圖像數(shù)據(jù)集較小，存在過擬合現(xiàn)象，識別效果相對較差[64]。MISHRA等提出一種基于深度卷積神經(jīng)網(wǎng)絡的玉米葉片病害實時識別方法，使用由專用卷積神經(jīng)網(wǎng)絡硬件塊組成的英特爾Movidius神經(jīng)計算棒，將預先訓練好的深度卷積神經(jīng)網(wǎng)絡模型部署到樹莓派3上，模型準確率達88.46%，驗證了該方法的可行性[65]。

3.4 小結

將卷積神經(jīng)網(wǎng)絡與其他方法相結合，并對深度神經(jīng)網(wǎng)絡進行重構和壓縮[66]，進而減少網(wǎng)絡參數(shù)量和計算量，使其能更廣泛應用于各場景。對卷積神經(jīng)網(wǎng)絡的結構性剪枝優(yōu)化的研究，是卷積神經(jīng)網(wǎng)絡能有效與其他方法相結合使用的前提，也是未來研究發(fā)展趨勢。卷積神經(jīng)網(wǎng)絡與其他方法的結合應用如表3所示。

表3 卷積神經(jīng)網(wǎng)絡與其他方法的結合應用

4 總結

隨著深度學習的發(fā)展，利用卷積神經(jīng)網(wǎng)絡自動提取圖像特征，已成為植物病蟲害識別的主流方法。國內外學者圍繞如何提高識別性能、實用性、便捷性以及經(jīng)濟性等問題，展開大量研究。通過增加卷積神經(jīng)網(wǎng)絡的深度與廣度，提升網(wǎng)絡模型的識別性能；通過批量歸一化、Dropout以及使用池化層替代全連接層等方法，降低網(wǎng)絡模型結構的復雜度；通過圖像分割、數(shù)據(jù)增強等方法增加數(shù)據(jù)集的規(guī)模，進而提升網(wǎng)絡識別性能；通過將卷積神經(jīng)網(wǎng)絡與支持向量機、嵌入式設備以及移動應用端相結合，在保障一定識別精度的前提下提高研究的實用性與經(jīng)濟性，雖然識別精度比不上一些流行的網(wǎng)絡模型，但也為今后的研究提供新思路。

目前，對植物微小病蟲害識別的研究相對較少，識別效果較差。未來可能將卷積神經(jīng)網(wǎng)絡、特征融合、多深度模型集成學習等方法結合，進一步提高微小病蟲害的識別效果。同時，提升卷積神經(jīng)網(wǎng)絡在移動應用端、嵌入式設備等的識別精度，進一步實現(xiàn)遠程精準的植物病蟲害自動識別，也是未來研究發(fā)展方向。在今后一段時間里，卷積神經(jīng)網(wǎng)絡在病蟲害識別的研究仍需繼續(xù)發(fā)展，進一步提高研究方法的便捷性、經(jīng)濟性和實用性。

[1] MOHANTY S P, HUGHES D P, SALATHé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016,7:14-19.

[2] LI Y, NIE J, CHAO XW. Do we really need deep CNN for plant diseases identification?[J]. Computers and Electronics in Agri-culture,2020,178:105803.

[3] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521:436-444.

[4] LI L, ZHANG S, WANG B. Plant disease detection and classification by deep learning—a review[J].IEEE Access, 2021, 9:56683-56698.

[5] BOULENT J, FOUCHER S, THéAU J, et al. Convolutional neural networks for the automatic identification of plant diseases [J]. Frontiers in Plant Science, 2019,10:941.

[6] 汪京京,張武,劉連忠,等.農作物病蟲害圖像識別技術的研究綜述[J].計算機工程與科學,2014,36(7):1363-1370.

[7] JIANG F, LU Y, CHEN Y, et al. Image recognition of four rice leaf diseases based on deep learning and support vector machine[J]. Computers and Electronics in Agriculture,2020, 179:105824.

[8] 董亮,段正泰,龔彬.基于卷積神經(jīng)網(wǎng)絡和遷移學習的圖像分類[J].信息與電腦(理論版),2021,33(3):77-78.

[9] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM,2017,60(6):84-90.

[10] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. CoRR,2014, abs/1409.1556.

[11] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015:1-9.

[12] HE K, ZHANG X Y, REN S, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

[13] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015,115(3):211-252.

[14] 劉婷婷,王婷,胡林.基于卷積神經(jīng)網(wǎng)絡的水稻紋枯病圖像識別[J].中國水稻科學,2019,33(1):90-94.

[15] 鮑文霞,吳剛,胡根生,等.基于改進卷積神經(jīng)網(wǎng)絡的蘋果葉部病害識別[J].安徽大學學報(自然科學版),2021,45(1):53-59.

[16] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016: 2818-2826.

[17] 儲岳中,汪佳慶,張學鋒,等.基于改進深度殘差網(wǎng)絡的圖像分類算法[J].電子科技大學學報,2021,50(2):243-248.

[18] YANN L, LEON B, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998,86(11):2278-2324.

[19] XU Y, ZHAO B, ZHAI Y, et al. Maize diseases identification method based on multi-scale convolutional global pooling neural network[J]. Proceedings of the IEEE, 2021,9:27959- 27970.

[20] TAN N P, LY V T, SON V T. Early disease classification of mango leaves using feed-forward neural network and hybrid metaheuristic feature selection[J]. IEEE Access, 2020,8: 189960-189973.

[21] 鮑文霞,黃雪峰,胡根生,等.基于改進卷積神經(jīng)網(wǎng)絡模型的玉米葉部病害識別[J].農業(yè)工程學報,2021,37(6):160-167.

[22] 李靜,陳桂芬,安宇.基于優(yōu)化卷積神經(jīng)網(wǎng)絡的玉米螟蟲害圖像識別[J].華南農業(yè)大學學報,2020,41(3):110-116.

[23] 孫思濂.基于卷積神經(jīng)網(wǎng)絡的圖像識別在農業(yè)領域的應用[J].軟件,2020,41(11):173-175.

[24] 計雪偉,霍興贏,薛端,等.基于深度學習的農作物病蟲害識別方法[J].南方農機,2020,51(23):182-183.

[25] RAGHUNATH K B D, CHAITHANYA M, SANDHYA M, et al. Deep learning model for plant disease detection[J]. International Journal of Recent Technology and Engineering (IJRTE),2020,9(1):750-754.

[26] 邊柯橙,楊海軍,路永華.深度學習在農業(yè)病蟲害檢測識別中的應用綜述[J].軟件導刊,2021,20(3):26-33.

[27] 刁智華,袁萬賓,刁春迎,等.病害特征在作物病害識別中的應用研究綜述[J].江蘇農業(yè)科學,2019,47(5):71-74.

[28] HAN S, MAO H Z, DALLy W J. Deep Compression: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding[J]. CoRR,2015,abs/ 1510.00149.

[29] 孫俊,譚文軍,毛罕平,等.基于改進卷積神經(jīng)網(wǎng)絡的多種植物葉片病害識別[J].農業(yè)工程學報,2017,33(19):209-215.

[30] YUAN Y, FANG S, CHEN L. Crop disease image classification based on transfer learning with DCNNs[A]//Lai JH. et al. Pattern Recognition and Computer Vision PRCV 2018[C]. Lecture Notes in Computer Science, Springer, Cham, 2018:11257.

[31] SINGH U P, CHOUHAN S S, JAIN S, et al. Multilayer convolution neural network for the classification of mango leaves infected by anthracnose disease[J].IEEE Access, 2019,7: 43721-43729.

[32] HANG J, ZHANG D X, CHEN P, et al. Classification of plant leaf diseases based on improved convolutional neural network [J]. Sensors,2019,19(19):4161.

[33] LV M, ZHOU G, HE M, et al. Maize leaf disease identification based on feature enhancement and DMS-Robust Alexnet[J]. IEEE Access, 2020,8:57952- 57966.

[34] CHEN J D, CHEN J X, ZHANG D F, et al. Using deep transfer learning for image-based plant disease identification[J]. Compu-ters and Electronics in Agriculture, 2020,173:105393.

[35] AI Y, SUN C, TIE J, et al. Research on recognition model of crop diseases and insect pests based on deep learning in harsh environments[J]. IEEE Access, 2020,8:171686-171693.

[36] 王敬賢.基于卷積神經(jīng)網(wǎng)絡和遷移學習的農作物病害和雜草圖像識別研究[D].合肥:中國科學技術大學,2019.

[37] JIANG P, CHEN Y, LIU B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019,7: 59069-59080.

[38] GEETHARAMANI G, PANDIAN J A. Identification of plant leaf diseases using a nine-layer deep convolutional neural network[J]. Computers and Electrical Engineering,2019,76: 323-338.

[39] ARUN P J, GEETHARAMANI G, ANNETTE B. Data augmentation on plant leaf disease image dataset using image manipulation and deep learning techniques[C]//2019 IEEE 9th International Conference on Advanced Computing (IACC), 2019:199-204.

[40] ZENG Q, MA X, CHENG B, et al. GANs-based data augmentation for citrus disease severity detection using deep learning[J].IEEE Access,2020,8:172882-172891.

[41] WU Q, CHEN Y, MENGAND J. DCGAN-based data augmentation for tomato leaf disease identification[J].IEEE Access,2020,8:98716-98728.

[42] NIE X, WANG L, DING H, et al. Strawberry verticillium wilt detection network based on multi-task learning and attention [J]. IEEE Access, 2020,7:170003-170011.

[43] 侯金秀,李然,鄧紅霞,等.融合通道信息注意力網(wǎng)絡的葉片病害識別[J].計算機工程與應用,2020,56(23):124-129.

[44] ZENG W H, LI M. Crop leaf disease recognition based on self-attention convolutional neural network[J].Computers and Electronics in Agriculture,2020,172:105341.

[45] 冷佳旭,劉瑩.基于深度學習的小目標檢測與識別[J].數(shù)據(jù)與計算發(fā)展前沿,2020,2(2):120-135.

[46] DAI Q, CHENG X, QIAO Y, et al. Crop leaf disease image super-resolution and identification with dual attention and topology fusion generative adversarial network[J]. IEEE Access, 2020,8:55724-55735.

[47] DAI Q, CHENG X, QIAO T, et al. Agricultural pest super-resolution and identification with attention enhanced residual and dense fusion generative and adversarial network[J]. IEEE Access,2020,8:81943-81959.

[48] LI D S, WANG R J, XIE C J, et al. A recognition method for rice plant diseases and pests video detection based on deep convolutional neural network[J]. Sensors, 2020,20(3):578.

[49] NAZKI H, YOON S, FUENTES A, et al. Unsupervised image translation using adversarial networks for improved plant disease recognition[J].Computers and Electronics in Agriculture, 2020,168:105117.

[50] 蒲秀夫,寧芊,雷印杰,等.基于二值化卷積神經(jīng)網(wǎng)絡的農業(yè)病蟲害識別[J].中國農機化學報,2020,41(2):177-182.

[51] DARWISH A, EZZAT D, HASSANIEN A E. An optimized model based on convolutional neural networks and orthogonal learning particle swarm optimization algorithm for plant diseases diagnosis[J]. Swarm and Evolutionary Computation, 2020,52:100616.

[52] YUAN Y, XU Z, LU G. SPEDCCNN: spatial pyramid- oriented encoder-decoder cascade convolution neural network for crop disease leaf segmentation[J]. IEEE Access, 2021,2(8): 14849-14866.

[53] ZEYNEP üNAL. Smart farming becomes even smarter with deep learning—a bibliographical analysis[J]. IEEE Access, 2020,8:105587-105609.

[54] 秦豐,劉東霞,孫炳達,等.基于深度學習和支持向量機的4種苜蓿葉部病害圖像識別[J].中國農業(yè)大學學報,2017, 22(7):123-133.

[55] HAIDER W, REHMAN A, DURRANI N M, et al. A generic approach for wheat disease classification and verification using expert opinion for knowledge-based decisions[J].IEEE Access, 2021,9:31104-31129.

[56] 桂江生,吳子嫻,李凱.基于卷積神經(jīng)網(wǎng)絡模型的大豆花葉病初期高光譜檢測[J].浙江大學學報(農業(yè)與生命科學版), 2019,45(2):256-262.

[57] NAGASUBRAMANIAN K, JONES S, SINGH A K, et al. Plant disease identification using explainable 3D deep learning on hyperspectral images[J]. Plant methods, 2019,15(1):98.

[58] WEI Y, CE Y, ZI Y H, et al. Diagnosis of plant cold damage based on hyperspectral imaging and convolutional neural Network[J]. IEEE Access,2019,7:118239-118248.

[59] MA J J, PANG L, YAN L, et al. Detection of black spot of rose based on hyperspectral imaging and convolutional neural network[J]. AgriEngineering,2020,2(4):556-567.

[60] 復旦大學.一種小麥赤霉病的高光譜無損檢測方法: CN112446298A[P].2021-03-05.

[61] HUANG H S, DENG J Z, LAN Y B, et al. A two-stage classification approach for the detection of spider mite-infested cotton using UAV multi-spectral imagery [J/OL]. Remote Sensing Letters, 2018,9(10): 933-941 [2020-12-20].https:// doi.org/10.1080/2150704X.2018.1498600.

[62] 劉洋,馮全,王書志.基于輕量級CNN的植物病害識別方法及移動端應用[J].農業(yè)工程學報,2019,35(17):194-204.

[63] AKIYAMA T, KOBAYASHI Y, SASAKI Y, et al. Mobile leaf identification system using CNN applied to plants in Hokkaido[C]//2019 IEEE 8th Global Conference on Consu-mer Electronics (GCCE), IEEE, 2019:324-325.

[64] 周惠汝,原愷,呼美娜,等.水稻病害圖像自動化識別軟件的開發(fā)與應用[C]//中國植物保護學會2019年學術年會論文集,2019-09,貴州貴陽:中國農業(yè)科學技術出版社,2019.

[65] MISHRA S, SACHAN R, RAJPAL D. Deep convolutional neural network based detection system for real-time corn plant disease recognition[J]. Procedia Computer Science, 2020, 167:2003-2010.

[66] 宋非洋,吳黎明,鄭耿哲,等.基于MobileNetV3的結構性剪枝優(yōu)化[J].自動化與信息工程,2019,40(6):20-25.

Review on Plant Disease and Pest Identification Based on Convolutional Neural Network

Luo Runmei1Wang Weixing1,2

(1.School of Electronic Engineering, School of Artificial Intelligence, South China Agricultural University, Guangzhou 510642, China 2.Guangdong Engineering Research Center for Agricultural Information Monitoring, Guangzhou 510642, China)

Plant diseases and insect pests have seriously affected the growth and production of plants. Timely accurate identification and control of plant diseases and insect pests can effectively improve the yield and quality of crops. In recent years, deep learning methods have developed rapidly. As one of the representative algorithms of deep learning, convolutional neural network has excellent image classification and recognition capabilities, and has been widely used in the identification of plant diseases and insect pests. The research on plant disease and pest identification based on convolutional neural network is reviewed. The structure and characteristics of several basic network models, the optimization methods of network structure and the combined application of convolutional neural network and other methods are reviewed; the difficulties of convolutional neural network based on plant disease and pest identification are discussed, and its application prospect is prospected.

convolutional neural network; deep learning; identification of pests and diseases; model optimization

駱潤玫，女，1998年生，碩士研究生，主要研究方向：深度學習在農業(yè)工程領域的應用。E-mail: runmei@stu.scau.edu.cn

王衛(wèi)星（通信作者），男，1963年生，教授，博士生導師，主要研究方向：智慧農業(yè)與農業(yè)物聯(lián)網(wǎng)。E-mail: weixing@ scau.edu.cn

基金項目：2021年省級鄉(xiāng)村振興戰(zhàn)略專項省級組織實施項目（粵財農〔2021〕37號）“廣東省現(xiàn)代農業(yè)關鍵技術模式集成與示范推廣”；廣東省重點領域研發(fā)計劃項目（2019B020214003）。

S43;TP183;TP391.41

A

1674-2605(2021)05-0001-10

10.3969/j.issn.1674-2605.2021.05.001