樊湘鵬，許 燕，周建平，李志磊，彭 炫，王小榮

基于遷移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測(cè)系統(tǒng)

樊湘鵬1,2,3，許 燕1,2,3，周建平1,2,3※，李志磊1,2,4，彭 炫2,4，王小榮1,2,4

（1. 新疆大學(xué)機(jī)械工程學(xué)院，烏魯木齊 830047；2. 新疆維吾爾自治區(qū)農(nóng)牧機(jī)器人及智能裝備工程研究中心，烏魯木齊 830047；3. 械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)分室，烏魯木齊 830047；4. 新疆大學(xué)工程訓(xùn)練中心，烏魯木齊 830047）

為建立高效、準(zhǔn)確的葡萄葉部病害檢測(cè)系統(tǒng)，引入遷移學(xué)習(xí)機(jī)制，利用大型公開(kāi)數(shù)據(jù)集對(duì)VGG16模型預(yù)訓(xùn)練，保持模型前端13個(gè)層的參數(shù)和權(quán)重不變，對(duì)全連接層和分類層改進(jìn)后利用新數(shù)據(jù)集微調(diào)訓(xùn)練模型，包括對(duì)訓(xùn)練優(yōu)化器、學(xué)習(xí)率和中心損失函數(shù)平衡參數(shù)的優(yōu)選試驗(yàn)，最后將模型部署在Android手機(jī)端。試驗(yàn)表明，在微調(diào)訓(xùn)練階段選擇Adam優(yōu)化器、初始學(xué)習(xí)率設(shè)為0.001、中心損失函數(shù)平衡參數(shù)設(shè)為0.12時(shí)，改進(jìn)的VGG16模型性能最優(yōu)，對(duì)葡萄6類葉部圖像的分類平均準(zhǔn)確率為98.02%，單幅圖像平均檢測(cè)耗時(shí)為0.327 s。與未改進(jìn)的VGG16模型相比，平均準(zhǔn)確率提高了2.82%，平均檢測(cè)耗時(shí)下降了66.8%，權(quán)重參數(shù)數(shù)量減少了83.4%。改進(jìn)后的模型綜合性能優(yōu)于AlexNet、ResNet 50和Inception v3等模型。將模型跨平臺(tái)部署在Android手機(jī)端，自然環(huán)境下驗(yàn)證的平均準(zhǔn)確率為95.67%，平均檢測(cè)耗時(shí)為0.357 s。該研究建立的基于遷移學(xué)習(xí)和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的病害檢測(cè)系統(tǒng)可實(shí)現(xiàn)對(duì)葡萄葉部病害的快速、智能診斷，為葡萄病害的及時(shí)防控提供依據(jù)。

圖像識(shí)別；病害；葡萄葉；遷移學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；全局平均池化；手機(jī)識(shí)別系統(tǒng)；智能診斷

0 引 言

新疆是中國(guó)最大的葡萄生產(chǎn)基地，葡萄年產(chǎn)量約占全國(guó)總產(chǎn)量的20%[1]。隨著新疆葡萄種植規(guī)模的不斷擴(kuò)大，各類真菌和病菌導(dǎo)致的病害也變得復(fù)雜多樣。病害在葉片、枝蔓和果實(shí)等部位蔓延會(huì)嚴(yán)重?fù)p害葡萄的品質(zhì)和產(chǎn)量。快速、準(zhǔn)確地判斷葡萄病害類型是植保精準(zhǔn)施藥、控制病害蔓延的前提和基礎(chǔ)[2-4]。利用圖像處理和機(jī)器視覺(jué)技術(shù)自動(dòng)識(shí)別作物病害類型能夠克服人工識(shí)別易誤判、依賴專家經(jīng)驗(yàn)、耗費(fèi)人力物力大等缺點(diǎn)[5-7]，但傳統(tǒng)圖像處理技術(shù)需要手動(dòng)提取目標(biāo)特征，且最終達(dá)到的識(shí)別精度有限，在復(fù)雜的實(shí)際生產(chǎn)環(huán)境中往往難以進(jìn)行應(yīng)用[4]。

深度學(xué)習(xí)不同于傳統(tǒng)圖像處理技術(shù)，它可以依靠不同的功能對(duì)數(shù)據(jù)特征進(jìn)行轉(zhuǎn)換，對(duì)數(shù)據(jù)特征進(jìn)行分層表示，并且適應(yīng)密集型圖像計(jì)算任務(wù)[8]，尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutianal Neural network，CNN）通過(guò)學(xué)習(xí)不同領(lǐng)域、不同場(chǎng)景、不同尺度的目標(biāo)特征可以實(shí)現(xiàn)端到端的檢測(cè)[9-10]。卷積神經(jīng)網(wǎng)絡(luò)與農(nóng)業(yè)信息感知的結(jié)合為作物表型病害識(shí)別拓展了全新的研究視角[11]，已成為農(nóng)業(yè)信息化技術(shù)領(lǐng)域中的研究熱點(diǎn)[12]。Mohanty等[13]建立了PlantVillage數(shù)據(jù)集，利用AlexNet和GoogleNet深度網(wǎng)絡(luò)識(shí)別38種病害類型，準(zhǔn)確率高達(dá)99.35%。孫俊等[14-15]同樣以PlantVillage數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)病害識(shí)別分類的準(zhǔn)確率均高于99%。Brahimi等[16]基于AlexNet模型，利用番茄9種病害1.5萬(wàn)張圖像試驗(yàn)得到較好的識(shí)別效果。樊湘鵬等[17]改進(jìn)了CNN模型，利用自然條件下獲取的玉米葉部病害圖像訓(xùn)練模型，平均精度達(dá)到了97%以上。Ferentinos等[18]利用來(lái)自實(shí)驗(yàn)室和田間環(huán)境的87 848多張作物病害圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，取得了99%以上的成功率，但模型復(fù)雜、訓(xùn)練耗時(shí)長(zhǎng)。鮑文霞等[19]針對(duì)小麥赤霉病的識(shí)別，利用深度語(yǔ)義分割網(wǎng)絡(luò)分割麥穗并構(gòu)建了多路卷積神經(jīng)網(wǎng)絡(luò)，精度可達(dá)100%。在葡萄病害檢測(cè)方面，Kerkech等[20]建立CNN LeNet-5模型檢測(cè)葡萄樹(shù)藤蔓疾病，達(dá)到了92%的準(zhǔn)確率。劉闐宇等[21]利用改進(jìn)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像中葡萄葉片進(jìn)行判別，可以診斷6種葡萄病害的類型，平均精度為75.52%。在此基礎(chǔ)上，喬虹等[22]對(duì)攝像機(jī)視場(chǎng)中的葡萄葉片進(jìn)行檢測(cè)，實(shí)現(xiàn)了自然條件下葡萄病害的連續(xù)在線監(jiān)測(cè)，但僅對(duì)姿態(tài)端正的正面葉片有效；何欣[23]設(shè)計(jì)SE模塊建立了多尺度ResNet模型，對(duì)葡萄葉部病害識(shí)別準(zhǔn)確率最高達(dá)90.83%。Ji等[24]設(shè)計(jì)UnitedModel，在Plantvillage中選取了健康和3種病害葡萄葉片圖像1 619張，所用方法的準(zhǔn)確率可達(dá)98.57%。

基于CNN的作物葉片病害檢測(cè)方法雖然取得了較高的識(shí)別率，但仍然存在以下幾個(gè)問(wèn)題：1）深度卷積神經(jīng)網(wǎng)絡(luò)往往需要數(shù)萬(wàn)張圖像，在實(shí)際中很難做到獲取大數(shù)量級(jí)的圖像，且人工標(biāo)注過(guò)程耗費(fèi)大量成本和精力；2）大多數(shù)學(xué)者采用圖像背景簡(jiǎn)單公開(kāi)數(shù)據(jù)集，難以反映作物生長(zhǎng)的真實(shí)環(huán)境，數(shù)據(jù)集所訓(xùn)練的模型在實(shí)際應(yīng)用中精度大幅下降；3）不少學(xué)者設(shè)計(jì)了復(fù)雜結(jié)構(gòu)的深度網(wǎng)絡(luò)模型，雖然精度較高，但是模型對(duì)計(jì)算機(jī)硬件依賴強(qiáng)，易用性不足?；谏鲜鰡?wèn)題，本文利用經(jīng)典CNN結(jié)構(gòu)VGG16模型在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練并將參數(shù)遷移，對(duì)目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)和優(yōu)化，利用自然環(huán)境中采集的葡萄葉片病害圖像數(shù)據(jù)集微調(diào)訓(xùn)練改進(jìn)CNN模型，使模型獲得高準(zhǔn)確率和強(qiáng)魯棒性。將訓(xùn)練好的模型部署到手機(jī)端建立智能檢測(cè)系統(tǒng)，實(shí)現(xiàn)對(duì)葡萄葉部病害的快速、智能診斷。

1 試驗(yàn)數(shù)據(jù)

1.1 數(shù)據(jù)集的建立

由于本文采用遷移學(xué)習(xí)方法對(duì)模型進(jìn)行充分訓(xùn)練，之后進(jìn)行新數(shù)據(jù)集上的微調(diào)訓(xùn)練，因此數(shù)據(jù)集分為網(wǎng)絡(luò)資源中獲取的預(yù)訓(xùn)練數(shù)據(jù)集和自然狀態(tài)下采集的葡萄病害數(shù)據(jù)集兩部分。

1.1.1 預(yù)訓(xùn)練數(shù)據(jù)集

預(yù)訓(xùn)練數(shù)據(jù)集用于對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。為克服大量樣本難以在自然環(huán)境中獲取的問(wèn)題，利用網(wǎng)絡(luò)資源獲取試驗(yàn)所需大樣本數(shù)據(jù)和大型公開(kāi)數(shù)據(jù)集，以充分訓(xùn)練模型參數(shù)。與本文相關(guān)的3種大型公開(kāi)數(shù)據(jù)集的性質(zhì)如表 1所示。原始的VGG系列卷積神經(jīng)網(wǎng)絡(luò)是在ImageNet數(shù)據(jù)集上訓(xùn)練得到的，但是ImageNet中的數(shù)據(jù)為生活場(chǎng)景中的粗粒度圖像，與目標(biāo)領(lǐng)域的葡萄葉部病害圖像差距較大，難以保證遷移學(xué)習(xí)的效率[25]。在農(nóng)作物病害檢測(cè)領(lǐng)域的PlantVillage和AI Challenger數(shù)據(jù)集包含了多種作物的病害和健康葉片的數(shù)萬(wàn)張圖像，具有的細(xì)粒度特征適合本研究類型，因此選用這2個(gè)數(shù)據(jù)集的組合圖像作為本研究的預(yù)訓(xùn)練數(shù)據(jù)集，以獲得訓(xùn)練充分的模型參數(shù)。

表1 3種大型公開(kāi)數(shù)據(jù)集的性質(zhì)

1.1.2 葡萄病害數(shù)據(jù)集的獲取

本研究以葡萄白粉?。≒owdery Mildew，PM）、霜霉?。―owny Mildew，DM）、黑霉?。˙lack Mould Bblight，BMB）、花葉病毒?。∕osaic Virus Disease，MVD）、褐斑?。˙rown Spot，BS）這5種常見(jiàn)葉部病害圖像和葡萄健康葉片（Healthy Leaf，HL）為研究對(duì)象。在新疆大學(xué)南校區(qū)多個(gè)葡萄種植片區(qū)利用華為Honor Play手機(jī)（相機(jī)型號(hào)COR AL10）在早中晚的不同時(shí)刻進(jìn)行多角度采集，在采集過(guò)程中保證各個(gè)類別的樣本數(shù)量均衡，獲取的圖像數(shù)量分別為314（PM）、337（DM）、356（BMB）、330（MVD）、343（BS）和310（HL），總計(jì)1 990張。圖像格式為JPEG，顏色模式為RGB，像素大小為2 560×2 560（比例為1∶1）。

1.2 數(shù)據(jù)集預(yù)處理

卷積神經(jīng)網(wǎng)絡(luò)需要進(jìn)行有監(jiān)督的訓(xùn)練學(xué)習(xí)，因此利用LabelMe標(biāo)注工具，按照PASCAL VOC2007標(biāo)準(zhǔn)進(jìn)行存儲(chǔ)。本文利用幾何變換、亮度調(diào)整、顏色變換以及添加噪聲等方式，將數(shù)據(jù)集擴(kuò)大為原來(lái)的10倍以提高采集樣本的數(shù)量和多樣性，增強(qiáng)后的數(shù)據(jù)集大小為19 900。另外，本模型要求輸入固定維度的圖像，因此將所有圖像統(tǒng)一調(diào)整為224像素×224像素×3通道。

2 基于遷移學(xué)習(xí)和改進(jìn)CNN的病害檢測(cè)模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)和VGG16模型

CNN通過(guò)模擬人腦結(jié)構(gòu)，學(xué)習(xí)特征后可以將輸入圖像或數(shù)據(jù)的底層和抽象特征進(jìn)行深層次的理解和表達(dá)[26]，是深度學(xué)習(xí)的經(jīng)典網(wǎng)絡(luò)算法。當(dāng)前應(yīng)用比較成功的卷積結(jié)構(gòu)有AlexNet、GoogLeNet、VGG、Inception和ResNet系列等[27]。CNN的結(jié)構(gòu)對(duì)模型性能有著很大的影響，結(jié)構(gòu)太淺容易導(dǎo)致學(xué)習(xí)特征不充分，無(wú)法表達(dá)圖像的深層次特征；結(jié)構(gòu)太深會(huì)增加模型的冗余性，減緩訓(xùn)練甚至導(dǎo)致訓(xùn)練退化。經(jīng)過(guò)對(duì)比AlexNet、VGG系列、ResNet系列和Inception系列的多種經(jīng)典結(jié)構(gòu)模型，選擇具有16個(gè)權(quán)重層的VGG16網(wǎng)絡(luò)作為本研究的基本結(jié)構(gòu)并對(duì)其改進(jìn)優(yōu)化。VGG16模型中包含了13個(gè)卷積層和3個(gè)全連接層，在卷積層之間有5個(gè)最大池化層，網(wǎng)絡(luò)的最后一層是Softmax分類器，輸出分類結(jié)果。

2.2 基于遷移學(xué)習(xí)和改進(jìn)CNN模型的試驗(yàn)方法

在農(nóng)業(yè)場(chǎng)景中很難獲得大規(guī)模的數(shù)據(jù)集，CNN模型在大型數(shù)據(jù)集上經(jīng)過(guò)充分訓(xùn)練后可習(xí)得圖像分類識(shí)別能力。龍滿生等[28-29]的研究表明，應(yīng)用深度特征網(wǎng)絡(luò)參數(shù)遷移并使用微調(diào)訓(xùn)練模型的少數(shù)幾層可以高效獲得性能良好的模型。因此，本文采用遷移學(xué)習(xí)的策略，對(duì)VGG16卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，改進(jìn)優(yōu)化模型結(jié)構(gòu)，再通過(guò)新數(shù)據(jù)集對(duì)遷移后的網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，建立具有強(qiáng)泛化性和魯棒性的葡萄葉部病害檢測(cè)模型?；谶w移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測(cè)流程如圖1所示，分為數(shù)據(jù)集的獲取與建立、模型預(yù)訓(xùn)練、模型改進(jìn)和模型的遷移學(xué)習(xí)微調(diào)訓(xùn)練這4個(gè)連續(xù)過(guò)程。預(yù)訓(xùn)練采用PlantVillage和AI Challenger的組合數(shù)據(jù)集得到訓(xùn)練充分的模型參數(shù)；為防止模型發(fā)生過(guò)擬合、降低模型參數(shù)，對(duì)預(yù)訓(xùn)練的VGG16結(jié)構(gòu)改進(jìn)，包括在卷積層后面添加批歸一化（Batch Normalization，BN）加速訓(xùn)練、采用全局平均池化（Global Average Pooling，GAP）代替參數(shù)巨大的2個(gè)全連接層進(jìn)行特征降維、利用6標(biāo)簽的Softmax分類層代替原有的分類層并引入中間損失函數(shù)提高模型的細(xì)分類能力這3個(gè)方面。之后利用真實(shí)環(huán)境中獲取的葡萄葉部病害和健康葉片圖像對(duì)改進(jìn)CNN模型微調(diào)訓(xùn)練并測(cè)試，最后將最優(yōu)模型部署到Android手機(jī)端。

2.3 VGG16結(jié)構(gòu)的改進(jìn)

2.3.1 批歸一化處理

利用BN對(duì)卷積層后形成的每個(gè)樣本的特征圖進(jìn)行歸一化處理能夠很好地解決模型在訓(xùn)練過(guò)程中中間層數(shù)據(jù)分布發(fā)生改變的問(wèn)題，加快收斂、提高精度、降低過(guò)擬合現(xiàn)象。歸一化過(guò)程中，首先求取特征圖的所有像素點(diǎn)總數(shù)的平均值和方差，然后利用歸一化方程對(duì)樣本歸一化操作。

式中為像素點(diǎn)總數(shù)的平均值，為像素點(diǎn)總數(shù)的方差值；x表示該圖像樣本中第個(gè)像素點(diǎn)的值；表示該樣本像素點(diǎn)的總數(shù)。`表示該樣本像素歸一化后的值；為保證分母大于0的微小常數(shù)值。

2.3.2 GAP代替全連接層

VGG16網(wǎng)絡(luò)雖然具備細(xì)粒度圖像分類能力，但全連接層存在大量的參數(shù)，計(jì)算量過(guò)大，極大地限制了在移動(dòng)端的使用。使用全局平均池化對(duì)整張?zhí)卣鲌D所有值求平均，可充分利用每張?zhí)卣鲌D的信息提取關(guān)鍵特征并減少計(jì)算量[14]。因此本文利用GAP代替VGG16中的前2個(gè)全連接層，在多個(gè)卷積層和池化層后進(jìn)行一次個(gè)卷積核的卷積操作（為需要分類的類別數(shù)），然后對(duì)形成的特征圖進(jìn)行全局平均池化操作，形成含有個(gè)元素的列向量，對(duì)特征矩陣進(jìn)行降維，在保證分類效果的同時(shí)，可改善參數(shù)量過(guò)大、耗時(shí)過(guò)長(zhǎng)及發(fā)生過(guò)擬合的問(wèn)題。圖2為全局平均池化代替全連接層對(duì)特征降維的過(guò)程。

圖2中，來(lái)自CNN前端的特征圖矩陣C向下采樣到全局平均池化fm中，特征矩陣經(jīng)全局平均池化后相當(dāng)于對(duì)整個(gè)輸入矩陣求取平均值，全局平均池化過(guò)程中的權(quán)重矩陣調(diào)整方式如公式（4）所示

其中2表示輸入特征圖大?。缓头謩e代表輸出神經(jīng)元和輸入特征圖的數(shù)量，W 是調(diào)整后的權(quán)重矩陣，是全局平均池化之前的特征矩陣，調(diào)整后的權(quán)重矩陣相當(dāng)于將中的每個(gè)矩陣簡(jiǎn)化為由1×1×（GAP深度）組成的列向量，此時(shí)便實(shí)現(xiàn)了特征圖的降維過(guò)程。

2.3.3 Softmax結(jié)構(gòu)和損失函數(shù)改進(jìn)

在原始VGG16結(jié)構(gòu)中，Softmax分類層有1 000個(gè)類別，由于本研究只有5種病害和1個(gè)健康類別，因此用6分類Softmax結(jié)構(gòu)替換原有的分類層。在多分類問(wèn)題中，常用Softmax Loss作為網(wǎng)絡(luò)的損失函數(shù)，由于葡萄枝葉生長(zhǎng)狀態(tài)多樣，同類病害的特征之間差別較大，不同病害的特征具有相似性，導(dǎo)致識(shí)別率下降。為保證模型增強(qiáng)對(duì)類內(nèi)特征的聚合性和類間特征差異的最大化，將中心損失函數(shù)Center Loss引入模型，與Softmax Loss構(gòu)建混合損失函數(shù)（簡(jiǎn)稱C-S Loss）來(lái)提高對(duì)多種葡萄病害的識(shí)別率，混合損失函數(shù)的表達(dá)式為

式中L為分類器中Softmax Loss函數(shù)，L為中心損失函數(shù)；參數(shù)表示損失函數(shù)的平衡參數(shù)，由于L的值遠(yuǎn)大于L的值，因此引入來(lái)平衡2個(gè)函數(shù)值；為訓(xùn)練中的小批量數(shù)量，（x）表示特征向量，c表示第y類特征的中心。CNN的訓(xùn)練過(guò)程是一個(gè)損失函數(shù)最優(yōu)化的過(guò)程，通過(guò)C函數(shù)（6）可知，在訓(xùn)練過(guò)程中，C的值逐漸變小，即特征向量（x）逐漸接近第y類特征的中心，隨著迭代訓(xùn)練的增加，每一類特征的分布情況將向其對(duì)應(yīng)的特征中心聚集，從而實(shí)現(xiàn)類內(nèi)聚合性和類間分離性。

2.4 模型的微調(diào)訓(xùn)練

2.4.1 微調(diào)階段的訓(xùn)練機(jī)制

學(xué)習(xí)率是模型中的重要參數(shù)，太大可能會(huì)導(dǎo)致參數(shù)在最優(yōu)值兩側(cè)來(lái)回移動(dòng)震蕩劇烈，太小則會(huì)大大降低學(xué)習(xí)效率和優(yōu)化速度。本文分別利用帶動(dòng)量的隨機(jī)梯度下降算法（Stochastic Gradient Descent，SGD）和自適應(yīng)學(xué)習(xí)率算法Adam優(yōu)化器訓(xùn)練模型，凍結(jié)13個(gè)卷積層和池化層的參數(shù)，只訓(xùn)練全局平均池化層、剩余1個(gè)全連接層和Softmax分類層的參數(shù)。

2.4.2 環(huán)境配置和超參數(shù)設(shè)置

試驗(yàn)運(yùn)行環(huán)境操作系統(tǒng)為Windows 7（64位），內(nèi)存為16GB，搭載Intel(R) Xeon(R) CPU E5-2630 v4 @2.20GHz處理器，采用Anaconda 3.5.0，CUDA 8.0編程平臺(tái)，cuDNN 6.0，以Tensorflow作為開(kāi)發(fā)環(huán)境，編程使用Python 3.5.6。試驗(yàn)方法包括模型訓(xùn)練、測(cè)試和不同方法之間的對(duì)比驗(yàn)證。試驗(yàn)選取所有圖像樣本的80%（15 920張）用于訓(xùn)練，剩余20%（3 980張）作為測(cè)試集對(duì)模型效果進(jìn)行驗(yàn)證并輸出病害類別的識(shí)別情況。為了使模型訓(xùn)練性能更優(yōu)異，本試驗(yàn)中所設(shè)置的超參數(shù)根據(jù)前人的經(jīng)驗(yàn)和本研究的對(duì)比試驗(yàn)情況進(jìn)行設(shè)置。本文2種訓(xùn)練方式的學(xué)習(xí)率初始值分別設(shè)為0.01和0.001，最大迭代次數(shù)設(shè)為5 000，SGD算法中的動(dòng)量因子設(shè)置為0.9，衰減系數(shù)設(shè)置為0.96，中心損失函數(shù)的平衡參數(shù)分別在0~0.2之間進(jìn)行搜索優(yōu)選。

2.5 模型的評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)所提方法對(duì)葡萄病害檢測(cè)分類結(jié)果的好壞，對(duì)樣本進(jìn)行測(cè)試后分別計(jì)算精度（Precision）和召回率（Recall），利用綜合評(píng)價(jià)指標(biāo)1得分作為精度和召回率的評(píng)估值。同時(shí)，引入計(jì)算簡(jiǎn)便的平均準(zhǔn)確率和單張圖片檢測(cè)耗時(shí)作為評(píng)價(jià)指標(biāo)，其中平均準(zhǔn)確率=分類正確的數(shù)量/測(cè)試總數(shù)量，=測(cè)試總耗時(shí)/測(cè)試圖像數(shù)量，其他指標(biāo)的計(jì)算方法如下所示

式中TP為預(yù)測(cè)為正的正樣本；FP為預(yù)測(cè)為正的負(fù)樣本；FN代表預(yù)測(cè)為負(fù)的正樣本。

3 結(jié)果與分析

3.1 訓(xùn)練方式和學(xué)習(xí)率對(duì)模型性能的影響

在微調(diào)訓(xùn)練階段選擇2種訓(xùn)練機(jī)制，并分別將初始學(xué)習(xí)率設(shè)為0.01和0.001，比較不同訓(xùn)練優(yōu)化機(jī)制和初始學(xué)習(xí)率對(duì)模型性能的影響，模型的性能對(duì)比情況如圖3所示。在圖3中，黑色曲線為采用SGD訓(xùn)練算法并設(shè)置初始學(xué)習(xí)率為0.001的模型性能變化，藍(lán)色曲線為采用SGD訓(xùn)練算法并設(shè)置初始學(xué)習(xí)率為0.01的模型性能變化，綠色曲線為采用Adam優(yōu)化器并設(shè)置初始學(xué)習(xí)率為0.01的模型性能變化，紅色曲線為采用Adam優(yōu)化器并設(shè)置初始學(xué)習(xí)率為0.001的模型性能變化。從中可以發(fā)現(xiàn)，初始學(xué)習(xí)率和訓(xùn)練方式對(duì)模型的性能影響較大。相同的訓(xùn)練方式下，當(dāng)采用學(xué)習(xí)率為0.001時(shí)模型的損失值曲線和平均準(zhǔn)確率變化曲線比學(xué)習(xí)率為0.01時(shí)的模型曲線更平穩(wěn)，模型的損失值更低、準(zhǔn)確率更高；相同的學(xué)習(xí)率條件下，利用Adam優(yōu)化器訓(xùn)練的模型損失值更小、平均準(zhǔn)確率更高，比利用SGD算法得到的模型更穩(wěn)定。當(dāng)采利用Adam優(yōu)化器并設(shè)置學(xué)習(xí)率為0.001時(shí)，模型在迭代次數(shù)為3 500左右時(shí)就已經(jīng)收斂，最終獲得的平均準(zhǔn)確率在98%左右。在模型的微調(diào)訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為較小值時(shí)訓(xùn)練得到的模型性能較優(yōu)，其原因在于：在遷移學(xué)習(xí)方式下，網(wǎng)絡(luò)的前端各層均已獲得良好的訓(xùn)練，模型的權(quán)重參數(shù)已接近最優(yōu)解；如果在微調(diào)訓(xùn)練階段使用較大的學(xué)習(xí)率容易導(dǎo)致模型跳過(guò)最優(yōu)解，產(chǎn)生較大的震蕩，從而使損失值變大、準(zhǔn)確率降低。由于SGD訓(xùn)練算法是針對(duì)每個(gè)數(shù)據(jù)點(diǎn)調(diào)整權(quán)重，網(wǎng)絡(luò)的性能在訓(xùn)練過(guò)程中存在較多上下波動(dòng)的情況，因此使用Adam優(yōu)化器算法比SGD訓(xùn)練算法具模型更快達(dá)到收斂，且性能更穩(wěn)定。因此，微調(diào)訓(xùn)練階段選用Adam優(yōu)化器訓(xùn)練參數(shù)，并設(shè)置0.001作為模型微調(diào)訓(xùn)練的初始學(xué)習(xí)率。

3.2 中心損失函數(shù)對(duì)模型性能的影響

中心損失函數(shù)平衡參數(shù)用于調(diào)節(jié)中心損失函數(shù)的權(quán)重，的大小對(duì)模型性能有一定影響。為獲得最佳平衡參數(shù)，將值設(shè)定在0～0.2之間，每隔0.02取值試驗(yàn)。模型在不同平衡參數(shù)下的損失值和平均準(zhǔn)確率變化情況如圖4所示。通過(guò)圖4可知，當(dāng)值為0時(shí)，此時(shí)相當(dāng)于未加入中心損失函數(shù)，模型的準(zhǔn)確率在95.80%左右，損失值在0.65附近，此時(shí)模型的類內(nèi)聚合性和類間分離性能較弱；隨著逐漸增加，損失值有所降低，準(zhǔn)確率有所增加，損失值最低為0.046 7，模型準(zhǔn)確率最高達(dá)98.02%，此時(shí)的值為0.12；當(dāng)值繼續(xù)增加時(shí)，模型的損失值逐漸上升，準(zhǔn)確率反而逐漸下降。由此說(shuō)明，利用中心損失函數(shù)改進(jìn)模型的Softmax Loss函數(shù)在一定平衡范圍內(nèi)可以增強(qiáng)模型的分類能力，當(dāng)中心損失函數(shù)權(quán)重過(guò)大時(shí)反而會(huì)破壞模型原有的分類效果。通過(guò)本試驗(yàn)的結(jié)果來(lái)看，中心損失函數(shù)的平衡參數(shù)為0.12時(shí)，模型的效果最優(yōu)。

3.3 模型檢測(cè)結(jié)果及定量分析

為了更清楚表現(xiàn)模型的病害檢測(cè)與分類結(jié)果，統(tǒng)計(jì)了模型檢測(cè)過(guò)程中更多的數(shù)據(jù)細(xì)節(jié)信息，如表2所示。葡萄白粉病、霜霉病、黑霉病、花葉病、褐斑病和健康葉片的精度值Precision和召回率Recall值有所不同，這與每種葡萄葉片的特征類型有一定關(guān)系，但模型的總體識(shí)別分類性能較好。表2中的Precision值均在0.972 0～0.991 5之間，Precision的平均值為0.980 0；Recall值均在0.9713～0.988 7之間，平均為0.980 1，1值均在0.972 1～0.988 7之間，平均為0.980 1，最終模型的平均準(zhǔn)確率為98.02%。表明所提方法在建立的數(shù)據(jù)集中表現(xiàn)良好，通過(guò)遷移學(xué)習(xí)將預(yù)訓(xùn)練的參數(shù)轉(zhuǎn)移到新的模型并對(duì)模型進(jìn)行微調(diào)后可以獲得性能優(yōu)秀的檢測(cè)模型。

3.4 與其他模型性能的對(duì)比

為進(jìn)一步驗(yàn)證所建立模型檢測(cè)葡萄病害的效果，在相同試驗(yàn)條件下對(duì)比了AlexNet、ResNet 50、Inception v3和未改進(jìn)VGG 16 Net這5種CNN模型的檢測(cè)效果，試驗(yàn)過(guò)程同樣采用遷移學(xué)習(xí)的方法，參數(shù)與本文所提的方法設(shè)置一致。試驗(yàn)結(jié)果如表3所示，模型的結(jié)構(gòu)和參數(shù)對(duì)模型的性能影響較大。

表2 模型檢測(cè)過(guò)程參數(shù)統(tǒng)計(jì)與結(jié)果分析

在5種CNN模型中，參數(shù)量最大、占用空間最多的是VGG16網(wǎng)絡(luò)，其耗時(shí)也最長(zhǎng)，平均準(zhǔn)確率為95.20%；AlexNet結(jié)構(gòu)較為簡(jiǎn)單，雖然平均測(cè)試耗時(shí)最少，但識(shí)別準(zhǔn)確率較低，為91.33%；Inception v3卷積網(wǎng)絡(luò)結(jié)構(gòu)可以取得平均測(cè)試耗時(shí)和準(zhǔn)確率上的平衡，權(quán)重所占空間較小。本研究以VGG16為基礎(chǔ)框架建立的改進(jìn)CNN模型平均準(zhǔn)確率最高，為98.02%，平均檢測(cè)耗時(shí)為0.327 s，綜合性能指標(biāo)有一定優(yōu)勢(shì)。在未改進(jìn)VGG16 Net模型中，參數(shù)的數(shù)量有1.38×108多個(gè)，其中3個(gè)全連接層的權(quán)重參數(shù)數(shù)量多達(dá)1.23×108個(gè)，由于改進(jìn)后的CNN采用全局平均池化層代替了參數(shù)量巨大的2個(gè)全連接層，模型權(quán)重參數(shù)的數(shù)量由原來(lái)的1.38×108減少到2.29×107，減少了83.4%，權(quán)重所占空間大大減少。與原VGG16 Net相比，本文改進(jìn)的VGG16模型平均準(zhǔn)確率提高了2.82%，平均測(cè)試耗時(shí)降低了66.8%，性能有明顯提升。

表3 卷積神經(jīng)網(wǎng)絡(luò)模型性質(zhì)及檢測(cè)結(jié)果

3.5 手機(jī)端病害檢測(cè)系統(tǒng)試驗(yàn)

為驗(yàn)證所提方法在實(shí)際應(yīng)用中的效果，利用開(kāi)發(fā)的手機(jī)端識(shí)別系統(tǒng)開(kāi)展現(xiàn)場(chǎng)試驗(yàn)，系統(tǒng)工作流程和識(shí)別示例如圖5所示。用戶可以通過(guò)拍照或者獲取本地圖庫(kù)兩種方式獲取目標(biāo)圖像，在拍照時(shí)需保證有完整的葉片在顯示界面中，獲取圖像將被自動(dòng)裁剪為224像素×224像素，點(diǎn)擊識(shí)別按鈕后系統(tǒng)調(diào)用識(shí)別模型并輸出葡萄病害的類別和相應(yīng)的可信度。在新疆大學(xué)南校區(qū)葡萄種植區(qū)開(kāi)展自然環(huán)境中的葉部病害檢測(cè)試驗(yàn)，選擇在現(xiàn)場(chǎng)拍攝圖像的方式獲取圖像。試驗(yàn)使用內(nèi)置Android 9.0操作系統(tǒng)的智能手機(jī)，運(yùn)行內(nèi)存為6 GB，驗(yàn)證過(guò)程拍攝有效圖像300張，其中判斷正確的287張，檢測(cè)有誤的13張，平均準(zhǔn)確率達(dá)95.67%，具體的試驗(yàn)結(jié)果如表4所示。在手機(jī)識(shí)別系統(tǒng)測(cè)試的平均耗時(shí)為0.357 s。識(shí)別有誤的原因在于拍攝過(guò)程中存在抖動(dòng)以及葉片上較多的雜質(zhì)等干擾因素，因此實(shí)際測(cè)試結(jié)果準(zhǔn)確率低于試驗(yàn)室環(huán)境下的準(zhǔn)確率。與Prasad等[30]的研究相比，該識(shí)別系統(tǒng)不需要手工設(shè)計(jì)特征并上傳至服務(wù)器；與劉洋等[31]基于MobileNet模型建立的診斷系統(tǒng)相比，在耗時(shí)上雖有增加，但平均準(zhǔn)確率高出19%；本系統(tǒng)比余小東等[32]的病蟲(chóng)害檢測(cè)系統(tǒng)的準(zhǔn)確率高出5.17%?？傮w而言，基于改進(jìn)VGG16模型的手機(jī)端病害檢測(cè)系統(tǒng)開(kāi)發(fā)過(guò)程簡(jiǎn)單，經(jīng)過(guò)了大量數(shù)據(jù)的預(yù)訓(xùn)練并且采用復(fù)雜背景圖像對(duì)模型微調(diào)訓(xùn)練，可以保持較高的準(zhǔn)確率和實(shí)時(shí)性，具有一定的優(yōu)勢(shì)。后續(xù)將對(duì)識(shí)別系統(tǒng)進(jìn)行優(yōu)化，添加圖像去模糊和背景抑制算法，降低圖像噪聲對(duì)系統(tǒng)的干擾，進(jìn)一步提高在自然環(huán)境中應(yīng)用的性能。

表4 基于手機(jī)端葡萄葉部病害檢測(cè)系統(tǒng)的測(cè)試結(jié)果

4 結(jié) 論

本研究利用大型公開(kāi)數(shù)據(jù)集對(duì)VGG16模型預(yù)訓(xùn)練并遷移學(xué)習(xí)，改進(jìn)VGG16 Net結(jié)構(gòu)后利用自然條件下的新數(shù)據(jù)微調(diào)訓(xùn)練模型，對(duì)葡萄健康葉片和5種病害葉片圖像檢測(cè)與分類，討論了訓(xùn)練機(jī)制、學(xué)習(xí)率、中心損失函數(shù)等對(duì)模型性能的影響，并與其他模型進(jìn)行對(duì)比，最后將最優(yōu)模型部署在Android手機(jī)端試驗(yàn)，得到如下結(jié)論：

1）遷移學(xué)習(xí)和微調(diào)訓(xùn)練方法，能夠在短時(shí)間內(nèi)得到性能優(yōu)越的模型。對(duì)VGG16結(jié)構(gòu)改進(jìn)和優(yōu)化訓(xùn)練后，病害檢測(cè)平均準(zhǔn)確率為98.02%，單幅圖像平均檢測(cè)耗時(shí)為0.327 s。與原VGG16 Net相比，平均準(zhǔn)確率提高了2.82%，檢測(cè)耗時(shí)降低了66.8%，權(quán)重參數(shù)數(shù)量減少了83.4%。

2）不同的訓(xùn)練機(jī)制和超參數(shù)對(duì)改進(jìn)CNN微調(diào)訓(xùn)練結(jié)果表明，采用Adam優(yōu)化器算法訓(xùn)練模型比SGD算法訓(xùn)練得到的模型更穩(wěn)定、準(zhǔn)確率更高；在遷移學(xué)習(xí)方式下，網(wǎng)絡(luò)的前端各層參數(shù)均已獲得良好的訓(xùn)練，初始學(xué)習(xí)率設(shè)為0.001時(shí)效果優(yōu)于初始學(xué)習(xí)率為0.01時(shí)得到模型；中心損失函數(shù)在一定范圍內(nèi)可提高模型的性能，本文中心損失函數(shù)平衡參數(shù)取0.12時(shí)模型效果更優(yōu)。

3）識(shí)別模型的對(duì)比試驗(yàn)結(jié)果表明，全局平均池化層代替全連接層后模型參數(shù)數(shù)量和檢測(cè)耗時(shí)大大降低，適合部署在移動(dòng)端建立葡萄病害檢測(cè)系統(tǒng)。手機(jī)檢測(cè)系統(tǒng)在自然環(huán)境中的試驗(yàn)平均準(zhǔn)確率高達(dá)95.67%，證明了本研究模型跨平臺(tái)調(diào)用的可行性。

本文所提方法建立了準(zhǔn)確率高、泛化性強(qiáng)的葡萄葉部病害檢測(cè)模型并部署在手機(jī)端，開(kāi)發(fā)成本低、檢測(cè)速度快、智能化水平高。在今后的研究中，將針對(duì)葡萄病害擴(kuò)大其種類，并在圖像數(shù)據(jù)集中增加葡萄藤蔓、果實(shí)等非葉部的病害圖像，進(jìn)一步優(yōu)化訓(xùn)練模型，為將病害檢測(cè)系統(tǒng)在更大范圍的病害檢測(cè)提供支持。

[1]栗苗苗. 葡萄種植產(chǎn)業(yè)現(xiàn)狀與發(fā)展對(duì)策探討[J]. 農(nóng)業(yè)與技術(shù)，2020，40(11)：110-111. Li Miaomiao. Discussion on current situation and development countermeasures of grape planting industry [J]. Agriculture and technology, 2020, 40(11): 110-111. (in Chinese with English abstract)

[2]Jensen H G, Jacobsen, L B, Pedersen S M, et al. Socioeconomic impact of widespread adoption of precision farming and controlled traffic systems in Denmark[J]. Precision Agriculture, 2012, 13(6): 661-677.

[3]Boulent J, Foucher S, Jérme Théau, et al. Convolutional neural networks for the automatic identification of plant diseases[J]. Frontiers in Plant Science, 2019, 10: 941.

[4]岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：1-16. Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract)

[5]張芳，王璐，付立思，等. 基于支持向量機(jī)的黃瓜葉部病害的識(shí)別研究[J]. 沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2014，45(4)：457-462. Zhang Fang, Wang Lu, Fu Lisi, et al. Identification of cucumber leaf diseases based on support vector machine[J]. Journal of Shenyang Agricultural University, 2014, 45(4): 457-462. (in Chinese with English abstract)

[6]田杰，韓冬，胡秋霞，等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(7)：267-271. Tian Jie, Han Dong, Hu Qiuxia, et al. Segmentation of wheat rust lesion image using PCA and Gaussian mix model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 267-271. (in Chinese with English abstract)

[7]Singh V, Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture, 2016, 4(1): 41-49.

[8]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[9]林景棟，吳欣怡，柴毅，等. 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化綜述[J]. 自動(dòng)化學(xué)報(bào)，2020，46(1)：24?37. Lin Jingdong, Wu Xinyi, Chai Yi, et al. Structure optimization of convolutional neural networks: A survey[J]. Acta Automatica Sinica, 2020, 46(1): 24-37. (in Chinese with English abstract)

[10]劉穎，劉紅燕，范九倫，等. 基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)研究與應(yīng)用綜述[J]，電子學(xué)報(bào)，2020，48(3)：590-601. Liu Ying, Liu Hongyan, Fan Jiulun, et al. Research and application of small target detection based on deep learning[J]. Acta Electronica Sinica, 2020, 48(3): 590-601. (in Chinese with English abstract)

[11]孫紅，李松，李民贊，等. 農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(5)：1-17. Sun Hong, Li Song, Li Minzan, et al. Research progress of image sensing and deep learning in agriculture[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 1-17. (in Chinese with English abstract)

[12]傅隆生，宋珍珍，Zhang Xin，等. 深度學(xué)習(xí)方法在農(nóng)業(yè)信息中的研究進(jìn)展與應(yīng)用現(xiàn)狀[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2020，25(2)：105-120. Fu Longsheng, Song Zhenzhen, Zhang Xin, et al. Applications and research progress of deep learning in agriculture[J]. Journal of China Agricultural University, 2020, 25(2): 105-120. (in Chinese with English abstract)

[13]Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1-10.

[14]孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209-215. Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[15]任守綱，賈馥瑋，顧興健，等. 反卷積引導(dǎo)的番茄葉部病害識(shí)別及病斑分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(12)：186-195. Ren Shougang, Jia Fuwei, Gu Xingjian, et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 186-195. (in Chinese with English abstract)

[16]Brahimi M, Boukhalfa K, Moussaoui A. Deep learning for tomato diseases: Classification and symptoms visualization[J]. Applied Artificial Intelligence, 2017, 31(4): 299-315.

[17]樊湘鵬，周建平，許燕，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下玉米病害識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(3)：210-217. Fan Xiangpeng, Zhou Jianping, Xu Yan, et al. Corn disease recognition under complicated background based on improved convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3): 210-217. (in Chinese with English abstract)

[18]Ferentinos, Konstantinos P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[19]鮑文霞，孫慶，胡根生，等. 基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(11)：174-181. Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[20]Kerkech M, Hafiane A, Canals R, et al. Deep learning approach with colorimetric spaces and vegetation indices for vine diseases detection in UAV images[J]. Computers and Electronics in Agriculture, 2018, 155(12): 237-243.

[21]劉闐宇，馮全，楊森. 基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測(cè)方法[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，49(3)：73-83. Liu Tianyu, Feng Quan, Yang Sen. Detecting grape diseases based on Convolutional neural network[J]. Journal of Northeast Agricultural University, 2018, 49(3): 73-83. (in Chinese with English abstract)

[22]喬虹，馮全，張芮，等. 基于時(shí)序圖像跟蹤的葡萄葉片病害動(dòng)態(tài)監(jiān)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(17)：167-175. Qiao Hong, Feng Quan, Zhang Rui, et al. Dynamic monitoring of grape leaf disease based on sequential images tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 167-175. (in Chinese with English abstract)

[23]何欣. 基于深度學(xué)習(xí)的葡萄葉片病害識(shí)別方法研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2020.

He Xin. Research on Grape Leaf Disease Identification Method Based on Deep Learning[D]. Yangling: Northwest A&F University, 2020：27-36. (in Chinese with English abstract)

[24]Ji M M, Zhang L, Wu Q F. Automatic grape leaf diseases identification via UnitedModel based on multiple convolutional neural networks[J]. Information Processing in Agriculture, 2020, 7(3): 418-426.

[25]趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲(chóng)害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(7)：184-191. Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[26]姜洪權(quán)，賀帥，高建民，等. 一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的焊縫缺陷識(shí)別方法[J]. 機(jī)械工程學(xué)報(bào)，2020，56(8)：235-242. Jiang Hongquan, He Shuai, Gao Jianmin, et al. An improved convolutional neural network for weld defect recognition[J]. Journal of Mechanical Engineering, 2020, 56(8): 235-242. (in Chinese with English abstract)

[27]Waheed A, Goyal M, Gupta D, et al. An optimized dense convolutional neural network model for disease recognition and classification in corn leaf[J]. Computers and Electronics in Agriculture, 2020, 175: 105456.

[28]龍滿生，歐陽(yáng)春娟，劉歡，等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：194-201. Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194-201. (in Chinese with English abstract)

[29]Kaya A, Keceli A S, Catal C, et al. Analysis of transfer learning for deep neural network based plant classification models[J]. Computers and Electronics in Agriculture, 2019, 158: 20-29.

[30]Prasad S, Peddoju S K, Ghosh D. Multi-resolution mobile vision system for plant leaf disease diagnosis[J]. Signal, Image and Video Processing, 2016, 10(2): 379-388

[31]劉洋，馮全，王書(shū)志. 基于輕量級(jí)CNN的植物病害識(shí)別方法及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(17)：194-204. Liu Yang, Feng Quan, Wang Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 194-204. (in Chinese with English abstract)

[32]余小東，楊孟輯，張海清，等. 基于遷移學(xué)習(xí)的農(nóng)作物病蟲(chóng)害檢測(cè)方法研究與應(yīng)用[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(10)：252-258. Yu Xiaodong, Yang Mengji, Zhang Haiqing, et al. Research and application of crop diseases detection method based on transfer learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(10): 252-258. (in Chinese with English abstract)

Detection system for grape leaf diseases based on transfer learning and updated CNN

Fan Xiangpeng1,2,3, Xu Yan1,2,3, Zhou Jianping1,2,3※, Li Zhilei1,2,4, Peng Xuan2,4, Wang Xiaorong1,2,4

(1.,,830047,;2.,830047,;3.,830047,;4.,,830047,)

Leaf diseases have a severe threat to the quality and yield of grapes. However, there is often difficulty in the disease detection and low application rate of convolutional neural network (CNN) in a complicated field environment. In this study, an accurate and intelligent detection system was established to realize the strong robustness and real-time performance for grape leaf diseases using transfer learning and an updated CNN model. Firstly, 1990 images were captured for the healthy leaves and five types of infected leaves from field conditions. The combined datasets of PlantVillage and AI Challenger were used to pre-train the VGG16 network for the fully trained parameters. Secondly, the batch normalization, global average pooling layer, and Center Loss function were utilized to modify the structure of the pre-trained VGG16 network, where there was no change in the parameters of the thirteen front convolutional layers and pooling layers. The updated CNN was fine-tuned with the augmented images of grape leaves from field conditions. Stochastic gradient descent (SGD) and adaptive moment estimation (Adam) optimizers were adopted at the initial learning rates of 0.01 and 0.001 in the phase of fine-tuning for experimental comparison. Thirdly, different equilibrium parameters of Center Loss function were utilized in Softmax classification layer for optimal performance. The updated CNN model was also compared with the state-of-the-art models. Finally, the optimal CNN model was deployed in mobile phones to carry out in field condition. The experimental results showed that the updated model using Adam optimizer behaved with a higher accuracy and more stable performance than those using the SGD in the fine-tuning training phase. There were a higher accuracy, a lower loss value, and smaller vibration in the trained model with a small initial learning rate of 0.001 than those with a larger initial learning rate of 0.01, indicating that a smaller learning rate was more reasonable for fine-tuning training. In addition, the accuracy of the model was improved by the equilibrium parameter with a certain range in a Center Loss function. When the equilibrium parameter was set as 0.12, optimal performance of the updated CNN model was achieved at the initial learning rate of 0.001, where the average classification precision was 0.980 0, the recall was 0.980 1, the1 score was 0.980 1, the average accuracy was 98.02%, and the testing time per image was 0.327 s. The accuracy of updated CNN increased by 2.82%, while the detection time was reduced by 66.8%, and the number of parameters decreased by 83.4%, compared with the original VGG16 network. The comprehensive performance of the updated VGG16 model was also better than that of AlexNet, ResNet50, and Inception v3 models, indicating obvious advantages in the accuracy, weight space occupation, and testing time for the detection of grape leaf diseases. It infers that the Batch normalization layer can speed up the learning process, whereas, the Global average pooling layer without fully connected layers can greatly reduce the number of weight parameters of the model. Center Loss function improved the ability of fine classification. After deployed into smart phone platform, the detection system maintained an accuracy of 95.67% and detection time of 0.357 s per image for the portable and intelligent diagnostics of grape leaf diseases. The transfer learning provided the possibility of quickly acquiring high-performance model under the condition of small datasets. The finding can provide precise guide for the prevention and control of grape diseases in fields.

image recognition; diseases; grape leaf; transfer learning; convolutional neural network; global average pooling; mobile phone recognition system; intelligent diagnosis

樊湘鵬，許燕，周建平，等. 基于遷移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測(cè)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：151-159.doi：10.11975/j.issn.1002-6819.2021.06.019 http://www.tcsae.org

Fan Xiangpeng, Xu Yan, Zhou Jianping, et al. Detection system for grape leaf diseases based on transfer learning and updated CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 151-159. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.06.019 http://www.tcsae.org

2020-10-16

2021-03-02

國(guó)家自然科學(xué)基金項(xiàng)目（51765063）；新疆維吾爾自治區(qū)天山雪松科技創(chuàng)新領(lǐng)軍人才計(jì)劃項(xiàng)目（2018xs01）；新疆維吾爾自治區(qū)研究生科研創(chuàng)新項(xiàng)目（XJ2019G033）

樊湘鵬，研究方向?yàn)闄C(jī)電控制與機(jī)器人、農(nóng)業(yè)機(jī)械化與信息化。Email：15099324673@163.com

周建平，教授，博士生導(dǎo)師，研究方向?yàn)闄C(jī)電一體化、農(nóng)業(yè)機(jī)械化與信息化、特種加工技術(shù)。Email：linkzhou@163.com

10.11975/j.issn.1002-6819.2021.06.019

TP2；S24

A

1002-6819(2021)-06-0151-9