蘇仕芳，喬 焰，饒 元

基于遷移學(xué)習(xí)的葡萄葉片病害識(shí)別及移動(dòng)端應(yīng)用

蘇仕芳，喬 焰，饒 元※

（安徽農(nóng)業(yè)大學(xué)信息與計(jì)算機(jī)學(xué)院，合肥 230036）

為解決已有的卷積神經(jīng)網(wǎng)絡(luò)在小樣本葡萄病害葉片識(shí)別的問(wèn)題中出現(xiàn)的收斂速度慢，易產(chǎn)生過(guò)擬合現(xiàn)象等問(wèn)題，提出了一種葡萄葉片病害識(shí)別模型（Grape-VGG-16，GV），并針對(duì)該模型提出基于遷移學(xué)習(xí)的模型訓(xùn)練方式。將VGG-16網(wǎng)絡(luò)在ImageNet圖像數(shù)據(jù)集上學(xué)習(xí)的知識(shí)遷移到本模型中，并設(shè)計(jì)全新的全連接層。對(duì)收集到的葡萄葉片圖像使用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集。基于擴(kuò)充前后的數(shù)據(jù)集，對(duì)全新學(xué)習(xí)、訓(xùn)練全連接層的遷移學(xué)習(xí)、訓(xùn)練最后一個(gè)卷積層和全連接層的遷移學(xué)習(xí)3種學(xué)習(xí)方式進(jìn)行了試驗(yàn)。試驗(yàn)結(jié)果表明，1）遷移學(xué)習(xí)的2種訓(xùn)練方式相比于全新學(xué)習(xí)準(zhǔn)確率增加了10～13個(gè)百分點(diǎn)，并在僅訓(xùn)練25輪達(dá)到收斂，該方法有效提升了模型分類性能，縮短模型的收斂時(shí)間；2）數(shù)據(jù)擴(kuò)充有助于增加數(shù)據(jù)的多樣性，并隨著訓(xùn)練次數(shù)的增加，訓(xùn)練與測(cè)試準(zhǔn)確率同步上升，有效緩解了過(guò)擬合現(xiàn)象。在遷移學(xué)習(xí)結(jié)合數(shù)據(jù)擴(kuò)充的方式下，所構(gòu)建的葡萄葉片病害識(shí)別模型（GV）對(duì)葡萄葉片病害的識(shí)別準(zhǔn)確率能達(dá)到96.48%，對(duì)健康葉、褐斑病、輪斑病和黑腐病的識(shí)別準(zhǔn)確率分別達(dá)到98.04%、98.04%、95.83%和94.00%。最后，將最終的研究模型部署到移動(dòng)端，實(shí)現(xiàn)了田間葡萄葉片病害的智能檢測(cè)，為葡萄病害的智能診斷提供參考。

圖像識(shí)別；病害；葡萄葉片；遷移學(xué)習(xí)；數(shù)據(jù)擴(kuò)充；移動(dòng)端

0 引 言

目前，葡萄在世界水果生產(chǎn)中占有重要地位，中國(guó)葡萄栽培總面積達(dá)到67萬(wàn)hm2，葡萄產(chǎn)量1 000萬(wàn)t。但是葡萄的種植過(guò)程極易受到天氣、環(huán)境、蟲害和病害等影響，從而對(duì)葡萄植株的生長(zhǎng)發(fā)育、產(chǎn)量品質(zhì)等造成不可逆的損害[1]。隨著葡萄產(chǎn)業(yè)的發(fā)展，葉片病害的種類不斷增多、病害對(duì)植株的傷害也不斷加重，初期的病害如果不及時(shí)發(fā)現(xiàn)并采取措施，病害就會(huì)迅速蔓延到整個(gè)植株，從而嚴(yán)重影響葡萄果實(shí)的正常生長(zhǎng)，給種植戶造成嚴(yán)重的經(jīng)濟(jì)損失。所以在初期階段快速準(zhǔn)確的識(shí)別葡萄病害是目前葡萄種植行業(yè)亟待解決的問(wèn)題。目前葡萄種植過(guò)程中普遍存在的病害主要有褐斑病、輪斑病、黑腐病等。早期的病害檢測(cè)主要是靠有經(jīng)驗(yàn)的葡萄病蟲害專家通過(guò)對(duì)葡萄葉片的感官識(shí)別來(lái)判定，而單純依靠人工判定病蟲害方式耗時(shí)費(fèi)力[2-3]，對(duì)于日益增加的葡萄種植戶來(lái)說(shuō)并不可行，并且憑經(jīng)驗(yàn)判斷的結(jié)果差異較大，很難確保檢驗(yàn)結(jié)果的一致性和準(zhǔn)確性。因此，利用人工智能手段，對(duì)葡萄病害進(jìn)行自動(dòng)的、智能的檢測(cè)具有重要意義。

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛，其中卷積神經(jīng)網(wǎng)絡(luò)[4-5]（Convolutional Neural Networks，CNN）作為最經(jīng)典的深度學(xué)習(xí)算法之一，已經(jīng)被廣泛應(yīng)用到圖像識(shí)別領(lǐng)域（如車輛檢測(cè)[6]、人臉識(shí)別[7-8]、語(yǔ)音識(shí)別[9]等），并取得了較好的成果。在農(nóng)作物病害識(shí)別中，孫俊等[10]提出一種批歸一化（Batch Normalization，BN）與全局池化相結(jié)合的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練PlantVillage所收集的21 917張葉片圖像，僅經(jīng)過(guò)3次訓(xùn)練，就達(dá)到90%以上的識(shí)別準(zhǔn)確率；王璨等[11]利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的多尺度分層特征，再對(duì)圖像進(jìn)行超像素分割，精確地實(shí)現(xiàn)了玉米與雜草的識(shí)別；周云成等[12]將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于番茄主要器官的分類與識(shí)別，實(shí)現(xiàn)了對(duì)番茄果、花、莖的精確識(shí)別。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別方法已經(jīng)廣泛應(yīng)用到多種農(nóng)作物病害的識(shí)別與檢測(cè)領(lǐng)域，但是針對(duì)葡萄病害的檢測(cè)卻少有應(yīng)用。主要是因?yàn)槠咸严鄬?duì)其他大規(guī)模種植的農(nóng)作物來(lái)說(shuō)，其病害圖像較難獲得，而較小的訓(xùn)練樣本集難以使深度卷積神經(jīng)網(wǎng)絡(luò)模型獲得穩(wěn)定的識(shí)別精度。為此，針對(duì)小樣本數(shù)據(jù)集的訓(xùn)練問(wèn)題，龍滿生等[13]提出了一種基于AlexNet網(wǎng)絡(luò)的遷移學(xué)習(xí)方法，通過(guò)對(duì)小數(shù)據(jù)樣本的數(shù)據(jù)擴(kuò)充和遷移學(xué)習(xí)，能夠?qū)⒎诸悳?zhǔn)確率提升到96.53%；蘇婷婷等[14]運(yùn)用深度遷移學(xué)習(xí)的方法識(shí)別花生葉部病害，識(shí)別準(zhǔn)確率可達(dá)到95.30%；趙立新等[15]將遷移學(xué)習(xí)的多種網(wǎng)絡(luò)進(jìn)行了對(duì)比，證明了AlexNet網(wǎng)絡(luò)的遷移學(xué)習(xí)分類效果相對(duì)較好，使用數(shù)據(jù)增強(qiáng)技術(shù)后再訓(xùn)練能夠?qū)⑵骄鶞y(cè)試準(zhǔn)確率提高到97.16%。以上研究表明，通過(guò)遷移學(xué)習(xí)和樣本擴(kuò)充能在一定程度上解決小樣本數(shù)據(jù)集在卷積神經(jīng)網(wǎng)絡(luò)上模型訓(xùn)練問(wèn)題，然而較成熟的卷積神經(jīng)網(wǎng)絡(luò)模型分類種類較多，在訓(xùn)練僅有4類病害的葡萄葉片時(shí)難以收斂，且極易產(chǎn)生過(guò)擬合現(xiàn)象。

針對(duì)以上問(wèn)題，本文提出一種基于VGG-16[16]的葡萄葉片病害識(shí)別模型（Grape-VGG-16，GV），利用遷移學(xué)習(xí)將VGG-16在ImageNet[17]數(shù)據(jù)集上訓(xùn)練成熟的特征提取能力遷移到葡萄葉片病害識(shí)別模型中，通過(guò)設(shè)計(jì)全新的全連接層實(shí)現(xiàn)了葡萄病害的精確識(shí)別。通過(guò)18組對(duì)比試驗(yàn)，證明了遷移學(xué)習(xí)的訓(xùn)練方法能加快收斂速度，有效地緩解過(guò)擬合現(xiàn)象的產(chǎn)生，并將葡萄病害的識(shí)別準(zhǔn)確度提高到96.48%。最后，采用Google發(fā)布的針對(duì)移動(dòng)設(shè)備或嵌入式設(shè)備的輕量化解決方案——TensorFlow_Lite將提出的GV模型部署到智能手機(jī)等移動(dòng)終端，實(shí)現(xiàn)了移動(dòng)端對(duì)葡萄葉片病害的快捷智能化診斷。

1 試驗(yàn)數(shù)據(jù)

1.1 圖像數(shù)據(jù)采集

本試驗(yàn)的圖像數(shù)據(jù)采集于2020年5-9月合肥高新產(chǎn)業(yè)農(nóng)業(yè)園和合肥大圩葡萄園，相機(jī)型號(hào)為尼康D7200，分辨率設(shè)為640×480像素，分別采集了葡萄葉片褐斑病、輪斑病、健康葉和黑腐病圖像各300張。拍攝采用自然環(huán)境下的多角度與多時(shí)間段拍攝方法。

1.2 圖像數(shù)據(jù)擴(kuò)充

每個(gè)類的圖像為300張，首先選取250張為訓(xùn)練集，其余50張用于測(cè)試。再使用隨機(jī)旋轉(zhuǎn)度數(shù)、隨機(jī)水平和豎直平移、水平翻轉(zhuǎn)等方法進(jìn)行數(shù)據(jù)擴(kuò)充，訓(xùn)練的過(guò)程中對(duì)圖片進(jìn)行歸一化處理，并將圖片統(tǒng)一縮放為224′224×3像素。

2 葡萄葉片病害圖像識(shí)別模型構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)與VGG-16網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）能夠通過(guò)逐層抽取圖像，獲得代表一幅圖像高級(jí)語(yǔ)義的結(jié)構(gòu)化特征[18]?；镜木矸e神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、激活層、池化層和全連接層。

本文選取經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)VGG-16進(jìn)行遷移學(xué)習(xí)[19-21]，由13個(gè)卷積層、5個(gè)池化層和3個(gè)全連接層組成（如圖1所示）。網(wǎng)絡(luò)只使用3×3的小型卷積核和2×2的最大池化層，通過(guò)小卷積核進(jìn)行特征提取，并增加了卷積子層數(shù)，提升了網(wǎng)絡(luò)的擬合能力。

卷積層通過(guò)卷積運(yùn)算完成對(duì)圖像特征的提取。卷積核以滑動(dòng)窗口的形式在輸入圖像上進(jìn)行逐行掃描，進(jìn)行圖像與網(wǎng)絡(luò)參數(shù)的卷積操作[22]，最終得到圖像的特征圖矩陣。在卷積層中，對(duì)輸入特征的卷積運(yùn)算如下所示

式中為卷積層的輸出結(jié)果。ReLU函數(shù)可用來(lái)增加神經(jīng)網(wǎng)絡(luò)間的非線性，VGG-16除了輸出層之外，每一層都選擇ReLU激活函數(shù)，相比于Sigmoid和tanh，ReLU具有收斂速度快、計(jì)算簡(jiǎn)單等特點(diǎn)[25]，更適用于深度網(wǎng)絡(luò)模型。

池化也叫下采樣或欠采樣，主要作用是對(duì)特征圖進(jìn)行特征壓縮，其方法主要包括最大池化（Max Pooling）和平均池化（Average Pooling）[26]，分別在池化操作中計(jì)算并保留圖像某一區(qū)域上特定特征的最大值或平均值，VGG-16所有2×2的池化層均使用最大池化。

全連接層出現(xiàn)在多個(gè)卷積和池化操作之后，在卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用，可整合卷積層和池化層中具有類別區(qū)分性的局部信息[27]。全連接層的輸出值直接傳遞給輸出層，輸出層利用Softmax函數(shù)進(jìn)行葡萄葉片病害的檢測(cè)。

Softmax分類器用S表示第個(gè)樣本的分類概率，其計(jì)算公式為

2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)（Transfer Learning）是運(yùn)用已有的知識(shí)對(duì)與原領(lǐng)域不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法[28]，是把一個(gè)領(lǐng)域（源領(lǐng)域）的知識(shí)，遷移到另外一個(gè)領(lǐng)域（目標(biāo)領(lǐng)域），使得目標(biāo)領(lǐng)域能夠取得更好的學(xué)習(xí)效果。遷移學(xué)習(xí)的目的是遷移已有的知識(shí)來(lái)解決目標(biāo)領(lǐng)域中僅有少量樣本數(shù)據(jù)時(shí)的模型訓(xùn)練。微調(diào)[29]（fine-tune）是進(jìn)行遷移學(xué)習(xí)的一種手段，它通過(guò)使用別人訓(xùn)練好的權(quán)重參數(shù)，不凍結(jié)最后一個(gè)卷積層和全連接層，對(duì)這2個(gè)層進(jìn)行參數(shù)的更新和訓(xùn)練。本文使用的數(shù)據(jù)集共4類，每類包含300張圖片，由于樣本量很小，一般的卷積神經(jīng)網(wǎng)絡(luò)無(wú)法達(dá)到滿意的訓(xùn)練效果。因此，本文采用2種遷移學(xué)習(xí)方式（訓(xùn)練全連接層與訓(xùn)練最后一個(gè)卷積層和全連接層）對(duì)模型進(jìn)行訓(xùn)練。相比非遷移學(xué)習(xí)的全新學(xué)習(xí)（即訓(xùn)練模型的全部層），遷移學(xué)習(xí)更有助于在小樣本條件下加快網(wǎng)絡(luò)的收斂，并有效地提高識(shí)別精度。

2.3 模型構(gòu)建

原始的VGG-16網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上進(jìn)行訓(xùn)練，并將結(jié)果分為1 000類。而目前能夠采集到的葡萄葉片數(shù)量有限，無(wú)法達(dá)到與ImageNet數(shù)據(jù)集等同的規(guī)模。若僅靠小樣本數(shù)據(jù)對(duì)VGG-16進(jìn)行全新訓(xùn)練，一方面會(huì)導(dǎo)致泛化效果差，極易產(chǎn)生過(guò)擬合現(xiàn)象；另一方面會(huì)占用大量的計(jì)算資源，且隨著訓(xùn)練輪數(shù)的增加，模型易發(fā)生波動(dòng)。因此，為避免小數(shù)據(jù)集易導(dǎo)致的模型過(guò)擬合和識(shí)別效果不穩(wěn)定現(xiàn)象，本文在VGG-16基礎(chǔ)上，保留圖1中卷積模塊5之前的網(wǎng)絡(luò)結(jié)構(gòu)，并重新設(shè)計(jì)新的全連接層代替VGG-16的全連接層，提出了葡萄葉片病害識(shí)別模型（Grape-VGG-16，GV）。

GV的模型結(jié)構(gòu)如圖2所示，該模型由5個(gè)卷積模塊1～5和2個(gè)全連接模塊（全連接層1和全連接層2）構(gòu)成。全連接層不僅包括ReLU激活函數(shù)和Softmax函數(shù)，還采用正則化方法Dropout[30]技術(shù)來(lái)避免訓(xùn)練過(guò)擬合。輸入圖像經(jīng)過(guò)卷積與池化模塊1～5的操作之后圖像尺寸大小為7×7×512像素。首先經(jīng)過(guò)Flatten層，該層是卷積層到全連接層的過(guò)渡層，使用Flatten()類將多維的輸入一維化，即將特征矩陣轉(zhuǎn)化為一個(gè)1×25 088的向量，再通過(guò)全連接層1降維到1×512，之后進(jìn)入非線性激活函數(shù)ReLU。再進(jìn)入Dropout層，Dropout可通過(guò)隨機(jī)丟棄掉網(wǎng)絡(luò)中的一些神經(jīng)元來(lái)有效地抑制過(guò)擬合現(xiàn)象的發(fā)生，Dropout中的正則化參數(shù)一般設(shè)置為0.5或0.3（即丟棄50%或30%的神經(jīng)元），在GV模型中，正則化參數(shù)設(shè)置為0.5。屏蔽掉某些神經(jīng)元之后進(jìn)入全連接層2，該層將向量維度降到1×64，該層同樣使用ReLU函數(shù)。最后一層首先將向量降維到1×4，再利用Softmax函數(shù)計(jì)算最終的分類概率。

在模型的遷移學(xué)習(xí)中，將VGG-16網(wǎng)絡(luò)在ImageNet上訓(xùn)練好的卷積層權(quán)重和參數(shù)遷移到GV模型的卷積層中，最后用葡萄葉片病害數(shù)據(jù)集對(duì)該模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)葡萄葉片病害的識(shí)別。

3 試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)環(huán)境配置與參數(shù)設(shè)置

試驗(yàn)運(yùn)行環(huán)境操作系統(tǒng)為Windows10，內(nèi)存為8GB，搭載Intel Core i5 8400處理器，采用Anaconda 4.5.11，cuda10.1編程平臺(tái)，cudnn 7.6，以Tensorflow作為開發(fā)環(huán)境，編程使用Python3.7。試驗(yàn)批次（batchsize）為32，訓(xùn)練輪數(shù)為300，動(dòng)量參數(shù)設(shè)置為0.9，采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）來(lái)實(shí)現(xiàn)模型優(yōu)化，并利用Dropout函數(shù)減輕過(guò)擬合。訓(xùn)練方式包括全新學(xué)習(xí)、訓(xùn)練全連接層的遷移學(xué)習(xí)和訓(xùn)練最后一個(gè)卷積層及全連接層的遷移學(xué)習(xí)，數(shù)據(jù)集采用無(wú)擴(kuò)充數(shù)據(jù)和擴(kuò)充數(shù)據(jù)，針對(duì)每一種訓(xùn)練方式和每一組數(shù)據(jù)集，學(xué)習(xí)率分別設(shè)置為0.01，0.001，0.000 1，共進(jìn)行18組試驗(yàn)。GV模型經(jīng)過(guò)300輪訓(xùn)練后，各組試驗(yàn)的訓(xùn)練與測(cè)試結(jié)果如表1所示。

3.2 訓(xùn)練結(jié)果分析與對(duì)比

由表1可知，不同的訓(xùn)練方式，數(shù)據(jù)集和學(xué)習(xí)率均對(duì)模型的性能產(chǎn)生了不同的影響。

3.2.1 訓(xùn)練方式對(duì)模型的影響

學(xué)習(xí)率為0.001，使用無(wú)擴(kuò)充數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，3種訓(xùn)練方式的訓(xùn)練和測(cè)試準(zhǔn)確率如圖3所示。

表1 GV模型訓(xùn)練與測(cè)試的損失值和準(zhǔn)確率

注：A、B為數(shù)據(jù)擴(kuò)充方式，A表示無(wú)擴(kuò)充，僅將輸入圖像統(tǒng)一縮放為224×224像素；B表示將輸入數(shù)據(jù)縮放到224×224像素后再進(jìn)行隨機(jī)旋轉(zhuǎn)度數(shù)、隨機(jī)水平和豎直平移、水平翻轉(zhuǎn)等增強(qiáng)操作進(jìn)行擴(kuò)充。NaN表示損失無(wú)窮大。訓(xùn)練輪數(shù)為300。

Note: A and B are two data augmentation methods. A means no data augmentation, where input images are only scaled to 224×224 pixels; B means the data is augmented by random rotation, random horizontal, vertical translation and horizontal flip after being scaled to 224×224 pixels. NaN means the loss is infinite. The number of training epochs is 300。

由圖3a可知，進(jìn)行全新學(xué)習(xí)時(shí)，模型在一開始伴隨較大波動(dòng)，在訓(xùn)練約75輪后才達(dá)到收斂。訓(xùn)練全連接層的遷移學(xué)習(xí)與訓(xùn)練最后一個(gè)卷積層和全連接層的遷移學(xué)習(xí)在訓(xùn)練過(guò)程中產(chǎn)生的波動(dòng)較小，并且在僅訓(xùn)練25輪后模型就達(dá)到收斂。

由圖3b可知，相比遷移學(xué)習(xí)，全新學(xué)習(xí)的測(cè)試準(zhǔn)確率較低，初始的測(cè)試準(zhǔn)確率僅達(dá)到0.25，收斂也較慢。這是因?yàn)槠咸讶~片病害數(shù)據(jù)集與ImageNet圖像數(shù)據(jù)集在數(shù)量上存在較大差異，小樣本數(shù)據(jù)的全新學(xué)習(xí)很難達(dá)到理想的測(cè)試效果。而采用遷移學(xué)習(xí)的方式可顯著地提高模型的測(cè)試準(zhǔn)確率且加快收斂速度。

以上試驗(yàn)表明遷移學(xué)習(xí)可以極大地縮短模型訓(xùn)練的收斂時(shí)間。由圖3可知，遷移學(xué)習(xí)不僅加快了模型的收斂速度，而且對(duì)于提高模型的訓(xùn)練與測(cè)試準(zhǔn)確率具有明顯的促進(jìn)作用，其中訓(xùn)練最后一個(gè)卷積層與全連接層的遷移學(xué)習(xí)模型性能更加穩(wěn)定，相比全新學(xué)習(xí)，準(zhǔn)確率約增加13個(gè)百分點(diǎn)，而訓(xùn)練全連接層的準(zhǔn)確率約增加10個(gè)百分點(diǎn)。表明遷移學(xué)習(xí)的訓(xùn)練全連接層與訓(xùn)練最后一個(gè)卷積層和全連接層兩種網(wǎng)絡(luò)模型的性能要優(yōu)于全新學(xué)習(xí)，后者性能更佳。

3.2.2 數(shù)據(jù)擴(kuò)充對(duì)模型的影響

為了驗(yàn)證數(shù)據(jù)擴(kuò)充對(duì)于模型訓(xùn)練的影響，在其他參數(shù)相同的條件下，分別針對(duì)2種數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試的準(zhǔn)確率曲線如圖4所示。由圖4可知，在全新學(xué)習(xí)模式下，擴(kuò)充數(shù)據(jù)下的訓(xùn)練和測(cè)試準(zhǔn)確率曲線表現(xiàn)出較大的波動(dòng)，但隨著訓(xùn)練次數(shù)的增加，兩者的波動(dòng)幅度逐漸減小，準(zhǔn)確率在逐步上升，并沒有產(chǎn)生過(guò)擬合現(xiàn)象，表明數(shù)據(jù)擴(kuò)充可以有效的緩解過(guò)擬合現(xiàn)象，提升模型性能。在遷移學(xué)習(xí)模式下，擴(kuò)充數(shù)據(jù)的測(cè)試準(zhǔn)確率并沒有顯著提高，這是因?yàn)閂GG-16網(wǎng)絡(luò)在ImageNet這個(gè)大型數(shù)據(jù)集上已經(jīng)學(xué)習(xí)到了很好的特征提取能力，因而數(shù)據(jù)擴(kuò)充的作用被弱化。但是數(shù)據(jù)擴(kuò)充對(duì)模型的訓(xùn)練是必要的，它不僅充分增加了訓(xùn)練樣本，更有助于防止過(guò)擬合，增強(qiáng)模型的泛化能力。

分別對(duì)表1中第14組（數(shù)據(jù)無(wú)擴(kuò)充）和第17組（數(shù)據(jù)擴(kuò)充）試驗(yàn)經(jīng)過(guò)300輪訓(xùn)練后的模型進(jìn)行測(cè)試，分別命名為GV-14、GV-17，分別得出這2個(gè)模型對(duì) 4類病害識(shí)別的準(zhǔn)確率，結(jié)果如表2所示。由表2可知，GV-17對(duì)葡萄葉片病害的識(shí)別準(zhǔn)確率更高，可達(dá)到99%的準(zhǔn)確率，而GV-14雖然識(shí)別出了病害類型，但是準(zhǔn)確率不高并且存在識(shí)別為其他類別的可能性，例如，GV-14在識(shí)別黑腐病圖片時(shí)，可能性為69.5%，因此識(shí)別為其他類別的可能性為30.5%。因此，數(shù)據(jù)擴(kuò)充提升了模型的魯棒性與圖片的識(shí)別準(zhǔn)確率。

表2 經(jīng)擴(kuò)充數(shù)據(jù)訓(xùn)練后GV模型(GV-17)與無(wú)擴(kuò)充數(shù)據(jù)訓(xùn)練后GV模型(GV-14)病害識(shí)別準(zhǔn)確率

3.2.3 學(xué)習(xí)率對(duì)模型的影響

3.3 模型效果測(cè)試

在分類問(wèn)題中，僅僅用訓(xùn)練和測(cè)試準(zhǔn)確率來(lái)判定模型性能的好壞是不準(zhǔn)確的。在數(shù)據(jù)集不平衡時(shí)，就可能會(huì)存在準(zhǔn)確率很高，而對(duì)少數(shù)類樣本分類錯(cuò)誤的情況。分類模型的評(píng)價(jià)指標(biāo)除了準(zhǔn)確率之外，還有精準(zhǔn)率、召回率和1得分。1得分可綜合考量精準(zhǔn)率和召回率，可由以下公式計(jì)算

本小節(jié)對(duì)性能較優(yōu)的第9組試驗(yàn)（訓(xùn)練方式為遷移學(xué)習(xí)訓(xùn)練全連接層，學(xué)習(xí)率為0.001，使用無(wú)擴(kuò)充數(shù)據(jù)集）訓(xùn)練300輪之后的模型進(jìn)行測(cè)試，使用200張圖片作為測(cè)試數(shù)據(jù)，計(jì)算模型的精準(zhǔn)率、召回率、1得分與準(zhǔn)確率，結(jié)果如表3所示。計(jì)算得出該模型在測(cè)試后的平均準(zhǔn)確率為96.48%，分類性能最好的是健康葉和褐斑病，識(shí)別準(zhǔn)確率為98.04%，最低的是黑腐病，識(shí)別準(zhǔn)確率為94.00%。

表3 模型的識(shí)別精度

3.4 葡萄葉片病害識(shí)別應(yīng)用

為了使最終的神經(jīng)網(wǎng)絡(luò)模型更加快捷智能的進(jìn)行病害檢測(cè)，將其開發(fā)為移動(dòng)端應(yīng)用，安裝到手機(jī)或其他智能終端。移動(dòng)端可以利用手機(jī)自帶的相機(jī)拍攝病害圖片并上傳到PC服務(wù)器端進(jìn)行處理。服務(wù)器端對(duì)圖片進(jìn)行相應(yīng)的預(yù)處理后，選擇基于遷移學(xué)習(xí)的葡萄病害識(shí)別模型病害進(jìn)行病害識(shí)別，最終將該圖片的有效信息及識(shí)別結(jié)果反饋到移動(dòng)端。如圖6所示，或者直接選擇圖片后上傳到服務(wù)器端，再將結(jié)果反饋給移動(dòng)終端。

4 結(jié) 論

本文在VGG-16基礎(chǔ)上構(gòu)建了葡萄葉片病害識(shí)別模型GV，并分別以全新學(xué)習(xí)、訓(xùn)練全連接層的遷移學(xué)習(xí)和訓(xùn)練最后一個(gè)卷積層與全連接層的遷移學(xué)習(xí)3種方式對(duì)GV模型進(jìn)行訓(xùn)練。通過(guò)對(duì)訓(xùn)練方式、數(shù)據(jù)擴(kuò)充、學(xué)習(xí)率對(duì)模型的影響進(jìn)行了分析，得出以下結(jié)論：

1）在同時(shí)訓(xùn)練300輪的情況下，遷移學(xué)習(xí)的訓(xùn)練方式在25輪達(dá)到收斂，而全新學(xué)習(xí)在約75輪收斂，表明遷移學(xué)習(xí)可以縮短模型訓(xùn)練的收斂時(shí)間，并在相同試驗(yàn)條件下，遷移學(xué)習(xí)相比于全新學(xué)習(xí)準(zhǔn)確率增加10～13個(gè)百分點(diǎn)。

2）相比全新學(xué)習(xí)，遷移學(xué)習(xí)在訓(xùn)練過(guò)程中會(huì)弱化數(shù)據(jù)擴(kuò)充的作用。但數(shù)據(jù)擴(kuò)充能夠有效地減少訓(xùn)練準(zhǔn)確度與測(cè)試準(zhǔn)確度之間的較大差異（即過(guò)擬合現(xiàn)象），從而提高模型的泛化能力。

3）學(xué)習(xí)率對(duì)模型的收斂和識(shí)別準(zhǔn)確率會(huì)產(chǎn)生較大影響。在全新學(xué)習(xí)與遷移學(xué)習(xí)中，當(dāng)學(xué)習(xí)率取到0.01時(shí)損失值無(wú)窮大，并且較大的學(xué)習(xí)率會(huì)導(dǎo)致?lián)p失函數(shù)發(fā)生震蕩，無(wú)法達(dá)到收斂。因此，選取合適的學(xué)習(xí)率對(duì)模型的訓(xùn)練至關(guān)重要。

本文對(duì)葡萄葉片的4類病害進(jìn)行識(shí)別，在圖片背景單一、數(shù)量少的情況下，基于遷移學(xué)習(xí)的葡萄葉片病害圖像識(shí)別具有較好的識(shí)別效果。模型的準(zhǔn)確率能夠達(dá)到96.48%。而實(shí)際的農(nóng)田采集的圖像，一張圖片可能包含多種病害并且背景復(fù)雜。在后續(xù)工作中，將重點(diǎn)研究如何在復(fù)雜背景下分割葡萄葉片，并進(jìn)一步優(yōu)化模型，提升模型的性能，并把研究成果深入到其他作物病害中，提升模型實(shí)際應(yīng)用價(jià)值。

[1] 劉媛，馮全. 葡萄病害的計(jì)算機(jī)識(shí)別方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2017，38(4)：99-104.

[2] 栗苗苗. 葡萄種植產(chǎn)業(yè)現(xiàn)狀與發(fā)展對(duì)策探討[J]. 農(nóng)業(yè)與技術(shù)，2020，40(11)：110-111.

Li Miaomiao. Discussion on current situation and development countermeasures of grape planting industry[J]. Agriculture and Technology, 2020, 40(11): 110-111. (in Chinese with English abstract)

[3] Singh V, Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture, 2017, 4(1): 41-49.

[4] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833.

[5] LeCun Y, Kavukcuoglu K, Farabet C. Convolutional networks and applications in vision[C]//Proceedings of 2010 IEEE international symposium on circuits and systems. IEEE, 2010: 253-256.

[6] 徐子豪，黃偉泉，王胤. 基于深度學(xué)習(xí)的監(jiān)控視頻中多類別車輛檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用，2019，39(3)：700-705.

Xu Zihao, Huang Weiquan, Wang Yin. Multi-class vehicle detection in surveillance video based on deep learning[J]. Journal of Computer Applications, 2019, 39(3): 700-705. (in Chinese with English abstract)

[7] Li Y, Lu Z, Li J, et al. Improving deep learning feature with facial texture feature for face recognition[J]. Wireless Personal Communications, 2018, 103, 1195-1206.

[8] Li Y, Wang G, Nie L, et al. Distance metric optimization driven convolutional neural network for age invariant face recognition[J]. Pattern Recognition, 2018, 75: 51-62.

[9] 侯一民，周慧瓊，王政一. 深度學(xué)習(xí)在語(yǔ)音識(shí)別中的研究進(jìn)展綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2017，34(8)：2241-2246.

Hou Yimin, Zhou Huiqiong, Wang Zhengyi. Overview of speech recognition based on deep learning[J]. Application Research of Computers, 2017, 34(8): 2241-2246. (in Chinese with English abstract)

[10] 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[11] 王璨，武新慧，李志偉. 基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征識(shí)別玉米雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(5)：152-159.

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 152-159. (in Chinese with English abstract)

[12] 周云成，許童羽，鄭偉，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(15)：219-226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219-226. (in Chinese with English abstract)

[13] 龍滿生，歐陽(yáng)春娟，劉歡，等. 基于卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的油茶病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(18)：194-201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194-201. (in Chinese with English abstract)

[14] 蘇婷婷，牟少敏，董萌萍，等. 深度遷移學(xué)習(xí)在花生葉部病害圖像識(shí)別中的應(yīng)用[J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，50(5)：865-869.

Su Tingting, Mu Shaomin, Dong Mengping, et al. Application of deep transfer learning in image recognition of peanut leaf diseases[J]. Jouournal of Shandong Agricultural University: Natural Science Edition, 2019, 50(5): 865-869. (in Chinese with English abstract)

[15] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[16] Simonyan K , Zisserman A . Very deep convolutional networks for large-scale image recognition[EB/OL]. [2017-09-04]. https://arxiv.org/abs/1409.1556v6.

[17] Deng J, Dong W, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2009.

[18] 石祥濱，房雪鍵，張德園，等. 基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]. 系統(tǒng)仿真學(xué)報(bào)，2016，28(1)：167-173.

Shi Xiangbin, Fan Xuejian, Zhang Deyuan, et al. Image classification based on mixed deep learning model transfer learning[J]. Journal of System Simulation, 2016, 28(1): 167-173. (in Chinese with English abstract)

[19] 許景輝，邵明燁，王一琛，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(2)：230-236，253.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236, 253. (in Chinese with English abstract)

[20] Pan S J, Yang Q. A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[21] 楊國(guó)國(guó)，鮑一丹，劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156-162. (in Chinese with English abstract)

[22] 張軍陽(yáng)，王慧麗，郭陽(yáng)，等. 深度學(xué)習(xí)相關(guān)研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2018，35(7)：1921-1928，1936.

[23] 丁紅衛(wèi)，萬(wàn)良，周康，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)研究[J]. 計(jì)算機(jī)科學(xué)，2019，46(10)：173-179.

[24] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[25] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, 2011: 315-323.

[26] Boureau Y L, Roux N L, Bach F, et al. Ask the locals: Multi-way local pooling for image recognition[C]// Proc. International Conference on Computer Vision (ICCV'11). IEEE, 2011.

[27] Sainath T N, Mohamed A R, Kingsbury B, et al. Deep convolutional neural networks for LVCSR[C]// IEEE International Conference on Acoustics. IEEE, 2013: 8614-8618

[28] 莊福振，羅平，何清，等. 遷移學(xué)習(xí)研究進(jìn)展[J]. 軟件學(xué)報(bào)，2015，26(1)：26-39.

Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer learning research[J]. Journal of Soft'ware, 2015, 26(1): 26-39. (in Chinese with English abstract)

[29] 陳立福，武鴻，崔先亮，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)SAR圖像目標(biāo)識(shí)別[J]. 中國(guó)空間科學(xué)技術(shù)，2018，38(6)：45-51.

Chen Lifu, Wu Hong, Cui Xianliang, et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology, 2018, 38(6): 45-51. (in Chinese with English abstract)

[30] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

Recognition of grape leaf diseases and mobile application based on transfer learning

Su Shifang, Qiao Yan, Rao Yuan※

(,,230036,)

Pests and diseases have posed a severe threat to the production of grapes, causing irreversible damage on the growth cycle of grapes. The treatments vary significantly in the types of grape diseases. Therefore, it is highly demanding to detect the diseases of grapes timely, while accurately identify the types of diseases to avoid the spread of diseases. In the early days, the diseases of grapes were mainly identified by experienced grape and pest experts recognizing the grape leaves manually, which is time-consuming and laborious. It is necessary to develop a grape disease recognition using computer science technology. Convolutional Neural Network (CNN) has been used to automatically recognize agricultural pests in the field of Artificial Intelligence (AI) in recent years. However, the general CNN cannot be well trained to achieve high accuracy, due mainly to few large datasets of diseased grape leaves. In this study, a new recognition network of grape leaf disease was proposed using CNN. Transfer learning and data enhancement were also applied for the new network to enlarge the small dataset of grape leaves. The new network was named Grape-VGG-16 (GV for short) using VGG-16 network (one of the most classical CNN). GV generally contained 5 convolutions, 2 full connection 1 flatten, 1 dropout, and 1 SoftMax layer. The knowledge was first learned from the ImageNet image dataset using transfer learning, and then be transferred to the GV in the disease recognition of grape leaf. The output number was modified to 4 for the last fully connected layer using fine tuning, representing the 4 types of grapes leaves (healthy, brown spot, wheel spot, and black rot). A TensorFlow framework was selected to verify the network in the experiments using Python programming language. 300 images were collected for each leaf category (the total number of images was 1200), 250 of which were randomly selected as the training set, and 50 of which as the testing set. Then the dataset of images was augmented under the operations, such as random rotation, random horizontal and vertical translation, as well as horizontal flipping on the image. Finally, the augmented dataset was used to train the GV network, which was uniformly scaled to 224×224 pixels. 18 groups of experiments were performed on a computing server with Nvidia GPU using a combination of three learning (new learning, transfer learning with training the full connection layer, as well as transfer learning with training both the last convolution and full connection layer), two dataset with/without augmentation, and three learning rates (0.01, 0.001, and 0.000 1). The experimental results demonstrated that: 1) Transfer learning improved the model accuracy, while shortened the convergence time of the model; 2) Data augmentation greatly increased the diversity of data, while effectively alleviated the over-fitting. Consequently, the GV network achieved an overall recognition accuracy of 96.48% under both transfer learning and data augmentation. The recognizing accuracies of healthy leaves, brown spot, wheel spot and black rot were 98.04%, 98.04%, 95.83%, and 94.00%, respectively. The GV network was also embedded in the mobile application, and then deployed on the mobile terminal, for the detection and recognition of grape leaf diseases in the field. The finding can offer a potential promising reference for the intelligent diagnosis of grape leaf diseases in fruit production.

image recognition; diseases; grape leaf; transfer learning; data augmentation; mobile terminal

10.11975/j.issn.1002-6819.2021.10.015

TP391.4；TP181

A

1002-6819(2021)-10-0127-08

蘇仕芳，喬焰，饒?jiān)? 基于遷移學(xué)習(xí)的葡萄葉片病害識(shí)別及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(10)：127-134.doi：10.11975/j.issn.1002-6819.2021.10.015 http://www.tcsae.org

Su Shifang, Qiao Yan, Rao Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.10.015 http://www.tcsae.org

2020-12-07

2021-03-09

安徽省自然科學(xué)基金（2008085MF203）；國(guó)家自然科學(xué)基金（31671589）；安徽省重點(diǎn)研究和開發(fā)計(jì)劃面上攻關(guān)項(xiàng)目（201904a06020056）

蘇仕芳，研究方向?yàn)闄C(jī)器視覺。Email：2431947658@qq.com

饒?jiān)淌?，博士，研究方向?yàn)檗r(nóng)業(yè)信息化。Email：raoyuan@ahau.edu.cn