李 博，江朝暉,2，謝 軍，饒 元,2，張 武,2

（1安徽農(nóng)業(yè)大學(xué)信息與計算機學(xué)院，合肥230036；2智慧農(nóng)業(yè)技術(shù)與裝備安徽省重點實驗室，合肥230036）

0 引言

受全球氣候和環(huán)境問題的影響，植物發(fā)生的病害愈加復(fù)雜，對植物病害進行識別和防治越來越重要[1]。隨著計算機技術(shù)的發(fā)展，深度學(xué)習(xí)被應(yīng)用到植物病害識別，其可縮短病害識別時間，極大減輕了農(nóng)戶的工作量。

近年來，越來越多的國內(nèi)外研究者嘗試將卷積神經(jīng)網(wǎng)絡(luò)用到植物病害識別上[2-3]。孫俊等[4]提出了改進AlexNet網(wǎng)絡(luò)對多種植物葉片病害識別方法，識別14種不同植物共26類病害，劉永波等[5]提出了一種在自然環(huán)境條件下基于深度卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識別方法。DeChant Chad等[6]集成多個卷積神經(jīng)網(wǎng)絡(luò)，識別玉米大斑病。為進一步提高植物病害識別準確率，減少模型訓(xùn)練需要的樣本量[7]，更深層的卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)[8]被應(yīng)用到植物病害識別。陳娟等[9]通過改進ResNet，提出了改進殘差網(wǎng)絡(luò)的園林害蟲圖像識別方法。許景輝等[10]提出基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識別方法。

在將植物識別模型運用到實際過程中，楊林楠等[11]設(shè)計了甜玉米病蟲害的樹型圖和推理機等，基于Android系統(tǒng)手機的甜玉米病蟲害智能診斷系統(tǒng)。然而其在識別病害過程中需要用戶手動根據(jù)葉、穗、莖、籽等部位特征進行一系列配置，操作不方便。劉洋等[12]提出了將MobileNet移植到智能手機直接在手機端進行植物病害識別，減少了圖片上傳到網(wǎng)絡(luò)的時間，對網(wǎng)絡(luò)依賴性不強。這種方式雖然十分方便，卻對用戶設(shè)備有一定要求，不同設(shè)備識別時間不同，同時使用輕量級模型難以滿足用戶對作物病害高精度識別的需求。

筆者通過對深度學(xué)習(xí)在作物病害識別方面的研究[13-14]，綜合考慮模型大小、識別準確率和識別時間，設(shè)計分別使用ResNet18、ResNet50和ResNet152模型進行遷移學(xué)習(xí)訓(xùn)練，然后通過Flask將訓(xùn)練好的園藝作物葉部病害識別模型部署到云服務(wù)器上的方案。提供園藝作物葉部病害識別Web服務(wù)，旨在盡可能滿足農(nóng)戶實際使用過程對病害識別時間和識別準確率的需求，降低病害識別對農(nóng)戶設(shè)備要求。

1 材料與方法

1.1 材料

筆者使用的PlantVillage數(shù)據(jù)集[12]包含14類園藝作物，分別是蘋果、藍莓、櫻桃、玉米、葡萄、柑橘、桃、辣椒、馬鈴薯、樹莓、大豆、南瓜、草莓、番茄。其中有26種病害葉片、12種健康葉片，共38個類別的樣本圖像。根據(jù)ResNet的輸入尺寸，將圖像的大小尺寸調(diào)整為224×224像素進行訓(xùn)練和測試。

由于PlantVillage數(shù)據(jù)集的圖像是在實驗室中拍攝的，背景很干凈。然而實際應(yīng)用場景圖片清晰度可能比較低，為了盡可能提高實際使用過程中園藝作物葉部病害識別的準確率，對PlantVillage數(shù)據(jù)集里的所有圖片，隨機使用3種不同的圖像處理技術(shù)中的1種或者不采取任何處理方式處理。其中3種不同的圖像處理技術(shù)包括圖像伽馬校正(Gamma correction)、噪聲注入(noise injection)、PCA顏色增強[15](PCA color augmentation)。同時，為解決實際使用中存在檢測不到園藝作物葉部的情況，利用爬蟲技術(shù)在互聯(lián)網(wǎng)上隨機爬取一些作物生長環(huán)境圖片，并將這些圖片標記為無葉片背景標簽。

最終實驗數(shù)據(jù)集共61486幅圖像，通過統(tǒng)計圖片數(shù)目以及類別樣本的分布情況，隨機抽取70%的數(shù)據(jù)集作為訓(xùn)練集，20%作為驗證集，剩余10%作為測試集。為方便模型訓(xùn)練，將數(shù)據(jù)集中的39類圖片按0～38編號（如表1所示）制作為訓(xùn)練標簽，每個編號分別代表一類圖片。

表1 實驗數(shù)據(jù)集分類

1.2 研究方法

1.2.1 模型選擇 使用何凱明等提出的ResNet[16]作為基準模型。ResNet通過在網(wǎng)絡(luò)中增加恒等映射來解決神經(jīng)網(wǎng)絡(luò)中的梯度消失問題，通過配置不同的通道數(shù)和模塊里的殘差塊(residual block)[16]數(shù)（圖1）可以得到不同的ResNet模型。綜合考慮網(wǎng)絡(luò)層數(shù)以及計算量，分別使用ResNet18、ResNet50、ResNet152在數(shù)據(jù)集上進行訓(xùn)練，并對實驗結(jié)果進行對比分析，結(jié)合實際使用情況選擇合適的模型。

圖1 殘差模塊

1.2.2 遷移學(xué)習(xí) 遷移學(xué)習(xí)[17]可以加快網(wǎng)絡(luò)收斂速度，減少網(wǎng)絡(luò)訓(xùn)練需要的樣本數(shù)量和時間。利用遷移學(xué)習(xí)(transfer learning)，將 ResNet18、ResNet50、ResNet152預(yù)訓(xùn)練模型從ImageNet數(shù)據(jù)集學(xué)到的通用圖像特征遷移到本實驗數(shù)據(jù)集上，實現(xiàn)對園藝作物病害識別。遷移學(xué)習(xí)常用的方法有特征遷移和模型遷移2種[18]。本研究使用的是模型遷移的方法（表2），重新初始化3個預(yù)訓(xùn)練模型最后一層參數(shù)，其他層直接使用預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)重參數(shù)并且凍結(jié)，然后再利用實驗數(shù)據(jù)集重新訓(xùn)練整個模型。

表2 模型參數(shù)

2 結(jié)果與分析

實驗平臺是基于Ubuntu 18.04系統(tǒng)的服務(wù)器，硬件配置CPU是Intel(R)Xeon(R)CPU E5-2630 v4@2.20 GHz，GPU是Tesla P100-PCIe 16 G英偉達顯卡。軟件環(huán)境為 CUDA 9.6、CUDNN V7.6.3、Python 3.7、PyTorch 1.4。

2.1 遷移學(xué)習(xí)訓(xùn)練實驗

將實驗數(shù)據(jù)集按照7:2:1的比例分成訓(xùn)練集、驗證集和測試集。使用訓(xùn)練集分別對ResNet18、ResNet50、ResNet152進行遷移訓(xùn)練，獲得3種分類模型。訓(xùn)練中采用批量訓(xùn)練的方法將訓(xùn)練集、驗證集和測試集分為多個批次(batch)，每個批次中數(shù)據(jù)集圖片數(shù)量(batch size)設(shè)為64，訓(xùn)練集和驗證集全部圖片通過模型作為1個周期(epoch)，共迭代100個周期，學(xué)習(xí)率設(shè)置為0.001，模型優(yōu)化使用Adam[19]優(yōu)化算法實現(xiàn)。

2.2 評價指標

模型識別的準確率(accuracy)[12]計算如式(1)，交叉熵(cross entropy)[20]計算如式(2)，交叉熵損失函數(shù)[18]計算如式(3)。

式中，Nr是識別正確的預(yù)測數(shù)，n表示數(shù)據(jù)集中樣本總數(shù)。y(i)代表真實的標簽概率分布向量表達式，代表預(yù)測概率分布向量表達式，向量元素非0即1，yj(i)是向量y(i)的元素，是向量的元素。n為訓(xùn)練集的樣本數(shù)，θ為模型參數(shù)。

2.3 模型訓(xùn)練結(jié)果及分析

ResNet18、ResNet50、ResNet152模型訓(xùn)練過程的Loss曲線和準確率變化如圖2～3所示。從曲線中可以看出，ResNet152準確率上升與Loss曲線下降速度較快，ResNet50最初準確率上升與Loss曲線下降速度都比ResNet18慢，直到ResNet18曲線逐漸收斂后才開始超過ResNet18。

圖2 訓(xùn)練過程Loss曲線

圖3 訓(xùn)練過程準確率曲線

表3記錄了ResNet18、ResNet50和ResNet152模型在實驗數(shù)據(jù)集上使用遷移學(xué)習(xí)訓(xùn)練，測得在訓(xùn)練集、驗證集和測試集上的準確率。3個模型的訓(xùn)練集準確率均小于測試集的準確率，未出現(xiàn)過擬合和欠擬合現(xiàn)象。隨著神經(jīng)網(wǎng)絡(luò)層數(shù)增加，3個模型在訓(xùn)練集、驗證集和測試集上識別準確率逐漸提高。

表3 不同模型訓(xùn)練結(jié)果 %

3 模型部署

3.1 開發(fā)環(huán)境的搭建

Flask[21]是Armin Ronacher使用Python編寫的一個輕量級Web框架，它之所以被歸類為輕量級Web框架，是因為其本身相當(dāng)于一個內(nèi)核，不需要特定的工具或庫，使用Flask-extension來管理各種擴展[22]。Flask很容易使用，簡單幾行代碼就可以搭建一個穩(wěn)定Web應(yīng)用。由于模型訓(xùn)練的代碼同樣使用Python編寫，所以安裝好Flask后可以直接使用模型訓(xùn)練過程的軟件環(huán)境部署訓(xùn)練好的模型，降低了模型部署的難度。

筆者在Linux操作系統(tǒng)下進行開發(fā)，硬件配置CPU和GPU與模型訓(xùn)練一樣。軟件環(huán)境在模型訓(xùn)練過程中使用的軟件環(huán)境基礎(chǔ)上，通過Python的包安裝程序pip安裝Flask，然后創(chuàng)建code和models文件夾分別保存源代碼和訓(xùn)練好的3個模型。開發(fā)IDE使用微軟開發(fā)的免費跨平臺編輯器Visual Studio Code，通過安裝擴展支持不同的編程語言開發(fā)。

3.2 3種識別模式設(shè)計

訓(xùn)練好的ResNet18、ResNet50、ResNet152的模型大小分別是43.3、92.0、224.6 MB。在GPU上測試結(jié)果表明模型加載時間分別是48.2、81.3、160 ms，識別單張圖像的時間分別是10.9、17.9、33.7 ms。綜合考慮模型大小、識別準確率及識別時間對識別結(jié)果的影響設(shè)計了快速、標準和準確3種識別模式，3種識別模式分別使用訓(xùn)練好的ResNet18、ResNet50、ResNet152模型。

其中快速模式由于識別時間最快可以最快得到結(jié)果，適合網(wǎng)絡(luò)速度慢時使用；準確模式識別精確度最高，適合網(wǎng)絡(luò)速度快時使用；標準模式平衡了識別精確度和識別時間是默認識別模式。農(nóng)戶可根據(jù)實際使用過程中的網(wǎng)絡(luò)情況選擇相應(yīng)的識別模式，減少網(wǎng)絡(luò)對應(yīng)用的影響。

3.3 基于Flask的園藝作物病害葉部識別網(wǎng)頁應(yīng)用開發(fā)

應(yīng)用開發(fā)的軟件是Visual Studio Code，分為前端和后端開發(fā)。前端使用HTML和JavaScript編寫，由于PyTorch訓(xùn)練模型的代碼和Flask開發(fā)網(wǎng)頁后臺的代碼同樣使用Python編寫，因此后端使用Python編寫，降低了開發(fā)難度，程序工作流程圖如圖4所示。

圖4 病害識別程序流程圖

園藝作物病害識別網(wǎng)頁應(yīng)用案例如圖5所示，分別有選擇圖片按鈕、模式選擇3個復(fù)選框和識別按鈕。用手機或者數(shù)碼相機采集屬于PlantVillage數(shù)據(jù)集中的14類園藝作物葉部病害圖像，點擊選擇圖片并且選擇采集的圖片；根據(jù)實際使用中網(wǎng)絡(luò)速度和對準確率的需求選擇相應(yīng)的識別模式；然后點擊識別按鈕后，自動將圖片壓縮成WebP格式[23-24]再上傳到服務(wù)器上，并對圖片進行處理，包括將圖像的大小尺寸調(diào)整為224×224像素、圖像濾波等操作；然后在服務(wù)器端利用GPU加速[25]模型推理，最后輸出識別結(jié)果并且顯示在網(wǎng)頁上。

圖5 病害識別網(wǎng)頁應(yīng)用例子

4 結(jié)論

筆者對PlantVillage數(shù)據(jù)集進行預(yù)處理和擴充得到實驗數(shù)據(jù)集，分別使用ResNet18、ResNet50和ResNet152 3種預(yù)訓(xùn)練模型在實驗數(shù)據(jù)集上進行遷移學(xué)習(xí)訓(xùn)練，得到3種園藝作物葉部病害識別模型，設(shè)計快速、標準和準確3種識別模式，并開發(fā)園藝作物葉部病害識別網(wǎng)頁應(yīng)用，可識別14類園藝作物的26種葉部病害。

（1）不同深度模型大小、識別準確率、識別時間不同，將深度模型部署到實際生產(chǎn)中應(yīng)綜合考慮模型特點和用戶期望。

（2）3種預(yù)訓(xùn)練模型對原始的PlantVillage數(shù)據(jù)集進行遷移學(xué)習(xí)訓(xùn)練，平均識別準確率分別是95.50%、96.06%、96.68%，經(jīng)過預(yù)處理的數(shù)據(jù)集上訓(xùn)練的模型具有更高的精度，同時在PlantVillage數(shù)據(jù)集原有分類基礎(chǔ)上增加了無葉片背景的分類，在實際使用過程具有更高的魯棒性。

（3）園藝作物葉部病害識別在服務(wù)器端進行，基于Flask框架開發(fā)的Web應(yīng)用具有很好的穩(wěn)定性，可滿足多個用戶同時使用，對用戶設(shè)備要求較低，無需安裝額外應(yīng)用，簡單易用。

5 討論

筆者結(jié)合農(nóng)戶實際使用情況，通過對原始的PlantVillage數(shù)據(jù)集進行數(shù)據(jù)增強，使用多個模型作為預(yù)訓(xùn)練模型進行遷移學(xué)習(xí)訓(xùn)練，得到不同的園藝作物病害識別模型，解決病害訓(xùn)練樣本不足的問題[5]。綜合比較模型大小、識別準確率和識別時間設(shè)計了快速、標準和準確3種病害識別模式，提供了病害識別Web服務(wù)。滿足實際使用過程農(nóng)戶對病害識別時間和識別準確率的需求，降低了病害識別對農(nóng)戶設(shè)備要求[12]，為農(nóng)戶提供更加方便、精確和廉價地園藝作物葉部病害識別服務(wù)。但是由于PlantVillage數(shù)據(jù)集提供的園藝作物種類以及病害種類有限，很多病害還無法識別，同時作物在不同生長階段病害呈現(xiàn)的特征也不同，因此還需要進一步補充數(shù)據(jù)集，這也是筆者后期研究工作的重點。