郝 菁，賈宗維

（山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，山西晉中 030801）

0 引言

蘋(píng)果在中國(guó)北方廣泛種植[1]。隨著農(nóng)業(yè)現(xiàn)代化發(fā)展，蘋(píng)果的種植模式越來(lái)越趨向于專業(yè)化、集群化[2]。在蘋(píng)果樹(shù)生長(zhǎng)過(guò)程中，各種病害頻繁發(fā)生，使產(chǎn)量降低、質(zhì)量下降，甚至造成巨大的經(jīng)濟(jì)損失。及時(shí)有效地檢測(cè)蘋(píng)果葉病病害種類，采取相應(yīng)措施，控制疾病蔓延，對(duì)蘋(píng)果產(chǎn)業(yè)的健康發(fā)展至關(guān)重要。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理方面有出色的表現(xiàn)[3]，目前已經(jīng)在圖像分類、目標(biāo)檢測(cè)等領(lǐng)域受到極大關(guān)注，為植物葉片病害診斷提供了一種新的方法和手段。

近年來(lái)，為解決人工檢測(cè)植物感染病害耗時(shí)耗力的問(wèn)題，通常利用機(jī)器學(xué)習(xí)的方法對(duì)葉片感染病害種類進(jìn)行快速識(shí)別，其中卷積神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的特征學(xué)習(xí)能力，被廣泛應(yīng)用于植物葉片病害識(shí)別研究中[4]。一些西方發(fā)達(dá)國(guó)家在農(nóng)業(yè)現(xiàn)代化方面的發(fā)展和應(yīng)用已較為成熟，利用深度學(xué)習(xí)對(duì)植物葉片病害檢測(cè)開(kāi)展了一系列研究，并取得了大量成果[5]。2015年Kawasaki等[6]研究了基于CNN的黃瓜葉病識(shí)別，對(duì)黃瓜2個(gè)典型的疾病類別和1個(gè)非疾病類別進(jìn)行分類，平均準(zhǔn)確率為94.9%。2016年Srdjan等[7]首次提出植物病害識(shí)別方法，利用深度CNN對(duì)十幾種植物病害進(jìn)行識(shí)別，模型的準(zhǔn)確率在91%～98%之間。Mohanty等[8]通過(guò)研究多種作物的病害類別，采用卷積神經(jīng)網(wǎng)絡(luò)模型算法進(jìn)行訓(xùn)練，識(shí)別率較高，可達(dá)99.35%。Ferentinos等[9]在2018年開(kāi)發(fā)用CNN模型從一個(gè)有87848張圖像、58個(gè)病害類、25種植物的公共數(shù)據(jù)集中識(shí)別植物疾病，準(zhǔn)確率最高可達(dá)99.53%。在國(guó)內(nèi)，Long等[10]將AlexNet預(yù)訓(xùn)練模型遷移到幾種油茶病害識(shí)別任務(wù)中，通過(guò)試驗(yàn)對(duì)比分析，該方法在病害識(shí)別中效果顯著。2017年孫俊等[11]針對(duì)植物病蟲(chóng)害識(shí)別提出了新的方法，主要對(duì)多種經(jīng)典的CNN模型進(jìn)行改進(jìn)，其中識(shí)別效果最佳的模型平均正確率可達(dá)99.56%。陶震宇[12]使用改進(jìn)后的Resnet50模型對(duì)花生主要害蟲(chóng)圖像進(jìn)行訓(xùn)練，實(shí)現(xiàn)了一般情況下花生蟲(chóng)害的有效識(shí)別。闞江明[13]對(duì)植物葉片圖像預(yù)處理后進(jìn)行識(shí)別，可達(dá)到70.83%的平均正確率。

基于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)技術(shù)的理論和實(shí)踐研究已經(jīng)頗具成果，由于大多數(shù)斑點(diǎn)病的病斑塊都較小，以及環(huán)境因素如陰影、光照和拍攝角度也會(huì)干擾檢測(cè)[14]，因此，精確識(shí)別植物疾病種類仍然有一定困難。為了克服這些挑戰(zhàn)，筆者以蘋(píng)果灰斑病、蘋(píng)果赤霉病、蘋(píng)果雪松銹病3種常見(jiàn)的蘋(píng)果葉病為研究對(duì)象，對(duì)數(shù)據(jù)集進(jìn)行有效的數(shù)據(jù)預(yù)處理，針對(duì)數(shù)據(jù)需求對(duì)模型進(jìn)行微調(diào)，進(jìn)而提高模型識(shí)別的準(zhǔn)確率，以期建立具有高效識(shí)別效果的模型，為病害自動(dòng)檢測(cè)奠定基礎(chǔ)。

1 材料與方法

1.1 蘋(píng)果葉片病害圖像獲取和數(shù)據(jù)集劃分

傳統(tǒng)的病害識(shí)別方法主要通過(guò)人工經(jīng)驗(yàn)判別，由于現(xiàn)實(shí)條件不足，傳統(tǒng)方法受到很大的制約。染病蘋(píng)果葉片在顏色、紋理和形狀等方面有明顯特征，如病斑、卷曲、腐爛、變色等[15]，具有復(fù)雜性和多樣性的特點(diǎn)。葉片患病部位的外部形態(tài)特征可以作為判別蘋(píng)果葉片患病情況、病害種類的主要依據(jù)[16]。筆者采集了4443張實(shí)驗(yàn)室單一背景的蘋(píng)果葉片病害圖像來(lái)滿足模型訓(xùn)練的需要，如圖1所示，數(shù)據(jù)集來(lái)源為網(wǎng)絡(luò)開(kāi)源數(shù)據(jù)。試驗(yàn)于2019年12月—2021年6月在山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院實(shí)驗(yàn)室進(jìn)行。

圖1 蘋(píng)果葉病種類圖像集合

數(shù)據(jù)處理包括對(duì)采集的蘋(píng)果病害葉片進(jìn)行分類和數(shù)據(jù)擴(kuò)充，保證數(shù)據(jù)樣本集數(shù)量均等，經(jīng)過(guò)數(shù)據(jù)處理的輸入數(shù)據(jù)集劃分及數(shù)量如表1所示。

表1 數(shù)據(jù)集劃分

1.2 方法

1.2.1 圖像增強(qiáng) 采用2種數(shù)據(jù)增強(qiáng)手段對(duì)數(shù)據(jù)進(jìn)行預(yù)處理[17]。首先采用離線增強(qiáng)對(duì)植物葉病圖像進(jìn)行數(shù)據(jù)增強(qiáng)和處理，模擬實(shí)際拍攝角度和環(huán)境，調(diào)整個(gè)別葉片的亮度、對(duì)比度，使其更接近自然光環(huán)境下的拍攝效果。其次，為提高卷積神經(jīng)網(wǎng)絡(luò)的收斂速度和模型的訓(xùn)練精度，采用在線增強(qiáng)內(nèi)置代碼塊的形式對(duì)輸入圖像進(jìn)行預(yù)處理，模型使用了tf.data模塊進(jìn)數(shù)據(jù)預(yù)處理，將圖像數(shù)據(jù)轉(zhuǎn)化成tensorflow可讀的數(shù)據(jù)結(jié)構(gòu)，封裝多線程使得訓(xùn)練加速。模型對(duì)每一訓(xùn)練批次的數(shù)據(jù)加載之后，將輸入圖像尺寸標(biāo)準(zhǔn)化處理為128×128，對(duì)該批次的數(shù)據(jù)進(jìn)行增強(qiáng)，包括旋轉(zhuǎn)、翻轉(zhuǎn)、亮度、對(duì)比度調(diào)整等操作[18]，所得到的葉片圖像如圖2所示。

圖2 數(shù)據(jù)集擴(kuò)充示例圖

1.2.2 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)由多層網(wǎng)絡(luò)組成，每層都可以視為由獨(dú)立神經(jīng)元構(gòu)成的平面組成[19]。主要層次包括輸入層、卷積層、池化層、全連接層和分類層。待檢測(cè)的原始葉片圖像經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型的上述層次，對(duì)葉片病害部位特征進(jìn)行提取和分析，根據(jù)特征對(duì)葉片是否感染病害進(jìn)行識(shí)別與檢測(cè)[20]。卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)的工作基礎(chǔ)結(jié)構(gòu)圖

1.2.3 基于遷移學(xué)習(xí)的蘋(píng)果葉病識(shí)別模型應(yīng)用 針對(duì)蘋(píng)果葉片部位常見(jiàn)病害識(shí)別的需求，將預(yù)處理后的數(shù)據(jù)圖像輸入到模型中進(jìn)行訓(xùn)練。經(jīng)過(guò)卷積運(yùn)算提取待檢測(cè)圖像特征信息[21]，隨著層次加深提取到的特征會(huì)由粗略到細(xì)致、由低級(jí)到高級(jí)；每組卷積之后為一個(gè)池化層，池化層會(huì)對(duì)卷積層獲取的特征圖做降低維度處理，壓縮參數(shù)和空間大小，降低計(jì)算復(fù)雜度和過(guò)擬合風(fēng)險(xiǎn)；全連接層接收前面層次處理的特征信息，輸入分類器將每個(gè)類別所對(duì)應(yīng)的數(shù)值歸一化，輸出分類的概率值以及候選區(qū)域的位置[22]。利用梯度下降等算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督的學(xué)習(xí)訓(xùn)練，從而求得損失函數(shù)作為代價(jià)函數(shù)最小時(shí)所對(duì)應(yīng)網(wǎng)絡(luò)的參數(shù)，最后由輸出層將結(jié)果展示。本研究通過(guò)遷移學(xué)習(xí)的方式構(gòu)建識(shí)別模型，由于預(yù)訓(xùn)練模型是在大體量數(shù)據(jù)集訓(xùn)練出的，已經(jīng)具備較好的性能，相比較于ImageNet、CIFAR-100等大體量數(shù)據(jù)集，本研究構(gòu)建的蘋(píng)果葉病數(shù)據(jù)集的數(shù)據(jù)體量較小，且預(yù)訓(xùn)練模型的網(wǎng)絡(luò)非常復(fù)雜，模型參數(shù)量較大，容易耗費(fèi)更多的計(jì)算資源。因此，采用固定網(wǎng)絡(luò)前面的部分層次，降低參與訓(xùn)練的參數(shù)量的方法，針對(duì)本研究的任務(wù)對(duì)模型進(jìn)行微調(diào)，在模型特定層次做有針對(duì)性的操作，對(duì)圖像特征進(jìn)行強(qiáng)化。改進(jìn)之后的模型在時(shí)間、精度等優(yōu)于原始模型，訓(xùn)練精度呈現(xiàn)一個(gè)好的變化[23]。筆者將預(yù)訓(xùn)練模型具有的權(quán)重作為初始權(quán)重，由于預(yù)訓(xùn)練模型的最后一層與本文研究的蘋(píng)果葉片病害分類及分類數(shù)量不同，為了更好適應(yīng)本研究訓(xùn)練樣本，加載預(yù)訓(xùn)練模型時(shí)不包含頂層，關(guān)鍵代碼如圖4。

圖4 加載預(yù)訓(xùn)練模型關(guān)鍵代碼

重新定義模型輸出層，將部分不需要參與反向更新的網(wǎng)絡(luò)層次關(guān)閉。為了更好適應(yīng)，釋放模型后2層網(wǎng)絡(luò)權(quán)重為可以訓(xùn)練，關(guān)鍵代碼如圖5。

圖5 輸出層關(guān)鍵代碼

1.3 實(shí)驗(yàn)參數(shù)說(shuō)明

選用Tensorflow 2.0作為主要的深度學(xué)習(xí)框架，CPU 為 NVIDIA-SMI 44064.00，CUDA 版本 10.2，Ubuntu 18.04操作系統(tǒng)，Jupyter Notebook開(kāi)發(fā)平臺(tái)。

試驗(yàn)采用批量訓(xùn)練的方式，從優(yōu)化模型參數(shù)、提高模型的學(xué)習(xí)效率等方面調(diào)整模型參數(shù)，試驗(yàn)超參數(shù)設(shè)置如表2所示。

表2 試驗(yàn)超參數(shù)設(shè)置

2 結(jié)果與分析

2.1 特征可視化

深度卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面具有非常大的優(yōu)勢(shì)。卷積層由多個(gè)卷積核構(gòu)成，卷積核進(jìn)行卷積運(yùn)算提取待檢測(cè)圖像特征信息。輸入層將待檢測(cè)圖像輸入到卷積層，多個(gè)卷積層逐層分析，淺層提取紋理和細(xì)節(jié)特征，包含更多的關(guān)鍵特征，較深層次的網(wǎng)絡(luò)提取圖像的輪廓、形狀等特征。隨著卷積層次的加深，圖像分辨率隨之降低[24]。圖像特征可視化可以更清晰表示模型的學(xué)習(xí)過(guò)程，快速分析蘋(píng)果葉片病害數(shù)據(jù)，有效地對(duì)蘋(píng)果葉片圖像的病害特征進(jìn)行提取，根據(jù)特征對(duì)葉片是否感染病害進(jìn)行識(shí)別與檢測(cè)[25]。圖6為不同卷積層次的特征提取可視化結(jié)果。

圖6 原始病葉和特征可視化

2.2 試驗(yàn)結(jié)果分析

2.2.1 模型的穩(wěn)定性 為了觀察訓(xùn)練過(guò)程中損失函數(shù)和準(zhǔn)確率的變化情況，模型會(huì)在訓(xùn)練完成后自動(dòng)保存日志，引入matplotlib庫(kù)繪制損失函數(shù)及準(zhǔn)確率變化曲線圖。本研究選用Resnet50、Vgg16、Vgg19和Inception v3、Mobilenet v2等5種主流網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)和訓(xùn)練，所得的準(zhǔn)確率和損失值如圖7所示。所有模型在20輪迭代后準(zhǔn)確率上升趨勢(shì)明顯，損失值明顯下降。當(dāng)?shù)螖?shù)達(dá)到40輪后收斂趨于平穩(wěn)，準(zhǔn)確率緩慢提升，整個(gè)變化趨勢(shì)趨于穩(wěn)定。對(duì)比5種模型，在相同的迭代次數(shù)下，Resnet50模型準(zhǔn)確率提升較快，平均準(zhǔn)確率明顯高于其他測(cè)試模型。測(cè)試結(jié)果表明，Resnet50模型在訓(xùn)練集和驗(yàn)證集上均具有較高準(zhǔn)確率，網(wǎng)絡(luò)的收斂速度較快，在識(shí)別精度和識(shí)別速度上均具有明顯優(yōu)勢(shì)，能夠有效判斷蘋(píng)果葉病類別。

圖7 繪圖結(jié)果

2.2.2 準(zhǔn)確率 表3給出了3種蘋(píng)果葉病在5種模型中的準(zhǔn)確率對(duì)比指標(biāo)，結(jié)果表明Resnet50在蘋(píng)果葉病識(shí)別方面可以獲得較高的訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率，網(wǎng)絡(luò)的收斂速度較快，準(zhǔn)確率達(dá)到0.9770（理想值為1）。對(duì)比其他4種模型能夠獲得更高的準(zhǔn)確率。

表3 不同模型訓(xùn)練參數(shù)及準(zhǔn)確率對(duì)比

3 結(jié)論

本研究針對(duì)蘋(píng)果葉病的識(shí)別，采用圖像預(yù)處理相關(guān)方法優(yōu)化葉片圖像數(shù)據(jù)集，闡述遷移模型的構(gòu)建及調(diào)整過(guò)程，卷積特征處理進(jìn)行可視化展現(xiàn)，對(duì)5種模型訓(xùn)練結(jié)果進(jìn)行對(duì)比和評(píng)估，比較得出最適合本研究蘋(píng)果葉片病害數(shù)據(jù)集的模型。充分證明了深度卷積神經(jīng)網(wǎng)絡(luò)在植物葉片病害分類中有很好的實(shí)用性和應(yīng)用前景，Resnet50模型識(shí)別率可達(dá)到0.9770，表明該模型對(duì)蘋(píng)果葉病識(shí)別率較好。

4 討論

（1）基于深度學(xué)習(xí)的圖像識(shí)別對(duì)于植物病害的檢測(cè)具有很大的發(fā)展?jié)摿?。?yīng)用遷移學(xué)習(xí)的方法調(diào)整預(yù)訓(xùn)練模型參數(shù)，可以快速提高模型性能，獲得更高的識(shí)別精度。

（2）為提高模型訓(xùn)練準(zhǔn)確率，應(yīng)對(duì)更為復(fù)雜的作物生長(zhǎng)環(huán)境，在實(shí)際生產(chǎn)環(huán)境下捕獲的圖像對(duì)于訓(xùn)練模型很重要，尤其是來(lái)自不同光照條件、復(fù)雜背景等自然栽培環(huán)境的數(shù)據(jù)，今后針對(duì)背景復(fù)雜且種類較多的蘋(píng)果葉病，需研究更好的蘋(píng)果葉病圖像處理以及模型改進(jìn)的方法，以進(jìn)一步提高模型性能。