史紅栩，李修華,2，李民贊，王 偉，溫標(biāo)堂

(1 廣西大學(xué) 電氣工程學(xué)院，廣西 南寧 530004； 2 廣西甘蔗生物學(xué)重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530004； 3 中國(guó)農(nóng)業(yè)大學(xué) 現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083； 4 廣西捷佳潤(rùn)科技有限公司，廣西 南寧 530001)

作為重要的經(jīng)濟(jì)作物，香蕉非常容易受病害影響，病蟲(chóng)害是限制香蕉種植業(yè)的主要因素之一。香蕉病害的早期發(fā)現(xiàn)和診斷有助于農(nóng)戶(hù)及時(shí)采取防控措施，減少經(jīng)濟(jì)損失。因此，病害的診斷是香蕉生產(chǎn)中的重要環(huán)節(jié)。傳統(tǒng)的疾病監(jiān)測(cè)和識(shí)別，主要依靠經(jīng)驗(yàn)豐富的農(nóng)戶(hù)或?qū)＜?，這種方法耗時(shí)費(fèi)力，且結(jié)論存在主觀(guān)性，導(dǎo)致生產(chǎn)效率較低。研究者探索了許多其他的方法來(lái)提高疾病診斷的準(zhǔn)確性[1-2]，例如化學(xué)分析法[3]、高光譜分析法[4-6]等。但是這些方法步驟較為復(fù)雜，且設(shè)備成本較高。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，利用圖像處理技術(shù)自動(dòng)識(shí)別病蟲(chóng)害受到越來(lái)越多的關(guān)注。尤其是進(jìn)入21世紀(jì)后，基于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的方法[7-9]來(lái)實(shí)現(xiàn)病蟲(chóng)害診斷的研究越來(lái)越多。這些方法主要通過(guò)獲取作物染病部位的圖像來(lái)提取不同的疾病特征，然后建立分類(lèi)器以識(shí)別疾病。最常見(jiàn)的方法是通過(guò)定向梯度直方圖法(Histogram of gradient,HOG)[10-11]和尺度不變特征變換法(Scale invariant feature transform, SIFT)[12]來(lái)提取特征，然后再結(jié)合SVM分類(lèi)器進(jìn)行分類(lèi)識(shí)別。近十年來(lái)，深度學(xué)習(xí)方法又逐漸替代傳統(tǒng)機(jī)器學(xué)習(xí)方法，成為病蟲(chóng)害識(shí)別的主流方法。與手動(dòng)提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)方法不同，深度學(xué)習(xí)網(wǎng)絡(luò)會(huì)自動(dòng)從數(shù)據(jù)集中學(xué)習(xí)更深層次的特征。國(guó)內(nèi)外學(xué)者在利用深度學(xué)習(xí)診斷病蟲(chóng)害方面展開(kāi)了大量研究與實(shí)踐，并取得一定成果，尤其是卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural networks,CNN)，已應(yīng)用于不同作物的病害鑒定，并取得了良好的效果[13-16]。但是，深度網(wǎng)絡(luò)的訓(xùn)練耗時(shí)較長(zhǎng)，為了改善這一問(wèn)題，不少研究者采用遷移學(xué)習(xí)的方式來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練[17-18]。現(xiàn)有網(wǎng)絡(luò)的模型參數(shù)穩(wěn)定，使用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練，時(shí)間花費(fèi)較少，但是部分場(chǎng)景識(shí)別精度受到限制。國(guó)內(nèi)外學(xué)者通過(guò)改變網(wǎng)絡(luò)的一部分卷積層數(shù)、卷積核大小、激活函數(shù)等方法來(lái)提高識(shí)別精度，已取得初步成效[19-21]。

深度學(xué)習(xí)在植物病蟲(chóng)害診斷方面取得了很大的進(jìn)展，但在香蕉作物中卻鮮有報(bào)道。香蕉在熱帶、亞熱帶地區(qū)被廣泛種植，是我國(guó)重要的經(jīng)濟(jì)作物之一，且香蕉極易受到枯萎病、束頂病、葉斑病等病蟲(chóng)害的侵襲。本文基于現(xiàn)有的GoogLeNet網(wǎng)絡(luò)模型，利用遷移學(xué)習(xí)的方式對(duì)7種常見(jiàn)的香蕉病害數(shù)據(jù)集進(jìn)行訓(xùn)練，構(gòu)建診斷模型。將該模型進(jìn)一步集成到軟件系統(tǒng)中，該軟件系統(tǒng)包括一個(gè)移動(dòng)應(yīng)用程序(APP)和一個(gè)遠(yuǎn)程服務(wù)器，用戶(hù)可以通過(guò)移動(dòng)終端將染病部位的圖像上傳至遠(yuǎn)程服務(wù)器進(jìn)行在線(xiàn)診斷，以期實(shí)現(xiàn)實(shí)時(shí)、便捷的香蕉常見(jiàn)病害的診斷。

1 香蕉病害診斷系統(tǒng)和模型訓(xùn)練

1.1 系統(tǒng)總覽

本文是基于GoogLeNet深度模型架構(gòu)進(jìn)行香蕉病害模型的訓(xùn)練。訓(xùn)練得到的診斷模型被集成到遠(yuǎn)程服務(wù)器中，終端APP將采集的染病部位圖像發(fā)送至服務(wù)器進(jìn)行在線(xiàn)診斷，實(shí)時(shí)獲取診斷結(jié)果。系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

1.2 數(shù)據(jù)集獲取

圖1 香蕉病害診斷系統(tǒng)總體結(jié)構(gòu)Fig. 1 Overall structure of the banana disease diagnosis system

研究共搜集了香蕉常見(jiàn)的7種病害圖像及健康植株的圖像，共741張，圖像來(lái)自蕉園現(xiàn)場(chǎng)拍攝及網(wǎng)絡(luò)。其中枯萎病危害整株香蕉，最終呈現(xiàn)出整株發(fā)病的特征，數(shù)據(jù)樣本多為整體或接近整體的圖像，但也包含約1/5的局部樣本，主要采集病害特征明顯的葉片。健康類(lèi)別的樣本為局部和整體樣本各占一半。其余病害均為局部病害，采集的樣本也以局部圖像為主。圖2顯示了香蕉常見(jiàn)病害及其典型癥狀。

圖2 健康及染病的香蕉植株Fig. 2 Healthy and diseased banana plants

1.3 數(shù)據(jù)增強(qiáng)

本研究的原始數(shù)據(jù)集樣本數(shù)量較少、相似度較高，對(duì)模型性能會(huì)造成不利影響，尤其是深度學(xué)習(xí)框架(例如復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò))。增加圖像的數(shù)量及多樣性對(duì)模型的識(shí)別精度、魯棒性和穩(wěn)定性都具有積極的影響。當(dāng)原始樣本數(shù)量難以滿(mǎn)足精度需求時(shí)，通常采用數(shù)據(jù)增強(qiáng)的方式來(lái)擴(kuò)展數(shù)據(jù)集[14, 19, 22]?？紤]到用戶(hù)上傳圖像時(shí)，不同拍攝手法、角度、光線(xiàn)等會(huì)對(duì)診斷結(jié)果產(chǎn)生影響，本文采用了圖像旋轉(zhuǎn)、水平翻轉(zhuǎn)、縮放、對(duì)比度增強(qiáng)等數(shù)據(jù)增強(qiáng)方法[23]，增加數(shù)據(jù)集的復(fù)雜性，使其更符合實(shí)際情況，最終將數(shù)據(jù)集擴(kuò)展到5944幅圖像，詳情見(jiàn)表1。

表1 各類(lèi)別樣本圖像數(shù)量Table 1 Number of sample images in each category 幅

1.4 模型訓(xùn)練

GoogLeNet架構(gòu)是具有22層深度的卷積神經(jīng)網(wǎng)絡(luò)，最初的輸入數(shù)據(jù)是圖像的一個(gè)小區(qū)域，然后通過(guò)多層次的卷積運(yùn)算得到每一層的代表性特征。GoogLeNet架構(gòu)在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上通過(guò)增大網(wǎng)絡(luò)的深度(層數(shù))在圖像識(shí)別方面取得了更好的效果。GoogLeNet的核心模塊Inception模塊(本研究采用的是Inception-V3 模塊)的結(jié)構(gòu)如圖3所示。

圖3 Inception-V3結(jié)構(gòu)Fig. 3 Inception-V3 structure

每個(gè)Inception模塊從輸入層獲取前一級(jí)的卷積特征圖像，然后使用并行的卷積以及一個(gè)最大池化，并行捕獲輸入圖像的多種特征。每個(gè)Inception模塊都將原來(lái)的n×n卷積，優(yōu)化為2個(gè)卷積1×n和n×1，可以提升計(jì)算速度、減少計(jì)算成本，同時(shí)網(wǎng)絡(luò)深度也進(jìn)一步增加。為了改變每個(gè)并行卷積層輸出特征圖的數(shù)量，在各層之間方便進(jìn)行計(jì)算，每個(gè)模塊起始添加1×1卷積，最后經(jīng)過(guò)濾波器連接層(Filter concatenation)，將并行卷積獲得的所有特征圖像按照深度鏈接起來(lái)。GoogLeNet總共使用了9個(gè)Inception模塊，并在所有卷積層采用ReLU激活函數(shù)。該網(wǎng)絡(luò)在中間層還具有2個(gè)輔助分類(lèi)器，以有效地對(duì)所有層進(jìn)行反向傳播[3, 24]，幫助更新網(wǎng)絡(luò)參數(shù)。

由于GoogLeNet架構(gòu)的復(fù)雜性，從頭開(kāi)始進(jìn)行培訓(xùn)需要大量數(shù)據(jù)集，且用時(shí)過(guò)長(zhǎng)，因此本文選擇遷移學(xué)習(xí)的方式。遷移學(xué)習(xí)的主要思想是將一個(gè)訓(xùn)練好的模型參數(shù)直接遷移到另一個(gè)場(chǎng)景或數(shù)據(jù)集，以幫助訓(xùn)練新需求下的分類(lèi)模型[15]。本文固定GoogLeNet網(wǎng)絡(luò)中一定層數(shù)的權(quán)重，并對(duì)分類(lèi)層進(jìn)行調(diào)整以適用于新的數(shù)據(jù)集分類(lèi)，重新訓(xùn)練后幾層的現(xiàn)有權(quán)重，實(shí)現(xiàn)快速模型訓(xùn)練。

利用 TensorFlow 框架、Jupyter Notebook 開(kāi)發(fā)環(huán)境和Python語(yǔ)言在計(jì)算機(jī)上訓(xùn)練和測(cè)試該模型。該計(jì)算機(jī)的處理器為 Intel Core i5-4590，內(nèi)存為 16 G，顯卡為 NVIDIA GeForce GT 1030。模型訓(xùn)練時(shí)，學(xué)習(xí)率設(shè)置為0.01，訓(xùn)練批量大小為100，采用Top-1作為模型性能評(píng)價(jià)指標(biāo)。整個(gè)數(shù)據(jù)集按7∶1∶2的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試數(shù)據(jù)集。模型的訓(xùn)練選取了 Gradient Descent Optimizer (GDO)、AdamOptimizer(AO)、MomentumOptimizer(MO)這 3 個(gè)不同的優(yōu)化器，以及 5000、10000、50000 這3個(gè)不同的迭代次數(shù)來(lái)對(duì)比不同參數(shù)對(duì)模型性能的影響。

2 結(jié)果與分析

用Top-1準(zhǔn)確性和模型損失評(píng)估模型的性能，模型的訓(xùn)練結(jié)果、驗(yàn)證結(jié)果以及最終的測(cè)試結(jié)果如圖4和表2所示。

圖4 不同優(yōu)化器不同迭代次數(shù)下的模型訓(xùn)練結(jié)果Fig. 4 Model training results using different optimizers with different iteration times

表2 模型的訓(xùn)練時(shí)間和平均測(cè)試精度Table 2 Model training time and average test accuracy

從表2可以看出，5個(gè)模型的測(cè)試精度均高于94%；其中，采用MO優(yōu)化器迭代10000次和采用GDO優(yōu)化器迭代50000次的模型分類(lèi)精度最高，達(dá)到了98.0%。從圖4可以看出，隨著迭代次數(shù)的增加，GDO優(yōu)化器的驗(yàn)證精度越來(lái)越高，損失越來(lái)越小，但模型的訓(xùn)練時(shí)間幾乎是線(xiàn)性增加的。從收斂速度來(lái)看，GDO優(yōu)化器在迭代3000次左右時(shí)收斂，而AO和MO優(yōu)化器在迭代300次左右時(shí)收斂，說(shuō)明GDO優(yōu)化器的收斂速度明顯慢于AO和MO優(yōu)化器。從損失函數(shù)趨勢(shì)特點(diǎn)來(lái)看，在相同迭代次數(shù)(10000次)下，GDO優(yōu)化器的損失函數(shù)較大，AO優(yōu)化器的損失函數(shù)波動(dòng)較大，而MO優(yōu)化器的損失較小且最平穩(wěn)。所以，綜合考慮訓(xùn)練時(shí)間、分類(lèi)精度及收斂速度等要素，MO優(yōu)化器迭代10000次獲得的模型具有最全面與穩(wěn)定的性能，被選為最終的診斷模型。

混淆矩陣可用來(lái)比較實(shí)際類(lèi)別與預(yù)測(cè)結(jié)果的關(guān)系，是表達(dá)分類(lèi)準(zhǔn)確性的有效方式。本模型測(cè)試結(jié)果的混淆矩陣如表3所示。計(jì)算了各類(lèi)別的生產(chǎn)者精度 (Producer’s accuracy，PA)和用戶(hù)精度 (User’s accuracy，UA)，結(jié)果如表4所示。PA是某類(lèi)別被正確識(shí)別的圖像數(shù)量和該類(lèi)別實(shí)際包括的圖像數(shù)量的比率；UA則是被正確識(shí)別的某類(lèi)別的圖像數(shù)量和被識(shí)別為該類(lèi)別的圖像總數(shù)的比率。從表3和表4可以看出，大部分類(lèi)別的PA和UA都高于95%。進(jìn)一步分析引起誤差的類(lèi)別可以看出，黑星病和炭疽病的UA相對(duì)較低，分別為94.5%和93.7%，模型較容易將葉斑病誤識(shí)別為黑星病，將葉斑病和黑疫病誤識(shí)別為炭疽病，原因是葉斑病、黑疫病和炭疽病在發(fā)病初期均會(huì)產(chǎn)生褐色至黑色的斑點(diǎn)，后期病斑均會(huì)擴(kuò)大至相互交匯，葉片大面積黑死，后期可以通過(guò)進(jìn)一步擴(kuò)大數(shù)據(jù)集的樣本降低識(shí)別錯(cuò)誤率。另外，鞘腐病的PA為94.9%，也相對(duì)較低，引起誤差的樣本主要是模型將2例鞘腐病誤識(shí)別成枯萎病；同時(shí)，也有1例被識(shí)別為鞘腐病的樣本實(shí)際上感染的是枯萎病。鞘腐病類(lèi)別的樣本數(shù)量較少可能是造成該類(lèi)別識(shí)別錯(cuò)誤率較高的主要原因。

表3 模型測(cè)試的混淆矩陣Table 3 Confusion matrix of model testing result

表4 模型測(cè)試精度Table 4 Model testing accuracy

3 香蕉病害診斷系統(tǒng)的開(kāi)發(fā)

根據(jù)得到的診斷模型進(jìn)一步開(kāi)發(fā)了香蕉病害遠(yuǎn)程診斷系統(tǒng)。整個(gè)系統(tǒng)主要由終端APP和遠(yuǎn)程服務(wù)器2部分組成。終端APP用來(lái)獲取、處理、上傳香蕉植株圖像，并接收診斷結(jié)果。遠(yuǎn)程服務(wù)器主要有2個(gè)功能：與終端通信，收取圖片、下發(fā)診斷結(jié)果；內(nèi)嵌診斷模型，實(shí)現(xiàn)病害的快速識(shí)別。軟件系統(tǒng)結(jié)構(gòu)如圖5所示。

終端APP是針對(duì)Android系統(tǒng)開(kāi)發(fā)的，開(kāi)發(fā)環(huán)境為Android Studio和IDE。它的主要功能是拍攝、查看、預(yù)處理和上傳植物圖像，接收和顯示診斷結(jié)果。另外還包括病蟲(chóng)害科普知識(shí)，香蕉病蟲(chóng)害的典型癥狀及常用防治措施。APP可使用終端內(nèi)置相機(jī)原位捕獲圖像或從其相冊(cè)中進(jìn)行選擇，必要時(shí)還可進(jìn)行一些基本的圖像預(yù)處理，如裁剪、旋轉(zhuǎn)、灰度化等，然后將圖像發(fā)送到遠(yuǎn)程服務(wù)器，并實(shí)時(shí)接收診斷結(jié)果。

圖5 軟件系統(tǒng)總體結(jié)構(gòu)圖Fig. 5 General structure of the software system

服務(wù)器采用Java socket模塊開(kāi)發(fā)。通過(guò)設(shè)置監(jiān)聽(tīng)程序?qū)ο鄳?yīng)端口進(jìn)行監(jiān)聽(tīng)，一旦檢測(cè)到圖像，就調(diào)用診斷模型對(duì)圖像進(jìn)行識(shí)別，并快速地將診斷結(jié)果反饋給移動(dòng)終端。本文共設(shè)計(jì)了2個(gè)端口，一個(gè)用于接收?qǐng)D像信息，另一個(gè)用于反饋診斷信息。

系統(tǒng)通過(guò)整體調(diào)試，在4G網(wǎng)絡(luò)下，從圖像上傳到獲得診斷結(jié)果，平均用時(shí)3.1 s，APP可實(shí)現(xiàn)快速原位診斷香蕉病害類(lèi)別，測(cè)試結(jié)果如圖6所示。

圖6 APP測(cè)試結(jié)果Fig. 6 APP test result

隨著5G技術(shù)的快速發(fā)展和推廣，數(shù)據(jù)傳輸?shù)膸?、速度、穩(wěn)定性等都將得到跨越式地發(fā)展。未來(lái)在5G網(wǎng)絡(luò)下，該應(yīng)用能獲取的圖像質(zhì)量將更有保障，測(cè)量時(shí)間還將明顯縮短，甚至可實(shí)現(xiàn)視頻流的診斷，進(jìn)一步提高診斷精度及可靠性。

4 結(jié)論

研究通過(guò)收集并擴(kuò)展7種主要的香蕉病害數(shù)據(jù)集，利用深度卷積網(wǎng)絡(luò)之一的GoogLeNet Inception-V3模型，通過(guò)遷移學(xué)習(xí)訓(xùn)練獲得了香蕉病害診斷模型。通過(guò)對(duì)比不同網(wǎng)絡(luò)優(yōu)化器和迭代次數(shù)對(duì)模型性能的影響，最終選擇了MO優(yōu)化器迭代10 000次的模型，平均測(cè)試準(zhǔn)確率達(dá)到了98%，大部分類(lèi)別的用戶(hù)精度及生產(chǎn)者精度均達(dá)到了95%以上。誤差產(chǎn)生的主要原因有：一是部分病害在不同的發(fā)病階段會(huì)出現(xiàn)相似的特征，如葉斑病、黑星病和炭疽病在發(fā)病初期均會(huì)產(chǎn)生褐色至黑色的斑點(diǎn)，后期病斑均會(huì)擴(kuò)大至相互交匯，葉片大面積黑死，這2個(gè)階段三者的特征相似度高；二是數(shù)據(jù)集樣本數(shù)量偏少，如鞘腐病的測(cè)試集僅包含39個(gè)樣本。后期可通過(guò)擴(kuò)大數(shù)據(jù)集進(jìn)一步提高模型的精度。為了使用戶(hù)能夠快速、準(zhǔn)確地判斷香蕉的病害，進(jìn)一步開(kāi)發(fā)了基于該診斷模型的在線(xiàn)診斷軟件系統(tǒng)。該系統(tǒng)有效地提高了香蕉病害診斷的精度與速度，并解除了傳統(tǒng)的高度依賴(lài)有經(jīng)驗(yàn)的人工識(shí)別的局限性，可以作為香蕉種植者監(jiān)測(cè)病害的高效診斷工具。