孫云云 江朝暉 董偉 張立平 饒?jiān)?李紹穩(wěn)

摘要：以常見且特征相似的茶輪斑病、炭疽病和云紋葉枯病為對(duì)象，研究在小樣本情況下利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行病害圖像識(shí)別問題。運(yùn)用7種模式的預(yù)處理方法對(duì)茶樹葉部病害圖像樣本進(jìn)行處理，并采用MexNet經(jīng)典網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)實(shí)驗(yàn)，比較、分析其訓(xùn)練及識(shí)別效果。結(jié)果顯示，模式7訓(xùn)練模型精度為93.3%，平均測(cè)試準(zhǔn)確率為90%，且對(duì)茶輪斑病、炭疽病和云紋葉枯病的正確區(qū)分率分別為85%、90%和85%，在預(yù)測(cè)值和真實(shí)值一致性方面優(yōu)于其他預(yù)處理方法。在小樣本情況下，該預(yù)處理方法可有效區(qū)分、識(shí)別3種易混病害，且識(shí)別精度高，性能好。

關(guān)鍵詞：茶葉病害;圖像識(shí)別;卷積神經(jīng)網(wǎng)絡(luò);小樣本

中圖分類號(hào)：S126 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1000-4440（2019）01-0048-08

茶樹是重要的經(jīng)濟(jì)作物，茶樹病害發(fā)生嚴(yán)重。常見的茶樹病害有40多種，以葉部病害居多。利用機(jī)器視覺技術(shù)對(duì)植物病害進(jìn)行自動(dòng)檢測(cè)和診斷是未來的發(fā)展方向。由于卷積神經(jīng)網(wǎng)絡(luò)（cNN）等深度學(xué)習(xí)方法是直接由數(shù)據(jù)本身來驅(qū)動(dòng)及其表達(dá)關(guān)系的自我學(xué)習(xí)，因而成為機(jī)器視覺的主流算法。Mohantv等訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，對(duì)14個(gè)作物品種26種病害的檢測(cè)精度達(dá)99.35%。楊晉丹等采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)草莓葉部白粉病進(jìn)行識(shí)別獲得成功。Cruz等開發(fā)了一種基于視覺的深度學(xué)習(xí)技術(shù)，并檢測(cè)Xylella fastidiosa感染的油橄欖葉片焦枯葉。Amara等采用深度學(xué)習(xí)方法實(shí)現(xiàn)了自動(dòng)化的香蕉病害葉片分類。深度學(xué)習(xí)模型訓(xùn)練時(shí)一般需要大量高質(zhì)量的病害樣本集作為網(wǎng)絡(luò)模型輸入數(shù)據(jù)，例如張善文等的一種基于卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害識(shí)別方法中圖像數(shù)據(jù)集多達(dá)15500多幅。Brahimi等收集了14 828張圖像對(duì)番茄葉片病害進(jìn)行識(shí)別。但在實(shí)際應(yīng)用中，往往存在樣本采集少，圖像質(zhì)量低等問題，難以獲得良好的識(shí)別效果。因此，需要改進(jìn)模型結(jié)構(gòu)或參數(shù)，或者對(duì)原始樣本進(jìn)行加工和預(yù)處理。例如孫俊等、Srdi.dn等分別設(shè)計(jì)了多種改進(jìn)模型，對(duì)作物病害進(jìn)行識(shí)別，獲得了較高的識(shí)別準(zhǔn)確率和較強(qiáng)的魯棒性。吳翔采用Grabcut分割方法對(duì)圖像集進(jìn)行預(yù)處理，提高了識(shí)別精度和識(shí)別速率。Lai等、Yi等采用基于IJaDlacian的超分辨率網(wǎng)絡(luò)對(duì)圖像集進(jìn)行預(yù)處理，在低分辨率圖像集下獲得較好的識(shí)別效果。

本研究以常見且特征相似的茶輪斑病、茶炭疽病和茶云紋葉枯病為對(duì)象，研究CNN在小樣本下的識(shí)別問題。設(shè)計(jì)、運(yùn)用多種預(yù)處理方法對(duì)茶樹葉部病害圖像樣本進(jìn)行處理，采用適合病蟲害識(shí)別的AlexNet經(jīng)典網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)實(shí)驗(yàn)。通過比較、分析模型的訓(xùn)練及識(shí)別效果，獲得有效的圖像預(yù)處理方法，以期提高小樣本CNN病害識(shí)別的準(zhǔn)確度。

1材料與方法

1.1材料

圖像數(shù)據(jù)來源于安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所，實(shí)地拍攝。具體拍攝方式為：用單反數(shù)碼相機(jī)在自然光和閃光燈補(bǔ)光2種光線環(huán)境下，以茶樹葉片、土壤、天空等自然環(huán)境為背景，在田間直接采集病害圖像：再利用圖像處理軟件對(duì)采集到的圖像進(jìn)行元數(shù)據(jù)標(biāo)引、裁切、人工分類等預(yù)處理。經(jīng)專業(yè)技術(shù)人員對(duì)比確認(rèn)，最終篩選出茶樹病害葉片樣本圖片430個(gè)，其中，茶輪斑病圖片94個(gè)，茶炭疽病圖片252個(gè)，茶云紋葉枯病圖片84個(gè)。數(shù)據(jù)集分布情況見表1。典型病害圖像如圖1所示，大小按比例歸一化為300x200像素。由表1和圖1可知，病害圖像具有數(shù)量少、背景復(fù)雜和目標(biāo)區(qū)域占比少等特點(diǎn)。

1.2圖像預(yù)處理方法設(shè)計(jì)

以MexNet為訓(xùn)練模型在相同參數(shù)設(shè)置下對(duì)同一樣本集數(shù)據(jù)進(jìn)行試驗(yàn)。在相同參數(shù)設(shè)置和同一數(shù)據(jù)集下，訓(xùn)練集圖像的尺寸和質(zhì)量是影響模型訓(xùn)練效率的關(guān)鍵因素。因此，為提高訓(xùn)練圖像病害有效信息占比和提高模型訓(xùn)練效率，設(shè)計(jì)了7種預(yù)處理算法模式（表2）進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，包含文獻(xiàn)[19]和[16]預(yù)處理方法在內(nèi)的8種預(yù)處理方法。

1.3卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型

卷積神經(jīng)網(wǎng)絡(luò)包含多層卷積和池化層，用于逐層提取圖片深層特征，在圖像識(shí)別領(lǐng)域應(yīng)用效果較好。將預(yù)處理后的樣本集圖像輸入CNN模型進(jìn)行訓(xùn)練，生成3種易混病害識(shí)別模型。訓(xùn)練中采用擅長于圖像識(shí)別的AlexNet經(jīng)典網(wǎng)絡(luò)模型，模型結(jié)構(gòu)見圖2。以尺寸為50x50的圖像為例，模型包含5個(gè)卷積層（Convl～Conv5）、3個(gè)池化層（Poo-lingl～Pooling3）、2個(gè)全連接層（Fc6、Fc7）以及1個(gè)分類層。其中，濾波器的大小為11×11x3，卷積層1的卷積核數(shù)目為96，卷積層2和5的卷積核數(shù)目均為256，卷積層3和4的卷積核數(shù)目均為384，2個(gè)全連接層的神經(jīng)元數(shù)量均為4 096，分類層的輸出類別數(shù)目即為最終的類別數(shù)。

1.4圖像預(yù)處理

對(duì)樣本集圖像分別按照表2中設(shè)計(jì)的預(yù)處理方法自動(dòng)生成7種新的樣本集圖像。其中k-means提取病斑、最小N*N區(qū)域提取和插值重建方法是本研究改進(jìn)后的預(yù)處理方法。歸一化處理是針對(duì)尺寸不一致的樣本圖像進(jìn)行的尺寸強(qiáng)制性統(tǒng)一化處理。SLIC_SVM算法是本團(tuán)隊(duì)設(shè)計(jì)的一種針對(duì)茶樹葉部病害的復(fù)雜背景去除方法，在訓(xùn)練集樣本中應(yīng)用良好。模式1和模式4的預(yù)處理方法分別對(duì)應(yīng)文獻(xiàn)中的平均像素填充較短邊并縮放為統(tǒng)一尺寸的方法和文獻(xiàn)中采用的迭代切割方法去除復(fù)雜背景并以白色填充背景實(shí)現(xiàn)目標(biāo)提取。形態(tài)學(xué)處理是指圖像處理中的像素點(diǎn)乘、填充和腐蝕等基礎(chǔ)運(yùn)算。

1.4.1改進(jìn)k-means病斑提取病害樣本中葉部病斑顏色特征差異最為顯著，因此采用k-means方法在L*、A*、B*顏色空間進(jìn)行顏色聚類以提取出病斑。該方法采用歐式距離計(jì)算像素點(diǎn)間距離，進(jìn)行區(qū)域聚類，聚類完成后，病斑和葉片可以得到有效分離。但在區(qū)域圖像選擇方面，往往需要人工進(jìn)行挑選確定病斑圖像，不利于算法的廣泛應(yīng)用。本研究對(duì)該方法進(jìn)行改進(jìn)，實(shí)現(xiàn)快速、自動(dòng)地獲得目標(biāo)區(qū)域圖像。主要原理是根據(jù)L*、A*、B*顏色空間下對(duì)葉片和病害區(qū)域進(jìn)行聚類，即對(duì)2個(gè)像素值區(qū)間的顏色進(jìn)行聚類，從而導(dǎo)致2個(gè)區(qū)域質(zhì)心分布的差異。根據(jù)差異，從分割的圖像中通過公式（1）自動(dòng)提取出病斑區(qū)域（圖3-b）。

茶輪斑病、炭疽病和云紋葉枯病等病害發(fā)生時(shí)，葉片上往往會(huì)存在多個(gè)小區(qū)域病斑，這些病斑特征相同，分布具有隨機(jī)性。若將單葉片中多個(gè)病斑區(qū)域全部提取作為訓(xùn)練集，會(huì)降低有效區(qū)域占比，不利于病斑的精確識(shí)別。因此，采用形態(tài)學(xué)處理方法提取出主病斑區(qū)域（圖3c）。

1.4.2最NxN病斑提取基于CNN對(duì)病斑圖像進(jìn)行特征提取和識(shí)別中，首先需要將病斑圖像歸一化為NxN的待訓(xùn)練樣本。采用直接歸一化或短邊填充等方法，往往會(huì)造成冗余信息多，不利于有限樣本空間下CNN病斑特征的自主學(xué)習(xí)。結(jié)合最小外接矩形方法，提出一種適合于CNN模型樣本訓(xùn)練的最小NxN病斑提取方法。

2結(jié)果與分析

試驗(yàn)平臺(tái)環(huán)境搭建參數(shù)見表4。AlexNet模型參數(shù)設(shè)置為：網(wǎng)絡(luò)初始權(quán)重提取自標(biāo)準(zhǔn)差為0.01、均值為0的高斯分布：訓(xùn)練階段采用動(dòng)量項(xiàng)為0.9的異步隨機(jī)梯度下降，并設(shè)置權(quán)重參數(shù)的初始學(xué)習(xí)率為0.01。試驗(yàn)采用交叉驗(yàn)證的方式，按照9：1比例隨機(jī)分配訓(xùn)練集與測(cè)試集，且以表2中設(shè)計(jì)的預(yù)處理方法產(chǎn)生的圖像樣本集分別進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)AlexNet識(shí)別模型訓(xùn)練（圖6）。試驗(yàn)中每個(gè)模型迭代次數(shù)為8 000。在輸入卷積神經(jīng)網(wǎng)絡(luò)前，模式1定位圖像被隨機(jī)裁剪為280x280 dpi，模式2、3和4定位圖像被隨機(jī)裁剪為80x80 dpi，其他3種模式的定位圖像被裁剪為40x40 dpi，裁剪完成后作鏡像翻轉(zhuǎn)以擴(kuò)增數(shù)據(jù)集。

7種模式下模型訓(xùn)練的精度（Accuracy）和損失函數(shù)（Loos）曲線見圖7。對(duì)7種預(yù)處理模式分別訓(xùn)練10次，得到表5所示結(jié)果。7種預(yù)處理模式下，隨著迭代次數(shù)的不斷增加，訓(xùn)練精度都在不斷增加，直至趨于穩(wěn)定。其中，模式7的訓(xùn)練精度達(dá)到0.933，明顯優(yōu)于其他6種模式，Loss收斂速度也較快，因此訓(xùn)練結(jié)果可靠。由表5可見，模式7的平均測(cè)試準(zhǔn)確度為90%，明顯優(yōu)于其他6種模式，且標(biāo)準(zhǔn)差也最小。7種模式的訓(xùn)練結(jié)果表明：在訓(xùn)練精度曲線中，訓(xùn)練精度大小順序?yàn)槟Ｊ?>模式4>模式1>模式2>模式6>模式3>模式5：在loss曲線圖中，除了模式5和模式6存在跳躍點(diǎn)以外，其他幾個(gè)模式曲線收斂速度都較快，可信度都比較高。7種模式的平均準(zhǔn)確率大小順序?yàn)槟Ｊ?>模式1>模式2>模式3>模式4>模式6>模式5;在運(yùn)行時(shí)間上，模式1時(shí)間長達(dá)3264 s，而其他幾種模式都在10 min左右，相差較大的主要原因是模式1中圖像尺寸較大。模式7中由于采用圖像重建提高樣本質(zhì)量，因而運(yùn)行時(shí)間相對(duì)于其他5種模式也增加了約100s，但相對(duì)于常規(guī)CNN模型訓(xùn)練耗時(shí)較少。因此模式7（主要作用是去除背景提取病斑，形態(tài)學(xué)處理，最小NxN區(qū)域提取和超分辨率重建）在訓(xùn)練精度和平均測(cè)試準(zhǔn)確率及模型訓(xùn)練耗時(shí)方面優(yōu)勢(shì)明顯。

分別以模式7、模式1（文獻(xiàn)[19]）和模式3（文獻(xiàn)[16]）的預(yù)處理方法對(duì)驗(yàn)證集圖像進(jìn)行最終模型識(shí)別效果驗(yàn)證。結(jié)果表明，Model中70%的輪斑病圖像被正確識(shí)別為輪斑病，75%的炭疽病圖像被正確識(shí)別為炭疽病，75%的云紋葉枯病圖像被正確識(shí)別為云紋葉枯病;Mode3中25%的輪斑病圖像被正確識(shí)別為輪斑病，85%的炭疽病圖像被正確識(shí)別為炭疽病，10%的云紋葉枯病圖像被正確識(shí)別為云紋葉枯病：Mode7中85%的輪斑病圖像被正確識(shí)別為輪斑病，90%的炭疽病圖像被正確識(shí)別為炭疽病，85%的云紋葉枯病圖像被正確識(shí)別為云紋葉枯病。圖8為本研究設(shè)計(jì)的模式7下預(yù)處理方法識(shí)別3種病害的性能評(píng)估ROC曲線，可以看出，模式7對(duì)3種病害的識(shí)別精度高、性能好。

3結(jié)論

針對(duì)茶樹病害自動(dòng)圖像檢測(cè)的需求和訓(xùn)練樣本小影響深度學(xué)習(xí)模型性能的難題，研究了通過對(duì)樣本進(jìn)行預(yù)處理從而提高訓(xùn)練效果的可行性。設(shè)計(jì)和運(yùn)用7種不同模式進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)病害識(shí)別，用結(jié)構(gòu)和參數(shù)相同的MexNet模型訓(xùn)練，分析、比較訓(xùn)練及實(shí)測(cè)效果。試驗(yàn)結(jié)果顯示，模式7識(shí)別精度達(dá)93.3%，平均測(cè)試準(zhǔn)確率為90%，識(shí)別效果最好。試驗(yàn)中，茶輪斑病、茶炭疽病和茶云紋葉枯病3種病害的樣本圖片數(shù)量分別為94、252和84，屬于典型的小樣本。本研究設(shè)計(jì)的模式7預(yù)處理方法，能夠提高小樣本卷積神經(jīng)網(wǎng)絡(luò)病害識(shí)別準(zhǔn)確度且性能好，本研究方法能夠準(zhǔn)確地識(shí)別、區(qū)分茶輪斑病、炭疽病和云紋葉枯病。