楊明欣, 張耀光, 劉 濤

基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害小樣本識(shí)別研究*

楊明欣, 張耀光, 劉 濤**

(河北科技大學(xué)經(jīng)濟(jì)管理學(xué)院 石家莊 050018)

農(nóng)作物病害治理對(duì)于農(nóng)作物的產(chǎn)量和品質(zhì)有著非常重要的影響。本文針對(duì)玉米病害人工識(shí)別困難、識(shí)別過(guò)程耗費(fèi)大量的人力成本和病害數(shù)據(jù)樣本小且分布不均的問(wèn)題, 提出了一種改進(jìn)的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Neural Network)的病害識(shí)別方法。首先, 采用旋轉(zhuǎn)、翻轉(zhuǎn)等方法對(duì)樣本圖像集進(jìn)行數(shù)據(jù)增強(qiáng); 其次, 通過(guò)遷移的MobileNetV2模型在玉米病害圖像數(shù)據(jù)集上訓(xùn)練, 利用Focal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù); 最后, 通過(guò)Softmax分類方法實(shí)現(xiàn)玉米病害圖像識(shí)別。另外通過(guò)試驗(yàn)對(duì)比AlexNet、GooleNet、Vgg16、RestNet34、MobileNetV2和遷移的MobileNetV2這6種模型的訓(xùn)練集準(zhǔn)確率、驗(yàn)證集準(zhǔn)確率、權(quán)重、參數(shù)數(shù)量和運(yùn)行時(shí)間。結(jié)果顯示, 6種模型驗(yàn)證集的準(zhǔn)確率分別為93.88%、95.48%、91.69%、97.67%、96.21%和97.23%, 遷移的MobileNetV2的準(zhǔn)確率最高, 且權(quán)重僅有8.69 MB。進(jìn)一步通過(guò)混淆矩陣對(duì)比了MobileNetV2和遷移的MobileNetV2兩種模型, 遷移的MobileNetV2模型識(shí)別正確率提升1.02%, 訓(xùn)練速度減少6 350 s。本文提出遷移的MobileNetV2模型對(duì)玉米病害小樣本的識(shí)別效果最佳, 具備更好的收斂速度與識(shí)別能力, 同時(shí)能夠降低模型的運(yùn)算量并大幅度縮短識(shí)別時(shí)間。

玉米病害; 遷移學(xué)習(xí); 小樣本; 卷積神經(jīng)網(wǎng)絡(luò); Focal Loss; 混淆矩陣

近年來(lái), 隨著物聯(lián)網(wǎng)、遙感技術(shù)、圖像識(shí)別、云計(jì)算等技術(shù)在我國(guó)農(nóng)業(yè)領(lǐng)域的應(yīng)用, “智慧農(nóng)業(yè)”[1]應(yīng)運(yùn)而生, 為解決農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)經(jīng)營(yíng)網(wǎng)絡(luò)化、農(nóng)業(yè)管理數(shù)字化、農(nóng)業(yè)服務(wù)精準(zhǔn)化提供了技術(shù)支撐。智慧農(nóng)業(yè)在農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)資源的細(xì)分和數(shù)據(jù)挖掘方面尚未有效的開(kāi)展, 在農(nóng)業(yè)生產(chǎn)過(guò)程中產(chǎn)生的大量圖片、聲音等信息未能有效利用, 深度學(xué)習(xí)能夠有效地利用這些信息為農(nóng)業(yè)生產(chǎn)過(guò)程中病蟲(chóng)害的識(shí)別提供理論和技術(shù)支持。

傳統(tǒng)的機(jī)器視覺(jué)技術(shù)對(duì)病蟲(chóng)害識(shí)別與預(yù)測(cè)主要基于紋理顏色等特征, 或者基于專家的判斷, 需要大量的專業(yè)知識(shí)。在病害種類少、數(shù)據(jù)樣本小的情況下, 李冠林等[2]提出了一種基于傳統(tǒng)機(jī)器學(xué)習(xí)方法——K-means聚類算法, 實(shí)現(xiàn)病斑分割, 提取病斑區(qū)域的形狀、顏色和紋理特征空間的50個(gè)特征參數(shù), 設(shè)計(jì)支持向量機(jī)分類器進(jìn)行分類識(shí)別, 對(duì)小麥條銹病和葉銹病進(jìn)行分類識(shí)別, 訓(xùn)練樣本識(shí)別率均為96.67%。針對(duì)柑橘紅蜘蛛蟲(chóng)害, 李震等[3]提出基于Lab顏色模型的K-means識(shí)別, 通過(guò)5個(gè)聚類中心的K-means聚類法, 識(shí)別柑橘紅蜘蛛蟲(chóng)害的準(zhǔn)確率達(dá)100%, 識(shí)別清晰度低的樣本時(shí)準(zhǔn)確率為80%。許良鳳等[4]在大田開(kāi)放環(huán)境下采集包含圓斑病、小斑病、銹病、褐斑病、紅葉病、彎孢霉葉斑病和紋枯病共7類玉米葉部病害圖像, 提取顏色、顏色共生矩陣和顏色完全局部二值模式3種特征, 并構(gòu)建相應(yīng)的支持向量機(jī)分類器, 提出了各分類器自適應(yīng)動(dòng)態(tài)權(quán)值, 分類結(jié)果平均識(shí)別率為94.71%, 極大地提高了單分類器的識(shí)別率; 但是也因此加長(zhǎng)了識(shí)別時(shí)間, 且這種識(shí)別精度也未考慮復(fù)雜環(huán)境對(duì)數(shù)據(jù)集的影響; 該試驗(yàn)的訓(xùn)練樣本270幅, 測(cè)試樣本為246幅。傳統(tǒng)的識(shí)別方法都是通過(guò)將植物葉片從復(fù)雜的田間環(huán)境分割, 再進(jìn)行小樣本訓(xùn)練, 容易出現(xiàn)過(guò)擬合現(xiàn)象。Turko?lu等[5]通過(guò)尼康7200d相機(jī)在土耳其的Malatya、Bing?l和Elaz?? 3個(gè)地區(qū)采集了1 965張病蟲(chóng)害照, 使用AlexNet、VGG16、VGG19、GoogleNet、ResNet50、ResNet101、InceptionV3、InceptionResNetV2和SqueezeNet共9種強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法檢測(cè)植物病害, 利用預(yù)訓(xùn)練的深度模型進(jìn)行特征提取和進(jìn)一步微調(diào), 用傳統(tǒng)的支持向量機(jī)(SVM)、極限學(xué)習(xí)機(jī)(ELM)、鄰近算法(KNN)進(jìn)行分類, 通過(guò)準(zhǔn)確率、敏感性、特異性和F1評(píng)分進(jìn)行性能評(píng)估, 結(jié)果發(fā)現(xiàn)通過(guò)ResNet50模型和SVM分類器的精度得分最高, 準(zhǔn)確率達(dá)97.86%。

相對(duì)于傳統(tǒng)的識(shí)別方法, 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的出現(xiàn)有效地提高了識(shí)別效率和準(zhǔn)確性。卷積神經(jīng)網(wǎng)絡(luò)從20世紀(jì)90年代的LeNet[6]開(kāi)始, 經(jīng)歷了AlexNet[7]、VGG[8]、GoogLeNet[9]和ResNet[10]等不斷升級(jí)的模型, 網(wǎng)絡(luò)模型越來(lái)越深, 越來(lái)越復(fù)雜, 解決了反向傳播的梯度消失和爆炸。為提高病蟲(chóng)害識(shí)別精度, Mohanty等[11]對(duì)PlantVillage項(xiàng)目公開(kāi)數(shù)據(jù)的54 306幅圖片通過(guò)AlexNet和GoogLeNet 2種框架, 采用遷移學(xué)習(xí)的方法對(duì)RGB圖片、灰白圖像和葉片分割后圖像進(jìn)行試驗(yàn)對(duì)比, 發(fā)現(xiàn)遷移學(xué)習(xí)的方法優(yōu)于從頭訓(xùn)練, 彩色圖像優(yōu)于分割后的圖像; 但遷移學(xué)習(xí)的方法在不同訓(xùn)練集條件下, 測(cè)試準(zhǔn)確率會(huì)降低。Wang等[12]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到基于圖像的植物疾病嚴(yán)重程度的自動(dòng)評(píng)估系統(tǒng), 圖像是來(lái)自PlantVillage數(shù)據(jù)集中的蘋(píng)果黑腐病圖像集, 對(duì)比了VGG16、VGG19、Inception-V3和RestNet50模型的訓(xùn)練精度, 得到VGG16模型在測(cè)試集上的精度達(dá)90.4%。Oppenheim等[13]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)在不受控制的光照條件下, 通過(guò)使用標(biāo)準(zhǔn)的低成本RGB(紅色、綠色和藍(lán)色)傳感器拍攝的圖像數(shù)據(jù)集進(jìn)行測(cè)試, 并由農(nóng)業(yè)專家[14]進(jìn)行采集、分類和手工標(biāo)記選取2 465張馬鈴薯病變斑塊圖片, 將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于農(nóng)作物病害的識(shí)別, 用足夠的數(shù)據(jù)集和顯示病害的分類, 對(duì)馬鈴薯塊莖病害基因進(jìn)行鑒定, 挖掘了卷積神經(jīng)網(wǎng)絡(luò)在解決農(nóng)業(yè)病蟲(chóng)害的巨大潛力。

傳統(tǒng)的支持向量機(jī)等方法魯棒性不強(qiáng), 在復(fù)雜的大田環(huán)境下應(yīng)用效果不佳, 而使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行病蟲(chóng)害識(shí)別是一種有監(jiān)督學(xué)習(xí), 需要海量的標(biāo)簽, 受限于訓(xùn)練數(shù)據(jù)集數(shù)量少、種類不均勻[15-16]、標(biāo)簽數(shù)據(jù)匱乏等?；谝陨涎芯砍晒? 本研究設(shè)計(jì)了一種改進(jìn)的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò), 通過(guò)數(shù)據(jù)增強(qiáng)的圖像數(shù)據(jù)集進(jìn)行微調(diào), 再將微調(diào)所得模型遷移到玉米病害圖像數(shù)據(jù)集繼續(xù)訓(xùn)練, 利用Focal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), 解決了小樣本分布不均帶來(lái)的誤差。通過(guò)改進(jìn)的遷移的MobileNetV2模型與常規(guī)經(jīng)典模型進(jìn)行對(duì)比實(shí)驗(yàn), 進(jìn)一步驗(yàn)證改進(jìn)的MobileNetV2模型的各種性能。

1 模型基礎(chǔ)知識(shí)

1.1 MobileNetV2

MobileNetV2是一種輕量型網(wǎng)絡(luò), 由Google團(tuán)隊(duì)在2018年為移動(dòng)和嵌入式設(shè)備提出的高效模型, 它利用一種深度可分離卷積(depthwise separable convolutions, 即Xception變體結(jié)構(gòu))來(lái)構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)。與MobileNetV1相比, MobileNetV2準(zhǔn)確率更高、模型更小。MobileNetV1中Depthwise部分的卷積核的大部分參數(shù)為0, MobileNetV2提出了倒殘差來(lái)代替Depthwise的卷積核。相比于RestNet中的殘差結(jié)構(gòu), 倒殘差只有當(dāng)步長(zhǎng)等于1, 輸入矩陣與輸出矩陣的形狀相同時(shí)才能進(jìn)行捷徑連接。圖1所示的是倒殘差結(jié)構(gòu), 圖1a表示RestNet中的殘差結(jié)構(gòu), 首先1×1卷積核對(duì)輸入的特征矩陣進(jìn)行降維, 再通過(guò)3×3的卷積核進(jìn)行卷積處理, 最后通過(guò)1×1的卷積核進(jìn)行升維; 圖1b表示MobileNetV2中的倒殘差結(jié)構(gòu), 首先1×1卷積核對(duì)輸入的特征矩陣進(jìn)行升維, 再通過(guò)3×3卷積核進(jìn)行DW卷積, 最后進(jìn)行1×1卷積核降維。

圖1 殘差網(wǎng)絡(luò)(a)和倒殘差網(wǎng)絡(luò)(b)結(jié)構(gòu)圖

1.2 MobileNetV2卷積原理

隨機(jī)選取一張健康玉米R(shí)GB圖片經(jīng)過(guò)預(yù)處理成224×224大小圖片, 通過(guò)MobileNetV2網(wǎng)絡(luò)第1層卷積通道為32。輸出的大小如公式(1), 其中為輸入圖片大小,為3×3卷積核,

為填充像素1,為步長(zhǎng)2。輸出feature map大小為112。

1.3 卷積與倒殘差對(duì)比

選取的健康玉米R(shí)GB圖片通過(guò)第1層卷積由3個(gè)通道變成32個(gè)通道, 每個(gè)通道對(duì)應(yīng)的特征圖大小通過(guò)公式(1)計(jì)算是112像素, 特征圖如圖2a所示, 橫縱坐標(biāo)表示像素大小, 每個(gè)通道的圖片通過(guò)Batch Normalization進(jìn)行歸一化, 再通過(guò)ReLU6非線性激活函數(shù)進(jìn)行激活。圖中亮度越高表示圖片特征越顯著。圖片通過(guò)第2層卷積, 采用的是倒殘差的卷積方式, 通過(guò)公式(1)計(jì)算圖像大小為112像素, 通道由32個(gè)變成16個(gè), 每個(gè)通道對(duì)應(yīng)的特征圖如圖2b所示。

圖2a是原始圖片通過(guò)第1層普通卷積后顯示的特征圖, 特征圖再經(jīng)過(guò)第1次倒殘差處理后顯示的卷積圖如圖2b, 二者對(duì)比通過(guò)倒殘差處理后圖片的亮度更高, 處理后的特征趨于明顯。

1.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)[18]是將ImageNet數(shù)據(jù)集上的120萬(wàn)張圖片進(jìn)行訓(xùn)練, 獲得的權(quán)重參數(shù), 應(yīng)用到玉米病害識(shí)別中。通過(guò)遷移學(xué)習(xí)的方法能夠快速訓(xùn)練出一個(gè)理想的結(jié)果, 在數(shù)據(jù)集小樣本標(biāo)簽不夠的情況下也能訓(xùn)練出理想的效果。

本試驗(yàn)在遷移ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù),在原網(wǎng)絡(luò)的基礎(chǔ)上再添加一層全連接層, 僅訓(xùn)練最后一層。采用自適應(yīng)池化(adaptive pooling)取代了平均池化(average pooling), 自適應(yīng)池化能夠根據(jù)輸入的參數(shù)控制輸出。為防止過(guò)擬合, 通過(guò)Dropout[19]方法隨機(jī)失活, 修改分類個(gè)數(shù)為5。自適應(yīng)池化后的神經(jīng)元通過(guò)Dropout公式(7), 對(duì)Corn數(shù)據(jù)集進(jìn)行訓(xùn)練測(cè)試, 通過(guò)表1進(jìn)行對(duì)比, 結(jié)果顯示選擇概率為0.2,測(cè)試集準(zhǔn)確率最高。

1.5 Focal Loss函數(shù)

分類任務(wù)中通常使用Cross Entropy Loss交叉熵?fù)p失函數(shù)(又稱為對(duì)數(shù)似然損失), 在多分類任務(wù)中, 經(jīng)常采用soft max激活函數(shù)與交叉熵?fù)p失函數(shù)結(jié)合, 交叉熵表示的是實(shí)際輸出與期望輸出的距離, 交叉熵越小二者的概率分布越近。假設(shè)概率分布為期望輸出, 概率分布為實(shí)際輸出,(,)為交叉熵, 計(jì)算公式為:

式中:為分類類別數(shù)。

2 研究方法

2.1 構(gòu)建玉米病害數(shù)據(jù)集

本文從AI Challenger 2018 (https://challenger.ai/ competition/pdr2018)中選取玉米病害圖像作為數(shù)據(jù)集, 對(duì)選取的圖像進(jìn)行數(shù)據(jù)增強(qiáng)形成Corn數(shù)據(jù)集。該數(shù)據(jù)集包含健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病5個(gè)種類的圖像。由于每個(gè)種類圖片的數(shù)量差異大, 訓(xùn)練起來(lái)準(zhǔn)確率低, 對(duì)樣本少的數(shù)據(jù)進(jìn)行90°、180°和270°翻轉(zhuǎn)對(duì)圖像擴(kuò)容。對(duì)圖片進(jìn)行隨機(jī)裁剪成256×256大小, 再通過(guò)中心裁剪成224×224大小的圖片, 把形狀是高度×寬度×通道的像素值范圍為[0, 255]的PIL庫(kù)中的Image轉(zhuǎn)換成形狀是通道×寬度×高度的像素值范圍為[0, 1], 進(jìn)行標(biāo)準(zhǔn)化處理, 效果如圖3。處理后每張圖為224像素, 5張圖并列展示, 橫坐標(biāo)是[0, 1 120], 縱坐標(biāo)是[0, 224]。

2.2 Corn數(shù)據(jù)集

數(shù)據(jù)增強(qiáng)后的玉米病害數(shù)據(jù)集如表2所示。對(duì)玉米病害數(shù)據(jù)集種類設(shè)置標(biāo)簽依次為0、1、2、3、4。標(biāo)簽為0的健康玉米訓(xùn)練集數(shù)量320, 標(biāo)簽1的玉米灰斑病訓(xùn)練集數(shù)量358, 標(biāo)簽0、1的訓(xùn)練集數(shù)量遠(yuǎn)小于其他訓(xùn)練集的數(shù)據(jù), 造成了訓(xùn)練集不平衡, 影響訓(xùn)練的準(zhǔn)確率。增強(qiáng)后的數(shù)據(jù)集樣本的數(shù)量也是不均勻的, 采用改進(jìn)的遷移學(xué)習(xí)方法用Facal Loss損失函數(shù)代替Cross Entropy Loss交叉熵?fù)p失函數(shù), 能夠解決樣本的不平衡性, 從而有效提升準(zhǔn)確率, 使模型具有更強(qiáng)的魯棒性。

如表3所示, 把原始的訓(xùn)練集和增強(qiáng)后的數(shù)據(jù)集通過(guò)改進(jìn)遷移學(xué)習(xí)的MobileNetV2網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果對(duì)比發(fā)現(xiàn)增強(qiáng)后的標(biāo)簽為0的健康玉米的識(shí)別準(zhǔn)確率從98.42%提升到99.38%, 標(biāo)簽為1的玉米灰斑病的識(shí)別率從84.56%提升到89.19%, 訓(xùn)練集整體識(shí)別的準(zhǔn)確率從92.77%提升到94.62%, 通過(guò)數(shù)據(jù)增強(qiáng)的方法有效提升了玉米病害訓(xùn)練集識(shí)別準(zhǔn)確率。

3 結(jié)果與分析

采用Pytorch框架, GPU為GeForce MX110(2GB),在Windows 10環(huán)境下配置CUDA10.2、Python3.6, 構(gòu)成以Pytorch為核心、GPU加速的卷積神經(jīng)網(wǎng)絡(luò)框架。受限于硬件, batch_size設(shè)置為16, epoch設(shè)置為10。

試驗(yàn)采用玉米病害小樣本Corn數(shù)據(jù)集作為訓(xùn)練集, AlexNet、GooleNet、Vgg16、RestNet34、MobileNetV2、遷移的MobileNetV2為對(duì)比模型, 用測(cè)試集合進(jìn)行測(cè)試并保存權(quán)重文件和參數(shù), 測(cè)試結(jié)果如表4所示。結(jié)果顯示改進(jìn)的遷移學(xué)習(xí)的MobileNetV2模型比其他模型準(zhǔn)確率高, 參數(shù)數(shù)量最小, 適用于玉米病害識(shí)別, 遷移的MobileNetV2權(quán)重只有8.69 MB, 而準(zhǔn)確率高達(dá)97.23%, 訓(xùn)練時(shí)間僅有2 700 s。

圖2 第1次卷積后形成的32個(gè)子圖(a)和第1次殘差網(wǎng)絡(luò)后形成的16個(gè)子圖(b)

表1 Dropout方法中概率p選擇

3.1 訓(xùn)練集的混淆矩陣

混淆矩陣用來(lái)觀察分類結(jié)果, 是一個(gè)×的方陣,表示類別數(shù)。混淆矩陣的行表示真實(shí)的類別, 列表示預(yù)測(cè)的類別。

圖3 預(yù)處理后5種玉米病害類型的效果圖(從左向右依次為玉米矮花葉病毒病、玉米灰斑病、玉米銹病、健康玉米、玉米葉斑病)

表2 數(shù)據(jù)增強(qiáng)后的玉米病害數(shù)據(jù)集

標(biāo)簽0-4的意義見(jiàn)表2。The meaning of the lable 0-4 is shown in the table 2.

表3 5種玉米病害類型訓(xùn)練集準(zhǔn)確率

標(biāo)簽0-4的意義見(jiàn)表2。The meaning of the lable 0-4 is shown in the table 2.

通過(guò)遷移的MobileNetV2對(duì)玉米病害Corn數(shù)據(jù)集中的訓(xùn)練集進(jìn)行訓(xùn)練, 對(duì)訓(xùn)練集的訓(xùn)練結(jié)果制作混淆矩陣, 對(duì)健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病, 5個(gè)種類設(shè)置標(biāo)簽對(duì)應(yīng)0、1、2、3、4。橫縱坐標(biāo)對(duì)應(yīng)玉米病害的標(biāo)簽, 橫坐標(biāo)表示預(yù)測(cè)種類的標(biāo)簽, 縱坐標(biāo)表示真實(shí)種類的標(biāo)簽。圖4所示的是MobileNetV2和遷移學(xué)習(xí)的MobileNetV2的訓(xùn)練集識(shí)別的混淆矩陣。從圖中可以看出, MobileNetV2對(duì)標(biāo)簽為1的玉米灰斑病和標(biāo)簽為3的玉米葉斑病識(shí)別出錯(cuò)的圖片數(shù)量多(圖4a); 而示遷移學(xué)習(xí)的MobileNetV2大大減少了對(duì)標(biāo)簽1和標(biāo)簽3的錯(cuò)誤識(shí)別, 因?yàn)闃?biāo)簽1和標(biāo)簽3的玉米病害特征相似, 通過(guò)改進(jìn)的遷移學(xué)習(xí)的方法極大地改善了標(biāo)簽間互相混淆的情況, 通過(guò)該方法標(biāo)簽1從出錯(cuò)59張降低到39張, 標(biāo)簽3從出錯(cuò)93張降低到40張, 有效提高了對(duì)玉米病害訓(xùn)練集的準(zhǔn)確率。

表4 6種模型進(jìn)行玉米病害識(shí)別的測(cè)試結(jié)果

圖4 MobileNetV2訓(xùn)練集(a)和遷移的MobileNetV2訓(xùn)練集(b)的混淆矩陣

標(biāo)簽0、1、2、3、4和5分別對(duì)應(yīng)健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病。Label 0, 1, 2, 3, 4 and 5 correspond to healthy maize, maize gray leaf spots, maize rust, maize leaf spots and maize dwarf mosaic disease, respectively.

3.2 驗(yàn)證集的混淆矩陣

使用MobileNetV2和遷移的MobileNetV2方法對(duì)玉米病害Corn數(shù)據(jù)集中的測(cè)試集進(jìn)行識(shí)別、制作混淆矩陣, 如圖5所示。從圖中可以看出, 遷移的MobileNetV2對(duì)玉米病害Corn數(shù)據(jù)集中的測(cè)試集識(shí)別準(zhǔn)確率大大提升, 圖5a中標(biāo)簽3的玉米葉斑病的識(shí)別較差的出錯(cuò)張數(shù)從17張降低到10張(圖5b)。

3.3 玉米病害訓(xùn)練集的損失曲線

遷移的MobileNetV2方法, 通過(guò)Facal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2這5種模型使用的Cross Entropy Loss交叉熵?fù)p失函數(shù), 訓(xùn)練迭代50次。通過(guò)圖6發(fā)現(xiàn)遷移的MobileNetV2曲線比其他模型的損失率低, 經(jīng)過(guò)第10次迭代損失趨于穩(wěn)定。用Facal Loss函數(shù)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)對(duì)不均勻小樣本訓(xùn)練效果更好, 具有更強(qiáng)的抗干擾性和魯棒性。

3.4 玉米病害驗(yàn)證集的準(zhǔn)確率曲線

從圖7可以看出, 遷移的MobileNetV2對(duì)玉米病害Corn數(shù)據(jù)集驗(yàn)證集識(shí)別的準(zhǔn)確率高, 對(duì)玉米病害的驗(yàn)證集的50次迭代準(zhǔn)確率處于穩(wěn)定狀態(tài)。由于玉米病害樣本小, AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2模型不能充分訓(xùn)練, 卷積神經(jīng)網(wǎng)絡(luò)對(duì)驗(yàn)證集的識(shí)別準(zhǔn)確率不穩(wěn)定。遷移的MobileNetV2通過(guò)在ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù), 遷移到玉米病害Corn數(shù)據(jù)集進(jìn)行訓(xùn)練微調(diào), 對(duì)驗(yàn)證集的識(shí)別準(zhǔn)確率穩(wěn)定。由此可以說(shuō)明, 對(duì)模型進(jìn)行訓(xùn)練時(shí)參數(shù)遷移的方法比參數(shù)初始化的效果好。在ImageNet數(shù)據(jù)集上訓(xùn)練權(quán)重參數(shù), 數(shù)據(jù)集種類多, 因此遷移學(xué)習(xí)的方法泛化能力強(qiáng)。

圖5 MobileNetV2驗(yàn)證集的混淆矩陣(a)和遷移的MobileNetV2的混淆矩陣(b)

標(biāo)簽0、1、2、3、4和5分別對(duì)應(yīng)健康玉米、玉米灰斑病、玉米銹病、玉米葉斑病、玉米矮花葉病毒病。Label 0, 1, 2, 3, 4 and 5 correspond to healty maize, maize gray leaf spots, maize rust, maize leaf spots and maize dwarf mosaic disease, respectively.

圖6 6種模型訓(xùn)練集進(jìn)行50次迭代的損失曲線

圖7 6種模型驗(yàn)證集進(jìn)行50次迭代的損失曲線

4 結(jié)論

作物病蟲(chóng)害防治是農(nóng)業(yè)生產(chǎn)的重要組成部分。為了克服小樣本玉米病害識(shí)別的困難, 本文引入遷移學(xué)習(xí)方法, 提高了識(shí)別準(zhǔn)確度。選取基于Corn的玉米病害數(shù)據(jù)集作為研究對(duì)象, 進(jìn)行了一系列試驗(yàn)和探索, 得出以下結(jié)論:

1) Corn數(shù)據(jù)集樣本數(shù)據(jù)分布不均勻, 運(yùn)用了旋轉(zhuǎn)、翻轉(zhuǎn)、中心裁剪等方法進(jìn)行數(shù)據(jù)增強(qiáng)處理, 得到強(qiáng)化后的玉米病害數(shù)據(jù)集, 通過(guò)數(shù)據(jù)增強(qiáng)弱化背景, 使得病害特征明顯。

2)針對(duì)增強(qiáng)后數(shù)據(jù)集標(biāo)簽0的健康玉米和標(biāo)簽1的玉米灰斑病訓(xùn)練集樣本過(guò)少的問(wèn)題, 進(jìn)行了翻轉(zhuǎn)擴(kuò)容處理, 通過(guò)Facal Loss損失函數(shù)解決5種玉米病害標(biāo)簽樣本數(shù)量不均勻的問(wèn)題, 訓(xùn)練集的準(zhǔn)確率從92.77%提升到94.62%, 該方法能夠有效提升玉米病害訓(xùn)練集識(shí)別準(zhǔn)確率。

3)采用Pytorch框架作為試驗(yàn)環(huán)境, 通過(guò)對(duì)6種模型進(jìn)行試驗(yàn), 結(jié)果顯示遷移的MobileNetV2方法對(duì)玉米病害驗(yàn)證集的識(shí)別率高達(dá)97.23%, 參數(shù)模型僅有8.69 MB, 樣本訓(xùn)練時(shí)間僅有2 700 s, 對(duì)于此次采用的小樣本玉米病害數(shù)據(jù)集遷移的MobileNetV2方法最有效, 具有權(quán)重小、準(zhǔn)確率高、魯棒性強(qiáng)的特點(diǎn), 能夠避免過(guò)擬合的現(xiàn)象, 可以應(yīng)用到小樣本的玉米病害識(shí)別。

4)將本文采用的遷移的MobileNetV2方法與MobileNetV2在玉米病害驗(yàn)證集上進(jìn)行測(cè)試, 通過(guò)建立混淆矩陣發(fā)現(xiàn)標(biāo)簽1的玉米灰斑病和標(biāo)簽3的玉米葉斑病錯(cuò)誤識(shí)別張數(shù)較多, 而遷移的MobileNetV2方法標(biāo)簽1從出錯(cuò)59張降低到39張, 標(biāo)簽3從出錯(cuò)93張降低到40張, 有效地提高了對(duì)玉米病害訓(xùn)練集的準(zhǔn)確率。

5)遷移的MobileNetV2方法通過(guò)Facal Loss函數(shù)改進(jìn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù), AlexNet、GooleNet、Vgg16、RestNet34和MobileNetV2這5種模型使用的Cross Entropy Loss交叉熵?fù)p失函數(shù), 訓(xùn)練迭代50次。繪制玉米病害訓(xùn)練集的損失曲線和玉米病害驗(yàn)證集的準(zhǔn)確率曲線, 發(fā)現(xiàn)遷移的MobileNetV2曲線比其他模型的損失率低, 對(duì)玉米病害Corn數(shù)據(jù)集驗(yàn)證集識(shí)別的準(zhǔn)確率高并且穩(wěn)定, 改進(jìn)遷移的MobileNetV2模型具有更好的魯棒性和抗干擾性。

本文不足之處是標(biāo)簽為1的玉米灰斑病和標(biāo)簽為3的玉米葉斑病, 兩種玉米病害的有效特征存在局部區(qū)域中, 遷移的MobileNetV2模型的識(shí)別正確率偏低。下一步的研究工作是怎樣提高兩種玉米病害相似特征的細(xì)粒度分類, 通過(guò)玉米病害的有效識(shí)別在病害發(fā)生初期遏制病害的蔓延。

[1] 李道亮. 智慧農(nóng)業(yè): 中國(guó)的機(jī)遇和挑戰(zhàn)[J]. 高科技與產(chǎn)業(yè)化, 2015, 11(5): 42–45 LI D L. Smart agriculture: Opportunities and challenge for China[J]. High-Technology and Industrialization, 2015, 11(5): 42–45

[2] 李冠林, 馬占鴻, 王海光. 基于支持向量機(jī)的小麥條銹病和葉銹病圖像識(shí)別[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào), 2012, 17(2): 72–79 LI G L, MA Z H, WANG H G. Image recognition of wheat stripe rust and wheat leaf rust based on support vector machine[J]. Journal of China Agricultural University, 2012, 17(2): 72–79

[3] 李震, 洪添勝, 曾祥業(yè), 等. 基于K-means聚類的柑橘紅蜘蛛圖像目標(biāo)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2012, 28(23): 147–153 LI Z, HONG T S, ZENG X Y, et al. Citrus red mite image target identification based on K-means clustering[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(23): 147–153

[4] 許良鳳, 徐小兵, 胡敏, 等. 基于多分類器融合的玉米葉部病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(14): 194–201 XU L F, XU X B, HU M, et al. Corn leaf disease identification based on multiple classifiers fusion[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(14): 194–201

[5] Turko?lu M, Hanbay D. Plant disease and pest detection using deep learning-based features[J]. Turkish Journal of Electrical Engineering and Computer Sciences, 2019, 27(3): 1636-1651

[6] Lecun Y, Bottou L. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[7] KRIZHEVSKY A, SUTSKEVE R I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. La Jolla, CA: Neural Information Processing Systems Foundation, 2012: 1097–1105

[8] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2019-02-10]. https://arxiv.org/pdf/1409.1556.pdf.

[9] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015: 1–9

[10] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA: IEEE, 2016: 770–778

[11] MOHANTY S P, HUGHES D P, SALATHé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419

[12] WANG G, SUN Y, WANG J X. Automatic image-based plant disease severity estimation using deep learning[J]. Computational Intelligence and Neuroscience, 2017, 2017: 2917536

[13] Oppenheim D, Shani G, Erlich O, et al. Using deep learning for image-based potato tuber disease detection[J]. Phytopathology, 2019, 109 (6): 1083–1087

[14] SLADOJEVIC S, ARSENOVIC M, ANDERLA A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016, 2016: 3289801

[15] 李勇, 劉戰(zhàn)東, 張海軍. 不平衡數(shù)據(jù)的集成分類算法綜述[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(5): 1287–1291LI Y, LIU Z D, ZHANG H J. Review on ensemble algorithms for imbalanced data classification[J]. Application Research of Computers, 2014, 31(5): 1287–1291

[16] 劉悅婷, 孫偉剛, 張發(fā)菊. 一種新的近鄰密度SVM不平衡數(shù)據(jù)集分類算法[J]. 貴州大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019, 36(3): 75–80 LIU Y T, SUN W G, ZHANG F J. Imbalanced dataset classification algorithm based on NNDSVM[J]. Journal of Guizhou University: Natural Sciences, 2019, 36(3): 75–80

[17] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning (ICML). Lille: ACM, 2015: 448–456

[18] PAN S J, YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359

[19] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computerence, 2012, 3(4): 212–223

[20] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017: 2999–3007

Corn disease recognition based on the Convolutional Neural Network with a small sampling size*

YANG Mingxin, ZHANG Yaoguang, LIU Tao**

(School of Economics and Management, Hebei University of Science and Technology, Shijiazhuang 050018, China)

Crop disease management influences yield and quality, yet identifying corn diseases is still difficult. High labor costs, small number of sample, and uneven disease distributions contribute to the difficulty. We propose an improved Convolutional Neural Network (CNN) model based on the transfer learning method for disease identification. The sample image set was enhanced by rotation and roll-over, then the migrated MobileNetV2 model was used to train the image data set for corn diseases. The Focal Loss function was used to improve the neural network loss function, and the Softmax classification method was used for corn disease image recognition. The training set accuracy, validation set accuracy, weight, run time, and the number of parameter in six models were experimentally compared. The verification set accuracy rates were 93.88% (AlexNet), 95.48% (GoogleNet), 91.69% (Vgg16), 97.67% (RestNet34), 96.21% (MobileNetV2), and 97.23% (migrated MobileNetV2). The migrated MobileNetV2 was 97.23% accurate and weighed 8.69 MB. Confounding the MobileNetV2 model improved the recognition accuracy by 1.02% and reduced the training speed by 6 350 seconds compared to the unconfounded model. The migrated MobileNetV2 model had the best corn disease recognition ability with a small sampling size; improved convergence speed, reduced model calculations, and greatly improved the recognition time.

Corn diseases and insect pests; Transfer learning; Small sample; Convolutional Neural Network; Focal Loss; Confusion matrix

TP183

10.13930/j.cnki.cjea.200375

楊明欣, 張耀光, 劉濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害小樣本識(shí)別研究[J]. 中國(guó)生態(tài)農(nóng)業(yè)學(xué)報(bào)(中英文), 2020, 28(12): 1924-1931

YANG M X, ZHANG Y G, LIU T. Corn disease recognition based on the Convolutional Neural Network with a small sampling sizeJ]. Chinese Journal of Eco-Agriculture, 2020, 28(12): 1924-1931

* 河北省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(19226417D)和河北省高等學(xué)校科學(xué)技術(shù)重點(diǎn)項(xiàng)目(ZD2019083)資助

劉濤, 主要研究方向?yàn)樾畔①Y源管理和大數(shù)據(jù)分析建模。E-mail: liutaolunwen@163.com

楊明欣, 主要從事信息管理、信息安全方面的研究。E-mail: ymxspj@163.com

2020-05-20

2020-09-26

* This study was supported by the Key R&D Program of Hebei Province of China (19226417D) and the Key Science and Technology Project of Higher School of Hebei Province of China (ZD2019083).

, E-mail: liutaolunwen@163.com

May 20, 2020;

Sep. 26, 2020