王林柏，張博，姚竟發(fā)，楊志輝，張君，范曉飛

(1.河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，河北保定，071000；2.河北農(nóng)業(yè)大學(xué)植物保護(hù)學(xué)院,河北保定，071000)

0 引言

馬鈴薯是全球第四大重要的糧食作物，也是十大熱門營養(yǎng)健康食品之一，同時馬鈴薯是具有發(fā)展前景的高產(chǎn)作物，是僅次于水稻、玉米、小麥的重要糧食作物，由于它高產(chǎn)穩(wěn)產(chǎn)、適應(yīng)性廣、營養(yǎng)成分全和產(chǎn)業(yè)鏈長而受全世界的高度重視[1]。我國馬鈴薯主要有四個產(chǎn)區(qū)，分別是：北方一作區(qū)、中原二作區(qū)、南方冬作區(qū)和西南混作區(qū)。河北省北方地區(qū)屬于北方一作區(qū)，是重要的馬鈴薯種植基地，而馬鈴薯病害的防治是關(guān)乎其產(chǎn)量的至關(guān)重要因素，尤其早疫病與晚疫病是馬鈴薯種植過程中的兩種重要病害，也是主要的防治對象。近年來隨著馬鈴薯種植面積的不斷增加，早疫病與晚疫病的發(fā)病面積與危害程度也不斷增加，同時由于早疫病與晚疫病發(fā)病早期多集中在葉片，判斷錯誤容易延誤治療時機(jī)。因此對病斑的識別和準(zhǔn)確定位是對馬鈴薯病害防治的重要手段[2-3]。

傳統(tǒng)的農(nóng)作物病害診斷通常由有經(jīng)驗(yàn)的專家進(jìn)行，然而人工檢測方法效率低、主觀性強(qiáng)，不適合大區(qū)域場景。目前機(jī)器視覺技術(shù)在農(nóng)業(yè)應(yīng)用領(lǐng)域快速發(fā)展，能夠?qū)ψ魑锊『M(jìn)行快速、準(zhǔn)確的診斷[4-7]。范振軍等[8]提出了一種基于關(guān)鍵特征點(diǎn)的病害感興趣區(qū)域快速檢測與融合顏色和紋理特征的識別方法，對10類馬鈴薯病害實(shí)現(xiàn)了速度快、準(zhǔn)確率高的識別，但對復(fù)雜環(huán)境下識別不夠理想。Brahimi等[9]通過卷積神經(jīng)網(wǎng)絡(luò)對番茄的9種病害進(jìn)行了訓(xùn)練，最終模型的準(zhǔn)確率達(dá)到99.1%。張建華等[10]提出基于改進(jìn)VGG16卷積神經(jīng)網(wǎng)絡(luò)的病害識別模型，實(shí)現(xiàn)了自然條件下棉花病害圖像準(zhǔn)確分類，但模型的參數(shù)較大。張善文等[11]通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行蘋果病害的識別，在蘋果病害葉片圖像數(shù)據(jù)庫上實(shí)現(xiàn)了病害識別準(zhǔn)確率和模型識別時間的提升，但魯棒性不高。楊森等[12]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)與復(fù)合特征字典結(jié)合的馬鈴薯病害葉片識別方法，利用Faster R-CNN進(jìn)行病斑區(qū)域的檢測，然后通過提取圖像特征構(gòu)造出復(fù)合特征字典，利用支持向量機(jī)訓(xùn)練出病害的識別模型，其平均識別準(zhǔn)確率可達(dá)到84.16%，但是圖像背景較簡單。肖志云等[13]針對自然條件下馬鈴薯典型病害區(qū)域定位和識別難的問題，提出了一種馬鈴薯典型病害圖像的自適應(yīng)特征融合與快速識別方法，對3類馬鈴薯典型病害圖像進(jìn)行識別試驗(yàn)，結(jié)果表明SVM識別模型下自適應(yīng)特征融合方法比傳統(tǒng)自適應(yīng)方法平均識別率至少提高了1.8個百分點(diǎn)，識別方法平均識別率為95.2%，但相較于深度學(xué)習(xí)速度較慢。李就好等[14]運(yùn)用改進(jìn)的Faster-RCNN進(jìn)行苦瓜葉部病害的目標(biāo)檢測，該方法對復(fù)雜的自然環(huán)境下的苦瓜葉部病害檢測具有較好的魯棒性和較高的精度，但對小目標(biāo)的檢測效果較差。

目前在農(nóng)作物病害識別和病斑檢測中存在以下問題:在以往研究中對復(fù)雜背景的農(nóng)作物研究較少；傳統(tǒng)的識別方法對于植物葉片病害圖像識別率較差；植物葉片病害識別中對于小目標(biāo)效果較差。因此，本文將深度學(xué)習(xí)的方法應(yīng)用于自然環(huán)境下馬鈴薯葉片病害的識別和檢測中，通過多種卷積神經(jīng)網(wǎng)絡(luò)的模型對病害圖像進(jìn)行分類，獲取病害識別準(zhǔn)確率最高的模型；進(jìn)一步基于CenterNet，使用改進(jìn)的目標(biāo)檢測算法對馬鈴薯晚疫病進(jìn)行研究，建立了馬鈴薯晚疫病的目標(biāo)檢測模型，以實(shí)現(xiàn)田間復(fù)雜環(huán)境下晚疫病病斑的識別，為馬鈴薯病害的精準(zhǔn)防治提供準(zhǔn)確信息。

1 材料與方法

1.1 數(shù)據(jù)采集與處理

馬鈴薯葉片的采集是在中國北方具有代表性的種植地點(diǎn)(河北省承德市圍場、豐寧)河北農(nóng)業(yè)大學(xué)馬鈴薯實(shí)驗(yàn)基地，采用Nikon D7100相機(jī)對馬鈴薯葉片進(jìn)行拍攝，拍攝方式為近拍模式、自動調(diào)節(jié)焦距、光圈、白平衡，相機(jī)距離馬鈴薯植株50 cm左右，采用垂直方式采集圖像，采集的圖像分辨率為6 000像素×4 000像素。本項(xiàng)研究中共獲取原始圖像1 949張，健康葉片圖像為529張，晚疫病圖像為632張，早疫病圖像為788張(圖1)。

為了提升模型訓(xùn)練精度，本文進(jìn)行了數(shù)據(jù)增強(qiáng)。首先將獲取的原始圖像對每一張進(jìn)行不同大小、不同位置的隨機(jī)截取，用于擴(kuò)充原始數(shù)據(jù)。再將所有圖像通過數(shù)據(jù)增強(qiáng)的方式增加數(shù)量，提升模型的性能。本文使用亮度調(diào)整、旋轉(zhuǎn)、加入高斯噪聲等操作來增加圖像數(shù)量(圖2)。

在馬鈴薯葉片圖像識別數(shù)據(jù)集中，從每組圖像中隨機(jī)選取50張用于驗(yàn)證，其余圖像通過數(shù)據(jù)增強(qiáng)的方式，將每組圖像的樣本量擴(kuò)充為4 000張，總樣本量為12 000張，并按4∶1的比例進(jìn)行劃分，其中9 600張圖像用于訓(xùn)練，2 400張圖像用于測試。

在晚疫病斑檢測數(shù)據(jù)集中，晚疫病的圖像共632張，隨機(jī)選取500張用于模型的訓(xùn)練，其余132張用于模型驗(yàn)證。數(shù)據(jù)增強(qiáng)后，訓(xùn)練集樣本量為2 500張。

(a)健康馬鈴薯葉片圖像

(a)原始圖像

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯葉片病害識別

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型或類似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，其具有強(qiáng)大的學(xué)習(xí)能力，因此廣泛應(yīng)用于圖像檢測中。本文將健康和患有早疫病或晚疫病的馬鈴薯葉片圖像通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，本文采用的卷積神經(jīng)網(wǎng)絡(luò)模型有AlexNet、VGG16、InceptionV3、ResNet50、MobileNet模型。

AlexNet模型提出了ReLU函數(shù)，使用ReLU的模型收斂速度比Sigmoid快很多，這成了AlexNet模型的優(yōu)勢之一。模型共有8層結(jié)構(gòu)，其中前5層為卷積層，其中前兩個卷積層和第五個卷積層有池化層，后面3層為全連接層。同時各個層發(fā)揮了不同的作用，重疊池化層是為了提高精度，且不容易產(chǎn)生過擬合，局部歸一化響應(yīng)是為了提高精度，而數(shù)據(jù)增益與dropout是為了減少過擬合。

VGG16模型的實(shí)質(zhì)是AlexNet結(jié)構(gòu)的增強(qiáng)版，它側(cè)重強(qiáng)調(diào)卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的深度。其中每個卷積層之后都有一個池化層。VGG網(wǎng)絡(luò)用了更小的卷積核，使得參數(shù)量變小，節(jié)省了計(jì)算資源，由于層數(shù)較多，卷積核比較小，這樣使得整個網(wǎng)絡(luò)有比較好的特征提取效果。

InceptionV3網(wǎng)絡(luò)是由Google開發(fā)的深度卷積網(wǎng)絡(luò)，模型中的Inception結(jié)構(gòu)其主要思想是找出如何用密集成分來近似最優(yōu)的局部稀疏結(jié)構(gòu)。Inception結(jié)構(gòu)采用了3×3、5×5大小的卷積核，加入了1×1大小的卷積核，同時提出了的BN(BatchNormalization)方法，并使用了分支結(jié)構(gòu)，引入了將一個較大的二維卷積拆成兩個較小的一維卷積的方法，這種非對稱的卷積結(jié)構(gòu)拆分在處理更多、更豐富的空間特征以及增加特征多樣性等方面的效果比對稱的卷積結(jié)構(gòu)拆分更好，同時能減少計(jì)算量。

ResNet50模型解決了由于網(wǎng)絡(luò)深度與寬度的增加，使實(shí)際效果變差的問題。深層的神經(jīng)網(wǎng)絡(luò)模型犧牲了大量的計(jì)算資源，同時錯誤率也有所上升，這個現(xiàn)象的產(chǎn)生主要是因?yàn)殡S著神經(jīng)網(wǎng)絡(luò)的層數(shù)增加，梯度消失的現(xiàn)象愈加明顯。而ResNet50模型增加了殘差結(jié)構(gòu)，即增加了一個恒等映射，將原本的變換函數(shù)H(x)轉(zhuǎn)換成了F(x)+x，使網(wǎng)絡(luò)不再是簡單的堆疊結(jié)構(gòu)，解決了梯度消失的問題，這樣的簡單疊加并沒有給網(wǎng)絡(luò)增加額外的參數(shù)及計(jì)算量，同時也提高了網(wǎng)絡(luò)訓(xùn)練的效果與效率。

MobileNet模型在保持模型性能的前提下降低模型復(fù)雜度，同時提升模型速度。模型的基本單元是深度級可分離卷積，其本質(zhì)是可分解卷積操作。與卷積核作用在所有的輸入通道上的標(biāo)準(zhǔn)卷積不同，深度分離卷積針對每個輸入通道采用不同的卷積核，同時加入了BN，并使用ReLU激活函數(shù)，大幅降低了運(yùn)算量和模型參數(shù)量。

1.3 基于CenterNet模型的馬鈴薯晚疫病斑檢測

1.3.1 CenterNet目標(biāo)檢測模型

由于晚疫病在馬鈴薯病害中病斑比較明顯，因此適合通過目標(biāo)檢測的方法將病斑在圖像中找出。目前目標(biāo)檢測模型[16-17]分為兩類，第一類(Two-Stag)將目標(biāo)識別和目標(biāo)定位分為兩步完成其中比較典型的有R-CNN、Fast-RCNN、Faster-RCNN等。第二類(One-Stage)則直接在輸出層返回目標(biāo)的位置和所屬類別，因此此類模型可以較快的識別目標(biāo)，包含YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)、CenterNet等。其中CenterNet是基于中心點(diǎn)的檢測網(wǎng)絡(luò)，運(yùn)算簡單快速，且準(zhǔn)確率不亞于基于錨框的檢測器。在COCO數(shù)據(jù)集中CenterNet模型的AP值高于YOLOv2模型20%，高于Faster-RCNN模型6.9%[18]。因此本文選擇CenterNet模型來進(jìn)行病斑的檢測。

與傳統(tǒng)的目標(biāo)檢測模型不同，CenterNet模型將檢測目標(biāo)看成一個中心點(diǎn)來代替錨框，作為目標(biāo)框的中心點(diǎn)，解決了錨框中正負(fù)樣本不均衡與計(jì)算量過大的問題。該算法首先通過特征提取網(wǎng)絡(luò)獲得特征圖，繼而在特征圖像上找到局部特征峰值作為中心點(diǎn)，通過中心點(diǎn)回歸得到目標(biāo)大小等圖像特征。在訓(xùn)練過程中每一個目標(biāo)產(chǎn)生一個中心點(diǎn)，無需進(jìn)行NMS非極大值抑制，減少了計(jì)算量和訓(xùn)練時間，同時使用分辨率較大特征圖，提升了小目標(biāo)的檢測能力。

1.3.2 改進(jìn)型CenterNet-SPP網(wǎng)絡(luò)結(jié)構(gòu)

馬鈴薯病斑檢測深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

(a)CenterNet網(wǎng)絡(luò)結(jié)構(gòu)圖

本文所采用的CenterNet-SPP網(wǎng)絡(luò)結(jié)構(gòu)(圖3(a))，是基于ResNet50為主干的特征提取網(wǎng)絡(luò)，加入了SPP(Spatial Pyramid Pooling)空間金字塔池化模塊(圖3(b))。SPP用來增加感受野的范圍提高主干特征的接收范圍，同時顯著的分離了重要的特征，提高特征提取的能力。

(1)

式中：N——圖像中的關(guān)鍵點(diǎn)個數(shù)。

(2)

(3)

式中：Sk——目標(biāo)真實(shí)尺寸；

整體的損失函數(shù)為中心點(diǎn)預(yù)測損失函數(shù)、中心點(diǎn)偏移量損失函數(shù)與目標(biāo)框大小損失函數(shù)的和，每個損失都有相應(yīng)的權(quán)重。

Ldet=Lk+λsizeLsize+λoffLoff

(4)

其中λsize=0.1，λoff=1。

2 結(jié)果與分析

本文試驗(yàn)條件為：Windows10、64 位操作系統(tǒng)，Cuda版本為10.0，采用基于Python編程語言的Tensorflow與Keras深度學(xué)習(xí)框架。采用的電腦配置為：GeForce GTX 1660顯卡，6 G顯存；Intel (R)Core (TM)i5-9400F處理器，主頻2.90 GHz。試驗(yàn)分為兩部分，分別是將三種情況的馬鈴薯葉片進(jìn)行識別和對晚疫病斑進(jìn)行檢測，通過對比不同的神經(jīng)網(wǎng)絡(luò)模型，找到最合適的模型運(yùn)用到馬鈴薯葉片病害的研究當(dāng)中。

2.1 馬鈴薯葉片圖像識別

本文使用相同的數(shù)據(jù)集，將不同情況的馬鈴薯葉片在5種不同的卷積神經(jīng)網(wǎng)絡(luò)模型下(VGG16、ResNet50、InceptionV3、MobileNet、AlexNet)進(jìn)行訓(xùn)練，每種模型都使用遷移學(xué)習(xí)[20]的方法，用預(yù)訓(xùn)練好的ImageNet分類模型的參數(shù)初始化，模型進(jìn)行120次迭代，采用交叉熵?fù)p失函數(shù)，同時使用Adam優(yōu)化器[21]，初始學(xué)習(xí)率0.000 1，動量因子為0.1，當(dāng)5個epoch過后，若模型性能沒有提升，則降低學(xué)習(xí)率。五種模型最終的損失值趨于穩(wěn)定狀態(tài)，同時測試集的準(zhǔn)確率最終穩(wěn)定在比較高的數(shù)值。表1表示五種模型的測試集的準(zhǔn)確率，圖4表示訓(xùn)練集loss、測試集loss、測試集的準(zhǔn)確率。

表1 模型的準(zhǔn)確率Tab.1 Accuracy rate of model

在三類馬鈴薯葉片圖像中，每類隨機(jī)選取50張圖像分別對每種模型進(jìn)行驗(yàn)證，所得混淆矩陣如圖5所示，其中InceptionV3模型的平均準(zhǔn)確率最高達(dá)到98%(表2)，識別一張圖像平均耗時0.12 s。結(jié)果表明，5種模型均可對馬鈴薯健康葉片及患有早疫病和晚疫病的葉片圖像進(jìn)行準(zhǔn)確的識別。

(a)訓(xùn)練集loss曲線

表2 模型的平均準(zhǔn)確率Tab.2 Average accuracy rate of model

(a)VGG16

2.2 晚疫病斑檢測

在試驗(yàn)中，將用LabelImg(圖像標(biāo)注工具)按照PASCAL VOC2007的格式手工標(biāo)注晚疫病圖片中的黑斑目標(biāo)，其中包含目標(biāo)病斑的名稱和外包邊框，使用CenterNet-SPP結(jié)構(gòu)，并使用VOC數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行初始化參數(shù)設(shè)置，將數(shù)據(jù)集在模型中一共訓(xùn)練400個epoch，其損失精度在前100次迅速下降，由于100次后進(jìn)行了模型的解凍(前100個epoch對主干特征網(wǎng)絡(luò)之后的模型進(jìn)行訓(xùn)練微調(diào)，后300次將所有網(wǎng)絡(luò)進(jìn)行訓(xùn)練)，使模型的損失值迅速下降，然后漸漸趨于穩(wěn)定，說明模型訓(xùn)練效果良好，其訓(xùn)練損失曲線如圖6(a)所示。

為了選出整體性能足夠高的模型，首先保留置信度大于0.5的病斑目標(biāo)，同時找到mAP值最高的權(quán)值文件，然后模型進(jìn)行了400次迭代，每10次迭代輸出一個模型，所以一共得到40個模型，需要在這40個模型中找出一個mAP值最高的模型(圖6(b))。當(dāng)?shù)阶詈髆AP值趨于穩(wěn)定狀態(tài)，其中數(shù)值最大為90.03%，即為本文選用的模型。為了評估所獲晚疫病檢測模型的準(zhǔn)確性和穩(wěn)定性，本文使用準(zhǔn)確率P(precision)，召回率R(recall)兩項(xiàng)指標(biāo)進(jìn)行模型的評價，同時引入F1值[23]作為調(diào)和的平均評價。

(5)

(6)

(7)

式中：nTP——正確識別晚疫病目標(biāo)的數(shù)目；

nFP——錯誤識別晚疫病目標(biāo)的數(shù)目；

nFN——未識別晚疫病目標(biāo)的數(shù)目。

通過CenterNet-SPP模型效果與其他One-Stage目標(biāo)檢測模型效果進(jìn)行對比，本文使用相同的樣本數(shù)據(jù)集分別對模型進(jìn)行訓(xùn)練，所有模型都使用VOC數(shù)據(jù)集的預(yù)訓(xùn)練模型進(jìn)行初始化參數(shù)設(shè)置。選出每一個穩(wěn)定的模型之后，其P-R曲線如圖6(c)所示，由于mAP值較大，所以P-R曲線覆蓋了坐標(biāo)系的大部分區(qū)域，P-R曲線圖直觀顯示出模型在總體樣本上的查全率和查準(zhǔn)率，當(dāng)一個模型的P-R曲線完全被另一個模型的曲線包含時，就說明后者的性能優(yōu)于前者。從圖中可以看出Centenet-SPP模型的性能優(yōu)于其他模型。

將不同的模型在驗(yàn)證集中進(jìn)行測試將結(jié)果進(jìn)行對比(表3)，CenteNet-SPP模型的準(zhǔn)確率、召回率、F1值均高于其他類型的One-Stage模型，且F1值高出沒有添加SPP結(jié)構(gòu)的CenterNet模型0.7%，說明CenteNet-SPP模型在自然環(huán)境下的馬鈴薯晚疫病斑檢測效果優(yōu)于其他模型。檢測驗(yàn)證集的132張圖像共耗時13.33 s，平均一張圖像需0.10 s，模型檢測效果展示如圖7所示。

(a)Loss值隨著迭代次數(shù)的變化曲線

表3 不同模型的試驗(yàn)結(jié)果Tab.3 Test results of different models

(a)CenterNet-SPP檢測效果

3 結(jié)論

本文在中國北方具有代表性的馬鈴薯種植地區(qū)，對不同時期和地域的馬鈴薯葉片進(jìn)行了圖像采集，通過深度學(xué)習(xí)的方法并對比不同模型對自然環(huán)境中的馬鈴薯葉片病害進(jìn)行了識別以及晚疫病的檢測，取得了較高的準(zhǔn)確率。

1)在馬鈴薯葉片病害識別試驗(yàn)中，通過典型的5種神經(jīng)網(wǎng)絡(luò)模型對馬鈴薯的葉片在健康、早疫病、晚疫病三種情況下進(jìn)行了識別，其中更深層的神經(jīng)網(wǎng)絡(luò)表現(xiàn)出更好的效果，在訓(xùn)練過程中由于使用了遷移學(xué)習(xí)的方式，使模型不需要從零開始訓(xùn)練，加速了模型訓(xùn)練的過程。InceptionV3和ResNet50的殘差結(jié)構(gòu)使模型網(wǎng)絡(luò)在變深的同時能夠保留重要的信息特征，因此在馬鈴薯病害識別中表現(xiàn)出較高的準(zhǔn)確度，其中InceptionV3模型性能最優(yōu)，準(zhǔn)確率達(dá)到98.00%，可以對馬鈴薯葉片病害進(jìn)行準(zhǔn)確分類。

2)在馬鈴薯葉片晚疫病的檢測試驗(yàn)中，由于CenterNet-SPP算法通過中心點(diǎn)來代替錨框，無需進(jìn)行NMS非極大值抑制，從而減少訓(xùn)練時間，同時使用了比較大的特征圖，因此在病斑目標(biāo)較小的情況下也表現(xiàn)出較好的效果，由于加入了SPP空間金字塔池化模塊，增加了特征提取的范圍且分離了顯著的特征，因此比原始的CenterNet模型F1值要高。通過CenterNet-SPP模型與其它典型的One-Stage結(jié)構(gòu)的目標(biāo)檢測模型進(jìn)行對比，表明CenterNet-SPP模型在馬鈴薯晚疫病檢測中F1值最高為92.58%，平均檢測時間為0.10 s，在葉片病害識別定位中，并不需要頻繁刷新，所以能夠滿足實(shí)時要求，并能達(dá)到較好效果。