毛 銳，張宇晨，王澤璽，高圣昌，祝 濤，王美麗，胡小平

利用改進Faster-RCNN識別小麥條銹病和黃矮病

毛 銳1，張宇晨1，王澤璽1，高圣昌1，祝 濤1，王美麗1，胡小平2,3※

（1. 西北農(nóng)林科技大學(xué)信息工程學(xué)院，楊凌 712100；2. 西北農(nóng)林科技大學(xué)植物保護學(xué)院，楊凌 712100；3. 農(nóng)業(yè)農(nóng)村部黃土高原作物有害生物綜合治理重點實驗室，楊凌 712100）

條銹病和黃矮病是嚴(yán)重威脅小麥生產(chǎn)的重大病害，病害的早期識別對病害防控具有重要意義?，F(xiàn)有病害識別模型對相似表型癥狀識別困難，對早期病害的識別準(zhǔn)確度低。為此，該研究構(gòu)建了一種改進的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Regions with CNN Features，F(xiàn)aster-RCNN）的病害識別方法。該方法采用卷積核拆解和下采樣延遲策略優(yōu)化了深度殘差網(wǎng)絡(luò)（Deep Residual Neural Network，ResNet-50），用優(yōu)化后的ResNet-50作為主干特征提取網(wǎng)絡(luò)以增強所提取特征的表達力，同時簡化模型的參數(shù)；并采用ROI （Region of Interest）Align改進ROI遲化層以降低特征量化誤差，提升識別的精度。在自建的涵蓋200余種不同發(fā)病時期、不同抗感性的小麥葉部圖像數(shù)據(jù)集上進行試驗，結(jié)果表明：改進的Faster-RCNN識別方法比其他SSD （Single Shot Multi-Box Detector）、YOLO（You Only Look Once）和Faster-RCNN網(wǎng)絡(luò)模型的平均精度均值（mean Average Precision，mAP）分別提升了9.26個百分點、7.64個百分點和14.97個百分點。對小麥條銹病、黃矮病、健康小麥和其他黃化癥狀小麥識別的平均精度均值可達98.74%；對小麥條銹病和黃矮病輕、重癥識別的平均精度均值可達91.06%。同時，模型損失函數(shù)值降低更快，整體性能表現(xiàn)更優(yōu)。進一步開發(fā)小麥病害智能識別系統(tǒng)部署研究模型，使用微信小程序進行田間小麥病害的識別。在最大并發(fā)100的條件下，小程序平均返回時延為5.02 s，識別返回成功率為97.85%，對兩種小麥病害及其細(xì)分輕重癥識別的平均準(zhǔn)確率為93.56%，能夠有效滿足實際應(yīng)用需求，可用于指導(dǎo)病害的科學(xué)防控。

模型；病害識別；Faster-RCNN；ResNet；分組卷積；數(shù)據(jù)增強

0 引 言

小麥?zhǔn)侵袊饕Z食之一，保障小麥安全生產(chǎn)是國家安全，社會穩(wěn)定和經(jīng)濟發(fā)展的重要基礎(chǔ)[1]。病蟲害對小麥生產(chǎn)造成嚴(yán)重威脅，中國每年因病蟲害造成的糧食損失約4000萬噸[2]。小麥條銹病和黃矮病是中國冬麥區(qū)的常發(fā)流行性病害，造成小麥產(chǎn)量嚴(yán)重?fù)p失，大流行年份減產(chǎn)率高達50%以上[3]。小麥條銹病和黃矮病的主要癥狀表現(xiàn)為葉片黃化。然而，小麥細(xì)菌性條斑病、干旱、營養(yǎng)元素虧缺等生物和非生物脅迫也容易導(dǎo)致小麥葉片褪綠黃化，其表型癥狀與小麥條銹病、黃矮病的表型癥狀相似。另外，小麥條銹病和黃矮病在發(fā)病早期黃化癥狀不明顯，感病葉片整體與健康葉片相似。這些相似的表型特征增加了人工識別病害的難度，亟須智能化的檢測方法準(zhǔn)確高效地識別病害，降低人為誤判，為小麥病害的精準(zhǔn)防控提供支持。

目前，基于機器學(xué)習(xí)的植物病蟲害識別研究受到了廣泛的關(guān)注，一定程度上取代了傳統(tǒng)的田間人工踏查的病害識別方法[4-6]。傳統(tǒng)的機器學(xué)習(xí)算法，包括人工神經(jīng)網(wǎng)絡(luò)[7]、支持向量機[8]、隨機森林[9]等，主要通過手動篩選合適的圖像特征進行病害識別。Wang等[7]通過提取圖像顏色、形狀和紋理特征，在主成分分析特征降維后，分別使用反向傳播網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義神經(jīng)網(wǎng)絡(luò)和概率神經(jīng)網(wǎng)絡(luò)識別小麥條銹病、小麥葉銹病、葡萄霉霜病和葡萄白粉病，平均預(yù)測準(zhǔn)確率為97.15%。潘春華等[8]基于支持向量機與區(qū)域生長結(jié)合算法，對煙粉虱等4種蔬菜害蟲識別的平均準(zhǔn)確率達到95.8%。夏永泉等[9]采用高斯混合模型結(jié)合期望最大化算法對小麥葉片特征進行提取，結(jié)合HSV（Hue, Saturation, Value）顏色直方圖和Tamura紋理特征，采用隨機森林方法識別小麥葉枯病等3種病害，整體識別準(zhǔn)確率可達95%。這些通過人工設(shè)計篩選特征的方法雖然在小樣本病害數(shù)據(jù)集上取得了較好的識別效果，但面對不同脅迫導(dǎo)致的病理表征相似度高，以及不同發(fā)病階段同一病害表征差異顯著等復(fù)雜識別挑戰(zhàn)時，很難有效地篩選合適特征進行病害的準(zhǔn)確識別。

深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks，DCNN）能夠不受尺度限制地從輸入圖像中自動提取相關(guān)特征，在圖像分類識別領(lǐng)域的應(yīng)用成為近年來新的熱點[10-12]。其中，單次多框檢測器（Single Shot Multi-Box Detector，SSD）系列、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN feature，RCNN）系列、YOLO（You Only Look Once）系列網(wǎng)絡(luò)模型在植物病害分類識別方面得到廣泛應(yīng)用[13-16]。Sun等[13]使用改進的SSD網(wǎng)絡(luò)模型對5種常見的蘋果病害進行移動端識別，平均精度均值（mean Average Precision，mAP）為83.12%，且識別速度可達12.53幀/s。李天華等[14]使用基于YOLO v4的網(wǎng)絡(luò)模型進行成熟期番茄的識別，在自建數(shù)據(jù)集上識別準(zhǔn)確率可達94.77%。王東方等[15]使用SE-ResNeXt-101（Squeeze-and-Excitation-ResNeXt-101）進行農(nóng)作物病害檢測分類，在AI Challenger 2018簡單背景農(nóng)作物病害圖像數(shù)據(jù)集中平均識別準(zhǔn)確率達到98%，但在真實農(nóng)作物病害數(shù)據(jù)集上平均準(zhǔn)確率僅為47.37%。陳柯屹等[16]通過融合動態(tài)區(qū)域卷積改進快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster-RCNN）模型，對田間棉花頂芽識別mAP可達98.1%。在小麥病害圖像識別方面，鮑文霞等[17]利用深度語義分割網(wǎng)絡(luò)U-Net對大田小麥圖像進行分割后，采用多路卷積神經(jīng)網(wǎng)絡(luò)對單株麥穗的小麥赤霉病識別精度達到100%，但模型對小麥赤霉病細(xì)分等級（輕度、中度和重度）識別是否同樣有效且準(zhǔn)確并未探索。Picon 等[18]基于改進的深度殘差網(wǎng)絡(luò)（Deep Residual Neural Network，ResNet）對殼針孢斑枯病、黃斑葉枯病和銹病等3種歐洲小麥常見病害進行識別，模型測試的mAP達到87%。以上研究的開展，說明深度學(xué)習(xí)方法能夠通過不斷優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)增強對復(fù)雜非線性高層特征的自主學(xué)習(xí)能力。相比于傳統(tǒng)機器學(xué)習(xí)方法，深度學(xué)習(xí)方法在特征自主學(xué)習(xí)和數(shù)據(jù)適應(yīng)性方面有顯著優(yōu)勢。但是這些方法大多采用中晚期病害的典型表型癥狀進行識別，缺乏對早期病害，以及呈現(xiàn)相似表型癥狀的不同病害的識別。同時，基于回歸的目標(biāo)檢測方法SSD，YOLO雖具有較快的識別速度，但對小麥病害識別的準(zhǔn)確度不高。而基于區(qū)域推薦的目標(biāo)檢測方法Faster-RCNN雖然在識別準(zhǔn)確性上更具優(yōu)勢，但是存在計算復(fù)雜度高和識別速度慢等問題，特別是它的主干特征提取網(wǎng)絡(luò)視覺幾何群網(wǎng)絡(luò)（Visual Geometry Group Network，VGG-16）模型結(jié)構(gòu)復(fù)雜，參數(shù)眾多，限制了模型的實際應(yīng)用。

針對這些問題，本研究根據(jù)小麥條銹病和黃矮病智能識別的應(yīng)用需求，從提升主干特征提取網(wǎng)絡(luò)的細(xì)節(jié)特征表征能力，簡化模型參數(shù)，降低特征量化誤差等角度，改進了Faster-RCNN模型。進一步開發(fā)了小麥病害智能識別系統(tǒng)，實現(xiàn)了模型的部署和應(yīng)用，并通過微信小程序驗證病害識別方法對田間小麥條銹病和黃矮病，病害早期癥狀和其他原因?qū)е碌南嗨瓢Y狀的準(zhǔn)確識別，以期為小麥病害科學(xué)防控提供了技術(shù)支持。

1 試驗數(shù)據(jù)與處理

小麥葉部圖像采自陜西省武功縣試驗基地。該基地種植有西農(nóng)979、小偃6號等200余小麥品種，所栽培品種對小麥黃矮病、條銹病表現(xiàn)從高抗到高感的各病害類型。采集時間從3月上旬至5月上旬，即病害癥狀始顯期至發(fā)病后期。小麥黃矮病主要表現(xiàn)為旗葉倒V形黃化，小麥條銹病主要表現(xiàn)為銹黃色虛線狀病斑。采用尼康D5300相機和智能手機在自然光照下拍攝小麥葉片，分辨率為6 000×4 000像素，自然光照下拍攝小麥發(fā)病葉片，以jpg格式保存，尺寸壓縮比為10∶1。數(shù)據(jù)集中共包含條銹病，黃矮病，其他黃化癥和健康的小麥葉部圖像樣本4 193幅。兩種病害在發(fā)病初期，即當(dāng)黃化面積小于葉片總面積10%時，病害癥狀相似不易分辨。當(dāng)黃化面積大于10%時，小麥條銹病開始出現(xiàn)明顯的橘黃色粉狀物，而小麥黃矮病從葉尖開始呈現(xiàn)倒“V”型黃化病斑，二者癥狀較易區(qū)分。因此，本研究以病部面積占比葉片總面積的10%為標(biāo)準(zhǔn)，將小麥黃矮病和條銹病分別細(xì)分為輕癥和重癥兩個等級。為了能準(zhǔn)確地識別早期病害，數(shù)據(jù)集中包含了683幅小麥黃矮病輕癥和630幅小麥條銹病輕癥樣本。在植保專家的指導(dǎo)下完成了數(shù)據(jù)集的分類和樣本標(biāo)注。數(shù)據(jù)集圖例如圖1所示。

圖1 數(shù)據(jù)集圖例

數(shù)據(jù)集使用可視圖像標(biāo)記工具labelImg軟件手動標(biāo)記圖像中的小麥葉片目標(biāo)，并在標(biāo)記完成后生成xml 類型的標(biāo)注文件。標(biāo)記規(guī)則統(tǒng)一，不會標(biāo)記接近邊緣的葉片，以及圖像中葉片暴露區(qū)域小于30%的目標(biāo)。本研究采用在線增強的方式，在訓(xùn)練過程中通過加深迭代次數(shù)，并在每次迭代中輸入不同增強方法來處理圖像，間接增加了訓(xùn)練數(shù)據(jù)量。試驗使用的數(shù)據(jù)增強方式包括：隨機縮放、隨機旋轉(zhuǎn)、鏡像、高斯模糊4種。訓(xùn)練數(shù)據(jù)通過這4種方式，在每次循環(huán)中1∶4得出增強圖像。數(shù)據(jù)集按8∶1∶1劃分訓(xùn)練集、驗證集和測試集。數(shù)據(jù)集中每類樣本的信息如表1所示。

表1 小麥葉部病害數(shù)據(jù)集

2 改進的Faster-RCNN識別模型

2.1 基礎(chǔ)網(wǎng)絡(luò)模型

Faster-RCNN算法[19]是RCNN算法系列具有代表性的目標(biāo)檢測算法，它的檢測任務(wù)分為兩個階段。第一階段，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)生成特征圖。RPN（Region Proposal Network）根據(jù)特征圖與錨點機制（Anchors mechanism）生成不同比例的3組9個候選區(qū)域，系統(tǒng)根據(jù)交并比（Intersection-over-Union，IoU）標(biāo)定候選區(qū)域類別，得到區(qū)域建議和區(qū)域得分。第二階段，感興趣區(qū)域池化（Region of interest pooling，ROI pooling）模塊將區(qū)域建議映射到特征圖，并提取固定尺寸的區(qū)域建議特征，最后輸入全連接層，利用Softmax Loss和Smooth L1 Loss進行分類概率預(yù)測和邊界框回歸。

Faster-RCNN使用VGG-16進行特征提取，通過增加網(wǎng)絡(luò)深度提升模型性能，但也會造成模型參數(shù)增多，計算復(fù)雜度增加的問題。同時圖像經(jīng)過多次卷積和池化操作之后，小物體的特征會變得模糊且不易提取，性能不升反降，產(chǎn)生退化現(xiàn)象。

He等[20]提出的ResNet通過“shortcut connections” 方式構(gòu)造殘差模塊，以解決網(wǎng)絡(luò)退化的問題。公式（1）定義一個殘差模塊學(xué)習(xí)的特征為()：

2.2 Faster-RCNN的改進策略

鑒于小麥葉片細(xì)窄且病斑小的特點，如何更準(zhǔn)確地刻畫目標(biāo)邊界框和識別葉片病斑特征，進而準(zhǔn)確識別病害類別和嚴(yán)重程度是本文的研究重點。本文改進的Faster-RCNN模型結(jié)構(gòu)如圖2所示，主要改進包括：

1）使用改進的ResNet作為主干特征提取網(wǎng)絡(luò)。ResNet網(wǎng)絡(luò)比基礎(chǔ)Faster-RCNN使用的VGG-16網(wǎng)絡(luò)特征提取能力更強，同時采用卷積核拆解和下采樣延遲進一步改進ResNet，增強識別速度，最小化模型參數(shù)，進而對小麥葉片細(xì)小病斑表現(xiàn)出更優(yōu)的特征敏感性；

2）使用ROI Align優(yōu)化Faster-RCNN的ROI池化層（ROI Pooling）。相比基礎(chǔ)的ROI模塊，ROI Align的特征量化可以更準(zhǔn)確地刻畫目標(biāo)邊界框。

通過對ResNet-18、ResNet-50和ResNet-101這3種不同深度的網(wǎng)絡(luò)在數(shù)據(jù)集上進行試驗對比，圖2a主干特征提取網(wǎng)絡(luò)（Backbone）選用了性能最優(yōu)的ResNet-50的前4層卷積層。圖片輸入后先經(jīng)過Backbone中Grouping Convolution（2.2.1卷積核拆解）卷積，之后進入3層Conv2卷積，4層Conv3卷積，最后經(jīng)過6層Conv4卷積后輸出特征圖。特征圖作為RPN與ROI Align的共享部分，RPN網(wǎng)絡(luò)將候選區(qū)域輸入ROI Align中，ROI Align依據(jù)特征圖對候選區(qū)域進行篩選，篩選結(jié)果經(jīng)過3層Conv5卷積后再通過兩個全連接層，最后預(yù)測分類概率和邊界框回歸。具體改進策略如下：

2.2.1 卷積核拆解

卷積核拆解可以降低模型的參數(shù)量，提高模型的運算速度，同時比大尺寸卷積有更多的非線性，具有更高的判別性。如圖2所示，ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)Conv1層7×7的大卷積核被拆解為3組3×3的小卷積核進行分組卷積（Group Convolution）。對拆解前后的網(wǎng)絡(luò)計算參數(shù)量表明，改進后Conv1層的總參數(shù)量為5 024，相比基礎(chǔ)的ResNet模型的9 472，參數(shù)量減少了47%（表2）。

表2 卷積核拆解參數(shù)量

注：3×3_表示Conv1層第個3×3卷積；表示下采樣步長。

Note: 3×3_represents theth3×3 convolution of Conv1 layer;indicates the down sampling step.

2.2.2下采樣推遲

如圖2所示，ResNet-50網(wǎng)絡(luò)中左路徑會先采用1×1的卷積進行通道收縮，并做步長為2的下采樣，之后再3×3卷積。這種情況下，第一步1×1的卷積下采樣會造成約75%的信息損失，對細(xì)窄的小麥葉片的特征提取效果影響較大。為了提高ResNet-50的特征提取能力，對下采樣推遲至左路徑的3×3卷積時進行。改進后卷積核尺寸大于步長，在卷積核移動過程中會覆蓋所有圖像信息從而避免了圖像信息大量損失。同時，由于左路徑的第二個卷積核尺寸為3×3，所以保持輸出尺寸不變。如式（2）所示，最終輸出尺寸為輸入尺寸的1/2，與基礎(chǔ)模型的輸出尺寸保持一致。

式中IN表示輸入尺寸，OUT表示輸出尺寸，表示卷積核尺寸為3，表示邊緣填補大小為1，表示下采樣步長為2。

注：Conv表示ResNet中第組卷積，本組中有次卷積；瓶頸層1與瓶頸層2都是ResNet-50中的基本殘差塊（Bottleneck）；瓶頸層1是卷積塊（Convolution block），其輸入輸出的通道數(shù)不同，用于改變網(wǎng)絡(luò)的維度；瓶頸層2是標(biāo)識塊（Identity block），其輸入輸出的通道數(shù)相同，用于增加網(wǎng)絡(luò)的深度；圖中卷積層用兩種顏色表示，其中深藍(lán)色是本研究改進的卷積塊。

Note: Convrepresents thethlayer in ResNet, and there areconvolutions in this layer. Both the bottleneck layer 1 and the bottleneck layer 2 are the basis residual blocks in ResNet-50. The bottleneck layer 1 is a convolution block with different number of input and output channels to change the dimension of the network. The bottleneck layer 2 is an identity block, which has the same number of input and output channels to increase the depth of the network. In the figure, the convolution layer is represented by two colors, among which the dark blue color is the convolution block improved in this study.

圖2 改進的Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)和策略

Fig.2 Architecture and strategies for improved Faster-RCNN

2.2.3 ROI Align改進ROI Pooling

在基礎(chǔ)Faster-RCNN網(wǎng)絡(luò)中ROI Pooling存在兩次量化過程。第一次將候選框邊界量化為整數(shù)點坐標(biāo)值。第二次通過坐標(biāo)值在特征圖中池化，得到最終固定大小的特征圖。兩次量化后的候選框與初始位置產(chǎn)生一定偏差，影響了分割準(zhǔn)確度[21]。針對兩次量化帶來的偏差問題，本文借鑒Mask R-CNN[22]的網(wǎng)絡(luò)設(shè)計思想，使用ROI Align改進基礎(chǔ)網(wǎng)絡(luò)中的ROI Pooling。

ROI Align采用雙線性插值法[22]獲得浮點數(shù)坐標(biāo)像素點上的圖像值，從而將整個特征聚集過程轉(zhuǎn)化為一個連續(xù)的操作。如圖2所示，ROI Align將建議框區(qū)域分割成×個bin，分割所得的邊界點不做量化處理。將每個bin平均分割為4塊mini bin，它們的坐標(biāo)為mini bin的中心點，特征值由平均池化得到。然后，使用雙線性插值得到此bin的特征值，最終得到×個特征值，同樣滿足輸入固定的要求，但量化誤差大大減小。

2.2.4 模型連接

圖2a中主干特征提取網(wǎng)絡(luò)各卷積層級信息如表3所示。

表3 主干特征提取網(wǎng)絡(luò)各卷積層級信息

注：Convi表示圖2主干特征網(wǎng)絡(luò)中的第層卷積。

Note: Convi represents thethlayer in the backbone feature network of Fig.2.

2.3 遷移學(xué)習(xí)

基于模型的遷移學(xué)習(xí)可以構(gòu)建參數(shù)共享的模型，將已有模型中的參數(shù)在新的任務(wù)上復(fù)用[23-25]。由于試驗采集的病害葉片數(shù)據(jù)量較小，直接訓(xùn)練模型，模型參數(shù)權(quán)值太過隨機，特征提取效果不明顯，網(wǎng)絡(luò)訓(xùn)練的結(jié)果不理想，訓(xùn)練速度慢。為了解決以上問題，本文采用模型遷移的方法，在VOC-2007數(shù)據(jù)集上預(yù)訓(xùn)練模型，對改進Faster-RCNN模型的網(wǎng)絡(luò)權(quán)值進行初始化，提高模型的訓(xùn)練速度，同時減少模型分類中過擬合的問題。

2.4 超參數(shù)設(shè)計

試驗選擇5e-5作為初始學(xué)習(xí)率，設(shè)置衰減指數(shù)為0.96，每訓(xùn)練一輪，衰減一次。并設(shè)置批尺寸大小為16。在整個模型訓(xùn)練過程中增加了Adam優(yōu)化算法，能夠針對大規(guī)模數(shù)據(jù)解決參數(shù)優(yōu)化的問題，并且訓(xùn)練過程中計算效率高，適應(yīng)性強。本試驗中Adam超參數(shù)使用默認(rèn)的框架參數(shù)。為了保證試驗的訓(xùn)練效果，在2個全連接層之后使用L2正則化和Dropout方法，在Softmax分類層中只使用L2正則化，不添加其他方法，設(shè)置L2正則化參數(shù)設(shè)置為0.000 5。

2.5 模型訓(xùn)練

本試驗通過凍結(jié)訓(xùn)練方式，進行模型訓(xùn)練。凍結(jié)訓(xùn)練可以加快訓(xùn)練速度，也可以在訓(xùn)練初期防止權(quán)值被破壞。訓(xùn)練時，所有圖片都會重設(shè)尺寸為600×400，參照框尺寸大小為（128, 256, 512）。首先凍結(jié)Faster-RCNN的主干網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)不發(fā)生改變，僅對模型進行微調(diào)，節(jié)約計算資源和時間開銷；之后解凍Faster-RCNN的主干網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)發(fā)生改變，網(wǎng)絡(luò)所有的參數(shù)都會隨訓(xùn)練不斷優(yōu)化達到最佳。

2.6 評價指標(biāo)

采用平均精度均值（mean Average Precision，mAP）、精確度（Precision）、召回率（Recall）、單個類別精度均值（Average Precision，AP）作為模型性能的評價指標(biāo)[26]。

2.7 試驗平臺

本研究試驗平臺基于Ubuntu 16.04操作系統(tǒng)，在TensorFlow-GPU 1.12.0深度學(xué)習(xí)框架上進行，使用GeForce GTX TITAN X加速計算，GPU加速庫為CUDA 9.2和CUDNN 7.6。

3 結(jié)果與分析

3.1 主干特征提取網(wǎng)絡(luò)優(yōu)化性能對比

針對病害類別數(shù)據(jù)集，試驗使用ResNet-18、ResNet-50、ResNet-101分別改進基礎(chǔ)Faster-RCNN的主干特征提取網(wǎng)絡(luò)VGG-16，在完成100輪訓(xùn)練后，對不同主干特征提取網(wǎng)絡(luò)分別選擇mAP值最高的一輪進行統(tǒng)計。試驗結(jié)果如表4所示，ResNet系列模型的mAP均有提高，其中ResNet-50的性能是83.77%，有微弱優(yōu)勢。以此為基礎(chǔ)設(shè)計了分組卷積和推遲下采樣方法對ResNet-18、ResNet-50、ResNet-101分別進行改進。結(jié)果表明，改進后的ResNet-50對模型精度提升效果最為顯著，模型相比改進前VGG-16主干特征提取網(wǎng)絡(luò)的mAP提升了9.29個百分點。

表4 不同主干特征提取網(wǎng)絡(luò)性能對比

注：GC、DS分別代表分組卷積和推遲下采樣改進。

Note: GC, DS represent grouping convolution and delay down sampling, respectively.

3.2 特征量化誤差最小化性能對比

針對基礎(chǔ)Faster-RCNN網(wǎng)絡(luò)中ROI Pooling存在兩次量化帶來的偏差問題，論文設(shè)計了ROI Align方法取消量化操作，使用雙線性插值計算方法最小化ROI Pooling的特征量化誤差。主干特征提取網(wǎng)絡(luò)采用改進后的ResNet-50。為了驗證ROI Align對Faster-RCNN特征圖與原始圖像上感興趣區(qū)域特征不對準(zhǔn)問題的改進效果，設(shè)計以下兩種方案進行對比試驗，方案一：ROI模塊為ROI pooling；方案二：ROI模塊為ROI Align。進行100輪訓(xùn)練后，分別選擇mAP值最高的一輪進行結(jié)果統(tǒng)計。試驗結(jié)果如表5所示，相比于ROI Pooling，ROI Align使模型的mAP提高了2.61個百分點。在方案二的基礎(chǔ)上，采用在線數(shù)據(jù)增強技術(shù)在訓(xùn)練時自動擴充數(shù)據(jù)集，使模型試驗的mAP可提升至98.74%。模型在測試集上對每一類病害識別的混淆矩陣如圖3a所示。

表5 ROI Align優(yōu)化前后性能對比

注：DE代表數(shù)據(jù)增強。ROI pooling代表感興趣區(qū)域池化，ROI Align代表感興趣區(qū)域?qū)R。

Note: DE represent data enhancement. ROI pooling represent region of interest pooling. ROI Align represent region of interest alignment.

注：圖a中Ⅰ、Ⅱ、Ⅲ、Ⅳ分別代表健康、其他黃化癥狀、黃矮病和條銹??；圖b中ⅰ、ⅱ、ⅲ、ⅳ分別代表黃矮病輕癥、重癥和條銹病輕癥、重癥。

Note: Ⅰ, Ⅱ, Ⅲ, Ⅳ represent health, other yellowing symptom, yellow dwarf, stripe rust, respectively in fig. a; ⅰ, ⅱ, ⅲ, ⅳ represent mild, severe yellow dwarf and mild, severe stripe rust, respectively in fig. b.

圖3 混淆矩陣

Fig.3 Confusion matrix

綜合表4和表5，通過對Faster-RCNN網(wǎng)絡(luò)模型的改進以及數(shù)據(jù)增強技術(shù)的應(yīng)用，改進的Faster-RCNN的mAP由基礎(chǔ)網(wǎng)絡(luò)的81.48%提升至98.74%，mAP提升了17.26個百分點，實現(xiàn)了小麥條銹病和黃矮病兩種病害的自動分類識別。

3.3 不同網(wǎng)絡(luò)模型的對比結(jié)果

為了評估論文改進的Faster-RCNN的病害識別性能，分別選擇在植物病害分類識別方面表現(xiàn)突出的SSD、YOLO以及RCNN其他系列模型，與本文設(shè)計的模型進行對比試驗。經(jīng)過35輪迭代之后，本研究設(shè)計的改進Faster-RCNN模型的mAP相對穩(wěn)定，試驗結(jié)果如圖4a所示，mAP由改進前的83.77%提升至改進后的98.74%，其中小麥黃矮病、條銹病、其他黃化病癥和健康小麥的識別率分別為97.64%、98.49%、99.71%和99.13%。相比于SSD、YOLO、RCNN和Faster-RCNN模型的mAP，本文設(shè)計的改進后網(wǎng)絡(luò)模型mAP分別提升了9.26個百分點、7.64個百分點、16.57個百分點和14.97個百分點。因此，改進后的Faster-RCNN在完成兩種小麥病害識別任務(wù)時表現(xiàn)更優(yōu)。

對比改進前后Faster-RCNN在試驗平臺中訓(xùn)練迭代次數(shù)與損失函數(shù)值的變化，基礎(chǔ)Faster-RCNN模型在迭代至60輪左右時，損失函數(shù)值才開始收斂（圖4b）；改進的Faster-RCNN模型在迭代至40輪左右時，損失函數(shù)值已經(jīng)開始收斂（圖4c）。本文設(shè)計的模型損失函數(shù)值降低得更快，性能更優(yōu)。

3.4 病害輕重癥等級試驗結(jié)果分析

采用論文改進的Faster-RCNN網(wǎng)絡(luò)模型對小麥黃矮病和條銹病的輕、重癥等級進行分類識別。試驗結(jié)果如表6所示，改進后模型對小麥黃矮病輕癥、黃矮病重癥、條銹病輕癥、條銹病重癥的識別準(zhǔn)確度分別為88.21%，91.74%，93.27%和89.70%。模型在小麥黃矮病和條銹病輕、重癥測試集上對每一細(xì)分病害等級識別的混淆矩陣如圖3b所示。雖然模型在病害輕重癥等級識別的準(zhǔn)確度略低于病害類別識別的精確度，但細(xì)分病害等級的mAP可達91.06%，表明改進后的Faster-RCNN模型為細(xì)微差異特征準(zhǔn)確識別提供了有效的解決方案。

3.5 基于改進Faster-RCNN模型的小麥病害智能識別系統(tǒng)

3.5.1 系統(tǒng)設(shè)計與開發(fā)

小麥病害智能識別系統(tǒng)旨在為用戶提供田間小麥病害快速智能識別服務(wù)。如圖5a所示，系統(tǒng)的主要功能模塊包括微信小程序和云服務(wù)器。首先將訓(xùn)練好的改進Faster-RCNN模型及其參數(shù)部署在云服務(wù)器端，使用Python Web框架Flask實現(xiàn)相應(yīng)的接口；其次，用戶小麥病害圖片上傳，識別請求發(fā)送，識別結(jié)果和病害防治建議的查看均通過移動端的微信小程序?qū)崿F(xiàn)（圖5b～5d）。系統(tǒng)利用谷歌提供的遠(yuǎn)程過程調(diào)用框架gRPC來調(diào)用服務(wù)器端模型的識別接口，獲取識別結(jié)果后將其返回小程序端，同時將識別數(shù)據(jù)存儲在mySQL數(shù)據(jù)庫中。

圖4 不同模型的性能比較

表6 小麥病害輕重癥等級分類結(jié)果

3.5.2 系統(tǒng)測試與應(yīng)用

移動端微信小程序在iOS 7.1及以上系統(tǒng)或Android 4.2及以上系統(tǒng)的移動端設(shè)備均可正常運行。以Huawei P40 Pro為例，測試時頁面幀率（Frames Per Second，F(xiàn)PS）穩(wěn)定在（58±2）幀/s，小程序平均啟動耗時56 ms，平均頁面切換耗時468 ms，頁面渲染穩(wěn)定、操作流暢。通過華為云的性能測試服務(wù)對小程序的識別速度與精度進行測試，在最大并發(fā)100的測試訪問條件下，對小程序進行了2 508次識別測試，正常返回數(shù)為2 454，返回成功率為97.85%；平均返回時延為5 024 ms，最小返回時延為4 126 ms，最大返回時延為6 034 ms，具有識別速度快、返回成功率高的特點。

圖5 小麥病害智能識別系統(tǒng)

本系統(tǒng)在西北農(nóng)林科技大學(xué)曹新莊和武功縣小麥試驗基地進行應(yīng)用。拍照獲取小麥黃矮病（輕、重癥）、條銹?。ㄝp、重癥）、其他黃化癥和健康葉片各120張進行病害識別，各類別病害平均識別準(zhǔn)確率分別為96.24%，96.94%，98.62%和99.12%；小麥黃矮病輕癥和重癥的平均識別準(zhǔn)確率分別為87.94%和90.42%；小麥條銹病輕癥和重癥的平均識別準(zhǔn)確率分別為90.66%和88.52%。由測試結(jié)果可知，系統(tǒng)田間應(yīng)用的總體平均識別準(zhǔn)確率可達93.56%，具有較高的實用性。

4 結(jié) 論

人工識別和傳統(tǒng)機器學(xué)習(xí)的方法很難區(qū)分早期病害及不同病害造成的相似表型癥狀。同時鑒于小麥葉片細(xì)窄且病斑小的特點，為了更準(zhǔn)確地刻畫目標(biāo)邊界框和識別葉片病斑特征，進而更準(zhǔn)確識別病害類別和嚴(yán)重程度，本研究提出了一種改進的Faster-RCNN的小麥條銹病和黃矮病深度學(xué)習(xí)識別方法。

1）改進的Faster-RCNN模型對小麥黃矮病、條銹病、其他黃化癥狀和健康的小麥葉片識別平均精度均值為98.74%。相比于其他SSD、YOLO、RCNN和未改進Faster-RCNN模型，本文設(shè)計的網(wǎng)絡(luò)模型的平均精度均值分別提升了9.26個百分點、7.64個百分點、16.57個百分點和14.97個百分點，同時模型損失函數(shù)值降低得更快，性能表現(xiàn)更好。此外，本研究提出的模型在小麥黃矮病、條銹病輕癥和重癥的細(xì)分等級識別的平均精度均值可達91.06%，滿足了流行病害大區(qū)調(diào)查的要求，可為細(xì)微差異特征識別難題提供有效的解決方案。

2）基于論文模型開發(fā)的小麥病害智能識別系統(tǒng)，可通過微信小程序為種植者提供精準(zhǔn)快速的小麥病害識別服務(wù)。小程序畫面渲染穩(wěn)定，在主流移動端設(shè)備可穩(wěn)定在（58±2）幀/s；識別速度快，在最大并發(fā)100的訪問條件下，平均識別返回時延為5.024 s；識別返回成功率可達97.85%；系統(tǒng)田間應(yīng)用識別準(zhǔn)確度高，對兩種小麥病害及其細(xì)分輕重癥識別的平均準(zhǔn)確率可達93.56%。所開發(fā)的智能識別系統(tǒng)能夠滿足小麥病害在線實時識別的應(yīng)用需求。

本文所采集的小麥病害葉部照片多為植株尺度，其他因細(xì)菌性病害、干旱、以及缺素等導(dǎo)致的黃化癥狀小麥葉片也沒有進一步細(xì)分類別。未來將以論文建立的方法為基礎(chǔ)，豐富小麥病害圖像數(shù)據(jù)集，特別是其他原因?qū)е碌狞S化癥狀中每一個細(xì)分類別的圖像信息。在田間冠層尺度下進一步開展小麥病害的識別研究，以期更好地為小麥病害的科學(xué)防控提供技術(shù)支持。

[1] 胡小平，戶雪敏，馬麗杰，等. 作物病害監(jiān)測預(yù)警研究進展[J]. 植物保護學(xué)報，2021，49(1)：298-315.

Hu Xiaoping, Hu Xuemin, Ma Lijie, et al. Research progresses in monitoring and prediction of crop diseases[J]. Journal of Plant Protection, 2021, 49(1): 298-315. (in Chinese with English abstract)

[2] 陳印軍. 中國糧食安全形勢分析[J]. 中國農(nóng)業(yè)綜合開發(fā)，2020(11)：11-14.

[3] 成萍旎，單宏英，胡小敏，等. 西北地區(qū)小麥黃矮病流行趨勢預(yù)測模型[J]. 麥類作物學(xué)報，2011，31(6)：1168-1172.

Cheng Pingni, Shan Hongying, Hu Xiaomin, et al. Prediction models for prevalent trends of wheat yelow dwarf disease in Northwest China[J]. Journal of Triticeae Crops, 2011, 31(6): 1168-1172. (in Chinese with English abstract)

[4] Liu J, Wang X. Plant diseases and pests detection based on deep learning: A review[J]. Plant Methods, 2021, 17(1): 22-31.

[5] 周惠汝，吳波明. 深度學(xué)習(xí)在作物病害圖像識別方面應(yīng)用的研究進展[J]. 中國農(nóng)業(yè)科技導(dǎo)報，2021，23(5)：61-68.

Zhou Huiru, Wu Boming. Advances in research on deep learning for crop disease image recognition[J]. Journal of Agricultural Science and Technology, 2021, 23(5): 61-68. (in Chinese with English abstract)

[6] 駱潤玫，王衛(wèi)星. 基于卷積神經(jīng)網(wǎng)絡(luò)的植物病蟲害識別研究綜述[J]. 自動化與信息工程，2021，42(5)：1-10.

Luo Runmei, Wang Weixing. Review on plant disease and pest identification based on convolutional neural network[J]. Automation & Information Engineering, 2021, 42(5): 1-10. (in Chinese with English abstract)

[7] Wang H, Li G, Ma Z, et al. Image recognition of plant diseases based on principal component analysis and neural networks[C]//2012 8th International Conference on Natural Computation. IEEE, 2012: 246-251.

[8] Pan Chunhua, Xiao Deqin, Liu Tanyu, et al. Classification and recognition for major vegetable pests in Southern China using SVM and region growing algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 192-199.

潘春華，肖德琴，林探宇，等. 基于SVM和區(qū)域生長結(jié)合算法的南方主要蔬菜害蟲分類識別（英文）[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(8)：192-199. (in English with Chinese abstract)

[9] 夏永泉，王兵，支俊，等. 基于隨機森林方法的小麥葉片病害識別研究[J]. 圖學(xué)學(xué)報，2018，39(1)：57-62.

Xia Yongquan, Wang Bing, Zhi Jun, et al. Identification of wheat leaf disease based on random forest method[J]. Journal of Graphics, 2018, 39(1): 57-62. (in Chinese with English abstract)

[10] 袁山，湯浩，郭亞. 基于改進Mask R-CNN模型的植物葉片分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(1)：212-220.

Yuan Shan, Tang Hao, Guo Ya. Segmentation method for plant leaves using an improved Mask R-CNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 212-220. (in Chinese with English abstract)

[11] 翟肇裕，曹益飛，徐煥良，等. 農(nóng)作物病蟲害識別關(guān)鍵技術(shù)研究綜述[J]. 農(nóng)業(yè)機械學(xué)報，2021，52(7)：1-18.

Zhai Zhaoyu, Cao Yifei, Xu Huanliang, et al. Review of key techniques for crop disease and pest detection[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 1-18. (in Chinese with English abstract)

[12] Dhaka V S, Meena S V, Rani G, et al. A survey of deep convolutional neural networks applied for prediction of plant leaf diseases[J]. Sensors, 2021, 21(14): 4749.

[13] Sun H, Xu H, Liu B, et al. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J]. Computers and Electronics in Agriculture, 2021, 189: 106379.

[14] 李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(21)：183-190.

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[15] 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(4)：199-207.

Wang Dongfang, Wang Jun. Crop disease classification with transfer learning and residual networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 199-207. (in Chinese with English abstract)

[16] 陳柯屹，朱龍付，宋鵬，等. 融合動態(tài)機制的改進型Faster R-CNN識別田間棉花頂芽[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(16)：161-168.

Chen Keyi, Zhu Longfu, Song Peng, et al. Recognition of cotton terminal bud in field using improved Faster R-CNN by integrating dynamic mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 161-168. (in Chinese with English abstract)

[17] 鮑文霞，孫慶，胡根生，等. 基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(11)：171-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[18] Picon A, Alvarez-Gila A, Seitz M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers and Electronics in Agriculture, 2019, 161: 280-290.

[19] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[20] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C].//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas: IEEE, 2016: 770-778.

[21] Noon S K, Amjad M, Qureshi M A, et al. Use of deep learning techniques for identification of plant leaf stresses: A review[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100443.

[22] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C].//IEEE International Conference on Computer Vision (ICCV), Venice: IEEE, 2017: 2980-2988.

[23] 閆建偉，趙源，張樂偉，等. 改進Faster-RCNN自然環(huán)境下識別刺梨果實[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(18)：143-150.

Yan Jianwei, Zhao Yuan, Zhang Lewei, et al. Recognition of Rosa roxbunghii in natural environment based on improved Faster RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 143-150. (in Chinese with English abstract)

[24] Karimi D, Warfield S K, Gholipour A. Transfer learning in medical image segmentation: New insights from analysis of the dynamics of model parameters and learned representations[J]. Artificial Intelligence in Medicine, 2021, 116: 102078.

[25] Chen J, Zhang D, Nanehkaran Y A, et al. Detection of rice plant diseases based on deep transfer learning[J]. Journal of the Science of Food and Agriculture, 2020, 100(7): 3246-3256.

[26] Everingham M, Eslami S M A, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2014, 111(1): 98-136.

Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN

Mao Rui1, Zhang Yuchen1, Wang Zexi1, Gao Shengchang1, Zhu Tao1, Wang Meili1, Hu Xiaoping2,3※

(1.,,712100,; 2.,,712100,; 3.,,712100,)

Wheat stripe rust and wheat yellow dwarf have posed a great threat to the yield and quality of wheat. An accurate identification has important implications for the prevention and control of wheat diseases. However, the phenotypic symptoms are similar to the infected leaves of wheat stripe rust and wheat yellow dwarf. Particularly, drought, nutrient deficiency, and bacterial disease can lead to the chlorosis and yellowing of plant leaves. In addition, the infected leaves are also similar to the healthy ones, due to the indistinct phenotypic symptoms in the early stage of diseases. It is difficult to quickly and accurately distinguish them by the existing identification. In this study, an improved Faster Regions with CNN Features (Faster-RCNN) was proposed for disease identification. There were two improvement strategies. Firstly, three 3×3 grouping convolution and down-sampling delays were employed to optimize the Deep Residual Neural Network (ResNet-50), which was designed as the backbone feature extraction network, in order to enhance the fine feature extraction of the entire network. Secondly, the region of interest (ROI) alignment was employed to reduce the feature error caused by double quantization, instead of ROI pooling. As such, the subtle differences were recognized after alignment. Transfer learning was selected to improve the training speed of the model. The data augmentation was then utilized to reduce the over-fitting, in order to further enhance the recognition performance and generalization ability. The image data set of disease leaf was collected from more than 200 wheat varieties with different resistance and susceptibility to the diseases, covering various symptoms at different disease stages. A series of experiments were carried out to evaluate the improved strategy. The performance indicators were selected to verify the model, such as loss function convergence curve and mean average precision (mAP). The experimental results showed that the mAP of the improved Faster-RCNN reached 98.74% for the wheat stripe rust and wheat yellow dwarf. Moreover, the early identification of disease infection was strengthened to predict the diseases as early as possible. The dataset contained 683 and 630 mild symptom images of these two diseases, respectively. The mAP reached 91.06% for the mild and severe symptom identification of two diseases. A comparison was made on the mainstream deep learning models, such as the SSD, YOLO, and RCNN series, under the same experimental conditions. Specifically, there were 9.26, 7.64, and 16.57 percentage points higher than the SSD, YOLO, and RCNN, respectively. Meanwhile, the loss function decreased significantly, while the model performed better than before. Finally, the intelligent recognition system was developed for wheat disease. Consequently, the average return delay was 5.024s under the maximum concurrent access of 100, and the success rate of recognition reached 97.85%. Anyway, the improved system can rapidly and accurately recognize wheat diseases via a WeChat applet. The finding can also greatly contribute to the control of wheat diseases.

models;disease recognition; Faster-RCNN; ResNet; grouping convolution; data augmentation

10.11975/j.issn.1002-6819.2022.17.019

TP391.4; S512.1

A

1002-6819(2022)-17-0176-10

毛銳，張宇晨，王澤璽，等. 利用改進Faster-RCNN識別小麥條銹病和黃矮病[J].農(nóng)業(yè)工程學(xué)報，2022，38(17)：176-185.doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

Mao Rui, Zhang Yuchen, Wang Zexi, et al. Recognizing stripe rust and yellow dwarf of wheat using improved Faster-RCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 176-185. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.019 http://www.tcsae.org

2022-04-10

2022-08-25

陜西省科技廳區(qū)域創(chuàng)新能力引導(dǎo)計劃（2022QFY11-03）；國家現(xiàn)代農(nóng)業(yè)（小麥）產(chǎn)業(yè)技術(shù)體系項目（CARS-03-37）；農(nóng)業(yè)農(nóng)村部農(nóng)作物病蟲鼠害疫情監(jiān)測與防治項目；大學(xué)生創(chuàng)新訓(xùn)練項目（X202110712436）

毛銳，博士，副教授，研究方向為機器學(xué)習(xí)和生物信息。Email：maorui@nwafu.edu.cn

胡小平，教授，博士生導(dǎo)師，研究方向為作物病害監(jiān)測預(yù)警。Email：xphu@nwafu.edu.cn