李大湘，曾小通，劉 穎

耦合全局與局部特征的蘋果葉部病害識(shí)別模型

李大湘，曾小通，劉 穎

（西安郵電大學(xué)通信與信息工程學(xué)院，西安 710121）

為充分利用蘋果葉部病害圖像類間差異小且類內(nèi)差異大的特點(diǎn)，該研究基于全局與局部特征的交互式耦合對(duì)特征提取方法進(jìn)行了優(yōu)化，設(shè)計(jì)出一種蘋果葉部病害識(shí)別模型。首先，在全局特征提取分支設(shè)計(jì)了一個(gè)注意力融合模塊，以融合通道和空間上的信息而增強(qiáng)卷積提取到的特征圖，并由增強(qiáng)后的特征圖生成全局特征以及注意力激活圖；然后，在局部特征提取分支，利用注意力激活圖的引導(dǎo)，設(shè)計(jì)了一個(gè)裁剪模塊對(duì)原圖像進(jìn)行裁剪，以得到可能包含病害信息的圖像塊且嵌入生成局部特征；最后，通過設(shè)計(jì)多頭交叉注意力特征耦合模塊，實(shí)現(xiàn)全局特征和局部特征的雙向交叉耦合?；谔O果病害圖像數(shù)據(jù)集的試驗(yàn)結(jié)果表明，將全局與局部特征進(jìn)行交互耦合能有效提升模型對(duì)蘋果葉部病害圖像的特征提取能力，其識(shí)別準(zhǔn)確率可達(dá)到98.23%，且較之單純的局部或全局特征提取分支，準(zhǔn)確率分別提高了3.39與4.61個(gè)百分點(diǎn)，所提模型可用于實(shí)現(xiàn)自然場(chǎng)景下的蘋果葉部病害自動(dòng)識(shí)別。

計(jì)算機(jī)視覺；蘋果葉；病害；圖像識(shí)別；交叉注意力特征耦合；卷積神經(jīng)網(wǎng)絡(luò)

0 引 言

2020年，中國蘋果產(chǎn)量達(dá)到了4 407萬t，已經(jīng)成為世界最大的蘋果生產(chǎn)國與消費(fèi)國，其生產(chǎn)和消費(fèi)規(guī)模均占全球50%以上[1]。蘋果樹在種植過程中常見的病害主要有斑點(diǎn)落葉病、褐斑病、花葉病、灰斑病與銹病等，而傳統(tǒng)的蘋果葉部病害識(shí)別主要是依靠具有專業(yè)知識(shí)的病蟲害專家或有經(jīng)驗(yàn)的農(nóng)民[2]?；谌斯さ淖R(shí)別方法耗時(shí)耗力，且無法滿足現(xiàn)代農(nóng)業(yè)大規(guī)模生產(chǎn)的需求[3]。蘋果樹病害的發(fā)生往往表現(xiàn)在根莖、果實(shí)以及葉片等區(qū)域，而葉部病害由于其發(fā)生頻率高，且具有特征明顯、數(shù)據(jù)易采集與易處理等特點(diǎn)，葉部病變癥狀成為判斷蘋果病害類型的重要依據(jù)之一[4]。所以，基于計(jì)算機(jī)視覺技術(shù)研究面向蘋果葉部的病害識(shí)別算法，是確保蘋果高效生產(chǎn)且可持續(xù)發(fā)展的一個(gè)重要方式，在智慧農(nóng)業(yè)中具有重要意義[5]。

近年來，許多學(xué)者利用機(jī)器學(xué)習(xí)技術(shù)設(shè)計(jì)各種病蟲害智能識(shí)別算法[6]，譚峰等[7]通過計(jì)算葉片的色度值，同時(shí)建立多層后向傳播神經(jīng)網(wǎng)絡(luò)，運(yùn)用區(qū)域標(biāo)記法對(duì)病斑的特征參數(shù)進(jìn)行計(jì)算，最終識(shí)別率可達(dá)到92.1%；宋雙[8]基于支持向量機(jī)利用一對(duì)一投票策略設(shè)計(jì)出分類模型，該方法實(shí)現(xiàn)了對(duì)3種蘋果葉面病害的有效識(shí)別；陳麗等[9]對(duì)田間玉米葉病害圖像進(jìn)行分割和特征提取，最后采用概率神經(jīng)網(wǎng)絡(luò)進(jìn)行病害識(shí)別，識(shí)別率達(dá)到90.4%。盡管這些機(jī)器學(xué)習(xí)方法在特定病害識(shí)別上取得了理想的識(shí)別精度，但這些方法的精度在很大程度上依賴于提取的顏色、紋理與形狀等特征，由于同種病害在不同發(fā)病階段病癥差異明顯，且多種病害又可能表現(xiàn)出相似的病理特點(diǎn)，這些原因不但導(dǎo)致傳統(tǒng)方法特征層次關(guān)系設(shè)計(jì)困難，而且當(dāng)面向復(fù)雜任務(wù)時(shí)，存在因特征具有局限性而導(dǎo)致算法泛化能力弱等問題[10]。

針對(duì)上述問題，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）為代表的深度學(xué)習(xí)方法被引入植物病害檢測(cè)與識(shí)別，因其具有特征提取能力強(qiáng)、適應(yīng)性好與性能上限高的優(yōu)勢(shì)[11]，且較之上述傳統(tǒng)機(jī)器學(xué)習(xí)方法，其識(shí)別精度也得到顯著提高。例如：在AlexNet網(wǎng)絡(luò)的基礎(chǔ)上，孫俊等[12]對(duì)其批歸一化層與池化層進(jìn)行改進(jìn)，在14種植物26類病害圖像中實(shí)現(xiàn)了99.56%的平均識(shí)別準(zhǔn)確率，郭小清等[13]對(duì)其局部響應(yīng)歸一化層、全連接層與不同尺度卷積核進(jìn)行改進(jìn)，設(shè)計(jì)了一種多尺度番茄病害識(shí)別模型，平均識(shí)別準(zhǔn)確率達(dá)到92.7%；王春山等[14]通過分解大卷積核進(jìn)行群卷積操作，設(shè)計(jì)了一種輕量級(jí)的多尺度殘差病害識(shí)別模型，在7種真實(shí)環(huán)境病害圖像數(shù)據(jù)中取得了93.05%的準(zhǔn)確率；甘雨等[15]通過引入坐標(biāo)注意力機(jī)制與Adam優(yōu)化算法，改進(jìn)了EfficientNet主體結(jié)構(gòu)而提高其泛化能力，在大規(guī)模作物害蟲數(shù)據(jù)集IP102上的識(shí)別準(zhǔn)確率達(dá)到69.45%；劉陽等[16]對(duì)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)SqueezeNet進(jìn)行改進(jìn)，在PlantVillage數(shù)據(jù)集中的平均識(shí)別準(zhǔn)確率達(dá)到98.13%；許景輝等[17]面向小樣本復(fù)雜田間背景下的玉米病害識(shí)別問題，設(shè)計(jì)了一種改進(jìn)VGG-16網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)玉米大斑病葉、銹病葉病害圖像95.33%的平均識(shí)別準(zhǔn)確率。

基于CNN的葉部病害識(shí)別方法雖然取得了較大進(jìn)展，能夠?qū)崿F(xiàn)較高識(shí)別準(zhǔn)確率，但蘋果葉部病害圖像具有類間差異小、類內(nèi)差異大的特點(diǎn)，為了能夠同時(shí)獲取蘋果葉部病害圖像的細(xì)粒度與粗粒度特征從而提高識(shí)別準(zhǔn)確率，現(xiàn)有方法主要是在經(jīng)典CNN網(wǎng)絡(luò)中采用多尺度卷積核[13-14]或嵌入注意力模塊[15]，對(duì)蘋果葉部病害圖像進(jìn)行多尺度特征提取或定位特征所在區(qū)域。這些方法一定程度上提高了模型的識(shí)別準(zhǔn)確率，但由于未充分考慮蘋果葉部圖像全局與局部特征之間的聯(lián)系，因此對(duì)提升模型的特征提取和語義表達(dá)能力作用有限，其識(shí)別準(zhǔn)確率仍有提升空間。針對(duì)這些問題，本研究充分利用蘋果葉部病害圖像類間差異小且類內(nèi)差異大的特點(diǎn)，將蘋果葉部病害圖像全局與局部特征相聯(lián)系，設(shè)計(jì)了一種全局和局部特征交互耦合(Global and Patch Features Interactively Coupling, GPF-IC)模型，對(duì)現(xiàn)有CNN模型的特征提取能力進(jìn)行優(yōu)化以得到更高識(shí)別準(zhǔn)確率。

1 試驗(yàn)數(shù)據(jù)與方法

1.1 試驗(yàn)數(shù)據(jù)

為了檢驗(yàn)所提模型的識(shí)別性能，選用包含5種常見蘋果葉部的病害圖像集進(jìn)行試驗(yàn)。該圖像集由西北農(nóng)林科技大學(xué)制作，分別采集于西北農(nóng)林科技大學(xué)白水蘋果試驗(yàn)站、洛川蘋果試驗(yàn)站、慶城蘋果試驗(yàn)站，即在蘋果的不同生長期及天氣（雨后，陰天、晴天）條件下，使用ABM-500GE/BB-500GE彩色數(shù)碼相機(jī)和手機(jī)，拍攝距離為10～15 cm，拍攝了常見且對(duì)蘋果生長影響大的斑點(diǎn)落葉病、灰斑病、褐斑病、花葉病、銹病和健康葉片的彩色圖像共計(jì)2 545張，圖像分辨率為 2 448×3 264，部分葉部病害樣圖如圖1所示。

圖1 蘋果葉部病害圖像示例

為了保證模型的學(xué)習(xí)效果，避免因訓(xùn)練數(shù)據(jù)不足導(dǎo)致過擬合，同時(shí)構(gòu)建自然條件下的病害識(shí)別場(chǎng)景，使模型能夠更加適應(yīng)惡劣條件下的工作環(huán)境，增強(qiáng)模型的魯棒性，所以使用Python中的工具庫OpenCV對(duì)原始數(shù)據(jù)集進(jìn)行以下3種數(shù)據(jù)增強(qiáng)操作：1）隨機(jī)光照增強(qiáng)和減弱：模擬果園在自然環(huán)境下不同的光照條件；2）上下左右翻轉(zhuǎn)：模擬識(shí)別設(shè)備的不同拍攝角度；3）高斯模糊：模擬拍攝到的含噪聲圖像。最終獲得樣本數(shù)量充足且分布均衡的蘋果葉部病害圖像數(shù)據(jù)集，包含6類葉部圖像共30 540張，詳細(xì)信息如表1所示。

1.2 試驗(yàn)設(shè)置

所有試驗(yàn)都是在Nvidia TITAN顯卡上進(jìn)行實(shí)現(xiàn)，且在Linux+python3.8的開發(fā)環(huán)境中，安裝了PyTorch1.6深度學(xué)習(xí)工具箱，配合具有GPU加速的CUDA 10.1環(huán)境，用于模型的訓(xùn)練與測(cè)試。

試驗(yàn)過程中對(duì)蘋果葉部病害數(shù)據(jù)集按8∶2隨機(jī)劃分為訓(xùn)練集和測(cè)試集，分別用于模型的訓(xùn)練與測(cè)試。全局特征提取分支采用經(jīng)Plant Village開源數(shù)據(jù)庫預(yù)先訓(xùn)練過的ResNet18進(jìn)行微調(diào)。在每次試驗(yàn)的訓(xùn)練與測(cè)試過程中，批處理大?。╞atch size）設(shè)置為32，迭代（epoch）設(shè)置為600，采用隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）訓(xùn)練模型，學(xué)習(xí)率設(shè)置為0.001，輸入圖像分辨率均調(diào)整為224像素×224像素×3通道。

1.3 模型評(píng)價(jià)指標(biāo)

2 模型構(gòu)建

為充分利用蘋果葉部病害圖像“類間差異小且類內(nèi)差異大”的特點(diǎn)，本研究針對(duì)當(dāng)前研究未充分考慮全局與局部特征之間的聯(lián)系而存在的不足，設(shè)計(jì)了一個(gè)GPF-IC高精度蘋果葉部病害識(shí)別模型，如圖2所示。該模型主要由三大部分組成，即：全局特征提取分支、局部特征提取分支與特征交互耦合模塊。具體來說，通過在全局與局部特征提取分支分別引入注意力融合（Attention Fusion，AF）模塊、注意力激活圖生成（Attention Activation Maps Generation，AAMG）模塊和裁剪模塊，并經(jīng)多頭交叉注意力耦合（Multi-Head Cross-Attention Coupling，MHCAC）模塊對(duì)兩個(gè)分支的特征進(jìn)行交互融合，以增強(qiáng)模型的多粒度特征提取能力而提升識(shí)別準(zhǔn)確率。

注：IMGn為第n張訓(xùn)練圖像，為卷積得到的特征圖，為修正后的特征圖，1×1表示卷積核尺寸，為線性投影矩陣，為全局類別特征，為全局特征信息，為第n張訓(xùn)練圖像裁剪得到的第j個(gè)子圖像塊，為局部類別特征，為局部特征信息。

2.1 全局特征提取分支

2.1.1 注意力融合模塊

在全局特征提取分支中，為了使CNN卷積操作更加關(guān)注特征圖的重要通道及病斑區(qū)域，在SENet[18]與CBAM[19]的啟發(fā)下，如圖3所示，設(shè)計(jì)了一個(gè)AF模塊，并將其嵌入到ResNet18網(wǎng)絡(luò)的第五個(gè)卷積模塊之后，以在特征提取過程中融合通道和空間信息而提高該分支的全局特征提取能力。

圖3 注意力融合模塊

Fig.3 Attention Fusion(AF) module

在通道注意力子模塊中：首先，使用平均池化和全局最大池化分別獲取特征圖在空間維度上的壓縮信息；然后，分別將這兩種壓縮信息送入共享權(quán)值的全連接層中，處理結(jié)果相加之后而得到通道注意力圖F∈1×1×C，其過程可用式（3）表示。

2.1.2 全局特征生成

2.2 局部特征提取分支

2.2.1 注意力激活圖生成模塊

2.2.2 裁剪模塊

通過觀察注意力激活圖，可發(fā)現(xiàn)：激活響應(yīng)值高的區(qū)域往往分布在圖像中的病害區(qū)域，由此可認(rèn)為激活圖的響應(yīng)值越高，則該區(qū)域所含的病理信息量也越大，其屬于病害目標(biāo)區(qū)域的可能性就越大。所以，基于注意力激活圖與非極大值抑制（Non-Maximum Suppression，NMS）方法，設(shè)計(jì)了一個(gè)圖像裁剪模塊，以從原圖像中挑選出響應(yīng)值最高的若干個(gè)圖像子塊，用于圖像的局部特征提取。

2.3 多頭交叉注意力耦合模塊

為了增加全局與局部特征之間的聯(lián)系，從而增強(qiáng)模型對(duì)蘋果葉部病害圖像的特征表達(dá)能力，以提升模型分類性能，受CrossViT[21]融合不同尺度Transformer編碼器的啟發(fā)，通過疊加個(gè)多頭交叉注意力編碼器，設(shè)計(jì)了一個(gè)MHCAC模塊，以對(duì)全局和局部特征提取分支提取到的特征進(jìn)行交互藕合，最后再經(jīng)過一個(gè)多層感知機(jī)分類頭可得到病害識(shí)別結(jié)果。

圖4 一次單向交叉注意力特征耦合過程

Fig.4 A one-way cross-attention features coupling process

3 結(jié)果與分析

3.1 對(duì)比試驗(yàn)

為了驗(yàn)證所提GPF-IC模型的有效性，本研究采用的對(duì)照組網(wǎng)絡(luò)分為經(jīng)典CNN模型，即ResNet18、ResNet50等，以及近年來用于蘋果葉部病害識(shí)別的先進(jìn)模型。試驗(yàn)過程中，所有的CNN網(wǎng)絡(luò)均在 Plant Village數(shù)據(jù)集上完成預(yù)訓(xùn)練，然后將參數(shù)遷移到蘋果葉部病害識(shí)別任務(wù)之中，比對(duì)試驗(yàn)結(jié)果如表2所示。

表2 不同模型的對(duì)比試驗(yàn)

由表2中的數(shù)據(jù)可知，在識(shí)別準(zhǔn)確率方面，所提GPF-IC模型均優(yōu)于ResNet50、VGG-INCEP與DBNet等其他各種先進(jìn)方法；在模型大小方面，除了輕型的ResNet18網(wǎng)絡(luò)之外（模型大小增加了約38%，但識(shí)別準(zhǔn)確率提高了5.4個(gè)百分點(diǎn)），GPF-IC的模型大小明顯少于其他模型。因此，所提GPF-IC模型在實(shí)現(xiàn)高準(zhǔn)確率病害識(shí)別的同時(shí)，也兼顧了模型的參數(shù)量和復(fù)雜度，使模型更適合部署于硬件受限的農(nóng)業(yè)物聯(lián)網(wǎng)終端設(shè)備。

同時(shí)，也將GPF-IC模型應(yīng)用到蘋果葉部病理數(shù)據(jù)集中的測(cè)試集上，得到的混淆矩陣如圖5所示。在混淆矩陣中，主對(duì)角線的數(shù)字表示預(yù)測(cè)正確的圖像數(shù)量，其他位置的數(shù)字表示預(yù)測(cè)錯(cuò)誤的圖像數(shù)量。

注：0為健康蘋果葉，1為蘋果銹病，2為蘋果灰斑病，3為蘋果花葉病，4為蘋果褐斑病，5為蘋果斑點(diǎn)落葉??；主對(duì)角線數(shù)字為預(yù)測(cè)正確圖像數(shù)量，其余數(shù)字為預(yù)測(cè)錯(cuò)誤圖像數(shù)量。

3.2 可視化分析

注：激活圖色條權(quán)重越大表示模塊越關(guān)注該區(qū)域。

3.3 消融試驗(yàn)

為了探究GPF-IC模型各個(gè)模塊及分支是如何影響模型性能的，設(shè)計(jì)了如下8種消融試驗(yàn)，即：1）試驗(yàn)Ⅰ：僅采用ResNet-18網(wǎng)絡(luò)對(duì)圖像進(jìn)行識(shí)別；2）試驗(yàn)Ⅱ：在試驗(yàn)Ⅰ的基礎(chǔ)上增加AF模塊，引入了通道與空間注意力機(jī)制；3）試驗(yàn)Ⅲ：在試驗(yàn)Ⅱ的基礎(chǔ)上增加裁剪模塊，增加了局部特征提取分支；4）試驗(yàn)Ⅳ：在試驗(yàn)Ⅲ的基礎(chǔ)上增加MHCAC模塊，對(duì)全局與局部特征實(shí)施交互耦合；5）試驗(yàn)Ⅴ～Ⅷ：均在試驗(yàn)Ⅳ的基礎(chǔ)上，將圖像裁剪模塊的子圖數(shù)量分別設(shè)置為6、8、12與16，以探討該參數(shù)對(duì)模型性能的影響，消融試驗(yàn)結(jié)果如表3所示。

從表3所示的試驗(yàn)結(jié)果可知，試驗(yàn)Ⅱ的識(shí)別準(zhǔn)確率比試驗(yàn)Ⅰ提升了0.79個(gè)百分點(diǎn)，證明在ResNet18基礎(chǔ)上加入AF模塊，即通過融合通道和空間注意力，可以增強(qiáng)全局特征提取分支的特征表示能力，一定程度上提升了識(shí)別準(zhǔn)確率；試驗(yàn)Ⅲ的識(shí)別準(zhǔn)確率較之試驗(yàn)Ⅱ提升了1.22個(gè)百分點(diǎn)，證明在注意力激活圖的引導(dǎo)下局部特征提取分支，對(duì)于提升模型的識(shí)別準(zhǔn)確率也是有效的；試驗(yàn)Ⅳ通過加入MHCAC模塊，較之試驗(yàn)Ⅲ準(zhǔn)確率又提高了2.73個(gè)百分點(diǎn)，則說明本文設(shè)計(jì)的MHCAC模塊，即對(duì)提取的全局特征與局部特征進(jìn)行雙向交叉耦合，確實(shí)能增強(qiáng)模型對(duì)病害特征的表示能力。試驗(yàn)Ⅳ～Ⅷ將圖像裁剪模塊的子圖數(shù)量分別設(shè)置為4、6、8、12與16，多次試驗(yàn)結(jié)果證明：當(dāng)圖像塊數(shù)量為6時(shí)，即當(dāng)來自局部特征提取分支的信息數(shù)為6時(shí)，模型實(shí)現(xiàn)最佳性能，相比試驗(yàn)Ⅲ中單純的局部特征提取分支和試驗(yàn)Ⅱ中單純的全局特征提取分支，識(shí)別準(zhǔn)確率分別提高了3.39與4.61個(gè)百分點(diǎn)，當(dāng)圖像塊數(shù)量超過6時(shí)，模型不但具有更多的計(jì)算量，且在病害識(shí)別任務(wù)上的識(shí)別準(zhǔn)確率也難以提升。綜上所述，GPF-IC模型所設(shè)計(jì)的AF模塊、AAMG模塊、裁剪模塊與MHCAC模塊，能夠有效地增強(qiáng)網(wǎng)絡(luò)對(duì)圖像的細(xì)粒度特征提取與表達(dá)能力，提高整個(gè)模型的識(shí)別準(zhǔn)確率，在智慧農(nóng)業(yè)中具有廣闊應(yīng)用前景。

表3 蘋果葉部病害圖像數(shù)據(jù)集上的消融試驗(yàn)

注：√表示試驗(yàn)中采用了該模塊，×表示試驗(yàn)中未采用該模塊，MHCAC為多頭交叉注意力耦合模塊。

Note: √means the module was used in the experiment, × means the module was not used in the experiment, MHCAC represents the multi-head cross-attention coupling module.

4 結(jié) 論

本研究面向自然場(chǎng)景中的蘋果葉部病害識(shí)別問題，針對(duì)當(dāng)前研究無法充分聯(lián)系全局與局部特征的不足，設(shè)計(jì)了一個(gè)基于全局與局部特征交互耦合的病害識(shí)別模型，其特點(diǎn)包括：

1）提出了全局特征提取分支，通過引入注意力融合模塊，使病害識(shí)別準(zhǔn)確率提升0.79個(gè)百分點(diǎn)；

2）提出了局部特征提取分支，且引入裁剪模塊實(shí)施局部特征提取，模型準(zhǔn)確率提升了1.22個(gè)百分點(diǎn)；

3）提出多頭交叉注意力耦合模塊，使模型能夠耦合來自不同分支的特征，增強(qiáng)模型的特征提取和表達(dá)能力，使識(shí)別準(zhǔn)確率提升了3.39個(gè)百分點(diǎn)，從而取得了98.23%的最高識(shí)別準(zhǔn)確率。

綜上所述，GPF-IC模型中設(shè)計(jì)的全局與局部特征提取分支，可有效優(yōu)化對(duì)病害圖像的粗粒度和細(xì)粒度特征提取能力，且MHCAC模塊能夠進(jìn)一步增強(qiáng)模型的特征表達(dá)能力，所提GPF-IC模型識(shí)別準(zhǔn)確率均優(yōu)于ResNet50、VGG-INCEP與DBNet等其他各種先進(jìn)方法，在實(shí)現(xiàn)高識(shí)別準(zhǔn)確率的同時(shí)，也保持了較少的參數(shù)量，可用于自然場(chǎng)景中，根據(jù)蘋果葉部圖像對(duì)斑點(diǎn)落葉病、褐斑病、花葉病、灰斑病與銹病等5種常見病害實(shí)施自動(dòng)精準(zhǔn)識(shí)別。

[1] 中華人民共和國國家統(tǒng)計(jì)局. 中國統(tǒng)計(jì)年鑒[M]. 北京：中國統(tǒng)計(jì)出版社，2021.

[2] Khan M A, Lali M I U, Sharif M, et al. An optimized method for segmentation and classification of apple diseases based on strong correlation and genetic algorithm based feature selection[J]. IEEE Access, 2019, 7: 46261-46277.

[3] Singh V, Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture, 2017, 4(1): 41-49.

[4] 王云露，吳杰芳，蘭鵬，等. 基于改進(jìn)Faster R-CNN的蘋果葉部病害識(shí)別方法[J]. 林業(yè)工程學(xué)報(bào)，2022，7(1)：153-159.

Wang Yunlu, Wu Jiefang, Lan Peng, et al. Apple disease identification using improved Faster R-CNN[J]. Journal of Forestry Engineering, 2022, 7(1): 153-159. (in Chinese with English abstract)

[5] 邵明月，張建華，馮全，等. 深度學(xué)習(xí)在植物葉部病害檢測(cè)與識(shí)別的研究進(jìn)展[J]. 智慧農(nóng)業(yè)(中英文)，2022，4(1)：29-46.

Shao Mingyue, Zhang Jianhua, Feng Quan, et al. Research progress of deep learning in detection and recognition of plant leaf diseases[J]. Smart Agriculture, 2022, 4(1): 29-46. (in Chinese with English abstract)

[6] Tian Y W, Li T L, Li C H, et al. Method for recognition of grape disease based on support vector machine[J]. Trans. Chin. Soc. Agric. Eng, 2007, 23(6): 175-180.

[7] 譚峰，馬曉丹. 基于葉片的植物病蟲害識(shí)別方法[J]. 農(nóng)機(jī)化研究，2009，31(6)：41-43.

Tan Feng, Ma Xiaodan. The method of recognition of damage by disease and insect based on laminae[J]. Journal of Agricultural Mechanization Research, 2009, 31(6): 41-43. (in Chinese with English abstract)

[8] 宋雙. 黃土高原蘋果葉面病害圖像識(shí)別方法研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2017.

Song Shuang. Image Recognition Method of Apple Leaf Diseases on Loess Plateau[D]. Yangling: Northwest Agriculture and Forestry University, 2017. (in Chinese with English abstract)

[9] 陳麗，王蘭英. 概率神經(jīng)網(wǎng)絡(luò)在玉米葉部病害識(shí)別中的應(yīng)用[J]. 農(nóng)機(jī)化研究，2011，33(6)：145-148.

Chen Li, Wang Lanying. Research on application of probability neural network in maize leaf disease ldentification[J]. Journal of Agricultural Mechanization Research, 2011, 33(6): 145-148. (in Chinese with English abstract)

[10] 岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：1-16.

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract)

[11] Zhang Q, Liu Y, Gong C, et al. Applications of deep learning for dense scenes analysis in agriculture: A review[J]. Sensors, 2020, 20(5): 1520.

[12] 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[13] 郭小清，范濤杰，舒欣. 基于改進(jìn)Multi-Scale AlexNet的番茄葉部病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：162-169.

Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-Scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[14] 王春山，周冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：209-217.

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract)

[15] 甘雨，郭慶文，王春桃，等. 基于改進(jìn)EfficientNet模型的作物害蟲識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(1)：203-211.

Gan Yu, Guo Qingwen, Wang Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)

[16] 劉陽，高國琴. 采用改進(jìn)的SqueezeNet模型識(shí)別多類葉片病害[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(2)：187-195.

Liu Yang, Gao Guoqin. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 187-195. (in Chinese with English abstract)

[17] 許景輝，邵明燁，王一琛，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(2)：230-236，253.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236, 253. (in Chinese with English abstract)

[18] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132-7141.

[19] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

[20] Wei X S, Luo J H, Wu J, et al. Selective convolutional descriptor aggregation for fine-grained image retrieval[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2868-2881.

[21] Chen C F R, Fan Q, Panda R. Crossvit: Cross-attention multi-scale vision transformer for image classification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 357-366.

[22] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[23] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25: 1097-1105.

[24] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2014-12-19)[2022-04-26]. https://arxiv.org/abs/1409.1556.

[25] Luo Y, Sun J, Shen J, et al. Apple leaf disease recognition and sub-class categorization based on improved multi-scale feature fusion network[J]. IEEE Access, 2021, 9: 95517-95527.

[26] Jiang P, Chen Y, Liu B, et al. Real-time detection of apple leaf diseases using deep learning approach based on improved convolutional neural networks[J]. IEEE Access, 2019, 7: 59069-59080.

[27] 陸仲達(dá)，張春達(dá)，張佳奇，等. 雙分支網(wǎng)絡(luò)的蘋果葉部病害識(shí)別[J]. 計(jì)算機(jī)科學(xué)與探索，2022，16(4)：917-926.

Lu Zhongda, Zhang Chunda, Zhang Jiaqi, et al. Identification of apple leaf disease based on dual branch network[J]. Journal of Frontiers of Computer Science and Technology, 2022, 16(4): 917-926. (in Chinese with English abstract)

Apple leaf disease identification model by coupling global and patch features

Li Daxiang, Zeng Xiaotong, Liu Ying

(,,710121,)

Apples in China accounts for more than 50% of the global production and consumption at present. However, the quantity and quality of apples have been threaten by the various diseases, such as alternaria boltch, brown spot, mosaic disease, gray spot, and rust. The CNN-based methods can be expected to recognize the crop leaf disease for the high recognition rates. But, there is still lacking on the recognition accuracy, due mainly to the lack of linkage between global and patch features of disease images in the general disease recognition models. In this study, a disease recognition model was proposed using the patch and global features interactively coupling model (GPF-IC). The main characteristics were also addressed for the small inter-class and large intra-class differences in the apple leaf disease images under natural conditions. Firstly, an attention fusion module was designed in the global feature extraction branch. The convolutionally extracted feature maps were then enhanced to fuse the information on the channels and spaces. The global features and attention activation maps were generated from the enhanced feature maps. Secondly, a cropping module was designed to crop the original image using the attention activation maps. The blocks of images were obtained with the disease information in the patch feature extraction branch, particularly with the patch features. Thirdly, the multi-head cross-attention feature coupling module was designed to realize the bi-directional cross-coupling of patch and global features. As such, the recognition accuracy was improved to enhance the representation capability of fine-grained features of disease images. Finally, three operations of data enhancement were used to evaluate the learning effect of the model for the less overfitting, due to the insufficient training data. A total of 30 540 disease images of six types of apple leaves were obtained with the sufficient number of samples and balanced distribution. The improved model was included as follows. 1) The global feature extraction branch was proposed to promote the disease recognition accuracy by 0.79 percentage points using the attention fusion module. 2) A patch feature extraction branch and a cropping module were introduced to implement the local feature extraction. The model accuracy was then improved by 1.22 percentage points than before. 3) A multi-head cross-attention coupling module was proposed to couple the features from the different branches for the feature extraction and expression capability of the model. The recognition accuracy was improved by 3.39 percentage points, which was the highest recognition accuracy of 98.23%. The experiment demonstrated that the feature extraction can effectively exclude the non-target noises to locate the most discriminative region using the global feature extraction branch. The patch feature extraction branch was efficiently acquired the patch information using the image block embedding. The feature coupling module was realized the interactive coupling of global and patch tokens for the better fine-grained feature representation using multi-headed cross-attention. The GPF-IC was achieved in the 98.23% recognition accuracy of apple leaf disease. The finding can provide a technical support for the automatic recognition of apple leaf diseases in natural scenes.

computer vision; apple tree leaf; disease; image recognition; cross-attention features coupling; convolutional neural networks

10.11975/j.issn.1002-6819.2022.16.023

TP391.4；S431.9

A

1002-6819(2022)-16-0207-08

李大湘，曾小通，劉穎. 耦合全局與局部特征的蘋果葉部病害識(shí)別模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：207-214.doi：10.11975/j.issn.1002-6819.2022.16.023 http://www.tcsae.org

Li Daxiang, Zeng Xiaotong, Liu Ying. Apple leaf disease identification model by coupling global and patch features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 207-214. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.023 http://www.tcsae.org

2022-05-26

2022-07-16

國家自然科學(xué)基金項(xiàng)目（62071379）；陜西省自然科學(xué)基金項(xiàng)目（2017KW-013）

李大湘，博士，副教授，碩士生導(dǎo)師，研究方向?yàn)檫b感圖像分類、目標(biāo)檢測(cè)與跟蹤、醫(yī)學(xué)圖像識(shí)別、多實(shí)例學(xué)習(xí)和深度學(xué)習(xí)等。Email：www_ldx@163.com