吳剛正, 蔡成崗, 朱瑞瑜

(浙江科技學院生物與化學工程學院/浙江省農(nóng)產(chǎn)品化學與生物加工技術(shù)重點實驗室,浙江杭州 310023)

蘋果作為國內(nèi)消費最廣泛的水果之一,在經(jīng)濟發(fā)展和滿足人們的日常需求方面起著至關(guān)重要的作用。然而,面對復雜多變的自然環(huán)境,蘋果的生長過程會受到不同疾病的影響,這對蘋果的產(chǎn)量和質(zhì)量造成極大影響。因此,高效識別蘋果病害是保證蘋果產(chǎn)量和質(zhì)量的關(guān)鍵?？焖贉蚀_地檢測蘋果病害,進而有效地控制病害,有助于合理利用如殺蟲劑、肥料等農(nóng)業(yè)資源,達到促進蘋果生長的目的。目前,傳統(tǒng)的農(nóng)作物病害識別方法主要依靠視覺識別,對于識別者的經(jīng)驗有很高的要求。此外,人為識別時主觀因素也會影響識別的準確率,并且該方法也無法應用于量化疾病識別。由于蘋果病害癥狀復雜,評估錯誤會導致農(nóng)藥的過度使用,不僅無法預防和控制疾病,還會引起環(huán)境問題。隨著計算機技術(shù)的快速發(fā)展,智能識別技術(shù)被廣泛應用于解決植物病害問題,而在過去幾年卷積神經(jīng)網(wǎng)絡(CNN)相較于其他圖像識別技術(shù)具有更高的識別準確率[1-5]。

Bin等基于Kiwi-Inception和dense連接策略,提出了Kiwi ConvNet,該模型能夠提取3種葡萄葉片疾病的特征,準確率達到98.54%[6]。Zeng等提出了一種自關(guān)注卷積神經(jīng)網(wǎng)絡,該網(wǎng)絡能更加有效地提取作物病害特征,識別準確率較現(xiàn)有方法提高了2.9%[7]。李淼等將批歸一化算法應用于卷積神經(jīng)網(wǎng)絡CNN中的Alexnet和VGG(visual geometry group network)模型,改善網(wǎng)絡過擬合這一問題;再通過遷移學習的方法提高農(nóng)作物病害的識別效率[8]。孫俊等將一種批歸一化與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡應用于 PlantVillage 中 26 種病害的識別檢測[9]。

而后,在卷積神經(jīng)網(wǎng)絡中引入深度可分離卷積以及引入注意力模塊,均被證明可以提高模型的識別準確率[10-11]。Tang等以ShuffleNet為基礎(chǔ)網(wǎng)絡,添加注意力機制,對常見葡萄病害識別的準確率達到99.14%[12]。Zhu等通過引入CBAM(convolutional block attention module)提高了LAD模型對蘋果葉片病害識別的準確率,并將此模型應用于安卓系統(tǒng)[13]。Zhao等通過融合ResNet、FPN和CBAM,提出了一種新的Faster_R_CNN架構(gòu),識別草莓葉、花、果實不同部位病害的平均精度(mAP)為92.18%[14]。

蘋果葉片病害會直接影響和關(guān)聯(lián)蘋果果實病害的發(fā)生。本研究以蘋果葉片病害為研究對象,識別其染病程度有利于提前預警蘋果病害的發(fā)生和進展?？紤]到蘋果葉片病害在不同發(fā)病時期、不同病理和表面特征的較大差異,同時拍攝角度和光線的不同也會增加對葉片病害識別的難度,為解決這一問題,本研究選擇網(wǎng)絡深度較深的ResNet101作為骨干網(wǎng)絡模型,采用拆解大卷積層操作以減小模型參數(shù),利用推遲下采樣進行特征信息的獲取以及添加注意力機制高效通道注意力(efficient channel attention module,ECA)模塊對特征通道進行權(quán)重的重新分配,以達到增強有效特征權(quán)重、削弱無效特征干擾,進而提高模型的抗干擾能力,以實現(xiàn)更加精準識別蘋果葉片病害的能力和效果。

1 試驗數(shù)據(jù)

1.1 數(shù)據(jù)集構(gòu)建

本研究數(shù)據(jù)集來源分為3種:(1)來自于公開的PlantVilage數(shù)據(jù)集;(2)來自于CVRP2021植物病理學挑戰(zhàn)賽上的Plant-Pathology-2021-fgvc8數(shù)據(jù)集;(3)來自于線下拍攝采集,拍攝時間為2022年5月,拍攝地點為山東省煙臺市,在蘋果果園中采用1 920×1 080像素的高清數(shù)碼相機拍攝葉片,對存在病斑的葉片進行多角度的拍攝,從而收集蘋果葉片病害照片。將上述3個部分獲得的蘋果葉片病害圖像整合成蘋果葉片病害數(shù)據(jù)集,本研究構(gòu)建的蘋果葉片病害數(shù)據(jù)集共含有健康蘋果葉片以及蘋果葉片4種病害圖像8 500幅。圖1為健康蘋果葉片以及4種蘋果病害葉片,每種病害圖像選取100幅用作測試集,剩余8 000幅圖像以8 ∶ 2的比例將上述數(shù)據(jù)集圖劃分為訓練集和驗證集。

1.2 數(shù)據(jù)增強

為增強卷積神經(jīng)網(wǎng)絡模型的泛化性,避免過擬合,需要使用大量數(shù)據(jù)對模型進行訓練。因此對訓練集圖像采取隨機旋轉(zhuǎn)、翻轉(zhuǎn)、隨機色彩以及隨機亮度調(diào)整操作,對訓練集樣本進行擴充。經(jīng)過擴充處理后的數(shù)據(jù)集各個類別的圖像數(shù)量見表1,數(shù)據(jù)增強示意見圖2。

表1 蘋果葉片病害圖像數(shù)量

2 蘋果葉片病害識別方法

2.1 構(gòu)建蘋果葉片病害識別模型

2.1.1 選取基礎(chǔ)網(wǎng)絡模型 自2012年AlexNet奪得ImageNet競賽項目冠軍,奠定了卷積神經(jīng)網(wǎng)絡在計算機視覺的地位后,卷積神經(jīng)網(wǎng)絡受到了廣泛的關(guān)注,但其發(fā)展陷入了唯有通過加深網(wǎng)絡層數(shù)才能達到更好的識別效果的誤區(qū)。隨著研究的深入,只是普通的卷積層與池化層的堆疊,并未有預想的識別提升效果,一方面,梯度會隨著網(wǎng)絡深度的加深而減弱直至消失,進而引起梯度爆炸以及梯度彌散;另一方面,網(wǎng)絡結(jié)構(gòu)的復雜度會隨著網(wǎng)絡深度的增加而增加,獲得的最優(yōu)解通常為局部最優(yōu)解而非全局最優(yōu)解。而2015年獲得ImageNet競賽中分類任務第1名的ResNet網(wǎng)絡通過殘差塊結(jié)構(gòu)(residual block)很好地解決了這一問題[14-15],ResNet的殘差結(jié)構(gòu)塊見圖3。

該殘差結(jié)構(gòu)塊以圖像特征矩陣的形式輸入,而后特征矩陣分為2個分支,其中1個分支經(jīng)過多個卷積層運算產(chǎn)生特征矩陣作為輸出,與另1個稱為捷徑連接(shortcut connection)的分支傳輸?shù)奶卣骶仃囅嗉又?得到新的輸出特征矩陣進行激活,進而得到H(x)這一輸出值[H(x)=F(x)+x],此時殘差F(x)=H(x)-x,公式為

F(x)=ω2σ(ω1x)。

(1)

式中:F(x)為殘差函數(shù);σ為ReLU非線性激活函數(shù);ω1ω2為權(quán)重。

殘差塊結(jié)構(gòu)通過捷徑連接的方法將前層網(wǎng)絡輸出的特征矩陣作為輸入矩陣,直接與本層輸出的特征矩陣相加后傳入到后層,確保了梯度在反向傳播過程中不會因為多層網(wǎng)絡結(jié)構(gòu)而削弱,解決了網(wǎng)絡深度增加會導致梯度消失這一問題,因此可以通過加深網(wǎng)絡深度以達到更好的分類效果。而本研究數(shù)據(jù)集較為復雜,ResNet101較ResNet18與ResNet50具有更多的殘差模塊,網(wǎng)絡結(jié)構(gòu)更深,具有更好的特征識別能力,因此選擇ResNet101作為蘋果葉片病害識別的基礎(chǔ)網(wǎng)絡模型。

2.1.2 利用推遲下采樣提升特征信息提取 ResNet中的下采樣模塊如圖4-a所示,Path A通過一個步長為2的1×1卷積層實現(xiàn)通道的收縮以及下采樣,再經(jīng)過一個步長為1的3×3卷積層,進行特征的提取,最后通過一個步長為1的1×1卷積層,完成通道數(shù)的擴張。其中第1個卷積用于下采樣,卷積核大小1×1,步長2的卷積會造成3/4的信息丟失,以圖4-b中6×6的特征圖為例,只有紅色部分的信息能夠傳遞到下一層,非紅色部分均不參與卷積運算。

由此可見,1×1的卷積層進行下采樣存在缺陷,提出圖5-a下采樣模塊結(jié)構(gòu),將下采樣的過程移至3×3的卷積層,在3×3卷積層進行下采樣操作,所得采樣特征見圖5-b,由于卷積核寬度大于步長,卷積核在移動過程中能夠遍歷輸入特征圖上的所有信息,還會有一部分重疊(紅色部分),有利于提高模型識別準確率。

2.1.3 通過拆解大卷積層降低模型復雜度 大卷積層可以由多個小卷積替代實現(xiàn),這不僅能減少網(wǎng)絡參數(shù),加快網(wǎng)絡運算速度,還能加深網(wǎng)絡深度,以便更好地提取特征信息。Szegedy等對GoogLeNet中的Inception1模塊做出改進,分別用3個和2個 3×3 卷積的級聯(lián)去替代 7×7 和 5×5 的卷積[16]。ResNet網(wǎng)絡的前2層結(jié)構(gòu)與GoogLeNet相似,在輸入通道數(shù)為64、步幅為2的7×7卷積層后,接一個步幅為2的3×3的最大池化層,如圖6-a所示。改進后的模型由圖6-b所示,采用1個步幅為2的3×3的卷積層與2個步幅為1的3×3的卷積層替代原模型中7×7的卷積層,從而達到減少網(wǎng)絡參數(shù),提升運算速度的目的。

2.1.4 添加ECA提升模型精度 近年來研究表明,卷積神經(jīng)網(wǎng)絡可以通過添加注意力機制模塊達到提升網(wǎng)絡性能的目的。例如,SENet(squeeze-and-excitation networks)、BAM、GCNet、CBAM等注意力機制均可以對卷積神經(jīng)網(wǎng)絡的性能有顯著的提升[17]。但是,大多數(shù)注意力機制通過增加注意力模塊的復雜度來提升模塊的性能,但這必然會增加模型的復雜性。而ECA在SENet模塊的基礎(chǔ)上提出一種不降維的局部跨信道交互策略,以及自適應選擇卷積核大小的方法,進而達到性能提升的目的。在蘋果葉片病害識別任務中,病害類別的判定對卷積特征的局部信息依賴性較強,因此可在殘差結(jié)構(gòu)引入ECA通道注意力機制以提高識別準確率,通道注意力機制ECA示意見圖7。

ECA利用公式(2)矩陣Wk來進行通道注意力的學習:

(2)

Wk有k×C個參數(shù),Wk避免了不同通道之間完全獨立,同時也兼顧了不同通道之間的相互作用。計算公式如下:

(3)

此外ECA模塊的方法還可以通過卷積核為k的一維卷積來實現(xiàn)通道之間的信息交互,如下所示:

ω=σ[C1Dk(y)]。

(4)

式中:C1D代表一維卷積;k代表涉及k個參數(shù)信息,當k=3時,ECA可以實現(xiàn)與SE-Var3同樣的效果但是網(wǎng)絡結(jié)果更加簡便。因此,這種跨通道捕捉信息的交互方法保證了模型的性能與效率。

2.1.5 模型整體架構(gòu) 本研究所設計的網(wǎng)絡模型以ResNet101為基礎(chǔ),結(jié)合推遲下采樣、拆分大卷積層以及ECA注意力機制構(gòu)成。改進得到的注意力殘差網(wǎng)絡(P-D-ECA-ResNet101)將Conv1_x中的7×7大卷積層替換為3個3×3的卷積層,Conv2_x～ Conv5_x 的下采樣過程由1×1的卷積層推遲至3×3的卷積層,同時將ECA注意力機制模塊嵌入到Conv2_x～Conv5_x 的每個殘差模塊中,原網(wǎng)絡最后的Average pooling層與Softmax層保留。P-D-ECA-ResNet101模型的相關(guān)結(jié)構(gòu)與參數(shù)見表2。

表2 P-D-ECA-ResNet101網(wǎng)絡模型參數(shù)

2.2 模型性能評估指標

模型使用精準度(precision,P)、召回率(recall,R)、F1分數(shù)(F1-score)以及測試集準確率(accuracy,Acc)作為評估指標對模型的性能進行檢驗。模型對樣本的分類能力通過精準率體現(xiàn),模型尋找正樣本的能力由召回率體現(xiàn)。計算公式如下:

(5)

(6)

(7)

(8)

式中:TP表示被判定為正樣本,事實上也是正樣本;FP表示被判定為正樣本,但事實上是負樣本;TN表示被判定為負樣本,事實上也是負樣本;FN表示被判定為負樣本,但事實上是正樣本。

2.3 試驗環(huán)境與參數(shù)設置

本研究基于PyTorch這一深度學習框架,在Window10系統(tǒng)下進行模型的訓練與測試。CPU為Intel? Xeon?,2.20 GHz,內(nèi)存為64 G,GPU為Tesla P100-PCLE,顯存為16 G。通過使用GPU提高網(wǎng)絡的訓練速度,CUDA版本為11.2。

試驗選擇隨機梯度下降法(stochastic gradient descent,SGD)作為優(yōu)化器對卷積神經(jīng)網(wǎng)絡進行優(yōu)化,加快訓練過程。初始學習率設定為0.000 5,SGD動量參數(shù)設置為0.9,權(quán)值衰減參數(shù)設置為0.000 1.訓練時輸入的圖像統(tǒng)一調(diào)整為256×256像素,訓練總共進行50輪,batch_size設為32。

3 結(jié)果與分析

3.1 基礎(chǔ)模型的選擇

為了探索不同的卷積神經(jīng)網(wǎng)絡對于識別蘋果葉片病害圖像的性能,以上述提到的數(shù)據(jù)集為基礎(chǔ),選取AlexNet[18]、VGG[19]、GoogLeNet[20]、ResNet101[15]4種模型進行訓練,在迭代次數(shù)、學習率、優(yōu)化算法、損失函數(shù)相同的情況下,4種訓練模型的測試集準確率、網(wǎng)絡參數(shù)量、每秒浮點運算次數(shù)(flops)見表3。各模型在測試集上的準確率均高于75%,表明各模型均可以實現(xiàn)蘋果葉片病害分類。Alexnet較其他3種網(wǎng)絡具有網(wǎng)絡參數(shù)量小的優(yōu)勢,ResNet101準確率較AlexNet與GoogLeNet分別高了8.8、 11.0百分點,網(wǎng)絡參數(shù)量僅為VGG16的60.70%。

表3 4種網(wǎng)絡模型實驗結(jié)果

對測試集各類病害的識別準確率見表4,ResNet101對于4種常見的蘋果葉片病害分類準確率均高于92%,其中對蛙眼病的分類準確率達到97%,對4種疾病的分類準確率較其他3種模型更高。

表4 不同網(wǎng)絡模型對測試集各類病害識別的準確率對比

綜上所述,4種模型均能有效地識別蘋果葉片病害類型。其中,VGG16和ResNet101較其他2種模型具有更高的準確性,分別為91.20%、94.00%。而ResNet101較VGG16具有更小的網(wǎng)絡參數(shù)量,各病害種類均有更高的識別率。因此,選擇ResNet101網(wǎng)絡作為骨干網(wǎng)絡模型,在此網(wǎng)絡模型上進行改進。

3.2 本研究模型消融試驗結(jié)果

此部分對不同優(yōu)化策略改進的ResNet101算法模型進行對比評估,以此檢驗優(yōu)化策略的有效性。不同優(yōu)化策略下的ResNet101網(wǎng)絡在驗證集上的準確率、損失值變化曲線見圖8。ResNet101網(wǎng)絡模型大概在20個迭代次數(shù)后收斂,最終在驗證集上的準確率達到93.9%。而本研究改進后的最終模型P-D-ECA-ResNet101模型損失值下降最快,大約在迭代10個周期后就達到了較低的損失值(0.08),在驗證集上的最終準確率較ResNet101模型也提升了近5%。

表5對比了ResNet101與本研究提出的P-D-ECA-ResNet101模型。P-D-ECA-ResNet101模型在提高分類準確率的同時避免了flops和模型占用內(nèi)存容量的增加。原因有以下2點:(1)將7×7的大卷積層拆解為3個3×3的卷積層,避免了網(wǎng)絡參數(shù)增加的同時加深網(wǎng)絡深度。(2)采取避免降維以及適當跨通道交互的ECA注意力機制,可以在顯著降低復雜性的同時增加網(wǎng)絡性能。

表5 模型準確率、參數(shù)量和模型占用內(nèi)存對比

本研究構(gòu)建的P-D-ECA-ResNet101具有更高的識別準確率,能夠更快地進行收斂,同時避免了網(wǎng)絡參數(shù)量的增加。主要原因有:(1)將ResNet101中的下采樣過程由1×1的卷積層移至 3×3 的卷積層,原本于1×1的卷積層進行下采樣會導致特征圖上的信息缺失,而在3×3的卷積層進行采樣,卷積核移動過程中可以遍歷特征圖,從而獲得更豐富的特征信息,提高模型的分類準確率。(2)將7×7的卷積層拆解為3個3×3的卷積層,顯著減少了網(wǎng)絡參數(shù)量。(3)ECA注意力模塊通過削弱無關(guān)信息權(quán)重,增強有效特征信息的權(quán)重,進而提升網(wǎng)絡模型的表達能力和分類能力。

3.3 改進模型的混淆矩陣

使用已經(jīng)訓練好的P-D-ECA-ResNet101模型對測試集的圖片進行識別,得到的混淆矩陣見圖9。

由圖9可知,蘋果白化病識別成蘋果蛙眼病與健康蘋果葉片的情況發(fā)生較多,同時蘋果黑星病也發(fā)生了被識別成蘋果蛙眼病與蘋果白化病的情況,原因主要是不同的蘋果葉片病害在不同的時期會具有一定的相似性,同時不同的拍攝角度也會導致模型出現(xiàn)識別錯誤。由表6可知,改進后P-D-E-ResNet101模型識別準確率達到96.20%,對測試集中4種蘋果葉片病害的識別準確率均達到90%以上,同時召回率也均高于90%,表明該改進模型可以有效地識別常見的4類蘋果葉片病害。

表6 模型性能評價結(jié)果

3.4 特征圖可視化分析

特征圖可視化分析可以更直觀地展示網(wǎng)絡模型的識別機制,對本研究網(wǎng)絡模型Conv2_x層的輸出特征進行可視化分析,分析結(jié)果見圖10,在特征圖中病斑區(qū)域呈現(xiàn)為深色,病斑區(qū)域較正常葉片區(qū)域呈現(xiàn)高亮信息,表明本研究構(gòu)建的P-D-ECA-ResNet101模型可以有效地忽略圖像中的無效背景信息,使得模型能夠聚焦于輪廓內(nèi)的特征,進而達到高效提取病斑區(qū)域特征的目的,并以此作為識別特征,使模型獲得更高的識別準確率。而健康蘋果葉片因無病斑區(qū)域,特征圖上無病斑特征信息,則以其葉片輪廓信息作為分類依據(jù)。試驗結(jié)果表明,本研究構(gòu)建的P-D-ECA-ResNet101模型可以有效識別蘋果葉片輪廓,聚焦蘋果葉片病斑,提取病斑區(qū)域特征,從而更準確地識別蘋果葉片病害。

4 討論與結(jié)論

蘋果葉片病害發(fā)生和預防的研究具有重要的意義,卷積神經(jīng)網(wǎng)絡技術(shù)具有識別常見蘋果葉片病害的應用潛力,但由于蘋果葉片病害在田間環(huán)境下會因為尺寸和光線等差異造成干擾,基于不同卷積神經(jīng)網(wǎng)絡建模的識別技術(shù)和方法具有提升識別能力和預防蘋果病害的效果。本研究基于以上問題開展研究并得出如下結(jié)論:(1)采用AlexNet、VGG16、GoogleNet、ResNet101對本研究構(gòu)建的蘋果葉片病害數(shù)據(jù)集進行病害識別試驗,結(jié)果表明,ResNet101與VGG16在本研究數(shù)據(jù)集上表現(xiàn)出色,2個模型的平均識別準確率均高于90%,其中ResNet101的識別準確率達到94.00%,因此本研究以ResNet101為骨干網(wǎng)絡模型進行后續(xù)研究。(2)以ResNet101為骨干網(wǎng)絡模型,采取推遲下采樣增加模型的特征提取能力,通過拆解大卷積層加快網(wǎng)絡的運算速度,并在每個殘差模塊中添加了ECA注意力模塊,構(gòu)建了P-D-E-ResNet101改進模型。結(jié)果表明,改進模型對4種蘋果葉片病害的識別準確率達到96.20%,相對于原ResNet101網(wǎng)絡模型準確率提升了2.20百分點,并且模型占用內(nèi)存容量與ResNet101僅相差0.1 MB。而后通過特征圖可視化分析,表明該模型可以有效地識別蘋果葉片病害區(qū)域特征。因此,本研究提出的P-D-ECA-ResNet101在蘋果葉片病害識別任務中表現(xiàn)優(yōu)異,在控制模型占用內(nèi)存容量的前提下,有效提升了模型的識別準確率,顯示了該模型在解決蘋果葉片病害識別問題上具有一定的優(yōu)越性。