陳 洋，張 欣+，陳孝玉龍，林建吾，蔡季桐

(1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽 550025；2.貴州大學(xué) 農(nóng)學(xué)院，貴州 貴陽 550025)

0 引 言

傳統(tǒng)的病害自動識別方法[1]是對病灶進(jìn)行劃分和邊緣提取后的特征送入支持向量機(jī)進(jìn)行分類[2]。該方式泛化能力差，不適應(yīng)多種類、多病害的檢測。隨著深度學(xué)習(xí)的應(yīng)用越來越廣泛，國內(nèi)外許多學(xué)者在基于深度學(xué)習(xí)的植物病害識別上做出了許多工作。Ferentinos等[3]提出一個基于CNN的模型識別25個種類的植物病蟲害。文獻(xiàn)[4]通過進(jìn)行遷移學(xué)習(xí)的VGG19提取番茄病害特征后，在支持向量機(jī)中進(jìn)行分類。但我們?nèi)孕鑼で筝p量、高效、快捷的農(nóng)作物病害識別網(wǎng)絡(luò)。Tang等[5]將輕量化網(wǎng)絡(luò)ShuffleNet用于診斷葡萄病害，并取得了99.14%的準(zhǔn)確率。農(nóng)作物病害的識別屬于細(xì)粒度圖像分類，在卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制以聚焦病灶區(qū)域，可以提高準(zhǔn)確率。Chen等[6]在MobileNet V2中加入注意力機(jī)制，使得模型在真實(shí)環(huán)境中能夠觀察到細(xì)微的病害特征，提高了模型在復(fù)雜背景下的學(xué)習(xí)能力。王美華等[7]改進(jìn)了CBAM注意力模塊在農(nóng)作物病蟲害的細(xì)粒度識別中取得了良好的效果，但是改進(jìn)后的注意力模塊大大增加了MobileNet V2的大小，在壓縮后也達(dá)到28.3 MB。因此在MobileNet中加入輕量化的注意力模塊是保證模型輕量的關(guān)鍵。

針對上述問題，本文通過在MobileNet V2中嵌入輕量化的坐標(biāo)注意力模塊(CA)[8]和TanhExp[9]激活函數(shù)的方式設(shè)計了CA-MobileNet V2。并將訓(xùn)練的模型部署于手機(jī)APP中，便于作物病害的實(shí)時檢測。

1 病害識別模型的構(gòu)建

1.1 基于CA模塊和TanhExp激活函數(shù)的改進(jìn)型MobileNet V2

基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)涉及到大量的參數(shù)和更深的網(wǎng)絡(luò)層數(shù)，因此需要耗費(fèi)大量的計算資源，例如VGG16[10]和Resnet50[11]分別有著1.38億和0.256億的參數(shù)，其模型大小分別為528 MB和98 MB。在實(shí)際的移動農(nóng)業(yè)應(yīng)用中難以部署如此龐大的模型，因此能夠在移動端部署的深度學(xué)習(xí)模型MobileNet系列在近年來獲得巨大的成功和廣泛的應(yīng)用。

MobileNet V2 是谷歌團(tuán)隊于2018年提出來可適用于移動端的輕量化深度學(xué)習(xí)模型，與MobileNet V1相比體積更小，模型的參數(shù)量更少。MobileNet V2將普通卷積更換為深度可分離卷積。如圖1所示，深度可分離卷積有深度卷積和逐點(diǎn)卷積構(gòu)成，深度卷積將每個通道分組進(jìn)行卷積，可 以更好地收集空間特征的同時顯著減少參數(shù)量。逐點(diǎn)卷積則將卷積核的高和寬都設(shè)為1，將深度設(shè)置為輸入通道數(shù)。在深度卷積后級聯(lián)，因此參數(shù)量更少。深度可分類卷積計算和普通卷積計算的比率如下式

(1)

圖1 深度可分離卷積

其中，Dk表示卷積核的高度和寬度，DF表示輸入特征圖的高度和寬度，M表示通道數(shù)量，N表示輸出特征圖的通道數(shù)。

由上式易知，深度可分離卷積大大減小了普通卷積的計算量，因此本文將MobileNet V2作為提取病害特征的骨干網(wǎng)。

如圖2所示，模型首先讀入具有RGB三通道的圖像，將圖像送入改進(jìn)后的MobileNet V2中進(jìn)行特征提取，最后在分類器中完成對病害圖像的分類。

圖2 CA-MobileNet V2模型結(jié)構(gòu)

如表1所示，MobileNetV2主干網(wǎng)絡(luò)由17個具有逆殘差結(jié)構(gòu)的Bottleneck、一個3×3標(biāo)準(zhǔn)卷積和一層平均池化層(Avgpool)構(gòu)成，其中t代表1×1升維擴(kuò)張的倍數(shù)，c為輸出的深度，n代表當(dāng)前結(jié)構(gòu)的重復(fù)次數(shù)，s為步距。

表1 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，我們在每個具有逆殘差模塊的Bottleneck中都嵌入了坐標(biāo)注意力模塊(CA)，以增強(qiáng)網(wǎng)絡(luò)的特征提取和聚焦病害區(qū)域的能力。此外本文將網(wǎng)絡(luò)的第一層和最后一層卷積層中的Relu激活函數(shù)換成TanhExp激活函數(shù)，加速模型的收斂速度。

逆殘差結(jié)構(gòu)(Inverse network structure)：如圖3所示，

圖3 逆殘差模塊

當(dāng)步長(stride)為1時，輸入通過1×1的卷積升擴(kuò)展特征圖維度，再經(jīng)過3×3的深度可分離卷積進(jìn)行特征提取，最后再經(jīng)過1×1的卷積進(jìn)行降維后與輸入連接，完成逆殘差模塊的構(gòu)建。當(dāng)步長為2時沒有與輸入相連的捷徑分支。

1.2 坐標(biāo)注意力(coordinate attention)

近年來，輕量化的網(wǎng)絡(luò)中注意力模塊取得巨大的成功和廣泛的應(yīng)用，其中SE(squeeze-and-excitation)[12]、CBAM[13]模塊等注意力模塊對于提升模型性能有顯著的效果。SE注意力模塊在2D全局平均池化下計算通道注意力，以極低的計算成本帶來顯著的性能提升。然而，SE注意力模塊只考慮了通道注意力，忽略位置信息的重要性。在后來的工作中，CBAM，通過減少輸入張量的通道位數(shù)，使用卷積計算空間注意力，以此更好利用了位置信息。但卷積僅考慮局部區(qū)域信息，無法建模長期依賴關(guān)系。坐標(biāo)注意力(CA)模塊如圖4所示。

圖4 CA模塊

CA模塊分別沿著垂直和水平方向分解下式全局池化，轉(zhuǎn)化為一對一維的特征編碼

(2)

其中，zc是第c個通道的輸出，H和W分別表示池化核的高度和寬度。上式的全局池化可以將空間信息進(jìn)行全局編碼，卻難以保留位置信息。

水平方向分解后高度為h的第c個通道輸出如下

(3)

同樣，垂直方向分解后寬度為W的第c個通道輸出如下

(4)

通過上述的變換注意力模塊捕捉到沿著一個空間方向的長期依賴關(guān)系，同時保存下另一個空間方向的位置信息。最后通過上式聚合的特征圖拼接起來后送入1×1的卷積

f=δ(F1([zh，zw]))

(5)

其中，f∈C/r×(H+W)表示在水平方向和垂直方向進(jìn)行特征編碼的特征圖。δ是非線性激活函數(shù)，F(xiàn)1表示1×1的卷積操作，[·，·] 表示沿著空間維數(shù)拼接操作。

利用兩個1×1的卷積的變換Fh和Fw

gh=σ(Fh(fh))

(6)

gw=σ(Fw(fw))

(7)

這里的σ是Sigomid激活函數(shù)，目的是降低模型的計算復(fù)雜度和計算開銷。

最后輸出為

(8)

如圖5所示，本文中將CA模塊嵌入Mobile Net V2的逆殘差模塊中，這既保證網(wǎng)絡(luò)的輕量化，又使得資源更加合理的分配，CA模塊能夠快速找到病害圖像中感興趣的區(qū)域，忽略背景和噪聲信息。具體來說CA模塊可以利用前文所述的Sigmoid的激活函數(shù)對卷積網(wǎng)絡(luò)學(xué)習(xí)的病害特征圖進(jìn)行加權(quán)系數(shù)和加權(quán)和的操作得到一個新的特征圖，并與原始特征圖進(jìn)行融合，這能夠有效聚焦病害區(qū)域并抑制噪聲和背景信息，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

圖5 嵌入CA模塊

1.3 TanhExp激活函數(shù)

在對視覺任務(wù)有著實(shí)時性要求的移動神經(jīng)網(wǎng)絡(luò)或輕量化模型中，神經(jīng)網(wǎng)絡(luò)的參數(shù)比傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)要小得多，因此往往性能也受到限制。本文將一種適用于輕量化神經(jīng)網(wǎng)絡(luò)的激活函數(shù)加入MobileNet V2中，使模型收斂速度加快，分類性能提升的同時還提升了模型的魯棒性和泛化性。TanhExp激活函數(shù)如圖6所示。

圖6 TanhExp 和Relu激活函數(shù)

TanhExp函數(shù)表達(dá)式如下

f(x)=xtanh(ex)

(9)

其中，tanh代表雙曲線正切函數(shù)

(10)

盡管Relu激活函數(shù)因其可以有效避免梯度消失和加快學(xué)習(xí)速度而被廣泛使用，但仍被研究人員懷疑Relu激活函數(shù)是否是所有情況的最佳方案。近年來隨著研究的深入，人們發(fā)現(xiàn)Relu激活函數(shù)存在幾個缺點(diǎn)。如圖所示Relu激活函數(shù)是非負(fù)激活函數(shù)，因此它具有大于零的均值，這可能導(dǎo)致之后的網(wǎng)絡(luò)層出現(xiàn)偏差。其次Relu激活函數(shù)是硬截斷，其負(fù)半軸完全為0可能會出現(xiàn)對數(shù)據(jù)沒有激活作用的問題[9]。與Relu激活函數(shù)相比TanhExp有著以下優(yōu)點(diǎn)：

(1)在正半軸輸入大于1的時候，輸出和輸入可近似為線性變換，這在訓(xùn)練中是合理的。

(2)與Relu相比TanhExp有著更接近于零的梯度，可以加速網(wǎng)絡(luò)的參數(shù)更新，反向傳播時神經(jīng)網(wǎng)絡(luò)可以更新參數(shù)如下式

(11)

在圖像分類中使用交叉熵?fù)p失如下

(12)

(13)

因此，梯度稍大的時候，權(quán)值更新較快，收斂速度也快。但是當(dāng)梯度過大時，交叉熵?fù)p失達(dá)不到全局最小值從而導(dǎo)致網(wǎng)絡(luò)不收斂。因此TanhExp的設(shè)計是合理的。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的數(shù)據(jù)集來自Kaggle的PlantifyDr[14]農(nóng)作物病蟲害圖像。

PlantifyDr數(shù)據(jù)集融合了多個數(shù)據(jù)集和多種數(shù)據(jù)增強(qiáng)，因此不進(jìn)行額外的數(shù)據(jù)增強(qiáng)。數(shù)據(jù)集包含蘋果、玉米和番茄等10種作物的10種健康狀態(tài)和27種病蟲害。本文所用數(shù)據(jù)集農(nóng)作物病蟲害圖像共124 636張。劃分訓(xùn)練集有112 191張，驗(yàn)證集有12 445張。

同時為了更好驗(yàn)證論文提出的算法在真實(shí)環(huán)境下的先進(jìn)性，我們在Turkey-PlantDataset[15]數(shù)據(jù)集中進(jìn)行驗(yàn)證實(shí)驗(yàn)。Turkey-PlantDataset數(shù)據(jù)集15種病害其中訓(xùn)練集3562張，驗(yàn)證集885張。因?yàn)檎鎸?shí)環(huán)境下的病害數(shù)據(jù)集的采集較為困難，所以Turkey-PlantDataset的圖像數(shù)量較少。

如圖7所示，PlantifyDr數(shù)據(jù)集農(nóng)作物種類較多且病害種類較為齊全，且有部分野外環(huán)境下的病害圖像，這更適應(yīng)于模型的實(shí)際部署。因此最終的APP部署中將用PlantifyDr訓(xùn)練好的模型文件部署至移動端APP中。

圖7 PlantifyDr和Turkey-PlantDataset數(shù)據(jù)集示例

2.2 評估指標(biāo)

本文采用分類準(zhǔn)確率(Accuracy)和召回率(Recall)來評估模型分類精度和召回率

(14)

(15)

TP表示正樣本被正確地劃分為正樣本的個數(shù)；FP表示負(fù)樣本被錯誤地劃分為正樣本的個數(shù)；FN表示正樣本被錯誤地劃分為負(fù)樣本的個數(shù)；TN表示負(fù)樣本被正確地劃分為負(fù)樣本的個數(shù)。

2.3 實(shí)驗(yàn)環(huán)境和超參數(shù)設(shè)置

本文使用的實(shí)驗(yàn)環(huán)境：python 3.8和pytorch的深度學(xué)習(xí)框架，CPU為Intel(R)Xeon(R)W-2235 CPU @ 3.80 GHz，GPU為NVIDIA GeForce GTX 2080Ti，顯存11 GB，操作系統(tǒng)為Windows 10。使用交叉熵?fù)p失函數(shù)作為損失函數(shù)，訓(xùn)練期間的初始學(xué)習(xí)率和批次大小分別為0.002和16。迭代次數(shù)(Epoch)為100。

2.4 網(wǎng)絡(luò)模型對比實(shí)驗(yàn)

將本文提出的改進(jìn)型MobileNet V2、MobileNet V2、MobileNet V3[16]、ResNet50、DenseNet 121[17]等模型的TOP 1精度和召回率進(jìn)行對比見表2。

表2 模型對比實(shí)驗(yàn)

如表2所示在TOP 1的精度下，本文提出的算法在實(shí)驗(yàn)室環(huán)境中的數(shù)據(jù)集中優(yōu)于其基線網(wǎng)絡(luò)MobileNet V2 0.83%，在真實(shí)環(huán)境的數(shù)據(jù)集中領(lǐng)先2.6%。這是因?yàn)樵诓『Φ募?xì)粒度圖像分類中，注意力機(jī)制能夠更好地關(guān)注病害特征及其區(qū)域，同時較好地抑制圖像中的復(fù)雜背景和噪聲。在同為輕量化網(wǎng)絡(luò)的MobileNet V3-large中，本文的算法領(lǐng)先10.13%。這是因?yàn)镸obileNet V3的設(shè)計中限制計算量和參數(shù)量之后算法不可避免得在細(xì)粒度分類中的表現(xiàn)較差，但在真實(shí)環(huán)境下的小數(shù)據(jù)集中表現(xiàn)良好，這是因?yàn)檩p量化的MobileNet V3模型對大數(shù)據(jù)集擬合能力不足，同時MobileNet V3中默認(rèn)加入SE注意力模塊，使得網(wǎng)絡(luò)可以忽略復(fù)雜噪聲。在深度卷積神經(jīng)網(wǎng)絡(luò)中，ResNet因?yàn)槠錃埐钸B接機(jī)制，能夠重用特征，取得較高的準(zhǔn)確率。本文算法比ResNet 50略高一點(diǎn)，但是ResNet 50卻有著90.2 MB的模型規(guī)模，這顯然是不適合今后部署于移動端或其它邊緣設(shè)備之中。同樣DenseNet 121的模型規(guī)模和檢測準(zhǔn)確率在兩種數(shù)據(jù)集中都不及本文算法。在真實(shí)環(huán)境下的Turkey-PlantDataset數(shù)據(jù)集中本文設(shè)計的算法相比于理想條件下的PantifyDr準(zhǔn)確率領(lǐng)先較多。在VGG16、GooLeNet等傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中，本文算法在真實(shí)環(huán)境下的數(shù)據(jù)集中明顯領(lǐng)先，進(jìn)一步驗(yàn)證本文算法的魯棒性和泛化性，更適用于真實(shí)環(huán)境的病害檢測。同時本文所提出的算法在召回率(Recall)指標(biāo)中依舊表現(xiàn)良好，在兩種數(shù)據(jù)集中均領(lǐng)先其它網(wǎng)絡(luò)。

2.5 注意力模塊對比實(shí)驗(yàn)

將本文提出的CA與SE、CBAM等模塊進(jìn)行對比。表3中所有的注意力模塊均與CA模塊放在同一位置，并且激活函數(shù)都是相同。

表3 注意力模塊對比實(shí)驗(yàn)

如表3所示在MobileNet V2中加入上表的注意力模塊之后，本文的CA模塊的在PlantifyDr數(shù)據(jù)集中分別比SE、CBAM、SK、GE-θ模塊高出0.14%、0.12%、0.11%、0.19%，在Turkey-PlantDataset數(shù)據(jù)集中則分別領(lǐng)先2.36%、1.35%、2.32%、1.23%。這驗(yàn)證了加入的CA模塊的先進(jìn)性。在加入注意力模塊之后的MobileNet V2不可避免得增加了模型規(guī)模，但是加入輕量化CA模塊之后的模型大小也只有10.6 MB。

2.6 模型精度和收斂速度

本文對比加入TanhExp激活函數(shù)MobileNet V2和原生網(wǎng)絡(luò)的激活函數(shù)(Relu)結(jié)果見表4。

表4 激活函數(shù)對比實(shí)驗(yàn)

如表4所示，在MobileNet中將Relu激活函數(shù)替換為TanhExp激活函數(shù)后，模型的驗(yàn)證準(zhǔn)確率在兩個數(shù)據(jù)集中均有提升，在真實(shí)環(huán)境下的PlantDiseaseNet數(shù)據(jù)集中提升較為明顯。這說明TanhExp激活函數(shù)在有噪聲的圖像數(shù)據(jù)中相對于Relu激活函數(shù)有較強(qiáng)的魯棒性和泛化性。

如圖8所示，在加入TanhExp激活函數(shù)的MobileNet V2在PlantifyDr數(shù)據(jù)集中的訓(xùn)練損失曲線一直低于原生Relu 激活函數(shù)的MobileNet V2，這驗(yàn)證了TanhExp加速模型的學(xué)習(xí)和收斂過程。

圖8 MobileNet V2與MobileNet V2-TanhExp的訓(xùn)練損失

如圖9所示，在加入TanhExo激活函數(shù)的MobileNet V2在PlantifyDr數(shù)據(jù)集中的驗(yàn)證損失曲線在前幾個Epoch的驗(yàn)證損失就遠(yuǎn)低于原生Relu激活函數(shù)的MobileNet V2，并且波動幅度較小，這驗(yàn)證了TanhExp激活函數(shù)增強(qiáng)了模型的泛化能力和魯棒性，為部署于移動端APP中更為實(shí)際的應(yīng)用提供了良好的抗噪能力。

圖9 MobileNet V2 與MobileNet V2-TanhExp的驗(yàn)證損失

3 模型移動端部署

為了將深度學(xué)習(xí)的模型較好應(yīng)用于實(shí)際的農(nóng)業(yè)生產(chǎn)生活中，我們開發(fā)了基于Android系統(tǒng)的農(nóng)作物病害檢測的APP。將訓(xùn)練好的模型部署至華為云服務(wù)器，并通過APP的拍攝和上傳圖片功能將需要預(yù)測的圖片路由至服務(wù)器中進(jìn)行推理。如圖10所示，我們開發(fā)的病害檢測的APP能夠準(zhǔn)確識別PlantifyDr數(shù)據(jù)集中不同作物的不同病害，并且推理速度較快。此外本文設(shè)計的模型較為輕量，方便移動端部署。

圖10 農(nóng)作物病害檢測APP應(yīng)用展示

4 結(jié)束語

本文針對多種農(nóng)作物病害識別分類的準(zhǔn)確率低，難以聚焦病害區(qū)域等問題提出加入坐標(biāo)注意力模塊的 CA-MobileNet V2。實(shí)驗(yàn)結(jié)果表明我們提出的模型同時兼具輕量化與高準(zhǔn)確率的特點(diǎn)。在復(fù)雜環(huán)境下的病害識別中表現(xiàn)更為優(yōu)異。針對傳統(tǒng)深度學(xué)習(xí)模型魯棒性和泛化能力差等特點(diǎn)，在模型中加入TanhExp激活函數(shù)，實(shí)驗(yàn)結(jié)果表明，加入激活函數(shù)的模型具有更快的收斂速度，和更高的精度。針對農(nóng)業(yè)的實(shí)際生產(chǎn)生活中的病害檢測困難，本文將深度學(xué)習(xí)模型部署至移動端APP中，極大地方便了種植者辨識作物病害。