徐 巖，李曉振，吳作宏，高 照，劉 林

(山東科技大學(xué) 電子信息工程學(xué)院，山東 青島，266590)

馬鈴薯與小麥、稻谷、玉米、高粱并稱為世界五大作物，其塊莖含有大量淀粉，能為人體提供豐富的熱量，且富含蛋白質(zhì)、氨基酸、多種維生素和礦物質(zhì)，其維生素含量是所有糧食作物中最全的。然而，各種病害嚴(yán)重制約馬鈴薯產(chǎn)量，如世界公認(rèn)的馬鈴薯第一大病害——馬鈴薯晚疫病，影響我國的種植面積約為200萬hm2，致使馬鈴薯產(chǎn)量在一般年份減少10%～30%，嚴(yán)重時可達(dá)50%[1]。我國馬鈴薯的種植相對分散，相關(guān)從業(yè)人員知識水平參差不齊，極大制約著馬鈴薯病害的防治。

近年來，隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，研究人員試圖借助機(jī)器學(xué)習(xí)技術(shù)識別作物病害，提高病害防治水平。傳統(tǒng)識別算法通常包括預(yù)處理、特征選擇、設(shè)計(jì)特征提取器和設(shè)計(jì)分類器等步驟，相對繁瑣且困難。例如對圖像顏色、形狀、紋理等特征[2-3]的提取，需要依據(jù)先驗(yàn)知識和人工工程來實(shí)現(xiàn)。而深度學(xué)習(xí)通過一種通用學(xué)習(xí)過程，從數(shù)據(jù)中學(xué)習(xí)如何提取圖像特征，克服了傳統(tǒng)方法的缺陷。Lecun等提出的LeNet網(wǎng)絡(luò)[4]奠定了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。Krizhevsky等[5]證明了卷積神經(jīng)網(wǎng)絡(luò)在復(fù)雜模型下的有效性，展開了深度學(xué)習(xí)的研究熱潮。新的卷積神經(jīng)網(wǎng)絡(luò)模型不斷被提出，例如VGG、GoogleNet和ResNet等網(wǎng)絡(luò)模型[6-8]。

人類的視覺神經(jīng)系統(tǒng)每秒所接受的視覺信息高達(dá)千萬比特，但視覺神經(jīng)系統(tǒng)的資源是有限的，為此視覺神經(jīng)系統(tǒng)會先對信息進(jìn)行快速掃描，以濾除無用信息，進(jìn)而將更多資源投入到關(guān)注目標(biāo)所在區(qū)域，這便是視覺注意力機(jī)制。通過在神經(jīng)網(wǎng)絡(luò)中搭建注意力機(jī)制，使網(wǎng)絡(luò)忽略無關(guān)信息并關(guān)注重點(diǎn)信息，可提升識別效率與效果[9]。Hu等[10]指出不同特征圖所含的特征信息不同，具備不同的重要程度，可以將注意力作用于特征圖以提升分類效果。Wang等[11]指出簡單地堆疊注意力模塊會造成特征值的消減，可將模型分為注意力通路和卷積通路來解決此問題。

2016年，劉鑫等[12]使用多光譜相機(jī)以及波段指數(shù)法識別馬鈴薯葉部是否患病，識別率達(dá)到了92.7%，但該方法依賴于多光譜相機(jī)。2017年，李艷[13]使用Fisher準(zhǔn)則加人工神經(jīng)網(wǎng)絡(luò)對馬鈴薯4類病害進(jìn)行識別，平均識別率為87.04%，但識別效果需進(jìn)一步提升。深度學(xué)習(xí)的體系結(jié)構(gòu)是簡單模塊的多層棧，通過組合足夠多的簡單非線性變換，實(shí)現(xiàn)對復(fù)雜變換的學(xué)習(xí)。對于卷積神經(jīng)網(wǎng)絡(luò)而言，通過卷積和激活函數(shù)實(shí)現(xiàn)簡單非線性變換，堆疊卷積(加深網(wǎng)絡(luò)深度)可提升識別效果，但也會產(chǎn)生更多的參數(shù)量和計(jì)算量，使得訓(xùn)練網(wǎng)絡(luò)所需數(shù)據(jù)量和時間顯著增加。本研究設(shè)計(jì)了基于注意力和殘差思想的深度卷積神經(jīng)網(wǎng)絡(luò)，通過注意力模塊，增強(qiáng)對目標(biāo)信息的關(guān)注，提高識別率，而不只是簡單的加深網(wǎng)絡(luò)深度。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)簡介

實(shí)驗(yàn)采用的馬鈴薯葉部病害圖像基于Plant Village Dataset[14]構(gòu)建。為實(shí)現(xiàn)對馬鈴薯葉部病害程度的識別，將馬鈴薯葉部病害圖像細(xì)分為健康、早疫病初期、早疫病晚期、晚疫病初期和晚疫病晚期，區(qū)分依據(jù)如下[15]。

1) 馬鈴薯早疫病初、晚期的癥狀：早疫病的葉部病斑有同心輪紋，濕度大時病斑上出現(xiàn)黑色霉層。發(fā)病初期葉面出現(xiàn)黑褐色水漬狀病斑，晚期病斑相連，葉片枯黃；

2) 馬鈴薯晚疫病初、晚期的癥狀：晚疫病的葉部病斑無同心輪紋，濕度大時病斑上出現(xiàn)白色霉層。發(fā)病初期一般在葉尖或葉緣出現(xiàn)綠褐色水浸狀病斑，晚期病斑擴(kuò)展到主脈或葉柄，葉片萎蔫下垂。

馬鈴薯葉部病害圖像如圖1所示。

圖1 馬鈴薯葉部圖像示例

為擴(kuò)增數(shù)據(jù)集，按照上述依據(jù)篩選、分類圖像后，采用旋轉(zhuǎn)、鏡像、調(diào)整對比度和隨機(jī)調(diào)整縱橫比(3/4～4/3)等方法擴(kuò)增圖像數(shù)量，最后各類樣本圖像的比例約為5∶4∶5∶4∶4，共10 032張。

1.2 網(wǎng)絡(luò)模型設(shè)計(jì)

使用Python下的開源機(jī)器學(xué)習(xí)框架PyTorch完成網(wǎng)絡(luò)模型的構(gòu)建，PyTorch追求最少的封裝，讓用戶盡可能專注于實(shí)現(xiàn)自己的想法，是一個簡潔且高效快速的框架，已被廣泛應(yīng)用在機(jī)器學(xué)習(xí)和其他數(shù)學(xué)密集型應(yīng)用中。

模型在讀取圖像數(shù)據(jù)后，首先對圖像進(jìn)行隨機(jī)裁剪，并調(diào)整為224×224像素大小，然后進(jìn)行直方圖均衡化處理，將原始圖像的灰度值從集中分布在某個灰度區(qū)間變成在全部灰度范圍內(nèi)均勻分布，減輕光照條件對圖像識別造成的干擾。最后經(jīng)標(biāo)準(zhǔn)化處理后輸入到卷積層進(jìn)行特征提取。

通過堆疊卷積加深網(wǎng)絡(luò)深度，會導(dǎo)致模型的識別精度先升后降(退化問題)。殘差結(jié)構(gòu)通過將輸入x傳到輸出作為初始結(jié)果，使得輸出結(jié)果為H(x)=F(x)+x，因此卷積的學(xué)習(xí)目標(biāo)變?yōu)镕(x)[8]。根據(jù)反向傳播的鏈?zhǔn)椒▌t可以得到：

(1)

本研究基于注意力思想及殘差思想提出了殘差注意力網(wǎng)絡(luò)RANet(residual attention network)，對馬鈴薯葉部病害進(jìn)行識別。通過構(gòu)建注意力模塊實(shí)現(xiàn)注意力機(jī)制，該注意力模塊包含兩部分，一是并行池化的通道注意力模塊(圖2)，二是并行池化的空間注意力模塊(圖3)。

通道注意力模塊首先對輸入特征圖進(jìn)行全局池化操作(h×w×c?1×1×c)，其中平均池化操作得到的特征值主要描述圖像的背景信息，最大池化操作得到的特征值主要描述圖像的紋理信息，同時采用兩種池化操作，可更有效地描述特征通道所含信息。在通道維度拼接兩組池化輸出后，使用MLP映射為表達(dá)各個通道重要度的權(quán)值，然后借助Sigmod函數(shù)將權(quán)值范圍約束到(0,1)區(qū)間，最后對輸入特征圖進(jìn)行加權(quán)，以增強(qiáng)病害區(qū)域的表達(dá)，抑制無用信息的表達(dá)，提高病害特征在決策中的貢獻(xiàn)，提升識別效果。

空間注意力模塊首先對輸入特征圖在通道維度上進(jìn)行池化操作(h×w×c?h×w×1)，以減少增加的參數(shù)量。然后使用卷積提取信息，得到描述特征圖中特征空間位置信息的Mask map，經(jīng)Sigmod函數(shù)對該Mask map進(jìn)行約束后，將Mask map作用于特征圖，得到根據(jù)特征空間位置信息進(jìn)行約束增強(qiáng)后的新特征圖，以增強(qiáng)病害區(qū)域的信息表達(dá)，抑制其余區(qū)域的信息表達(dá)。

結(jié)合注意力模塊、捷徑連接和卷積塊構(gòu)建殘差注意力卷積(residual attention convolutional,RAC)層，如圖4。注意力模塊位于卷積之前，為先通過注意力模塊“掃描”輸入的特征圖，以增強(qiáng)目標(biāo)(病害)區(qū)域的表達(dá)能力，再通過3個連續(xù)的卷積提取圖像特征，更符合視覺注意力機(jī)制，而且可減少注意力模塊增加的參數(shù)量。通過構(gòu)建捷徑連接①②③④(圖4)，可保證梯度的反向傳播，避免網(wǎng)絡(luò)退化問題，并使注意力模塊、卷積塊及整個殘差注意力卷積塊均可被構(gòu)造為恒等映射，以保證注意力機(jī)制的引入不會降低網(wǎng)絡(luò)的精度。而且網(wǎng)絡(luò)可通過構(gòu)造恒等映射，實(shí)現(xiàn)注意力模塊和卷積部分的自適應(yīng)組合。此外注意力模塊會對特征值進(jìn)行(0,1)范圍內(nèi)的加權(quán)，造成特征值的消減，而捷徑連接①②將注意力模塊的輸入值作為初始輸出值，可避免此問題。

圖3 并行池化的空間注意力模塊

圖4 殘差注意力卷積層

依據(jù)ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建殘差注意力網(wǎng)絡(luò)RANet結(jié)構(gòu)如圖5所示，其中Down RAC表示RAC模塊中3×3卷積的步長為2(RAC中卷積的步長默認(rèn)為1)，對特征圖進(jìn)行下采樣以保障RAC提取的特征轉(zhuǎn)變?yōu)楦邔哟?、更抽象的特征?/p>

圖5 網(wǎng)絡(luò)結(jié)構(gòu)

采用SGD(stochastic gradient descent )優(yōu)化器訓(xùn)練網(wǎng)絡(luò)參數(shù)，并引入Momentum項(xiàng)抑制SGD的震蕩。普通的SGD中，參數(shù)的迭代更新公式為：

W=W-αdW，

(2)

b=b-αdb。

(3)

引入Momentum后，迭代更新公式為：

vdw=βvdW+(1-β)dW，

(4)

vdb=βvdb+(1-β)db，

(5)

W=W-αvdW,b=b-αv。

(6)

其中，W為權(quán)值，b為偏置值，α(學(xué)習(xí)率)和β為自行設(shè)置的超參數(shù)，β的值決定上次的更新值對本次更新影響。

引入Momentum后，網(wǎng)絡(luò)參數(shù)的每次更新都會考慮上次的更新值，加強(qiáng)梯度方向與上一次梯度方向相同參數(shù)的更新，削減梯度方向與上一次梯度方向不同的參數(shù)的更新[17]，以增加穩(wěn)定性和提升學(xué)習(xí)速度，使網(wǎng)絡(luò)能在一定程度上擺脫局部最優(yōu)解。模型相關(guān)超參數(shù)設(shè)置如下：學(xué)習(xí)率為0.01，采用指數(shù)衰減調(diào)整學(xué)習(xí)率大小，Momentum的參數(shù)值為0.9，權(quán)重衰減的參數(shù)值為1×10-4，每個批次使用32張圖像進(jìn)行訓(xùn)練。

2 結(jié)果與分析

首先將圖像數(shù)據(jù)按照7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集以及測試集。然后使用訓(xùn)練集和驗(yàn)證集訓(xùn)練和驗(yàn)證網(wǎng)絡(luò)模型。最后使用測試集測試得到的網(wǎng)絡(luò)模型，得到測試結(jié)果。各類識別率的計(jì)算方式為：該類樣本預(yù)測正確的數(shù)目/該類樣本的總數(shù)目。

在通道注意力模塊中，MLP將表達(dá)特征通道所含信息的特征向量變換為表達(dá)特征通道重要度的權(quán)值向量，在其神經(jīng)元數(shù)目影響著注意力模塊的參數(shù)量和其對準(zhǔn)確率的提升效果。通常會按照一定比例縮放輸入特征向量的長度，以確定MLP的神經(jīng)元數(shù)目，該方案下隨著縮放比例的降低，參數(shù)量增加，準(zhǔn)確率提升[10]。文獻(xiàn)[4]指出，深度學(xué)習(xí)采用了分布式特征表示，通過學(xué)習(xí)分布式特征表示，泛化適應(yīng)新學(xué)習(xí)到的特征值的組合(例如，N元特征有2N種可能的組合)。因此取輸入特征向量長度的對數(shù)值作為MLP的神經(jīng)元數(shù)目，進(jìn)而在保證對輸入進(jìn)行有效變換的同時減少M(fèi)LP的參數(shù)量。

表1 不同MLP下的識別率和參數(shù)量

表2 不同組合方式下的識別率和參數(shù)量

對不同MLP參數(shù)下的識別率和參數(shù)量進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示，其中N為MLP的神經(jīng)元數(shù)目，L為輸入特征向量的長度，參數(shù)量使用Python中的Thop庫計(jì)算得出。

可以看出，在參數(shù)量相近時，采用對數(shù)方法取值的識別效果更好；而識別效果相近時，采用對數(shù)方法可以有效控制參數(shù)量的增加。

進(jìn)一步進(jìn)行實(shí)驗(yàn)，對比不同組合方式下的識別率和參數(shù)量，首先驗(yàn)證通道注意力模塊，然后驗(yàn)證空間注意力模塊，最后驗(yàn)證卷積的組合方式與其它組合順序的性能差異，其中CA表示通道注意力模塊，SA表示空間注意力模塊。實(shí)驗(yàn)結(jié)果如表2所示。

由表2知，相比于卷積+SA+CA方案，CA+SA+卷積方案的參數(shù)量更少，為25.95 M；識別率更高，提升了1.52%，達(dá)到了93.86%。這是因?yàn)榫矸e+SA+CA方案先提取特征再區(qū)分特征的重要性，而CA+SA+卷積方案先區(qū)分輸入信息的重要性，再提取特征，可以將更多的注意力(網(wǎng)絡(luò)資源)作用于病害特征上，可以更細(xì)致地提取病害特征，提高識別效果。相對于SA+CA+卷積，CA+SA+卷積的識別率由93.38%提升到了93.86%，提升了0.48%，這是由于在空間注意力模塊中用以對輸入特征圖進(jìn)行約束增強(qiáng)的Mask map是基于所有特征圖構(gòu)建的，而CA+SA+卷積可先依據(jù)特征圖所含信息對輸入進(jìn)行調(diào)整，因此輸入到空間注意力模塊的特征圖是在通道層面上根據(jù)特征圖所含信息進(jìn)行了約束增強(qiáng)。所以在構(gòu)建Mask map時，含有病害信息的特征圖對Mask map的貢獻(xiàn)更大，使得Mask map能更好的對病害特征的空間位置進(jìn)行描述，進(jìn)而將更多的網(wǎng)絡(luò)資源作用于病害區(qū)域，提升卷積部分提取病害特征的能力。即，如果通道注意力模塊沒有被構(gòu)建為恒等映射，那么其會提升后面的空間注意力模塊的性能，進(jìn)而提升模型整體的識別效果。

由表3知，RANet模型對各類病害識別效果最好，平均識別率高出其它模型2.46%～16.13%。在單個類別上，識別率高出其它模型1.42%～26.7%。相對于VGG16、ShuffleNet和MobileNet模型，RANet和ResNet50模型構(gòu)筑深層網(wǎng)絡(luò)，取得了明顯高于其它模型的識別效果。而VGG16、ShuffleNet和MobileNet為相對淺層的網(wǎng)絡(luò)，特征提取能力較弱，所以對葉部健康的識別率較高，但對病害的識別率相對較低。相對于ResNet模型，RANet模型利用注意力機(jī)制將平均識別率提高了2.46%，達(dá)到了93.86%，對早疫病初期、早疫病晚期、晚疫病初期和晚疫病晚期的識別率提升了1.42%～4.86%。

表3 不同模型的識別率

對比使用混淆矩陣可視化識別效果前三的RANet、ResNet50和VGG16在測試集上的表現(xiàn)，進(jìn)一步分析RANet的表現(xiàn)?；煜仃囀菣C(jī)器學(xué)習(xí)中總結(jié)分類模型預(yù)測結(jié)果的情形分析表，行表示樣本的真實(shí)類別，列表示樣本的預(yù)測類別，表中每個值為將行類別預(yù)測為列類別的概率，對角線的值為預(yù)測正確的概率。

圖6 混淆矩陣

由圖6可以看出，相對于VGG模型的12種錯誤識別，RANet和ResNet50模型只有6種錯誤識別，錯誤率比VGG模型低1%～12.98%，其錯誤識別主要發(fā)生在對病害時期的區(qū)分上。RANet模型的各個識別錯誤率均低于ResNet50模型，這得益于注意力機(jī)制減少了對無用區(qū)域(不利于區(qū)分病害的區(qū)域)的學(xué)習(xí)，將更多的資源作用于病害區(qū)域，可更細(xì)致地提取病害特征，提高病害區(qū)域?qū)Q策的貢獻(xiàn)，提升識別效果。RANet模型對病害的錯誤識別主要發(fā)生在對初期和晚期的識別上，這是因?yàn)椴『Τ跗诘讲『ν砥诘陌l(fā)展是一個連續(xù)過程，兩者的界限相對模糊。另一方面，病害的一些特征會存在于不同時期，因此需要更細(xì)致地區(qū)分特征或使用更少的特征實(shí)現(xiàn)識別，增大了識別難度。

圖7 參數(shù)量與識別速度

將識別效果前三的VGG、ResNet50和RANet模型的參數(shù)量及識別速度繪制為百分比堆積柱狀圖(圖7)?？梢钥闯?，VGG16的參數(shù)量占三者參數(shù)量之和的72.87%，達(dá)到了138.56 M，而ResNet50和RANet分別僅為25.56和25.95 M，這主要得益于1×1卷積的使用。先使用1×1卷積降低特征圖的通道數(shù)，再使用3×3卷積提取特征，最后再由1×1卷積增加特征圖通道數(shù)，既可以加深網(wǎng)絡(luò)的深度，又能夠減少網(wǎng)絡(luò)的參數(shù)量。從識別速度上看，VGG16的平均識別速度為114 ms/Image，而RANet和Resnet50的平均識別速度分別為73 ms/Image和70 ms/Image。相比Resnet50，RANet的參數(shù)量增加了0.39 M，識別速度相差3 ms/Image，而平均識別率提高了2.46%，達(dá)到93.86%，這得益于對池化操作和對數(shù)取值方法的使用。在借助注意力模塊提升識別效果的同時，有效控制了注意力模塊的參數(shù)量。綜合考慮識別率、速度和參數(shù)量，RANet的表現(xiàn)更好。

根據(jù)混淆矩陣計(jì)算RANet的精確率，精確率表示預(yù)測為正類的樣本中有多少真正為正類，其計(jì)算方式為：正類預(yù)測為正類/(正類預(yù)測為正類+負(fù)類預(yù)測為正類)。

表4 各個類別的RANet 識別精確率

表5 與其他方法的對比

由表4可知，從識別結(jié)果角度而言，當(dāng)RANet給出的識別結(jié)果為早疫病初期和晚疫病晚期時，精確率為92.90%和93.77%；識別結(jié)果為晚疫病初期時，精確率最低，為87.87%；識別結(jié)果為早疫病晚期時，精確率最高，為96.43%。

最后，將本研究與前人研究的識別率進(jìn)行對比(表5)。由表5可知，本研究的識別效果最好，且克服了傳統(tǒng)方法依賴于人工提取特征的困難。

3 結(jié)論

馬鈴薯葉部病害識別是機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的重要應(yīng)用方向之一。本研究基于注意力和殘差思想構(gòu)建了RANet模型，實(shí)現(xiàn)了馬鈴薯葉部病害的識別。

RANet的平均識別率為93.86%，比Resnet50、VGG16、ShuffleNet和MobileNet模型提升了1.42%～26.7%。單個類別的識別率同樣高于其它模型的識別率且均不低于89.66%。在單張圖片的識別速度上，RANet模型比VGG模型快41 ms，通過對注意力模塊參數(shù)量的有效控制，使得RANet的識別速度僅與ResNet50相差3 ms。

但目前模型所能識別的病害較少，需進(jìn)一步擴(kuò)充。且如果同一葉片患有多種病害，模型將無法有效識別，需進(jìn)一步研究。