曾偉輝 唐 欣 胡根生* 梁 棟

(1.安徽大學(xué) 農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國家地方聯(lián)合工程研究中心，合肥 230601；2.安徽大學(xué) 互聯(lián)網(wǎng)學(xué)院，合肥 230039;3.科大國創(chuàng)軟件股份有限公司，合肥 230088)

水稻害蟲危害是影響水稻產(chǎn)量的重要因素。加強(qiáng)水稻害蟲診斷和防治，不僅對農(nóng)村地區(qū)經(jīng)濟(jì)發(fā)展具有重大意義，而且關(guān)系到農(nóng)業(yè)穩(wěn)定發(fā)展和國家糧食安全。

傳統(tǒng)農(nóng)作物害蟲診斷主要通過農(nóng)業(yè)專家識別[1]，既費時費力，又容易產(chǎn)生誤判。近年來，深度學(xué)習(xí)技術(shù)迅速發(fā)展，較多研究采用基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)的識別方法，使用諸如AlexNe[2]、VGG16[3]、GoogLeNet[4]、Faster R-CNN[5]等對病蟲害進(jìn)行識別[6-9]；也有研究提出基于CNN的改進(jìn)方法，諸如引入滑動窗口[10]、遷移學(xué)習(xí)[11]等，一定程度上提高了CNN的識別率。然而，訓(xùn)練一個CNN網(wǎng)絡(luò)需要大量數(shù)據(jù)，如liu等[12]在試驗中使用了88 670張實驗室環(huán)境下的16類水稻害蟲圖像，Lu等[13]收集了9 230張圖像用于小麥病害分類。在水稻田間，害蟲活動范圍大，拍攝過程較為困難[14]，能獲得圖像數(shù)據(jù)相對較少，難以滿足CNN的大數(shù)據(jù)集需求；而使用其他數(shù)據(jù)集遷移學(xué)習(xí)獲得的模型泛化能力弱，無法適應(yīng)實際環(huán)境的識別需求。另外，CNN會在池化層丟棄大量的信息，導(dǎo)致其對于圖像目標(biāo)中特征的組合方式和位置信息不敏感[15]，而特征組合方式和位置信息對于水稻害蟲識別是至關(guān)重要的。因此，在樣本數(shù)量不足及真實復(fù)雜背景條件下，目前基于CNN的識別方法很難滿足水稻害蟲識別實際應(yīng)用的性能需求。

針對實際中監(jiān)督數(shù)據(jù)的有限性，小樣本學(xué)習(xí)應(yīng)運而生[16]，從數(shù)據(jù)增廣、模型簡化和算法優(yōu)化等方面研究改進(jìn)方法，最終目標(biāo)是利用有限的數(shù)據(jù)集獲得良好的學(xué)習(xí)性能。在模型簡化和改進(jìn)方面，Hinton等[17]提出的膠囊網(wǎng)絡(luò)，能較為敏銳地提取圖像特征的位置信息以及組合方式，克服CNN的不足。很多研究[18-20]采用膠囊網(wǎng)絡(luò)進(jìn)行分類都達(dá)到了比CNN更好的性能，在處理復(fù)雜數(shù)據(jù)時具備更好的精度和收斂性。Baydilli等[21]證明在樣本量有限的情況下，膠囊網(wǎng)絡(luò)能達(dá)到較高的識別準(zhǔn)確率。Peng等[22]證明自注意力膠囊網(wǎng)絡(luò)能有效地捕捉詞的位置信息。注意力機(jī)制能夠?qū)斎氲牟煌糠仲x予不同的權(quán)重，關(guān)注目標(biāo)中的重要信息，提升模型性能[23]。Google Mind[24]團(tuán)隊提出在RNN模型上使用注意力機(jī)制來進(jìn)行圖像分類，并取得了很好的性能。梁星星等[25]證明了帶注意力機(jī)制的模型所需要的樣本量更少。因此，結(jié)合注意力機(jī)制的膠囊網(wǎng)絡(luò)既能克服CNN的不足，又能更好的關(guān)注目標(biāo)中的重要信息，有望解決真實復(fù)雜背景下少樣本水稻害蟲識別的實際應(yīng)用性能需求。

基于以上研究分析，本研究擬以常見的5種水稻害蟲為研究對象，采用一種基于卷積塊注意力模型和膠囊網(wǎng)絡(luò)的小樣本水稻害蟲識別方法，以期解決現(xiàn)有方法對復(fù)雜背景下的小樣本水稻害蟲識別精度不足的問題，實現(xiàn)真實復(fù)雜背景下小樣本水稻害蟲的精準(zhǔn)識別。

1 材料與方法

1.1 水稻害蟲圖像獲取

本試驗中農(nóng)田環(huán)境水稻害蟲圖像主要來源于由Xie等[26]在安徽省農(nóng)業(yè)科學(xué)院的試驗田等真實條件下收集的數(shù)據(jù)集。該數(shù)據(jù)集有40類作物害蟲圖像，共計4 500張，包含了大多數(shù)常見農(nóng)作物害蟲圖像。所有圖像均采用數(shù)碼相機(jī)(如佳能、尼康和移動設(shè)備)拍攝。為了消除光照變化的潛在負(fù)面影響，所有圖像都在田間采用均勻照明設(shè)置進(jìn)行預(yù)處理。本研究從中選取5種常見的水稻害蟲：稻赤斑沫蟬(Callitetixversicolor)、稻棘緣蝽(CletuspunctigerDallas)、黑尾葉蟬(Nephotettixbipunctatus)、稻綠蝽(Nezaraviridula)、稻黑蝽(Scotinopharalurida)，每類害蟲的圖片數(shù)量分別為146、159、62、164和117張。

此外，本研究還使用佳能EOS 80d彩色數(shù)碼相機(jī)補(bǔ)充拍攝了一些田間水稻害蟲的圖像，豐富了原有的數(shù)據(jù)集，以使得所用的模型更能適應(yīng)于多種實際環(huán)境害蟲圖像的識別。本試驗自行拍攝的圖像分辨率為6 000像素×4 000像素，拍攝地點位于安徽省無為縣襄安鎮(zhèn)，拍攝時間為2020年8月7日。由于真實自然場景下拍攝的害蟲數(shù)量較少，共拍攝了每類害蟲圖像10張。

由于訓(xùn)練深度學(xué)習(xí)模型需要大量的訓(xùn)練樣本，樣本數(shù)量不足可能會造成模型過擬合，降低識別精度[27]，本研究將隨機(jī)劃分得到的訓(xùn)練樣本水稻害蟲圖像旋轉(zhuǎn)90°、180°、270°、以及左右翻轉(zhuǎn)和上下翻轉(zhuǎn)，以實現(xiàn)樣本數(shù)量的擴(kuò)充。擴(kuò)充后的樣本數(shù)量雖然達(dá)不到訓(xùn)練CNN的理想樣本數(shù)的要求，但能有效提高小樣本下CNN的性能。各類別水稻害蟲的原始訓(xùn)練樣本數(shù)、擴(kuò)充后的訓(xùn)練樣本數(shù)及測試樣本數(shù)見表1。

表1 本研究中水稻害蟲種類和圖像數(shù)量Table 1 Species and quantities of rice pests in this study 張

1.2 小樣本水稻害蟲背景去除

1.2.1GrabCut算法

本研究使用的水稻害蟲圖像是在農(nóng)田環(huán)境下拍攝，圖像中存在水稻稻穗、枝葉等復(fù)雜的背景，若不進(jìn)行背景分割，這些復(fù)雜背景會參與害蟲圖像的特征提取和識別，可能會影響識別效果。將水稻害蟲主輪廓從水稻稻穗、枝葉等復(fù)雜的背景中分割出來，將有利于后續(xù)的害蟲識別。GrabCut[28]算法是一種高效的小樣本分割算法。傳統(tǒng)分割算法應(yīng)用紋理或邊界信息中的一種進(jìn)行分割，而GrabCut算法綜合利用了紋理及邊界2種信息進(jìn)行圖像分割，具有樣本數(shù)少，分割精度高等優(yōu)點。

使用GrabCut算法對水稻害蟲圖像進(jìn)行背景分割的主要實現(xiàn)步驟如下：

1)定義目標(biāo)矩形，劃分前景和背景：在水稻害蟲圖像中定義出包含害蟲目標(biāo)的矩形(不傾斜且完全包含害蟲目標(biāo)的最小矩形)，矩形外的區(qū)域被自動認(rèn)為是背景，并用背景中的數(shù)據(jù)來區(qū)分定義的矩形區(qū)域內(nèi)的前景和背景；

2)前景和背景的建模及標(biāo)記：用高斯混合模型GMM對前景和背景進(jìn)行建模，將未定義的像素標(biāo)記為可能的前景或背景；

3)前景和背景的概率設(shè)定：基于害蟲圖像每個像素之間的邊與周圍像素顏色上的相似性，給定其屬于前景或背景的概率；

4)前景和背景的分割：將每個像素與一個前景或背景節(jié)點相連接，若節(jié)點之間的邊的前景或背景屬性不同，則切斷邊，即可將害蟲圖像的前景與背景分割(圖1)。

圖1 GrabCut對水稻害蟲圖像去背景效果Fig.1 Effect of Grabcut on background removal of rice pest image

1.2.2水稻害蟲去背景后的優(yōu)化與調(diào)整

使用GrabCut去背景后的圖像，可能存在較多冗余背景，且害蟲所在圖像部位也不盡相同，為了減小上述情況對害蟲識別準(zhǔn)確率的影響，通過閾值法確定水稻害蟲的范圍，選取包含害蟲的最小矩形對圖像進(jìn)行剪裁；通過填充部分背景將最小矩形圖片調(diào)整為正方形(正方形的邊長取最小矩形長和寬的最大值)，這樣處理是為了在去除多余黑色背景的同時確保圖像被resize時害蟲形狀不會發(fā)生扭曲變形；通過resize處理得到分辨率大小為128像素×128像素×3的模型輸入圖像。優(yōu)化和調(diào)整過程見圖2。

圖2 去背景后水稻害蟲圖像的優(yōu)化與調(diào)整Fig.2 Optimization and adjustment of pest image after background removal

1.3 小樣本水稻害蟲識別

1.3.1卷積塊注意力膠囊網(wǎng)絡(luò)

為了提高小樣本水稻害蟲的識別精度，本研究網(wǎng)絡(luò)架構(gòu)(圖3)在膠囊網(wǎng)絡(luò)的基礎(chǔ)上作了以下改進(jìn)：在卷積部分采用2個卷積層，以適應(yīng)128像素×128像素的輸入圖像；在2個卷積層之間插入CBAM注意力模塊[29]作為本試驗特征提取模塊的最終結(jié)構(gòu)，CBAM用于提高卷積層對水稻害蟲特征的提取能力。其中，2個卷積層均為3×3，濾波器步長設(shè)置為2，以使得最終輸入主膠囊層的特征分辨率壓縮至32像素×32像素，膠囊尺寸設(shè)置為32，動態(tài)路由迭代次數(shù)設(shè)置為4次。

圖3 基于卷積塊注意力模型和膠囊網(wǎng)絡(luò)的小樣本水稻害蟲識別網(wǎng)絡(luò)架構(gòu)Fig.3 Network architecture of rice pests identification with small sample size problems based on CBAM and capsule network

1.3.2膠囊網(wǎng)絡(luò)

與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，膠囊網(wǎng)絡(luò)對圖像中的位置、角度等信息更加敏感，輸出的向量也能更好的反應(yīng)圖像的各種狀態(tài)。因此，膠囊網(wǎng)絡(luò)使用較少的數(shù)據(jù)，就能達(dá)到很好的效果，較適合于本研究中的小樣本水稻害蟲識別。膠囊網(wǎng)絡(luò)由卷積層、主膠囊層和數(shù)字膠囊層組成。膠囊網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，對上一層得到的特征圖，用5組卷積核進(jìn)行卷積操作，得到5組特征圖；將5組特征圖都展成1維，并且對應(yīng)位置合并，即可得到2 592個膠囊；通過動態(tài)路由算法[30]得到數(shù)字膠囊層，數(shù)字膠囊層的模長大小即預(yù)測結(jié)果。

圖4 膠囊網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of capsule network

1.3.3注意力機(jī)制

運用在深度學(xué)習(xí)中的注意力機(jī)制與人類的注意力機(jī)制類似，皆從眾多信息中選擇出重點關(guān)注的信息，并投入更多的注意力資源[31]。本研究使用CBAM注意力機(jī)制，將其加入到膠囊網(wǎng)絡(luò)的特征提取過程中，實現(xiàn)對水稻害蟲重點信息的關(guān)注。

CBAM結(jié)合了通道注意力模塊和空間注意力模塊，分別在通道和空間位置上設(shè)置注意力機(jī)制，并且合并起來對特征進(jìn)行優(yōu)化(圖5)。通道注意力模塊(圖6)關(guān)注輸入圖像中有意義的內(nèi)容，空間注意力模塊(圖7)專注信息的位置，這2個注意力模塊可以按照并行或不同順序串行連接[29]。由于CBAM是輕量級模塊，將其運用到膠囊網(wǎng)絡(luò)中，在保留圖像信息并提升小樣本水稻害蟲識別準(zhǔn)確率的同時，不會增加過多的網(wǎng)絡(luò)參數(shù)。水稻害蟲圖像特征經(jīng)過CBAM處理后，輸出更具害蟲本質(zhì)特性的精細(xì)特征。

圖5 CBAM結(jié)構(gòu)Fig.5 Structure of CBAM

h,w,c分別為卷積核的高、寬和通道數(shù)，圖7同。h,w and c are the height, width and channel number of convolution kernel, respectively. Same as Fig.7.圖6 CBAM中的通道注意力模塊流程Fig.6 Flow chart of channel attention module in CBAM

圖7 CBAM中的空間注意力模塊流程Fig.7 Flow chart of spatial attention module in CBAM

1.3.4小樣本水稻害蟲識別步驟

本研究中小樣本水稻害蟲識別的主要步驟(圖8)如下：

圖8 水稻害蟲識別流程Fig.8 Flow chart of rice pest identification

1)水稻害蟲圖像獲取。選取水稻害蟲圖像，將公共數(shù)據(jù)集與自己拍攝的數(shù)據(jù)集合并構(gòu)成新的數(shù)據(jù)集。

2)水稻害蟲圖像背景分割。使用GrabCut對水稻害蟲圖像進(jìn)行背景分割，并將結(jié)果進(jìn)行優(yōu)化，得到去除復(fù)雜水稻背景后的水稻害蟲圖像。

3)將去背景后的水稻害蟲resize成128像素×128像素的圖像，并隨機(jī)分為訓(xùn)練集和測試集。

4)利用水稻害蟲圖像訓(xùn)練集來訓(xùn)練本研究提出的卷積塊注意力膠囊網(wǎng)絡(luò)，得到小樣本水稻害蟲識別模型。

5)將測試集中的害蟲圖像輸入訓(xùn)練好的小樣本水稻害蟲識別模型，獲得害蟲圖像的識別結(jié)果。

2 試驗結(jié)果與分析

2.1 評價指標(biāo)

為表明網(wǎng)絡(luò)的性能，使用精確度(Accuracy，Acc)、準(zhǔn)確率(Precision，P)、召回率(Recall，R)和F1得分衡量網(wǎng)絡(luò)模型對小樣本水稻害蟲識別的性能，計算公式如下：

(1)

(2)

(3)

(4)

式中:TP(True positive)為被模型預(yù)測為正的正樣本；TN(True negative)為被模型預(yù)測為負(fù)的負(fù)樣本；FN(False negative)為被模型預(yù)測為正的負(fù)樣本；FP(False positive)為被模型預(yù)測為負(fù)的正樣本。

2.2 GrabCut算法對水稻害蟲的分割效果

圖9示出GrabCut算法對4種常見的水稻害蟲(稻棘緣蝽、黑尾葉蟬、稻綠蝽和稻黑蝽)的分割結(jié)果?？梢钥闯?，GrabCut算法對復(fù)雜場景水稻害蟲的分割效果較好，對復(fù)雜背景的去除比較干凈。

圖9 GrabCut算法分割4種常見水稻害蟲圖像結(jié)果Fig.9 Segmentation result Graph of GrabCut algorithm

2.3 引入不同注意力機(jī)制的試驗結(jié)果

在對小樣本水稻害蟲數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充和去背景后，為了提取到更多精細(xì)有價值的特征以提升模型對水稻害蟲識別的性能，進(jìn)行了如下試驗：在對水稻害蟲圖像進(jìn)行去背景和數(shù)據(jù)擴(kuò)充后，分別將CBAM 和 SE 模塊[32]這2種注意力模型以不同的引入方式(如設(shè)置不同的引入位置及各注意力模塊間不同的連接方式等)，加入到特征提取網(wǎng)絡(luò)中，測試模型的識別準(zhǔn)確率。

由在不同位置引入不同組合方式的 CBAM 模塊的試驗結(jié)果(表2)可知，當(dāng)采用本研究模型的方式，即將CBAM通道注意力模塊和空間注意力模塊順序引入到圖3中的卷積塊Conv1與Conv2之間時，識別準(zhǔn)確率最高，達(dá)到99.19%。由此可見，本研究模型采用的這種組合方式優(yōu)于其他組合方式，能實現(xiàn)高精度的識別。

表2 CBAM通道和空間注意力模塊不同組合方式的識別準(zhǔn)確率Table 2 Recognition accuracy of different combinations of CBAM channel and spatial attention module

表2(續(xù))

在不同位置引入SE模塊的試驗結(jié)果(表3)可知，隨著引入位置不同，準(zhǔn)確率會不同。當(dāng)在Conv1與Conv2中間插入1個SENet時，識別準(zhǔn)確率高達(dá)97.58%；當(dāng)在2個卷積層后分別插入SENet[32]，雖也能獲得97.58%的識別準(zhǔn)確率。但是考慮到模型的輕量化，選擇在Conv1與Conv2中間插入1個SENet。

表3 SENet模塊不同引入位置的識別準(zhǔn)確率Table 3 Recognition accuracy of different locations of SENet

對比表2和表3可得，本研究模型采用CBAM注意力機(jī)制，并將其插入到Conv1和Conv2之間的結(jié)構(gòu)(圖3)達(dá)到了比僅使用通道注意力機(jī)制更高的識別準(zhǔn)確率。這是由于與SE相比，CBAM注意力機(jī)制能更加關(guān)注到區(qū)分度高的特征。

2.4 去背景及數(shù)據(jù)擴(kuò)充對不同模型試驗結(jié)果的影響

為了提高模型的學(xué)習(xí)性能，提升訓(xùn)練精度，本研究對訓(xùn)練樣本中的水稻害蟲圖像進(jìn)行了數(shù)據(jù)擴(kuò)充，增加訓(xùn)練樣本的多樣性，避免過擬合，以實現(xiàn)模型性能的提升。

使用SVM[33]、Inception V2[34]，以及本研究模型對去背景前后和數(shù)據(jù)擴(kuò)充前后的水稻害蟲進(jìn)行識別準(zhǔn)確率對比結(jié)果見表4?？芍?/p>

表4 水稻害蟲去背景及數(shù)據(jù)擴(kuò)充前后不同模型的識別準(zhǔn)確率Table 4 Recognition accuracy of different rice pest models before and after background removal and data expansion %

1)數(shù)據(jù)未擴(kuò)充的樣本，無論去背景前還是去背景后，所提模型識別精度都高于SVM和Inception V2，表明本研究模型對小樣本水稻害蟲具有較好的識別性能；

2)去背景前數(shù)據(jù)擴(kuò)充后，Inception V2的識別精度稍高于本研究模型，這是因為Inception V2網(wǎng)絡(luò)能提取到更豐富的尺度特征；

3)去背景后，所有對比方法的識別準(zhǔn)確率都提高了，這說明去背景對于本研究中少樣本水稻害蟲識別的有效性；

4)去背景后，本研究模型的識別精度無論是在擴(kuò)充還是不擴(kuò)充數(shù)據(jù)時，都相對較高。對比結(jié)果驗證了本研究方法采用的去背景算法和數(shù)據(jù)擴(kuò)充策略是有效的，設(shè)計的模型架構(gòu)是合理的，達(dá)到了預(yù)期的目的，實現(xiàn)了少樣本水稻害蟲的精準(zhǔn)識別，準(zhǔn)確率達(dá)99.19%。

2.5 不同水稻害蟲識別模型識別結(jié)果對比分析

在對小樣本水稻害蟲去背景以及數(shù)據(jù)擴(kuò)充后，將SVM、kNN[35]這2種淺層網(wǎng)絡(luò)，以及VGG16[3]、GoogleNet (試驗中用InceptionV1和 InceptionV2)[4]、Mobilenet[36]等深層卷積神經(jīng)模型與本研究所提模型進(jìn)行對比試驗，結(jié)果見表5?？芍簩τ谌コ尘昂蛿?shù)據(jù)擴(kuò)充后的小樣本水稻害蟲，本研究模型識別準(zhǔn)確率可達(dá)到99.19%，優(yōu)于SVM、kNN這2種淺層網(wǎng)絡(luò)模型，以及VGGNet、GoogLeNet和MobileNet等深度學(xué)習(xí)網(wǎng)絡(luò)模型；比原始的膠囊網(wǎng)絡(luò)提高了1.61%。這是因為在膠囊網(wǎng)絡(luò)基礎(chǔ)上引入CBAM注意力可以獲取更精細(xì)的特征，提升了模型的識別性能。此外，由識別結(jié)果可得，在數(shù)據(jù)量充足的情況下，基于深度學(xué)習(xí)方法的水稻害蟲的識別精度普遍高于傳統(tǒng)的機(jī)器學(xué)習(xí)方法。

表5 不同水稻害蟲識別模型的識別準(zhǔn)確率Table 5 Recognition accuracy of different rice pest identification networks

由水稻害蟲識別結(jié)果混淆矩陣(圖10)可知，各類別的識別準(zhǔn)確率都較高，只有黑尾葉蟬的準(zhǔn)確率相對低一些，這可能是由于該類樣本量較少導(dǎo)致的。對于樣本量相對其他類別較少的類而言，識別準(zhǔn)確率會明顯的降低，因為數(shù)量相對較少，則多樣性不足，導(dǎo)致識別準(zhǔn)確率相對較低(圖10(b)可知，準(zhǔn)確率為0.92)。因此，采用相同的方法識別水稻害蟲時，樣本的數(shù)量尤其是多樣性對識別準(zhǔn)確率具有一定的影響。

為展現(xiàn)本研究模型對于少樣本水稻害蟲識別的性能，對圖10(a)混淆矩陣參數(shù)分析計算評價指標(biāo)，結(jié)果見表6?？芍簩τ诓煌N類的水稻害蟲，召回率、準(zhǔn)確率和F1得分分別為0.917～1.000、0.968～1.000和0.957～1.000。由此可見，本研究提出的方法對復(fù)雜背景下小樣本水稻害蟲的識別具有較好的效果。

圖10 使用本研究模型的水稻害蟲識別結(jié)果混淆矩陣Fig.10 Confusion matrix of rice pest identification using the research model

表6 水稻害蟲識別結(jié)果混淆矩陣參數(shù)分析Table 6 Parameter analysis of confusion matrix of rice pest identification results

3 結(jié) 論

本研究針對水稻害蟲識別中的復(fù)雜背景和小樣本問題，利用GrabCut對水稻圖像中的害蟲進(jìn)行背景分割，在膠囊網(wǎng)絡(luò)中引入CBAM實現(xiàn)對水稻害蟲的關(guān)鍵信息提取和準(zhǔn)確識別；構(gòu)建了基于卷積塊注意力膠囊網(wǎng)絡(luò)的小樣本水稻害蟲識別模型。試驗結(jié)果表明，本研究方法可達(dá)到99.19%的識別精度，高于kNN和SVM這2種淺層網(wǎng)絡(luò)以及MobileNet、VGG16、Inception V1和Inception V2等深度學(xué)習(xí)網(wǎng)絡(luò)。下一步將針對真實環(huán)境少樣本水稻害蟲的多樣性擴(kuò)充以及遮擋害蟲識別問題進(jìn)行研究，以期實現(xiàn)真實環(huán)境水稻少樣本害蟲全自動化和智能化診斷。