李 萍，劉 裕，師曉麗，張善文

(1.鄭州西亞斯學院，河南鄭州 451150；2.西京學院信息工程學院，陜西西安 710123)

作物蟲害嚴重降低了作物的產(chǎn)量和質量，是造成世界各地作物損失的主要原因[1]。盡管各種殺蟲劑等化學農(nóng)藥能夠快速有效地防治蟲害，但對生態(tài)環(huán)境和人類健康造成了極大危害[2]。蟲害精準檢測是蟲害防治的前提，有助于減少農(nóng)藥使用量，進而減少環(huán)境污染。傳統(tǒng)的害蟲檢測依賴專家或技術人員肉眼觀察，該方式的主觀性強、勞動強度大、成本高，很難應用于大規(guī)模大田害蟲檢測，不能滿足數(shù)字化作物害蟲管理的需要[3]。

1 研究現(xiàn)狀

隨著計算機視覺技術的發(fā)展，出現(xiàn)了大量基于計算機視覺技術的田間作物病蟲害檢測方法。汪京京等從圖像分割、特征提取和分類識別3個方面，分別闡述了計算機視覺技術應用于農(nóng)作物病蟲害識別的研究現(xiàn)狀[4]。康飛龍等對國內外基于計算機視覺技術的作物病蟲害檢測方法進行了大量研究，并提出一種基于生成對抗網(wǎng)絡(GAN)的害蟲檢測方法，并嘗試將基于深度學習的害蟲檢測方法應用于移動端APP上，為快速準確的作物病蟲害識別提供了技術支持[5]。針對不同害蟲具有不同的顏色、形狀、紋理的特點，胡永強等提出了一種將多特征與稀疏表示相融合的害蟲識別方法[6]。該方法首先提取害蟲紋理、形狀與顏色特征，然后構建訓練樣本矩陣，最后通過求矩陣最優(yōu)稀疏系數(shù)以實現(xiàn)害蟲圖像識別。謝成軍等提出了一種稀疏編碼與空間金字塔模型相融合的害蟲檢測方法[7]。該方法首先基于圖像構建非完備字典，然后利用構建的字典進行稀疏表示以達到檢測的目的。由于作物害蟲圖像的復雜多樣性和多變性，使得利用以上傳統(tǒng)方法很難提取魯棒性的檢測特征，限制了這些方法的泛化能力。

近年來，隨著深度學習技術的發(fā)展，它在農(nóng)業(yè)信息處理領域得到了廣泛應用，包括作物害蟲檢測。傅隆生等歸納、梳理和分析深度學習在農(nóng)業(yè)信息處理領域的應用現(xiàn)狀，并討論深度學習在農(nóng)業(yè)信息處理領域的優(yōu)缺點，同時對后續(xù)研究進行了展望[8]。Thenmozhi 等提出了一種高效的深度CNN模型，在3個公開的昆蟲數(shù)據(jù)集上對昆蟲物種進行了分類驗證，并與深度學習模型AlexNet、ResNet、GoogleNet和VGGNet進行了比較[9]。結果表明，所提出的CNN模型比預訓練模型更能有效地對大田作物中各類昆蟲進行分類，可用于農(nóng)業(yè)領域的作物保護。為了緩解害蟲姿勢與尺度的變化對模型性能的影響，張博等提出了一種將空間金字塔池化與CNN相結合的作物害蟲識別方法，可實現(xiàn)較小作物害蟲的高效檢測[10]。Liu等提出了一種基于改進的CNN的害蟲檢測方法。該方法由模塊通道-空間注意、區(qū)域建議網(wǎng)絡和位置敏感評分圖組成，取得了較好的檢測性能[11]。Wang等建立了1個大規(guī)模標準化農(nóng)業(yè)害蟲數(shù)據(jù)集Pest24，該數(shù)據(jù)集包含378幅野外害蟲標注圖像，并采用多種深度學習模型對提出的害蟲數(shù)據(jù)集進行試驗[12]。Rahman等提出了一種VGG16和InceptionV3相融合的水稻病蟲害檢測方法，并與CNN的改進模型MobileNet、NasNet mobile和SqueezeNet進行了比較[13]。結果表明，該模型在顯著減小模型尺寸情況下能達到預期的93.3%的精度。錢蓉等構建了一種基于VGG-16的水稻害蟲檢測方法[14]。該模型針對水稻害蟲的特點，調整VGG-16網(wǎng)絡的局部結構，并對模型參數(shù)進行優(yōu)化，能對水稻害蟲進行智能識別。針對較多方法大多數(shù)存在對像素之間的關系提取不充分、模型參數(shù)量大、推理速度慢的缺點，樂毅等提出了一種分段模型與多層注意力機制相結合特征關系提取方法[15]。該方法通過引入注意力機制以有效降低噪聲，從而提高模型性能。Ayan等利用遷移學習對公開D0數(shù)據(jù)集上的7個不同的預訓練CNN模型進行了重新訓練，然后通過對分類性能較好的模型進行最大概率求和策略進行集成，最后利用遺傳算法得到最終權重，在D0數(shù)據(jù)集上的分類準確率達到了98.81%[2]。

CNN及其改進模型在圖像處理方面取得了顯著效果。試驗表明，CNN模型的層次越深得到特征的表達能力越強，但更深的CNN模型同時具有較多參數(shù)，在模型訓練中易導致過擬合和梯度爆炸等問題，而簡單、較淺層的CNN模型不能完全學習到有效的特征。由于深層CNN的結構更加復雜，梯度下降算法得到的最優(yōu)解可能是局部最優(yōu)解，所以不能單純地通過加深網(wǎng)絡提高網(wǎng)絡的性能[16]。為了克服這些問題，He等提出了一種殘差網(wǎng)絡(ResNet)架構。ResNet解決了增加深度帶來的退化等問題，更容易優(yōu)化，能夠通過增加網(wǎng)絡深度來提高網(wǎng)絡性能[17]。

近年來，注意力機制在基于深度神經(jīng)網(wǎng)絡的多項視覺任務中取得了廣泛應用[18-19]。在CNN中引入注意力機制，能夠得到更重要的特征，抑制不重要的特征[20-21]。Zhang等提出了一種注意引導網(wǎng)絡。該網(wǎng)絡注意引導濾波器，以更好地保留圖像的結構信息[22]。一般而言，CNN中大卷積核適用于大尺度目標檢測，小卷積核適用于小尺度目標檢測，所以多尺度CNN(MSCNN)模型為多尺度目標檢測提供了最佳解決方案[20，23]。張善文等提出了一種基于多尺度注意力卷積網(wǎng)絡(MSCNA)的作物害蟲檢測方法[24]。該方法將多尺度結構和注意力機制引入到卷積神經(jīng)網(wǎng)絡(CNN)，用于提取多尺度害蟲檢測特征，增強對形態(tài)較小型害蟲的檢測能力，并在訓練過程中引入二階項殘差模塊，減少了網(wǎng)絡損失和加速網(wǎng)絡訓練。

U-Net模型簡單，易于訓練，更適合小數(shù)據(jù)集，目前廣泛應用于醫(yī)療圖像分割等領域[25]。Xu等在U-Net中引入了注意機制，有效地提高了網(wǎng)絡的預測性能[26]。注意模塊以上采樣的上一級特征圖和下采樣過程的特征圖作為輸入。Zhao等通過融合U-Net與空間注意力機制，提出了一種輕量級模型，并應用于gland分割[27]。Ali等提出了一種快速、全自動的深度學習框架用于左心室分割[28]。該模型結合ResNet和U-Net的優(yōu)點，提供了可靠的分割結果。盡管這些U-Net變體性能良好，但它們不可避免地會使網(wǎng)絡變得更加復雜和難以解釋。

由于大田中的害蟲多種多樣，害蟲的大小、形狀、姿態(tài)、位置和顏色差異較大，而且存在復雜的環(huán)境和背景，害蟲與背景的對比度降低，一般拍攝的圖像中的害蟲尺寸比較小，所以害蟲檢測方法研究一直是一個重要、且具有挑戰(zhàn)性的研究課題。U-Net 是一種典型的、結構簡單、易于訓練的分割。本研究在殘差網(wǎng)絡、注意力機制和U-Net的基礎上，提出一種多尺度殘差空間注意力輕量化U-Net模型(MSRSALU-Net)，并應用于作物害蟲檢測。與經(jīng)典的U-Net相比，該網(wǎng)絡刪除了U-Net的一些塊，在性能和精度提高的同時極大減少網(wǎng)絡參數(shù)，由此加快網(wǎng)絡訓練。由于MSRSALU-Net 中的卷積塊包含Inception結構，Inception中有3個卷積核(1×1、3×3、5×5)對特征圖進行多卷積核特征提取，可以提取圖像的多尺度信息；另外Inception中的3個卷積核構成的局部稀疏矩陣能夠大幅增強模型的運算能力，所以加速了模型的收斂。在構建的5種常見作物的10種害蟲數(shù)據(jù)集上進行試驗驗證。試驗結果表明，該方法有效可行。

2 材料與方法

2.1 害蟲圖像及其擴展圖像

IP102 是一個大型作物害蟲識別數(shù)據(jù)集[29]，包含102種害蟲的超過7.5萬幅圖像，其中水稻 14種、玉米13種、小麥9種、甜菜8種、苜蓿13種、葡萄16種、柑橘19種、芒果10種，其中有常見農(nóng)作物害蟲的30多萬幅害蟲圖像。在IP102具有等級分類，將主要影響某一特定農(nóng)產(chǎn)品的害蟲被歸為同一上層分類，如圖1-A所示(圖像來源于參考文獻[29-30])，其中FC和EC分別為大田作物和經(jīng)濟作物。在子類級別上，只顯示了35個類，每個子類的完整列表可以在發(fā)布的IP102數(shù)據(jù)集中找到。每種害蟲都是某個超類的一個下級類，比如稻稈蛆害蟲屬于水稻作物害蟲類，所以在IP102的分類系統(tǒng)中，稻稈蛆亞類具有水稻和大田作物的超類。數(shù)據(jù)集的構建過程為利用常見的圖像搜索引擎在害蟲的整個生命周期內收集每一幅圖像，通過查詢進行弱標記，然后由志愿者進行檢查，以確定與害蟲的相關性，然后農(nóng)業(yè)專家進一步檢查和標注蟲害圖像的類別標簽或邊界框。在該數(shù)據(jù)集中，屬于同一類別的害蟲圖像可能捕捉到同一類型害蟲的不同生長形態(tài)。一些圖像示例如圖1-B所示。

IP102數(shù)據(jù)集的一個特性是圖像種類分布不均勻，例如水稻的亞洲大米蟲和薊馬害蟲的圖像數(shù)分別為1 053、173幅。為了避免模型過擬合，增強泛化和最終識別結果，對害蟲種類中少于600幅的害蟲圖像集進行圖像旋轉、縮放、裁剪和雙線性插值等數(shù)據(jù)增強操作，增加圖像數(shù)。圖1-C為該圖中第一幅圖像的20幅擴展圖像。為了減少網(wǎng)絡的訓練計算量，首先刪除了1/3的重復或損壞的圖像；然后將每幅圖像的大小統(tǒng)一調整為512×512×3像素，保存為JPEG格式；最后，為每幅圖像生成包含邊界框和每種害蟲類別的注釋文件?？紤]到本研究圖像用于害蟲檢測任務，所以僅利用IP102數(shù)據(jù)集中的14種水稻害蟲圖像8 415幅和9種小麥害蟲圖像1 532幅圖像進行試驗，對于圖像數(shù)小于500幅的害蟲圖像數(shù)，利用擴展算法擴展為500幅，共得到12 040幅圖像組成一個數(shù)據(jù)集記為IP23，表示23種害蟲圖像集。

2.2 方法

2.2.1 U-Net模型 U-Net是一個對稱的U形網(wǎng)絡，其架構如圖2所示，左側為收縮網(wǎng)絡即編碼網(wǎng)絡，用于從圖像中提取空間特征；右側為擴展網(wǎng)絡即解碼網(wǎng)絡，用于構造分段映射編碼的特性；中間為跳過連接，用于連接底層和高層特征圖譜通過編碼和解碼的過程。U-Net中的卷積層采用標準卷積計算，可分為2部分：首先對輸入特征圖進行卷積濾波，然后將卷積濾波后的結果組合成輸出特征圖。

收縮網(wǎng)絡由5個卷積模塊組成，每個模塊2個卷積、1個ReLU激活和1個最大池化操作組成，最大池化層對輸入進行2倍采樣。在擴展網(wǎng)絡中，每個塊從1個轉換卷積層開始，每個特征圖的高度和寬度加倍，但特征圖的數(shù)量減少2倍。在每個轉換卷積層之后，應用2個卷積層來減少特征圖的數(shù)量。最后1層是卷積層，卷積核大小為1×1、個數(shù)為2，適用于圖像的像素級2類分割情況[31]。

2.2.2 多尺度殘差空間注意力輕量化U-Net模型 U-Net是一種被廣泛應用于圖像分割與檢測的深度學習架構，在訓練樣本數(shù)量有限的情況下，基于U-Net的圖像分割方法表現(xiàn)出了良好的性能。但該方法不適用于作物害蟲檢測，因為U-Net不能有效檢測變化多樣的、大小不一的多尺度害蟲，而且U-Net需要訓練的參數(shù)較多，因此訓練速度比其他分割網(wǎng)絡模型較慢。經(jīng)典U-Net的網(wǎng)絡參數(shù)有3 100多萬個，對于基于梯度下降法的網(wǎng)絡訓練來說，對如此多的參數(shù)進行訓練微調比較耗時。本節(jié)將結合Inception多尺度特征提取、殘差網(wǎng)絡、注意力機制和U-Net的優(yōu)點，考慮到輕量化的需求，在U-Net的架構上構建一種多尺度殘差空間注意力輕量化U-Net模型(MSRSALU-Net)，用于作物害蟲檢測。其架構如圖3-A所示：每個黑色的右箭頭表示與大小為3×3的卷積核的卷積，每個藍色框旁邊和上面的數(shù)字分別表示特征圖的大小(高、寬)和數(shù)量，向下紅色箭頭是最大池化層，大小為2×2、步長為2×2，特征圖的大小減半。MSRSALU-Net的網(wǎng)絡參數(shù)有約2 300萬個，與 U-Net 相比減少了25.81%。

在經(jīng)典的U-Net及其一些改進的模型中，只是簡單地對圖像的卷積層進行疊加，在底層采用較小的卷積核而在高層采用較大的卷積核，增加網(wǎng)絡深度，由此不僅増大了計算量，而且容易導致梯度消失的問題。在MSRSALU-Net中，在卷積模塊中使用多尺度卷積Inception結構(圖3-B)，對于不同的支路采用不同尺度的卷積核，各支路中不同的感受野提取具有多尺度的圖像特征，由此增加網(wǎng)絡的寬度和網(wǎng)絡對多尺度目標的適應性。為了加速網(wǎng)絡收斂，在卷積模塊中利用殘差網(wǎng)絡(ResNet)的跳躍連接方式，使深度網(wǎng)絡能夠提取包含更多圖像信息的特征。DropBlock是dropout的一種結構化變體，將DropBlock引入卷積塊，能夠有效防止網(wǎng)絡過擬合問題。根據(jù)分析，設計MSRSALU-Net中的卷積模塊結構(圖3-C)。與經(jīng)典的U-Net中擴展網(wǎng)絡的轉換卷積塊類似，設計MSRSALU-Net中的轉換卷積塊(圖3-D)。

ResNet由一些堆疊的殘差塊組成，每個殘差塊的一般表示為：

yi=F(xi，wi)+h(xi)
xi+1=σ(yi)

。

(1)

式中：xi和xi+1表示當前殘差塊的輸入和輸出；σ(yi)為激活函數(shù)；F(·)為殘差函數(shù)；h(xi)為恒等映射函數(shù)，通常為h(xi)=xi。

Ibtehaz等在MultiresuNet中用于減小收縮路徑特征層與擴張路徑特征層之間存在的語義間隔[32]，每個Respath由若干個殘差卷積塊組成(圖3-E)。在MSRSALU-Net中利用Respath連接收縮路徑特征層與擴張路徑特征層，收縮路徑的特征層經(jīng)過Respath后與對應擴張路徑的特征層進行級聯(lián)，經(jīng)過Respath后的特征層的空間尺寸和通道數(shù)保持不變。若輸入輸出通道數(shù)不同，可以采用1×1卷積來壓縮或擴大通道數(shù)。

(2)

式中：f1×1表示卷積核為1×1的卷積操作；σ(·)為Sigmoid激活函數(shù)。

3 結果與分析

為了驗證所提出的MSRSALU-Net的有效性，在構建的作物害蟲圖像數(shù)據(jù)庫上進行試驗，并與4種結構相似的模型進行比較：U-Net[25]、注意力 U-Net(AU-Net)[26]、MultiResUNet[32]，都是由編碼器模型和解碼器模型組成的體系結構。其中AU-Net、MultiResUNet為2種比較突出的U-Net改進模型：AU-Net將注意力機制應用于U-Net分割模型中，關注顯著性區(qū)域，抑制無關背景區(qū)域；MultiResUNet將U-Net的2個3×3的卷積替換為3×3和7×7卷積與5×5卷積并行合并，使用了多分辨率思路替換傳統(tǒng)卷積層，再利用Respath替換了U-Net中的簡單跳過連接。

3.1 試驗設置

工作站試驗系統(tǒng)環(huán)境為Ubuntu，其配備為 Xeon? CPU E5-2650 v4 @ 2.20 GHz，顯卡型號為NVIDIA Tesla P100。NVIDIA Tesla P100擁有3 584個CUDA核、HBM2內存16 GB、核心頻率 1 328 MHz，浮點性能為10.6 TFLOPS?；赨-Net的改進模型在Caffe深度學習框架中實現(xiàn)。試驗時，每幅輸入圖像大小被固定為512×512，優(yōu)化器使用Adam，初始學習率為0.001，權重衰減為1×10-4，動量為0.9，迭代次數(shù)為3 000，迭代時如果模型在驗證集上的損失上升，則學習率改為原來的50%。

將IP23圖像集中的所有12 040幅圖像按照 6∶4 的比例隨機分成2個子集，進行作物害蟲檢測試驗，其中7 224幅圖像用于訓練模型，剩余的 4 816 幅圖像用于測試模型。在試驗中，分多批進行模型訓練，每批使用50幅圖像。通過對重疊patch上得到的類別標簽的多數(shù)投票來決定害蟲圖像像素的類別。采用精確率(Pre)、召回率(Rec)、F1-Score(F1)作為模型的評價指標，分別計算如下：

(3)

式中：TP表示真陽性數(shù)；FP表示假陽性數(shù)；FN表示假陰性數(shù)。Pre為檢測為正的樣本且標簽為正樣本的比例，Rec為正樣本中被檢測結果為正樣本的比例，F(xiàn)1則為Rec與Pre的權重調和值。

3.2 試驗結果

一個害蟲圖像在MSRSALU-Net的收縮模型中3個不同卷積層的部分卷積特征如圖4所示。

卷積特征(圖4)表明，MSRSALU-Net能夠捕獲害蟲的細節(jié)信息，低級卷積特征圖包含了害蟲的基本輪廓特征，而高級卷積特征包含了害蟲的細節(jié)特征，卷積模型的不同卷積核能夠學習圖像的不同特征，關注圖像的不同部分，能夠充分提取各自關注部分圖像的顯著區(qū)域。從圖4-B和圖4-C看出，卷積特征圖沒有明顯的銳化邊緣，這是因為在MSRSALU-Net中引入了ReLU+DropBlock，能使模型更關注害蟲區(qū)域且抑制其他特征的影響。從圖4-D可以看出，特征圖中害蟲區(qū)域比較集中，第3卷積模塊能夠提取圖像的深層次特征。

為了觀察MSRSALU-Net的收斂性能，在構建的數(shù)據(jù)集上進行了大量試驗，并將其與U-Net[25]、注意力U-Net(AU-Net)[26]、MultiResUNet[32]進行比較。4種模型的損失值隨迭代次數(shù)的變化情況見圖5。

從圖5可以看出，4種模型的損失值在第1 000次迭代前都迅速下降，在第1 500次迭代后趨于平穩(wěn)，經(jīng)過2 000次迭代后MSRSALU-Net就達到了收斂效果。此時，MSRSALU-Net的內存為 2.47 GB，訓練時間為4.35 h，測試時間為1.64 s?？偟膩碚f，MSRSALU-Net的性能優(yōu)于其他3個模型，因為可能是在MSRSALU-Net中引入了多尺度Inception卷積、Respath連接和注意力機制，加快了MSRSALU-Net的訓練速度，提高了MSRSALU-Net的收斂性能和檢測精確率；MultiResUNet優(yōu)于AUNet，因為它利用了Respath而不是跳過U-Net的連接；AU-Net優(yōu)于U-Net，因為它對收縮模型每個通道的特征經(jīng)過注意力，能夠提取與學習任務有關的特征。

為了公平比較4個模型的性能，將迭代次數(shù)為3 000次時的模型作為訓練好的模型，重復訓練樣本與測試樣本的6∶4試驗100次，得到穩(wěn)定可靠的平均檢測結果(表1)。

表1 基于4種模型的作物害蟲檢測方法的檢測結果

為了評估MSRSALU-Net的整體性能，在構建的數(shù)據(jù)集上給出基于4種模型的作物害蟲檢測結果。所選擇的訓練好的模型也是迭代次數(shù)為3 000次時的模型，檢測到的害蟲圖像見圖6。5個訓練模型的一些具有代表性的RSIs及其對應的檢測性能見圖6，涉及多尺度、小型害蟲、簡單背景和復雜背景。

從圖6可以看到，U-Net可以檢測害蟲，但卻錯過一些小型害蟲，不能有效地檢測復雜背景下的小型害蟲，也出現(xiàn)明顯的誤分割現(xiàn)象；AU-Net的檢測效果比U-Net好，能夠檢測出害蟲的位置，但對細小型害蟲部分的分割效果較差；MultiResUNet的檢測效果比U-Net、AU-Net好，但該模型對于復雜背景下分割的害蟲完整性較差，出現(xiàn)一些噪聲像素點；MSRSALU-Net不僅在害蟲和背景檢測方面優(yōu)于其他比較模型，能夠完整分割出害蟲圖像中的害蟲區(qū)域，而且分割后的害蟲形狀比較完整，對較小型害蟲的分割效果較好。原因是該模型在卷積模塊中引入了多尺度卷積和空間注意力機制，并采用了修改的Respath連接。

從圖5、圖6、表1可以看出，除了MSRSALU-Net外，其他3種模型都存在誤檢小型害蟲情況，其中U-Net比較嚴重，AU-Net由于注意機制優(yōu)于 U-Net，而MultiResUNet對小型害蟲的誤檢現(xiàn)象較小。MSRSALU-Net優(yōu)于其他方法，主要原因是該模型引入了Respath、多尺度卷積和空間注意力機制以及DropBlock的卷積層正則化。在特征提取階段，利用卷積后的加權特征代替?zhèn)鹘y(tǒng)特征進行殘差融合，在訓練過程中利用空間注意機制減少信息丟失，且加快了模型訓練收斂速度。

4 結論

及時準確檢測農(nóng)業(yè)害蟲是作物蟲害精確防治的前提。由于田間害蟲種類多，相同害蟲的大小和形態(tài)的多樣性以及復雜的田間背景，使得田間作物害蟲智能檢測是一個具有挑戰(zhàn)性的課題。在U-Net架構基礎上，將多尺度卷積、空間注意力機制和殘差模塊相結合，提出了一種多尺度殘差空間注意力輕量化U-Net模型，并應用于多尺度作物害蟲檢測。在害蟲圖像數(shù)據(jù)集上進行試驗，結果表明，該模型能實現(xiàn)作物害蟲精準檢測，其檢測精度達到95%以上?；谠撃Ｐ偷淖魑锖οx檢測方法可應用于作物害蟲的自動檢測系統(tǒng)中。

在作物害蟲防治過程中，需要確定害蟲的類別。下一步的研究重點是利用形態(tài)學優(yōu)化層對檢測后的害蟲圖像進行優(yōu)化，再結合害蟲類別識別方法，研究有效可行的大田作物害蟲檢測與識別系統(tǒng)。