摘 要：【目的】采用Faster R-CNN算法對(duì)樣本數(shù)量少且分布不均衡的28類農(nóng)田害蟲數(shù)據(jù)集進(jìn)行研究?！痉椒ā渴紫?，分析不同輸入圖像尺寸對(duì)訓(xùn)練模型性能的影響，確定了輸入圖像尺寸5 472×3 648的25%作為優(yōu)選；其次，為了避免部分類別害蟲因數(shù)據(jù)過少而導(dǎo)致的過擬合問題，采用Mixup和mosaic方法增加數(shù)據(jù)多樣性，并使用遷移學(xué)習(xí)提高模型性能。【結(jié)果】這些方法可以有效地提高模型的泛化性和魯棒性，除了9與10這兩類害蟲相似度非常高導(dǎo)致AP值較低外，其余害蟲識(shí)別的AP平均值為92.07%?！窘Y(jié)論】通過測(cè)試數(shù)據(jù)檢驗(yàn)?zāi)Ｐ偷姆夯?，發(fā)現(xiàn)模型表現(xiàn)良好但仍有改進(jìn)空間。

關(guān)鍵詞：害蟲識(shí)別；數(shù)據(jù)增強(qiáng)；Faster R-CNN；深度學(xué)習(xí)；目標(biāo)檢測(cè)

中圖分類號(hào)：TP183" " "文獻(xiàn)標(biāo)志碼：A" " "文章編號(hào)：1003-5168（2024）10-0027-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.10.005

Research on Insect Identification Model Algorithm for Agricultural Lamp-baiting Images

QIU Zhaohong ZHENG Kangcheng LI Jiaming DONG Runli WANG Jianbin

（School of Mathematics and Statistics， Zhaoqing University， Zhaoqing 526061， China）

Abstract： [Purposes] This study aims to identify 28 types of farmland pests with small samples and unbalanced datasets using Faster R-CNN algorithm. [Methods] Firstly， the impact of different input image sizes on the performance of the training model is analyzed， and the optimal selection is determined as 25% of the input image size. Secondly， in order to avoid overfitting problems caused by too few pest data for some classifications， Mixup and Mosaic methods are used to increase data diversity， and transfer learning is used to improve the model performance. [Findings] These methods can effectively improve the generalization ability and robustness of the model. Except for the two kinds of pests No.9 and No.10， which have very high similarity and low AP value， the average AP value of other pests reaches 92.07%. [Conclusions] The generalization ability of the model is verified by the test data.The model performs well but still has room for improvement.

Keywords： pest identification; data augmentation; Faster R-CNN; deep learning; object detection

0 引言

“民以食為天，食以糧為先”，這是我國一直以來的糧食觀。自2015年起，中國的年糧食總產(chǎn)量已連續(xù)八年超過1.3萬億斤，有力地保障了我國糧食產(chǎn)量安全。然而，每年因病蟲害造成的糧食損失約280億斤，這不僅造成了嚴(yán)重的經(jīng)濟(jì)損失，而且影響到我國糧食安全防線。因此，降低病蟲害帶來的糧食損失對(duì)我們來說至關(guān)重要。

由于害蟲的種類多、分布廣、繁殖快、適應(yīng)性強(qiáng)，因此害蟲預(yù)警和防治任務(wù)一直面臨著巨大的挑戰(zhàn)。害蟲圖片的采集方法主要有蟲情燈誘［1-2］、粘蟲板、田間人工采集3種。其中，蟲情測(cè)報(bào)燈（燈誘）因其獨(dú)特的優(yōu)勢(shì)而受到廣泛關(guān)注。其優(yōu)點(diǎn)在于可以自動(dòng)拍攝圖像無須人工參與，數(shù)據(jù)自動(dòng)上傳至云端方便訪問。然而，蟲情測(cè)報(bào)燈也存在部分缺點(diǎn)，例如，害蟲鱗片、翅膀脫落可能導(dǎo)致害蟲特征減少；腹部朝上可能導(dǎo)致不同類害蟲的相似度增加，區(qū)分度降低；此外，目前尚無公開的蟲情測(cè)報(bào)燈數(shù)據(jù)集可以供大家借鑒。

隨著機(jī)器學(xué)習(xí)領(lǐng)域向深度學(xué)習(xí)方向的演進(jìn)，害蟲識(shí)別的主流方法也在發(fā)生相應(yīng)的轉(zhuǎn)變。姚青等［1］提出一種基于改進(jìn)CornerNet的水稻燈誘飛虱自動(dòng)檢測(cè)方法，利用重疊滑動(dòng)窗的方法提高飛虱（小目標(biāo)個(gè)體）在圖像檢測(cè)區(qū)域中所占比例，提高白背飛虱和褐飛虱的檢測(cè)率，降低了漏檢率。林相澤等［2］提出一種將圖像消冗與CenterNet網(wǎng)絡(luò)相結(jié)合的識(shí)別分類方法，有效地完成了對(duì)3種主要稻飛虱的識(shí)別分類。姚青等［3］建立了基于雙線性注意力網(wǎng)絡(luò)的農(nóng)業(yè)燈誘害蟲識(shí)別模型BAPest-net，對(duì)6類相似的19種農(nóng)業(yè)燈誘害蟲進(jìn)行識(shí)別，相比其他常用的5個(gè)模型可以獲得更高的準(zhǔn)確率。鄭睿智等［4］提出了一種基于Swin Transformer網(wǎng)絡(luò)模型和Cascade RCNN算法的農(nóng)田害蟲目標(biāo)檢測(cè)方法，采用在線和離線數(shù)據(jù)、多尺度輸入、SWA和多模型融合等一系列方法增強(qiáng)模型的性能和魯棒性。佘顥等［5］提出一種基于SSD網(wǎng)絡(luò)模型的水稻害蟲識(shí)別方法，該方法用特征能力更強(qiáng)的特征金字塔代替SSD原有的多尺度特征圖，同時(shí)改進(jìn)了歸一化和激活函數(shù)，使模型對(duì)小目標(biāo)的識(shí)別率更高、檢測(cè)速度更快。張劍飛等［6］提出了一種基于Swin-Transformer和YOLOX-s改進(jìn)的ST-YOLOX-s目標(biāo)檢測(cè)模型，實(shí)現(xiàn)了對(duì)30類常見害蟲的有效目標(biāo)檢測(cè)工作，提高了小目標(biāo)害蟲檢測(cè)性能。朱香元等［7］使用TPH-YOLOv5算法，對(duì)28類害蟲識(shí)別獲得較高的正確率。通過設(shè)計(jì)有針對(duì)性的小目標(biāo)和小樣本害蟲數(shù)據(jù)增強(qiáng)方法，提升其對(duì)訓(xùn)練損失的貢獻(xiàn)度，構(gòu)建了基于微調(diào)的二階段小樣本學(xué)習(xí)策略，獲得了較好的結(jié)果，總體平均精度一般在80%以上，有些甚至超過90%。

本研究基于一個(gè)樣本數(shù)量少且分布不均衡的28類農(nóng)田害蟲數(shù)據(jù)集，展開了目標(biāo)檢測(cè)識(shí)別算法的研究。為了解決數(shù)據(jù)集存在的問題，采用了Mixup和Mosaci數(shù)據(jù)增強(qiáng)技術(shù)，以獲得具有較高精度和泛化能力的模型。在此基礎(chǔ)上進(jìn)行了遷移學(xué)習(xí)，進(jìn)一步提高了模型的檢測(cè)精度。

1 數(shù)據(jù)集與數(shù)據(jù)探索

1.1 數(shù)據(jù)標(biāo)注質(zhì)量問題

原有的數(shù)據(jù)集中，樣本數(shù)量相對(duì)較少，標(biāo)記的害蟲數(shù)量總共有1 019只。并且在逐一審核的過程中發(fā)現(xiàn)，不僅有些標(biāo)記的類別存在錯(cuò)誤，而且有些負(fù)樣本標(biāo)記為目標(biāo)害蟲，甚至有些害蟲樣本漏標(biāo)。因此，在預(yù)處理時(shí)需要將錯(cuò)誤分類的標(biāo)記進(jìn)行糾正，并且去掉了非目標(biāo)的標(biāo)記。

1.2 樣本數(shù)量少、分布不平衡問題

本研究對(duì)28種害蟲進(jìn)行了分類統(tǒng)計(jì)（見圖1不帶斜線柱子）。結(jié)果顯示，樣本數(shù)量偏少，僅有3種害蟲的樣本數(shù)量超過100。此外，樣本分布極不均衡，大約20%的害蟲類別占據(jù)了總體樣本數(shù)量的80%，呈現(xiàn)出明顯的長尾分布現(xiàn)象。特別值得注意的是，干紋冬夜蛾和豆野螟這兩類害蟲的樣本數(shù)量僅為1個(gè)，無法將其劃分為訓(xùn)練集和驗(yàn)證集，不能進(jìn)行模型訓(xùn)練。

樣本不平衡問題不太嚴(yán)重，可以通過重采樣來緩解。但是，在這個(gè)數(shù)據(jù)集上，該方法無法奏效，必須擴(kuò)展樣本數(shù)量。一種方法是從網(wǎng)絡(luò)上尋找更多的數(shù)據(jù)。但是網(wǎng)絡(luò)上沒有與本數(shù)據(jù)集類似的燈誘害蟲數(shù)據(jù)集；另一種方法是從現(xiàn)有的數(shù)據(jù)集中標(biāo)注出遺漏的害蟲樣本，通過人工標(biāo)注的方式將樣本數(shù)量增加到1 500個(gè)，其中大黑鰓金龜類害蟲的樣本數(shù)量超過了200個(gè)（見圖1帶斜線柱子），這樣就可以稍微緩解樣本不平衡的問題。后續(xù)實(shí)驗(yàn)將采用數(shù)據(jù)增強(qiáng)的方法來進(jìn)一步緩解樣本數(shù)量少和樣本不平衡的問題。

1.3 害蟲大小的多尺度問題

害蟲的尺寸大小存在明顯的不均衡性、多尺度問題如圖2所示。由圖2可知，最大的害蟲標(biāo)注框面積（屬于八點(diǎn)灰燈蛾）是最小的（屬于白背飛虱）的幾百倍（最高可達(dá)584.5≈[29]），這意味著模型需要能夠在9個(gè)尺度（層級(jí)）上提取特征，這對(duì)模型的設(shè)計(jì)提出了挑戰(zhàn)。此外，小尺度目標(biāo)的識(shí)別一直是目標(biāo)檢測(cè)領(lǐng)域的難點(diǎn)。

1.4 害蟲識(shí)別困難問題

害蟲數(shù)據(jù)集中還存在復(fù)雜背景、局部遮擋、目標(biāo)密集、不同姿態(tài)、肢體不全及亮度差異等問題如圖3所示。這些問題的存在會(huì)對(duì)目標(biāo)害蟲檢測(cè)造成一定困難。而有些問題，如亮度差異可以通過調(diào)整亮度預(yù)處理解決，但更多問題需要更復(fù)雜的應(yīng)對(duì)方法。

2 檢測(cè)模型算法

2.1 Faster R-CNN算法

害蟲識(shí)別重精度不重速度，目標(biāo)檢測(cè)中精度較高的算法是基于Anchor的算法，包括兩階段和單階段檢測(cè)算法。其中兩階段算法以Faster R-CNN系列算法為典型，單階段算法以YOLO系列算法為典型。本研究采用的是Faster R-CNN的兩階段算法［8］，首先，將ResNet50作為骨干網(wǎng)絡(luò)，用于從圖像中提取特征；其次，在頸部（Neck）部分，使用FPN（Feature Pyramid Network）進(jìn)行特征融合；最后，借助于Decoupled Prediction Head（頭部），對(duì)目標(biāo)進(jìn)行分析和預(yù)測(cè)。

Faster R-CNN是由Ross B. Girshick在2016年提出的。在結(jié)構(gòu)上，F(xiàn)aster R-CNN整合了特征抽取、proposal提取、邊框回歸與分類等步驟于一個(gè)網(wǎng)絡(luò)之中，綜合型性能有較大提高，尤其是在檢測(cè)速度方面。Faster R-CNN具體可分為以下部分。

①主干特征提取網(wǎng)絡(luò)。Faster R-CNN首先使用一組基礎(chǔ)的卷積層來提取圖像的特征生成特征圖，隨后便應(yīng)用于后續(xù)的RPN層和全連接層。

②候選區(qū)域網(wǎng)絡(luò)。在RPN網(wǎng)絡(luò)中，通過激活函數(shù)判斷錨框?qū)儆谡龢颖具€是負(fù)樣本，進(jìn)一步利用邊框回歸修正錨框生成精確的候選框——候選區(qū)域。

③Roi Pooling。收集輸入的特征圖和候選框，綜合所收集的信息，提取候選框區(qū)域的特征圖送入全連接層判定目標(biāo)類別。

④分類。通過候選區(qū)域特征圖計(jì)算候選框內(nèi)目標(biāo)的類別，并再次通過邊框回歸來獲取檢測(cè)框的最終精確位置。

2.2 評(píng)價(jià)指標(biāo)

在模型分析中，本研究采用單個(gè)類別平均精度（AP）、整體準(zhǔn)確率（mAP）作為評(píng)價(jià)指標(biāo)，見式（1）。

[APj=01p（r）]

[MAP=1mmAPj] （1）

式中：p（r）表示PR曲線上0～1所對(duì)應(yīng)的P值；APj表示某一個(gè)類別害蟲；mAP表示對(duì)所有害蟲類別的AP值取平均值。

3 試驗(yàn)及結(jié)果分析

3.1 試驗(yàn)環(huán)境

本研究使用了Python 3.10開發(fā)語言，百度公司paddledetection實(shí)現(xiàn)的Faster R-CNN算法。paddledetection是開源目標(biāo)檢測(cè)套件，基于百度深度學(xué)習(xí)平臺(tái)飛槳（paddlepaddle）構(gòu)建。計(jì)算設(shè)備使用英偉達(dá)3060 12 g顯卡，系統(tǒng)開發(fā)環(huán)境為Windows+cuda 11+cuddn8.2。訓(xùn)練數(shù)據(jù)的標(biāo)注格式轉(zhuǎn)換為COCO格式。

使用隨機(jī)梯度下降法（SGD）訓(xùn)練模型，初始學(xué)習(xí)率為0.005。首先使用學(xué)習(xí)率預(yù)熱策略，在1000步內(nèi)線性增加到初始學(xué)習(xí)率；然后使用PiecewiseDecay調(diào)度策略動(dòng)態(tài)、調(diào)整學(xué)習(xí)率，權(quán)值衰減因子為0.1。批量大小為一般為4，訓(xùn)練迭代（epochs）一般為50。

3.2 數(shù)據(jù)增強(qiáng)

由于數(shù)據(jù)集的長尾分布特性，傳統(tǒng)的重采樣和重加權(quán)處理方法可能無法達(dá)到預(yù)期的效果。因此，我們需要借助數(shù)據(jù)增強(qiáng)手段，才可以訓(xùn)練出較好的深度學(xué)習(xí)模型。常見的方法包括：平移、旋轉(zhuǎn)、調(diào)整大小等幾何變換以及改變色調(diào)、增加噪聲、調(diào)節(jié)亮度等強(qiáng)度變換，更高級(jí)的則是基于GAN的數(shù)據(jù)生成方法［9］、Mixup及Mosaic方法［6］。

本研究采用了亮度調(diào)整（0.7～1.5）、對(duì)比度調(diào)整（0.7～1.5）、縮放、旋轉(zhuǎn)和翻轉(zhuǎn)的組合變換來離線增強(qiáng)數(shù)據(jù)集，以確保每個(gè)類別害蟲的數(shù)量都控制在200個(gè)（如果超過則隨機(jī)采樣200個(gè)）。此外，還采用了Mosaic手段進(jìn)行在線數(shù)據(jù)增強(qiáng)如圖4所示。其優(yōu)點(diǎn)是大大增加了數(shù)據(jù)多樣性，豐富了訓(xùn)練集中被檢測(cè)物體的背景。不僅使數(shù)據(jù)更加豐富多樣，避免因部分類型數(shù)據(jù)過少而導(dǎo)致的過擬合情況，而且提高了對(duì)小目標(biāo)物體的檢測(cè)性能。

3.3 訓(xùn)練輸入圖像的尺寸選擇

數(shù)據(jù)集中原始圖片尺寸統(tǒng)一為5 472×3 648。訓(xùn)練模型時(shí)，大圖片占用更多的顯存，只能使用較小的批量大小，增加計(jì)算量和訓(xùn)練時(shí)間。而小圖片占用較小的顯存，能使用更大的批量大小，可減少訓(xùn)練時(shí)間。但是縮小圖像會(huì)造成信息丟失、特征減少，導(dǎo)致精度下降。因此，選擇合適尺寸輸入網(wǎng)絡(luò)是首先要考慮的問題。本研究對(duì)100%、50%、25%、12.5%四種輸入圖像尺度進(jìn)行試驗(yàn)。

四種尺寸的模型訓(xùn)練精度見表1。由表1可知，IoU值設(shè)定在0.50～0.95范圍時(shí)，輸入圖像尺寸為50%大小，模型訓(xùn)練可以取得最高精度，隨著輸入尺寸減小，模型精度隨之下降。IoU值設(shè)定為0.5時(shí)，模型精度有相似的下降趨勢(shì)，然從50%下降為25%，模型精度僅下降2%。綜上所述，選擇原圖尺寸的50%，雖可取得最佳精度，但計(jì)算時(shí)間更長（且有過擬合跡象），批量大小只能設(shè)為1。因此，后續(xù)實(shí)驗(yàn)選擇次優(yōu)的25%作為訓(xùn)練輸入圖像尺寸。

3.4 數(shù)據(jù)增強(qiáng)手段對(duì)性能的影響

不同數(shù)據(jù)增強(qiáng)手段對(duì)模型訓(xùn)練性能的影響見表2。由表2可知，當(dāng)使用一些常規(guī)數(shù)據(jù)增強(qiáng)手段（如隨機(jī)裁剪、翻轉(zhuǎn)等）時(shí)，mAP_0.5：0.95和mAP_0.5數(shù)據(jù)都不錯(cuò)。引入Mixup數(shù)據(jù)增強(qiáng)后，模型性能略有下降，分別下降了0.019和0.016。在Mixup數(shù)據(jù)增強(qiáng)的基礎(chǔ)上再引入Mosaic數(shù)據(jù)增強(qiáng)，mAP_0.5∶0.95上升了約1%，而mAP0.5下降了約1%。說明Mixup和Mosaic數(shù)據(jù)增強(qiáng)會(huì)使訓(xùn)練難度增加，模型性能會(huì)有小幅下降，但模型泛化性會(huì)提升。使用該模型進(jìn)行遷移學(xué)習(xí)，即使用預(yù)訓(xùn)練模型進(jìn)行常規(guī)數(shù)據(jù)增強(qiáng)訓(xùn)練，性能會(huì)進(jìn)一步提高，模型的mAP_0.5∶0.95和mAP_0.5最高，分別能達(dá)到0.894和0.944的性能。

模型對(duì)28類害蟲的分類檢測(cè)精度見表3。由表3可知，各類別害蟲檢測(cè)準(zhǔn)確率基本上非常高，特別是Pest402這個(gè)類別，其AP值達(dá)到了0.991，說明Faster R-CNN算法在識(shí)別該類別時(shí)具有非常不錯(cuò)的性能。然而，對(duì)于Pest9和Pest10這2個(gè)害蟲類別，其AP值相對(duì)較低，兩類害蟲相似程度非常高，可參考姚青等［1］的方法進(jìn)一步優(yōu)化模型以提高其在這些類別上的性能。

3.5 模型檢測(cè)結(jié)果

本研究對(duì)測(cè)試集中的圖片進(jìn)行了檢測(cè)，選取了4種不同場(chǎng)景下的檢測(cè)結(jié)果進(jìn)行展示如圖5所示。由圖5可知，F(xiàn)aster R-CNN算法可以實(shí)現(xiàn)對(duì)多類害蟲的有效檢測(cè)。在簡單或復(fù)雜的背景中，不同大小的害蟲均能被正確分類。但有些害蟲的標(biāo)注框還不夠準(zhǔn)確，需要進(jìn)一步優(yōu)化。此外，本研究使用訓(xùn)練的幾種害蟲的原始樣本非常少，需要補(bǔ)充訓(xùn)練樣本數(shù)量以進(jìn)一步提高模型精度和魯棒性。

4 結(jié)語

針對(duì)蟲情測(cè)報(bào)燈提供的農(nóng)田害蟲數(shù)據(jù)集存在樣本少、目標(biāo)小及分布不平衡導(dǎo)致的長尾效應(yīng)和多尺度目標(biāo)等問題，采用了人工標(biāo)注的方法拓展了數(shù)據(jù)集，并且進(jìn)一步地使用亮度對(duì)比度調(diào)整、縮放、旋轉(zhuǎn)和翻轉(zhuǎn)的組合變換等常規(guī)的離線數(shù)據(jù)增強(qiáng)以及Mixup和mosaic手段進(jìn)行在線數(shù)據(jù)增強(qiáng)，來平衡數(shù)據(jù)集不同類別樣本數(shù)目的分布，增加數(shù)據(jù)集的復(fù)雜性。本研究使用的Faster R-CNN的兩階段目標(biāo)檢測(cè)方法，能夠很好地識(shí)別和定位農(nóng)作物害蟲。

在未來的模型研究和探索過程中，期待能引入半監(jiān)督學(xué)習(xí)機(jī)制，將無標(biāo)簽樣本納入訓(xùn)練集進(jìn)行學(xué)習(xí)，進(jìn)一步擴(kuò)大數(shù)據(jù)集的豐富度，這將是未來很好的研究嘗試。

參考文獻(xiàn)：

［1］姚青，吳叔珍，蒯乃陽，等.基于改進(jìn)CornerNet的水稻燈誘飛虱自動(dòng)檢測(cè)方法構(gòu)建與驗(yàn)證［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（7）：183-189.

［2］林相澤，徐嘯，彭吉祥.基于圖像消冗與CenterNet的稻飛虱識(shí)別分類方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（9）：270-276，294.

［3］姚青，姚波，呂軍，等.基于雙線性注意力網(wǎng)絡(luò)的農(nóng)業(yè)燈誘害蟲細(xì)粒度圖像識(shí)別研究［J］.中國農(nóng)業(yè)科學(xué)，2021，54（21）：4562-4572.

［4］鄭睿智，盛猛猛，蔡鑫浩，等.基于深度學(xué)習(xí)的農(nóng)田害蟲目標(biāo)檢測(cè)算法的研究與應(yīng)用［J］.數(shù)學(xué)建模及其應(yīng)用，2022，11（4）：55-61.

［5］佘顥，吳伶，單魯泉.基于SSD網(wǎng)絡(luò)模型改進(jìn)的水稻害蟲識(shí)別方法［J］.鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2020，52（3）：49-54.

［6］張劍飛，柯賽.基于YOLOX-s的農(nóng)業(yè)害蟲檢測(cè)研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2023，33（5）：208-213.

［7］朱香元，聶轟，周旭.基于TPH-YOLOv5和小樣本學(xué)習(xí)的害蟲識(shí)別方法［J］.計(jì)算機(jī)科學(xué)，2022，49（12）：257-263.

［8］ REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN： Towards Real-Time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis amp; Machine Intelligence，2017，39（6）：1137-1149.

［9］蔣心璐，陳天恩，王聰，等.農(nóng)業(yè)害蟲檢測(cè)的深度學(xué)習(xí)算法綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2023，59（6）：30-44.