陳道懷， 汪杭軍

(1.浙江農(nóng)林大學(xué) 信息工程學(xué)院，浙江 杭州 311300； 2.浙江農(nóng)林大學(xué)暨陽學(xué)院 工程技術(shù)學(xué)院，浙江 諸暨 311800)

我國森林蟲害種類繁多，成災(zāi)發(fā)生面積逐年遞增，已成為制約我國林業(yè)可持續(xù)發(fā)展的重要因素之一；因此，加強(qiáng)森林蟲害監(jiān)測，及時(shí)發(fā)現(xiàn)蟲害隱患并及時(shí)采取措施，避免因蟲情大面積爆發(fā)而造成重大經(jīng)濟(jì)損失，具有十分重要的現(xiàn)實(shí)意義。

要進(jìn)行及時(shí)準(zhǔn)確的森林蟲害監(jiān)測，害蟲的識(shí)別與計(jì)數(shù)是基礎(chǔ)。要實(shí)現(xiàn)對害蟲的準(zhǔn)確判別，傳統(tǒng)方法主要依靠林業(yè)專家的經(jīng)驗(yàn)，進(jìn)行人工識(shí)別與計(jì)數(shù)，但這種方法的識(shí)別效率較低，識(shí)別準(zhǔn)確率不穩(wěn)定，耗時(shí)耗力，且難以大面積推廣。隨著機(jī)器學(xué)習(xí)和圖像處理技術(shù)的發(fā)展，害蟲檢測有望依靠機(jī)器自動(dòng)完成。早期，研究人員主要是通過機(jī)器學(xué)習(xí)方法獲取害蟲的圖像特征，完成害蟲的檢測和識(shí)別工作。例如，利用害蟲周長、不變矩特征、全局特征模型與局部特征模型相結(jié)合的特征提取方式、害蟲圖像HOG(梯度直方圖)特征、害蟲顏色特征等對害蟲進(jìn)行有效識(shí)別。但以上研究均未涉及害蟲姿態(tài)對識(shí)別的影響，對多姿態(tài)害蟲的識(shí)別效果較差。為了克服害蟲姿態(tài)對識(shí)別效果的影響：李文勇等提出了一種基于與形態(tài)無關(guān)的特征相組合、多類支持向量機(jī)分類器的多姿態(tài)害蟲識(shí)別方法；張睿珂等提出了一種蛾類蟲體前翅間夾角計(jì)算方法，可以確定蟲體的三維姿態(tài)。在害蟲計(jì)數(shù)方面：田冉等將紅外傳感器和機(jī)器視覺識(shí)別技術(shù)相融合，可實(shí)現(xiàn)對目標(biāo)害蟲的識(shí)別計(jì)數(shù)；肖德琴等提出一種基于結(jié)構(gòu)化隨機(jī)森林的害蟲圖像分割算法和利用不規(guī)則結(jié)構(gòu)的特征提取算法，可實(shí)現(xiàn)對誘捕板上蔬菜害蟲的監(jiān)測計(jì)數(shù)。相較于人工手段，基于機(jī)器視覺的害蟲識(shí)別與計(jì)數(shù)技術(shù)在識(shí)別效率和識(shí)別準(zhǔn)確率上有了很大的提升。然而，林業(yè)病蟲害的監(jiān)測環(huán)境往往十分復(fù)雜，病蟲害特征的提取難度增大，傳統(tǒng)機(jī)器學(xué)習(xí)方法在林業(yè)病蟲害監(jiān)測上的可靠性較難得到保證。

近年來，深度學(xué)習(xí)技術(shù)得到了快速發(fā)展。相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在圖像處理、特征提取、特征抽象和特征分類等諸多方面，深度學(xué)習(xí)在效率和準(zhǔn)確性上都顯示出了更優(yōu)異的特性。目前，深度學(xué)習(xí)方法在人機(jī)森林蟲害遠(yuǎn)程監(jiān)測、茶園害蟲定位與識(shí)別、蝗蟲實(shí)時(shí)監(jiān)測、作物害蟲檢測識(shí)別等領(lǐng)域都已得到成功應(yīng)用。但是，這些研究也仍然存在一些不足，例如：李衡霞等提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的油菜蟲害檢測方法，需首先生成初步候選區(qū)域，再利用Fast R-CNN算法實(shí)現(xiàn)對候選框的分類和定位，由于使用了兩階段的檢測方法，檢測速度較慢；李想提出一種改進(jìn)的深度學(xué)習(xí)模型，可實(shí)現(xiàn)對紅脂大小蠹蟲情的全自動(dòng)化監(jiān)測，但是，此系統(tǒng)針對特定場景而設(shè)計(jì)，只能對一種類型的害蟲進(jìn)行檢測，無法實(shí)現(xiàn)對多個(gè)類別害蟲的檢測。

在深度學(xué)習(xí)算法中，YOLO系列算法是Redmon等提出的一種具有端到端網(wǎng)絡(luò)結(jié)構(gòu)的全新、高效的多目標(biāo)檢測框架，能夠在產(chǎn)生候選目標(biāo)區(qū)域的同時(shí)完成分類和位置調(diào)整，檢測速度得到顯著提升。其中，YOLOv4是一種檢測速度更快的深度卷積神經(jīng)網(wǎng)絡(luò)，已在林業(yè)領(lǐng)域得到不少應(yīng)用。例如：王金鵬等提出了一種基于YOLOv4-LITE的火龍果檢測方法，可應(yīng)用于自然環(huán)境之中；蔡舒平等提出改進(jìn)型的YOLOv4模型，可更好地實(shí)現(xiàn)對果園環(huán)境下障礙物的檢測。

為了實(shí)現(xiàn)更高的檢測準(zhǔn)確度和更快的檢測速度，本研究針對林業(yè)害蟲的特點(diǎn)，對YOLOv4算法進(jìn)行改進(jìn)：首先，通過K-means算法對害蟲數(shù)據(jù)集的標(biāo)注框聚類，獲取與害蟲尺寸、比例相匹配的基準(zhǔn)框，并基于DIoU-NMS算法實(shí)現(xiàn)對害蟲的計(jì)數(shù)功能；然后，針對樣本中害蟲尺寸的差異，改進(jìn)PANet結(jié)構(gòu)，增加更大層級的尺度特征圖，使模型擁有更小的感受野，增強(qiáng)其對小尺寸害蟲的檢測效果；最后，調(diào)整尺度特征圖組合，在保證模型準(zhǔn)確度的前提下提升模型檢測速率，并精簡模型。試驗(yàn)結(jié)果表明，本文提出的改進(jìn)模型提升了對林業(yè)害蟲的綜合檢測效果。

1 材料與方法

1.1 數(shù)據(jù)來源

本研究使用的圖像數(shù)據(jù)集由作者課題組研發(fā)的智能害蟲捕捉裝置拍攝圖像形成。該裝置主要由黑光燈、攝像頭、采樣盤、LED燈組成(圖1)。數(shù)據(jù)集中包含10個(gè)種類的害蟲，共計(jì)圖片1 050張，每張圖片包含不同種類的害蟲若干。為了更有效地檢測害蟲，將樣本中的害蟲尺寸分為小、中、大3類，并隨機(jī)添加本研究不涉及的未知類害蟲，以及害蟲掉落時(shí)重疊、殘肢斷翅等各種情況。從圖像數(shù)據(jù)集中隨機(jī)選擇70%樣本作為訓(xùn)練集，20%作為驗(yàn)證集，10%作為測試集。將具體涉及的害蟲種類及其樣本信息整理于表1，其中，樣本數(shù)量是指數(shù)據(jù)集中該類害蟲數(shù)量的總和。

表1 圖像數(shù)據(jù)集中的害蟲樣本信息

1，黑光燈；2，攝像頭；3，采樣盤；4，LED燈。

1.2 圖像標(biāo)注

采用LabelImg軟件對所有圖片中的害蟲進(jìn)行標(biāo)注(圖2)，以供訓(xùn)練、測試時(shí)使用。具體標(biāo)注步驟如下：(1)使用LabelImg軟件打開需要標(biāo)注的樣本圖片；(2)在圖片上對每一個(gè)害蟲創(chuàng)建矩形框，使其大小正好包圍害蟲；(3)對框選的害蟲使用種類進(jìn)行命名，生成對應(yīng)的xml文件。

圖2 害蟲圖像標(biāo)注示意

1.3 蟲情監(jiān)測總體方案

為實(shí)現(xiàn)對害蟲的自動(dòng)采集、識(shí)別和計(jì)數(shù)工作，將本研究的總體方案(圖3)概述如下：首先，利用智能害蟲捕捉裝置對誘捕到的害蟲進(jìn)行拍攝，獲得圖片，并對其進(jìn)行標(biāo)注，得到害蟲數(shù)據(jù)集；然后，采用基于YOLOv4的改進(jìn)模型進(jìn)行訓(xùn)練，獲得具有較好檢測效果的害蟲檢測模型；接著，將模型部署到服務(wù)器，對從害蟲捕捉裝置上實(shí)時(shí)獲得并上傳的圖片進(jìn)行識(shí)別和計(jì)數(shù)；最后，通過蟲情分析系統(tǒng)對害蟲的發(fā)生趨勢進(jìn)行預(yù)測。

圖3 蟲情監(jiān)測總體方案

1.4 YOLOv4目標(biāo)檢測算法

在原YOLO目標(biāo)檢測架構(gòu)的基礎(chǔ)上，YOLOv4算法從數(shù)據(jù)處理、主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)、損失函數(shù)等方面進(jìn)行了優(yōu)化，使得模型的檢測速度和精度都得到很大提升。首先，YOLOv4算法采用CSPDarknet53作為算法的主干網(wǎng)絡(luò)來提取目標(biāo)特征，相較于Darknet53，CSPDarknet53使用的CSPnet結(jié)構(gòu)，能夠在保持準(zhǔn)確性的基礎(chǔ)上獲得更輕量化的表現(xiàn)；其次，YOLOv4在CSPDarknet53中引入了空間金字塔池化模塊(SPP)，可以顯著改善感受域尺寸，將最重要的上下位特征提取出來，且保持網(wǎng)絡(luò)處理速度不下降。此外，YOLOv4還使用了路徑聚合網(wǎng)絡(luò)(PANet)來提高信息流在網(wǎng)絡(luò)中的傳遞效率。PANet通過上采樣方式將高層特征的語義信息傳播到低層，然后與低層特征的高分辨率信息相融合，從而提高對小目標(biāo)物體的檢測效果。同時(shí)，通過下采樣增加從最底層到最上層的信息傳輸路徑，將不同層的特征圖融合來做預(yù)測。經(jīng)過特征融合后，系統(tǒng)最終輸出3種尺寸的特征層，分別為原輸入尺寸的1/8、1/16和1/32。

1.5 YOLOv4改進(jìn)算法

1.5.1 目標(biāo)框K-means聚類

YOLOv4模型檢測的基礎(chǔ)是，在輸入圖片上生成一系列的anchor box。anchor box是生成預(yù)測框的前提，它的選用方式會(huì)直接影響模型的性能。YOLOv4模型使用的anchor boxes是在Coco數(shù)據(jù)集上統(tǒng)計(jì)出來的錨框，對于本研究的害蟲檢測任務(wù)來說，部分anchor過大，并不適用。因此，本研究先對害蟲數(shù)據(jù)集聚類，得到合適的anchor大小。K-means算法聚類效果較優(yōu)，且收斂速度較快。為此，本研究特使用K-means算法對數(shù)據(jù)集標(biāo)注框進(jìn)行聚類，以獲取與害蟲尺寸、比例相匹配的基準(zhǔn)框，并采用平均重疊度(Avg IOU)作為目標(biāo)聚類分析的度量，對害蟲數(shù)據(jù)集進(jìn)行聚類分析。Avg IOU的目標(biāo)函數(shù)可表示為

(1)

式(1)中：表示人工標(biāo)注的目標(biāo)樣本，表示簇的中心框，(，)表示簇的中心框和人工標(biāo)注框的交并比，表示第個(gè)簇的中心中樣本的個(gè)數(shù)，表示樣本的總個(gè)數(shù)，表示簇的個(gè)數(shù)。

當(dāng)=1～9時(shí)，分別對害蟲數(shù)據(jù)集進(jìn)行聚類分析，得到與Avg IOU的關(guān)系(圖4)?？梢钥闯?，隨著值的增加，曲線變化漸趨平穩(wěn)。將拐點(diǎn)，即曲線開始變得平穩(wěn)的位置(=3)，視作最佳的anchor boxes數(shù)。此時(shí)，既可加快損失函數(shù)的收斂，又可消除候選框誤差。

圖4 K-means聚類分析的結(jié)果

1.5.2 害蟲計(jì)數(shù)方法

在害蟲監(jiān)測系統(tǒng)中，不僅要識(shí)別出害蟲的種類，還要統(tǒng)計(jì)不同種類害蟲的數(shù)量。本研究在目標(biāo)識(shí)別的基礎(chǔ)上，引入最佳檢測框的類別判斷，從而實(shí)現(xiàn)對不同種類害蟲進(jìn)行計(jì)數(shù)的目的。

在YOLOv4算法中，對于同一檢測對象會(huì)產(chǎn)生許多不同大小的預(yù)測框。本研究采用DIoU-NMS(Distance-IoU-NMS)算法來獲得最佳的檢測框，作為害蟲的目標(biāo)邊界框。該算法首先將某一類別的預(yù)測框按置信度排序，將具有最高分值的框設(shè)定為基準(zhǔn)框，然后分別與剩余的框作交并比(IoU)計(jì)算，刪除大于設(shè)定閾值的，保留小于閾值的，并依次循環(huán)，從而消除冗余重復(fù)窗口，找到物體最佳位置。DIoU-NMS除了考慮預(yù)測框重疊區(qū)域的IoU外，還考慮了2個(gè)預(yù)測框中心點(diǎn)之間的距離，能夠有效解決檢測框損失函數(shù)收斂慢的問題。DIoU-NMS的計(jì)算公式如下：

(2)

式(2)中：為當(dāng)前類別的置信度得分；表示當(dāng)前類別中所有被比較的預(yù)測框；表示所有預(yù)測框中置信度最高的那一個(gè)預(yù)測框；表示預(yù)測的邊框和真實(shí)的邊框之間交集和并集的比值；為DIoU損失函數(shù)的懲罰項(xiàng)；表示NMS的閾值，一般取0.5。

當(dāng)獲得最佳檢測框后，本研究對檢測框所屬的類別進(jìn)行判斷，當(dāng)檢測框的類別屬于數(shù)據(jù)集中的某一種時(shí)，便將該類害蟲加一。遍歷過所有的檢測框后，即可得到圖像中各類害蟲的數(shù)量和所有害蟲的總數(shù)。

1.5.3 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

YOLOv4原模型分別采用32倍、16倍和8倍下采樣的特征圖來檢測圖像中的大、中、小3類目標(biāo)。然而，這在本研究中檢測小個(gè)體的害蟲時(shí)表現(xiàn)并不出色。為了提升對小個(gè)體害蟲的檢測準(zhǔn)確率，獲得更小的感受野，本研究在YOLOv4模型的基礎(chǔ)上，增加了4倍下采樣的層級特征圖，以提升對害蟲的檢測效果。

在PANet網(wǎng)絡(luò)中，首先通過上采樣方式將52×52特征圖的語義信息傳播到104×104層，并與底層特征融合，以獲取更多的細(xì)節(jié)信息，提高對小個(gè)體害蟲的檢測效果；然后通過下采樣加強(qiáng)特征，同時(shí)輸出新增的104×104層特征檢測圖。

改進(jìn)后的YOLOv4模型如圖5所示。

MISH和LeakyRelu為激活函數(shù)。

在新增層級特征圖后，改進(jìn)模型的復(fù)雜度相比于傳統(tǒng)YOLOv4模型明顯增加。在卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)越深，得到的特征圖的神經(jīng)元感受野越大，也就是說，每個(gè)神經(jīng)元蘊(yùn)含更為全局、語義層次高的特征，但是局部特征與細(xì)節(jié)特征會(huì)出現(xiàn)丟失。

為了減少模型復(fù)雜度和對比新增層級特征圖對于小目標(biāo)的檢測效果，對模型采用不同尺度的特征圖組合進(jìn)行訓(xùn)練。其中，13×13特征圖用來檢測大目標(biāo)，26×26特征圖用來檢測中目標(biāo)，52×52特征圖用來檢測小目標(biāo)，新增104×104特征圖用來檢測更小目標(biāo)。根據(jù)具體模型特征圖組合，將改進(jìn)模型分為Improved YOLOv4-1、Improved YOLOv4-2、Improved YOLOv4-3、Improved YOLOv4-4。將上述模型的尺度特征圖結(jié)構(gòu)整理于表2。

表2 各模型結(jié)構(gòu)對比

2 結(jié)果與分析

本研究所使用的平臺(tái)為Windows 10操作系統(tǒng)，CPU為AMD R7 3700X，GPU為NVIDIA GeForce GTX 1070，內(nèi)存16 G，并使用CUDA10加速框架對YOLOv3、YOLOv4和本研究提出的改進(jìn)YOLOv4模型進(jìn)行訓(xùn)練。初始學(xué)習(xí)率設(shè)置為0.001，最大迭代次數(shù)為20 000，選擇step模式更新學(xué)習(xí)率，在訓(xùn)練迭代次數(shù)達(dá)到16 000和18 000時(shí)，分別將學(xué)習(xí)率降低至初始學(xué)習(xí)率的10%和1%。

采用以下指標(biāo)對各個(gè)模型的性能表現(xiàn)進(jìn)行對比和評估，涉及準(zhǔn)確率、模型復(fù)雜程度、計(jì)算量等因素，具體包括：(1)MAP(均值平均精度)，即所有類別平均精度的平均值；(2)FPS(每秒處理幀數(shù))，即單位時(shí)間(1s)可以處理的圖片數(shù)量，其值越高，說明模型的檢測速度越快；(3)FLOPs(浮點(diǎn)運(yùn)算數(shù))，衡量神經(jīng)網(wǎng)絡(luò)中前向傳播的運(yùn)算次數(shù)，可以理解為計(jì)算量，其值越小，說明模型復(fù)雜度越低；(4)MP(模型參數(shù)量)，衡量神經(jīng)網(wǎng)絡(luò)中所包含的參數(shù)的數(shù)量，其值越小，模型體積越小，越容易部署。

表3給出了各個(gè)模型不同指標(biāo)的表現(xiàn)情況。可以看出：加入了104×104特征圖的4種改進(jìn)模型的精度均比YOLOv4原模型提高，其中，表現(xiàn)最好的Improved YOLOv4-4模型在精度上(MAP)較YOLOv4提升1.6百分點(diǎn)，比YOLOv3提升4.5百分點(diǎn)，且在計(jì)算速度(FPS)上比YOLOv4模型提升11.1%，在模型復(fù)雜度(FLOPs)上較YOLOv4模型減降低11.9%，在模型參數(shù)量(MP)上比YOLOv4模型減少了33.2%。由此可見，去除YOLOv4模型中原有的3個(gè)特征圖后，對于害蟲的識(shí)別效果不僅沒有負(fù)向影響，反而有效解決了卷積層加深所帶來的計(jì)算量增加、推理速度變緩、細(xì)節(jié)特征消失等問題。由于采用了104×104特征圖，Improved YOLOv4-4模型的參數(shù)量減少，復(fù)雜程度降低，在綜合性能上得到較大提升，為模型后續(xù)的部署、應(yīng)用帶來了更多便利。

表3 各模型結(jié)果對比

Improved YOLOv4-4模型在訓(xùn)練性能上同樣也有很好的表現(xiàn)(圖6)，可較YOLOv4算法在更少的迭代次數(shù)下快速收斂，且整體的MAP得到了提升。

MAP，均值平均精度。

為了驗(yàn)證新增的層級特征圖對于小個(gè)體害蟲的具體檢測效果，對YOLOv3、YOLOv4、Improved YOLOv4-4模型下每一類害蟲的識(shí)別準(zhǔn)確度和整體識(shí)別準(zhǔn)確度進(jìn)行對比(表4)，將給定的10類害蟲之外的未知害蟲統(tǒng)一編號(hào)為11。

表4 各模型識(shí)別準(zhǔn)確度對比

整體上，尺寸小的害蟲識(shí)別準(zhǔn)確度較低。這是因?yàn)檩^小個(gè)體的害蟲較易受到重疊、光照、殘肢等因素的影響而不易識(shí)別。對比不同模型，Improved YOLOv4-4模型對于尺寸為中和大的害蟲的識(shí)別準(zhǔn)確度與另2種模型相差不大，但對于小尺寸害蟲的平均識(shí)別準(zhǔn)確度(95.33%)比YOLOv4模型(93.05%)上升了2.28百分點(diǎn)。對于第11類害蟲的識(shí)別準(zhǔn)確度，Improved YOLOv4-4模型比YOLOv4模型的識(shí)別準(zhǔn)確度提升了10.0百分點(diǎn)。這主要是因?yàn)椋擃悩颖镜臄?shù)量并不是很多，而且存在尺寸較小的害蟲，這樣一來，檢測出的害蟲個(gè)數(shù)上較小的差別也會(huì)帶來較大的識(shí)別準(zhǔn)確度差距。同時(shí)，上述結(jié)果也充分反映了新增的層級特征圖在小尺寸害蟲檢測中的優(yōu)勢。

為了驗(yàn)證基于DIoU-NMS算法實(shí)現(xiàn)的害蟲計(jì)數(shù)方法及其在改進(jìn)模型中的計(jì)數(shù)效果，對各模型的計(jì)數(shù)效果進(jìn)行對比分析(表5)?？紤]到簡單害蟲圖像對計(jì)數(shù)效果的影響不大，特選取害蟲背景較為復(fù)雜(如重疊、陰影較為嚴(yán)重)的圖片進(jìn)行檢測計(jì)數(shù)對比?？梢钥闯觯琁mproved YOLOv4-4模型在對復(fù)雜背景下的害蟲計(jì)數(shù)時(shí)效果更優(yōu)，且突出表現(xiàn)在以下2種情況(圖7)：(1)識(shí)別到某些重疊狀態(tài)下和在陰影處的害蟲，改善漏檢等情況；(2)對于小尺寸害蟲的識(shí)別更為準(zhǔn)確，如YOLOv4將美苔蛾誤檢測為黃土苔蛾，而改進(jìn)模型能夠正確識(shí)別。

表5 各模型的計(jì)數(shù)效果對比

圖7 識(shí)別結(jié)果對比

3 結(jié)論

在森林病蟲害監(jiān)測中，如何對害蟲進(jìn)行有效、準(zhǔn)確的檢測一直是人們研究的主要目標(biāo)?，F(xiàn)有研究大多采用深度學(xué)習(xí)方法進(jìn)行檢測，但這些研究下的模型較復(fù)雜，難以快速部署，且所針對的害蟲種類、狀態(tài)比較單一，當(dāng)存在重疊、殘翅、斷翅等情況時(shí)表現(xiàn)并不佳。為此，本研究在YOLOv4算法的基礎(chǔ)上進(jìn)行優(yōu)化，在保證模型準(zhǔn)確度的前提下，減小了模型的復(fù)雜度和計(jì)算量，提升了模型對復(fù)雜背景下害蟲和小個(gè)體害蟲的檢測效果。