張劍飛,柯 賽

(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院,黑龍江 哈爾濱 150022)

0 引 言

關(guān)于現(xiàn)代農(nóng)業(yè)害蟲(chóng)檢測(cè)的相關(guān)研究,郭陽(yáng)等[1]為解決人工識(shí)別水稻蟲(chóng)害難度大、費(fèi)時(shí)費(fèi)力的問(wèn)題,提出了一種自動(dòng)識(shí)別水稻蟲(chóng)害的方法。通過(guò)YOLOv3檢測(cè)算法解決了田間復(fù)雜情況下的水稻蟲(chóng)害識(shí)別任務(wù)。張善文等[2]提出了一種可形變VGG-16模型的田間作物害蟲(chóng)檢測(cè)方法,引入可形變卷積使網(wǎng)絡(luò)適應(yīng)不同形狀、狀態(tài)和尺寸等幾何形變的害蟲(chóng)圖像,提高了模型特征表達(dá)能力,在實(shí)際田間害蟲(chóng)圖像數(shù)據(jù)庫(kù)上的檢測(cè)準(zhǔn)確率達(dá)到91.14%。劉凱旋[3]提出使用R-CNN的小樣本水稻害蟲(chóng)檢測(cè)算法,通過(guò)數(shù)據(jù)擴(kuò)增和預(yù)訓(xùn)練加速模型收斂過(guò)程,該方法能夠有效地識(shí)別和檢測(cè)復(fù)雜背景下的水稻害蟲(chóng)。肖德琴等[4]針對(duì)黃板誘捕的害蟲(chóng)體積小、數(shù)量多和分布不均勻,難以進(jìn)行害蟲(chóng)識(shí)別的問(wèn)題,提出一種基于改進(jìn)Faster R-CNN的田間黃板害蟲(chóng)檢測(cè)算法,該算法在中等密度下平均精度均值達(dá)到了89.76%。

候瑞環(huán)等[5]針對(duì)現(xiàn)有基于深度學(xué)習(xí)的林業(yè)昆蟲(chóng)圖像檢測(cè)方法存在檢測(cè)精度低和檢測(cè)速度慢的問(wèn)題,提出了一種基于YOLOv4-TIA的林業(yè)害蟲(chóng)實(shí)時(shí)檢測(cè)方法。馮晉[6]提出了基于深度學(xué)習(xí)的水稻燈誘害蟲(chóng)檢測(cè)方法,通過(guò)對(duì)YOLOv3模型主干網(wǎng)絡(luò)以及聚類(lèi)算法的改進(jìn),檢測(cè)效果得到大幅提升。姚青等[7]提出改進(jìn)RetinaNet的水稻冠層害蟲(chóng)自動(dòng)檢測(cè)模型,模型采用ResNeXt101作為特征提取網(wǎng)絡(luò)以及組歸一化方法,實(shí)現(xiàn)了對(duì)水稻害蟲(chóng)的高精度檢測(cè)。

盡管上述害蟲(chóng)檢測(cè)方法已經(jīng)具有了良好的檢測(cè)性能,但針對(duì)該文所要研究的多種類(lèi)害蟲(chóng)檢測(cè),仍然存在以下不足:

(1)大部分檢測(cè)模型僅使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行搭建,但卷積的局部偏執(zhí)特性會(huì)導(dǎo)致模型忽視全局特征信息。

(2)大部分害蟲(chóng)檢測(cè)任務(wù)都是針對(duì)單一或少量同類(lèi)目標(biāo),模型使用范圍較局限,不能覆蓋多種類(lèi)害蟲(chóng)檢測(cè)情況。

因此,該文提出了ST-YOLOX-s(Swin-Transformer-YOLOX-s)模型來(lái)解決上述問(wèn)題。

1 相關(guān)工作

1.1 YOLOX

YOLOX[8]是基于YOLOv3[9]檢測(cè)模型改進(jìn)的無(wú)錨框(Anchor Free)單階段目標(biāo)檢測(cè)模型,具有由小到大四種規(guī)格(-s、-m、-l、-x)。區(qū)別于以往YOLO系列基于錨框(Anchor Base)的設(shè)計(jì),YOLOX擺脫了先驗(yàn)框的限制,使模型更易部署到下游任務(wù)當(dāng)中。YOLOX引入解耦預(yù)測(cè)頭,將原有預(yù)測(cè)任務(wù)進(jìn)行分工,緩解了預(yù)測(cè)權(quán)重的壓力。同時(shí)YOLOX加入了動(dòng)態(tài)匹配正樣本(SimOTA)策略,該策略為不同目標(biāo)設(shè)定了不同的正樣本數(shù)量,優(yōu)化了模型正負(fù)樣本的訓(xùn)練比例。

1.2 Transformer

Transformer[10]作為近期具有開(kāi)創(chuàng)性的第四代神經(jīng)網(wǎng)絡(luò),在CV領(lǐng)域產(chǎn)生了巨大的影響。先是ViT[11](Vision Transformer)將圖片視為文本進(jìn)行處理,在圖像分類(lèi)任務(wù)中取得了極佳的效果。隨后的Swin-Transformer[12]將類(lèi)似卷積神經(jīng)網(wǎng)絡(luò)的層次化結(jié)構(gòu)融入Transformer,在降低模型計(jì)算量的同時(shí)提升了模型預(yù)測(cè)精度。

2 模型算法改進(jìn)

ST-YOLOX-s在原有YOLOX-s模型基礎(chǔ)上對(duì)整體網(wǎng)絡(luò)進(jìn)行改進(jìn)。ST-YOLOX-s采用四尺度特征層檢測(cè)結(jié)構(gòu)進(jìn)行預(yù)測(cè),通過(guò)主干網(wǎng)絡(luò)(BackBone)提取畫(huà)面特征,頸部網(wǎng)絡(luò)(Neck)實(shí)現(xiàn)特征融合,最后借助解耦預(yù)測(cè)頭(Head)對(duì)目標(biāo)進(jìn)行分析預(yù)測(cè)。ST-YOLOX-s模型具體結(jié)構(gòu)如圖1所示。

圖1 ST-YOLOX-s模型結(jié)構(gòu)

為進(jìn)一步提高ST-YOLOX-s模型的檢測(cè)性能,在模型訓(xùn)練前期設(shè)計(jì)了數(shù)據(jù)增強(qiáng)策略,借助數(shù)據(jù)增強(qiáng)技術(shù)有效提升數(shù)據(jù)多樣性。與原始YOLOX-s相比,ST-YOLOX-s可以更好地處理多種類(lèi)害蟲(chóng)檢測(cè)任務(wù),本次的主要工作如下:

(1)為實(shí)現(xiàn)模型對(duì)多種類(lèi)害蟲(chóng)的檢測(cè)任務(wù),構(gòu)建了一個(gè)包含30類(lèi)害蟲(chóng),共計(jì)3 956張標(biāo)注圖片的害蟲(chóng)數(shù)據(jù)集。

(2)為解決模型對(duì)小型害蟲(chóng)檢測(cè)準(zhǔn)確率偏低的問(wèn)題,通過(guò)增添P2特征尺度來(lái)提升主干網(wǎng)絡(luò)對(duì)微小目標(biāo)的特征捕捉能力。

(3)為解決模型在復(fù)雜環(huán)境下多種類(lèi)害蟲(chóng)目標(biāo)檢測(cè)效果不佳的問(wèn)題,通過(guò)使用具有通道注意力機(jī)制的CA&CSPLayer以及具有圖屬性的G-Swin-Block,提升卷積網(wǎng)絡(luò)對(duì)于通道信息以及全局信息的抓取能力。

(4)為進(jìn)一步實(shí)現(xiàn)模型高精度定位,使用α-CIoU損失替換原始的IoU損失。

2.1 提出四尺度特征層檢測(cè)結(jié)構(gòu)

針對(duì)模型對(duì)小型害蟲(chóng)目標(biāo)檢測(cè)效果不佳的問(wèn)題,提出了四尺度特征層檢測(cè)結(jié)構(gòu)改進(jìn)方案。原網(wǎng)絡(luò)使用三尺度特征層檢測(cè)設(shè)計(jì),對(duì)于640×640的輸入圖像,分別利用8倍、16倍、32倍下采樣的特征圖去預(yù)測(cè)不同大小尺寸的特征目標(biāo)。但由于本次實(shí)驗(yàn)數(shù)據(jù)中包含較小的害蟲(chóng)目標(biāo),原有的三層尺度特征層檢測(cè)設(shè)計(jì)對(duì)此類(lèi)目標(biāo)特征捕獲較不敏感。為此,該文在原網(wǎng)絡(luò)基礎(chǔ)上增添了P2特征尺度層。該特征層受主干網(wǎng)絡(luò)4倍下采樣影響,將大小為160×160的特征圖送入頸部網(wǎng)絡(luò)進(jìn)行特征融合,并將該尺度的預(yù)測(cè)信息通過(guò)YOLOHead-P2預(yù)測(cè)頭進(jìn)行反饋。YOLOHead-P2預(yù)測(cè)頭受淺層高分辨率特征信息的影響,對(duì)微小目標(biāo)的特征更加敏感。通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的整體改進(jìn),使得網(wǎng)絡(luò)可以更加全面地捕獲多種尺度的特征信息。

2.2 構(gòu)建具有通道注意力機(jī)制的CA&CSPLayer

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)關(guān)于通道信息關(guān)注薄弱的問(wèn)題,為CSPLayer(Cross Stage Partial Layer)的殘差邊施加ECANet[13]高效通道注意力,以此來(lái)提煉特征圖的通道信息權(quán)重。該方法有助于彌補(bǔ)卷積神經(jīng)網(wǎng)絡(luò)對(duì)特征圖通道信息關(guān)注薄弱的缺點(diǎn)。模型在使用具有通道注意力的CA&CSPLayer(Channel Attention &Cross Stage Partial Layer)后,可以有效引導(dǎo)ST-YOLOX-s模型提取關(guān)鍵通道特征信息,提高模型檢測(cè)性能。

與原始CSPLayer相比,CA&CSPLayer會(huì)對(duì)原始的殘差邊額外施加一個(gè)通道注意力權(quán)重,以此得到具有通道注意力權(quán)重的X1特征圖。關(guān)于通道注意力權(quán)重的提煉,CA&CSPLayer首先會(huì)對(duì)輸入的特征圖進(jìn)行全局均值池化(Global Average Pooling,GAP)操作實(shí)現(xiàn)對(duì)特征圖的維度壓縮,隨后借助一維卷積核(k)來(lái)學(xué)習(xí)各相鄰?fù)ǖ乐g的特征映射關(guān)系,算法會(huì)假設(shè)一維卷積核k和通道C之間存在以2為底的非線性指數(shù)映射關(guān)系,如公式(1)所示:

C=φ(k)=2(γ*k-b)

(1)

通過(guò)在通道維數(shù)C已知的情況下,一維卷積核k可以通過(guò)公式(2)計(jì)算得到:

(2)

其中,‖odd表示最近奇數(shù),參數(shù)γ和b分別取2和1。

然后借助Sigmoid激活函數(shù)實(shí)現(xiàn)對(duì)通道特征的整合,最后通過(guò)與原輸入特征圖(Input)的結(jié)合,生成帶有通道信息的特征圖X1。生成的特征圖X1會(huì)與經(jīng)過(guò)殘差瓶頸操作的特征圖X2做拼接操作,最終實(shí)現(xiàn)對(duì)特征圖的信息整合。CA&CSPLayer整體結(jié)構(gòu)如圖2所示。

圖2 CA&CSPLayer整體結(jié)構(gòu)細(xì)節(jié)

2.3 構(gòu)建具有圖屬性的Swin-Transformer

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型缺乏獲取全局特征信息的問(wèn)題,通過(guò)使用Swin-Transformer模塊來(lái)提升模型的全局特征學(xué)習(xí)能力,同時(shí)借鑒Vision GNN[14]模型的KNN圖神經(jīng)網(wǎng)絡(luò),進(jìn)一步優(yōu)化Swin-Transformer網(wǎng)絡(luò)對(duì)特征圖各局部圖塊(Patch)間的特征學(xué)習(xí)。

Swin-Transformer網(wǎng)絡(luò)模型中使用了Windows Multi-head Self-Attention (W-MSA)以及Shifted-Windows Multi-Head Self-Attention (SW-MSA)兩個(gè)概念,并通過(guò)與MLP(Multi-Layer Perceptron)的結(jié)合共同組合成Swin-Transformer模塊。而在G-Swin-Block(Group Swin-Transformer Block)模塊當(dāng)中,首先會(huì)對(duì)輸入特征圖的每個(gè)圖塊(Patch)利用最鄰近節(jié)點(diǎn)算法(K-Nearest Neighbor,KNN)進(jìn)行操作,以此來(lái)學(xué)習(xí)每個(gè)Patch間的相互特征關(guān)系,更好地引導(dǎo)Swin-Transformer模塊關(guān)注重點(diǎn)的Patch。同時(shí)在該操作前后施加卷積以及批量歸一化(Batch Normalization,BN)操作防止特征權(quán)重出現(xiàn)過(guò)擬合。G-Swin-Block模塊具體細(xì)節(jié)如圖3所示。

當(dāng)特征圖進(jìn)入G-Swin-Block模塊后,Graph-KNN網(wǎng)絡(luò)首先會(huì)對(duì)特征圖每個(gè)Patch之間的特征信息進(jìn)行KNN節(jié)點(diǎn)計(jì)算,以此來(lái)評(píng)估各Patch之間包含目標(biāo)特征信息的權(quán)重比例,并最終將比例權(quán)重附加到每個(gè)Patch上面,具體操作如公式(3)所示。

ωpatchi=GraphKNN(patchi)

(3)

圖3 G-Swin-Block模塊整體結(jié)構(gòu)

隨后進(jìn)行Swin-Transformer的層次化全局特征學(xué)習(xí)操作,操作流程如公式(4)所示:

(4)

通過(guò)構(gòu)建具有圖屬性的Swin-Transformer,有效解決了卷積神經(jīng)網(wǎng)絡(luò)模型無(wú)法獲取特征圖全局信息的能力,使得模型檢測(cè)性能得到提高。

2.4 引入α調(diào)節(jié)因子的CIoU損失函數(shù)

YOLOX-s模型使用交并比損失函數(shù)(IoULoss)來(lái)計(jì)算預(yù)測(cè)框和真實(shí)框的位置損失。該損失方法如公式(5):

(5)

雖然IoULoss具有良好的尺度不變性,但是也存在著兩個(gè)缺點(diǎn):一方面,IoU(Intersection over Union)無(wú)法精確地反映預(yù)測(cè)框和真實(shí)框的重合程度; 另一方面當(dāng)預(yù)測(cè)框和真實(shí)框沒(méi)有交集時(shí),IoU無(wú)法反映二者的實(shí)際距離大小。為此,該文采用考慮因素更為全面的α-CIoU[15]作為目標(biāo)檢測(cè)任務(wù)的回歸損失函數(shù),該損失函數(shù)兼顧了重疊面積、中心點(diǎn)距離以及長(zhǎng)寬比三要素,且實(shí)際效果優(yōu)于IoULoss和CIOULoss[16]。α-CIoU回歸損失的計(jì)算過(guò)程如公式(6)所示:

(6)

其中,α為調(diào)節(jié)參數(shù),β為權(quán)重函數(shù),w為框?qū)?h為框高,b和bgt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn),ρ為計(jì)算兩個(gè)中心點(diǎn)的歐氏距離,v表示長(zhǎng)寬比的相似性,c表示能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離。

通過(guò)使用α-CIoULoss,有效解決了IoULoss存在的不足。使模型回歸框定位更加精準(zhǔn),且檢測(cè)性能得到進(jìn)一步提高。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為實(shí)現(xiàn)對(duì)多種類(lèi)害蟲(chóng)的檢測(cè)任務(wù),借助LabelImg數(shù)據(jù)標(biāo)注腳本,構(gòu)建了包含:稻縱卷葉螟、稻癭蚊、稻飛虱、稻象蟲(chóng)、稻葉蟬、蠐螬蟲(chóng)、螻蛄、金針蟲(chóng)、黃地老虎、紅蜘蛛、玉米螟、黏蟲(chóng)、蚜蟲(chóng)、白星花金龜、桃柱螟、麥圓蜘蛛、跳甲、斑蠅、盲蝽、芫菁、瓢蟲(chóng)、葡萄天蛾、斑衣蠟蟬、大青葉蟬、吹綿蚧殼蟲(chóng)、桔小實(shí)蠅、枯葉夜蛾、茶樹(shù)白蛾蠟蟬、褐邊蛾蠟蟬、脊胸天牛的30類(lèi)害蟲(chóng)數(shù)據(jù)集,詳細(xì)數(shù)據(jù)如圖4所示?？倲?shù)據(jù)量3 956張,其中單類(lèi)數(shù)據(jù)最多212張,最少64張,平均每類(lèi)130張左右。

圖4 害蟲(chóng)數(shù)據(jù)集詳細(xì)數(shù)據(jù)

3.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)可以有效擴(kuò)展樣本多樣性,使模型在不同環(huán)境下都具備較高的魯棒性。本次實(shí)驗(yàn)除了使用光度失真和幾何失真策略外,還使用了Mixup[17]和Mosaic數(shù)據(jù)增強(qiáng)策略,Mixup會(huì)從訓(xùn)練圖像中隨機(jī)選取兩個(gè)樣本進(jìn)行隨機(jī)加權(quán)求和,該操作可以有效提升檢測(cè)模型的泛化能力,具體操作效果如圖5所示。

圖5 Mixup數(shù)據(jù)增強(qiáng)

Mosaic增強(qiáng)操作會(huì)將4幅預(yù)處理圖像拼接為1幅大圖,從而極大地豐富了被檢測(cè)物體的背景,具體操作效果如圖6所示。

圖6 Mosaic數(shù)據(jù)增強(qiáng)

3.3 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)在Python3.8,CUDA11.3,PyTorch 1.10.0環(huán)境下進(jìn)行。所有模型均在NVIDIA RTX A5000 GPU上進(jìn)行訓(xùn)練和測(cè)試。數(shù)據(jù)集按照9∶1劃分為訓(xùn)練集和測(cè)試集,并從訓(xùn)練集中抽取10%作為驗(yàn)證集,模型規(guī)格為-s,使用SGD優(yōu)化器以及余弦退火學(xué)習(xí)率,BatchSize大小設(shè)置為8,總共進(jìn)行300次迭代訓(xùn)練(最后30次迭代訓(xùn)練會(huì)關(guān)閉Mixup和Mosaic)。ST-YOLOX-s模型經(jīng)過(guò)300次迭代訓(xùn)練后趨于收斂。

3.4 評(píng)估指標(biāo)

通過(guò)使用Python中的pycocotools工具包來(lái)計(jì)算COCO評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)最終結(jié)果如圖7所示,可以看出改進(jìn)后的ST-YOLOX-s模型的AP50以及AP50-95的檢測(cè)精度都有明顯提升。

圖7 實(shí)驗(yàn)訓(xùn)練結(jié)果展示

3.5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.5.1 消融實(shí)驗(yàn)

通過(guò)消融實(shí)驗(yàn)可以有效反映模型改進(jìn)成效。如表1所示,在將模型特征檢測(cè)尺度擴(kuò)展到P2后,AP50的精度提升了0.47百分點(diǎn);在加入具有通道注意力的CA&CSPLayer后,AP50的精度提升了0.74百分點(diǎn);在加入具有圖屬性的G-Swin-Block模塊后,AP50的精度提升了0.22百分點(diǎn);最后在加入高精度α-CIoU回歸定位損失后,AP50的精度提升了0.58百分點(diǎn)。

表1 不同改進(jìn)方法的實(shí)驗(yàn)結(jié)果

3.5.2 對(duì)比實(shí)驗(yàn)

選取的對(duì)比模型包括:兩階段目標(biāo)檢測(cè)模型Faster R-CNN[18],并選取ResNet50[19]作為其主干網(wǎng)絡(luò);無(wú)錨框(Anchor Free)的CenterNet[20],同樣選取ResNet50作為其主干網(wǎng)絡(luò);單階段目標(biāo)檢測(cè)模型中的YOLOv3、YOLOv4-tiny和基于MobileNetV3[21]主干網(wǎng)絡(luò)的YOLOv4。實(shí)驗(yàn)結(jié)果表明,ST-YOLOX-s模型具有更好的檢測(cè)性能,具體實(shí)驗(yàn)數(shù)據(jù)如表2所示。

表2 主流目標(biāo)檢測(cè)模型性能對(duì)比

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有目標(biāo)檢測(cè)算法難以應(yīng)對(duì)現(xiàn)代農(nóng)業(yè)環(huán)境下多種類(lèi)害蟲(chóng)高精度檢測(cè)的問(wèn)題,在YOLOX-s檢測(cè)模型基礎(chǔ)上,通過(guò)增添P2特征尺度、構(gòu)建具有通道特性的CA&CSPLayer、構(gòu)建具有全局圖屬性的G-Swin-Block以及α-CIoU高精度回歸定位損失,得到ST-YOLOX-s目標(biāo)檢測(cè)模型。實(shí)驗(yàn)表明,ST-YOLOX-s檢測(cè)性能優(yōu)于常用的目標(biāo)檢測(cè)模型,最終AP50結(jié)果達(dá)到92.27%,AP50-95結(jié)果達(dá)到67.32%。該方法為現(xiàn)代農(nóng)業(yè)高效治理提供有益參考,模型測(cè)試效果如圖8所示。

圖8 部分害蟲(chóng)檢測(cè)效果