杜 聰,王 赟,劉思雨,宋雪樺

(江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院,江蘇 鎮(zhèn)江 212013)

1 引言

在中國,糧食作為國家重要資源之一,對國家的發(fā)展具有重大意義。糧食儲(chǔ)備是國家每年的重要任務(wù),關(guān)乎人民的生計(jì)。糧食在儲(chǔ)備過程中,蟲害的發(fā)生是導(dǎo)致糧食經(jīng)濟(jì)損失的主要原因之一。大多數(shù)糧倉害蟲較小,害蟲的尺寸低于拍攝圖像尺寸的10%,屬于小目標(biāo)[1],而且個(gè)別種類害蟲外形相似,較難區(qū)分。因此,如何快速準(zhǔn)確地檢測出各類糧倉害蟲是目標(biāo)檢測領(lǐng)域中一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

早期,糧倉管理人員依靠人力和經(jīng)驗(yàn)對害蟲進(jìn)行篩選檢測,這種方法不僅耗費(fèi)時(shí)間,而且效率較低。隨后,一些新技術(shù)逐漸取代原始的人工檢測方法。例如,聲檢測法是對糧倉害蟲活動(dòng)的聲音進(jìn)行采集和特征提取,來判斷糧倉害蟲的種類和數(shù)量[2]。該方法易受環(huán)境因素的影響,檢測結(jié)果有待提高。隨著圖像處理技術(shù)的不斷發(fā)展,傳統(tǒng)的機(jī)器學(xué)習(xí)通過采集糧倉害蟲圖像并提取糧蟲特征,將其送入分類器中進(jìn)行訓(xùn)練[3],該方法提取到的特征魯棒性差,檢測結(jié)果準(zhǔn)確率不高。近年來,深度學(xué)習(xí)的快速發(fā)展,使其成為糧倉害蟲檢測任務(wù)中一項(xiàng)熱門領(lǐng)域。它通過卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取糧倉害蟲特征,相較于以往的方法,具有更快的檢測速度和更高的檢測準(zhǔn)確率[4]。侯瑞環(huán)[5]等人在YOLOv4[6]的基礎(chǔ)上使用注意力機(jī)制對骨干網(wǎng)絡(luò)進(jìn)行改進(jìn),并在PANet[7](Path Aggregation Network)結(jié)構(gòu)上使用一種更加高效的特征融合方式,但該模型體積較大,不具備輕量級的特點(diǎn)。苗海委[8]等人對SSD[9]目標(biāo)框回歸策略進(jìn)行改進(jìn),優(yōu)化了損失函數(shù)和特征提取網(wǎng)絡(luò),并在粘蟲板上對害蟲進(jìn)行檢測,但該方法針對特定場景設(shè)計(jì),害蟲負(fù)樣本數(shù)據(jù)較少,泛化能力有待提高。Ramalingam[10]等人通過構(gòu)建Faster RCNN ResNet50目標(biāo)檢測框架,將其部署在物聯(lián)網(wǎng)中,并對捕捉到的農(nóng)田害蟲數(shù)據(jù)集進(jìn)行訓(xùn)練測試,該方法得到的害蟲個(gè)體較大,無法保證在小目標(biāo)數(shù)據(jù)集上具有良好的表現(xiàn)。

本文在YOLOv5s的基礎(chǔ)上,提出了改進(jìn)模型RA-YOLOv5s。該模型在YOLOv5s的CSP模塊中,融入了空間注意力機(jī)制和通道注意力機(jī)制,并將其殘差單元修改為ResNeXt殘差單元,同時(shí)減少了殘差單元的數(shù)量,使其能夠較好地識別出糧倉害蟲。

2 YOLOv5s模型原理

YOLOv5通過控制模型的深度和特征圖的寬度,按照模型大小依次分為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個(gè)版本。其中YOLOv5s模型深度最小,特征圖寬度最小。

YOLOv5s由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部組成,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。主干網(wǎng)絡(luò)主要由CBS模塊及CSP[11](Cross Stage Partial)模塊堆疊而成,其中CBS模塊由卷積層、批量標(biāo)準(zhǔn)化和SiLU激活函數(shù)組成。CSP模塊首先將特征圖分成兩部分,使其梯度流分別在不同路徑上傳播,再經(jīng)過特征融合,以獲取更加豐富的梯度融合信息。頸部網(wǎng)絡(luò)由FPN[12](Feature Pyramid Network)和PAN[13](Path Aggregation Network)結(jié)構(gòu)組合構(gòu)成,FPN可以獲得特征圖中較強(qiáng)的語義信息,PAN可以獲得特征圖中較強(qiáng)的定位信息。輸入圖像經(jīng)過主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)的特征提取,在頭部輸出三個(gè)不同尺度大小的特征圖,分別預(yù)測不同大小的目標(biāo)。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5s模型借鑒了CSPNet的設(shè)計(jì)思路,分別在主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)中加入了兩種不同結(jié)構(gòu)的CSP模塊:CSP1＿n和CSP2＿n,其中n代表虛線框單元結(jié)構(gòu)重復(fù)的數(shù)量,如圖2所示。

圖2 CSP模塊結(jié)構(gòu)

3 糧倉害蟲檢測模型

3.1 基于注意力機(jī)制的YOLOv5s模型

個(gè)別種類糧倉害蟲外形相似,難以區(qū)分,因此在YOLOv5s模型中引入注意力機(jī)制。SK卷積[14](Selective Kernel Convolution)是一種空間注意力機(jī)制,它可以根據(jù)輸入信息的多個(gè)尺度自動(dòng)調(diào)整感受野的大小來獲得不同尺寸的空間信息。SE(Squeeze-and-Excitation)[15]模塊是一種通道注意力機(jī)制,它可以對各個(gè)通道間的依賴性進(jìn)行建模以此提高網(wǎng)絡(luò)的表示能力,并且能夠?qū)Λ@取到的特征進(jìn)行逐通道調(diào)整,以便網(wǎng)絡(luò)可以學(xué)習(xí)使用全局信息來選擇性強(qiáng)調(diào)有益特征并抑制無用特征。

本文根據(jù)CSP模塊結(jié)構(gòu)的特點(diǎn),在支路1的CBS模塊后用SK卷積對其空間特征信息進(jìn)行提取,在支路2虛線框單元內(nèi)第二個(gè)CBS模塊后用SE模塊對其通道特征信息進(jìn)行提取,通過在不同支路上應(yīng)用不同的注意力機(jī)制,再將其融合,以獲得更加有效的特征信息。改進(jìn)后的CSP模塊結(jié)構(gòu)如圖3所示。

圖3 融入注意力機(jī)制的CSP模塊

SK卷積結(jié)構(gòu)如圖4所示,其執(zhí)行步驟如下:

圖4 SK卷積

1)給定一個(gè)高H、寬W、通道數(shù)為C的輸入特征圖x∈H×W×C,SK卷積分別使用卷積核大小為3×3和5×5的卷積核對其進(jìn)行卷積操作,得到輸出U1和U2。U1和U2逐元素相加得到U∈H×W×C,U是融合了多個(gè)感受野的特征圖。

2)使用全局平均池化操作(Fgp)將U轉(zhuǎn)換成具有通道分離的統(tǒng)計(jì)信息s∈C。轉(zhuǎn)換過程如式(1)所示,下標(biāo)c表示第c個(gè)元素。

(1)

3)使用全連接層(Ffc)對統(tǒng)計(jì)信息s進(jìn)行線性變換來降低其維數(shù),輸出z∈d×1。轉(zhuǎn)換過程如式(2)所示。

z=Ffc(s)=δ(B(Ws))

(2)

4)對輸出z使用softmax操作得到軟注意力向量a和b,如式(3)所示。

(3)

其中A,B∈C×d,Ac∈1×d表示A的第c個(gè)元素,ac表示a的第c個(gè)元素,Bc和bc同理表示。

5)U1和U2分別與注意力向量a和b逐元素相乘,再對其進(jìn)行特征融合得到最終結(jié)果v,如式(4)所示。

vc=ac·U1c+bc·U2c

(4)

其中v=[v1,v2,…,vc],vc∈H×W。

SE模塊結(jié)構(gòu)如圖5所示,其執(zhí)行步驟如圖5所示。

圖5 SE模塊

1)給定一個(gè)輸入特征圖x∈H×W×C,SE模塊首先對x進(jìn)行全局平均池化操作,將全局空間信息壓縮得到1×1×C大小的特征圖,生成通道級的全局特征z∈C,其中z的第c個(gè)元素計(jì)算如式(5)所示。

(5)

2)通過一個(gè)全連接層(FC),對全局特征z進(jìn)行降維,后面使用ReLU函數(shù)進(jìn)行激活,再通過一個(gè)全連接層將維數(shù)恢復(fù)到原來的大小,并通過Sigmoid函數(shù)激活,輸出各通道的權(quán)重s,如式(6)所示。

s=σ(W2δ(W1z))

(6)

3)各通道權(quán)重s與特征圖x經(jīng)過逐通道重新加權(quán)生成最終輸出X,完成對特征圖x在通道維度上特征的重標(biāo)定,如式(7)所示。

X=s·x

(7)

3.2 RA-YOLOv5s模型

ResNeXt中殘差單元的實(shí)現(xiàn)方式如圖6所示,第2個(gè)卷積的group參數(shù)設(shè)置為32,表示它是一個(gè)具有32組卷積的分組卷積,32組卷積帶來的檢測效果是最好的[16]。ResNeXt中的殘差單元是一種拆分-轉(zhuǎn)換-合并的體系結(jié)構(gòu),它可以在不增加模型參數(shù)復(fù)雜度的情況下,通過增加網(wǎng)絡(luò)的寬度來提高分類效果,本文稱之為ResNeXt殘差單元。

圖6 ResNeXt殘差單元

YOLOv5s在引入注意力機(jī)制的基礎(chǔ)上,將CSP模塊中的殘差單元修改為ResNeXt殘差單元,以提高模型的檢測效果?？紤]到在訓(xùn)練樣本數(shù)量不多的情況下,模型過于復(fù)雜可能會(huì)造成過擬合,于是將主干網(wǎng)絡(luò)第2和第3個(gè)CSP模塊中殘差單元的數(shù)量減少至1個(gè)。殘差單元可以解決深層網(wǎng)絡(luò)的網(wǎng)絡(luò)退化等問題,因此在頸部網(wǎng)絡(luò)的CSP模塊中添加殘差連接,使其與主干網(wǎng)絡(luò)CSP模塊完全一致。改進(jìn)后的CSP模塊如圖7所示。

圖7 引入ResNeXt殘差單元的CSP模塊

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)集為6種常見的糧倉害蟲,分別是銹赤扁谷盜(cf )、鋸谷盜(os)、印度谷螟(pi)、谷蠹(rd)、玉米象(sz)和赤擬谷盜(tc),如圖8所示。

圖8 6類常見糧倉害蟲

數(shù)據(jù)集共包含1554張不同種類的糧倉害蟲圖像,其中1397張作為訓(xùn)練集,157張作為驗(yàn)證集,比例約為9:1。數(shù)據(jù)集組成見表1。

表1 數(shù)據(jù)集組成

模型采用Mosaic方法對圖像進(jìn)行數(shù)據(jù)增強(qiáng)。隨機(jī)讀取4張蟲圖,并對4張蟲圖以隨機(jī)縮放、裁剪和排布的方式進(jìn)行拼接。Mosaic數(shù)據(jù)增強(qiáng)不僅豐富了蟲圖的背景信息,提高了模型的魯棒性,同時(shí)模型也可以在一張圖像上計(jì)算4張圖像的數(shù)據(jù),實(shí)現(xiàn)了單張GPU就可以達(dá)到理想的訓(xùn)練效果。數(shù)據(jù)增強(qiáng)后的害蟲圖像如圖9所示。

圖9 Mosaic數(shù)據(jù)增強(qiáng)后的害蟲圖像

4.2 實(shí)驗(yàn)結(jié)果對比分析

實(shí)驗(yàn)采用Pytorch框架對模型進(jìn)行優(yōu)化改進(jìn),運(yùn)行的操作系統(tǒng)為Linux(Ubuntu 18.04)系統(tǒng),CPU為Intel(R) Core(TM) i7-9700F@ GHz,GPU為NVIDIA GeForce GTX 2070(8GB),內(nèi)存大小為16GB。模型訓(xùn)練輸入的圖像尺寸大小為640×640,batch size設(shè)置為16,初始學(xué)習(xí)率設(shè)置為0.1,使用CIOU Loss作為損失函數(shù),加權(quán)NMS進(jìn)行預(yù)測框的篩選,訓(xùn)練迭代次數(shù)為1000個(gè)epoch。

為了驗(yàn)證檢測模型的有效性,實(shí)驗(yàn)采用精確率(precision)、召回率(recall)、mAP和模型大小(size)等多項(xiàng)指標(biāo)進(jìn)行評價(jià),計(jì)算公式如下

(8)

(9)

(10)

(11)

其中TP表示被正確劃分為正例的個(gè)數(shù),FP表示被錯(cuò)誤劃分為正例的個(gè)數(shù),FN表示被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù),nums表示圖像的總數(shù),classes表示類別數(shù)。

1)RA-YOLOv5s模型對糧倉害蟲AP檢測結(jié)果

本文從兩個(gè)方向?qū)δＰ瓦M(jìn)行改進(jìn),不同改進(jìn)點(diǎn)對6類害蟲檢測的AP結(jié)果如表2所示。表2中“×”表示模型不含有對應(yīng)改進(jìn)點(diǎn),“√”表示含有對應(yīng)改進(jìn)點(diǎn)。從組別1、2和3的對比結(jié)果可以得出,害蟲銹赤扁谷盜(cf )的AP值較低,這是因?yàn)殇P赤扁谷盜(cf )的外形較小且顏色偏淡,其余五類害蟲的AP值均在80%-100%之間。組別3即RA-YOLOv5s模型對各類害蟲檢測的AP值優(yōu)于組別1,其中玉米象(sz)和鋸谷盜(os)略低于組別2,這是因?yàn)樵谥鞲删W(wǎng)絡(luò)引入ResNeXt殘差單元的同時(shí),也減少了主干網(wǎng)絡(luò)中殘差單元重復(fù)的數(shù)量,造成了對個(gè)別害蟲檢測結(jié)果的略微下降。

表2 改進(jìn)模型與原模型在6類糧倉害蟲數(shù)據(jù)集上的AP值對比

圖10和圖11分別是通過RA-YOLOv5s模型對糧倉害蟲在無糧食背景和在有糧食背景下的檢測結(jié)果。從圖中可以發(fā)現(xiàn)無論有無背景,糧倉害蟲都可以很好的被檢測出。

圖10 無糧食背景害蟲檢測結(jié)果

圖11 有糧食背景害蟲檢測結(jié)果

2)RA-YOLOv5s模型性能評估

不同改進(jìn)點(diǎn)下的RA-YOLOv5s模型整體評估結(jié)果如表3所示。組別1的各項(xiàng)評價(jià)指標(biāo)最低,模型大小為14.4M。組別3的mAP提升至90.5%,模型大小為13.0M,整體檢測效果最好。

表3 改進(jìn)模型與原模型性能對比

3)RA-YOLOv5s與其它模型性能對比

分別將RA-YOLOv5s模型與SSD、YOLOv3-tiny、YOLOv4-tiny模型在糧倉害蟲數(shù)據(jù)集中進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示。實(shí)驗(yàn)表明,RA-YOLOv5s模型檢測性能優(yōu)于其3種模型。

表4 改進(jìn)模型與其它模型性能對比

4)RA-YOLOv5s與其它模型損失函數(shù)對比

分別對3種模型迭代1000次的訓(xùn)練損失曲線如圖12所示?？梢钥闯鯮A-YOLOv5s模型損失下降速度最快,得到的損失最小。

圖12 不同模型訓(xùn)練損失對比

5 結(jié)束語

本文針對YOLOv5s模型對糧倉害蟲檢測的魯棒性差及現(xiàn)有大型公開數(shù)據(jù)集在糧倉害蟲下的檢測適用性不強(qiáng)等問題,提出一種融合了注意力機(jī)制和ResNeXt殘差單元名為RA-YOLOv5s的糧倉害蟲檢測模型。該模型將空間注意力機(jī)制和通道注意力機(jī)制引入CSP模塊中,使其學(xué)習(xí)有益特征;修改殘差單元為ResNeXt殘差單元,提高模型分類效果;同時(shí)輕量化模型,減少殘差單元的數(shù)量。實(shí)驗(yàn)結(jié)果表明:RA-YOLOv5s在樣本規(guī)模不大的情況下,能夠有效提高在糧倉害蟲圖像檢測任務(wù)中的綜合性能,對減少與防范糧倉害蟲發(fā)生具有重要意義。