張帥帥,田 錦,劉 靜

(1.安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001;2.金陵科技學(xué)院網(wǎng)絡(luò)與通信工程學(xué)院,江蘇 南京 211169)

工業(yè)施工場(chǎng)所安全帽的佩戴問(wèn)題,一直是人們比較關(guān)注的焦點(diǎn)。秉承生命至上的原則,須對(duì)安全帽的佩戴情況加大監(jiān)督力度,但管理人員精力有限,不可能時(shí)刻監(jiān)督未戴安全帽的人員。為了消除工地上此類(lèi)安全隱患,需要一個(gè)可以檢測(cè)工作人員是否佩戴安全帽的智能裝備[1]。

安全帽檢測(cè)是一種目標(biāo)檢測(cè)類(lèi)問(wèn)題。目標(biāo)檢測(cè)常常應(yīng)用于人臉識(shí)別、實(shí)時(shí)監(jiān)控、無(wú)人駕駛等方面[2-3],檢測(cè)算法分為傳統(tǒng)的目標(biāo)檢測(cè)算法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。傳統(tǒng)的目標(biāo)檢測(cè)算法,前期先選出候選框,再經(jīng)過(guò)手工設(shè)計(jì)的提取器提取特征,最后送入分類(lèi)器中進(jìn)行檢測(cè)。隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的快速發(fā)展,利用卷積神經(jīng)網(wǎng)絡(luò)可以使網(wǎng)絡(luò)模型適應(yīng)現(xiàn)實(shí)中的復(fù)雜場(chǎng)景,而且利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練,還可以提高模型的泛化能力。隨著深度學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)[4]的目標(biāo)檢測(cè)算法的檢測(cè)速度和精確度,都有了很大的提升。目前基于深度學(xué)習(xí)的安全帽佩戴檢測(cè)算法一般分為兩類(lèi),一類(lèi)是以R-CNN[5]和Fast R-CNN[6]系列算法為代表的兩階段算法,另一類(lèi)是以SSD[7]和YOLO系列[8-10]為代表的單階段算法。在單階段算法中,李明山等[11]通過(guò)在 SSD 算法中引入特征融合,提高了檢測(cè)的準(zhǔn)確性,但忽略了遠(yuǎn)距離的目標(biāo)。方明等[12]在 YOLOv2結(jié)構(gòu)中采用MobileNet中的輕量化網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)一定程度的壓縮,減少了模型的計(jì)算量,提升了模型的收斂性能,但對(duì)物體的檢測(cè)準(zhǔn)確率較低。丁文龍等[13]在YOLOv3模型中采用K-means++聚類(lèi),引入殘差模塊,獲得安全帽檢測(cè)的先驗(yàn)尺寸,提高了準(zhǔn)確率,但對(duì)于遠(yuǎn)距離目標(biāo)的檢測(cè)仍有明顯不足,存在漏檢、誤檢的情況。王英酈[14]在YOLOv5模型中引入輕量化的CBAM注意力模塊,提高了檢測(cè)精度,但存在誤檢情況。

基于深度學(xué)習(xí)的安全帽檢測(cè)算法,檢測(cè)準(zhǔn)確度和速度優(yōu)于傳統(tǒng)方法,但在檢測(cè)遠(yuǎn)距離目標(biāo)方面存在不足。由于遠(yuǎn)距離目標(biāo)特征信息少,因而在網(wǎng)絡(luò)中捕捉到的特征信息也會(huì)減弱,在實(shí)際檢測(cè)中會(huì)出現(xiàn)漏檢、誤檢的情況。針對(duì)此問(wèn)題,本文對(duì)容易部署的YOLOv5s算法模型進(jìn)行改進(jìn),通過(guò)在主干網(wǎng)絡(luò)Backbone層添加坐標(biāo)注意力(coordinate attention,CA)模塊,增強(qiáng)復(fù)雜背景中遠(yuǎn)距離目標(biāo)特征的提取能力,從而提高檢測(cè)能力;再優(yōu)化損失函數(shù),使用EIoU損失函數(shù)提高回歸精度和收斂速度。

1 基礎(chǔ)網(wǎng)絡(luò)模型

YOLOv5是由Uitralytics LLC公司發(fā)布的一種單階段目標(biāo)檢測(cè)算法,它提供了YOLOv5m、YOLOv5s、YOLOv5x、YOLOv5l四種不同的模型算法,其中YOLOv5s模型在深度和寬度上都是最小的,且計(jì)算量較少,因此選用YOLOv5s作為基礎(chǔ)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)模型包括4部分:輸入層、主干網(wǎng)絡(luò)層、特征融合層和預(yù)測(cè)層。YOLOv5s的結(jié)構(gòu)如圖1所示。

第1部分為輸入層(Input),采用Mosaic數(shù)據(jù)增強(qiáng)的方法,對(duì)輸入的圖片進(jìn)行數(shù)據(jù)增強(qiáng)、尺寸大小調(diào)整處理,該方法是將4張圖片隨機(jī)地拼湊到一起,提高數(shù)據(jù)樣本的多樣性;第2部分為主干網(wǎng)絡(luò)層(Backbone),采用Focus、C3、SPP[15]等多種特征提取模塊,對(duì)安全帽佩戴區(qū)域進(jìn)行特征提取,生成目標(biāo)語(yǔ)義信息;第3部分為特征融合層(Neck),使用FPN[16]+PAN結(jié)構(gòu),采用自下而上的方法傳遞位置信息,聚合主干層中不同檢測(cè)層的參數(shù),在降低網(wǎng)絡(luò)深度的同時(shí)加強(qiáng)安全帽特征信息的融合能力;第4部分為預(yù)測(cè)層(Prediction),采用3種不同尺度的特征圖來(lái)檢測(cè)大目標(biāo)、中目標(biāo)和小目標(biāo)對(duì)象,生成邊界框用來(lái)預(yù)測(cè)檢測(cè)的類(lèi)別,提高模型對(duì)安全帽檢測(cè)的準(zhǔn)確度。

2 改進(jìn)網(wǎng)絡(luò)模型

2.1 引入注意力模塊

由于安全帽檢測(cè)圖片背景復(fù)雜,可能會(huì)造成特征信息的丟失,為了使模型能更好地關(guān)注所需要的目標(biāo)信息,在主干網(wǎng)絡(luò)Backbone層整體引入CA模塊,將其添加在主干網(wǎng)絡(luò)層的最后一層,強(qiáng)化重要的特征信息和對(duì)特征信息的提取能力。CA模塊[17]的結(jié)構(gòu)如圖2所示。

圖2 CA模塊結(jié)構(gòu)圖

CA模塊能夠?qū)M向和縱向的位置信息編碼到通道中,使得移動(dòng)網(wǎng)絡(luò)能夠關(guān)注大范圍的位置信息但又不會(huì)帶來(lái)過(guò)多的計(jì)算量,不僅獲得了通道間的信息,還考慮了方向相換的位置信息,有助于模型更好地定位和識(shí)別目標(biāo)。它足夠靈活和輕量,能夠直接插入移動(dòng)網(wǎng)絡(luò)的核心結(jié)構(gòu)。CA模塊并沒(méi)有引入2維的全局池化,而是分解成了兩個(gè)1維的特征編碼,捕獲2個(gè)方向的聚合特征,避免位置信息的損失。這樣可以沿著一個(gè)空間方向捕捉遠(yuǎn)程依賴(lài)的關(guān)系,同時(shí)沿著另一個(gè)空間方向保留精確的位置信息。CA模塊將生成的特征圖分別編碼為對(duì)方向感知和對(duì)位置敏感的注意力特征圖以及可以應(yīng)用于輸入的特征圖,增加對(duì)安全帽的關(guān)注度,提高泛化能力。

具體地,給定輸入X,使用尺寸為(H,1)或(1,W)的池化核,分別沿水平坐標(biāo)和垂直坐標(biāo)對(duì)每個(gè)通道進(jìn)行編碼。因此,高度為h的第c通道的輸出可以表示為:

(1)

寬度為w的第c通道的輸出可以表示為:

(2)

上述式(1)和式(2)變換后沿水平和垂直方向聚合信息,得到方向感知特征圖。和以往只能產(chǎn)生單一特征向量的通道注意力不同,這種轉(zhuǎn)換使注意力模塊可以捕獲到一個(gè)方向的持久信息,也可以捕捉到另一個(gè)方向的位置信息,從而幫助網(wǎng)絡(luò)精準(zhǔn)確定所需要的目標(biāo)。

通過(guò)坐標(biāo)信息的嵌入將獲得的兩個(gè)方向的特征圖進(jìn)行連接操作,并使用1×1卷積變換函數(shù)進(jìn)行變換:

f=δ(F1([Zh,Zw]))

(3)

式中,[Zh,Zw]為沿著空間維數(shù)的連接操作,δ為非線性激活函數(shù),f為空間信息在兩個(gè)方向上的特征映射。用1×1卷積變換函數(shù)F1分別將fh和fw變換為具有相同通道數(shù)的張量并輸入x,得到:

gh=δ(Fh(fh))

(4)

gw=δ(Fw(fw))

(5)

最后輸出Y:

(6)

CA模塊沿著垂直和水平兩個(gè)方向同時(shí)進(jìn)行編碼,這種編碼過(guò)程可以使坐標(biāo)注意力機(jī)制更加準(zhǔn)確地定位ROI,從而幫助整個(gè)模型更好地進(jìn)行檢測(cè)。

將CA模塊加入C3后面的一層,加入CA模塊后的Backbone網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。在主干網(wǎng)絡(luò)中添加CA模塊后,網(wǎng)絡(luò)更加輕便,實(shí)現(xiàn)了輕量化,計(jì)算量也相應(yīng)地減少,而且可以在眾多的信息中注意當(dāng)前所需要的關(guān)鍵信息,降低對(duì)其他信息的關(guān)注。這樣不僅可以使網(wǎng)絡(luò)能夠分配更多的注意力給安全帽,能夠更加準(zhǔn)確地對(duì)安全帽進(jìn)行檢測(cè),還可以提升對(duì)遠(yuǎn)距離物體的檢測(cè)能力。

圖3 添加CA模塊后的Backbone網(wǎng)絡(luò)結(jié)構(gòu)

2.2 優(yōu)化損失函數(shù)

原網(wǎng)絡(luò)模型使用的損失函數(shù)為CIoU[18],CIoU損失函數(shù)反映的并不是寬高與其置信度真實(shí)值的差異,因此會(huì)影響模型的優(yōu)化。EIoU損失函數(shù)[19]將縱橫比的影響因子拆開(kāi),分別計(jì)算目標(biāo)框和錨框的寬高,考慮了重疊面積、中心點(diǎn)距離以及寬高邊長(zhǎng)真實(shí)差異問(wèn)題。EIoU損失函數(shù)對(duì)寬高預(yù)測(cè)結(jié)果進(jìn)行懲罰的損失函數(shù)為:

(7)

該損失函數(shù)包含3個(gè)部分:重疊損失LIoU、中心距離損失Ldis和寬高損失Lasp。重疊損失LIoU和中心距離損失Ldis這兩部分是CIoU中的方法,寬高損失Lasp使得目標(biāo)盒的寬度與高度之差相比錨盒要小,使收斂速度變快。式(7)中IoU為邊界框與真實(shí)邊界框的交并比,(b,bgt)為預(yù)測(cè)邊界框與真實(shí)邊界框的中心點(diǎn),ρ(·)為歐氏距離計(jì)算函數(shù),Cw和Ch分別為覆蓋兩個(gè)Box的最小外接框的寬度和高度。

為顯示損失函數(shù)的優(yōu)點(diǎn),選取IoU、GIoU、CIoU和EIoU 4類(lèi)損失函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表1所示。由表1可以看出,EIoU損失函數(shù)檢測(cè)的準(zhǔn)確率最高。因此,本文將原有的CIoU更換為EIoU。對(duì)于邊界框回歸任務(wù),EIoU 選擇計(jì)算寬高的差異值來(lái)取代縱橫比。使用EIoU損失函數(shù)可以加速收斂,解決樣本回歸中產(chǎn)生的不平衡問(wèn)題,提高回歸精度,進(jìn)而提高檢測(cè)的準(zhǔn)確率。

表1 損失函數(shù)對(duì)比結(jié)果

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置:微處理器CPU Inter Xeon E5-2 620v4@2.10 GHz、GPU NVIDIA Titan Xp@Super 12 GB、Cuda 11.0、PyTorch 1.10.0、Python 3.8。

輸入網(wǎng)絡(luò)訓(xùn)練模型的圖片大小為640像素×640像素,batch_size設(shè)置為8,利用SGD函數(shù)優(yōu)化參數(shù),動(dòng)量因子為0.937,權(quán)重衰減系數(shù)為0.000 5,所用的參照模型全部按照50個(gè)epoch訓(xùn)練。測(cè)試階段的交并比設(shè)置為0.5,置信度閾值設(shè)置為0.5。

3.2 數(shù)據(jù)集

實(shí)驗(yàn)中需要訓(xùn)練的圖片來(lái)自公開(kāi)數(shù)據(jù)集SHWD(safety helmet wearing-dataset)。數(shù)據(jù)集SHWD共有7 581張圖片,包含了不同施工場(chǎng)景和不同拍攝距離的圖像。進(jìn)行數(shù)據(jù)標(biāo)注時(shí),采用開(kāi)源的labelimg工具,對(duì)圖片中出現(xiàn)的佩戴安全帽的人員標(biāo)注為hat,未佩戴安全帽的人員標(biāo)注為 person,標(biāo)注后保存的格式為PASCAL VOC格式。實(shí)驗(yàn)前將PASCAL VOC格式的xml文件轉(zhuǎn)換為txt文件,將圖片大小統(tǒng)一調(diào)整為640像素×640像素,為后期實(shí)驗(yàn)做準(zhǔn)備。

3.3 評(píng)價(jià)指標(biāo)

使用平均精度(average precision,AP)和均值平均精度(mean average precision,mAP)檢測(cè)模型的準(zhǔn)確性能,使用目標(biāo)檢測(cè)的精確率(precision,P)和召回率(recall,R)來(lái)計(jì)算平均精度,各評(píng)價(jià)指標(biāo)的計(jì)算如式(8)—式(11)所示:

(8)

(9)

(10)

(11)

3.4 消融實(shí)驗(yàn)

為驗(yàn)證本文改進(jìn)的網(wǎng)絡(luò)模型的有效性,以YOLOv5s模型為基礎(chǔ)進(jìn)行消融對(duì)比實(shí)驗(yàn),結(jié)果如表2所示。實(shí)驗(yàn)結(jié)果顯示,2.1節(jié)和2.2節(jié)所述的改進(jìn)方法(添加CA模塊和使用EIoU損失函數(shù))均對(duì)mAP有所提高。結(jié)合表2消融實(shí)驗(yàn)結(jié)果可知,本文改進(jìn)的網(wǎng)絡(luò)模型與原模型相比,精確率P提高了1.1個(gè)百分點(diǎn),mAP@0.5提高了1.9個(gè)百分點(diǎn)。

表2 消融實(shí)驗(yàn)結(jié)果 單位:%

3.5 結(jié)果分析

為進(jìn)一步驗(yàn)證改進(jìn)模型的有效性,將本文算法、YOLOv3、Faster RCNN、引入特征融合的SSD算法[11]、融合輕量化CBAM注意力機(jī)制的YOLOv5算法[14]和原YOLOv5s進(jìn)行實(shí)驗(yàn)測(cè)試,所得安全帽佩戴檢測(cè)結(jié)果如表3所示。表3顯示,改進(jìn)后的網(wǎng)絡(luò)模型有更高的檢測(cè)精度,mAP值達(dá)到了94.5%,相較于對(duì)比算法提高了1.1～12.3個(gè)百分點(diǎn),hat和person的AP值相較于其他算法均有一定的提升。其中文獻(xiàn)[14]person的AP值比原YOLOv5s的低,但其hat的AP值相比原YOLOv5s提高了2.1個(gè)百分點(diǎn),因此mAP值也提高了。對(duì)于本文改進(jìn)的網(wǎng)絡(luò)模型,所有評(píng)估指標(biāo)都比原YOLOv5s高,訓(xùn)練結(jié)果比較理想,驗(yàn)證了本文模型的可行性。

表3 實(shí)驗(yàn)結(jié)果對(duì)比 單位:%

為了更加直觀地顯示改進(jìn)后的算法對(duì)安全帽佩戴的檢測(cè)效果,選取部分檢測(cè)圖像進(jìn)行對(duì)比,如圖4—圖6所示。圖4(a)、圖5(a)和圖6(a)為原YOLOv5s算法的檢測(cè)結(jié)果,圖4(b)、圖5(b)和圖6(b)為改進(jìn)后算法的檢測(cè)結(jié)果。原YOLOv5s算法結(jié)果圖中,將不屬于hat目標(biāo)的物體檢測(cè)成hat的屬于誤檢,未檢測(cè)出圖片中hat目標(biāo)的屬于漏檢。

(b)改進(jìn)的YOLOv5s

(a)YOLOv5s

(b)改進(jìn)的YOLOv5s

(a)YOLOv5s

(b)改進(jìn)的YOLOv5s

原YOLOv5s算法存在安全帽漏檢、誤檢的情況,改進(jìn)的算法在相同的環(huán)境下,可以更準(zhǔn)確地檢測(cè)出目標(biāo)。在圖4中,YOLOv5s算法沒(méi)有檢測(cè)出右上方遠(yuǎn)處模糊的安全帽hat目標(biāo),而改進(jìn)的算法可以正確檢測(cè)出,說(shuō)明改進(jìn)的算法對(duì)遠(yuǎn)距離的目標(biāo)有更好的檢測(cè)效果。在圖5中,YOLOv5s算法沒(méi)能檢測(cè)出左上角被遮擋的安全帽目標(biāo)和旗子旁邊佩戴安全帽的工作人員,而改進(jìn)的算法可以檢測(cè)出,說(shuō)明改進(jìn)的算法對(duì)遮擋目標(biāo)有更好的檢測(cè)效果。在圖6中,YOLOv5s算法把左下角的鐵管目標(biāo)誤檢成安全帽hat目標(biāo),且沒(méi)有檢測(cè)出右側(cè)被鐵管和鐵絲遮擋的安全帽目標(biāo),而改進(jìn)的算法可以準(zhǔn)確檢測(cè)出。以上結(jié)果表明,改進(jìn)的算法能有效改善漏檢、誤檢以及目標(biāo)檢測(cè)度不高的情況。

4 結(jié) 語(yǔ)

本文提出了一種融合注意力機(jī)制的安全帽檢測(cè)算法,該算法以YOLOv5s模型為基礎(chǔ),通過(guò)在主干網(wǎng)絡(luò)中添加CA模塊,加強(qiáng)安全帽特征信息的提取能力,減少其他特征對(duì)模型的干擾和影響;同時(shí),使用EIoU損失函數(shù)融合更多的邊界框信息,優(yōu)化邊界框的回歸精度和收斂速度。實(shí)驗(yàn)結(jié)果表明,改進(jìn)的算法平均檢測(cè)精度達(dá)到了94.5%,相較于原算法提高了1.9個(gè)百分點(diǎn),有效改善了安全帽檢測(cè)中的漏檢、誤檢情況,提高了模型的整體檢測(cè)性能。