黃志清，張煜森，張嚴(yán)心，任柯燕

基于改進(jìn)型Yolov4的室內(nèi)安全帽佩戴狀態(tài)檢測算法

黃志清1，張煜森1，張嚴(yán)心2，任柯燕1

(1. 北京工業(yè)大學(xué)信息學(xué)部，北京 100124；2. 北京交通大學(xué)電子信息工程學(xué)院，北京 100044))

為實(shí)現(xiàn)智能檢測室內(nèi)作業(yè)人員是否佩戴安全帽，提出了一種改進(jìn)的Yolov4算法．首先，針對目前室內(nèi)安全帽佩戴狀態(tài)檢測實(shí)驗(yàn)數(shù)據(jù)較為匱乏的問題，自建了一個(gè)用于室內(nèi)場景的安全帽佩戴狀態(tài)檢測數(shù)據(jù)集．隨后，為提升室內(nèi)監(jiān)控圖像中模糊、微小目標(biāo)的安全帽佩戴狀態(tài)檢測準(zhǔn)確率，設(shè)計(jì)了自校準(zhǔn)多尺度特征融合模塊并將其嵌入原Yolov4網(wǎng)絡(luò)中．該模塊首先通過深度超參數(shù)化卷積從上至下、從下至上融合不同尺度下的特征，加強(qiáng)待檢測目標(biāo)的特征紋理，使得模型能夠檢測出這兩類目標(biāo)．再通過特征自校準(zhǔn)模塊對融合后的特征進(jìn)行過濾，加強(qiáng)或抑制特征圖上的每一像素點(diǎn)，使得模型可以在融合后的特征圖上進(jìn)行精確的檢測．此外為加速模型收斂，使用解耦合的檢測頭替換原Yolov4中的耦合檢測頭，使目標(biāo)定位任務(wù)與安全帽佩戴狀態(tài)的分類任務(wù)相互獨(dú)立．最后為提升模型對于重疊目標(biāo)的檢測能力，提出了軟性非極大值抑制后處理算法Soft-CIoU-NMS．實(shí)驗(yàn)結(jié)果表明，該改進(jìn)的Yolov4模型能夠準(zhǔn)確地識(shí)別出室內(nèi)作業(yè)人員是否佩戴安全帽，準(zhǔn)確率達(dá)到了95.1%．相比于原Yolov4模型，該模型對位于監(jiān)控?cái)z像頭遠(yuǎn)端的模糊、微小目標(biāo)和監(jiān)控圖像中重疊目標(biāo)的檢測能力有明顯提升，檢測準(zhǔn)確率提升了約4.7%，較好地滿足了室內(nèi)場景下作業(yè)人員安全帽佩戴狀態(tài)智能檢測的要求．

計(jì)算機(jī)視覺；視頻監(jiān)控；深度學(xué)習(xí)；安全帽佩戴狀態(tài)檢測；Yolov4

安全帽是保障工人室內(nèi)工作安全的重要保護(hù)設(shè)備，能夠有效減少或預(yù)防突發(fā)意外對工人頭部的傷害．然而，在室內(nèi)作業(yè)過程中，經(jīng)常出現(xiàn)工人未按規(guī)定佩戴安全帽的現(xiàn)象．由于室內(nèi)生產(chǎn)現(xiàn)場情況復(fù)雜，監(jiān)管人員無法保證不間斷地檢查工人是否佩戴安全帽．單一的人工監(jiān)督方式存在極高的安全隱患．實(shí)現(xiàn)室內(nèi)場景下安全帽佩戴狀態(tài)的智能檢測十分必要．

目前，安全帽佩戴狀態(tài)檢測方法主要分為基于傳感器的檢測方法[1-5]和基于計(jì)算機(jī)視覺的檢測方法[6-12]．基于傳感器的檢測方法，主要是通過壓力、加速度等傳感器獲取相關(guān)監(jiān)測參數(shù)后，判斷工人是否佩戴安全帽．但是嵌入傳感器的安全帽造價(jià)較高，且傳感器的數(shù)據(jù)通信傳輸受場地因素影響較大，相比之下基于計(jì)算機(jī)視覺的檢測方法更適合室內(nèi)場景下的安全帽佩戴檢測任務(wù)．例如，Dahiya等[8]使用局部二值模式(local binary patterns，LBP)、梯度直方圖特征(histogram of oriented gradients，HOG)、尺度不變特征轉(zhuǎn)換(scale-invariant feature transform，SIFT)3種算子描述安全帽特征，然后通過支持向量機(jī)(support vector machine，SVM)分類器對目標(biāo)的安全帽佩戴狀態(tài)進(jìn)行分類．實(shí)驗(yàn)結(jié)果表明使用HOG算子的檢測方法準(zhǔn)確率最高，但是HOG算子主要描述目標(biāo)的邊緣特征，當(dāng)圖像中出現(xiàn)與安全帽邊緣特征相似的物體時(shí)，模型錯(cuò)檢率較高．因此Silva等[9]使用HOG、LBP、霍夫圓變換(circle Hough transform，CHT)3種算子共同反映安全帽特征，實(shí)現(xiàn)了94.23%的檢測準(zhǔn)確率．同樣地，Rubaiyat等[10]聯(lián)合顏色特征與CHT特征，實(shí)現(xiàn)了81%的檢測準(zhǔn)確率．還有一部分研究人員對人臉檢測方法進(jìn)行改進(jìn)，實(shí)現(xiàn)安全帽佩戴狀態(tài)的檢測．如Shrestha等[11]利用閉路電視系統(tǒng)實(shí)現(xiàn)安全帽佩戴狀態(tài)檢測．但是該模型需要工人臉部正對信息采集模塊才能實(shí)現(xiàn)安全帽佩戴狀態(tài)的檢測．隨著基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)的廣泛應(yīng)用[12-15]，F(xiàn)ang等[16]使用Faster R-CNN模型檢測建筑工地上未佩戴安全帽的工人，該方法對不同圖像中安全帽的尺度變化問題具有較高的適應(yīng)性．Shen等[17]則是先使用人臉檢測網(wǎng)絡(luò)DSFD[18]對目標(biāo)頭部區(qū)域進(jìn)行定位，然后再使用DenseNet網(wǎng)絡(luò)對待檢測目標(biāo)的安全帽佩戴狀態(tài)進(jìn)行分類．

總的來說，現(xiàn)有基于計(jì)算機(jī)視覺的安全帽佩戴狀態(tài)檢測方法在對應(yīng)的數(shù)據(jù)集上均取得了較好的檢測結(jié)果，但是在實(shí)際室內(nèi)場景下，基于手工設(shè)計(jì)相關(guān)特征的安全帽佩戴狀態(tài)檢測方法[9-10]魯棒性差、精度偏低；基于人臉檢測的安全帽佩戴狀態(tài)檢測方法[11,17]無法檢測背對或側(cè)對監(jiān)控設(shè)備的目標(biāo)；基于目標(biāo)檢測的安全帽佩戴狀態(tài)檢測方法[16]對室內(nèi)監(jiān)控視頻圖像中的微小、模糊、重疊目標(biāo)檢測能力不足，漏檢率較高．針對上述問題，筆者提出了一種基于改進(jìn)型Yolov4[19]的室內(nèi)安全帽佩戴狀態(tài)檢測算法．

本文的主要貢獻(xiàn)如下：①針對目前室內(nèi)安全帽佩戴狀態(tài)檢測實(shí)驗(yàn)數(shù)據(jù)不足的問題，本文建立了專用于室內(nèi)安全帽佩戴狀態(tài)檢測的ISHWDD數(shù)據(jù)集，該數(shù)據(jù)集涵蓋魚眼、槍擊、球形3種攝像頭采集的室內(nèi)監(jiān)控圖像．為增強(qiáng)模型的魯棒性，本文還引入了一般場景下佩戴或未佩戴安全帽的樣本作為補(bǔ)充．②本文設(shè)計(jì)了自校準(zhǔn)多尺度特征融合模塊(adaptive recalibration multiscale feature fusion module，ARMFFM)并將其嵌入Yolov4模型，有效提高了模型對監(jiān)控?cái)z像頭遠(yuǎn)端模糊、微小目標(biāo)的檢測能力．③本文對Yolov4模型的檢測頭(detection head)進(jìn)行了解耦，使待檢測目標(biāo)的定位任務(wù)與佩戴狀態(tài)分類任務(wù)相互獨(dú)立，加速了模型收斂．④本文提出了Soft-CIoU-NMS后處理方式，在不增加額外計(jì)算量的情況下，有效提升了模型對室內(nèi)監(jiān)控圖像中重疊目標(biāo)的檢測性能．

1?數(shù)據(jù)準(zhǔn)備

如圖1所示，本文采集了球形(圖1(a))、魚眼(圖1(b))、槍擊(圖1(c))3種攝像頭所拍攝的室內(nèi)監(jiān)控視頻，隨后對視頻進(jìn)行有效幀抽取，最后使用Label-Image對圖像進(jìn)行標(biāo)注．標(biāo)注信息包括待檢測目標(biāo)的安全帽佩戴狀態(tài)與相應(yīng)的位置坐標(biāo)，定義未佩戴安全帽目標(biāo)的標(biāo)簽為0，佩戴安全帽目標(biāo)的標(biāo)簽為1．此外，為提高模型的泛化能力，本文從SHWD數(shù)據(jù)集中引入了部分室內(nèi)或一般場景下佩戴安全帽的樣本(圖1(d)、(e))作為數(shù)據(jù)集的補(bǔ)充，還引入了SCUT-HEAD教室監(jiān)控圖像數(shù)據(jù)集[20]作為未佩戴安全帽樣本的補(bǔ)充(圖1(f))．最終，本文自建的ISHWDD數(shù)據(jù)集共計(jì)10520張圖像，其中7364張圖像用于訓(xùn)練，3156張圖像用于測試．并且，測試集中的圖像大多為模糊、重疊、手持安全帽、佩戴普通帽子等檢測難度較高的樣本．

圖1?ISHWDD數(shù)據(jù)集樣本

ISHWDD數(shù)據(jù)集中圖像的平均大小約為1920× 1080，不利于模型訓(xùn)練．本文將圖像大小重調(diào)整為608×608．為提高訓(xùn)練數(shù)據(jù)的多樣性，如圖2所示，本文使用隨機(jī)仿射變換(圖2(a))、隨機(jī)旋轉(zhuǎn)(圖2(b))、隨機(jī)裁剪(圖2(c))3種數(shù)據(jù)增強(qiáng)方法模擬自然場景下的可能噪聲．最后通過Mix-up[21]的方法將數(shù)據(jù)增強(qiáng)后的圖像進(jìn)行融合(圖2(d))，借以提升模型對待檢測目標(biāo)的定位能力．

圖2?數(shù)據(jù)增強(qiáng)與Mix-up結(jié)果

2?安全帽佩戴狀態(tài)檢測模型

本節(jié)主要介紹基于改進(jìn)型Yolov4的室內(nèi)安全帽佩戴狀態(tài)檢測模型結(jié)構(gòu)及其損失函數(shù)設(shè)計(jì)．如下圖3所示，本文提出的安全帽佩戴狀態(tài)檢測模型主要分為特征提取模塊(attention-CSP-darknet53)、自校準(zhǔn)多尺度特征融合模塊ARMFFM以及檢測頭模塊．

圖3　　基于改進(jìn)型Yolov4的室內(nèi)安全帽佩戴狀態(tài)檢測模型結(jié)構(gòu)

2.1?特征提取

Yolov4使用CSP-darknet53作為特征提取網(wǎng)絡(luò)．其由5個(gè)局部跨階段(cross stage partial，CSP)網(wǎng)絡(luò)組成．CSP網(wǎng)絡(luò)[22]將輸入特征圖分為兩個(gè)部分：一部分通過不同數(shù)量的殘差卷積模塊進(jìn)行計(jì)算；一部分直接與殘差模塊輸出進(jìn)行融合．這樣的設(shè)計(jì)在減少特征提取網(wǎng)絡(luò)中重復(fù)梯度信息的同時(shí)，對梯度的反向傳播路徑進(jìn)行了優(yōu)化，進(jìn)而提升模型的推理速度與特征提取能力．

室內(nèi)監(jiān)控?cái)z像頭采集的圖像大多背景雜亂、質(zhì)量偏低，安全帽有效特征的提取難度較大．注意力機(jī)制被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，其有助于卷積神經(jīng)網(wǎng)絡(luò)關(guān)注重點(diǎn)特征，抑制無關(guān)特征．因此，筆者在特征提取網(wǎng)絡(luò)中分別引入了SE通道注意力模塊和CBAM通道空間混合注意力模塊，借以加強(qiáng)特征提取網(wǎng)絡(luò)的性能．

2.2?自校準(zhǔn)多尺度特征融合

為使待檢測目標(biāo)獲得足夠大的感受野，在特征提取網(wǎng)絡(luò)中對輸入圖像進(jìn)行了5次下采樣．然而，安全帽這類小目標(biāo)在多次下采樣后，相關(guān)特征極易丟失[23].因此，筆者提出了自校準(zhǔn)多尺度特征融合模塊ARMFFM．如圖4所示，該模塊首先使用深度超參數(shù)化卷積(depthwise over-parameterized convolutional，Do-Conv)[24]自頂向下傳遞語義等深層特征，自底向上傳遞淺層定位特征，將不同尺度下的安全帽特征進(jìn)行融合，從而獲得更為全面的特征．但是，不同尺度下的特征通常存在沖突，影響模型檢測性能[25]．所以，筆者設(shè)計(jì)了特征重校準(zhǔn)模塊FRM，對融合后的特征圖進(jìn)行逐像素點(diǎn)加強(qiáng)或抑制，使得模型可以在校準(zhǔn)后的特征圖上進(jìn)行精確檢測．

圖4?自校準(zhǔn)多尺度特征融合模塊

圖5?Do-Conv卷積核結(jié)構(gòu)

圖6?特征重校準(zhǔn)模塊

2.3?安全帽佩戴檢測

目標(biāo)檢測主要包括目標(biāo)定位與目標(biāo)分類兩大任務(wù)，但是由于兩種任務(wù)的性質(zhì)與難度不統(tǒng)一，在耦合檢測頭(即同時(shí)預(yù)測目標(biāo)類別、目標(biāo)位置以及檢測框置信度)中，二者常常相互沖突，導(dǎo)致模型收斂時(shí)間較長[26-27]．因此本文對檢測頭進(jìn)行解耦，如圖7所示，筆者首先使用一個(gè)1×1卷積層將融合后的特征統(tǒng)一到256維，然后使用2個(gè)3×3卷積層分別獨(dú)立且并行地處理安全帽佩戴狀態(tài)分類任務(wù)與待檢測目標(biāo)的定位任務(wù)．其中，目標(biāo)定位分支中還包含了預(yù)測框的置信度計(jì)算分支．最后使用3個(gè)1×1卷積分別輸出檢測目標(biāo)類別向量、檢測目標(biāo)坐標(biāo)向量及對應(yīng)預(yù)測框的置信度向量．

此外，如表1所示，本文對訓(xùn)練集中的目標(biāo)框進(jìn)行K-means重聚類分析，得到了9種不同長寬比目標(biāo)框．隨后，將這9種長寬比作為目標(biāo)定位的先驗(yàn)條件引導(dǎo)模型訓(xùn)練，加速模型學(xué)習(xí)．

圖7?解耦合檢測頭

表1?ISHWDD數(shù)據(jù)集尺度聚類結(jié)果

Tab.1?Scale clustering result of ISHWDD data set

因此，若t、t、t、t表示每個(gè)候選框的中心點(diǎn)坐標(biāo)預(yù)測偏移量以及長寬偏移量，則根據(jù)該單元格距離左上角頂點(diǎn)的偏移量以及長寬的先驗(yàn)信息C、C、P、P，即可計(jì)算出候選框坐標(biāo)預(yù)測結(jié)果b、b、b、b．計(jì)算方式為

式中表示Sigmoid激活函數(shù)．

預(yù)測框的置信度計(jì)算方法為

式中：(object)∈(0，1)，當(dāng)目標(biāo)位于該候選框內(nèi)時(shí)為1，否則為0；IoU表示預(yù)測框與實(shí)際框之間的重疊程度，即

式中p與g分別表示模型預(yù)測邊界框以及實(shí)際邊界框．

2.4?損失函數(shù)

本文模型的損失函數(shù)包括預(yù)測框置信度損失Lossconf，預(yù)測框坐標(biāo)損失Losscoor以及安全帽佩戴狀態(tài)的分類損失Losscls3個(gè)部分，即

本文選擇交叉熵?fù)p失函數(shù)作為安全帽佩戴狀態(tài)分類損失函數(shù)與目標(biāo)框置信度的損失函數(shù)．此外，為使得模型有效適應(yīng)不同攝像頭采集的安全帽樣本的尺度變化，本文選擇C-IoU-Loss[28](complete-IoU Loss)作為坐標(biāo)回歸損失函數(shù)，即

式中：i和gt分別代表預(yù)測框和真實(shí)框的坐標(biāo)；和分別代表預(yù)測框與實(shí)際邊界框的歐幾里得距離和最小對角線距離；代表權(quán)重函數(shù)；i、i分別代表模型預(yù)測框長和寬；gt、gt是實(shí)際框長、寬．

2.5?Soft-CIoU-NMS后處理

算法1?Soft-CIoU-NMS后處理算法

end

end

3?實(shí)驗(yàn)結(jié)果與分析

3.1?模型訓(xùn)練與評價(jià)指標(biāo)

本實(shí)驗(yàn)平臺(tái)基于Ubuntu16.04的64位操作系統(tǒng)、Tesla V-100 GPU以及Intel Xeon 4116搭建．使用PyTorch 1.2.0框架構(gòu)建模型．在訓(xùn)練時(shí)，使用Yolov4模型在VOC2007數(shù)據(jù)集上的權(quán)重作為模型的訓(xùn)練初值，采用SGD方法優(yōu)化模型，其初始化參數(shù)如表2所示，共計(jì)訓(xùn)練100輪(epoch)．在最初的2個(gè)epoch內(nèi)采用學(xué)習(xí)率熱身的方式將學(xué)習(xí)率從0平緩增長至0.0001，然后采取余弦退火算法更新學(xué)習(xí)率．為使得模型能夠更好地檢測出不同尺度下的目標(biāo)，本文采取多尺度訓(xùn)練方式，即每10次迭代就從{320，352，…，608}中隨機(jī)選取一個(gè)值作為模型的輸入大?。跍y試階段，模型輸入大小均設(shè)置為608×608．

表2?模型訓(xùn)練參數(shù)

Tab.2?Training parameters of the proposed model

本文選取目標(biāo)檢測領(lǐng)域常用的平均準(zhǔn)確率(mean average precision，MAP)作為本模型的評價(jià)指標(biāo)，如式(6)所示，MAP值等于各類別精度()與召回率()平滑曲線在0～1上的積分值．

式中：TP表示預(yù)測框與真實(shí)框交并比(IoU)大于設(shè)定閾值，且二者類別相同；反之則認(rèn)為是負(fù)樣本，記為FP；若模型未預(yù)測出真實(shí)框則認(rèn)為模型漏檢，記為FN．本文模型IoU閾值設(shè)定為0.5．

3.2?實(shí)驗(yàn)結(jié)果與討論

筆者每訓(xùn)練完一個(gè)epoch，就在測試集上對模型進(jìn)行驗(yàn)證，測試日志的可視化結(jié)果如圖８所示．從測試上的檢測準(zhǔn)確率曲線可以看出，本文所提模型(融合SE注意力模塊)的收斂速度與檢測性能明顯優(yōu)于原Yolov4模型．本文模型在第95個(gè)epoch中取得了最佳準(zhǔn)確率，達(dá)到了95.1%．

圖8?測試日志可視化結(jié)果

本文模型(融合SE注意力模塊)檢測結(jié)果如圖9所示，從檢測結(jié)果可以看出，本文模型能夠有效檢測佩戴不同顏色安全帽的樣本(圖9(a)～(c))、佩戴其他帽子的樣本(圖9(d)、(e))、以及手持安全帽的樣本(圖9(f))．同時(shí)本文模型對于重疊目標(biāo)樣本(圖9(g))和攝像頭遠(yuǎn)端樣本(圖9(h)、(i))的檢測能力也較為優(yōu)秀．

圖9?檢測結(jié)果

為詳細(xì)驗(yàn)證各模塊對于模型性能的提升效果，使用相同平臺(tái)進(jìn)行消融實(shí)驗(yàn)，模型訓(xùn)練參數(shù)與第3.1節(jié)中的訓(xùn)練參數(shù)相同，實(shí)驗(yàn)結(jié)果如表3所示，表中模型參數(shù)量通過THOP庫進(jìn)行統(tǒng)計(jì)．

表3中第一行為原Yolov4模型的實(shí)驗(yàn)結(jié)果．從表3中第2～3行結(jié)果可以看出，引入SE注意力模塊與CBAM注意力模塊可在微量增加模型參數(shù)量的情況下，有效加強(qiáng)了模型對佩戴安全帽或未佩戴安全帽樣本相關(guān)特征的提取．模型的準(zhǔn)確率分別提升了0.8%與0.4%．但是由于CBAM注意力模塊中存在額外的卷積計(jì)算，使得模型實(shí)時(shí)性有所降低，推理時(shí)間增加了約40ms．

表3?消融實(shí)驗(yàn)結(jié)果

Tab.3?Ablation experiment results

表3中第4行實(shí)驗(yàn)結(jié)果表明使用Soft-CIoU-NMS后處理算法可以在不增加模型參數(shù)量情況下，將模型檢測準(zhǔn)確率提升了約0.6%，并且如圖10(a)、(b)所示，Soft-CIoU-NMS后處理算法對于重疊目標(biāo)的檢測更為友好，有效降低了模型漏檢的可能性．

圖10?重疊目標(biāo)、遠(yuǎn)端模糊、微小目標(biāo)檢測結(jié)果

表3中第5行實(shí)驗(yàn)結(jié)果表明，相比于耦合檢測頭，使用解耦檢測頭可在模型參數(shù)量僅增加0.88×106的情況下，使模型準(zhǔn)確率上升約0.5%，并且如圖11所示，使用解耦檢測頭可加速模型收斂．

表3中6～8行的實(shí)驗(yàn)結(jié)果表明，使用3×3卷積層補(bǔ)充空間信息的ARMFFM模塊性能最佳，如圖12所示，由于缺乏預(yù)訓(xùn)練初值，模型在訓(xùn)練早期較為震蕩，但是模型準(zhǔn)確率最終提升了約3.4%．雖然引入ARMFFM模塊(3×3)使得模型參數(shù)量增加了約4.91×106，但是如圖10(c)～(f)所示，使用ARMFFM模塊對融合多尺度信息的特征圖進(jìn)行自適應(yīng)校準(zhǔn)后，模型對遠(yuǎn)端模糊、微小目標(biāo)的安全帽佩戴狀態(tài)檢測性能有明顯提升．綜上所述，本文對Yolov4模型的改進(jìn)，對于真實(shí)場景下的安全帽佩戴檢測任務(wù)具有一定的積極意義．

圖11?解耦合檢測頭測試日志可視化

圖12?自校準(zhǔn)多尺度特征融合模塊測試日志可視化

隨后，筆者使用同一數(shù)據(jù)集在同一平臺(tái)上訓(xùn)練常用目標(biāo)檢測模型，實(shí)驗(yàn)結(jié)果如表4所示．SSD、RetinaNet、Faster R-CNN、Yolov4以及本文模型采用Pytorch框架，DETR、PP-Yolov2采用PaddlePaddle框架．相比于SSD、RetinaNet、Faster R-CNN、DETR[30]目標(biāo)檢測模型，本文所提的檢測模型在實(shí)時(shí)性、準(zhǔn)確率方面均有明顯提升，準(zhǔn)確率分別上升16.9%、9.6%、6.2%、7%，推理時(shí)間分別下降3ms、24ms、157ms、128ms. 相比于Yolov4、PP-Yolov2[30]模型，本文模型準(zhǔn)確率分別提高了4.7%、2.4%，推理時(shí)間分別增加了約19ms、30ms，雖然推理時(shí)間有所增加，但是模型的檢測速度達(dá)到了21幀/s，依舊能夠滿足室內(nèi)場景下安全帽佩戴狀態(tài)檢測任務(wù)的實(shí)時(shí)性要求．總的來說，相比于常用目標(biāo)檢測模型，本文模型在室內(nèi)場景下的安全帽佩戴狀態(tài)檢測任務(wù)上具有一定的優(yōu)越性．

表4?目標(biāo)檢測基線模型安全帽檢測結(jié)果對比

Tab.4?Comparison results with the baseline models

4?結(jié)?語

本文針對室內(nèi)場景下的安全帽佩戴狀態(tài)檢測問題，提出了改進(jìn)型Yolov4檢測算法．首先，本文自建了室內(nèi)場景下的安全帽佩戴狀態(tài)檢測數(shù)據(jù)集ISHWDD．隨后，設(shè)計(jì)了自校準(zhǔn)多尺度特征融合模塊并將其嵌入Yolov4網(wǎng)絡(luò)中，提高了模型對于攝像頭遠(yuǎn)端的模糊、微小目標(biāo)的檢測能力．然后，使用解耦合檢測頭加速模型收斂．最后，使用軟性非極大值抑制后處理算法降低模型對監(jiān)控圖像中重疊目標(biāo)的漏檢可能性．在自建數(shù)據(jù)集上，相比于原Yolov4模型，本文模型實(shí)現(xiàn)了更為優(yōu)秀的檢測性能，能夠有效提高室內(nèi)作業(yè)人員佩戴安全帽的監(jiān)管效率．由于實(shí)際生產(chǎn)環(huán)境的復(fù)雜性，無可避免地存在一些錯(cuò)檢，未來將研究提升特征提取網(wǎng)絡(luò)模型性能，進(jìn)一步提升模型準(zhǔn)確率．

［1］ Barro S，F(xiàn)ernández T M，Pérez H J，et al. Real-time personal protective equipment monitoring system[J]. Computer Communications，2012，36(1)：42-50.

［2］ Kim S H，Wang C，Min S D，et al. Safety helmet wearing management system for construction workers using three-axis accelerometer sensor[J]. Applied Sciences，2018，8(12)：2400.

［3］ Kelm A，Laubat L，Meins-Becker A，et al. Mobile passive radio frequency identification(RFID)portal for automated and rapid control of personal protective equipment(PPE)on construction sites[J]. Automation in Construction，2013，36：38-52.

［4］ Zhang H，Yan X，Li H，et al. Real-time alarming，monitoring，and locating for non-hard-hat use in construction[J]. Journal of Construction Engineering and Management，2019，145(3)：04019006.

［5］ Dong S，He Q，Li H，et al. Automated PPE misuse identification and assessment for safety performance enhancement[C]//2015 International Conference on Construction and Real Estate Management. Lulea，Sweden，2015：204-214.

［6］ Fang W，Ding L，Luo H，et al. Falls from heights：A computer vision-based approach for safety harness detection[J]. Automation in Construction，2018，91：53-61.

［7］ Park M W，Elsafty N，Zhu Z. Hardhat-wearing detection for enhancing on-site safety of construction workers[J]. Journal of Construction Engineering and Management，2015，141(9)：04015024.

［8］ Dahiya K，Singh D，Mohan C K. Automatic detection of bike-riders without helmet using surveillance videos in real-time[C]//2016 International Joint Conference on Neural Networks(IJCNN). Vancouver，Canada，2016：3046-3051.

［9］ Silva R，Aires K，Santos T，et al. Automatic detection of motorcyclists without helmet[C]//2013 ⅩⅩⅩⅨ Latin American Computing Conference(CLEI). Caracas，Venezuela，2013：1-7.

［10］ Rubaiyat A H M，Toma T T，Kalantari-Khandani M，et al. Automatic detection of helmet uses for construction safety[C]//2016 International Conference on Web Intelligence Workshops(WIW). Omaha，USA，2016：135-142.

［11］ Shrestha K，Shrestha P P，Bajracharya D，et al. Hard-hat detection for construction safety visualization[J]. Journal of Construction Engineering，2015，2015(1)：1-8.

［12］ 黃志清，賈?翔，郭一帆，等. 基于深度學(xué)習(xí)的端到端樂譜音符識(shí)別[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(6)：653-660.

Huang Zhiqing，Jia Xiang，Guo Yifan，et al. End-to-end music note recognition based on deep learning[J]. Journal of Tianjin University(Science and Technology)，2020，53(6)：653-660(in Chinese).

［13］ 梁?煜，李佳豪，張為，等. 嵌入中心點(diǎn)預(yù)測模塊的 Yolov3 遮擋人員檢測網(wǎng)絡(luò)[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2021，54(5)：517-525.

Liang Yu，Li Jiahao，Zhang Wei，et al. Embedded center prediction module of Yolov3 occlusion human detection network[J]. Journal of Tianjin University (Science and Technology)，2021，54(5)：517-525(in Chinese).

［14］ 張?為，魏晶晶. 嵌入DenseNet 結(jié)構(gòu)和空洞卷積模塊的改進(jìn)YOLOv3 火災(zāi)檢測算法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(9)：976-983.

Zhang Wei，Wei Jingjing. Improved YOLOv3 fire detection algorithm embedded in DenseNet structure and dilated convolution module[J]. Journal of Tianjin University(Science and Technology)，2020，53(9)：976-983(in Chinese).

［15］ 高春艷，趙文輝，張明路，等. 一種基于YOLOv3 的汽車底部危險(xiǎn)目標(biāo)檢測算法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(4)：358-365.

Gao Chunyan，Zhao Wenhui，Zhang Minglu，et al. A vehicle bottom dangerous object detection algorithm based on YOLOv3[J]. Journal of Tianjin University (Science and Technology)，2020，53(4)：358-365(in Chinese).

［16］ Fang Q，Li H，Luo X，et al. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos[J]. Automation in Construction，2018，85：1-9.

［17］ Shen J，Xiong X，Li Y，et al. Detecting safety helmet wearing on construction sites with bounding-box regression and deep transfer learning[J]. Computer-Aided Civil and Infrastructure Engineering，2021，36(2)：180-196.

［18］ Li J，Wang Y，Wang C，et al. DSFD：Dual shot face detector[C]//2019 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：5060-5069.

［19］ Bochkovskiy A，Wang C Y，Liao H Y M. Yolov4：Optimal speed and accuracy of object detection[EB/OL]. https://arxiv.org/abs/2004.10934，2020-04-23.

［20］ Peng D，Sun Z，Chen Z，et al. Detecting heads using feature refine net and cascaded multi-scale architecture [C]//24th International Conference on Pattern Recogni-tion(ICPR). Beijing，China，2018：2528-2533.

［21］ Zhang H，Cisse M，Dauphin Y，et al. Mixup：Beyond empirical risk minimization[EB/OL]. https://arxiv.org/ abs/1710. 09412，2017-10-25.

［22］ Wang C Y，Liao H Y，Wu Y H，et al. CSPNet：A new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020：390-391.

［23］ Liu S，Qi L，Qin H，et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：8759-8768.

［24］ Cao J，Li Y，Sun M，et al. DO-Conv：Depthwise over-parameterized convolutional layer[EB/OL]. https:// arxiv.org/abs/2006.12030，2020-06-22.

［25］ Yu X，Wu S，Lu X，et al. Adaptive multiscale feature for object detection[J]. Neurocomputing，2021，449：146-158.

［26］ Song G，Liu Y，Wang X. Revisiting the sibling head in object detector[C]//Proceedings of the IEEE/CVF Con-ference on Computer Vision and Pattern Recognition. 2020：11563-11572.

［27］ Wu Y，Chen Y，Yuan L，et al. Rethinking classifica-tion and localization for object detection[C]//Proceed-ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020：10186-10195.

［28］ Zheng Z，Wang P，Liu W，et al. Distance-IoU loss：Faster and better learning for bounding box regression [C]//Proceedings of the AAAI Conference on Artificial Intelligence. New York，USA，2020：12993-13000.

［29］ Huang X，Wang X X，Lü W Y，et al. PP-YOLOv2：A practical object detector[EB/OL]. https://arxiv.org/abs/ 2104.10419，2021-04-21.

［30］ Carion N，Massa F，Synnaeve G，etal. End-to-end object detection with transformers[C]//European Confer-ence on Computer Vision. 2020：213-229.

Indoor Safety Helmet-Wearing Detection Algorithm Based on Improved Yolov4

Huang Zhiqing1，Zhang Yusen1，Zhang Yanxin2，Ren Keyan1

(1. Faculty of Information Technology，Beijing University of Technology，Beijing 100124，China；2. School of Electronic and Information Engineering，Beijing Jiaotong University，Beijing 100044，China)

An improved Yolov4 algorithm was proposed to autodetect indoor safety helmet-wearing. First，a data set dedicated to the indoor safety helmet-wearing detection was self-built for testing and evaluating the algorithm due to a lack of safety helmet-wearing detection experimental data in indoor scenarios. Then，an adaptive recalibration multiscale feature fusion module(ARMFFM) was designed and embedded into the original Yolov4 network to improve the detection accuracy of fuzzy and tiny targets far away from the surveillance camera. In ARMFFM，the features were fused top-down and bottom-up at different scales through depthwise over-parameterized convolutional layers for the fuzzy and tiny objects to obtain the more obvious texture and feature at first. Afterwards，the feature recalibration module strengthened or suppressed each pixel in the fused feature map to make the model precisely detect it to avoid a conflict among the feature maps at different scales. Furthermore，a decoupled detection head replaced the detection head of the original Yolov4 for the individual performances of the location and classification tasks of the indoor safety helmet-wearing detection. Additionally，a Soft-CIoU-NMS post-process algorithm was developed for detecting overlapping targets. The experimental results demonstrated that the accuracy of the improved Yolov4 algorithm in the detection of safety helmet-wearing in indoor scenarios reached 95.1%，about 4.7% higher than that of the original Yolov4. Besides，the detection precision of fuzzy，tiny and overlapping targets was significantly enhanced，proving the superiority of the algorithm for indoor safety helmet-wearing detection.

computer vision；video surveillance；deep learning；safety helmet-wearing detection；Yolov4

TP391.4

A

0493-2137(2023)01-0064-09

10.11784/tdxbz202111026

2021-11-14；

2022-04-06.

黃志清（1970—??），男，博士，副教授.

黃志清，zqhuang@bjut.edu.cn.

國家自然科學(xué)基金青年基金資助項(xiàng)目(618002044).

Supported by the Youth Fund of the National Natural Science Foundation of China(No. 618002044).

(責(zé)任編輯：王曉燕)