陳 揚，呂艷輝

(沈陽理工大學(xué)信息科學(xué)與工程學(xué)院，沈陽 110159)

目標檢測技術(shù)在軍事、交通、醫(yī)學(xué)、生物學(xué)等領(lǐng)域具有廣泛的應(yīng)用價值，推動了社會的進步，為人們生活提供了便利。

近些年，隨著電動車銷量的不斷增多，與電動車相關(guān)的交通事故也在增多。 很多電動車駕駛?cè)藳]有安全意識，不佩戴安全頭盔。 國內(nèi)已有多個城市相繼頒布電動車駕駛?cè)诵枰宕靼踩^盔的交通法規(guī)，以減少發(fā)生交通意外時的人員傷亡。本文擬對電動車駕駛?cè)耸欠衽宕靼踩^盔進行檢測并在公共場所自行采集數(shù)據(jù)制作數(shù)據(jù)集，此背景下構(gòu)建的數(shù)據(jù)集中會存在相當多的小目標，容易出現(xiàn)漏檢的情況。 另外，本文研究內(nèi)容的應(yīng)用場所人員變動較快，算法應(yīng)具備實時檢測的能力。

一張圖片中寬高占整個圖片寬高十分之一以下的物體稱為小目標。 小目標檢測作為目標檢測領(lǐng)域內(nèi)的一個難點，受到越來越多研究者的關(guān)注。文獻[1]通過改進數(shù)據(jù)增強方法平衡了數(shù)據(jù)類別，使用輕量型網(wǎng)絡(luò)MobileNetV2 替換原始主干網(wǎng)絡(luò)，減少了網(wǎng)絡(luò)計算量，最后對模型通道進行剪枝以及知識蒸餾提升了檢測速度，但檢測精度有待提高；文獻[2]提出一種自適應(yīng)雙向特征融合模塊提高對小目標的檢測率，但采用的損失函數(shù)未能考慮數(shù)據(jù)集分布特點，未能解決難易樣本不均衡問題；文獻[3]提出在特征提取網(wǎng)絡(luò)中融入通道注意力機制以更好地提取小目標特征信息，但其通道注意力機制只使用全局平均池化層壓縮通道特征，對難以區(qū)分的物體檢測效果較差；文獻[4]提出基于FPN 的優(yōu)化算法，通過引入感受野模塊模擬生物體的感受野機制，使網(wǎng)絡(luò)著重學(xué)習(xí)位于中心的特征，進而取得較好的識別效果，然而檢測速度有所降低，達不到實時檢測的效果。

綜上，目標檢測算法雖然取得了一定的研究成果，但也存在一些不足。 鑒于此，本文提出一種基于改進YOLOv5s[5]的電動車駕駛?cè)祟^盔佩戴檢測算法，簡稱HWD-YOLOv5s 算法。 該算法以深度學(xué)習(xí)框架YOLOv5s 為基礎(chǔ)，針對其第一步下采樣方法可能導(dǎo)致過擬合的問題，提出一種新的下采樣方法；針對原特征融合方法沒有考慮不同特征圖占有不同的貢獻度以及沒有對重要特征給予重點關(guān)注所導(dǎo)致的檢測精度差的問題，提出一種改進的特征融合方法；針對原算法采用的邊框損失函數(shù)GIOU 在檢測框和真實框相交時收斂慢的問題，提出適用的邊框損失函數(shù)計算方法。

1 HWD-YOLOv5s 算法的提出

1.1 YOLOv5s 算法的不足

本文選用YOLOv5 中的YOLOv5s 作為基礎(chǔ)網(wǎng)絡(luò)，在YOLOv5s 中圖像自適應(yīng)縮放成640 ×640 ×3 大小的圖像后進行特征提取。

首先，進行切片下采樣，將平面信息轉(zhuǎn)移到通道維度上，降低維度，增加通道數(shù)，能夠得到兩倍下采樣特征圖。 該下采樣方法的位置處在特征提取的第一步，雖然幾乎沒有丟失特征，但是會學(xué)習(xí)到大量無用信息，可能導(dǎo)致模型出現(xiàn)過擬合現(xiàn)象[6]。

其次，YOLOv5s 使用FPN 及PANet 完成圖像特征融合[7]。 這種特征融合方式能夠做到雙向特征傳遞，但無法區(qū)分不同分辨率特征圖的貢獻度；對于圖像中一些重要特征并未給出特別的關(guān)注[8]，不能將無關(guān)噪聲和應(yīng)該重點關(guān)注的特征信息區(qū)分開，導(dǎo)致算法對目標的檢測精度較差，算法檢測效果仍有待提升。

再次，YOLOv5s 算法的邊框回歸損失函數(shù)采用GIOU，當檢測框和真實框相交時，無法反映兩個框的相交方式，即不能衡量兩個框相對的位置關(guān)系[9]。 當預(yù)測框與真實框分離且距離較遠時，產(chǎn)生較大的外接矩形框，因損失值較大難以優(yōu)化，導(dǎo)致算法收斂速度慢[10]。

1.2 HWD-YOLOv5s 算法

1.2.1下采樣方法的提出

在HWD-YOLOv5s 算法中，提出一種新的下采樣方法，能夠解決原始YOLOv5s 第一步下采樣方法的弊端。 為后續(xù)計算方便，對輸入的640 ×640 ×3圖像特征矩陣進行1 ×1 ×12 的卷積計算，通道數(shù)變成4，即得到640 ×640 ×4 維度的特征圖X0；再將X0進行非線性變換，包括歸一化操作、ReLU 激活，并進行卷積操作。 將這種非線性變換操作作為一個模塊，共設(shè)計五個模塊(Block1 ～Block5)，其中Block5 中進行卷積和平均池化實現(xiàn)下采樣。 整體下采樣方法的非線性變換結(jié)構(gòu)如圖1 所示。

圖1 非線性變換結(jié)構(gòu)圖

由圖1 可知，每個模塊都會輸出一個特征矩陣，若輸入特征矩陣為X0，則設(shè)Block2 ～Block4模塊的輸入特征矩陣分別是X1～X3。 在Block1模塊中經(jīng)過非線性變換后的特征矩陣與輸入特征矩陣X0在通道上進行拼接后得到特征矩陣X1。對X1進行非線性變換得到的特征矩陣與X0和X1進行拼接后得到特征矩陣X2。 以此類推，最后Block4 模塊經(jīng)過非線性變換后的特征矩陣與之前的X0～X3進行拼接，得到輸出X4。 上述操作的數(shù)學(xué)表達式為

式中:l＝1，2，3，4；H表示非線性變換函數(shù)，對特征矩陣進行非線性變換操作；Concat 表示拼接函數(shù)，實現(xiàn)對特征矩陣進行通道上的拼接。 首先對本模塊的輸入特征矩陣進行非線性變換，然后在通道維度上拼接前面所有模塊的輸入特征矩陣作為下一模塊的輸入，再進行非線性變換。 一次拼接一次非線性變換，特征圖維度大小不變，通道數(shù)一直增大，即做通道間的堆積。 非線性變換前后的特征圖個數(shù)，即通道個數(shù)a為

式中:K0表示輸入特征圖個數(shù)；n表示模塊；K表示網(wǎng)絡(luò)增長率，本文中K值取4。

以輸入圖像X0為例，X0大小為640 ×640 ×3，Block1 對其進行非線性變換，即進行批標準化、ReLU 激活以及卷積操作。 此處完成兩次卷積，先進行1 ×1 ×4 卷積，卷積后的特征矩陣大小為640 ×640 ×1，再進行批標準化和ReLU 激活及3 ×3 ×4、填充為1 的卷積，卷積后的特征矩陣大小為640 ×640 ×4。 由于批標準化、ReLU 激活后特征矩陣大小不變，所以將所得特征矩陣與X0進行通道維度相加，得到輸出特征矩陣大小為640 ×640 ×8，得到特征圖X1。

以此類推可知，特征圖X2的通道數(shù)為12，X3的通道數(shù)為16，X4的通道數(shù)為20。

Block5 和前面四個模塊略有不同，其內(nèi)部進行批歸一化、ReLU 激活以及1 ×1 ×32a的卷積，最后進行過濾器大小為2 ×2、步長為2 的平均池化操作，最終輸出特征圖大小為320 ×320 ×32。整個結(jié)構(gòu)完成了兩倍的下采樣，相鄰兩個模塊間都具有極為密切的聯(lián)系。 由于前四個模塊中都有3 ×3 ×4、填充為2 的卷積，使得輸出的特征矩陣維度保持相同，以便在通道維度上進行累加，1 ×1的卷積大大減少了參數(shù)，使得整個結(jié)構(gòu)具有較高的計算效率。

綜上，本文提出的下采樣方法采用模塊間密集連接的方式，保證了淺層目標特征的有效提取。同時，密集連接方式也提升了整個結(jié)構(gòu)梯度的反向傳播，使網(wǎng)絡(luò)更容易訓(xùn)練。 最后的平均池化操作實現(xiàn)了下采樣，能夠降低輸入特征矩陣維度，減少網(wǎng)絡(luò)模型的參數(shù)，防止出現(xiàn)過擬合的現(xiàn)象。

1.2.2特征融合方法的提出

因為YOLOv5s 使用FPN 及PANet 完成特征融合，能夠做到雙向特征傳遞，但無法區(qū)分不同分辨率特征圖的貢獻度[11]。 本文所提融合方法先優(yōu)化特征融合網(wǎng)絡(luò)結(jié)構(gòu)，并賦予特征圖權(quán)重后再進行特征融合。

將YOLOv5s 中第五層到第七層的融合改為第三層到第七層進行融合，特征融合方法的結(jié)構(gòu)如圖2 所示。

圖2 HWD-YOLOv5s 特征融合方法結(jié)構(gòu)圖

圖2中每一個節(jié)點代表一個特征圖。 由圖2可見，因為第三層和第七層的中間特征圖只有一個輸入，沒有特征融合，對整個特征網(wǎng)絡(luò)的貢獻很小，故刪除第三層和第七層中間的特征圖；因為底層特征在經(jīng)過反復(fù)上采樣和下采樣后可能會失真，故在第四～六層中，在原有雙向融合的基礎(chǔ)上，同水平層之間引入跳躍連接，以強化高層特征層中的細節(jié)信息，以提高特征融合的效率。 圖2中僅標明了部分特征圖的權(quán)重，另外向傳遞時所占權(quán)重為向傳遞時所占權(quán)重為傳遞時所占權(quán)重分別為W3、W5、W7。

在特征融合過程中，考慮到不同分辨率的特征圖具有不同的貢獻度，提出一種自適應(yīng)權(quán)重的特征向量融合方法。 通過將不同分辨率的特征圖進行上采樣或下采樣以統(tǒng)一特征圖為相同的分辨率后計算各自的權(quán)重，再進行特征向量的融合。其特征向量的融合公式為

式中:O表示所有特征圖融合后的特征向量；i、j表示特征向量序號，是正整數(shù)；Wi和Wj表示權(quán)重；ε＝0.000 1，用于保證數(shù)值的穩(wěn)定性；Ii表示輸入的特征向量。 以圖2 為例，其中第五層的中間特征向量計算方法為

式中:Conv 表示卷積操作；Resize 表示上采樣。

以上的雙向自適應(yīng)加權(quán)融合方法從結(jié)構(gòu)上能更充分進行特征信息保留，但并未解決YOLOv5s不能對特征圖中重要信息給予特別關(guān)注的問題。為此，在第三～七層的卷積層中引入注意力模塊[12]，包括空間注意力和通道注意力。 卷積層中引入注意力機制的結(jié)構(gòu)如圖3 所示。

圖3 卷積層中引入注意力機制結(jié)構(gòu)圖

圖3中輸入特征矩陣在通道注意子模塊中分別進行全局最大池化和全局平均池化，即取每個特征圖中的最大值和平均值，分別得到最大合并特征矩陣和平均合并特征矩陣[13]，然后輸入到共享網(wǎng)絡(luò)，得到通道注意力圖Ft，即帶有通道注意力權(quán)重的特征圖。 為減小參數(shù)量，需要通過Sigmoid函數(shù)進行歸一化處理，然后通過乘法加權(quán)到原始輸入特征圖上得到最終輸出。

上述Ft的計算公式可表示為

式中:F是輸入特征圖；σ表示Sigmoid 函數(shù)；MLP是組成共享網(wǎng)絡(luò)的多層感知器；AvgPool 是全局平均池化；MaxPool 是全局最大池化是通道平均合并特征是通道最大合并特征；S0、S1是兩層共享網(wǎng)絡(luò)。

Ft在進入空間注意力子模塊時，同樣要進行全局最大池化和全局平均池化，將特征維度轉(zhuǎn)變成1 ×1，經(jīng)過卷積核為7 ×7 的卷積和ReLU 激活函數(shù)以降低特征圖的維度；再經(jīng)過一次卷積后提升為原來的維度；最后采用Sigmoid 函數(shù)進行歸一化處理得到的特征圖與通道注意圖進行合并，得到空間注意力圖Fk，即注意力模塊最終輸出的特征圖。Fk計算公式可表示為

式中:f7×7是指卷積核為7 ×7 的卷積操作是空間平均合并特征是空間最大合并特征。

1.2.3邊框回歸損失函數(shù)的提出

YOLOv5s 算法采用GIOU 作為邊框回歸損失函數(shù)[14]，其計算公式為

式中:BP表示預(yù)測框；Bt表示真實框；C表示預(yù)測框與真實框最小外接矩形框的面積。 當預(yù)測框與真實框重合時，損失值為0；當預(yù)測框的邊與真實框的邊外切時，損失值為1；當預(yù)測框與真實框分離且距離較遠時，損失值無限趨近于2。 根據(jù)上述計算，GIOU 反映了真實框與預(yù)測框的重合程度和遠近距離。 但當檢測框和真實框相交時，無法反應(yīng)兩個框的相交方式。 當預(yù)測框與真實框分離且距離較遠時，產(chǎn)生較大的外接矩形框，因損失值較大難以優(yōu)化，會導(dǎo)致算法收斂速度慢。因此，本文將邊框回歸損失函數(shù)計算方法修正為

式中:L代表修正后邊框回歸損失；ρ2(b，bgt)代表預(yù)測框中心點b到真實框中心點bgt歐氏距離的平方；c2為預(yù)測框和真實框最小外接矩形框?qū)蔷€距離的平方；c′2為預(yù)測框與真實框最小外接矩形框的寬的平方；ρ2(w，wgt)表示預(yù)測框?qū)挼闹悬cw到真實框?qū)?yīng)寬的中點wgt的歐氏距離的平方；c″2表示預(yù)測框與真實框最小外接矩形框的高的平方；ρ2(h，hgt)表示預(yù)測框高的中點h到真實框?qū)?yīng)高的中點hgt的歐氏距離的平方。

本文提出的邊框回歸損失函數(shù)的懲罰項有三個，分別計算預(yù)測框的中心點、寬、高與其最小外接框中心點、寬、高的差值，直接回歸歐氏距離。 其中，中心點與最小外接矩形框的懲罰項解決了GIOU 在兩框距離較遠時產(chǎn)生較大的外包框所導(dǎo)致的收斂速度慢的問題；寬、高與最小外接矩形框?qū)?、高的懲罰項的使用能夠解決GIOU無法反映兩個框的相交方式問題，且當預(yù)測框與真實框在水平方向和垂直方向上存在差異時，通過使用寬、高與最小外接矩形框?qū)挕⒏叩膽土P項，能夠分別在水平和垂直方向上提高收斂速度，提升回歸精度。

2 實驗結(jié)果與分析

2.1 環(huán)境配置

本文實驗環(huán)境在Windows10 操作系統(tǒng)下配置，安裝Anaconda 用于管理和創(chuàng)建環(huán)境；在Anaconda 下搭建Pytorch 框架，加速GPU；編譯器選用Pycharm2020.1.2 版本；安裝CUDA 工具包，以提高GPU 的大規(guī)模并行計算能力；本文實驗中對數(shù)據(jù)的訓(xùn)練需要在帶有GPU 的服務(wù)器上進行。

2.2 數(shù)據(jù)集制作

在多個路口、市場、小區(qū)等場景下采集數(shù)據(jù)，其中的樣本多樣，安全頭盔顏色多樣，電動車型號、顏色多樣。 采集數(shù)據(jù)全部是以拍攝視頻的方式獲取，視頻時長幾秒到幾十秒不等，共計約有400 個視頻。 通過在線免費轉(zhuǎn)換器進行圖片的提取，每秒提取圖片數(shù)量為10 張，共計提取圖片有26 954張。 剔除掉圖像中沒有待檢測目標或目標特征不明顯的無用圖片5 674 張以及重復(fù)圖片9 910張后，共計保留11 370 張。 對圖片逐張進行標注，把電動車和人整體作為目標，其中佩戴安全頭盔的作為一類，命名為hat；未佩戴安全頭盔的作為一類，命名為no-hat。 實驗將自制安全頭盔數(shù)據(jù)集隨機劃分為三部分，其中訓(xùn)練集占70%，驗證集占20%，測試集占10%。 預(yù)訓(xùn)練HWDYOLOv5s 模型權(quán)重，迭代次數(shù)設(shè)為250。

數(shù)據(jù)集中待檢測目標大小不同，為保證檢測效果，HWD-YOLOv5s 算法將待檢測目標分成大、中、小三類尺寸。 針對不同尺寸的目標，在訓(xùn)練過程中分別設(shè)置了與其尺寸對應(yīng)的預(yù)置檢測框進行訓(xùn)練，且在預(yù)測端針對不同尺寸的目標給出對應(yīng)的輸出，以提升對不同尺寸目標檢測的準確度。

2.3 實驗及對比實驗

本實驗利用召回率(Recall)、準確率(Precision)、閾值為0.5 的平均精度(mAP)作為評價指標。

1)使用HWD-YOLOv5s 算法在自制安全頭盔數(shù)據(jù)集上進行訓(xùn)練并在驗證集上進行驗證，得出的驗證結(jié)果如表1 所示。

表1 HWD-YOLOv5s 算法實驗結(jié)果

表1 中類別為all 的數(shù)據(jù)是類別hat 和no-hat在上述幾個評價指標對應(yīng)數(shù)值的平均值。

HWD-YOLOv5s 算法在安全頭盔數(shù)據(jù)集上訓(xùn)練時生成的評價指標曲線如圖4 所示。

圖4 HWD-YOLOv5s 算法評價指標曲線圖

從圖4 中可以看出，在較少的訓(xùn)練輪數(shù)后，Precision、Recall、mAP 值均已達到了90%，并穩(wěn)步增長。 其中Recall 值相對于其他兩個指標達到90%所需訓(xùn)練輪數(shù)更多。

2) 進行對比實驗。 在YOLOv5s、SSD[14]、Faster R-CNN[15]三種主流目標檢測算法上基于自制安全頭盔數(shù)據(jù)集進行訓(xùn)練并在驗證集上進行驗證，分別得到Precision、Recall、mAP、速度四個評價指標的實驗結(jié)果，取兩個類別hat 和no-hat 評價結(jié)果的平均值為最終結(jié)果與本文算法HWDYOLOv5s 進行性能比較，對比實驗結(jié)果見表2。

表2 各算法實驗結(jié)果對比

由表2 可見，HWD-YOLOv5s 算法的Precision、Recall 值均為最優(yōu)。 與YOLOv5s 相比，在Precision、Recall、mAP 三個方面分別提升了0.4%、1.1%、0.2%。 HWD-YOLOv5s 算法檢測一張圖片的時間為14. 89 ms，能夠滿足實時性檢測的要求。

3 結(jié)論

常用圖像檢測算法針對安全頭盔這類小目標可能存在漏檢的問題，本文基于自制數(shù)據(jù)集中安全頭盔的分布特點，使用YOLOv5s 作為基礎(chǔ)網(wǎng)絡(luò)，改進特征提取中的下采樣方法以及特征融合方法，修改邊框損失函數(shù)GIOU 計算方法，獲得改進算法HWD-YOLOv5s。 將HWD-YOLOv5s 算法在自制數(shù)據(jù)集上進行實驗， 并且使用YOLOv5s、SSD、Faster R-CNN 三種主流算法進行對比實驗。 實驗結(jié)果表明:HWD-YOLOv5s 算法泛化性強，對于安全頭盔目標較密集情況的檢測效果較好，相比其他算法具有更高的檢測精度，檢測實時性滿足交通領(lǐng)域的應(yīng)用要求。 本文研究的不足在于只針對自制數(shù)據(jù)集進行驗證，數(shù)據(jù)集中樣本的多樣性和樣本均衡性稍差。