車(chē)啟謠，嚴(yán)運(yùn)兵

（武漢科技大學(xué) 汽車(chē)與交通工程學(xué)院，武漢 430065）

0 引言

近年來(lái)，行人檢測(cè)技術(shù)得到快速發(fā)展并取得了一定成果，在智能人臉安檢、輔助駕駛系統(tǒng)，以及智能網(wǎng)聯(lián)等領(lǐng)域占據(jù)了重要地位。在自動(dòng)駕駛領(lǐng)域中，行人檢測(cè)技術(shù)主要采用安裝在物體上的視覺(jué)傳感器，對(duì)采集到的感興趣區(qū)域進(jìn)行分析處理，以完成對(duì)行人的識(shí)別?，F(xiàn)有的行人檢測(cè)技術(shù)主要通過(guò)提取人體的幾何特征與運(yùn)動(dòng)信息特征來(lái)設(shè)計(jì)特征提取方法，雖在檢測(cè)速度與精準(zhǔn)度上都有所提升，但仍有一些問(wèn)題未得到很好的解決。如：檢測(cè)結(jié)果易受到光照變化和遮擋物的影響，降低了行人檢測(cè)效果，且行人自身存在較大的形變，加大了有效特征提取的難度。此外，還存在目標(biāo)檢測(cè)算法復(fù)雜、對(duì)于多目標(biāo)情況下檢測(cè)時(shí)間較長(zhǎng)、實(shí)時(shí)性較差、魯棒性也難以達(dá)到要求等問(wèn)題。

目前，針對(duì)行人檢測(cè)問(wèn)題所采用的算法可分為2 種：一是采用人工選取目標(biāo)點(diǎn)特征，再通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練分類(lèi)器的檢測(cè)算法；二是采用深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)模型的檢測(cè)算法。

采用機(jī)器學(xué)習(xí)訓(xùn)練分類(lèi)器的算法提出較早，并且一直處于不斷的優(yōu)化中。2001 年，Viola 等人通過(guò)提取Haar 特征，再對(duì)AdaBoost 級(jí)聯(lián)分類(lèi)器進(jìn)行訓(xùn)練的方法實(shí)現(xiàn)目標(biāo)人臉檢測(cè)。2005 年，Dalal 等人通過(guò)提取HOG 特征，對(duì)行人的邊緣特征進(jìn)行描述，并發(fā)現(xiàn)HOG 描述子十分適合人的檢測(cè)，但是描述子生成過(guò)程較長(zhǎng)，實(shí)時(shí)性差，并且難以處理行人被遮擋的問(wèn)題。2015 年，譚飛剛等人提出一種結(jié)合二值化Haar 特征多部件驗(yàn)證的雙層行人檢測(cè)算法，提高了行人部分被遮擋時(shí)的檢測(cè)精準(zhǔn)度。雖然傳統(tǒng)的機(jī)器學(xué)習(xí)算法也在持續(xù)優(yōu)化與更新，但仍難以滿足相應(yīng)的要求。

目前，基于深度學(xué)習(xí)的檢測(cè)算法在描述目標(biāo)特征圖時(shí)的精準(zhǔn)檢測(cè)與輸出，已逐漸占據(jù)了主導(dǎo)地位。2014 年，Girshick 等人提出的R-CNN 目標(biāo)檢測(cè)框架，主要通過(guò)選擇性地搜索可能包含檢測(cè)目標(biāo)的候選區(qū)域，并對(duì)每個(gè)候選框進(jìn)行分類(lèi)，再利用CNN提取特征，現(xiàn)已成為最典型的雙階段目標(biāo)檢測(cè)算法。隨后，針對(duì)雙階段目標(biāo)檢測(cè)算法空間模型規(guī)模大、測(cè)試速度慢等缺點(diǎn)，2015 年，Girshick 等人提出基于邊界框和多任務(wù)損失分類(lèi)的Fast R-CNN 算法。2017 年，Ren 等人通過(guò)引入?yún)^(qū)域建議網(wǎng)絡(luò)，提出了Faster R-CNN 算法。

當(dāng)前情況下，雙階段目標(biāo)檢測(cè)算法雖然在不斷地進(jìn)行優(yōu)化，但是仍然難以滿足目標(biāo)檢測(cè)算法適用場(chǎng)景的實(shí)時(shí)性與魯棒性。相比較之下，基于回歸分析思想的單階段目標(biāo)檢測(cè)算法具有檢測(cè)速度快、精度高的特點(diǎn)。2015 年，Redmon 等人提出了YOLO檢測(cè)算法，將特征提取、回歸和分類(lèi)置于單個(gè)卷積網(wǎng)絡(luò)中，通過(guò)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)的方法，實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)，但該算法對(duì)小尺度目標(biāo)的檢測(cè)精準(zhǔn)度與召回率低。針對(duì)此問(wèn)題，2016 年，Liu 等人采用分層提取特征的思想與目標(biāo)預(yù)測(cè)機(jī)制提出了SSD算法。2017 年，Jeong 等人基于SSD 算法，通過(guò)增減反卷積模塊提出R-SSD 算法。Li 等人通過(guò)融合多種特征層與特征尺度并生成特征金字塔的方法，提出了F-SSD 算法。但是，以上算法仍然會(huì)存在對(duì)小目標(biāo)檢測(cè)效果欠佳、檢測(cè)速度較慢的缺陷。

盡管傳統(tǒng)的目標(biāo)檢測(cè)方法基本能夠滿足物體本身的檢測(cè)要求，但效率和精準(zhǔn)度方面卻仍有不足亟待完善。為此，本文對(duì)傳統(tǒng)YOLOv3 檢測(cè)算法提出了一些改進(jìn)，并在CUHK 數(shù)據(jù)集上對(duì)改進(jìn)后算法的準(zhǔn)確率和召回率進(jìn)行了仿真驗(yàn)證。

1 YOLOv3 神經(jīng)網(wǎng)絡(luò)算法

自2015 年以來(lái)，學(xué)界就陸續(xù)推出了更新?lián)Q代的數(shù)個(gè)YOLO 系列版本。YOLO 系列算法相對(duì)于Fast R-CNN 算法來(lái)說(shuō)，未將檢測(cè)結(jié)果分2 部分進(jìn)行求解，而是基于回歸的思想，在輸出回歸層直接回歸出目標(biāo)位置及其類(lèi)別，有著更好的檢測(cè)精度與檢測(cè)速度。

2018 年，Joseph 等人提出YOLOv3 算法，相對(duì)于前身對(duì)多個(gè)部分融入了改進(jìn)內(nèi)容。主要借用ResNet 殘差網(wǎng)絡(luò)的思想，采用更好的基礎(chǔ)特征提取網(wǎng)絡(luò)Darknet-53，和之前的網(wǎng)絡(luò)結(jié)構(gòu)相比，在一定程度上提升了檢測(cè)速度，網(wǎng)絡(luò)性能對(duì)比見(jiàn)表1；同時(shí)，采用多尺度融合預(yù)測(cè)的方法，共提取3 個(gè)特征層，提升了算法對(duì)小目標(biāo)的檢測(cè)精度。至此，為保證每個(gè)目標(biāo)的預(yù)測(cè)準(zhǔn)確率與多目標(biāo)標(biāo)簽分類(lèi)，采用新的代價(jià)函數(shù)替換原函數(shù)。

表1 Darknet-53 網(wǎng)絡(luò)性能對(duì)比表Tab.1 Comparison table of Darknet-53 network performance

YOLOv3 檢測(cè)模型主要由骨干網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)兩部分組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。圖1，采用基于殘差網(wǎng)絡(luò)思想的Darknet-53 作為用于特征提取的主干網(wǎng)絡(luò)。Darknet-53 模型包含53 個(gè)卷積層和23個(gè)跳躍連接，具有相對(duì)YOLOv2 模型更深的卷積層。

圖1 YOLOv3 模型結(jié)構(gòu)Fig.1 YOLOv3 model structure

檢測(cè)網(wǎng)絡(luò)部分采用Faster R-CNN 中使用的FPN 特征金字塔結(jié)構(gòu)，盡可能地減少特征損失，提高檢測(cè)精度。其中，共提取3 個(gè)特征層，分別為：輸出特征分辨率為52×52 的中間層、26×26 的中下層和13×13 的底層，3 個(gè)特征層分別針對(duì)小、中、大三種分辨率的目標(biāo)對(duì)象通過(guò)檢測(cè)。在獲得3 個(gè)有效特征層后通過(guò)多特征融合，并對(duì)有效特征層進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果后，再利用解碼預(yù)測(cè)模塊，對(duì)網(wǎng)絡(luò)處理后的數(shù)據(jù)進(jìn)行解碼，由此得到最終結(jié)果。

2 改進(jìn)的YOLOv3 神經(jīng)網(wǎng)絡(luò)算法

2.1 選用K-means++聚類(lèi)算法

YOLO 系列算法從YOLOv3 開(kāi)始，采用9 個(gè)anchor 進(jìn)行預(yù)測(cè)，但仍然采用與YOLOv2 相同的Kmeans 聚類(lèi)算法來(lái)獲取anchors 的大小。K-means聚類(lèi)算法會(huì)隨機(jī)指定個(gè)聚類(lèi)中心（cluster）作為初始點(diǎn)，并將距離相近的cluster 不斷進(jìn)行均值化處理，當(dāng)cluster 很小時(shí)，保存聚類(lèi)來(lái)確定anchor 的初始位置。距離相近的依據(jù)以值進(jìn)行判定，具體公式如下：

其中，為樣本點(diǎn)到每一個(gè)質(zhì)心的距離；為其它邊框；為聚類(lèi)時(shí)被選作中心的邊框；為目標(biāo)預(yù)測(cè)框與目標(biāo)標(biāo)簽框的交并比。

由于K-means 聚類(lèi)算法中聚類(lèi)中心的隨機(jī)性與離群點(diǎn)及孤立點(diǎn)的敏感性，算法的聚類(lèi)效果易受到因初始值選取不當(dāng)而造成的影響。此外，也會(huì)導(dǎo)致算法在分類(lèi)時(shí)的不精準(zhǔn)現(xiàn)象，出現(xiàn)錯(cuò)誤分類(lèi)的情況。為此，本文使用K-means++算法取代原聚類(lèi)算法，以期得到更符合樣本的先驗(yàn)證框。

K-means++與K-means 算法不同的是：第一步會(huì)隨機(jī)選取一個(gè)cluster 作為初始點(diǎn)，同時(shí)為了避免噪聲，采取輪盤(pán)法選擇一個(gè)新的距離較遠(yuǎn)的點(diǎn)，直至個(gè)cluster 被選出；此后再進(jìn)行K-means 聚類(lèi)算法。盡管在初始點(diǎn)的選擇上，K-means++算法花費(fèi)了較多的時(shí)間，但實(shí)際上卻減輕了初始聚類(lèi)中心選擇不當(dāng)所造成的誤差，提升了算法的計(jì)算效率。

2.2 殘差網(wǎng)絡(luò)模塊

卷積神經(jīng)網(wǎng)絡(luò)深度的加深，可以提取更為豐富的特征，提升檢測(cè)性能。但隨著網(wǎng)絡(luò)層數(shù)的增加，也會(huì)加重深層網(wǎng)絡(luò)的訓(xùn)練負(fù)擔(dān)，造成網(wǎng)絡(luò)的性能退化等一系列問(wèn)題。為了緩解網(wǎng)絡(luò)加深后所帶來(lái)的種種問(wèn)題，YOLOv3 算法采用了與文獻(xiàn)［21］中提出的ResNet 相類(lèi)似的殘差網(wǎng)絡(luò)結(jié)構(gòu)。

殘差網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)快捷連接的方式，將每若干層中的某一層數(shù)據(jù)直接添加到后面數(shù)據(jù)層的輸出部分，將中間的某一層或多層卷積層進(jìn)行縮減，用來(lái)減少計(jì)算量，并降低網(wǎng)絡(luò)深度。

YOLOv2 采用大量的3×3 的卷積核進(jìn)行卷積，而YOLOv3 則先采用一個(gè)大小為3×3、步長(zhǎng)為2 的卷積核進(jìn)行卷積，將輸入特征層的高和寬進(jìn)行壓縮，從而產(chǎn)生一個(gè)新的卷積層Layer，稍后再保存Layer并進(jìn)行一次3×3 的卷積和1×1 的卷積，得到的結(jié)果與Layer 相加，便構(gòu)成了殘差網(wǎng)絡(luò)結(jié)構(gòu)。YOLOv3 殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)如圖2 所示。

圖2 殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)圖Fig.2 Residual network module structure diagram

為了解決由于網(wǎng)絡(luò)深度增大而產(chǎn)生的準(zhǔn)確率下降和性能退化問(wèn)題，本文在網(wǎng)絡(luò)進(jìn)行最末端的卷積處理后，加入殘差網(wǎng)絡(luò)模塊來(lái)降低模型的計(jì)算量。該模塊采用3 層卷積層的網(wǎng)絡(luò)結(jié)構(gòu)，并使用1×1 的卷積代替3×3 卷積。改進(jìn)后的ResNet-H 結(jié)構(gòu)如圖3 所示。

圖3 ResNet-H 模塊結(jié)構(gòu)圖Fig.3 ResNet-H module structure diagram

2.3 CBAM 注意力機(jī)制

通常，人眼在接觸到某一場(chǎng)景或客觀事物時(shí)，關(guān)注點(diǎn)的不均勻分布會(huì)導(dǎo)致人的注意力朝向會(huì)轉(zhuǎn)移至感興趣的區(qū)域或者信息。通過(guò)這種選擇性的視覺(jué)注意力機(jī)制，可以高效地分配注意力資源，并最終服務(wù)于人的主觀意志?；诖耍瑸榱耸褂?jì)算機(jī)視覺(jué)在識(shí)別信息時(shí)自主學(xué)會(huì)留意關(guān)鍵有用的信息，研究人員通過(guò)計(jì)算概率分布的形式來(lái)展示詞之間的關(guān)系，從而產(chǎn)生了注意力機(jī)制。

與其它機(jī)制相比，CBAM 注意力機(jī)制采用了通道注意力與空間注意力相結(jié)合的方法，通過(guò)2 個(gè)維度依次在輸入特征圖中推斷出特征權(quán)重，再將該權(quán)重與輸入特征圖進(jìn)行點(diǎn)積，從而得到優(yōu)化后的輸出特征圖。整體流程如圖4 所示。

圖4 CBAM 模塊的結(jié)構(gòu)Fig.4 Structure of CBAM module

YOLOv3 檢測(cè)算法的本質(zhì)是將輸入的圖像進(jìn)行編碼，而后再?gòu)闹薪獯a出目標(biāo)位置和類(lèi)別信息進(jìn)行輸出。在此過(guò)程中，通過(guò)在網(wǎng)絡(luò)中加入CBAM 注意力機(jī)制，可以使YOLOv3 網(wǎng)絡(luò)對(duì)行人施加較大的權(quán)重，從而提升特征提取能力。

由圖1 可知，YOLOv3 最初會(huì)提取3 個(gè)基礎(chǔ)特征層，每次基礎(chǔ)特征層與其他上采樣的特征層堆疊拼接后，會(huì)進(jìn)行5 次的卷積處理，此時(shí)在卷積處理中加入注意力模塊。網(wǎng)絡(luò)結(jié)構(gòu)中加入的具體部位如圖5 所示。

圖5 加入CBAM 模塊后的結(jié)構(gòu)圖Fig.5 Structure diagram after adding CBAM module

2.4 多頭自注意力機(jī)制MHSA

卷積神經(jīng)網(wǎng)絡(luò)CNN 在識(shí)別特征時(shí)，通常會(huì)采用較小的卷積核來(lái)識(shí)別物體的局部特征，增加網(wǎng)絡(luò)層數(shù)的同時(shí)，也減少了參數(shù)，但也會(huì)使得卷積層的感受野相對(duì)特征圖要小上很多。尤其在行人檢測(cè)中，往往需要在較大的特征圖中獲取行人特征，使得網(wǎng)絡(luò)能夠從目標(biāo)的較大相鄰區(qū)域中收集上下文信息，提取更好的行人特征。為了得到全局信息，需要拓展網(wǎng)絡(luò)的深度，堆疊多個(gè)卷積層，為此需要消耗很多計(jì)算資源。

自注意力機(jī)制（Self-attention）在2017 年由Vaswani 等人提出，并主要應(yīng)用于學(xué)習(xí)文本表示。在文本語(yǔ)言處理中，自注意力機(jī)制能夠通過(guò)計(jì)算每個(gè)詞的注意力概率來(lái)更好地捕獲上下文信息，以表達(dá)詞與詞之間的語(yǔ)義關(guān)系。同時(shí)，文中還提出了多頭自注意力機(jī)制（Multi -headed Self -attention），即通過(guò)多次Self-attention 計(jì)算，將每個(gè)機(jī)制上的不同注意點(diǎn)權(quán)重矩陣結(jié)果進(jìn)行拼接融合，即可表達(dá)出更加全面的關(guān)聯(lián)程度。為此，考慮將其引入行人檢測(cè)網(wǎng)絡(luò)，由此來(lái)提取圖片的全局特征。

多頭自注意力機(jī)制結(jié)構(gòu)如圖6 所示。該機(jī)制將、和矩陣進(jìn)行不同維度的矩陣映射，輸出參數(shù)后進(jìn)行儲(chǔ)存，并將多次結(jié)果進(jìn)行拼接融合后、再進(jìn)行一次矩陣映射，就得到了輸出結(jié)果。另外，由于使用過(guò)多的多頭自注意力機(jī)制會(huì)導(dǎo)致計(jì)算機(jī)負(fù)荷增加，從而降低檢測(cè)精度，故會(huì)在第四次的下采樣后再將其加入進(jìn)去。

圖6 多頭自注意力機(jī)制結(jié)構(gòu)Fig.6 Multi-headed self-attention mechanism structure

2.5 改進(jìn)后的YOLOv3 模型結(jié)構(gòu)

本文主要通過(guò)將K-means 更改為K-means++聚類(lèi)算法、在網(wǎng)絡(luò)結(jié)構(gòu)中加入改進(jìn)的殘差網(wǎng)絡(luò)模塊、CBAM 注意力機(jī)制與MHSA 多頭自注意力機(jī)制的方法來(lái)對(duì)YOLOv3 加以改進(jìn)，改進(jìn)后的YOLOv3-i 模型結(jié)構(gòu)如圖7 所示。

圖7 YOLOv3-i 模型結(jié)構(gòu)Fig.7 YOLOv3-i model structure

3 驗(yàn)證與分析

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文實(shí)驗(yàn)在Windows 10 系統(tǒng)下進(jìn)行。GPU 為NVIDIA Tesla V100、內(nèi)存32 G、顯存32 GB；深度學(xué)習(xí)框架為Pytorch 1.5.1 版本。

3.2 實(shí)驗(yàn)數(shù)據(jù)配置

實(shí)驗(yàn)所選取的數(shù)據(jù)集為香港中文大學(xué)（CUHK）開(kāi)源行人檢測(cè)數(shù)據(jù)集，共包括1 063 張行人圖片。實(shí)驗(yàn)開(kāi)始前，先選用其中的800 張圖片進(jìn)行調(diào)試訓(xùn)練，稍后另取各100 張圖片進(jìn)行驗(yàn)證與測(cè)試。

訓(xùn)練采用的初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減策略為每經(jīng)過(guò)一個(gè)，學(xué)習(xí)率降低為原來(lái)的0.05倍，迭代次數(shù)為1 000 次，為45。即每個(gè)在訓(xùn)練集中取45 個(gè)樣本進(jìn)行訓(xùn)練，直至全部樣本都遍歷完成一次訓(xùn)練。

3.3 實(shí)驗(yàn)結(jié)果及分析

在相同的實(shí)驗(yàn)場(chǎng)景下，本文將基于YOLOv3 改進(jìn)的YOLOv3-i 算法與YOLOv3 檢測(cè)算法共進(jìn)行5組實(shí)驗(yàn)，旨在驗(yàn)證加入各個(gè)模塊后，對(duì)行人檢測(cè)方面的性能改進(jìn)。實(shí)驗(yàn)明細(xì)概述如下。

（1）實(shí)驗(yàn)：原YOLOv3 算法；

（2）實(shí)驗(yàn)：使用K-means++改進(jìn)后的YOLOv3算法；

（3）實(shí)驗(yàn)：使用K-means++和殘差網(wǎng)絡(luò)模塊改進(jìn)后的YOLOv3 算法；

（4）實(shí)驗(yàn)：使用K-means++、殘差網(wǎng)絡(luò)模塊、CBAM 注意力機(jī)制改進(jìn)后的YOLOv3 算法；

（5）實(shí)驗(yàn)：使用K-means++、殘差網(wǎng)絡(luò)模塊、CBAM 注意力機(jī)制和MHSA 多頭自注意力機(jī)制改進(jìn)后的YOLOv3 算法；

5 組實(shí)驗(yàn)的平均準(zhǔn)確率、召回率、準(zhǔn)確率及調(diào)和平均值結(jié)果見(jiàn)表2。

表2 不同實(shí)驗(yàn)檢測(cè)結(jié)果對(duì)比Tab.2 Comparison of detection results of different experiments %

從表2 中可以看出，本文提出的YOLOv3-i 算法的值達(dá)到88.20%，而原算法的值為70.75%，相比而言提高了17.45%；召回率、檢測(cè)精準(zhǔn)度等數(shù)值也均有提升。而從、兩組實(shí)驗(yàn)可見(jiàn)，實(shí)驗(yàn)的相對(duì)提升了8.85%，表明多頭注意力機(jī)制相比于傳統(tǒng)的卷積網(wǎng)絡(luò)有更強(qiáng)的特征提取能力。

原YOLOv3 與本文提出的YOLOv3-i 改進(jìn)算法的實(shí)際測(cè)試結(jié)果對(duì)比如圖8 所示。在小目標(biāo)的檢測(cè)上，經(jīng)過(guò)圖8（a）與圖8（b）的對(duì)比，可以清晰地看出改進(jìn)的算法對(duì)行人目標(biāo)的邊緣輪廓進(jìn)行了更好的刻畫(huà)，提升了特征檢測(cè)效果。而對(duì)于受到嚴(yán)重遮擋重疊的行人目標(biāo)部分，圖8（d）相對(duì)圖8（c）而言仍能進(jìn)行識(shí)別。由此可以表明：改進(jìn)后的算法提升了對(duì)小目標(biāo)以及被遮擋部位的特征提取能力，能夠更加精準(zhǔn)地發(fā)現(xiàn)行人檢測(cè)目標(biāo)。

圖8 不同實(shí)驗(yàn)檢測(cè)效果對(duì)比圖Fig.8 Comparison of detection effects of different experiments

4 結(jié)束語(yǔ)

本文以YOLOv3 網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)選用Kmeans++聚類(lèi)算法、在網(wǎng)絡(luò)結(jié)構(gòu)中加入改進(jìn)的殘差網(wǎng)絡(luò)模塊、CBAM 注意力機(jī)制與MHSA 多頭自注意力機(jī)制的方法，提出了改進(jìn)的行人檢測(cè)方法。本文算法在CUHK 數(shù)據(jù)集上進(jìn)行訓(xùn)練及對(duì)比測(cè)試，實(shí)驗(yàn)結(jié)果表明：優(yōu)化后的算法有著更強(qiáng)的特征提取能力，較大地提升了YOLOv3 算法對(duì)行人的檢測(cè)效果。

但本文提出的方法仍然存在問(wèn)題，如改進(jìn)的算法在當(dāng)前的訓(xùn)練集上會(huì)有較好的提升，但在其它數(shù)據(jù)集上，若圖片中行人受到嚴(yán)重遮擋或距離較遠(yuǎn)時(shí)，檢測(cè)效果會(huì)有所下降。其次，算法未在實(shí)際道路及場(chǎng)景上進(jìn)行測(cè)試，后續(xù)將進(jìn)一步展開(kāi)研究，嘗試提高算法的抗干擾和實(shí)時(shí)檢測(cè)能力。