葉正喆，蒼巖

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

在計(jì)算機(jī)視覺與目標(biāo)檢測(cè)領(lǐng)域中，行人檢測(cè)始終都是近些年來的研究熱點(diǎn)之一。行人檢測(cè)主要是利用圖像處理和機(jī)器學(xué)習(xí)的方法來對(duì)圖像中的行人進(jìn)行定位[1-2]，準(zhǔn)確地預(yù)測(cè)出每個(gè)行人的大致位置。一個(gè)較為準(zhǔn)確的行人檢測(cè)模型也是后續(xù)如追蹤、重識(shí)別、檢索等圖像智能分析的先驗(yàn)條件之一[3-4]。隨著目標(biāo)檢測(cè)技術(shù)的高速發(fā)展，目前常用的行人檢測(cè)算法在對(duì)簡(jiǎn)單場(chǎng)景下的行人已經(jīng)能取得較好的檢測(cè)效果，但在現(xiàn)實(shí)生活如街道、商場(chǎng)這類大量人群聚集的場(chǎng)景下，行人檢測(cè)的性能仍然有著較大的提升空間[5]。

相比于簡(jiǎn)單場(chǎng)景下的行人檢測(cè)，復(fù)雜場(chǎng)景下的行人檢測(cè)有著行人遮擋、行人尺度不一等難點(diǎn)和挑戰(zhàn)。其中遮擋問題也一直都是行人檢測(cè)領(lǐng)域中的難點(diǎn)與重點(diǎn)[6]，而遮擋又可分為行人間的類內(nèi)遮擋和非目標(biāo)物體對(duì)行人的遮擋。行人間的類內(nèi)遮擋即多個(gè)行人互相遮擋，非目標(biāo)行人會(huì)對(duì)目標(biāo)行人產(chǎn)生遮擋，同時(shí)目標(biāo)行人間的檢測(cè)框會(huì)相互抑制，導(dǎo)致目標(biāo)行人的后處理閾值敏感[7]；非目標(biāo)物體對(duì)行人的遮擋則是車輛、路障等非檢測(cè)目標(biāo)會(huì)對(duì)行人產(chǎn)生遮擋現(xiàn)象，使得人體部分特征損失從而產(chǎn)生漏檢現(xiàn)象[8]。而行人尺度不一的問題則是人體的外觀差異較大，且同一個(gè)場(chǎng)景下的行人可能會(huì)呈現(xiàn)出站立、行走、騎車等不同的姿態(tài)[9]，同時(shí)一張圖像中，近視角與遠(yuǎn)視角行人的大小差異也較大，這些都給行人檢測(cè)帶來了巨大挑戰(zhàn)。針對(duì)行人遮擋問題，Zhang 等[10]提出OR-CNN算法，通過對(duì)Faster R-CNN 算法損失函數(shù)的改進(jìn)以及對(duì)目標(biāo)候選框的二次分類操作，提高了遮擋行人的檢測(cè)效果；Pang 等[11]則提出mask-guided attention network（MGAN）算法，從引導(dǎo)注意力機(jī)制的角度提高了遮擋行人的檢測(cè)效果。針對(duì)行人小尺度的問題，Liu 等[12]提出ALFNet 算法，用多段漸進(jìn)的定位思想改善了多尺度行人的檢測(cè)效果；同時(shí)Liu 等[13]又提出無錨點(diǎn)檢測(cè)網(wǎng)絡(luò)center and scale prediction（CSP），將行人檢測(cè)問題轉(zhuǎn)換成了高級(jí)語義特征檢測(cè)，其主要思想是先對(duì)輸入圖像進(jìn)行中心點(diǎn)熱力圖預(yù)測(cè)和目標(biāo)尺寸預(yù)測(cè)，然后提取兩者的坐標(biāo)信息并將其映射為目標(biāo)檢測(cè)框，在一定程度上提高了小尺度行人的檢測(cè)效果。

CSP 網(wǎng)絡(luò)與CornerNet[14]、CenterNet[15]等網(wǎng)絡(luò)同屬于近年來熱門的無錨點(diǎn)目標(biāo)檢測(cè)算法，利用特征圖信息來進(jìn)行相應(yīng)的分類以及位置回歸。相比于傳統(tǒng)的基于錨點(diǎn)框架的行人檢測(cè)算法，CSP 算法對(duì)不同的數(shù)據(jù)集都具有較強(qiáng)的魯棒性[13]，對(duì)小尺度的行人目標(biāo)也較少產(chǎn)生漏檢現(xiàn)象，但同時(shí)該算法對(duì)遮擋下的行人沒有針對(duì)性的設(shè)計(jì)。因此，本文通過在CSP 網(wǎng)絡(luò)的特征提取模塊與檢測(cè)頭模塊中加入CBAM[16]，用以強(qiáng)調(diào)目標(biāo)區(qū)域的特征圖，并在檢測(cè)頭模塊后添加基于分?jǐn)?shù)融合機(jī)制的分類器模塊，提出AS-CSP 行人檢測(cè)網(wǎng)絡(luò)，進(jìn)一步解決小尺度行人和遮擋行人的檢測(cè)問題。本文首先介紹AS-CSP 網(wǎng)絡(luò)的總體結(jié)構(gòu)，而后詳細(xì)介紹CBAM 模塊以及分類器模塊，最后通過實(shí)驗(yàn)對(duì)AS-CSP 算法的各個(gè)模塊進(jìn)行定量和定性分析。

1 行人檢測(cè)網(wǎng)絡(luò)

本文加深了CSP 行人檢測(cè)網(wǎng)絡(luò)的特征提取骨干網(wǎng)絡(luò)，同時(shí)引入卷積塊注意力模塊CBAM 來增強(qiáng)小尺度行人中心點(diǎn)的特征表達(dá)；針對(duì)行人類內(nèi)遮擋的問題添加了基于分?jǐn)?shù)融合機(jī)制的分類器模塊，最終得到一種能提高通用行人、小尺度行人以及遮擋行人檢測(cè)效果的行人檢測(cè)算法AS-CSP。

1.1 行人檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的行人檢測(cè)算法AS-CSP 整體結(jié)構(gòu)如圖1 所示。輸入的待檢測(cè)圖像X進(jìn)入特征提取模塊，由基于ResNet-101 的特征提取網(wǎng)絡(luò)進(jìn)行L2 歸一化和反卷積后，融合出相應(yīng)尺寸的特征圖F1，從而將不同分辨率的特征映射連接成一個(gè)，F(xiàn)1經(jīng)過CBAM 被重新定義，定義后的新特征圖將增加其中小尺度行人的特征表達(dá)，新特征圖進(jìn)入檢測(cè)頭模塊，由預(yù)測(cè)的中心熱力圖和尺寸圖得到初步的檢測(cè)結(jié)果后，經(jīng)過基于分?jǐn)?shù)融合公式的分類器模塊得到最終的行人檢測(cè)結(jié)果。

圖1 本文提出的行人檢測(cè)整體流程

1.2 注意力機(jī)制模塊

為了進(jìn)一步解決小尺度行人漏檢、錯(cuò)檢的問題，本文從特征圖入手，希望能夠得到更多的高層語義信息來進(jìn)行后續(xù)模塊的設(shè)計(jì)。本文的改進(jìn)思路是將CSP 采用的主干網(wǎng)絡(luò)由ResNet-50 加深為ResNet-101。特征骨干網(wǎng)絡(luò)的加深使得更改后的網(wǎng)絡(luò)結(jié)構(gòu)可以提取到更多的高級(jí)語義特征，從而增加對(duì)細(xì)節(jié)的關(guān)注。同時(shí)，圖像中遠(yuǎn)視角下的行人尺度較小，而卷積塊注意力模塊CBAM 是一種強(qiáng)調(diào)目標(biāo)區(qū)域并且能降低背景部分值的特征圖重建機(jī)制，通過增強(qiáng)行人尤其是遠(yuǎn)視角小尺度行人中心點(diǎn)特征的表達(dá)，使得改進(jìn)后的行人檢測(cè)網(wǎng)絡(luò)更關(guān)注行人的中心點(diǎn)特征并抑制其他不重要特征。因此，本文將該模塊加入到CSP 的主干網(wǎng)絡(luò)的特征提取模塊和檢測(cè)頭模塊之間，為特征提取模塊輸出的特征圖創(chuàng)建一個(gè)特征映射，該特征映射可以賦予中心點(diǎn)更高的權(quán)重。本算法中卷積塊注意力模塊的嵌入位置為ResNet-101 第一層卷積和最后一層卷積的殘差模塊中，因?yàn)檫@樣可以不用改變ResNet-101 中間的網(wǎng)絡(luò)結(jié)構(gòu)，在之后的訓(xùn)練中也可以繼續(xù)使用原有的預(yù)訓(xùn)練參數(shù)。添加后的新殘差模塊如圖2 所示，其中藍(lán)色部分為CBAM的內(nèi)部結(jié)構(gòu)以及添加位置。

圖2 添加CBAM 后的ResNet 殘差模塊

CBAM 可分為通道注意力模塊和空間注意力模塊，其中通道注意力模塊主要對(duì)輸入特征圖中的種類進(jìn)行關(guān)注，空間注意力模塊則更偏向于關(guān)注輸入特征圖的位置信息，CBAM 將從這2 個(gè)模塊分別計(jì)算注意力特征圖，2 個(gè)模塊的計(jì)算公式如式（1）和式（2）所示。

1.3 分類器模塊

行人檢測(cè)領(lǐng)域中的另一大難點(diǎn)就是遮擋行人的漏檢現(xiàn)象。遮擋就是背景或其他行人會(huì)對(duì)待檢測(cè)行人的某些部位進(jìn)行掩蓋，使得檢測(cè)器無法將其判定為常規(guī)意義的行人，從而產(chǎn)生漏檢、誤檢現(xiàn)象。這一問題的實(shí)質(zhì)是行人檢測(cè)時(shí)，檢測(cè)框?qū)τ谛腥说闹眯哦炔粔蚋咭约皩?duì)背景的置信度不夠低，引起的檢測(cè)頭模塊對(duì)行人和背景的區(qū)分度不夠高。因此本文在上一節(jié)得到網(wǎng)絡(luò)模型中添加基于分?jǐn)?shù)融合機(jī)制（score fusion, SF）的分類器模塊，將原網(wǎng)絡(luò)初步分類回歸產(chǎn)生的較為精確的行人檢測(cè)框作為候選框進(jìn)行二次分類，并利用分?jǐn)?shù)融合公式對(duì)檢測(cè)分?jǐn)?shù)進(jìn)行更新，得到AS-CSP 算法網(wǎng)絡(luò)，從而可以在一定程度上解決目前存在的遮擋行人漏檢問題以及行人置信度不精確問題。

分類器模塊的主要網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，其中A-CSP 為添加了卷積塊注意力機(jī)制的CSP 算法。該模塊借鑒了Faster R-CNN 網(wǎng)絡(luò)的分類層[17]，在該模塊中，將AS-CSP 網(wǎng)絡(luò)中經(jīng)由特征提取模塊和卷積注意力機(jī)制模塊重新定義的特征圖作為輸入，經(jīng)過一個(gè)3×3×256 的卷積層形成新的特征圖，接著再將由AS-CSP 網(wǎng)絡(luò)生成的行人檢測(cè)框與新的特征圖一起作為輸入，連接一個(gè)1 通道的1×1 卷積網(wǎng)絡(luò)進(jìn)行二次分類，而后再通過分?jǐn)?shù)融合公式對(duì)行人置信度進(jìn)行更改，最后保留一定閾值以上的行人檢測(cè)框，即可得到最終的檢測(cè)結(jié)果。其中對(duì)行人檢測(cè)的二次分類可視作為一個(gè)簡(jiǎn)單的二分類問題，并且將上一步中含行人檢測(cè)框的標(biāo)簽設(shè)為1，不含行人檢測(cè)框的標(biāo)簽則設(shè)為0，之后可以忽略掉不含行人的檢測(cè)框并得到含行人檢測(cè)框的新的行人置信度分?jǐn)?shù)。而分?jǐn)?shù)融合機(jī)制的流程如圖4 所示。

圖3 分類器模塊結(jié)構(gòu)圖

圖4 分?jǐn)?shù)融合機(jī)制的流程

分?jǐn)?shù)融合機(jī)制則是對(duì)行人的置信度分?jǐn)?shù)進(jìn)行更新，即利用AS-CSP 網(wǎng)絡(luò)中檢測(cè)頭模塊和分類器模塊得到的分?jǐn)?shù)來達(dá)到提高行人置信度分?jǐn)?shù)、降低背景置信度分?jǐn)?shù)的目的。SF 的具體規(guī)則為：當(dāng)分類器模塊以高于某一閾值的值將目標(biāo)判定為行人時(shí)，適當(dāng)提高其檢測(cè)分?jǐn)?shù)；反之當(dāng)分類器模塊以低于某一閾值的值將目標(biāo)判定為背景時(shí)，則相應(yīng)地降低其檢測(cè)分?jǐn)?shù)；其他情況下，置信度分?jǐn)?shù)則為兩者的均值。分?jǐn)?shù)融合計(jì)算公式為

2 實(shí)驗(yàn)

2.1 行人檢測(cè)數(shù)據(jù)集

本文采用的數(shù)據(jù)集是CityPersons 數(shù)據(jù)集，該數(shù)據(jù)集是目前流行的行人檢測(cè)數(shù)據(jù)集，是城市街景數(shù)據(jù)集CityScapes 的一個(gè)子集，它有行人框、可見行人框和語義分割圖三種標(biāo)注標(biāo)簽，且部分圖片中有很多相互遮擋的行人，相比其他數(shù)據(jù)集更加具有多樣性。此外，CityPersons 數(shù)據(jù)集的Reasonable 測(cè)試子集可用于評(píng)估算法對(duì)通用行人檢測(cè)性能，人體可見比例在0.65 以上；而Heavy-Occlusion 測(cè)試子集則主要用于評(píng)估算法對(duì)遮擋行人的檢測(cè)效果，人體可見比例在0.2～0.65；同時(shí)還有特別標(biāo)注的Small 測(cè)試子集可用于評(píng)估算法對(duì)小尺度行人的檢測(cè)性能。

2.2 行人檢測(cè)對(duì)比實(shí)驗(yàn)

2.2.1 實(shí)驗(yàn)環(huán)境和設(shè)置

本文的整體環(huán)境配置參數(shù)如下：操作系統(tǒng)，Ubuntu 18.04；顯卡，NVIDIA GTX 2080；內(nèi)存，16 GB；CPU，I7-8700K；框架，PyTorch。其中實(shí)驗(yàn)在基于深度學(xué)習(xí)框架PyTorch 中實(shí)現(xiàn)，PyTorch 也是深度學(xué)習(xí)模型常用的研發(fā)框架。同時(shí)模型訓(xùn)練時(shí)的輸入圖片分辨率大小為640 ×1 280，并選用Adam 算法作為模型的優(yōu)化算法。在測(cè)試中，只將最終置信度大于0.5 的檢測(cè)框識(shí)別為有效行人目標(biāo)。

2.2.2 行人檢測(cè)評(píng)價(jià)指標(biāo)

式中：NTP、NFN分別表示實(shí)際類別和預(yù)測(cè)類別都為正類的樣本數(shù)、實(shí)際類別為正類預(yù)測(cè)類別為負(fù)類的樣本數(shù)。

式中k=1,2，…，8。

2.2.3 小尺度行人對(duì)比實(shí)驗(yàn)

為了評(píng)估本文提出的算法在小尺度行人檢測(cè)上的性能，同時(shí)為了證明卷積注意力機(jī)制模塊設(shè)置的合理性，本文設(shè)置了小尺度行人的對(duì)比實(shí)驗(yàn)。該實(shí)驗(yàn)選用的數(shù)據(jù)集是CityPersons 數(shù)據(jù)集的驗(yàn)證子集，同時(shí)在CityPersons-Reasonable 上驗(yàn)證通用行人的檢測(cè)性能，在CityPersons-Small 上驗(yàn)證小尺度行人的檢測(cè)性能，并使用對(duì)數(shù)平均漏檢率以及 MR-FPPI曲線作為算法的評(píng)價(jià)指標(biāo)。

同時(shí)為了充分檢驗(yàn)算法的性能，本次實(shí)驗(yàn)選用了在小尺度行人上有優(yōu)異檢測(cè)效果的ALFNet[12]和CSP[13]算法作為對(duì)照算法，其中ALFNet、CSP 算法選用其原文文獻(xiàn)中的檢測(cè)結(jié)果，而本文提出的AS-CSP 算法則使用CityPersons 數(shù)據(jù)集的train 子集作為訓(xùn)練集重新進(jìn)行行人檢測(cè)的模型訓(xùn)練。該算法在訓(xùn)練中使用一個(gè)2080 顯卡來訓(xùn)練模型，且模型的主干是在ImageNet 上預(yù)訓(xùn)練的ResNet-101，并使用了Adma 來優(yōu)化模型。其中輸入圖像的批數(shù)為8 張，學(xué)習(xí)率為 2×10-4，訓(xùn)練的輪次數(shù)設(shè)定為150 次，每輪迭代2 000 次。訓(xùn)練的損失函數(shù)（Loss）曲線如圖5 所示。

圖5 AS-CSP 算法訓(xùn)練時(shí)的Loss 曲線

而小尺度行人對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如表1 所示。由表1 可以看出，本文提出的A-CSP 算法在通用行人場(chǎng)景和小尺度行人場(chǎng)景下的檢測(cè)性能都略優(yōu)于CSP 算法以及其他常用行人檢測(cè)算法，因?yàn)榫矸e塊注意力模塊會(huì)在特征提取時(shí)使檢測(cè)器更加注重小尺度行人的特征，從而證明了該算法在小尺度行人檢測(cè)中的優(yōu)越性，也證明了卷積塊注意力模塊設(shè)置的合理性。圖6 為待檢測(cè)圖像在經(jīng)過AS-CSP 算法中CBAM 前后的特征圖。通過對(duì)比這2 張圖，我們可以看到圖6（a）還有一些背景的輪廓信息，圖6（b）則降低了部分背景的特征值而增加了行人中心特征點(diǎn)的表達(dá)。

表1 小尺度行人對(duì)比實(shí)驗(yàn) %

圖6 特征圖

同時(shí)，圖7 和圖8 分別為CSP 算法與ASCSP 算法對(duì)同一圖片的小尺度行人的可視化檢測(cè)結(jié)果。由可視化檢測(cè)結(jié)果可知，本文提出的ASCSP 算法在小尺度行人的檢測(cè)性能上優(yōu)于原CSP 算法，部分遠(yuǎn)視角的小尺度行人能被ASCSP 算法檢測(cè)出來，這得益于卷積塊注意力機(jī)制模塊對(duì)小尺度行人特征表達(dá)的提升。

圖7 CSP 算法對(duì)小尺度行人的檢測(cè)效果

圖8 AS-CSP 算法對(duì)小尺度行人的檢測(cè)效果

2.2.4 遮擋行人對(duì)比實(shí)驗(yàn)

為進(jìn)一步探究AS-CSP 算法在遮擋行人場(chǎng)景下的檢測(cè)性能，同時(shí)為了證明分類器模塊設(shè)置的合理性，本文設(shè)置了遮擋行人的對(duì)比實(shí)驗(yàn)。本次實(shí)驗(yàn)同樣選用CityPersons 數(shù)據(jù)集的驗(yàn)證子集作為測(cè)試集，但與小尺度行人對(duì)比實(shí)驗(yàn)不同的是，本次實(shí)驗(yàn)在CityPersons-Reasonable 上評(píng)估通用行人的檢測(cè)性能，在CityPersons-Heavy-Occlusion 上評(píng)估遮擋行人的檢測(cè)性能，且同樣使用對(duì)數(shù)平均漏檢率以及MR-FPPI 曲線作為算法的評(píng)價(jià)指標(biāo)。不同于小尺度行人的對(duì)照組，本次實(shí)驗(yàn)選用了在遮擋行人上有優(yōu)異表現(xiàn)的OR-CNN[10]、MGAN[11]等算法作為AS-CSP 算法在遮擋行人上的對(duì)照算法，用以評(píng)估AS-CSP 算法在遮擋行人上的檢測(cè)性能，其中AS-CSP 算法的模型設(shè)置與2.2.3 節(jié)中設(shè)置一致，其他算法的檢測(cè)結(jié)果則同樣選用其原文文獻(xiàn)中的結(jié)果。此外，在AS-CSP 算法的分類器模塊中，行人閾值TH、 背景閾值TG分別設(shè)為0.5 分、0.1 分。遮擋行人的對(duì)比實(shí)驗(yàn)結(jié)果如表2 所示。

表2 遮擋行人對(duì)比實(shí)驗(yàn) %

由表2 可以看出本：文提出的AS-CSP 算法在通用行人場(chǎng)景和遮擋行人場(chǎng)景下的檢測(cè)性能都略優(yōu)于原CSP 算法；同時(shí)也優(yōu)于其他遮擋行人檢測(cè)算法，證明了分類器模塊設(shè)置的合理性以及ASCSP 算法在遮擋行人場(chǎng)景下的有效性。

而圖9 為在普通行人和遮擋行人的情況下，AS-CSP 算法的各個(gè)模塊進(jìn)行檢測(cè)時(shí)的置信度分?jǐn)?shù)效果圖。

圖9 各模塊置信度分?jǐn)?shù)效果

由圖9 可以看出AS-CSP 算法中分?jǐn)?shù)融合公式的有效性，該公式可以提高行人尤其是遮擋行人的置信度分?jǐn)?shù)，且最終的置信度分?jǐn)?shù)又由2 個(gè)分類器進(jìn)行綜合判定，從而可以進(jìn)一步提高檢測(cè)器的行人檢測(cè)性能。

2.2.5 AS-CSP 算法性能分析

AS-CSP 算法的網(wǎng)絡(luò)層數(shù)相比CSP 算法有所增加，因此本文使用CityPersons 的測(cè)試集進(jìn)行2 種算法的檢測(cè)速度對(duì)比實(shí)驗(yàn)。該測(cè)試集有500 張圖片。實(shí)驗(yàn)結(jié)果表明CSP 算法在對(duì)測(cè)試集進(jìn)行檢測(cè)時(shí)共需156 s，而本文提出的AS-CSP 需要173 s，檢測(cè)時(shí)間略微增加，但平均一張圖片的檢測(cè)時(shí)間為0.35 s，仍然符合行人檢測(cè)實(shí)時(shí)性的要求。而圖10 和圖11 分別為CSP 算法、AS-CSP 算法對(duì)該測(cè)試集部分圖像的可視化檢測(cè)結(jié)果。

圖10 CSP 算法可視化檢測(cè)結(jié)果

由上述可視化檢測(cè)結(jié)果可以看出，CSP 算法對(duì)遠(yuǎn)距離小尺度行人的檢測(cè)效果不好，同時(shí)在對(duì)重疊的行人檢測(cè)時(shí)通常只能檢測(cè)出一名行人；而改進(jìn)后的AS-CSP 則能通過注意力機(jī)制模塊解決遠(yuǎn)距離小尺度行人的漏檢問題，且可以通過分類器模塊對(duì)重疊行人進(jìn)行分離而檢測(cè)出多個(gè)行人，在遮擋行人和小尺度行人的檢測(cè)效果上都優(yōu)于CSP 算法。但本算法也存在著一定缺點(diǎn)，比如檢測(cè)時(shí)行人的寬高比被固定設(shè)為0.41，這就導(dǎo)致了有些檢測(cè)框無法將行人全身包括進(jìn)去，如圖11（c）最右邊的行人所示。而能隨行人特征而變化的行人寬高比也是未來值得研究的一個(gè)方向。

3 結(jié)論

本文針對(duì)行人的具體特征，對(duì)CSP 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了修改，加深了其特征提取骨干網(wǎng)絡(luò)，并引入了卷積塊注意力模塊和分類器模塊，從注意力機(jī)制和分?jǐn)?shù)融合的角度提高了CSP 網(wǎng)絡(luò)對(duì)小尺度行人以及遮擋行人的檢測(cè)效果，最終得到的ASCSP 算法對(duì)通用場(chǎng)景、小尺度場(chǎng)景以及遮擋場(chǎng)景下的行人都能進(jìn)行有效的檢測(cè)，有利于實(shí)際的應(yīng)用。但同時(shí)該算法在行人寬高比的設(shè)定上仍有著研究和改動(dòng)的空間，這也是未來所要探索的一個(gè)方向。