陳 勇 謝文陽(yáng) 劉煥淋 汪 波 黃美永

①(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

②(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

1 引言

行人檢測(cè)與行人重識(shí)別技術(shù)、目標(biāo)跟蹤技術(shù)等相結(jié)合在自動(dòng)駕駛、視頻監(jiān)控等領(lǐng)域中有廣泛的應(yīng)用[1–4]。然而實(shí)際檢測(cè)中行人容易產(chǎn)生遮擋、重疊等問(wèn)題，并且行人距離的遠(yuǎn)近會(huì)導(dǎo)致行人尺度產(chǎn)生較大變化，這些問(wèn)題嚴(yán)重影響了行人檢測(cè)的準(zhǔn)確率[5]。

目前卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于行人檢測(cè)，其中以Faster R-CNN[6]為代表的兩階段檢測(cè)器和以RetinaNet[7]為代表的單階段檢測(cè)器取得了較好的效果。李春偉等人[8]采用多個(gè)卷積層的輸出進(jìn)行檢測(cè)從而降低尺度造成的影響；Lin等人[9]提出特征金字塔的概念并構(gòu)建了FPN (Feature Pyramid Network)，該方法逐漸成為解決尺度變化問(wèn)題的主要手段[10,11]。針對(duì)行人檢測(cè)中的遮擋問(wèn)題，Zhang等人[12]提出聚合損失函數(shù)使候選框靠近真實(shí)邊界框以此降低類內(nèi)遮擋造成的影響；Du等人[13]通過(guò)在網(wǎng)絡(luò)中添加額外的行人特征掩模減少背景像素的干擾；Fei等人[14]通過(guò)引入更豐富的上下文信息減少遮擋造成的干擾；Liu等人[15]考慮行人的標(biāo)注方式，使用預(yù)測(cè)目標(biāo)中心點(diǎn)及尺度的方式有效提升了檢測(cè)準(zhǔn)確性，同時(shí)該方法可有效減少類內(nèi)遮擋造成的漏檢。Liu等人[16]通過(guò)添加密集程度檢測(cè)模塊為非極大值抑制提供更合理的篩選條件，有效提升了密集場(chǎng)景下行人檢測(cè)的準(zhǔn)確性。綜上所述，上述方法從多個(gè)角度入手解決目標(biāo)遮擋與尺度過(guò)小造成的檢測(cè)準(zhǔn)確性降低的問(wèn)題，但卻忽視了一個(gè)重要的方面，即行人的頭部往往不易產(chǎn)生類內(nèi)遮擋，即使軀干部分由于部分遮擋而無(wú)法被檢測(cè)，但此時(shí)行人的頭部特征依然明顯，而該信息對(duì)于行人而言尤為重要，如Xu等人[17]便利用頭部信息提升行人跟蹤的準(zhǔn)確性。此外，大多數(shù)方法僅使用主干網(wǎng)絡(luò)最后3層卷積層的輸出進(jìn)行特征融合，而小尺度目標(biāo)往往在卷積層的較淺層擁有較高激活程度。

針對(duì)以上問(wèn)題，本文構(gòu)建了一種結(jié)合頭部和整體信息的行人檢測(cè)模型。受文獻(xiàn)[18]的啟發(fā)在行人檢測(cè)的基礎(chǔ)上添加行人頭部檢測(cè)分支，并利用CrowdHuman[19]數(shù)據(jù)集自帶的行人頭部標(biāo)簽對(duì)模型進(jìn)行訓(xùn)練；考慮到使用矩形邊界框標(biāo)注行人會(huì)引入大量背景像素，因此本文參照文獻(xiàn)[15]采用中心點(diǎn)對(duì)行人頭部和整體進(jìn)行標(biāo)注；兩個(gè)檢測(cè)分支采用不同深度卷積層的輸出進(jìn)行特征融合，從而提供有針對(duì)性的特征信息；同時(shí)，本文對(duì)非極大值抑制算法進(jìn)行改進(jìn)，通過(guò)添加行人頭部的相關(guān)判斷條件，使行人頭部信息和行人整體信息能較好的結(jié)合。

2 算法原理設(shè)計(jì)

圖1為本文提出的網(wǎng)絡(luò)模型結(jié)構(gòu)，該模型由特征提取模塊及檢測(cè)模塊組成。特征提取模塊除主干網(wǎng)絡(luò)外還包含5層結(jié)構(gòu)的特征金字塔。對(duì)于行人頭部和整體，使用該特征金字塔的不同子結(jié)構(gòu)并融合輸出的特征；檢測(cè)模塊包含頭部檢測(cè)和整體檢測(cè)兩個(gè)分支，以此為基礎(chǔ)本文設(shè)計(jì)了一種融合策略，通過(guò)對(duì)非極大值抑制算法進(jìn)行改進(jìn)使其能較好地融合兩個(gè)檢測(cè)分支輸出的檢測(cè)結(jié)果。

圖1 模型總體結(jié)構(gòu)

2.1 特征提取模塊

特征提取模塊的主干網(wǎng)絡(luò)采用ResNet50[20]，隨著網(wǎng)絡(luò)層數(shù)加深輸出特征圖的分辨率逐層縮小為上一層的1/2。目前大多數(shù)方法僅使用主干網(wǎng)絡(luò)最后3層的輸出構(gòu)建特征金字塔，這種做法將導(dǎo)致大量小尺度目標(biāo)信息丟失，對(duì)此本文構(gòu)建了具有5層結(jié)構(gòu)的特征金字塔。同時(shí)使用該特征金字塔不同子結(jié)構(gòu)的輸出進(jìn)行特征融合，從而為行人頭部和整體提供有針對(duì)性的特征信息。

圖2為本文設(shè)計(jì)的特征提取模塊結(jié)構(gòu)。原始輸入圖片的大小為H×W，下采樣率為l且逐層翻倍，主干網(wǎng)絡(luò)輸出的特征圖記為f2-f5，對(duì)這4張?zhí)卣鲌D使用1×1的卷積運(yùn)算得到特征圖F1-F4，對(duì)F4使用相同的卷積運(yùn)算得到特征圖F5。其中，特征圖F1的通道數(shù)為256，后續(xù)特征圖的通道數(shù)逐層翻倍，但保持特征圖F4和F5的通道數(shù)同為2048，最終形成具有5層結(jié)構(gòu)的特征金字塔。頭部檢測(cè)分支使用特征圖F1-F3，對(duì)F2和F3進(jìn)行上采樣使其大小與F1一致，融合這3張?zhí)卣鲌D從而得到用于頭部檢測(cè)的特征圖Fhead；整體檢測(cè)分支使用特征圖F3-F5，之后采取的操作與上述類似，但在融合之前采用文獻(xiàn)[21]提出的方法對(duì)特征圖進(jìn)行歸一化，最后得到用于行人整體檢測(cè)的特征圖Fbody。

圖2 特征提取模塊結(jié)構(gòu)

2.2 行人檢測(cè)模塊

對(duì)于由信息主導(dǎo)的深度學(xué)習(xí)方法而言，引入更豐富的信息能有效提升檢測(cè)準(zhǔn)確性。文獻(xiàn)[18]在行人矩形邊界框中劃定一部分區(qū)域，將其視作行人頭部區(qū)域并嘗試?yán)眠@部分信息，但因無(wú)法進(jìn)行準(zhǔn)確標(biāo)注而只能大概確定頭部位置，導(dǎo)致頭部信息無(wú)法得到有效利用，但這依然為我們提供了新的思路。CrowdHuman[19]是針對(duì)密集場(chǎng)景的行人檢測(cè)數(shù)據(jù)集，它不僅包含行人整體邊界框，還包含對(duì)應(yīng)的行人頭部邊界框。為有效利用該數(shù)據(jù)集中的行人頭部標(biāo)簽信息，本文在行人檢測(cè)的基礎(chǔ)上添加行人頭部檢測(cè)并構(gòu)建如圖3所示的檢測(cè)模型。

圖3 檢測(cè)模塊結(jié)構(gòu)

對(duì)于特征提取模塊輸出的行人整體特征圖Fbody，分別使用3個(gè)1×1的卷積計(jì)算得到3張?zhí)卣鲌D，對(duì)應(yīng)于行人中心Cbody、行人高度Hbody以及偏移量Obody。行人邊界框的寬度采用文獻(xiàn)[22]的生成方式，將高度乘以比例因子ε=0.41后得到；對(duì)于行人頭部特征圖Fhead，采用相同方式分別生成頭部中心Chead、高度Hhead以及偏移量Ohead，并設(shè)置比例因子ε=1得到頭部寬度。對(duì)于每一個(gè)可能存在目標(biāo)的位置，網(wǎng)絡(luò)輸出6 維的數(shù)組{xc,yc,?h,xo,yo,s}，其中(xc,yc)為目標(biāo)中心點(diǎn)位置，h?為預(yù)測(cè)目標(biāo)高度，(xo,yo)為中心點(diǎn)偏移量，s為置信度。

2.3 信息融合策略

測(cè)試階段只保留置信度＞0.1的邊界框，然后使用非極大值抑制對(duì)結(jié)果進(jìn)行篩選。對(duì)于每一個(gè)行人邊界框，判斷其頭部區(qū)域是否存在頭部邊界框，若存在則選取位于該區(qū)域中置信度最高的頭部邊界框與之配對(duì)，如果行人邊界框的得分較低但存在頭部邊界框，且頭部邊界框的置信度較高，則依然保留該行人整體邊界框。

2.4 損失函數(shù)設(shè)計(jì)

本文將中心點(diǎn)預(yù)測(cè)視作二分類任務(wù)并使用交叉熵?fù)p失作為損失函數(shù)。對(duì)位于(i,j)處的第k個(gè)行人，參考文獻(xiàn)[15]的方式，使用高斯函數(shù)G(·)分別生成行人頭部高斯掩模Mhead和行人整體高斯掩模Mbody

圖4 行人頭部區(qū)域

將特征圖中預(yù)測(cè)的中心點(diǎn)映射至原圖像時(shí)存在一定的位置偏差，該偏差對(duì)小尺度目標(biāo)的影響較大，因此本文添加偏移量預(yù)測(cè)修正該誤差，該部分使用Smooth L1作為損失函數(shù)，如式(6)所示

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)平臺(tái)

本文所提算法基于PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)，軟件版本為：PyTorch 1.5.0, CUDA 10.1,Python 3.6和Numpy 1.15.4；硬件平臺(tái)配置為：Intel Xeon E5 CPU、64 GB內(nèi)存和4張NVIDIA GTX1080Ti GPU。

3.2 數(shù)據(jù)集選擇

本文選用CrowdHuman[19]、CityPersons[22]及Caltech[23]數(shù)據(jù)集驗(yàn)證所提算法的有效性。CityPersons數(shù)據(jù)集包含德國(guó)18個(gè)城市、3種天氣狀況下行車采集的共5000張圖片，其中2975張用于訓(xùn)練，500張用于驗(yàn)證，1525張用于測(cè)試，這些圖片共包含約35000個(gè)行人，分辨率為2048×1024。Caltech數(shù)據(jù)集使用車載攝像頭拍攝了10 h左右的行車視頻，分辨率為640×480，共包含6個(gè)訓(xùn)練集(共42782幀)和5個(gè)測(cè)試集(共4024幀)，約有2300個(gè)行人并標(biāo)注了350000個(gè)邊界框。CrowdHuman是新發(fā)布的針對(duì)密集場(chǎng)景下人物實(shí)例檢測(cè)的數(shù)據(jù)集，共包含24370張圖片，其中訓(xùn)練集15000張，驗(yàn)證集4370張，測(cè)試集5000張，整個(gè)數(shù)據(jù)集共包含470個(gè)人物實(shí)例，平均單張圖片包含約23個(gè)人物實(shí)例。

3.3 評(píng)估標(biāo)準(zhǔn)

對(duì)于CrowdHuman數(shù)據(jù)集，采用平均準(zhǔn)確率(Average Precision, AP)、漏檢率(Miss Rate, MR)和召回率(Recall)作為評(píng)價(jià)指標(biāo)。其中，準(zhǔn)確率指正樣本被預(yù)測(cè)為正樣本的數(shù)目占所有被預(yù)測(cè)為正樣本的樣本數(shù)目的比例，該指標(biāo)也稱為查準(zhǔn)率，值越高說(shuō)明檢測(cè)性能越好；漏檢率指正樣本被預(yù)測(cè)為負(fù)樣本的數(shù)目與所有正樣本的比例，該指標(biāo)也是較為常用且能代表檢測(cè)性能的指標(biāo)，該數(shù)值越低說(shuō)明檢測(cè)性能越好；召回率指有多少的正樣本預(yù)測(cè)正確，即網(wǎng)絡(luò)檢測(cè)出正樣本的性能，該數(shù)值越高越好。對(duì)于CityPersons數(shù)據(jù)集以及Caltech數(shù)據(jù)集，采用官方評(píng)價(jià)標(biāo)準(zhǔn)對(duì)算法進(jìn)行評(píng)估，主要采用漏檢率指標(biāo)驗(yàn)證本文算法對(duì)不同遮擋程度以及不同尺度目標(biāo)的檢測(cè)有效性，同時(shí)也對(duì)算法的泛化性能以及運(yùn)行時(shí)間進(jìn)行評(píng)估。根據(jù)CityPersons數(shù)據(jù)集和Caltech數(shù)據(jù)集官方提供的劃分標(biāo)準(zhǔn)，這兩個(gè)數(shù)據(jù)集可劃分為多個(gè)子集，劃分標(biāo)準(zhǔn)為行人高度和行人被遮擋程度，如表1和表2所示。

表1 Caltech數(shù)據(jù)集中部分子集劃分標(biāo)準(zhǔn)

表2 CityPersons數(shù)據(jù)集中部分子集劃分標(biāo)準(zhǔn)

3.4 訓(xùn)練設(shè)置

本文模型使用CrowdHuman數(shù)據(jù)集進(jìn)行訓(xùn)練，并在全部3個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試。訓(xùn)練階段通過(guò)縮放、裁剪、填充和水平翻轉(zhuǎn)等方式對(duì)訓(xùn)練集圖片進(jìn)行處理，分辨率設(shè)置為1280×1280，每個(gè)訓(xùn)練批次大小為4張圖片，訓(xùn)練時(shí)使用全部的4張顯卡，即每次輸入16張圖片，迭代次數(shù)設(shè)置為150。模型訓(xùn)練使用Adam優(yōu)化器，初始學(xué)習(xí)率為2×10–4。

測(cè)試階段僅使用一張顯卡，對(duì)于CrowdHuman數(shù)據(jù)集，圖像分辨率與訓(xùn)練時(shí)保持一致，但僅使用縮放的方式對(duì)圖像進(jìn)行處理。對(duì)于CityPersons數(shù)據(jù)集和Caltech數(shù)據(jù)集，測(cè)試圖像分辨率分別設(shè)置為2048×1024和640×480。非極大值抑制閾值與頭部邊界框保留閾值均設(shè)置為0.5，置信度閾值設(shè)置為0.1。

3.5 實(shí)驗(yàn)設(shè)計(jì)

3.5.1 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文所提方法的有效性，本文選取了在CrowdHuman數(shù)據(jù)集上有較好表現(xiàn)且具有代表性的RetinaNet[7], FPN[9], Adaptive NMS[16]和JED[24]等4種對(duì)比算法進(jìn)行訓(xùn)練和測(cè)試。其中RetinaNet和FPN基于特征金字塔結(jié)構(gòu)能較好解決尺度變化的問(wèn)題，同時(shí)對(duì)困難樣本有較高的檢測(cè)準(zhǔn)確率；JED為聯(lián)合行人頭部檢測(cè)和整體檢測(cè)的方法，通過(guò)在兩階段檢測(cè)器Faster R-CNN的基礎(chǔ)上添加新模塊實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果如表3所示。

從表3可以看出，所提算法在CrowdHuman數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率為87.31%，漏檢率為50.16%，與對(duì)比算法相比有一定的提升。召回率為93.55%稍低于RetinaNet和Adaptive NMS，但本文算法的準(zhǔn)確率和漏檢率要優(yōu)于這兩種算法。對(duì)比較新的算法JED，本文算法在準(zhǔn)確率和漏檢率上分別提升約1.4%和2.5%，可見(jiàn)所提方法具有一定優(yōu)越性。

表3 CrowdHuman數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(%)

3.5.2 泛化性實(shí)驗(yàn)

為驗(yàn)證所提方法的泛化性能以及對(duì)不同遮擋程度和不同尺度目標(biāo)的檢測(cè)性能，本文在CityPersons數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)并依據(jù)官方標(biāo)準(zhǔn)劃分子集，采用漏檢率作為評(píng)價(jià)指標(biāo)。同時(shí)，按照目標(biāo)所占區(qū)域的大小，以像素面積322和962為界將CityPersons數(shù)據(jù)集劃分為Small, Medium和Large3個(gè)子集，分別驗(yàn)證算法對(duì)小尺度、中等尺度和大尺度行人的檢測(cè)性能。本文選取了8種對(duì)比算法，包含F(xiàn)aster R-CNN[6]等常用方法和ALFNet[25]等主流方法，以及較新的LBST[10]和CAFL[14]方法作為對(duì)比，實(shí)驗(yàn)結(jié)果如表4所示。

從表4可以看出本文算法在大部分子集上取得了較好的檢測(cè)效果，分別在Reasonable和Partial子集上實(shí)現(xiàn)了10.1%和9.8%的漏檢率，但在Bare子集和Heavy子集上，本文算法的漏檢率要略高于OR-CNN和CSP。分析發(fā)現(xiàn)對(duì)于Bare子集中的一些行人實(shí)例，由于存在行人頭部邊界框并且其置信度較高，從而導(dǎo)致冗余的行人整體邊界框被保留。而嚴(yán)重遮擋的行人幾乎無(wú)法檢測(cè)出頭部邊界框，從而使得本文所使用的頭部檢測(cè)分支無(wú)法較好地發(fā)揮作用，這可能是本文方法在這兩個(gè)子集上檢測(cè)效果不是最優(yōu)的原因。但注意到其性能并未出現(xiàn)大幅下降，相較于最優(yōu)結(jié)果只差了1%左右。同時(shí)算法對(duì)小尺度和中等尺度行人的漏檢率分別為14.3%和3.5%為最優(yōu)，表明本文算法對(duì)小尺度目標(biāo)有較好的檢測(cè)效果。為了進(jìn)一步驗(yàn)證所提方法的正確性，本文與CSP進(jìn)行對(duì)比并將檢測(cè)結(jié)果可視化，以驗(yàn)證添加頭部檢測(cè)對(duì)遮擋問(wèn)題的改善效果，如圖5所示。

表4 CityPersons數(shù)據(jù)集漏檢率(MR)的實(shí)驗(yàn)結(jié)果(%)

從圖5可以發(fā)現(xiàn)，與只使用行人整體中心點(diǎn)進(jìn)行檢測(cè)的CSP相比，本文方法對(duì)于遮擋行人的檢測(cè)效果有一定改善。如圖中身著黃色上衣的兒童和白色上衣的女士存在較為嚴(yán)重的遮擋。多次檢測(cè)實(shí)驗(yàn)中CSP方法約有一半的概率無(wú)法準(zhǔn)確檢測(cè)出這兩個(gè)目標(biāo)，而該情況下行人頭部較為分明，本文所提方法由于添加了頭部檢測(cè)因此能準(zhǔn)確檢測(cè)出此類行人。

圖5 檢測(cè)效果對(duì)比

3.5.3 運(yùn)行時(shí)間

為測(cè)試所提方法的運(yùn)行時(shí)間，在相同的實(shí)驗(yàn)條件下，本文在Caltech數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，并選取F-DNN[13], F-DNN+SS[13], Faster R-CNN+ATT[26]和MS-CNN[27]作為對(duì)比算法。依據(jù)Caltech數(shù)據(jù)集的官方劃分標(biāo)準(zhǔn)在各個(gè)子集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。

從表5可以看出，本文方法在大部分情況下取得了較好的檢測(cè)效果，對(duì)于Reasonable, Partial和Heavy子集分別取得了7.73%, 14.55%和48.31%的漏檢率，并在Reasonable和Partial子集上取得了最佳效果，在Heavy子集上的表現(xiàn)要稍低于文獻(xiàn)[26]所提出的方法，大致與MS-CNN一致，而后者為兩階段檢測(cè)器。由于本文方法在特征融合部分的上采樣使用了反卷積增加了計(jì)算時(shí)間，如果將其替換為雙線性插值，能將速度提升至約0.3 s/幀，但漏檢率會(huì)稍微增加。在降低漏檢率的同時(shí)縮短運(yùn)行時(shí)間，是下一步需要繼續(xù)開(kāi)展的工作。

表5 Caltech數(shù)據(jù)集漏檢率MR和速度的實(shí)驗(yàn)結(jié)果

為驗(yàn)證所提方法在視頻中的表現(xiàn)，本文選取連續(xù)的4幀視頻圖像作可視化處理，如圖6所示。邊界框上的數(shù)字表示其置信度且取值范圍為[0,1]，該值越高表示邊界框?yàn)樗柽吔缈虻母怕试酱蟆?/p>

從圖6可以看出，本文所提方法對(duì)連續(xù)視頻幀有較好的檢測(cè)效果。觀察圖6(a)即視頻幀1可以發(fā)現(xiàn)，雖然行人的尺寸較小且存在約30%的遮擋，但本文方法依然準(zhǔn)確檢測(cè)出其頭部和整體。而對(duì)于圖6(b)，行人上身衣服顏色與背景相似，這種情況容易產(chǎn)生漏檢，然而此時(shí)其頭部邊界框的置信度較高，因此該行人整體邊界框被保留下來(lái)。對(duì)于圖6(c)和圖6(d)，行人頭部特征近乎消失，但本文方法依靠整體檢測(cè)分支依然準(zhǔn)確地將其檢測(cè)出來(lái)，從而可見(jiàn)所提方法具有一定的有效性和穩(wěn)定性。

圖6 實(shí)際檢測(cè)效果

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種結(jié)合頭部和整體信息的行人檢測(cè)器框架，通過(guò)在行人檢測(cè)的基礎(chǔ)上添加頭部檢測(cè)分支并提供針對(duì)性的特征信息，對(duì)于所獲得的行人頭部邊界框，設(shè)定了行人頭部區(qū)域并利用該區(qū)域內(nèi)的頭部信息為非極大值抑制提供更合理的依據(jù)。多個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明本文算法具有一定的優(yōu)勢(shì)。下一步將著力設(shè)計(jì)更合理的匹配方式，將每個(gè)行人的頭部以及身體視為一對(duì)進(jìn)行檢測(cè)，以增強(qiáng)頭部和整體之間的聯(lián)系，從而實(shí)現(xiàn)單分支且有效的行人檢測(cè)。