莊淑青，張曉偉，曹 帥，宋明晨

1.青島大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東 青島 266071

2.海信研究發(fā)展中心虛擬現(xiàn)實(shí)部，山東 青島 266071

目前，行人檢測(cè)技術(shù)的發(fā)展勢(shì)頭強(qiáng)勁，對(duì)智能視頻監(jiān)控、智能交通和自動(dòng)駕駛等當(dāng)今流行的智能化領(lǐng)域產(chǎn)生了極其重要的影響[1]。行人檢測(cè)可以為智能化領(lǐng)域的發(fā)展提供安全保障，是交通安全系統(tǒng)中的核心技術(shù)之一。而遮擋是影響行人檢測(cè)準(zhǔn)確率的主要因素之一，有效解決遮擋問(wèn)題，具有重要的研究意義和實(shí)際應(yīng)用價(jià)值。

傳統(tǒng)的行人檢測(cè)[2-3]首先通過(guò)手工設(shè)計(jì)特征來(lái)提取數(shù)據(jù)的某些重要特征，再將特征數(shù)據(jù)進(jìn)行分類，這樣會(huì)存在誤差較大的風(fēng)險(xiǎn)。同時(shí)由于其提取的特征等級(jí)相對(duì)較低，也無(wú)法準(zhǔn)確描述行人的語(yǔ)義信息。當(dāng)行人之間存在遮擋時(shí)，行人檢測(cè)效果不理想。隨著深度學(xué)習(xí)[4]概念的提出，基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)也獲得了更進(jìn)一步的發(fā)展。但是，面對(duì)行人復(fù)雜的遮擋情況，仍會(huì)出現(xiàn)較多的漏檢情況，行人檢測(cè)的準(zhǔn)確率依然不高。因此，許多用來(lái)應(yīng)對(duì)行人檢測(cè)中遮擋問(wèn)題的算法解決方案被不斷提出。針對(duì)行人檢測(cè)中的遮擋問(wèn)題，文獻(xiàn)[5]從注意力機(jī)制的角度，探索了身體部位與通道特征之間是否存在相關(guān)聯(lián)系，并證實(shí)了這一點(diǎn)。其在網(wǎng)絡(luò)中通過(guò)添加處理遮擋的引導(dǎo)注意力網(wǎng)絡(luò)，明顯提升了網(wǎng)絡(luò)對(duì)于遮擋行人的檢測(cè)效果。文獻(xiàn)[6]提出了基于遮擋情況下的感知算法，其將整個(gè)人體劃分為5 個(gè)區(qū)域，根據(jù)遮擋程度對(duì)每個(gè)區(qū)域分別預(yù)測(cè)遮擋率，最終的候選區(qū)域特征由每個(gè)區(qū)域遮擋率和對(duì)應(yīng)的特征區(qū)域相乘再相加得到。文獻(xiàn)[7]針對(duì)行人與行人之間的遮擋問(wèn)題，提出了一種新的損失函數(shù)，目的是讓預(yù)測(cè)框在不斷靠近目標(biāo)標(biāo)注框的同時(shí)排斥其他的標(biāo)注框。文獻(xiàn)[8]對(duì)于重疊框，引入權(quán)值函數(shù)，堆疊區(qū)域越多，算法置信度結(jié)果降低越嚴(yán)重。文獻(xiàn)[9]創(chuàng)新性提出tube feature aggregation network這一新方法，對(duì)于被遮擋的行人，考慮從相鄰幀中去尋找比較少遮擋或未被遮擋的目標(biāo)，從而對(duì)被遮擋的行人起到輔助檢測(cè)的作用。文獻(xiàn)[10]提出了一種anchor-free的多視角行人檢測(cè)算法，通過(guò)多視圖融合和空間聚集來(lái)解決行人之間的遮擋問(wèn)題。文獻(xiàn)[11]為了共享多尺度特征信息，通過(guò)多個(gè)卷積層級(jí)聯(lián)和密集連接，目的是能夠利用上下文信息來(lái)解決遮擋問(wèn)題。受上述文獻(xiàn)的啟發(fā)，本文分別從注意力機(jī)制和人體的特定部位角度處理行人的遮擋問(wèn)題。

相較于其他行人檢測(cè)模型，R-FCN（region-based，fully convolutional networks）[12]網(wǎng)絡(luò)模型是一個(gè)檢測(cè)性能更優(yōu)的模型，該模型于Faster R-CNN[13]的基礎(chǔ)上通過(guò)算法調(diào)優(yōu)及模型改造得出，在檢測(cè)精度與檢測(cè)速度上均取得了不錯(cuò)的表現(xiàn)，擁有大的提升。但它同時(shí)也有一定的局限性：在遮擋情況下，依舊無(wú)法很好地解決行人檢測(cè)的算法執(zhí)行準(zhǔn)確度。因此，為提高圖片中人體在存在遮擋情況時(shí)的算法檢測(cè)能力與識(shí)別效果，本文在基于Resnet50+DCN[14]特征提取網(wǎng)絡(luò)的R-FCN模型上加入與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模塊，提升模型對(duì)遮擋區(qū)域的特征學(xué)習(xí)。同時(shí)，受文獻(xiàn)[15]啟發(fā)，本文針對(duì)行人的遮擋問(wèn)題，基于R-FCN 網(wǎng)絡(luò)模型設(shè)計(jì)了行人整體與行人頭肩區(qū)域的級(jí)聯(lián)檢測(cè)器，其中行人頭肩區(qū)域檢測(cè)與行人整體檢測(cè)時(shí)共享檢測(cè)頭部特征，然后通過(guò)本文設(shè)計(jì)的行人整體與行人頭肩區(qū)域匹配算法，級(jí)聯(lián)兩個(gè)分支的檢測(cè)結(jié)果，從而確定出遮擋行人的空間位置，可以在一定程度上避免由于圖片中行人的下半身遮擋帶來(lái)的行人漏檢問(wèn)題。總體而言，本文的主要貢獻(xiàn)及創(chuàng)新可以概括為以下三點(diǎn)：

（1）在行人檢測(cè)器的行人識(shí)別階段，針對(duì)分類任務(wù)和回歸任務(wù)分別使用相契合的注意力機(jī)制，增強(qiáng)特征的表達(dá)能力，來(lái)優(yōu)化對(duì)行人進(jìn)行候選區(qū)域標(biāo)定的準(zhǔn)確率，減少遮擋行人的漏檢率。

（2）設(shè)計(jì)行人整體與行人頭肩區(qū)域級(jí)聯(lián)檢測(cè)器，在行人檢測(cè)模型的基礎(chǔ)上加入行人頭肩區(qū)域檢測(cè)分支，對(duì)于未檢測(cè)到的行人，通過(guò)檢測(cè)其頭肩區(qū)域，然后根據(jù)行人固有的身體結(jié)構(gòu)比例，生成行人整體包圍框，從而提升行人之間相互遮擋的檢測(cè)效果。

（3）在Caltech 和ETH 數(shù)據(jù)集上取得了較好的行人檢測(cè)效果，尤其對(duì)行人之間存在遮擋情況時(shí)，檢測(cè)效果有明顯提升。

1 基于DCN的R-FCN行人檢測(cè)模型

本文使用的是全卷積的R-FCN 網(wǎng)絡(luò)模型，相比于其他網(wǎng)絡(luò)模型，其創(chuàng)新性地添加了位置敏感得分圖，并將其置于已訓(xùn)練好的卷積層（即共享卷積層）的最后一個(gè)卷積層之后，對(duì)提升模型性能起到了至關(guān)重要的作用。該部分整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，對(duì)于行人檢測(cè)中行人這一類別，每一個(gè)得分圖用來(lái)表示人體的某部位出現(xiàn)在得分圖某處的概率，在某部位出現(xiàn)的概率越大，此處就有較高的響應(yīng)值。通過(guò)基于位置敏感的RoⅠpooling（position-sensitive RoⅠpooling），RoⅠ與得分圖可構(gòu)成一一對(duì)應(yīng)的強(qiáng)關(guān)聯(lián)關(guān)系。最終，整個(gè)模型通過(guò)softmax函數(shù)對(duì)屬于每個(gè)類別的概率進(jìn)行計(jì)算。對(duì)于行人這個(gè)類別，如果得分是最大的，則判定為行人。

圖1 R-FCN檢測(cè)框架Fig.1 R-FCN detection framework

對(duì)于特征提取網(wǎng)絡(luò)的選擇，本文在3.3.1 小節(jié)設(shè)計(jì)了ResNet50+SE[16]與Resnet50+DCN 針對(duì)行人遮擋問(wèn)題的有效性實(shí)驗(yàn)，最終將R-FCN 特征提取網(wǎng)絡(luò)從原有的Resnet-50[17]替換成Resnet50+DCN 網(wǎng)絡(luò)。加入DCN（deformable convolutional network）后的網(wǎng)絡(luò)模型可綜合目標(biāo)物體形狀以及大小不同這兩個(gè)特征，做到對(duì)感興趣信息特征的準(zhǔn)確提取。

2 注意力增強(qiáng)的行人與頭肩級(jí)聯(lián)檢測(cè)網(wǎng)絡(luò)

為提高在遮擋情況下的行人檢測(cè)效果，本文創(chuàng)新性地提出了基于注意力機(jī)制的行人和頭肩區(qū)域級(jí)聯(lián)檢測(cè)模型。此模型是在上述添加了注意力機(jī)制的R-FCN行人檢測(cè)器的基礎(chǔ)上構(gòu)建了行人頭肩區(qū)域檢測(cè)器，該模型主要包含兩個(gè)模塊，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，分為注意力機(jī)制模塊和行人與頭肩級(jí)聯(lián)檢測(cè)模塊。由于行人檢測(cè)過(guò)程本身存在不同的任務(wù)需要處理，因此針對(duì)不同的任務(wù)，相應(yīng)的使用不同的通道注意力和空間注意力來(lái)進(jìn)一步增強(qiáng)特征的表征能力。經(jīng)實(shí)驗(yàn)驗(yàn)證，該級(jí)聯(lián)檢測(cè)器可顯著地提升遮擋情況下的行人檢測(cè)效果。

圖2 整體網(wǎng)絡(luò)架構(gòu)Fig.2 Overall network architecture

2.1 與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模型

由于注意力機(jī)制本身的技術(shù)特性，使其成為計(jì)算機(jī)視覺(jué)領(lǐng)域的各種算法理論中重要的一環(huán)。注意力機(jī)制包含通道注意力和空間注意力這兩種注意力機(jī)制。通道注意力機(jī)制指導(dǎo)網(wǎng)絡(luò)解決“是什么”的問(wèn)題，關(guān)注類別的劃分，空間注意力機(jī)制指導(dǎo)網(wǎng)絡(luò)解決“目標(biāo)在哪”的問(wèn)題，更傾向于定位目標(biāo)的空間位置。而行人檢測(cè)網(wǎng)絡(luò)階段由分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)組成，分類網(wǎng)絡(luò)對(duì)行人實(shí)例的潛在區(qū)域進(jìn)行判別，用來(lái)區(qū)分行人區(qū)域或非行人區(qū)域；回歸網(wǎng)絡(luò)對(duì)行人實(shí)例的區(qū)域進(jìn)一步的精細(xì)化處理，使得預(yù)測(cè)的包圍框緊緊包圍行人。

本文探索了注意力機(jī)制添加方式對(duì)于網(wǎng)絡(luò)的影響，如圖3所示，圖3（a）將注意力機(jī)制加入特征提取網(wǎng)絡(luò)和檢測(cè)頭中間，以此來(lái)增強(qiáng)檢測(cè)頭部特征，此時(shí)分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)共享一個(gè)檢測(cè)頭。圖3（b）將注意力機(jī)制引入到檢測(cè)頭之后，通道注意力與空間注意力共享檢測(cè)頭部特征。經(jīng)實(shí)驗(yàn)驗(yàn)證，在分類子任務(wù)網(wǎng)絡(luò)中加入通道注意力模塊，以增強(qiáng)特征的表征能力進(jìn)行分類；在網(wǎng)絡(luò)的回歸階段，引入空間注意力機(jī)制并進(jìn)行相應(yīng)的實(shí)現(xiàn)，在抑制數(shù)據(jù)背景信息的同時(shí)，更好地突出數(shù)據(jù)前景信息，進(jìn)而準(zhǔn)確完整地定位出行人的空間位置。

圖3 注意力機(jī)制添加方式Fig.3 Method of adding attention mechanism

本文設(shè)計(jì)的與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模型如圖4 所示，該網(wǎng)絡(luò)基于R-FCN 基本架構(gòu)，主要由3 個(gè)模塊組成，分別為Resnet50+DCN特征提取網(wǎng)絡(luò)模塊、基于RPN的候選區(qū)域提取模塊和與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制行人預(yù)測(cè)網(wǎng)絡(luò)模塊。Resnet50+DCN特征提取網(wǎng)絡(luò)負(fù)責(zé)提取圖片中行人特征，然后輸入到RPN 網(wǎng)絡(luò)檢測(cè)出行人潛在區(qū)域，最終與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制行人預(yù)測(cè)網(wǎng)絡(luò)模塊對(duì)行人潛在區(qū)域進(jìn)一步精細(xì)化分類和邊界框回歸。整個(gè)網(wǎng)絡(luò)可以端到端進(jìn)行訓(xùn)練，其損失函數(shù)定義如下：

圖4 與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模型Fig.4 Attention mechanism model adapted to detection task

其中，Lrpn和Lrcnn分別對(duì)應(yīng)RPN 子網(wǎng)絡(luò)和RCNN 主網(wǎng)絡(luò)的損失函數(shù)。RPN 子網(wǎng)絡(luò)沒(méi)有區(qū)分行人整體區(qū)域類別，只區(qū)分前景和背景信息，因此RPN子網(wǎng)絡(luò)的多任務(wù)損失函數(shù)定義如下：

其中，Lcls為交叉熵?fù)p失函數(shù)，Lreg為Smooth-L1 損失函數(shù)，φ為一個(gè)超參數(shù)，y=1 表示只對(duì)前景樣本進(jìn)行回歸。在RCNN主網(wǎng)絡(luò)中，對(duì)于行人整體進(jìn)行精細(xì)化分類和位置回歸，其損失函數(shù)定義如下：

其中，p和b為標(biāo)注類別和標(biāo)注包圍框，p*和b*為網(wǎng)絡(luò)預(yù)測(cè)的類別和空間位置，λ為平衡因子，本文實(shí)驗(yàn)中設(shè)置λ=10。

2.1.1 全卷積通道注意力機(jī)制

SE-Net（squeeze-and-excitation network）是經(jīng)典的通道注意力網(wǎng)絡(luò)，其中SE 模塊通過(guò)對(duì)特征的不同通道進(jìn)行加權(quán)，從而實(shí)現(xiàn)對(duì)不同通道特征中重要程度的計(jì)算，最終可使卷積神經(jīng)網(wǎng)絡(luò)本身性能得到增強(qiáng)，以獲得更強(qiáng)的特征表達(dá)能力。如圖5所示，它是利用兩個(gè)全連接層來(lái)實(shí)現(xiàn)這一重要操作的。采用先降維再升維的方法，即第一個(gè)全連接層用來(lái)降維，第二個(gè)全連接層輸出和輸入特征維度一樣的權(quán)重。特征圖之間有著密切的關(guān)系，彼此都有交互。

圖5 SE-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 SE-Net network structure

但研究表明，降維操作降低了網(wǎng)絡(luò)學(xué)習(xí)特征通道間依賴關(guān)系的能力，對(duì)通道注意力機(jī)制預(yù)測(cè)的權(quán)重產(chǎn)生了負(fù)影響。

因此本文提出一種全新的通道注意力機(jī)制，稱為全卷積通道注意力機(jī)制。通過(guò)采用大小為1×5的卷積核，優(yōu)化SE 模塊的操作，能保證在不降低通道維度的前提下，減少特征圖之間的全交互。這一操作可以減少參數(shù)量，高效地學(xué)習(xí)跨通道間的相關(guān)性；也可以有效減少通道注意力對(duì)預(yù)測(cè)權(quán)重的負(fù)影響。同時(shí)，本文為增強(qiáng)全局平均池化的聚合特征、彌補(bǔ)單一池化方式的不足，增加了全局最大池化分支，有利于豐富聚合特征信息，以此對(duì)遮擋處理產(chǎn)生幫助。在遮擋情況下，通過(guò)注意力減少遮擋區(qū)域的干擾，從而更好地關(guān)注前景區(qū)域。增強(qiáng)對(duì)前景區(qū)域特征地提取，從而更有針對(duì)性地處理遮擋。

為了有效減少SE-Net降維操作對(duì)預(yù)測(cè)權(quán)重的負(fù)影響。如圖6 所示，對(duì)于輸入特征，本文分別經(jīng)過(guò)全局最大池化和全局平均池化得到聚合特征；之后，再由大小1×5 的一維卷積核獲取相鄰?fù)ǖ篱g的相關(guān)性；最后，兩個(gè)權(quán)重向量相加，加之Sigmiod激活層進(jìn)行映射，與輸入特征通過(guò)點(diǎn)成方式，對(duì)不同通道特征進(jìn)行加權(quán)，得到最終特征用于分類網(wǎng)絡(luò)。通道注意力計(jì)算公式為：

其中，σ表示Sigmoid激活函數(shù)，AvgPool、MaxPool分別表示對(duì)特征F的平均池化、最大池化處理，f1×5表示卷積層使用1×5卷積核。

2.1.2 空間注意力機(jī)制

空間注意力機(jī)制網(wǎng)絡(luò)能夠有效學(xué)習(xí)到行人的空間位置信息，如圖7所示，通過(guò)結(jié)合平均池化和最大池化，加之包含單個(gè)大卷積核的隱藏層對(duì)其進(jìn)行卷積操作，使其在通道維度上與輸入的特征圖數(shù)據(jù)保持統(tǒng)一，該理論對(duì)應(yīng)公式為：

圖7 空間注意力機(jī)制Fig.7 Spatial attention mechanism

與公式（1）不同的是，此處的f7×7表示卷積層使用7×7卷積核。

2.2 聯(lián)合行人整體與頭肩區(qū)域的級(jí)聯(lián)檢測(cè)器

目前一流的行人檢測(cè)器均為單類檢測(cè)任務(wù)，也就是在單幅圖像的處理中，只對(duì)該圖像的行人區(qū)域進(jìn)行檢測(cè)。本文在行人檢測(cè)結(jié)果中發(fā)現(xiàn)，被判別為非行人的候選區(qū)域可能由于遮擋而發(fā)生誤判，如圖8 所示，圖片中標(biāo)注的α框是目前一流檢測(cè)器檢測(cè)出的行人區(qū)域，β框是由于行人之間的嚴(yán)重遮擋導(dǎo)致的行人漏檢問(wèn)題，γ框表示由于行人之間的部分遮擋從而導(dǎo)致的行人漏檢問(wèn)題。由于本文實(shí)驗(yàn)是基于車載監(jiān)控視頻的行人檢測(cè)，通過(guò)大量的數(shù)據(jù)分析發(fā)現(xiàn)，行人與行人之間存在遮擋時(shí)，主要體現(xiàn)在行人的肢體之間存在嚴(yán)重的遮擋，但行人的頭肩區(qū)域可擁有明顯的區(qū)分。

圖8 行人檢測(cè)結(jié)果Fig.8 Pedestrian detection results

因此基于人體部件的行人檢測(cè)早在文獻(xiàn)[18]中被提出，其將人體分為頭肩、軀干和四肢等部分，分別提取這些部分的HOG特征，進(jìn)行獨(dú)立建模，最終結(jié)合所有組件模型結(jié)果進(jìn)一步確定行人的潛在空間區(qū)域。然而DPM 需要花費(fèi)大量的時(shí)間去做模板設(shè)計(jì)，才能實(shí)現(xiàn)其較好的行人檢測(cè)性能，限制了其在真實(shí)應(yīng)用場(chǎng)景中的使用。因此本文基于深度卷積神經(jīng)網(wǎng)絡(luò)，在行人檢測(cè)的基礎(chǔ)上引入了可以對(duì)行人之間明顯區(qū)分的頭肩區(qū)域檢測(cè)分支，其中行人頭肩區(qū)域檢測(cè)與行人檢測(cè)模型共享檢測(cè)頭部特征，然后通過(guò)本文設(shè)計(jì)的行人整體與行人頭肩區(qū)域匹配算法，級(jí)聯(lián)兩個(gè)分支的檢測(cè)結(jié)果，通過(guò)檢測(cè)行人的頭肩區(qū)域來(lái)確定遮擋行人的空間位置。行人整體與頭肩區(qū)域級(jí)聯(lián)對(duì)遮擋區(qū)域的互相補(bǔ)充，在一定程度上不僅可以有效解決由于圖片中行人肢體受遮擋帶來(lái)的行人漏檢問(wèn)題，而且可以極大地降低了模型的推理時(shí)間。

2.2.1 行人與頭肩級(jí)聯(lián)檢測(cè)模型

Song等人[19]通過(guò)確定人體上配對(duì)點(diǎn)連成中軸線，再根據(jù)數(shù)據(jù)集中固定的長(zhǎng)寬比例0.41 得到行人矩形包圍框。受此啟發(fā)，行人的頭肩區(qū)域標(biāo)簽可以根據(jù)行人數(shù)據(jù)集中的行人標(biāo)簽來(lái)制作。行人的頭肩區(qū)域包含頭部和肩部，在行人數(shù)據(jù)集中可以得到行人的包圍框B=(x1,y1,x2,y2)，其中(x1,y1)和(x2,y2)分別是行人包圍框的左上角點(diǎn)和右下角點(diǎn)，由于人體的結(jié)構(gòu)比例基本保持不變，可以得到行人的頭肩區(qū)域?yàn)镠=(x1,y1,x2,y1+h/3)，其中h表示行人包圍框的高度。行人整體數(shù)據(jù)集和行人頭肩區(qū)域數(shù)據(jù)集示意圖如圖9所示，左側(cè)為Caltech數(shù)據(jù)集中的行人圖片，右側(cè)上方是行人整體實(shí)例，右側(cè)下方是行人頭肩區(qū)域?qū)嵗?/p>

圖9 人體頭肩區(qū)域定義Fig.9 Human head and shoulders area definition

本文的訓(xùn)練過(guò)程與目標(biāo)檢測(cè)模型的訓(xùn)練過(guò)程相似，數(shù)據(jù)集圖片由Resnet50+DCN特征提取網(wǎng)絡(luò)進(jìn)行特征提取，然后由RPN（region proposal network）[20]網(wǎng)絡(luò)獲取行人和頭肩區(qū)域的候選區(qū)域，最后在經(jīng)過(guò)通道注意力和空間注意力增強(qiáng)的檢測(cè)頭部特征上根據(jù)候選區(qū)域進(jìn)行裁剪分別送入分類網(wǎng)絡(luò)預(yù)測(cè)出行人和頭肩區(qū)域類別和回歸網(wǎng)絡(luò)回歸出行人和頭肩區(qū)域的包圍框。整個(gè)網(wǎng)絡(luò)而言，該網(wǎng)絡(luò)能夠端到端地訓(xùn)練。相應(yīng)的，該網(wǎng)絡(luò)所對(duì)應(yīng)訓(xùn)練過(guò)程中的損失函數(shù)定義如下（出發(fā)點(diǎn)）：

Lhead_rpn和Lperson_rpn分別代表行人頭肩檢測(cè)分支和行人整體檢測(cè)分支的RPN 子網(wǎng)絡(luò)損失函數(shù)；Lhead_rcnn和Lperson_rcnn分別代表行人頭肩檢測(cè)分支和行人整體檢測(cè)分支的RCNN主網(wǎng)絡(luò)損失函數(shù)。

2.2.2 行人檢測(cè)推理

首先，由于在本文的行人檢測(cè)算法中，每個(gè)行人框的來(lái)源不同，因此在每個(gè)框上為其增加自定義的內(nèi)容標(biāo)簽，分別使用WP、HS、RP表示不同含義，其全稱與解釋如表1所示，為了防止標(biāo)簽重疊，HS與RP標(biāo)簽于框的左上角生成，WP標(biāo)簽于框的右上角生成。

表1 行人框內(nèi)容標(biāo)簽Table 1 Pedestrians box content label

接下來(lái)，根據(jù)訓(xùn)練好的模型，可檢測(cè)出潛在的行人區(qū)域和行人頭肩區(qū)域生成的檢測(cè)結(jié)果，對(duì)應(yīng)的行人框標(biāo)記為WP與HS。

本文中兩個(gè)分支分別進(jìn)行頭肩和整體檢測(cè)，兩個(gè)檢測(cè)分支分別得到預(yù)測(cè)的頭肩區(qū)域和行人整體區(qū)域，即為頭肩區(qū)域包圍框集合和行人整體包圍框集合，如圖10所示。從圖中可以看出，預(yù)測(cè)的行人整體包圍框和頭肩區(qū)域包圍框存在大量的重合，即標(biāo)注的為同一行人，因此，本文設(shè)計(jì)行人整體與頭肩的匹配算法。該算法以兩個(gè)分支的檢測(cè)結(jié)果作為輸入，首先，將預(yù)測(cè)的行人整體包圍框集合按照制作頭肩區(qū)域的標(biāo)簽時(shí)的人體頭肩區(qū)域定義的比例（1∶3）得到頭肩區(qū)域2 集合，如圖11 所示。然后，將頭肩檢測(cè)分支結(jié)果依次與頭肩區(qū)域2集合計(jì)算重疊度（ⅠoU），保留ⅠoU最大值，ⅠoU計(jì)算公式如下：

圖10 行人整體和頭肩檢測(cè)分支結(jié)果Fig.10 Whole pedestrian and head and shoulders detection branch results

圖11 由行人整體得到的頭肩區(qū)域2集合Fig.11 Head and shoulders area 2 set obtained by whole pedestrian

最后，判斷ⅠoU 是否大于本文設(shè)定的閾值（0.8），如果大于該閾值，則說(shuō)明該預(yù)測(cè)的頭肩區(qū)域包圍框與行人整體包圍框存在高度重合，則判定為該頭肩區(qū)域?qū)儆陬A(yù)測(cè)的行人整體的頭肩區(qū)域，則匹配成功，如圖12 所示，在頭肩區(qū)域集合和頭肩區(qū)域2 集合中分別刪除所對(duì)應(yīng)的包圍框。如果小于閾值，則說(shuō)明該預(yù)測(cè)的頭肩區(qū)域包圍框所表示的行人，在行人整體包圍框中未找到，則可能是由于遮擋問(wèn)題造成行人整體檢測(cè)分支漏檢的行人實(shí)例。依次遍歷所有的頭肩區(qū)域包圍框，最終將得到未匹配成功的行人頭肩區(qū)域包圍框。

圖12 頭肩區(qū)域2集合與頭肩檢測(cè)分支結(jié)果匹配Fig.12 Head and shoulders area 2 set matched with result of head and shoulders detection branch

本文最終結(jié)果是將未匹配成功的行人頭肩區(qū)域包圍框按照人體頭肩區(qū)域定義的比例（1∶3），得到行人整體的包圍框，然后再合并到行人整體包圍框集合中作為最終結(jié)果，如圖13 所示。本文未使用匹配成功的頭肩區(qū)域包圍框，因?yàn)樵趯?shí)驗(yàn)過(guò)程發(fā)現(xiàn)，通過(guò)頭肩區(qū)域包圍框按照比例（1∶3）得到的行人整體包圍框，沒(méi)有直接預(yù)測(cè)的行人整體包圍框準(zhǔn)確，因此本文中直接舍棄。

圖13 行人整體與頭肩區(qū)域的級(jí)聯(lián)檢測(cè)結(jié)果Fig.13 Cascade detection results of whole pedestrian and head and shoulder area

2.2.3 行人區(qū)域推演階段

行人整體與頭肩區(qū)域級(jí)聯(lián)檢測(cè)的具體算法過(guò)程的偽代碼如算法1所示。

頭肩與整體的匹配算法：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集介紹

本文實(shí)驗(yàn)在Caltech 數(shù)據(jù)集[21]上進(jìn)行訓(xùn)練測(cè)試，在Eth[22]和CityPersons 數(shù)據(jù)集上進(jìn)行泛化性測(cè)試，以此來(lái)驗(yàn)證模型的有效性和魯棒性。Caltech數(shù)據(jù)集是基于車載攝像頭拍攝城市街道的11段視頻，其中前6段視頻用于模型的訓(xùn)練，后5 段視頻用于模型測(cè)試，驗(yàn)證模型的準(zhǔn)確性。Eth數(shù)據(jù)沒(méi)有區(qū)分訓(xùn)練集和測(cè)試集，因此本文全部用來(lái)驗(yàn)證模型的泛化能力。Caltech 訓(xùn)練集設(shè)置每3幀選取1張圖像[23]，同時(shí)刪除不包含行人的圖片，Caltech測(cè)試集每10 幀選取1 張圖像。測(cè)試集具體劃分如表2所示，根據(jù)行人像素高度和遮擋程度設(shè)置了4個(gè)測(cè)試子集Reasonable、Occ=none、Occ=partial 和Occ=heavy。目前一流的行人檢測(cè)器均用Reasonable 測(cè)試子集評(píng)估模型性能，Reasonable 子集設(shè)置為：行人數(shù)據(jù)像素高度不小于50，行人像素可見(jiàn)度不低于0.65。其余3個(gè)子集用來(lái)驗(yàn)證模型處理行人遮擋問(wèn)題的性能，Occ=none 子集設(shè)置為：行人像素高度不小于50，行人像素可見(jiàn)度為inf；Occ=partial 子集設(shè)置為：行人像素高度不小于50，行人像素可見(jiàn)度介于0.65到1之間；Occ=heavy子集設(shè)置為：行人像素高度不小于50，可見(jiàn)度介于0.2到0.65之間。

表2 測(cè)試子集屬性劃分Table 2 Test subset attribute partitioning

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境為搭載caffe-2 深度學(xué)習(xí)框架的Linux 系統(tǒng)（Ubuntu-16.04），其配置包括CUDA8.0、python2.7、NVⅠDⅠA GeForce GTX 1080Ti（數(shù)量：1），12 GB系統(tǒng)運(yùn)行內(nèi)存。訓(xùn)練的epoch 個(gè)數(shù)為20，學(xué)習(xí)率（learing-rate）為0.001，權(quán)重衰減（weight-decay）為0.000 5，動(dòng)量因子（momentum）為0.9。本文基于Caltech 提出的行人檢測(cè)的評(píng)估標(biāo)準(zhǔn)LAMR（log-average miss rate）值驗(yàn)證模型性能，隨著LAMR值的降低，模型性能會(huì)得到更高的提升。

3.3 消融實(shí)驗(yàn)

3.3.1 不同網(wǎng)絡(luò)結(jié)構(gòu)特征提取模塊對(duì)比

本小節(jié)為驗(yàn)證Resnet50+DCN網(wǎng)絡(luò)作為處理行人遮擋問(wèn)題的特征提取網(wǎng)絡(luò)的有效性，對(duì)比了ResNet50、ResNet50+SE 和ResNet50+DCN 三種不同的特征提取網(wǎng)絡(luò)。該實(shí)驗(yàn)基于R-FCN 模型，統(tǒng)一在Caltech 訓(xùn)練集進(jìn)行訓(xùn)練，在Caltech測(cè)試集上進(jìn)行測(cè)試，除特征提取網(wǎng)絡(luò)不同外，保持所有訓(xùn)練參數(shù)相同。實(shí)驗(yàn)結(jié)果如表3所示，Resnet50+DCN在Caltech四個(gè)測(cè)試子集上的LAMR降低到了7.14%、6.11%、18.38%和32.79%。相較于ResNet50+SE，在Reasonable、none和heavy測(cè)試子集中，漏檢誤差分別降低了0.29、0.18、0.15個(gè)百分點(diǎn)。Resnet50+DCN 網(wǎng)絡(luò)可以對(duì)前景信息特征做到準(zhǔn)確提取，有效提升遮擋情況下的行人識(shí)別率。

表3 Caltech數(shù)據(jù)集上不同特征提取網(wǎng)絡(luò)的性能對(duì)比Table 3 Performance comparison of different feature extraction networks on Caltech dataset

3.3.2 注意力機(jī)制的消融實(shí)驗(yàn)

為驗(yàn)證本文注意力機(jī)制對(duì)于解決遮擋問(wèn)題的有效性，本小節(jié)主要在Caltech不同測(cè)試子集上，對(duì)其有效性效果進(jìn)行驗(yàn)證。本模塊基于不同網(wǎng)絡(luò)結(jié)構(gòu)特征提取模塊的對(duì)比實(shí)驗(yàn)分析，該實(shí)驗(yàn)的基線為基于Resnet50+DCN 網(wǎng)絡(luò)的R-FCN 模型，為驗(yàn)證與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模塊的有效性，注意力機(jī)制采用通道注意力機(jī)制SE-Net 和空間注意力機(jī)制。如圖3 所示，分別以圖（a）方式為在特征提取網(wǎng)絡(luò)與檢測(cè)頭中間依次引入SE-Net 和空間注意力機(jī)制，圖（b）方式為在檢測(cè)頭后的分類和回歸任務(wù)中引入SE-Net和空間注意力機(jī)制。實(shí)驗(yàn)結(jié)果如表4 所示，相比于baseline，在網(wǎng)絡(luò)中加入通道注意力機(jī)制SE-Net 和空間注意力機(jī)制，檢測(cè)性能均得到了提升。表明加入注意力機(jī)制有利于增強(qiáng)有效的前景特征，從而提升檢測(cè)性能。相比于圖3（a）方式，圖3（b）方式在Reasonable、Occ=none、Occ=partial 和Occ=heavy測(cè)試子集上LAMR降低了0.11、0.23、0.35和0.21個(gè)百分點(diǎn)。因此，針對(duì)不同的任務(wù)使用相適應(yīng)的注意力機(jī)制能夠提升模型的泛化能力以及對(duì)行人遮擋問(wèn)題的檢測(cè)效果。

表4 Caltech數(shù)據(jù)集上注意力在不同位置的性能對(duì)比Table 4 Performance comparison of attention at different positions on Caltech dataset

同時(shí)該小節(jié)對(duì)比了本文設(shè)計(jì)的全卷積通道注意力機(jī)制模塊與經(jīng)典的SE模塊的性能，該實(shí)驗(yàn)基于與檢測(cè)任務(wù)相適應(yīng)的注意力機(jī)制模塊的對(duì)比實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果如表5所示。在Reasonable、None、Partial和Heavy測(cè)試子集上，本文通道注意力機(jī)制較SE模塊的LAMR降低到6.75%、5.33%、15.79%和31.44%。相比于SE-Net，本文采用1×5卷積核，同時(shí)增加全局最大池化分支。這樣設(shè)計(jì)可以有效減少通道注意力對(duì)預(yù)測(cè)權(quán)重的負(fù)影響，同時(shí)豐富聚合特征信息，以此對(duì)遮擋處理產(chǎn)生幫助。實(shí)驗(yàn)表明，本文通道注意力機(jī)制模塊對(duì)行人遮擋問(wèn)題具有較好的表現(xiàn)。

表5 Caltech數(shù)據(jù)集上選用不同注意力的性能對(duì)比Table 5 Performance comparison of different attentions on Caltech dataset

3.3.3 級(jí)聯(lián)行人和頭肩檢測(cè)器對(duì)遮擋的有效性

為驗(yàn)證本文行人與頭肩級(jí)聯(lián)檢測(cè)器對(duì)于解決遮擋問(wèn)題的有效性，本小節(jié)主要在Caltech不同測(cè)試子集上，對(duì)其有效性效果進(jìn)行驗(yàn)證。聯(lián)合行人整體與頭肩區(qū)域檢測(cè)器的實(shí)驗(yàn)是在采用注意力機(jī)制的行人檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上實(shí)驗(yàn)的。通過(guò)大量的研究發(fā)現(xiàn)，在遮擋的情況下，尤其是存在下半身嚴(yán)重遮擋時(shí)，可以通過(guò)頭肩區(qū)域，把行人明顯區(qū)分開。值得注意的是，當(dāng)使用行人的頭肩區(qū)域檢測(cè)器來(lái)檢測(cè)行人時(shí)，由于數(shù)據(jù)集中的行人實(shí)例存在騎行、下蹲等不同的行人姿態(tài)情況，導(dǎo)致行人的頭肩區(qū)域和行人的整體比例不滿足1/3，因此不能完全將頭肩區(qū)域的檢測(cè)結(jié)果通過(guò)1∶3的比例得到行人整體區(qū)域，作為最終結(jié)果，否則，得到的行人包圍框存在很大偏差，同時(shí)，通過(guò)頭肩區(qū)域來(lái)得到的行人整體區(qū)域，這樣得到的包圍框沒(méi)有直接預(yù)測(cè)行人整體區(qū)域得到的包圍框位置精確。因此本文只針對(duì)未加入頭肩區(qū)域的行人整體檢測(cè)模型與加入頭肩區(qū)域的行人檢測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)。與未加入頭肩區(qū)域的檢測(cè)模型進(jìn)行對(duì)照，實(shí)驗(yàn)結(jié)果如表6所示，加入了頭肩檢測(cè)的網(wǎng)絡(luò)在Reasonable、Occ=none、Occ=partial 和Occ=heavy 測(cè)試子集上性能均得到了顯著的提升。模型在以上四個(gè)測(cè)試子集上的LAMR分別降低到5.37%、3.99%、9.67%、23.33%。因此，在行人檢測(cè)的基礎(chǔ)上加入頭肩區(qū)域檢測(cè)分支，在很大程度上避免了由于身體下身之間的相互遮擋導(dǎo)致的漏檢問(wèn)題。由上述實(shí)驗(yàn)結(jié)果，可得到以下結(jié)論：設(shè)計(jì)聯(lián)合行人整體與頭肩區(qū)域的級(jí)聯(lián)檢測(cè)器，通過(guò)行人整體與頭肩區(qū)域?qū)φ趽鯀^(qū)域的互相補(bǔ)充，可以顯著提升在遮擋情況下的行人識(shí)別率。

表6 Caltech數(shù)據(jù)集上行人檢測(cè)器的性能對(duì)比Table 6 Performance comparison of pedestrian detectors on Caltech dataset

3.4 算法效果對(duì)比

本節(jié)分別在Caltech、Eth 和CityPersons 數(shù)據(jù)集上進(jìn)行算法執(zhí)行效果的檢測(cè)。相較于表中出現(xiàn)的目前表現(xiàn)較好的多個(gè)行人檢測(cè)器算法進(jìn)行了實(shí)驗(yàn)對(duì)比，如表7所示，本文所表述的具體算法在Caltech 集中體現(xiàn)出了優(yōu)秀高效的檢測(cè)性能，在Caltech 四個(gè)測(cè)試子集上的LAMR 降低到了5.37%、3.99%、9.67%和23.33%。相較于行人檢測(cè)器AR-Ped[24]，在3 個(gè)測(cè)試子集（Reasonable、None、Partial）中，漏檢誤差分別降低了1.08、1.22、2.26個(gè)百分點(diǎn)。尤其是在Heavy 測(cè)試子集上對(duì)照當(dāng)前先進(jìn)的TLL-TFA[25]行人檢測(cè)器，LAMR 降低了5.33 個(gè)百分點(diǎn)，這是由于本文算法加入了頭肩區(qū)域檢測(cè)分支，因此在存在遮擋的情況下，可顯著的提升行人檢測(cè)的算法執(zhí)行效果。上述內(nèi)容在量化的實(shí)驗(yàn)中，通過(guò)不同測(cè)試子集的對(duì)比結(jié)果如圖14 所示，本文算法在存在行人遮擋的多個(gè)測(cè)試子集上表現(xiàn)出較好的檢測(cè)效果。為形象地觀測(cè)本文模型在Caltech 數(shù)據(jù)集上的檢測(cè)效果，圖15 顯示了本文方法與當(dāng)前一流行人檢測(cè)方法的可視化效果對(duì)比。

表7 Caltech數(shù)據(jù)集上本文方法與目前一流方法的比較Table 7 Comparison of proposed method with some state-of-art methods on Caltech dataset

圖14 Caltech測(cè)試數(shù)據(jù)集上性能對(duì)照Fig.14 Comparison with popular method on Caltech test dataset

圖15 Caltech測(cè)試集上算法效果對(duì)比Fig.15 Comparison of algorithm effects on Caltech test dataset

Eth 行人數(shù)據(jù)集包含了比較密集、遮擋嚴(yán)重的行人實(shí)例，故可表明該數(shù)據(jù)集具有極高的可研究以及可驗(yàn)證性。本文分別在Reasonable和ALL（行人像素高度大于等于20 pixel，可見(jiàn)度大于20%）上作為測(cè)試子集，使用這兩個(gè)數(shù)據(jù)集對(duì)模型的泛化能力進(jìn)行測(cè)試。如圖16所示，本文方法在Reasonable 和ALL 兩個(gè)測(cè)試子集上的LARM分別降低到了29.23%和35.21%。與在該測(cè)試集表現(xiàn)較好的F-DDN2+SS行人檢測(cè)器相比，在Reasonable和ALL兩個(gè)測(cè)試子集上的LARM分別降低了0.79個(gè)百分點(diǎn)和3.87 個(gè)百分點(diǎn)。實(shí)驗(yàn)的具體結(jié)果強(qiáng)有力地證明了本文所描述的方法能解決行人遮擋嚴(yán)重情況下的算法精度問(wèn)題，達(dá)到更加準(zhǔn)確的行人檢測(cè)效果。為形象地觀測(cè)本文模型在ETH 數(shù)據(jù)集上的檢測(cè)效果。另外，圖17 對(duì)ETH 數(shù)據(jù)集中的圖片進(jìn)行可視化，分別采用兩種主流的行人檢測(cè)算法RPN+BF[30]、F-DNN2+SS與本文算法做對(duì)比，由圖可見(jiàn)，本文算法在漏檢率的降低以及行人識(shí)別率的提高上，都有更好的表現(xiàn)。

圖16 ETH測(cè)試集上性能對(duì)比Fig.16 Performance comparison on ETH test dataset

圖17 ETH測(cè)試集上算法效果對(duì)比Fig.17 Comparison of algorithm effects on ETH test dataset

為了驗(yàn)證本文行人整體與頭肩區(qū)域級(jí)聯(lián)檢測(cè)模型的泛化性，本文在CityPersons 數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。CityPersons數(shù)據(jù)集是目前比較通用的行人檢測(cè)數(shù)據(jù)集，是CityScapes數(shù)據(jù)集的一個(gè)子集。根據(jù)CityPersons數(shù)據(jù)集官方提供的劃分標(biāo)準(zhǔn)，可劃分為四個(gè)子集：Bare子集、Reasonable子集、Partial子集和Heavy子集。Reasonable子集（行人像素高度大于等于50 pixel，可見(jiàn)度大于65%）和Heavy子集（行人像素高度大于等于50 pixel，可見(jiàn)度在20%和65%之間）可以很好地用來(lái)評(píng)估算法對(duì)輕度遮擋和重度遮擋行人的檢測(cè)性能，故本文使用這兩個(gè)子集作為測(cè)試集對(duì)模型的泛化能力進(jìn)行測(cè)試，使用對(duì)數(shù)平均漏檢率作為評(píng)價(jià)指標(biāo)。本文選用了在CityPersons 數(shù)據(jù)集上有代表性的CSP[31]等四種行人檢測(cè)器進(jìn)行對(duì)比試驗(yàn)。實(shí)驗(yàn)結(jié)果如表8 所示，本文方法在Reasonable 和Heavy兩個(gè)測(cè)試子集上的LARM分別降低到了10.7%和49.1%。與在該測(cè)試集表現(xiàn)較好的CSP行人檢測(cè)器相比，在Reasonable和Heavy兩個(gè)測(cè)試子集上的LARM分別降低了0.3 個(gè)百分點(diǎn)和0.2 個(gè)百分點(diǎn)。證明了本文行人整體與頭肩區(qū)域級(jí)聯(lián)檢測(cè)算法對(duì)解決行人遮擋問(wèn)題的有效性，通過(guò)行人整體與頭肩區(qū)域級(jí)聯(lián)，可以很大程度上避免了由于身體下半身之間的相互遮擋導(dǎo)致的漏檢問(wèn)題。

表8 CityPersons數(shù)據(jù)集上本文方法與目前一流方法的比較Table 8 Comparison of proposed method with some state-of-art methods on CityPersons dataset

4 結(jié)束語(yǔ)

行人檢測(cè)中的行人遮擋問(wèn)題是影響行人檢測(cè)性能的主要瓶頸之一，本文基于R-FCN目標(biāo)檢測(cè)框架，使用了能夠有效處理遮擋問(wèn)題的Resnet50+DCN特征提取網(wǎng)絡(luò)提取行人特征，設(shè)計(jì)了通道注意力機(jī)制增強(qiáng)了高級(jí)語(yǔ)義特征進(jìn)行分類的方法，同時(shí)引入空間注意力機(jī)制強(qiáng)調(diào)回歸的局部細(xì)節(jié)信息，提高行人檢測(cè)性能。另一方面，本文設(shè)計(jì)了行人的頭肩區(qū)域檢測(cè)分支，由于該分支存在與行人檢測(cè)分支共享權(quán)重的優(yōu)勢(shì)，因此在幾乎沒(méi)有增加計(jì)算量的情況下提高了整體的性能。針對(duì)多分支檢測(cè)結(jié)果，通過(guò)匹配算法來(lái)計(jì)算頭肩區(qū)域與行人區(qū)域的一致性。實(shí)驗(yàn)結(jié)果表明，本文算法的實(shí)現(xiàn)在兩個(gè)數(shù)據(jù)集中均取得了較好的表現(xiàn)。在未來(lái)的工作中，將從網(wǎng)絡(luò)中損失函數(shù)的方向來(lái)優(yōu)化，進(jìn)一步提高對(duì)遮擋行人的檢測(cè)效果。