任 超 趙 波 張偉偉

（上海工程技術(shù)大學(xué) 上海 201620）

1 引言

二維人體姿態(tài)估計(jì)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基本問(wèn)題。目標(biāo)是定位人體骨骼關(guān)鍵點(diǎn)（如肘部、腕部等）或部位。近年來(lái)，對(duì)于單個(gè)行人的姿態(tài)，通過(guò)各個(gè)行人的預(yù)測(cè)框和骨骼關(guān)鍵點(diǎn)的位置來(lái)預(yù)測(cè)單個(gè)行人位姿，整體方法較簡(jiǎn)單，預(yù)估姿態(tài)精度較低，且無(wú)法滿足行人擁擠環(huán)境。最近的工作解決多人姿態(tài)估計(jì)主要有自上向下和自下而上兩種方法［1～2］：1）自下而上方法，檢測(cè)關(guān)節(jié)并將關(guān)節(jié)與相對(duì)應(yīng)的行人聯(lián)系起來(lái)。Cao［3］等利用部分親和域和貪婪算法將關(guān)節(jié)關(guān)聯(lián)起來(lái)，帕潘德里歐等［4］檢測(cè)單獨(dú)的關(guān)節(jié)并且預(yù)測(cè)關(guān)節(jié)的相對(duì)位移，基于身體部分檢測(cè)方法由于只考慮局部小區(qū)域和輸出較小的響應(yīng)熱圖，所以輸出結(jié)果相對(duì)容易受到干擾；2）自上而下方法，該兩步法首先進(jìn)行行人檢測(cè)［5～6］，然后再進(jìn)行單人姿態(tài)估計(jì)［7～8］。目前最先進(jìn)方法評(píng)價(jià)得分明顯高于自下而上框架的方法。然而，該方法很大程度上依賴于人類的檢測(cè)結(jié)果，在擁擠的場(chǎng)景［9］中是失敗的。當(dāng)人們?cè)谌巳褐斜舜丝康煤芙鼤r(shí)，現(xiàn)有的姿態(tài)估計(jì)方法的效果急劇下降。

針對(duì)以上問(wèn)題，本文提出了一種新的有效的解決擁擠狀態(tài)下多人檢測(cè)以及姿態(tài)估計(jì)的方法。該方法遵循自上而下的框架方法由兩部分組成，首先利用Faster-RCNN 行人檢測(cè)器預(yù)測(cè)出包含行人位置和大小相接近的多個(gè)矩形框，實(shí)現(xiàn)行人檢測(cè)。在第二階段，在行人檢測(cè)矩形框中預(yù)測(cè)行人每個(gè)關(guān)鍵點(diǎn)位置。在全卷積方式中應(yīng)用ResNet［10］預(yù)測(cè)每個(gè)關(guān)鍵點(diǎn)的熱力圖和偏移量，再與一種新的熱圖偏移量聚合形式相結(jié)合完成行人姿態(tài)預(yù)測(cè)。通過(guò)一種新的基于關(guān)鍵點(diǎn)的非最大抑制（NMS）機(jī)制避免重復(fù)位姿檢測(cè)（稱之為KS-NMS），提出一個(gè)新穎的基于關(guān)鍵點(diǎn)的置信度分?jǐn)?shù)預(yù)測(cè)器，最終預(yù)測(cè)結(jié)果與使用Faster-RCNN 框分?jǐn)?shù)相比較提高了平均精度（AP）。使用了基于骨骼關(guān)鍵點(diǎn)的非極大值抑制和熱力圖置信度分?jǐn)?shù)預(yù)測(cè)的新方式，最終輸出的行人姿態(tài)結(jié)果更加精確。

2 多人姿態(tài)估計(jì)方法

本文提出的多人姿態(tài)估計(jì)方法是基于自上而下框架的兩步級(jí)聯(lián)方法，如圖1 所示。第一步以Faster-RCNN 為特征提取的基礎(chǔ)結(jié)構(gòu)，可以獲得輸入圖像的多通道高層低維特征表達(dá)。顯著性區(qū)域候選網(wǎng)絡(luò)（RPN）可以整合傳統(tǒng)RPN 網(wǎng)絡(luò)和顯著性區(qū)域搜索算法的優(yōu)勢(shì)，融合候選區(qū)域和顯著性區(qū)域，為獲得精細(xì)化候選區(qū)域奠定基礎(chǔ)。ROI 抽樣層在輸入圖像坐標(biāo)參考系范疇內(nèi)，對(duì)深度卷積特征進(jìn)行尺寸裁剪歸一化和坐標(biāo)調(diào)整，最終精確判定各候選區(qū)域內(nèi)的行人分類邊界框。第二步在行人分類邊界框中預(yù)測(cè)骨骼關(guān)鍵點(diǎn)，結(jié)合骨骼關(guān)鍵點(diǎn)的非極大值抑制和熱力圖置信度分?jǐn)?shù)預(yù)測(cè)的新方式，輸出擁擠場(chǎng)景下較為精確的姿態(tài)估計(jì)結(jié)果。

圖1 多人姿態(tài)估計(jì)方法

2.1 行人檢測(cè)

行人檢測(cè)器主要基于Faster-RCNN 利用ResNet-101 網(wǎng)絡(luò)主干，通過(guò)對(duì)空洞卷積進(jìn)行修改，在不做池化損失信息的情況下增大感受野，加強(qiáng)網(wǎng)絡(luò)的特征提取能力，以生成輸出步幅為8 像素的更密集熱力圖。CNN 的主干已經(jīng)在ImageNet 中進(jìn)行了圖像分類預(yù)訓(xùn)練，F(xiàn)aster-RCNN 檢測(cè)器的區(qū)域建議和預(yù)測(cè)框分類器組件都使用COCO 數(shù)據(jù)集中的行人類別進(jìn)行訓(xùn)練，其余79個(gè)COCO類別的框注釋都被忽略，為了簡(jiǎn)單便于實(shí)現(xiàn)，F(xiàn)aster-RCNN 在行人檢測(cè)框階段沒(méi)有使用多尺度預(yù)測(cè)，這樣的增強(qiáng)可以進(jìn)一步改進(jìn)行人預(yù)測(cè)的結(jié)果。

2.2 行人姿態(tài)估計(jì)

基于第一階段輸入的每個(gè)行人分類邊界框，通過(guò)姿態(tài)估計(jì)方法預(yù)測(cè)出行人17 個(gè)骨骼關(guān)鍵點(diǎn)所對(duì)應(yīng)的位置。

2.2.1 利用卷積神經(jīng)網(wǎng)絡(luò)的熱力圖與偏移量預(yù)測(cè)

針對(duì)擁擠場(chǎng)景下，輸入圖像中包含多個(gè)行人導(dǎo)致骨骼關(guān)鍵點(diǎn)相重疊的問(wèn)題，本文采用了分類與回歸相結(jié)合的方法。在裁剪后的圖像上以全卷積的方式應(yīng)用ResNet-101，生成熱力圖（每個(gè)關(guān)鍵點(diǎn)一個(gè)通道）和偏移量（x 和y 方向的每個(gè)關(guān)鍵點(diǎn)兩個(gè)通道），總共3K 輸出通道，其中K=17 是關(guān)鍵點(diǎn)的數(shù)量。在公開(kāi)可用的Imagenet 預(yù)訓(xùn)練ResNet-101 模型初始化本文模型，用3×K 輸出的1×1 卷積替換其最后一層。使用空洞卷積生成3·K 預(yù)測(cè)，輸出步幅為8像素，并將它們雙上采樣達(dá)到353×257裁剪大小。

其中G（·）是是雙線值插值的內(nèi)核。式（1）是霍夫投票的一種形式：圖像裁剪網(wǎng)格中的每個(gè)點(diǎn)j 通過(guò)對(duì)每個(gè)關(guān)鍵點(diǎn)估計(jì)的位置進(jìn)行投票，投票的權(quán)重依賴于點(diǎn)j 在對(duì)應(yīng)的關(guān)鍵點(diǎn)影響磁盤(pán)圓中的概率，正則化因素等同于磁盤(pán)圓的面積，確保在熱力圖和偏移量較合理下，pk( )xi是一個(gè)以第k 個(gè)關(guān)鍵點(diǎn)為中心的單位質(zhì)量函數(shù)。

該過(guò)程由圖2 展示，通過(guò)預(yù)測(cè)單獨(dú)的熱力圖和偏移通道并融合投票過(guò)程的建議結(jié)果，得到高度本地化的激活映射圖，精確定位關(guān)鍵點(diǎn)的位置。

圖2 預(yù)測(cè)單個(gè)行人全部骨骼關(guān)鍵點(diǎn)本地化過(guò)程

2.2.2 模型訓(xùn)練

本文使用一個(gè)帶有兩個(gè)卷積輸出的單一ResNet 模型。第一個(gè)卷積經(jīng)過(guò)一個(gè)sigmoid 函數(shù)輸出，產(chǎn)生每個(gè)位置xi和每個(gè)關(guān)鍵點(diǎn)k對(duì)應(yīng)的熱力圖概率hk(xi)。訓(xùn)練目標(biāo)hk(xi)是一個(gè)由0 和1 組成的熱力圖，如果||xi-li||≤R，則hk(xi) = 1，否則為hk(xi)=0。hk(xi)相對(duì)應(yīng)的損失函數(shù)Lh(θ)是每個(gè)位置和單獨(dú)關(guān)鍵點(diǎn)邏輯損失的總和。為加快訓(xùn)練速度，在ResNet-50 中間層增加了一個(gè)額外的熱力圖預(yù)測(cè)層提供相應(yīng)的輔助損失。第二個(gè)卷積訓(xùn)練偏移量回歸，對(duì)預(yù)測(cè)值與地面真實(shí)值之間的偏差進(jìn)行了補(bǔ)償。相應(yīng)的損失函數(shù)為

該方法使用式（4）中的的姿態(tài)評(píng)估與Faster-RCNN檢測(cè)器評(píng)分相比，顯著提升了平均精度。

2.2.3 KS非極大值抑制方法（KS-NMS）

為避免擁擠場(chǎng)景下行人關(guān)鍵點(diǎn)檢測(cè)階段的重復(fù)多次檢測(cè)，應(yīng)用KS-NMS方法。通常使用盒的交并比（IOU）來(lái)測(cè)量重疊，本文KS-NMS 方法是考慮關(guān)鍵點(diǎn)的極大值抑制方法改進(jìn)。對(duì)于兩個(gè)候選的姿態(tài)檢測(cè)使用行人關(guān)鍵點(diǎn)相似度來(lái)測(cè)量，通常在行人矩形框檢測(cè)器的輸出處使用一個(gè)相對(duì)較高的IOU-NMS 閾值（設(shè)置為0.6）來(lái)過(guò)濾高度重疊的矩形框。KS-NMS 方法在姿態(tài)估計(jì)中能夠輸出更適合于確定兩個(gè)候選檢測(cè)是對(duì)應(yīng)于假陽(yáng)性（同一人的兩次重復(fù)檢測(cè)）還是真陽(yáng)性（兩個(gè)相距很近的倆個(gè)人）的預(yù)測(cè)結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別為COCO數(shù)據(jù)集和SUES 行人數(shù)據(jù)集。COCO 數(shù)據(jù)集使用關(guān)鍵點(diǎn)標(biāo)注數(shù)據(jù)集［11］，COCO數(shù)據(jù)集中使用2174個(gè)作為模型訓(xùn)練集和1200 個(gè)模型驗(yàn)證集，均包含行人實(shí)例。COCO 數(shù)據(jù)集中包含的擁擠的行人圖像較少，出于驗(yàn)證本方法在部分擁擠狀態(tài)下的姿態(tài)估計(jì)情況，本文以圖3 所示的自主研制的智能車采集校園內(nèi)學(xué)生上下課時(shí)間段，采集行人擁擠場(chǎng)景下數(shù)據(jù)集，并定義一個(gè)人群指數(shù)衡量一幅圖像的擁擠程度，即建成SUES 行人數(shù)據(jù)集。表1 提供了數(shù)據(jù)集具體分配信息，單人或者多人不擁擠場(chǎng)景下的行人數(shù)據(jù)集來(lái)自于COCO 數(shù)據(jù)集，行人部分較擁擠狀態(tài)場(chǎng)景來(lái)自于SUES 校園行人數(shù)據(jù)集。訓(xùn)練Faster-RCNN 行人檢測(cè)矩形框模塊應(yīng)用COCO 數(shù)據(jù)集，訓(xùn)練ResNet 姿態(tài)估計(jì)模塊運(yùn)用COCO 數(shù)據(jù)集或SUES校園行人數(shù)據(jù)集進(jìn)行訓(xùn)練。

圖3 SUES行人數(shù)據(jù)采集車

表1 數(shù)據(jù)集分配信息

3.2 關(guān)鍵點(diǎn)檢測(cè)試驗(yàn)結(jié)果

表2 顯示本文方法在COCO 或SUES 校園行人數(shù)據(jù)集上訓(xùn)練的關(guān)鍵點(diǎn)測(cè)試與驗(yàn)證集上表現(xiàn)。

表2 不同方法檢測(cè)AP和AR對(duì)比結(jié)果

表3 顯示了本文方法在關(guān)鍵點(diǎn)測(cè)試標(biāo)準(zhǔn)分割結(jié)果，其中姿態(tài)估計(jì)器在COCO 或SUES 校園行人數(shù)據(jù)集上訓(xùn)練。

表3 關(guān)鍵點(diǎn)測(cè)試標(biāo)準(zhǔn)分割結(jié)果對(duì)比圖

即使僅在COCO 數(shù)據(jù)集中訓(xùn)練，在COCO 測(cè)試開(kāi)發(fā)和測(cè)試標(biāo)準(zhǔn)分割上也取得了較好的結(jié)果，超過(guò)了CMUPose團(tuán)隊(duì)［12］和最近的Mask-RCNN的方法［13］。最佳結(jié)果是使用基于SUES校園行人數(shù)據(jù)集的姿態(tài)估計(jì)器訓(xùn)練得到的，AP 評(píng)分為0.673，與CMUPose［14］的0.611測(cè)試標(biāo)準(zhǔn)分?jǐn)?shù)相比，提升了6.2%。

3.3 消融實(shí)驗(yàn)

3.3.1 行人檢測(cè)矩形框模塊消融實(shí)驗(yàn)

測(cè)試了基于Faster-RCNN 行人檢測(cè)器ResNet-101 網(wǎng)絡(luò)的倆個(gè)變體：1）使用小邊600 像素和大邊900 像素作為輸入圖像的一個(gè)600×900 變體，2）精確的800×1200 變體，使用小邊800 像素和大邊1200 像素的輸入圖像。在COCO 驗(yàn)證集中行人檢測(cè)AP 分別是0.466 和0.500。在COCO 測(cè)試集上行人檢測(cè)AP［15］分別為0.456 和0.487。向姿態(tài)估計(jì)器模塊提供真實(shí)檢測(cè)框，以便在框檢測(cè)模塊隔離的情況下檢查它的預(yù)測(cè)性能。表4中表明了在COCO 數(shù)據(jù)集或SUES 行人數(shù)據(jù)集中訓(xùn)練的姿態(tài)估計(jì)器COCO驗(yàn)證集的結(jié)果。

3.3.2 姿態(tài)估計(jì)模塊消融實(shí)驗(yàn)

為姿態(tài)估計(jì)模塊實(shí)驗(yàn)替代的CNN 設(shè)置，測(cè)試了更快的ResNet-50 或更準(zhǔn)確的ResNet-101 的CNN 網(wǎng)絡(luò)主干，同時(shí)保留ResNet-101 作為Faster-RCNN 行人矩形框檢測(cè)模塊的CNN 主干。使用兩種不同尺寸的圖像作為姿態(tài)估計(jì)的輸入［16］。表4 展示了使用SUES 行人數(shù)據(jù)集進(jìn)行姿態(tài)估計(jì)訓(xùn)練，在COCO 數(shù)據(jù)集測(cè)試和驗(yàn)證集下，關(guān)于四種不同CNN主干/裁剪圖像大小組合所展示的結(jié)果。由表可知ResNet-101 性能提高了2%，本文使用ResNet-101（353×257）姿態(tài)估計(jì)器，其磁盤(pán)半徑R=25像素。

表4 COCO數(shù)據(jù)集或SUES行人數(shù)據(jù)集中行人檢測(cè)模塊消融對(duì)比結(jié)果

表5 SUES數(shù)據(jù)集下四種不同CNN主干/裁剪圖像大小組合對(duì)比結(jié)果

3.4 行人檢測(cè)與姿態(tài)估計(jì)結(jié)果

利用本文方法從COCO 測(cè)試和驗(yàn)證數(shù)據(jù)集中隨機(jī)選擇部分圖片進(jìn)行行人檢測(cè)檢測(cè)和姿態(tài)估計(jì)。部分擁擠環(huán)境下，對(duì)于每個(gè)被檢測(cè)到的行人，顯示檢測(cè)到的邊界框和估計(jì)的關(guān)鍵點(diǎn)。對(duì)于同一個(gè)行人的所有檢測(cè)使用同樣的方式著色，同一幅圖片中的不同的行人人采取不同的方式顏色表明檢測(cè)和姿態(tài)估計(jì)結(jié)果。值得注意的是，該方法在SUES行人數(shù)據(jù)集（環(huán)境復(fù)雜，遮擋較嚴(yán)重）中，也表現(xiàn)出較好的性能。

圖6 行人姿態(tài)估計(jì)結(jié)果展示

4 結(jié)語(yǔ)

針對(duì)行人擁擠場(chǎng)景下姿態(tài)密集交叉、識(shí)別能力急劇下降等問(wèn)題，本文提出了一種有效解決擁擠場(chǎng)景下多人檢測(cè)以及姿態(tài)估計(jì)的方法。該方法主要由兩個(gè)關(guān)鍵部分組成，首先利用Faster-RCNN 行人檢測(cè)器，預(yù)測(cè)出包含行人位置和大小規(guī)模的矩形框。然后，預(yù)測(cè)每個(gè)矩形框中可能包含的行人骨骼關(guān)鍵點(diǎn)，使用全卷積ResNet 網(wǎng)絡(luò)來(lái)預(yù)測(cè)每個(gè)骨骼關(guān)鍵點(diǎn)的熱力圖和偏移量并輸出。對(duì)于擁擠狀態(tài)下的行人姿態(tài)估計(jì)也變現(xiàn)較好的性能。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在包含大量部分擁擠場(chǎng)景下的SUES 行人數(shù)據(jù)集以及COCO 數(shù)據(jù)集中，具備較強(qiáng)的魯棒性和較高的行人檢測(cè)與姿態(tài)估計(jì)準(zhǔn)確度。