許忠雄,張睿哲,石曉軍,岳貴杰,劉弋鋒*

(1. 中國(guó)電子科學(xué)研究院，北京 100041；2.電子科技大學(xué)，成都 610041；3.中國(guó)電子科技集團(tuán)有限公司，北京 100846)

0 引 言

基于計(jì)算機(jī)視覺(jué)的人體姿態(tài)估計(jì)是從單張RGB圖像上獲取人體骨點(diǎn)位置以及骨點(diǎn)之間的相互連接。人體姿態(tài)估計(jì)在智能監(jiān)控[1]、人機(jī)交互[2]以及手勢(shì)識(shí)別[3]等領(lǐng)域有著廣闊的應(yīng)用前景。然而，人體姿態(tài)估計(jì)的研究面臨許多挑戰(zhàn)，如圖像中人數(shù)通常無(wú)法預(yù)先確定，多人情況下出現(xiàn)人體相互遮擋等。隨著人數(shù)的增加，算法的運(yùn)行效率也面臨巨大的挑戰(zhàn)。在深度學(xué)習(xí)被廣泛應(yīng)用之前，圖結(jié)構(gòu)(Pictorial Structures)模型[4]被廣泛應(yīng)用于人體姿態(tài)估計(jì)，其將人體肢體視為組成人體的組件，通過(guò)人工指定的圖像特征檢測(cè)組件實(shí)現(xiàn)人體姿態(tài)估計(jì)。基于圖結(jié)構(gòu)的模型精度不高，且難以擴(kuò)展到多人姿態(tài)估計(jì)。深度學(xué)習(xí)算法的提出，給人體姿態(tài)估計(jì)提供了一種新的思路，部分研究者開(kāi)始嘗試用深度學(xué)習(xí)方法進(jìn)行多人姿態(tài)估計(jì)。目前多人姿態(tài)估計(jì)主要有兩種思路，一種是基于自頂向下的算法[5-9]，先從圖像中檢測(cè)出所有人，隨后利用單人姿態(tài)估計(jì)的方法[10-11]對(duì)所有人進(jìn)行姿態(tài)估計(jì)。自頂向下算法的缺點(diǎn)是算法運(yùn)行效率隨著人數(shù)增加而降低，且部分被遮擋的人無(wú)法被檢測(cè)，精度不高。另一種是基于自底向上的算法[12-13]，先檢測(cè)出所有人的骨點(diǎn)，再將骨點(diǎn)進(jìn)行連接形成圖，最后通過(guò)圖優(yōu)化的方法剔除錯(cuò)誤的連接，實(shí)現(xiàn)多人姿態(tài)估計(jì)。自底向上算法的優(yōu)點(diǎn)是運(yùn)行時(shí)間不隨人數(shù)增加而線性增加，更有利于實(shí)時(shí)多人姿態(tài)估計(jì)。本文多人姿態(tài)估計(jì)是基于自底向上的方法，提出一種六階段雙分支的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可同時(shí)獲得骨點(diǎn)位置以及骨點(diǎn)之間的連接置信度，有效稀疏骨點(diǎn)連接圖，提高算法運(yùn)行效率。對(duì)于骨點(diǎn)連接置信度，提出骨點(diǎn)之間的親和區(qū)域，通過(guò)在親和區(qū)域上的線性積分計(jì)算骨點(diǎn)連接置信度。

1 多人姿態(tài)估計(jì)

對(duì)于一張輸入圖像，深度神經(jīng)網(wǎng)絡(luò)同時(shí)預(yù)測(cè)出每個(gè)骨點(diǎn)的熱力圖S=(S1,S2,…,SJ)和骨點(diǎn)之間的親和區(qū)域L=(L1,L2,…,LC)。熱力圖的峰值為骨點(diǎn)的位置，骨點(diǎn)相互連接構(gòu)成二分圖，親和區(qū)域?qū)D的連接進(jìn)行稀疏，最后對(duì)二分圖進(jìn)行最優(yōu)化實(shí)現(xiàn)多人姿態(tài)估計(jì)。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示，整體網(wǎng)絡(luò)架構(gòu)為六階段雙分支，上分支負(fù)責(zé)預(yù)測(cè)骨點(diǎn)位置，下分支負(fù)責(zé)預(yù)測(cè)骨點(diǎn)之間的親和區(qū)域。前一階段的預(yù)測(cè)結(jié)果融合原有圖像特征并作為下一階段的輸入，經(jīng)過(guò)多階段的操作以提高骨點(diǎn)預(yù)測(cè)精度。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

圖像特征采用VGG-19模型進(jìn)行提取，并用符號(hào)F表示圖像特征。在第一階段，網(wǎng)絡(luò)以F作為輸入，輸出骨點(diǎn)熱力圖S1=ρ1(F)和骨點(diǎn)之間的親和區(qū)域L1=φ1(F)，其中ρ1和φ1為網(wǎng)絡(luò)的映射函數(shù)，其本質(zhì)是一系列的卷積操作。在第一階段，對(duì)于輸入特征采用3×3大小的卷積核連續(xù)進(jìn)行三次卷積，之后用1×1大小的卷積核連續(xù)進(jìn)行三次卷積。之后的階段將前一階段的預(yù)測(cè)結(jié)果和原圖像特征F進(jìn)行融合，作為當(dāng)前階段的輸入，經(jīng)過(guò)卷積操作分別預(yù)測(cè)出骨點(diǎn)熱力圖和親和區(qū)域：

St=ρt(F,St-1,Lt-1),?t≥2

(1)

Lt=φt(F,St-1,Lt-1),?t≥2

(2)

其中ρt和φt分別表示現(xiàn)階段t的卷積操作，先用大小為7×7的卷積核連續(xù)進(jìn)行五次卷積操作，之后用大小為1×1的卷積核連續(xù)兩次卷積操作，最終輸出本階段的骨點(diǎn)熱力圖和親和區(qū)域。

由于骨點(diǎn)熱力圖和親和區(qū)域本質(zhì)有所不同，因此在訓(xùn)練的時(shí)候需要分別對(duì)骨點(diǎn)位置和親和區(qū)域進(jìn)行監(jiān)督, 損失函數(shù)均采用L2損失。為了避免梯度消失現(xiàn)象發(fā)生，在每個(gè)階段的輸出都添加損失函數(shù)，起到中繼監(jiān)督作用。另外在樣本標(biāo)注的時(shí)候，會(huì)存在行人漏標(biāo)等情況對(duì)損失函數(shù)造成影響，因此需要對(duì)損失函數(shù)在各個(gè)位置進(jìn)行掩膜操作。于是，對(duì)于骨點(diǎn)位置和親和區(qū)域的損失函數(shù)形式如下：

1.2 骨點(diǎn)熱力圖

骨點(diǎn)熱力圖是衡量骨點(diǎn)在圖像某位置出現(xiàn)的置信度，由一系列二維的點(diǎn)組成，每個(gè)點(diǎn)表示骨點(diǎn)出現(xiàn)在該位置的置信度，骨點(diǎn)最終位置定義為置信度最高的位置。對(duì)于圖像中只有一個(gè)人的情況，則某一類型可見(jiàn)的骨點(diǎn)在熱力圖中只有一個(gè)峰值。對(duì)于多人情況，某一類型可見(jiàn)的骨點(diǎn)存在多個(gè)峰值，表示不同人的同一個(gè)類型骨點(diǎn)。在對(duì)樣本進(jìn)行標(biāo)注時(shí)，只需確定骨點(diǎn)的位置，則該骨點(diǎn)真值熱力圖為在該點(diǎn)處放置一個(gè)固定方差的高斯核，用高斯函數(shù)確定各個(gè)位置的置信度。對(duì)于第k個(gè)人的第j個(gè)骨點(diǎn)，以xj,k表示骨點(diǎn)的實(shí)際位置，則該骨點(diǎn)周圍的像素點(diǎn)的置信值為：

其中標(biāo)準(zhǔn)差σ控制了置信值的分布范圍。對(duì)于一張存在多人的圖像，每個(gè)人特定骨點(diǎn)的實(shí)際熱力圖為取得高斯核范圍內(nèi)的最大值：

1.3 骨點(diǎn)親和區(qū)域

如圖2所示，骨點(diǎn)親和區(qū)域由一系列單位向量組成，每一段肢體對(duì)應(yīng)一個(gè)親和區(qū)域，位于肢體上的像素點(diǎn)都由一個(gè)單位向量進(jìn)行表示，包含了位置和方向信息，所有在肢體上的單位向量構(gòu)成親和區(qū)域。

圖2 骨點(diǎn)親和區(qū)域

圖3 肢體示意圖

(8)

其中v=(xj2,k-xj1,k)/‖xj2,k-xj1,k‖2表示單位向量，親和區(qū)域被定義在肢體線段上的所有單位向量：

(9)

其中σl為距離閾值，單位為像素；lc,k=‖xj2,k-xj1,k‖2為整個(gè)肢體的長(zhǎng)度；v⊥為垂直于肢體的向量。肢體重疊的親和區(qū)域表示為：

其中nc(p)為在位置p處不同人的親和區(qū)域在該處的疊加次數(shù)，即在該處將所有人的非零向量進(jìn)行疊加。

在網(wǎng)絡(luò)推理測(cè)試階段，任意兩個(gè)骨點(diǎn)之間的關(guān)聯(lián)置信度是通過(guò)在兩點(diǎn)之間對(duì)親和區(qū)域進(jìn)行線性積分得到的。對(duì)于兩個(gè)骨點(diǎn)位置dj1和dj2，在兩骨點(diǎn)組成的線段上對(duì)親和區(qū)域Lc進(jìn)行采樣，則兩骨點(diǎn)之間的關(guān)聯(lián)置信度為在該線段上親和區(qū)域的積分：

其中p(u)為在兩個(gè)節(jié)點(diǎn)dj1和dj2之間的插值：

p(u)=(1-u)dj1+udj2

(12)

1.4 二分圖優(yōu)化

經(jīng)過(guò)網(wǎng)絡(luò)推理，得到骨點(diǎn)熱力圖以及骨點(diǎn)之間的親和區(qū)域，對(duì)熱力圖采取非極大值抑制得到一系列候選骨點(diǎn)。由于多人或者錯(cuò)誤檢測(cè)，對(duì)于每一類型的骨點(diǎn)會(huì)存在多個(gè)候選骨點(diǎn)。這些候選骨點(diǎn)之間的連接構(gòu)成二分圖，每?jī)蓚€(gè)骨點(diǎn)之間的連接置信度通過(guò)式(11)線積分計(jì)算得到。為二分圖找到最優(yōu)的稀疏性是NP-Hard問(wèn)題。

約束條件：

圖4 多人姿態(tài)估計(jì)求解

擴(kuò)展到多人所有骨點(diǎn)的最優(yōu)化問(wèn)題，即定義Z為K維匹配問(wèn)題，這是一個(gè)NP-hard問(wèn)題，為了提高最優(yōu)化效率，如圖4所示，本文采用兩種方法降低二分圖優(yōu)化算法的復(fù)雜度。首先，如圖4(c)所示，剔除跨骨點(diǎn)之間的連接構(gòu)成稀疏二分圖，代替圖4(b)所示的全連接二分圖；然后根據(jù)肢體將稀疏后的二分圖拆解得到圖4(d)所示的多個(gè)簡(jiǎn)化二分圖。因此，整體優(yōu)化問(wèn)題轉(zhuǎn)化為對(duì)各個(gè)簡(jiǎn)化后的二分圖進(jìn)行最優(yōu)化。而最優(yōu)化的目標(biāo)函數(shù)為所有簡(jiǎn)化二分圖的權(quán)重之和達(dá)到最大：

優(yōu)化之后將各個(gè)簡(jiǎn)化二分圖中共同的骨點(diǎn)進(jìn)行整合得到最終多人人體姿態(tài)估計(jì)。這樣做的優(yōu)點(diǎn)是將NP-hard問(wèn)題轉(zhuǎn)化為多個(gè)較容易求解的二分圖最優(yōu)化，可以有效逼近全局最優(yōu)解，同時(shí)降低算法復(fù)雜度，提高算法的運(yùn)行效率，達(dá)到實(shí)時(shí)多人姿態(tài)估計(jì)的目的。

2 實(shí)驗(yàn)分析

2.1 精度評(píng)價(jià)

對(duì)于骨點(diǎn)預(yù)測(cè)精度，將本文所提的六階段雙分支網(wǎng)絡(luò)與現(xiàn)有基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法進(jìn)行對(duì)比，圖像尺寸縮小至654×368輸入到各個(gè)算法，對(duì)人體上半身7個(gè)骨點(diǎn)通過(guò)不同的高斯核標(biāo)準(zhǔn)差計(jì)算平均OKS值[15]，得到如圖5所示的對(duì)比結(jié)果，由圖可知本文所提的方法骨點(diǎn)預(yù)測(cè)精度略高于其他算法，與DeeperCut[12]和ArtTrac[16]的精度相近。取標(biāo)準(zhǔn)差為1時(shí)對(duì)7個(gè)骨點(diǎn)的預(yù)測(cè)精度進(jìn)行量化對(duì)比，得到如表1所示。從表中可知本文所使用的網(wǎng)絡(luò)結(jié)構(gòu)有5個(gè)骨點(diǎn)的預(yù)測(cè)精度要優(yōu)于DeepCut[13]、DeeperCut和ArtTrack。運(yùn)行效率方面，在輸入圖像為654×368的情況下，本文所使用的網(wǎng)絡(luò)每幀耗時(shí)5毫秒，而DeepCut和DeeperCut達(dá)到秒級(jí)，ArtTrack在150毫秒。

圖5 骨點(diǎn)精度對(duì)比圖

2.2 運(yùn)行效率

實(shí)驗(yàn)所使用的顯卡為NVIDIA TITAN XP，CPU為Intel i7-6900K。圖像大小為1920×1080，通過(guò)下采樣方法額外獲得1280×720和720×480兩個(gè)低分辨率的視頻。首先分析運(yùn)行效率與人數(shù)的關(guān)系，在相同視頻流和相同分辨情況下，計(jì)算自頂向下與自底向上運(yùn)行時(shí)間與人數(shù)關(guān)系，計(jì)算結(jié)果如圖6所示。由圖可知，自頂向下隨著人數(shù)的增加耗時(shí)幾乎呈線性增加，而自底向上的運(yùn)行耗時(shí)幾乎不隨人數(shù)增加而遞增。卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)骨點(diǎn)的耗時(shí)也幾乎不隨人數(shù)增加而增加。因此本文所使用的自底向上算法的運(yùn)行效率不受行人數(shù)量的影響，對(duì)人數(shù)不確定的情況依然可以實(shí)時(shí)進(jìn)行多人姿態(tài)估計(jì)。

表1 各個(gè)骨點(diǎn)預(yù)測(cè)平均準(zhǔn)確率

圖6 運(yùn)行耗時(shí)

最后，對(duì)三種分辨率視頻采用兩種不同方法進(jìn)行耗時(shí)分析，結(jié)果如表2所示，隨著分辨率的降低，處理速度越來(lái)越快。若對(duì)視頻所有幀都進(jìn)行骨點(diǎn)檢測(cè)，在最高分辨率情況下每秒可處理23幀，人眼感覺(jué)不到卡頓，基本達(dá)到實(shí)時(shí)。如果采用間隔檢測(cè)結(jié)合跟蹤，幀率可提高十幾幀，完全達(dá)到實(shí)時(shí)要求。

表2 不同分辨率運(yùn)行效率對(duì)比

3 結(jié) 語(yǔ)

針對(duì)現(xiàn)有人體姿態(tài)估計(jì)算法無(wú)法滿足實(shí)時(shí)的要求，提出一種實(shí)時(shí)多人體姿態(tài)估計(jì)與跟蹤方法。通過(guò)實(shí)驗(yàn)對(duì)比，本文提出的六階段雙分支網(wǎng)絡(luò)結(jié)構(gòu)在骨點(diǎn)預(yù)測(cè)精度上略高于現(xiàn)有基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法。算法運(yùn)行效率方面，由于網(wǎng)絡(luò)同時(shí)預(yù)測(cè)出骨點(diǎn)位置和骨點(diǎn)之間的空間關(guān)系，為多人姿態(tài)估計(jì)算法提供更加稀疏的二分圖，降低二分圖優(yōu)化復(fù)雜度達(dá)到實(shí)時(shí)的效果。目前算法估計(jì)出來(lái)的人體骨點(diǎn)和姿勢(shì)仍處在二維平面，實(shí)際應(yīng)用時(shí)局限性大，為了擴(kuò)大實(shí)際應(yīng)用，今后的研究目標(biāo)是單張圖像人體三維姿態(tài)估計(jì)。