楊彬，李和平，曾慧，*

（1.北京科技大學(xué) 自動化學(xué)院，北京100083； 2.北京市工業(yè)波譜成像工程技術(shù)研究中心，北京100083；3.中國科學(xué)院自動化研究所，北京100190）

人體姿態(tài)估計(jì)是指還原給定圖片或者視頻中人體關(guān)節(jié)點(diǎn)位置的過程，其對于描述人體姿態(tài)，預(yù)測人體行為起到至關(guān)重要的作用。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人體姿態(tài)估計(jì)越來越廣泛地運(yùn)用到計(jì)算機(jī)視覺的各個領(lǐng)域之中，例如人機(jī)交互、行為識別以及智能監(jiān)控等等。現(xiàn)如今，二維人體姿態(tài)估計(jì)算法的日漸成熟，三維的人體姿態(tài)估計(jì)開始受到更多研究者的關(guān)注，其在二維姿態(tài)估計(jì)的基礎(chǔ)上加入了深度信息，這也進(jìn)一步擴(kuò)大了姿態(tài)估計(jì)的應(yīng)用場景。早期的研究過多關(guān)注于利用人體的幾何約束為主要特征來估計(jì)三維人體姿態(tài)［1-3］，例如使用梯度方向直方圖以及層次物體識別模型提取特征來對三維姿態(tài)進(jìn)行預(yù)測，這種方法保證了輸出結(jié)果的合理性，不過由于不同個體之間存在差異，往往難以獲得精確的結(jié)果。當(dāng)前的研究算法大多通過單幅RGB圖像［4-8］以及利用已知二維姿態(tài)方法［9-15］來恢復(fù)人體的三維姿態(tài)，前者將姿態(tài)估計(jì)由回歸問題轉(zhuǎn)化為在離散空間中定位關(guān)節(jié)點(diǎn)位置的問題，取得了不錯的效果，但其一定程度上會因遮擋等環(huán)境因素而導(dǎo)致檢測性能下降。使用二維姿態(tài)恢復(fù)的方法則是尋找由二維關(guān)節(jié)點(diǎn)向三維空間的映射［16-17］，這種方法相比其他方法更為直接，且最終的檢測結(jié)果往往依賴于二維關(guān)節(jié)點(diǎn)坐標(biāo)是否精確。

以上研究算法大多建立在對單幀圖像進(jìn)行分析的基礎(chǔ)上，而現(xiàn)實(shí)生活中更多的數(shù)據(jù)源來自于視頻輸入，視頻作為多幀連續(xù)圖像的組合，包含了更為復(fù)雜的時(shí)序信息。而基于單幀圖像進(jìn)行估計(jì)一定程度上會導(dǎo)致相鄰幀的檢測結(jié)果存在巨大差異，因此，基于視頻的三維人體姿態(tài)估計(jì)比單幀圖像檢測具有更大的挑戰(zhàn)。在時(shí)序分析領(lǐng)域，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）一直因其善于處理序列化數(shù)據(jù)而有著廣泛地應(yīng)用，英國著名的人工智能公司Deep Mind于2016年提出的WaveNet［18］通用模型證明一維的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）同樣對序列化數(shù)據(jù)特征有著良好的提取能力，另外與RNN相比不容易受到梯度消失和爆炸的影響而且有著更為簡單的網(wǎng)絡(luò)結(jié)構(gòu)。因此以一維卷積為基礎(chǔ)設(shè)計(jì)深層網(wǎng)絡(luò)來挖掘分析視頻中的時(shí)序信息可能會具有更加突出的作用。

本文受到上述啟發(fā)，構(gòu)建了一種以視頻中人體二維關(guān)節(jié)點(diǎn)坐標(biāo)作為輸入恢復(fù)得到三維人體姿態(tài)的算法，主要貢獻(xiàn)概括如下：基于一維卷積對時(shí)序信息的提取能力，設(shè)計(jì)了一種高效網(wǎng)絡(luò)，對視頻中的三維人體姿態(tài)實(shí)現(xiàn)了準(zhǔn)確的估計(jì)。深入研究視頻相鄰幀之間視覺信息的連續(xù)性，提出了一種新的損失函數(shù)，改進(jìn)姿態(tài)估計(jì)結(jié)果的平滑性和有效性。最后在特定數(shù)據(jù)集上進(jìn)行試驗(yàn)并對比分析，充分驗(yàn)證了本文方法對視頻中的三維人體姿態(tài)估計(jì)的有效性，研究成果也為一些實(shí)際應(yīng)用提供了技術(shù)支持。

1 三維姿態(tài)估計(jì)

1.1 方法概述

直覺上，二維關(guān)節(jié)點(diǎn)坐標(biāo)向三維空間的映射可能會因缺少深度信息而導(dǎo)致錯誤姿態(tài)，不過Martinez等［16］提出的基準(zhǔn)方法證明了使用網(wǎng)絡(luò)實(shí)現(xiàn)二維關(guān)節(jié)點(diǎn)恢復(fù)三維姿態(tài)是完全可行的，網(wǎng)絡(luò)能夠很好地依據(jù)關(guān)節(jié)相對位置來預(yù)測深度信息和連接關(guān)系。因此本文設(shè)計(jì)了一種以連續(xù)二維關(guān)節(jié)點(diǎn)坐標(biāo)序列為輸入恢復(fù)視頻相關(guān)三維人體姿態(tài)的方法，如圖1所示。二維關(guān)節(jié)點(diǎn)坐標(biāo)直接由數(shù)據(jù)集的標(biāo)注得到，除此之外，還可以通過將單幀圖像送入二維姿態(tài)檢測器得到人體二維關(guān)節(jié)點(diǎn)坐標(biāo)，本文方法可以與目前許多高精度二維姿態(tài)檢測器相結(jié)合，實(shí)現(xiàn)對于任意圖像或視頻輸入，都能夠準(zhǔn)確恢復(fù)人體的三維姿態(tài)。之后對得到的二維關(guān)節(jié)點(diǎn)坐標(biāo)序列進(jìn)行歸一化處理，加快網(wǎng)絡(luò)收斂速度。最后將處理過的序列數(shù)據(jù)送入三維姿態(tài)估計(jì)網(wǎng)絡(luò)，訓(xùn)練時(shí)網(wǎng)絡(luò)會生成與序列數(shù)據(jù)相同數(shù)目的姿態(tài)，測試時(shí)本文只取中間一幀的姿態(tài)作為輸出，因此輸入二維關(guān)節(jié)點(diǎn)坐標(biāo)序列的數(shù)目應(yīng)為奇數(shù)。

1.2 三維姿態(tài)估計(jì)網(wǎng)絡(luò)

圖1 三維姿態(tài)生成過程Fig.1 Generation process of three-dimensional pose

三維姿態(tài)估計(jì)網(wǎng)絡(luò)主要由4個具有相同結(jié)構(gòu)的殘差網(wǎng)絡(luò)模塊進(jìn)行串聯(lián)組成，除輸入輸出外，第一層的3×1卷積和最后一層的1×1卷積分別用于將輸入維度進(jìn)行擴(kuò)展以增加網(wǎng)絡(luò)寬度和將維度降至輸出維度。殘差網(wǎng)絡(luò)模塊由卷積層、Batch-Normal（BN）層、ReLU層以及殘差連接組成。

1）卷積層。殘差網(wǎng)絡(luò)模塊在卷積層主要使用3×1的一維卷積和卷積核大小為1×1的點(diǎn)卷積，一維卷積通過卷積核的滑動來提取時(shí)間序列上的信息，點(diǎn)卷積主要用于改變特征的維度以此來對同維度的特征進(jìn)行信息融合。

2）BN層。神經(jīng)網(wǎng)絡(luò)各層的輸出由于經(jīng)過層內(nèi)操作，其數(shù)據(jù)分布顯然會與對應(yīng)層的輸入不同，并且差異會隨著網(wǎng)絡(luò)層的堆疊而逐漸增大，而BN層主要用于對每層的輸入進(jìn)行規(guī)范化，用于解決數(shù)據(jù)分布不均而導(dǎo)致的訓(xùn)練深層網(wǎng)絡(luò)模型困難的問題。BN層一定程度上起到了正則化的作用，使得訓(xùn)練過程中能夠使用較高的學(xué)習(xí)速率，更加隨意的對參數(shù)進(jìn)行初始化，加快訓(xùn)練速度，提高網(wǎng)絡(luò)的泛化性能。

3）ReLU層。ReLU層是一個非線性的激活單元，主要用于增加網(wǎng)絡(luò)的非線性特征，其單側(cè)抑制特性使得一部分神經(jīng)元的輸出為0，增加稀疏性，減少了參數(shù)間的相互依存關(guān)系，緩解了過擬合問題的發(fā)生。

4）網(wǎng)絡(luò)還借鑒了ResNet［19］網(wǎng)絡(luò)結(jié)構(gòu)中殘差連接的思想，將輸出表述為輸入和輸入的一個非線性變換的線性疊加，使得各個層級提取到的特征可以隨意進(jìn)行組合，保證特征在網(wǎng)絡(luò)中的傳遞，三維姿態(tài)估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

對網(wǎng)絡(luò)的設(shè)計(jì)不僅要求模型結(jié)構(gòu)有著良好的性能，還要考慮實(shí)際應(yīng)用中網(wǎng)絡(luò)運(yùn)行所需要的存儲空間以及計(jì)算資源。網(wǎng)絡(luò)模型的空間復(fù)雜度主要指的是參數(shù)的個數(shù)，其中ReLU層作為激活單元并沒有需要學(xué)習(xí)的參數(shù)，單個BatchNormal層也僅有2個可以學(xué)習(xí)的參數(shù)，因此網(wǎng)絡(luò)模型占用的空間大小近似等于所有卷積層的參數(shù)量之和，網(wǎng)絡(luò)模型的時(shí)間復(fù)雜度主要通過浮點(diǎn)運(yùn)算次數(shù)（FLoating-Point Operations，F(xiàn)LOPs）來衡量。使用連續(xù)9幀圖像中人體關(guān)節(jié)點(diǎn)二維坐標(biāo)為輸入，計(jì)算不同數(shù)目的殘差模塊對于參數(shù)個數(shù)以及計(jì)算資源的消耗，并比較最終的測試誤差。

由表1可得，在4個殘差模塊的使用下得到了最優(yōu)結(jié)果，此后隨著網(wǎng)絡(luò)的進(jìn)一步加深，出現(xiàn)了過擬合現(xiàn)象，平均測試誤差開始增加，后續(xù)實(shí)驗(yàn)也采用4個殘差模塊的網(wǎng)絡(luò)結(jié)構(gòu)與其他方法進(jìn)行對比分析。本文設(shè)計(jì)的輕量級網(wǎng)絡(luò)模型實(shí)現(xiàn)了對三維人體姿態(tài)準(zhǔn)確高效的估計(jì)，在有效減少參數(shù)的同時(shí)也具有極快的處理速度，能夠更好地應(yīng)用在各種硬件設(shè)備中。

圖2 三維姿態(tài)重建網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Three-dimensional pose reconstruction network structure

表1 網(wǎng)絡(luò)模型參數(shù)量Table 1 Par ameter number of networ k model

2 相似姿態(tài)位移約束損失函數(shù)

本文網(wǎng)絡(luò)主要是利用已有的數(shù)據(jù)，取連續(xù)幀的二維關(guān)節(jié)點(diǎn)坐標(biāo)作為輸入，對人體關(guān)節(jié)點(diǎn)坐標(biāo)從二維到三維空間的映射進(jìn)行有監(jiān)督學(xué)習(xí)并最終輸出人體三維關(guān)節(jié)點(diǎn)的坐標(biāo)，其本質(zhì)上是一個回歸問題。網(wǎng)絡(luò)優(yōu)化的目標(biāo)是使得預(yù)測得到的三維關(guān)節(jié)點(diǎn)的坐標(biāo)與真值之間的差值最小，因此首先定義姿態(tài)距離（Pose Distance，PD）的損失函數(shù)：

式中：T為同時(shí)輸入網(wǎng)絡(luò)連續(xù)幀關(guān)節(jié)點(diǎn)的數(shù)目；N為人體關(guān)節(jié)點(diǎn)的數(shù)目，在實(shí)驗(yàn)中N=17表示Euclidean范數(shù)，通過使用預(yù)測值與真值的歐氏距離作為衡量關(guān)節(jié)點(diǎn)之間差異的標(biāo)準(zhǔn)；（pred）和（gt）分別表示輸入第t幀圖像中第i個關(guān)節(jié)點(diǎn)的三維坐標(biāo)預(yù)測值和真實(shí)值。

視頻數(shù)據(jù)承載的信息不僅僅存在于單幀圖像中，其更多的語義信息會通過連續(xù)幀來表達(dá)，而傳統(tǒng)的視頻姿態(tài)估計(jì)算法大多基于單幀圖像，然后將結(jié)果整合為視頻輸出，無法充分利用視頻的時(shí)空結(jié)構(gòu)特性，往往存在輸出不連續(xù)等問題。本文隨機(jī)選取任意視頻序列進(jìn)行分析，并通過計(jì)算兩個姿態(tài)間各個關(guān)節(jié)點(diǎn)之間的歐氏距離之和作為姿態(tài)差異，將實(shí)驗(yàn)結(jié)果取平均，根據(jù)圖3可以得出同一視頻段中姿態(tài)差異隨序列增加近似呈線性增長，且相鄰幀保持著微小的差異，通過網(wǎng)絡(luò)訓(xùn)練來學(xué)習(xí)這一特性，可以使網(wǎng)絡(luò)能夠依據(jù)當(dāng)前時(shí)刻的輸入預(yù)測下一時(shí)刻的輸出，同時(shí)也保證后一幀的姿態(tài)預(yù)測結(jié)果與前一幀相比能夠近似一致，以此來增加視頻中姿態(tài)估計(jì)的準(zhǔn)確性和平滑性。

民俗學(xué)是一門面向?qū)嵺`的學(xué)問，這其中包含兩個層面的意思：一是研究者要關(guān)注民眾的生活實(shí)踐；二是研究成果要對民眾實(shí)踐有所助益。其中，研究成果對民眾有所助益是民俗學(xué)最樸實(shí)的初衷，是民俗學(xué)者的初心之所在。與其他社會科學(xué)不同，民俗學(xué)特別強(qiáng)調(diào)了解民眾理解民眾，擁有比別的學(xué)科更多的了解老百姓的知識，這是民俗學(xué)者的優(yōu)勢，也是民俗學(xué)的長處。換句話說，我們民俗學(xué)者不局限于一時(shí)一地的民眾知識，我們通過田野調(diào)查掌握了很多地方老百姓的知識，掌握了不同階層、不同職業(yè)、不同修養(yǎng)的各種人群的知識，最終是為了更好地為他們服務(wù)，實(shí)踐民俗學(xué)更是要強(qiáng)調(diào)這種服務(wù)民眾的特殊責(zé)任。

圖3 相鄰幀姿態(tài)差異Fig.3 Pose difference between adjacent frames

基于上述分析，本文設(shè)計(jì)一種名為相似姿態(tài)位 移 約 束（Similar Pose Displacement Constraint，SPDC）的損失函數(shù)來學(xué)習(xí)視頻中的人體姿態(tài)在時(shí)間維度上的連續(xù)性，計(jì)算公式為

式中：α和λ分別為姿態(tài)距離損失函數(shù)以及相似姿態(tài)位移約束損失函數(shù)的權(quán)重比，本文以姿態(tài)距離損失函數(shù)為主要的優(yōu)化目標(biāo)，使輸出的每個關(guān)節(jié)點(diǎn)坐標(biāo)值都盡可能地回歸到真值附近，并輔以相似姿態(tài)位移約束損失函數(shù)來充分學(xué)習(xí)相鄰幀的近似一致性，增加檢測結(jié)果的平滑性。對α和λ的選取規(guī)則應(yīng)該是α大于λ，經(jīng)過多次實(shí)驗(yàn)對比，本文選取α=5以及λ=1作為最優(yōu)的權(quán)重比，最終的損失函數(shù)為兩種不同損失函數(shù)的加權(quán)和。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了對本文方法的性能進(jìn)行評價(jià)，在三維人體姿態(tài)數(shù)據(jù)集Human3.6M［20］上進(jìn)行了實(shí)驗(yàn)，Human3.6M是目前為止最大也是使用最為廣泛的三維人體姿態(tài)估計(jì)數(shù)據(jù)集，其主要由7位實(shí)驗(yàn)者在4個不同視角下使用高清攝像機(jī)精確捕捉的360萬個三維人體姿態(tài)組成，視頻的幀率為50 Hz，分辨率大小為1 000×1 000。數(shù)據(jù)集被分割為11個子類別，其中7個類別包含了三維關(guān)節(jié)點(diǎn)標(biāo)注，而且還使用相機(jī)參數(shù)對三維姿態(tài)的關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行投影，并獲得準(zhǔn)確的二維姿態(tài)信息，每個類別中都包括走路、打招呼等15個生活中常見動作。

3.2 實(shí)驗(yàn)細(xì)節(jié)和評價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)過程中，使用Human3.6M 提供的二維關(guān)節(jié)點(diǎn)坐標(biāo)，選取某幀前后數(shù)目相等的二維關(guān)節(jié)點(diǎn)坐標(biāo)序列作為輸入，訓(xùn)練時(shí)為了保證視頻起始端和末端完整性，對輸入數(shù)據(jù)采取邊緣填充操作，根據(jù)輸入連續(xù)幀數(shù)目對起始幀和結(jié)束幀的二維關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行復(fù)制并填充。此外，本文還對輸入的二維關(guān)節(jié)點(diǎn)坐標(biāo)根據(jù)圖像大小進(jìn)行歸一化處理。訓(xùn)練時(shí)采用Adam優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.001，批處理大小為1024，權(quán)重衰減參數(shù)設(shè)為0.000 65，對整個數(shù)據(jù)集迭代50次。

實(shí) 驗(yàn) 使 用 NVIDIA GTX1060 顯 卡，64 位Ubuntu系統(tǒng)，Intel i7-6700型號CPU，并Python3.5環(huán)境配置下使用開源深度學(xué)習(xí)框架Pytorch對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。使用平均關(guān)節(jié)位置誤差（Mean PerJoint Position Error，MPJPE）作為評價(jià)標(biāo)準(zhǔn)，即計(jì)算網(wǎng)絡(luò)預(yù)測得到的關(guān)節(jié)點(diǎn)坐標(biāo)與真實(shí)標(biāo)簽17個人體關(guān)節(jié)點(diǎn)坐標(biāo)之間歐氏距離的平均值。為了與其他實(shí)驗(yàn)方法進(jìn)行公平比較，根據(jù)協(xié)議使用Human3.6M 中的S1、S5、S6、S7、S8子數(shù)據(jù)集用于訓(xùn)練，S9、S11數(shù)據(jù)集用于測試。

3.3 實(shí)驗(yàn)結(jié)果與分析

三維人體姿態(tài)估計(jì)結(jié)果如圖4所示，每25幀連續(xù)圖像的二維關(guān)節(jié)點(diǎn)坐標(biāo)作為輸入，采用4個殘差模塊網(wǎng)絡(luò)結(jié)構(gòu)的條件下，得到了最佳的實(shí)驗(yàn)結(jié)果。

圖4 三維姿態(tài)估計(jì)結(jié)果Fig.4 Three-dimensional pose estimation results

對于不同數(shù)目連續(xù)幀輸入的實(shí)驗(yàn)分析如圖5所示，當(dāng)輸入序列長度大于25以后，模型的性能開始下降，平均誤差開始增加，推測原因可能因?yàn)楫?dāng)前幀的檢測結(jié)果只與相鄰幾幀呈高度相關(guān)性，其余幀的存在會帶來更多的冗余信息。而且由于輸入維度的增加，網(wǎng)絡(luò)前向傳播所需的時(shí)間也會成倍增加。

表2 各種三維姿態(tài)誤差Table 2 Various three-dimensional pose errors

圖5 不同輸入序列下的平均誤差Fig.5 Average errors in different input sequences

接下來對本文設(shè)計(jì)的網(wǎng)絡(luò)各個部分進(jìn)行深入分析，表3給出了不同的網(wǎng)絡(luò)設(shè)計(jì)對最終測試誤差的影響。Dropout［22］正則化是最簡單的網(wǎng)絡(luò)正則化方法：通過任意丟棄網(wǎng)絡(luò)層中的參數(shù)來減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系，迫使網(wǎng)絡(luò)去學(xué)習(xí)更加魯棒的特征，緩解過擬合的發(fā)生，起到正則化的作用。然而加入Dropout反而增加了大約10 mm的誤差，分析原因，可能由于Dropout隨機(jī)刪除卷積層參數(shù)，破壞了一維卷積提取時(shí)序信息的連續(xù)特征過程。與此同時(shí)，BN層的加入減少了14.9 mm的測試誤差，大幅提高了網(wǎng)絡(luò)的泛化性能。另外，殘差連接的設(shè)計(jì)也為本文的網(wǎng)絡(luò)帶來了0.6 mm誤差的減小。

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)測試誤差Table 3 Testing err ors of different network structures

最后分析本文所提出的損失函數(shù)對于網(wǎng)絡(luò)性能的影響，具體方法為同時(shí)訓(xùn)練加入和不加入SPDC損失函數(shù)的網(wǎng)絡(luò)，損失函數(shù)曲線如圖6所示。由圖6可見，在訓(xùn)練初期，隨著三維點(diǎn)坐標(biāo)回歸的逐漸精確，兩個網(wǎng)絡(luò)的相似姿態(tài)位移差異同時(shí)減小，但加入SPDC損失函數(shù)的網(wǎng)絡(luò)下降幅度更大。在繼續(xù)迭代的過程中，加入SPDC損失函數(shù)網(wǎng)絡(luò)的相似姿態(tài)位移差異進(jìn)一步減小且具有更小的震蕩幅度，這說明SPDC損失函數(shù)的加入使得網(wǎng)絡(luò)很好地學(xué)習(xí)了視頻幀間的連續(xù)性，增加了視頻三維姿態(tài)估計(jì)輸出的平滑性，另外，SPDC損失函數(shù)的加入最終減少了網(wǎng)絡(luò)0.8 mm的誤差，進(jìn)一步提高了估計(jì)結(jié)果的準(zhǔn)確性。

圖6 損失曲線對比Fig.6 Loss curves comparison

4 結(jié) 論

本文結(jié)合用于提取時(shí)序信息的一維卷積神經(jīng)網(wǎng)絡(luò)，提出了一種基于視頻的三維人體姿態(tài)估計(jì)方法。研究結(jié)論如下：

1）本文方法能夠以連續(xù)幀圖像中人體二維關(guān)鍵點(diǎn)坐標(biāo)作為輸入，將已有的二維姿態(tài)準(zhǔn)確地映射到三維空間中。

2）針對幀間信息缺失的情況，本文又設(shè)計(jì)了一種新的損失函數(shù)，對幀間的近似一致性進(jìn)行學(xué)習(xí)，充分利用視頻時(shí)間維度上的相關(guān)性來估計(jì)視頻中的三維人體姿態(tài)。

3）實(shí)驗(yàn)表明，基于連續(xù)幀輸入的姿態(tài)重建網(wǎng)絡(luò)具有一定的合理性，并且本文方法可以與二維姿態(tài)檢測器相結(jié)合，具有一定的魯棒性。

下一步的主要研究工作是將本文方法與二維姿態(tài)估計(jì)任務(wù)相結(jié)合，設(shè)計(jì)通用的框架同時(shí)對二維和三維的人體姿態(tài)進(jìn)行估計(jì)，并利用三維的姿態(tài)估計(jì)結(jié)果對二維的輸出進(jìn)行優(yōu)化。