胡思翔 孟 偉

（廣東工業(yè)大學(xué) 自動化學(xué)院，廣東 廣州510006）

1 概述

動作捕捉技術(shù)在影視行業(yè)中的使用比較成熟和普遍，捕捉系統(tǒng)把專業(yè)演員的動作數(shù)據(jù)捕捉下來并做特定處理后，再與影視作品中的角色模型綁定，可以得到三維虛擬動畫。目前使用的姿態(tài)捕捉系統(tǒng)主要分為傳感器捕捉和光學(xué)捕捉兩大類。前者使用更為成熟，其特點是傳輸速度快、獲得的姿態(tài)數(shù)據(jù)更準(zhǔn)確，缺點是成本較高、而且穿戴設(shè)備使用起來不太方便。相比之下光學(xué)捕捉剛好相反，光學(xué)捕捉也有兩種：無標(biāo)記的和有標(biāo)記的。本文的研究對象是無標(biāo)記的捕捉系統(tǒng)，即普通的2D 圖像或視頻作為輸入，用目標(biāo)檢測和特征提取的方法來捕捉人體的關(guān)節(jié)點數(shù)據(jù)[1]。雖然因其性能不穩(wěn)定還沒有廣泛使用，但是其易用性、靈活性和低成本等優(yōu)勢是不應(yīng)被忽略的。

人體姿態(tài)估計是計算機(jī)視覺中一個重要且具有挑戰(zhàn)性的任務(wù)，長久以來都受到關(guān)注。近幾年國內(nèi)外的眾多學(xué)者提出了相當(dāng)可觀的卷積神經(jīng)網(wǎng)絡(luò)模型和其他輔助方法來進(jìn)行人體姿態(tài)估計，涵蓋了單人到多人，二維到三維，圖片到視頻[2]。不過人體姿態(tài)是一個復(fù)雜的非線性模型，環(huán)境噪聲、遮擋、空間深度歧義性是這一任務(wù)的主要阻礙。如果輸入對象是視頻數(shù)據(jù)，要輸出幀率高、平滑穩(wěn)定的姿態(tài)也是一個難點。現(xiàn)有的方法多是基于圖像的三維姿態(tài)估計[3]，或者是對于單人視頻的估計[4]。實際的動作捕捉應(yīng)用對象很多時候面對的是多人場景，而且角色必須要與虛擬的物理空間有所接觸，因此我們提出從視頻中的三維多人估計模型，以滿足實際需求。

圖1 本文提出基于矯正單元的多人動作捕捉網(wǎng)絡(luò)結(jié)構(gòu)原理圖。輸入是二維RGB視頻，在每秒9 幀的幀率下可以穩(wěn)定輸出三維姿態(tài)，經(jīng)過數(shù)據(jù)格式變換和綁定，最后可以得到三維動畫

三維姿態(tài)估計一般分為兩種：一種是回歸式——直接從二維數(shù)據(jù)里回歸關(guān)節(jié)點的三維坐標(biāo)，這要求數(shù)據(jù)要有三維標(biāo)注，這往往難以獲得。另一種是提升式[5]——先獲取二維的姿態(tài)，然后在二維的基礎(chǔ)上訓(xùn)練一種映射方法提升到三維空間。本文的工作將圍繞提升式展開，目前的二維估計方法比較成熟，我們將重點放在三維估計的實現(xiàn)特別是多人目標(biāo)上。時域卷積充分利用視頻流不同時間點的關(guān)鍵信息來推斷三維姿態(tài)，將人體關(guān)鍵點連接關(guān)系看作圖結(jié)構(gòu)是實現(xiàn)圖卷積的先決條件，然后可以從全局和局部共同提取骨骼的三維關(guān)系。之前的方法將重點放在對像素空間的特征學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練上，沒有很好利用人體運(yùn)動學(xué)、空間物理關(guān)系、人體拓?fù)浣Y(jié)構(gòu)等先驗信息[6]，對于單目三維姿態(tài)推測僅僅依靠神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是不夠的。從一些模型的實際使用中會發(fā)現(xiàn)多目標(biāo)的空間相對位置錯誤、與地面接觸有穿透和騰空、姿態(tài)不自然的傾斜和相互遮擋等一些常見問題。因此本文針對上述問題提出在時域圖卷積神經(jīng)網(wǎng)絡(luò)模型下的校正單元，利用人體運(yùn)動先驗知識輔助網(wǎng)絡(luò)的訓(xùn)練，提高姿態(tài)捕捉的準(zhǔn)確性。將輸出的三維姿態(tài)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，可以導(dǎo)入到三維動畫設(shè)計軟件中與各種虛擬角色模型綁定，最后實現(xiàn)簡便高效的捕捉系統(tǒng)，模型結(jié)構(gòu)設(shè)計如圖1。

2 多人三維估計網(wǎng)絡(luò)

目前的單人三維估計和多人二維估計方法比較成熟，而多人三維估計還有諸多挑戰(zhàn)。文獻(xiàn)[7]提出多視角的方法，雖然有良好的效果，但是需要專門的數(shù)據(jù)集，而且難以從日常場景中采集數(shù)據(jù)。本文立足于單目視頻數(shù)據(jù)，以更低成本實現(xiàn)多人動作捕捉。當(dāng)前時域卷積和圖卷積是實現(xiàn)姿態(tài)估計的兩種重要方法，結(jié)合這兩種方法的優(yōu)點也成為了熱門的研究方向[8]。真實世界中不同目標(biāo)距離相機(jī)遠(yuǎn)近各不同，反映在圖像中就是目標(biāo)所占像素不同，因此需要從二維空間里推斷多目標(biāo)的三維分布，本文采用的方法是深度估計，將深度信息反饋到時域圖卷積可以實現(xiàn)多人三維估計，這是多人與單人的不同之處。

2.1 時域圖卷積

文獻(xiàn)[5]提出的時域卷積網(wǎng)絡(luò)利用姿態(tài)在時域上的連續(xù)性，從二維姿態(tài)輸入中進(jìn)行時域的空洞卷積提升到三維空間。時域卷積源自于RNN 和LSTM，文獻(xiàn)[4]避開RNN 網(wǎng)絡(luò)在時域上不能并行處理，并且在輸入與輸出之間的梯度長度是固定的，這樣對于不同的長度的輸入序列都可以穩(wěn)定訓(xùn)練而不至于梯度消失和爆炸。網(wǎng)絡(luò)還采用了空洞卷積以獲得長時域信息，而不局限于上下兩幀。模型對視頻中的三維估計效果很好，但不適用于多人情況。從文獻(xiàn)[9]和[8]中得到啟發(fā)，將圖卷積應(yīng)用到時域卷積，能夠獲取更好的關(guān)節(jié)點空間信息。骨骼關(guān)節(jié)點數(shù)據(jù)形式就是一種圖結(jié)構(gòu)，在文獻(xiàn)[9]之前的圖卷積方法基本都是學(xué)習(xí)卷積層的權(quán)重參數(shù)，而對于從二維關(guān)鍵點到三維空間的復(fù)雜非線性變換，理解關(guān)節(jié)點之間的空間關(guān)系以及每個關(guān)節(jié)點對其他關(guān)節(jié)點的影響是不能忽視的另一個重點。人體骨骼動態(tài)是一種非規(guī)則的復(fù)雜結(jié)構(gòu)，利用圖卷積進(jìn)行三維姿態(tài)估計可以克服這一限制，模型同時提取局部和全局姿態(tài)信息以適應(yīng)遮擋情況。局部與全局優(yōu)化如圖2 所示。由于視頻流中的人體姿態(tài)具有連續(xù)性，同時具有局部動態(tài)與局部靜態(tài)以及暫時性遮擋需要同時依賴上下幀的輔助和圖卷積對姿態(tài)空間的推測，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)中圖卷積與時域卷積是同時進(jìn)行的。為了適應(yīng)多人估計，針對時域卷積和圖卷積分別做了相應(yīng)改進(jìn)。類似于文獻(xiàn)[4]的網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建四個時域卷積模塊，每一個由批歸一化、殘差連接、ReLU 損失函數(shù)與隨機(jī)失活等卷積層組成。每兩個時域模塊之間有一個圖卷積模塊，考慮到多人估計的要求，在時域圖卷積的基礎(chǔ)上結(jié)合目標(biāo)的深度信息，使得多人姿態(tài)有真實的空間分布和相對位置關(guān)系。

圖2 人體姿態(tài)局部優(yōu)化與全局優(yōu)化結(jié)構(gòu)示意圖

2.2 深度估計

文獻(xiàn)[10]采用自上而下的方法先檢測圖像中的所有關(guān)鍵點，然后按照PAF(partaffinityfield)原理將同屬一個目標(biāo)的關(guān)節(jié)點組合在一起，可以適應(yīng)視頻流的多人二維姿態(tài)估計。在人體姿態(tài)估計之前，還有一個分支任務(wù)——使用MaskRCNN[11]先對視頻中人物預(yù)先采樣，在靜止伸展的狀態(tài)下進(jìn)行二維姿態(tài)估計，以獲得每個目標(biāo)的標(biāo)準(zhǔn)骨骼模型，用于三維姿態(tài)估計和校正單元，然后檢測視頻流中每一幀所有人體目標(biāo)，輸出人物標(biāo)記與邊框。對目標(biāo)的深度估計是在二維估計關(guān)節(jié)點坐標(biāo)和目標(biāo)檢測與邊框回歸等基礎(chǔ)上進(jìn)行的，對于每個由回歸邊框分割出的目標(biāo)，選擇骨盆關(guān)鍵點P 為人體基準(zhǔn)，根據(jù)[12]提出的方法，以針孔相機(jī)的成像原理來計算目標(biāo)到相機(jī)的距離。P=(xp,yp,zp)，其中Zp表示到相機(jī)的距離。僅僅從二維圖像估計距離缺乏支持條件，于是設(shè)計了一個新的測量尺度k：

其中αx，αy分別表示焦距除以X 軸與Y 軸的距離因子，Areal,Aimg分別表示人體在真實空間（單位：mm2）與圖像空間（單位：pixel2）的面積。在給定相機(jī)參數(shù)情況下，k 用實際空間面積與成像空間面積的比值來近似表示目標(biāo)到相機(jī)的絕對深度。然后根據(jù)成像原理可以得到距離d:

3 校正單元

3.1 姿態(tài)校正

從單目視頻中的三維人體姿態(tài)估計，因為多人情況下的相互遮擋/自遮擋、空間歧義性、人物動作快慢變化和環(huán)境噪聲導(dǎo)致的抖動，直接從姿態(tài)估計網(wǎng)絡(luò)中輸出的數(shù)據(jù)是不準(zhǔn)確的，這種錯誤是分為兩個層次的: 一個是關(guān)節(jié)點坐標(biāo)輸出及其連接為主的姿態(tài)本身的錯誤，另一個是姿態(tài)整體在三維空間上的錯誤。提出的校正單元就是為了系統(tǒng)解決上述問題的。

對于第一種錯誤，空間歧義性是其最大的障礙，因為一種二維姿態(tài)可以由多種三位姿態(tài)映射得到。而且人體姿態(tài)的不同關(guān)鍵點，其計算復(fù)雜度是不同的。頭部和軀干容易檢測推斷，而四肢特別是腕關(guān)節(jié)、肘關(guān)節(jié)，膝關(guān)節(jié)和踝關(guān)節(jié)是最容易出現(xiàn)歧義的。因此，姿態(tài)校正單元分局部和全局兩個尺度進(jìn)行優(yōu)化，如圖2 所示。

三維姿態(tài)的歧義性具體表現(xiàn)在關(guān)節(jié)點的坐標(biāo)和骨骼的長度與方向上。在第二章中提到，姿態(tài)估計之前需要采集每個角色的標(biāo)準(zhǔn)模型，從標(biāo)準(zhǔn)模型的二維姿態(tài)輸出中主要獲取骨骼長度，標(biāo)準(zhǔn)骨長成為優(yōu)化三維輸出的有力參考，這種方法叫做人體測量學(xué)[13]。

圖3 人體姿態(tài)父子關(guān)節(jié)關(guān)聯(lián)與對稱結(jié)構(gòu)圖子節(jié)點與父節(jié)點的關(guān)聯(lián)姿態(tài)軌跡空間

根據(jù)預(yù)先定義的骨骼拓?fù)浣Y(jié)構(gòu)和標(biāo)準(zhǔn)模型，關(guān)節(jié)連接限定和軌跡空間的限定（如圖3 所示）可以用來優(yōu)化骨骼方向[14]。

3.2 接觸校正

之前的姿態(tài)估計方法和基于此的動作捕捉方法主要目的是為了得到更加準(zhǔn)確的以關(guān)節(jié)點空間坐標(biāo)為核心的姿態(tài)數(shù)據(jù)，他們主要聚焦于人體本身。本文的重點除了姿態(tài)準(zhǔn)確外，還需要考慮姿態(tài)本身在空間中的分布狀態(tài)是否正確，比如身體某種不自然的傾斜，多個目標(biāo)之間的相對位置關(guān)系，還考慮與地面的接觸關(guān)系是否正確，比如足部與地面不正常的穿透和騰空。上述問題還沒有受到太多關(guān)注，但是在實際使用時經(jīng)常會出現(xiàn)這些問題。與地面的接觸校正不僅僅是優(yōu)化足部關(guān)節(jié)點坐標(biāo)，應(yīng)該把姿態(tài)模型看作與真實世界類似的動量體，除了要優(yōu)化整個姿態(tài)與地面的距離，還要考慮足部與地面的作用力關(guān)系，因為這種作用力關(guān)系是非線性的，無論是與地面的接觸距離還是接觸狀態(tài)都不是單一的、固定的，而且人體是非剛體結(jié)構(gòu)，為了避免最終的虛擬角色動作不過于僵硬，需要考慮這些因素。

圖4 人體運(yùn)動學(xué)與力學(xué)簡化模型結(jié)構(gòu)圖

在二維姿態(tài)估計的同時需要獲取初始的地面表示。因為對所有的訓(xùn)練數(shù)據(jù)標(biāo)注很困難，此外假設(shè)目標(biāo)所處平面是沒有起伏的平坦區(qū)域，因此只標(biāo)注一部分?jǐn)?shù)據(jù)，一方面用來獲取初始地面，另一方面可以提高校正單元對與地面接觸狀態(tài)的調(diào)整。相較于姿態(tài)的估計任務(wù)，對地面的獲取相對簡化容易些。足部與地面的接觸判斷，直接的方式是檢查足部關(guān)節(jié)點坐標(biāo)與初始地面之間的距離d。而根據(jù)動力學(xué)分析，地面對人體的作用力大于零時，足部與地面是接觸的。如果從二維估計的接觸標(biāo)記輸出有誤，或者標(biāo)記正確，但是輸出的三維姿態(tài)與地面是穿透或騰空狀態(tài)，此時結(jié)合動力學(xué)的條件需要對姿態(tài)空間位置進(jìn)行校正。所有的關(guān)節(jié)點坐標(biāo)都需要上或下平一個偏移距離△d。

3.3 平衡校正

在與地面接觸校正的基礎(chǔ)上，進(jìn)一步提出位姿平衡校正——主要針對人體不自然傾斜。對于人體平衡狀態(tài)，有靜態(tài)的更有動態(tài)的。靜態(tài)情況只需要考慮地面支持力與重力的作用，而重點是動態(tài)的平衡。人體的每個關(guān)節(jié)點都會產(chǎn)生動量、加速度、旋轉(zhuǎn)力矩，相互之間還有復(fù)雜的作用力，與地面之間除了壓力外還有摩擦力，這些合力構(gòu)成了人體的平衡或者失衡。為了保持姿態(tài)平衡，文獻(xiàn)[16]提出通過動量計算來控制人體平衡。在這些方法的激勵下，本文提出了基于幾何的平衡控制法。

結(jié)合3.2 對人體質(zhì)心的預(yù)測，采用人體幾何學(xué)的方法校正人體平衡狀態(tài)。首先還是判斷人體是否失衡，判斷的先決條件是當(dāng)前姿態(tài)處于與地面接觸狀態(tài)，暫不考慮本身處于騰空狀態(tài)的動作。通過下面的模型可以分析人體平衡需要的條件，質(zhì)心C所處的位置應(yīng)該在地面對雙腳作用力frfl的合力f 的延長線附近，O 是f 與地面的交點。通過對一定數(shù)據(jù)的測量發(fā)現(xiàn)，質(zhì)心、O與f 形成的夾角θ 在閾值之內(nèi)，從失衡姿態(tài)所得的θ 會明顯偏離這個閾值。根據(jù)測量，取這個閾值為50。

圖5 人體力學(xué)分析與平衡矯正

由齊次方程組：

可求得向量k。原關(guān)節(jié)點到O 點構(gòu)成的向量為P，其圍繞k的單位向量u 旋轉(zhuǎn) θ后得到新的關(guān)節(jié)點，設(shè)為p':

3.4 損失函數(shù)

4 實驗與評估

4.1 數(shù)據(jù)集與評估機(jī)制

Human3.6M 數(shù)據(jù)集是人體姿態(tài)估計任務(wù)最常用的數(shù)據(jù)集，它包含了360 萬張由動作捕捉系統(tǒng)在室內(nèi)環(huán)境下捕捉到的單人視頻幀，有11 位專業(yè)動作演員展現(xiàn)15 種日常行為（比如行走、站立、交談等）可以適應(yīng)單人姿態(tài)估計和相機(jī)中心坐標(biāo)預(yù)測任務(wù)。根據(jù)之前的經(jīng)驗，數(shù)據(jù)集中的1，5，6，7，8 部分用來訓(xùn)練，9和11 用來測試。MuPoTS-3D 數(shù)據(jù)集是一個多人三維姿態(tài)估計的數(shù)據(jù)集，包含了室內(nèi)和室外二十多種場景。視頻中每個人的真實3D 動作來自于多視角的無標(biāo)記捕捉，可以適應(yīng)以人為中心和以相機(jī)為中心的坐標(biāo)系。MuCo-3DHP 是另一套多人三維估計的數(shù)據(jù)集，它是通過對MPI-INF-3DHP 3D 單人數(shù)據(jù)集組合而來。MuPoTS-3D 數(shù)據(jù)集用來測試，MuCo-3DHP 用來訓(xùn)練。

評估協(xié)議——目前有兩種評估協(xié)議使用較廣泛：第一種是計算預(yù)測的姿態(tài)與真實姿態(tài)關(guān)節(jié)點坐標(biāo)平均誤差（MPJPE），第二種是配準(zhǔn)之后的平均誤差[18]，這種機(jī)制被稱為PA MPJPE。

4.2 實現(xiàn)過程

本文使用的Mask R-CNN 公開的模型在編碼數(shù)據(jù)集上預(yù)先訓(xùn)練，用于目標(biāo)檢測和邊框回歸。對于時域圖卷積網(wǎng)絡(luò)，它們的主干部分用公開發(fā)布的ResNet-50 初始化，ResNet-50 在ImageNet 數(shù)據(jù)集上預(yù)先訓(xùn)練，其余部分的權(quán)重用σ=0.001 的高斯分布初始化。權(quán)重由Adam 優(yōu)化器更新，最小批量大小為128。初始學(xué)習(xí)速率設(shè)置為1x10-3，并在第17 輪訓(xùn)練時減小10 倍。使用256×256 大小的輸入圖像，在訓(xùn)練中進(jìn)行數(shù)據(jù)增強(qiáng)，包括旋轉(zhuǎn)（±30°）、水平飛行、顏色抖動和合成遮擋。

姿態(tài)估計網(wǎng)絡(luò)的訓(xùn)練分為兩個階段: 第一階段使用human3.6M 數(shù)據(jù)集，每段視頻中的第5 幀和第64 幀用來測試，除了human3.6M 數(shù)據(jù)集，還使用MPII 數(shù)據(jù)集，每一組訓(xùn)練數(shù)據(jù)中兩種數(shù)據(jù)集各占一半。第二階段使用MuCo-3DHP 和MuPoTS-3D 數(shù)據(jù)集，為了增強(qiáng)數(shù)據(jù)集，每一批的數(shù)據(jù)中有一半是COCO 數(shù)據(jù)。實驗使用4 個英偉達(dá)1080ti-gpu 對時域圖卷積網(wǎng)絡(luò)進(jìn)行了20 輪次的訓(xùn)練。

在公開數(shù)據(jù)集上的實驗結(jié)果顯示，本文模型輸出的姿態(tài)準(zhǔn)確性達(dá)到了單人視頻估計的水平，輸出的精度與平滑性跟目標(biāo)數(shù)量和幀率有關(guān)。表1 的數(shù)據(jù)顯示，本文提出的單目多人視頻估計模型的精度與當(dāng)前單人估計模型的精度相當(dāng)。

4.3 校正單元評估

三個校正單元在多個評估協(xié)議上的消融結(jié)果對比，使用兩種評估協(xié)議。數(shù)據(jù)顯示姿態(tài)矯正對于準(zhǔn)確率提高的貢獻(xiàn)最大，平和矯正和接觸矯正的貢獻(xiàn)有限，但是對于動作捕捉的實際應(yīng)用卻至關(guān)重要，各個部分對于最終結(jié)果的效果如表2 所示，多人動作捕捉效果如圖6 所示，校正單元如圖7 和圖8 所示。

表2 在MuPoTS-3D 數(shù)據(jù)集上的預(yù)測精度量化

5 結(jié)論

本文動作捕捉模型在非限定性的環(huán)境中可以對多人進(jìn)行動作采集，人體姿態(tài)經(jīng)過校正之后基本符合真實的人體動作，用于三維的虛擬角色中效果良好，在不需要專業(yè)拍攝裝備和標(biāo)記及其他輔助設(shè)備的情況下，可以在日常生活中獲取素材，基本實現(xiàn)了動作捕捉系統(tǒng)的簡易化設(shè)計。不過本文提出的方法只是實驗性的，取得的數(shù)據(jù)比較有限。只能采集人體主干部分的關(guān)鍵點，對于表情以及手的動作還無法有效捕捉；而且如果捕捉對象的動作速度過快、過于復(fù)雜和遮擋較多的動作都不能得到有效的輸出結(jié)果。此外，還缺乏專用于影視行業(yè)的動作數(shù)據(jù)集，神經(jīng)網(wǎng)絡(luò)能夠識別捕捉的動作基本限于日常生活范圍。這些難點將是下一步的工作內(nèi)容，同時期望本文的工作會為姿態(tài)估計和動作捕捉進(jìn)一步的研究帶來啟發(fā)。

表1 使用Human3.6M 數(shù)據(jù)集在MPJPE 評估標(biāo)準(zhǔn)下與其他方法的對比

圖6 在COCO 2017 數(shù)據(jù)集上的動捕視覺效果

圖7 接觸矯正效果圖

圖8 平衡矯正效果圖