孫 冬

(河南工學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 新鄉(xiāng) 453003)

0 引 言

3D人體姿態(tài)捕捉與識(shí)別[1]的發(fā)展越來越成熟，其在步態(tài)識(shí)別、視頻監(jiān)控、人機(jī)交互等領(lǐng)域有著重要應(yīng)用，是當(dāng)前熱門研究課題。雖然3D人體動(dòng)作姿態(tài)捕捉的性能得到顯著改善，但準(zhǔn)確度依然較低。如何提高3D動(dòng)作姿態(tài)的性能，不僅要從算法角度提高，還需要從視點(diǎn)選擇方面入手。

當(dāng)前大部分無標(biāo)記運(yùn)動(dòng)捕捉方法依賴于單目圖像回歸的深度網(wǎng)絡(luò)[2]，在多視角設(shè)定下，運(yùn)動(dòng)捕捉的最優(yōu)相機(jī)位置的問題尤為關(guān)鍵[3]。當(dāng)前主要解決方案包括最大化圖像分辨率，人體部位自遮擋[4]，三角測(cè)量誤差最小化[5]。但這些方法的缺點(diǎn)是必須離線操作，且針對(duì)預(yù)先記錄的動(dòng)作。

針對(duì)靜態(tài)人體動(dòng)作姿態(tài)的視圖規(guī)劃，很多研究在最小化運(yùn)動(dòng)成本的前提下通過相機(jī)的移動(dòng)來最大化信息增益，如文獻(xiàn)[6]利用高斯過程回歸解決輸入輸出均為多元變量的人體姿態(tài)估計(jì)問題，采用稀疏表示法降低計(jì)算復(fù)雜度。文獻(xiàn)[7]將空間離散化為立體網(wǎng)格并計(jì)算先前體素。但這些方法的缺點(diǎn)是必須針對(duì)嚴(yán)格不變的場(chǎng)景。文獻(xiàn)[8]在獲得粗略場(chǎng)景模型的情況下，通過離線優(yōu)化得到最優(yōu)軌跡。但這些方法的缺點(diǎn)是必須針對(duì)嚴(yán)格不變的場(chǎng)景。

通過無人機(jī)(unmanned aerial vehicle，UAV)相機(jī)捕捉人類運(yùn)動(dòng)的研究中，一個(gè)重要的問題是UAV必須將目標(biāo)人物保持在其視場(chǎng)內(nèi)。為此，文獻(xiàn)[9]實(shí)施了一個(gè)預(yù)定義的隨機(jī)決策，相機(jī)與目標(biāo)保持恒定距離，并利用預(yù)定義視角來最大化三角測(cè)量準(zhǔn)確度。但依賴于標(biāo)記進(jìn)行準(zhǔn)確的2D姿態(tài)估計(jì)。文獻(xiàn)[10]UAV采用恒定角度飛行，通過最大限度降低3D人體關(guān)節(jié)位置的不確定性來優(yōu)化相機(jī)移動(dòng)軌跡，但該方法的3D姿態(tài)估計(jì)必須離線執(zhí)行?？傊?dāng)前方法或者針對(duì)剛性場(chǎng)景優(yōu)化UAV位置，或者在不優(yōu)化相機(jī)放置位置的情況下估計(jì)3D人體姿態(tài)，其均未嘗試?yán)脤?duì)相機(jī)的主動(dòng)控制來提高準(zhǔn)確度。

本文提出利用后驗(yàn)方差估計(jì)值，將不確定性來源(行為的不確定性、姿態(tài)估計(jì)法的可靠度等)與先驗(yàn)分布相融合，開發(fā)出主動(dòng)運(yùn)動(dòng)捕捉技術(shù)，取移動(dòng)相機(jī)的原始視頻片段作為輸入，針對(duì)人體運(yùn)動(dòng)捕捉優(yōu)化，計(jì)算出用于相機(jī)定位的最優(yōu)視點(diǎn)。合成和現(xiàn)實(shí)視頻片段的仿真證明了所提方法能夠提高估計(jì)的準(zhǔn)確度。

1 提出的動(dòng)作捕捉方法

1.1 總體框架

本文提出的方法框架如圖1所示，主要包括以下3個(gè)步驟：1)估計(jì)至當(dāng)前時(shí)刻的3D姿態(tài)；2)預(yù)測(cè)當(dāng)相機(jī)獲得下一張圖像時(shí)的人物未來位置和3D姿態(tài)，其中包括不確定性估計(jì)；3)基于不確定性估計(jì)選擇最優(yōu)相機(jī)姿態(tài)，并將UAV相機(jī)移動(dòng)至該視點(diǎn)。

圖1 本文捕捉人體運(yùn)動(dòng)的框架圖

本文考慮兩種相機(jī)移動(dòng)方式：1)相機(jī)可不受限制地從一個(gè)位置傳送到另一個(gè)位置，以此來探索本文方法的理論極限。可利用多相機(jī)設(shè)置來模擬該傳送模式，從而可以在模擬數(shù)據(jù)以及從多個(gè)視點(diǎn)獲得的真實(shí)圖像數(shù)據(jù)集上評(píng)估本文模型。2)通過一個(gè)模擬UAV來攜帶相機(jī)，其運(yùn)動(dòng)必須遵循物理約束。

1.2 3D姿態(tài)估計(jì)

3D姿態(tài)估計(jì)步驟將機(jī)載相機(jī)過去N幀的視頻作為輸入，并針對(duì)每幀t∈(1,…,N)輸出表示為15個(gè)3D點(diǎn)Wt∈R15×3的3D人體姿態(tài)，以及表示為3D位置和旋轉(zhuǎn)角度Dt∈R2×3的UAV姿態(tài)。在估計(jì)3D人體姿態(tài)時(shí)，首先利用文獻(xiàn)[10]提出的方法檢測(cè)圖像平面中人體主要關(guān)節(jié)的2D位置Mt∈R15×2，然后，將2D預(yù)測(cè)提升到3D姿態(tài)Lt∈R15×3。但由此得到的每幀輸入容易出現(xiàn)誤差，為此，本文在空間—時(shí)間優(yōu)化中將2D和3D預(yù)測(cè)與時(shí)間平滑性和骨骼長(zhǎng)度約束相融合。由于UAV在不斷移動(dòng)，因此可消除個(gè)體估計(jì)歧義。針對(duì)每個(gè)目標(biāo)執(zhí)行一次校準(zhǔn)，在該階段中計(jì)算出目標(biāo)骨架的骨骼長(zhǎng)度bl，該階段中目標(biāo)必須保持20 s的靜止站立姿態(tài)。

1.2.1 參數(shù)定義

本文的目標(biāo)在于提高對(duì)變換位置和姿態(tài)目標(biāo)的全局3D人體姿態(tài)估計(jì)準(zhǔn)確度。所提方法對(duì)最后k幀的時(shí)變姿態(tài)估計(jì)進(jìn)行優(yōu)化。設(shè)t為最后一個(gè)觀察到的圖像幀。捕捉姿態(tài)矩陣W中從姿態(tài)Wt-k到Wt的軌跡。能量函數(shù)表示為

Epose=Eproj(W,M,D)+Elift(W,L)+Esmooth(W)

+Ebone(W,b)

(1)

式中 升維項(xiàng)Elift利用LiftNet[11]的3D姿態(tài)估計(jì)L。由于該方法與人體臀部相關(guān)，且沒有絕對(duì)比例，因此,從絕對(duì)3D姿態(tài)Wt中舍去臀部位置，并將比例因子m應(yīng)用到L，從而在最小二乘意義上匹配骨骼長(zhǎng)度bl，由此得到

(2)

式中ωl為相對(duì)高度；Whip為踝關(guān)節(jié)姿態(tài)。

投影項(xiàng)Eproj表示在最小二乘意義上，檢測(cè)到的2D關(guān)節(jié)位置和估計(jì)出的3D姿態(tài)投影差異，其具體表示為

(3)

式中 ∏為透視投影函數(shù)，K為相機(jī)內(nèi)部參數(shù)矩陣，wp為Eproj的影響控制權(quán)重。

由于本文使用連續(xù)視頻片段，且運(yùn)動(dòng)是平滑的，平滑項(xiàng)Esmooth對(duì)通過有限差分計(jì)算出的速度進(jìn)行懲罰

(4)

式中ws為Esmooth的權(quán)重。

(5)

式中wb為Ebone的權(quán)重。

1.2.2 校準(zhǔn)模式

針對(duì)每個(gè)目標(biāo)僅需執(zhí)行一次校準(zhǔn)模式，以得到骨骼長(zhǎng)度bl。該模式中，假定目標(biāo)是靜止的。這種情況類似于從多個(gè)靜止相機(jī)中觀察到的場(chǎng)景。找到能夠?qū)ο率阶钚』膯蝹€(gè)靜止姿態(tài)Wc

Ecalib=Eproj(Wc,M,D)+Esym(Wc)

(6)

該目標(biāo)函數(shù)中，Eproj作用于所有校準(zhǔn)幀，可表示為

(7)

式中wp為影響控制權(quán)重。對(duì)稱項(xiàng)Esym確保了估計(jì)出的骨架左側(cè)和右側(cè)肢體有著相同長(zhǎng)度。

1.3 下一個(gè)最優(yōu)視圖的選擇

特征值之和捕捉多變量分布的擴(kuò)散。為利用該不確定性估計(jì)，本文對(duì)Epose進(jìn)行擴(kuò)展，使其以過去姿態(tài)、當(dāng)前姿態(tài)，以及未來的UAV位置選擇為條件，對(duì)未來姿態(tài)進(jìn)行建模。為了確定下一個(gè)最優(yōu)UAV姿態(tài)，對(duì)候選位置進(jìn)行采樣，并選擇有著最低不確定性的位置，如圖2所示。圖2(a)為3D橢圓體視圖，圖2(b)為2D俯視圖。每個(gè)橢圓給出了臀部位置的特征值。此處，上一張圖片從頂部(位置16)拍攝，并通過移動(dòng)至正交視圖的方式來最小化不確定性。

圖2 候選UAV位置的不確定性估計(jì)

(8)

投影項(xiàng)Eproj從圖像平面方向縮小了解空間，但并不約束深度方向，由此創(chuàng)建出橢圓的不確定性，如圖2所示。

3)方差估計(jì)。投影項(xiàng)和先驗(yàn)項(xiàng)使得Epose及其相應(yīng)的后驗(yàn)項(xiàng)有著復(fù)雜的形式。因此，方差Σp無法以閉合形式表達(dá)，且通過對(duì)所有可能姿態(tài)的空間進(jìn)行采樣對(duì)其逼近的成本很高。因此，本文利用高斯分布q對(duì)p(W|M,D,L,b)進(jìn)行局部逼近，使得

Σp(W|M,D,L,b)≈Σq

(9)

式中q=N(W|,Σq),和Σq分別為高斯均值和方差矩陣。對(duì)于一個(gè)高斯函數(shù)，可以通過閉合形式計(jì)算出q的協(xié)方差，即：負(fù)對(duì)數(shù)似然的海森矩陣的逆，在高斯假設(shè)下，通過Epose的二階梯度能夠很好地逼近Σp。

為了在包含K個(gè)候選UAV軌跡的集合中選擇有著最小不確定性的視圖，需進(jìn)行以下4個(gè)步驟：步驟1:對(duì)于1≤i≤M，對(duì)Epose進(jìn)行一次優(yōu)化，以預(yù)測(cè)M個(gè)人體姿態(tài)t+i；步驟2:對(duì)于每個(gè)候選估計(jì)c，利用這些預(yù)測(cè)姿態(tài)，為每個(gè)1≤i≤M設(shè)定t+i和t+i；步驟3:對(duì)于每個(gè)c，計(jì)算Epose的二階梯度形式；步驟4:計(jì)算特征值并進(jìn)行求和，以選擇具有最小不確定性的候選集。

1.4 UAV控制策略與飛行模型

在UAV模擬飛行實(shí)驗(yàn)中，本文在9個(gè)候選軌跡之間作決策，軌跡方向有：上、下、左、右、右上、左上、右下、左下和中。為確保UAV與人體之間保持固定距離，通過固定距離值對(duì)方向向量進(jìn)行歸一化。

xpo=xcu+vcuΔt+0.5acuΔt2

(10)

時(shí)間t時(shí)的當(dāng)前加速度為輸入加速度ain和上一個(gè)時(shí)間步的加速度apr的加權(quán)均值為

acu=βain+(1-β)apr

(11)

基于要評(píng)估的候選軌跡來確定ain的數(shù)值，系數(shù)β通過行搜索得出。在實(shí)際操作中，將加速度向量的方向設(shè)為候選軌跡的方向。通過預(yù)測(cè)xpo和實(shí)際UAV位置之差的最小二乘最小化，來確定輸入加速度的大小。通過預(yù)測(cè)UAV的未來位置，可以得到更準(zhǔn)確地進(jìn)行2D姿態(tài)估計(jì)，從而提高決策的準(zhǔn)確度。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 仿真設(shè)置

1)仿真環(huán)境：為了提高仿真的實(shí)踐意義，本文使用真實(shí)運(yùn)動(dòng)捕捉數(shù)據(jù)，以及建立在游戲引擎上的AirSim UAV模擬器，提供接近現(xiàn)實(shí)的自然環(huán)境實(shí)驗(yàn)情形。使用模擬器的另一個(gè)好處是可以利用不同參數(shù)重復(fù)相同的實(shí)驗(yàn)，并與基準(zhǔn)方法和真實(shí)運(yùn)動(dòng)情況作比較。

2)CMU數(shù)據(jù)集[14]：模擬測(cè)試在CMU數(shù)據(jù)集上進(jìn)行，該數(shù)據(jù)集包括多個(gè)復(fù)雜動(dòng)作，如跑、跳舞、等動(dòng)作。本文在難度遞增的三個(gè)CMU運(yùn)動(dòng)上進(jìn)行測(cè)試：直線行走(目標(biāo)2，實(shí)驗(yàn)1)；旋轉(zhuǎn)跳舞(目標(biāo)5，實(shí)驗(yàn)8)；以及繞圈跑(目標(biāo)38，實(shí)驗(yàn)3)。此外，本文還使用了籃球運(yùn)球(目標(biāo)6，實(shí)驗(yàn)13)和坐凳子(目標(biāo)13，實(shí)驗(yàn)6)的驗(yàn)證集，進(jìn)行超參數(shù)網(wǎng)格搜索。

3)MPI—INF—3DHP數(shù)據(jù)集[15]：為檢測(cè)所提方法在模擬器之外的性能，實(shí)驗(yàn)在MPI—INF—3DHP數(shù)據(jù)集(3D人體姿態(tài)識(shí)別數(shù)據(jù)集)上進(jìn)行評(píng)估，該數(shù)據(jù)集包含繞圈跑、揮舞手臂等動(dòng)作，提供了14個(gè)固定視點(diǎn)，且這些視點(diǎn)彼此之間與目標(biāo)間均有著不同距離，如圖3所示。

圖3 MPI—INF—3DHP數(shù)據(jù)集與固定視點(diǎn)

4)對(duì)比的基準(zhǔn)方法：當(dāng)前基于UAV的姿態(tài)估計(jì)方法利用預(yù)定義的策略來控制相對(duì)于人體的UAV位置。其中UAV以恒定角度跟蹤人體，或者UAV圍繞人體不停飛行。本文選擇隨機(jī)決策方法[9]作為一個(gè)基線策略，同時(shí)比較了恒定角度環(huán)繞飛行方法[10]；然后，通過對(duì)下一個(gè)時(shí)間幀的圖像進(jìn)行所有視點(diǎn)的窮舉嘗試，并將UAV移動(dòng)至在下一個(gè)時(shí)間步中最小平均誤差的視點(diǎn)，由于該場(chǎng)景中無法控制相機(jī)，移除了在視點(diǎn)外的候選位置相機(jī)。

5)超參數(shù)：通過網(wǎng)格搜索，將重建的損失項(xiàng)權(quán)重設(shè)定如下：wp=0.000 1，ws=1，wl=0.1，wb=1。將決策制定的權(quán)重設(shè)為wp=0.001，ws=1，wl=0.1，wb=1。

2.2 結(jié)果與分析

實(shí)驗(yàn)首先進(jìn)行初始化，通過第一幀中的2D關(guān)節(jié)位置估計(jì)Mt=0，進(jìn)行反向投射初始化。然后，通過不帶平滑項(xiàng)的優(yōu)化對(duì)該初始化進(jìn)行細(xì)化，對(duì)所有序列進(jìn)行120幀的評(píng)估，動(dòng)畫序列以5 Hz播放。此外，對(duì)于傳送模式，時(shí)間窗口大小設(shè)為k=2個(gè)過去幀和1個(gè)未來幀；對(duì)于UAV飛行模擬，時(shí)間窗口設(shè)為k=6個(gè)過去幀和3個(gè)未來幀。

2.2.1 傳送模式

為分析潛在視點(diǎn)的不確定性估計(jì)是否與實(shí)際3D姿態(tài)誤差相吻合，本文進(jìn)行以下模擬：在人體周圍環(huán)形中采樣18個(gè)點(diǎn)，并支持無人機(jī)傳送到這些點(diǎn)中的任意一點(diǎn)，實(shí)驗(yàn)中，共計(jì)優(yōu)化k=2個(gè)過去幀，并預(yù)測(cè)未來1幀圖像。

第1個(gè)實(shí)驗(yàn)，將高斯噪聲添加到真實(shí)數(shù)據(jù)集中，模擬2D和3D姿態(tài)估計(jì)。該噪聲的平均和標(biāo)準(zhǔn)偏差設(shè)為數(shù)據(jù)集上運(yùn)行的誤差。表1給出了該實(shí)驗(yàn)的結(jié)果，包含不同動(dòng)作姿態(tài)、從不同視點(diǎn)開始、有著不同噪聲情況的結(jié)果。

表1 傳送實(shí)驗(yàn)中的3D姿態(tài)準(zhǔn)確度

第2個(gè)實(shí)驗(yàn)在沒有噪聲的MPI—INF—3DHP數(shù)據(jù)集上進(jìn)行。圖4給出了通過本文方法和基準(zhǔn)方法所生成的軌跡。由圖4可知，與基準(zhǔn)方法相比，本文的主動(dòng)運(yùn)動(dòng)規(guī)劃方法的誤差值較低，且最接近這些序列和視點(diǎn)的最優(yōu)可能誤差性能。由于本文方法利用了UAV可傳送到不同的視點(diǎn)集合，因此在實(shí)驗(yàn)中體現(xiàn)出良好的性能。

圖4 傳送模式下幾種方法的飛行軌跡

2.2.2 UAV飛行模擬

為評(píng)估更具現(xiàn)實(shí)性的案例，對(duì)UAV進(jìn)行主動(dòng)控制，且約束其只能移至附近位置，實(shí)驗(yàn)利用AirSim環(huán)境模擬UAV飛行。在該仿真中，指定了目標(biāo)周圍7 m的固定半徑區(qū)域，提供了能夠保持該距離的方向候選，還約束UAV在0.25～3.5 m的高度范圍內(nèi)飛行，以避免墜落地面。

實(shí)驗(yàn)使用模擬器模擬無人機(jī)飛行。對(duì)上、下、左、右、右上、左上、右下、左下和中心這9個(gè)候選方向進(jìn)行采樣。然后，使用簡(jiǎn)化(閉合形式)物理模型預(yù)測(cè)3個(gè)連續(xù)未來位置，對(duì)UAV沿某個(gè)方向飛行時(shí)的位置進(jìn)行估計(jì)。最后，估計(jì)這些樣本視點(diǎn)的不確定性，并選擇不確定性最小的視點(diǎn)。

圖5給出了所提方法和不同基線方法的軌跡。由于UAV動(dòng)力限制，隨機(jī)基線方法不能在其相機(jī)視點(diǎn)之間增加距離。由圖5可知，所提方法與持續(xù)環(huán)繞方法的性能大致相當(dāng)。除了無人機(jī)開始飛行的前幾幀之外，本文方法與持續(xù)環(huán)繞的軌跡是相同的，僅環(huán)繞方向上有差異。這是由于持續(xù)環(huán)繞方法有利于保留動(dòng)量。因此，本文方法支持UAV在保持目標(biāo)在視圖中的前提下，可以對(duì)較遠(yuǎn)的視點(diǎn)進(jìn)行采樣。

圖5 UAV飛行模式下幾種方法的飛行軌跡

3 結(jié) 論

本文提出一個(gè)利用無人機(jī)控制和視點(diǎn)最優(yōu)選擇進(jìn)行不確定性估計(jì)，完成人體動(dòng)作姿態(tài)捕捉。通過最優(yōu)視點(diǎn)選擇，將視點(diǎn)移至最低預(yù)期不確定性的位置，從而提高3D人體動(dòng)作姿態(tài)估計(jì)性能。實(shí)驗(yàn)結(jié)果表明:在不受物理約束的情況下選擇下一個(gè)視點(diǎn)時(shí)，所提方法性能優(yōu)于基線方法(例如圍繞對(duì)象不停環(huán)繞，或與對(duì)象保持恒定角度)。對(duì)于模擬UAV飛行，所提方法與不停環(huán)繞方法性能大致相當(dāng)。

雖然所提方法使不確定性估計(jì)可跟蹤，但未來本文還需要作進(jìn)一步研究。例如，分析一些深度學(xué)習(xí)方法的參數(shù)不確定性估計(jì)，優(yōu)化無人機(jī)飛行軌跡等。