陳 姝，梁文章，伍 靚

(1.湘潭大學(xué)信息工程學(xué)院，湖南 湘潭 411105;2.廣西卡斯特動漫有限公司，廣西 南寧 530003)

基于Kinect深度相機(jī)的實時三維人體動畫*

陳 姝1，梁文章2，伍 靚1

(1.湘潭大學(xué)信息工程學(xué)院，湖南 湘潭 411105;2.廣西卡斯特動漫有限公司，廣西 南寧 530003)

研究了一種基于H-Anim標(biāo)準(zhǔn)的實時人體三維動畫方法，首先對H-Anim中人體肢體層次結(jié)構(gòu)進(jìn)行研究和分析，給出了進(jìn)行人體動畫的坐標(biāo)變換方法；其次，基于OpenNI對Kinect獲取的數(shù)據(jù)進(jìn)行重新處理，采用逆運動學(xué)計算非根關(guān)節(jié)旋轉(zhuǎn)矩陣；最后給出了系統(tǒng)流程及具體實驗方法，采用OpenGL由實時獲取的關(guān)節(jié)旋轉(zhuǎn)矩陣驅(qū)動虛擬人實現(xiàn)了人體動畫。實驗結(jié)果表明，該算法可以較精確地提取人體三維姿態(tài)，實時重構(gòu)人體運動。

人體動畫；Kinect；逆運動學(xué)；H-Anim

1 引言

三維動畫是計算機(jī)圖形學(xué)中的一個研究領(lǐng)域，它涉及到心理學(xué)、運動學(xué)等學(xué)科。計算機(jī)三維動畫本質(zhì)上是一系列連續(xù)的圖像按一定的速率顯示后，給人以動畫的感覺[1]。人體由于結(jié)構(gòu)和運動過程都較為復(fù)雜，因此也成為了三維動畫制作當(dāng)中的一個難點。但是因為人體的姿態(tài)能夠表達(dá)較為豐富的含義，所以對于人體動畫的研究制作具有較強(qiáng)的實際意義。

人體動畫根據(jù)角色控制方式不同可以分為兩種：基于傳統(tǒng)計算機(jī)動畫技術(shù)的方法[2, 3]和基于動作捕獲系統(tǒng)進(jìn)行數(shù)據(jù)驅(qū)動的方法。傳統(tǒng)計算機(jī)動畫技術(shù)方法通過對人體運動進(jìn)行數(shù)學(xué)建模來產(chǎn)生各種人體動作的動畫效果，從本質(zhì)上而言是一種基于模型的動畫制作方法，包括關(guān)鍵幀動畫方法、運動學(xué)方法、動力學(xué)方法、刺激響應(yīng)法以及行為規(guī)則方法等[4]。運動捕捉技術(shù)是一種新的動畫制作方法，是通過分析人體運動序列圖像來提取人體關(guān)節(jié)點的三維坐標(biāo)，從而得到人體的運動參數(shù)，因此能夠獲得完全真實的人體動畫。

現(xiàn)有商用運動捕獲設(shè)備(如光學(xué)運動捕獲系統(tǒng))具有成本較高、操作過程專業(yè)性強(qiáng)等不足，研究者致力于研究成本較低、操作簡單的基于視覺方法的三維人體運動捕獲技術(shù)[5～7]與角色動畫控制技術(shù)。但是，實際上由于人體關(guān)節(jié)的高維性以及人體運動的隨機(jī)性，目前基于RGB視頻處理的人體運動跟蹤方法難以實時生成逼真的人體動畫。為了可以實時生成逼真的人體運動動畫，我們提出了一種基于Kinect深度相機(jī)數(shù)據(jù)基礎(chǔ)的實時人體三維動畫制作方法。該方法在跟蹤到的二維關(guān)節(jié)的基礎(chǔ)上采用逆運動學(xué)方法獲得人體三維姿態(tài)，并重定向到符合H-Anim標(biāo)準(zhǔn)的虛擬人上，形成連續(xù)的人體動畫。

2 虛擬人模型

虛擬人的幾何模型建立常采用以下三種方法：棒模型、表面模型和體模型[8]。目前國際標(biāo)準(zhǔn)VRML和MPEG4都制定了自己的虛擬人標(biāo)準(zhǔn)。本文采用VRML中的虛擬人標(biāo)準(zhǔn)H-Anim進(jìn)行虛擬人幾何建模，該標(biāo)準(zhǔn)將人體分成骨架層與部位層，部位層位于骨架層之上。這一分層建模方法符合人體拓?fù)浣Y(jié)構(gòu)，可以更精確地表達(dá)人體的信息。同時，通過調(diào)節(jié)骨架層各關(guān)節(jié)點的位置可以驅(qū)動上層的部位層作相應(yīng)的變化，可以比較方便地實現(xiàn)虛擬人的運動控制[9]。

2.1 H-Anim標(biāo)準(zhǔn)中的人體層次結(jié)構(gòu)分析

H-Anim 標(biāo)準(zhǔn)通過Joint節(jié)點將整個人體組織成樹型結(jié)構(gòu)，如圖1所示[10]。人體由一定數(shù)量的肢體段(Segments)構(gòu)成，比如前臂、手或腳，這些段再由關(guān)節(jié)(Joints)連接在一起，比如肘、手腕或踝關(guān)節(jié)。除了根節(jié)點HumanoidRoot，每個Joint節(jié)點是另外一個Joint節(jié)點的子節(jié)點。作為Joint原型的典型實現(xiàn)，可以是一個Translation節(jié)點，這樣，可以對Joint通過平移和轉(zhuǎn)動等操作來改變作為身體段的Segment節(jié)點以及該Joint節(jié)點的Joint子節(jié)點，實現(xiàn)人物動畫。

Figure 1 Topology of H-Anim model圖1 H-Anim模型拓?fù)浣Y(jié)構(gòu)

2.2 虛擬人動畫的坐標(biāo)變換

根據(jù)H-Anim標(biāo)準(zhǔn)，節(jié)點分為兩類：一類是關(guān)節(jié)點，另一類是骨骼段。通過各關(guān)節(jié)點可以對各骨骼段進(jìn)行旋轉(zhuǎn)，骨骼段再通過平移完成相應(yīng)的肢體動作，最后依附于骨骼段來繪制相應(yīng)的幾何模型[11]，并顯示出來。

描述一個肢體繞關(guān)節(jié)旋轉(zhuǎn)后的坐標(biāo)位置可以根據(jù)以下變換方程得到：

(1)

其中，x是該肢體中某一像素點在模型中的初始局部坐標(biāo)(以該肢體所依附的關(guān)節(jié)為局部坐標(biāo)系的原點)，x′為旋轉(zhuǎn)后在局部坐標(biāo)系中的三維坐標(biāo)，R為旋轉(zhuǎn)矩陣。

由于整個人體以樹型結(jié)構(gòu)表示，因而非根關(guān)節(jié)點依附的肢體在進(jìn)行動畫時，式(1)的R為一個旋轉(zhuǎn)矩陣鏈(根據(jù)樹的拓?fù)浣Y(jié)構(gòu)從該關(guān)節(jié)到根關(guān)節(jié)的旋轉(zhuǎn)矩陣乘積)，即R=R1R2…Rn，其中Rn為該肢體依附關(guān)節(jié)的旋轉(zhuǎn)矩陣，R1為根關(guān)節(jié)的旋轉(zhuǎn)矩陣。例如，對于右前臂的旋轉(zhuǎn)矩陣計算為：Rre=Rv l1Rrs，其中Rv l1和Rrs分別為關(guān)節(jié)vl_1和r-shoulder關(guān)節(jié)的旋轉(zhuǎn)矩陣。雖然H-Anim在上半身定義了很多關(guān)節(jié)以便進(jìn)行靈活的上半身運動顯示，但是在實際上大部分虛擬人只采用了一到兩個關(guān)節(jié)。

3 基于Kinect的關(guān)節(jié)三維姿態(tài)提取

3.1 關(guān)節(jié)三維坐標(biāo)獲取

我們采用微軟的Kinect作為系統(tǒng)的輸入設(shè)備，Kinect是一款深度攝像機(jī)，共有三個鏡頭，可以獲得RGB圖像及深度圖像。Kinect的數(shù)據(jù)信息可以采用OpenNI開發(fā)包獲取，另外，OpenNI還具有骨架跟蹤功能，可以實時跟蹤每幀中人體關(guān)節(jié)。在OpenNI中共定義了24個關(guān)節(jié)，但是進(jìn)行骨架分析時，NITE部件只能識別15個關(guān)節(jié)，如圖2所示，其中坐標(biāo)系方向符合右手坐標(biāo)系準(zhǔn)則。

Figure 2 Recognizable joints in OpenNI圖2 OpenNI中可識別關(guān)節(jié)模型

OpenNI按照圖3所示流程進(jìn)行人體骨架跟蹤，即先進(jìn)行人體檢測，然后進(jìn)行特定姿態(tài)檢測(雙手上舉的投降姿勢)，再進(jìn)行姿態(tài)標(biāo)定，標(biāo)定正確就進(jìn)行人體骨架跟蹤。以上任一過程發(fā)生都會產(chǎn)生相應(yīng)的事件，并通過回調(diào)函數(shù)來響應(yīng)。在利用VS2008進(jìn)行開發(fā)時，需設(shè)置相應(yīng)的回調(diào)函數(shù)，在上一過程回調(diào)函數(shù)中啟動下一過程，所有的回調(diào)函數(shù)都通過節(jié)點提供的成員函數(shù)RegisterXXXCallbacks()來注冊。OpenNI跟蹤到的關(guān)節(jié)信息包括位置及方向，即關(guān)節(jié)的三維坐標(biāo)及變換矩陣。

Figure 3 Diagram of tracking human body skeleton in OpenNI圖3 OpenNI進(jìn)行人體骨架跟蹤流程圖

3.2 肢體旋轉(zhuǎn)矩陣計算

OpenNI提取的關(guān)節(jié)姿態(tài)通過函數(shù)GetSkeletonJointOrientation()可以得到，該變換矩陣為當(dāng)前幀關(guān)節(jié)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣。由2.1節(jié)可知，要動態(tài)顯示人體運動姿態(tài)需要得到相鄰兩關(guān)節(jié)坐標(biāo)系之間的旋轉(zhuǎn)矩陣，可采用以下方法得到，以計算右肘關(guān)節(jié)與右肩關(guān)節(jié)之間的旋轉(zhuǎn)矩陣為例。根據(jù)多剛體運動學(xué)知識可得：

(2)

實驗中發(fā)現(xiàn)OpenNI得到的旋轉(zhuǎn)矩陣除了根關(guān)節(jié)外，別的關(guān)節(jié)旋轉(zhuǎn)姿態(tài)并不太準(zhǔn)確，因此我們采用文獻(xiàn)[7]所述逆運動學(xué)方法來提取非根關(guān)節(jié)坐標(biāo)系間的相對旋轉(zhuǎn)角度。

我們將關(guān)節(jié)按照Z-Y-X順序旋轉(zhuǎn)歐拉角，繞Z軸旋轉(zhuǎn)的角度以α表示，繞Y軸旋轉(zhuǎn)的角度以β表示，繞X軸旋轉(zhuǎn)的角度以γ表示。由于三維數(shù)據(jù)沒有考慮扭矩的作用，可認(rèn)為在Y軸上旋轉(zhuǎn)分量為零，因此相鄰兩關(guān)節(jié)間的旋轉(zhuǎn)矩陣為：

根據(jù)多關(guān)節(jié)的級連變換原理，建立待求關(guān)節(jié)中某一像素局部坐標(biāo)與世界坐標(biāo)之間的變換方程為:

P′=RfRP

(3)

其中,P為OpenNI檢測到特定姿態(tài)時得到該像素在關(guān)節(jié)局部坐標(biāo)系中的坐標(biāo)，在這里以運動鏈中該關(guān)節(jié)的孩子關(guān)節(jié)來代表。例如計算右肩關(guān)節(jié)旋轉(zhuǎn)歐拉角，則P為檢測到特定姿態(tài)時右肘關(guān)節(jié)在右肩關(guān)節(jié)坐標(biāo)系中的坐標(biāo)，按照下式計算：

(4)

其中,Pre和Prs分別為OpenNI獲得的右肘關(guān)節(jié)及右肩關(guān)節(jié)的三維坐標(biāo)。

P′為當(dāng)前幀下右肘關(guān)節(jié)在右肩關(guān)節(jié)坐標(biāo)系中的坐標(biāo)，計算同式(4)。Rf為在運動鏈中該關(guān)節(jié)的父關(guān)節(jié)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣，在這里則為torse關(guān)節(jié)(見圖2)。解式(3)則可以得到待求關(guān)節(jié)的旋轉(zhuǎn)歐拉角及旋轉(zhuǎn)矩陣。

4 人體動畫實現(xiàn)

系統(tǒng)的整體執(zhí)行過程如圖4所示，系統(tǒng)首先進(jìn)行OpenNI的初始化，包括節(jié)點m_Context的初始化，回調(diào)函數(shù)User_NewUser、User_LostUser、UserPose_PoseDetected、UserCalibration_CalibrationStart、UserCalibration_CalibrationEnd的設(shè)置。

虛擬人文件的導(dǎo)入及顯示采用文獻(xiàn)[3]的VHASDK開發(fā)包實現(xiàn)，OpenNI檢測到特定姿態(tài)進(jìn)行正確標(biāo)定后就進(jìn)行骨架跟蹤，如果跟蹤結(jié)果可信度大于0.6則采用3.2節(jié)的方法進(jìn)行關(guān)節(jié)旋轉(zhuǎn)矩陣求解，并調(diào)用VHASDK的姿態(tài)改變函數(shù)進(jìn)行旋轉(zhuǎn)角度修改。最后刷新屏幕，通過調(diào)用VHASDK的Update()函數(shù)進(jìn)行虛擬人重繪，這樣連續(xù)進(jìn)行就得到了實時可視的人體三維動畫。

Figure 4 Data flow in our system圖4 系統(tǒng)流程圖

5 實驗結(jié)果

演示程序采用C++ 語言在VS2008環(huán)境下編寫，并使用Opencv2.0+OpenNI+OpenGL實現(xiàn)了上述算法。實驗運行硬件環(huán)境配置如下：CPU為Inteli3-2310M，內(nèi)存為4GB，顯卡為GeForceGT550M。實驗顯示一段人體進(jìn)行散打過程的實時動畫，系統(tǒng)能夠以30幀/s的速度進(jìn)行人體動畫演示。

Figure 6 Real time reconstructed human pose animated by an avatar圖6 實時生成的動畫序列

圖5為實驗過程中前100幀右肩關(guān)節(jié)旋轉(zhuǎn)歐拉角，實驗前200幀部分中間結(jié)果如圖6 所示(間隔20幀)，圖6左邊為分割出來的人體三維數(shù)據(jù)投影到圖像上的結(jié)果，實線段為骨架跟蹤結(jié)果，右邊為提取的人體三維運動姿態(tài)重定向到虛擬人后的顯示結(jié)果。實驗結(jié)果表明，動畫播放過程連續(xù)流暢，并且較好地跟蹤到人體三維運動，能夠真實模擬人體運動過程。

Figure 5 Estimated motion trajectory of left shoulder圖5 右肩關(guān)節(jié)旋轉(zhuǎn)歐拉角

6 結(jié)束語

本文在獲取Kinect深度數(shù)據(jù)的基礎(chǔ)上，采用OpenNI進(jìn)行人體姿態(tài)獲取，并驅(qū)動H-Anim虛擬人實現(xiàn)了實時三維人體動畫。該方法既可以捕獲人體三維運動數(shù)據(jù)，又可以實時直觀看到跟蹤后的運動數(shù)據(jù)，容易確定是否為需要的動作。實驗結(jié)果表明所述方法生成的人體動畫真實流暢，能夠較好地模擬人的動作。在此基礎(chǔ)上可以進(jìn)行運動數(shù)據(jù)重用、人體行為分析、手勢識別等研究，這也將是作者今后進(jìn)一步研究的內(nèi)容。

[1]WuLing,HouJin,XuFang.Therealizationof3DhumananimationbyBVH[J].JournalofShenyangLigongUniversity, 2012, 31(1):52-56.(inChinese)

[2]LüZhi-guo,LiYan,HeHan-gen.Studyonmodel-basedhandposturereconstructionofvirtualhuman[J].JournalofSystemSimulation, 2009, 21(3):665-667.(inChinese)

[3]ChenShu,ZouBei-ji,PengXiao-ning. 3Dvirtualhumananimationbasedoncapturedmotiondatainkeyvideoframes[J].JournalofSystemSimulation, 2008, 20(21):5868-5873.(inChinese)

[4]XiaoJun,ZhuangYue-ting,WuFei.Computervisionandmachinelearningin3Dhumananimation:Asurvey[J].JournalofComputer-AidedDesign&ComputerGraphics, 2008, 20(3):281-290.(inChinese)

[5]YuXue-song,TangXiang-long,LiuJia-feng,etal.Analgorithmforfasttrackingof3Darmmotionbasedonhierarchyjointmodel[J].ChineseHighTechnologyLetters, 2009, 19(6):596-602.(inChinese)

[6]ChenJia,WuXiao-jun. 3DhumanbodyshapeandmotiontrackingbyLBSandSnake[J].JournalofComputer-AidedDesign&ComputerGraphics, 2012, 24(3):357-371.(inChinese)

[7]ChenShu,ZouBei-ji,PengXiao-ning,etal.Markerless3Dhumanmotiontrackingformonocularvideosequences[J].JournalofComputer-AidedDesign&ComputerGraphics, 2008, 20(8):1047-1055.(inChinese)

[8]WangZhao-qi.Studyonsynthesisofvirtualhuman[J].JournaloftheGraduateSchoolAcademiaSinica, 2000, 17 (2):89-98.(inChinese)

[9]ShuBo,MaoTian-lu,WangZhao-qi.MotiondisplayofvirtualhumanbasedonD3D[J].JournalofComputer-AidedDesign&ComputerGraphics, 2004, 16 (11):1505-1510.(inChinese)

[10]HumanoidAnimationWorkingGroup.Specificationforastandardhumanoid[EB/OL].[2003-03-16].http://www.h-anim.org.

[11]WenGJ,WangZQ,XiaSH,etal.Frommotioncapturedatatocharacteranimation[C]∥ProcoftheACMSymposiumonVirtualRealitySoftwareandTechnology, 2006:165-168.

附中文參考文獻(xiàn)：

[1] 吳玲, 侯進(jìn), 徐芳.BVH文件驅(qū)動三維人體動畫的實現(xiàn)[J]. 沈陽理工大學(xué)學(xué)報, 2012, 31(1):52-56.

[2] 呂治國, 李焱, 賀漢根. 基于模型的虛擬人手勢重構(gòu)方法研究[J]. 系統(tǒng)仿真學(xué)報, 2009, 21(3):665-667.

[3] 陳姝, 鄒北驥, 彭小寧. 基于關(guān)鍵視頻幀跟蹤數(shù)據(jù)的三維虛擬人動畫[J]. 系統(tǒng)仿真學(xué)報, 2008, 20(21):5868-5873.

[4] 肖俊, 莊越挺, 吳飛. 計算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)在三維人體動畫中的應(yīng)用綜述[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2008, 20(3):281-290.

[5] 于雪松, 唐降龍, 劉家峰, 等. 基于關(guān)節(jié)層次模型的3D手臂運動快速跟蹤算法[J]. 高技術(shù)通訊, 2009, 19(6):596-602.

[6] 陳加, 吳曉軍. 聯(lián)合LBS和Snake的3D人體外形和運動跟蹤方法[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2012, 24(3):357-371.

[7] 鄒北驥, 陳姝, 彭小寧, 等. 適用于單目視頻的無標(biāo)記三維人體運動跟蹤[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2008, 20(8):1047-1055.

[8] 王兆其. 虛擬人合成研究綜述[J]. 中國科學(xué)院研究生院學(xué)報, 2000, 17 (2):89-98.

[9] 束搏, 毛天露, 王兆其. 基于D3D的三維虛擬人運動顯示[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2004, 16(11):1505-1510.

CHENShu,born in 1976,PhD,associate professor,CCF member(E200016567M)，his research interests include virtual reality, and computer vision.

梁文章(1964-),男，廣西南寧人，工程師，研究方向為虛擬現(xiàn)實和計算機(jī)視覺。E-mail:ad-new@vip.163.com

LIANGWen-zhang,born in 1964,engineer,his research interests include virtual reality, and computer vision.

伍靚(1990-),男，湖南漣源人，碩士生，研究方向為虛擬現(xiàn)實和計算機(jī)視覺。E-mail:lsjwuliang@msn.com

WULiang,born in 1990,MS candidate,his research interests include virtual reality, and computer vision.

Real-time3DhumanmotionanimationbasedonKinect

CHEN Shu1，LIANG Wen-zhang2，WU Liang1

(1.College of Information Engineering,Xiangtan University,Xiangtan 411105;2.Guangxi Cast Animation Co.,Ltd.,Nanning 530003,China)

An approach to animating 3D human motion based on H-Anim standard is proposed. Firstly, the human body hierarchical structure in H-Anim is studied and analyzed, and a coordinate transform strategy is given based on the analysis. Secondly, based on OpenNI, the data

from the Kinect is re-processed, and the rotational matrix of non-root joint is obtained by inverse kinematics. Finally, the entire data flow and the concrete implementation are described, and the human body animation is achieved by using OpenGL to retarget the real-time human pose to the virtual human model. The experimental results show that the proposed approach can accurately extract the human pose, and reconstructs real-time human body movement.

human motion animation;Kinect;inverse kinematics;H-Anim

1007-130X(2014)08-1544-05

2012-11-26;

：2013-03-12

國家自然科學(xué)基金資助項目(61100139,61040009)；科技部科技型中小企業(yè)技術(shù)創(chuàng)新基金資助項目(國科發(fā)計[2011]242號)；廣西千億元產(chǎn)業(yè)重點攻關(guān)工程資助項目(桂科攻11107006-13號)

TP391.41

：A

10.3969/j.issn.1007-130X.2014.08.021

陳姝(1976-),男，湖南祁東人，博士，副教授，CCF會員(E200016567M)，研究方向為虛擬現(xiàn)實和計算機(jī)視覺。E-mail:csu_cs@163.com

通信地址：411105 湖南省湘潭市湘潭大學(xué)工科樓北棟302

Address:Room 302,North Wing,Engineering Building,Xiangtan University,Xiangtan 411105,Hunan,P.R.China