王 新，朱信忠，趙建民，徐慧英

基于實(shí)時(shí)動(dòng)作捕捉技術(shù)在影視動(dòng)畫(huà)中的研究

王 新，朱信忠，趙建民，徐慧英

隨著《金剛》、《加勒比海盜 2》、《阿凡達(dá)》等一系列影視作品的熱映，這些影片中的虛擬角色可謂是深入人心，深受觀眾的喜愛(ài)。這些虛擬角色的建立不同于傳統(tǒng)的3D影視動(dòng)畫(huà)制作，而是取自于真實(shí)的人物動(dòng)作和表情。綜述了目前動(dòng)作捕捉領(lǐng)域中幾大主流動(dòng)作捕捉系統(tǒng)，并且詳細(xì)講解了動(dòng)作捕捉技術(shù)在影視動(dòng)畫(huà)領(lǐng)域的應(yīng)用，最后提出了一種新的動(dòng)作捕捉設(shè)計(jì)方案-無(wú)標(biāo)記點(diǎn)的動(dòng)作捕捉設(shè)計(jì)。

動(dòng)作捕捉；3D動(dòng)畫(huà)；光學(xué)動(dòng)作捕捉系統(tǒng)；無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉

0 引言

近年來(lái)，隨著計(jì)算機(jī)技術(shù)、圖形圖像技術(shù)和傳感器技術(shù)的快速發(fā)展，產(chǎn)生的動(dòng)作捕捉技術(shù)在影視制作、游戲設(shè)計(jì)、運(yùn)動(dòng)分析、舞蹈采集和虛擬現(xiàn)實(shí)中得到了越來(lái)越廣泛的應(yīng)用[1]。動(dòng)作捕捉技術(shù)已經(jīng)作為一種強(qiáng)大的制作手段被充分地用到影視廣告和動(dòng)畫(huà)制作等相關(guān)行業(yè)中。光學(xué)動(dòng)作捕捉系統(tǒng)是應(yīng)用最廣泛的動(dòng)作捕捉系統(tǒng)，它是在演員或需要捕捉的物體的主要關(guān)節(jié)和部位粘貼上包裹特殊反射材質(zhì)的球體（Marker），用來(lái)反射由紅外攝像機(jī)發(fā)射的光線，然后在攝像機(jī)投影圖像中獲取跟蹤點(diǎn)的二維坐標(biāo)，通過(guò)攝像機(jī)坐標(biāo)系和二維坐標(biāo)系的轉(zhuǎn)換，獲得跟蹤點(diǎn)的空間運(yùn)動(dòng)軌跡，然后把空間軌跡賦予動(dòng)畫(huà)模型，使模型具有真人的動(dòng)作效果。

1 現(xiàn)代主流的動(dòng)作捕捉系統(tǒng)

目前主流的動(dòng)作捕捉系統(tǒng)可分為機(jī)械式、電磁式、聲學(xué)式、光學(xué)式四類[3]。基于光學(xué)式動(dòng)作捕捉系統(tǒng)主要是利用多個(gè)攝像機(jī)采集運(yùn)動(dòng)圖像序列和軌跡，通過(guò)識(shí)別和跟蹤圖像信息中特定的 Marker，利用這些標(biāo)記點(diǎn)的運(yùn)動(dòng)信息來(lái)進(jìn)行三維重建，進(jìn)而完成運(yùn)動(dòng)捕捉的任務(wù)。

1.1 機(jī)械式動(dòng)作捕捉系統(tǒng)

機(jī)械式動(dòng)作捕捉系統(tǒng)主要是我們借助機(jī)械裝置來(lái)采集運(yùn)動(dòng)數(shù)據(jù)，機(jī)械式動(dòng)作捕捉系統(tǒng)依靠的是機(jī)械裝置來(lái)跟蹤和測(cè)量運(yùn)動(dòng)軌跡。機(jī)械式動(dòng)作捕捉系統(tǒng)一般由多個(gè)關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動(dòng)的關(guān)節(jié)中裝有角度傳感器，可以測(cè)得關(guān)節(jié)轉(zhuǎn)動(dòng)角度的變化情況。裝置運(yùn)動(dòng)時(shí)，根據(jù)角度傳感器所測(cè)得的角度變化和連桿的長(zhǎng)度，可以得出桿件末端點(diǎn)在空間中的位置和運(yùn)動(dòng)軌跡。實(shí)際上，裝置上任何一點(diǎn)的運(yùn)動(dòng)軌跡都可以求出，剛性連桿也可以換成長(zhǎng)度可變的伸縮桿，用位移傳感器測(cè)量其長(zhǎng)度的變化。

1.2 電磁式動(dòng)作捕捉系統(tǒng)

電磁式運(yùn)動(dòng)捕捉系統(tǒng)是目前比較常用的運(yùn)動(dòng)捕捉設(shè)備。電磁式動(dòng)作捕捉系統(tǒng)由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時(shí)空規(guī)律分布的電磁場(chǎng)；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動(dòng)作在電磁場(chǎng)中運(yùn)動(dòng) , 通過(guò)電纜或無(wú)線方式與數(shù)據(jù)處理單元相連，表演者在電磁場(chǎng)內(nèi)表演時(shí)，接收傳感器將接收到的信號(hào)通過(guò)電纜傳送給處理單元，根據(jù)這些信號(hào)可以解算出每個(gè)傳感器的空間位置和方向。

1.3 聲學(xué)式動(dòng)作捕捉系統(tǒng)

聲學(xué)式運(yùn)動(dòng)捕捉系統(tǒng)由發(fā)送器、接收器和處理單元組成。發(fā)送器是一個(gè)固定的超聲波發(fā)生器，接收器由呈三角形排列的3個(gè)超聲探頭組成。通過(guò)測(cè)量聲波從發(fā)送器到接收器的時(shí)間或者相位差，系統(tǒng)可以計(jì)算并確定接收器的位置和方向。 這類裝置成本較低，但對(duì)運(yùn)動(dòng)的捕捉有較大延遲和滯后，實(shí)時(shí)性較差，精度一般不很高，聲源和接收器間不能有大的遮擋物體，受噪聲和多次反射等干擾較大。由于空氣中聲波的速度與氣壓、濕度、溫度有關(guān)，所以還必須在后期的算法中做出相應(yīng)的補(bǔ)償。

1.4 光學(xué)式動(dòng)作捕捉系統(tǒng)

光學(xué)式動(dòng)作捕捉系統(tǒng)是目前世界上使用最廣泛，技術(shù)最完善，使用最方便的動(dòng)作捕捉系統(tǒng)，它是在演員或捕捉的物體的主要部位和關(guān)節(jié)處包裹上特殊的反光材質(zhì)制作的小球，即

我們說(shuō)的 Marker，利用多個(gè)紅外攝像機(jī)從不同的角度拍攝。然后利用軟件分析圖像上標(biāo)記點(diǎn)的圖像坐標(biāo)，利用計(jì)算機(jī)視覺(jué)原理進(jìn)行三維重建，得出標(biāo)記點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)。光學(xué)式運(yùn)動(dòng)捕捉的優(yōu)點(diǎn)是表演者活動(dòng)范圍大，無(wú)電纜、機(jī)械裝置的限制，使用方便，采樣速率較高，基于以上優(yōu)點(diǎn)，光學(xué)式動(dòng)作捕捉系統(tǒng)是現(xiàn)階段應(yīng)用最廣泛的動(dòng)作捕捉系統(tǒng)。光學(xué)式動(dòng)作捕捉如圖1.1 所示：

圖1.1 光學(xué)動(dòng)作捕捉系統(tǒng)的 Marker實(shí)時(shí)捕捉

2 基于動(dòng)作捕捉技術(shù)的影視動(dòng)畫(huà)的設(shè)計(jì)

動(dòng)作捕捉技術(shù)為了能形象的描述真實(shí)人體的運(yùn)動(dòng)，需要建立一個(gè)骨架模型，所有的骨架模型我們存儲(chǔ)在下圖所示的動(dòng)作模塊數(shù)據(jù)庫(kù)中，為了讓捕捉到的動(dòng)作數(shù)據(jù)來(lái)驅(qū)動(dòng)三維人體模型，我們需要將模型與捕捉到的動(dòng)作數(shù)據(jù)結(jié)合，實(shí)現(xiàn)與模型的匹配，從而驅(qū)動(dòng)模型的運(yùn)動(dòng)。最后是模型與捕捉數(shù)據(jù)匹配，以及讓模型能跟著捕捉下來(lái)的動(dòng)作數(shù)據(jù)動(dòng)起來(lái)，具體實(shí)現(xiàn)如圖1.2 所示：

圖1.2 基于動(dòng)作捕捉的影視動(dòng)畫(huà)制作流程圖

3 動(dòng)作捕捉技術(shù)在影視動(dòng)畫(huà)中的應(yīng)用

以前的電影是讓真實(shí)變成虛擬，而如今正讓虛擬的場(chǎng)景變成現(xiàn)實(shí)。在影視動(dòng)畫(huà)制作中大量使用動(dòng)作捕捉技術(shù)是現(xiàn)在國(guó)外主要使用的制作手段，也是未來(lái)影視動(dòng)畫(huà)制作業(yè)的發(fā)展趨勢(shì)。一部影視作品利用動(dòng)作捕捉技術(shù)只需要下面的幾個(gè)步驟就可以快速制作一部受到觀眾喜歡的影視動(dòng)畫(huà)作品，實(shí)際操作步驟如圖1.3 所示：

1.3 動(dòng)作捕捉技術(shù)的影視制作流程圖

我們將運(yùn)動(dòng)捕捉技術(shù)用于影視和動(dòng)畫(huà)制作，可極大地提高影視和動(dòng)畫(huà)制作的水平。它能極大提高了影視和動(dòng)畫(huà)制作的效率，降低影視動(dòng)畫(huà)制作的成本，使影視動(dòng)畫(huà)制作過(guò)程更為直觀，效果更為生動(dòng)[5]。隨著動(dòng)作捕捉技術(shù)的進(jìn)一步成熟，實(shí)時(shí)影視動(dòng)畫(huà)技術(shù)將會(huì)得到越來(lái)越廣泛的應(yīng)用，而運(yùn)動(dòng)捕捉技術(shù)作為影視動(dòng)畫(huà)系統(tǒng)不可缺少的、最關(guān)鍵的部分，必然顯示出更加重要的地位。

4 一種新的動(dòng)作捕捉系統(tǒng)設(shè)計(jì)

4.1 無(wú)標(biāo)記動(dòng)作捕捉技術(shù)

光學(xué)動(dòng)作捕捉系統(tǒng)雖然可以捕捉實(shí)時(shí)運(yùn)動(dòng)軌跡，但是我們知道該系統(tǒng)價(jià)格昂貴，后期的數(shù)據(jù)處理包括 Marker 的識(shí)別、跟蹤、空間坐標(biāo)等的計(jì)算繁雜[6]。而且這類系統(tǒng)對(duì)于表演場(chǎng)地的光照、反射情況非常敏感。裝置的定標(biāo)也較為繁瑣，特別是當(dāng)運(yùn)動(dòng)復(fù)雜或者速度較快的時(shí)候，不同部位的 Marker很容易混淆、遮擋，產(chǎn)生錯(cuò)誤的結(jié)果，經(jīng)常需要人工干預(yù)后處理。由于這樣那樣的各種限制，所以幾乎所有的光學(xué)捕捉跟蹤系統(tǒng)都還需要依靠后序處理程序?qū)Σ蹲降臄?shù)據(jù)進(jìn)行分析、加工和整理，然后才能把這些數(shù)據(jù)應(yīng)用到動(dòng)畫(huà)角色模型上去?；诂F(xiàn)代光學(xué)動(dòng)作捕捉的缺點(diǎn)，我們推出一種新的動(dòng)作捕捉方案-無(wú)標(biāo)記動(dòng)作捕捉。

4.2 無(wú)標(biāo)記動(dòng)作捕捉技術(shù)的原理

新興的光學(xué)動(dòng)作捕捉系統(tǒng)即無(wú)標(biāo)記點(diǎn)（Markerless）的運(yùn)動(dòng)捕捉。無(wú)標(biāo)記動(dòng)作捕捉需要分析和表達(dá)人體的運(yùn)動(dòng)，整個(gè)捕捉過(guò)程可以分為圖像分割、圖像跟蹤、姿勢(shì)估計(jì)和識(shí)別。圖像分割和跟蹤的目的就是正確地從圖像序列幀中識(shí)別目標(biāo)。最簡(jiǎn)單的圖像分割方法叫做差別法，我們用攝像機(jī)連續(xù)記錄兩幅圖像的時(shí)候，如果這兩個(gè)連續(xù)圖像 A1和 A2的差別已經(jīng)包含在這連續(xù)二幀圖像之中了。圖像跟蹤和姿勢(shì)估計(jì)的目的是基于模型來(lái)描述人體姿勢(shì)，我們知道關(guān)節(jié)的運(yùn)動(dòng)方法用參數(shù)化的人體模型，這樣做的優(yōu)點(diǎn)是每個(gè)狀態(tài)代表一個(gè)物理的有效姿勢(shì)，從而可以利用已有的動(dòng)作先驗(yàn)信息。無(wú)標(biāo)記點(diǎn)的動(dòng)作捕捉彌補(bǔ)了光學(xué)動(dòng)作捕捉系統(tǒng)的缺陷，極大的提高了動(dòng)作捕捉的數(shù)據(jù)的準(zhǔn)確性。

5 總結(jié)

論文主要是論述了現(xiàn)代動(dòng)作捕捉技術(shù)在影視動(dòng)畫(huà)制作方面的應(yīng)用，隨著動(dòng)作捕捉技術(shù)的不斷發(fā)展和完善，動(dòng)作捕捉技術(shù)必將在我們的日常生活中得到越來(lái)越重要的應(yīng)用。光學(xué)式動(dòng)作捕捉系統(tǒng)的出現(xiàn)，大大降低了影視動(dòng)畫(huà)制作的拍攝成本，并且使得影視和動(dòng)畫(huà)畫(huà)面逼真。提出一種最新的動(dòng)作捕捉設(shè)計(jì)方案-無(wú)標(biāo)記的動(dòng)作捕捉設(shè)計(jì)，相信隨著科技的繼續(xù)發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，運(yùn)動(dòng)捕捉技術(shù)將會(huì)得到更大的實(shí)際應(yīng)用。

[1]孫國(guó)玉. 運(yùn)動(dòng)捕捉技術(shù)與 FilmBox 基礎(chǔ)教程[M].北京：北京廣播學(xué)院出版社 .2002.04.

[2]王士華.Motion Capture 運(yùn)動(dòng)捕捉初級(jí)教程[M].北京:北京希望電子出版.2000.1.

[3]明政.《動(dòng)畫(huà)動(dòng)態(tài)制作-動(dòng)作捕捉技術(shù)基礎(chǔ)》[M].北京：清華大學(xué)出版社.2013.5

[4]遠(yuǎn)淑，陳福民.基于動(dòng)作捕捉的計(jì)算機(jī)動(dòng)畫(huà)探討與實(shí)現(xiàn)[J].同濟(jì)大學(xué)學(xué)報(bào).2004.7

[5]伯詳，魏小鵬.光學(xué)運(yùn)動(dòng)捕捉散亂數(shù)據(jù)處理的一種方法[J].系統(tǒng)仿真學(xué)報(bào).2008.1

[6]士華，于濤.MotionCapture 運(yùn)動(dòng)捕捉高級(jí)教程[M].北京：北京希望電子出版社. 2002.5.

Research of Film and Animation Based on the Real-time Motion Capture Technology

Wang Xin, Zhu Xinzhong, Zhao Jianmin, Xu Huiying
(College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua321004, China)

Along with the " King Kong ", " Pirates of the Caribbean 2", " Afanda " and a series of films and television works together, virtual characters of these videos are deeply loved by the audience. These virtual characters are different from the traditional 3D film and television animation; they come the real action and expression. This article reviews several major motion capture. System in the current motion capture area, and explains the motion capture technology in video applicationsin detail. Finally, it presents a new motion capture design - marker-less motion capture design.

Motion Capture; 3D Animation; Opticalmotion Capture System; Markerless

TP311

A

1007-757X(2014)02-0016-02

2014.02.25）

浙江省大學(xué)生科技創(chuàng)新活動(dòng)計(jì)劃 (新苗人才計(jì)劃)(編號(hào)：2013R404047)

王 新（1988-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，碩士研究生，研究方向：動(dòng)作捕捉，浙江金華，321004朱信忠（1975-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，副教授，碩士生導(dǎo)師，研究方向：智能控制，模式識(shí)別與數(shù)字工程,多媒體圖像檢索等，浙江金華，321004趙建民（1951-），男，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，教授，博士生導(dǎo)師，研究方向：人工智能, 模式識(shí)別等，浙江金華，32l004徐慧英（1977-），女，浙江師范大學(xué)數(shù)理與信息工程學(xué)院，副教授，研究方向：智慧物流, 物聯(lián)網(wǎng)通信，模式識(shí)別與圖像處理等，浙江金華，32l004