馬 楠 駱駪駪

1.北京電影學(xué)院中國電影高新技術(shù)研究院，北京 100088

2.北京電影學(xué)院影視技術(shù)系，北京 100088

1 引言

動作捕捉(Motion Capture)是指記錄并處理人或其他物體動作的技術(shù)，它可以將人類的動作轉(zhuǎn)化為數(shù)字數(shù)據(jù)，并且實時地在計算機圖形中顯示出來。而實時交互影像則是一種通過計算機和傳感器等技術(shù)，使觀眾能夠與影像內(nèi)容進行實時互動和交流的影像展現(xiàn)形式。近年來，動作捕捉技術(shù)被大量地應(yīng)用在電影、游戲、虛擬現(xiàn)實和增強現(xiàn)實等領(lǐng)域中，而實時交互影像則通過觸摸屏、手勢識別、姿態(tài)識別等技術(shù)進行實現(xiàn)。

但目前通過觸摸屏、手勢識別、姿態(tài)識別等技術(shù)實現(xiàn)的實時交互影像在交互方式上較為單一，其交互手段多局限于二維，且不包含物理模擬。此外，由于設(shè)備的傳感器精度、算法的處理能力或通信延遲等方面的問題，目前的實時交互影像在交互精度上也存在不足，因此本文提出了一種基于光混動作捕捉技術(shù)的實時交互影像系統(tǒng)。該系統(tǒng)可以使觀眾在三維場景中實時地與虛擬角色進行交互，并可以使其與虛擬物體進行包含物理模擬的高精度實時交互，大幅提高實時交互影像的多樣性和準確度。

2 動作捕捉實時交互影像系統(tǒng)技術(shù)基礎(chǔ)

如圖1 所示，實時動作捕捉交互影像系統(tǒng)的技術(shù)流程主要分為場景搭建、角色設(shè)計和交互實現(xiàn)三個環(huán)節(jié)，主要通過三維建模技術(shù)，如在傳統(tǒng)建模軟件3ds Max、3D Maya、Cinema 4D 等中進行三維場景建模、材質(zhì)貼圖和燈光構(gòu)建，并將搭建完成的場景導(dǎo)入實時渲染引擎；在角色設(shè)計環(huán)節(jié)中，對虛擬角色進行設(shè)計、建模、骨骼綁定，并通過動作捕捉的方式實時驅(qū)動角色動作；在交互實現(xiàn)的環(huán)節(jié)中，進行角色交互設(shè)計和交互實現(xiàn)等。

圖1 實時動作捕捉交互系統(tǒng)的技術(shù)流程

動作捕捉是指通過跟蹤和記錄真實的人體運動過程中，各個標(biāo)記點在世界空間坐標(biāo)系下的位置變換過程，以運動數(shù)據(jù)的形式保存下來，再基于得到的運動數(shù)據(jù)驅(qū)動虛擬人運動[1]。從早期的機械式動作捕捉設(shè)備，物體運動帶動機械被傳感器實時記錄下來，發(fā)展到現(xiàn)在的光學(xué)動作捕捉技術(shù)和慣性動作捕捉技術(shù)，動作捕捉技術(shù)廣泛應(yīng)用于影像制作和數(shù)字人等領(lǐng)域的動作設(shè)計和交互功能實現(xiàn)。在技術(shù)上，光學(xué)動作捕捉技術(shù)是由相機發(fā)出紅外光，在標(biāo)記點上發(fā)生反射，從而捕捉到標(biāo)記點的絕對位置信息。慣性動作捕捉系統(tǒng)是通過慣性傳感器來捕捉人的關(guān)鍵骨骼旋轉(zhuǎn)信息，通過算法還原人體運動姿態(tài)，如圖2 所示。光學(xué)相比于慣性，追蹤準確性更高，但由于光線容易受到干擾，其對于場地的要求也更加高。因此，本文采用了光混動作捕捉系統(tǒng)，能夠彌補光學(xué)動作捕捉中標(biāo)記點丟失等不足。

圖2 動作捕捉系統(tǒng)操作流程圖

交互影像源于20 世紀80 年代開始發(fā)展的電子信息技術(shù)和當(dāng)代新藝術(shù)形式觀念的融合。其本質(zhì)是通過信息采集技術(shù)裝置，在空間中采集需要的數(shù)據(jù)信息，介入計算機系統(tǒng)對數(shù)據(jù)進行運算處理，再根據(jù)需要的交互反應(yīng)進行展現(xiàn)，從而達到和觀眾互動的效果。交互影像具有沉浸性、交互性、多感知性等特點，這些特點能更好地表現(xiàn)畫面信息，帶來更佳的視覺效果。

3 動作捕捉實時交互系統(tǒng)的搭建

動作捕捉實時交互系統(tǒng)主要由動作捕捉系統(tǒng)和實時交互系統(tǒng)組成。

3.1 動作捕捉系統(tǒng)搭建

實時動作捕捉系統(tǒng)使用的是基于諾亦騰光慣混合技術(shù)的Noitom VTS 套裝，包括8 枚PCC 光學(xué)攝像頭，慣性數(shù)據(jù)收發(fā)器和光慣混合追蹤模塊。將光學(xué)攝像頭使用桁架架設(shè)在使用場地上方，桁架下沿一般為2.8m～3m。光學(xué)攝像頭通過網(wǎng)線與PoE 交換機進行連接，數(shù)據(jù)收發(fā)器將捕捉到的實時動作捕捉數(shù)據(jù)輸入VTS Manager 系統(tǒng)。在全局設(shè)置中，在數(shù)據(jù)網(wǎng)絡(luò)IP 框中選擇攝像頭對應(yīng)的IP 地址，在SIK 選項卡中為對應(yīng)的頻段選擇對應(yīng)的編號。

在場地搭建完成后，對動作捕捉系統(tǒng)進行搭建。首先進行相機校準和地面標(biāo)定，在VTS Manager 相機管理模塊的一級界面中確認相機上線數(shù)量和幀率是否和硬件設(shè)備預(yù)設(shè)匹配，之后對場地進行掃場計算以及地面標(biāo)定。標(biāo)定結(jié)束后，在慣性管理模塊采集慣性數(shù)據(jù)，采集完成后，活動光混部位以及道具使用的光混追蹤模塊，使之進入光混匹配狀態(tài)。在數(shù)據(jù)采集完成后，進行人體姿態(tài)校準，在人體追蹤的二級界面中，選擇對應(yīng)人體進行姿態(tài)校準，按照校準人型全流程A-T-V-B-P 進行校準。對采集到的實時動作數(shù)據(jù)進行輸出，打開MoCap 輸出開關(guān)，選擇對應(yīng)的協(xié)議。如圖2所示操作流程，實時動作捕捉交互系統(tǒng)包含了兩臺計算機節(jié)點，計算機節(jié)點1負責(zé)收發(fā)實時動作捕捉數(shù)據(jù)，計算機節(jié)點2負責(zé)通過實時渲染引擎實現(xiàn)實時交互部分設(shè)計。我們將兩臺計算機接入了PoE 交換機中，即與諾亦騰設(shè)備接入了同一局域網(wǎng)，因此在同一局域網(wǎng)中，可選擇通過TCP 網(wǎng)絡(luò)協(xié)議進行數(shù)據(jù)傳輸。

3.2 實時交互系統(tǒng)搭建

如上文所述，計算機節(jié)點2 與計算機節(jié)點1 接入了同一局域網(wǎng)中，主要負責(zé)在實時渲染引擎中實現(xiàn)實時交互部分的設(shè)計。我們采用虛幻引擎5（Unreal Engine 5，UE5），負責(zé)實時交互的實現(xiàn)和渲染輸出。在計算機節(jié)點2 打開UE 工程文件，安裝Neuron Live Link 插件，版本為1.2.16，使動作捕捉的數(shù)據(jù)能夠?qū)崟r傳輸?shù)接嬎銠C節(jié)點2 中。搭建完成的動作捕捉實時交互系統(tǒng)如圖3所示。

圖3 動作捕捉交互系統(tǒng)搭建示意圖

4 動作捕捉實時交互影像具體制作

動作捕捉實時交互影像具體制作主要包括主題內(nèi)容設(shè)計、角色和角色動作設(shè)計制作以及交互內(nèi)容設(shè)計實現(xiàn)等三個部分。

4.1 內(nèi)容設(shè)計制作

在沉浸式影像內(nèi)容上，筆者選擇了展現(xiàn)廣東地區(qū)的茶文化。據(jù)《廣東新語》說，廣東種茶始于唐代，唐代曹松把茶種移植到南海西樵山，拉開了廣東茶文化的序幕。通過設(shè)置實時動作捕捉角色——茶客，展示傳統(tǒng)茶館中的喝茶習(xí)慣，與觀眾進行實時交互展示。

在Cinema 4D 中搭建茶樓的模型，借鑒傳統(tǒng)茶樓風(fēng)格，在中間放置傳統(tǒng)方桌椅子，桌上擺放茶碗茶壺，以供客人喝茶聊天。在茶樓場景的左側(cè)設(shè)置柜臺，負責(zé)結(jié)賬等事宜。將搭建好的場景導(dǎo)入UE5，添加材質(zhì)、燈光等細化環(huán)節(jié)，最后形成茶樓內(nèi)部的景象，如圖4所示。

圖4 茶樓三維場景效果圖

人物角色上設(shè)置了兩個實時動作捕捉角色，分別為茶客和店小二，在茶館中負責(zé)與觀眾進行實時交互的部分。實時動作捕捉角色由演員穿戴動作捕捉設(shè)備，將采集到的動作捕捉數(shù)據(jù)傳輸?shù)綄崟r渲染引擎中的角色上，由演員控制角色與虛擬場景中的物體實現(xiàn)交互動作。在動作上，店小二演員需要給茶客上茶、倒茶和續(xù)茶。茶客的演員需要完成叩手茶禮，即彎曲手指，叩手指關(guān)節(jié)，然后進行喝茶動作，如表1所示。

表1 角色動作設(shè)計

筆者使用C4D 建模軟件對茶客和店小二的角色形象進行建模，分別如圖5、圖6 所示。在骨骼綁定過程中，由于實時動作捕捉是以諾亦騰Perception Neuron Studio（PNS）系統(tǒng)設(shè)定的骨骼模板進行動作捕捉的，因此綁定需要符合諾亦騰PNS 針對于實時動作捕捉的綁定規(guī)范，PNS 綁定規(guī)范參考圖7。

圖5 店小二角色建模和骨骼綁定

圖6 茶客角色建模和骨骼綁定

圖7 PNS綁定規(guī)范

4.2 角色實時交互實現(xiàn)

在角色的實時交互實現(xiàn)上，根據(jù)腳本設(shè)計，需要實現(xiàn)店小二手持茶壺，向茶杯倒水的效果，主要需要解決的問題是精準地實現(xiàn)虛擬角色與虛擬物體的實時交互效果，要求虛擬物體按照腳本的設(shè)定配合虛擬角色的動作。為實現(xiàn)該效果，本文提出了兩種解決思路：一種是在虛幻引擎中通過編寫藍圖來實現(xiàn)交互，一種是通過動作捕捉設(shè)備實現(xiàn)。根據(jù)角色動作腳本的設(shè)置，角色會與茶杯和茶壺兩個虛擬物體進行交互。

方案一的主要思路是通過UE5 的藍圖功能來實現(xiàn)交互。在UE5 中新建Actor 藍圖類，在組件里添加茶杯的靜態(tài)網(wǎng)格體組件和碰撞體，并將碰撞體設(shè)置為可生成重疊事件。根據(jù)茶客動作腳本，需要實現(xiàn)拿起茶杯的動作，動作可分解為：識別手碰到茶杯——茶杯附著在手上——茶杯跟隨手運動。首先需要讓系統(tǒng)識別到角色的手碰到了茶杯，在角色藍圖中添加類型轉(zhuǎn)換節(jié)點，用于檢測和人物重疊的事件Actor 是否為茶杯。下一步需要實現(xiàn)將茶杯附著在手上，我們通過在角色骨骼添加插槽來實現(xiàn)。將茶杯通過骨骼插槽與角色的特定位置綁定，在骨骼插槽處將茶杯與手的位置調(diào)整到最佳，并將對象添加到組件，連接角色骨骼網(wǎng)格體（圖8）。此時，當(dāng)角色觸碰到茶杯，茶杯就會附著在左手位置，跟隨人的手部進行運動。但編寫藍圖的方案存在很大的局限性，因為藍圖編寫對每個道具的狀態(tài)和使用方式都進行了限制，演員需要嚴格的按照道具的設(shè)定進行表演，所以會一定程度上減弱交互性。

圖8 藍圖交互實現(xiàn)

在此基礎(chǔ)上，我們設(shè)計了方案二，通過動作捕捉道具的位置來實現(xiàn)實時交互。按照動作腳本的設(shè)計，角色的交互主要體現(xiàn)在茶客、店小二和茶杯等道具的交互上。整體思路是在動作捕捉角色動作的同時，將需要實時交互的物體模型與剛體綁定，捕捉到的剛體運動數(shù)據(jù)即為場景中物體的運動數(shù)據(jù)。在VTS Manager 系統(tǒng)中設(shè)備管理的二級界面里添加道具（圖9），在剛體上裝上傳感器，對道具信息進行編輯和管理，將茶壺設(shè)置道具名稱為“teapot”，將茶杯設(shè)置道具名稱為“teacup”。選擇對應(yīng)ID 的光混追蹤模塊，并導(dǎo)入對應(yīng)識別的道具模型自定義光混追蹤模塊與道具的offset，以實現(xiàn)精準定位和適配。在UE5 中，選擇茶杯的靜態(tài)網(wǎng)格體，在細節(jié)面板中添加Live Link Component Controller 組件，在Subject Representation 中選擇對應(yīng)的道具，此時道具的位移數(shù)據(jù)就已經(jīng)傳輸?shù)経E5 的靜態(tài)網(wǎng)格體中。

圖9 在VTS Manager 中添加道具

為了便于精確調(diào)整道具在場景中的位置，需要將場景和道具的位置歸零，使用相對位移驅(qū)動道具，才能使得道具出現(xiàn)在正確位置。調(diào)整道具位置可以通過VTS Manager 的平移修正和Live Link 中的offset，VTS 中平移修正改變的坐標(biāo)數(shù)值是UE 中的1%，因此可以計算出精確位置來進行調(diào)整。調(diào)整完畢后，人手朝對應(yīng)位置轉(zhuǎn)動，茶壺就會實現(xiàn)向茶杯傾倒效果（圖10）。

圖10 茶壺向茶杯倒水實現(xiàn)效果

通過在實時性、精確性和完整性上對兩種方案進行測試，在實時性上，方案一只需要動作捕捉人物，而方案二增加了兩個動作捕捉道具，所以方案一優(yōu)于方案二。在精確性上，由于方案一中角色碰到道具后，道具將直接綁定在角色手上，綁定的位置預(yù)先設(shè)定，所以影響精確度的因素主要在于引擎中交互物體碰撞體的大小、形狀以及演員手的位置。如果碰撞體過大或者身體的其他部位誤碰到了道具，也會使道具綁定在相應(yīng)位置。方案二中，道具在手中的方向和運動位置都是實時的，演員需要記住剛體結(jié)構(gòu)的位置點和運動走向，來防止手部穿模以及茶壺傾倒方向錯誤等。在完整性上，方案一無法實現(xiàn)第二次相同動作，只能進行一次交互，方案二則可以反復(fù)實現(xiàn)，更具有靈活性和可操作性。綜上所述，實時交互影像制作最終采用方案二。

將計算機節(jié)點2 通過HDMI 線連接一臺投影，本測試使用的是極米（XGIMI）NEW Z8X 投影，連接完成后，UE5 中的實時渲染畫面就被投影在墻面。根據(jù)畫面的設(shè)計調(diào)整演員和道具的位置，此時，兩位動作捕捉演員的動作實時傳輸給茶客和店小二這兩個虛擬角色?；趧幼鞑蹲降膶崟r交互影像系統(tǒng)的最終效果如圖11 所示，現(xiàn)場畫面如圖12 所示，該系統(tǒng)能夠?qū)崿F(xiàn)動作腳本的設(shè)定動作，例如當(dāng)動作捕捉演員拿起道具做傾倒動作時，實時渲染畫面就會顯示店小二給茶客倒水的畫面。

圖11 店小二給茶客倒水最終畫面效果

圖12 動作捕捉實時交互影像系統(tǒng)最終實現(xiàn)效果

5 結(jié)語

本文在廣州國際燈光節(jié)項目基于動作捕捉的實時交互影像的設(shè)計和制作中，通過實時渲染引擎的藍圖功能和動作捕捉道具位置兩種方法，實現(xiàn)了虛擬角色和虛擬物體的實時交互功能，豐富了實時交互影像的交互多樣性、大幅提升了交互精度。目前，該技術(shù)在虛擬直播、沉浸式展覽等領(lǐng)域也具有創(chuàng)新內(nèi)容呈現(xiàn)形式、增強影像交互性等重要意義。未來隨著沉浸式交互影像在國內(nèi)外的不斷發(fā)展，動作捕捉技術(shù)也會被廣泛地運用到交互式影像的設(shè)計和制作中，為交互影像的內(nèi)容創(chuàng)新帶來更多的可能。

作者貢獻聲明：

馬楠：設(shè)計全文框架，搜集文獻資料，實驗測試，撰寫并修訂論文，全文文字貢獻80%；

駱駪駪：修訂論文結(jié)構(gòu)及論文規(guī)范，全文文字貢獻20%。