馬金秀

中國電影科學技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086

1 前言

以LED 為背景墻的虛擬攝制系統(tǒng)近年來迅速點燃了國內(nèi)外的影視市場,此項技術(shù)是目前影視制作領(lǐng)域的前沿技術(shù),國內(nèi)尚處于研究、探索、實踐階段。本文研究基于中國電影科學技術(shù)研究所 (中央宣傳部電影技術(shù)質(zhì)量檢測所)搭建的虛擬拍攝實驗環(huán)境,把以往主要用于動作捕捉的高精度Vicon動作捕捉系統(tǒng)和LED 背景墻、虛幻引擎 (Unreal Engine)4.27渲染系統(tǒng)進行了結(jié)合應用,提高了物理攝影機的追蹤精度,提升了LED 虛擬拍攝的拍攝質(zhì)量。對結(jié)合應用過程中的技術(shù)難點,如坐標系的匹配、跟蹤原點的設定、物理攝影機與虛擬攝影機的綁定和匹配等做了細致研究。本文提出的將Vicon動作捕捉系統(tǒng)用于LED 虛擬攝制,實現(xiàn)物理攝影機與虛擬攝影機綁定和匹配的方法,旨在為行業(yè)從業(yè)人員提供技術(shù)指導,推動LED 虛擬攝制技術(shù)的行業(yè)應用和發(fā)展。

2 項目研究背景及面臨的問題

2.1 LED虛擬攝制技術(shù)的興起

將實景影像投射到演員身后進行拍攝在20世紀30年代就出現(xiàn)了,該技術(shù)通常用于拍攝汽車駕駛鏡頭,通過電影放映機生成后方投影進行拍攝,它的缺點很明顯:只能從一個固定視角進行拍攝,否則投影的畫面和拍攝的實景前景在視角上會出現(xiàn)透視關(guān)系錯誤。LED 顯示技術(shù)的發(fā)展以及游戲引擎實時渲染能力的提高,讓根據(jù)鏡頭視角變化實時渲染背景成為一種可能。

2019年,好萊塢拍攝迪士尼的科幻劇集 《曼達洛人》第一季時,采用了以LED 作為背景墻的虛擬攝制技術(shù)?！堵_洛人》中有一半的鏡頭是在名為StageCraft①的片場里完成的。以LED 背景墻替代傳統(tǒng)綠幕,綜合應用了攝影機追蹤、虛幻引擎實時渲染等技術(shù),實現(xiàn)了現(xiàn)場實景和虛擬背景的協(xié)同攝制和攝影機內(nèi)(In-camera)最終成像。《曼達洛人》搭建的 “LED Volume”是一個高度為6 米,周長為54米的LED 視頻墻,由點間距為2.84 毫米的1326個LED 模組組成,形成270度半圓形背景屏幕,22米直徑的表演空間,頂部是LED 屏幕天花板。以LED 作為背景墻的虛擬攝制技術(shù)自2019年起迅速掀起了虛擬攝制的熱潮,2019年可以認為是以LED 作為背景墻進行虛擬攝制的元年。

2.2 面臨的問題

LED 虛擬攝制技術(shù)發(fā)展之初主要用于電視劇集的拍攝,電視劇集和電影在技術(shù)規(guī)格上存在較大差異,電影在色彩還原、亮度、對比度等技術(shù)參數(shù)上都有更高的要求,提升LED 虛擬攝制的拍攝質(zhì)量,需要更高精度的追蹤系統(tǒng),以實現(xiàn)物理攝影機和虛擬攝影機的精準匹配,減少系統(tǒng)誤差,提升拍攝質(zhì)量。LED 虛擬攝制系統(tǒng)是多套系統(tǒng)的集成,在系統(tǒng)搭建上存在多種技術(shù)解決方案,不同的技術(shù)解決方案,其拍攝性能有很大區(qū)別。在攝影機追蹤系統(tǒng)的搭建中,一些小型工作室采用了很多民用設備解決對物理攝影機的追蹤問題,但民用設備的捕捉精度有限,其拍攝效果無法保證。綜上所述,更高精度的追蹤系統(tǒng)用于LED 虛擬拍攝將有助于LED 虛擬攝制技術(shù)的發(fā)展與應用。

3 物理攝影機和虛擬攝影機的匹配實現(xiàn)

3.1 LED虛擬攝制系統(tǒng)技術(shù)架構(gòu)

LED 虛擬攝制系統(tǒng)主要由攝影系統(tǒng)、攝影機追蹤系統(tǒng)、LED 屏顯示系統(tǒng)、游戲引擎渲染系統(tǒng)、同步系統(tǒng)、燈光照明系統(tǒng)等構(gòu)成,各系統(tǒng)協(xié)同工作,并在攝影機里實現(xiàn)最終成像。其工作原理為:攝影機追蹤系統(tǒng)將捕捉到的物理攝影機的運動軌跡賦予游戲引擎中的虛擬攝影機,物理攝影機驅(qū)動虛擬攝影機,虛擬攝影機通過游戲引擎渲染系統(tǒng)把正確的虛擬環(huán)境投射到LED墻上,被攝物在LED背景墻前進行表演,由物理攝影機完成拍攝,實現(xiàn)攝影機內(nèi)最終成像的效果,其系統(tǒng)架構(gòu)如圖1所示,在虛擬拍攝系統(tǒng)中還可以加入數(shù)字資產(chǎn)管理、后期處理等系統(tǒng)。

圖1 LED虛擬攝制系統(tǒng)

3.2 攝影機運動追蹤技術(shù)

攝影機運動追蹤技術(shù)是LED 虛擬攝制系統(tǒng)中的關(guān)鍵技術(shù),需要通過對真實攝影機位置的追蹤,將攝影機的實時位置移動數(shù)據(jù)實時傳入到虛幻引擎,通過物理攝影機和虛擬場景中虛擬攝影機的綁定和匹配,獲得正確的視角渲染虛擬場景,實現(xiàn)虛擬攝制。

3.3 攝影機追蹤系統(tǒng)分類

攝影機追蹤方案根據(jù)實現(xiàn)原理的不同可以分為主動式和被動式,主動式的位置跟蹤中,攝影機或傳感器位于被跟蹤的設備上,典型的主動式跟蹤設備有Ncam、Lightcraft、MoSys、RedSpy等；被動式追蹤通常采用光學跟蹤方式,面向被追蹤的物體,使用攝影機或其他傳感器放置在一個固定的位置,典型的被動式跟蹤設備有Vicon、OptiTrack、HTC Vive等。

3.4 光學追蹤技術(shù)原理

LED 虛擬攝制系統(tǒng)通常采用復雜的光學追蹤解決方案。一般會在攝影機上安裝反射標記點,圍繞LED 背景墻架設一圈攝像頭,其工作原理為:在光學動作捕捉系統(tǒng)中,每個紅外動作捕捉鏡頭上都有紅外(長波)發(fā)射器,鏡頭會發(fā)射出紅外光,被捕捉的目標上附著了能夠反射紅外光線的標識點(Marker),標識點反射的紅外光會被多個鏡頭上的感應器矩陣接收。不同位置的鏡頭采集到標識點的位置后,就可以計算出這個點在空間中的三維坐標,通過這種原理,動作捕捉系統(tǒng)可以同時采集到目標上多個標識點的一系列三維坐標。大量坐標數(shù)據(jù)通過POE交換機傳輸給動作捕捉軟件,便可以解算出目標在空間中的位置、方向和運動軌跡等信息,進而實現(xiàn)對目標的追蹤。

3.5 Vicon追蹤系統(tǒng)對物理攝影機與虛擬攝影機的綁定和匹配實現(xiàn)

3.5.1 技術(shù)難點

要實現(xiàn)物理攝影機與虛擬攝影機的綁定和匹配需要解決兩個技術(shù)難點:一是坐標系的匹配,Vicon追蹤系統(tǒng)采用左手坐標系,本實驗渲染系統(tǒng)采用的是虛幻引擎 (UE),虛幻引擎使用右手坐標系,要實現(xiàn)物理攝影機和虛擬攝影機的綁定,首先要使兩者的坐標系實現(xiàn)匹配。其次是坐標原點的設定,其設定關(guān)系到匹配的精準性。在虛擬攝制中,虛幻引擎中的虛擬LED 背景墻必須和真實物理環(huán)境中的LED 背景墻完全一致,這樣才能盡可能減少拍攝效果誤差。一般采取激光掃描的方式對攝影棚中的真實LED背景墻進行建模,以達到尺寸上的精準匹配。虛擬LED 背景墻和真實LED 背景墻不僅在尺寸上要精準匹配,更重要的一點是坐標原點需要完全一致,要實現(xiàn)坐標原點的一致,在真實的攝影機追蹤環(huán)境中,就需要標定原點。

3.5.2 Vicon 追蹤系統(tǒng)搭建

Vicon動作捕捉系統(tǒng)由運動捕捉攝像頭、Vicon 系統(tǒng)支持的POE 交換機、Shōgun 數(shù)據(jù)處理軟件等組成,可提供實時和離線數(shù)字光學運動捕捉數(shù)據(jù),這些數(shù)據(jù)可應用于動畫制作、虛擬現(xiàn)實系統(tǒng)、生命科學等方面。對于虛擬攝制來說,Vicon動作捕捉系統(tǒng)只捕捉相當于剛體的物理攝影機的運動軌跡,可以完全滿足虛擬攝制對于物理攝影機運動的精度需求。

本文的研究環(huán)境基于中國電影科學技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所)拍攝技術(shù)研究實驗室。實驗室設計架設攝像頭桁架的尺寸為寬度5.2米,高度3米,長度9.4米。根據(jù)攝像頭有效的捕捉角度,架設6 個Vicon Vantage V16 (1600萬像素)攝像頭,支持120FPS全分辨率拍攝,6個MX-T160攝像頭。實驗室有效的捕捉范圍為:寬度2.3米,長度5.4米。搭建完成后的環(huán)境如圖2 所示。攝影機追蹤系統(tǒng)架構(gòu)如圖3所示。

圖2 拍攝技術(shù)研究實驗室

圖3 攝影機追蹤系統(tǒng)架構(gòu)圖

3.5.3 物理攝影機與虛擬攝影機的綁定和匹配解決方案

(1)三維笛卡爾坐標系

笛卡爾坐標系 (Cartesian Coordinate System)也稱直角坐標系,在數(shù)學中是一種正交坐標系,由法國數(shù)學家勒內(nèi)·笛卡爾引入而得名。直角坐標系的x軸、y軸與z軸必須相互垂直。包含z軸的直線為z線。在三維空間里,當我們設定了x軸、y軸的位置與方向的同時,我們也設定了z線的方向。在z線以原點為共同點的兩條半線中,存在正值和負值,這兩種不同的坐標系統(tǒng)稱為右手坐標系與左手坐標系。右手坐標系又稱為標準坐標系或正值坐標系,如圖4所示。

圖4 笛卡爾坐標系

(2)虛幻引擎(UE)和Vicon追蹤系統(tǒng)坐標系的匹配方法

任何坐標系下的坐標都是相對坐標。因此,笛卡爾三維坐標系下,通過變換坐標軸的正向方向,就能夠得到兩種不同的坐標系,即左手坐標系和右手坐標系。這就為Vicon追蹤系統(tǒng)和虛幻引擎渲染系統(tǒng)的坐標匹配提供了理論依據(jù)。

虛幻引擎為左手坐標系:X 軸正向為右,Z 軸正向為上,Y 軸正向向后,如圖5所示。

圖5 虛幻引擎坐標系

Vicon追蹤系統(tǒng)采用的是右手坐標系:Y 軸正向為右,Z軸正向為上,X 軸正向向后,如圖6所示。

圖6 Vicon坐標系

本實驗系統(tǒng)測試了幾種方式,在物理攝影機通過Live Link導入虛幻引擎時,在Live Link中更改坐標軸方向,測試了Z軸±90度變換,以及X 軸、Y 軸的±90度、±180度變換,均不能實現(xiàn)軸向的匹配,并會造成坐標軸的混亂。

經(jīng)過多次研究和測試,Vicon追蹤系統(tǒng)左手坐標系和虛幻引擎右手坐標系匹配的技術(shù)解決方案為:借助虛幻引擎中的空Actor(跟蹤原點)轉(zhuǎn)換Z 軸的方向,實現(xiàn)Vicon坐標軸的轉(zhuǎn)換。圖7是物理攝影機進入虛幻引擎時攝影機的初始位置,通過把虛擬攝影機拖入空Actor下,作為它的子項,虛擬攝影機的位置信息由跟蹤原點控制,更改空Actor Z軸方向,旋轉(zhuǎn)-90度,虛擬攝影機現(xiàn)在位于和虛擬屏幕垂直90 度位置,實現(xiàn)和物理攝影機的坐標匹配,如圖8所示。

圖7 攝影機初始位置

圖8 攝影機轉(zhuǎn)換坐標之后

(3)坐標原點的設定

真實物理世界的原點必須和虛擬場景里的原點完全一致,虛擬攝制時才能有正確的拍攝效果。

首先對真實物理世界的原點進行標定。原點標定必須要有基準參照物,在Vicon追蹤系統(tǒng)中,采用校準棒標定原點。Vicon 校準棒 (5 Marker Wand and L-Frame)有5個反光標記點,中間點為原點位,校準棒所標定的原點既是物理場景中的跟蹤原點,也是虛擬場景中的跟蹤原點。在原點標定時,需要特別注意方向,T 字校準棒標定原點的同時也標定了X軸、Y 軸、Z軸的方向。為保證物理場景中LED 背景墻的位置與虛擬世界中LED 背景墻位置方向一致,對Vicon追蹤系統(tǒng)來說,T 字校準棒擺放位置如圖9所示。

圖9 T 字校準棒擺放位置

(4)標記點

Vicon追蹤系統(tǒng)在進行人體動作捕捉時,通過往人體上貼標記點的方式捕捉人物動作。Vicon追蹤系統(tǒng)用于虛擬攝制追蹤物理攝影機的運動時,同樣需要在攝影機上設置標記點。

在研究中發(fā)現(xiàn)標記點的設置需要滿足兩個條件:一是標記點至少要5個,才能區(qū)分X 軸、Y 軸、Z軸的軸向方向；二是標定的軸向要互相垂直,方便進入虛幻引擎時的軸向轉(zhuǎn)換。

本實驗系統(tǒng)設計并制作了7個標記點的標識物(通常稱為Marktree),如圖10 所示,分別代表X軸、Y 軸和Z軸3個軸向,且互相垂直,另外2個標記點用以區(qū)分前后,如圖11。Marktree置于物理攝影機上 (圖12),跟隨攝影機拍攝時進行的推拉搖移等運動而運動,它作為一個道具剛體進入虛幻引擎。

圖10 Marktree三維顯示圖

圖11 Marktree坐標

圖12 實物Marktree

(5)物理攝影機剛體道具的制作

Marktree的標記點在Vicon 數(shù)據(jù)處理軟件Shōgun顯示為點的狀態(tài),7 個標記點的Marktree顯示7個點,在剛體道具制作過程中,最先選擇的3個點非常重要,決定了剛體代表的物理攝影機的方向,即X 軸、Y 軸 和Z 軸的方向。以7個點的Marktree為例,依次選擇攝影機拍攝方向最后面的點、最前面的點和攝影機左側(cè)的點,剩余其他點選擇順序不限,如圖13所示。全部點選擇完成后,創(chuàng)建道具即可完成剛體道具的創(chuàng)建,這個道具代表物理攝影機,如圖14 所示。圖中,錘子形狀的物體借助了Vicon在做動作捕捉時骨骼的概念,代表骨骼的 “根”,Vicon追蹤系統(tǒng)用于虛擬攝制時,它的位置代表物理攝影機CMOS成像的位置,根據(jù)不同攝影機CMOS成像位置不同,可以調(diào)整創(chuàng)建的骨骼道具根位置的偏移量,確定CMOS的位置。位置信息越準確,在后期虛擬攝制中的誤差越小。

圖13 Shōgun中的Marktree最初顯示

圖14 Marktree的剛體道具

(6)物理攝影機和虛擬攝影機的綁定

要實現(xiàn)物理攝影機和虛擬攝影機的綁定需要解決兩個問題:一是物理攝影機追蹤信息需要實時導入虛幻引擎,二是物理攝影機和虛擬攝影機的關(guān)聯(lián)。

物理攝影機的實時跟蹤數(shù)據(jù)通過Live Link 插件進入虛幻引擎。Live Link在分發(fā)被追蹤的攝影機信息方面至關(guān)重要,配合nDisplay將追蹤信息送至每個群集節(jié)點。Live Link提供了一個通用接口,它主要有2 個作用:管理數(shù)據(jù)源和管理主體。Live Link還利用角色的概念來定義應該如何使用傳入的數(shù)據(jù),這讓數(shù)據(jù)能更容易映射到引擎中的目標Actor。支持的角色包括攝影機、光源、角色、變換和基本角色 (用于一般數(shù)據(jù))。源是數(shù)據(jù)進入Live Link客戶端的方式,可以在插件中對源進行定義,這樣第三方無需修改引擎代碼即可構(gòu)建自己的源。源負責管理它們接收動畫數(shù)據(jù)的方式 (例如通過網(wǎng)絡協(xié)議接收)。每個源都擁有對客戶端的引用,以便其向客戶端傳輸數(shù)據(jù)。Live Link導入Vicon追蹤數(shù)據(jù),需要安裝專用的插件,把物理攝影機當作 “道具”接入虛幻引擎。

虛擬攝影機和物理攝影機的綁定通過Live Link的控制器實現(xiàn)。Live Link 控制器能簡化將Live Link信息用于Actor的過程,會自動從Live Link對象獲取數(shù)據(jù),并流送給場景中用戶選擇的Actor。應用Live Link控制器,為虛擬攝影機添加數(shù)據(jù)源,選擇在Vicon Shōgun中設定的代表真實物理攝影機的剛體道具,虛擬攝影機將開始從選定的Live Link對象自動接收數(shù)據(jù),即實現(xiàn)了虛擬攝影機和物理攝影機的綁定。Live Link控制器實現(xiàn)了虛擬攝影機和物理攝影機實時的數(shù)據(jù)鏈接,但要將數(shù)據(jù)賦予內(nèi)視錐進行拍攝,需要在nDisplay中把虛擬攝影機和內(nèi)視錐攝影機ICVFX 攝像機 (ICVFX Camera)進行掛載。

4 結(jié)論

虛擬攝影機和物理攝影機的綁定和匹配是以LED 為背景墻進行虛擬攝制時的關(guān)鍵技術(shù)之一。要實現(xiàn)物理攝影機和虛擬攝影機的綁定和匹配,首要進行的是追蹤系統(tǒng)的方案選擇和設計。多種追蹤系統(tǒng)可以實現(xiàn)對物理攝影機的追蹤,但追蹤精度不同會導致拍攝效果差異很大。由于拍攝現(xiàn)場的情況復雜,還存在丟失物理攝影機追蹤信號的情況,因此,穩(wěn)定、高精度的追蹤系統(tǒng)是保證拍攝效果的關(guān)鍵因素。本文研究利用高精度的Vicon追蹤系統(tǒng)實現(xiàn)物理攝影機和虛幻引擎的虛擬攝影機綁定和匹配,對于其他右手坐標系的追蹤系統(tǒng)進入虛幻引擎有一定的參考性,同時也為用戶提供了多方位、多層級的技術(shù)解決方案。

注釋

①StageCraft是工業(yè)光魔 (ILM)聯(lián)合行業(yè)內(nèi)部ILM Fuse、Lux Machina、Profile Studios、NVIDIA 和ARRI等公司,共同研發(fā)的端到端影視實時虛擬攝制解決方案 (命名為StageCraft)。