李 想 趙建軍 陳 軍

(1.北京電影學(xué)院中國電影高新技術(shù)研究院,北京 100088)

(2.北京電影學(xué)院影視技術(shù)系,北京 100088)

1 前言

基于LED 背景墻的電影虛擬化制作技術(shù)(下稱“LED 虛擬化制作”)是指在拍攝現(xiàn)場,通過攝影機跟蹤系統(tǒng)和實時渲染引擎,將渲染畫面顯示到LED 背景墻上,演員在LED 背景墻形成的環(huán)境中進行表演,從而實現(xiàn)拍攝時的“合成”。這一技術(shù)極大地提高了虛擬化制作的效率,降低拍攝風(fēng)險,擺脫傳統(tǒng)拍攝過程中的諸多限制,為影視拍攝、賽事直播、廣告制作、大型演出等不同領(lǐng)域的創(chuàng)作者營造更加友好的創(chuàng)作環(huán)境,如圖1所示。

圖1 LED虛擬化制作技術(shù)在不同領(lǐng)域中的應(yīng)用

攝影機跟蹤系統(tǒng)是電影虛擬化制作的基礎(chǔ),在實際應(yīng)用中,對于跟蹤系統(tǒng)的要求往往強調(diào)定位精確度、穩(wěn)定性、魯棒性和用戶創(chuàng)作的自由度。目前市面上已經(jīng)存在多種對于剛體進行姿態(tài)估計和運動跟蹤較為成熟的解決方案,考慮精度、重量、成本和適用環(huán)境等因素,基于視覺的攝影機跟蹤方案已經(jīng)成為目前進行虛擬化制作的熱門選擇。

隨著LED 虛擬化制作技術(shù)的興起,人眼對于真實場景與虛擬背景的相對穩(wěn)定性更加敏感,同時攝影機自身的運動規(guī)律與普通剛體又存在著差異,再加上LED 虛擬化制作環(huán)境帶來的動態(tài)變化使得基于視覺跟蹤的應(yīng)用環(huán)境又重新面臨挑戰(zhàn)。

本文對攝影機跟蹤系統(tǒng)在典型LED 虛擬化制作環(huán)境中的應(yīng)用進行研究,通過一系列測試,利用客觀數(shù)據(jù)對跟蹤的精度、穩(wěn)定性、魯棒性、數(shù)據(jù)處理傳輸速度、合成效果等方面進行分析,同時結(jié)合主觀操作感受,對攝影機跟蹤技術(shù)在LED 虛擬化制作這一新領(lǐng)域進行研究。

2 跟蹤系統(tǒng)簡述

真實世界中的攝影機運動往往受到空間限制,LED 虛擬化制作技術(shù)則給予了創(chuàng)作者無限的空間,在虛實結(jié)合的創(chuàng)作環(huán)境中提供了更多鏡頭運動的可能性。

2.1 攝影機運動簡述

在真實的電影拍攝中,一個運動鏡頭由起幅、運動、落幅組成,其中運動鏡頭主要包括:推、拉、搖、移、跟、升、降、甩。攝影機在進行拍攝時可視為一個不會產(chǎn)生形變的剛體在進行歐式變換運動,這一運動的特點是無論位置和方向發(fā)生變換還是在不同坐標系下觀察同一個物體,它的長度、夾角、體積等形狀和大小都保持不變。在影視制作環(huán)節(jié)中,攝影機實際上是對人眼行為的模擬,攝影機拍攝呈現(xiàn)畫面的目標是觀眾,所以攝影機的運動往往有連續(xù)、平滑等特性。

對于具體的鏡頭運動行為,Dolly(推拉)、Pedestal(升降)、Truck(橫移),對應(yīng)剛體位移運動中的沿物體正方向指向進行前后位移、沿物體縱軸方向指向進行上下位移、沿物體水平軸方向指向進行左右位移;Pan(橫搖)、Tilt(俯仰)、Roll(橫滾)對應(yīng)剛體旋轉(zhuǎn)運動中的繞物體縱軸旋轉(zhuǎn)、繞物體水平軸向進行旋轉(zhuǎn)、繞物體正方向指向軸向進行旋轉(zhuǎn)(圖2)。其中,對于Roll即橫滾運動,在影視攝影制作中較少涉及該類的鏡頭運動。因此對于剛體運動軌跡的優(yōu)化,則需要針對攝影拍攝時的運鏡規(guī)律進行重新配重與優(yōu)化。

圖2 攝影機運動類型①

現(xiàn)有的對剛體進行姿態(tài)估計的解決方法側(cè)重于通過提升觀測設(shè)備的刷新率以捕捉物體更加快速的變化,或提升觀測設(shè)備的分辨率以捕捉更加細節(jié)的變化和更加精準的3D 特征點的定位精度。這些舉措都缺乏針對攝影機位姿變化和運動規(guī)律的的精準重建與優(yōu)化,更加適用于普通剛體,例如機器人或SLAM 技術(shù)。然而過度的濾波平滑又會造成對攝影機動作還原的失真,因此選擇算法優(yōu)化適度的攝影機跟蹤系統(tǒng)同樣重要。

2.2 攝影機跟蹤常見的集成方案

跟蹤設(shè)備選擇方面,因攝影機的跟蹤所關(guān)注的內(nèi)容是如何從像素坐標系還原回世界坐標系的位置,所以對目前常見的跟蹤解決方案進行分類,根據(jù)實現(xiàn)原理的不同可以分為由內(nèi)向外跟蹤及由外向內(nèi)跟蹤兩種方式。由內(nèi)向外跟蹤不需要外部傳感器或信標,被追蹤對象需要搭載不同的傳感器利用算法來獲取對象的精確位置,通常在由內(nèi)向外的位置跟蹤中,攝像機或傳感器位于被跟蹤的設(shè)備上,典型的由內(nèi)向外跟蹤設(shè)備有Ncam、Lightcraft、MoSys、RedSpy等;由外向內(nèi)跟蹤采用某種信標的任何方法都屬于外向內(nèi)跟蹤技術(shù),通常采用光學(xué)跟蹤方式使用攝影機或其他傳感器放置在一個固定的位置,面向被追蹤的物體,典型的由外向內(nèi)跟蹤設(shè)備有Vicon、OptiTrack、HTC Vive等。

在跟蹤設(shè)備與其他三維渲染系統(tǒng)集成方面,根據(jù)跟蹤數(shù)據(jù)使用的場景或階段不同,可以將系統(tǒng)管線分為實時和后期兩個階段。在實時階段,跟蹤設(shè)備軟件端可以通過插件與第三方DCC(Digital Content Creation,數(shù)字內(nèi)容創(chuàng)作)軟件或?qū)崟r渲染引擎進行通信,將攝影機的外參(6DOF 的位姿變換數(shù)據(jù))以及鏡頭內(nèi)參(焦點、焦距、鏡頭畸變等)參數(shù)實時地傳輸給引擎中的虛擬攝影機,最終渲染出位置、透視、視場等顯示正確的畫面;在后期階段,經(jīng)過前期跟蹤數(shù)據(jù)的實時傳輸與錄制,后期部門可以選擇對跟蹤數(shù)據(jù)進行清洗修正再利用,減少攝影機反求操作,可以極大地提高后期工作效率。

2.3 基于LED 背景墻的虛擬化制作對跟蹤系統(tǒng)的需求

目前LED 虛擬化制作技術(shù)從原理上可以看作是增強現(xiàn)實技術(shù)在影視行業(yè)的應(yīng)用,該技術(shù)被廣泛地應(yīng)用于影視制作、大型演出直轉(zhuǎn)播等泛娛樂行業(yè),不同的應(yīng)用場景對于跟蹤系統(tǒng)提出了新的不同需求。由于LED 顯示屏幕的廣泛參與,實時渲染的虛擬背景直接顯示并且被攝影機同步記錄下來,這使得虛擬場景與真實場景之間的坐標系匹配更為重要。動態(tài)畫面和復(fù)雜閃爍的光環(huán)境變化也給跟蹤技術(shù)帶來了新的挑戰(zhàn),面對各種不同技術(shù)原理的跟蹤設(shè)備,本文設(shè)計以下實驗對HTC Vive Pro Eye、Ncam、stype RedSpy、OptiTrack PrimeX 22四款在行業(yè)內(nèi)廣泛使用的基于不同原理的跟蹤系統(tǒng)進行對比分析并對設(shè)備特性及應(yīng)用場景做出總結(jié)。

3 實驗設(shè)計

對于跟蹤系統(tǒng)而言最重要的系統(tǒng)屬性是跟蹤的精度、穩(wěn)定性及魯棒性,本文將通過測量在相同LED 顯示環(huán)境下不同跟蹤設(shè)備的跟蹤精確度、穩(wěn)定性、魯棒性,結(jié)合數(shù)據(jù)處理傳輸速度、跟蹤使用的場地要求、操作時主觀感受等要素,對不同實時跟蹤解決方案進行對比分析。

3.1 實驗對象

本實驗分別以由外向內(nèi)基于紅外視覺的跟蹤設(shè)備OptiTrack動作捕捉系統(tǒng)、基于激光掃描的HTC Vive Pro Eye虛擬現(xiàn)實眼鏡,以及由內(nèi)向外跟蹤設(shè)備基于雙目視覺的Ncam 攝影機跟蹤設(shè)備、基于紅外單目視覺的RedSpy紅外攝影機跟蹤系統(tǒng)為對象,根據(jù)實驗對象設(shè)備的安裝要求裝配至本實驗設(shè)備攝影機SONY F55上,裝配情況如圖3所示。

圖3 四組實驗對象裝配方式

3.2 實驗環(huán)境及要求

本實驗依托于北京電影學(xué)院影視技術(shù)系與青年電影制片廠聯(lián)合建設(shè)的基于LED 背景墻的電影虛擬化制作攝影棚實驗環(huán)境。首先,該LED 虛擬化制作實驗環(huán)境最大縱深為9.73m,寬度為10.60m,高度為4.20m。三面均由點間距為2.6mm、亮度可達1500nit的雷迪奧(ROE)DM 系列LED 屏幕環(huán)繞,其中,左右兩側(cè)屏為平面,前側(cè)主屏為面板夾角為5°的22列LED 面板組成的弧面。其次,頂部由132只諾華視創(chuàng)六基色LED 照明燈構(gòu)成11×12排列組合的燈光矩陣,覆蓋LED 顯示區(qū)域。最后,可移動影視照明燈光系統(tǒng)是由南光等LED 面板燈具以及Froza系列聚光燈及柔光布組成影視制作拍攝領(lǐng)域常見的燈光配置環(huán)境。經(jīng)測光表測量,在拍攝范圍中間能夠捕捉到的整體照度達2900lx,整體實驗環(huán)境與照明環(huán)境如圖4所示。

圖4 LED屏幕、燈光矩陣、影視照明燈光系統(tǒng)實驗環(huán)境

3.3 實驗步驟

根據(jù)測試計劃,將實驗步驟(如圖5所示)分為設(shè)計實驗、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析及實驗總結(jié)五個階段,分別設(shè)計靜止狀態(tài)、慢速及快速的運動狀態(tài),以及在俯仰和橫搖等旋轉(zhuǎn)軸上的運動、左右上下平移等位移軸上的運動動作,對影視制作拍攝運動進行模擬再現(xiàn),針對攝影機跟蹤系統(tǒng)的精確度、穩(wěn)定性、魯棒性進行數(shù)據(jù)分析。

圖5 攝影機跟蹤系統(tǒng)分析實驗步驟

(1)精確度即“準確和精密的程度”,是一種統(tǒng)計學(xué)概念。其中,準確度是指測量數(shù)據(jù)的平均值偏離真值的程度;精密度是指對某一量進行測量時,每次測量的數(shù)據(jù)大小彼此接近程度。因此,對系統(tǒng)精確度的測量分析即是對該系統(tǒng)測量結(jié)果的綜合評價:測量的精確度越高說明測量的平均值越接近真值,并且測量數(shù)據(jù)較為集中,代表測量系統(tǒng)的系統(tǒng)誤差與偶然誤差都比較小,測量結(jié)果既準確又精密。在攝影機跟蹤技術(shù)中,跟蹤設(shè)備的精確度是系統(tǒng)組成最為重要的特性之一,系統(tǒng)精確度越高,由跟蹤數(shù)據(jù)求得的攝影機運動越能夠真實地還原攝影機在現(xiàn)實世界中的運動。通常情況下,在進行設(shè)備精確度分析時需要絕對的外部信息,但絕對的外部信息在大多數(shù)情況下是未知的,則可選取由更高階測量精度的傳感器得到的參考值進行確定。

(2)穩(wěn)定性通常是指“測量儀器保持其計量特性隨時間恒定的能力”。與其他的增強現(xiàn)實或SLAM 技術(shù)不同,基于影視制作的需求,我們對于攝影機跟蹤除了要求能夠快速準確地跟蹤目標之外,穩(wěn)定性是重中之重。經(jīng)過分析,我們認為在影視攝影過程中,攝影棚的變化錯綜復(fù)雜,可以總結(jié)為復(fù)雜的現(xiàn)場光線環(huán)境和不斷變化的前景遮擋關(guān)系均會對跟蹤系統(tǒng)產(chǎn)生較大的影響。因此我們在不同環(huán)境下對數(shù)據(jù)進行采集與分析,對不同的跟蹤系統(tǒng)進行對比。

(3)魯棒性通常指控制系統(tǒng)在一定(結(jié)構(gòu)、大小)的參數(shù)攝動下,維持其它某些性能的特性。對于LED 虛擬化制作環(huán)境,攝影機跟蹤系統(tǒng)的魯棒性干擾則在于剛體跟蹤點的遮擋丟失。本次實驗設(shè)計針對實驗對象的剛體跟蹤點進行魯棒性實驗,選擇的OptiTrack Active Puck有8個主動發(fā)光點正在進行運動,遮擋主動發(fā)光點數(shù)的百分比依次增加,進行相同運動行為并且記錄,繪制運動路徑,觀察波動增加直至跟蹤丟失的過程;RedSpy是由內(nèi)向外跟蹤,因此對紅外攝像頭進行人為遮擋;Ncam 對雙目攝像頭的視野范圍進行遮擋;HTC Vive對跟蹤器上的紅外反光點進行遮擋。

4 實驗結(jié)果

4.1 跟蹤精確度實驗

對于攝影機在不同的運動情況下進行分析,我們通過測量每個軸的讀數(shù),就能夠繪制出被跟蹤物體在跟蹤系統(tǒng)的三維空間中隨時間變化的位置。

4.1.1 對靜止情況進行模擬實驗

攝影機靜止時,在設(shè)備開機穩(wěn)定運行一段時間后,獲取任意時間段攝影機的位置信息,由Matlab中的scatter3 ()函數(shù)繪制可得跟蹤數(shù)據(jù)在三維可視化環(huán)境下的位置坐標如圖6所示。

圖6 精確度分析——靜止情況下

經(jīng)處理后的數(shù)據(jù)以坐標系原點為基準,在靜止狀態(tài)下,RedSpy三維坐標點最為集中,在各軸向上均勻分布;Opti Track所得的三維坐標點也較為集中,主要分布在水平面上,垂直面上及所得Z軸的數(shù)據(jù)較為集中;Ncam 集中程度較差,并且跟蹤點坐標呈線性分布狀態(tài);HTC Vive的離散程度最高,跟蹤點具有隨機分布的特點,在水平面及垂直面上沒有明顯區(qū)別。從精密程度上來看,設(shè)備精密程度排序為RedSpy＞OptiTrack＞Ncam＞HTC Vive。

對跟蹤坐標數(shù)據(jù)的離散程度進行樣本標準差計算,標準差越大,樣本的離散程度越大,結(jié)果見表1。

表1 靜止狀態(tài)下跟蹤系統(tǒng)標準差分析

4.1.2 對于旋轉(zhuǎn)、平移運動進行模擬實驗

圖7 精確度分析——旋轉(zhuǎn)運動情況

攝影機運動時,在設(shè)備進入穩(wěn)定運行狀態(tài)后在水平方向上分別進行慢速和快速橫搖運動,在垂直方向上分別進行慢速和快速俯仰運動,之后隨機截取攝影機的位置信息,運動情況繪制后如圖7所示。當設(shè)備進入穩(wěn)定運行狀態(tài)后,攝影機在水平方向上運動時,分別進行慢速和快速平移運動,隨機截取攝影機的位置信息,運動情況繪制后如圖8所示。

圖8 精確度分析——平移運動情況

(1)橫搖運動

慢速:Ncam 在做慢速橫搖運動時,在水平面與垂直面上浮動都較小,運動軌跡較為平滑且符合攝影機橫搖的運動特征;Opti Track在Z 軸方向產(chǎn)生了抖動,頻率較高,與運動平滑的特征稍有不符;RedSpy在做慢速橫搖運動時,在Z 軸上的數(shù)值出現(xiàn)階梯性下降,對于這一運動,Z 軸最大值和最小值相差0.5cm,對于渲染畫面顯示將會產(chǎn)生影響;HTC Vive產(chǎn)生高頻在±0.1cm 幅度之間抖動。由此可見,在做慢速橫搖運動時,跟蹤精確度排序為OptiTrack＞Ncam＞HTC Vive＞RedSpy。

快速:Ncam 在進行快速橫搖動作時數(shù)據(jù)過于穩(wěn)定平滑,符合橫搖動作,但會丟失細微動作特征;OptiTrack運動軌跡符合運動特征,存在輕微波動;RedSpy在做快速橫搖運動時精密程度更差,對于Z軸的估值產(chǎn)生了更大的波動,在做橫搖這一Z軸不變的動作時的最大值和最小值差距達0.8cm;由運動軌跡可見,HTC Vive數(shù)值產(chǎn)生了高頻、大幅度的抖動,不符合橫搖運動平滑的特點,但整體在可接受范圍內(nèi)。由此可見,在做快速橫搖運動時,跟蹤精確度排序為Ncam＞OptiTrack＞HTC Vive＞RedSpy。

(2)俯仰運動

慢速:四個被測設(shè)備在運動過程中均表現(xiàn)良好。RedSpy、HTC Vive 軌跡平滑,符合運動軌跡;Ncam 在啟動時產(chǎn)生了輕微的數(shù)據(jù)波動;OptiTrack整體軌跡良好但存在小幅度低頻的波動,對跟蹤效果影響較小。跟蹤精確度排序為RedSpy＞HTC Vive＞Ncam＞OptiTrack。

快速:在進行快速俯仰運動時,Ncam 的運動軌跡在折返點出現(xiàn)了Z軸數(shù)據(jù)跳躍現(xiàn)象,整體運動軌跡產(chǎn)生偏移存在累積誤差;RedSpy數(shù)據(jù)在折返點產(chǎn)生數(shù)據(jù)中斷但軌跡還原正確不影響跟蹤效果;Opti Track在末端產(chǎn)生了輕微的波動,但整體軌跡還原最較好;HTC Vive數(shù)據(jù)較為穩(wěn)定,表現(xiàn)優(yōu)秀。由此可見,在做快速俯仰運動時,跟蹤精確度排序為HTC Vive＞OptiTrack＞RedSpy＞Ncam。

(3)水平位移

慢速:三個被測設(shè)備在運動過程中均產(chǎn)生了輕微波動,Ncam 數(shù)據(jù)濾波平滑效果最為明顯;Opti-Track不管是從波動頻率還是波動幅度上來說都較小;RedSpy次之;HTC Vive在運動啟動的時候產(chǎn)生波動幅度較大。因此,在進行慢速水平位移運動時,跟蹤精確度排序為Opti Track＞RedSpy＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,但失去了對運動特征的準確還原;其他三者對于跟蹤路徑的反饋較為一致,符合運動平滑的特性。由此可見,在做快速水平位移運動時,跟蹤精確度排序為OptiTrack＞RedSpy＞HTC Vive＞Ncam。

(4)垂直位移

慢速:四個被測設(shè)備在運動過程中的運動整體路徑有較大差別。Ncam 運動軌跡體現(xiàn)出對于垂直平移運動記錄的失真;運動中的特性在RedSpy的圖像中也丟失了一部分,平滑處理較多;OptiTrack和HTC Vive保留運動軌跡雖有輕微波動,但仍可以接受。綜上所述,在慢速垂直位移中,跟蹤精確度排序為RedSpy＞OptiTrack＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,出現(xiàn)運動特征的丟失,路徑與真實運動軌跡有區(qū)別;其他三者對于跟蹤路徑的反饋較為一致,符合運動平滑的特性,RedSpy的平滑處理更為出色。由此可見,在做快速水平位移運動時,跟蹤精確度排序為RedSpy＞Opti Track＞HTC Vive＞Ncam。

4.2 跟蹤穩(wěn)定性實驗

光環(huán)境變化:在設(shè)備進入穩(wěn)定運行狀態(tài)后,保持現(xiàn)場光線穩(wěn)定且光照適中,能夠滿足影視拍攝現(xiàn)場光線需求,當前光照環(huán)境穩(wěn)定狀態(tài)下,通過測光表測量攝影機四周的照度數(shù)值為攝影機上方2700lx、下方520lx、前方2200lx、后方900lx。對現(xiàn)場的光線環(huán)境進行動態(tài)調(diào)控,同時對LED 顯示屏、現(xiàn)場影視級照明燈光進行調(diào)控,如圖9 所示。據(jù)檢測,在變化的環(huán)境中,攝影機周邊的光照環(huán)境極值可達最亮上2700lx、前2000lx、后1100lx、下560lx;最暗上240lx、前800lx、后57lx、下80lx;中間值上1000lx、前1300lx、后450lx、下210lx。

圖9 光線動態(tài)變化環(huán)境示意

遮擋條件變化:該實驗對現(xiàn)場可能會產(chǎn)生的極端遮擋環(huán)境進行模擬,利用影視拍攝中的黑旗道具在攝影機前運動,如圖10所示。

圖10 前景遮擋變化示意

圖11 穩(wěn)定性分析——靜止狀態(tài)模擬

圖12 穩(wěn)定性分析——運動狀態(tài)模擬

對不同光線環(huán)境與遮擋環(huán)境進行靜止狀態(tài)模擬:其中圖11是當前光照環(huán)境下靜止不動時各被測設(shè)備的位置軌跡,圖12是當前光照環(huán)境下各被測設(shè)備動作表現(xiàn)。

以光線穩(wěn)定且光照適中的環(huán)境下的運動狀態(tài)作為參照物,分別以在現(xiàn)場光環(huán)境進行動態(tài)變化的運動軌跡和在現(xiàn)場攝影機前不斷產(chǎn)生動態(tài)遮擋的情況下運動軌跡進行對比。對于靜止狀態(tài)下的模擬可以進行坐標離散程度分析,如表2所示:光線穩(wěn)定且光照適中的環(huán)境記為E1,光環(huán)境進行動態(tài)變換記為E2,攝影機前景不斷產(chǎn)生動態(tài)遮擋記為E3。

表2 不同實驗環(huán)境下跟蹤系統(tǒng)標準差分析

在現(xiàn)場光照環(huán)境不斷產(chǎn)生動態(tài)變換的情況下,Ncam 受到了較大的影響,跟蹤數(shù)據(jù)在Z軸上分布廣泛,最大值和最小值相差0.3cm;OptiTrack受到的干擾十分明顯,跟蹤數(shù)據(jù)出現(xiàn)了兩部分分化,在水平與豎直面上均有分布,可能會對實時渲染效果產(chǎn)生影響;RedSpy影響較小,跟蹤點仍舊較為集中;HTC Vive跟蹤受到影響較少,波動不明顯。穩(wěn)定性排序為HTC Vive＞Red-Spy＞OptiTrack＞Ncam。

在現(xiàn)場攝影機前景不斷產(chǎn)生動態(tài)遮擋的情況下。運動過程中,Opti Track 的運動軌跡在小幅度內(nèi)高頻波動;Ncam 軌跡中間出現(xiàn)了明顯波動;其余的設(shè)備受到的干擾較小。穩(wěn)定性排序為RedSpy＞HTC Vive＞Ncam＞Opti Track。

4.3 跟蹤魯棒性實驗

將遮擋程度設(shè)置為0%、25%、50%、75%、100%,分別對運動軌跡進行記錄,如圖13所示。

在遮擋程度達到25%時,Ncam 運動軌跡出現(xiàn)輕微偏移,RedSpy產(chǎn)生嚴重失真導(dǎo)致軌跡還原錯誤,在Z軸上的坐標差距達2cm;HTC Vive、OptiTrack產(chǎn)生輕微波動但總體軌跡還原正確。

在遮擋程度達到50%時,Ncam 運動數(shù)據(jù)產(chǎn)生明顯偏移,只有慣性傳感器在工作,視覺矯正逐漸減少;RedSpy丟失視覺圖像矯正內(nèi)容,只剩慣性傳感器在工作并且運動軌跡軸向嚴重錯誤;OptiTrack波動幅度加劇,但整體運動軌跡符合運動規(guī)律;HTC Vive受到的影響較小,整體能夠維持運動軌跡,仍產(chǎn)生了輕微的波動。

在遮擋程度達到75%時,Ncam、RedSpy均基本上丟失畫面內(nèi)容信息,只剩慣性傳感器在工作,運動趨勢正確但軌跡產(chǎn)生了嚴重失真;HTC Vive出現(xiàn)明顯波動并且產(chǎn)生運動方向上的錯誤;Opti-Track的運動數(shù)據(jù)直接丟失。

圖13 魯棒性分析——不同遮擋程度運動軌跡

在遮擋程度達到100%時,Ncam、RedSpy 依靠慣性傳感器仍然能對運動進行部分還原但軌跡嚴重失真;OptiTrack 與HTC Vive的運動數(shù)據(jù)直接丟失。

綜上所述,在魯棒性實驗期間,對于產(chǎn)生遮擋這一行為最先產(chǎn)生反應(yīng)的是RedSpy跟蹤系統(tǒng),當遮擋達到25%時便已經(jīng)無法正常工作;在遮擋50%左右的范圍表現(xiàn)最好的跟蹤系統(tǒng)是Vive與Opti-Track,沒有產(chǎn)生嚴重錯誤;75%遮擋程度下幾乎使所有的跟蹤設(shè)備都無法正常工作;直到100%遮擋,雖然RedSpy與Ncam 內(nèi)部的慣性傳感器仍在作用,由于沒有視覺矯正得出的錯誤結(jié)論,也會對攝影機內(nèi)失效造成嚴重影響。

5 分析與討論

在電影虛擬化制作發(fā)展的歷史中,攝影機跟蹤方式伴隨著科技的發(fā)展、日漸更新的創(chuàng)作需求也在一步步發(fā)生變換,從最原始的機械跟蹤,到體系龐大場地限制的由外向內(nèi)跟蹤,再到目前應(yīng)用廣泛的由內(nèi)向外跟蹤,這些技術(shù)的發(fā)展無一不是為影視創(chuàng)作提供更大的自由。但目前最廣為人知的劇集《曼達洛人》等影片則回溯了技術(shù)發(fā)展歷程,選擇了曾經(jīng)被虛擬化制作“淘汰”的由外向內(nèi)跟蹤技術(shù)OptiTrack動作捕捉系統(tǒng)。針對此現(xiàn)象,當前LED 虛擬化制作技術(shù)對跟蹤系統(tǒng)的需求,只有由外向內(nèi)跟蹤的設(shè)備更能滿足。因此本文基于跟蹤系統(tǒng)在LED環(huán)境下運作的精確度、穩(wěn)定性、魯棒性等因素進行設(shè)計實驗并展開分析。通過上述所有實驗,不同跟蹤設(shè)備在LED 顯示環(huán)境下的跟蹤精確度、穩(wěn)定性、魯棒性,經(jīng)過運動軌跡分析對比得出如下結(jié)果:

在跟蹤精確度方面,穩(wěn)定狀態(tài)下RedSpy＞Opti Track＞Ncam＞HTC Vive。又因為每個跟蹤系統(tǒng)的原理不同,對于不同運動行為的跟蹤結(jié)果表現(xiàn)略有不同,進行橫搖及橫向運動時Ncam、Opti Track設(shè)備表現(xiàn)較好;在俯仰及縱向運動時RedSpy、HTC Vive表現(xiàn)較好。對于該實驗結(jié)果,Ncam 是橫向雙目鏡頭識別場景中的特征點;而RedSpy是縱向識別跟蹤點反算自己的位置;OptiTrack在實驗環(huán)境安裝時紅外攝像頭都在LED 屏幕上方,距離運動范圍約3～4m,故對于縱向上的運動分辨程度不及橫向運動。

在跟蹤穩(wěn)定性方面,RedSpy及HTC Vive設(shè)備表現(xiàn)較為優(yōu)異。因為Ncam 實現(xiàn)原理是雙目視覺,并且跟蹤設(shè)備與攝影機方向一致,即架設(shè)在攝影機下方,所以動態(tài)光照和前景遮蔽對于Ncam 產(chǎn)生了較大的影響。Opti Track跟蹤剛體時需要對每個紅外發(fā)光點進行識別并且計算出剛體的形狀與中心點,從而得出運動軌跡,因此動態(tài)光照的變化對于紅外沒有影響,但遮擋對于剛體的識別會產(chǎn)生較大的干擾。動態(tài)光線與前向遮擋對于RedSpy的向上影響較小、HTC Vive的基站在攝影機遮擋的反向,不存在干擾。由此可見,跟蹤設(shè)備的安裝方式、方向及運動習(xí)慣需要進行提前設(shè)計規(guī)劃,避免攝制現(xiàn)場帶來的穩(wěn)定性干擾。

在跟蹤魯棒性方面,由于攝影師操作及工作習(xí)慣、攝影機裝配零件、現(xiàn)場置景環(huán)境、燈光柔光布等一系列因素的區(qū)別,會對攝影機跟蹤系統(tǒng)的四周及上方產(chǎn)生一定程度上的持續(xù)遮擋?；诩t外視覺原理與激光的跟蹤設(shè)備OptiTrack、Ncam、HTC Vive對于跟蹤設(shè)備跟蹤點遮擋情況下的魯棒性較強,在遮擋程度達到50%后還能較為正確還原;但同樣作為融合了慣性傳感元件的RedSpy,其魯棒性表現(xiàn)最差,在進行攝影機運動行為跟蹤時產(chǎn)生了較大的誤差。在RedSpy與Ncam 這兩個視覺與慣性共同作用的攝影機跟蹤系統(tǒng)中,Ncam 的傳感器融合算法表現(xiàn)更為優(yōu)秀,RedSpy在跟蹤區(qū)域遮擋程度為25%丟失后,就會產(chǎn)生跟蹤軌跡嚴重失真的情況,在視覺跟蹤信息與慣性跟蹤數(shù)據(jù)融合技術(shù)方面還有待提升。

除了精確度、穩(wěn)定性與魯棒性,實時性作為跟蹤系統(tǒng)的另一重要性能也需要考慮,但在本實驗中不具備對傳輸速度進行測試的條件,在后續(xù)的研究中亟待進一步分析。跟蹤系統(tǒng)數(shù)據(jù)實時處理及傳輸速度在此處是指從攝影機產(chǎn)生運動到運動捕捉軟件得到剛體的運動數(shù)據(jù),再經(jīng)過算法處理優(yōu)化,傳遞到第三方DCC 或?qū)崟r渲染引擎的時間。LED 虛擬化制作技術(shù)的核心概念是攝影機內(nèi)視效拍攝,即攝影機直接拍攝得到真實畫面與虛擬背景的合成結(jié)果。在LED 屏上,我們使用相對固定的外視錐形成的光照環(huán)境,來模擬真實的光照與色彩匹配,使用內(nèi)視錐作為攝影機直接拍攝的背景,內(nèi)外視錐的渲染要分別單獨進行。由于硬件計算能力的限制,從攝影機產(chǎn)生運動到對跟蹤數(shù)據(jù)進行捕捉、解算、傳輸,再到引擎渲染生成畫面,該過程還無法完全實時完成。運動速度較大時,前景內(nèi)容與LED 屏幕顯示的畫面內(nèi)容將會產(chǎn)生漂移,人對前后景撕裂的變化非常敏感,因此在渲染端及信號傳輸端硬件限制的前提下,建議盡可能選擇處理算法數(shù)據(jù)傳輸高效的攝影機跟蹤系統(tǒng)。

基于該實驗環(huán)境、實驗設(shè)計與數(shù)據(jù)處理方式,綜合所有屬性及使用方便性、對于拍攝場地需求、價格等進行分析總結(jié)如表3所示(不同跟蹤系統(tǒng)在不同實驗環(huán)境下表現(xiàn)效果不同,本表格內(nèi)容僅是在特定實驗條件下的結(jié)論,數(shù)據(jù)僅供參考)。

攝影機的跟蹤系統(tǒng)在實際應(yīng)用中,除了其本身能力之外,對虛擬空間的定義、跟蹤設(shè)備原點與虛擬空間中跟蹤原點定義也需要特別注意。跟蹤設(shè)備中心與攝影機的光心同樣需要進行匹配:根據(jù)攝影機成像原理與虛擬攝影機成像原理,攝影機光心是凸透鏡的光學(xué)中心,一般位于透鏡的中央點,攝影機在進行理想中的繞Yaw 軸橫搖運動時,其旋轉(zhuǎn)中心應(yīng)該是鏡頭的光心,而非攝影機云臺的旋轉(zhuǎn)軸。所以在控制虛擬攝影機旋轉(zhuǎn)時,需要將剛體進行旋轉(zhuǎn)運動的軸心與真實攝影機的光心重合,由此虛擬攝影機才能進行正確地位移旋轉(zhuǎn)等操作,渲染出正確的畫面。綜上所述,攝影機跟蹤技術(shù)在基于LED背景墻的虛擬化制作環(huán)境中還有許多需要進行深入研究與優(yōu)化的內(nèi)容,本文受客觀條件所限,只做了一些基礎(chǔ)性的測試,希望能起到拋磚引玉的作用,對其他研究人員有所啟發(fā)。

表3 跟蹤系統(tǒng)綜合比較表

6 總結(jié)

攝影機跟蹤技術(shù)從誕生開始就不斷地迭代更新,呈現(xiàn)螺旋式上升發(fā)展趨勢。本文在典型攝影棚環(huán)境中進行了實驗設(shè)計與論證,測試了多種攝影機跟蹤系統(tǒng)在LED 虛擬化制作中的應(yīng)用,研究了多種方法的相關(guān)特性。實際拍攝生產(chǎn)中,面臨不同的創(chuàng)作需求與現(xiàn)場條件,創(chuàng)作者需要根據(jù)實際應(yīng)用場景,了解每個跟蹤設(shè)備的原理及特點,分析其對跟蹤系統(tǒng)的性能需求,從而選擇合適的攝影機跟蹤系統(tǒng),才能更有效率地進行影視生產(chǎn)與制作。

攝影機運動是攝影語言表達的基礎(chǔ),是貫穿影視制作前、中、后期的關(guān)鍵環(huán)節(jié),而攝影機跟蹤的技術(shù)又是電影虛擬化制作的最關(guān)鍵技術(shù)之一。希望本文的研究能夠為搭建、優(yōu)化虛擬化制作系統(tǒng)提供參考,為科學(xué)選擇攝影機跟蹤系統(tǒng)、優(yōu)化拍攝體驗提供借鑒,為電影虛擬化制作的應(yīng)用推廣提供幫助。

①圖2 來源于https://www.reddit.com/r/coolguides/comments/conjff/camera_movement_guide/。