陳 軍 趙建軍 盧柏宏

(北京電影學(xué)院影視技術(shù)系,北京 100088)

1 前言

近年來,隨著科學(xué)技術(shù)的發(fā)展,影視行業(yè)產(chǎn)生了巨大的變革。目前,影視制作的熱點(diǎn)之一就是基于LED 背景墻的電影虛擬化制作技術(shù)。這種新型的制作技術(shù)能夠給現(xiàn)場(chǎng)拍攝帶來“所見即所得”的自由創(chuàng)作環(huán)境、真實(shí)的環(huán)境光照以及更大程度上的“后期前置”,在解決了傳統(tǒng)虛擬化制作中的藍(lán)綠幕溢色等問題的同時(shí),減少外出取景拍攝的風(fēng)險(xiǎn),受到電影制作研究領(lǐng)域和應(yīng)用領(lǐng)域工作者的關(guān)注。特別地,在疫情期間及后疫情時(shí)代全世界多地開始進(jìn)行基于LED 背景墻虛擬化制作攝影棚的搭建,這在方便影視制作創(chuàng)作的同時(shí),進(jìn)一步推動(dòng)了影視工業(yè)化的進(jìn)展。本文在大量實(shí)測(cè)基礎(chǔ)上對(duì)基于LED 背景墻虛擬化制作系統(tǒng)背后的關(guān)鍵技術(shù)進(jìn)行了總結(jié),在LED 顯示、實(shí)時(shí)渲染、攝影機(jī)跟蹤、燈光匹配及人機(jī)交互方面,針對(duì)發(fā)展路線、技術(shù)原理、目前存在的局限性作了深入分析與探討。

基于LED 背景墻的電影虛擬化制作系統(tǒng),整體制作框架如圖1 所示,其關(guān)鍵技術(shù)可以大致分為L(zhǎng)ED 背景墻的顯示技術(shù)、虛擬場(chǎng)景的渲染技術(shù)、攝影機(jī)內(nèi)外參跟蹤技術(shù)、燈光照明、人機(jī)交互技術(shù)等,本文分別就上述關(guān)鍵技術(shù)進(jìn)行闡述介紹。

圖1 基于LED背景墻的電影虛擬化制作系統(tǒng)框架

2 LED顯示技術(shù)

隨著制造和封裝技術(shù)的發(fā)展,小間距LED 顯示屏產(chǎn)品逐漸開始應(yīng)用于影視行業(yè)前、中、后期的各個(gè)環(huán)節(jié)。其高亮度、高動(dòng)態(tài)范圍、壽命長(zhǎng)、功耗低、工作穩(wěn)定可靠等特點(diǎn),使得其能夠滿足高質(zhì)量影像顯示的需求。隨著LED 顯示技術(shù)的發(fā)展,像素間距越來越小、像素排列愈加緊密、燈珠各項(xiàng)參數(shù)不斷提高,能夠在大屏上顯示高分辨率、高動(dòng)態(tài)范圍、廣色域的畫面,一定程度上可與真實(shí)世界的光環(huán)境進(jìn)行匹配。因此,基于LED 背景墻的顯示技術(shù)成為電影虛擬化制作得以快速發(fā)展的硬件基礎(chǔ)。

2.1 LED顯示原理及優(yōu)勢(shì)

相較于傳統(tǒng)的投影等大屏顯示方式,LED 顯示原理的核心區(qū)別在于面板上的每顆燈珠主動(dòng)獨(dú)立發(fā)光,基于空間混色效應(yīng)實(shí)現(xiàn)顏色顯示。

在亮度、對(duì)比度、黑位水平方面,LED 屏幕有明顯優(yōu)勢(shì)。投影式放映機(jī)采用氙燈、激光光源或LED,將影像放大投射至幕布上,經(jīng)過漫反射進(jìn)入觀眾眼中。由于放映機(jī)工作溫度限制、光源壽命下降導(dǎo)致衰減、透鏡易落灰、銀幕反射率有限等因素的影響,光路在多個(gè)環(huán)節(jié)易出現(xiàn)衰減,使得放映畫面難以達(dá)到較高的銀幕亮度;在顯示純黑信號(hào)時(shí)光源依然開啟,黑位水平難以降低,因此幀內(nèi)、幀間對(duì)比度有限。相比之下,LED 屏幕的每個(gè)像素點(diǎn)均可通過驅(qū)動(dòng)達(dá)到較高亮度,其自發(fā)光特性消除了光路衰減的干擾,最終呈現(xiàn)的亮度可達(dá)投影式放映機(jī)的10倍以上。同時(shí),在顯示純黑信號(hào)時(shí),像素點(diǎn)可完全關(guān)閉,將黑位水平降至最低。因此,LED 屏幕的幀內(nèi)、幀間對(duì)比度均有大幅提升,可服務(wù)于高動(dòng)態(tài)范圍影像的呈現(xiàn)。

均勻度指影像在屏幕上亮度和顏色的一致性,LED 顯示屏在該方面優(yōu)勢(shì)更為明顯。投影式放映機(jī)以銀幕中心為基準(zhǔn)校正顏色和亮度,校準(zhǔn)空間有限,從中心到角落可能出現(xiàn)25%以上的亮度衰減,同時(shí)顏色也容易出現(xiàn)偏移。此外,由于放映機(jī)光源從球面鏡頭發(fā)射,經(jīng)一定距離投射至銀幕平面,光路上經(jīng)過的光學(xué)表面較多,這些表面的光學(xué)特性導(dǎo)致畫面容易出現(xiàn)畸變。LED 屏幕在投入使用前,會(huì)針對(duì)全部模組進(jìn)行校正,最大程度地保證屏幕各個(gè)區(qū)域亮度和顏色的均勻度。同時(shí),因LED 為點(diǎn)對(duì)點(diǎn)映射驅(qū)動(dòng),像素點(diǎn)位置排布均勻且固定,像素直接發(fā)光,不存在光路上的干擾,因此解決了畫面畸變的問題。

2.2 大型LED背景墻顯示及其控制方式

像素(Pixel)是LED 顯示屏上的最小可控成像單位,LED 顯示屏上的每個(gè)像素由封裝在燈座上的RGB三色發(fā)光二極管燈珠構(gòu)成。通過樹脂或者塑料面板將LED 像素封裝為像素陣列,若干像素陣列與驅(qū)動(dòng)芯片、PCB 電路板構(gòu)成一個(gè)顯示模塊 (display module),若干個(gè)顯示模塊連同控制電路及相應(yīng)結(jié)構(gòu)件構(gòu)成一個(gè)顯示模組 (display panel)。LED背景墻由多個(gè)顯示模組拼接而成,可按需求組合為不同規(guī)格和分辨率,形成CAVE式四面環(huán)繞或180°以上環(huán)形排列的大型背景墻結(jié)構(gòu),服務(wù)于電影虛擬化制作。

由多塊顯示模組構(gòu)成的LED 背景墻,需采用配套LED 控制器和拼接器實(shí)現(xiàn)同步顯示。LED 控制器可將HDMI、SDI等不同格式的輸入視頻信號(hào),通過網(wǎng)線或光纖輸出給LED 屏幕模組序列,模組間以網(wǎng)線連接傳遞信號(hào),從而實(shí)現(xiàn)驅(qū)動(dòng)上屏。同時(shí),控制器具備本地及遠(yuǎn)程控制接口,可通過軟件對(duì)屏幕顯示特性進(jìn)行控制和校正。此外,控制器還提供Gen-Lock接口,以滿足信號(hào)同步需求。LED 拼接器可將完整的圖像輸入信號(hào)劃分為多塊后分配給多個(gè)視頻顯示單元,常與控制器配合使用,其功能也可集成在控制器內(nèi)。

在LED 背景墻虛擬化制作中,多臺(tái)計(jì)算機(jī)實(shí)時(shí)渲染輸出的虛擬場(chǎng)景視頻信號(hào),通過視頻接口輸入給對(duì)應(yīng)LED 控制器,控制器驅(qū)動(dòng)信號(hào)實(shí)現(xiàn)上屏。根據(jù)控制器帶載限制,可按需求分配計(jì)算機(jī)與對(duì)應(yīng)LED 屏幕區(qū)域的映射關(guān)系。

在能耗方面,大面積自發(fā)光LED 顯示屏每平米峰值功耗可達(dá)700～800W,以一個(gè)25米長(zhǎng)、4米高的LED 顯示屏為例,峰值功耗可達(dá)70～80k W。接線時(shí),需要對(duì)電源線進(jìn)行分組,以免輸出過載。高功耗也伴隨著較高的發(fā)熱量,對(duì)現(xiàn)場(chǎng)的通風(fēng)散熱也有一定的要求。

2.3 LED屏應(yīng)用中存在的問題與解決思路

在基于LED 背景墻的電影虛擬化制作中,像素間距 (Pixel Pitch)是影響成像質(zhì)量的核心因素。像素間距指LED 顯示屏相鄰兩個(gè)像素點(diǎn)中心的距離,記作P,單位為毫米。像素間距決定了LED 顯示屏的像素密度,直接影響人眼觀看距離及攝影機(jī)內(nèi)拍攝畫面摩爾紋等屬性。在其他拍攝條件相似的情況下,應(yīng)盡量選取像素間距較小的LED 屏產(chǎn)品,實(shí)現(xiàn)高質(zhì)量的畫面拍攝。

白場(chǎng)峰值亮度、色域范圍、色彩準(zhǔn)確性、亮度和色度均勻性,是評(píng)價(jià)LED 屏幕性能的主要指標(biāo)。在實(shí)際使用中發(fā)現(xiàn),隨著點(diǎn)亮?xí)r間和溫度增加,LED 模塊存在白場(chǎng)亮度衰減、色度坐標(biāo)偏移的現(xiàn)象。解決該問題需要確保LED 在拍攝前預(yù)熱至穩(wěn)定狀態(tài),并在控制器內(nèi)開啟白點(diǎn)色溫動(dòng)態(tài)校正功能。此外,在考察LED 亮度和色度均勻性時(shí),由于RGB燈珠排列和封裝方式影響,相對(duì)于屏幕法線方向而言,在水平和垂直離軸方向常出現(xiàn)亮度衰減及色度坐標(biāo)偏移問題,這使得傾斜拍攝屏幕時(shí)會(huì)發(fā)生一定程度的偏色現(xiàn)象。解決該問題首先需要盡量避免極端的拍攝角度,其次是更多地采用弧形背景墻結(jié)構(gòu),增加可用的拍攝角度。

LED 屏幕及控制器支持的電光轉(zhuǎn)換函數(shù)(EOTF)、位深、最小有效黑電平等指標(biāo),決定了屏幕成像的層次細(xì)膩度和非線性特征。當(dāng)前LED 模塊及控制器的處理位深通?？蛇_(dá)16bit,也能支持10bit、12bit輸入視頻信號(hào)顯示及不同的SDR/HDR EOTF標(biāo)準(zhǔn),但在暗部常因位深不足而出現(xiàn)斷層(Banding)現(xiàn)象。對(duì)控制器而言,可采取時(shí)間抖動(dòng)(Temporal Dithering)和空間抖動(dòng) (Spatial Dithering)方式,間接提升低灰部分的顯示位深,以實(shí)現(xiàn)暗部平滑顯示。

摩爾紋 (MoiréPattern)是攝影機(jī)直接拍攝LED 背景墻面臨的最大干擾,其成因是屏幕像素密度與攝影機(jī)CMOS像素點(diǎn)采樣密度不匹配。在實(shí)際測(cè)試中,鏡頭光心到屏幕距離、鏡頭焦段、光圈大小、對(duì)焦距離、拍攝方向與法線的垂直和水平夾角等因素,都會(huì)對(duì)摩爾紋的多少產(chǎn)生影響。此外,LED 背景墻虛擬化制作還面臨LED 面板的反光問題、使用LED 屏構(gòu)建的環(huán)境光照因?yàn)闊糁楣庾V窄而導(dǎo)致的顯色性差等問題。在基于LED 屏的虛擬化制作中,我們通過將LED 屏顯示的背景置于焦外、補(bǔ)充數(shù)字燈光矩陣照明等方式來一定程度地規(guī)避這些問題。

3 渲染技術(shù)

3.1 實(shí)時(shí)渲染技術(shù)

實(shí)時(shí)渲染較離線渲染速度要求高、質(zhì)量要求低,較多應(yīng)用于游戲等對(duì)畫面要求相對(duì)低的領(lǐng)域,而動(dòng)畫與影視特效則往往使用渲染速度慢、質(zhì)量高的離線渲染方式。隨著計(jì)算機(jī)硬件與渲染技術(shù)的發(fā)展,實(shí)時(shí)渲染的質(zhì)量不斷提升,尤其是基于物理的渲染(PBR,Physical Based Rendering)與實(shí)時(shí)光線追蹤技術(shù)(Real-Time Ray Tracing)的引入,為實(shí)時(shí)渲染在影視制作中的應(yīng)用帶來了可能性。

基于LED 背景墻的電影虛擬化制作技術(shù)建立在實(shí)時(shí)渲染的基礎(chǔ)上,它要求虛擬場(chǎng)景隨著真實(shí)攝影機(jī)的運(yùn)動(dòng)、用戶的交互控制實(shí)時(shí)地渲染畫面。多年前,基于綠幕的電影虛擬化制作已經(jīng)將實(shí)時(shí)渲染畫面用于現(xiàn)場(chǎng)預(yù)演,隨著渲染技術(shù)的進(jìn)步和渲染效果的提升,實(shí)時(shí)渲染技術(shù)能夠保證電影虛擬化制作現(xiàn)場(chǎng)LED 背景墻畫面和光照效果更加真實(shí)。

實(shí)時(shí)渲染技術(shù)在傳統(tǒng)離線渲染技術(shù)的基礎(chǔ)上,使用了降低精度、提高計(jì)算速度的加速算法與數(shù)學(xué)近似技巧、大量離線計(jì)算的預(yù)計(jì)算數(shù)據(jù)。例如基于LED 背景墻的電影虛擬化制作中使用的實(shí)時(shí)渲染引擎,采用了光線追蹤與光柵化混合的渲染管線,結(jié)合預(yù)計(jì)算處理和針對(duì)采樣的多種后處理技巧,如屏幕空間采樣、深度學(xué)習(xí)超采樣 (DLSS)、低采樣次數(shù)光追渲染的降噪技術(shù)等,帶來了更加精細(xì)的實(shí)時(shí)渲染畫面與更加真實(shí)的光照。

3.2 多機(jī)同步渲染

基于LED 背景墻的電影虛擬化制作使用小間距LED 屏組成的高分辨率屏幕作為背景進(jìn)行拍攝制作,如果采用單臺(tái)計(jì)算機(jī)進(jìn)行渲染,當(dāng)前的計(jì)算機(jī)渲染能力有限,無法滿足需求。故須引入多機(jī)同步渲染技術(shù),即利用多臺(tái)計(jì)算機(jī)同時(shí)進(jìn)行渲染,每臺(tái)計(jì)算機(jī)配備較強(qiáng)的計(jì)算硬件,配置完全一樣的渲染引擎與資產(chǎn),連接在同一局域網(wǎng)下,基于網(wǎng)絡(luò)協(xié)議發(fā)送啟用同步渲染指令,實(shí)時(shí)傳遞外部輸入數(shù)據(jù)如攝影機(jī)位姿、交互控制數(shù)據(jù)、同步信號(hào)等信息,來執(zhí)行對(duì)應(yīng)的渲染任務(wù)。多臺(tái)計(jì)算機(jī)間的渲染畫面的同步控制則由基于網(wǎng)絡(luò)的軟同步或者基于支持Gen-Lock信號(hào)的顯卡硬件同步,使用同步卡輸出脈沖信號(hào)給GPU 來實(shí)現(xiàn),以解決多機(jī)不同渲染區(qū)域有快速變化的內(nèi)容時(shí)可能產(chǎn)生的畫面撕裂問題。

圖2 渲染節(jié)點(diǎn)結(jié)構(gòu)

與傳統(tǒng)的實(shí)時(shí)渲染不同,渲染畫面的顯示介質(zhì)LED 屏很多時(shí)候并不是一個(gè)矩形、平直的屏幕,而是環(huán)繞拍攝現(xiàn)場(chǎng)的多塊屏幕或者曲面屏。這是因?yàn)橛耙暸臄z中,LED 屏幕的可視角度大約在140度左右,攝影機(jī)垂直拍攝屏幕效果最佳,從斜側(cè)方拍攝LED 屏幕會(huì)產(chǎn)生偏色和摩爾紋現(xiàn)象。使用弧形屏可以使攝影機(jī)的拍攝角度盡可能接近垂直屏幕。

渲染的觀察視點(diǎn)也并不在屏幕的中心垂線上,根據(jù)內(nèi)外視錐的不同,外視錐的視點(diǎn)相對(duì)LED 屏不會(huì)移動(dòng),因此觀察視點(diǎn)大約在攝影機(jī)、演員活動(dòng)的中心位置,內(nèi)視錐的觀察視點(diǎn)則是攝影機(jī)鏡頭的主節(jié)點(diǎn)位置。因此需要將攝影機(jī)拍攝到的虛擬場(chǎng)景投影到LED 背景墻上,再根據(jù)投影關(guān)系進(jìn)行逐像素的渲染。

由于上述特點(diǎn),基于LED 背景墻電影虛擬化制作中,實(shí)時(shí)渲染必須根據(jù)渲染任務(wù)情況,將任務(wù)盡量平均地分配到多臺(tái)渲染主機(jī)進(jìn)行渲染。

3.3 內(nèi)外視錐渲染技術(shù)

基于LED 背景墻的電影虛擬化制作技術(shù)的核心概念是攝影機(jī)內(nèi)視效,即攝影機(jī)直接拍攝得到真實(shí)畫面與虛擬背景的合成結(jié)果。在LED 屏上,我們使用相對(duì)固定的外視錐形成的光照環(huán)境來模擬真實(shí)的光照與色彩匹配,使用內(nèi)視錐作為攝影機(jī)直接拍攝的背景,內(nèi)外視錐的渲染要分別單獨(dú)進(jìn)行。

外視錐是各屏幕上渲染的主要視口,主要起到照明作用。對(duì)每一塊獨(dú)立渲染的屏幕,都有一個(gè)外視錐視口;但所有外視錐僅有一個(gè)視點(diǎn),該視點(diǎn)一般為固定視點(diǎn),在整個(gè)場(chǎng)景中很少移動(dòng),或是在交通工具內(nèi)的視角等特殊鏡頭中相對(duì)穩(wěn)定地移動(dòng)。外視錐會(huì)渲染在環(huán)繞拍攝環(huán)境的所有LED 屏上甚至應(yīng)用于燈光矩陣,從而再現(xiàn)視點(diǎn)處“真實(shí)”的照明效果,以模擬角色、道具身處環(huán)境之中的觀看效果和光照效果。這也避免了傳統(tǒng)制作流程中綠幕拍攝時(shí)“泛綠”難以處理、燈光匹配需要大量重復(fù)機(jī)械式調(diào)參、高反射材質(zhì)的不易進(jìn)行光照匹配等問題。

圖3 內(nèi)外視錐

內(nèi)視錐是疊加在外視錐上層的獨(dú)立視口,與攝影機(jī)內(nèi)外參數(shù)強(qiáng)關(guān)聯(lián),主要覆蓋攝影機(jī)取景范圍,作為拍攝畫面的合成背景使用。內(nèi)視錐主要用來做攝影機(jī)直接拍攝的背景畫面,這種攝影機(jī)內(nèi)拍攝合成的方式替代了后期摳像合成,簡(jiǎn)化了制作流程的同時(shí)減少了摳像、擦除等人力勞動(dòng)。內(nèi)視錐的渲染畫面,由于攝影機(jī)位置更新、渲染帶來的延遲,以及LED 屏像素密度帶來的摩爾紋等干擾,所以往往采取提高計(jì)算設(shè)備性能、減緩攝影機(jī)移動(dòng)速度、將LED 屏上背景內(nèi)容進(jìn)行小景深虛化處理等方法來規(guī)避。

圖4 內(nèi)視錐顯示為綠幕時(shí)的拍攝畫面

此外,內(nèi)視錐還可以根據(jù)需要設(shè)定為綠幕,來進(jìn)行傳統(tǒng)摳綠合成。由于此時(shí)外視錐仍渲染虛擬場(chǎng)景內(nèi)容,拍攝主體的光照情況仍然是與虛擬場(chǎng)景匹配的,不需要在合成時(shí)再次進(jìn)行復(fù)雜的溢綠、重打光等匹配工作。內(nèi)視錐設(shè)定為綠幕的原理是將一塊材質(zhì)為自發(fā)光綠色的平面置于內(nèi)視錐虛擬攝影機(jī)前,并與虛擬攝影機(jī)位置關(guān)系綁定。綠色平面的形狀、大小均可自由地自定義。同時(shí),可以添加基于LED屏形狀與位置的跟蹤點(diǎn)在內(nèi)視錐中,跟蹤點(diǎn)位置與大小相對(duì)于LED 背景墻靜止,內(nèi)視錐在LED 背景墻上運(yùn)動(dòng)時(shí)將會(huì)顯示這些跟蹤點(diǎn),這對(duì)后期獲取攝影機(jī)軌跡提供了便捷的備用方案。

4 跟蹤技術(shù)

攝影機(jī)跟蹤技術(shù)被大家廣泛關(guān)注與研究已久,其通常通過計(jì)算機(jī)視覺、光學(xué)等方法進(jìn)行攝影機(jī)跟蹤,然而以LED 屏為背景顯示設(shè)備時(shí),場(chǎng)景光線復(fù)雜多變,給攝影機(jī)跟蹤與注冊(cè)環(huán)節(jié)帶來了極大影響。新型應(yīng)用場(chǎng)景對(duì)跟蹤設(shè)備在跟蹤范圍、系統(tǒng)靈活性、魯棒性及延時(shí)性方面提出了更高的要求。

4.1 標(biāo)定與匹配

在基于LED 背景墻電影虛擬化制作的過程中,我們通過攝影機(jī)跟蹤設(shè)備得到真實(shí)世界中攝影機(jī)的運(yùn)動(dòng),通過各種空間轉(zhuǎn)換,得到變換矩陣,計(jì)算得到位置與姿態(tài),最終驅(qū)動(dòng)三維場(chǎng)景中虛擬攝影機(jī)運(yùn)動(dòng)。引擎根據(jù)攝影機(jī)靶面、焦距、焦點(diǎn)等內(nèi)參計(jì)算攝影機(jī)取景范圍,將虛擬攝影機(jī)渲染的畫面映射到LED 背景墻上。為避免穿幫,真實(shí)攝影機(jī)的視野在LED 墻的投影范圍要被LED 背景墻上渲染出的內(nèi)視錐完全覆蓋。

攝影機(jī)跟蹤的前提是攝影機(jī)的標(biāo)定,通過計(jì)算機(jī)視覺技術(shù)計(jì)算得出變焦鏡頭不同焦段下的內(nèi)參,這些光學(xué)特性由矩陣形式表示,該數(shù)值信息可由引擎實(shí)時(shí)讀取,使虛擬攝影機(jī)與真實(shí)攝影機(jī)畫面更加匹配。由于LED 背景墻是對(duì)“真實(shí)”環(huán)境與光照的還原,攝影機(jī)位置和LED 背景墻的距離與虛擬攝影機(jī)位置和虛擬場(chǎng)景中LED 背景墻的距離需要完全相等,因此跟蹤系統(tǒng)的坐標(biāo)系需要與虛擬場(chǎng)景中的坐標(biāo)系完全一致。攝影機(jī)跟蹤系統(tǒng)工作時(shí),首先在引擎中需要對(duì)LED 屏幕按照真實(shí)尺寸進(jìn)行建模,在使用不同的跟蹤系統(tǒng)時(shí),需將跟蹤系統(tǒng)世界坐標(biāo)系原點(diǎn)定位至屏幕區(qū)域中間位置,利用全站儀等設(shè)備測(cè)量該坐標(biāo)原點(diǎn)到屏幕的距離,在引擎中將LED 背景墻模型的原點(diǎn)位置與跟蹤原點(diǎn)重合。這樣,攝影機(jī)在真實(shí)空間中相對(duì)于LED 背景墻的距離將與虛擬攝影機(jī)相對(duì)于虛擬LED 背景墻的距離完全相同,能夠得到一致的對(duì)應(yīng)效果。

圖5 跟蹤設(shè)備在LED背景墻中

4.2 攝影機(jī)跟蹤技術(shù)

攝像機(jī)追蹤的本質(zhì)是估計(jì)每一幀的攝像機(jī)位姿矩陣,目前現(xiàn)有的對(duì)攝影機(jī)進(jìn)行姿態(tài)估計(jì)的方法側(cè)重于提升觀測(cè)設(shè)備的刷新率以捕捉物體更加快速的變化;提升觀測(cè)設(shè)備的分辨率,以捕捉更加細(xì)節(jié)的變化和更加精準(zhǔn)的3D 特征點(diǎn)。

攝影機(jī)跟蹤技術(shù)從實(shí)現(xiàn)原理上可分為由內(nèi)向外跟蹤和由外向內(nèi)跟蹤。由外向內(nèi)的跟蹤通過分析外部設(shè)備所接收到的機(jī)械或光學(xué)系統(tǒng)在空間中的變化信息,計(jì)算出物體在空間中的運(yùn)動(dòng)。由外向內(nèi)跟蹤廣泛應(yīng)用于基于LED 背景墻的電影虛擬化制作,其方式有基于多個(gè)紅外攝像頭環(huán)繞捕捉的Optitrack、基于紅外Lighthouse基站的小成本定位方式HTC VIVE等。

由內(nèi)向外的跟蹤技術(shù),其跟蹤設(shè)備通常固定于被跟蹤物體上,方便攜帶安裝,空間限制較小,更符合技術(shù)現(xiàn)代化發(fā)展的需求。該技術(shù)主要通過視覺、慣性或視覺與慣性混合的SLAM 技術(shù)進(jìn)行自身的位置檢測(cè)和姿態(tài)估計(jì)。目前大部分的由內(nèi)向外跟蹤設(shè)備都基于混合傳感器技術(shù),尤其是以視覺為主,慣性進(jìn)行輔助。這種利用協(xié)作傳感器融合進(jìn)行攝影機(jī)姿態(tài)估計(jì)的方法,往往受場(chǎng)地限制較小,為創(chuàng)作帶來了更大的自由,但對(duì)于環(huán)境要求較高,要求視場(chǎng)內(nèi)光線適中,場(chǎng)景中有足夠的明顯特征可供識(shí)別等。這類設(shè)備包括NCAM、RedSpy、MoSys Star Track等。

4.3 實(shí)時(shí)跟蹤與數(shù)據(jù)后處理

實(shí)際的拍攝制作流程中,我們往往對(duì)攝影機(jī)軌跡進(jìn)行兩部分操作:

(1)對(duì)攝影機(jī)的位置及姿態(tài)進(jìn)行實(shí)時(shí)的估計(jì),將該數(shù)據(jù)實(shí)時(shí)地傳輸?shù)饺S軟件或游戲引擎中,驅(qū)動(dòng)虛擬攝影機(jī)獲取相應(yīng)的虛擬畫面;

(2)在需要內(nèi)視錐進(jìn)行色鍵摳綠或?qū)ε臄z到的畫面進(jìn)行后期處理情況下,此時(shí)需要將現(xiàn)場(chǎng)拍攝時(shí)跟蹤軟件捕捉到的軌跡進(jìn)行數(shù)據(jù)清洗、濾波優(yōu)化等操作,將處理后的攝影機(jī)運(yùn)動(dòng)軌跡數(shù)據(jù)賦值給虛擬攝影機(jī)。

其中,因各類數(shù)字內(nèi)容生產(chǎn)工具、實(shí)時(shí)渲染引擎之間的坐標(biāo)系統(tǒng)不盡相同,數(shù)據(jù)傳輸或進(jìn)行后處理時(shí)往往首先要進(jìn)行坐標(biāo)系的轉(zhuǎn)換,例如:Unity為Y-Up左手坐標(biāo)系;Unreal Engine 4 則為Z-Up左手坐標(biāo)系;MAYA、Houdini為Y-Up 的右手坐標(biāo)系;3ds Max 為Z-Up 右手坐標(biāo)系等。針對(duì)剛體的跟蹤數(shù)據(jù)用3 軸位置 (Location)及3 軸旋轉(zhuǎn)(Rotation)進(jìn)行表示。大多動(dòng)作捕捉或攝影機(jī)跟蹤軟件均支持?jǐn)?shù)據(jù)直接傳輸至三維軟件3ds Max、Maya與實(shí)時(shí)渲染引擎,同時(shí)支持利用軟件SDK 進(jìn)行深度開發(fā)或通過VRPN (Virtual-Reality Peripheral Network)接口對(duì)跟蹤數(shù)據(jù)進(jìn)行接受與處理。例如,在由外向內(nèi)跟蹤系統(tǒng)Optitrack 面向Unreal Engine的插件中,軟件端Motive就開放了Natnet SDK 從Mocap服務(wù)端以傳輸?shù)男问娇梢韵虮镜鼗蛲蛔泳W(wǎng)下的多個(gè)主機(jī)客戶端廣播數(shù)據(jù)。同時(shí),跟蹤設(shè)備均接受多種形式的時(shí)間碼 (Timecode)、相位同步(Gen-Lock)信號(hào)輸入,允許外部輸入信號(hào)同步觸發(fā)錄制功能,并且能將時(shí)間碼信息與對(duì)應(yīng)的跟蹤數(shù)據(jù)以FBX、BVH 或CSV 的數(shù)據(jù)格式進(jìn)行存儲(chǔ)。錄制的攝影機(jī)軌跡經(jīng)過數(shù)據(jù)清洗、平滑處理等操作之后進(jìn)入后期軟件進(jìn)行下一步視效階段的處理。

5 照明技術(shù)

在當(dāng)前的電影制作中,照明逐漸智能化、自動(dòng)化。LED 屏幕自身不僅可以實(shí)現(xiàn)攝影機(jī)機(jī)內(nèi)合成,還可以提供基礎(chǔ)的環(huán)境照明,同時(shí)能為畫面中透射和反射的區(qū)域還原豐富的環(huán)境細(xì)節(jié)。除此之外,LED 屏幕可以通過接收不同的視頻信號(hào)實(shí)時(shí)地任意改變每一個(gè)像素的亮度與色彩,極大提高了影片制作的效率,為創(chuàng)作者提供了自由的創(chuàng)作環(huán)境,同時(shí)也在影響著傳統(tǒng)影視照明技術(shù)不斷發(fā)生變化。

5.1 不同的照明技術(shù)

(1)LED 屏幕

在基于LED 背景墻的電影虛擬化制作中,LED屏幕承擔(dān)作為背景的顯示工作時(shí),其照明的作用也不容小覷,LED 屏幕的每一個(gè)像素點(diǎn)都是一個(gè)獨(dú)立可控的光源,基于現(xiàn)今強(qiáng)大的三維實(shí)時(shí)引擎,創(chuàng)作者可以實(shí)時(shí)、便捷、精細(xì)地調(diào)節(jié)光照,無需手動(dòng)調(diào)節(jié)照明燈光設(shè)備,只需通過電腦、平板即可完成照明的創(chuàng)作。

LED 屏幕作為照明光源而言具有分辨率高、無縫拼接、面積大等特點(diǎn),能夠提供不同角度的照明,以還原更真實(shí)的環(huán)境光照。但因?yàn)長(zhǎng)ED 屏幕初始設(shè)計(jì)的用途在于顯示,因此LED 屏幕作為照明光源存在許多問題:首先本身亮度不高,小間距LED 面板最大亮度一般不超過2000nits,較影視照明面光燈(換算單位面積下的亮度能達(dá)到100000nits)照明功率較低,因此在實(shí)際的影視制作中仍需要其他燈光設(shè)備進(jìn)行輔助;其次,LED 屏幕的照明顯色性較差,如圖6所示LED 屏幕的發(fā)光光譜較為單一,會(huì)導(dǎo)致色彩還原不準(zhǔn)確的問題。并且由于三基色RGB燈珠排布具有規(guī)律性,在不同角度下對(duì)LED 屏進(jìn)行觀測(cè)會(huì)有相應(yīng)不同的偏色。LED 屏幕中LED 燈珠的可視角度大,光照方向難以控制,當(dāng)屏幕間夾角較小時(shí)會(huì)對(duì)其他屏幕產(chǎn)生影響,導(dǎo)致畫面對(duì)比度降低;在價(jià)格方面,目前LED 屏幕作為照明光源價(jià)格比較昂貴,小成本制作難以承擔(dān)如此高昂的費(fèi)用。

圖6 某款LED屏幕顯示滿碼值白的光譜

(2)燈光陣列

燈光陣列是指由數(shù)量眾多帶有通信控制功能的數(shù)控?zé)艄庠O(shè)備所組成的大面積燈光陣列,每一個(gè)燈光設(shè)備均能獨(dú)立控制,但相較于LED 屏幕的每一個(gè)像素而言更為分散且數(shù)量更少,相比之下對(duì)燈光調(diào)整的精細(xì)度有所降低,但依然能滿足大部分影視制作的需求。

為避免離散的照明設(shè)備可能導(dǎo)致照明的不連續(xù)、不柔和,可以在燈光矩陣前安裝大面積的柔光布使得光線產(chǎn)生散射,變得柔和。但無論是否添加柔光布,被攝對(duì)象上的透射與反射區(qū)域均無法與LED 屏幕一樣還原真實(shí)而細(xì)膩的環(huán)境細(xì)節(jié)。

燈光矩陣具有更強(qiáng)的照明功率和更好的照明顯色性,同時(shí)其相對(duì)低廉的價(jià)格及能在拍攝中獲得更好的照明效果而成為一種廣受歡迎的新型照明解決方案。

圖7 燈光矩陣

(3)其他數(shù)控影視燈光設(shè)備

帶有DMX、Art-net、s ACN 等控制功能的燈光設(shè)備被稱為數(shù)控影視燈光設(shè)備,能夠?qū)崿F(xiàn)LED 屏幕與燈光陣列都難以實(shí)現(xiàn)的大功率強(qiáng)光、聚光、點(diǎn)光、局部柔光等照明效果。在基于LED 背景墻的電影虛擬化制作中,數(shù)控影視燈光設(shè)備能與三維實(shí)時(shí)引擎進(jìn)行通信,以達(dá)到虛實(shí)聯(lián)動(dòng)的效果。三維實(shí)時(shí)引擎可以實(shí)時(shí)監(jiān)測(cè)捕捉虛擬環(huán)境中的光照效果,并映射相應(yīng)的參數(shù)到真實(shí)世界中的數(shù)控影視燈光設(shè)備。為了匹配虛擬世界與真實(shí)世界中燈光設(shè)備的位置,可以在真實(shí)燈光設(shè)備上安裝跟蹤設(shè)備,實(shí)時(shí)獲取燈光設(shè)備的位置。

5.2 照明匹配技術(shù)

在基于LED 背景墻的電影虛擬化制作中,由于同時(shí)使用LED 屏顯示與照明,并且在系統(tǒng)中存在其他照明設(shè)備,需要匹配校正的內(nèi)容較多,并且由于LED 屏幕的發(fā)光特性導(dǎo)致色彩偏差,要讓電影虛擬化制作系統(tǒng)準(zhǔn)確地還原色彩,需要進(jìn)行色彩校正與照明匹配。LED 燈珠光譜較窄,在不同的攝影機(jī)CMOS的不同CFA (Color Filter Array,濾色器陣列)下顏色會(huì)產(chǎn)生不同的偏移,因此內(nèi)視錐的畫面需要根據(jù)不同的攝影機(jī)進(jìn)行色彩校準(zhǔn)。而外視錐的校準(zhǔn)則需要一定程度考慮被攝物體的反射特性,外視錐的色彩校準(zhǔn)的參考依據(jù)往往是被攝物反射后的色彩,但為了適用于不同被攝物體的拍攝,使用顯色性更高的燈光陣列以及數(shù)控影視燈光設(shè)備作為主要光源也是一種解決方案。例如:在使用基于LED背景墻的電影虛擬化制作拍攝的劇集 《曼達(dá)洛人》中更多使用LED 屏幕作為照明光源,LED 屏幕光源同色異譜的特性導(dǎo)致了“被LED 屏幕照射的實(shí)物道具”和“LED 屏幕所顯示的虛擬道具”在攝影機(jī)中看起來顏色并不一致的問題。

因此,在實(shí)際拍攝中,我們需要盡可能地將“被拍攝到攝影機(jī)內(nèi)的內(nèi)視錐畫面”與“作為照明以及反射作用的外視錐”區(qū)分開來。因此,需要盡可能減少內(nèi)視錐對(duì)被攝主體的影響,再分別對(duì)兩部分進(jìn)行獨(dú)立的色彩校正,如圖8所示。

圖8 照明匹配流程圖

在經(jīng)過色彩校正后,光源的其他特性也需要進(jìn)行匹配,比如光源的強(qiáng)度、位置、方向、光質(zhì)等。由引擎和其他多種手段控制的功能強(qiáng)大的照明系統(tǒng)能讓創(chuàng)作者在實(shí)際拍攝中對(duì)現(xiàn)場(chǎng)光線進(jìn)行調(diào)整、匹配,并且對(duì)照明效果進(jìn)行自由的藝術(shù)創(chuàng)作,最終呈現(xiàn)完美的畫面。

6 人機(jī)交互技術(shù)

6.1 虛擬場(chǎng)景控制

虛擬場(chǎng)景控制指的是創(chuàng)作者在拍攝期間能夠?qū)崟r(shí)編輯虛擬場(chǎng)景,并借助虛擬現(xiàn)實(shí)設(shè)備進(jìn)行VR 勘景、編輯、確定機(jī)位等工作。

圖9 VR 勘景

實(shí)時(shí)編輯虛擬場(chǎng)景時(shí),創(chuàng)作者可以操作渲染節(jié)點(diǎn)中的任意一個(gè)節(jié)點(diǎn),來修改虛擬場(chǎng)景中的資產(chǎn),例如場(chǎng)景元素的位置、旋轉(zhuǎn)、縮放、增減,燈光的方向、照度、顏色等。同時(shí)將修改信息通過UDP協(xié)議發(fā)送至其他渲染節(jié)點(diǎn)進(jìn)行同步,并實(shí)時(shí)渲染更新在LED 背景墻上。這使得虛擬內(nèi)容創(chuàng)作者能夠?qū)崟r(shí)地編輯、渲染及拍攝。

對(duì)渲染節(jié)點(diǎn)的虛擬場(chǎng)景控制也可以使用外部設(shè)備來實(shí)現(xiàn)。例如:通過公開資產(chǎn)屬性的網(wǎng)絡(luò)接口,使用移動(dòng)設(shè)備如iPad等直接訪問網(wǎng)頁(yè)來控制;使用虛擬現(xiàn)實(shí)設(shè)備如VR 頭盔與手柄來直接進(jìn)入虛擬場(chǎng)景,進(jìn)行身臨其境的觀察,判斷場(chǎng)景的完成度、選取鏡頭取景等工作,并可以直接在VR 環(huán)境中修改場(chǎng)景,從而實(shí)現(xiàn)在真正的三維空間中進(jìn)行創(chuàng)作。這些技術(shù)能夠極大提高現(xiàn)場(chǎng)拍攝制作的效率,同時(shí)也為創(chuàng)作者提供了更大的創(chuàng)作空間。

6.2 虛實(shí)結(jié)合交互

虛實(shí)結(jié)合交互包含兩方面的內(nèi)容,分別是通過不同的傳感器獲取真實(shí)拍攝環(huán)境中的場(chǎng)景信息,實(shí)時(shí)傳遞到虛擬場(chǎng)景中實(shí)現(xiàn)虛擬匹配,以及使用虛擬場(chǎng)景中的動(dòng)態(tài)信息驅(qū)動(dòng)現(xiàn)場(chǎng)的裝置來實(shí)現(xiàn)虛實(shí)結(jié)合的效果。

圖10 《曼達(dá)洛人》中Motion Base的應(yīng)用

虛實(shí)結(jié)合的交互設(shè)備可以支持拍攝主體的運(yùn)動(dòng)數(shù)據(jù)交互。例如:實(shí)時(shí)將運(yùn)動(dòng)裝置的數(shù)據(jù)傳遞給實(shí)時(shí)引擎,來更新虛擬背景,以模擬角色在場(chǎng)景中移動(dòng)的效果;使用智能數(shù)控運(yùn)動(dòng)平臺(tái)將設(shè)定好的運(yùn)動(dòng)軌跡在實(shí)時(shí)渲染引擎和現(xiàn)實(shí)中同步復(fù)現(xiàn),來實(shí)現(xiàn)諸如騎馬、駕車、飛行等運(yùn)動(dòng)效果;使用動(dòng)作捕捉設(shè)備實(shí)時(shí)捕捉人體動(dòng)作,在引擎中驅(qū)動(dòng)虛擬角色。

此外,其他影視特殊效果設(shè)備的交互控制也是人機(jī)交互的重要部分,例如:場(chǎng)景中煙機(jī)、鼓風(fēng)機(jī)、造雪機(jī)等物理特效設(shè)備的虛實(shí)同步,拍攝時(shí)可以通過實(shí)時(shí)引擎來控制這些設(shè)備的開關(guān)、功率、范圍等參數(shù),并通過傳感器監(jiān)測(cè)相關(guān)數(shù)據(jù),同時(shí)將數(shù)據(jù)返回引擎,實(shí)時(shí)處理和調(diào)節(jié)設(shè)備運(yùn)行參數(shù)。

這些交互方式大大提高了基于LED 背景墻的電影虛擬化制作的虛實(shí)結(jié)合程度,使得在面積有限的攝影棚中,創(chuàng)作者可以設(shè)計(jì)并實(shí)現(xiàn)更多類型的鏡頭。

7 總結(jié)與展望

目前,國(guó)內(nèi)外影視制作領(lǐng)域都開始了基于LED背景墻的電影虛擬化制作探索,并且已經(jīng)初步在影視劇集的拍攝中進(jìn)行了應(yīng)用,雖然目前還有些效果并不盡如人意,但是這種“后期前置”給現(xiàn)場(chǎng)拍攝提供真實(shí)的環(huán)境光照,提供所見即所得的自由創(chuàng)作環(huán)境的制作方式,相信在研究人員和從業(yè)者共同努力下,能夠進(jìn)一步完善相關(guān)功能,在制作效果上取得更大進(jìn)展,從而帶動(dòng)電影智能化制作邁上新的臺(tái)階。