侯 爵 趙建軍 盧柏宏 陳 軍

(北京電影學(xué)院影視技術(shù)系,北京 100088)

1 引言

1898年,特效電影藝術(shù)家喬治·梅里愛把一塊涂有黑色顏料的玻璃板作為蒙板,用它擋住鏡頭的一部分,使得膠片的一部分不會感光,拍攝完成后,再用蒙板擋住鏡頭的另一部分繼續(xù)拍攝,如此一來,不同的場景經(jīng)過多次曝光后就會留存在同一副膠片上。這種手法被后人視為綠幕合成技術(shù)的原始雛形。

此后的幾十年間,合成技術(shù)進(jìn)入了一個(gè)高速發(fā)展期,期間出現(xiàn)了“黑幕技術(shù)”“鄧寧藍(lán)幕技術(shù)”“黃幕技術(shù)”等基于傳統(tǒng)膠片電影制作流程的合成技術(shù)。上世紀(jì)90年代開始,數(shù)字技術(shù)迅速崛起,數(shù)字電影攝影機(jī)開始逐漸取代膠片攝影機(jī)成為電影拍攝的主流設(shè)備,與此同時(shí),計(jì)算機(jī)生成圖像越來越被廣泛應(yīng)用于電影內(nèi)容創(chuàng)作。而數(shù)字電影攝影機(jī)感光元件上濾光片通常以“拜爾排列”的方式排列組合,這種排列方式使得綠光的感光面積是藍(lán)光或紅光的兩倍,因此,更加有利于數(shù)字圖像摳像的綠幕摳像技術(shù)逐漸成為了當(dāng)今色鍵摳像技術(shù)的通用解決方案。

如圖1所示,將拍攝前景置于藍(lán)/綠幕背景下,通過色鍵摳像的方式將藍(lán)綠色背景摳除得到前景畫面,并通過在藍(lán)/綠幕背景上布置跟蹤點(diǎn)的方式,在后期反求出攝影機(jī)的運(yùn)動(dòng)軌跡,實(shí)現(xiàn)虛擬資產(chǎn)與實(shí)拍素材在透視關(guān)系上的統(tǒng)一,最終將前景畫面與虛擬資產(chǎn)合成得到最終的特效鏡頭。這種技術(shù)極大地提高了鏡頭內(nèi)容創(chuàng)作的自由度,電影藝術(shù)創(chuàng)作進(jìn)入了一個(gè)全新的天地。

圖1 綠幕合成技術(shù)

2 綠幕合成技術(shù)的弊端與解決方案

在一套典型的實(shí)時(shí)交互預(yù)演流程中,拍攝現(xiàn)場往往要布置面積巨大的綠色幕布作為色鍵摳像的背景,這將不可避免地帶來一些問題:首先是真實(shí)場景與虛擬場景的動(dòng)態(tài)光效配合問題,在現(xiàn)場拍攝之前就需要?jiǎng)?chuàng)作團(tuán)隊(duì)提前設(shè)計(jì)好成片鏡頭中最后的動(dòng)態(tài)光效,在此基礎(chǔ)上對表演者進(jìn)行現(xiàn)場動(dòng)態(tài)照明,而且,為了使現(xiàn)場的照明信息與后期三維場景中的照明信息相匹配,需要在拍攝特效鏡頭時(shí)在場景中放置一個(gè)反光鉻球用來記錄現(xiàn)場照明信息。其次,在大面積的藍(lán)/綠幕背景下進(jìn)行燈光照明,很容易在被攝主體邊緣產(chǎn)生溢色現(xiàn)象,或是將藍(lán)/綠幕的顏色反射到演員或前景物體的高光上,這給后期摳像帶來了很大的麻煩。一般的解決方案是:均勻照亮綠色背景,否則陰影區(qū)域?qū)㈦y以摳出,對于細(xì)毛或透明物品后面的背景尤其如此。被攝主體需要遠(yuǎn)離綠屏,以免屏幕上的反射光溢出到主體上。此外,前景中的主體必須使用單獨(dú)的光源打光,以便控制場景所需光源的曝光和方向。最后,常見的綠幕往往是棉布與滌綸的混合紡布材料,由于其質(zhì)地較為柔軟,表面容易產(chǎn)生一些褶皺或者波紋,雖然目前一些影視專用的摳像噴漆可以作為綠色幕布的替代品,但實(shí)際使用效果不盡人意。

圖2 實(shí)時(shí)交互預(yù)演中的綠幕①

總體來說,這些弊端屬于綠幕合成技術(shù)本身不可避免的系統(tǒng)性問題,從業(yè)人員總結(jié)的解決方案也只是一種無可奈何的妥協(xié)。一種根本上避免這些問題的方法是基于LED背景墻的電影虛擬化制作技術(shù)。

基于LED背景墻的電影虛擬化制作技術(shù)(以下簡稱LED虛擬化制作)直接將視效與實(shí)景融合后的內(nèi)容拍攝下來,即達(dá)到所謂的攝影機(jī)內(nèi)視效(In-Camera VFX)拍攝效果。這一技術(shù)極大地改進(jìn)了實(shí)時(shí)交互預(yù)演的不足,它使用LED背景墻代替藍(lán)/綠幕實(shí)時(shí)渲染顯示三維場景,同一型號的LED模組發(fā)出的光在理論上應(yīng)該是完全均勻一致的,這在一定程度上規(guī)避了傳統(tǒng)藍(lán)/綠幕反射不均勻或存在褶皺的問題;其次,移除了大面積的綠色幕布后,它完全解決了藍(lán)/綠幕溢色和反射問題;最后,LED背景墻畫面更是為現(xiàn)場提供了高還原度的真實(shí)環(huán)境光照,無需在后期進(jìn)行光照匹配,同時(shí)也極大地提高了鏡頭內(nèi)照明效果的真實(shí)感。

在典型的基于LED背景墻的電影虛擬化制作流程中,LED背景墻上顯示的渲染畫面被分為了兩個(gè)部分,分別被稱為內(nèi)視錐和外視錐(圖3)。外視錐不需要渲染高精度圖像,而是將LED面板轉(zhuǎn)變?yōu)橐环N動(dòng)態(tài)光源,以還原光線照射在真實(shí)世界位置上的效果。當(dāng)攝影機(jī)移動(dòng)時(shí),外視錐畫面保持靜態(tài),模仿了光照和反射在真實(shí)世界中不隨攝影機(jī)移動(dòng)的原理,這樣就可以為演員和前景物體提供真實(shí)的動(dòng)態(tài)環(huán)境照明。在攝影機(jī)視場(FOV)內(nèi)的高質(zhì)量實(shí)時(shí)渲染畫面被稱為內(nèi)視錐,它的畫面透視關(guān)系會隨著攝影機(jī)位置變化而變化,用以實(shí)現(xiàn)攝影機(jī)內(nèi)視效拍攝。

圖3 內(nèi)視錐與外視錐

但此種方案仍然存在一些問題。首先,LED面板上的燈珠排列非常密集且規(guī)律,當(dāng)攝影機(jī)聚焦于LED面板上時(shí),會產(chǎn)生摩爾紋現(xiàn)象,影響最終的畫面效果。其次,由于目前的三維實(shí)時(shí)引擎的渲染能力有限,對于一些非常復(fù)雜的效果實(shí)時(shí)渲染質(zhì)量不佳,還不能滿足實(shí)拍后直接作為最終鏡頭的要求。因此在這種情況下,可以在LED屏幕上顯示純綠色背景兼容傳統(tǒng)的特效制作流程。

故LED虛擬化制作一些特定鏡頭的拍攝,可以將內(nèi)視錐替換成帶有跟蹤點(diǎn)圖案的純綠色畫面用于提供后期摳像素材,而外視錐依然可以提供真實(shí)的動(dòng)態(tài)環(huán)境光照明,此種方案兼具了兩種流程的優(yōu)點(diǎn),并且提供了更好的便利性和可用性(圖4)。將內(nèi)視錐全部替換成純色,除了演員與前景物體,在攝影機(jī)視場內(nèi)所拍攝到的畫面將會是一片純色。LED屏幕屬于自發(fā)光照明,LED屏幕發(fā)光有更高的亮度和飽和度,而傳統(tǒng)藍(lán)/綠幕是漫反射的方式,兩者有很大區(qū)別。因此在基于LED背景墻的虛擬化制作流程中,傳統(tǒng)綠幕合成技術(shù)中常用的技巧無法繼續(xù)使用。本文分析在現(xiàn)有流程中影響最大的可控因素進(jìn)行定量分析,并研究及實(shí)現(xiàn)一套新穎的解決方案。

圖4 《曼達(dá)洛人》幕后制作

3 虛擬綠幕對前景的影響因素分析實(shí)驗(yàn)

為了分析LED虛擬化制作中虛擬綠幕對拍攝效果的影響程度,本文針對不同的影響因素進(jìn)行了相關(guān)的測試實(shí)驗(yàn)。

3.1 內(nèi)視錐綠幕大小對拍攝的影響

在LED虛擬化制作中,使用內(nèi)視錐作為綠幕,外視錐依然顯示虛擬三維場景是目前常用的拍攝方法之一,其目的是為了還原被攝主體上的反射(如《曼達(dá)洛人》)。內(nèi)視錐的大小將直接影響前景物體的拍攝效果,因此研究團(tuán)隊(duì)首先針對目前LED虛擬化制作中內(nèi)視錐綠幕的大小不同所導(dǎo)致的溢色與反射情況,設(shè)計(jì)對比實(shí)驗(yàn)進(jìn)行分析。實(shí)驗(yàn)現(xiàn)場如圖5所示。

圖5 實(shí)驗(yàn)現(xiàn)場

在LED虛擬化制作中,為了保證內(nèi)視錐畫面足以完全覆蓋攝影機(jī)的拍攝范圍,內(nèi)視錐的大小會隨著鏡頭焦距的變化而變化。焦距越小,視場越大,內(nèi)視錐也就越大。

本實(shí)驗(yàn)改變內(nèi)視錐的大小,觀察不同情況下畫面的溢色與反射表現(xiàn)。為了便于觀察對比,攝影機(jī)的實(shí)際焦距不作改變,結(jié)果如圖6所示,內(nèi)視錐越大,灰球以及人物臉上的溢色越嚴(yán)重,鉻球與墨鏡中的綠色反射面積越大。

圖6 內(nèi)視錐大小對畫面影響的對比

當(dāng)拍攝焦距長,內(nèi)視錐較小時(shí),基本無法觀察到明顯的溢色現(xiàn)象,反射物體上也基本上沒有綠色。但墨鏡中反射的綠色會根據(jù)人物頭的朝向不同而有所不同,當(dāng)演員頭部偏轉(zhuǎn)到一定角度時(shí),墨鏡可能會將綠色的LED背景反射到鏡頭內(nèi),但內(nèi)視錐越小,這種情況發(fā)生的概率也越低。

因此,可以得出一個(gè)初步結(jié)論:內(nèi)視錐的大小對前景的溢色和高光反射影響非常大,應(yīng)該盡可能地縮小。

3.2 內(nèi)視錐綠幕亮度對拍攝的影響

在LED背景墻上顯示的綠幕不僅僅均勻平整,并且亮度調(diào)節(jié)也十分方便。合適的綠幕亮度有助于更好地進(jìn)行摳像處理,同時(shí)也影響著被攝主體的溢色和高光反射。

針對內(nèi)視錐亮度的對比實(shí)驗(yàn)中,人物距離屏幕4米,在關(guān)閉內(nèi)視錐綠幕時(shí)人物所處位置的照度約為200勒克斯,內(nèi)視錐大小為16mm焦距視場。如圖7所示,在內(nèi)視錐綠幕亮度為400尼特時(shí),人物身上和灰球表面出現(xiàn)較為嚴(yán)重的溢色,而在100尼特時(shí)溢色基本可以接受。

圖7 內(nèi)視錐亮度對畫面影響的對比

可以從灰球和鉻球的邊緣表現(xiàn)看到,其高光和溢色隨著LED屏幕亮度降低而降低。當(dāng)內(nèi)視錐亮度為50尼特時(shí),鉻球表面上仍然有可見的綠色邊緣,但如果繼續(xù)降低內(nèi)視錐亮度將不利于后期摳像。實(shí)際上,影響被攝主體的溢色還有照明光源本身的亮度、被攝主體距離綠幕的距離等因素。溢色本質(zhì)上是由照明光源與綠幕反射的光照強(qiáng)度比值所決定的。因此在實(shí)際生產(chǎn)過程中,應(yīng)當(dāng)根據(jù)現(xiàn)場環(huán)境和光照條件適當(dāng)選取合適的LED背景亮度,不宜盲目追求低亮度。

從以上兩組實(shí)驗(yàn)可得知,內(nèi)視錐的大小和亮度均會很大程度上影響前景物體的溢色和高光反射效果,此外,還有一些其他影響因素諸如虛擬綠幕的色彩飽和度、現(xiàn)場光源亮度等,由于條件所限并未進(jìn)行測試實(shí)驗(yàn)。其中內(nèi)視錐的大小對前景的高光反射的負(fù)面影響很大,且不能通過降低亮度的方式將其完全消除。因此我們認(rèn)為內(nèi)視錐的大小是一個(gè)更為關(guān)鍵的因素。而在實(shí)際生產(chǎn)過程中,亮度的選擇將會基于現(xiàn)場的光照條件和創(chuàng)作團(tuán)隊(duì)的創(chuàng)作意圖。因此為了減少前景物體溢色的高光反射,應(yīng)該最大程度上減小內(nèi)視錐的大小。

4 虛擬綠幕實(shí)時(shí)變形方案原理與實(shí)現(xiàn)

為了減輕內(nèi)視錐全部顯示純色帶來的問題,本文提出一種基于深度圖像處理的虛擬綠幕實(shí)時(shí)變形方法,可以利用拍攝畫面中的深度圖像信息將演員等被攝主體與LED背景墻分離出來,再將分離后的深度信息以蒙板的形式作用于內(nèi)視錐,使得在攝影機(jī)畫面中被攝主體恰好完全被綠幕包圍,即可在滿足摳像需求的前提下最大程度上減少藍(lán)/綠幕的面積,有效規(guī)避影片制作中溢色和綠幕穿幫等技術(shù)問題。

如圖8所示,本實(shí)驗(yàn)方案將深度攝像頭與攝影機(jī)綁定后同時(shí)拍攝被攝主體,在攝影機(jī)所拍攝的畫面中,被攝主體應(yīng)被一個(gè)略大于其自身輪廓的綠幕所包圍,剩余部分的LED背景墻顯示三維實(shí)時(shí)引擎所提供的外視錐畫面。

圖8 虛擬綠幕變形原理示意圖

本實(shí)驗(yàn)選用了基于To F的深度攝像頭RealSense L515用于捕獲深度信息。我們無需識別出演員等被攝主體自身精細(xì)的深度,而只需要區(qū)分出前景被攝主體與LED背景墻,就能得到滿足要求的的深度圖作為遮罩。

具體流程如圖9所示,深度攝像頭獲取場景中的深度信息,計(jì)算機(jī)將深度信息進(jìn)行處理后作為深度圖實(shí)時(shí)傳遞給三維實(shí)時(shí)引擎。與此同時(shí),攝影機(jī)跟蹤設(shè)備獲取攝影機(jī)到LED背景墻的距離,以該距離作為臨界閾值將深度圖進(jìn)行二值化處理,保證LED屏幕前的被攝主體均為白色,LED屏幕自身均為黑色。然后,通過深度攝像頭提供的接口,將二值化處理后的藍(lán)/綠幕輪廓發(fā)送至三維實(shí)時(shí)引擎。

圖9 虛擬綠幕變形方法技術(shù)流程圖

圖10 二值化處理后的深度圖示意圖

為了能夠拍攝到可以正常進(jìn)行色鍵摳像的拍攝素材,必須使該綠/藍(lán)幕輪廓白色區(qū)域能夠完全覆蓋被攝主體,因此需要對該綠/藍(lán)幕輪廓進(jìn)行膨脹處理(如圖11所示)。實(shí)現(xiàn)思路為將該深度圖在平面的多個(gè)方向上進(jìn)行適當(dāng)?shù)奈灰坪蟑B加,其藍(lán)圖函數(shù)實(shí)現(xiàn)如圖12所示。

圖11 膨脹處理后的深度圖示意圖

圖12 UE4中膨脹函數(shù)的實(shí)現(xiàn)

LED綠幕輪廓膨脹的大小可以根據(jù)具體拍攝情況如焦距、鏡頭運(yùn)動(dòng)速度等因素決定。由于深度圖從獲取到最終顯示在LED背景墻上需要多步運(yùn)算處理,為避免畫面延遲,當(dāng)拍攝快速運(yùn)動(dòng)的鏡頭時(shí),應(yīng)適當(dāng)增大膨脹值。

將膨脹后的LED綠幕輪廓進(jìn)行著色,根據(jù)攝影機(jī)的位置跟蹤信息映射到LED背景墻上,最后使用攝影機(jī)記錄下畫面。實(shí)現(xiàn)效果如圖13所示。

圖13 實(shí)現(xiàn)效果圖

在拍攝完成后,需要進(jìn)行后期摳像合成,而這種制作方式所得到的攝影機(jī)畫面僅有環(huán)繞被攝主體的一圈綠幕,僅使用色鍵摳像無法完成制作。為此提出對應(yīng)的后期摳像合成方法。

后期摳像方法流程如圖14所示,現(xiàn)場拍攝所錄制的攝影機(jī)畫面經(jīng)過色鍵摳像得到蒙板,而同樣是現(xiàn)場拍攝錄制的綠/藍(lán)幕輪廓,再經(jīng)過膨脹后得出另一個(gè)蒙板,值得注意的是這里的膨脹值應(yīng)略小于現(xiàn)場拍攝時(shí)的膨脹值。然后將兩個(gè)蒙板相疊加得到一個(gè)合并后的蒙板,使用該蒙板進(jìn)行攝影機(jī)畫面摳像,并與后期三維虛擬畫面合成,以完成后期制作。

圖14 虛擬綠幕變形方法摳像流程圖

5 虛擬綠幕應(yīng)用效果測試及分析討論

為驗(yàn)證本方法與系統(tǒng)的實(shí)用性,本文在LED虛擬化制作過程中,設(shè)計(jì)LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕三者的對比實(shí)驗(yàn),驗(yàn)證其在溢色控制、鏡面反射等問題上的表現(xiàn)。在驗(yàn)證實(shí)驗(yàn)中,攝影機(jī)、鏡頭參數(shù)保持一致,分別對比LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕在灰球、鉻球以及人物拍攝中的表現(xiàn)。實(shí)驗(yàn)現(xiàn)場如圖15所示。

圖15 實(shí)驗(yàn)現(xiàn)場圖

(1)溢色測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下對灰球進(jìn)行拍攝,觀測其溢色情況。在LED背景墻全綠的情況下,溢色幾乎充滿整個(gè)灰球,這種情況下進(jìn)行摳像會產(chǎn)生嚴(yán)重的問題;在內(nèi)視錐綠幕的情況下,僅有邊緣出現(xiàn)溢色的情況;而在虛擬綠幕的情況下,灰球上幾乎沒有出現(xiàn)溢色的情況。如圖16所示。

圖16 不同形式綠幕下灰球的溢色狀況

(2)反射測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下,觀測其對鉻球的反射影響。如圖17所示,在LED背景墻全綠的情況下,整個(gè)鉻球上都是綠色穿幫,在內(nèi)視錐綠幕的情況下有所改善,但仍有大面積綠幕穿幫。而在虛擬綠幕中,僅在一側(cè)出現(xiàn)小面積綠幕穿幫,大部分畫面顯示虛擬畫面內(nèi)容,能更好地還原場景中具有鏡面反射的被攝物。

圖17 不同形式綠幕下鉻球的反射圖像

(3)演員測試:分別在LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕的情況下對人物角色進(jìn)行拍攝,觀測其效果。如圖18所示,左中右分別為LED背景墻全綠、內(nèi)視錐綠幕和虛擬綠幕情況下,人物皮膚和墨鏡上的圖像。溢色情況從左到右依次有所改善,在虛擬綠幕中基本沒有溢色。從墨鏡上的反射上可以看出,在全部LED背景墻顯示全綠和僅內(nèi)視錐顯示純綠時(shí)墨鏡表面反射綠色較為嚴(yán)重,而使用虛擬綠幕時(shí),溢色和反射等負(fù)面影響基本肉眼不可見,且墨鏡反射圖像真實(shí)還原了演員所處的虛擬環(huán)境,很好地兼顧了綠幕摳像和鏡面反射的問題。

圖18 不同形式綠幕下人物皮膚與墨鏡的表現(xiàn)

綜上所述,本文提出的一種基于深度信息獲取的虛擬綠幕實(shí)時(shí)變形方法,能有效地改善LED虛擬化制作中綠幕的溢色與反射穿幫的問題。相比于在LED背景墻中手動(dòng)添加小面積的綠幕,這種方式能實(shí)時(shí)跟隨攝影機(jī)的朝向自動(dòng)調(diào)整綠幕的位置,始終讓綠幕在攝影機(jī)畫面中包圍被攝主體,無須在鏡頭運(yùn)動(dòng)時(shí)再人為調(diào)整改變綠幕的顯示位置。

由于實(shí)驗(yàn)條件限制,我們無法搭建同等大小的傳統(tǒng)綠幕環(huán)境,以進(jìn)行控制變量的實(shí)驗(yàn)。LED背景墻全綠的情況可一定程度上類比傳統(tǒng)綠幕的情況,供讀者參考。

但本方案也存在一些問題,首先,LED綠幕只能顯示在LED 背景墻上。如果被攝主體的后景還包括地面等,則仍然需要傳統(tǒng)綠幕,因?yàn)榈匕逋鶗脕聿贾煤徒巧换サ那熬昂偷孛妗?/p>

其次,由于本方案的系統(tǒng)復(fù)雜度較高,視頻信號需要先后通過深度攝像頭、游戲引擎、數(shù)字信號分發(fā)等系統(tǒng),會產(chǎn)生較大的延遲,對于快速移動(dòng)的物體比如演員的手臂,虛擬綠幕并不能及時(shí)反饋在LED屏幕上。

最后,實(shí)驗(yàn)使用基于激光ToF的深度攝像頭,其精度有限,畫面分辨率較低且存在一定噪波,一些較小的物體無法被正常識別。此外,一些黑色吸光物體、鏡面反射物體的深度識別還需要進(jìn)一步完善。

圖19 基于深度圖像處理的虛擬綠幕變形方法

6 總結(jié)和展望

基于LED背景墻的電影虛擬化制作是當(dāng)前最為先進(jìn)的影視制作技術(shù)之一。在LED背景墻上顯示虛擬綠幕背景,其畫面平整,并且可以方便地調(diào)整大小和亮度、添加標(biāo)記點(diǎn),能夠兼容傳統(tǒng)綠幕拍攝,完成特定的鏡頭拍攝。本文研究了影響LED虛擬綠幕對拍攝效果的影響因素,在此基礎(chǔ)上提出了基于深度圖像處理的虛擬綠幕實(shí)時(shí)變形方法。通過將LED虛擬綠幕的大小降至最小,最大程度減少了LED面板發(fā)出的綠光對表演主體的溢色和高光反射等負(fù)面影響,解決了LED虛擬化制作中的內(nèi)視錐綠幕合成問題。

由于實(shí)驗(yàn)環(huán)境、設(shè)備精度、系統(tǒng)復(fù)雜度等方面的影響,本文提出的技術(shù)存在一些局限性和適用范圍。我們將在后續(xù)工作中進(jìn)一步深入研究這部分內(nèi)容,不斷完善發(fā)展基于LED背景墻的電影虛擬化制作的相關(guān)技術(shù),促進(jìn)新技術(shù)的推廣應(yīng)用。?

①圖片來源:https://www.fxguide.com/fxfeatured/vanishingpoints-vector-for-virtual-production/.