張 旻 孫略

北京電影學(xué)院影視技術(shù)系,北京 100088

1 引言

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,虛擬攝制技術(shù)已經(jīng)成為電影制作領(lǐng)域中的一個(gè)新興熱點(diǎn)。在虛擬場(chǎng)景中,建筑物門窗內(nèi)景是一個(gè)關(guān)鍵因素,它能夠增強(qiáng)觀眾的視覺體驗(yàn)。然而,使用普通貼圖時(shí),在鏡頭運(yùn)動(dòng)的過程中,建筑內(nèi)景如同玻璃上的貼紙,無法產(chǎn)生透視變化,導(dǎo)致畫面真實(shí)感有所欠缺。若使用真實(shí)三維模型,在場(chǎng)景較為龐大時(shí)性能開銷較大,會(huì)對(duì)虛擬攝制的效率造成影響。

許多游戲和虛擬世界都以大城市為特色,在很大程度上,這些圖形質(zhì)量取決于建筑的渲染方式。為了保證足夠流暢的交互性,制作者需要在保持一定的實(shí)時(shí)幀率下盡可能地實(shí)現(xiàn)更多細(xì)節(jié),于是各種貼圖技術(shù)應(yīng)運(yùn)而生。其中典型的有水平貼圖 (Horizon Mapping)、凹凸貼圖 (Bump Mapping)、法線貼圖(Normal Mapping)、置換貼圖(Displacement Mapping)等,這些技術(shù)都可以在一定程度上提升虛擬場(chǎng)景的細(xì)節(jié),但它們對(duì)渲染建筑門窗內(nèi)景并無幫助。視差貼圖 (Parallax Mapping)可以更真實(shí)地呈現(xiàn)出物體表面的凹凸感、自我遮擋和運(yùn)動(dòng)視差效果,但是對(duì)于建筑內(nèi)景這種視覺上整體內(nèi)陷且較為“陡峭”的效果并不適用。如圖1所示,室內(nèi)貼圖(Interior Mapping)的誕生解決了內(nèi)景渲染的部分問題,并在業(yè)界得到了廣泛應(yīng)用。在游戲《漫威蜘蛛俠》《守望先鋒》《黑客帝國(guó)覺醒》中都有室內(nèi)貼圖的身影。

圖1 室內(nèi)貼圖示意①

游戲制作技術(shù)與游戲引擎在影視行業(yè)的虛擬攝制中扮演著重要的角色。虛擬攝制是實(shí)時(shí)拍攝環(huán)境中物理資產(chǎn)和數(shù)字資產(chǎn)的結(jié)合,游戲引擎在實(shí)時(shí)生成視覺效果方面的性能卓越,因此基于游戲引擎與LED 背景墻的方式是當(dāng)前最受歡迎的虛擬攝制方式。游戲引擎的普及與發(fā)展也對(duì)影視行業(yè)與游戲行業(yè)的技術(shù)碰撞產(chǎn)生了有力的影響。游戲制作行業(yè)在計(jì)算機(jī)圖形學(xué)和游戲引擎應(yīng)用方面擁有豐富的經(jīng)驗(yàn)積累,而這些應(yīng)用于游戲制作的技術(shù)也可助力影視行業(yè)實(shí)現(xiàn)虛擬攝制。例如,游戲制作中常用的三維建模技術(shù)和動(dòng)畫制作方法,可以創(chuàng)造出逼真的虛擬環(huán)境和場(chǎng)景,而這些虛擬環(huán)境和場(chǎng)景也可以用于影視行業(yè)的實(shí)時(shí)拍攝。此外,游戲引擎提供的光線追蹤、陰影計(jì)算、深度緩存等功能,也能夠幫助虛擬場(chǎng)景生成接近真實(shí)物理世界的光影效果,滿足影視行業(yè)對(duì)于虛擬場(chǎng)景真實(shí)度的需求。游戲制作技術(shù)與游戲引擎技術(shù)對(duì)于影視行業(yè)具有極其重要的意義,它們的應(yīng)用不僅可以為影視行業(yè)的虛擬攝制提供強(qiáng)大的技術(shù)支持,也可以給影視行業(yè)的發(fā)展帶來巨大的啟發(fā)。

2 偽室內(nèi)貼圖理論研究

偽室內(nèi)貼圖通常通過室內(nèi)貼圖技術(shù)實(shí)現(xiàn),室內(nèi)貼圖技術(shù)通過著色器在建筑表面模擬出一個(gè)內(nèi)部空間。由于室內(nèi)貼圖僅僅是在表面模擬出一個(gè)內(nèi)部的“盒子”,室內(nèi)的家具等陳設(shè)依然是沒有體積感的貼圖,在遠(yuǎn)景到中景時(shí)表現(xiàn)較好,而在中景到近景則會(huì)因?yàn)槭覂?nèi)家具等物品缺乏體積感而表現(xiàn)較差。對(duì)此,一種解決思路是,在 “盒子”空間中某些位置通過著色器算法加入一些與建筑外表面平行的虛擬平面,用來顯示家具或人物,此種方法缺點(diǎn)明顯,只有在接近正面觀察角度時(shí)有較好的視覺表現(xiàn)；而《黑客帝國(guó)覺醒》提出了另一種思路,其制作人員稱之為“3D 打印法”,實(shí)際是使用視差貼圖技術(shù)渲染具有體積感家具,同時(shí)結(jié)合室內(nèi)貼圖技術(shù),實(shí)現(xiàn)較為接近真實(shí)三維模型的室內(nèi)場(chǎng)景貼圖效果。

視差貼圖技術(shù)最初于2001 年由Tomomichi Kaneko等人提出,隨后為解決該技術(shù)的不足,誕生并發(fā)展了多種相關(guān)貼圖技術(shù)。本章將介紹并分析與偽室內(nèi)貼圖效果相關(guān)的貼圖技術(shù)。

2.1 視差貼圖

視差貼圖 (Parallax Mapping)可通過存儲(chǔ)物體表面高度的高度圖 (Height Map)模擬平面上的高度,能夠極大地提升表面細(xì)節(jié),使簡(jiǎn)單的平面具有高度感。由于視差貼圖并不實(shí)際改變平面的幾何形狀,高出平面的部分會(huì)被平面邊緣 “切斷”產(chǎn)生視覺錯(cuò)誤,通常使用表示表面深度的深度圖(Depth Map)模擬其表面深度,使平面產(chǎn)生視覺上凹陷的效果。

視差貼圖技術(shù)的基本原理如圖2所示,不規(guī)則曲線代表相應(yīng)位置高度貼圖的數(shù)值,同時(shí)也可作為立體表面的幾何表示。通過觀察向量v觀察平面時(shí),若平面有實(shí)際的高度變形,觀察者將看到交點(diǎn)B,然而平面并沒有實(shí)際的高度變形,觀察者真正看到的是點(diǎn)A。視差貼圖的目的是在點(diǎn)A 處使用虛擬交點(diǎn)B在平面上的投影點(diǎn)C的紋理坐標(biāo),即將平面上的點(diǎn)A 的紋理坐標(biāo)偏移至點(diǎn)C,觀察者就如同在點(diǎn)A 處看到了點(diǎn)B。

圖2 在點(diǎn)A 處使用點(diǎn)C的紋理采樣

因此,視差貼圖的核心思路就是:如何通過高度貼圖、觀察向量與平面上的點(diǎn)A 的位置找到虛擬交點(diǎn)B在平面上的投影點(diǎn)C的紋理坐標(biāo)。

一種近似方法如圖3所示:取得點(diǎn)A 的高度值H (A),通過高度值將觀察向量v縮放為向量P,取向量P在平面上的投影向量,并乘上一定的修正系數(shù),作為紋理坐標(biāo)偏移向量。

這種方法在部分情況下結(jié)果較好,但它仍然是一個(gè)粗糙的近似值,一方面因?yàn)樾拚禂?shù)的適應(yīng)范圍有限,但絕大部分向量P 最終不會(huì)到達(dá)點(diǎn)C,這會(huì)使結(jié)果產(chǎn)生誤差；另一方面,當(dāng)表面高度較為“陡峭”,即高度變化較為劇烈時(shí),或通過與平面夾角更小的角度去觀察平面時(shí),結(jié)果會(huì)更加偏離實(shí)際,在視覺上產(chǎn)生失真。如圖4 所示,H (P)與H(C)相差較大。

圖4 高度劇烈變化時(shí)近似結(jié)果偏差較大

2.2 陡峭視差貼圖

陡峭視差貼圖 (Steep Parallax Mapping)是視差貼圖的擴(kuò)展,兩者基本原理相同,但陡峭視差貼圖使用多次采樣來確定偏移向量P,提高了精確性,在面臨高度陡峭變化或較小觀察角的情況時(shí),結(jié)果相對(duì)更好,其采樣結(jié)果更接近虛擬交點(diǎn)B。

陡峭視差貼圖的核心思路是:通過多次采樣對(duì)比深度值,判斷觀察向量v是否“穿過”物體表面,從而近似得到虛擬交點(diǎn)B。其具體實(shí)現(xiàn)方法是:將總深度范圍平均劃分為n層,從上到下遍歷深度層,并沿觀察向量v在平面上的投影向量P 方向按P/n距離逐步移動(dòng)采樣紋理坐標(biāo),逐次與當(dāng)前層深度D(Ln)進(jìn)行比較,直到采樣深度值小于當(dāng)前采樣深度層的深度值。

以圖5所示為例,使用歸一化的深度值,將深度分為5層,從點(diǎn)T0出發(fā)沿偏移向量P 的1/5前進(jìn),依次采樣深度值并與當(dāng)前層的深度值對(duì)比:從采樣點(diǎn)T0出發(fā)開始進(jìn)行采樣,點(diǎn)T0的深度值D(T0)大于當(dāng)前層深度值0,前進(jìn)至采樣點(diǎn)T1,點(diǎn)T1的深度值D (T1)大于當(dāng)前層深度值0.2,繼續(xù)前進(jìn)至下一采樣點(diǎn),以此類推直至采樣至點(diǎn)T4,此時(shí)發(fā)現(xiàn)采樣點(diǎn)T4的深度值D (T4)小于當(dāng)前層深度值0.8,即可判斷交點(diǎn)B在第3層與第4層之間,以當(dāng)前層深度0.8作為點(diǎn)T0的深度。

圖5 陡峭視差貼圖的多次采樣

可以看出,由于陡峭視差貼圖以每個(gè)分層深度作為最終采樣深度,在視覺上會(huì)呈現(xiàn)出斷層與明顯的鋸齒效果,采樣精度直接取決于有限的分層數(shù)量:分層數(shù)較低時(shí),性能開銷較低,采樣精度較低,視覺效果較差；分層數(shù)較高時(shí),視覺效果較好,但性能開銷隨分層數(shù)線性上升。為解決這個(gè)問題,有兩種思路,一種是在包含虛擬交點(diǎn)的兩個(gè)深度層之間對(duì)深度進(jìn)一步做分層采樣以繼續(xù)逼近交點(diǎn),此種方法稱為浮雕視差貼圖 (Relief Parallax Mapping),另一種是在兩個(gè)深度層之間進(jìn)行插值計(jì)算得到更好的近似結(jié)果,此種方法稱為視差遮蔽貼圖(Parallax Occlusion Mapping)。對(duì)比兩種思路,視差遮蔽貼圖只需在陡峭視差貼圖的基礎(chǔ)上進(jìn)行一次計(jì)算,額外性能開銷較低。

2.3 視差遮蔽貼圖

視差遮蔽貼圖是陡峭視差貼圖的拓展,在最后加入了額外的步驟:在得到虛擬交點(diǎn)B前后相鄰兩個(gè)深度層之后進(jìn)行插值計(jì)算,得出更接近于點(diǎn)B 的結(jié)果。

基于上一節(jié)中陡峭視差貼圖的采樣結(jié)果,如圖6所示,虛擬交點(diǎn)B 的前后相鄰兩次深度采樣點(diǎn)的連線與觀察向量v交于點(diǎn)P,P 點(diǎn)的深度值D (P)相比于陡峭視差貼圖的最終結(jié)果D (T4),更為逼近理想的采樣結(jié)果D (B)。在實(shí)際計(jì)算過程中,利用相似三角形原理,通過兩次深度采樣值與對(duì)應(yīng)的層深度分別計(jì)算深度差,以此為權(quán)重進(jìn)行插值計(jì)算,再進(jìn)行一次紋理坐標(biāo)偏移,即可得到最終結(jié)果。由此可見,視差遮蔽貼圖技術(shù)可以用較小的額外性能代價(jià)獲得更精確的視覺效果。

2.4 室內(nèi)貼圖

室內(nèi)貼圖與視差貼圖思路相似,也是通過紋理坐標(biāo)的偏移在平面上產(chǎn)生虛假的三維影像。如圖7所示,首先使用貼圖在真實(shí)平面后方偽造一個(gè)立方體空間,而后當(dāng)通過攝像機(jī)觀察內(nèi)部空間時(shí),對(duì)于平面上的點(diǎn)P,觀察向量v首先穿過點(diǎn)P后經(jīng)點(diǎn)Q穿出立方體,此時(shí)將點(diǎn)Q 處的紋理采樣至點(diǎn)P 處,便可“偽造”一種看到Q 點(diǎn)的假象。對(duì)整個(gè)平面進(jìn)行采樣后,就可以在二維平面上實(shí)現(xiàn)虛假的內(nèi)部空間。由此可見,室內(nèi)貼圖實(shí)現(xiàn)的關(guān)鍵點(diǎn)是:如何通過觀察向量v與入射點(diǎn)P的位置找到出射點(diǎn)Q的位置。

圖7 將點(diǎn)Q的紋理采樣至點(diǎn)P

首先,將點(diǎn)P坐標(biāo)減去攝像機(jī)坐標(biāo)得到觀察向量v,由于立方體貼圖空間是一個(gè)軸對(duì)齊立方體,問題可等價(jià)于尋找從點(diǎn)P出發(fā)的向量v在三個(gè)軸向上最先“擊中”的立方體邊界。

如圖8所示,可將向量v按坐標(biāo)軸分解為x、y、z三個(gè)方向的“速度”,分別求得每個(gè)方向上擊中邊界所需要的“時(shí)間”,于是有:

圖8 分解觀察向量v

分別計(jì)算出三個(gè)軸向上的擊中時(shí)間t,其中用最短時(shí)間擊中的邊界就是向量v最先擊中的邊界,將從點(diǎn)P 出發(fā)的觀察向量v乘上最短時(shí)間tmin就可以得到出射點(diǎn)Q 的坐標(biāo):

成功計(jì)算出出射點(diǎn)Q 的坐標(biāo)后,通過坐標(biāo)可以在對(duì)應(yīng)的紋理貼圖中獲取表面顏色等信息,于是可實(shí)現(xiàn)將立方體貼圖采樣到平面上,獲得最終的視覺效果。

3 相關(guān)貼圖制作

3.1 視差貼圖

視差貼圖需要至少兩張貼圖:紋理貼圖和高度貼圖。在3ds MAX 中搭建測(cè)試場(chǎng)景,創(chuàng)建一個(gè)正方體作為房間范圍參考,并將測(cè)試物體放置在立方體范圍內(nèi)。

使用正交攝像機(jī) (Orthographic Camera)分別渲染正向視圖、正向深度圖與反向深度圖,攝像機(jī)擺放如圖9所示,設(shè)置攝像機(jī)的目標(biāo)距離與立方體邊長(zhǎng)相等,可計(jì)算出攝像機(jī)水平視角為2arctan0.5,約等于53.13°。

圖9 正交攝像機(jī)擺放示意

之后分別提取正向深度圖的紅色通道與反向深度圖的綠色通道,將反向深度圖水平翻轉(zhuǎn)并與正向深度圖相加,即可得到同時(shí)包含正反深度信息的合成深度圖,如圖10所示。

圖10 渲染圖與深度圖

3.2 立方體貼圖

立方體貼圖可通過多種方法獲取或制作,本文介紹其中一種制作方法:通過全景環(huán)境貼圖制作立方體貼圖。

首先獲取一張室內(nèi)環(huán)境的全景貼圖,如圖11所示。

圖11 室內(nèi)環(huán)境全景貼圖②

在3ds MAX 中,將HDRI貼圖賦于一個(gè)較大的球體內(nèi)側(cè),通過一個(gè)較小的立方體的反射將其對(duì)應(yīng)的六個(gè)方向的環(huán)境貼圖渲染至圖像文件,如圖12所示。

圖12 六個(gè)方向的獨(dú)立貼圖文件

之后,將這六張貼圖拼接在一起,不同軟件平臺(tái)對(duì)拼接方式要求不同,本文以虛幻引擎為例,依據(jù)EPIC官方文檔,排列順序如圖13所示。

圖13 六個(gè)方向的貼圖排列順序

將3ds MAX 制作的六張貼圖按排列順序排列,最后通過Photoshop的DDS插件③將其輸出為DDS格式的立方體貼圖文件,選擇格式為8.8.8.8 BGRA 32 bpp|unsigned,立方體貼圖制作完成。

4 在虛幻引擎(UE) 中的實(shí)現(xiàn)與測(cè)試

4.1 基于虛幻引擎(UE)的實(shí)現(xiàn)

基于以上的技術(shù)分析與制作的貼圖,將室內(nèi)貼圖技術(shù)與視差遮蔽貼圖技術(shù)相結(jié)合,梳理并總結(jié)偽室內(nèi)貼圖實(shí)現(xiàn)流程如圖14所示。在虛幻引擎中對(duì)偽室內(nèi)貼圖的實(shí)現(xiàn)如圖15所示。

圖14 偽室內(nèi)貼圖流程圖

圖15 UE5中偽室內(nèi)貼圖的實(shí)現(xiàn)

值得一提的是,由于各軟件的三維軸向定義不同,立方體貼圖的Z軸方向(即“地板”與“天花板”)的貼圖朝向有可能會(huì)產(chǎn)生錯(cuò)誤。依據(jù)實(shí)際情況對(duì)立方體貼圖進(jìn)行調(diào)整,最終實(shí)現(xiàn)效果如圖16所示。

圖16 實(shí)現(xiàn)效果與立方體貼圖調(diào)整后的結(jié)果

4.2 性能對(duì)比測(cè)試

如圖17所示,在虛幻引擎中搭建與偽室內(nèi)貼圖相似的真實(shí)三維模型內(nèi)景進(jìn)行測(cè)試。測(cè)試平臺(tái)配置如 下:CPU 為Intel Core i7-10875H,GPU 為NVIDIA GeForce RTX 2060 6G,內(nèi)存為64GB DDR4 3200MHz；使用虛幻引擎5.0.3版本,渲染分辨率為3840×2160；使用偽室內(nèi)貼圖的單個(gè)平面含有2個(gè)三角面,單個(gè)真實(shí)三維模型內(nèi)景則包含5220個(gè)三角面。偽室內(nèi)貼圖測(cè)試分為3次,分別設(shè)置視差遮蔽貼圖分層數(shù)為50、100、200,通過調(diào)整場(chǎng)景中的實(shí)例數(shù)量,測(cè)試其實(shí)時(shí)渲染幀速率,結(jié)果如圖18所示。

圖17 測(cè)試場(chǎng)景搭建

圖18 偽室內(nèi)貼圖與真實(shí)三維模型內(nèi)景實(shí)時(shí)渲染性能對(duì)比

由此可見,在視差遮蔽貼圖使用較低分層數(shù)時(shí),偽室內(nèi)貼圖在性能上有一定優(yōu)勢(shì)。若應(yīng)用在虛擬攝制中,可根據(jù)拍攝的景別大小動(dòng)態(tài)調(diào)整,畫面中建筑較多時(shí)適當(dāng)調(diào)低分層數(shù),畫面中建筑較少時(shí)則可以適當(dāng)調(diào)高分層數(shù),在保證實(shí)時(shí)渲染幀率的前提下盡可能提升畫面質(zhì)量。

5 總結(jié)

虛擬攝制技術(shù)的出現(xiàn)標(biāo)志著電影制作進(jìn)入了一個(gè)新的時(shí)代,使得制作者能夠在無需真實(shí)拍攝的情況下創(chuàng)作出高質(zhì)量的虛擬場(chǎng)景。這種技術(shù)與游戲行業(yè)有著密切的關(guān)系,因?yàn)橛螒蛞媸翘摂M攝制技術(shù)的重要工具之一,隨著技術(shù)的不斷發(fā)展,游戲引擎的身影越來越多地出現(xiàn)在電影制作過程中,使得游戲與電影之間的界線變得越來越模糊。與此同時(shí),許多應(yīng)用于游戲制作行業(yè)的技術(shù)也適用于電影制作,這些技術(shù)可以在電影制作中使用,以增強(qiáng)觀眾的視覺體驗(yàn),縮短制作周期并降低制作成本。

本文分析并實(shí)現(xiàn)了偽室內(nèi)貼圖技術(shù),偽室內(nèi)貼圖技術(shù)可以在較低資源開銷下實(shí)現(xiàn)建筑門窗內(nèi)景空間渲染。當(dāng)虛擬場(chǎng)景中有大量建筑時(shí),若使用真實(shí)三維室內(nèi)場(chǎng)景,在制作、存儲(chǔ)、渲染等方面都需要耗費(fèi)大量資源。使用偽室內(nèi)貼圖技術(shù)可以在保證一定視覺效果的前提下簡(jiǎn)化制作流程、節(jié)約存儲(chǔ)空間、降低渲染壓力。制作流程方面,在虛擬場(chǎng)景中使用貼圖替代三維模型可以省去多細(xì)節(jié)層次 (LOD)的制作,替換貼圖相較于替換模型也更節(jié)約存儲(chǔ)空間,立方體貼圖、深度貼圖、材質(zhì)貼圖與三維模型場(chǎng)景相比,所需的存儲(chǔ)空間較低。實(shí)時(shí)渲染方面,本文已通過實(shí)驗(yàn)驗(yàn)證了偽室內(nèi)貼圖技術(shù)的性能優(yōu)勢(shì)。

此技術(shù)也有一定不足,如:視差遮蔽貼圖的分層較為明顯,導(dǎo)致近景的視覺精度下降；深度貼圖只能在一個(gè)軸向上實(shí)現(xiàn)深度效果,缺乏對(duì)復(fù)雜模型的表現(xiàn)力；與場(chǎng)景中燈光、陰影、動(dòng)力學(xué)等交互效果欠缺。以上不足需要進(jìn)一步優(yōu)化,在后續(xù)研究中加以解決。

注釋

①圖片源自會(huì)議論文Interior Mapping:A new technique for rendering realistic buildings,作者Joost van Dongen。

②圖片源自網(wǎng)站polyhaven.com。

③此處使用英偉達(dá)紋理工具導(dǎo)出器的Adobe Photoshop插件版本,簡(jiǎn)介及下載地址:https://developer.nvidia.com/nvidia-texture-tools-exporter。