王瀟玨 趙建軍 陳 軍

北京電影學(xué)院影視技術(shù)系,北京 100088

1 引言

電影虛擬化制作 (Virtual Movie Making 或Movie Virtual Production)技術(shù)發(fā)展迅速,為電影制作領(lǐng)域帶來了創(chuàng)新性突破。近年來,隨著計算機(jī)圖形學(xué)、實時渲染技術(shù)以及LED 顯示等技術(shù)的不斷發(fā)展,基于LED 背景墻的電影虛擬化制作 (簡稱LED 虛擬化制作)引起了影視行業(yè)從業(yè)者的廣泛關(guān)注并付諸實踐。LED 背景墻在拍攝現(xiàn)場可直接顯示與攝影機(jī)運動所匹配的虛擬背景,攝影機(jī)拍攝演員在LED 背景墻前的表演便可直接獲得合成影像,即攝影機(jī)內(nèi)視效,替代了在拍攝現(xiàn)場使用傳統(tǒng)藍(lán)/綠幕,再經(jīng)由后期進(jìn)行合成的形式。如今,高分辨率、高幀率、高動態(tài)范圍等高新技術(shù)格式標(biāo)準(zhǔn)越來越成為電影成片的主流技術(shù)標(biāo)準(zhǔn),而這一技術(shù)在為現(xiàn)場拍攝帶來沉浸式體驗的同時,也導(dǎo)致了 “以數(shù)字化的方式直接采集數(shù)字化內(nèi)容”,為高質(zhì)量影像的制作帶來了新的挑戰(zhàn)。

具體來說,基于LED 背景墻的電影虛擬化制作,一方面需要以離散的數(shù)字化方式采集離散的數(shù)字化內(nèi)容,另一方面拍攝現(xiàn)場還增加了虛擬化制作的諸多前置技術(shù)環(huán)節(jié),從虛擬場景的渲染、顯示到被拍攝與采集的每一環(huán)節(jié)都涉及影像信號的處理與傳遞,并影響著最終拍攝輸出的影像質(zhì)量,這使得基于LED 背景墻的電影虛擬化制作對影像質(zhì)量的控制將是基于全過程的,也更為復(fù)雜。

以分辨率這一技術(shù)指標(biāo)為例,在虛擬化制作中,如果LED 背景墻顯示的影像分辨率低,那么即便攝影機(jī)設(shè)置了4K 分辨率拍攝,也會導(dǎo)致最終攝影機(jī)拍攝成像的背景模糊不清、丟失細(xì)節(jié)。本文正是針對這一命題,重點圍繞基于LED 背景墻的電影虛擬化制作在現(xiàn)場制作階段中,影像分辨率這一主要技術(shù)指標(biāo)的影響因素進(jìn)行分析與探究,并梳理虛擬化制作流程中控制分辨率的主要方法。

2 攝影機(jī)內(nèi)視效及LED 虛擬化制作中影像質(zhì)量的挑戰(zhàn)

2.1 LED虛擬化制作核心環(huán)節(jié)與攝影機(jī)內(nèi)視效

從制作環(huán)節(jié)與技術(shù)流程上看,基于LED 背景墻的電影虛擬化制作可以大致分為前期籌備與現(xiàn)場拍攝兩個階段。首先,這一技術(shù)重在后期前置,需要視效團(tuán)隊在前期籌備階段便完成虛擬場景的設(shè)計與制作工作,并將其投入現(xiàn)場拍攝。而現(xiàn)場拍攝階段則是基于LED 背景墻的電影虛擬化制作最重要的技術(shù)應(yīng)用階段,其核心環(huán)節(jié)與技術(shù)要點如圖1 所示,設(shè)備選擇與技術(shù)操作都將對成片質(zhì)量產(chǎn)生直接影響。

圖1 LED虛擬化制作核心流程

如圖1 所示,由攝影機(jī)直接拍攝真實場景與LED 背景墻,便可獲得前景為演員與布景、背景為LED 背景墻實時顯示的虛擬場景的 “合成”影像,即攝影機(jī)內(nèi)視效 (In-camera VFX),在當(dāng)前的典型制作流程中,攝影機(jī)內(nèi)視效的合成拍攝結(jié)果即可作為成片直接輸出。

具體而言,攝影機(jī)內(nèi)視效的實現(xiàn)主要是由實時渲染、攝影機(jī)跟蹤匹配以及LED 背景墻顯示三部分互相聯(lián)動、協(xié)同配合完成的。

2.1.1 實時渲染

實時渲染是通過實時渲染引擎以及相應(yīng)的渲染群集等軟硬件技術(shù),將虛擬的場景實時地輸出給LED 背景墻顯示終端。在條件允許的情況下,采用多機(jī)同步渲染的方式,能夠有效提升渲染效率。

由于攝影機(jī)視場 (Field of View,FOV)覆蓋LED 背景墻的范圍有限,為了更有效地實現(xiàn)攝影機(jī)內(nèi)視效,在實際拍攝中只需對攝影機(jī)視場范圍內(nèi)的虛擬場景進(jìn)行更精細(xì)的渲染即可。渲染場景根據(jù)是否在攝影機(jī)的拍攝范圍內(nèi),可分為內(nèi)視錐 (Inner Frustum)渲染與外視錐 (Outer Frustum)渲染,如圖2所示。其中,內(nèi)視錐渲染主要用于實現(xiàn)攝影機(jī)內(nèi)視效,提供了整個攝影機(jī)視場的背景畫面,內(nèi)視錐場景可跟隨攝影機(jī)產(chǎn)生相應(yīng)的運動、透視、景深等實時變化效果。而外視錐的渲染范圍是除內(nèi)視錐以外的部分,這部分雖然在實際拍攝時一般不會產(chǎn)生額外的交互效果,但在提供視覺沉浸感與逼真的光照效果方面有著重要作用。

圖2 外視錐渲染和內(nèi)視錐渲染

2.1.2 攝影機(jī)跟蹤匹配

跟蹤與匹配部分通過攝影機(jī)跟蹤技術(shù)實時地捕獲真實攝影機(jī)的運動、姿態(tài) (外參)與焦距、焦點等信息(內(nèi)參),并將其傳輸至渲染引擎,再由引擎匹配給虛擬場景中的虛擬攝影機(jī)并渲染輸出相應(yīng)的畫面,從而在LED 背景墻上實時呈現(xiàn)出具有與真實攝影機(jī)參數(shù)一致、透視匹配的內(nèi)視錐場景。

2.1.3 LED 背景墻顯示

LED 顯示部分則是通過LED 背景墻及配套的視頻信號處理系統(tǒng),實現(xiàn)虛擬場景的實時顯示。LED 背景墻以每個封裝了三基色發(fā)光二極管的LED燈珠作為最小可控的獨立發(fā)光單元,并采用模塊化裝配方式,將燈珠組成的像素陣列構(gòu)成LED 顯示模組,再自定義拼裝形成LED 背景墻[1]。拍攝現(xiàn)場為了適應(yīng)攝影機(jī)運動,往往將LED 背景墻以半圓形、弧形或矩形環(huán)繞在拍攝區(qū)域周圍,并根據(jù)需要加裝頂屏。

2.2 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

對比攝影機(jī)拍攝實景的過程,在基于LED 背景墻的電影虛擬化制作中還疊加了諸多前置處理環(huán)節(jié)。如圖3所示,按照實現(xiàn)攝影機(jī)內(nèi)視效的技術(shù)流程,整個虛擬場景從開始渲染到作為虛擬背景被攝影機(jī)拍攝獲得“合成”的影像,可大致分為LED 顯示與攝影機(jī)拍攝兩大階段。其中,LED 顯示階段又可以依次細(xì)化為實時渲染、視頻信號處理與LED 背景墻顯示三個主要環(huán)節(jié)。由于整個過程從影像信號傳遞的角度可以被視為線性的傳輸過程,每個環(huán)節(jié)都涉及影像的輸入與輸出,故而每個環(huán)節(jié)的軟硬件條件及相關(guān)技術(shù)參數(shù)都將影響并制約最終攝影機(jī)拍攝獲得的影像質(zhì)量。

圖3 LED虛擬化制作影響影像質(zhì)量的主要環(huán)節(jié)

由于目前業(yè)內(nèi)對數(shù)字?jǐn)z影機(jī)拍攝已掌握了成熟的影像控制方法,因此本項目將著重研究LED 顯示階段的控制流程與方法。就整體而言,我們可以結(jié)合“短板效應(yīng)”大致遵循這樣一個準(zhǔn)則,即上述的任何一個技術(shù)環(huán)節(jié)如果在硬件條件或技術(shù)參數(shù)設(shè)置中“造成了”該鏈路的最小值,那么它也將成為影響與制約最終拍攝獲得影像質(zhì)量的主要因素。

3 影像分辨率及LED 虛擬化制作各環(huán)節(jié)的分辨率概念

3.1 影像分辨率概念

分辨率是評估影像質(zhì)量的核心技術(shù)指標(biāo)之一,通常用來描述影像的細(xì)節(jié)分辨能力。一般而言,當(dāng)影像的畫幅或面積相同時,分辨率越大,其所能描述的細(xì)節(jié)越豐富,給人帶來的主觀視覺清晰感也越強(qiáng)。在以離散化為主要特征的數(shù)字時代,像素作為描述影像的最小單位,記錄著獨立的亮度、色度等屬性,并按照一定的規(guī)則排列,從而構(gòu)成視覺上具有空間連續(xù)感的影像。因此,從基本概念來講,影像分辨率即其橫向像素數(shù)與縱向像素數(shù)的乘積,也相當(dāng)于“像素分辨率”(圖4)。

圖4 像素與分辨率示意

3.2 LED虛擬化制作各環(huán)節(jié)的分辨率概念

在基于LED 背景墻的電影虛擬化制作流程中,因涉及對影像的采集、傳輸、處理、顯示等不同技術(shù)環(huán)節(jié),像素與分辨率又有著不同的表現(xiàn)形式(圖5)。

圖5 LED虛擬化制作各環(huán)節(jié)的分辨率概念

3.2.1 實時渲染

在實時渲染環(huán)節(jié),引擎將虛擬場景按照LED 背景墻的顯示需求渲染出相應(yīng)規(guī)格的二維影像,并將信號輸出至下一處理環(huán)節(jié)。影像分辨率在這一過程中主要體現(xiàn)為 “渲染分辨率”,即渲染時所設(shè)定的、需要輸出影像的橫向像素數(shù)和縱向像素數(shù)乘積。

3.2.2 視頻信號處理

視頻信號處理環(huán)節(jié)通過接收引擎渲染的影像信號,執(zhí)行相應(yīng)技術(shù)操作后,輸出信號至下一個處理環(huán)節(jié)。此階段的分辨率體現(xiàn)為 “處理器輸出分辨率”,即輸出影像時所設(shè)定的橫向像素數(shù)和縱向像素數(shù)乘積。與輸入影像信號不同的是,在視頻信號處理環(huán)節(jié)可以設(shè)定高于或低于輸入影像分辨率的數(shù)值,以在處理過程中對影像進(jìn)行裁切或上下變換處理。

3.2.3 LED 背景墻顯示

LED 背景墻在接收影像信號后將影像顯示出來,這一環(huán)節(jié)像素和分辨率主要表現(xiàn)為LED 背景墻的“顯示分辨率”與“物理分辨率”。

首先,由于傳輸?shù)挠跋癖旧砜梢元毩⒂陲@示設(shè)備而存在,因此在顯示影像時,可以設(shè)定影像在概念上橫向、縱向有多少個像素單位,其總像素數(shù)即“顯示分辨率”。由于LED 背景墻在顯示時分為內(nèi)外視錐兩個部分,因此 “顯示分辨率”也可以具體劃分為“外視錐的顯示分辨率”與 “內(nèi)視錐的顯示分辨率”。其中外視錐的顯示分辨率即“處理器輸出分辨率”,而內(nèi)視錐的顯示分辨率則由內(nèi)視錐的實時面積和視頻處理器規(guī)定的像素密度決定。

第二,由于影像需要依賴LED 背景墻顯示,從技術(shù)實現(xiàn)上看,LED 背景墻的最小物理單位是獨立的RGB三基色LED 燈珠,如圖6所示,因此LED背景墻的燈珠像素總數(shù)構(gòu)成了背景墻的 “物理分辨率”,也是該LED 背景墻在顯示影像時所能支持的最高“顯示分辨率”。同樣地,背景墻的“物理分辨率”也可以劃分為“外視錐的物理分辨率”和 “內(nèi)視錐的物理分辨率”。外視錐的物理分辨率相當(dāng)于整個背景墻的物理像素總數(shù)；內(nèi)視錐的物理分辨率則相當(dāng)于內(nèi)視錐影像覆蓋的LED 背景墻面積內(nèi)橫向的物理像素數(shù)與縱向的物理像素數(shù)乘積。

圖6 三基色LED顯示屏像素 (SMD RGB燈珠)

3.2.4 攝影機(jī)拍攝成像

攝影機(jī)成像環(huán)節(jié)則較為復(fù)雜,需要攝影機(jī)拍攝前景的演員表演與LED 背景墻顯示的虛擬背景獲得攝影機(jī)內(nèi)視效的合成影像,其分辨率體現(xiàn)在攝影機(jī)的鏡頭解像力、CMOS靶面的物理分辨率、拍攝時的設(shè)置分辨率,以及攝影機(jī)機(jī)內(nèi)視效背景的原始顯示分辨率與原始物理分辨率五個方面。

其中,鏡頭解像力又稱解析力,是描述攝影機(jī)光學(xué)鏡頭分辨被攝物細(xì)節(jié)的能力。CMOS靶面的物理分辨率是指攝影機(jī)CMOS圖像傳感器靶面上橫向和縱向物理成像單元 (物理像素)的總數(shù)。拍攝時的“設(shè)置分辨率”即攝影機(jī)在拍攝時所設(shè)定的輸出影像的橫向像素數(shù)和縱向像素數(shù)乘積。

攝影機(jī)內(nèi)視效的背景則是LED 背景墻內(nèi)視錐經(jīng)由攝影機(jī)拍攝后所形成的影像,其原始顯示分辨率相當(dāng)于LED 背景墻的 “內(nèi)視錐顯示分辨率”,其原始物理分辨率則相當(dāng)于LED 背景墻的“內(nèi)視錐物理分辨率”。

4 LED虛擬化制作各環(huán)節(jié)對影像分辨率的影響因素與控制方式

4.1 實時渲染環(huán)節(jié)

實時渲染引擎的主要任務(wù)包括渲染并輸出支持LED 背景墻顯示的虛擬場景視頻影像。這一過程中針對影像的渲染分辨率及相關(guān)技術(shù)參數(shù)配置,將直接影響到后續(xù)LED 背景墻顯示乃至攝影機(jī)拍攝的影像質(zhì)量。以Unreal Engine 4引擎為例,其渲染與輸出面向LED 背景墻的影像主要通過nDisplay系統(tǒng)實現(xiàn),其技術(shù)原理如圖7所示。這是一個基于GPU專業(yè)顯卡的實時渲染分布系統(tǒng),主要用于支持實時渲染影像在以LED 背景墻為代表的大型多屏顯示設(shè)備上進(jìn)行顯示,具體功能包括影像渲染與縮放、渲染任務(wù)分發(fā)、實時性與跨屏同步等,目標(biāo)是盡可能在更短的時間內(nèi)渲染高分辨率影像[2]。

圖7 nDisplay主要技術(shù)原理

對于實時渲染環(huán)節(jié)輸出影像分辨率,一方面受虛擬場景的模型及材質(zhì)貼圖本身的分辨率影響,另一方面在經(jīng)由nDisplay執(zhí)行渲染輸出時還受制于渲染的硬件設(shè)備與配置參數(shù),包括渲染分辨率的配置,運動模糊、抗鋸齒等后處理視效?；谀壳暗膶崟r性要求,渲染輸出的影像應(yīng)至少保證60FPS的幀速率,即單幀畫面的渲染效率在16毫秒以內(nèi)。綜合來看,各要素與其所能支持輸出的最大渲染分辨率關(guān)系如表1所示。

表1 主要影響因素與渲染分辨率的關(guān)系

目前,單個GPU n Display 視口在渲染中所支持的分辨率上限可達(dá)UHD (3840×2160)。因此在分配各視口的輸出分辨率參數(shù)時,一方面盡可能直接引用LED 背景墻的形狀、大小及其物理分辨率,以避免縮放；另一方面可以根據(jù)LED 顯示屏數(shù)量與每個渲染群集節(jié)點的渲染能力,合理分配渲染視口及其分辨率。

4.2 LED視頻信號處理

為了支持多屏拼接的大型LED 背景墻,在完成虛擬場景的實時渲染后,視頻信號還需要經(jīng)由LED視頻處理器及配套的數(shù)據(jù)分發(fā)單元轉(zhuǎn)換為支持LED背景墻顯示的規(guī)格,并完成視頻信號分發(fā)、信號同步拼接等步驟。目前國內(nèi)外較主流的LED 視頻處理器品牌有Brompton、諾瓦等 (圖8),而隨著LED顯示的配套技術(shù)發(fā)展,視頻處理器可提供的影像處理功能也越發(fā)豐富,包括縮放、降噪、防抖、圖像增強(qiáng)等。

圖8 Brompton Tessera SX40 Tessera XD① (上)諾瓦V1260視頻控制器 (含4K 信號發(fā)送)② (下)

LED 視頻處理器的相關(guān)性能以及對輸入影像信號的處理操作、參數(shù)配置,都會影響其輸出分辨率,并影響到LED 背景墻所顯示的影像質(zhì)量。主流LED 視頻處理器中,相關(guān)硬件與參數(shù)配置對輸出分辨率影響如表2所示。

表2 主要影響因素與輸出分辨率的關(guān)系

目前的主流LED 視頻處理器每臺能夠支持輸出的單像素為每通道最高8Bit位深,且最大帶載支持的分辨率能夠達(dá)到4K 甚至8K,幀率在支持最大60Hz輸入的基礎(chǔ)上通過處理器插幀算法實現(xiàn)120Hz乃至240 Hz的輸出。因此在進(jìn)行視頻處理器參數(shù)配置時,一般按照可支持的最大參數(shù)進(jìn)行配置 (8Bit/4K/60 Hz)即可。應(yīng)確保視頻處理器的硬件性能能夠支持LED 背景墻的物理分辨率。這需要在購置與安裝視頻處理器時,確保輸出端口最大帶載(總和)≥幀率×LED 背景墻的物理分辨率,使得單幀輸出影像在不影響幀率同步的前提下實現(xiàn)輸出分辨率最大化。

4.3 LED背景墻顯示環(huán)節(jié)

在影像信號經(jīng)由LED 視頻處理器及數(shù)據(jù)分發(fā)單元對視頻信號進(jìn)行轉(zhuǎn)換與分發(fā)處理后,LED 背景墻最終支持將虛擬場景呈現(xiàn)出來以供拍攝現(xiàn)場作為虛擬背景進(jìn)行直接拍攝。整個過程中影像分辨率主要體現(xiàn)為LED 背景墻的“顯示分辨率”與“物理分辨率”,因此這一環(huán)節(jié)對影像分辨率的控制,主要通過研究這兩部分的影響因素得以實現(xiàn)。

第一,LED 背景墻的顯示分辨率由輸入影像,也即“處理器輸出分辨率”決定,顯示分辨率決定了LED 顯示影像的清晰程度,但其分辨率大小受制于LED 背景墻的物理分辨率,無法超過這一上限顯示更清晰的影像。

第二,LED 背景墻的物理分辨率決定了可以支持顯示的影像清晰度上限,但其本身主要與LED 顯示屏的點間距 (Pixel pitch)等指標(biāo)有著直接的關(guān)聯(lián)。點間距通常以毫米為單位,是指箱體內(nèi)被封裝的獨立LED 像素?zé)糁橹行狞c之間的最小距離[3]。當(dāng)前應(yīng)用于電影虛擬化制作的LED 背景墻普遍采用規(guī)則排布的小間距LED 燈珠,因此每個像素與相鄰像素橫向、縱向的像素間距都是相等且固定的數(shù)值,即點間距,如圖9所示。

圖9 燈珠像素排布方式與點間距的關(guān)系

一般來說,點間距越小像素密度就越高,在相同面積的LED 屏幕中便可以支持更高的顯示分辨率,LED 屏幕顯示的影像便更清晰。目前,市場上常見的小間距LED 屏幕主要指P4以下的產(chǎn)品,包括P4、P3.5、P3、P2.5、P2、P1.6等,例如雷迪奧BP系列LED 顯示屏包括BP2與BP3兩種型號,其點間距分別為2.84mm 和3.91mm③。具體而言,LED 背景墻的物理分辨率與像素密度可以直接通過點間距計算獲得,如式(1)所示。

其中,MP 表示LED 背景墻物理分辨率,Dh表示橫向屏體數(shù),Dv表示縱向屏體數(shù),d表示屏體寬度(米),m 表示像素密度 (像素數(shù)量/平方米),p表示點間距(米)。

當(dāng)面積相同時,點間距越小的LED 背景墻像素密度越高,物理分辨率也越大,攝影機(jī)拍攝的虛擬背景也可以越清晰。具體到內(nèi)視錐與外視錐,外視錐的物理分辨率等于LED 背景墻的物理分辨率；內(nèi)視錐面積雖然可調(diào)節(jié),但其物理分辨率往往要小于外視錐的物理分辨率,但二者的像素密度相同,且與點間距的關(guān)系都遵循上述公式。因此總體來說,在條件允許的范圍內(nèi),購置點間距相對小的LED 顯示屏,將更有利于在拍攝中獲得清晰的背景。

4.4 攝影機(jī)拍攝環(huán)節(jié)

LED背景墻所顯示的是離散像素組成的數(shù)字化影像,在攝影機(jī)拍攝環(huán)節(jié),離散的像素經(jīng)由攝影機(jī)鏡頭,在CMOS靶面上成像的情況將受到各種復(fù)雜因素的綜合影響,特別是攝影機(jī)分辨率、攝影機(jī)拍攝距離與焦距、CMOS靶面大小與靶面像素間距等因素。

4.4.1 攝影機(jī)分辨率的影響

首先,攝影機(jī)自身的分辨率會影響拍攝獲得的影像質(zhì)量。前文已提到,攝影機(jī)分辨率包含鏡頭解像力、攝影機(jī)的設(shè)置分辨率與CMOS靶面的物理分辨率三個概念。

其中,鏡頭解像力是由光學(xué)鏡頭的物理特性決定的,通常以每毫米可解析的線對數(shù)表示 (lp/mm),鏡頭中心解像力最高,邊緣解像力最低。因此在選用攝影機(jī)鏡頭時需要保證圖像的邊緣清晰度,應(yīng)至少使得鏡頭邊緣解像力≥1/ (CMOS像素點尺寸×2)。

此外,攝影機(jī)的設(shè)置分辨率是攝影機(jī)在拍攝中設(shè)置的參數(shù),可進(jìn)行自主化調(diào)節(jié),而CMOS靶面的物理分辨率是其調(diào)節(jié)上限。雖然目前有些設(shè)備可通過插值等上變換算法提升設(shè)置分辨率使之大于物理分辨率,但受制于物理分辨率,后期算法并不能夠增加真實的影像細(xì)節(jié)。

三個分辨率共同決定了拍攝獲得影像所輸出的分辨率。但影像背景是否清晰還受到LED 背景墻以及其他拍攝條件的影響。

4.4.2 攝影機(jī)拍攝距離與焦距的影響

現(xiàn)場拍攝時,LED 背景墻布置在演員的表演區(qū)域外圍,需要與攝影機(jī)間隔較遠(yuǎn)的距離。此時LED背景墻的影像經(jīng)由攝影機(jī)鏡頭成像在攝影機(jī)CMOS的靶面上,對于背景墻的單個物理像素在攝影機(jī)CMOS靶面的成像面積而言,往往要比背景墻物理像素面積小得多,如式(2)所示。

其中,M 表示放大率,U 表示物距,V 表示像距,f表示焦距。

放大率M 表示LED 背景墻的單個物理像素在攝影機(jī)CMOS靶面的成像直徑(或?qū)挾?與原始像素直徑(或?qū)挾?的比值。對于同一LED 背景墻,當(dāng)攝影機(jī)鏡頭焦距不變時,拍攝距離越遠(yuǎn),M 值越小；而當(dāng)拍攝距離相同時,焦距越短,M 值越小。一般來說,攝影機(jī)鏡頭常用焦段一般在24mm 至200mm 之間,拍攝距離則往往以米計算。因此拍攝距離往往對于M 值有著決定性的影響,當(dāng)拍攝距離越遠(yuǎn),LED 背景墻的單個物理像素在攝影機(jī)CMOS靶面的成像面積越小,拍攝所獲得的攝影機(jī)內(nèi)視效背景的原始分辨率越高,最終所成影像便越清晰。但同時,拍攝距離大小受到攝影棚面積與LED 背景墻面積的制約。

根據(jù)拍攝經(jīng)驗并結(jié)合公式 (1) (2)可得出,LED 背景墻的最佳拍攝距離 (單位米)約為屏幕點間距數(shù)值的2.5倍。例如,當(dāng)采用點間距為2.84mm的LED 屏幕模組拼接的背景墻時,其最佳拍攝距離大約為2.84×2.5≈7米。據(jù)此可估算,目前市場上可應(yīng)用的小間距LED 顯示屏,攝影機(jī)最佳拍攝距離范圍大約在5～10米之間。

4.4.3 CMOS靶面與靶面像素間距的影響

由于輸入影像在LED 背景墻的顯示分辨率等于背景墻的物理分辨率時,可使影像的清晰度達(dá)到最高,此時顯示分辨率的像素寬度便相當(dāng)于背景墻的點間距(此處考慮開口率為100%的理想情況)。理論上,當(dāng)LED 背景墻的點間距越小,其單個像素在攝影機(jī)感光器件CMOS靶面上的成像面積也越小,這也意味著拍攝所獲得的攝影機(jī)內(nèi)視效背景的原始分辨率更高,因此最終所成影像也更清晰。但在實際拍攝中,并不是LED 背景墻點間距無限制地越小越好,攝影機(jī)成像一方面受CMOS靶面的物理分辨率以及靶面像素間距的制約,另一方面也受成像的最小彌散圈影響。

當(dāng)LED 背景墻處于焦平面時,其在攝影機(jī)CMOS靶面上所成影像是最清晰的,理論上需要保證LED 背景墻的單個燈珠像素在攝影機(jī)CMOS靶面上成像范圍大于等于靶面的1 個物理像素單元。然而,由于透鏡成像時存在最小彌散圈的概念,即當(dāng)LED 背景墻單個像素?zé)糁樵跀z影機(jī)CMOS靶面的成像面積小于最小彌散圈時,便無法再得到人眼可分辨的更清晰的影像。因此還需要結(jié)合攝影機(jī)拍攝距離、CMOS靶面像素間距以及由放映要求推斷獲得的最小彌散圈直徑等相互關(guān)系,推斷出LED 背景墻可用的最小點間距,如式(3)所示。

其中,P表示LED 背景墻點間距,d表示攝影機(jī)成像的最小彌散圈直徑,M 表示放大率,U 表示物距,f表示焦距。

因此結(jié)合攝影機(jī)性能以及拍攝要求,當(dāng)LED 背景墻的點間距縮小到一定程度以后便不需要再縮小了。例如,0.03mm 是目前全畫幅攝影機(jī)較通用的最小彌散圈直徑要求,在拍攝距離是5～10 米的LED 虛擬攝影棚內(nèi),結(jié)合24mm 至200mm 的常用鏡頭焦段,可計算對于LED 背景墻的的點間距最小值,如表3所示。

表3 常用鏡頭焦段的LED 屏幕最小點間距

而由于LED 虛擬攝影棚內(nèi)往往以75mm 以內(nèi)的焦段進(jìn)行拍攝,且LED 背景墻往往處于焦外,因此結(jié)合上表,LED 屏幕點間距大約保持在2～4mm即可滿足絕大部分拍攝需求。

在實際拍攝中創(chuàng)作者也可以根據(jù)成片所需的分辨率大小、最小彌散圈直徑、拍攝距離范圍以及所用的鏡頭焦段,來估算需要選用LED 背景墻的點間距等技術(shù)規(guī)格,或根據(jù)已有背景墻規(guī)格反推需要租借攝影機(jī)的技術(shù)規(guī)格。

對于4K 分辨率的拍攝要求,目前LED 顯示屏及相關(guān)技術(shù)已可以支持,當(dāng)使用40mm 以下廣角鏡頭拍攝時,為保證攝影機(jī)在拍攝LED 背景墻時同樣能獲得4K 級別的虛擬背景,可選用2mm 左右點間距的LED 顯示屏,一般需要至少搭建高4～5米以上,寬8～10米以上的LED 背景墻,且攝影機(jī)拍攝距離一般可保持在5～10米左右,焦距越短,拍攝距離越短；而當(dāng)LED 背景墻的點間距更大時,搭建面積也需要更大,且攝影機(jī)需要保持更遠(yuǎn)的拍攝距離。當(dāng)使用標(biāo)準(zhǔn)鏡頭或長焦進(jìn)行拍攝時,焦距越長,LED 背景墻則越需要置于景深之外,且與焦平面保持較遠(yuǎn)的距離,從而使背景呈現(xiàn)出虛化的效果。

5 分辨率與摩爾紋現(xiàn)象

隨著基于LED 背景墻的電影虛擬化制作日益廣泛地應(yīng)用到創(chuàng)作實踐中,使用數(shù)字化的離散采樣方式采集離散的數(shù)字化信號也將越來越普及。與電視直播領(lǐng)域不同的是,電影制作一方面要求更高技術(shù)規(guī)格的影像質(zhì)量,另一方面在制作流程中攝影機(jī)本身的運動、參數(shù)調(diào)整都要遠(yuǎn)遠(yuǎn)復(fù)雜于電視直播。這也對電影制作領(lǐng)域產(chǎn)生了新的要求:一方面采集設(shè)備與被采集設(shè)備需要追求更高的物理分辨率以提升現(xiàn)場拍攝成像的清晰度；另一方面這也意味著采集與被采集物理設(shè)備的分辨率差距會越來越小,而當(dāng)二者物理分辨率相近時,還可能會出現(xiàn)另外一個成像質(zhì)量問題——摩爾紋現(xiàn)象(Moiré Pattern)。

摩爾紋是數(shù)字時代離散化采樣方式造成的一種采樣混疊的失真現(xiàn)象,其本質(zhì)上是一種噪聲,也是拍攝LED 背景墻成像時經(jīng)常出現(xiàn)的問題,主要表現(xiàn)為拍攝影像中出現(xiàn)類似水波狀或螺旋狀的條紋、斜條紋或橫條紋等并伴隨著不斷閃爍的現(xiàn)象,如圖10所示。

圖10 拍攝LED顯示屏形成的摩爾紋

目前學(xué)術(shù)界對摩爾紋產(chǎn)生的原因主要從波的干涉(Wave Interference)這一物理學(xué)理論層面予以解釋,即當(dāng)頻率相近的兩個光柵平面進(jìn)行疊加時(可數(shù)學(xué)表示為兩個正弦函數(shù)的乘積),便會產(chǎn)生摩爾紋[4],如圖11 所示。根據(jù)奈奎斯特采樣定理(Nyquist Sampling Theorem),當(dāng)采樣頻率至少為被采樣信號最高頻率的2倍時才能不失真。

圖11 摩爾紋產(chǎn)生的基本原理示意

然而,在基于LED 背景墻的電影虛擬化制作實踐中,引起摩爾紋現(xiàn)象的原因更為復(fù)雜,這一方面是因為奈奎斯特采樣定理主要研究的是采樣連續(xù)模擬信號,而拍攝LED 背景墻則是用離散的采樣方式采集離散的數(shù)字信號。另一方面,當(dāng)使用數(shù)字?jǐn)z影機(jī)拍攝LED 背景墻時,采樣頻率與被采樣頻率除了與兩方設(shè)備的物理分辨率有關(guān),還受眾多因素影響。具體而言,在被采樣端,LED 背景墻的物理分辨率、燈珠像素的排布規(guī)則、屏幕點間距、屏幕開口率、屏幕刷新率,甚至是顯示的影像本身是否存在較密集的紋理等,都會對摩爾紋的出現(xiàn)產(chǎn)生影響；而在數(shù)字?jǐn)z影機(jī)等采樣設(shè)備層面,攝影機(jī)的位置與旋轉(zhuǎn)、攝影機(jī)焦距與光圈、幀率、快門等也會不同程度地影響拍攝成像是否會產(chǎn)生摩爾紋及其程度。

對創(chuàng)作者來說,一方面要了解摩爾紋產(chǎn)生的原因及其影響因素,另一方面,摩爾紋很難從后期制作中完全消除,有時即便通過算法進(jìn)行消除也是以犧牲清晰度與影像細(xì)節(jié)為代價,因此在拍攝環(huán)節(jié)就應(yīng)最大程度地避免或最小化摩爾紋的出現(xiàn)。結(jié)合目前的研究與實踐經(jīng)驗,主要可以嘗試從以下幾個方面著手:

第一,在影視制作的前期籌備中,就應(yīng)對拍攝現(xiàn)場的情況做好充分調(diào)研,包括LED 屏幕如何選取以及相應(yīng)的搭建方案,攝影設(shè)備的選取以及拍攝規(guī)格的制定,并根據(jù)這些前期條件測試演員可以表演的區(qū)域,攝影機(jī)與演員離LED 背景墻越遠(yuǎn)時,拍攝效果越好。

第二,在拍攝中,使用大光孔和淺景深,避免將攝影機(jī)焦點完全對在LED 顯示屏上,當(dāng)背景畫面產(chǎn)生了一定的虛焦模糊效果時,可以有效地緩解摩爾紋現(xiàn)象。

第三,由于攝影機(jī)在運動過程中,無論是橫搖(Pan)、俯仰 (Tilt)還是橫滾 (Roll),只要攝影機(jī)靶面與被攝的LED 背景墻平面形成了夾角,夾角越大,出現(xiàn)摩爾紋的幾率就越大,理論上環(huán)形屏或曲面屏的布置將是更加理想的,在實際拍攝中,應(yīng)盡可能避免攝影機(jī)在運動時與被攝的LED 背景墻形成大的夾角。

第四,隨著LED 顯示技術(shù)的發(fā)展,從顯示層面也出現(xiàn)了針對摩爾紋優(yōu)化的光源設(shè)計以及小間距的LED 面板,在成本允許的范圍內(nèi)選擇較小間距、刷新率更高、動態(tài)范圍更大的LED 顯示屏,將有效地減緩拍攝環(huán)節(jié)出現(xiàn)的摩爾紋問題。

6 總結(jié)分析與展望

基于LED 背景墻的電影虛擬化制作技術(shù)如今已在電影、電視與網(wǎng)絡(luò)、廣告等諸多領(lǐng)域展現(xiàn)出革命性的創(chuàng)新能力,同時其通過數(shù)字化的方式采集數(shù)字化內(nèi)容,對于制作高質(zhì)量影像帶來了諸多新的挑戰(zhàn)。因此,如何在復(fù)雜的制作流程中了解并精準(zhǔn)地把控各因素對影像質(zhì)量的影響,還需要軟硬件設(shè)備生產(chǎn)商、影像技術(shù)團(tuán)隊與創(chuàng)作者的共同努力。

目前該技術(shù)已支持產(chǎn)出4K 級別的高分辨率影像,相信隨著實時渲染、視頻信號處理、小間距乃至微間距LED 顯示等相關(guān)技術(shù)的不斷發(fā)展與突破,在LED 背景墻拍攝中所遇到的諸多成像質(zhì)量問題,諸如拍攝成像的分辨率問題、摩爾紋現(xiàn)象等都將得到進(jìn)一步優(yōu)化與解決,從而為更高技術(shù)規(guī)格的影像、更加豐富多彩的影視故事與內(nèi)容提供極具創(chuàng)新性和優(yōu)質(zhì)的制作手段。

注釋

①圖片來源:https://www.bromptontech.com/product/sx40/。

②圖片來源:https://www.novastar-led.cn/index/products/index.html?id=9。

③信息來源:https://www.roevisual.com/zh-cn/products/black-pearl。