耿天樂 趙建軍 常一孜 陳 軍

1.北京電影學院影視技術(shù)系，北京 100088

2.中國電影科學技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所），北京 100086

1 LED 虛擬攝制帶來的變革與挑戰(zhàn)

近年來，基于LED 背景墻的電影虛擬攝制（以下簡稱“LED 虛擬攝制”）技術(shù)成為影視行業(yè)的研究熱點。這種新興的制作技術(shù)能夠給現(xiàn)場攝制帶來“所見即所得”的自由創(chuàng)作環(huán)境、真實的環(huán)境光照以及更大程度上的“后期前置”，在解決了傳統(tǒng)虛擬攝制中的藍幕/綠幕溢色等問題的同時，減少外出取景拍攝的風險，受到電影制作研究和應(yīng)用領(lǐng)域工作者的關(guān)注。然而，LED 虛擬攝制是一種全新的影視制作方式，其制作流程必然和傳統(tǒng)影視制作流程有所不同，這也給影視藝術(shù)從業(yè)者帶來了新的挑戰(zhàn)。

如圖1 所示，LED 虛擬攝制分為了前期籌備、前期制作、現(xiàn)場制作和后期制作四個部分。與傳統(tǒng)的影視制作流程相比，LED 虛擬攝制在前期籌備階段可以將與概念設(shè)計風格類似的場景渲染上屏，使投資方對影片LED 虛擬攝制的拍攝風格有更直觀的概念，有效降低投資風險；在前期制作階段，前期預(yù)演可以大幅提升拍攝的把控性，提高拍攝效率；在現(xiàn)場制作階段，LED 虛擬攝制的“攝影機內(nèi)視效（In-Camera VFX）拍攝”除了可以提高拍攝把控性和拍攝效率，還可以提供真實的環(huán)境光照、解決藍幕/綠幕溢色問題，進而提升拍攝質(zhì)量；在后期制作階段，后期視效的制作量大幅度減少，從而降低影片制作的整體成本。由此可見，LED 虛擬攝制顛覆了傳統(tǒng)的影視攝制流程，展現(xiàn)出了自己獨有的攝制優(yōu)勢。

圖1 LED 虛擬攝制流程

新的技術(shù)給制作帶來了新的便利，但是LED 虛擬攝制也給制作本身提出了許多新需求、增加了更多工作范疇。譬如需要對LED 背景墻進行搭建和測試；需要對數(shù)字內(nèi)容創(chuàng)作（Digital Content Creation，DCC）軟件制作的資產(chǎn)進行遷移和優(yōu)化；需要在現(xiàn)場對實時渲染引擎的資產(chǎn)進行調(diào)整等，這意味著LED虛擬攝制中需要一個專業(yè)的虛擬攝制團隊來為LED虛擬攝制提供服務(wù)保障。

虛擬攝制團隊的職責遍及了從前期籌備到后期制作的各個環(huán)節(jié)，并且由于LED 虛擬攝制技術(shù)在影視行業(yè)尚未被廣泛使用，相關(guān)的硬件和軟件還處于不斷地更新和優(yōu)化中，因此在實際制作過程中，虛擬攝制團隊在制作的各個環(huán)節(jié)都面臨著諸多問題和挑戰(zhàn)。這些問題和挑戰(zhàn)首先體現(xiàn)在技術(shù)方面，這需要虛擬攝制團隊的人員通過軟硬件開發(fā)等方式進行解決；其次是在溝通方面，根據(jù)LED 虛擬攝制與傳統(tǒng)影視制作的不同，及時與主創(chuàng)團隊進行溝通，了解在拍攝時主創(chuàng)團隊的需求，通過技術(shù)服務(wù)的方式使其在拍攝時更加舒適，能將注意力集中在藝術(shù)創(chuàng)作上。

針對上文提到的這些問題和挑戰(zhàn)，本文將結(jié)合筆者參與的多次LED 虛擬攝制測試實踐，按照制作階段順序，分別闡述在前期籌備階段、前期制作階段、現(xiàn)場制作階段和后期制作階段這四個不同階段的創(chuàng)作實踐中虛擬攝制團隊面臨的問題，并探尋這些問題的應(yīng)對策略。

2 前期籌備階段的問題及應(yīng)對策略

在前期籌備階段，LED 虛擬攝制的主要任務(wù)是進行劇本分鏡創(chuàng)作、美術(shù)概念設(shè)計并制定制片計劃。在制定制片計劃時，主創(chuàng)團隊需要確定影片的拍攝需求，并判斷影片是否需要采用LED 虛擬攝制技術(shù)。然而不同類型的影片使用LED 虛擬攝制技術(shù)的拍攝效果也會有所差異，因此怎樣為主創(chuàng)團隊提供更加“可視化”“沉浸式”的拍攝環(huán)境參考成為虛擬攝制團隊在前期籌備階段所面臨的主要問題。

在多次LED 虛擬攝制的創(chuàng)作實踐中，我們在前期籌備階段通常將與概念設(shè)計風格類似的場景渲染上屏，并根據(jù)主創(chuàng)團隊的拍攝要求進行功能調(diào)試，來給主創(chuàng)團隊沉浸式的創(chuàng)作參考和體驗。

例如，某戰(zhàn)爭題材影片計劃使用LED 虛擬攝制技術(shù)進行影片制作，虛擬攝制團隊為其提供了近似拍攝環(huán)境的制作測試。為使主創(chuàng)團隊獲得沉浸式的視覺參考，如圖2 所示，將一個戰(zhàn)爭類型的工程場景渲染上屏，并按照主創(chuàng)團隊的要求搭設(shè)了簡單的美術(shù)前景，且在軌道上架設(shè)了拍攝機位。主創(chuàng)團隊通過攝影機取景，直觀地了解到LED 虛擬攝制的拍攝區(qū)域、拍攝角度以及拍攝效果。并將其作為依據(jù)，判斷LED 虛擬攝制的拍攝區(qū)域和拍攝角度是否會對其拍攝帶來制約，拍攝效果是否符合概念設(shè)計風格，并最終確定LED 虛擬攝制技術(shù)是否適合其影片的制作。

圖2 戰(zhàn)爭場景拍攝參考

除此之外，創(chuàng)作團隊的具體項目制作也會有一些特殊的要求，而虛擬攝制團隊在拍攝前期可以進行技術(shù)測試，以論證是否可以滿足主創(chuàng)團隊的要求，并為其提供直觀的參考。如一個劇團演出想要運用LED 虛擬攝制技術(shù)進行影片制作，導演想要了解LED 背景墻在樂器上的反射效果，項目組使用樂器在LED 拍攝環(huán)境中模擬了屏幕反射的效果供導演參考。此外，LED 背景墻下方的接縫有可能會對拍攝有所影響，如圖3所示，可以利用綠幕遮擋接縫，并將綠幕部分進行摳像合成，這也能夠讓主創(chuàng)團隊清晰直觀地了解短片是否適合使用LED 虛擬攝制技術(shù)進行制作。

圖3 接縫綠幕摳像合成參考

3 前期制作階段的問題及應(yīng)對策略

LED 虛擬攝制的前期制作階段主要包含了虛擬內(nèi)容生產(chǎn)、勘景與置景以及前期預(yù)演等環(huán)節(jié)。在這個階段，虛擬攝制團隊的主要任務(wù)是將生產(chǎn)出的數(shù)字資產(chǎn)整合為虛擬場景工程，并為主創(chuàng)團隊提供虛擬置景、勘景和預(yù)演的服務(wù)；而虛擬攝制團隊在前期制作階段遇到的主要問題則是如何快速高效地完成資產(chǎn)整合并對工程進行優(yōu)化，以及如何讓主創(chuàng)團隊直觀地對虛擬場景進行勘查和調(diào)整。

3.1 資產(chǎn)整合及工程優(yōu)化

通常情況下，美術(shù)團隊會運用傳統(tǒng)的DCC 軟件進行建模、為模型添加材質(zhì)、為角色添加綁定、制作角色動畫。在此之后，虛擬攝制團隊需要將DCC 軟件創(chuàng)作的資產(chǎn)進行遷移和整合，將其完整地移植到實時渲染引擎中。

在數(shù)次LED 虛擬攝制測試片的制作中，我們采用的方法是通過Datasmith 工具將DCC 工具制作的資產(chǎn)導入實時渲染引擎中。Datasmith 是一系列工具和插件的集合，可以將使用各種常用DCC 軟件創(chuàng)建的完整場景和復雜資產(chǎn)導入實時渲染引擎。相比于其他資產(chǎn)遷移方式，Datasmith 的主要優(yōu)勢是它可以等比例地還原場景并保留單塊模型的命名規(guī)則以及元數(shù)據(jù)，并能將V-Ray 材質(zhì)轉(zhuǎn)換為PBR 材質(zhì)。對于靜態(tài)網(wǎng)格體資產(chǎn)，Datasmith 會創(chuàng)建一組單獨的靜態(tài)網(wǎng)格體資產(chǎn)，方便之后對場景的各個部分進行單獨處理。對于材質(zhì)資產(chǎn)，Datasmith 導入流程會在實時渲染引擎項目中創(chuàng)建新的材質(zhì)資產(chǎn)，表示它在導入的場景中識別到的不同的幾何體表面屬性。對于動畫資產(chǎn)，Datasmith 則會創(chuàng)建一個新的關(guān)卡序列。對于燈光資產(chǎn)，Datasmith 可以從支持光源的文件格式中導入光源，并自動將這些光源轉(zhuǎn)換為實時渲染引擎支持的最合適光源類型，但是由于采用的渲染方式不同，所以燈光資產(chǎn)導入后，還需要虛擬攝制團隊進行進一步的細化調(diào)整。

除了進行資產(chǎn)的遷移和整合，虛擬攝制團隊還需要對工程進行渲染優(yōu)化。LED 虛擬攝制對于實時渲染的要求極高，因此虛擬攝制團隊需要確定好自己的運行幀率和目標幀率。由于數(shù)次測試片的攝影機拍攝幀率均為24FPS，所以目標幀率也為24FPS，這就要求運行幀率要高于24FPS。此外，在使用nDisplay 插件渲染上屏時，它的運行幀率會低于編輯器中的運行幀率，因此運行幀率要以通過nDisplay 渲染上屏后的運行幀率為準。運行幀率可以通過在實時渲染引擎的視口選項中選擇顯示幀率來進行實時查看，并根據(jù)運行幀率分情況對工程進行進一步優(yōu)化。

第一種情況是，運行幀率遠遠高于目標幀率，這說明計算機性能仍有余量，這種情況可以采用在項目工程設(shè)置中加大內(nèi)視錐畫面的百分比，提高陰影質(zhì)量、添加更多光照等提高渲染開銷的操作。但需要注意的是，雖然內(nèi)容幀率比目標幀率高即可滿足拍攝需求，但由于在拍攝時經(jīng)常存在不確定因素，譬如主創(chuàng)團隊會對場景進行臨時修改，或者渲染工作站的系統(tǒng)資源會被臨時占用，這些不確定因素都會影響運行幀率，所以在具體操作中需要保留渲染性能的余量。

另一種情況，運行幀率低于目標幀率，譬如在跨院系聯(lián)合測試片的拍攝中，場景工程在完成了數(shù)字資產(chǎn)遷移后，運行幀率僅有約15FPS，這說明渲染性能有所不足，需要對工程進行優(yōu)化。為了滿足LED虛擬攝制的需求，優(yōu)化應(yīng)圍繞開銷最大的部分展開。從渲染的角度來看，半透明材質(zhì)、復雜材質(zhì)和動態(tài)陰影是對渲染速度影響最大的，此外，場景是逐模型渲染的，每一個模型都是一次繪制調(diào)用，繪制調(diào)用的次數(shù)越多，開銷也越大，所以優(yōu)化中盡量減少模型數(shù)量和復雜的材質(zhì)數(shù)量。此外，關(guān)閉垂直同步，并且將nDisplay 的同步策略設(shè)置為“無”，這樣也可以提高nDisplay 的運行速度。最終，我們對場景進行了優(yōu)化，運行幀率高于目標幀率，使其滿足LED 虛擬攝制的要求。

3.2 勘景與置景

在完成了虛擬場景工程的優(yōu)化后，怎樣與主創(chuàng)團隊對虛擬場景的效果進行協(xié)調(diào)論證是本階段的工作重點。在傳統(tǒng)的影視制作中，主創(chuàng)團隊通常會去現(xiàn)場進行勘景，并與美術(shù)團隊進行置景方面的溝通。但在LED 虛擬攝制中，勘景和置景的工作轉(zhuǎn)換到了虛擬場景中進行，這無疑將增加主創(chuàng)團隊勘景和置景的難度。大多數(shù)主創(chuàng)人員對實時渲染引擎的使用不夠熟練，需要通過虛擬攝制團隊的工作人員來操作實時渲染引擎，技術(shù)團隊如何服務(wù)藝術(shù)創(chuàng)作，兩者如何協(xié)作也是目前產(chǎn)業(yè)應(yīng)用的重要探索內(nèi)容。

目前虛擬攝制團隊通過技術(shù)手段給主創(chuàng)團隊帶來更加直觀的勘景體驗，主要采用的方案有兩種，分別是虛擬勘景和制作全景圖。

在數(shù)次測試片的拍攝中，我們使用的實時渲染引擎是Unreal Engine（UE），在UE 中虛擬勘景工具可以讓用戶使用虛擬現(xiàn)實（VR）設(shè)備在虛擬環(huán)境中漫游和交互，并做出決策。

如圖4 所示，在場景中，導演和攝影師可以使用VR 控制器進行漫游、添加標記、添加虛擬攝影機，并可以隨時調(diào)整攝影機的位置、光圈、快門、感光度等。此外，還可以利用軌道、腳架等不同工具進行機位的設(shè)計。而美術(shù)和場景設(shè)計師則可以在VR 中使用交互工具來修改虛擬場景。

圖4 虛擬勘景畫面①

但由于這些測試片的拍攝周期均較短，時間較為緊湊，因此在拍攝時沒有采用虛擬勘景的方案，而是制作拍攝點位的全景圖供主創(chuàng)人員參考（圖5）。在UE 中利用全景截圖（Panoramic Capture）插件渲染出UE 場景中幾個重要點位的全景圖，共渲染了6 個點位的全景圖片，并將其上傳至全景圖片創(chuàng)作平臺720 云中。主創(chuàng)人員可以通過網(wǎng)頁分享直觀查看場景的制作情況，并及時給出反饋。此外，主創(chuàng)團隊還可以在線上通過VR 設(shè)備對場景進行VR 勘景，以此增強勘景的直觀性。

圖5 重點點位全景圖

4 現(xiàn)場制作階段的問題及應(yīng)對策略

進入到現(xiàn)場制作階段，相比于傳統(tǒng)的影視制作流程，LED 虛擬攝制為主創(chuàng)團隊提供了“所見即所得”的拍攝環(huán)境，并且在防止綠幕溢色、提升演員表演體驗、減少外出取景拍攝的風險等方面有著其獨特的優(yōu)勢。然而，現(xiàn)場制作也是LED 虛擬攝制與傳統(tǒng)電影制作差別最大的階段，通常在該階段會遇到許多技術(shù)方面的問題。例如，現(xiàn)場制作階段出現(xiàn)了攝影機跟蹤、虛擬場景編輯、場景照明、高速拍攝和前后景交互等方面的問題，而這些問題需要虛擬攝制團隊通過技術(shù)手段去解決。

4.1 攝影機跟蹤

攝影機跟蹤技術(shù)是LED 虛擬攝制的關(guān)鍵技術(shù)。在跨院系聯(lián)合測試片的拍攝中，由于拍攝環(huán)境較為復雜且預(yù)算有限，因此使用HTC VIVE 進行攝影機跟蹤定位較為適合。

在拍攝的過程中，HTC VIVE 有多次跟蹤不穩(wěn)定的情況。其主要原因是現(xiàn)場拍攝環(huán)境較為擁擠，而這會對HTC VIVE 的信號產(chǎn)生遮擋，致使跟蹤不穩(wěn)定。 如圖6 所示，對于這種跟蹤丟失的現(xiàn)象可以采用架設(shè)延長桿的方法，使HTC VIVE 跟蹤器處于較高的位置，以此避免被場內(nèi)的人員遮擋。此外，還需對延長桿的長度進行準確測量，并在UE 的Live Link 插件中根據(jù)測量結(jié)果調(diào)整跟蹤的偏移量。在使用延長桿后，攝影機跟蹤丟失的問題被成功解決。

圖6 延長桿架設(shè)示意圖

此外，在跟蹤丟失后，HTC VIVE 的標定信息會丟失。在現(xiàn)場拍攝時，攝影機上的跟蹤器經(jīng)常會因為超出基站的信號覆蓋范圍而導致跟蹤丟失，而每次跟蹤丟失后都要重新戴上HTC VIVE 的頭盔進行標定，并且利用頭盔進行標定時需要讓周圍的工作人員都離開區(qū)域，這會大幅降低現(xiàn)場拍攝的效率。因此拍攝時，我們通過按鍵映射的方式調(diào)用UE 標定的藍圖。這樣在標定信息丟失后便無需再戴上HTC VIVE的頭盔，而是可以直接通過按鍵映射在UE 中進行手動標定。

除了攝影機的位置信息，其靶面大小、焦點、焦距等參數(shù)也需要與虛擬攝影機進行同步。靶面大小是固定的，可以直接手動進行匹配，但焦點、焦距在拍攝時一直都會改變，如何實時地將攝影機的數(shù)據(jù)與虛擬攝影機匹配是拍攝中亟需解決的問題。為此，虛擬攝制團隊開發(fā)了一套焦點焦距同步器，完成了項目。如圖7所示，該設(shè)備通過跟焦齒輪獲取攝影機的實時焦點和焦距，并通過OSC 協(xié)議傳入實時渲染引擎，即可與虛擬攝影機進行實時同步。

圖7 焦點焦距同步器

4.2 實時場景編輯

在現(xiàn)場拍攝時，導演經(jīng)常需要對虛擬場景工程進行修改。但是如果僅僅在一臺渲染節(jié)點的UE 編輯器中進行修改，無論是LED 背景墻的渲染畫面還是其他的渲染子節(jié)點都不會保存該編輯器中的修改。因此在對一臺渲染子節(jié)點的編輯器進行修改后，還需要將該工程拷貝給其他幾臺工作站，這樣才能保證nDisplay 渲染的正確性。然而，現(xiàn)場的拍攝時間非常寶貴，如果每次更改都要重新拷貝工程，那將會浪費大量的拍攝時間。

為了解決這一問題，在跨院系聯(lián)合測試片的拍攝中，我們利用了UE 中的多用戶編輯功能，該功能可以使位于同一網(wǎng)絡(luò)下的UE 編輯器都可以就同一個項目內(nèi)容進行協(xié)同編輯。LED 背景墻畫面由四臺渲染子節(jié)點同步渲染，在拍攝時，需要將四臺渲染子節(jié)點連接至同一局域網(wǎng)，并通過多用戶編輯功能，使四臺渲染子節(jié)點可以進行協(xié)同編輯。這樣就可以根據(jù)主創(chuàng)團隊的要求快速地對場景中的虛擬場景工程進行修改，讓創(chuàng)作更加自由。

舉例來說，在跨院系聯(lián)合測試片的拍攝中，導演在拍攝時臨時提出了一個要求，即在該場景的空中添加幾個月亮。如圖8所示，虛擬攝制團隊在一臺渲染節(jié)點上通過材質(zhì)節(jié)點完成了月亮的制作，并在其他渲染節(jié)點上對修改結(jié)果進行保存，即可將編輯結(jié)果同步在每一臺渲染子節(jié)點，而不需要重新對工程進行拷貝。

圖8 月亮制作效果圖

特別地，由于現(xiàn)場拍攝環(huán)境較為復雜、聲音較為嘈雜，主創(chuàng)團隊與虛擬攝制團隊在現(xiàn)場溝通比較困難、低效，而且主創(chuàng)團隊經(jīng)常調(diào)整的參數(shù)又往往比較集中，項目組嘗試將這些參數(shù)通過簡單、便攜的方式開放給主創(chuàng)團隊，從而大大減少溝通成本，提升拍攝效率。在跨院系聯(lián)合測試片的拍攝中，為了便于主創(chuàng)團隊對其關(guān)注的性能參數(shù)進行修改，我們使用了UE 的網(wǎng)頁遠程控制系統(tǒng)，設(shè)計了簡潔明了的友好用戶界面（UI），使主創(chuàng)團隊可以使用iPad 遠程對常見的參數(shù)進行修改。

在UE 的網(wǎng)頁遠程控制系統(tǒng)，筆者新建了一個預(yù)設(shè)，并設(shè)立了四個模塊，一個模塊為Camera，包含內(nèi)視錐攝影機的曝光、焦距、景深、視場乘數(shù)②等內(nèi)容；一個模塊為Stage，包含虛擬LED 背景墻的X、Y、Z 軸的位置和旋轉(zhuǎn)信息，可以通過改變虛擬LED 背景墻的位置和朝向，使LED 背景墻渲染的畫面也隨之改變；一個模塊為Light，該模塊包含光卡的位置、大小、顏色等信息；最后一個模塊為Snapshot，利用UE 的關(guān)卡快照功能，該功能能夠使用戶在關(guān)卡的世界大綱視圖中保存Actors 的特定配置，并將場景快速恢復到該狀態(tài)。在跨院系聯(lián)合測試片的拍攝中，拍攝的場景主要有餐廳、街道、燈牌旁等，我們提前調(diào)整好這幾個重點場景的拍攝位置，并利用關(guān)卡快照進行記錄，這樣在拍攝時可以隨時在不同場景中快速切換。

4.3 場景照明

LED 背景墻的每一個像素點就是一個獨立的光源，成千上萬個燈珠組成的LED 背景墻能夠從不同位置照射到被攝體，因此LED 背景墻在展示虛擬世界的同時，也可以作為光源為拍攝環(huán)境提供基礎(chǔ)照明。與傳統(tǒng)電影照明燈具相比，它的調(diào)整自由度更高、調(diào)節(jié)方式更方便，并且非常擅長為具有反射、透射材質(zhì)的道具提供正確的反射、透射圖像。

如圖9 所示，系內(nèi)測試片的拍攝場景中有玻璃杯等具有反射屬性的物體，對于這種物體，LED 虛擬攝制在光照方面有著獨特的優(yōu)勢。

圖9 物體反射效果

但是由于LED 背景墻中燈珠發(fā)光強度較低，因此當虛擬場景中畫面整體偏暗時，亮部就不足以照亮LED 背景墻前的真實物體。例如系內(nèi)測試片有一場暗光環(huán)境下的摩托車車戲，這場戲需要讓街道兩側(cè)的路燈燈光間歇照射在演員身上。然而，LED 背景墻的亮度不足以在演員臉上展現(xiàn)出路燈的明暗變化。針對這種情況，如圖10所示，虛擬攝制團隊利用UE 的“光卡”功能，在屏幕兩側(cè)的路燈所在位置設(shè)置了“光卡”，并讓“光卡”隨著車輛的行駛進行移動，以此通過其大面積的光照來補充照明，而這個光照的形狀、色彩等都可以根據(jù)需求自行選擇，讓演員獲得了真實的動態(tài)照明。

圖10 光卡補充照明效果圖

LED 背景墻作為顯示設(shè)備，其屏幕亮度與傳統(tǒng)的影視照明設(shè)備相比，仍然有著較大的差距。而且，LED 背景墻是通過RGB 燈珠發(fā)光，其光譜分布不均勻，所以LED 背景墻的照明顯色性相對于傳統(tǒng)影視照明設(shè)備會有所差距。在進行跨院系聯(lián)合測試片拍攝時，攝影師認為如果僅僅使用LED 背景墻作為照明無法滿足影視拍攝的照明需求。針對此問題，如圖11 所示，我們利用了照明顯色性更好的多基色燈光陣列進行補光。這些燈光陣列支持Art-net 或sACN 協(xié)議，可以通過UE 發(fā)送DMX 信號來調(diào)整其照明參數(shù)。這種方法不僅可以滿足影視拍攝的照明需求，還可以提高燈光調(diào)整的自由度和便利性。

圖11 多基色燈光陣列效果圖

4.4 高速拍攝

高速拍攝能夠?qū)⒖焖龠\動的物體成像為清晰的畫面并將其運動速度變緩，因此它可以幫助捕捉到許多肉眼無法察覺的瞬間，并且創(chuàng)造出一些獨特有趣的藝術(shù)表現(xiàn)手法。在電影的拍攝過程中，諸如炸彈爆炸、汽車碰撞、火焰燃燒、水花飛濺等效果常常需要通過高速拍攝的方式來完成。然而，如圖12 所示，在LED 虛擬攝制中，如果使用高速拍攝的方法，就可能會產(chǎn)生閃爍和爬格的現(xiàn)象，這些都與LED 背景墻本身的顯示特性相關(guān)。

圖12 高速拍攝時閃爍、爬格現(xiàn)象

LED 背景墻的顯示原理是利用閃爍的方式來模擬連續(xù)的圖像，即在非常短的時間內(nèi)反復開關(guān)LED燈來產(chǎn)生類似于連續(xù)圖像的效果。然而，這種閃爍的方式會產(chǎn)生短暫的黑屏，在高速拍攝的過程中，由于拍攝幀率的過快，相鄰兩幀之間的時間間隔非常短，就會產(chǎn)生閃爍現(xiàn)象。

LED 背景墻的爬格現(xiàn)象與LED 燈的排列方式和刷新頻率有關(guān)。在LED 背景墻中，LED 燈是按照一定的規(guī)律排列在一起的，如果拍攝幀率與刷新頻率不匹配，則可能會出現(xiàn)拍攝到的連續(xù)兩幀之間的LED 燈排列方式不同的情況，從而形成了爬格的現(xiàn)象。

經(jīng)過多次高速拍攝測試，基本可以推斷出LED屏的全部灰度是通過幾個基礎(chǔ)的灰度在時域上交替閃爍的混合方式實現(xiàn)的。因此，顯示畫面的RGB 碼值（0～255）越低，閃爍的情況越嚴重；而在RGB 碼值相同時，視頻處理器給到LED 背景墻的伽馬值越大，閃爍的情況越嚴重。在攝影機的設(shè)置方面，拍攝時攝影機的快門速度越快，閃爍和爬格的現(xiàn)象越明顯，而使用同步鎖相（Genlock）的方式對攝影機和LED 背景墻進行同步，可以減輕閃爍和爬格的現(xiàn)象。此外，拍攝時實時渲染的幀速率也需要高于攝影機拍攝的幀速率。

綜上所述，在LED 虛擬攝制的現(xiàn)場拍攝階段，拍攝者應(yīng)當根據(jù)自身拍攝畫面的亮度、視頻處理器伽馬值、快門速度、實時渲染幀速率、是否使用Genlock同步等因素進行綜合考量，并提前測試好合適的高速拍攝的幀速率。

4.5 前后景交互

電影制作中，演員的表演需要在特定環(huán)境中展開，環(huán)境和表演之間相互依托。因此，LED 虛擬攝制與傳統(tǒng)的藍幕/綠幕特效制作流程相比，其優(yōu)勢便是演員表演時不用再去假想環(huán)境，而是可以在具體的虛擬環(huán)境中進行表演，并且甚至可以實時地與虛擬場景中的物體、角色進行交互。但是想要驅(qū)動虛擬場景的物體和角色進行交互，就需要利用UE 中的藍圖、動畫等功能。

在系內(nèi)測試片的拍攝中，為了嘗試演員與虛擬場景的交互，我們設(shè)計了兩個具有前后景交互內(nèi)容的鏡頭。

如圖13 所示，第一個鏡頭是演員與火車進行交互，即火車從后景向前移動，在移動的過程中演員回頭望向路過的火車。該數(shù)字資產(chǎn)中的火車是一個不能移動的網(wǎng)格體，為了使其能夠通過運動與前景的人物進行交互，我們利用Sequencer 創(chuàng)建了火車運動的動畫，并通過按鍵控制驅(qū)動Sequencer 動畫進行播放。這樣演員只需要按照劇本和導演的指導進行表演，而火車的運動則由虛擬攝制團隊通過按鍵進行控制，使前景的演員與背景的火車完成交互。

圖13 演員與火車交互

如圖14 所示，這個鏡頭是一場戰(zhàn)爭戲，涉及的物體運動更加復雜，即一架飛機在空中盤旋后墜毀爆炸。為了實現(xiàn)飛機復雜的運動軌跡，我們使用樣條曲線對飛機的運動軌跡進行了繪制，并通過按鍵控制驅(qū)動飛機開始按照樣條曲線的軌跡進行運動。而飛機的爆炸效果則通過盒體碰撞完成，即飛機與盒體碰撞器重疊后，飛機爆炸并且消失。而該爆炸效果則通過UE 的Niagara 粒子系統(tǒng)進行真實感的粒子效果模擬。在實際拍攝過程中，演員可以看到飛機在LED 背景墻中的運行軌跡，并且可以根據(jù)飛機的飛行軌跡進行表演，達到前后景交互的效果。

圖14 戰(zhàn)爭測試片畫面

5 后期制作階段的問題及應(yīng)對策略

在傳統(tǒng)的影視制作流程中，后期制作內(nèi)容包括了模型、材質(zhì)、燈光、綁定、特效、合成等大量工作，而在LED 虛擬攝制中，由于“后期前置”，其后期制作階段的工作量大大減少。

LED 虛擬攝制的后期制作階段主要包括了視效鏡頭制作和其他后期制作環(huán)節(jié)，其中視效鏡頭的制作又包括了內(nèi)視錐綠幕鏡頭的合成、前景視效層的合成和非實拍鏡頭的制作。在筆者LED 虛擬攝制測試片的后期制作過程中，虛擬攝制團隊遇到的問題主要存在于CG 鏡頭的制作環(huán)節(jié)。

LED 虛擬攝制的影視制作流程中，除了實拍鏡頭，通常還需要進行一些CG 鏡頭的制作。傳統(tǒng)制作流程中，這些CG 鏡頭是在DCC 軟件中制作，并且為了滿足電影對于畫質(zhì)的高要求，通常采用離線方式進行渲染。但是LED 虛擬攝制中的數(shù)字資產(chǎn)通常都是在UE 等實時渲染引擎中制作，如果在制作CG 鏡頭時，再將實時渲染引擎中的資產(chǎn)遷移至DCC 軟件中進行渲染，會增加極大的工作量，并且在數(shù)字資產(chǎn)遷移的過程中，還會遇到許多軟件不兼容的問題。

因此LED 虛擬攝制中CG 鏡頭可以通過實時渲染引擎進行渲染，以UE 為例，盡管UE 是實時渲染引擎，但它也開放了多種不同的渲染方式。

關(guān)卡序列是UE 中制作視頻動畫的功能。關(guān)卡序列中的多軌道編輯器可以利用關(guān)鍵幀為對象、角色和攝影機添加動畫，以此完成CG 鏡頭的制作。在CG 鏡頭制作完畢后，關(guān)卡序列支持多種渲染方式，其中比較常見的是影片渲染隊列中的延遲渲染和路徑追蹤這兩種方式。而針對影視級別的高精度CG鏡頭渲染，路徑追蹤的渲染方式具有更好的渲染表現(xiàn)。

如圖15 所示，相比于延遲渲染，路徑追蹤在渲染金屬、玻璃等半透明物體時更加準確，并且能夠在材質(zhì)上呈現(xiàn)物理真實且無損的全局光照、反射和折射效果。

圖15 延遲渲染與路徑追蹤渲染畫面對比

在參數(shù)調(diào)整時，光子最大反彈數(shù)越多，圖像信息就越準確，但光子數(shù)量到達一定值之后，所取得的效果會越來越不明顯，所以應(yīng)根據(jù)畫面需求以及渲染時間來設(shè)置。像素采樣越大，畫面中的噪點就會越少，但渲染時間也會隨之逐漸增加。此外，可以通過過濾器寬度控制畫面中物體邊緣的銳利和模糊，并通過降噪器進行降噪。

完成CG 鏡頭制作之后，虛擬攝制團隊應(yīng)當按照交接規(guī)范將LED 虛擬攝制的實拍鏡頭和CG 鏡頭交付給調(diào)色部門進行調(diào)色。

6 總結(jié)與展望

本文結(jié)合筆者參與的多次LED 虛擬攝制測試實踐，探討了虛擬攝制團隊在整個制作流程中所面臨的問題，并提出了我們的應(yīng)對策略。經(jīng)過多次LED虛擬攝制的拍攝測試與實踐，我們不難看出，盡管在影片制作的過程中受到場景資產(chǎn)遷移不便、高速拍攝幀速率受限等不同制約因素的影響，但LED 虛擬攝制依靠“所見即所得”、拍攝自由度高、拍攝把控性強等眾多獨特優(yōu)勢，使其在未來的影視制作領(lǐng)域具有巨大的發(fā)展?jié)摿?。尤其在拍攝場景多為陰天、黃昏、濃霧、夜晚等光線較為柔和的影視劇中，LED 虛擬攝制不但能為劇組提供無時間限制的拍攝窗口期，還可以模擬出極其逼真的拍攝效果，目前在國內(nèi)外的該類型影片中，LED 虛擬攝制已經(jīng)開始被廣泛使用。

在之后的拍攝和實踐中，我們的虛擬攝制團隊既要隨時關(guān)注全球LED 虛擬攝制的行業(yè)動向，結(jié)合行業(yè)最前沿的技術(shù)和方法來優(yōu)化整體拍攝解決方案。同時，還要根據(jù)自身的需求，通過軟硬件開發(fā)提高LED 虛擬攝制系統(tǒng)的操控性。相信隨著LED 虛擬攝制技術(shù)相關(guān)軟硬件系統(tǒng)的不斷優(yōu)化，其系統(tǒng)穩(wěn)定性、實時渲染精度、攝影機跟蹤精度都會不斷上升，系統(tǒng)延遲也會不斷降低，LED 虛擬攝制不僅會突破傳統(tǒng)藍幕/綠幕實時交互預(yù)演的諸多束縛，還將進一步革新整個電影制作流程，必將使電影的工業(yè)化道路邁上新的臺階。

作者貢獻聲明：

耿天樂:設(shè)計論文框架,撰寫與修訂論文,全文文字貢獻70%;

趙建軍:修訂論文與內(nèi)容規(guī)范,全文文字貢獻15%;

常一孜:修訂論文與內(nèi)容規(guī)范,全文文字貢獻10%；

陳軍:修訂論文與內(nèi)容規(guī)范,全文文字貢獻5%。

注釋

①圖片來源：https://docs.unrealengine.com/5.2/Images/buildingvirtual-worlds/VirtualScouting/ActivateVirtualScouting/menus.webp。

②視場乘數(shù)是虛幻引擎內(nèi)視錐攝影機的參數(shù)之一。通過控制視場乘數(shù)，可以控制內(nèi)視錐的大小，默認情況下視場乘數(shù)為1。