浙江傳媒學(xué)院 黃河

近年來(lái)，游戲領(lǐng)域中超高清實(shí)時(shí)渲染、五花八門(mén)的特效及交互等新技術(shù)被逐漸引入到廣播電視行業(yè)中的電視圖文及虛擬演播室包裝，這些新技術(shù)的使用為該行業(yè)提供了全新的制作思路與方法，亦為廣播電視行業(yè)開(kāi)啟了嶄新的制作前景。本文以Zero Density 公司的虛擬演播室/增強(qiáng)現(xiàn)實(shí)系統(tǒng)為例，探討了當(dāng)前游戲引擎現(xiàn)狀，虛幻引擎（Unreal Engine）的優(yōu)勢(shì)，以及游戲引擎環(huán)境下4K級(jí)別虛擬演播室、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)的系統(tǒng)硬軟件構(gòu)成。

虛擬演播技術(shù)自1994年國(guó)際廣播電視會(huì)議上首次出現(xiàn)至今不到30年的歷史，期間國(guó)內(nèi)外大大小小的公司研發(fā)推出了具有各自特點(diǎn)的虛擬演播室軟硬件產(chǎn)品，從國(guó)外以色列ORAD 公司開(kāi)發(fā)的基于圖像識(shí)別的Cyberset虛擬演播室系統(tǒng)到國(guó)內(nèi)大洋公司的Vrset 虛擬演播系統(tǒng)，虛擬演播室產(chǎn)品可謂琳瑯滿目，其獨(dú)特的圖文包裝力在各行各業(yè)迅速應(yīng)用。曾幾何時(shí)虛擬演播室一度被用作控制制作預(yù)算的一種手段，與實(shí)景相比虛擬場(chǎng)景更容易實(shí)現(xiàn)、修改，具有可以不斷的重復(fù)利用，使用成本低等特點(diǎn)，雖然虛擬演播室具有這些優(yōu)勢(shì)，但也有首期投入大、虛擬場(chǎng)景、摳像不夠真實(shí)、攝像機(jī)跟蹤有延遲、使用復(fù)雜等缺點(diǎn)，技術(shù)上的限制使得虛擬演播室沉寂了一段時(shí)間。近年來(lái)隨著游戲領(lǐng)域中電影級(jí)別的視覺(jué)效果，超高清場(chǎng)景逼真的實(shí)時(shí)渲染、4K 級(jí)別優(yōu)秀的畫(huà)質(zhì)、令人嘆為觀止的特效及交互等新技術(shù)在電視圖文包裝及虛擬演播室行業(yè)中的推廣，為此行業(yè)帶來(lái)了新發(fā)展與新希望，從而打開(kāi)了嶄新的應(yīng)用前景，這些新技術(shù)正廣泛地應(yīng)用于大型綜藝晚會(huì)(2021 春節(jié)聯(lián)歡晚會(huì))、競(jìng)選直播、體育轉(zhuǎn)播、電競(jìng)比賽等各行各業(yè)。

1 游戲引擎與虛擬演播室技術(shù)結(jié)合

1.1 游戲引擎簡(jiǎn)介

游戲引擎其實(shí)就是一個(gè)平臺(tái)，整合了完成游戲制作的各種系統(tǒng)，主要由以下部分組成：圖像渲染引擎、物理引擎、人體學(xué)接口設(shè)備引擎、網(wǎng)絡(luò)引擎、碰撞檢測(cè)系統(tǒng)、音效、電腦動(dòng)畫(huà)、腳本引擎、人工智能以及場(chǎng)景管理等，它涉及到游戲制作中的所有元素，例如硬件調(diào)用、渲染、動(dòng)畫(huà)、貼圖、交互等方方面面。游戲設(shè)計(jì)開(kāi)發(fā)是一項(xiàng)多學(xué)科高度融合的工作，其中高度復(fù)雜的代碼開(kāi)發(fā)只是最基本的技能之一，它涉及的內(nèi)容還有計(jì)算機(jī)圖形學(xué)、三維數(shù)學(xué)、物理學(xué)等復(fù)雜的學(xué)科。若需要掌握這么多學(xué)科知識(shí)才能進(jìn)行游戲制作開(kāi)發(fā)，對(duì)大多數(shù)人來(lái)說(shuō)是很難完成的任務(wù)，更談不上開(kāi)發(fā)游戲。而游戲引擎是引擎開(kāi)發(fā)者已編寫(xiě)好一些代碼，然后把各種復(fù)雜的代碼封裝起來(lái)構(gòu)成了一些基礎(chǔ)核心組件，這些組件可以被游戲開(kāi)發(fā)者直接調(diào)用而不用考慮一些底層的東西，這樣一般的游戲開(kāi)發(fā)者制作游戲就不用掌握游戲開(kāi)發(fā)的各項(xiàng)細(xì)節(jié)，如此以來(lái)能大大縮短開(kāi)發(fā)周期、節(jié)約開(kāi)發(fā)成本，使得游戲開(kāi)發(fā)不是那么的高不可攀。

目前比較主流的游戲開(kāi)發(fā)引擎有國(guó)外的EPIC 公司“虛幻”即Unreal Engine 簡(jiǎn)稱UE（開(kāi)發(fā)過(guò)“絕地求生”“使命召喚”）、Unity Technologies 公司的“Unity3D”（開(kāi)發(fā)過(guò)“王者榮耀”“神廟逃亡”）、Valve 公司“起源”(制作過(guò)“半條命”)、EA DICE“寒霜”（開(kāi)發(fā)過(guò)“戰(zhàn)地”）。國(guó)內(nèi)網(wǎng)易的“彌賽亞引擎”（開(kāi)發(fā)過(guò)《天下3》）、搜狐的“黑火”引擎（開(kāi)發(fā)過(guò)“代號(hào)x7”）、金山軟件西山居研發(fā)的“劍三”引擎，專門(mén)為《劍俠情緣網(wǎng)絡(luò)版三》打造的一款游戲引擎等。

1.2 Epic 公司的Unreal Engine 虛幻引擎被引入電視圖文制作

Epic Games 公司于1998年發(fā)布了首款虛幻游戲引擎（Unreal Engine 簡(jiǎn)稱UE），至今最新版本為Unreal Engine5。UE 作為一款游戲引擎被引入到電視圖文及虛擬演播室制作，是因?yàn)樗哂幸韵聝?yōu)勢(shì)：

（1）UE 從UE4 開(kāi)始代碼是開(kāi)源的，從而用戶可以從最底層開(kāi)發(fā)，最大限度的發(fā)揮平臺(tái)的優(yōu)勢(shì)。（2）UE 開(kāi)發(fā)的游戲畫(huà)質(zhì)能到達(dá)電影級(jí)，能渲染出極度逼真的超高清畫(huà)面。（3）UE 從UE4 開(kāi)始它是免費(fèi)的，可直接從EPIC 公司官網(wǎng)下載使用。（4）UE 既能利用C++從底層進(jìn)行開(kāi)發(fā)，又能當(dāng)開(kāi)發(fā)者對(duì)編程不是很熟悉的情況下也可以使用它的可視化編程，即獨(dú)具特色的藍(lán)圖（Blueprint），利用封裝的藍(lán)圖節(jié)點(diǎn)實(shí)現(xiàn)相應(yīng)的邏輯功能。（5）UE 是跨平臺(tái)的引擎，支持從Xbox One 到Windows、Mac OSX、Linux 等系統(tǒng)。正因?yàn)橐陨蟽?yōu)勢(shì)，它就具有了被引入到影視圖文制作的條件，目前國(guó)外比較好的把UE4 引入電視圖文及虛擬演播制作的公司有土耳其注冊(cè)的Zero Density公司，它于2016年全球首次推出了基于虛幻4 引擎的電影級(jí)虛擬影視制作系統(tǒng)Reality，它不光使用虛擬引擎進(jìn)行場(chǎng)景的渲染，還包含基于節(jié)點(diǎn)的摳像、4K 級(jí)別的視頻輸入輸出、交互性播控、攝像機(jī)跟蹤系統(tǒng)的支持、API接口等，它充分發(fā)揮了虛幻引擎的優(yōu)秀畫(huà)質(zhì)，實(shí)時(shí)的圖形優(yōu)化，它是個(gè)完善的實(shí)時(shí)電視節(jié)目及虛擬制作系統(tǒng)[1]。

2 虛幻引擎環(huán)境下4K 虛擬演播室/增強(qiáng)現(xiàn)實(shí)系統(tǒng)硬軟件系統(tǒng)

2.1 Zero Density 系統(tǒng)構(gòu)成

Zero Density 作為全球首家推出虛幻環(huán)境下虛擬演播系統(tǒng)解決方案的公司在行業(yè)內(nèi)具有一定的領(lǐng)先優(yōu)勢(shì)，也是目前世界上畫(huà)質(zhì)最好、最真實(shí)的系統(tǒng)。本文以此公司的Reality 虛擬演播室/增強(qiáng)現(xiàn)實(shí)系統(tǒng)為例探討UE4環(huán)境下硬軟件系統(tǒng)。此系統(tǒng)構(gòu)成如圖1所示。

圖1 Zero Density 虛擬演播室系統(tǒng)圖Fig.1 Zero Density virtual studio system diagram

Reality Engine（渲染引擎）：Reality Engine 是一臺(tái)高性能的圖形工作站，主板插槽上運(yùn)行高性能顯卡Nvidia RTX A6000 GPU，以及AJA88 視頻采集卡等硬件設(shè)備。渲染引擎的內(nèi)核基于EpicGames 公司的Unreal Engine 引擎，能實(shí)時(shí)渲染輸出電影級(jí)的畫(huà)面，引擎包含了能利用GPU 處理能力的內(nèi)置色鍵器進(jìn)行16bit 實(shí)時(shí)摳像，可對(duì)所有輸入引擎的視頻進(jìn)行摳像處理，并在引擎內(nèi)部合成到虛擬場(chǎng)景之中，色鍵使用實(shí)時(shí)像素對(duì)比方式進(jìn)行摳像，且能夠指定任意形狀（規(guī)則圖形和不規(guī)則圖形）的摳像區(qū)域和不摳像區(qū)，Reality Engine 支持行業(yè)標(biāo)準(zhǔn)的機(jī)械和光學(xué)攝像機(jī)跟蹤系統(tǒng)。

Reality Engine 可以實(shí)現(xiàn)虛擬演播室、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)制作，主要負(fù)責(zé)節(jié)目制作中虛擬場(chǎng)景的實(shí)時(shí)渲染、攝像機(jī)實(shí)拍畫(huà)面和虛擬畫(huà)面的合成以及視頻的輸入和輸出，需要安裝運(yùn)行Reality Engine Server。

（1）Reality Editor（編輯工作站）：虛擬場(chǎng)景及藍(lán)圖交互設(shè)計(jì)制作的工作站，安裝運(yùn)行Reality Editor，此設(shè)計(jì)制作軟件實(shí)際上是UE 相應(yīng)版本的改裝，增加了一些Reality 的封裝節(jié)點(diǎn)及功能。因?yàn)镽eality Editor 基于開(kāi)放且通用的UE4 平臺(tái)，而非封閉的獨(dú)家制作軟件，所以能從諸如C4D/Maya/3D Max4 這樣的通用制作平臺(tái)導(dǎo)入模型等對(duì)象。

（2）Reality Control（控制工作站）：Reality Control是Reality 系統(tǒng)的一個(gè)集成控制界面，用戶可以在臺(tái)式機(jī)或筆記本上操作、配置和監(jiān)控系統(tǒng)中所有的引擎，對(duì)所有引擎進(jìn)行統(tǒng)一設(shè)置和動(dòng)畫(huà)觸發(fā)。它也可以通過(guò)網(wǎng)絡(luò)遠(yuǎn)程控制節(jié)目的播出及引擎的管理。安裝運(yùn)行Reality Control，設(shè)置引擎、Cooker 的網(wǎng)絡(luò)地址及端口，Control 中優(yōu)化項(xiàng)目(Cook)，導(dǎo)入相應(yīng)的打包項(xiàng)目，監(jiān)控系統(tǒng)運(yùn)行及狀態(tài)。

（3）R 盤(pán)（網(wǎng)路存取映射盤(pán)）：作為整個(gè)Reality 系統(tǒng)網(wǎng)絡(luò)的共享存儲(chǔ)空間，是系統(tǒng)中素材和資源的保存盤(pán)，一些必要的配置文件也保存于該盤(pán)。

（4）Cook Server（打包服務(wù)器）：負(fù)責(zé)對(duì)制作完成的場(chǎng)景進(jìn)行打包優(yōu)化處理，并將打包完成的文件保存于指定相應(yīng)文件夾下，以供引擎運(yùn)行時(shí)調(diào)用。

2.2 Reality 虛擬演播系統(tǒng)工作流程

運(yùn)行Reality Engine Server，使用ZD 自帶的Reality Editor 或相應(yīng)版本的UE4 制作好場(chǎng)景及藍(lán)圖，藍(lán)圖的GameMode 模式設(shè)置為ZD GameMode 點(diǎn)擊運(yùn)行，打開(kāi)Reality Control，設(shè)置或?qū)隦Graph 文件，根據(jù)光照情況調(diào)整好摳像，調(diào)整好跟蹤信號(hào)等，然后可以控制藍(lán)圖節(jié)點(diǎn)從而控制場(chǎng)景中相應(yīng)的對(duì)象。

2.3 核心硬件系統(tǒng)搭建

系統(tǒng)主要由渲染引擎（Reality Engine）、攝像機(jī)跟蹤系統(tǒng)、4K 攝像機(jī)和同步發(fā)生器等構(gòu)成，如圖2所示。

圖2 Zero Density 虛擬演播室硬件結(jié)構(gòu)圖Fig.2 Zero Density hardware structure diagram of virtual studio

以浙江傳媒學(xué)院4K 電競(jìng)綜合實(shí)驗(yàn)室為例：攝像機(jī)采用的是SONY HDC-3500 4K 超高清攝像機(jī)，攝像機(jī)上加裝了跟蹤系統(tǒng)，目前加裝的Mo-Sys 公司的StarTracker光學(xué)跟蹤系統(tǒng)，Reality Engine 虛擬渲染引擎可以支持Shotoku、Vinten、Stype、Mo-Sys、Ncam、Solid Track、Trackman、Gension、Ross Furio 等常見(jiàn)虛擬跟蹤設(shè)備品牌。當(dāng)沒(méi)有跟蹤設(shè)備的時(shí)候，能夠以無(wú)軌跟蹤的形式模擬攝像機(jī)運(yùn)動(dòng)，所實(shí)現(xiàn)的虛擬機(jī)位和運(yùn)動(dòng)路徑?jīng)]有數(shù)量限制，同一臺(tái)引擎可支持多個(gè)來(lái)源的跟蹤數(shù)據(jù)接入[2，3]。

3 結(jié)語(yǔ)

游戲引擎環(huán)境下的虛擬演播室、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)是目前最優(yōu)的實(shí)時(shí)廣播合成系統(tǒng)，可在一臺(tái)機(jī)器上實(shí)現(xiàn)具有視頻I/O、鍵控、合成和渲染的實(shí)時(shí)視覺(jué)效果。作為最逼真的實(shí)時(shí)制作解決方案，可以創(chuàng)建最具沉浸感的內(nèi)容，并徹底改變廣播、媒體和電影行業(yè)的敘事方式。廣電行業(yè)涉及的領(lǐng)域非常龐大，涵蓋從攝像機(jī)和演播室到網(wǎng)絡(luò)技術(shù)、后期制作服務(wù)和直播視頻的方方面面，近年來(lái)隨著游戲引擎在行業(yè)的引入，帶來(lái)了令人難以置信的進(jìn)步，這些發(fā)展預(yù)示著全新的電視圖文包裝和虛擬演播室技術(shù)的興起。