譚 陽(yáng)

（中央廣播電視總臺(tái)，北京 100859）

隨著虛擬技術(shù)的快速發(fā)展，其越來(lái)越多地被應(yīng)用于綜藝、體育、訪談、電子競(jìng)技等各類電視節(jié)目中，實(shí)時(shí)數(shù)據(jù)的AR呈現(xiàn)、商業(yè)廣告的虛擬植入、虛擬IP的同臺(tái)演藝、節(jié)目場(chǎng)景的虛實(shí)融合、物體與現(xiàn)象的虛擬展示等。眾多融入虛擬技術(shù)的節(jié)目符合人們對(duì)電視節(jié)目求新求變的需求，也給觀眾帶來(lái)了強(qiáng)烈的視覺(jué)沖擊效果。另一方面，技術(shù)手段的革新也給電視節(jié)目制作人員帶來(lái)了豐富的想象空間，使中國(guó)電視節(jié)目制作手段更加豐富多樣。

圖1 基于光學(xué)圖像識(shí)別的跟蹤系統(tǒng)

1 虛擬制作的技術(shù)組成

虛擬制作系統(tǒng)主要由跟蹤系統(tǒng)和虛擬系統(tǒng)組成。跟蹤系統(tǒng)主要提供攝像機(jī)在運(yùn)動(dòng)拍攝中，虛擬物體與實(shí)景之間位置關(guān)系的實(shí)時(shí)數(shù)據(jù)。這些實(shí)時(shí)的跟蹤數(shù)據(jù)通過(guò)網(wǎng)絡(luò)或者串口傳輸至虛擬系統(tǒng)，并與虛擬系統(tǒng)中設(shè)計(jì)的場(chǎng)景及虛擬物體相結(jié)合，再與真實(shí)的攝像機(jī)畫面疊加，呈現(xiàn)出最終的渲染合成畫面。對(duì)于不同的節(jié)目類型、節(jié)目效果、節(jié)目拍攝環(huán)境，需要結(jié)合不同的跟蹤系統(tǒng)以及虛擬系統(tǒng)來(lái)制作。

跟蹤系統(tǒng)有多種類型，包括物理跟蹤、紅外跟蹤、圖像識(shí)別跟蹤等。在眾多類型的跟蹤系統(tǒng)中，圖像識(shí)別跟蹤系統(tǒng)通過(guò)不同的策略定義，實(shí)現(xiàn)多區(qū)域、多策略化自動(dòng)跟蹤，能夠更適用各種攝像機(jī)及場(chǎng)地跟蹤模式，配合目前主流的UE4虛幻系統(tǒng)，可以制作出更加靈活和更高質(zhì)量的節(jié)目。

2 Ncam圖像識(shí)別跟蹤系統(tǒng)

Ncam圖像識(shí)別跟蹤系統(tǒng)是一套基于光學(xué)圖像識(shí)別跟蹤系統(tǒng)，由一套多傳感器攝像頭組件CameraBar(包括2支魚(yú)眼鏡頭和輔助陀螺儀)和一個(gè)服務(wù)器連接而成，如圖1所示。其跟蹤原理主要是通過(guò)魚(yú)眼鏡頭拍攝的畫面實(shí)時(shí)傳輸回服務(wù)器，在服務(wù)器中Ncam Reality軟件可對(duì)拍攝畫面進(jìn)行圖像識(shí)別，對(duì)于圖像中被識(shí)別到的點(diǎn)系統(tǒng)自動(dòng)生成一個(gè)標(biāo)記點(diǎn)，通過(guò)實(shí)時(shí)的畫面?zhèn)鬏?，系統(tǒng)會(huì)在三維的空間中生成大量的標(biāo)記點(diǎn)形成點(diǎn)云，通過(guò)點(diǎn)云的對(duì)比，來(lái)計(jì)算出虛擬物體在空間中的位置。

Ncam圖像識(shí)別跟蹤系統(tǒng)使用精密硬件與先進(jìn)算法相結(jié)合，其具有以下特性。

（1）應(yīng)用靈活。Ncam圖像識(shí)別跟蹤可適配于所有機(jī)位，包括固定機(jī)位、搖臂、伸縮臂、斯坦尼康等，并且系統(tǒng)可支持所有專業(yè)的攝像機(jī)機(jī)型，這使得該系統(tǒng)幾乎可以應(yīng)用在影視、廣播電視的任何拍攝環(huán)境中。

（2）部署簡(jiǎn)單。拍攝環(huán)境中無(wú)需設(shè)置基準(zhǔn)點(diǎn)或跟蹤標(biāo)記，簡(jiǎn)單設(shè)置即可開(kāi)始實(shí)時(shí)追蹤。

（3）追蹤準(zhǔn)確。采用可視化圖形計(jì)算的方式，可以精準(zhǔn)地制作每一個(gè)鏡頭的鏡頭文件，這在很大程度上保證了跟蹤的準(zhǔn)確性，同時(shí)在跟蹤過(guò)程中，系統(tǒng)采用先進(jìn)的算法使得在任何拍攝條件下，如攝像機(jī)機(jī)位位移鏡頭拉遠(yuǎn)、拉近等，虛擬人物場(chǎng)景也能準(zhǔn)確追蹤真實(shí)環(huán)境，并可以實(shí)時(shí)完整呈現(xiàn)虛實(shí)結(jié)合的場(chǎng)景。

（4）安全的實(shí)時(shí)跟蹤。攝影機(jī)位置追蹤采用光學(xué)定位和慣性傳感定位結(jié)合，即使在光學(xué)跟蹤丟失的情況下，僅靠陀螺儀的慣性定位也能保證跟蹤數(shù)據(jù)的實(shí)時(shí)傳遞。

3 虛幻系統(tǒng)UE4的優(yōu)勢(shì)

目前，國(guó)內(nèi)外主流虛擬系統(tǒng)都采用UE4（虛幻4）軟件系統(tǒng)作為核心處理手段，如Zero Density、Avid、BrainStorm、Ross、大洋等。UE4具有以下幾方面的優(yōu)勢(shì)。

（1）實(shí)時(shí)逼真渲染?；谖锢淼匿秩?、高級(jí)動(dòng)態(tài)陰影選項(xiàng)、屏幕空間反射和光照通道等功能可靈活而高效地制作出細(xì)節(jié)豐富且逼真的視覺(jué)效果。

（2）可視化腳本開(kāi)發(fā)。游戲邏輯的開(kāi)發(fā)結(jié)構(gòu)可提供獨(dú)創(chuàng)的藍(lán)圖方式和C++代碼方式。其中，藍(lán)圖是一種比較簡(jiǎn)單易用但又功能強(qiáng)大的可視化腳本開(kāi)發(fā)方式，提升了系統(tǒng)的可操作性。

（3）專業(yè)動(dòng)畫與過(guò)場(chǎng)。動(dòng)畫與過(guò)場(chǎng)功能可提供由影視行業(yè)專家設(shè)計(jì)的完整的非線性、實(shí)時(shí)動(dòng)畫工具

（Sequencer），包括動(dòng)態(tài)剪輯、動(dòng)畫運(yùn)鏡以及實(shí)時(shí)錄制。

（4）健壯的GamePla（游戲）框架。GamePlay框架可提供包含游戲規(guī)則、玩家輸出與控制、相機(jī)和用戶界面等核心系統(tǒng)，同時(shí)內(nèi)置了各種類型的游戲模板和多人游戲模板等，這為競(jìng)技類型的節(jié)目提供了豐富的原型模板，可拓展節(jié)目?jī)?nèi)容的制作，縮短制作周期。

（5）靈活的材質(zhì)編輯器。材質(zhì)編輯器可提供基于節(jié)點(diǎn)的圖形化編輯著色器的功能。

（6）先進(jìn)的人工智能。提供的相關(guān)人工智能的工具有行為樹(shù)、場(chǎng)景查詢系統(tǒng)等。

（7）源代碼開(kāi)源。開(kāi)源源代碼可更深入地學(xué)習(xí)或解決問(wèn)題，同時(shí)可以保持虛擬系統(tǒng)可持續(xù)升級(jí)，保證該軟件的先進(jìn)性，利于滿足節(jié)目制作不斷變化的需求。

4 Ncam圖像識(shí)別系統(tǒng)和UE4的結(jié)合應(yīng)用

Ncam在2016年NAB展上展示了Ncam圖像識(shí)別跟蹤系統(tǒng)配合UE4的實(shí)時(shí)虛擬互動(dòng)系統(tǒng)，參觀者可與猶如照片般逼真的Maclaren麥克拉倫汽車進(jìn)行實(shí)時(shí)的虛擬互動(dòng)。隨著UE4和Ncam圖像識(shí)別跟蹤系統(tǒng)的不斷升級(jí)，兩個(gè)系統(tǒng)間的結(jié)合已非常完善，可應(yīng)用于影視、廣播電視等領(lǐng)域的節(jié)目制作中。

4.1 系統(tǒng)連接

Ncam圖像識(shí)別跟蹤系統(tǒng)硬件部分主要包括CameraBar、鏡頭編碼器、數(shù)據(jù)盒、服務(wù)器。其中，CameraBar由2支魚(yú)眼鏡頭及內(nèi)置陀螺儀組成，主要用于拍攝畫面輸出實(shí)時(shí)數(shù)據(jù)；鏡頭編碼器用于采集鏡頭focus、zoom實(shí)時(shí)數(shù)據(jù)；數(shù)據(jù)盒用于匯聚CameraBar和鏡頭編碼數(shù)據(jù)并輸出至服務(wù)器。Ncam圖像識(shí)別跟蹤系統(tǒng)與安裝在UE4軟件中的Ncam AR插件配合，采集的實(shí)時(shí)跟蹤數(shù)據(jù)在Ncam服務(wù)器中經(jīng)過(guò)計(jì)算后，通過(guò)網(wǎng)絡(luò)傳輸至UE4主機(jī)，如圖2所示，即能實(shí)現(xiàn)跟蹤數(shù)據(jù)、SDI信號(hào)的輸入與制作，最終輸出SDI信號(hào)完成制作。

4.2 系統(tǒng)功能的融合運(yùn)用

虛擬技術(shù)主要分為VR和AR兩種。針對(duì)VR虛擬演播室節(jié)目的應(yīng)用，Ncam服務(wù)器提供了色鍵功能（見(jiàn)圖3），通過(guò)在軟件中對(duì)背景色的摳像，將色鍵信息和跟蹤數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)経E4中，在UE系統(tǒng)中完成節(jié)目的渲染合成及輸出。另一類是在節(jié)目中通過(guò)虛擬植入展現(xiàn)AR的效果，該方式應(yīng)用普遍，無(wú)論是數(shù)據(jù)、動(dòng)畫人物、模型、場(chǎng)景等都可以將虛擬的物體疊加在真實(shí)畫面之上（見(jiàn)圖4）。

針對(duì)VR、AR虛擬演播室節(jié)目的制作，可以利用Ncam圖像識(shí)別跟蹤系統(tǒng)與UE4系統(tǒng)提供的靈活、便捷的功能進(jìn)行。

4.2.1 RealDeepth

RealDeepth是Ncam圖像識(shí)別跟蹤系統(tǒng)所識(shí)別到的深度數(shù)據(jù)。

在AR虛擬制作中，傳統(tǒng)的跟蹤系統(tǒng)只能傳遞二維跟蹤數(shù)據(jù)到虛擬服務(wù)器，這使得虛擬物體永遠(yuǎn)只會(huì)出現(xiàn)在真實(shí)場(chǎng)景之上，一旦人物或者鏡頭的大幅移動(dòng)，很容易出現(xiàn)穿幫或者不協(xié)調(diào)的畫面。Ncam圖像識(shí)別跟蹤系統(tǒng)采用雙魚(yú)眼鏡頭的方式，一方面可提升跟蹤的準(zhǔn)確性及安全性，另一方面可以用來(lái)進(jìn)行空間感知及定位，捕捉三維空間中的位置關(guān)系，如圖5所示。所以，通過(guò)Ncam雙魚(yú)眼鏡頭的拍攝，不僅可以得到虛擬物體在真實(shí)空間中的水平和垂直的位置，同樣的虛擬物體與實(shí)景的縱深關(guān)系也能夠得以體現(xiàn)，使AR用戶能夠更好地與虛擬環(huán)境互動(dòng)。

圖2 Ncam圖像識(shí)別跟蹤系統(tǒng)與UE4系統(tǒng)的硬件連接

圖3 Ncam Reality的色鍵功能

圖4 VR和AR效果

圖5 顏色越淺離攝像機(jī)越近

圖6 更為真實(shí)的AR虛擬效果

通過(guò)RealDeepth這一功能，可以在節(jié)目中制作出更為真實(shí)的AR虛擬效果，如在對(duì)虛擬物體進(jìn)行講解時(shí)，無(wú)需讓主持人總是處在物體的兩側(cè)，可以處在虛擬物體360°的任何一個(gè)位置，如圖6所示。在另一些AR場(chǎng)景布置的應(yīng)用中，放置道具、大屏，不用考慮穿幫問(wèn)題，可以隨意在其前方或后方移動(dòng)。

4.2.2 Real Light 的效果展現(xiàn)

在AR中，為了幫助數(shù)字對(duì)象使用時(shí)更好地融入現(xiàn)實(shí)世界，Real Light功能可捕捉有關(guān)真實(shí)世界的照明信息，如方向、顏色和強(qiáng)度，并將其實(shí)時(shí)渲染到AR場(chǎng)景中，動(dòng)態(tài)適應(yīng)照明條件的變化，如圖7所示。在一些綜藝或者室外節(jié)目，可以使用Real Light功能，讓虛擬物體隨著真實(shí)環(huán)境的燈光變化而產(chǎn)生不一樣的顏色反射以及倒影的位置、強(qiáng)度，真正地融入真實(shí)的環(huán)境中。

4.2.3 UE4的材質(zhì)功能與VR拍攝、5G傳輸?shù)慕Y(jié)合運(yùn)用

利用UE4的材質(zhì)及兼容VR的功能，可嘗試一種新的360°VR背景+真實(shí)攝像機(jī)拍攝畫面相結(jié)合的節(jié)目方式，這種方式類似于VR演播室節(jié)目制作的模式，將傳統(tǒng)的3D場(chǎng)景模型替換成360°視頻或360°實(shí)時(shí)畫面。該方式使節(jié)目制作不局限于場(chǎng)地的限制，例如歷史建筑的訪談或介紹，制作團(tuán)隊(duì)可以不用在歷史建筑內(nèi)部制作完成，也不是單純地在大屏上播放視頻，前期錄制中，可以通過(guò)360°VR將現(xiàn)場(chǎng)場(chǎng)景拍攝回來(lái)或通過(guò)360°VR直播傳送回制作中心，同時(shí)，對(duì)在演播室錄制主持人的講解，并將演播室背景摳除；后期制作時(shí)，把現(xiàn)場(chǎng)的360°視頻導(dǎo)入作為UE4整個(gè)球形材質(zhì)，即作為節(jié)目現(xiàn)場(chǎng)背景素材，并將無(wú)背景的主持人素材置身其中，產(chǎn)生主持人身處現(xiàn)場(chǎng)的效果。這種 UE4材質(zhì)配合Ncam 360°VR視頻的跟蹤方式，可以搭配斯坦尼康或者軌道機(jī)器人實(shí)現(xiàn)全景VR虛擬效果。

5 典型應(yīng)用

將現(xiàn)場(chǎng)跟蹤數(shù)據(jù)、360°4K/8K VR拍攝、5G實(shí)時(shí)傳輸、虛擬疊加、渲染輸出等技術(shù)融合運(yùn)用進(jìn)行節(jié)目制作，產(chǎn)生不同的節(jié)目形態(tài)。UE4是一個(gè)開(kāi)放性的平臺(tái)，有著良好的擴(kuò)展性和兼容性，很多外設(shè)廠商開(kāi)發(fā)了相應(yīng)的接口，如動(dòng)作捕捉系統(tǒng)，在節(jié)目中通過(guò)跟蹤+虛擬+動(dòng)捕+面捕結(jié)合的技術(shù)手段，實(shí)現(xiàn)真人虛擬化或者虛擬偶像IP的創(chuàng)建，此類應(yīng)用可帶來(lái)多種意想不到的節(jié)目展現(xiàn)，包括虛擬主持人、虛擬歌手、虛擬演員等。

對(duì)于電視直播節(jié)目制作要求的實(shí)時(shí)性，即使錄播節(jié)目也需要在現(xiàn)場(chǎng)能看見(jiàn)虛擬效果，這種“所見(jiàn)即所得”的生成流程不僅有助于把控現(xiàn)場(chǎng)的節(jié)目效果，同時(shí)也為節(jié)目制作提供了便利。

（1）《綠水青山看中國(guó)》的實(shí)時(shí)渲染

《綠水青山看中國(guó)》在大型演播廳內(nèi)進(jìn)行錄制，如果單純以主持人講述+視頻片段的方式呈現(xiàn)，視覺(jué)畫面在大型舞臺(tái)場(chǎng)景中會(huì)顯得比較空洞，畫面感不夠強(qiáng)烈；但如果為營(yíng)造畫面的沖擊而全部采用舞臺(tái)搭建及燈光、大屏效果，對(duì)于錄播類節(jié)目而言制作成本太高。為了突出欄目所展示的山、水、生態(tài)自然，以虛擬和實(shí)景相結(jié)合的AR方式加以呈現(xiàn)。

為了逼真地展現(xiàn)出節(jié)目所要呈現(xiàn)的青山綠水的效果，需要在2 500m2的演播室中呈現(xiàn)大量的虛擬山水物等視覺(jué)效果，并且效果還原逼真、靈動(dòng)，風(fēng)吹草動(dòng)、波紋蕩漾、光影流逝的效果都應(yīng)該被考慮其中。UE4的實(shí)時(shí)計(jì)算+預(yù)渲染的特性，能夠很好的滿足大型虛擬場(chǎng)景、豐富細(xì)節(jié)的展示，圖8為《綠水青山看中國(guó)》采用UE4制作所呈現(xiàn)出的虛擬效果。

（2）《經(jīng)典詠流傳》節(jié)目中動(dòng)捕、面捕技術(shù)的結(jié)合

在《經(jīng)典詠流傳》節(jié)目中，呈現(xiàn)出了撒貝寧和虛擬人“賽小撒”的同臺(tái)主持（見(jiàn)圖9）。前期制作中，通過(guò)3D模型掃描采集撒貝寧的3D模型數(shù)據(jù)，并導(dǎo)入虛擬演播室系統(tǒng)ZeroDensity(UE4)中，呈現(xiàn)虛擬的“賽小撒”；后期制作中，結(jié)合跟蹤數(shù)據(jù)、動(dòng)捕數(shù)據(jù)、面捕數(shù)據(jù)、AI撒貝寧語(yǔ)音包，最終舞臺(tái)中渲染輸出1:1的“賽小撒”。

圖7 Real Light 的效果展現(xiàn)

圖9 《經(jīng)典詠流傳》的虛擬效果

圖10 2020春晚創(chuàng)新啟動(dòng)儀式中的虛擬效果

圖11 擁有更小體積的Ncam CameraBar

（3）2020春晚創(chuàng)新啟動(dòng)儀式中5G+VR技術(shù)的結(jié)合

在中央廣播電視總臺(tái)2020春晚5G+8K/4K/VR創(chuàng)新應(yīng)用啟動(dòng)儀式上，將港珠澳大橋拍攝的VR直播信號(hào)通過(guò)5G傳送回啟動(dòng)儀式現(xiàn)場(chǎng)，并與摳除藍(lán)箱后的主持人畫面相疊加，虛擬出主持人在港珠澳大橋現(xiàn)場(chǎng)的虛擬效果，如圖10所示。

6 Ncam圖像識(shí)別跟蹤結(jié)合UE4系統(tǒng)的應(yīng)用優(yōu)勢(shì)

UE4軟件系統(tǒng)是一個(gè)功能強(qiáng)大且開(kāi)源的平臺(tái)，配合Ncam圖像識(shí)別系統(tǒng)的靈活性，在包括電視制作的多個(gè)行業(yè)的應(yīng)用中，具有其顯著的優(yōu)勢(shì)。

（1）靈活性

新的Ncam CameraBar擁有更小的體積（見(jiàn)圖11）、更輕的重量及更穩(wěn)定的工藝化設(shè)計(jì)，可以應(yīng)用于更多的節(jié)目制作的拍攝，尤其是與飛貓、斯坦尼康的配合應(yīng)用。

（2）拓展性

Ncam圖像識(shí)別系統(tǒng)的UE4插件提供了外部色鍵器的接口，在VR節(jié)目制作中，便于采用第三方硬件色鍵器提供更高質(zhì)量的摳像效果。另外，對(duì)于單個(gè)虛擬場(chǎng)景多個(gè)視角鏡頭的節(jié)目制作，UE4提供了協(xié)同工作的編輯模式，輕松實(shí)現(xiàn)多機(jī)位的交互功能。

（3）創(chuàng)新便捷性

UE4是一個(gè)開(kāi)放的且具備內(nèi)容商城的平臺(tái)，可以在平臺(tái)上獲取好的創(chuàng)意，也可以通過(guò)商城分享作品，還可以將平臺(tái)提供的流行人物、物品、元素模型直接應(yīng)用在節(jié)目工程文件中，無(wú)需重復(fù)搭建或者轉(zhuǎn)換，這大大減少了制作人員的重復(fù)勞動(dòng)，縮短了節(jié)目的制作周期，同時(shí)也有助于從分享的作品中獲取節(jié)目的靈感。

（4）虛擬真實(shí)性

虛擬效果的最終目的是為了消除違和感，達(dá)到真實(shí)的效果，因此，需要模擬真實(shí)環(huán)境中的所有細(xì)節(jié)，這些細(xì)節(jié)有熟知的光照效果、物體的陰影、反射倒影、碰撞、遮擋等，更深一層次的動(dòng)作流暢性、光照隨時(shí)間的變化、各虛實(shí)物體間的反射等。Ncam圖像識(shí)別系統(tǒng)的數(shù)據(jù)結(jié)合UE4系統(tǒng)，可大大提升虛擬節(jié)目制作的細(xì)節(jié)化和操作性；同時(shí)，UE4系統(tǒng)本身提供了這些細(xì)節(jié)的可調(diào)整性，同時(shí)蘊(yùn)含內(nèi)在的邏輯關(guān)系，可自動(dòng)處理物體間的陰影、反射等部分特性。

7 結(jié)束語(yǔ)

UE4系統(tǒng)優(yōu)異的渲染能力、靈活的藍(lán)圖系統(tǒng)、完善的插件庫(kù)、開(kāi)放性的在線模型庫(kù)和龐大的用戶基礎(chǔ)為電視節(jié)目的創(chuàng)造性制作提供了可持續(xù)的專業(yè)化技術(shù)支撐。Ncam圖像識(shí)別跟蹤系統(tǒng)具有創(chuàng)新的跟蹤數(shù)據(jù)特性以及應(yīng)用的靈活性，與UE4結(jié)合給節(jié)目的虛擬值入帶來(lái)了新的思路，結(jié)合新的想法和技術(shù)，例如AI技術(shù)、VR/MR等，可制作更多具備觀賞性和競(jìng)爭(zhēng)性的廣播電視節(jié)目。

受制于硬件平臺(tái)的制作能力，目前UE4對(duì)于制作360°4K的畫質(zhì)并不能獲得高質(zhì)量的畫面水準(zhǔn)，但是隨著硬件能力的飛速提升，相信在未來(lái)4K、8K的制作中能夠呈現(xiàn)更加清晰的畫面，可應(yīng)用于影視、廣播電視等領(lǐng)域的節(jié)目制作中。