劉杰 楚志剛

摘要：中國氣象報社根據(jù)自身需求設(shè)計了XR沉浸式虛擬演播室，該演播室依據(jù)XR虛擬技術(shù)的工作原理進行系統(tǒng)設(shè)備搭建，將LED屏幕和虛擬擴展畫面相結(jié)合，通過虛擬引擎為新聞、科普視頻內(nèi)容的呈現(xiàn)提供了更加豐富的想象空間。

關(guān)鍵詞：XR演播室；虛擬演播室

引言

隨著互聯(lián)網(wǎng)技術(shù)和信息傳播手段的發(fā)展，短視頻已經(jīng)逐漸成為人們?nèi)粘Ｉ畈豢扇鄙俚膫鞑バ畔①Y訊的一種方式，且比例越來越大，對信息呈現(xiàn)和交互性體驗的要求也不斷提升。XR沉浸式虛擬演播室作為新興的數(shù)字化視頻節(jié)目制作工具，為人們提供了前所未有的沉浸式視聽體驗和全新的交互溝通方式，已經(jīng)逐漸在行業(yè)中廣泛應(yīng)用。中國氣象報社結(jié)合自身業(yè)務(wù)需求設(shè)計搭建了XR沉浸式虛擬演播室，為新聞科普短視頻制作及直播帶來全新的創(chuàng)作手段。

1. 虛擬演播室的發(fā)展

Orad公司在1995年開發(fā)了Cyberset可移動攝像機圖形識別系統(tǒng)，并使用這種技術(shù)推出了全球首個真三維虛擬演播室。它通過將計算機生成的虛擬三維場景與攝像機現(xiàn)場拍攝的人物活動圖像進行數(shù)字化的實時合成，使人物與虛擬背景能夠同步變化，從而實現(xiàn)了兩者完美融合，直接輸出合成畫面，早期主要應(yīng)用于電視節(jié)目的制作[1]。早期的虛擬演播廳主要是應(yīng)用“綠幕摳像”技術(shù)，然而，由于表演者處在綠幕環(huán)境中，缺乏真實的情境感受，場景的互動主要依賴于后期制作或主持人的表演技巧。從實景演播室到背景演播室，再到虛擬演播室，演播室作為視頻節(jié)目制作的重要場地，歷經(jīng)多層次、多階段的發(fā)展。隨著XR技術(shù)的完善和進步，將多種視覺交互能力賦能給演播室，制造出高度逼真、互動性強的虛擬現(xiàn)實結(jié)合效果，誕生了XR演播室。廣義上講，只要在演播室里應(yīng)用了XR技術(shù)就是XR演播室，而以三面LED屏幕作為背景的演播廳，特效更炫，沉浸感更強，通常稱為XR沉浸式演播室。

2. VR、AR、MR、XR虛擬技術(shù)

VR（virtual reality）指虛擬現(xiàn)實技術(shù)，通過計算機圖形技術(shù)和設(shè)備模擬人的視聽和觸覺，構(gòu)建一個獨立的虛擬世界，讓受眾產(chǎn)生身臨其境的體驗。VR所產(chǎn)生的所有東西都是計算機生成的，都是虛擬的。

AR（augmented reality）指增強現(xiàn)實技術(shù)，將計算機生成的圖像用前景圖層形式疊加在實景上，把虛擬信息與真實世界巧妙融合，運用多媒體、三維建模、實時跟蹤等多種技術(shù)手段，將真實世界信息和虛擬世界信息“無縫”集成。實現(xiàn)虛擬信息超越現(xiàn)實的感官體驗，實現(xiàn)真實與虛擬同時存在，從而達到增強現(xiàn)實的效果。

MR（mediated reality）指混合現(xiàn)實技術(shù)，將真實世界和虛擬世界融合在一起，在現(xiàn)實世界中疊加虛擬物體和場景，完成兩個物體的自然融合后形成一個新的可視化環(huán)境，從而全面提升用戶體驗真實感。

XR（extended range）指拓展現(xiàn)實技術(shù)，利用硬件設(shè)備結(jié)合多種先進技術(shù)手段，運用場景搭建、攝像跟蹤、實時渲染、輸出合成等結(jié)合LED顯示，制作出一個全方位無死角的虛擬世界。同時XR也是一個總稱，包括任何能幫助我們整合物理世界和數(shù)字世界的技術(shù)。簡單來說，XR是AR、VR、MR等多種技術(shù)的統(tǒng)稱，通過將三者的視覺交互技術(shù)融合，為體驗者帶來虛擬世界和現(xiàn)實世界之間無縫轉(zhuǎn)化的“沉浸感”。在XR技術(shù)的加持下，主持人可以在三維場景中自由地穿梭，實現(xiàn)無縫轉(zhuǎn)換，呈現(xiàn)出沉浸式的表演，實現(xiàn)虛擬和現(xiàn)實的交互式的體驗。中國氣象報社采用的XR虛擬技術(shù)能夠在幾十平方米的真實空間營造出數(shù)百平方米的虛擬仿真環(huán)境空間感。

3. XR沉浸式虛擬演播室主要構(gòu)成

一套XR虛擬演播室系統(tǒng)一般包括LED顯示系統(tǒng)、虛擬制作系統(tǒng)、演播系統(tǒng)、實時渲染引擎、攝像跟蹤系統(tǒng)、播控系統(tǒng)等，還有傳統(tǒng)演播室中的攝像機、燈光系統(tǒng)、音頻系統(tǒng)等[2]。本文對以下幾個系統(tǒng)進行介紹。

3.1 LED顯示系統(tǒng)

LED屏幕是像素點主動發(fā)光成像技術(shù)，相比傳統(tǒng)液晶投影等透射式出光成像技術(shù)，有光效高、視角大、亮度高、便于安裝維護等優(yōu)點，是目前還原自然色彩最好的一種技術(shù)。LED顯示系統(tǒng)主要包括LED屏幕拼接器、LED發(fā)送卡、LED接收卡、LED屏體，通過顯示系統(tǒng)來接收渲染服務(wù)器輸出的實時渲染圖像進行顯示，系統(tǒng)支持不同點間距屏幕的拼接與顯示，支持不同比例與分辨率的圖像點對點顯示，使屏幕顯示效果達到最佳狀態(tài)。在中國氣象報社虛擬演播室方案中，采用了LED屏背景立屏1塊、側(cè)屏2塊、地面屏幕1塊，其中背景屏和側(cè)屏選用的是1.2毫米點間距屏，地屏使用的是2.6毫米點間距屏。地屏與背景屏和側(cè)面屏構(gòu)成包圍式顯示空間，結(jié)合虛擬播控軟件基于攝像機視角的透視投射效果，以及虛擬引擎實時渲染的虛擬畫面，可實現(xiàn)基于真實環(huán)境屏幕疊加三維虛擬空間的沉浸式顯示效果。

3.2 演播系統(tǒng)

演播系統(tǒng)主要由XR合成服務(wù)器、XR渲染服務(wù)器及服務(wù)器配套XR制作軟件構(gòu)成。XR合成服務(wù)器可接收渲染服務(wù)器實時渲染引擎輸出的畫面，并帶有畫面合成及調(diào)整功能，支持實際畫面與虛擬畫面合成、AR前景疊加、自動校正實際畫面與虛擬畫面間的色差、實時調(diào)節(jié)延遲，并且支持向多種顯示設(shè)備發(fā)送視頻信號。XR合成服務(wù)器接收虛擬引擎渲染的AR前景，將其疊加在實際畫面前，實現(xiàn)AR效果；接收虛擬擴展畫面，并與實際拍攝畫面縫合，實現(xiàn)XR效果；AR效果、XR效果可同時應(yīng)用，實現(xiàn)混合現(xiàn)實，即MR效果；服務(wù)器可基于時間線同時控制音視頻和各種周邊設(shè)備，實現(xiàn)AR、XR、MR、聲、光、電、機械的綜合性協(xié)同應(yīng)用；本方案中使用了8臺服務(wù)器，同時配置有硬件同步卡保證多臺集群渲染的畫面同幀輸出，每一臺渲染服務(wù)器配置了專業(yè)的外視頻輸入卡，可以接入4K分辨率60幀的外部視頻信號，可以進行異地連線或資訊的實時接入。

3.3 實時渲染引擎

實時渲染引擎根據(jù)攝像機軌跡數(shù)據(jù)實時渲染并輸出內(nèi)容。內(nèi)置三維實時渲染引擎：可進行三維空間渲染服務(wù)。三維空間位置可調(diào)整：屏幕上的三維空間可調(diào)整到任意位置，可以前后、左右、上下移動微調(diào)，并且具備26視點的視角切換功能[3]。隨著攝像機的移動，在LED顯示屏上投射內(nèi)容也隨之移動，在屏幕上創(chuàng)造出一種虛假的深度感，同時也將虛擬場景延伸超越了LED屏幕的空間，并與攝像機拍攝內(nèi)容進行合成輸出，虛擬擴展內(nèi)容與LED顯示內(nèi)容可以無縫銜接一體化過渡，能夠呈現(xiàn)近乎真實的視覺效果，讓觀眾體驗到更加精彩的影像世界。本方案中支持對接Notch、Unreal Engine 4、Unreal Engine 5等實時渲染引擎。

3.4 攝像跟蹤系統(tǒng)

攝像機跟蹤系統(tǒng)是XR虛擬演播室系統(tǒng)中的重要組成部分，主要作用是通過使用傳感器、接收器等設(shè)備，實時跟蹤和記錄主持人和物體的位置和動作，以及物體的移動和變化，使得虛擬場景和角色能夠與真實人物和物品精確匹配。同時為虛擬引擎中的虛擬攝影機提供三級位置信息及相關(guān)的鏡頭數(shù)據(jù)，來保障虛擬攝影機與真實攝影機的軌跡虛擬引擎中的虛擬攝影機提供保持同步。一般有圖像識別跟蹤技術(shù)、光學(xué)跟蹤技術(shù)、傳感器跟蹤技術(shù)等。

中國氣象報社在演播室屋頂粘貼了若干反光貼片，為跟蹤設(shè)備提供整個演播室的光學(xué)地圖錨點，實現(xiàn)對攝像機的位置跟蹤定位。跟蹤設(shè)備還可以將攝像機鏡頭參數(shù)傳輸給后站的渲染引擎，渲染引擎通過計算渲染，實時生成圖像傳送到LED屏幕上，使虛擬場景內(nèi)容隨著攝像機移動而實時變化，顯示屏幕外的拓展影像也隨之變化，從而達到了所見即所得式的實景拍攝效果。

3.5 燈光系統(tǒng)

燈光系統(tǒng)在XR演播系統(tǒng)中也十分重要，直接影響節(jié)目的制作和播出，不能當(dāng)作一個簡單的照明工具，而是根據(jù)場景模擬出真實世界中的光線情況，從而實現(xiàn)以假亂真。一套完善的燈光系統(tǒng)除了燈光本身，還需要一套優(yōu)質(zhì)的控制和調(diào)色系統(tǒng)。LED燈具功率低、效率高，搭載調(diào)光系統(tǒng)更加智能、簡單，也更加可靠、安全。中國氣象報社虛擬演播室燈光系統(tǒng)采用LED燈具，使用了20臺燈具圍繞主播人采用環(huán)形布光方式，每一組燈光的方向、明暗、色溫均可進行精細調(diào)節(jié)，可以實現(xiàn)利用面光、逆光、輔助光及背景光等燈光調(diào)節(jié)滿足不同節(jié)目、不同場景中的環(huán)境光線需求，使節(jié)目中的場景、人物和光線整體和諧統(tǒng)一，體現(xiàn)立體感、空間感。

4. 虛擬場景

XR虛擬演播室最大的優(yōu)勢是可以實現(xiàn)所見即所得，實現(xiàn)場景自由轉(zhuǎn)換，調(diào)用不同樣式風(fēng)格的虛擬場景就可以滿足各種欄目的快速制作需求，在有限的演播室空間內(nèi)，展示無限的視覺效果。虛擬場景是虛擬演播室中非常重要的一個部分，場景的制作精細程度及效果直接關(guān)系到節(jié)目的最終質(zhì)量，場景搭建是一項關(guān)鍵且復(fù)雜的任務(wù)，需要考慮到應(yīng)用需求和實際情況，保證視覺效果的同時，實現(xiàn)更高實用性的表現(xiàn)。

中國氣象報社結(jié)合自身需求，制作了6套常用場景來滿足新聞發(fā)布、報道、訪談、解讀、科普、連線等多種業(yè)務(wù)需求。把演播廳場景設(shè)計為多功能虛擬演播廳，視覺效果可達到400多平方米，攝像機內(nèi)主持人仿佛置身于一個現(xiàn)代化的充滿科技感的演播大廳。該場景用于錄制大、中型的視頻節(jié)目，同時也是實景大廳的一個有效補充。發(fā)布廳場景模擬新聞發(fā)布會現(xiàn)場，實現(xiàn)在演播室達到在新聞發(fā)布大廳的效果，尤其在線上進行新聞發(fā)布時，直接在演播室就可以達到預(yù)期效果，攝像人員無須再將大量設(shè)備運至發(fā)布會現(xiàn)場。

室外自動觀測站場景，使用3D技術(shù)模擬了一個具有顯著氣象特點的氣象觀測站場景，主持人足不出戶就可以氣象站背景來播報有關(guān)氣象類的節(jié)目。同時還模擬四季變化，可以一鍵切換到任意季節(jié)，讓觀眾能感受場景中春季的百花、夏季的綠蔭、秋季的金黃、冬季的白雪。訪談場景，專家訪談是常用的節(jié)目形式，通過主持人與嘉賓專家對話，讓觀眾更加深入了解與感受知識。模擬了書房場景，來提升整個節(jié)目的文化屬性。氣象科普解讀場景，結(jié)合氣象業(yè)務(wù)本身，通過內(nèi)置虛擬沙盤來展示模擬各種天氣過程原理，更方便主持人結(jié)合AR等技術(shù)設(shè)計的多樣化氣象裝備模型進行節(jié)目制作和講解，實現(xiàn)虛實融合，提升了節(jié)目效果。

氣象災(zāi)害防御場景，利用VR、AR仿真技術(shù)，預(yù)制了暴雨、城市內(nèi)澇、臺風(fēng)、沙塵暴、龍卷風(fēng)等天氣現(xiàn)象，營造出逼真的災(zāi)害場景，使主持人置身天氣現(xiàn)場，充分發(fā)揮了XR沉浸式演播的優(yōu)勢。在實際使用中，前景中的主持人看起來完全沉浸于計算機制作的三維虛擬場景中，而且能在其中運動，創(chuàng)造出逼真的、立體感很強的實景演播室效果，使觀眾很難分辨，達到虛實結(jié)合互動的最佳效果。后續(xù)中國氣象報社將根據(jù)業(yè)務(wù)需求不斷完善場景庫，逐步建立起豐富多彩的虛擬場景庫。

5. XR虛擬演播室的應(yīng)用

XR虛擬演播室可代替?zhèn)鹘y(tǒng)綠箱演播室，傳統(tǒng)綠箱拍攝環(huán)境下，節(jié)目錄制完成后需要花費大量時間進行精細的摳像處理，而XR虛擬演播室不需要摳像，在錄制時通過渲染引擎播放3D 虛擬場景，工作人員可以在現(xiàn)場看到虛擬環(huán)境，還可以在現(xiàn)場進行錄制的調(diào)整與指導(dǎo)，錄制畫面即為節(jié)目播出畫面，減少了后期摳像處理制作耗費的時間和工作量。相比傳統(tǒng)綠箱演播室，XR虛擬演播室不僅節(jié)約了工作時間，而且還將節(jié)目的后期制作前置化，現(xiàn)場直接出鏡頭。新媒體時代，信息時效性更強，XR虛擬演播室大大節(jié)約視頻制作時間，從而使視頻生產(chǎn)更加高效。

另外，傳統(tǒng)虛擬演播室主持人只能通過想象，達到無實物場景的表演，節(jié)目前需要多次進行盲猜或者踩點，這樣對主持人的能力水平要求就變得很高，而平面記者往往不具備這樣的能力。而XR虛擬演播室主持人在逼真的虛擬場景或者虛實結(jié)合的場景中，利用渲染引擎播放虛擬場景打造出豐富場景與人物交互感，前景與背景搭配層次分明。實時呈現(xiàn)的內(nèi)容可以讓主持人更好地與虛擬環(huán)境進行交流互動，仿佛在真實環(huán)境中完成節(jié)目錄制，實現(xiàn)了傳統(tǒng)記者向新媒體時代視頻主持人的過渡。

目前，XR虛擬演播技術(shù)應(yīng)用廣泛，如新華社的新立方智能化演播室就是使用XR等技術(shù)打破了時空限制，使主持人“在”中國空間站與王亞平一起完成跨時空采集與制作對話，帶給觀眾沉浸式的體驗。2023年兩會期間，中國氣象報社使用XR虛擬演播室技術(shù)進行全國兩會報道，錄制《兩會云訪談》四期，在世界氣象日開放日當(dāng)天，開展了《你好，氣象日！》《風(fēng)云三號G星來了！一起見證我國首顆降水測量衛(wèi)星發(fā)射》直播等活動，達到了良好效果，提升了節(jié)目的感染力，并讓觀眾感受到超越LED范圍的美妙世界。XR虛擬演播技術(shù)可以讓節(jié)目更加精彩紛呈，將視覺效果的傳遞提升到一個新的維度，提高了節(jié)目的科技感。

結(jié)語

為謀求先進技術(shù)為新聞采編業(yè)務(wù)賦能，中國氣象報社在媒體融合方面不斷尋求突破，由報紙到網(wǎng)站再到新媒體，如今短視頻業(yè)務(wù)已成為重要的采編業(yè)務(wù)，借助XR沉浸式虛擬演播室使視頻制作方式更加豐富和簡單，視頻視覺效果、互動效果得到了大幅提升，為傳統(tǒng)媒體單位的全媒發(fā)展帶來更多可能性和發(fā)展空間。

參考文獻：

[1]張化明.虛擬演播室的發(fā)展與應(yīng)用[J].通訊世界，2016，（9）：248-249.

[2]張浩，王雪瑩.淺談XR沉浸式演播室[J].數(shù)字傳媒研究，2021，38（12）：49-51.

[3]秦艷艷.虛擬演播室系統(tǒng)組成及應(yīng)用[J].電視技術(shù)，2023，47（6）：159-161.

作者簡介：劉杰，碩士，高級工程師，研究方向：軟件工程。