劉華健 陳 楠

1.2.內(nèi)蒙古廣播電視臺(tái) 內(nèi)蒙古 呼和浩特市 010050

內(nèi)蒙古廣播電視臺(tái)推出弘揚(yáng)中華優(yōu)秀傳統(tǒng)文化大型綜藝節(jié)目《黃河魂》，以黃河述中國，以非遺呈華夏，深入挖掘黃河文化的時(shí)代價(jià)值，講好黃河故事，以黃河沿線獨(dú)具風(fēng)采的非物質(zhì)文化遺產(chǎn)為載體，大力傳承中華優(yōu)秀傳統(tǒng)文化。此次《黃河魂》的錄制是內(nèi)蒙古廣播電視臺(tái)首次在大型綜藝節(jié)目中使用XR（擴(kuò)展現(xiàn)實(shí)）技術(shù)，運(yùn)用新興技術(shù)賦能節(jié)目制作，利用1400m2演播廳大舞美與擴(kuò)展虛擬場景相結(jié)合的方式，實(shí)現(xiàn)沉浸式表演、全媒體融合表達(dá)，在黃河兩岸非遺項(xiàng)目展示中充分體現(xiàn)出空間無限大、創(chuàng)意無限新、互動(dòng)無限近的優(yōu)勢，在演播廳內(nèi)生動(dòng)地還原非遺文化的原生態(tài)風(fēng)貌，切實(shí)把中華美學(xué)精神和當(dāng)代審美追求緊密結(jié)合起來，為廣大觀眾呈現(xiàn)一場異彩紛呈、美輪美奐的視覺盛宴?！饵S河魂》節(jié)目播出場景如圖1 所示。

圖1 《黃河魂》節(jié)目播出場景

XR 技術(shù)是一種基于LED 大屏幕構(gòu)建的虛擬場景和舞臺(tái)現(xiàn)實(shí)場景相結(jié)合的節(jié)目制作方式。通過攝像機(jī)跟蹤與實(shí)時(shí)圖像渲染技術(shù)，對(duì)顯示介質(zhì)LED大屏幕及LED 大屏幕以外的虛擬場景進(jìn)行實(shí)時(shí)跟蹤，將攝像機(jī)實(shí)際拍攝到的LED 背景屏內(nèi)畫面與計(jì)算機(jī)構(gòu)建出的虛擬場景完美融合，從而創(chuàng)造出無限空間感。為了能使虛擬部分和現(xiàn)實(shí)部分相結(jié)合，一般在LED大屏幕系統(tǒng)、跟蹤系統(tǒng)、實(shí)時(shí)渲染播控系統(tǒng)支持下完成XR 制作。本文詳細(xì)介紹了《黃河魂》錄制中XR 技術(shù)的演播室實(shí)施方案。

1 LED大屏幕系統(tǒng)

LED 顯示屏作為XR 場景呈現(xiàn)的核心設(shè)備，其類型的選擇、匹配，以及場景布局設(shè)計(jì)對(duì)最終節(jié)目效果的真實(shí)呈現(xiàn)有著較大的影響。LED 大屏幕通常采用立屏+地屏的組合方式，其主要功能是對(duì)渲染子系統(tǒng)輸出的虛擬場景視頻進(jìn)行顯示。與常規(guī)的搭建方式不同，《黃河魂》中的LED 大屏幕搭建既要能作為進(jìn)行XR 制作的景區(qū)使用，又要與舞臺(tái)整體相融合，供常規(guī)節(jié)目制作使用。節(jié)目創(chuàng)作初期，技術(shù)團(tuán)隊(duì)與導(dǎo)演組針對(duì)舞美設(shè)計(jì)方案進(jìn)行深入溝通，最終決定把弧形背景屏與地屏融合，提升演播廳整體的舞美效果。

弧形背景屏長24m， 高7.5m，實(shí)測面積為161.25m2，地屏長20m，寬17m，實(shí)測面積為255m2，整個(gè)LED 大屏空間面積為416.25m2。弧形屏、地屏均采用點(diǎn)間距為P2.6 的大屏，有效避免了拍攝時(shí)摩爾紋的出現(xiàn)，同時(shí)弧形立屏的使用使拍攝空間大、拍攝角度廣，攝像機(jī)的運(yùn)動(dòng)范圍達(dá)到最大，縮小了攝像機(jī)視角平行于LED 屏幕時(shí)產(chǎn)生的顏色顯示偏差。播控服務(wù)器輸出2 路4K 信號(hào)至背景屏，輸出1 路4K 信號(hào)至地屏，整體達(dá)到4K 的顯示效果?！饵S河魂》舞美設(shè)計(jì)圖如圖2 所示。

圖2 《黃河魂》舞美設(shè)計(jì)圖

2 跟蹤系統(tǒng)

跟蹤系統(tǒng)是XR 制作的重要組成部分，主要功能是對(duì)攝像機(jī)位置、鏡頭參數(shù)、演員位置、道具位置進(jìn)行實(shí)時(shí)獲取，將攝像機(jī)位置與鏡頭參數(shù)數(shù)據(jù)映射至渲染服務(wù)器中的虛擬攝像機(jī)，使真實(shí)攝像機(jī)與虛擬攝像機(jī)的運(yùn)行軌跡保持同步，從而使輸出的虛擬場景內(nèi)容隨著攝像機(jī)的移動(dòng)實(shí)時(shí)變化。在XR制作中常用的跟蹤方式有機(jī)械跟蹤和光學(xué)跟蹤。機(jī)械跟蹤是在云臺(tái)上安裝物理設(shè)備，通過空間中的一個(gè)點(diǎn)跟鏡頭的推拉、云臺(tái)的左右或者上下來計(jì)算相對(duì)位移，把位移信息傳導(dǎo)到傳感器，以此來確定攝像機(jī)在空間中的位置。光學(xué)跟蹤是通過在大屏幕的邊框、影棚的頂部或地面粘貼一些感光點(diǎn)，在攝像機(jī)端綁定數(shù)據(jù)收集和檢測設(shè)備，通過光學(xué)檢測來確定攝像機(jī)在空間中的X、Y、Z 位置。跟蹤系統(tǒng)是XR 系統(tǒng)配置非常重要的組成部分，需具備定位精度高、延時(shí)低的優(yōu)勢特性，保證跟蹤精確度和跟蹤可靠性。在《黃河魂》節(jié)目制作中，演播室共架設(shè)12 個(gè)高清機(jī)位，其中包含3 個(gè)虛擬機(jī)位，分別為1 個(gè)大全景固定機(jī)位、1 個(gè)電動(dòng)升降移動(dòng)軌道機(jī)位、1 個(gè)軌道搖臂機(jī)位。3 個(gè)虛擬機(jī)位采用光學(xué)跟蹤和機(jī)械跟蹤相結(jié)合的跟蹤方式，2 個(gè)移動(dòng)機(jī)位采用光學(xué)跟蹤方式，配置2 套Mo-sys 跟蹤系統(tǒng)Star Tracker，1 個(gè)固定機(jī)位采用機(jī)械跟蹤方式，配置1套Gension 的機(jī)械跟蹤系統(tǒng)。綁定在攝像機(jī)端的Mo-sys 鏡頭編碼器對(duì)演播室頂部隨機(jī)分布粘貼的反光貼進(jìn)行圖形識(shí)別，Mosys 跟蹤服務(wù)器將數(shù)據(jù)傳送至Disguise 媒體服務(wù)器，媒體服務(wù)器接收到攝像機(jī)跟蹤數(shù)據(jù)后，根據(jù)Mo-SysF4&FreeD 數(shù)據(jù)協(xié)議解析二進(jìn)制數(shù)據(jù)代碼，將其轉(zhuǎn)換為X、Y、Z 三軸的位移旋轉(zhuǎn)數(shù)據(jù)，同時(shí)將數(shù)據(jù)匹配到服務(wù)器中的跟蹤攝像機(jī)上，從而獲得與真實(shí)空間完全一致的虛擬空間位移。跟蹤數(shù)據(jù)實(shí)時(shí)獲取界面如圖3 所示。

圖3 跟蹤數(shù)據(jù)實(shí)時(shí)獲取界面

此次《黃河魂》錄制中，內(nèi)蒙古廣播電視臺(tái)首次使用主動(dòng)式紅外光學(xué)跟蹤方式進(jìn)行虛擬制作，制作前期，根據(jù)實(shí)際使用面積在1400m2演播室頂部粘貼了800 個(gè)反光貼，但在空間校準(zhǔn)的過程中發(fā)現(xiàn)，由于部分反光貼被燈桿遮擋，導(dǎo)致追蹤的準(zhǔn)確性下降，經(jīng)技術(shù)團(tuán)隊(duì)研究決定，通過增加反光貼數(shù)量來解決這一問題，反光貼由前期的800 個(gè)增加至1200 個(gè)，實(shí)現(xiàn)主屏幕和觀眾席全覆蓋，從而提高了跟蹤精度。主動(dòng)式紅外光學(xué)跟蹤方式快速便捷，大大節(jié)省了校準(zhǔn)的時(shí)間，而且對(duì)于運(yùn)動(dòng)機(jī)位來說跟蹤精度高，虛擬攝像機(jī)與真實(shí)攝像機(jī)位置之間的誤差會(huì)大大縮小。

3 實(shí)時(shí)渲染播控系統(tǒng)

實(shí)時(shí)渲染播控系統(tǒng)是進(jìn)行XR 制作的核心設(shè)備，主要有兩個(gè)功能：一是通過實(shí)時(shí)渲染引擎對(duì)各種前景和背景三維模型、圖片、視頻和文字效果進(jìn)行制作、渲染并輸出至LED 大屏幕系統(tǒng)；二是將接收拍攝信號(hào)與舞臺(tái)大屏幕延伸拓展的虛擬視頻融合，輸出虛實(shí)融合視頻。在選用渲染服務(wù)器時(shí)要考慮空間校準(zhǔn)能力、延時(shí)校準(zhǔn)能力、顏色校準(zhǔn)能力、多機(jī)位切換能力以及界面友好、軟件操作情況。在《黃河魂》的制作中，部署了2 套Disguise 渲染服務(wù)器、1 套Disguise 媒體服務(wù)器，3 臺(tái)設(shè)備通過25Gb 光纖網(wǎng)絡(luò)交換機(jī)連接，可以實(shí)時(shí)渲染傳輸無壓縮視頻，以保證實(shí)時(shí)渲染視頻高質(zhì)量、低延時(shí)輸出。虛實(shí)融合后的XR 視頻信號(hào)通過播控服務(wù)器輸出至演播室視頻系統(tǒng)切換臺(tái)，供導(dǎo)播使用。MR信號(hào)和AR 信號(hào)通過播控服務(wù)器送至多通道錄制服務(wù)器，供后期剪輯人員使用。同時(shí)，播控服務(wù)器輸出3 路虛實(shí)融合4K 信號(hào)至LED 大屏。通過Disguise 媒體服務(wù)器的集中控制，可以自動(dòng)化地實(shí)現(xiàn)多設(shè)備間同步校準(zhǔn)、3 個(gè)虛擬機(jī)位無縫切換、鏡頭文件自動(dòng)生成，從而協(xié)助技術(shù)人員高效準(zhǔn)確地完成XR 虛擬制作?！饵S河魂》中首次采用Unreal Engine5.1 版本進(jìn)行XR 場景制作，渲染效率更高，色彩呈現(xiàn)更好。在每場XR 節(jié)目制作前，都要通過操作軟件完成空間校準(zhǔn)、延遲校準(zhǔn)、顏色校準(zhǔn)，以保證屏內(nèi)部分與屏外XR拓展部分在合成視頻內(nèi)的拼接誤差≤5 個(gè)像素，屏內(nèi)部分與屏外XR 拓展部分在合成視頻內(nèi)的時(shí)間延遲≤20ms，LED 顯示的顏色擬合還原為引擎渲染的原色，確保實(shí)拍畫面的整體統(tǒng)一。XR 制作工作流程圖如圖4所示。

圖4 XR 制作工作流程圖

4 演播室XR制作思考和展望

《黃河魂》中XR 虛擬制作技術(shù)的成功運(yùn)用成為內(nèi)蒙古廣播電視臺(tái)一次重要的技術(shù)革新，突破了傳統(tǒng)實(shí)景演播室空間的局限和創(chuàng)意實(shí)現(xiàn)方式的限制，給觀眾帶來了集科技力量與藝術(shù)美感于一體的視覺享受。在落地實(shí)施的過程中，也給我們帶來了一些思考：一是XR 演播室建設(shè)需要大量的專業(yè)設(shè)備和軟件支撐，建設(shè)成本比較高；二是XR 節(jié)目的制作需要導(dǎo)演、演員、攝像、燈光、舞美、演播室技術(shù)等多個(gè)工種協(xié)同配合，共同完成，其中，虛擬場景的制作、跟蹤定位的調(diào)節(jié)都是比較復(fù)雜的工作，需要專業(yè)的UE 制作和跟蹤調(diào)節(jié)技術(shù)人才；三是技術(shù)賦能要與節(jié)目的需求緊密結(jié)合，如何提高XR演播室的利用率，開展XR 演播室的商業(yè)化運(yùn)營，也是值得我們深思和探討的問題。

未來，隨著精品節(jié)目的不斷推出，內(nèi)蒙古廣播電視臺(tái)技術(shù)團(tuán)隊(duì)也將強(qiáng)化技術(shù)的創(chuàng)新引領(lǐng)作用，實(shí)現(xiàn)技術(shù)和節(jié)目的雙輪驅(qū)動(dòng)、雙向奔赴，為媒體融合發(fā)展作出更為卓越的貢獻(xiàn)。