任 軍

（中央廣播電視總臺，北京 100142）

0 引 言

1978年，Eugene L提出了“電子布景”（Electro Studio Setting）的概念，同時指出，未來的節(jié)目制作可以在只有演員和攝像機的空演播室內(nèi)完成，其余布景和道具都由電子系統(tǒng)產(chǎn)生。這項技術(shù)于20世紀80年代獲得專業(yè)技術(shù)認證，冠名為虛擬現(xiàn)實（Virtual Reality，VR）技術(shù)。

虛擬現(xiàn)實技術(shù)是伴隨計算機技術(shù)發(fā)展的時代產(chǎn)物。人們利用計算機技術(shù)，設(shè)計制作并生成與現(xiàn)實環(huán)境在視、聽以及觸感等方面高度近似的虛擬化環(huán)境。用戶可以借助相關(guān)設(shè)備與虛擬環(huán)境中的對象進行互動，產(chǎn)生與真實環(huán)境相同亦或相近的體驗和感受。虛擬現(xiàn)實技術(shù)可以營造出可媲美現(xiàn)實情境的超逼真場景，使體驗者產(chǎn)生身臨其境的真實體驗感。虛擬現(xiàn)實技術(shù)給人們提供了一種由數(shù)字信號構(gòu)筑的空間并在這個空間里展開實踐創(chuàng)作的基礎(chǔ)技術(shù)。虛擬現(xiàn)實技術(shù)具有沉浸性、交互性以及構(gòu)想性3個特性。

1 虛擬植入技術(shù)系統(tǒng)與虛擬演播室技術(shù)系統(tǒng)的應(yīng)用特點

虛擬演播室技術(shù)與虛擬植入技術(shù)都源于虛擬現(xiàn)實技術(shù)，有著相同技術(shù)基因和相同的系統(tǒng)構(gòu)造。它們都利用了計算機圖形處理技術(shù)和視頻合成技術(shù)，實現(xiàn)由計算機制作的三維虛擬場景與現(xiàn)場主體人物或其他元素的實時合成，使人物（主持人）與植入的虛擬場景建立互動關(guān)系，虛實相互融合、同步變化，最終獲得符合節(jié)目方案要求的合成畫面。

虛擬演播室技術(shù)系統(tǒng)應(yīng)用的特征是：在藍箱（或綠箱）環(huán)境中，運用色鍵技術(shù)，對主體人物摳像后與虛擬背景合成為可運動的、相互融合的且可實現(xiàn)互動關(guān)聯(lián)的畫面。隨著節(jié)目形態(tài)的變化，原來一些在虛擬演播室執(zhí)行的節(jié)目制作需要結(jié)合實景來完成，這就需要一種完全可以在實景區(qū)域?qū)崿F(xiàn)三維場景植入的技術(shù)。因此，虛擬現(xiàn)實技術(shù)派生出一個新的電視節(jié)目制作技術(shù)——虛擬植入技術(shù)（RealSet或AugmentReality-AR）。虛擬植入技術(shù)系統(tǒng)是在虛擬演播室技術(shù)系統(tǒng)基礎(chǔ)上擴展出來的電視節(jié)目制作系統(tǒng)。

在虛擬演播室制作系統(tǒng)中，虛擬背景在人物之后。而虛擬植入技術(shù)在實景環(huán)境下主體人物面前生成虛擬場景（或虛擬道具），虛擬場景投放在主體人物的前面，形成虛實結(jié)合的交互關(guān)系。這種技術(shù)制作形式具有很強的代入感，會使觀眾產(chǎn)生一種身臨其境的感覺，也使得節(jié)目內(nèi)容更加生動有趣。目前，在各類節(jié)目制作過程中，虛擬植入技術(shù)比虛擬演播室技術(shù)更受青睞。

2 虛擬植入系統(tǒng)的構(gòu)成

虛擬植入技術(shù)與虛擬演播室技術(shù)一樣源于虛擬現(xiàn)實技術(shù)，是虛擬現(xiàn)實技術(shù)發(fā)展的必然產(chǎn)物，也是影像合成技術(shù)發(fā)展的再一次革新和升級。

虛擬植入系統(tǒng)是在實景區(qū)執(zhí)行的虛擬場景的投放，無需運用色鍵摳像技術(shù)，因此虛擬植入技術(shù)擺脫了傳統(tǒng)虛擬演播室技術(shù)基于藍箱的限制，適合在諸多實景節(jié)目中運用。

虛擬植入系統(tǒng)的基本構(gòu)成包括圖形圖像創(chuàng)作系統(tǒng)、攝像機跟蹤系統(tǒng)以及圖形工作站，如圖1所示。

圖1 虛擬植入系統(tǒng)示意圖

2.1 圖形創(chuàng)作系統(tǒng)

圖形創(chuàng)作系統(tǒng)利用三維動畫軟件在計算機中建立一個虛擬環(huán)境，在這個虛擬的三維世界中搭建模型及場景。設(shè)計人員根據(jù)設(shè)計要求設(shè)定虛擬攝像機的運動軌跡及其他動畫參數(shù)，結(jié)合模型的運動，最終生成合成畫面[1]。

虛擬植入系統(tǒng)的場景通常為三維虛擬場景。這些場景可通過常用的3d Max、Maya等三維創(chuàng)作軟件來建模，由專業(yè)的圖形處理軟件編輯合成（包括建模、材質(zhì)分配、光調(diào)整以及物體運動等在內(nèi)的物體模型、效果及動畫），一般由性能較高的電腦（如HP Z800）及專用圖形創(chuàng)作軟件配置而成。制作三維場景時需要照顧現(xiàn)場實景環(huán)境和燈光設(shè)計等因素，在4K/8K時代，處理好材質(zhì)的細節(jié)和色調(diào)的搭配，需要預(yù)演檢查合成效果。

2.2 攝像機跟蹤系統(tǒng)

攝像機跟蹤系統(tǒng)的功能是為圖形工作站提供處理現(xiàn)場各元素的位置信息和運動數(shù)據(jù)，以便圖形工作站能夠通過這些信息，構(gòu)建與現(xiàn)場攝像機運動一致、畫面內(nèi)容信息一致并能正確反映現(xiàn)場各元素之間位置透視關(guān)系的虛擬攝像機系統(tǒng)。

攝像機跟蹤技術(shù)有傳感器跟蹤技術(shù)、網(wǎng)格跟蹤技術(shù)、紅外跟蹤技術(shù)以及超聲波跟蹤技術(shù)4種。傳感器跟蹤方式有光學(xué)識別系統(tǒng)和機械傳感式系統(tǒng)兩種，目前使用較多的是機械光電傳感跟蹤方式。

攝像機跟蹤系統(tǒng)的工作原理是通過安裝在攝像機云臺和鏡頭上的諸多傳感器，識別攝像機運動和鏡頭焦距焦點變化過程和幅度，即通過采集攝像機推、拉、搖、移等動作信息，獲取攝像機運動數(shù)據(jù)和鏡頭變化參數(shù)，并將這些信息實時傳送給圖形工作站，以便圖形工作站將攝像機跟蹤系統(tǒng)提供的攝像機綜合運動信息映射到圖形處理單元，形成與攝像機綜合運動數(shù)據(jù)同步變化的虛擬攝像機系統(tǒng)。這樣，虛擬攝像機與現(xiàn)場攝像機被相對地鎖定在了一個位置，當現(xiàn)場攝像機運動時，虛擬攝像機受跟蹤器的控制可以實時地與現(xiàn)場攝像機保持同步運動。

由跟蹤系統(tǒng)提供的攝像機運動信息，經(jīng)過圖形工作站分析處理后，可以對包括主體位置、透視關(guān)系及景深在內(nèi)的諸多合成元素給出準確的處置意見。例如，當渲染工作站識別到傳來的攝像機鏡頭景別信息變化為近景或特寫時，如果信息中聚焦點是在跟蹤主體人物，那么渲染主機會給出背景虛焦的判斷，生成的畫面是前實后虛的效果；如果此時傳感器沒有識別到景別的變化，前景和背景聚焦一致，分不出前景后景，畫面會產(chǎn)生景深不自然感。

跟蹤系統(tǒng)需要能夠及時地進行捕捉并處理現(xiàn)場攝像機微小的運動變化，這樣才能為圖形工作站提供實時的、準確的運動變化信息。因此，虛擬植入系統(tǒng)對于跟蹤系統(tǒng)的傳感器精度有很高的要求。

2.3 圖形工作站

在虛擬植入系統(tǒng)中，圖形圖像的處理工作主要由圖形工作站（HDVG）來完成。除了處理由攝像機跟蹤器傳來的攝像機運動數(shù)據(jù)外，圖形工作站還負責調(diào)用和調(diào)整事先做好的3D虛擬場景，并向圖形發(fā)生器傳輸圖像數(shù)據(jù)。

在節(jié)目制作過程中，圖形工作站是最繁忙的程序化工作系統(tǒng)。在處理攝像機運動數(shù)據(jù)信息的同時，圖形工作站還要同時渲染加工處理動畫、透明物體、燈光及材質(zhì)貼圖的模型文件，實時調(diào)用和調(diào)整虛擬三維場景。

由于每一幀虛擬場景只有20 ms的繪制時間，而且虛擬場景要求貼圖的質(zhì)感和光效要與實景保持高度一致，因此，對這些虛擬元素和模型的處理，需要比較強大的計算和渲染資源[2]。另外，隨著攝像機的運動，圖形工作站還需要實時計算出虛擬元素在場景中的空間位置、大小比例以及光感變化等信息，并能夠?qū)崟r渲染輸出，因此圖形工作站還需要具備較大數(shù)據(jù)量的處理能力和高強度的渲染運算能力。如果處理能力達不到要求，就會出現(xiàn)運動畫面卡頓、虛擬元素與場景脫節(jié)等情況，達不到節(jié)目設(shè)計的效果。

3 虛擬植入技術(shù)在電視節(jié)目制作中的應(yīng)用

虛擬植入技術(shù)可以將三維虛擬圖形、主持人畫面以及三維動畫整合到演播室實景中或者外景拍攝的任何地方，具有靈活性強的特點，對新聞、體育、天氣、財經(jīng)及娛樂等節(jié)目可以實現(xiàn)完美的現(xiàn)場包裝。近幾年，在諸多體育賽事和春節(jié)晚會的節(jié)目制作現(xiàn)場也能看到虛擬植入技術(shù)工作人員的身影。

對于不同類型的節(jié)目，虛擬植入的場景形態(tài)類型也不盡相同[3]。虛擬植入形態(tài)類型可以分為用于大型晚會和娛樂節(jié)目的奇幻形態(tài)、新聞專題節(jié)目的道具形態(tài)以及為配合建立現(xiàn)場互動關(guān)系而植入的虛擬人物形態(tài)。

在晚會和綜藝類節(jié)目中植入虛擬場景元素，會給觀眾以絢爛奇幻的感受。如圖2所示，在2021年春節(jié)晚會武術(shù)表演中植入塞外場景，增加了觀眾的沉浸感。在體育賽事、訪談類節(jié)目及紀錄片類節(jié)目中植入虛擬場景，或者植入不能實現(xiàn)的虛擬道具，可以配合節(jié)目內(nèi)容起到強化說明的作用。如圖3所示，在轉(zhuǎn)播游泳賽場時，為賽道植入虛擬標識可以幫助觀眾全面認知賽事和輕松辨識現(xiàn)場環(huán)境[4]。

圖2 中央電視臺2021年春節(jié)晚會

圖3 2012倫敦奧運會游泳比賽現(xiàn)場

有一些節(jié)目制作現(xiàn)場，結(jié)合LED大屏幕內(nèi)容添加虛擬場景，既可以將一些抽象內(nèi)容進行寫實化處理，也能烘托現(xiàn)場氣氛。如圖4所示，在中央電視臺《心理訪談》節(jié)目制作現(xiàn)場，訪談區(qū)域的中間位置以LED大屏幕作為部分背景，大屏兩側(cè)分別制作了兩塊綠板與大屏拼接在一起。設(shè)計創(chuàng)作人員將投放在大屏兩側(cè)的虛擬背景內(nèi)容與LED大屏播放內(nèi)容串接在一起，形成一個完整的訪談背景和互動場景，營造出實景與虛擬場景渾然一體的視覺效果。設(shè)計人員還結(jié)合背景大屏設(shè)計了與之互動的虛擬場景和模擬道具，將抽象節(jié)目內(nèi)容進行具象化處理。通過虛實結(jié)合的技術(shù)設(shè)計，實現(xiàn)了虛擬背景與LED大屏實景內(nèi)容的無縫連接，將實景與虛擬背景和植入場景建立了互動關(guān)聯(lián)，也使主持人和嘉賓與虛實現(xiàn)場完美地融合在一起。這樣復(fù)雜的場景是虛擬演播室技術(shù)和虛擬植入技術(shù)相結(jié)合共同實現(xiàn)的，可謂設(shè)計巧妙、相得益彰[5]。

圖4 《心理訪談》節(jié)目虛擬植入效果圖

虛擬場景植入的原則是直觀和簡潔，應(yīng)從場景設(shè)計的數(shù)量、尺寸、材質(zhì)、色彩及現(xiàn)場環(huán)境等元素給予充分考慮，既要準確表達虛擬場景植入的意義，也要實現(xiàn)與實景自然融入的合成效果。

4 結(jié) 語

伴隨5G+4K/8K+AI技術(shù)的發(fā)展，虛擬植入技術(shù)系統(tǒng)也會不斷升級。基于虛擬植入應(yīng)用的靈活性，虛擬現(xiàn)實技術(shù)會越來越廣泛地受到影視制作平臺的關(guān)注，也會在社會更多領(lǐng)域得到推廣和應(yīng)用。