沈 江

（作者單位：浙江省紹興市柯橋區(qū)廣播電視總臺(tái)）

?

真三維虛擬演播室系統(tǒng)在縣區(qū)級(jí)臺(tái)的應(yīng)用

沈 江

（作者單位：浙江省紹興市柯橋區(qū)廣播電視總臺(tái)）

摘 要：本文主要介紹了真三維虛擬演播室的系統(tǒng)構(gòu)成，結(jié)合本臺(tái)實(shí)際進(jìn)行系統(tǒng)選型，以及具體的實(shí)施應(yīng)用，取得了不錯(cuò)的效果，成為一個(gè)在縣區(qū)級(jí)臺(tái)應(yīng)用的成功案例。

關(guān)鍵詞：真三維虛擬演播室；跟蹤技術(shù)；圖形工作站；色鍵器

隨著時(shí)代的發(fā)展，人們對(duì)精神文化生活有了更高的需求。本臺(tái)自辦欄目也逐漸增多，以及形式的不斷多樣化，都迫切需要豐富提高節(jié)目的整體效果，原先一個(gè)實(shí)景新聞演播室已不能勝任，當(dāng)前需要一個(gè)能不斷變換背景又省時(shí)省力，且符合多個(gè)不同欄目都能錄制，以提高演播室使用效率，而改建成真三維虛擬演播室就可以滿足上述所有需求。

1 真三維虛擬演播室技簡(jiǎn)介

真三維虛擬演播室技術(shù)是在色鍵技術(shù)與計(jì)算機(jī)圖形處理技術(shù)相結(jié)合的基礎(chǔ)上發(fā)展起來(lái)的，它與傳統(tǒng)的色鍵摳像技術(shù)最根本的區(qū)別在于引入了虛擬現(xiàn)實(shí)技術(shù)中的信息交互技術(shù)。傳統(tǒng)色鍵技術(shù)摳像時(shí)，當(dāng)攝像機(jī)做任何運(yùn)行時(shí)，背景沒有變化，前后景之間缺乏聯(lián)動(dòng)關(guān)系，看上去前景象漂浮在背景上一樣。而虛擬演播室技術(shù)采用了傳感器跟蹤攝像機(jī)的運(yùn)動(dòng)，將攝像機(jī)的運(yùn)動(dòng)參數(shù)：位置、俯仰、平搖、推拉運(yùn)動(dòng)轉(zhuǎn)變成電信號(hào)，送入計(jì)算機(jī)主機(jī)，計(jì)算機(jī)通過運(yùn)算，對(duì)虛擬場(chǎng)景的相應(yīng)參數(shù)進(jìn)行調(diào)整，實(shí)時(shí)生成與前景聯(lián)動(dòng)的背景信號(hào)，進(jìn)入色鍵器與經(jīng)過延時(shí)的前景信號(hào)進(jìn)行合成，使虛擬攝像機(jī)拍攝的虛擬背景與真實(shí)攝像機(jī)在藍(lán)幕前拍攝的人物前景通過色鍵摳像技術(shù)完美地合成在一起。當(dāng)拍攝前景的真實(shí)攝像機(jī)運(yùn)動(dòng)時(shí)，其合成畫面的背景也同時(shí)相應(yīng)地運(yùn)動(dòng)，始終保持相應(yīng)的透視角度，合成效果仿佛是從實(shí)景中拍攝所得，從而創(chuàng)造出逼真的、立體感很強(qiáng)的電視演播室效果，解決了傳統(tǒng)摳像技術(shù)中背景不能隨前景運(yùn)動(dòng)的局限性。此外，背景不僅可以是一個(gè)虛擬的三維場(chǎng)景，也可以嵌入多路實(shí)時(shí)視頻背景，這使我們擺脫了傳統(tǒng)的空間環(huán)境和真實(shí)物體的約束，進(jìn)入了一個(gè)無(wú)限的想象空間，以實(shí)現(xiàn)各種新穎、奇特的創(chuàng)意，極大地提高了電視臺(tái)的節(jié)目創(chuàng)作和制作能力。

2 真三維虛擬系統(tǒng)的構(gòu)成及應(yīng)用

為立足長(zhǎng)遠(yuǎn)，結(jié)合虛擬演播系統(tǒng)的最新技術(shù)和發(fā)展方向，出于簡(jiǎn)潔、安全、可靠的考慮，經(jīng)過認(rèn)真的篩選，最終選擇了擁有國(guó)際領(lǐng)先的三維實(shí)時(shí)渲染引擎，以色列敖威公司生產(chǎn)的真三維虛擬系統(tǒng)。

原有傳統(tǒng)實(shí)景模擬新聞演播室是與另外一個(gè)舊的虛擬演播室合用導(dǎo)控室，演播室面積35 m2左右，導(dǎo)控室面積17 m2左右，通過改建成為采用最先進(jìn)的網(wǎng)格識(shí)別跟蹤系統(tǒng)；同時(shí)，支持多機(jī)位靈活配置，真三維全數(shù)字標(biāo)清虛擬演播室。這套系統(tǒng)的關(guān)鍵是選用了國(guó)際先進(jìn)的真三維虛擬系統(tǒng)：ORAD的虛擬演播室產(chǎn)品ProSet。

ProSet是Orad公司的高端HD/SD虛擬演播室系統(tǒng)，提供了一個(gè)全新的虛擬演播室系統(tǒng)。具有虛擬演播室與圖文系統(tǒng)的完美結(jié)合，攝像機(jī)自由運(yùn)動(dòng)，不需要第三方的技術(shù)、設(shè)備支持，支持所有的HD/SD格式，極小的視頻延時(shí)，既可以作為一個(gè)獨(dú)立的系統(tǒng)，也可以作為一個(gè)系統(tǒng)的一部分，簡(jiǎn)單的操作界面、支持多個(gè)數(shù)據(jù)庫(kù)連接等特性，ProSet提供了一個(gè)新的虛擬演播室解決方案。不僅能出虛擬背景信號(hào)，ProSet還提供了對(duì)動(dòng)態(tài)前景信號(hào)的處理，提供了各種動(dòng)態(tài)圖形元素，如滾動(dòng)條、標(biāo)題、及三維圖形等。

改造后的真三維虛擬演播室系統(tǒng)結(jié)構(gòu)見圖1。

在這套真三維虛擬系統(tǒng)中，攝像機(jī)所拍攝的帶有藍(lán)箱背景的演播室信號(hào)通過傳給導(dǎo)控室內(nèi)的攝像機(jī)控制單元，攝像機(jī)控制單元輸出SDI信號(hào)先進(jìn)入ORAD VDI-40數(shù)字身份識(shí)別器，這是一臺(tái)切換識(shí)別系統(tǒng)（最多可支持4路攝像機(jī)），VDI-40會(huì)對(duì)每一路攝像機(jī)的輸出圖像范圍外打一個(gè)識(shí)別點(diǎn)，切換臺(tái)通過攝像機(jī)輸入路數(shù)的切換會(huì)認(rèn)識(shí)這個(gè)點(diǎn)，并把相應(yīng)攝像機(jī)信號(hào)輸出到ORAD的數(shù)字視頻處理器DVP-500,DVP-500計(jì)算網(wǎng)格的跟蹤數(shù)據(jù)，通過網(wǎng)絡(luò)發(fā)送跟蹤數(shù)據(jù)給HDVG（圖像工作站）；同時(shí)，把處理過的前景信號(hào)輸出給HDVG，HDVG根據(jù)帶有跟蹤數(shù)據(jù)的前景信號(hào)實(shí)時(shí)渲染三維背景，使前景和背景保持同步比例。其中把切換臺(tái)一路AUX信號(hào)定義為輸出給實(shí)時(shí)渲染虛擬背景的插入視頻，也可以作為獨(dú)立背景使用。然后由HDVG輸出前景信號(hào)（FG）、背景信號(hào)（BG）和KEY信號(hào)（MATTE）進(jìn)入色鍵器摳像，在色鍵器中合成信號(hào)（FG+BG）后送入切換臺(tái)作為PGM信號(hào)輸出，PGM信號(hào)最后給非編系統(tǒng)進(jìn)行節(jié)目的錄制。

改建后的虛擬演播室系統(tǒng)采用SONY數(shù)字化、多功能、高性價(jià)比的切換臺(tái)DFS-800，攝像主信號(hào)仍舊使用原有索尼DXC-D50標(biāo)清演播室數(shù)字?jǐn)z像機(jī)拍攝，虛擬演播系統(tǒng)切換臺(tái)輸入信號(hào)設(shè)計(jì)為一路色鍵器輸出的合成信號(hào)、兩路攝像機(jī)信號(hào)、兩路藍(lán)光錄像機(jī)信號(hào)、一路非編信號(hào)以及一路備份虛擬信號(hào)。本系統(tǒng)所有設(shè)備同步信號(hào)源由同步發(fā)生器產(chǎn)生經(jīng)視頻分頻器分配后獨(dú)立輸入。攝像機(jī)、藍(lán)光錄像機(jī)、非編、虛擬主機(jī)、PVW、PGM的監(jiān)看信號(hào)分別輸入到電視墻的畫面分割器，監(jiān)看系統(tǒng)采用大屏加多分畫面分割系統(tǒng)，擯棄了原先傳統(tǒng)的單屏監(jiān)看方式，既美觀又更具人性化。在系統(tǒng)備份上，考慮到實(shí)際經(jīng)費(fèi)有限，不能再備份一套ProSet系統(tǒng)，通過新舊虛擬演播室來(lái)互為備份，也到達(dá)了相同的效果。

圖1 真三維虛擬演播室系統(tǒng)結(jié)構(gòu)

虛擬演播室系統(tǒng)主要由下列設(shè)備和系統(tǒng)組成：圖形工作站及配套設(shè)備（含控制PC及LINUX操作系統(tǒng)）、網(wǎng)格身份識(shí)別處理器、虛擬演播室軟件、數(shù)字色鍵器（含控制面板）、攝像機(jī)跟蹤系統(tǒng)、音頻延時(shí)器和虛擬演播室專用藍(lán)箱等。

2.1 攝像機(jī)跟蹤系統(tǒng)

跟蹤系統(tǒng)可以獲取攝像機(jī)在演播室中的實(shí)際位置參數(shù)和動(dòng)作參數(shù)，判斷攝像機(jī)、主持人、三維場(chǎng)景之間的相對(duì)位置關(guān)系，以保障前景運(yùn)動(dòng)時(shí)背景能及時(shí)跟上，在合成圖像上看不會(huì)出現(xiàn)漂移現(xiàn)象。目前主流跟蹤技術(shù)主要有：網(wǎng)格圖形識(shí)別、機(jī)械傳感和紅外跟蹤等。

根據(jù)實(shí)際應(yīng)用需求我們采用使用最廣的網(wǎng)格識(shí)別跟蹤系統(tǒng)，下面具體介紹。

以O(shè)RAD專利的網(wǎng)格技術(shù)作為定位目標(biāo)，初始定位快速、準(zhǔn)確、簡(jiǎn)單，定位后各機(jī)位間透視關(guān)系正確；跟蹤系統(tǒng)中可升級(jí)多種跟蹤方式，在不同的跟蹤方式之間切換圖像不跳幀。因?yàn)椴捎昧薕RAD的網(wǎng)格技術(shù)，增加機(jī)位不會(huì)增加硬件跟蹤系統(tǒng)，以滿足將來(lái)擴(kuò)展的需要，系統(tǒng)對(duì)傳感參數(shù)處理速度快，達(dá)到像素級(jí)的跟蹤精度標(biāo)準(zhǔn)，攝像機(jī)推拉、搖移、俯仰和變焦等操作，可以使三維場(chǎng)景快速的同步變化，保持和前景的相對(duì)位置，不會(huì)出現(xiàn)人動(dòng)但背景不動(dòng)的現(xiàn)象；同時(shí)，圖像無(wú)停頓、撕裂，以保證機(jī)位運(yùn)動(dòng)的快速、平滑和穩(wěn)定，系統(tǒng)跟蹤不受燈光、電磁波、聲波及熱光源的影響。因?yàn)椴捎昧薕RAD全球?qū)＠木W(wǎng)格圖像識(shí)別技術(shù)，錄制節(jié)目時(shí)，不需要進(jìn)行跟蹤系統(tǒng)的調(diào)整，節(jié)目的拍攝不會(huì)受到約束，主持人變換位置時(shí)能實(shí)現(xiàn)快速定位，不需要再進(jìn)行測(cè)量。采用網(wǎng)格跟蹤方式無(wú)須改造云臺(tái)結(jié)構(gòu)，可以方便的拆卸，搬運(yùn)。跟蹤方式不會(huì)產(chǎn)生累積誤差，避免了機(jī)械跟蹤方式出現(xiàn)的經(jīng)常性的調(diào)整。

2.2 圖形工作站

采用硬件反走樣算法，渲染器輸出的三維場(chǎng)景始終無(wú)鋸齒、閃爍或抖動(dòng)現(xiàn)象。采用專業(yè)級(jí)的3D圖形加速卡和廣播級(jí)的專業(yè)SDVG視頻處理卡，系統(tǒng)能夠流暢的運(yùn)行復(fù)雜的三維虛擬場(chǎng)景，并提供高質(zhì)量的虛擬場(chǎng)景渲染效果。視頻卡輸出質(zhì)量高，場(chǎng)景通透感好，色彩，材質(zhì)效果真實(shí)，能夠很好地還原場(chǎng)景設(shè)計(jì)的效果，物體邊緣細(xì)膩。計(jì)算機(jī)制作的精美三維場(chǎng)景和動(dòng)畫，通過圖形工作站輸出完全一致，無(wú)需重新調(diào)整。支持2路外來(lái)SDI視頻輸入，可在虛擬背景上實(shí)現(xiàn)不少于8路虛擬電視大屏，攝像機(jī)聚焦一塊虛擬大屏?xí)r，虛擬電視大屏的圖形清晰，達(dá)到廣播級(jí)要求，不會(huì)產(chǎn)生電子放大，圖像不抖動(dòng)、跟蹤時(shí)不撕裂，并且可以放大到全屏信號(hào)直接用于播出。考慮到防止病毒的影響和保證系統(tǒng)運(yùn)行的穩(wěn)定性，圖形工作站必須采用LINUX操作系統(tǒng)。

同時(shí)支持硬盤視頻文件的播放。制作的虛擬場(chǎng)景中的任何物體，動(dòng)畫、貼圖和燈光等元素，都可以實(shí)時(shí)調(diào)整，實(shí)時(shí)修改，無(wú)需再生產(chǎn)。ORAD是三維場(chǎng)景實(shí)時(shí)處理，不需要預(yù)渲染。虛擬演播室單個(gè)渲染單元渲染三角形數(shù)量不低于12 000萬(wàn)/秒，紋理貼圖不低于200 M；可以對(duì)虛擬場(chǎng)景中任何物件做半透明處理，在系統(tǒng)計(jì)算量繁重的復(fù)雜情況下，系統(tǒng)保證穩(wěn)定性，不丟幀，快速機(jī)位移動(dòng)時(shí)跟蹤不滑步。基于傲威公司自己研發(fā)的DVG視頻卡，是目前世界上最為出色的實(shí)時(shí)渲染引擎，主要體現(xiàn)在渲染質(zhì)量和渲染效率。兩機(jī)位之間的合成后畫面，通過切換臺(tái)時(shí)不出現(xiàn)夾幀、黑場(chǎng)等現(xiàn)象。圖形工作站輸入∕輸出信號(hào)處理均為標(biāo)清信號(hào)。并能無(wú)縫升級(jí)到高清格式，無(wú)需增加硬件投資。

2.3 色鍵器

色鍵器是用來(lái)把攝像機(jī)的前景信號(hào)和通過渲染引擎產(chǎn)生的背景信號(hào)合成為最終圖像，在虛擬演播室中至關(guān)重要，我們使用的是目前高端虛擬演播室選用較多的美國(guó)Ultimatte500外置色鍵器，除了提供前景信號(hào)和背景信號(hào)的合成摳像外，還可以提供鍵信號(hào)合成、前景背景信號(hào)色彩矯正、前景背景信號(hào)延時(shí)等功能。

Ultimatte的一個(gè)色鍵器控制面板可接4路色鍵器主機(jī)，其中主機(jī)的輸出控制接口都是RS422口子，而面板上分別有RS485、COM口等，但由于色鍵器上本身沒有任何調(diào)節(jié)按鈕，所有參數(shù)都要依靠控制面板來(lái)調(diào)整設(shè)置。從實(shí)際使用情況來(lái)看，我們對(duì)其整體摳像效果都很滿意，完全可以和實(shí)景相媲美。

2.4 虛擬演播室創(chuàng)作軟件

3Desinger專門用于制作該系統(tǒng)虛擬背景。它可以制作出實(shí)際不存在的或難以制作的場(chǎng)景，并可以在瞬間改變場(chǎng)景，其空間不受物理空間限制，因此可創(chuàng)作出更豐富、更吸引人的節(jié)目，能夠以低廉的成本產(chǎn)生新奇的視覺效果。另外，由于場(chǎng)景的制作、修改、保存等都在計(jì)算機(jī)上進(jìn)行，制作和更換電子布景快捷簡(jiǎn)便，節(jié)省了大量的人力、物力、財(cái)力，而且縮短了節(jié)目制作周期，提高演播室的利用率等。

場(chǎng)景設(shè)計(jì)軟件設(shè)計(jì)功能強(qiáng)大，并且界面設(shè)計(jì)簡(jiǎn)單合理，操作流程清晰，可實(shí)現(xiàn)場(chǎng)景的快捷搭建，能運(yùn)用普通的拖放方法來(lái)為布景增添圖形元素，或是為幾何圖形應(yīng)用紋理和材質(zhì)。模版創(chuàng)作和運(yùn)行控制能夠在任何一個(gè)基于WINDOWS 的PC上運(yùn)行（滿足最低的平臺(tái)需求）；在創(chuàng)作階段不需要連接一個(gè)用于著色的計(jì)算機(jī)。播出軟件可以同時(shí)加載多個(gè)場(chǎng)景，支持在多個(gè)虛擬場(chǎng)景中進(jìn)行轉(zhuǎn)換，可根據(jù)節(jié)目需要，現(xiàn)場(chǎng)快速改變視頻源或圖片。

2.5 音頻延時(shí)

虛擬演播室音頻系統(tǒng)主要由調(diào)音臺(tái)和音頻延時(shí)器組成。 系統(tǒng)調(diào)音臺(tái)配置了YAMAHA MG12小型調(diào)音臺(tái)，雅馬哈（YAMAHA）MG12 模擬調(diào)音臺(tái)由：12通道，最多6個(gè)話筒，12個(gè)線路輸入（4個(gè)單聲道+4個(gè)立體聲），2編組母線，1立體聲母線，“D-PRE”話放，帶有倒向晶體管電路，單聲道輸入通道上的PAD開關(guān)，+48 V幻象供電，XLR平衡輸出，金屬機(jī)身，很適合小型演播室使用。

由于圖形工作站實(shí)時(shí)渲染三維場(chǎng)景需要處理大量的數(shù)據(jù)，因此整個(gè)虛擬系統(tǒng)中的視頻會(huì)有2幀左右的延時(shí)，但要保證主持人口型和聲音同步，這就需要音頻系統(tǒng)也適當(dāng)作延時(shí)處理，為此配置了波視BD30A音頻延時(shí)器。由于音頻輸出需要進(jìn)過延時(shí)系統(tǒng)為了簡(jiǎn)單直觀，更方便操作，我們把主持人的音頻信號(hào)先進(jìn)調(diào)音臺(tái)話筒輸入，然后指派給AUX后送給音頻延時(shí)器，2幀延時(shí)后再進(jìn)調(diào)音臺(tái)作為AUX延時(shí)輸入，給PGM節(jié)目輸出。不過這樣的音頻輸入安排操作上還是有點(diǎn)不一樣的地方，因?yàn)橹鞒秩嗽捦草斎氩恢苯又概山o調(diào)音臺(tái)PGM輸出，而是先到了輔助輸出，所以錄制節(jié)目時(shí)，不是直接操作主持人的話筒輸入推子，而是調(diào)節(jié)AUX延時(shí)推子。這樣就算話筒輸入有好幾路，只要管好AUX延時(shí)推子就好了，方便又省事。

2.6 虛擬演播室的專用藍(lán)箱及燈光布置

專用藍(lán)箱的品質(zhì)決定了摳像的效果，需要先請(qǐng)木工根據(jù)我們?cè)O(shè)計(jì)好尺寸做一個(gè)藍(lán)箱框，再涂上虛擬演播室專用的影視漆。我們做成三墻一低式的，這樣攝像機(jī)機(jī)位限制小，搖攝范圍大。藍(lán)箱油漆涂的一定要均勻，特別是在墻墻、墻地交接處不能有接縫的痕跡。還有每天大量的使用，最難保持藍(lán)色純凈均勻的是地面，所以要鋪上透明的塑料墊子，這樣不會(huì)磨掉藍(lán)色漆，有鞋印的話也只要用拖把一下就沒有了，就算粘些塵土摳像效果影響也有限，這樣方便維護(hù)管理。為了配合虛擬場(chǎng)景中的主持臺(tái)，請(qǐng)木工做了簡(jiǎn)易的臺(tái)子，然后涂上同樣的藍(lán)色漆，這樣可以在臺(tái)子上放演播室直播話筒，摳像后的效果與虛擬場(chǎng)景配合的很好。

考慮到虛擬演播室燈光只需保持足夠的亮度和均勻的布光，該虛擬演播室延用原來(lái)實(shí)景演播室的三基色冷光源燈，重新進(jìn)行合理的布光，使藍(lán)箱各個(gè)位置都能保持充分的亮度。為了體現(xiàn)主持人立體的輪廓感，在主持人后面左右兩側(cè)各增加了一個(gè)低色溫的LED冷光燈，作為逆光使用，整體符合虛擬演播室要求。

3 綜述

真三維虛擬演播室系統(tǒng)的改建順應(yīng)了電視技術(shù)數(shù)字化發(fā)展趨勢(shì)，充分運(yùn)用功能日趨完善的虛擬演播室技術(shù)，進(jìn)一步提高了浙江省紹興市柯橋區(qū)廣播電視總臺(tái)電視節(jié)目制作技術(shù)質(zhì)量及畫面效果，同時(shí)演播室空間得到了充分合理的利用。該虛擬演播系統(tǒng)中最關(guān)鍵的渲染引擎使用LINUX系統(tǒng)，而軟件操作使用普通PC加上Windows系統(tǒng)，這樣既保證了系統(tǒng)的穩(wěn)定性，又便于用戶使用，而且場(chǎng)景創(chuàng)作也方便快捷，制作人員經(jīng)過短暫的培訓(xùn)就能熟練地使用系統(tǒng)自帶的設(shè)計(jì)軟件創(chuàng)作三維場(chǎng)景。系統(tǒng)自投入使用以來(lái)到達(dá)預(yù)期效果，整個(gè)虛擬演播室系統(tǒng)各項(xiàng)功能滿足要求，硬件、軟件都運(yùn)行穩(wěn)定，并在多個(gè)節(jié)目中頻繁應(yīng)用，如《柯橋區(qū)新聞》《快樂吧》等。該虛擬演播系統(tǒng)自設(shè)計(jì)階段到建成投入使用后，不僅得到臺(tái)內(nèi)人員和領(lǐng)導(dǎo)的肯定，還有其他縣區(qū)級(jí)兄弟臺(tái)同行前來(lái)參觀、咨詢，已成為一個(gè)在中小臺(tái)應(yīng)用的成功案例，必將在業(yè)內(nèi)得到越來(lái)越廣泛的使用。