馬 巾，別業(yè)鵬，馬 雙

（荊門電視臺，湖北 荊門 448000）

1 引言

荊門電視臺里現(xiàn)有的虛擬演播室為兩維半系統(tǒng)，建于2001年，承擔全臺自辦欄目、1小時民生類演播室直播等任務，部分配件已嚴重老化，尤其是色鍵器出現(xiàn)嚴重的不穩(wěn)定現(xiàn)象，直接影響安全播出[1]。系統(tǒng)中沒有三維物體，只能通過動畫文件來仿真，三維動畫數(shù)量有限，超過5個會丟幀。當鏡頭推倒大廣角時，虛擬背景會被放大，變得很虛。攝像機左右搖擺幅度受限制，一般只能搖22.5°。演播室中的電視墻是一個面，當電視墻旋轉(zhuǎn)90°時電視墻就變成了一條線，沒有厚度感；不能實現(xiàn)虛擬燈光效果；無法實現(xiàn)虛擬相機的瀏覽；演播特技效果有限，無法滿足實際播出的需要。

2 技術(shù)需求

2.1 系統(tǒng)架構(gòu)要求

系統(tǒng)架構(gòu)為三機位雙通道數(shù)字SDI真三維虛擬演播室系統(tǒng)；最少1個傳感機位，攝像機可以實現(xiàn)平搖、俯仰和變焦的精確機電跟蹤；雙通道，能在PGM和PST兩個通道中，任意調(diào)度3個機位，實現(xiàn)2通道的特技切換；系統(tǒng)提供2個進口獨立色鍵，可同時監(jiān)看PGM和PST通道的摳像合成畫面；PGM和PST通道間切換支持包括硬切、淡入淡出、劃像、三維卷頁等至少200種切換特技，在機位切換過程中，保證前景信號與虛擬背景信號場同步切換，不出現(xiàn)前背景不同步、夾幀、畫面撕裂等現(xiàn)象；可以實現(xiàn)任意真實攝像機的虛擬運動軌跡設(shè)置，實現(xiàn)虛擬搖臂、導軌、航拍運動拍攝效果；系統(tǒng)設(shè)計構(gòu)架應以簡潔為主，盡量減少單臺設(shè)備的數(shù)量，避免故障點、系統(tǒng)連線和維護量的增加；系統(tǒng)支持外同步功能，自帶同步分配器，滿足系統(tǒng)內(nèi)部各配件（如渲染主機、切換器、色鍵等）的同步信號鎖定需求，預留同步輸出口，方便鎖定其他外圍設(shè)備（如攝像機、錄像機、非編等）；系統(tǒng)需確保音視頻同步；雙通道之間的特技切換必須達到廣播級質(zhì)量。

2.2 虛擬場景渲染模式及性能要求

系統(tǒng)應能支持三維模型實時渲染和場景圖像實時渲染的兩種渲染模式；三維模型實時渲染模式和場景圖像實時渲染模式相結(jié)合應用的要求[2]。為保證場景精美細膩的渲染效果，如實現(xiàn)光影追蹤、紋理反射等高級渲染效果，虛擬大場景可采用預渲染的場景圖像（三維軟件預先渲染廣角場景圖片）；為體現(xiàn)場景動態(tài)效果和結(jié)合節(jié)目制作需要，場景中如三維字、虛擬大屏幕（電視機）、虛擬桌子、欄桿、地板等，可采用三維模型實時渲染。要求系統(tǒng)具備統(tǒng)一的坐標系，保證無論是真實或者虛擬攝像機運動過程中，主場景圖像和三維模型物件融為一體，兩者之間保持正確合理的透視關(guān)系，不會出現(xiàn)錯位、漂移的現(xiàn)象，虛擬燈光每場8盞，并且保證攝像機快速變化過程中，場景不撕裂、不抖動，不出現(xiàn)黑場；系統(tǒng)場景圖像實時渲染能力應達到2048×1024像素分辨力、32位 （帶Alpha通道）以上的要求[3]。

2.3 攝像機跟蹤系統(tǒng)技術(shù)要求

系統(tǒng)應能同時支持真實攝像機機電傳感跟蹤和虛擬攝像機運動軌跡跟蹤兩種跟蹤方式；真實攝像機機電傳感跟蹤的平搖、俯仰和鏡頭變焦（推拉）應達到表1中的精度。

表1 傳感器精度表

系統(tǒng)應能支持虛擬攝像機運動軌跡跟蹤，無須配置搖臂、導軌等裝置，可實現(xiàn)任意真實攝像機的虛擬運動軌跡設(shè)置，實現(xiàn)航拍、搖臂、導軌等拍攝效果；系統(tǒng)要求虛擬攝像機按照任意軌跡的運動過程中，真實攝像機拍攝的前景人物與虛擬場景必須實現(xiàn)同步聯(lián)動、精準定位和合理的遮罩關(guān)系，并且虛擬攝像機的軌跡不受空間限制，虛擬場景建模不受任何限制，可任意設(shè)置虛擬攝像機軌跡。

3 系統(tǒng)簡介

現(xiàn)在采用的系統(tǒng)為勵得公司U-Set 3D全景虛擬演播室系統(tǒng)；U-Set 3D全景虛擬演播室是一款支持三機位同步切換、采用計算機圖形跟蹤系統(tǒng)與攝像機機電傳感跟蹤系統(tǒng)相結(jié)合、渲染系統(tǒng)根據(jù)場景虛擬攝像機軌跡或者采集攝像機平搖（Pan）、俯仰（Tilt）和變焦（Zoom）的參數(shù)，實時生成與前景運動一致并經(jīng)色鍵摳像合成以及添加字幕層輸出的新一代創(chuàng)新型虛擬演播室系統(tǒng)；用戶可定制加裝機電傳感跟蹤的攝像機機位，最大限度提升系統(tǒng)性價比，擺脫了傳統(tǒng)虛擬演播室攝像機取景空間范圍的限制，可以實現(xiàn)好萊塢大片式的恢宏航拍效果；其貼近虛擬節(jié)目制作實際的多跟蹤模式機位系統(tǒng)構(gòu)架，極大提升了虛擬演播室產(chǎn)品的性價比和易用性。

4 系統(tǒng)工作原理

系統(tǒng)各模塊和功能與工作原理（見圖1）如下：

1）切換器：完成攝像機前景信號的切換工作，受控于圖形工作站串口信號。

2）同步信號分配器：完成外來同步型號的分配，分別將同步信號分配給U-Set 3D圖形工作站、切換器以及預留給用戶攝像機的3個同步信號輸出口。

3）視頻輸入模塊：將切換器輸出攝像機前景視頻信號進行廣播級數(shù)字處理。

4）色鍵1和2：運用領(lǐng)先的色鍵摳像算法，將兩路前景數(shù)據(jù)流進行實時的摳像處理并產(chǎn)生相應前景畫面的鍵和填充數(shù)據(jù)信息。

5）傳感信息采集處理模塊：采用機械光電傳感跟蹤方式，采集攝像機平搖、俯仰、變焦6個方位的動作信息。

6）活動視頻采集模塊：實時采集輸入的活動視頻信號，并做10 bit廣播級數(shù)字處理，以用于建立虛擬場景視頻窗口。

7）活動機位背景渲染及前背景疊加模塊：采用先進的計算機圖形運動跟蹤算法，根據(jù)預設(shè)的虛擬攝像機軌跡關(guān)鍵幀，實時渲染生成動態(tài)虛擬背景和動態(tài)鍵遮罩信息，并與前景鍵和填充數(shù)據(jù)信息進行合成處理，實現(xiàn)前景摳像人物與虛擬場景具備合理空間透視關(guān)系的完美結(jié)合；虛擬攝像機鏡頭進行廣域航拍的全運動過程中，真實攝像機拍攝的前景人物實現(xiàn)同步聯(lián)動、精準定位和合理的遮罩關(guān)系，真實與虛擬空間結(jié)合得天衣無縫。此外，該模塊還需要控制攝像機切換模塊，當虛擬背景進行不同視角背景切換的時候，同時發(fā)出控制信號給攝像機切換模塊，切換至相應視角的前景攝像機。

8）廣角機位背景渲染及前背景疊加模塊：根據(jù)傳感信息采集模塊送來的真實攝像機動作參數(shù)，將廣角虛擬背景實時渲染生成與真實攝像機動作一致的虛擬場景和遮罩關(guān)系，并完成各個機位的各種三維和二維物件、符合不同機位透視關(guān)系渲染工作，最后與前景鍵和填充數(shù)據(jù)信息進行前背景的合成處理。此外，該模塊也還需要控制攝像機切換模塊，當虛擬背景進行不同視角背景切換的時候，同時發(fā)出控制信號給攝像機切換模塊，切換至相應視角的前景攝像機。

9）DVE特技切換及字幕疊加模塊：對兩路合成信號進行DVE特技切換處理，并在最終輸出信號上疊加字幕圖文。

10）音頻采集延時模塊：對演播室現(xiàn)場音頻實時采集并作相應延時處理輸出，以保證虛擬演播室視音頻信號音畫同步。

圖1 系統(tǒng)原理圖

5 系統(tǒng)技術(shù)特點

U-Set 3D全景虛擬演播室系統(tǒng)具有以下技術(shù)特點：

1）虛實結(jié)合無限完美視界。U-Set 3D全景虛擬演播室的圖形運動跟蹤算法，是通過設(shè)置虛擬攝像機的運動軌跡關(guān)鍵幀，自動計算真實攝像機畫面中物體在虛擬空間的坐標。在虛擬攝像機沿預設(shè)軌跡運動過程中，真實物件始終保持位于虛擬空間的唯一位置，而虛擬場景隨著虛擬攝像機運動而景別不斷變化，從而實現(xiàn)各種航拍、搖臂、移動導軌等真實拍攝才能實現(xiàn)的效果。同時，通過鍵遮擋技術(shù)，實現(xiàn)自動遮擋功能，從而將虛擬物件與真實物件的合理透視、景深關(guān)系完美體現(xiàn)。由于虛擬攝像機的運動軌跡是在虛擬空間任意設(shè)置的，無論場景是山峰、城堡、輪船、摩天大廈，抑或太空、宇宙飛船，只要想象所及的任何虛擬場景和拍攝效果都可以實現(xiàn)。

2）機電傳感與圖形運動跟蹤結(jié)合，最大限度貼近臺里應用需求。

盡管在實現(xiàn)大范圍的虛擬節(jié)目拍攝效果方面，圖形運動跟蹤算法獨具優(yōu)勢，但在節(jié)目實際制作過程中，攝像師需要對攝像機進行平搖、俯仰或者推拉鏡頭的動作，由于沒有在真實攝像機前端加裝物理跟蹤方式，所以無法采集獲知攝像機參數(shù)變化，以便虛擬場景與真實前景同步運動。

U-Set 3D全景系統(tǒng)并沒有試圖改變用戶的操作習慣，采用放大或者移動攝像機人物畫面的方法（這種方式會大大降低攝像機前景畫面指標，原理如前所述），通過移動鼠標的方法實現(xiàn)鏡頭變化的效果，而是在攝像機搖動、變焦以取景人物半身、特寫的過程中，傳感系統(tǒng)采集其相應參數(shù)，傳遞至渲染系統(tǒng)，虛擬場景同步變化；采用機電傳感與圖形運動跟蹤相結(jié)合的方式，可以運用前者，滿足通常虛擬節(jié)目的制作需求；也可以運用后者，實現(xiàn)恢宏的航拍、搖臂等飛行鏡頭，用于節(jié)目的開場與收場，將虛擬空間的廣闊場景充分表達，實現(xiàn)了技術(shù)與藝術(shù)完美和諧統(tǒng)一；U-Set 3D全景系統(tǒng)保留了廣角機位，它可以通過廣角機位的切換，體現(xiàn)出主持人處于虛擬空間的效果來。例如，機位一取的是主持人中景，機位二取的是全景，主持人和嘉賓都出現(xiàn)于虛擬演播室場景當中，機位三取的是嘉賓中景，通過這3個攝像機的之間的切換，就可以很好地體現(xiàn)出虛擬演播室的空間效果，見圖2。

圖2 3個機位切換效果圖

由于沒有配置攝像機傳感跟蹤系統(tǒng)，虛擬背景不能隨著攝像機的推拉搖而作相應運動，所以在節(jié)目制作播出過程中攝像機是不能動的。但是，在U-Set 3D中提供了一個非常實用的功能，虛擬背景是可以通過軟件來進行上下、左右、縮放的調(diào)整的。像上面提到的例子，若機位二取全景，就把背景縮小到一定程度，把虛擬場景的全景效果表現(xiàn)出來；機位一、三取的是中景，就把背景放大到相應程度，如果需要虛擬大屏幕正好在主持人身后，可以上下或左右移動背景到相應位置即可。

3）靈活的多機位設(shè)計。U-Set 3D全景虛擬演播室系統(tǒng)標配三通道攝像機切換器，3個攝像機拍攝的不同景別前景對應相應廣角虛擬場景，同時，這3路攝像機信號可以任意綁定任何一路應用圖形跟蹤算法的運動機位，實現(xiàn)超出實際攝像機機位的靈活多機位切換效果，極大豐富了虛擬演播室的創(chuàng)作手段。

4）精美預渲染場景與靈活實時渲染場景元素完美融合。U-Set 3D全景虛擬演播室系統(tǒng)采用預渲染場景與實時渲染場景元素相結(jié)合的渲染模式。在場景內(nèi)可添加各種實時渲染三維、二維場景元素，場景元素完全遵循預渲染三維場景空間坐標定義，滿足各個機位視角的合理透視關(guān)系，各種視頻、圖文、動畫序列、粒子、三維模型虛擬電視機/電視墻、統(tǒng)計柱狀圖和餅狀圖等可任意創(chuàng)建，并實現(xiàn)對前景的遮擋功能。

5）精彩的陰影、倒影色鍵處理效果。在U-Set 3D系統(tǒng)中，用戶不僅可以任意增加演員的陰影，控制陰影的深淺，而且還可以增加多個角度的陰影，更可以增加演員的倒影，與虛擬場景的反光地面相結(jié)合，制作出遠遠勝出以往的精彩虛擬演播室節(jié)目。

6）提供完整字幕解決方案。在虛擬合成畫面后的字幕疊加通道，可以實現(xiàn)在虛擬節(jié)目畫面前添加字幕圖文，省卻另外給虛擬演播室系統(tǒng)配置下游字幕的成本。

7）機械光電傳感跟蹤系統(tǒng)，攝像機跟蹤精確平穩(wěn)。U-Set 3D全景虛擬演播系統(tǒng)采用高精度的機械光電傳感器，實時控制三維虛擬場景中的虛擬攝像機參數(shù)，從而使三維虛擬場景隨著真實攝像機的動作變化而改變。在快速的鏡頭推拉搖動過程中，可以控制虛擬場景的快速同步變化，同時保持場精確的平穩(wěn)過渡，不會出現(xiàn)人與背景錯位的現(xiàn)象。

萬能鏡頭傳感系統(tǒng)，兼容所有攝像鏡頭，不需要任何機械改造，安裝使用簡單快捷，系統(tǒng)狀態(tài)一目了然，見圖3。

8）本地硬盤播放和外接視頻信號的多路大屏設(shè)計。U-Set 3D系統(tǒng)可以實現(xiàn)獨家的多大屏的技術(shù)要求，即在虛擬場景里面實現(xiàn)同時打開多個不同內(nèi)容虛擬大屏幕，一路大屏幕信號來自外接視頻信號源，如VTR，DVD等；另外幾路大屏幕信號（路數(shù)隨計算機系統(tǒng)配置而定）可以是事先采集進計算機主機的AVI視頻文件，而文件的壓縮格式可以支持 M-JPEG，MPEG-2（I幀、IBP 幀），DV25，DV50 等視頻壓縮格式。

圖3 鏡頭傳感系統(tǒng)

9）基于Ultra-Fx視頻流控制傳輸技術(shù)，確保前后景切換同步準確。U-Set 3D成功地運用Ultra-Fx視頻流控制傳輸技術(shù)，實現(xiàn)所有視頻流的傳輸都獨立于計算機傳輸總線。同時，最大限度降低視頻流控制對CPU的占用，通過在GPU里面設(shè)計大容量的DDR顯存，很好地解決了這一問題，實現(xiàn)機位切換時前背景同步準確。

10）高質(zhì)量的虛擬大屏幕。U-Set 3D系統(tǒng)中的虛擬大屏幕接入信號可以采用復合、模擬分量、Y/C、數(shù)字SDI等基于廣播級的視頻信號格式輸入。

[1]別業(yè)鵬.荊門電視臺新聞直播系統(tǒng)的設(shè)計與實現(xiàn)[J].電視技術(shù)，2008，32（9）：74－75.

[2]武紅辰.數(shù)字化播出系統(tǒng)的發(fā)展[J].世界廣播電視，2001（5）：36-38.

[3]沈丞，張利.虛擬演播室中三維模型簡化算法研究[J].電視技術(shù)，2009，33（12）：75-77.