王瑞剛

（西安郵電學(xué)院 通信技術(shù)研究所，陜西 西安 710061）

1 引言

虛擬會(huì)議的提出旨在解決視頻會(huì)議缺乏臨場(chǎng)感的問(wèn)題，通過(guò)構(gòu)建以會(huì)議成員為中心的虛擬會(huì)場(chǎng)，明確與會(huì)者之間的虛擬空間邏輯關(guān)系，提高會(huì)議成員的群組感知程度和交互深度，使與會(huì)人員能夠以自然的方式（包括圖像、聲音、姿態(tài)、眼神等）交互協(xié)作。

自1999年ACM國(guó)際多媒體技術(shù)大會(huì)（Association for Computing Machinery International Conferenceon Multimedia）上虛擬空間會(huì)議（VST）概念正式提出，許多組織都對(duì)這一技術(shù)進(jìn)行了研究。瑞士日內(nèi)瓦大學(xué)MiraLab實(shí)驗(yàn)室和瑞士聯(lián)邦技術(shù)學(xué)院（EPLF）計(jì)算機(jī)圖形實(shí)驗(yàn)室研制出以“虛擬人控制”為主要特征的VLNet（Virtual Life Network）系統(tǒng)[1]。日本京都大學(xué)研制出以“3D虛擬社區(qū)和隨時(shí)接觸仿真”為主要特征的FreeWalk系統(tǒng)[2]。在國(guó)內(nèi)，孫茂軍等人提出“三投影拼接半沉浸”式HVS系統(tǒng)[3]；孫立峰等人研究了“多視點(diǎn)”的虛擬會(huì)議現(xiàn)實(shí)與合成技術(shù)[4]；呂朝輝等人研究了“中間視”合成方法[5]；胡瑞敏等人提出了“基于空間對(duì)象”的虛擬會(huì)議音頻重建技術(shù)[6]。

總的來(lái)講，虛擬會(huì)議的技術(shù)研究和產(chǎn)業(yè)發(fā)展比較緩慢。一方面，虛擬會(huì)議系統(tǒng)研究還缺乏完整的理論體系，研究方向多集中在虛擬環(huán)境建模和視頻合成等方面，忽視了現(xiàn)實(shí)會(huì)議系統(tǒng)對(duì)虛擬技術(shù)的需求特點(diǎn)以及與會(huì)成員間視頻和聲音實(shí)時(shí)同步交互這一根本屬性。另一方面，在虛擬演播室中，成熟的建模方法與合成技術(shù)不能滿足視頻會(huì)議應(yīng)用的現(xiàn)實(shí)需求。

筆者分析了虛擬視頻會(huì)議的特點(diǎn)，并從視頻分割合成、聲音定位和同步顯示呈現(xiàn)等方面研究了虛擬視頻會(huì)議技術(shù)的實(shí)現(xiàn)。

2 虛擬圓桌視頻會(huì)議的特征呈現(xiàn)

2.1 虛擬視頻會(huì)議特征分析

虛擬視頻會(huì)議的本質(zhì)特征就是將現(xiàn)實(shí)視頻會(huì)議整體嵌入在一個(gè)虛擬的會(huì)場(chǎng)中，并真實(shí)呈現(xiàn)現(xiàn)實(shí)會(huì)議中的交互關(guān)系。本地與會(huì)人員的位置、動(dòng)作、聲音、表情等信息均可在遠(yuǎn)端被感知。這種呈現(xiàn)需要借助于現(xiàn)實(shí)會(huì)議終端的音視頻顯示設(shè)備以及虛擬視頻處理設(shè)備。

“三投影”呈現(xiàn)方案具有較好的呈現(xiàn)效果，但需要設(shè)計(jì)專(zhuān)用會(huì)議室，其設(shè)備和投資對(duì)于一般用戶來(lái)說(shuō)難以承受。同時(shí)終端須處理多個(gè)視頻流，這使得會(huì)議系統(tǒng)的規(guī)模和控制難度陡增。“單投影”方案在用戶體驗(yàn)“完全沉浸感”上雖有一定的局限性，但實(shí)現(xiàn)簡(jiǎn)單，不需要對(duì)終端進(jìn)行太多改造，只要?jiǎng)?chuàng)建的虛擬會(huì)場(chǎng)足夠逼真，終端也可呈現(xiàn)具有穩(wěn)定秩序和深度層次的會(huì)議場(chǎng)景。兩種方案都需要大屏幕（大于50 in）投影顯示，而目前的標(biāo)清視頻會(huì)議的像素分辨力多為352×288，則在大屏幕顯示時(shí)明顯感覺(jué)清晰度不夠，因此，虛擬視頻會(huì)議更適合高清（720p格式）視頻會(huì)議系統(tǒng)。

2.2 圓桌會(huì)議室場(chǎng)景呈現(xiàn)

圓桌會(huì)議通常不設(shè)主席，與會(huì)各方在會(huì)議中的地位平等。本文中將圓桌會(huì)議分為4個(gè)區(qū)，分別命名為①，②，③，④，每區(qū)可設(shè)1～3個(gè)座席，如圖1所示。

座席位置用兩位數(shù)表示，高位表示座席所在分區(qū)，1，2，3，4 分別對(duì)應(yīng)①，②，③，④這 4 個(gè)分區(qū)；低位表示座席在分區(qū)中的位置，0表示中間位，1表示左位，2表示右位。例如，號(hào)碼10表示座席位于①區(qū)中間位置。

不同的會(huì)議內(nèi)容，應(yīng)有不同風(fēng)格的會(huì)議室。虛擬會(huì)議室的創(chuàng)建應(yīng)能呈現(xiàn)這一特征，其主要屬性有標(biāo)識(shí)會(huì)議性質(zhì)的橫幅、色調(diào)、裝修風(fēng)格、墻裙背景、植物背景、會(huì)議桌的形式、座席數(shù)、座席位置安排等。

2.3 座席間視頻交互特征的呈現(xiàn)

每個(gè)與會(huì)終端和虛擬會(huì)場(chǎng)中的一個(gè)座席對(duì)應(yīng)，其視頻圖像在該位置合成，與會(huì)者以“入席”的方式加入到虛擬會(huì)議中。與會(huì)者的觀察方向可能隨時(shí)變化，大部分時(shí)間應(yīng)指向發(fā)言人位置，這一特征可通過(guò)位于正前方的終端攝像機(jī)捕捉，并在與虛擬會(huì)議室合成時(shí)予以保留。對(duì)于圖1中同一分區(qū)的3個(gè)座席來(lái)說(shuō)，觀察其余3個(gè)分區(qū)中的座席方向大體一致。也就是說(shuō)，處在同一分區(qū)的3個(gè)座席所對(duì)應(yīng)的會(huì)議終端屏幕上呈現(xiàn)的虛擬場(chǎng)景具有很高的相似性，這樣，研究時(shí)只須考慮如圖2所示的4個(gè)分區(qū)間的空間關(guān)系即可。

假如①正在發(fā)言，且凝視③，②和④正在凝視①，那么在③的投影屏幕上應(yīng)能呈現(xiàn)這一關(guān)系。即②和④分別位于①的左右，且凝視①；①凝視前方，使③感覺(jué)①正在關(guān)注自己；若①突然轉(zhuǎn)向凝視②，③同樣可以感知這一變化。②，①，④合成時(shí)角度的選擇，應(yīng)考慮虛擬空間的深淺。

2.4 現(xiàn)實(shí)音像空間關(guān)系的呈現(xiàn)

在傳統(tǒng)的視頻會(huì)議終端中，來(lái)自遠(yuǎn)端的聲音一般為單路輸出，與視頻圖像之間不存在空間定位關(guān)系。虛擬會(huì)議中，音像關(guān)系的空間定位是產(chǎn)生臨場(chǎng)感和真實(shí)感的關(guān)鍵因素，因此終端會(huì)議室應(yīng)建立如圖3所示的揚(yáng)聲器陣列。

對(duì)于③中的會(huì)議終端，左置揚(yáng)聲器輸出②的聲音，中置揚(yáng)聲器輸出①的聲音，右置揚(yáng)聲器輸出④的聲音，揚(yáng)聲器輸出通過(guò)聲音定位信號(hào)控制。對(duì)于采用復(fù)雜算法的立體聲場(chǎng)處理技術(shù)，3個(gè)揚(yáng)聲器同時(shí)輸出經(jīng)處理后的模擬空間聲音信號(hào)。

3 技術(shù)與實(shí)現(xiàn)

3.1 虛擬會(huì)議室的創(chuàng)建

虛擬會(huì)議室的創(chuàng)建可獨(dú)立于視頻會(huì)議系統(tǒng)，不需要多點(diǎn)控制單元（Multipoint Control Unit，MCU）的參與，且沒(méi)有實(shí)時(shí)性要求。虛擬會(huì)議室的創(chuàng)建可以采用基于模型和基于圖像的兩種技術(shù)方案。

基于模型的方案優(yōu)點(diǎn)是可通過(guò)全景縮放和多分辨力全景圖像來(lái)模擬變焦距觀察，實(shí)現(xiàn)對(duì)虛擬會(huì)場(chǎng)細(xì)節(jié)程度的感知，支持空間平滑漫游及空間切換。缺點(diǎn)是建模繁瑣，計(jì)算量大，設(shè)備需求高，難以實(shí)現(xiàn)逼真的交互式虛擬會(huì)場(chǎng)。

基于圖像的方案優(yōu)點(diǎn)是采用實(shí)景圖像來(lái)表現(xiàn)復(fù)雜的三維環(huán)境，其逼真度高，沒(méi)有繁瑣的三維建模工作，場(chǎng)景的處理時(shí)間與場(chǎng)景的復(fù)雜度無(wú)關(guān)，易于實(shí)現(xiàn)實(shí)時(shí)交互，設(shè)備要求低。缺點(diǎn)是虛擬會(huì)場(chǎng)缺乏統(tǒng)一的空間坐標(biāo)體系，難以實(shí)現(xiàn)任意方式的空間漫游與交互。

虛擬圓桌會(huì)議室中，座席位置固定，與會(huì)者與會(huì)議空間無(wú)漫游關(guān)系（進(jìn)入和退出會(huì)場(chǎng)情況除外），因此，采用基于圖像的方案更為適合。本文采用Apple公司的Quick-Time VR系統(tǒng)，建立以視點(diǎn)空間為基本單元的多個(gè)虛擬會(huì)議室，會(huì)議進(jìn)行中，通過(guò)在多個(gè)虛擬實(shí)景會(huì)場(chǎng)間的直接切換來(lái)模擬不同攝像機(jī)位的拍攝效果。

3.2 聲音定位信號(hào)的提取

對(duì)于聲音定位信號(hào)y的提取，可以利用MCU中討論模式的語(yǔ)音激勵(lì)控制方式，將當(dāng)前發(fā)言終端的位置信息存儲(chǔ)在聲音定位控制器Yc中，并發(fā)送至每個(gè)會(huì)議終端，控制揚(yáng)聲器的輸出切換。聲音定位信號(hào)也可用來(lái)控制虛擬會(huì)議和現(xiàn)實(shí)會(huì)議的切換，同時(shí)也用于視頻合成的控制。

3.3 視頻分割與合成

視頻的分割與合成可以在會(huì)議終端進(jìn)行，也可以在集中式MCU中進(jìn)行。若在會(huì)議終端進(jìn)行，每個(gè)終端必須接收來(lái)自其他終端發(fā)送的多個(gè)視頻流，然后進(jìn)行分割，再與存儲(chǔ)在本地的虛擬會(huì)議室合成。若在MCU中進(jìn)行，則來(lái)自每個(gè)會(huì)議終端發(fā)送的多個(gè)視頻流經(jīng)解碼、分割后與虛擬會(huì)議室進(jìn)行合成，再發(fā)送給會(huì)議終端顯示。后一種方案并不破壞傳統(tǒng)的視頻會(huì)議方式，只相當(dāng)于在MCU中增加了一個(gè)“虛擬會(huì)議”選項(xiàng)，并且可以實(shí)現(xiàn)真實(shí)會(huì)議和虛擬會(huì)議間的直接切換。采用在MCU中實(shí)現(xiàn)的方案有：

1）視頻分割

采用一維類(lèi)間最大方差的背景自動(dòng)分割法，從每個(gè)會(huì)議終端視頻流中分割出與會(huì)者的上半身圖像Vmn（m=1～4，n=0～2），并存儲(chǔ)在實(shí)景圖像存儲(chǔ)器 Mmn中。

2）一次合成法

為某一個(gè)會(huì)議終端創(chuàng)建一個(gè)虛擬視頻存儲(chǔ)器Mijin（i=m，j=n），來(lái)自其他終端的分割圖像按照?qǐng)D1中的空間位置與虛擬會(huì)場(chǎng)VB合成Vijin虛擬視頻，存儲(chǔ)在Mijin中，通過(guò)MCU控制發(fā)送至該終端進(jìn)行顯示。在會(huì)議終端較多時(shí)，一次合成法運(yùn)算量較大。

3）分區(qū)分級(jí)合成法

先在同一個(gè)分區(qū)中對(duì)3個(gè)終端的圖像進(jìn)行預(yù)合成，然后再將分區(qū)預(yù)合成的圖像與虛擬會(huì)場(chǎng)合成。對(duì)于圖2所示的情況，兩次合成中，與會(huì)者之間都為三角關(guān)系，合成運(yùn)算量較小。

松江區(qū)推進(jìn)公共圖書(shū)館總分館制體系建設(shè)，有利于補(bǔ)齊城鄉(xiāng)文化短板，改變過(guò)去區(qū)、街鎮(zhèn)、居村三級(jí)資源孤島狀態(tài)，改善城鄉(xiāng)二元結(jié)構(gòu)矛盾。有效促進(jìn)分散資源整合和優(yōu)質(zhì)資源向基層投射，縮短群眾和圖書(shū)館之間的距離。充分實(shí)現(xiàn)政府主導(dǎo)、社會(huì)參與的建設(shè)目標(biāo)和充分保障人民群眾基本文化權(quán)益的制度建設(shè)。

預(yù)合成過(guò)程可簡(jiǎn)單地描述為

預(yù)合成的分區(qū)圖像Vx存儲(chǔ)在分區(qū)圖像存儲(chǔ)器Mx中，如果該分區(qū)只有一個(gè)終端，則Vx=Vm0。預(yù)合成由座席號(hào)碼mn控制，合成時(shí)可對(duì)Vmn進(jìn)行簡(jiǎn)單的縮放操作，或者通過(guò)遠(yuǎn)端攝像機(jī)控制功能，直接調(diào)整Vm1，Vm0和Vm2的大小和視角。所有的控制參數(shù)均保存在控制參數(shù)存儲(chǔ)器Cx中，以便虛擬會(huì)議啟動(dòng)時(shí)調(diào)用。

在MCU媒體處理器中，由區(qū)位代碼x和聲音定位信號(hào)y來(lái)控制分區(qū)視頻信號(hào)Vx與虛擬會(huì)場(chǎng)VB合成視頻Vxin，區(qū)位代碼x決定合成時(shí)各分區(qū)實(shí)景的位置，音頻定位信號(hào)y決定合成時(shí)各分區(qū)左旋或右旋的角度，以產(chǎn)生傾聽(tīng)發(fā)言者的效果。Vxin使與會(huì)者視頻圖像（實(shí)景）與創(chuàng)建的虛擬會(huì)場(chǎng)（虛景）融為一體，通過(guò)會(huì)議終端投影顯示來(lái)呈現(xiàn)具有真實(shí)感和沉浸感的會(huì)議效果。發(fā)送至4個(gè)分區(qū)終端的虛擬視頻的合成過(guò)程可簡(jiǎn)單地描述為

3.4 MCU的切換控制

MCU的切換控制主要有：

1）虛擬會(huì)議室的創(chuàng)建

在會(huì)議模式選單下，添加“虛擬會(huì)議”，與“單畫(huà)面”、“多畫(huà)面”一起組成3種會(huì)議模式。“虛擬會(huì)議”包含會(huì)議室創(chuàng)建、視頻分割、虛擬合成等功能模塊。

2）虛擬會(huì)議的呼叫

3）音視頻媒體流的發(fā)送

音視頻媒體流的傳輸與視頻會(huì)議相同。在呼叫建立后，先播放音樂(lè)和虛擬會(huì)議室全景畫(huà)面，然后傳輸4個(gè)分區(qū)的虛擬合成視頻流至對(duì)應(yīng)的會(huì)議終端。

4）聲音定位信號(hào)的發(fā)送

發(fā)言者的定位信號(hào)“0”，“1”，“2”通過(guò) H.245 協(xié)議或H.281協(xié)議發(fā)送至與會(huì)終端，控制中置、左置和右置揚(yáng)聲器的輸出切換，實(shí)現(xiàn)與發(fā)言者的圖像同步定位。發(fā)言者的聲音并不在自身的會(huì)場(chǎng)中輸出，這與視頻會(huì)議一致。

5）終端退出會(huì)議

在會(huì)議進(jìn)行過(guò)程中，若某一終端退出會(huì)議，其實(shí)景圖像從視頻合成中退出，其余終端可覺(jué)察到這一過(guò)程。

6）會(huì)議模式的切換

在某一終端長(zhǎng)時(shí)間發(fā)言時(shí)，MCU可在“虛擬會(huì)議”與“單畫(huà)面”模式間切換，適當(dāng)“插播”發(fā)言者的大畫(huà)面頭像，以增加虛擬會(huì)議的效果。需要全面了解各會(huì)議終端時(shí)，可切換至“多畫(huà)面”模式。

4 小結(jié)

本文對(duì)傳統(tǒng)視頻會(huì)議進(jìn)行簡(jiǎn)單的改造，不增加攝像機(jī)位和多視頻流傳輸，也不改變會(huì)議呼叫方式，通過(guò)在集中式MCU中增加虛擬視頻分割合成與聲音定位控制功能，在不過(guò)度增加MCU負(fù)載 （在Media Switch 500型MCU中，CPU使用率增加不大于20%）的情況下，即可實(shí)現(xiàn)虛擬圓桌視頻會(huì)議應(yīng)用，且可在現(xiàn)實(shí)會(huì)議和虛擬會(huì)議間直接切換，進(jìn)一步增強(qiáng)會(huì)議效果。在高清視頻會(huì)議系統(tǒng)中應(yīng)用，會(huì)議的真實(shí)感和沉浸感更好。本文中，會(huì)議終端采用單一攝像機(jī)，如何模擬現(xiàn)實(shí)會(huì)議中攝像機(jī)多機(jī)位、推拉、平移、俯仰等操作應(yīng)為下一步研究的重點(diǎn)。

[1]VUILLEME A G，CAPIN T K，PANDZIC I S，et al.Nonverbal communication interface for collaborative virtual environments[J].VirtualReality，1999，4（1）：49-59.

[2]NAKANISHI H.FreeWalk：A 3D virtual space for casual meetings[J].IEEE Multimedia，1999，6（2）：20-28.

[3]張茂軍，孫立峰，李云浩，等.虛擬會(huì)議空間的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2001（1）：11-12.

[4]孫立峰，李放，鐘玉琢，等.基于多視點(diǎn)視頻的虛擬會(huì)議顯示與合成[J].電子學(xué)報(bào)，2004，33（2）：193-196.

[5]呂朝輝，董躍.基于圖像的中間視合成方法綜述[J].電視技術(shù)，2009，33（6）：26-29.

[6]杭波，胡瑞敏，馬曄.基于空間對(duì)象的虛擬會(huì)議音頻重建[J].電聲技術(shù)，2009，33（7）：48-51.