文/周忠 張琳

遠(yuǎn)程沉浸：虛擬照進(jìn)現(xiàn)實(shí)

文/周忠 張琳

北京航空航天大學(xué)虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室在下一代互聯(lián)網(wǎng)上開展了一系列的遠(yuǎn)程沉浸技術(shù)研究工作，讓真實(shí)人體實(shí)時(shí)進(jìn)入虛擬世界中。

遠(yuǎn)程再現(xiàn)和遠(yuǎn)程沉浸一直是很多科幻小說和影視作品的偏好場(chǎng)景。著名的好萊塢大片《星球大戰(zhàn)》、《黑客帝國(guó)》和《阿凡達(dá)》等都是來自于這個(gè)主題。近年來一種基于視覺的遠(yuǎn)程沉浸虛擬現(xiàn)實(shí)交互系統(tǒng)成為虛擬現(xiàn)實(shí)領(lǐng)域的研究熱點(diǎn)之一。遠(yuǎn)程沉浸（Tele-immersion）系統(tǒng)通過實(shí)時(shí)、逼真的人體三維重建和遠(yuǎn)程再現(xiàn)技術(shù)將真實(shí)的人的動(dòng)作、表情、姿態(tài)、聲音等在共享的虛擬環(huán)境中同步再現(xiàn)出來，身處不同地域的多個(gè)人“進(jìn)入”到共享的三維虛擬環(huán)境中進(jìn)行“面對(duì)面”的互動(dòng)交流，從而達(dá)到身臨其境的互動(dòng)體驗(yàn)。

國(guó)際上新興的基于多相機(jī)的遠(yuǎn)程沉浸在遠(yuǎn)程交流、教學(xué)、醫(yī)療訓(xùn)練、協(xié)同設(shè)計(jì)、三維可視化等領(lǐng)域都有著重要的應(yīng)用前景。美國(guó)U.C. Berkeley大學(xué)、法國(guó)INRIA、伊利諾大學(xué)香檳分校、加州大學(xué)戴維斯分校、北卡羅來納大學(xué)教堂山分校UNC、南加州大學(xué)、布朗大學(xué)、馬克斯-普朗克信息學(xué)研究所等都在遠(yuǎn)程沉浸系統(tǒng)的軟硬件技術(shù)等方面開展研究。然而，遠(yuǎn)程沉浸系統(tǒng)中實(shí)時(shí)重建的人體三維模型，會(huì)產(chǎn)生大量的數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)和紋理圖像需要實(shí)時(shí)通過網(wǎng)絡(luò)進(jìn)行傳輸，對(duì)網(wǎng)絡(luò)帶寬有著巨大的需求，因此這些研究或在局域網(wǎng)內(nèi)進(jìn)行，如INRIA、南加州大學(xué)的工作，或在下一代互聯(lián)網(wǎng)上開展，如U.C.Berkeley、UIUC、U.C.Davis等合作的遠(yuǎn)程沉浸互聯(lián)實(shí)驗(yàn)。

遠(yuǎn)程沉浸（Tele-immersion）系統(tǒng)通過實(shí)時(shí)、逼真的人體三維重建和遠(yuǎn)程再現(xiàn)技術(shù)將真實(shí)的人的動(dòng)作、表情、姿態(tài)、聲音等在共享的虛擬環(huán)境中同步再現(xiàn)出來，身處不同地域的多個(gè)人“進(jìn)入”到共享的三維虛擬環(huán)境中進(jìn)行“面對(duì)面”地互動(dòng)交流，從而達(dá)到身臨其境的互動(dòng)體驗(yàn)。

北航的遠(yuǎn)程沉浸技術(shù)研究

北京航空航天大學(xué)虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室近幾年在遠(yuǎn)程沉浸技術(shù)方面開展了一系列的研發(fā)工作。實(shí)時(shí)三維重建技術(shù)實(shí)現(xiàn)了真實(shí)人體實(shí)時(shí)進(jìn)入虛擬世界中交互，是遠(yuǎn)程沉浸中的主要核心技術(shù)之一，重建的三維模型的精度和模型的重建速度是三維重建技術(shù)的兩個(gè)主要指標(biāo)。實(shí)驗(yàn)室設(shè)計(jì)了由12臺(tái)工業(yè)相機(jī)組成的4米×4米×3米的遠(yuǎn)程虛實(shí)協(xié)同采集建模環(huán)境和基于三目相機(jī)的便攜式建模環(huán)境。在這兩種建模環(huán)境下分別研發(fā)了基于側(cè)影輪廓的無標(biāo)識(shí)動(dòng)態(tài)物體實(shí)時(shí)三維重建技術(shù)和分層聚合的可變權(quán)值立體匹配算法。

基于側(cè)影輪廓的無標(biāo)識(shí)動(dòng)態(tài)物體實(shí)時(shí)三維重建算法基本原理是先用一棵不斷迭代剖分的具有立方體節(jié)點(diǎn)的八叉樹來描述一個(gè)三維物體，然后用行進(jìn)可視外殼精確立方體算法對(duì)得到的體素描述的三維模型進(jìn)行網(wǎng)格化，并進(jìn)行視點(diǎn)相關(guān)的紋理映射，最終得到被采集物體帶紋理的三維模型。

圖1 是人體模型與虛擬場(chǎng)景交互的效果圖，其中左圖是人在一個(gè)虛擬足球場(chǎng)的展示，人能夠?qū)崟r(shí)地與足球發(fā)生交互。右圖為人在虛擬的淺水環(huán)境展示，圖中可以看到人腳下產(chǎn)生了較為真實(shí)的水漣漪效果。

立體匹配算法采用實(shí)時(shí)性較高的基于局部匹配窗口的方法，并通過行列雙向聚合的方式進(jìn)一步降低匹配代價(jià)的聚合計(jì)算復(fù)雜度，引入一種可信度機(jī)制來減少聚合過程中的進(jìn)度損失；利用沿掃描線的動(dòng)態(tài)規(guī)劃選擇視差，將貪心選擇和視差平滑約束引入到動(dòng)態(tài)規(guī)劃過程以提高視差選擇的計(jì)算速度和準(zhǔn)確度。從而在滿足實(shí)時(shí)性要求的基礎(chǔ)上達(dá)到了較高的建模精度。圖2是RealTimeLAW立體匹配算法實(shí)驗(yàn)對(duì)比與應(yīng)用效果圖。右圖中的人正在實(shí)驗(yàn)拾取國(guó)際象棋，可以看到人可以利用手勢(shì)來控制虛擬的棋子。該算法的平均誤差低于7%，目前在Middlebury平臺(tái)上實(shí)時(shí)類算法中綜合精度排名第一。測(cè)試表明，當(dāng)圖像的分辨率為320×240時(shí)運(yùn)行速度可達(dá)15幀/秒，滿足實(shí)時(shí)交互要求。我們正在開展三目的匹配算法研究，初步結(jié)果表現(xiàn)出更高的精度，但實(shí)時(shí)性也有所影響。

圖1 重建的人體與虛擬場(chǎng)景交互效果

圖2 RealTimeLAW立體匹配算法對(duì)比與效果

下一代互聯(lián)網(wǎng)上的遠(yuǎn)程沉浸應(yīng)用系統(tǒng)

近年來，我國(guó)在下一代互聯(lián)網(wǎng)的研究和實(shí)踐方面開展了大量的工作，尤其是清華大學(xué)為主建設(shè)的CNGI-CERNET2網(wǎng)絡(luò)具有很大的影響。北京航空航天大學(xué)也是CNGICERNET2的主干節(jié)點(diǎn)單位之一，依托該網(wǎng)絡(luò)條件，初步開展了互聯(lián)網(wǎng)上的遠(yuǎn)程沉浸技術(shù)探索。

從2008年開始，北京航空航天大學(xué)虛擬現(xiàn)實(shí)國(guó)家重點(diǎn)實(shí)驗(yàn)室聯(lián)合清華大學(xué)、北京大學(xué)、上海交通大學(xué)、復(fù)旦大學(xué)、華中科技大學(xué)、華南理工大學(xué)、北京郵電大學(xué)、東北大學(xué)、電子科技大學(xué)等節(jié)點(diǎn)單位，在北京、沈陽、廣州、武漢、上海、杭州、成都共6個(gè)城市的10個(gè)主要CERNET2節(jié)點(diǎn)部署了基于遠(yuǎn)程沉浸技術(shù)的交流應(yīng)用平臺(tái)系統(tǒng)，也就是在下一代互聯(lián)網(wǎng)上搭建一種新型的虛擬現(xiàn)實(shí)交互式交流服務(wù)平臺(tái)。平臺(tái)軟件主要包括：服務(wù)中心軟件、用戶客戶端軟件、模型編輯軟件和門戶網(wǎng)站。遠(yuǎn)程沉浸虛擬現(xiàn)實(shí)交流系統(tǒng)的研究目的之一是在下一代互聯(lián)網(wǎng)實(shí)驗(yàn)一種新型服務(wù)，因此考慮了互聯(lián)網(wǎng)上的節(jié)點(diǎn)擴(kuò)展性，系統(tǒng)從總體上可分為服務(wù)中心和節(jié)點(diǎn)客戶端兩部分，如圖3所示。服務(wù)中心軟件負(fù)責(zé)用戶身份管理，協(xié)調(diào)用戶及交流研討小組，并進(jìn)行一系列的后臺(tái)維護(hù)工作，門戶網(wǎng)站可以訪問數(shù)據(jù)庫檢索信息?？蛻舳塑浖茄芯康闹饕夹g(shù)難點(diǎn)部分，主要包括多相機(jī)的實(shí)時(shí)采集與建模、聲音采集與播放、虛擬交互系統(tǒng)框架和網(wǎng)絡(luò)傳輸?shù)??？蛻舳塑浖饕ㄏ到y(tǒng)登陸大廳、三維建模及虛實(shí)混合繪制兩部分。

圖3 系統(tǒng)結(jié)構(gòu)

圖4 通訊結(jié)構(gòu)

圖5 平臺(tái)運(yùn)行場(chǎng)景

遠(yuǎn)程沉浸節(jié)點(diǎn)需要交互的實(shí)時(shí)數(shù)據(jù)主要包括幾何模型、紋理和交互操作，其中模型尤其是紋理部分的數(shù)據(jù)量很大，如果都通過服務(wù)中心轉(zhuǎn)發(fā)，服務(wù)中心將很容易過載，因此將模型和紋理數(shù)據(jù)在節(jié)點(diǎn)之間直接傳輸，并且模型、紋理是實(shí)時(shí)更新的，當(dāng)其在場(chǎng)景中渲染時(shí)，部分?jǐn)?shù)據(jù)的丟失并不會(huì)帶來很嚴(yán)重的影響，而實(shí)時(shí)性更為重要，因此基于快速的UDP協(xié)議進(jìn)行數(shù)據(jù)傳輸；而節(jié)點(diǎn)創(chuàng)建、加入交流組，下載模型等操作，都基于可靠的TCP協(xié)議通過服務(wù)中心在進(jìn)行節(jié)點(diǎn)間進(jìn)行傳輸，組內(nèi)節(jié)點(diǎn)共享同一個(gè)虛擬環(huán)境，系統(tǒng)通訊結(jié)構(gòu)圖如圖4所示。

另外，在研發(fā)過程中，還完成了專用的模型編輯軟件，項(xiàng)目門戶網(wǎng)站，和數(shù)據(jù)庫中心。

下一代互聯(lián)網(wǎng)虛擬現(xiàn)實(shí)交流平臺(tái)目前已經(jīng)建立起了十多項(xiàng)各具特色的科研交流虛擬環(huán)境，由各參與學(xué)校發(fā)揮各自優(yōu)勢(shì)，提供一些特色學(xué)科或?qū)I(yè)的科研數(shù)據(jù)，開發(fā)相應(yīng)的三維模型，并集成到平臺(tái)中提供相應(yīng)的遠(yuǎn)程科研交流服務(wù)。建設(shè)的交流場(chǎng)景有虛擬戰(zhàn)場(chǎng)、建筑協(xié)同研討環(huán)境、蛋白質(zhì)虛擬研討環(huán)境、協(xié)同船體設(shè)計(jì)、虛擬醫(yī)療研討環(huán)境、虛擬制冷設(shè)備研討、協(xié)同建筑施工研討、工業(yè)機(jī)器人研討、材料研討環(huán)境、電磁仿真環(huán)境等。另外，平臺(tái)還開發(fā)提供了五子棋交互娛樂環(huán)境，模擬駕駛環(huán)境、虛擬足球場(chǎng)交互娛樂環(huán)境，月球漫游環(huán)境等不同主題和不同交流、交互方式的虛擬交流與交互場(chǎng)景。圖5為平臺(tái)運(yùn)行的部分效果圖。

我們已經(jīng)在下一代互聯(lián)網(wǎng)上開展了大量的性能測(cè)試，實(shí)驗(yàn)結(jié)果表明其帶寬已經(jīng)能夠滿足大數(shù)據(jù)的傳輸需求，但延遲和穩(wěn)定性還需要提高?？偟膩碚f，作為一個(gè)新生事物，遠(yuǎn)程沉浸系統(tǒng)的技術(shù)與建設(shè)尚屬實(shí)驗(yàn)階段，隨著該技術(shù)的成熟和低成本化，將可能成為下一代互聯(lián)網(wǎng)上的特色應(yīng)用，為社會(huì)大眾服務(wù)。

（作者單位為北京航空航天大學(xué)虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室）