周忠，周頤，肖江劍

?

虛擬現(xiàn)實增強技術(shù)綜述

周忠，周頤，肖江劍

1　引言

虛擬現(xiàn)實技術(shù)建立人工構(gòu)造的三維虛擬環(huán)境，用戶以自然的方式與虛擬環(huán)境中的物體進行交互作用、相互影響，極大擴展了人類認識世界，模擬和適應(yīng)世界的能力。虛擬現(xiàn)實技術(shù)從20世紀60—70年代開始興起，90年代開始形成和發(fā)展，在仿真訓(xùn)練、工業(yè)設(shè)計、交互體驗等多個應(yīng)用領(lǐng)域解決了一些重大或普遍性需求，目前在理論技術(shù)與應(yīng)用開展等方面都取得了很大的進展。虛擬現(xiàn)實的主要科學問題包括建模方法、表現(xiàn)技術(shù)、人機交互及設(shè)備這三大類，但目前普遍存在建模工作量大，模擬成本高，與現(xiàn)實世界匹配程度不夠以及可信度等方面的問題。

針對這些問題，已經(jīng)出現(xiàn)了多種虛擬現(xiàn)實增強技術(shù)，將虛擬環(huán)境與現(xiàn)實環(huán)境進行匹配合成以實現(xiàn)增強，其中將三維虛擬對象疊加到真實世界顯示的技術(shù)稱為增強現(xiàn)實，將真實對象的信息疊加到虛擬環(huán)境繪制的技術(shù)稱為增強虛擬環(huán)境。這兩類技術(shù)可以形象化地分別描述為“實中有虛”和“虛中有實”。虛擬現(xiàn)實增強技術(shù)通過真實世界和虛擬環(huán)境的合成降低了三維建模的工作量，借助真實場景及實物提高了用戶體驗感和可信度，促進了虛擬現(xiàn)實技術(shù)的進一步發(fā)展。

搜索熱度代表了大眾對于該詞的關(guān)注程度，一般來說，新技術(shù)會引起搜索高潮，然后慢慢下降，在技術(shù)取得突破或出現(xiàn)某熱點事件時激增，最終趨于穩(wěn)定。我們使用Google trends 對比了虛擬現(xiàn)實，增強現(xiàn)實，增強虛擬環(huán)境和混合現(xiàn)實等詞的全球搜索熱度，為了有所參照，以人機交互（HCI）作為參考。可以看出，和人機交互一樣，虛擬現(xiàn)實的搜索熱度逐漸下降并趨于穩(wěn)定，這說明虛擬現(xiàn)實技術(shù)正在成熟中，逐漸被大眾所接受，其中最近的峰值是Facebook收購虛擬現(xiàn)實眼鏡企業(yè)Oculus。與之相反，增強現(xiàn)實的關(guān)注度在2008年開始迅速上升，并連續(xù)出現(xiàn)多個熱度高峰，通過查看其關(guān)聯(lián)新聞可以發(fā)現(xiàn)，其熱度主要是2007年Apple公司發(fā)布iPhone，移動互聯(lián)網(wǎng)興起所推動，特別是在攝像頭加上陀螺儀成為智能手機的標配，為增強現(xiàn)實技術(shù)提供了充分的發(fā)展空間。這其中Google眼鏡和網(wǎng)上虛擬試衣吸引了很多關(guān)注度。而增強虛擬現(xiàn)實，增強虛擬環(huán)境，增強虛擬（augmented virtuality）等詞的搜索量遠小于以上熱詞的量級，反映了增強虛擬環(huán)境技術(shù)還有待于突破，尚未出現(xiàn)重要事件。

可以看出，對虛擬現(xiàn)實技術(shù)進行增強正發(fā)展成為重要的方向，具有很大的發(fā)展?jié)摿Α１疚闹攸c圍繞近幾年虛擬現(xiàn)實增強技術(shù)的發(fā)展趨勢，首先論述了技術(shù)特點，介紹了相關(guān)的硬件設(shè)備發(fā)展，然后分別介紹了增強現(xiàn)實和增強虛擬環(huán)境技術(shù)的發(fā)展現(xiàn)狀，考慮到移動互聯(lián)網(wǎng)是信息技術(shù)發(fā)展的又一次革命，簡介并討論了移動互聯(lián)網(wǎng)上的虛實增強技術(shù)與應(yīng)用，接下來結(jié)合作者參與ISO/IEC JTC1 SC 24分技術(shù)委員會的工作，介紹了相關(guān)國際標準制定的最新情況，最后進行總結(jié)并給出了幾個需要解決的問題。

2　技術(shù)特點

現(xiàn)在業(yè)內(nèi)普遍認可：從真實世界到虛擬環(huán)境中間經(jīng)過了增強現(xiàn)實與增強虛擬環(huán)境這兩類虛擬現(xiàn)實增強技術(shù)。國際上一般把真實世界（計算機視覺）、增強現(xiàn)實、增強虛擬環(huán)境、虛擬現(xiàn)實這4類相關(guān)技術(shù)統(tǒng)稱為虛擬現(xiàn)實連續(xù)統(tǒng)一體（VR continuum）。與早期相比，增強現(xiàn)實或增強虛擬環(huán)境的概念已經(jīng)發(fā)生了很大的變化，技術(shù)領(lǐng)域大為拓寬，但它們的技術(shù)特征都離不開如下3點：（1） 將虛擬和現(xiàn)實環(huán)境進行混合；（2） 實時交互；（3）三維注冊。

下面分別對增強現(xiàn)實與增強虛擬環(huán)境進行技術(shù)分析。需要說明的是，此處的“相機”是指廣義上的視覺采集設(shè)備，不單包括攝像頭，也包括紅外深度相機、激光掃描儀等。

增強現(xiàn)實技術(shù)通過運動相機或可穿戴顯示裝置的實時連續(xù)標定，將三維虛擬對象穩(wěn)定一致地投影到用戶視口中，達到“實中有虛”的表現(xiàn)效果。真實世界是我們所處的物理空間或其圖像空間，其中的人和豎立的VR牌是虛擬對象，隨著視點的變化，虛擬對象也進行對應(yīng)的投影變換，使得虛擬對象看起來像是位于真實世界的三維空間中。

增強現(xiàn)實還有一個特殊的分支，稱為空間增強現(xiàn)實（spatially augmented reality），或投影增強模型（projection augmented model），將計算機生成的圖像信息直接投影到預(yù)先標定好的物理環(huán)境表面，如曲面、穹頂、建筑物、精細控制運動的一組真實物體等。本質(zhì)上來說，空間增強現(xiàn)實是將標定生成的虛擬對象投影到預(yù)設(shè)真實世界的完整區(qū)域，作為真實環(huán)境對象的表面紋理。與傳統(tǒng)的增強現(xiàn)實由用戶佩戴相機或顯示裝置不同，這種方式不需要用戶攜帶硬件設(shè)備，而且可以支持多人同時參與，但其表現(xiàn)受限于給定的物體表面，而且由于投影紋理是視點無關(guān)的，在交互性上稍顯不足。實際上，我國現(xiàn)在已經(jīng)很流行的柱面、球面、各種操控模擬器顯示以及多屏拼接也可以歸為這一類。最著名的投影增強模型的是早期的“shader lamps”。

增強虛擬環(huán)境技術(shù)預(yù)先建立了虛擬環(huán)境的三維模型，通過相機或投影裝置的事先或?qū)崟r標定，提取真實對象的二維動態(tài)圖像或三維表面信息，實時將對象圖像區(qū)域或三維表面融合到虛擬環(huán)境中，達到“虛中有實”的表現(xiàn)效果。在虛擬環(huán)境中出現(xiàn)了來自于真實世界的實時圖像，其中VR牌上的紋理和人體都來自于相機采集的圖像，人體甚至可以是實時的三維對象及其表面紋理圖像。

與增強現(xiàn)實中存在的投影增強模型技術(shù)正好相反，增強虛擬環(huán)境技術(shù)中也有一類對應(yīng)的技術(shù)，用相機采集的圖像覆蓋整個虛擬環(huán)境，即作為虛擬環(huán)境模型的紋理，用戶可以進行高真實感的交互式三維瀏覽。當這種三維模型是球面、柱面、立方體等通用形狀的內(nèi)表面時，這種技術(shù)也就是現(xiàn)在已經(jīng)很普及的全景（panorama）圖片或視頻。全景視頻將真實世界的一幅魚眼或多幅常規(guī)圖像投影到三維模型上，構(gòu)造出單點的全方位融合效果，多幅圖像之間的拼接可以是圖像特征點匹配或相機預(yù)先標定等方式。微軟Bing 地圖架構(gòu)師Arcas在TED 2010的演講中演示了一種新穎地圖應(yīng)用研究，在全景圖片增加實時視頻內(nèi)容的疊加。這種增強方式可以反映同一地點各種影像的空間幾何關(guān)系，用戶可以自由瀏覽全景，就像在現(xiàn)場一樣，產(chǎn)生了更加真實的虛擬環(huán)境效果。

IEEE ISMAR（International Symposium on Mixed and Augmented Reality）是專門討論虛擬現(xiàn)實增強技術(shù)的國際會議，發(fā)表的論文包括兩類：科技（Science & Technology，S&T）論文和藝術(shù)人文（Arts，Media & Humanities，AMH）論文。其微軟學術(shù)搜索計算的H因子為41，從1999年到2011年間共發(fā)表論文753篇，引用總計7514次（其中自引992次），特別是從2004年開始引用頻次明顯提高。Zhou等在2008年綜述了ISMAR及其前身會議的10年間發(fā)表S&T論文情況，相機跟蹤、交互、標定、應(yīng)用、顯示和移動AR是最主要的6個方向，而高引用論文分布的前幾個方向主要是相機跟蹤、交互、標定、應(yīng)用、編著和移動AR。可以看出，當前相機跟蹤、交互和標定是虛擬現(xiàn)實增強技術(shù)研究關(guān)注的熱點，另外，應(yīng)用模式也是業(yè)內(nèi)正在積極探索的內(nèi)容，應(yīng)用（含移動應(yīng)用）及其引用比例均能夠占整個會議的1/5。

本文還對ISMAR 2008年至2012的論文（regular paper）進行了統(tǒng)計，同樣按照前述的幾個方向進行分類。從表1和表2可以看出，在近幾年的發(fā)展中，熱門方向大致分布不變，相機跟蹤和交互依然占主導(dǎo)地位，尤其是近5年來的最佳論文獎有3篇研究相機追蹤。而AR應(yīng)用和移動AR的探索明顯增多，驗證了移動互聯(lián)網(wǎng)的影響與推動。

IEEE VR（IEEE Virtual Reality Conference）是IEEE關(guān)于虛擬現(xiàn)實技術(shù)的專業(yè)國際會議，虛擬現(xiàn)實增強技術(shù)也是其接受的論文主題之一。該會議源于1993年的會議Virtual Reality Annual International Symposium。根據(jù)微軟學術(shù)搜索，20多年間共發(fā)表論文461篇，引用總計6511次（其中自引144次）。該會議一般包括長文（Long Paper）和短文（Short Paper），近年來部分長文會被推薦至IEEE. Trans. Vis. Comput. Graph發(fā)表。本文統(tǒng)計了IEEE VR近5年發(fā)表論文情況，如表3所示，相機跟蹤與標定、交互、AR應(yīng)用依然是最主要的研究方向，但相比于ISMAR，多出了重點研究方向——感知。IEEE VR的文章以系統(tǒng)級應(yīng)用為主，覆蓋面廣于ISMAR，AR應(yīng)用、交互、感知、跟蹤和圖形是前5個研究方向，其論文數(shù)量約占論文總數(shù)的78.5%。

3　相關(guān)硬件設(shè)備發(fā)展

虛擬現(xiàn)實增強技術(shù)需要與真實世界相結(jié)合，不可避免需要相機等傳感裝置及顯示設(shè)備，因此相關(guān)硬件設(shè)備的發(fā)展對該技術(shù)有著重要的影響。近年來，攝像頭質(zhì)量的提高和普及，紅外安全激光技術(shù)的成熟和消費級產(chǎn)品出現(xiàn)都大大促進了虛擬現(xiàn)實增強技術(shù)的進步和應(yīng)用。本節(jié)簡介增強現(xiàn)實與增強虛擬環(huán)境常用硬件設(shè)備的最新發(fā)展情況。

3.1相機

攝像頭是增強現(xiàn)實技術(shù)最重要的硬件設(shè)備，大量的相機跟蹤和標定技術(shù)都是以簡單攝像頭為基本配置。攝像頭作為一種廉價、標準、易于獲取和集成的采集設(shè)備，有著巨大的市場需求，業(yè)內(nèi)競爭極其激烈。特別是隨著智能手機的出現(xiàn)，一直處于高速發(fā)展中。前后雙攝像頭已經(jīng)成為了智能手機的標準配置?，F(xiàn)代的攝像頭成本越來越低，尺寸越來越小，分辨率越來越高，成像質(zhì)量也越來越好。據(jù)報道，iPhone元件供應(yīng)商之一，Lead-mall出售的800萬像素攝像頭模塊價格僅為9美元。2013年7月30日，Apple公司的一項面向移動設(shè)備的攝像頭專利獲得授權(quán)引起大量關(guān)注，這項技術(shù)具有3傳感器，3鏡頭的設(shè)計，據(jù)稱能大幅度提高成像質(zhì)量。Nokia公司在2012年2月27日發(fā)布了第一款高達4100萬像素的手機，基于塞班系統(tǒng)的Nokia 808，接著在2013年7月11日發(fā)布了基于Windows Phone平臺的Lumia 1020手機。Lumia 1020也配置了4100萬像素攝像頭，可以捕捉分辨率為3800萬像素、采樣500萬像素的圖像。上述硬件設(shè)備的發(fā)展不但使智能手機拍照功能競爭加劇，而且對數(shù)碼相機產(chǎn)業(yè)甚至高端的單反相機前景都形成了新的挑戰(zhàn)。

全景包含了全方位的圖像信息，在可視角度和交互性上具有優(yōu)勢。目前，全景圖像的合成主要來源于3種：普通相機拍攝、軟件后期合成和全景相機拍攝。其中普通相機拍攝是讓同一相機進行連續(xù)微小運動，拼接得到的多幀圖像，從而合成出全景圖像。軟件后期合成則是完全依靠圖像特征點匹配等方法對重疊的圖像進行拼接。上述兩種方法缺點都是不能做到連續(xù)實時地合成全景視頻，如果要得到高質(zhì)量的全景圖像還需要手工圖像處理，工作量較大。全景攝像機通過事先標定方式，可在采集或回放時實時拼接合成，得到連續(xù)實時的全景視頻，后續(xù)工作量小，適合實現(xiàn)大范圍無死角的全景監(jiān)控。全景攝像機大致可以分為單成像傳感器型和多成像傳感器型兩大類。

在單成像傳感器全景攝像機中又可以分為球面折反式和魚眼式。球面折反式是在常規(guī)單鏡頭攝像機前面安裝一個球面反射鏡，通過對入射光線的折反來實現(xiàn)對周邊區(qū)域的360°環(huán)視。由于在攝像機的正前方安裝了一個反射鏡，會擋住攝像機的正前方入射光，在圖像的中心部位形成盲區(qū)，因而只能用于水平方向的360°環(huán)視。典型廠商有美國的Bellissimo公司、中國的普維光電等。Kogeto Dot是一個小巧的攝影附件，以三點式固定在iPhone4上，在鏡頭前套上一個全景拍攝用反射鏡，下載免費配套APP即可實現(xiàn)全景視頻拍攝。魚眼攝像機設(shè)計相對簡單，通常是在普通的成像傳感器前加裝一個超短焦距的魚眼鏡頭，實現(xiàn)大視場的觀測。典型廠商有德國的Mobotix、中國的海康威視等。然而，這種魚眼相機由于鏡頭需要接受大角度的光線，會產(chǎn)生較強的圖像畸變，特別是從鏡頭邊緣獲取的圖像模糊不清。此外，單成像傳感器相機整體曝光不能適應(yīng)所有區(qū)域，高像素密度芯片價格更貴，雖然存在上述缺點，但單成像傳感器尺寸可以做到很小，除鏡頭外的其他部分容易開發(fā)和加工。

多成像傳感器拼接型全景攝像機使用多個相機拼接的方式擴大了圖像分辨率，緩解成像過程動態(tài)響應(yīng)不足，解決圖像嚴重扭曲分辨率不均等問題。最為有名的是Google公司街景采集車上的全景相機，典型產(chǎn)品有美國Immersive Media的Dodeca 2360、加拿大PointGray 的LadyBug、美國Elphel公司的360全景相機等。其中，PointGray公司的LadyBug 5全景系統(tǒng)采用6個5百萬像素的CCD傳感器，可以獲得近3千萬像素的全景合成圖像。Elphel公司的Eyesis4Pi全景系統(tǒng)采用26個5百萬像素CMOS傳感器，可以獲得近億像素的全景合成圖像，其價格高達10萬美元一臺。這些產(chǎn)品目前尺寸較大，價格昂貴。國內(nèi)中科院寧波所研發(fā)了8鏡頭拼接的360°全景攝像機，并已進入產(chǎn)品化。騰訊等公司的街景由5個單反相機的照片后期拼接而成，隨著技術(shù)和工藝的成熟，全景相機的價格有望大幅度降低。

在新的多相機拼接設(shè)備的支持下，大范圍監(jiān)控從“看得更多更清楚”向“找到和表現(xiàn)出最需要的信息”發(fā)展。美國軍方支持大范圍監(jiān)控的拼接型攝像機最近開始正式服役，公布的測試數(shù)據(jù)在40 km2范圍可保持15 cm清晰度，掀起了新一輪攝像技術(shù)的變革。從2007年開始，美國國防部先進設(shè)計計劃局（DARPA）資助BAE系統(tǒng)公司研發(fā)了自動實時地面持續(xù)監(jiān)控影像系統(tǒng)（ARGUS-IS），投資1850萬美元，耗時30個月制造完成。2010年，在UH-60黑鷹直升機上測試通過，現(xiàn)已在美軍新一代無人直升機——160T“蜂雀”上裝備。ARGUS-IS實現(xiàn)了18億像素的寬視場航空影像連續(xù)拍攝，該系統(tǒng)由4組相機構(gòu)成，每組相機由92個500萬像素鏡頭組成，拍攝速度每秒5幀。從5 km的高空進行拍攝可以監(jiān)控約合4105 km2區(qū)域，并可以有效地分辨出地面上最小15 cm的物體。利用ARGUS-IS 從高空監(jiān)測整個軍事港口的情況，借助這一先進的監(jiān)視系統(tǒng)，指揮官能夠?qū)φ麄€戰(zhàn)場的一舉一動進行實時監(jiān)控。在2012年6月21日，Nature雜志網(wǎng)絡(luò)版報道了Duke大學研發(fā)出的一種“超級照相機”原型。超級照相機能將98臺獨立相機（每臺擁有1400萬像素）的傳感器獲得的畫面拼接起來，從而創(chuàng)造出一張9.6億像素的圖像。該照相機的分辨率非常高，可以看見1 km 外3.8 cm寬的物體。當用近乎魚眼鏡頭的120°視角來拍攝西雅圖時，這臺93 kg重的相機可以捕捉到足夠多的細節(jié)，甚至能夠讀到兩個街區(qū)之外交通標識牌上的“罰款”字樣。其中，光學器件僅占了這臺相機體積的3%，而75 cm×75 cm×50 cm 的相機尺寸則既能保證容納下相機的電路板，又可使其免于過熱。但是，這臺相機不具備連續(xù)拍攝能力，只能對一個特定時刻進行拍攝。

3.2位置與角度傳感器

GPS和加速度計已經(jīng)成為了智能手機的標配，位置和角度傳感器可以對相機跟蹤起到重要的輔助作用。GPS主要根據(jù)空間衛(wèi)星和地面GPS傳感器之間的往返時間進行三角測量得到數(shù)據(jù)，除衛(wèi)星數(shù)量和通信因素外，容易受高樓遮擋、氣候等條件影響，目前我國的普通廉價GPS大致只能實現(xiàn)精度5～10 m的位置定位。差分GPS可以接入差分網(wǎng)，以地面基站作為準確“地標”進行高精度位置測量。

加速度計（accelerometer） 可以測量設(shè)備的加速度方向，以iPhone為例，可以安裝“Sensor Data”采集傳感數(shù)據(jù)。加速度計的測量值從-1到1變化，當手機軸為完全水平時，測量值為0，當軸為豎直時，測量值為-1 或1，利用簡單的三角函數(shù)可以大致計算出手機的傾斜角。手機用的廉價加速度計測量精度低，大多只能測量一個傾斜角，所以一般只是用來監(jiān)測設(shè)備的豎直狀態(tài)，控制圖片或電子書閱讀方向等。iPhone 3GS在移動設(shè)備上集成加速度計、陀螺儀（gyroscope）和磁力計（magnetometer） 等設(shè)備進行結(jié)合計算，率先推出了“電子羅盤”APP，可以測量設(shè)備的三個旋轉(zhuǎn)角度，可用于人機交互，并促進了增強現(xiàn)實APP的出現(xiàn)，例如街景圖像的全景控制等。

3.3可穿戴增強顯示設(shè)備

Bimber和Raskar按應(yīng)用場景不同，對增強現(xiàn)實顯示設(shè)備進行了分類，如圖S1所示，有頭戴式、手持式和空間投影式。頭戴式數(shù)字頭盔（head-mounted display，HMD）一直是增強現(xiàn)實的傳統(tǒng)研究內(nèi)容，一般被分為光學透射式（optical see-through，OST）頭盔和視頻透視式（video see-through，VST）頭盔。光學透射式是指用戶透過透明鏡片看到真實世界，并通過反射或投影方式看到虛擬環(huán)境或?qū)ο螅灰曨l透視式是指將頭盔上集成攝像頭采集的外部圖像與虛擬場景相合成，然后輸出到用戶眼前的小屏幕上，其原理和技術(shù)進展可參考。2012年，初創(chuàng)公司Oculus推出了大視場低延遲的消費級HMDOculus Rift，取得了重要突破。但到目前為止，絕大多數(shù)HMD仍然價格昂貴、標定復(fù)雜、精度和分辨率不夠理想，突破性的進展不大。

精確的三維空間位置跟蹤是HMD 的一個難點，限制了其應(yīng)用范圍和成本。但實際上，近年來，HMD的其他部件，如攝像頭、陀螺儀、微型投影機、微型顯示屏等均在尺寸、成本和技術(shù)指標上有了很大突破，因此類似Google glass增強現(xiàn)實眼鏡、Oculus虛擬現(xiàn)實頭盔的消費級產(chǎn)品出現(xiàn)也就可以理解了。不考慮三維位置定位后，Google glass在光學設(shè)計，骨傳導(dǎo)和器件集成等方面取得了突破，成功將智能手機的功能集成到超輕薄的可穿戴眼鏡上。Google glass已于2014年上市，受此影響，多家公司開始加入這一類產(chǎn)品的研發(fā)行列中，Vuzix，GlassUp，Sony，Olympus等公司在2013年發(fā)布了多款增強現(xiàn)實眼鏡。2014年3月20日，著名的Facebook公司宣布以20億美元收購虛擬現(xiàn)實頭盔顯示器公司Oculus—— 一家成立僅有2年的硅谷創(chuàng)業(yè)公司。Oculus公司率先研發(fā)了一種消費級的高性能頭盔顯示設(shè)備——Oculus RIFT，售價僅為300美元。之后，Sony、三星等公司紛紛跟進。隨著業(yè)內(nèi)大公司的積極推動，可穿戴式三維顯示似乎進入了一個新的高速發(fā)展時期，也大大增加了增強現(xiàn)實和虛擬現(xiàn)實技術(shù)的影響力。

3.4體感交互設(shè)

備近年來國際上三維體感交互設(shè)備的突破性產(chǎn)品連續(xù)出現(xiàn)。體感交互設(shè)備可以采集人體的三維運動數(shù)據(jù)，提供了將真實世界傳感數(shù)據(jù)合成到虛擬環(huán)境的重要方式，是增強虛擬環(huán)境技術(shù)的重要設(shè)備。體感交互設(shè)備的突破主要來自于飛行時間（time-of-flight，TOF）技術(shù)，它隨著低成本紅外半導(dǎo)體傳感器的成熟而提出，測量原理與三維激光掃描儀大致相同，都是測量光的往返時間。所不同的是激光掃描儀是逐點掃描，而TOF是對光脈沖進行調(diào)制并連續(xù)發(fā)送和捕獲整個場景的深度。因此與激光掃描相比，TOF相機的優(yōu)點是捕獲速度非常快，缺點是分辨率低、測量精度低。

最早出現(xiàn)的是TOF深度相機，知名的有ZCam，Mesa，PMD，Canesta等公司的產(chǎn)品，它們的光發(fā)射頻率約幾千萬Hz，捕獲速度最高可達到每秒100幀，但分辨率最高不超過320×240，價格昂貴，一般需要幾萬元人民幣。微軟在2010年推出了Kinect，它的紅外LED向外投射光斑陣列，通過一種基于采樣深度數(shù)據(jù)比較估計的光編碼算法，大幅度降低了光的發(fā)射頻率，提高了深度圖計算的速度和分辨率（320×240），成本也大幅度降低到一千多元，掀起了研究和娛樂等應(yīng)用熱潮。2012年微軟又推出了Kinect for Windows，進一步提高了深度圖的分辨率，達到640×480，并在適用距離和精度上有了較大提高。其SDK提供了更穩(wěn)定的人體骨骼、面部跟蹤以及三維重建API。

2012年5月，Leap Motion公司推出了小型運動控制系統(tǒng)Leap 3D，可以追蹤多個物體并識別手勢，其識別精度為0.01 mm，再次掀起了整個互聯(lián)網(wǎng)領(lǐng)域?qū)w感交互設(shè)備的驚奇與研究熱潮。2013年7月Leap 3D正式發(fā)售，其定價僅為79.99美元。Leap 3D控制器只有8 cm長，集成了2個130像素的網(wǎng)絡(luò)攝像頭傳感器和3個紅外LED，采用的是將光編碼技術(shù)和雙目立體視覺相結(jié)合的算法。2013年加拿大Thalmic Labs公司研發(fā)的手勢控制腕帶MYO則獨辟蹊徑，更顯神奇。它通過檢測用戶運動時胳膊上肌肉產(chǎn)生的生物電變化，不止實時，甚至提前在物理運動之前進行手勢識別，其售價僅為149美元，再次成為業(yè)內(nèi)焦點。

這些體感交互設(shè)備能夠?qū)⒄鎸嵤澜绲娜梭w運動在虛擬環(huán)境中實時精確表示，增強了虛擬現(xiàn)實的交互能力。隨著相關(guān)設(shè)備的發(fā)售和解密，我國也有一些公司和研究機構(gòu)跟蹤和研究。

3.5三維立體顯示設(shè)備

現(xiàn)在市面上可以購買的立體顯示設(shè)備已經(jīng)有很多了，最常見的是基于偏振片或奇偶快門切換的立體電影電視、顯示器、立體投影等，這類設(shè)備需要佩戴對應(yīng)的3D眼鏡，每幀包括對應(yīng)左右眼的兩幅圖像?；谄衿牧Ⅲw顯示是在空間上進行了偏振過濾，因此在亮度上有所損失；基于快門切換的立體顯示是在時間上進行了左右眼圖像交替顯示，因此在幀速上有所損失。這些雙目立體顯示方式只能觀看到固定的視差圖像，并不能獲得跟隨頭部或眼睛運動的真實觀看體驗。近年來出現(xiàn)了一些“裸眼3D”產(chǎn)品，這些產(chǎn)品通過柵格或光柵來控制光線的投射方向，每幀繪制10幅或更多幅圖像，在不同方向上獨立顯示，從而用戶可以在不同位置看到不同圖像。這就要求顯示器能夠支持很高幀速的圖像帶寬，因此設(shè)備價格更為昂貴，而且只有在面向顯示器的一定正向范圍才能看到較好的3D效果。隨著移動設(shè)備的興起，在多點觸摸的電容屏上集成各種各樣的膜成為工業(yè)界的流行做法，比如EyeFly3D等。也出現(xiàn)了小尺寸用于手機或掌機的3D屏幕，如三星公司在2010年發(fā)布的W960手機，采用了3.2 英寸的3D AMOLED裸眼3D 觸摸屏，不過分辨率較低，只有WQVGA（240×400）。日本任天堂公司在2012 年發(fā)的3DS LL 配備有4.88 英寸裸眼3D液晶屏，分辨率達到800×240，左右眼都可以觀測到400×240 像素。還有的三維顯示器內(nèi)置攝像頭跟蹤人的頭部或眼睛，進行視點相關(guān)的三維繪制。

另外，近年來，有機發(fā)光二極管OLED （organic light-emitting diode）受到熱捧，我國大量投資建設(shè)OLED生產(chǎn)線，LG、三星2014年先后推出了55英寸OLED曲面電視。OLED的優(yōu)勢之一是可以制作大尺寸柔性曲面屏幕，其技術(shù)成熟以及成本下降將為大尺寸投影顯示市場帶來很大沖擊，也將促進增強現(xiàn)實技術(shù)的新發(fā)展。

長期以來，三維空間立體成像（俗稱真三維裸眼3D）得到廣泛的關(guān)注和期待，但一直缺乏重大突破。2007年Jones等人在ACM SIGGRAPH大會上首先展示了一種用高速旋轉(zhuǎn)的鏡子進行360°反射實現(xiàn)空間三維成像的方法，很快得到大量關(guān)注。近幾年，他們在該方面開展研究，每年都在SIGGRAPH大會展示基于該技術(shù)的遠程再現(xiàn)系統(tǒng)進展。最近全息三維成像研究更是取得了基礎(chǔ)性突破，2010年11月4日，《Nature》封面文章介紹了全息成像的突破性工作。亞利桑那大學研發(fā)了一種新型光致折變薄膜，用納米脈沖激光向該材料寫入全息圖像，可以產(chǎn)生全息立體成像用于遠程再現(xiàn)，迅速成為熱點新聞。在三維空間立體成像的未來應(yīng)用上，很多人提出了各種各樣的用戶遠程再現(xiàn)（telepresence）或遠程沉浸（tele-immersion）的想象，例如著名的好萊塢大片《星球大戰(zhàn)》（Star Wars）、《黑客帝國》（MATRIX）和《阿凡達》（AVATAR）等均來自于這個主題?？偟膩砜矗S空間成像還有待突破和成熟，尚未出現(xiàn)能大規(guī)模推廣的產(chǎn)品。

在以上硬件設(shè)備介紹的基礎(chǔ)上，我們將主要硬件設(shè)備對應(yīng)的常用虛擬現(xiàn)實增強技術(shù)進行了總結(jié)，如表4所示，其中“N/A”代表無典型技術(shù)。

4　增強現(xiàn)實

虛擬現(xiàn)實技術(shù)帶來了人機交互的新概念，帶給用戶強烈的真實感和臨場感的體驗，但這要求精細的三維模型和復(fù)雜的渲染計算。增強現(xiàn)實技術(shù)“實中有虛”，攝像機采集的圖像真實地反映了現(xiàn)實場景，可以減少場景的建模和渲染工作量，提供了一種輕量級并且真實感強的增強技術(shù)。下面主要從相機跟蹤注冊和虛實場景實時融合繪制的角度對增強現(xiàn)實技術(shù)最新發(fā)展情況進行介紹。

4.1相機跟蹤注冊

在增強現(xiàn)實中，相機跟蹤注冊是在相機連續(xù)觀測的二維圖像與虛擬的三維場景之間建立空間投影關(guān)系，也就是對虛擬眼睛（即相機）的位置和姿態(tài)進行實時參數(shù)估計?；谔厥鈽俗R的相機跟蹤需要在場景中放置較為容易識別且一直可見的標識物，這大大限制了增強現(xiàn)實的應(yīng)用范圍。相比之下，基于自然特征的注冊技術(shù)沒有上述約束條件，通過對場景中的二維或三維特征進行提取和跟蹤來實現(xiàn)相機自定位。該技術(shù)首先在機器人視覺導(dǎo)航領(lǐng)域得到了廣泛關(guān)注和研究，目前逐步開始應(yīng)用于增強現(xiàn)實領(lǐng)域。

最近10年間，國際上對基于自然特征的相機自定位技術(shù)展開了深入研究。在單目相機三維注冊技術(shù)方面，Davision于2003年提出了基于單目視覺的實時同步定位和地圖構(gòu)建（SLAM）研究，使用全狀態(tài)擴展Kalman濾波器跟蹤少量Harris角點，以實現(xiàn)在室內(nèi)環(huán)境下逐幀更新相機的姿態(tài)，在視覺定位領(lǐng)域做出了重要推動。該算法在室外光線變化較大和快速運動的情況下性能較不穩(wěn)定。

在Davision的工作基礎(chǔ)上，Klein和Murray提出了PTAM算法，將單目視覺SLAM系統(tǒng)中的地圖構(gòu)建和幀間特征跟蹤進行分離。首先使用雙目立體視覺的方法來建立場景的初始深度圖，然后一方面利用多核CPU并行計算估計光流場實現(xiàn)對特征點的實時跟蹤，另一方面利用光束平差法對多個局域關(guān)鍵幀進行相機姿態(tài)優(yōu)化，因此之后的跟蹤性能在很大程度上依賴于初始化過程中攝像機的運動以及每一幀的選擇，初始化過程中攝像機在保持旋轉(zhuǎn)不變的情況下平移要盡可能的小，而且初始化過程不應(yīng)持續(xù)較長的時間。PTAM在室內(nèi)小范圍場景內(nèi)取得了較為精確的相機定位結(jié)果，如圖S2所示。

Newcombe和Davison提出一種緊致的相機跟蹤算法DTAM，不再使用特征點匹配方法，而是選用大量窄基線圖像進行逐點計算逆向深度的方法。該方法提到相機簇的概念，即所有滿足窄基線關(guān)系的圖像為一個相機簇。作者定義了參考幀下每個點的正則代價（regularised cost），對相機簇上每個點的梯度進行Huber加權(quán)，并加上正則項和輔助項。在滿足正則代價最小的條件下，計算參考幀每點的深度，進而進行相機姿態(tài)的準確估計和場景的重建。浙江大學Tan等人針對動態(tài)場景提出了一種單目相機跟蹤方法，該方法改變了關(guān)鍵幀的表示與更新方法，從而能夠適應(yīng)于場景中部分物體移動或者整個場景漸變的情況，同時還提出了一種先驗自適應(yīng)的RANSAC變種方法，以適用于他們的方法。

Pollefeys等人在對室外的大場景進行重建時，同樣利用了GPU并行流水技術(shù)優(yōu)化的KLT算法實現(xiàn)上千個SIFT特征點實時跟蹤，同時他們還使用GPS和IMU進行相機姿態(tài)的輔助定位。

相比于單目視覺定位，基于立體視覺原理的運動估計由于能夠獲取更為準確的三維點重建，在相機定位時具備更高的精度和穩(wěn)定性。在早期的系統(tǒng)中，為了追求實時性，自然特征的跟蹤注冊通常只考慮在相鄰的圖像幀間進行姿態(tài)估計，因而在行走期間的誤差和系統(tǒng)漂移會不斷積累并增加。如Nist’er等人構(gòu)造的雙目視覺SLAM系統(tǒng)為了追求實時性的要求，僅將視覺估計的運動結(jié)果進行簡單累加，其系統(tǒng)誤差約5%；Konolige等人所構(gòu)建的立體視覺SLAM系統(tǒng)的誤差約4%。為此，一些學者提出了改進方案減少系統(tǒng)漂移。Klein和Murray提出通過與GPS，IMU以及方向傳感器的聯(lián)動和數(shù)據(jù)融合，減少對視覺系統(tǒng)的依賴，使系統(tǒng)的整體誤差漂移率可降低到1%～2%。Zhu等提出利用全局和局部地標數(shù)據(jù)改進圖像特征的匹配精度，實現(xiàn)更大范圍的相機定位和導(dǎo)航，該系統(tǒng)使用了兩對立體相機前后觀察，并通過動態(tài)選擇圖像幀特征點構(gòu)造地標數(shù)據(jù)庫，從而糾正行走期間的全局漂移并降低累積誤差。

2010年微軟推出的Kinect為視覺跟蹤技術(shù)提供了一種新的設(shè)備，它的基本原理是主動結(jié)構(gòu)光測距，可以快速捕獲準確的深度圖，在室內(nèi)小范圍場景取得了優(yōu)秀的結(jié)果。Kinectfusion算法采用ICP算法對前后幀的三維點云進行匹配注冊，估計相機姿態(tài)。該方法使用距離符號函數(shù)來定義體素的值，進而可以計算多幀的加權(quán)結(jié)果。還有人提出了幀—模型的匹配方法，相比幀—幀的方法，更加魯棒，適應(yīng)于連續(xù)幀的重建問題。然而存在的共同問題是計算量較大而導(dǎo)致實時性不佳。在大場景定位方面，目前還沒有基于Kinect深度相機的較好研究成果。 Kinect相機理想的有效深度在10 m以內(nèi)，而基于可見光的雙目立體相機通過調(diào)整基線長度，可以獲得更遠的深度估計范圍。因此，如將Kinect深度相機、立體相機和慣性導(dǎo)航單元（IMU）等不同模態(tài)傳感器進行有機結(jié)合，將可能大大提高現(xiàn)有三維注冊技術(shù)的精度，實現(xiàn)大范圍高精度的增強現(xiàn)實技術(shù)。

4.2虛實場景實時融合繪制

在真實場景中，物體往往具有不同的深度信息，物體之間會隨著用戶視點的位置變化產(chǎn)生不同的遮擋關(guān)系。與此同時，場景中還會存在其他的動態(tài)物體（如人、車等），它們的深度還會隨著物體自身的運動而發(fā)生變化，從而造成更為復(fù)雜的遮擋關(guān)系。在增強現(xiàn)實系統(tǒng)中，每一個繪制的虛擬物體均需要被準確地放置在場景中，并應(yīng)與周邊不同深度的景物實現(xiàn)交互，確保正確的遮擋關(guān)系和交互關(guān)系。這就需要場景繪制系統(tǒng)能夠在實時估計場景深度的基礎(chǔ)上，實現(xiàn)有效的遮擋處理、碰撞檢測以及渲染繪制。

基于深度的虛實遮擋處理方法通常首先計算場景圖像上每個像素點的深度信息，然后根據(jù)觀察者的視點位置、虛擬物體的插入位置以及求得的深度信息等，對虛擬物體與真實物體的空間位置關(guān)系進行分析。如果虛擬物體被真實物體遮擋，則在顯示合成場景圖像時只繪制虛擬物體中未被遮擋的部分，而不繪制被遮擋的部分。Yokoya等人提出利用立體視覺設(shè)備估計真實場景中的物體深度信息，而后根據(jù)觀察視點位置和所估計的深度信息完成虛實物體的遮擋處理。為了減小運算量，該方法將立體匹配僅局限在虛擬場景在當前圖像中的投影區(qū)域內(nèi)，其存在的問題是容易導(dǎo)致系統(tǒng)的運算速度隨著虛擬場景在圖像上投影面積的改變而變得不穩(wěn)定。此外虛擬物體與真實場景交界處會產(chǎn)生較為明顯的遮擋失真現(xiàn)象，難以獲得令人滿意的計算精度。為了保證計算量的穩(wěn)定性，F(xiàn)ortin和Hebert根據(jù)場景物體到觀測視點的距離將場景劃由遠而近分成多個區(qū)域，從而處理虛實物體的遮擋。而Hayashi等人在工作場景中布置數(shù)量較多的標識塊輔助區(qū)域定位，提出了一種基于輪廓的實時立體匹配方法，能快速而準確地獲得真實物體輪廓的深度信息，不過對標識塊的部署要求較高。受場景深度捕獲算法提取精度和速度的限制，目前增強現(xiàn)實中的虛實遮擋技術(shù)還只能完成簡單形狀的遮擋關(guān)系。

真實物體的深度或模型被獲取后，在增強現(xiàn)實中，除遮擋關(guān)系外，還需要考慮真實物體對虛擬物體的交互，主要表現(xiàn)為碰撞檢測。當一個虛擬物體被人為操縱時，需要能夠檢測到它與真實世界中物體的碰撞，產(chǎn)生彈開、力反饋等物理響應(yīng)?，F(xiàn)有的增強現(xiàn)實研究大多將碰撞檢測作為算法驗證，大多精簡快速。Salcudean和Vlaar提出了適用于單點交互的基于高阻尼的接觸模型，根據(jù)剛性物體的硬度來模擬物體的沖擊反饋。Constantinescu等人利用Poisson 公式提出硬度可變的接觸模型，并有效模擬了虛擬物體與平面剛體的接觸碰撞過程。Moore 和Wilhelms提出了利用單點碰撞的序列組合模擬多點碰撞，并通過解析算法求虛實物體在碰撞過程中的沖量和接觸力。Baraff則進一步分析了法向加速度與接觸力和摩擦力的關(guān)系，并模擬了二維結(jié)構(gòu)虛實物體的碰撞過程。由于增強現(xiàn)實的深度捕獲精度還較低，只能用于實現(xiàn)地形匹配、簡單碰撞的效果，隨著深度捕獲設(shè)備的發(fā)展，將模型和稠密點云相結(jié)合的碰撞檢測將可能成為重要的研究點。例如Leap motion用稠密點云驅(qū)動高質(zhì)量三維手部建模，可以實現(xiàn)精確的碰撞檢測，這將提高增強現(xiàn)實在虛擬裝配等領(lǐng)域的應(yīng)用能力。

可以預(yù)計，高精度的深度捕獲設(shè)備及其相機跟蹤算法仍將是增強現(xiàn)實領(lǐng)域研究的重點問題，它的突破將促進增強現(xiàn)實技術(shù)的快速實用化。

5　增強虛擬環(huán)境

虛擬環(huán)境的建模存在不少限制，例如建立真實環(huán)境的精確模型需要耗費大量人力，建模形成的龐大數(shù)據(jù)庫難以及時更新或修正，紋理來自于事先采集，不能反映真實環(huán)境的動態(tài)情況等。增強虛擬環(huán)境技術(shù)出現(xiàn)的初衷就是為了解決這些問題，但目前進展來看解決得還不夠好。

將增強現(xiàn)實與增強虛擬環(huán)境兩者進行比較，增強現(xiàn)實以個人獲取的真實世界圖像為基礎(chǔ)，讓虛擬對象適應(yīng)用戶視點或攝像頭的運動變化，因此在本質(zhì)上是面向個人的，適合于支持交互；而增強虛擬環(huán)境以虛擬環(huán)境為基礎(chǔ)，通過三維注冊讓不同地點的2D/3D視覺采集實時融合進虛擬環(huán)境。虛擬現(xiàn)實的三維繪制本身就可以是視點相關(guān)的，因此在本質(zhì)上是面向空間數(shù)據(jù)的，適合于建立應(yīng)用服務(wù)。從這個觀點出發(fā)，增強虛擬環(huán)境技術(shù)更需要和網(wǎng)絡(luò)結(jié)合來發(fā)揮價值?？梢园l(fā)現(xiàn)，現(xiàn)有的相關(guān)研究確實大多都是以網(wǎng)絡(luò)系統(tǒng)為基礎(chǔ)，如前述的遠程呈現(xiàn)、遠程沉浸等。以下從基于視頻圖像的增強虛擬環(huán)境技術(shù)、基于三維角色的增強虛擬環(huán)境技術(shù)、虛實場景融合以及網(wǎng)絡(luò)傳輸?shù)确矫鎸υ鰪娞摂M環(huán)境技術(shù)進行綜述。

5.1基于視頻圖像的增強虛擬環(huán)境技術(shù)

增強虛擬環(huán)境技術(shù)最直接的想法就是利用相機捕捉真實對象的圖像或三維模型，并將圖像或三維模型實時注冊到虛擬環(huán)境中，使增強后的虛擬環(huán)境能夠表示真實對象的狀態(tài)和響應(yīng)交互。通過視頻圖像增強的方法最早是Katkere等人在1997年提出，他們認為視頻信息可以用來創(chuàng)建沉浸式的虛擬環(huán)境，進而實現(xiàn)多視頻流的有效分析，進行視頻不能提供的操作，如變換新的任意虛擬視角的視頻等。美國Sarnoff 公司的Sawhney等人發(fā)展了這種想法，不再用視頻創(chuàng)建虛擬模型，而是用視頻去增強已有虛擬的模型。傳統(tǒng)的監(jiān)控系統(tǒng)采用二維堆疊顯示大量視頻流，而他們的Video Flashlights系統(tǒng)首次嘗試把實時視頻的圖像作為紋理，實時映射到靜態(tài)三維模型，并在圖形硬件的幫助下將多個已標定相機的視頻進行統(tǒng)一實時渲染。這種把多個視頻注冊到同一個三維環(huán)境的嘗試，使得用戶能夠以一個全局的視角統(tǒng)一觀察模型和視頻，擴展了用戶的視域，增強了視頻的空間表現(xiàn)力。

2003年南加州大學Neumann等人在IEEE VR會議上系統(tǒng)闡述了增強虛擬環(huán)境的概念。從表現(xiàn)未來虛擬城市的角度出發(fā)，將實時采集的圖像數(shù)據(jù)投影到地形和建筑數(shù)據(jù)之上，實現(xiàn)了隨著圖像數(shù)據(jù)變化的動態(tài)三維模型效果。由于物體的深度不正確，在非相機視點可能存在貼圖扭曲，他們提出了一種方法，對運動對象（行人、車輛等）進行檢測提取，建立少量三角面片在估計深度上進行billboard貼圖。他們還指出了AVE的幾個基本用途，如場景理解、運動物體跟蹤、事件檢測等。在2010年ACM Multimedia會議上，麻省理工學院的de Camp等設(shè)計了一套用于智能家庭的沉浸式系統(tǒng)HouseFly，使用了家居的3D模型，把魚眼相機用于AVE系統(tǒng)。用戶在觀察時，看到的是投影到3D模型上的沉浸式多路音視頻，可以方便地確定視頻中的人物位置和行走路線等。在2009年ISMAR會議上，喬治亞理工學院Kim等提出了使用動態(tài)信息增強Google Earth等航拍地球地圖的方法，對視頻進行分類處理和增強顯示，還在識別自然現(xiàn)象圖像并進行圖形繪制方面進行了嘗試。2012年臺灣國立大學的Chen等建立了GIS輔助的可視化框架，融入了多分辨率監(jiān)控策略，以固定視角的相機提供低分辨圖像，球基相機根據(jù)用戶交互提供興趣區(qū)的高分辨圖像。這些工作在面向三維地圖的空間數(shù)據(jù)可視化方面進行了嘗試，說明這類增強虛擬環(huán)境技術(shù)能夠應(yīng)對超大型地理應(yīng)用系統(tǒng)的需求，有著重要的應(yīng)用潛力。

虛擬空間的相機標定與真實空間的標定不同，虛擬空間是真實空間的逼真展示，其場景的模型已經(jīng)能夠替代真實場景作為標定的輸入信息的一種，并配合當前相機采集到的圖像，進行快速的相機精確標定。Abrams 和Pless針對網(wǎng)絡(luò)攝像頭，嘗試了一種使用少量相關(guān)點約束的幾何標定方法?；诖朔椒?，將網(wǎng)絡(luò)攝像頭的圖像作為紋理實時地展現(xiàn)在三維幾何模型上，簡單實用，但限于精簡模型頂點和固定點數(shù)量不多，渲染效果不夠理想。

隨著技術(shù)的進步，出現(xiàn)了一些商業(yè)的AVE產(chǎn)品和方案。在以上技術(shù)的基礎(chǔ)上，現(xiàn)有的產(chǎn)品技術(shù)都是先通過三維掃描儀采集城市的LiDAR地形數(shù)據(jù)，建立三維地形模型，然后進行相機注冊，結(jié)合現(xiàn)有的相機流和存儲方案，輸出為視頻投影融合顯示。例如美國Airborne 1，SentinelAVE等公司在亞特蘭大的商業(yè)區(qū)采用了42個相機數(shù)據(jù)在三維掃描建立的虛擬場景中進行融合繪制。國內(nèi)也有一些單位在視頻投影融合領(lǐng)域開展研究，針對視頻監(jiān)控領(lǐng)域進行產(chǎn)品研發(fā)。

我們也在這方面開展了工作，合作設(shè)計研發(fā)了全景相機軟硬件系統(tǒng)，在校園區(qū)域建立上百個相機作為輸入的虛實混合實時視頻監(jiān)控平臺，開發(fā)支持多類相機的流媒體服務(wù)器，對視頻進行同步傳輸處理，各類視頻采集設(shè)備以及離線視頻被抽象成虛擬相機，動態(tài)掛載在不同的流媒體服務(wù)器之上。提供快速的相機標定工具，在街景視圖下，展現(xiàn)以360°全景球為主，普通視頻投影為輔的虛實融合效果。

5.2基于三維角色的增強虛擬環(huán)境技術(shù)

基于視頻圖像的增強虛擬環(huán)境技術(shù)主要解決的是多路視頻流的時空理解和可視化問題，但視頻圖像本身還是二維的，所以無法交互，而且在視覺效果（特別是瀏覽視點）上存在很多限制，在非相機位置的虛擬視點上會存在圖像拉伸、扭曲等變形現(xiàn)象。一些工作通過實時三維重建技術(shù)將真實世界的對象更好地合成到虛擬場景中，突破三維視覺、交互等方面的限制。典型的例子是遠程呈現(xiàn)或遠程沉浸系統(tǒng)里加入的實時重建的虛擬對象，如虛擬物體、人體姿態(tài)、面部表情等。

在這類增強虛擬環(huán)境中，目前已經(jīng)實用的技術(shù)是采用體感交互的虛擬角色代替人體，參與到虛擬環(huán)境中，與虛擬環(huán)境或者其他虛擬角色進行交互。人體姿態(tài)的實時三維獲取與恢復(fù)是此類方法的難點。微軟在2010年推出的3D體感相機Kinect為人體姿態(tài)的獲取提供了一種無“marker”的快速廉價解決方案，獲取的姿態(tài)可以通過骨骼綁定等多種方式實時地映射到虛擬角色上。清華大學的Ye等人隨后又利用多Kinect克服了復(fù)雜場景下的遮擋問題，多個虛擬角色可以同時進行捕捉與映射。但是由于自身的精度不足等問題，Kinect無法精確地捕捉手勢，Leap 3D的出現(xiàn)彌補了此類問題，其動作識別精度可達到0.01 mm。微軟在2011年7月推出了在線視頻聊天程序Avatar Kinect，可以使用Kinect的傳感器來記錄面部表情和嘴唇動作，并將其映射到用戶的個性動畫頭像中，動畫頭像跟隨用戶的動作和口型作出相似的反應(yīng)，這些功能已經(jīng)出現(xiàn)在Xbox 360游戲和新版Kinect for Windows中。

向虛擬場景中加入“三維虛擬化” 的真實物體是一個更難的問題。虛擬角色增強了人體的交互能力，但在表現(xiàn)效果上不夠真實，特別是缺乏實時反映真實對象狀態(tài)的動態(tài)紋理。如果沒有實時重建的三維模型，物體圖像像紋理一樣直接投影在虛擬模型表面，出現(xiàn)壓扁扭曲和部分重疊的情況，真實感大為下降。最新的遠程再現(xiàn)/遠程沉浸技術(shù)是基于三維角色重建的增強虛擬環(huán)境技術(shù)，他們采用多個相機從不同角度采集一個區(qū)域內(nèi)的物體并實時三維重建，將位于不同地點的用戶或物體模型通過網(wǎng)絡(luò)傳輸共享在同一個三維虛擬環(huán)境中，其主要特點是實現(xiàn)無“marker”點的人體自由三維交互，多個用戶可以突破物理空間限制，在所應(yīng)用的虛擬環(huán)境中協(xié)同操作。

早在20世紀末，研究者就開始嘗試將真人進行三維重建并加入到虛擬環(huán)境中，以獲得更加真實的沉浸效果。最早的一個成功實例是1998年卡內(nèi)基梅隆大學設(shè)計的用于捕獲多人交互場景和動態(tài)事件建模的3D Dome原型系統(tǒng)。多個攝像機布置在各個角度，對處于中心工作區(qū)域的物體進行視頻采集，采用立體視覺匹配方法對已錄制好的視頻序列進行離線建模，可實現(xiàn)動態(tài)事件的多視點觀看。

2000年5月，UNC教堂山分校和賓夕法尼亞大學演示了一種基于三目立體匹配的遠程協(xié)作系統(tǒng)，系統(tǒng)采用了7個Sony DFW-V500的1394相機，互相重疊成三目來使用，然后進行背景剔除，在四核的Dell服務(wù)器上進行立體計算的并行化，計算速度與傳輸速度明顯提高。在UNC的系統(tǒng)里，用戶能夠同時觀察到兩個異地參與者，來自遠程的三目深度視頻流在沉浸式顯示設(shè)備中被實時合成，兩個顯示屏幕分別顯示來自不同位置的另外參與者，每個屏幕都帶有一組投影機，能夠提供立體顯示。頭部跟蹤器提供觀察者的頭部位置信息，保證正確渲染用戶視點所對應(yīng)的虛擬場景。

法國INRIA的GrImage課題組于2007年研究設(shè)計了基于三維重建的無“marker”虛實交互系統(tǒng)GrImage。GrImage采用6個PointGrey工業(yè)攝像機在1 m×1 m×1 m的空間內(nèi)，通過可視外殼算法EPVH實現(xiàn)了對無標定物體的實時建模，并基于INRIA的FlowVR仿真平臺進行模型嵌入和虛擬環(huán)境仿真，實現(xiàn)真實物體與剛體、彈性體或流體等虛擬對象的實時交互。該系統(tǒng)及其后續(xù)版本相繼在SIGGRAPH 2007，ECCV 2008，VRST 2008，法國電視頻道TF1，SIGGRAPH 2009，ACM Multimedia2010等會議上展示，獲得了大量關(guān)注和好評。

加州大學伯克利分校（UC Berkeley）從2005年開始一直從事遠程沉浸方面的研究。他們建立了由48個相機覆蓋的采集空間，以4個相機為一個相機簇，采用基于立體視覺的三維重建技術(shù)對局部采集環(huán)境進行實時三維重建。利用12臺主機組成一個小型的計算集群，負責進行分布式的三維重建計算。

在以上三維采集和交互環(huán)境研究的基礎(chǔ)上，UC Berkeley與UIUC，UC Davis合作建立了異地多點三維遠程沉浸（3DTI）協(xié)同環(huán)境TEEVE。位于不同地域位置的三個用戶通過TEEVE系統(tǒng)實現(xiàn)了遠程共享，任一用戶均可在自己的終端上看到三人的重建結(jié)果及他們與虛擬環(huán)境的交互場景。他們在遠程太極拳教學、心理學測試、遠程協(xié)同舞蹈、遠程博物館探索、地質(zhì)三維可視化遠程研討分析和遠程手術(shù)訓(xùn)練等方面開展了很多應(yīng)用嘗試。

2011年10月，UNC設(shè)計了基于6個Kinect體感相機的遠程再現(xiàn)系統(tǒng)（Encumbrance-Free Telepresence），該系統(tǒng)使用5個Kinect從不同角度進行人體數(shù)據(jù)采集，并利用GPU對5個Kinect所采集的深度數(shù)據(jù)進行并行處理，生成真實環(huán)境的三維模型和人體三維模型，另外1 個Kinect用于對遠程用戶進行跟蹤。該系統(tǒng)能夠根據(jù)遠程用戶的位置實現(xiàn)人體三維模型的真3D顯示，實時地從Kinect所采集的數(shù)據(jù)生成真實環(huán)境和人體的三維模型，并在真實場景中加入虛擬物體，實現(xiàn)了用戶與虛擬物體的簡單交互。

5.3視頻融合

視頻融合是實現(xiàn)虛擬環(huán)境真實感顯示的關(guān)鍵，但大多數(shù)現(xiàn)有虛擬環(huán)境系統(tǒng)的圖形繪制只是融合靜態(tài)三維模型和真實光場信息進行真實感渲染。這方面最早是Debevec所做的開創(chuàng)性工作，提出手工將三維拓撲和圖像內(nèi)容進行映射，利用建筑的三維幾何結(jié)構(gòu)對照片進行視點相關(guān)的繪制，實現(xiàn)了非相機視點的真實感漫游效果，但當時并未實現(xiàn)真實的三維空間標定關(guān)系。

傳統(tǒng)的紋理映射要求紋理坐標與三角形頂點是有先驗關(guān)聯(lián)，必須在渲染之前進行指定。與這種圖像到模型的方法相反，AVE系統(tǒng)使用的是模型到圖像的方法。視頻投影只需要提取獲知相機所在的位置和相機的圖像，即可實時地計算模型上每個頂點的坐標。當相機的位置發(fā)生變化，或者視頻中的內(nèi)容發(fā)生變化，可以直接或間接地計算這種模型到圖像的映射關(guān)系。投影紋理映射用于映射一個紋理到物體上，就像將幻燈片投影到墻上一樣。雖然該方法主要用于一些陰影算法以及體繪制算法中，但是它在計算機視覺，基于圖像的渲染和三維可視化等其他領(lǐng)域也有很大的用途。

同時，因為圖像應(yīng)該只映射到相機可見的區(qū)域，所以必須判斷圖像投影時的可見性信息。陰影貼圖方法（shadow maps）可以有效地提供可見性信息，在陰影里則為不可見區(qū)域，不在陰影的區(qū)域則為紋理映射的區(qū)域。另一種方法是陰影體方法（shadow volume），也可以獲得投影可見性，而且可以避免陰影貼圖技術(shù)因深度精度不足而造成的鋸齒問題。

在AVE系統(tǒng)中，一個區(qū)域可能會有多個相機同時可見，也就是出現(xiàn)了部分紋理重疊（overlap）的問題。麻省理工學院的de Camp等對虛擬空間劃分區(qū)域，每個相機對應(yīng)一個區(qū)域，避免一個區(qū)域有多相機同時可見的情況。臺灣國立大學的Chen等在視頻進行投影之前，對所有圖像先進行拼接，得到兩兩相機之間的圖像拼接關(guān)系；并定義一個二維的相機地圖，地圖里的每個點只對應(yīng)一個相機。這些方法通過手工選擇避免了紋理混合，還可以通過視點相關(guān)的紋理融合實現(xiàn)自動的混合顯示。Harville等提出了一種實現(xiàn)多紋理混合的簡單易用方法。該方法把投影儀在重疊區(qū)域的混合因子設(shè)置成該點與圖像最近邊界的距離，距離邊界越遠，混合因子越大，在邊界上實現(xiàn)淡出淡入的效果，避免圖像的不連續(xù)現(xiàn)象。

5.4網(wǎng)絡(luò)傳輸

增強虛擬環(huán)境技術(shù)比增強現(xiàn)實技術(shù)更需要和網(wǎng)絡(luò)結(jié)合來發(fā)揮價值。在網(wǎng)絡(luò)應(yīng)用中，AVE系統(tǒng)不僅要為用戶提供虛擬環(huán)境本身的靜態(tài)精細模型，還會傳輸根據(jù)視頻等傳感器信息新生成的虛擬對象模型，因此涉及到實時修正與變形的動態(tài)模型。這涉及到時間相關(guān)的三維動態(tài)模型的流式傳輸，傳統(tǒng)的基于狀態(tài)參數(shù)的分布式虛擬環(huán)境技術(shù)無法處理類似問題。

動態(tài)模型的大數(shù)據(jù)量源于紋理，每個虛擬視點的紋理映射都可能涉及到多路實時視頻流，對于視頻流來說，都是常規(guī)的視頻流選擇與流式傳輸技術(shù)，在數(shù)據(jù)量上很難做到進一步的實時降低。另一方面，就時間序列化的幾何模型來說，基于三維角色重建的增強虛擬環(huán)境技術(shù)還未能探索動態(tài)幾何模型的時間相關(guān)性，目前的實時三維重建算法都只能處理孤立幀的模型計算與生成，這就限制了動態(tài)幾何模型的壓縮與傳輸技術(shù)發(fā)展。UC Berkeley早期研究基于點云模型的壓縮技術(shù)，后來與UIUC合作研究RGBD的壓縮方法，壓縮比和質(zhì)量并不理想，INRIA并沒有進行壓縮，可以看出，在實時三維重建技術(shù)或網(wǎng)絡(luò)帶寬取得突破之前，動態(tài)模型的實時壓縮與傳輸難以提高。然而，鑒于近期基于三維角色的增強虛擬環(huán)境技術(shù)采用體感交互設(shè)備發(fā)展迅速，變形模型的實時流式傳輸可以視為動態(tài)模型傳輸?shù)囊粋€“弱形式”，特別在移動終端和云計算興起的時期，其研究對增強虛擬環(huán)境中虛擬角色的物理真實感提高有著重要價值。

自1996年Hoppe提出漸進網(wǎng)格傳輸技術(shù)后，出現(xiàn)了大量的幾何模型漸進傳輸算法，但是漸進壓縮技術(shù)只能支持對靜態(tài)模型的流式傳輸，因為模型的頂點刪除和分裂方式與表面有關(guān)，當模型表面發(fā)生形變后，原始記錄不再有效。近年來，德州大學達拉斯分校在變形模型的交互共享方面開展了一系列研究。2010 年Tang等基于譜變換方法，將網(wǎng)格在空間域上表示為基矩陣和一系列多分辨率變換矩陣，可以用于漸進傳輸和恢復(fù)，只傳輸變形后的譜系數(shù)而非完整模型，大大降低了網(wǎng)絡(luò)開銷，初步實現(xiàn)了變形模型的流式傳輸。Tang等進一步將實時變形模型引入到低計算性能的移動設(shè)備上，移動用戶可在觸摸屏上操作來改變模型的形狀和運動。為加快運算速度并減少通訊負載，算法使用譜表示方法計算三維變形，同時提出了一個漸進的變形流傳輸技術(shù)。受固有變形算法和多分辨率映射算法的限制。該方法只能支持小型網(wǎng)格的變形傳輸，并且由于模型分辨率是固定的，無法實現(xiàn)不同終端的幀速保障。

本文作者課題組也在變形模型的漸進傳輸方面開展了系統(tǒng)的研究，結(jié)合幾何頻譜和漸進網(wǎng)格技術(shù)，給出一種基于“分解—重建”過程的動態(tài)多分辨率變形模型傳輸方法。首先提出了一種基于微分坐標的特征保持模型簡化算法，對模型進行精確，可控的多分辨率細節(jié)保持簡化，然后基于譜變換與漸進幾何表達技術(shù)，實現(xiàn)對三維模型變形的實時多分辨率共享傳輸。接收方在同步顯示模型形變過程中，可以任意改變模型分辨率而不影響變形傳輸本身，因此可在接收方實現(xiàn)動態(tài)幀速控制，使變形質(zhì)量可以適配終端能力。

心臟模型為交互式模型變形在虛擬醫(yī)療研討中的應(yīng)用，模型頂點數(shù)為7349個，遠程用戶在共享的虛擬環(huán)境中對柔體心臟模型進行交互式變形操作，并實時共享心臟變形結(jié)果；象模型為離線模型動畫序列的實時傳輸效果，模型頂點數(shù)為42321個，各網(wǎng)絡(luò)節(jié)點在無需本地緩存的情況下，采用不同的模型分辨率實時同步共享模型動畫。模型頂點數(shù)目為8431個，在沒有采用動態(tài)分辨率的情況下，動畫幀速只能達到每秒6幀左右，而采用動態(tài)分辨率之后，系統(tǒng)根據(jù)當前動畫幀速自動調(diào)整模型分辨率，盡量簡化遠離視點位置的模型分辨率，從而減少計算和渲染開銷，提高動畫幀速。

近幾年，云計算成為互聯(lián)網(wǎng)領(lǐng)域中的研究熱點，它可將存儲和復(fù)雜的計算從客戶端轉(zhuǎn)移到云計算服務(wù)環(huán)境，為復(fù)雜的交互式物理特效計算提供了可能的分布式架構(gòu)模式。從這個特點出發(fā)，本文作者提出了一種基于云計算服務(wù)的變形模型遠程編輯方法，在客戶端進行低分辨率的編輯控制，由云服務(wù)進行對應(yīng)操作在完整分辨率上的控制頂點序列的權(quán)重計算，返回給客戶端后即可實現(xiàn)實時的編輯變形，基于云服務(wù)的模型編輯流程。

在上述基于云服務(wù)的變形計算模式下，用戶在對替身模型進行變形操作時，無需等待目標高精度模型的變形反饋結(jié)果，只需將用戶操作句柄通過網(wǎng)絡(luò)傳輸?shù)皆贫耍缓笥稍品?wù)器在后臺通過用戶操作隊列對目標模型進行變形計算。與傳統(tǒng)所見即所得的變形編輯方式相比，這種基于云服務(wù)的模型編輯方式實現(xiàn)了用戶交互編輯與目標模型變形結(jié)果的分離，既保證了用戶客戶端編輯操作的交互式呈現(xiàn)，又實現(xiàn)了對高精度大型模型的變形編輯，可作為云計算模式下虛擬現(xiàn)實技術(shù)應(yīng)用的一個參考。

6　移動互聯(lián)網(wǎng)上的相關(guān)技術(shù)與應(yīng)用

隨著移動互聯(lián)網(wǎng)的興起，一些研究和應(yīng)用開始將虛實增強技術(shù)引入到移動互聯(lián)網(wǎng)上。在三維重建的基礎(chǔ)上，INRIA GrImage課題組在ACM Multimedia 2010上展示了在法國三個城市之間進行的遠程再現(xiàn)原型，多個位于不同地點的用戶（包括移動電腦用戶） 能夠共享同一個虛擬環(huán)境。兩個是以重建出的三維模型的方式加入到共享虛擬環(huán)境里，另一個則是通過二維視頻的方式加入。三個用戶通過不同終端設(shè)備進行交互，展示了一個具有移動接入支持的多點遠程沉浸系統(tǒng)。

UIUC的Klara Nahrstedt課題組提出基于顏色—深度LOD的DIBR算法，并在遠程沉浸系統(tǒng)中進行用戶心理評估，另外還提出了移動終端的遠程DIBR算法，通過兩個參考視圖可以有效地消除三維圖像變換所導(dǎo)致的空洞。

隨著智能手機的崛起，移動互聯(lián)網(wǎng)上增強現(xiàn)實移動APP在幾年之內(nèi)飛速增長。這些應(yīng)用都離不開標配的攝像頭，以及使用陀螺儀、GPS等設(shè)備的輔助定位，最終以視頻圖像疊加的方式展示給用戶。下面對典型的幾類應(yīng)用APP進行介紹。

實景識別。Google推出的圖片搜索應(yīng)用Goggles，它的功能是可以利用手機拍照的方式，使用圖像識別技術(shù)來識別地標、標識、條形碼和二維碼等，也可以用于識別繪畫作品、書籍、DVD和CD等，應(yīng)用會將獲得的識別信息，通過虛實圖像合成的方式有效地放置于圖像范圍內(nèi)。

戶型圖繪制。加拿大蒙特利爾的創(chuàng)業(yè)公司Sensopia 在2011年發(fā)布了MagicPlan。該應(yīng)用通過iPhone或者iPad對室內(nèi)進行拍攝利用相機和陀螺儀進行攝像頭的跟蹤，在此基礎(chǔ)上測量并繪制出房屋戶型圖。該APP綜合使用相機跟蹤技術(shù)與手持設(shè)備交互技術(shù)，進而在由特征點建立起來的三維空間中進行測繪。

特效制作。Action Movie FX是可以制作簡單的好萊塢電影特效的虛實圖像合成工具，內(nèi)置幾種固定的特效，如汽車翻毀、飛機墜毀、導(dǎo) 彈打擊等。該APP捕捉物體運動軌跡，通過圖像視頻疊加的方法對現(xiàn)實進行特效增強。

結(jié)合位置服務(wù)的AR應(yīng)用。Wikitude World Browser是一款基于地理位置的增強現(xiàn)實應(yīng)用，可以通過指南針、攝像頭和GPS，將虛擬信息數(shù)據(jù)標注到現(xiàn)實世界中。在陌生環(huán)境下，用戶開啟GPS定位，對想了解的地方進行拍攝，服務(wù)器會返回這個地方的有用信息，如酒店信息、景點名勝的特色圖片和視頻等。

現(xiàn)在已經(jīng)出現(xiàn)了多款移動增強現(xiàn)實開發(fā)引擎或平臺，目前最著名的商業(yè)AR引擎是高通的vuforia平臺和metaio等。Obvious Engine是一款iOS上的增強現(xiàn)實框架引擎，它使用物體表面的自然特征來進行相機跟蹤，其開發(fā)者介紹，可以在大多數(shù)光照環(huán)境下達到每秒30幀的跟蹤速度，并且支持OpenGL和Unity 3D開發(fā)集成。移動互聯(lián)網(wǎng)上的增強現(xiàn)實APP的發(fā)展已經(jīng)進入高速發(fā)展階段，各種層出不窮的創(chuàng)意吸引著消費者進行下載使用，但目前的增強現(xiàn)實應(yīng)用還非常有限，受制于屏幕、攝像頭等設(shè)備的進一步更新發(fā)展。在未來幾年，各種商業(yè)創(chuàng)意、3D屏幕和深度相機的加入將可能推動增強現(xiàn)實APP的大發(fā)展。

7　相關(guān)國際標準制定進程

ISO/IEC JTC 1/SC 24 （國際標準化組織/國際電工委員會第1聯(lián)合技術(shù)委員會第24分委會）的全稱是計算機圖形、圖像處理和環(huán)境數(shù)據(jù)表示分技術(shù)委員會，目前擁有10個P成員國和23個O成員國，其中P成員國包括澳大利亞、中國、埃及、法國、俄羅斯、日本、韓國、葡萄牙、英國、美國。根據(jù)JTC1 N7752文件，SC 24的工作范圍主要是與計算機圖形、圖像處理、虛擬現(xiàn)實、信息交互及信息可視化表示這幾個領(lǐng)域有關(guān)的信息技術(shù)應(yīng)用接口的標準化，以及建模與仿真相關(guān)參考模型、交互格式、編碼等規(guī)范。近幾年SC 24制訂的重要標準包括X3D（ISO/IEC 19776 系列、19777 系列），SEDRIS （ISO/IEC 18023 系列、18024系列）等。根據(jù)工作規(guī)范，SC 24原下設(shè)三個工作組（Work Group，WG）:WG6多媒體表示/交換，WG7圖像處理/交換，WG8環(huán)境數(shù)據(jù)表示）。鑒于虛擬現(xiàn)實相關(guān)技術(shù)的快速發(fā)展，2011年8月，在美國Rapid City舉辦的SC 24全會經(jīng)過討論，考慮增加WG9專門進行虛擬現(xiàn)實/增強現(xiàn)實/混合現(xiàn)實領(lǐng)域的標準化工作，并且把SC 24原來工作范圍中的“虛擬現(xiàn)實”（VR）擴展為“虛擬現(xiàn)實/增強現(xiàn)實/混合現(xiàn)實”（VR/AR/MR）。其中韓國代表團提交了正式的新名稱，范圍的定義及詳細闡述，中國及美國代表團提出了對名稱和范圍的具體建議，特別是中國代表團建議用“虛擬現(xiàn)實連續(xù)統(tǒng)一體”（VR Continuum）代替冗長且有含義交叉的“虛擬現(xiàn)實/增強現(xiàn)實/混合現(xiàn)實”。最終經(jīng)過審議，SC 24采用了“增強現(xiàn)實連續(xù)統(tǒng)一體”（AR continuum）的名稱，最終WG6修改為“增強現(xiàn)實連續(xù)統(tǒng)一體表示和交換”（AR continuum presentation and interchange），新成立WG9工作組，并命名為“增強現(xiàn)實連續(xù)統(tǒng)一體概念和參考模型”（AR continuum concepts and reference model）。

2012年8月19日至24日，SC 24全會在比利時Brussels舉行，各國代表團積極提出多項與ARC有關(guān)的新提案。新提案的重要評價之一是需要具有足夠多產(chǎn)業(yè)界人士的興趣，最終全會批準以下3項新工作提案進入初始階段投票狀態(tài)：（1） SC 24 N 3411 增強現(xiàn)實連續(xù)統(tǒng)一體參考模型；（2） SC 24 N 3414用于物理傳感器的增強現(xiàn)實連續(xù)統(tǒng)一體參考模塊；（3） SC 24 N 3415 用于真實特征表示的增強現(xiàn)實連續(xù)統(tǒng)一體參考模塊。各國在會后組織了答票和提交建議。這三項NP提案最初是韓國提出的，在全會中我國補充提出了ARC術(shù)語和概念定義及術(shù)語制定規(guī)則，也寫入了投票文件，在投票階段還建議了參考模型完善，部分傳感器接口與格式完善等。在2012年底，SC 24公布了10個P成員國的投票結(jié)果，通過了增強現(xiàn)實連續(xù)統(tǒng)一體的三個新提案，進入了工作程序。

增強現(xiàn)實連續(xù)統(tǒng)一體參考模型（ARC-RM）定義了一種結(jié)構(gòu)（如體系、功能、信息/計算可視化），用于當前和未來的增強現(xiàn)實和混合現(xiàn)實領(lǐng)域國際標準對比及描述相關(guān)關(guān)系。該參考模型定義了一系列規(guī)則、概念以及內(nèi)部關(guān)系，應(yīng)與未來增強現(xiàn)實、混合現(xiàn)實標準的總范圍相適應(yīng)。包含下列內(nèi)容：規(guī)則，增強現(xiàn)實連續(xù)統(tǒng)一體術(shù)語及定義，用例，需求，ARC體系結(jié)構(gòu)（基于網(wǎng)絡(luò)或獨立），功能和基礎(chǔ)組件，組件之間的接口及數(shù)據(jù)流，抽象層，與其他標準的關(guān)系等。

ARC系統(tǒng)的通用參考模型包括主要組件及功能性和組件接口（數(shù)據(jù)和控制）?？梢钥闯?，目前的ARC模型更重視從相機采集，然后進行跟蹤和識別，通過消息機制發(fā)送給虛實合成模塊，最終完成繪制和顯示。這符合目前產(chǎn)業(yè)界對增強現(xiàn)實技術(shù)應(yīng)用在PC或移動互聯(lián)網(wǎng)上的強烈需求：僅配備簡單的相機即可實現(xiàn)虛擬現(xiàn)實增強的顯示，需要模型結(jié)構(gòu)簡單，跟蹤以實現(xiàn)精確的空間定位，識別后通過簡單的消息機制進行驅(qū)動。

ISO/IEC JTC 1/SC 29 （coding of audio，picture，multimedia and hypermedia information，音頻、圖像、多媒體和超媒體信息）技術(shù)分委也對增強現(xiàn)實/混合現(xiàn)實技術(shù)表現(xiàn)出強烈的興趣，正在制定增強現(xiàn)實應(yīng)用格式標準Multimedia application format（MPEG-A） Part 13：Augmented reality applicationformat13）。2013 年，在ARC新提案的基礎(chǔ)上，SC 24和SC 29建立了聯(lián)合工作機制，首先由SC 24WG9和SC 29 WG11共同推動ARC參考模型的標準。由于雙方共同的興趣，將標準進一步集中在混合和增強現(xiàn)實MAR（Mixed and Augmented Reality），也就是虛擬現(xiàn)實增強技術(shù)，從中也可以看出工業(yè)界對于虛擬現(xiàn)實增強技術(shù)的期待。

2013年5月，在SC 29 WG 11發(fā)布的ISO/IEC JTC 1/SC 29/WG 11 N13613的基礎(chǔ)上，ISO/IECJTC 1/SC 29-24/WG 11-9啟動了技術(shù)草案報告“WD 1.0 of Mixed and Augmented Reality Reference Model”，并計劃了2013年中、年底，2014年初的三次討論會。在目前的草案中，混合和增強現(xiàn)實MAR被定義為一種基于采集的真實世界環(huán)境的表示，其中的元素以計算機驅(qū)動的方式被圖形、聲音等內(nèi)容所增強。混合和增強現(xiàn)實系統(tǒng)實現(xiàn)了對最終用戶內(nèi)容同步驅(qū)動的虛擬環(huán)境內(nèi)容的實時訪問。

ISO 要求有關(guān)文件的非成員組織使用需要書面許可，因此本文不對參考模型等草案的詳細內(nèi)容進行介紹，部分內(nèi)容可到ISO網(wǎng)站查詢。在參與標準工作的過程中，我們有兩點認識：

（1） “虛擬現(xiàn)實/增強現(xiàn)實/混合現(xiàn)實” （VR/AR/MR）得到了工業(yè)界的普遍認可，特別是增強現(xiàn)實已經(jīng)具有了強大的產(chǎn)業(yè)支持，應(yīng)該重視跟進標準的制定；

（2） 各國代表團積極在增強現(xiàn)實連續(xù)統(tǒng)一體方面提出建議，韓國代表團的積極主導(dǎo)是跟韓國政府和大企業(yè)的重視和支持是離不開的，中國目前的關(guān)注程度還不夠，建議更多的學術(shù)界和產(chǎn)業(yè)界人士積極參與和建議。

8　總結(jié)與展望

近年來，虛擬現(xiàn)實增強技術(shù)已經(jīng)取得了顯著的技術(shù)進步，特別是在產(chǎn)業(yè)界的普及型需求和積極推動下，展示出強勁的發(fā)展前景。本文分別從技術(shù)特點、相關(guān)硬件設(shè)備、增強現(xiàn)實、增強虛擬環(huán)境這4個方面，闡述和分析了虛擬現(xiàn)實增強技術(shù)的研究進展。鑒于移動互聯(lián)網(wǎng)時代的興起，本文介紹了移動互聯(lián)網(wǎng)上已經(jīng)出現(xiàn)的虛實增強技術(shù)與應(yīng)用，最后還介紹了相關(guān)國際標準的制定進程。

增強現(xiàn)實技術(shù)已經(jīng)得到了學術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，在硬件裝置、跟蹤精度、虛實合成等方面正在快速發(fā)展和提高。例如在2013年的增強世博會（Augmented World Expo）上，絕大多數(shù)參展商都集中在SLAM系統(tǒng)跟蹤技術(shù)和眼部穿戴式增強設(shè)備上，他們期望出現(xiàn)像3D眼鏡Atheer One這樣高度集成的便攜式設(shè)備，能夠刺激現(xiàn)有增強現(xiàn)實技術(shù)的快速應(yīng)用。同時，新型產(chǎn)品的出現(xiàn)也會給研究者帶來更多的研究內(nèi)容，促進增強現(xiàn)實技術(shù)向著更高的方向發(fā)展。

增強虛擬環(huán)境技術(shù)發(fā)展緩慢，還未能像增強現(xiàn)實一樣被大眾認可。不同于增強現(xiàn)實技術(shù)，該技術(shù)使用的“畫布”而非逼真的三維虛擬環(huán)境，難以用二維視頻圖像等信息達到較好的增強效果?，F(xiàn)有的方法除了存在采集裝置、建模精度等多方面的關(guān)鍵技術(shù)問題，還無法達到逼真的合成效果，例如虛實物體的正確遮擋關(guān)系，虛實光照效果的融合處理，以及多傳感器數(shù)據(jù)融合的理論問題等。增強虛擬環(huán)境技術(shù)還需要深入研究，有待于以上關(guān)鍵技術(shù)的突破和新的硬件設(shè)備推動。

總的來說，虛擬現(xiàn)實增強技術(shù)的理論研究、系統(tǒng)開發(fā)和應(yīng)用推廣等方面有著重大進展，尤其是移動互聯(lián)網(wǎng)時代的到來，為增強技術(shù)帶來了廣闊的應(yīng)用群體和飛速的技術(shù)進步。同時，虛擬現(xiàn)實增強技術(shù)的不均衡的發(fā)展也為該領(lǐng)域帶來了大量有待解決的問題和難題。

今后的幾年里，虛擬現(xiàn)實增強技術(shù)的發(fā)展將會引入越來越多新的思路。例如，本文作者在基于云計算服務(wù)的變形編輯方法方面所做的工作，從一個側(cè)面說明云計算服務(wù)可能對虛擬現(xiàn)實相關(guān)技術(shù)提供新型的分布式計算模式；目前腦機接口和外骨骼系統(tǒng)的研究可能為虛擬現(xiàn)實相關(guān)技術(shù)提供新的增強表達方法。虛擬現(xiàn)實增強技術(shù)還有很長的一段路要走，期待它能夠?qū)崿F(xiàn)現(xiàn)實世界與虛擬世界的無縫融合，改變普通人生活和傳統(tǒng)行業(yè)，成為人類訪問世界的新途徑。

【作者單位：1. 北京航空航天大學虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室；2. 中國科學院寧波工業(yè)技術(shù)研究院】

（摘自《中國科學：信息科學》2015年2期）