朱 杰

中國(guó)美術(shù)學(xué)院上海設(shè)計(jì)學(xué)院，上海 201203

增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)（Augmented Reality，AR）通過(guò)計(jì)算機(jī)實(shí)時(shí)產(chǎn)生三維信息來(lái)增強(qiáng)人對(duì)真實(shí)世界的感知。雖然來(lái)源于虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality，VR)，但AR的偉大之處在于把計(jì)算機(jī)、網(wǎng)絡(luò)和用戶(hù)都帶回了真實(shí)世界。它利用計(jì)算機(jī)系統(tǒng)產(chǎn)生現(xiàn)實(shí)環(huán)境中并不存在的虛擬信息，這些虛擬信息可被用戶(hù)以視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等各種方式感知，成為周?chē)鎸?shí)環(huán)境的組成部分。

1 簡(jiǎn)介

上世紀(jì)90年代初期，波音公司的Tom Caudell和同事最早提出了“增強(qiáng)現(xiàn)實(shí)（以下簡(jiǎn)稱(chēng)AR）”。在他們?cè)O(shè)計(jì)的系統(tǒng)中，把由簡(jiǎn)單線(xiàn)條繪制的布線(xiàn)路徑和文字等提示信息，實(shí)時(shí)地疊加在機(jī)械師的頭盔顯示器上，而這些信息則可以幫助機(jī)械師一步一步地完成拆卸過(guò)程。AR系統(tǒng)的目標(biāo)就是這樣，借助光電顯示技術(shù)、交互技術(shù)、計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)等，產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過(guò)注冊(cè)技術(shù)將虛擬對(duì)象準(zhǔn)確地“放置”在真實(shí)環(huán)境中，使用戶(hù)處于一種融合的環(huán)境中，不能區(qū)分真實(shí)和虛擬，用戶(hù)所感知到的只是一個(gè)真實(shí)和虛擬相融合的唯一存在的世界，并能與之交互。

AR是一個(gè)多學(xué)科交叉的新興研究領(lǐng)域，該領(lǐng)域的權(quán)威學(xué)者北卡大學(xué)Ronald Azuma提出 AR系統(tǒng)包含三個(gè)內(nèi)容：真實(shí)世界和虛擬世界的信息集成，即虛實(shí)融合；具有實(shí)時(shí)交互性；三維尺度空間中定位增添虛擬物體，即三維跟蹤注冊(cè)。其中，尤以實(shí)時(shí)的人機(jī)交互最為重要，因?yàn)槌两泻透兄脑鰪?qiáng)皆源于此。人機(jī)交互是一門(mén)包括計(jì)算機(jī)視覺(jué)、心理學(xué)、人工智能等多學(xué)科交叉的技術(shù)，隨著傳感器、力反饋等硬件設(shè)備的發(fā)展，以及對(duì)人的個(gè)體差異、感知研究以及認(rèn)知科學(xué)的發(fā)展，人機(jī)交互已成為世界各國(guó)信息產(chǎn)業(yè)競(jìng)爭(zhēng)的一項(xiàng)關(guān)鍵技術(shù)，并逐漸實(shí)現(xiàn)向“以用戶(hù)為中心”的轉(zhuǎn)變。

另一種定義是1994年保羅?米爾格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的現(xiàn)實(shí)-虛擬連續(xù)統(tǒng)（Milgram's Reality-Virtuality Continuum）。他們將真實(shí)環(huán)境和虛擬環(huán)境分別作為連續(xù)統(tǒng)的兩端，位于它們中間的被稱(chēng)為“混合實(shí)境（Mixed Reality）”。其中靠近真實(shí)環(huán)境的是增強(qiáng)現(xiàn)實(shí)（Augmented Reality），靠近虛擬環(huán)境的則是擴(kuò)增虛境（Augmented Virtuality）。

2 技術(shù)原理

2.1 顯示技術(shù)

用于AR 的顯示器有頭盔顯示器( Head-Mounted Displays, HMD) , 手持顯示器( Hand-Held Displays) 和投影顯示器( Pro jection Displa ys) 。

2.2 跟蹤和定位技術(shù)

為了交互, AR 需要進(jìn)行定位, 因而準(zhǔn)確地跟蹤用戶(hù)的位置和視域方向是十分重要的。 對(duì)于室內(nèi)環(huán)境, 通常預(yù)先在已知的位置上放置基準(zhǔn)的標(biāo)記, 通過(guò)跟蹤這些標(biāo)記跟蹤真實(shí)對(duì)象,從而擴(kuò)大跟蹤范圍。 目前在準(zhǔn)備好的室內(nèi)環(huán)境中, 能夠?qū)崿F(xiàn)魯棒性定位。 對(duì)于室外、移動(dòng)的AR 應(yīng)用, 一般使用GPS 或Dead Reckoning 技術(shù)跟蹤計(jì)算對(duì)象在戶(hù)外的實(shí)時(shí)位置。 但這也有很大的局限性， 如GPS 需要天空能見(jiàn)度很高。另外，還可以跟蹤可見(jiàn)的自然特征( 如環(huán)境中已有的、不變對(duì)象)。 如果有環(huán)境數(shù)據(jù)庫(kù), 那么就可以根據(jù)跟蹤可見(jiàn)的水平輪廓或已繪制的周?chē)ㄖ锏念A(yù)知視圖, 與視頻進(jìn)行匹配。另外， 給定有限的一組已知特征點(diǎn), 跟蹤系統(tǒng)能夠自動(dòng)地選擇和測(cè)量環(huán)境中新的特征點(diǎn)。但是， 目前這些方法還不支持實(shí)時(shí)運(yùn)行, 而更適于特效和后期制作的應(yīng)用。

完全控制定位錯(cuò)誤比較困難， 因?yàn)閼?yīng)用需要的精確度越高, 引起錯(cuò)誤的源就越多. 我們把這種源分成兩類(lèi): 靜態(tài)的和動(dòng)態(tài)的。 靜態(tài)源是指當(dāng)用戶(hù)的視點(diǎn)和環(huán)境中的物體保持靜止時(shí)引發(fā)的錯(cuò)誤, 主要有: 光學(xué)的變形, 跟蹤系統(tǒng)誤差, 機(jī)械誤差和視覺(jué)參數(shù)誤差。 動(dòng)態(tài)源是指錯(cuò)誤由用戶(hù)的視點(diǎn)或環(huán)境中的物體移動(dòng)引起的, 主要是延遲錯(cuò)誤和預(yù)測(cè)位置錯(cuò)誤。

2.3 界面和可視化

2.3.1 錯(cuò)誤估計(jì)的可視化

AR 系統(tǒng)定位錯(cuò)誤很難避免, 解決的方法有兩個(gè): 一是根據(jù)預(yù)測(cè)的跟蹤和測(cè)量錯(cuò)誤, 在屏幕中可視化地顯示一塊區(qū)域,以繪制對(duì)象。 二是當(dāng)繪制被真實(shí)對(duì)象遮擋的虛擬對(duì)象時(shí), 沿著遮擋區(qū)域的邊緣, 逐漸地淡出隱藏的虛擬對(duì)象, 使定位錯(cuò)誤減少。

2.3.2 數(shù)據(jù)密度..

如果用大量的虛擬信息增強(qiáng)真實(shí)世界, 那么顯示就會(huì)變得混亂和不易讀。 Julier使用基于空間交互模型, 把所顯示的信息量減少到最小, 只在視圖中保留重要的信息。

2.3.3 真實(shí)感繪制

在AR 應(yīng)用中, 改善虛擬對(duì)象繪制質(zhì)量的關(guān)鍵是能夠自動(dòng)獲取環(huán)境的光照和反射信息。 目前有三個(gè)方法: 使用模型估計(jì)光照參數(shù), 基于圖像的繪制, 以及動(dòng)態(tài)范圍的光照獲取。

2.3.4 調(diào)節(jié)現(xiàn)實(shí)

為了刪除真實(shí)對(duì)象系統(tǒng)必須能夠分割場(chǎng)景中的單獨(dú)對(duì)象Lepet it論述了一個(gè)半自動(dòng)的方法, 通過(guò)輪廓區(qū)分對(duì)象和它們?cè)趫?chǎng)景中的位置, 在某些情況下, 無(wú)需對(duì)環(huán)境進(jìn)行3D 重構(gòu), 就能夠插入虛擬對(duì)象以及刪除真實(shí)對(duì)象。

2.4 標(biāo)定技術(shù)

為了生成準(zhǔn)確的定位, AR 系統(tǒng)需要進(jìn)行大量的標(biāo)定. 測(cè)量的值包括: 攝像機(jī)參數(shù), 視域范圍, 傳感器的偏移, 對(duì)象定位以及變形等. 目前AR 標(biāo)定使用攝像機(jī)標(biāo)定原理, 以及許多手動(dòng)AR 標(biāo)定技術(shù). 避免進(jìn)行標(biāo)定的一個(gè)方法是開(kāi)發(fā)標(biāo)定自由的繪制器. Kutulako s 和Vallino提出基于弱透視投影模型的標(biāo)定自由AR 方法, Seo 和Hong把這個(gè)方法擴(kuò)展到覆蓋弱透視投影, 支持傳統(tǒng)的光照技術(shù)。 另外, 為了減少標(biāo)定需要,必須自動(dòng)標(biāo)定, 這需要使用冗余的傳感器信息, 自動(dòng)地測(cè)量和補(bǔ)償變化的標(biāo)定參數(shù)。

3 特點(diǎn)及優(yōu)點(diǎn)

3.1 特點(diǎn)

3.1.1 Combines real and virtual（虛實(shí)結(jié)合）

虛擬現(xiàn)實(shí)技術(shù)依靠三維軟件構(gòu)建出虛擬世界，通過(guò)各種輸出方式讓人在軟件所創(chuàng)建的世界里有非同尋常的體驗(yàn)，好的虛擬現(xiàn)實(shí)作品具備浸沒(méi)感、交互性和構(gòu)想性。而AR技術(shù)，將這種特性帶回真實(shí)世界，讓計(jì)算機(jī)創(chuàng)造出來(lái)的虛擬世界與真實(shí)世界合為一體，帶來(lái)前所未有的感官?zèng)_擊。

3.1.2 Interactive in real time（即時(shí)交互）

即時(shí)交互是虛擬現(xiàn)實(shí)的主要特點(diǎn)，源于虛擬現(xiàn)實(shí)的AR技術(shù)同樣具備這一特點(diǎn)。實(shí)時(shí)的三維交互是構(gòu)建優(yōu)秀虛擬環(huán)境的基礎(chǔ)。同時(shí)，AR系統(tǒng)的即時(shí)交互與現(xiàn)實(shí)環(huán)境結(jié)合在一起，效果要優(yōu)于依靠硬件環(huán)境的虛擬現(xiàn)實(shí)。

3.1.3 Registered in 3-D（3D定位）

AR技術(shù)與真實(shí)環(huán)境相結(jié)合主要體現(xiàn)在所讀出的3D模型可以由目標(biāo)圖片或物體來(lái)控制移動(dòng)旋轉(zhuǎn)，以及通過(guò)更多的方式來(lái)做更多的交互。AR技術(shù)區(qū)別于目前相當(dāng)流行的二維碼技術(shù)的重要一點(diǎn)，二維碼對(duì)于手機(jī)、攝像頭之類(lèi)的讀取設(shè)備有嚴(yán)格的角度和距離要求，而AR系統(tǒng)在同樣的問(wèn)題上則自由很多。

3.2 優(yōu)點(diǎn)

AR系統(tǒng)的優(yōu)點(diǎn)主要包含兩方面：

1）AR技術(shù)能夠?qū)崿F(xiàn)虛擬事物和真實(shí)環(huán)境的結(jié)合，讓真實(shí)世界和虛擬物體共存；

2）AR實(shí)現(xiàn)虛擬世界和真實(shí)世界的實(shí)時(shí)同步，滿(mǎn)足用戶(hù)在現(xiàn)實(shí)世界中真實(shí)地感受虛擬空間中模擬的事物，增強(qiáng)用戶(hù)體驗(yàn)效果。

4 硬件

4.1 顯示設(shè)備

4.1.1 頭罩式裝置HMD（Head-Mounted Display）

技術(shù)大概分成光學(xué)式（Optical）與影像（Video）兩種，前者是一種透明裝置，使用者可以直接透過(guò)這層看到真實(shí)世界的影像，然后會(huì)有一些另外的投影裝置把虛擬影像投射在這層透明裝置上。另外一種是不透明裝置，使用者看到的是由電腦處理好、已虛實(shí)結(jié)合的影像。

圖1

4.1.2 智能手機(jī)

最近幾年開(kāi)始流行起來(lái)的智能手機(jī)，改變了AR的樣貌。頭戴式的HMD還是太麻煩了，而智能手機(jī)同時(shí)具備電腦計(jì)算能力、錄影、影像顯示，還有GPS、網(wǎng)路連線(xiàn)、觸控、傾斜度偵測(cè)等等的額外功能，價(jià)格也逐漸平民化，于是在智能手機(jī)為平臺(tái)的AR研究越來(lái)越多。

圖2

4.2 攝像頭

Occipital聯(lián)合創(chuàng)始人Vikas Reddy在郵件訪(fǎng)談中談到，AR技術(shù)尚未發(fā)揮出它全部的潛力。這是由于目前追蹤和測(cè)繪現(xiàn)實(shí)的技術(shù)水平有限。但Reddy預(yù)測(cè)，隨著計(jì)算機(jī)視覺(jué)算法和硬件設(shè)備的發(fā)展，攝像頭將成為最重要的傳感器和輸入設(shè)備，這不僅僅是AR實(shí)景技術(shù)方面的趨勢(shì)，也是整個(gè)計(jì)算機(jī)產(chǎn)業(yè)的趨勢(shì)。

圖3

4.3 傳感器

在AR系統(tǒng)中眾多的傳感器是實(shí)現(xiàn)交互的硬件基礎(chǔ)。運(yùn)用比較多的是紅外傳感器、壓力傳感器、溫度傳感器、光電傳感器等，比較具有代表性的例子是微軟開(kāi)發(fā)的基于XBOX 360的Kinect。Kinect是微軟在2009年6月2日的E3大展上正式公布的XBOX360體感周邊外設(shè)，它徹底顛覆了游戲的單一操作，使人機(jī)互動(dòng)的理念更加徹底的展現(xiàn)出來(lái)。

圖4

4.4 存儲(chǔ)傳輸

作為承載系統(tǒng)主體文件和承接輸入設(shè)備及輸出設(shè)備的重要中轉(zhuǎn)站，AR系統(tǒng)對(duì)于計(jì)算機(jī)的硬件要求相對(duì)較高。

4.5 操控設(shè)備

虛擬現(xiàn)實(shí)系統(tǒng)與AR系統(tǒng)基于展示內(nèi)容的特點(diǎn)會(huì)有針對(duì)性的操控設(shè)備。目前運(yùn)用比較多的是數(shù)據(jù)手套與頭部跟蹤設(shè)備，其中頭部跟蹤設(shè)備主要是眼鏡和頭盔。數(shù)據(jù)手套主要依靠在指關(guān)節(jié)處的傳感器來(lái)識(shí)別各種手勢(shì)，不同的手勢(shì)分別代表各種指令會(huì)讓系統(tǒng)作出相應(yīng)的反應(yīng)。頭部跟蹤設(shè)備主要依靠電磁感應(yīng)技術(shù)或紅外捕捉技術(shù)，都是通過(guò)識(shí)別頭部運(yùn)動(dòng)來(lái)達(dá)到控制目的，其中紅外捕捉技術(shù)的敏感度與刷新率要優(yōu)于電磁感應(yīng)技術(shù)，谷歌新推出的谷歌眼鏡就運(yùn)用了該技術(shù)。

圖5

5 應(yīng)用現(xiàn)狀及展望

5.1 谷歌眼鏡

圖6

谷歌眼鏡(Google Project Glass)是由谷歌公司于2012年4月發(fā)布的一款“拓展現(xiàn)實(shí)”眼鏡，它具有和智能手機(jī)一樣的功能，可以通過(guò)聲音控制拍照，視頻通話(huà)和辨明方向以及上網(wǎng)、處理文字信息和電子郵件等。

硅谷的未來(lái)可穿戴設(shè)備資深研究人員邁克爾?萊候德（Michael Liebhold）預(yù)計(jì)，下一步的技術(shù)突破將是模糊現(xiàn)實(shí)世界和虛擬世界的界限。Google眼鏡所代表的可穿戴式設(shè)備將成為科技界的“下一件大事情”。用布林的話(huà)說(shuō)，在溝通的終極形式里，技術(shù)應(yīng)當(dāng)是隱形的。Google眼鏡展示了未來(lái)的一種形態(tài)，它可能是我們未來(lái)搜索的入口，革新互聯(lián)網(wǎng)和現(xiàn)實(shí)中人際交流的方式?！爱?dāng)技術(shù)開(kāi)始隱身時(shí)，我們將不再受技術(shù)的限制?？纱┐麟娔X技術(shù)可以讓我們不再?gòu)?英寸屏幕中去窺探生活。我們?cè)僖膊挥脮r(shí)不時(shí)地看看手機(jī)，相反的，這些可穿戴設(shè)備會(huì)回望著我們?！?/p>

5.2 IPhone Apps

1） “紐約近在咫尺”：這款應(yīng)用讓你發(fā)現(xiàn)一個(gè)你從未發(fā)現(xiàn)的紐約。只要將鏡頭對(duì)準(zhǔn)紐約街頭的指路牌，相關(guān)街道的信息與真實(shí)畫(huà)面疊加讓你對(duì)每條街道都“一覽無(wú)遺”，保證不會(huì)讓你在“大蘋(píng)果”中迷路。當(dāng)然你換個(gè)城市就需要換一個(gè)當(dāng)?shù)匕姹尽?/p>

圖7

2） “全景透視”：這是一款很有意思的AR應(yīng)用，它用二維圖形以具有透視感的畫(huà)面為你提供關(guān)于你所在地的四周地理信息，例如告訴你周?chē)袔鬃椒逡约八麄兊拿郑屇阍谝巴饴稜I(yíng)的時(shí)候不至于迷失。

圖8

3） “增強(qiáng)虛擬現(xiàn)實(shí)指南針”：這款應(yīng)用不僅可以告訴你方向，還可以告訴你所處的經(jīng)緯度以及計(jì)算你的營(yíng)地與目的地之間的距離。

圖9

4） “機(jī)器人視角”：一款為iPhone設(shè)計(jì)的AR應(yīng)用，讓你在街上走著就能看到想要的商業(yè)、餐飲與服務(wù)設(shè)施的信息。對(duì)于中國(guó)的朋友來(lái)說(shuō)就可以不用撥打電話(huà)導(dǎo)航熱線(xiàn)了。

圖10

5） “百科全書(shū)”這款A(yù)R應(yīng)用基于維基百科信息庫(kù)。當(dāng)你到一座名城游歷，只需要拿出手機(jī)，用攝像頭對(duì)準(zhǔn)感興趣的建筑和物體，屏幕就會(huì)出現(xiàn)有關(guān)的介紹和背景資料。

圖11

5.3 未來(lái)展望

5.3.1 空間計(jì)算

Occipital 的創(chuàng)始人 Vikas Eddy 認(rèn)為，相機(jī)已成為采集信息量最大的傳感器，但受一些計(jì)算機(jī)視覺(jué)算法和移動(dòng)設(shè)備硬件的限制，目前增強(qiáng)現(xiàn)實(shí)技術(shù)的潛力還遠(yuǎn)遠(yuǎn)沒(méi)有發(fā)揮出來(lái)。隨著這兩個(gè)問(wèn)題的逐漸改善，我們所能體驗(yàn)到的視覺(jué)空間將得到極大延展——從設(shè)備屏幕上解脫出來(lái)。

5.3.2 互動(dòng)游戲

Sharky the Beaver是由Sphero剛剛推出的游戲，首席執(zhí)行官Paul Berberian認(rèn)為現(xiàn)實(shí)和虛擬的結(jié)合游戲?qū)⑹且环N完全不同的體驗(yàn)。在這款游戲中，用戶(hù)通過(guò)藍(lán)牙設(shè)備控制一個(gè)球型機(jī)器人，在屏幕上這個(gè)球型機(jī)器人顯示為小海貍的形象，用戶(hù)會(huì)看到小海貍Shaky在自己身邊跳來(lái)跳去，還可以喂它吃蛋糕。通過(guò)創(chuàng)造兩個(gè)數(shù)據(jù)流，用戶(hù)可以無(wú)縫穿梭于真實(shí)和虛擬世界。這款游戲也可以作為軟件開(kāi)發(fā)包工具（SDK）供開(kāi)發(fā)人員使用，其結(jié)果很可能會(huì)產(chǎn)生一個(gè)形象庫(kù)，用戶(hù)可以通過(guò)球型機(jī)器人控制不同形象。

5.3.3 感知人腦

InteraXon推出了一款腦電波感應(yīng)頭帶，佩戴上這款頭戴，用戶(hù)可以通過(guò)腦電波來(lái)控制窗簾以及燈光。首席技術(shù)官Chris Aimone認(rèn)為，設(shè)備通過(guò)智能的方式感知人腦將帶來(lái)巨大的方便，比如根據(jù)人的意識(shí)自動(dòng)調(diào)節(jié)信息的顯示，根據(jù)人的心情給出生活建議。這種技術(shù)與增強(qiáng)實(shí)現(xiàn)的結(jié)合可以讓設(shè)備更好地感知用戶(hù)的狀態(tài)，從而使得增強(qiáng)現(xiàn)實(shí)技術(shù)更加實(shí)用。

5.3.4 交互提升

Geoloqi的聯(lián)合創(chuàng)始人Amber Case認(rèn)為，只要使用增強(qiáng)實(shí)現(xiàn)技術(shù)創(chuàng)作內(nèi)容、動(dòng)畫(huà)的障礙降低，增強(qiáng)實(shí)現(xiàn)就會(huì)變得有趣起來(lái)，從而交互將發(fā)生實(shí)質(zhì)的改變。大片中懸浮在房間里的菜單界面，如果能將其實(shí)現(xiàn)將是一個(gè)巨大的飛躍。未來(lái)AR技術(shù)的發(fā)展應(yīng)更多著眼于日常的切實(shí)有用的應(yīng)用。

[1]崔振明著，孔紅艷譯.有無(wú)之間----虛擬現(xiàn)實(shí)的哲學(xué)探險(xiǎn).北京大學(xué)出版社，2007：1-2.

[2][法]莫里斯·梅洛-龐蒂著，姜志輝譯.知覺(jué)現(xiàn)象學(xué).商務(wù)印書(shū)館，1997：155.