編譯 高斯寒

1992年，路易斯?羅森伯格（Louis Rosenberg）在賴特-帕特森空軍基地測試他開發(fā)的第一個(gè)交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)“虛擬導(dǎo)具”（Virtual Fixtures）

我爬進(jìn)一具被傳感器、馬達(dá)、齒輪和軸承覆蓋的上半身外骨骼內(nèi)，上身前傾，昂起腦袋，將我的面龐緊貼從天花板上垂掛下來的一套視覺系統(tǒng)的目鏡。我看見身前的一塊涂成黑色的大木板，上面打出的金屬孔眼形成網(wǎng)格。木板是真實(shí)的，我手上的銷子也是真實(shí)的，我在試圖盡可能快地將銷子從一個(gè)孔移向另一個(gè)孔。當(dāng)我開始移動銷子時(shí)，一個(gè)虛擬圓錐出現(xiàn)在目標(biāo)孔眼上方，同時(shí)出現(xiàn)了一塊緩緩移向它的虛擬平面。當(dāng)我沿著平面朝向圓錐滑動銷子，將它送入孔內(nèi)時(shí)，我能感覺到平面的存在。

這就是開發(fā)于20世紀(jì)90年代初期的“虛擬導(dǎo)具”平臺，被用來檢驗(yàn)“知覺疊加”（perceptual overlays），改善人類在需要靈巧性的手工任務(wù)中的潛能，而且它被證明確實(shí)有效。

今時(shí)今日，虛擬現(xiàn)實(shí)專家們回首往昔，將這個(gè)平臺視為第一個(gè)允許用戶在單個(gè)沉浸式現(xiàn)實(shí)中同時(shí)接觸真實(shí)物件和虛擬物件的交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)。

這個(gè)研究項(xiàng)目開始于1991年，我將它作為我在斯坦福大學(xué)的博士研究的一部分來推介。等到我完成研究時(shí)——那是在歷經(jīng)三年和建成多個(gè)原型機(jī)之后——我組裝好的系統(tǒng)裝滿半個(gè)房間，用掉價(jià)值將近25萬美元的硬件。我已經(jīng)從人類測試中收集到足夠的數(shù)據(jù)，明確地表明用虛擬物件來增強(qiáng)真實(shí)工作空間能顯著提升精密任務(wù)中的用戶體驗(yàn)。

考慮到研究周期并不長，這一項(xiàng)目也許聽起來一切都進(jìn)展順利，然而由于緊張的預(yù)算和龐大的設(shè)備需求，有許多次該項(xiàng)目都瀕臨脫軌。事實(shí)上，若不是1992年的夏季有一個(gè)降落傘（是真實(shí)的降落傘，而不是虛擬物件）沒能在俄亥俄州代頓上方的碧藍(lán)晴空中打開，我的項(xiàng)目可能在早期就已經(jīng)夭折。

在解釋一次降落傘事故如何幫助推動增強(qiáng)現(xiàn)實(shí)的開發(fā)之前，我會先交代一點(diǎn)兒當(dāng)時(shí)的歷史背景。30年前，虛擬現(xiàn)實(shí)領(lǐng)域尚處在初期，連“虛擬現(xiàn)實(shí)”這個(gè)術(shù)語也是在1987年由杰倫?拉尼爾（Jaron Lanier）杜撰出來，拉尼爾那時(shí)在將第一批頭戴式設(shè)備和傳感手套商品化。他的工作建立在伊凡?薩瑟蘭（Ivan Sutherland）更早期的研究之上，薩瑟蘭是頭戴式顯示器技術(shù)和頭部跟蹤技術(shù)的開創(chuàng)者，而這兩項(xiàng)技術(shù)是激發(fā)虛擬現(xiàn)實(shí)的兩個(gè)關(guān)鍵要素。增強(qiáng)現(xiàn)實(shí)與真實(shí)世界、虛擬世界相結(jié)合，形成一個(gè)沉浸式的交互現(xiàn)實(shí)，而增強(qiáng)現(xiàn)實(shí)在那時(shí)尚未以一種富有意義的方式存在。

那時(shí)候，我還只是斯坦福大學(xué)的研究生，也在美國宇航局（NASA）艾姆斯研究中心擔(dān)任兼職研究員，對虛擬世界的創(chuàng)造很感興趣。在斯坦福大學(xué)，我在設(shè)計(jì)研究中心工作，這個(gè)團(tuán)隊(duì)的研究重心是人與技術(shù)的交叉，在那兒誕生了一些最早期的虛擬現(xiàn)實(shí)手套、沉浸式視覺系統(tǒng)和三維音頻系統(tǒng)。在艾姆斯研究中心，我在先進(jìn)顯示器和空間知覺實(shí)驗(yàn)室里工作，那兒的研究人員在探究一些實(shí)現(xiàn)逼真的沉浸式模擬世界所需要的基本參數(shù)。

當(dāng)然，知道如何創(chuàng)造出高品質(zhì)的虛擬現(xiàn)實(shí)體驗(yàn)和能夠?qū)嶋H制造出它不是一回事。那時(shí)市面上最高性能的電腦是在33MHz主頻下運(yùn)行的英特爾486處理器。按照通脹因素?fù)Q算調(diào)整后，這些電腦的售價(jià)相當(dāng)于現(xiàn)在的8 000美元，但是其速度甚至比不上如今的低價(jià)游戲電腦的千分之一。另一個(gè)選擇是投資6萬美元來購買一臺硅谷圖形公司（Silicon Graphics）的工作站——它的速度依然比不上如今一臺普通電腦的百分之一。所以，盡管20世紀(jì)80年代后期和90年代初期在虛擬現(xiàn)實(shí)領(lǐng)域工作的科研人員做了奠基性的工作，但當(dāng)時(shí)粗陋的圖形顯示、笨重的頭戴式設(shè)備和嚴(yán)重的延遲使得使用者頭昏眼花、惡心反胃，也正是這個(gè)問題阻礙了虛擬現(xiàn)實(shí)體驗(yàn)。

我在NASA實(shí)施的一個(gè)研究項(xiàng)目是要優(yōu)化早期三維視覺系統(tǒng)中的深度感知，而我是那些會因?yàn)檠舆t而頭暈?zāi)垦５娜耸恐械囊粏T。我發(fā)現(xiàn)，那時(shí)生成的圖像肯定屬于虛擬之列，但與現(xiàn)實(shí)相距甚遠(yuǎn)。

然而，我并沒有因?yàn)轭^暈或低逼真度而泄氣，因?yàn)槲掖_信硬件會不斷進(jìn)步。相反地，我關(guān)心的是虛擬現(xiàn)實(shí)體驗(yàn)讓我感覺到多么封閉和孤立。我希望能擴(kuò)展這項(xiàng)技術(shù)，帶著虛擬現(xiàn)實(shí)的魔力進(jìn)軍現(xiàn)實(shí)世界。我夢想創(chuàng)造出一種融合現(xiàn)實(shí)，那兒的虛擬物件將以真切可靠的方式占據(jù)著物理環(huán)境，以至于它們看上去就像周圍世界的真實(shí)部分，使得你能伸出手來與之互動，仿佛它們真的在那兒。

我那時(shí)了解到，軍方飛行員在使用一種非常基本款的融合現(xiàn)實(shí)（平視顯示器），使得飛行數(shù)據(jù)能顯示在飛行員的視線內(nèi)，于是飛行員就不必低頭看駕駛艙的儀表。我本人尚未體驗(yàn)過那類顯示器，但因?yàn)橐恍?0世紀(jì)80年代的賣座大片（包括《壯志凌云》和《終結(jié)者》在內(nèi)）的關(guān)系，變得對它們很熟悉。在《壯志凌云》中，飛行員進(jìn)行空中格斗時(shí)，前方的一塊玻璃板上出現(xiàn)了發(fā)光的十字瞄準(zhǔn)線；在《終結(jié)者》中，十字瞄準(zhǔn)線和文字、數(shù)字?jǐn)?shù)據(jù)結(jié)合，成為虛構(gòu)生化人（cyborg）對周遭世界的視野的一部分。

這些融合現(xiàn)實(shí)與沉浸式一點(diǎn)也沾不上邊，只是在一塊平面上呈現(xiàn)圖像，而不是在三維空間中與真實(shí)世界相連。但它們暗示了有趣的潛能。我認(rèn)為我能夠邁進(jìn)一大步，不僅僅是在一塊平面上呈現(xiàn)十字瞄準(zhǔn)線和文字，而是創(chuàng)造出能夠在空間中與普通環(huán)境中的真實(shí)物件契合的虛擬物件。我還希望給那些虛擬物件賦予逼真的物理性質(zhì)。

我需要大量資源來實(shí)現(xiàn)這樣的虛擬視覺，而這超出我在斯坦福大學(xué)和NASA所能獲取的資源程度。于是，我向美國空軍阿姆斯特朗實(shí)驗(yàn)室（如今是美國空軍研究實(shí)驗(yàn)室的一部分）的“人類感覺回饋”研究組推介這個(gè)構(gòu)思。

為了解釋融合現(xiàn)實(shí)和虛擬世界的實(shí)際價(jià)值，我用一根簡單的金屬尺來打比方。如果你想要在現(xiàn)實(shí)世界中畫一條直線，你可以徒手作畫，用上百倍的心力慢慢畫，畫出的線條仍然不會特別直?；蛘?，你可以抓起一把尺子，花更少的心力，以更快的速度畫出直線?，F(xiàn)在想象一下，你可以抓起一把虛擬的尺子，而不是真實(shí)的尺子，令其立刻出現(xiàn)在真實(shí)世界里，與你周遭的真實(shí)環(huán)境完美契合。想象一下，這把虛擬的尺子感覺起來很真實(shí)——以至于你能用它來指引你手中實(shí)實(shí)在在的鉛筆。因?yàn)槌咦邮翘摂M的，它可以是任何形狀，任何尺寸，具備有趣和實(shí)用的性質(zhì)，這些是你用一根直尺永遠(yuǎn)無法實(shí)現(xiàn)的。

當(dāng)然，尺子僅僅是一個(gè)類比。我向美國空軍推介的具體應(yīng)用是從增強(qiáng)制造到增強(qiáng)外科手術(shù)等。比如說，設(shè)想一名外科醫(yī)生需要在重要部位劃出一個(gè)危險(xiǎn)的切口。她可以使用笨重的金屬定位裝置來穩(wěn)定拿手術(shù)刀的手，避免傷害重要器官。或者，我們可以投資一些新技術(shù)來增強(qiáng)外科手術(shù)——用一套虛擬導(dǎo)具來指引真正的手術(shù)刀，不僅是在視覺上指引，而是在實(shí)質(zhì)上指引。因?yàn)閷?dǎo)具是虛擬的，這樣的導(dǎo)具會徑直穿過病人的身體，在劃出切口之前就進(jìn)入組織。這個(gè)構(gòu)思讓軍方激動不已，他們感興趣的東西不只是外科手術(shù)之類與人近距離接觸的任務(wù)，而是用遙控機(jī)器人執(zhí)行的遠(yuǎn)距離任務(wù)。譬如說，可以在真實(shí)工作地點(diǎn)的視頻圖像上增加虛擬導(dǎo)具，以此作為協(xié)助，讓一名技師能夠在地球上遠(yuǎn)程控制機(jī)器人來修理衛(wèi)星?？哲姺矫嫱馓峁┳銐虻馁Y金來負(fù)擔(dān)我在斯坦福大學(xué)的研究開支，還有一小筆預(yù)算用于購買設(shè)備。更具意義的是，我還可以使用俄亥俄州代頓附近的賴特-帕特森空軍基地內(nèi)的計(jì)算機(jī)和其他設(shè)備。

后來以“虛擬導(dǎo)具”之名為人所知的項(xiàng)目從此啟動，并努力朝著建造原型機(jī)的目標(biāo)進(jìn)發(fā)，原型機(jī)要能夠和人類受試者一起受到嚴(yán)格的測試。我變成一位到處奔波勞碌的科研者，在斯坦福大學(xué)研發(fā)核心構(gòu)想，在NASA艾姆斯研究中心充實(shí)一些基礎(chǔ)技術(shù)，再在賴特-帕特森空軍基地組裝完整系統(tǒng)。

上面的9張圖中，每張都顯示了一塊簡單的洞洞板，上面有4個(gè)孔眼，而洞洞板前面有各種透明平面和其他導(dǎo)向面。這些早期繪圖是羅森伯格繪制的，作為他的“虛擬導(dǎo)具”項(xiàng)目的一部分，圖中的真實(shí)洞洞板和計(jì)算機(jī)生成的虛擬疊加相結(jié)合，構(gòu)成增強(qiáng)現(xiàn)實(shí)的早期版本

我那時(shí)是一名二十歲出頭的年輕科研者，熱切地了解著這些在我周圍的實(shí)驗(yàn)室中進(jìn)行的眾多科研項(xiàng)目。我在賴特-帕特森空軍基地密切追蹤的一個(gè)項(xiàng)目是要設(shè)計(jì)新型降落傘。正如你也許預(yù)料到的，當(dāng)研究團(tuán)隊(duì)提出一個(gè)新設(shè)計(jì)方案，他們不會給一個(gè)活人綁上降落傘進(jìn)行測試。相反地，他們將降落傘綁到假人身上，假人上裝了傳感器和儀器。兩名工程師會帶著硬件，坐飛機(jī)上天，丟下假人，并同時(shí)跳傘，那樣他們能觀察降落傘展開的狀況。繼續(xù)聽我說下去，你會明白這如何變成早期增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)的關(guān)鍵所在。

說到虛擬導(dǎo)具項(xiàng)目，我的目標(biāo)是證明我的基本構(gòu)想——真實(shí)的工作空間能用感覺起來十分真實(shí)的虛擬物件來增強(qiáng)，那些物件能協(xié)助使用者完成靈巧的手工任務(wù)。為了測試這個(gè)點(diǎn)子，我不打算讓使用者完成手術(shù)或修理衛(wèi)星。我需要一種簡單的可重復(fù)任務(wù)來量化手工績效。美國空軍早已有一個(gè)標(biāo)準(zhǔn)化任務(wù)，用于測試各種心理壓力和身體壓力下的人類靈巧性。它被稱為費(fèi)茨法則插銷任務(wù)，受試對象要迅速地在大塊洞洞板的不同孔眼之間移動金屬銷子。

一塊正方形板子上有8個(gè)編號孔。2號孔和6號孔前面出現(xiàn)了兩個(gè)網(wǎng)面圓錐。費(fèi)茨法則插銷任務(wù)中，受試對象要迅速地在不同孔眼之間移動金屬銷子。這兒顯示的板子是真實(shí)存在的，而幫助引導(dǎo)使用者到正確的孔眼處的圓錐是虛擬的

于是，我開始組裝一套系統(tǒng)，使得虛擬導(dǎo)具能夠與真實(shí)的洞洞板相融合，創(chuàng)造出一種與三維空間完美契合的混合顯示體驗(yàn)。我的目標(biāo)是要讓這些虛擬物件感覺起來十分真實(shí)，從而真實(shí)的銷子碰撞到虛擬導(dǎo)具會感覺像撞上真實(shí)的板子一樣。

我寫了軟件來模擬各種各樣的虛擬導(dǎo)具，從避免手越過目標(biāo)孔眼的簡單平面，到精心設(shè)計(jì)外形、能夠幫助用戶指引真實(shí)銷子進(jìn)入真實(shí)孔眼的圓錐。我創(chuàng)造出模擬紋理、具備相應(yīng)聲音的虛擬疊加，甚至有些虛擬疊加可以模擬穿過黏稠的液體，仿佛那是虛擬的蜂蜜一般。

為了加強(qiáng)現(xiàn)實(shí)感，我為每個(gè)虛擬元素建立物理模型，將它的位置準(zhǔn)確置于三維空間，使得它與用戶對真實(shí)木板的感知相契合。當(dāng)用戶移動手，進(jìn)入一塊對應(yīng)虛擬平面的區(qū)域，外骨骼中的馬達(dá)會實(shí)際向后推，這項(xiàng)交互技術(shù)現(xiàn)在通常被稱為“振動反饋”。它感覺起來十分真實(shí)，你甚至可以沿著虛擬平面的邊沿滑動，就像抵著一根真實(shí)的尺子劃動鉛筆一樣。

為了讓這些虛擬元素和真實(shí)的洞洞板準(zhǔn)確對齊，我需要高品質(zhì)的攝像機(jī)。那時(shí)候的攝像機(jī)比現(xiàn)在可貴多了，我的預(yù)算中也沒有余錢，買不了攝像機(jī)。這是一個(gè)令人沮喪的窘境：空軍方面已經(jīng)給予我各種硬件設(shè)備的使用權(quán)，但是在涉及簡單的攝像機(jī)時(shí)，他們卻幫不了忙?？雌饋砻總€(gè)研究項(xiàng)目都需要攝像機(jī)，并且大多數(shù)項(xiàng)目的優(yōu)先級都遠(yuǎn)遠(yuǎn)勝過我的項(xiàng)目。

這讓我要說回到那些測試實(shí)驗(yàn)用降落傘的工程師。某天，這些工程師到實(shí)驗(yàn)室里來閑聊，他們提到他們實(shí)驗(yàn)的降落傘沒能張開，導(dǎo)致假人從高空墜到地面，摧毀了假人上的所有傳感器和攝像機(jī)。

這看起來對我的項(xiàng)目來說也會是一大挫折，因?yàn)槲抑?，假如這座樓里有任何多余的攝像機(jī)，這些工程師一定會把它們弄到手。

但是，我接著問了下，我能否看一下失敗測試留下的殘骸。殘骸就是一堆嚴(yán)重?fù)p傷的彎曲金屬、懸吊的電路板和碎裂的攝像機(jī)。然而，即使攝像機(jī)的樣子慘不忍睹，外殼裂開，鏡頭受損，我還是尋思著，我能否將其中的某臺修復(fù)到足以滿足我的需求的程度。

靠著某種奇跡吧，我最終得以用六臺墜地的攝像機(jī)的殘骸拼裝出兩臺還能用的攝像機(jī)。就這樣，交互式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的第一次人類測試靠著從天而降、墜落到地上的攝像機(jī)成為可能。

要明白這些攝像機(jī)對系統(tǒng)而言有多重要，就請想一下目前的一個(gè)簡單的增強(qiáng)現(xiàn)實(shí)應(yīng)用，譬如《寶可夢GO》游戲。如果你的手機(jī)背面沒有一個(gè)攝像頭來實(shí)時(shí)捕捉和展示真實(shí)世界，那么它就不算增強(qiáng)現(xiàn)實(shí)體驗(yàn)了，就只能算是一個(gè)常規(guī)的電子游戲而已。

同樣的判斷對于虛擬導(dǎo)具系統(tǒng)也成立。但是多虧了從失敗降落傘裝備中獲得的攝像機(jī)，我能夠創(chuàng)造出一種具備準(zhǔn)確空間契合度的混合現(xiàn)實(shí)，以提供一種沉浸式體驗(yàn)，讓你能在其中伸出手，同時(shí)與真實(shí)環(huán)境、虛擬環(huán)境互動。

至于項(xiàng)目的實(shí)驗(yàn)部分，我進(jìn)行了一系列研究，讓使用者體驗(yàn)疊加在他們對真實(shí)任務(wù)板的感知之上的各種虛擬導(dǎo)具。結(jié)果發(fā)現(xiàn)，最有用的導(dǎo)具就是圓錐和平面，它們在使用者對著孔眼瞄準(zhǔn)銷子時(shí)能夠指引他的手。最有效的導(dǎo)具涉及一些在現(xiàn)實(shí)中無法輕易制造，但在虛擬世界中很容易實(shí)現(xiàn)的實(shí)在體驗(yàn)。譬如說，我將虛擬平面編碼為對銷子有“磁吸力”。對于使用者來說，假如我感覺銷子被迅速吸附到平面上，那么就能沿著平面滑動銷子，直至使用者選擇拽離它。這樣的導(dǎo)具將實(shí)驗(yàn)中使用者的速度和靈巧性提高了一倍多。

這張圖片描述了一個(gè)戴著耳機(jī)和目鏡的人注視著兩個(gè)圓錐和一塊有4個(gè)孔眼的洞洞板。羅森伯格以這張?jiān)鰪?qiáng)現(xiàn)實(shí)系統(tǒng)的草圖展示了一位虛擬導(dǎo)具平臺的用戶，他穿著部分外骨骼，凝視著一塊由錐形虛擬裝置增強(qiáng)的真實(shí)洞洞板

手持真實(shí)手術(shù)刀的外科醫(yī)生與虛擬導(dǎo)具發(fā)生交互作用，結(jié)合真實(shí)和模擬世界，增強(qiáng)任務(wù)中的感知能力。一個(gè)人平躺在一塊白色平面上，被十字交叉的灰色和白色板穿過身體。增強(qiáng)現(xiàn)實(shí)誕生時(shí)，一個(gè)想象中的應(yīng)用就是外科手術(shù)。如今，增強(qiáng)現(xiàn)實(shí)被用于外科手術(shù)培訓(xùn)，外科醫(yī)生也開始將它用于手術(shù)室

我們那時(shí)考慮過的虛擬導(dǎo)具的各種應(yīng)用中，在當(dāng)時(shí)最具商業(yè)可行性的便是人工控制處在偏僻或危險(xiǎn)環(huán)境下的機(jī)器人，譬如有害性廢棄物的清理工作。假如通信距離致使遠(yuǎn)程控制機(jī)器人出現(xiàn)時(shí)間遲延，那么虛擬導(dǎo)具對于提升人類靈巧性而言將變得更有價(jià)值。

如今，科研人員依然在探索虛擬導(dǎo)具在遠(yuǎn)程機(jī)器人方面的應(yīng)用，并取得極大的成功，包括將其用于衛(wèi)星修理和機(jī)器人輔助下的外科手術(shù)。

我朝著不同的方向進(jìn)發(fā)來推動增強(qiáng)現(xiàn)實(shí)更為主流的應(yīng)用。那是因?yàn)椋摂M導(dǎo)具項(xiàng)目對我個(gè)人產(chǎn)生最大影響的部分不是在插銷任務(wù)中改善的效率，而是當(dāng)人類受試者離開系統(tǒng)，滔滔不絕地講述他們剛剛經(jīng)歷的絕妙體驗(yàn)時(shí)，臉上綻放的燦爛笑容。許多人主動告訴我，這類技術(shù)總有一天會出現(xiàn)在每個(gè)角落，變得無所不在。

我確實(shí)同意他們的觀點(diǎn)。我篤信，到20世紀(jì)90年代末人們就會看到這類沉浸式技術(shù)進(jìn)入主流世界。事實(shí)上，當(dāng)人們嘗試那些早期原型機(jī)后，他們的熱烈反應(yīng)深深地鼓舞了我，于是我在1993年創(chuàng)立了一家公司：浸入科技（Immersion），目標(biāo)便是從事主流消費(fèi)者應(yīng)用開發(fā)。當(dāng)然，技術(shù)的發(fā)展并沒有設(shè)想中那么快。

我冒著再度犯錯(cuò)的風(fēng)險(xiǎn)，真誠地認(rèn)為，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)（如今一般以元宇宙之名提及）到21世紀(jì)20年代末會變成大多數(shù)人生活中的重要部分。實(shí)際上，基于大公司對于為改良這項(xiàng)技術(shù)做出的投資在近期的激增情況，我預(yù)測到21世紀(jì)30年代初期，增強(qiáng)現(xiàn)實(shí)會取代移動電話，成為我們首要的數(shù)字內(nèi)容接口。

那些在30年前早早體驗(yàn)過增強(qiáng)現(xiàn)實(shí)的受試對象中，沒有一人知道他們使用的硬件設(shè)備是從一架飛機(jī)中當(dāng)空墜落的降落傘中得到的。但他們確實(shí)知道，他們是第一批伸出手觸碰到人類“增強(qiáng)未來”的人。

資料來源 IEEE Spectrum