編譯 高斯寒

1992年，路易斯?羅森伯格（Louis Rosenberg）在賴特-帕特森空軍基地測試他開發(fā)的第一個交互式增強現(xiàn)實系統(tǒng)“虛擬導(dǎo)具”（Virtual Fixtures）

我爬進一具被傳感器、馬達、齒輪和軸承覆蓋的上半身外骨骼內(nèi)，上身前傾，昂起腦袋，將我的面龐緊貼從天花板上垂掛下來的一套視覺系統(tǒng)的目鏡。我看見身前的一塊涂成黑色的大木板，上面打出的金屬孔眼形成網(wǎng)格。木板是真實的，我手上的銷子也是真實的，我在試圖盡可能快地將銷子從一個孔移向另一個孔。當(dāng)我開始移動銷子時，一個虛擬圓錐出現(xiàn)在目標(biāo)孔眼上方，同時出現(xiàn)了一塊緩緩移向它的虛擬平面。當(dāng)我沿著平面朝向圓錐滑動銷子，將它送入孔內(nèi)時，我能感覺到平面的存在。

這就是開發(fā)于20世紀(jì)90年代初期的“虛擬導(dǎo)具”平臺，被用來檢驗“知覺疊加”（perceptual overlays），改善人類在需要靈巧性的手工任務(wù)中的潛能，而且它被證明確實有效。

今時今日，虛擬現(xiàn)實專家們回首往昔，將這個平臺視為第一個允許用戶在單個沉浸式現(xiàn)實中同時接觸真實物件和虛擬物件的交互式增強現(xiàn)實系統(tǒng)。

這個研究項目開始于1991年，我將它作為我在斯坦福大學(xué)的博士研究的一部分來推介。等到我完成研究時——那是在歷經(jīng)三年和建成多個原型機之后——我組裝好的系統(tǒng)裝滿半個房間，用掉價值將近25萬美元的硬件。我已經(jīng)從人類測試中收集到足夠的數(shù)據(jù)，明確地表明用虛擬物件來增強真實工作空間能顯著提升精密任務(wù)中的用戶體驗。

考慮到研究周期并不長，這一項目也許聽起來一切都進展順利，然而由于緊張的預(yù)算和龐大的設(shè)備需求，有許多次該項目都瀕臨脫軌。事實上，若不是1992年的夏季有一個降落傘（是真實的降落傘，而不是虛擬物件）沒能在俄亥俄州代頓上方的碧藍晴空中打開，我的項目可能在早期就已經(jīng)夭折。

在解釋一次降落傘事故如何幫助推動增強現(xiàn)實的開發(fā)之前，我會先交代一點兒當(dāng)時的歷史背景。30年前，虛擬現(xiàn)實領(lǐng)域尚處在初期，連“虛擬現(xiàn)實”這個術(shù)語也是在1987年由杰倫?拉尼爾（Jaron Lanier）杜撰出來，拉尼爾那時在將第一批頭戴式設(shè)備和傳感手套商品化。他的工作建立在伊凡?薩瑟蘭（Ivan Sutherland）更早期的研究之上，薩瑟蘭是頭戴式顯示器技術(shù)和頭部跟蹤技術(shù)的開創(chuàng)者，而這兩項技術(shù)是激發(fā)虛擬現(xiàn)實的兩個關(guān)鍵要素。增強現(xiàn)實與真實世界、虛擬世界相結(jié)合，形成一個沉浸式的交互現(xiàn)實，而增強現(xiàn)實在那時尚未以一種富有意義的方式存在。

那時候，我還只是斯坦福大學(xué)的研究生，也在美國宇航局（NASA）艾姆斯研究中心擔(dān)任兼職研究員，對虛擬世界的創(chuàng)造很感興趣。在斯坦福大學(xué)，我在設(shè)計研究中心工作，這個團隊的研究重心是人與技術(shù)的交叉，在那兒誕生了一些最早期的虛擬現(xiàn)實手套、沉浸式視覺系統(tǒng)和三維音頻系統(tǒng)。在艾姆斯研究中心，我在先進顯示器和空間知覺實驗室里工作，那兒的研究人員在探究一些實現(xiàn)逼真的沉浸式模擬世界所需要的基本參數(shù)。

當(dāng)然，知道如何創(chuàng)造出高品質(zhì)的虛擬現(xiàn)實體驗和能夠?qū)嶋H制造出它不是一回事。那時市面上最高性能的電腦是在33MHz主頻下運行的英特爾486處理器。按照通脹因素換算調(diào)整后，這些電腦的售價相當(dāng)于現(xiàn)在的8 000美元，但是其速度甚至比不上如今的低價游戲電腦的千分之一。另一個選擇是投資6萬美元來購買一臺硅谷圖形公司（Silicon Graphics）的工作站——它的速度依然比不上如今一臺普通電腦的百分之一。所以，盡管20世紀(jì)80年代后期和90年代初期在虛擬現(xiàn)實領(lǐng)域工作的科研人員做了奠基性的工作，但當(dāng)時粗陋的圖形顯示、笨重的頭戴式設(shè)備和嚴(yán)重的延遲使得使用者頭昏眼花、惡心反胃，也正是這個問題阻礙了虛擬現(xiàn)實體驗。

我在NASA實施的一個研究項目是要優(yōu)化早期三維視覺系統(tǒng)中的深度感知，而我是那些會因為延遲而頭暈?zāi)垦５娜耸恐械囊粏T。我發(fā)現(xiàn)，那時生成的圖像肯定屬于虛擬之列，但與現(xiàn)實相距甚遠。

然而，我并沒有因為頭暈或低逼真度而泄氣，因為我確信硬件會不斷進步。相反地，我關(guān)心的是虛擬現(xiàn)實體驗讓我感覺到多么封閉和孤立。我希望能擴展這項技術(shù)，帶著虛擬現(xiàn)實的魔力進軍現(xiàn)實世界。我夢想創(chuàng)造出一種融合現(xiàn)實，那兒的虛擬物件將以真切可靠的方式占據(jù)著物理環(huán)境，以至于它們看上去就像周圍世界的真實部分，使得你能伸出手來與之互動，仿佛它們真的在那兒。

我那時了解到，軍方飛行員在使用一種非?；究畹娜诤犀F(xiàn)實（平視顯示器），使得飛行數(shù)據(jù)能顯示在飛行員的視線內(nèi)，于是飛行員就不必低頭看駕駛艙的儀表。我本人尚未體驗過那類顯示器，但因為一些20世紀(jì)80年代的賣座大片（包括《壯志凌云》和《終結(jié)者》在內(nèi)）的關(guān)系，變得對它們很熟悉。在《壯志凌云》中，飛行員進行空中格斗時，前方的一塊玻璃板上出現(xiàn)了發(fā)光的十字瞄準(zhǔn)線；在《終結(jié)者》中，十字瞄準(zhǔn)線和文字、數(shù)字?jǐn)?shù)據(jù)結(jié)合，成為虛構(gòu)生化人（cyborg）對周遭世界的視野的一部分。

這些融合現(xiàn)實與沉浸式一點也沾不上邊，只是在一塊平面上呈現(xiàn)圖像，而不是在三維空間中與真實世界相連。但它們暗示了有趣的潛能。我認(rèn)為我能夠邁進一大步，不僅僅是在一塊平面上呈現(xiàn)十字瞄準(zhǔn)線和文字，而是創(chuàng)造出能夠在空間中與普通環(huán)境中的真實物件契合的虛擬物件。我還希望給那些虛擬物件賦予逼真的物理性質(zhì)。

我需要大量資源來實現(xiàn)這樣的虛擬視覺，而這超出我在斯坦福大學(xué)和NASA所能獲取的資源程度。于是，我向美國空軍阿姆斯特朗實驗室（如今是美國空軍研究實驗室的一部分）的“人類感覺回饋”研究組推介這個構(gòu)思。

為了解釋融合現(xiàn)實和虛擬世界的實際價值，我用一根簡單的金屬尺來打比方。如果你想要在現(xiàn)實世界中畫一條直線，你可以徒手作畫，用上百倍的心力慢慢畫，畫出的線條仍然不會特別直?；蛘撸憧梢宰テ鹨话殉咦?，花更少的心力，以更快的速度畫出直線?，F(xiàn)在想象一下，你可以抓起一把虛擬的尺子，而不是真實的尺子，令其立刻出現(xiàn)在真實世界里，與你周遭的真實環(huán)境完美契合。想象一下，這把虛擬的尺子感覺起來很真實——以至于你能用它來指引你手中實實在在的鉛筆。因為尺子是虛擬的，它可以是任何形狀，任何尺寸，具備有趣和實用的性質(zhì)，這些是你用一根直尺永遠無法實現(xiàn)的。

當(dāng)然，尺子僅僅是一個類比。我向美國空軍推介的具體應(yīng)用是從增強制造到增強外科手術(shù)等。比如說，設(shè)想一名外科醫(yī)生需要在重要部位劃出一個危險的切口。她可以使用笨重的金屬定位裝置來穩(wěn)定拿手術(shù)刀的手，避免傷害重要器官?；蛘撸覀兛梢酝顿Y一些新技術(shù)來增強外科手術(shù)——用一套虛擬導(dǎo)具來指引真正的手術(shù)刀，不僅是在視覺上指引，而是在實質(zhì)上指引。因為導(dǎo)具是虛擬的，這樣的導(dǎo)具會徑直穿過病人的身體，在劃出切口之前就進入組織。這個構(gòu)思讓軍方激動不已，他們感興趣的東西不只是外科手術(shù)之類與人近距離接觸的任務(wù)，而是用遙控機器人執(zhí)行的遠距離任務(wù)。譬如說，可以在真實工作地點的視頻圖像上增加虛擬導(dǎo)具，以此作為協(xié)助，讓一名技師能夠在地球上遠程控制機器人來修理衛(wèi)星。空軍方面同意提供足夠的資金來負擔(dān)我在斯坦福大學(xué)的研究開支，還有一小筆預(yù)算用于購買設(shè)備。更具意義的是，我還可以使用俄亥俄州代頓附近的賴特-帕特森空軍基地內(nèi)的計算機和其他設(shè)備。

后來以“虛擬導(dǎo)具”之名為人所知的項目從此啟動，并努力朝著建造原型機的目標(biāo)進發(fā)，原型機要能夠和人類受試者一起受到嚴(yán)格的測試。我變成一位到處奔波勞碌的科研者，在斯坦福大學(xué)研發(fā)核心構(gòu)想，在NASA艾姆斯研究中心充實一些基礎(chǔ)技術(shù)，再在賴特-帕特森空軍基地組裝完整系統(tǒng)。

上面的9張圖中，每張都顯示了一塊簡單的洞洞板，上面有4個孔眼，而洞洞板前面有各種透明平面和其他導(dǎo)向面。這些早期繪圖是羅森伯格繪制的，作為他的“虛擬導(dǎo)具”項目的一部分，圖中的真實洞洞板和計算機生成的虛擬疊加相結(jié)合，構(gòu)成增強現(xiàn)實的早期版本

我那時是一名二十歲出頭的年輕科研者，熱切地了解著這些在我周圍的實驗室中進行的眾多科研項目。我在賴特-帕特森空軍基地密切追蹤的一個項目是要設(shè)計新型降落傘。正如你也許預(yù)料到的，當(dāng)研究團隊提出一個新設(shè)計方案，他們不會給一個活人綁上降落傘進行測試。相反地，他們將降落傘綁到假人身上，假人上裝了傳感器和儀器。兩名工程師會帶著硬件，坐飛機上天，丟下假人，并同時跳傘，那樣他們能觀察降落傘展開的狀況。繼續(xù)聽我說下去，你會明白這如何變成早期增強現(xiàn)實系統(tǒng)開發(fā)的關(guān)鍵所在。

說到虛擬導(dǎo)具項目，我的目標(biāo)是證明我的基本構(gòu)想——真實的工作空間能用感覺起來十分真實的虛擬物件來增強，那些物件能協(xié)助使用者完成靈巧的手工任務(wù)。為了測試這個點子，我不打算讓使用者完成手術(shù)或修理衛(wèi)星。我需要一種簡單的可重復(fù)任務(wù)來量化手工績效。美國空軍早已有一個標(biāo)準(zhǔn)化任務(wù)，用于測試各種心理壓力和身體壓力下的人類靈巧性。它被稱為費茨法則插銷任務(wù)，受試對象要迅速地在大塊洞洞板的不同孔眼之間移動金屬銷子。

一塊正方形板子上有8個編號孔。2號孔和6號孔前面出現(xiàn)了兩個網(wǎng)面圓錐。費茨法則插銷任務(wù)中，受試對象要迅速地在不同孔眼之間移動金屬銷子。這兒顯示的板子是真實存在的，而幫助引導(dǎo)使用者到正確的孔眼處的圓錐是虛擬的

于是，我開始組裝一套系統(tǒng)，使得虛擬導(dǎo)具能夠與真實的洞洞板相融合，創(chuàng)造出一種與三維空間完美契合的混合顯示體驗。我的目標(biāo)是要讓這些虛擬物件感覺起來十分真實，從而真實的銷子碰撞到虛擬導(dǎo)具會感覺像撞上真實的板子一樣。

我寫了軟件來模擬各種各樣的虛擬導(dǎo)具，從避免手越過目標(biāo)孔眼的簡單平面，到精心設(shè)計外形、能夠幫助用戶指引真實銷子進入真實孔眼的圓錐。我創(chuàng)造出模擬紋理、具備相應(yīng)聲音的虛擬疊加，甚至有些虛擬疊加可以模擬穿過黏稠的液體，仿佛那是虛擬的蜂蜜一般。

為了加強現(xiàn)實感，我為每個虛擬元素建立物理模型，將它的位置準(zhǔn)確置于三維空間，使得它與用戶對真實木板的感知相契合。當(dāng)用戶移動手，進入一塊對應(yīng)虛擬平面的區(qū)域，外骨骼中的馬達會實際向后推，這項交互技術(shù)現(xiàn)在通常被稱為“振動反饋”。它感覺起來十分真實，你甚至可以沿著虛擬平面的邊沿滑動，就像抵著一根真實的尺子劃動鉛筆一樣。

為了讓這些虛擬元素和真實的洞洞板準(zhǔn)確對齊，我需要高品質(zhì)的攝像機。那時候的攝像機比現(xiàn)在可貴多了，我的預(yù)算中也沒有余錢，買不了攝像機。這是一個令人沮喪的窘境：空軍方面已經(jīng)給予我各種硬件設(shè)備的使用權(quán)，但是在涉及簡單的攝像機時，他們卻幫不了忙?？雌饋砻總€研究項目都需要攝像機，并且大多數(shù)項目的優(yōu)先級都遠遠勝過我的項目。

這讓我要說回到那些測試實驗用降落傘的工程師。某天，這些工程師到實驗室里來閑聊，他們提到他們實驗的降落傘沒能張開，導(dǎo)致假人從高空墜到地面，摧毀了假人上的所有傳感器和攝像機。

這看起來對我的項目來說也會是一大挫折，因為我知道，假如這座樓里有任何多余的攝像機，這些工程師一定會把它們弄到手。

但是，我接著問了下，我能否看一下失敗測試留下的殘骸。殘骸就是一堆嚴(yán)重損傷的彎曲金屬、懸吊的電路板和碎裂的攝像機。然而，即使攝像機的樣子慘不忍睹，外殼裂開，鏡頭受損，我還是尋思著，我能否將其中的某臺修復(fù)到足以滿足我的需求的程度。

靠著某種奇跡吧，我最終得以用六臺墜地的攝像機的殘骸拼裝出兩臺還能用的攝像機。就這樣，交互式增強現(xiàn)實系統(tǒng)的第一次人類測試靠著從天而降、墜落到地上的攝像機成為可能。

要明白這些攝像機對系統(tǒng)而言有多重要，就請想一下目前的一個簡單的增強現(xiàn)實應(yīng)用，譬如《寶可夢GO》游戲。如果你的手機背面沒有一個攝像頭來實時捕捉和展示真實世界，那么它就不算增強現(xiàn)實體驗了，就只能算是一個常規(guī)的電子游戲而已。

同樣的判斷對于虛擬導(dǎo)具系統(tǒng)也成立。但是多虧了從失敗降落傘裝備中獲得的攝像機，我能夠創(chuàng)造出一種具備準(zhǔn)確空間契合度的混合現(xiàn)實，以提供一種沉浸式體驗，讓你能在其中伸出手，同時與真實環(huán)境、虛擬環(huán)境互動。

至于項目的實驗部分，我進行了一系列研究，讓使用者體驗疊加在他們對真實任務(wù)板的感知之上的各種虛擬導(dǎo)具。結(jié)果發(fā)現(xiàn)，最有用的導(dǎo)具就是圓錐和平面，它們在使用者對著孔眼瞄準(zhǔn)銷子時能夠指引他的手。最有效的導(dǎo)具涉及一些在現(xiàn)實中無法輕易制造，但在虛擬世界中很容易實現(xiàn)的實在體驗。譬如說，我將虛擬平面編碼為對銷子有“磁吸力”。對于使用者來說，假如我感覺銷子被迅速吸附到平面上，那么就能沿著平面滑動銷子，直至使用者選擇拽離它。這樣的導(dǎo)具將實驗中使用者的速度和靈巧性提高了一倍多。

這張圖片描述了一個戴著耳機和目鏡的人注視著兩個圓錐和一塊有4個孔眼的洞洞板。羅森伯格以這張增強現(xiàn)實系統(tǒng)的草圖展示了一位虛擬導(dǎo)具平臺的用戶，他穿著部分外骨骼，凝視著一塊由錐形虛擬裝置增強的真實洞洞板

手持真實手術(shù)刀的外科醫(yī)生與虛擬導(dǎo)具發(fā)生交互作用，結(jié)合真實和模擬世界，增強任務(wù)中的感知能力。一個人平躺在一塊白色平面上，被十字交叉的灰色和白色板穿過身體。增強現(xiàn)實誕生時，一個想象中的應(yīng)用就是外科手術(shù)。如今，增強現(xiàn)實被用于外科手術(shù)培訓(xùn)，外科醫(yī)生也開始將它用于手術(shù)室

我們那時考慮過的虛擬導(dǎo)具的各種應(yīng)用中，在當(dāng)時最具商業(yè)可行性的便是人工控制處在偏僻或危險環(huán)境下的機器人，譬如有害性廢棄物的清理工作。假如通信距離致使遠程控制機器人出現(xiàn)時間遲延，那么虛擬導(dǎo)具對于提升人類靈巧性而言將變得更有價值。

如今，科研人員依然在探索虛擬導(dǎo)具在遠程機器人方面的應(yīng)用，并取得極大的成功，包括將其用于衛(wèi)星修理和機器人輔助下的外科手術(shù)。

我朝著不同的方向進發(fā)來推動增強現(xiàn)實更為主流的應(yīng)用。那是因為，虛擬導(dǎo)具項目對我個人產(chǎn)生最大影響的部分不是在插銷任務(wù)中改善的效率，而是當(dāng)人類受試者離開系統(tǒng)，滔滔不絕地講述他們剛剛經(jīng)歷的絕妙體驗時，臉上綻放的燦爛笑容。許多人主動告訴我，這類技術(shù)總有一天會出現(xiàn)在每個角落，變得無所不在。

我確實同意他們的觀點。我篤信，到20世紀(jì)90年代末人們就會看到這類沉浸式技術(shù)進入主流世界。事實上，當(dāng)人們嘗試那些早期原型機后，他們的熱烈反應(yīng)深深地鼓舞了我，于是我在1993年創(chuàng)立了一家公司：浸入科技（Immersion），目標(biāo)便是從事主流消費者應(yīng)用開發(fā)。當(dāng)然，技術(shù)的發(fā)展并沒有設(shè)想中那么快。

我冒著再度犯錯的風(fēng)險，真誠地認(rèn)為，虛擬現(xiàn)實和增強現(xiàn)實（如今一般以元宇宙之名提及）到21世紀(jì)20年代末會變成大多數(shù)人生活中的重要部分。實際上，基于大公司對于為改良這項技術(shù)做出的投資在近期的激增情況，我預(yù)測到21世紀(jì)30年代初期，增強現(xiàn)實會取代移動電話，成為我們首要的數(shù)字內(nèi)容接口。

那些在30年前早早體驗過增強現(xiàn)實的受試對象中，沒有一人知道他們使用的硬件設(shè)備是從一架飛機中當(dāng)空墜落的降落傘中得到的。但他們確實知道，他們是第一批伸出手觸碰到人類“增強未來”的人。

資料來源 IEEE Spectrum