馬丁 李琦 胡意娟

摘要：自2014年Facebook（臉書）用20億美元收購Oculus（傲庫路思）以來，以虛擬現(xiàn)實(shí)（Virtual Reality，VR）為代表的一系列商業(yè)化產(chǎn)品便逐漸進(jìn)入普通消費(fèi)者的生活，與VR相關(guān)的各種產(chǎn)業(yè)也蓬勃發(fā)展，尤其是在娛樂領(lǐng)域，VR的應(yīng)用潛力巨大。在2018年上映的電影《頭號(hào)玩家》中，人們戴上頭顯，穿上體感衣，就能進(jìn)入虛擬的游戲世界，甚至一舉一動(dòng)都能在游戲世界中得到反饋，強(qiáng)大的沉浸感帶來全新的感官體驗(yàn)。運(yùn)用現(xiàn)有技術(shù)能否實(shí)現(xiàn)全身沉浸式的體驗(yàn)？電影中的游戲世界到底離我們有多遠(yuǎn)？要塑造高保真的虛擬世界，除了要有沉浸式的視聽，用戶在虛擬現(xiàn)實(shí)中的交互方式也尤為關(guān)鍵，這也是動(dòng)作捕捉技術(shù)應(yīng)用于虛擬現(xiàn)實(shí)的重要意義。本文圍繞虛擬現(xiàn)實(shí)和動(dòng)作捕捉技術(shù)，論述虛擬現(xiàn)實(shí)中的交互。

關(guān)鍵詞：虛擬現(xiàn)實(shí);動(dòng)作捕捉;游戲世界

1 虛擬現(xiàn)實(shí)設(shè)備現(xiàn)狀

以輸出設(shè)備為標(biāo)準(zhǔn)，現(xiàn)階段市場上主流的VR設(shè)備大致分為三類：主機(jī)端VR頭顯（頭戴式顯示器）、移動(dòng)端VR眼鏡和VR一體機(jī)。

1.1 主機(jī)端VR頭顯

主機(jī)端VR需要連接電腦或者游戲機(jī)主機(jī)，通過主機(jī)強(qiáng)大的性能獲得最好的虛擬效果，又分為PC（個(gè)人電腦）端頭顯和游戲主機(jī)端頭顯。

PC端VR頭顯是以外接個(gè)人計(jì)算機(jī)為運(yùn)行系統(tǒng)的VR頭顯[1]。該類設(shè)備體驗(yàn)感好，涉及光學(xué)、仿真、傳感、人機(jī)交互等多種技術(shù)，發(fā)展最成熟，市場占有率高。游戲主機(jī)端VR頭顯是以游戲主機(jī)為運(yùn)行系統(tǒng)的VR頭顯，與PC端頭顯相似[1]，但與之不同的是，該類設(shè)備通常只兼容特定游戲主機(jī)。

主機(jī)端VR擁有更好的VR內(nèi)容資源，可借助主機(jī)端高性能的圖形計(jì)算能力以及合作平臺(tái)的內(nèi)容生態(tài)，運(yùn)行品質(zhì)更精良的VR內(nèi)容。但受制于PC或游戲主機(jī)的體積，主機(jī)端VR設(shè)備使用場景主要在室內(nèi)，便攜性較差。此外，頭顯與主機(jī)通過連接線相連，這會(huì)大大限制用戶在操作時(shí)的活動(dòng)范圍，用戶往往只能保持站姿或坐姿，小幅度移動(dòng)身體，所以沉浸感時(shí)常會(huì)被線的牽制感所影響。

1.2 移動(dòng)端VR眼鏡

2014年，谷歌發(fā)起虛擬現(xiàn)實(shí)平臺(tái)“Cardboard”（紙盒）計(jì)劃，用戶只需要將智能手機(jī)放到內(nèi)置一對塑料鏡片的小型紙箱中，就可以通過眼鏡的鏡片結(jié)構(gòu)，配合手機(jī)內(nèi)置的陀螺儀以及相應(yīng)VR內(nèi)容，獲得虛擬現(xiàn)實(shí)的基本體驗(yàn)[2]。此后，市場上各個(gè)品牌的VR眼鏡層出不窮。此類產(chǎn)品相對廉價(jià)，使用便捷，但缺點(diǎn)是交互系統(tǒng)薄弱。用戶在使用過程中，主要通過操作手機(jī)或者設(shè)備上的按鈕實(shí)現(xiàn)與虛擬現(xiàn)實(shí)系統(tǒng)的交互，更像是單方面觀看，而非真正進(jìn)入虛擬現(xiàn)實(shí)世界。

1.3 VR一體機(jī)

VR一體機(jī)是具備獨(dú)立處理器的VR頭顯，具備獨(dú)立運(yùn)算、輸入和輸出的功能，無需外接設(shè)備，它更像是一臺(tái)裝備了虛擬現(xiàn)實(shí)系統(tǒng)的微型電腦。用戶戴上頭顯后，無需連接游戲機(jī)或電腦，就可體驗(yàn)虛擬現(xiàn)實(shí)的世界。且系統(tǒng)自帶相應(yīng)的VR應(yīng)用，用戶可通過手柄進(jìn)行操作，還可聯(lián)網(wǎng)下載新內(nèi)容。不論是畫面的質(zhì)量，還是附帶的VR內(nèi)容，VR一體機(jī)的使用體驗(yàn)都比VR眼鏡更好，所以其價(jià)格也會(huì)昂貴很多。最主要的是，借助VR一體機(jī)，用戶可以實(shí)現(xiàn)在虛擬現(xiàn)實(shí)中的交互，沉浸感大大增強(qiáng)。雖然在性能方面受硬件限制，VR一體機(jī)的功能不如主機(jī)VR強(qiáng)大，但是使用時(shí)沒有連接線的束縛，用戶的自由度更高，也便于攜帶。

2 虛擬現(xiàn)實(shí)中交互的壁壘

2.1 交互方式單一

現(xiàn)階段，虛擬現(xiàn)實(shí)技術(shù)中的主流交互方式具有一定的局限性。不管是主機(jī)端VR還是VR一體機(jī)，用戶在VR界面中的交互主要是通過操作手柄上的按鈕或揮動(dòng)手柄進(jìn)行的，所以在控制游戲角色時(shí)缺少一定的觸感，而且對不太熟悉手柄操作的新用戶來說，上手有一定難度。例如，在VR游戲《半衰期：愛麗克絲》的一個(gè)場景中，用戶可以從桌上拿起一支筆在玻璃上寫字。根據(jù)經(jīng)驗(yàn)，拿筆時(shí)用戶會(huì)下意識(shí)地伸出食指和大拇指去拿，但這種認(rèn)知邏輯與實(shí)際手柄操作方式是存在矛盾的，也就是說這種手柄交互模式在一定程度上與用戶在現(xiàn)實(shí)環(huán)境下的認(rèn)知是沖突的，不利于用戶的沉浸式體驗(yàn)。

2.2 交互中的空間受限

眾所周知，玩家在游戲以及其他應(yīng)用里的移動(dòng)是非常重要的交互。在PC游戲中，玩家一般通過鍵盤上的W、A、S、D鍵或上下左右鍵來移動(dòng);在主機(jī)游戲中，則通過手柄的搖桿來移動(dòng)。但在VR應(yīng)用中，受數(shù)據(jù)線長短和房間大小的限制，用戶在體驗(yàn)虛擬現(xiàn)實(shí)時(shí)，無法進(jìn)行幅度過大的位移，難以實(shí)現(xiàn)現(xiàn)實(shí)世界與虛擬世界的同步位移。所以目前在虛擬現(xiàn)實(shí)中的位移，主要有兩種解決方案。第一，用手柄選定地圖的某一方位點(diǎn)，進(jìn)行位置傳送，就像瞬間移動(dòng);第二，就像傳統(tǒng)游戲手柄，持續(xù)操作手柄的搖桿，位置隨搖桿的變化而變化。然而這兩種解決方案都不是最完美的，在視覺、聽覺都處于沉浸狀態(tài)下時(shí)，玩家可能會(huì)下意識(shí)地想靠走動(dòng)來探索周邊環(huán)境，但往往走了幾步后就會(huì)被數(shù)據(jù)線牽制，或畫面中的人物沒有與玩家的移動(dòng)相匹配，從而產(chǎn)生違和感，打斷沉浸的狀態(tài)。此外，畫面的變化與身體的靜止也可能導(dǎo)致大腦處理信息時(shí)發(fā)生認(rèn)知錯(cuò)亂，從而產(chǎn)生“暈動(dòng)癥”這樣的不良身體反應(yīng)，進(jìn)而影響沉浸體驗(yàn)[3]。

總體而言，目前虛擬現(xiàn)實(shí)中的交互還達(dá)不到全身沉浸的效果，依賴于手柄的交互模式缺乏對用戶的身體感知。要想突破壁壘，打造電影《頭號(hào)玩家》中的游戲世界，仍需結(jié)合新的技術(shù)，如動(dòng)作捕捉技術(shù)。

3 動(dòng)作捕捉在虛擬現(xiàn)實(shí)中的應(yīng)用

動(dòng)作捕捉技術(shù)并不是一個(gè)很新的概念。早在20世紀(jì)70年代，計(jì)算機(jī)技術(shù)尚不發(fā)達(dá)的時(shí)候，動(dòng)畫師就通過照相機(jī)拍攝演員的連續(xù)動(dòng)作，分解成一系列的關(guān)鍵幀照片，再參考這些照片進(jìn)行動(dòng)畫繪制，這可能是動(dòng)作捕捉技術(shù)的原型[4]。而動(dòng)捕技術(shù)發(fā)展至今，已進(jìn)入影視特效、醫(yī)療康復(fù)、運(yùn)動(dòng)分析、體感交互游戲等多個(gè)領(lǐng)域。慣性動(dòng)作捕捉系統(tǒng)通過穿戴在人身上的一套慣性傳感器來捕捉人體各個(gè)部位的加速度、角速度、方向等，然后通過算法將這些數(shù)據(jù)還原成一套人體動(dòng)作。

動(dòng)作捕捉應(yīng)用在虛擬現(xiàn)實(shí)中也效果拔群。2019年6月，游戲公司Valve（維爾福集團(tuán)）發(fā)布了旗艦級(jí)VR——Index VR（茵蒂克絲VR），其設(shè)備中的指虎手柄運(yùn)用了手指跟蹤技術(shù)。與傳統(tǒng)手柄不同，玩家戴上手柄后，手指依然可以自由活動(dòng)，設(shè)備對手部動(dòng)作的細(xì)致捕捉能實(shí)時(shí)反饋到游戲畫面中，從而使玩家的動(dòng)作和游戲中的角色同步。此外，玩家也能通過相應(yīng)的手部動(dòng)作在游戲中進(jìn)行交互，如拿槍、寫字、組合物品等，這大大增強(qiáng)了用戶體驗(yàn)VR時(shí)的沉浸感。憑借高質(zhì)量的3A大作《半衰期：愛麗克絲》，以及沉浸感更強(qiáng)的交互，Index VR成為VR行業(yè)中的佼佼者，這也側(cè)面說明了動(dòng)作捕捉技術(shù)與虛擬現(xiàn)實(shí)的完美適配。

若想使沉浸感有質(zhì)的飛躍，動(dòng)作捕捉技術(shù)需要發(fā)揮更大的作用。相應(yīng)設(shè)備勢必需要對人的身體進(jìn)行全方位的適配，如軀干、腿部、足部等，只有將人的全部動(dòng)作映射至虛擬現(xiàn)實(shí)中，才能實(shí)現(xiàn)讓人完全進(jìn)入虛擬世界的感官體驗(yàn)。然而要達(dá)到全身式的沉浸感，除了在硬件方面需要進(jìn)一步升級(jí)（如頭顯性能、VR手套、體感衣等），更要解決空間限制問題。要解決這一問題，萬向跑步機(jī)可能是一個(gè)不錯(cuò)的選擇。它的空間需求相對較小，能較好地模擬腳步運(yùn)動(dòng)，可以將人的方位、速率和里程數(shù)據(jù)全部記錄下來并傳輸?shù)接螒虍?dāng)中，在虛擬世界中做出對現(xiàn)實(shí)的真實(shí)模擬，使用戶在游戲中實(shí)現(xiàn)同步運(yùn)動(dòng)，甚至完成一些復(fù)雜的姿態(tài)，這使得對人體全身的動(dòng)作捕捉更具意義[5]。然而萬向跑步機(jī)也有一些弊端，如高昂的價(jià)格以及用戶的體能限制，此類產(chǎn)品性價(jià)比不高，普及尚有難度。

針對交互方式和空間兩個(gè)痛點(diǎn)，科技公司諾亦騰提出了一些解決方案。

交互方式上，諾亦騰產(chǎn)品線中的諾亦騰Hi5 VR手套（見圖1）極大地增強(qiáng)了用戶在虛擬現(xiàn)實(shí)體驗(yàn)時(shí)的沉浸感。與前文提到的Index VR指虎手柄不同，諾亦騰Hi5上沒有按鍵，外觀與普通手套幾乎毫無差別，但手套中配備了7顆9軸高性能慣性傳感器，可達(dá)到低于5ms的延遲，精準(zhǔn)捕捉全手動(dòng)作，用戶可獲得實(shí)時(shí)自然的交互體驗(yàn)。此外，輕量化的傳感器、無感佩戴的體驗(yàn)更增強(qiáng)了用戶在VR中的沉浸感。目前市場上已經(jīng)有不少高質(zhì)量的虛擬現(xiàn)實(shí)應(yīng)用以諾亦騰Hi5作為核心交互方式，并得到了較好的用戶反饋。

空間上，在2016年諾亦騰發(fā)布了商用虛擬現(xiàn)實(shí)解決方案——Project Alice（愛麗絲項(xiàng)目）。該系統(tǒng)采用光學(xué)—慣性混合動(dòng)作捕捉系統(tǒng)，配合核心計(jì)算系統(tǒng)、軟硬件管理平臺(tái)、高性能計(jì)算平臺(tái)部署方案與圖形渲染系統(tǒng)等模塊，對用戶全身的動(dòng)作信息進(jìn)行捕捉，并映射至虛擬現(xiàn)實(shí)系統(tǒng)，使用戶能夠在一定的空間內(nèi)自由走動(dòng)，進(jìn)行多人實(shí)時(shí)互動(dòng)，并提供虛實(shí)結(jié)合交互等多種虛擬現(xiàn)實(shí)體驗(yàn)。此外，開發(fā)者可面向不同專業(yè)領(lǐng)域，有針對性地開發(fā)出更加豐富的虛擬現(xiàn)實(shí)應(yīng)用內(nèi)容。自面世以來，該系統(tǒng)已應(yīng)用于影視游戲開發(fā)與制作、文化與泛娛樂體驗(yàn)（見圖2）、體育健康測評(píng)與訓(xùn)練、醫(yī)療診斷與康復(fù)、工業(yè)仿真與虛擬教學(xué)、商業(yè)傳播與品牌項(xiàng)目等多個(gè)領(lǐng)域。雖然該方案對空間場地的需求較大，尚未解決空間使用成本高的問題，但在技術(shù)上，它已經(jīng)為全身沉浸式的虛擬現(xiàn)實(shí)體驗(yàn)打下了基礎(chǔ)。

4 技術(shù)前景

在未來的VR產(chǎn)業(yè)中，設(shè)備的輕量化和對用戶動(dòng)作的捕捉將成為行業(yè)發(fā)生質(zhì)變的關(guān)鍵。而且隨著5G網(wǎng)絡(luò)的普及，信號(hào)傳輸技術(shù)不斷發(fā)展，能在保持高畫面素質(zhì)的同時(shí)，擺脫數(shù)據(jù)線的束縛，使用戶體驗(yàn)上升一個(gè)臺(tái)階，所以VR一體機(jī)可能成為市場的主流，而移動(dòng)端VR眼鏡和主機(jī)端VR則會(huì)逐漸被淘汰。對用戶全身范疇的定位和捕捉，更有助于感官沉浸感的增強(qiáng)，當(dāng)虛擬場景欺騙的人體感官越多，用戶越容易對其產(chǎn)生依賴性，從而真正形成與現(xiàn)實(shí)世界相對應(yīng)的虛擬世界。

此外，除了應(yīng)用于娛樂方面，高沉浸感的VR技術(shù)也會(huì)帶動(dòng)社交方式的改變。技術(shù)進(jìn)一步革新，當(dāng)虛擬世界越來越接近真實(shí)，虛擬辦公、虛擬課堂，甚至虛擬派對等一些社交領(lǐng)域的全新概念也有機(jī)會(huì)落地成為現(xiàn)實(shí)。屆時(shí)，人與人之間的聯(lián)系會(huì)變得更加緊密和抽象，甚至從現(xiàn)實(shí)世界中剝離。

5 結(jié)語

《頭號(hào)玩家》中的游戲世界并不是遙不可及的。身處技術(shù)爆炸的時(shí)代，硬件設(shè)備中的難關(guān)終將得到突破，VR產(chǎn)品也定會(huì)代代優(yōu)化升級(jí)，相應(yīng)的VR內(nèi)容亦會(huì)蓬勃發(fā)展，我們完全有理由相信VR技術(shù)將從方方面面改變?nèi)祟惖纳罘绞健?/p>

參考文獻(xiàn)：

[1] 范麗亞，馬介淵，張克發(fā)，等.虛擬現(xiàn)實(shí)硬件產(chǎn)業(yè)的發(fā)展[J].科技導(dǎo)報(bào)，2019，37（05）：81-88.

[2] 曹磊.國外虛擬現(xiàn)實(shí)的現(xiàn)狀與趨勢[J].競爭情報(bào)，2017，13（02）：51-58.

[3] 曹煊.虛擬現(xiàn)實(shí)的技術(shù)瓶頸[J].科技導(dǎo)報(bào)，2016，34（15）：94-103.

[4] 劉昊揚(yáng)，鄧思淵.動(dòng)作捕捉：面向未來的技術(shù)[J].高科技與產(chǎn)業(yè)化，2015（11）：62-65.

[5] 蘇凱，趙蘇硯. VR虛擬現(xiàn)實(shí)與AR增強(qiáng)現(xiàn)實(shí)的技術(shù)原理與商業(yè)應(yīng)用[M].北京：人民郵電出版社，2017：48-49.

作者簡介：馬丁（1995—），男，浙江杭州人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。

李琦（1972—），男，江蘇南京人，博士，副教授，研究方向：美學(xué)與數(shù)據(jù)可視化。

胡意娟（1993—），女，河南周口人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。