藺薛菲

虛擬現(xiàn)實(shí)三維場景建模與人機(jī)交互應(yīng)用技術(shù)研究

藺薛菲

（湖南農(nóng)業(yè)大學(xué) 體育藝術(shù)學(xué)院，長沙 410128）

虛擬現(xiàn)實(shí)（VR）技術(shù)通過虛擬的現(xiàn)實(shí)場景擺脫對物理場景的依賴性，并通過交互設(shè)計(jì)達(dá)到身臨其境的浸入式體驗(yàn)效果。文章以虛擬現(xiàn)實(shí)場景交互應(yīng)用為對象，研究分析當(dāng)前虛擬現(xiàn)實(shí)場景建模和交互應(yīng)用關(guān)鍵技術(shù)研究現(xiàn)狀和問題；以服務(wù)設(shè)計(jì)需求出發(fā)，提出了虛擬現(xiàn)實(shí)應(yīng)用設(shè)計(jì)領(lǐng)域的可能發(fā)展方向。

虛擬現(xiàn)實(shí)；交互設(shè)計(jì)；3D場景建模；服務(wù)設(shè)計(jì)

一、引言

虛擬現(xiàn)實(shí)（Virtual Reality）是20世紀(jì)發(fā)展起來的一項(xiàng)全新技術(shù)，其通過生成與一定范圍內(nèi)真實(shí)環(huán)境在視覺、聽覺、觸覺等方面高度近似的數(shù)字化三維環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對象進(jìn)行交互并相互影響，從而產(chǎn)生置身于真實(shí)環(huán)境中的虛幻感和沉浸感。虛擬現(xiàn)實(shí)技術(shù)強(qiáng)調(diào)了人在虛擬系統(tǒng)中的主導(dǎo)作用，因此交互性和沉浸性這兩個(gè)特征，是虛擬現(xiàn)實(shí)技術(shù)與其他相關(guān)技術(shù)（如三維動(dòng)畫、科學(xué)可視化及傳統(tǒng)的多媒體圖像技術(shù)等）的本質(zhì)區(qū)別，是人機(jī)交互內(nèi)容和交互方式的革新①②。

隨著HTC Vive、Oculus Rift、PlayStation VR、Google Cardboard、Gear VR、微軟Hololens等大量頭戴顯示設(shè)備（HMD）的出現(xiàn)，標(biāo)志著浸入式VR技術(shù)正式走向消費(fèi)者市場，在軍事、航天、醫(yī)療、教育、社交、購物、旅游、游戲等領(lǐng)域產(chǎn)生了顛覆性影響。

本文研究分析當(dāng)前虛擬現(xiàn)實(shí)場景建模和交互應(yīng)用關(guān)鍵技術(shù)研究現(xiàn)狀和問題，并結(jié)合服務(wù)設(shè)計(jì)層面需求，提出了虛擬現(xiàn)實(shí)應(yīng)用設(shè)計(jì)領(lǐng)域的可能發(fā)展方向，為廣泛的虛擬現(xiàn)實(shí)應(yīng)用提供參考。

二、虛擬現(xiàn)實(shí)三維場景建模技術(shù)

現(xiàn)有三維場景建構(gòu)主要可分為全景圖像拼接、三維虛擬建模兩大類。圖像拼接模式接近真實(shí)場景感覺，但是存在圖像拼接誤差和畸變現(xiàn)象，在拍攝過程中也存在遮擋和死角等問題。若獲得連續(xù)三維場景體驗(yàn)，需要拍攝存儲(chǔ)海量圖片，計(jì)算量巨大，建成后的場景目標(biāo)無法作為虛擬目標(biāo)與用戶進(jìn)行交互。三維虛擬建模構(gòu)建場景中的目標(biāo)可以作為虛擬目標(biāo)與用戶進(jìn)行交互。但是三維虛擬建模在場景的逼真度方面與真實(shí)場景還存在一定的距離，從而導(dǎo)致浸入式體驗(yàn)不佳②。

（一）三維全景拼接關(guān)鍵技術(shù)

全景視圖技術(shù)主要分為兩個(gè)主要部分即配準(zhǔn)和融合。圖像配準(zhǔn)是全景視圖技術(shù)的最主要一步，它的目的主要是找出兩幅或者多幅圖像之間的重復(fù)部分。融合技術(shù)是用來消除由光照變化、動(dòng)態(tài)場景和由幾何校正引起的圖像扭曲等引起的相鄰圖像重疊部分的顏色差異、光強(qiáng)不同及圖像重影等問題，使多幅圖像融合成一幅無縫的過渡平淆的全景圖像。（圖1）

目前全景圖拼接方法主要有基于特征點(diǎn)匹配的方法、基于模型的方法、基于變換域的方法和基于灰度相關(guān)的方法。幾種算法主要針對解決如果提高圖像拼接的效率，提高圖像拼接的實(shí)時(shí)性，以及圖像拼接對圖像重疊率、各種不同像素圖像的有效性等問題。

目前，基于圖像拼接的虛擬現(xiàn)實(shí)應(yīng)用主要集中場景展示應(yīng)用。如黃顯兵研究了基于全景技術(shù)的在線虛擬漫游景觀的實(shí)現(xiàn)方法，并對實(shí)景拍攝漫游和三維虛擬漫游景觀兩種方式進(jìn)行實(shí)踐分析③。Hee-soo Choi基于頭戴式設(shè)備和人工標(biāo)志，開發(fā)了面向文物博物館展覽的內(nèi)容服務(wù)模式④。

圖1 三維場景建模方法對比-基于圖像的三維場景建模

圖2 三維場景建模方法對比-基于幾何虛擬建模的場景構(gòu)建

（二）基于幾何模型的虛擬場景建模技術(shù)

基于幾何模型的虛擬場景的生產(chǎn)過程具體包括場景幾何建模、場景材質(zhì)設(shè)置和真實(shí)感貼圖、虛擬現(xiàn)實(shí)系統(tǒng)初始化、模型對象化導(dǎo)入與實(shí)時(shí)呈現(xiàn)幾部分，其中三維建模是核心部分②。（圖2）

3D模型成為虛擬場景的必要元素，那么模型的成立和貼圖的繪制將直接影響虛擬場景的真實(shí)性。目前已有Autocad、3D Max， Maya、Pro/ E等工具用于3D模型建模。同時(shí)以Unity為代表的虛擬引擎，可以輕松導(dǎo)入3D studio、 Maya等模型和交互動(dòng)畫角色（Autodesk），實(shí)現(xiàn)虛擬場景與空間營造，但要注意角色與場景的剛體碰撞方式的把握、場景材質(zhì)與光影營造實(shí)現(xiàn)三維場景的構(gòu)建。

目前，以幾何建模為代表的虛擬現(xiàn)實(shí)應(yīng)用集中在非自然場景，具有很好的交互性。趙杰等系統(tǒng)介紹了基于三維建模工具和Kinect交互設(shè)備的交互動(dòng)畫設(shè)計(jì)②。曹林等以煤層氣田地面仿真系統(tǒng)為例，介紹了場景虛擬建模的技術(shù)實(shí)現(xiàn)，并研究了基于Kinect和Unity3D平臺(tái)的交互系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)①。Damian Grajewski基于頭戴式設(shè)備HMD和交互傳感器，開發(fā)了裝配環(huán)境應(yīng)用的沉浸式教學(xué)應(yīng)用⑤。Sotiris Makris重點(diǎn)研究了基于VR技術(shù)的浸入式產(chǎn)品設(shè)計(jì)技術(shù)，并應(yīng)用于航空工業(yè)產(chǎn)品設(shè)計(jì)⑥。Andrzej Grabowski開發(fā)了面向地下煤礦挖掘工人的工況體驗(yàn)和工作任務(wù)訓(xùn)練系統(tǒng)⑦。

三、三維場景交互技術(shù)研究現(xiàn)狀

（一）用戶動(dòng)作捕捉

用戶動(dòng)作捕捉和理解是浸入式交互體驗(yàn)的重要基礎(chǔ)。目前，研究人員提出了基于數(shù)據(jù)手套、游戲手柄、Leap Motion、Kinect、穿戴式設(shè)備、HMD頭盔等傳感器的用戶行為和動(dòng)作獲取的解決方案，對近距離、一定運(yùn)動(dòng)范圍場景下具有較好的效果①②。

Oculus Rift、HTC Vive以及PlayStation VR是典型HMD頭盔。三款頭戴都集成了頭部運(yùn)動(dòng)追蹤、位置追蹤系統(tǒng)，其中Oculus Rift和PlayStation VR使用單個(gè)動(dòng)作感應(yīng)攝像頭來識別用戶運(yùn)動(dòng)，需要將攝像頭放置在用戶正前方；而HTC Vive集成多達(dá)37個(gè)LED傳感器，能夠與安裝在房間中的兩個(gè)傳感器構(gòu)成一個(gè)動(dòng)作捕捉空間，從理論上能夠更精準(zhǔn)地識別用戶微小的動(dòng)作。除完全VR設(shè)備外，還出現(xiàn)了大量簡易頭戴。谷歌Cardboard是一個(gè)搭載智能手機(jī)的移動(dòng)虛擬頭戴式顯示器，可以提供簡單的虛擬現(xiàn)實(shí)環(huán)境體驗(yàn)。Gear VR的操作是結(jié)合視角方向（視角變化的檢測使用手機(jī)內(nèi)置的IMU）和觸控板（還包括返回和音量調(diào)節(jié)按鍵）來完成的。觸控板可以實(shí)現(xiàn)滑動(dòng)操作，完成選單翻頁的功能；在單頁選項(xiàng)下，可以通過轉(zhuǎn)動(dòng)頭部來選擇目標(biāo)，再使用觸控板確認(rèn)，而同類的移動(dòng)VR頭顯Google Cardboard只有一個(gè)按鈕。

輸入手柄是另一種典型輸入設(shè)備，把真實(shí)世界的環(huán)境數(shù)據(jù)映射到虛擬世界的設(shè)備。HTC全新Vive追蹤器，能夠?qū)⑷魏胃街系奈锲纷兂蒆TC Vive VR的手柄。Oculus Touch采用了類似手環(huán)的設(shè)計(jì)，允許攝像機(jī)對用戶手部進(jìn)行追蹤，傳感器也可以追蹤手指運(yùn)動(dòng)，同時(shí)還為用戶帶來便利的抓握方式。

（二）虛擬角色運(yùn)動(dòng)重定向

浸入式虛擬現(xiàn)實(shí)系統(tǒng)通過運(yùn)動(dòng)重定向技術(shù)實(shí)現(xiàn)虛擬角色對真實(shí)用戶角色的復(fù)制，完成實(shí)際用戶動(dòng)作與虛擬環(huán)境的交互，實(shí)現(xiàn)沉浸式的交互體驗(yàn)。運(yùn)動(dòng)重定向技術(shù)是將已有運(yùn)動(dòng)數(shù)據(jù)映射到新的目標(biāo)模型上，并確保新的模型在保持原有運(yùn)動(dòng)特征的基礎(chǔ)上符合運(yùn)動(dòng)學(xué)原理，使目標(biāo)模型的運(yùn)動(dòng)流暢自然⑧。（圖3）

通常的運(yùn)動(dòng)重定向方法是將已有運(yùn)動(dòng)數(shù)據(jù)直接應(yīng)用于新的目標(biāo)模型上，即直接將模型各關(guān)節(jié)的運(yùn)動(dòng)角度復(fù)制到目標(biāo)模型上。然而源模型和目標(biāo)模型往往在比例、結(jié)構(gòu)和初始姿態(tài)上不盡相同。如果直接將運(yùn)動(dòng)數(shù)據(jù)復(fù)制到目標(biāo)模型，則很容易違背原有運(yùn)動(dòng)中固有的運(yùn)動(dòng)性質(zhì)，從而產(chǎn)生運(yùn)動(dòng)失真，出現(xiàn)諸如腳部的穿地、懸空和滑步等錯(cuò)誤。

（三）人機(jī)交設(shè)計(jì)

在三維交互人機(jī)界面方面，Jacob et al.研究了non-WIMP界面（特別是虛擬環(huán)境）的交互特征，將三維用戶界面描述為一組連續(xù)的關(guān)系，并用狀態(tài)圖和基于約束的數(shù)據(jù)流圖相結(jié)合的方法設(shè)計(jì)了界面描述語言⑨。Browman et al.等對虛擬環(huán)境從任務(wù)、子任務(wù)、交互技術(shù)三個(gè)層次提出技術(shù)構(gòu)件的思想，建立了通用交互上下文環(huán)境下的形式化交互技術(shù)評估系統(tǒng)⑩。樊銀亭等提出一種基于交互歷史的自適應(yīng)用戶界面實(shí)現(xiàn)機(jī)制，并應(yīng)用于虛擬家居定制系統(tǒng)?。林一等提出了一種基于心智模型的虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)混合式移動(dòng)導(dǎo)覽系統(tǒng)的用戶體驗(yàn)設(shè)計(jì)模式，用于指導(dǎo)虛擬現(xiàn)實(shí)場景用戶界面設(shè)計(jì)?。

在三維場景交互技術(shù)應(yīng)用和系統(tǒng)方面，紀(jì)連恩等利用語義對象輔助完成三維交互任務(wù)，從用戶角度屏蔽三維交互技術(shù)實(shí)現(xiàn)中的底層細(xì)節(jié)，使用戶更加專注于執(zhí)行高層交互任務(wù)?。王亮等設(shè)計(jì)了基于場景語義的三維交互技術(shù)，并通過具體應(yīng)用驗(yàn)證場景語義理論的有效性?。Dong Woo Seo提出了基于AR和VR的混合現(xiàn)實(shí)技術(shù)，用于智能家居的用戶交互體驗(yàn)和評價(jià)設(shè)計(jì)?。Ryeok-Hwan Kwon等基于VR技術(shù)開發(fā)了面向免稅商店室內(nèi)景觀設(shè)計(jì)的用戶體驗(yàn)和設(shè)計(jì)評估系統(tǒng)，提高了場景設(shè)計(jì)的效率，降低了設(shè)計(jì)成本?。Dam et al.探索了融合語音輸入和手勢輸入的度通道交互技術(shù)方法，特別是在系統(tǒng)控制方面得到較好應(yīng)用?。劉劍鋒提出了一種基于加速度計(jì)的三維手勢交互技術(shù)，應(yīng)用于虛擬數(shù)字奧運(yùn)博物館原型系統(tǒng)中?。徐崇斌等提出了一種基于Leap Motion的手勢自動(dòng)識別技術(shù)，設(shè)計(jì)了實(shí)時(shí)非接觸式交互原型系統(tǒng)?。

圖3 運(yùn)動(dòng)重定向技術(shù)示意圖

總體來說，當(dāng)前對于虛擬現(xiàn)實(shí)交互過程中用戶界面的作用機(jī)制、模型表達(dá)和執(zhí)行特定任務(wù)時(shí)用戶偏好的界面表達(dá)形式缺乏系統(tǒng)全面的理論研究，從而不能很好的指導(dǎo)虛擬現(xiàn)實(shí)交互界面的設(shè)計(jì)與開發(fā)，導(dǎo)致虛擬現(xiàn)實(shí)交互體驗(yàn)整體水平較低，限制了應(yīng)用推廣。

四、總結(jié)與展望

虛擬現(xiàn)實(shí)技術(shù)在三維場景建模、虛擬現(xiàn)實(shí)場景人機(jī)交互設(shè)計(jì)方面還處于起步階段。為提升虛擬現(xiàn)實(shí)場景交互應(yīng)用的浸入式體驗(yàn)效果，在設(shè)計(jì)層面，需要重點(diǎn)研究如下方面。

（一）圖像建模與幾何建模相結(jié)合的虛擬現(xiàn)實(shí)場景建模方案

幾何模型的優(yōu)點(diǎn)是交互性好，缺點(diǎn)是對象模型建構(gòu)數(shù)據(jù)量大，真實(shí)感較差弱，建模過程復(fù)雜。圖像建模的優(yōu)點(diǎn)是虛擬場景渲染質(zhì)量高，缺點(diǎn)是交互能力有限。因此圖像建模與幾何建模相結(jié)合的虛擬現(xiàn)實(shí)場景建模方案將綜合兩者優(yōu)點(diǎn)，對場景中固定背景或無需交互場景模塊采用圖像建模實(shí)現(xiàn)，對需要交互與實(shí)時(shí)調(diào)整變換的場景目標(biāo)或虛擬角色進(jìn)行幾何建模，并根據(jù)圖像素材完成模型的紋理圖像映射，達(dá)到真實(shí)效果。

（二）基于用戶體驗(yàn)的虛擬現(xiàn)實(shí)人機(jī)交互設(shè)計(jì)

基于以用戶為中心的體驗(yàn)與服務(wù)設(shè)計(jì)是虛擬現(xiàn)實(shí)應(yīng)用人機(jī)交互設(shè)計(jì)的基礎(chǔ)。用戶體驗(yàn)是用戶在使用交互產(chǎn)品過程中的主觀感受，包括喜好程度、心理反映、情感因素、認(rèn)知印象等方面?；谌藱C(jī)工程學(xué)和可用性工程的原理，綜合視覺、布局、交互和動(dòng)作設(shè)計(jì)等方法，設(shè)計(jì)符合用戶使用習(xí)慣的體驗(yàn)方式或者產(chǎn)品。用戶要被結(jié)合進(jìn)來一起參與開發(fā)設(shè)計(jì)，并對設(shè)計(jì)結(jié)果進(jìn)行測試和評估，不斷完善和優(yōu)化設(shè)計(jì)內(nèi)容。只有很好的去挖掘和預(yù)測產(chǎn)品的態(tài)度、期望和行為才能更好的進(jìn)行互動(dòng)產(chǎn)品的用戶體驗(yàn)設(shè)計(jì)。■

湖南省哲學(xué)社會(huì)科學(xué)基金一般項(xiàng)目（14YBB043），湖南省科技計(jì)劃重點(diǎn)研發(fā)項(xiàng)目(2015GK3008)資助

注釋：

①曹林，朱希安.虛擬現(xiàn)實(shí)技術(shù)應(yīng)用和Kinect開發(fā)[M].北京：電子工業(yè)出版社，2015.

②趙杰,交互動(dòng)畫設(shè)計(jì)：Zbrush+Autodesk+Unity+Kinect+Arduion三維體感技術(shù)整合[M].北京：化學(xué)工業(yè)出版社，2016.

③黃顯兵.基于全景技術(shù)的景觀在線漫游的設(shè)計(jì)與實(shí)現(xiàn)[D].上海：上海交通大學(xué)，2012.

④Hee-soo Choi, Sang-heon Kim. A content service deployment plan for metaverse museum exhibitions—Centering on the combination of beacons and HMDs. [EB/J].International Journal of Information Management. http://dx.doi.org/10.1016/j.ijinfomgt[2016-04-017].

⑤Damian Grajewski, Filip Górski, Adam Hamrol, Przemys awZawadzki. Immersive and Haptic Educational Simulations of Assembly Workplace Conditions[J].Procedia Computer Science, 2015( 75)：359-368.

⑥Sotiris Makris, LoukasRentzos, George Pintzos, Dimitris Mavrikios, George Chryssolouris. Semantic-based taxonomy for immersive product design using VR techniques [J].CIRP Annals - Manufacturing Technology ,2012（61）：147–150.

⑦Andrzej Grabowski, Jaros aw Jankowski. Virtual Reality-based pilot training for underground coal miners[J].Safety Science, 2015（72）：310–314.

⑧Hsieh M K, Chen B Y, Ouhyoung M. Motion retargetting and transition in different articulated fi gures[C]//null. IEEE, 2005：457-462.

⑨Jacob R J K, Deligiannidis L, Morrison S. A software model and specif i cation language for non-WIMP user interfaces[J]. ACM Transactions on Computer-Human Interaction (TOCHI), 1999，6（1）：1-46.

⑩Bowman D A, Johnson D B, Hodges L F. Testbed evaluation of virtual environment interaction techniques[J]. Presence, 2001，10（1）：75-95.

?樊銀亭，等. 虛擬家居定制系統(tǒng)中的自適應(yīng)用戶界面實(shí)現(xiàn)機(jī)制[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2011，23（4）：705-712.

?林一, 陳靖,劉越,王涌天. 基于心智模型的虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)混合式移動(dòng)導(dǎo)覽系統(tǒng)的用戶體驗(yàn)設(shè)計(jì)[J].計(jì)算機(jī)學(xué)報(bào)，2015，38（2）：407-422.

?紀(jì)連恩,張鳳軍,付永剛,戴國忠. 虛擬環(huán)境下基于語義的三維交互技術(shù)[J].軟件學(xué)報(bào)，2006（07）：1535-1543.

?王亮.虛擬環(huán)境中基于語義的三維交互技術(shù)研究及應(yīng)用[D].合肥：中國科學(xué)技術(shù)大學(xué)，2008.

?Dong Woo Seo, Hyun Kim, Jae Sung Kim, Jae Yeol Lee. Hybrid reality-based user experience and evaluation of a context-aware smart home [J] .Computers in Industry, 2016（76）：11-23.

?Ryeok-Hwan Kwon, Kwang-Jae Kim, Ki-Hun Kim, Yoo-Suk Hong, Bohyun Kim. Evaluating servicescape designs using a VR-based laboratory experiment: A case of a Duty-free Shop[J]. Journal of Retailing and Consumer Services, 2015（26）：32-40.

?Van Dam A, Forsberg A S, Laidlaw D H, et al. Immersive VR for scientif i c visualization: A progress report[J]. Computer Graphics and Applications, IEEE, 2000，20（6）： 26-52.

?劉劍鋒. 虛擬環(huán)境下幾種三維交互技術(shù)的研究[D].杭州：浙江大學(xué)，2010.

?徐崇斌，等.一種基于Leap Motion的直觀體交互技術(shù)[J].電子與信息學(xué)報(bào)，2015，37（2）：353-359.

Research on 3D Scene Modeling and Interaction Design for VR Applications

LIN Xue-fei
(Sport & Art Collge,Hunan Agricultural University,Changsha 410128,China)

Virtual Reality (VR) technology can get rid of the dependence of the physical scene by virtual reality scene, and create immersion experience personally for users through the interaction design. Focusing on virtual reality scene interaction applications, this paper investigates the key technologies on immersive VR scene modeling and VR based human-computer interaction interface design. Finally, this paper presents possible trends of VR application design in the side of service design.

virtual reality; interaction design; 3D scene modeling; service design

www.artdesign.org.cn

TP2

A

1008-2832(2017)04-0100-03

檢 索:www.artdesign.org.cn