趙文軒 章立

摘? 要：隨著元宇宙時代的興起，虛擬現(xiàn)實中交互體驗也越來越受到重視，而顯示硬件技術(shù)與感知技術(shù)的發(fā)展，使得眼動追蹤技術(shù)應(yīng)用也漸漸成熟，在虛擬現(xiàn)實交互系統(tǒng)中扮演著不可或缺的角色。文章著重對眼動追蹤技術(shù)原理、應(yīng)用案例進行分析，得出沉浸式自然交互、用戶體驗度量和擬真人眼顯示三種眼動追蹤應(yīng)用于虛擬現(xiàn)實中的較為成熟且廣泛的方向。最后總結(jié)出眼動追蹤在虛擬現(xiàn)實中的應(yīng)用策略，并在此策略的基礎(chǔ)之上對無錫“金蓮橋”“御碑亭”及其周邊環(huán)境進行虛擬現(xiàn)實眼動交互實踐開發(fā)。

關(guān)鍵詞：虛擬現(xiàn)實；眼動追蹤；用戶體驗；自然交互

常言道：“眼睛是人心靈的窗戶。”眼睛不單單是人類獲得視覺信息的方式，也是表達內(nèi)心世界的窗口。眼動追蹤技術(shù)正是通過對眼睛行為的捕捉，進而獲得眼球的行為數(shù)據(jù)，是一種基于生理心理學(xué)的獲取技術(shù)。近年來，眼動追蹤技術(shù)在認(rèn)知科學(xué)、心理行為學(xué)、神經(jīng)科學(xué)等領(lǐng)域均有廣泛研究與應(yīng)用。本文將著重探討眼動追蹤在虛擬現(xiàn)實中交互體驗的應(yīng)用。

虛擬現(xiàn)實技術(shù)因其可以帶來沉浸式的體驗、擬真的情景模擬現(xiàn)已廣泛地應(yīng)用于軍工、醫(yī)療、教育、設(shè)計等領(lǐng)域，且發(fā)揮著不可估量的作用。同時虛擬現(xiàn)實技術(shù)也是一類集合了顯示硬件技術(shù)、傳感器感知技術(shù)等諸多高精尖技術(shù)知識為一體的集合[1]。隨著虛擬現(xiàn)實技術(shù)發(fā)展，虛擬現(xiàn)實的使用屬性也漸漸從傳統(tǒng)的觀看轉(zhuǎn)變?yōu)橹鲃拥慕换?。與此同時，虛擬現(xiàn)實對大眾的吸引力也日益變高，大眾不滿足于簡單的虛擬現(xiàn)實游覽和游玩體驗，而是期望得到更加新奇、更加自然和沉浸的感官體驗[2]。面對各個領(lǐng)域的需求，虛擬現(xiàn)實以往的交互模式已無法滿足深層次的應(yīng)用情景需求，從而需要更為人性化、更為自然和主動的交互方式。

隨著感知技術(shù)的發(fā)展，眼動追蹤技術(shù)應(yīng)用也已漸成熟，通過對眼球行為的捕捉和分析可以進一步了解主體的思維方式和認(rèn)知過程，從而理性判斷主體的意識行為。眼動追蹤技術(shù)目前已廣泛應(yīng)用于人機交互、行為評估、心理認(rèn)知等領(lǐng)域，在早期，眼動追蹤技術(shù)并不成熟，往往應(yīng)用于對眼睛的識別、注視點的觀測等，只作為簡單的記錄工具，但隨著硬件識別精度和準(zhǔn)度的提升，眼動追蹤技術(shù)現(xiàn)已可以應(yīng)用于眼部動作的捕捉、記錄眼跳和瞳孔的變化等更為細(xì)致、微觀的眼部行為。眼動儀器也漸漸廣泛應(yīng)用于各類硬件顯示設(shè)備之中，例如智能手機、顯示器、虛擬現(xiàn)實頭盔等。

一、虛擬現(xiàn)實中的眼動追蹤的技術(shù)原理

眼動追蹤實驗原理可大致分為獲取階段、處理階段。在獲取階段，虛擬現(xiàn)實硬件設(shè)備中大多內(nèi)置光學(xué)傳感器和內(nèi)置攝像頭，光學(xué)傳感器以超高頻率向眼睛發(fā)射人眼不可見的紅外光，該紅外光會在眼球上產(chǎn)生一個光點——普爾欽斑。隨后攝像機使用瞳孔角膜反射法（通過角膜中心和瞳孔中心的連線進行眼動追蹤），定位瞳孔位置，獲取瞳孔中心坐標(biāo)，得到眼球的移動軌跡[3]。在處理階段，計算機根據(jù)光點的移動進行計算機視覺分析，得出人眼的行為數(shù)據(jù)，并實時記錄。由于紅外光人眼并不可見，所以眼動追蹤的過程并不影響體驗者正常的行為體驗。

二、虛擬現(xiàn)實中的眼動追蹤體驗應(yīng)用

（一）用戶體驗評測

視覺獲取的信息為人類主要獲取信息的方式之一，眼動追蹤與沉浸式虛擬現(xiàn)實結(jié)合將為視覺注意的研究方式帶來轉(zhuǎn)變并為專業(yè)研究領(lǐng)域帶來新的可能性，如心理學(xué)、行為模式研究、學(xué)習(xí)和效能評估等。虛擬現(xiàn)實硬件內(nèi)置的攝像機、陀螺儀傳感器等感知儀器一起同時記錄主體的3D空間位置、注視時間、注視順序、瞳孔大小、眨眼次數(shù)、眼跳、眼瞼閉合度等數(shù)據(jù)，用來發(fā)現(xiàn)能夠吸引人們注意力的因素，了解人們感知其周圍事物的視覺方式以及驅(qū)使人們作出決策的因素，捕獲不受被試者或主試者意識影響的自然反應(yīng)。例如，注視時長和注視順序往往會反應(yīng)出主體的興趣程度，眨眼程度的變化可以反映出主題的注意力是否集中等。收集的數(shù)據(jù)可以二次導(dǎo)入虛擬情景進行可視化還原，并制作成熱點圖、透視圖等更直觀的觀察方式，以供進行用戶行為研究。

（二）沉浸式自然交互

自然交互是指當(dāng)交互主體在參與交互過程中可以根據(jù)以往經(jīng)驗與認(rèn)知，進行無障礙交互，整個過程具有安全性、高效性、高可用性的特征。自然交互的介入，使得交互主體更加易于學(xué)習(xí)任務(wù)目標(biāo)，且快速和正確地執(zhí)行。

感知技術(shù)的成熟使得人機交互更快速、更直觀。如果設(shè)計完善，此技術(shù)可幫助用戶在虛擬情景中進行自然行為操作，甚至根據(jù)潛意識進行交互。再者，自然交互的加入可以極大程度拋棄虛擬情境中具有割裂感的二維交互界面。傳統(tǒng)平面式的交互界面不符合體驗者的現(xiàn)實認(rèn)知，且缺乏交互的趣味性。眼動追蹤的使用為VR用戶提供一種全新的人機交互方式，通過凝視實現(xiàn)更自然的互動，打造出沉浸式虛擬體驗。眼動追蹤早在幾十年前就已投入專項系統(tǒng)的使用。例如在醫(yī)療輔助設(shè)備方面，癱瘓患者能夠通過目光的移動操控輪椅和通訊工具。此外，眼動追蹤功能在智能手機和平板電腦上的應(yīng)用也已廣為人知。然而最能體現(xiàn)眼動追蹤技術(shù)優(yōu)勢的還是VR和AR此類的應(yīng)用場景。

截止目前，已有100多款游戲加入了眼動追蹤功能。Cineon與Aquila Jet Training合作開發(fā)了針對航空機長訓(xùn)練系統(tǒng)，利用VR眼動追蹤技術(shù)提供反饋眼動訓(xùn)練（FBEMT）。該系統(tǒng)監(jiān)視受訓(xùn)人員的視線，通過凝視、注視時長等模擬真實的航空飛行，從而提高訓(xùn)練者的洞察力。相似的案例還有《NeosVR》，這是一款在VR環(huán)境下提供給多人實時合作創(chuàng)造繪畫、影像等作品的社交類游戲。眼動追蹤技術(shù)使得玩家間在游戲中可以使用眼神進行交流，大大增加了用戶交流信息的帶寬以及用戶體驗，同時也增強了游戲的社交性。

（三）擬真人眼顯示

人類眼睛的工作機制與照相機有很多的相似之處：光線在一個物體或場景產(chǎn)生的反射通過一個透鏡進入眼睛。不過，由于人眼的視網(wǎng)膜在光線感知上的分布并不均衡，這使得眼球帶有折衷性的特征。例如，將人眼視野范圍的中央移動至周邊時，我們只能看到注視區(qū)域的細(xì)節(jié)，而我們視野中的較大部分周邊區(qū)域則處于模糊不清的狀態(tài)，該區(qū)域產(chǎn)生的圖像模糊且色彩較少。在這兩個區(qū)域之間，存在著一個叫做副中央?yún)^(qū)域的過渡區(qū)域。在此區(qū)域，當(dāng)我們從中央窩向周邊區(qū)域移動時，圖像的模糊程度會逐漸增加。

虛擬現(xiàn)實給體驗者身臨其境的沉浸感需要滿足諸多條件，例如逼真的畫面、高赫茲的刷新率等，而快速渲染以假亂真的畫面給計算機算力帶來了極大挑戰(zhàn)。與傳統(tǒng)屏幕相比，虛擬現(xiàn)實硬件多為高刷新率的雙屏幕顯示方式，兩塊屏幕分別對應(yīng)人的兩個眼睛，如此一來，進一步加劇了算力的負(fù)擔(dān)[4]。以HTC VIVE PRO硬件為例，該硬件的單眼分辨率為1400*1600，雙眼分辨率達到了2800*1600，遠(yuǎn)高于常見的2K分辨率。注視點渲染技術(shù)指的是通過眼球追蹤來識別用戶在VR中的注視點，從而動態(tài)地將注視范圍中心附近渲染清晰，而將邊緣區(qū)域進行模糊渲染。如此一來，注視點渲染方案大大降低計算機的運算負(fù)擔(dān)。根據(jù)NVIDIA與Tobii共同公布的注視點渲染技術(shù)數(shù)據(jù)顯示，注視點渲染技術(shù)可將渲染效果最高提升57%。與此同時，注視點渲染技術(shù)呈現(xiàn)的圖像更接近真實人眼的視覺習(xí)慣，減少了視覺疲勞、眩暈癥等諸多生理性不適情況。

三、眼動追蹤在虛擬現(xiàn)實中應(yīng)用的設(shè)計策略

在進行眼動虛擬現(xiàn)實體驗設(shè)計時，應(yīng)提前設(shè)計眼動信息的獲取方式并記錄，以便后續(xù)展開用戶體驗評測。眼動信息的收集不可影響體驗者正常的行為體驗。由于注視點渲染技術(shù)的逐步完善和普及，給予虛擬現(xiàn)實畫面更大的發(fā)揮空間。設(shè)計者可以考慮設(shè)計制作光影更加真實、人物動作更加生動、細(xì)節(jié)更加清晰的虛擬情景，來提高體驗者的臨場感。

眼動追蹤的加入給予了虛擬現(xiàn)實自然交互系統(tǒng)發(fā)展更多的可能性，眼動自然交互使得體驗者可以充分解放雙手，使用先天的眼動行為習(xí)慣進行表達和交互，降低學(xué)習(xí)成本。設(shè)計者應(yīng)著重考慮體驗者在虛擬情景下的自然眼動行為，如掃視、注視、閱讀等進行交互方式的設(shè)計，使得體驗者可以更加自覺地完成交互體驗。在信息策略設(shè)計上，由于三維虛擬情景具有真實性、沉浸感，應(yīng)盡量避免出現(xiàn)過多以文字、圖形、界面為元素的二維交互界面，若設(shè)計不當(dāng)，則會導(dǎo)致體驗者的沉浸感大打折扣。

四、在虛擬現(xiàn)實中的眼動交互設(shè)計策略案例實踐

（一）金蓮橋及御碑亭概況簡介

無錫惠山寺前的金蓮橋，是市內(nèi)現(xiàn)存最古老的石梁橋，建于宋，位于惠山寺御碑亭前，是由宋代抗金名相、無錫人李綱修建，距今已有800多年歷史。金蓮橋是由抱鼓石、石梁、螭首、望柱、欄桿、橋墩、橋面七種結(jié)構(gòu)組成的三孔石梁橋結(jié)構(gòu)，欄桿兩側(cè)具有荷葉凈瓶、纏枝牡丹等富有吉祥寓意的傳統(tǒng)紋樣，極具藝術(shù)審美韻味[5]。御碑亭，坐落于金蓮橋西側(cè)，始建于1770年，在四面墻壁上共有十二孔圓窗，寓意四通八達。亭內(nèi)中央樹立一碑，四面各有一首乾隆四下江南所提的四首御詩，乾隆筆下行云流水、妙筆生花。

目前大多虛擬現(xiàn)實產(chǎn)品中面臨著交互體驗差、沉浸感與臨場感差的問題。眼動追蹤技術(shù)的加入使得眼動交互成為可能。本實踐是一個基于眼動交互的建筑文化遺產(chǎn)VR作品，側(cè)重于將最新的虛擬現(xiàn)實交互技術(shù)應(yīng)用于建筑遺產(chǎn)的沉浸式體驗。在交互體驗的設(shè)計開發(fā)中，筆者研究了HTC VIVE PRO的眼動追蹤技術(shù)，在沉浸式場景中，實現(xiàn)了眼動交互的信息互動方式。

（二）虛擬現(xiàn)實眼動交互原型開發(fā)

筆者研究了HTV VIVE PRO中的眼動追蹤功能，并在此基礎(chǔ)之上開發(fā)完成了一組虛擬現(xiàn)實眼動交互系統(tǒng)，系統(tǒng)中交互方式以眼動交互方式減少了用戶學(xué)習(xí)手柄復(fù)雜的按鍵映射關(guān)系，大大降低了學(xué)習(xí)成本。首先，收集金蓮橋以及御碑亭的文獻資料，使用攝影測量的方式對金蓮橋以及亭內(nèi)的御碑進行了高保真的數(shù)字化重建，獲取其表面紋理以及三維模型信息，并在此基礎(chǔ)之上進行了多邊形拓?fù)?，使其可以在實機中更加流暢地運行。其次，在Unity3D中搭建虛擬場景，完成金蓮池、古樟樹、院落等三維資產(chǎn)的搭建，并使用光照烘焙技術(shù)使場景光照更加真實（如圖1）以此還原金蓮橋周邊古色古香的園林生態(tài)原貌。最后，在虛擬場景中介入HTC眼動SDK，并進行“拆解橋梁”“閱讀碑文”環(huán)節(jié)的眼動交互流程設(shè)計，完成對應(yīng)功能開發(fā)。

用戶進入虛擬現(xiàn)實眼動應(yīng)用后，可自由使用手柄基礎(chǔ)的移動功能進行唯一、自由地參觀，也可使用眼動交互進行系列操作。視野中會出現(xiàn)圓形小球，即用戶實現(xiàn)的注視點，給予用戶實時的眼睛注視點反饋，以便完成系列操作。

（三）眼動交互設(shè)計

目前大多虛擬現(xiàn)實交互應(yīng)用多為手柄交互為主，其原理是用手柄代作為擬世界中的手，完成選擇、瞄準(zhǔn)、拿取等交互行為。眼動交互則可以根據(jù)虛擬現(xiàn)實中獲取的眼動數(shù)據(jù)，測算出用戶實時的注視點，以此來代替?zhèn)鹘y(tǒng)手柄交互的選擇性行為。在應(yīng)用中，眼動交互的設(shè)計主要集中在“眼動交互UI”“拼接橋梁”和“閱讀碑文”上。

如圖2所示，筆者在虛擬情景中設(shè)立了一系列眼動交互UI，當(dāng)用戶注視UI一段時間且不中斷后即可激活。在注視期間，被注視物體出現(xiàn)選中提示并播放等待動畫，出現(xiàn)聲音反饋，完成后進入下一交互流程。區(qū)別于傳統(tǒng)手柄瞄準(zhǔn)后按下的交互方式，自然式眼動交互使得用戶可以在虛擬情景中充分解放雙手，更加自主交互，同時提升了用戶的沉浸感。

在“拼接橋梁”功能的開發(fā)上也采用了眼動交互的方式（如圖3）當(dāng)用戶注視金蓮橋某處結(jié)構(gòu)時，會出現(xiàn)相應(yīng)的交互反饋，保持注視一段時間后便會在結(jié)構(gòu)周圍出現(xiàn)對應(yīng)結(jié)構(gòu)的注釋和詳解。而在“閱讀碑文”功能開發(fā)上（如圖4），當(dāng)用戶在閱讀碑文的同時，就會獲取用戶的注視點，并激活注視點所在的詩句，顯示為高亮，并在一旁顯示詩句的解釋，長時間不被注視的詩句則會消失高亮。眼動交互的方式更加符合用戶在現(xiàn)實中搜索的自然習(xí)慣，同時，無意識的交互行為大大提高了交互的趣味性和反饋感。當(dāng)用戶在虛擬情景中進行閱讀詩句體驗期間，眼動交互給予的解釋反饋與現(xiàn)實中閱讀并理解古詩的訴求不謀而合。

五、結(jié)語

據(jù)經(jīng)Super Data預(yù)測，VR產(chǎn)業(yè)在2020年的全球收入將會達到29億美元，2023年就會增長至57億美元。任何新技術(shù)的到來都會經(jīng)歷一次“N”型曲線，虛擬現(xiàn)實自2016年的“VR元年”之后便處于發(fā)展瓶頸期，一蹶不振，但隨著計算機算力的提升、虛擬現(xiàn)實硬件價格的親民化、更多感知技術(shù)的完善和開發(fā)引擎功能的迭代，VR近期在不知不覺中再次成為熱點。筆者相信，虛擬現(xiàn)實未來的交互模式絕不局限于目前基礎(chǔ)的手柄與傳感器，而會是一種更加自主與沉浸式的交互方式。而眼動追蹤技術(shù)的加入使得這一需求得以實現(xiàn)。在今后虛擬現(xiàn)實的用戶體驗發(fā)展中，眼動追蹤將會越來越廣泛地應(yīng)用于虛擬現(xiàn)實用戶體驗之中，且發(fā)揮著不可估量的作用。

參考文獻：

[1]黃心淵，陳柏君.基于沉浸式傳播的虛擬現(xiàn)實藝術(shù)設(shè)計策略[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），2017（1）：85-89.

[2]苗嶺.虛擬現(xiàn)實技術(shù)在博物館敘事性設(shè)計中的應(yīng)用探索[J].包裝工程，2018（4）：15-18.

[3]侯守明，賈超蘭，張明敏.用于虛擬現(xiàn)實系統(tǒng)的眼動交互技術(shù)綜述[J].計算機應(yīng)用，2022（11）：3534-3543.

[4]章立，趙文軒，邱鈺，許文廣.基于自然交互的建筑文化遺產(chǎn)傳播模式研究——以金蓮橋為例[J].包裝工程，2021（22）：20-25.

[5]朱蓉，查娜，李鎮(zhèn)國.無錫古橋梁建筑藝術(shù)特色研究[J].創(chuàng)意與設(shè)計，2013（6）：83-87.

作者簡介：

趙文軒，江南大學(xué)設(shè)計學(xué)院藝術(shù)設(shè)計專業(yè)碩士研究生。研究方向：交互藝術(shù)、數(shù)字娛樂設(shè)計。

章立，江南大學(xué)設(shè)計學(xué)院副教授，碩士研究生導(dǎo)師。