張曉媛，陳 斌

（北京大學 地球與空間科學學院，北京 100871）

0 引言

隨著社會經(jīng)濟的飛速發(fā)展，各種不可預知和極具競爭性的挑戰(zhàn)越來越多。2020 年，突如其來的新冠肺炎疫情不僅對各個傳統(tǒng)行業(yè)產(chǎn)生巨大威脅，也給教育教學帶來了不小的影響，例如：實驗儀器操作教學無法現(xiàn)場實踐，野外實習教學無法親身參與等。但是，虛擬現(xiàn)實技術的萌生和發(fā)展很大程度上彌補了這一空缺和不足，很好地滿足了在家學生“停課不停學”的需求。

虛擬現(xiàn)實作為當前學術界和工業(yè)界的一個熱門話題，也是仿真技術的一個重要研究熱點。虛擬現(xiàn)實技術使用戶通過佩戴眼鏡、頭盔等虛擬設備進入到虛擬環(huán)境中，從而實現(xiàn)對現(xiàn)實事物的理解?；谂宕魇皆O備的虛擬現(xiàn)實技術雖然滿足了人們對視覺和聽覺的需求，卻忽略了觸覺感受，導致用戶在體驗時沉浸感不強。然而在建筑、醫(yī)學、實驗等特殊的學習場景中，對觸覺的追求是非常重要的。

在目前的虛擬現(xiàn)實設備和研究中，感知更多地集中在手勢和動作上，對于模擬基本接觸行為、阻力、結(jié)構(gòu)感知等解決方案的制定還不成熟?；诖?，本文在虛擬現(xiàn)實技術發(fā)展的理論基礎上，利用計算機模擬技術搭建虛擬環(huán)境，設計觸覺反饋交互系統(tǒng)，并開發(fā)野外地質(zhì)環(huán)境模型，借助可穿戴式虛擬現(xiàn)實設備，統(tǒng)計分析現(xiàn)場和虛擬環(huán)境條件下用戶的學習感受。最后，闡述基于虛擬現(xiàn)實的沉浸式觸覺技術對于實習實踐教學的優(yōu)勢，以期對傳統(tǒng)的大型野外地質(zhì)教學改革提供一些新的方法和思路。

1 理論基礎

1.1 虛擬現(xiàn)實技術

虛擬現(xiàn)實技術是基于計算機圖形學、人機交互、傳感器、計算機視覺、心理學甚至人工智能等發(fā)展起來的一種交叉學科。它以計算機接收器為主體，在虛擬現(xiàn)實設備中創(chuàng)建虛擬環(huán)境。整體上，虛擬現(xiàn)實技術具有四方面的特征：

1）多感官性。在虛擬環(huán)境中，用戶不局限于在視覺和聽覺感官上得到體驗，在嗅覺、觸覺上也可以產(chǎn)生同樣的感官體驗。

2）沉浸性。它是指用戶在當前虛擬環(huán)境中得到的感官體驗程度。理想的虛擬現(xiàn)實環(huán)境的目標就是創(chuàng)建一個場景來模擬現(xiàn)實世界，結(jié)合虛擬現(xiàn)實技術的特點，產(chǎn)生特效，讓用戶沉浸其中。

3）交互性。它是指用戶在虛擬環(huán)境中與任何物體以自然方式進行相互操作。虛擬環(huán)境中物體具有兼容性，用戶在虛擬環(huán)境中觸摸物體時，能感覺到物體自然特征。

4）構(gòu)想性。虛擬現(xiàn)實環(huán)境中，用戶可以充分發(fā)揮創(chuàng)新事物的思維能力。

1.2 基于虛擬現(xiàn)實的觸覺反饋交互技術及其應用發(fā)展趨勢

1.2.1 基于虛擬現(xiàn)實的觸覺反饋交互技術

感觸反饋交互是指人的某一部位接觸計算機搭建的虛擬場景時，人機之間互相傳遞的溫度、壓力等觸覺信息進入人的神經(jīng)系統(tǒng)，從而使大腦清晰成像的一種技術。工作原理：觸覺反饋設備接收虛擬環(huán)境中的傳感信息，通過振動或者力的形式反饋給用戶；用戶收到感知后產(chǎn)生動作或手勢，將信號反饋至觸覺反饋設備中；設備經(jīng)過計算機處理將控制信號反饋至虛擬環(huán)境；環(huán)境接收到控制信號后，將其轉(zhuǎn)換為視覺信號傳遞至視覺顯示設備；最后用戶通過可佩戴式眼鏡或頭盔感知三維成像照片，進而控制虛擬環(huán)境中的物體。觸覺反饋原理圖如圖1所示。

圖1 虛擬現(xiàn)實中的觸覺反饋工作原理

反饋設備：基于載體的觸覺反饋才能得以呈現(xiàn)。目前應用較為廣泛的主要有手持式、可穿戴式、陣列反饋設備三種。

1.2.2 觸覺反饋交互技術的發(fā)展趨勢

在目前的人機交互研究中，基于虛擬現(xiàn)實的視覺和聽覺反饋交互技術的研究較為成熟，對于觸覺反饋研究起步較晚。近年來，多數(shù)研究圍繞觸覺反饋研究開展：韓國慶尚大學研制的利用穿戴式頭盔及觸覺手套，在3D 訓練模擬系統(tǒng)中訓練實習醫(yī)師及護士進行高危新生兒感染控制；美國俄亥俄州立大學在物理教學實驗中開發(fā)出基于振動反饋和力反饋的軟/硬件系統(tǒng)，用來幫助學生更好地感知砝碼距離杠桿支點遠近時力的大小反饋。對于觸覺反饋交互技術的研究，也不只局限于醫(yī)學、實驗、教學等方面，未來會被應用于多維度、多行業(yè)、多學科交叉的領域中。

2 基于虛擬現(xiàn)實的觸覺反饋模型設計方案

2.1 設計模型

虛擬環(huán)境下觸覺感知反饋模型的設計本質(zhì)上是將被感知物體提取并抽象化為提示信息，進而被感知對象接收并將動作反饋至感知物體/自然環(huán)境中的映射過程。觸覺反饋的主要目的是將觸覺信息傳遞給用戶，用戶在一系列的觸覺刺激下的動作與觸覺反饋設備所要表達的內(nèi)容達成一致。

基于虛擬現(xiàn)實的觸覺反饋的設計模型如圖2 所示。該模型由交互對象、對象自然特征、觸覺感知元素、用戶4 個部分組成。系統(tǒng)通過提取、抽象交互對象，將其自然特征轉(zhuǎn)換為觸覺感知元素，同時觸覺感知元素形成提示信息傳遞給用戶，用戶做出相應的感知反饋。

圖2 虛擬現(xiàn)實中的觸覺反饋設計模型

2.2 設計流程

虛擬環(huán)境下的觸覺反饋設計模型可為系統(tǒng)將對象自然特征和觸覺感知元素相互映射提供一種思路。本文在已有觸覺反饋設計流程的基礎上，將實驗設計流程分為確定設計目標、設計對象、設計感知元素、建立對象與感知元素間映射、形成設計方案、評估方案等6 個部分。其中，設計目標、設計對象、設計感知元素為分析問題階段，建立對象與感知元素間映射過程和形成設計方案為解決問題階段，評估方案為結(jié)果評價階段。具體設計流程如圖3 所示。

圖3 虛擬現(xiàn)實中的觸覺反饋模型設計流程

3 野外地質(zhì)實習實例場景應用

3.1 應用背景與數(shù)據(jù)獲取

傳統(tǒng)的野外地質(zhì)教學往往存在以下幾方面的問題：

1）實習者缺乏對實習地點的地質(zhì)背景的了解，導致在實踐教學時，實習者獲取地質(zhì)知識效果不理想；

2）通常野外地質(zhì)實習路線較長，地形復雜，對于實習實踐者身體和心理都有著極大的考驗；

3）受氣候因素的影響，復雜環(huán)境下的實習路線往往存在較大的安全隱患等。

這些因素都極大地影響了野外地質(zhì)實習的效果，導致實習者無法得到相應的沉浸感，造成教學效率低下。基于此，本文通過對北京昌平虎峪地質(zhì)實習點進行研究，構(gòu)建了一個基于虛擬現(xiàn)實的沉浸式觸覺反饋交互模型系統(tǒng)，并著重探討了該模型在實習區(qū)域不同地層巖性、不同構(gòu)造特征等對實習者帶來的觸覺感受反饋程度。

虎峪地區(qū)地處華北平原與燕山山脈交界處，該地區(qū)出露著太古-中元古界地層，地質(zhì)現(xiàn)象非常豐富，是進行野外地質(zhì)實習的典型剖面之一。本文使用Insta360 Pro2 全景相機獲取實習區(qū)全景影像，在實習區(qū)共設置10 個全景相機觀察點，每個觀察點間距1 m，用以模擬實習觀測路線，如圖4 所示。

圖4 虎峪實習區(qū)部分全景影像展示圖

3.2 實驗設備與場景搭建

野外地質(zhì)虛擬模型是由客戶端、服務器端、動作捕捉端組成的網(wǎng)絡體系，虛擬平臺搭建采用Unity 3D 引擎開發(fā)。服務器端同時對應多個服務器端，以便多用戶同時使用。每個服務器端都配置有HTC Vive 頭盔，及與之相匹配的由Manus VR 公司生產(chǎn)的虛擬現(xiàn)實手套。

將全景照片通過PTGui Pro12 拼接軟件合成8K 分辨率（7 680×3 840）的全景影像，利用3ds MAX 三維圖像編輯軟件創(chuàng)建若干法向量向內(nèi)、分段數(shù)為150 的球體，并將其導入至Unity 3D 中。再將全景影像圖片設置成無光照的紋理投影到球體上，就可以完成全景影像場景的搭建。根據(jù)實際拍攝時每個全景影像拍攝點的間距和方位，在系統(tǒng)中設置多個不同的球面表示不同的全景場景。用戶在佩戴虛擬現(xiàn)實設備后，可進行虛擬漫游及動作捕捉，由此獲得良好的沉浸體驗。用戶沉浸式感觸實例圖如圖5 所示。

圖5 虛擬野外實習考察系統(tǒng)中用戶沉浸式感觸實例

3.3 應用效果與調(diào)查反饋

為了檢驗野外地質(zhì)實習虛擬模型是否具有良好的有效性及體驗感，文中研究設計了包含系統(tǒng)性能及體驗效果兩方面的問卷調(diào)查。其中，系統(tǒng)性能主要指流暢性、動作捕捉準確率兩個內(nèi)容。流暢性以用戶使用10 min 以上時是否出現(xiàn)眩暈和漫游畫面不連貫為主；動作捕捉準確率表現(xiàn)為用戶在進行漫游時，觸摸場景/物體是否達到預定地點。

體驗效果以觸感體驗真實性為主，主要表現(xiàn)在用戶感觸某一物體時，是否具有接觸真實物體的沉浸感。問卷中每列項目均以好、中、差分級評價。

問卷調(diào)研對象共50 名，收集到有效調(diào)研反饋共43 份（老師25 人，學生18 人；男性29 人，女性14 人），如表1 所示。由表1 可知，基于虛擬現(xiàn)實的沉浸式觸覺交互技術在野外地質(zhì)實習虛擬模型中得到了良好應用，模型在系統(tǒng)流暢性、動作捕捉準確率、觸感體驗真實性等方面都擁有較高的體驗價值。

表1 虛擬野外實習考察系統(tǒng)中用戶沉浸式感觸效果調(diào)查

4 結(jié)語

虛擬現(xiàn)實技術在傳統(tǒng)行業(yè)中的應用越來越廣泛，其中，基于虛擬現(xiàn)實的沉浸式觸覺交互技術未來具有很大的發(fā)展?jié)摿蜕虡I(yè)價值。本文利用穿戴式虛擬現(xiàn)實設備對地球科學中的地質(zhì)實習方向進行了模擬，取得的良好效果體現(xiàn)在：用戶在使用時，可充分發(fā)揮主觀能動性，極大地提高學習動力和效率。未來該技術可在地質(zhì)類學科及院校中普及。