曾健友，楊素怡，徐慶杰

(中國地質(zhì)大學(xué) 藝術(shù)與傳媒學(xué)院，湖北 武漢 430074)

1 引 言

巖心是研究地下地質(zhì)及礦產(chǎn)情況的重要實物地質(zhì)資料，一般經(jīng)整理裝盒后放置在巖心庫內(nèi)進行保存和管理，以供地質(zhì)工作人員研究使用。同時，巖心編錄也是地質(zhì)工作及教學(xué)中極其重要的一環(huán)，是地質(zhì)類專業(yè)學(xué)生必備的基本技能[1]。巖心標本在常規(guī)管理中因長期放置、頻繁采樣觀察等多種自然或人為因素，會受到不同程度的損壞，不利于后期的觀察研究工作[2]。

在巖心教學(xué)實習(xí)活動中，該類巖心標本資源更面臨著供需矛盾的困境[3]。為使學(xué)生能近距離觀察巖心以提升學(xué)習(xí)效果，學(xué)校首先要具備巖心庫條件，考慮學(xué)校巖心庫的物理空間、巖心存儲管理及相關(guān)資源分配等實際因素，往往存在供需矛盾、使用不便、學(xué)習(xí)時間不自由等問題，為此，多位學(xué)者以及相關(guān)企業(yè)提出了建設(shè)數(shù)字化巖心庫系統(tǒng)的構(gòu)想。例如陳振振等[4]設(shè)計了基于Web的興城地學(xué)巖心庫系統(tǒng)；彭濤等[5]以西藏甲瑪?shù)V區(qū)為例設(shè)計了巖心信息系統(tǒng)；程艷敏等[6]為華北油田建設(shè)了巖心數(shù)字化網(wǎng)絡(luò)系統(tǒng)等等。相關(guān)資料表明，目前國內(nèi)的克拉瑪依、大慶、大港、渤海等各大油田都開展了巖心數(shù)字化網(wǎng)絡(luò)研究[7]，這些系統(tǒng)設(shè)計的實現(xiàn)，極大地便利了巖心信息的管理與使用。用戶只需通過Web瀏覽器或客戶端即可訪問數(shù)字巖心庫，根據(jù)巖心鉆孔號、巖心架號、巖心箱號或其他關(guān)鍵字即可查詢所需信息，隨時對巖心進行觀察分析，不再受到地域和時間的限制，提高了科研、生產(chǎn)和決策的效率。且在部分巖心庫系統(tǒng)設(shè)計中，除了大量文本資料，用戶還能獲取到巖心的三維仿真模型，通過鼠標按鍵對巖心進行縮放和旋轉(zhuǎn)簡單操作，便于用戶觀察。

傳統(tǒng)的數(shù)字化巖心信息系統(tǒng)雖然解決了真實巖心庫使用過程中存在的問題[8]，但即使有三維仿真的巖心標本模型，也仍然缺少了真實感，無法取代用戶在真實巖心庫中親身觀察巖心的體驗。此外，目前建設(shè)的巖心信息系統(tǒng)多為專業(yè)用戶服務(wù)或僅對內(nèi)部開放，無法滿足高校學(xué)生及普通大眾的學(xué)習(xí)需求，不利于全民綜合科學(xué)素質(zhì)的提高。因此，推廣應(yīng)用虛擬現(xiàn)實技術(shù)構(gòu)建數(shù)字化巖心庫，不僅能很好地解決以上問題，在拓展傳統(tǒng)巖心庫功用的同時，達到擴展學(xué)習(xí)環(huán)境的效果；還能借助于數(shù)字化資源的可存儲性和易于共享的特性促進資源的共享和傳播[9]。虛擬巖心庫不再受物理空間的限制，通過資源共享，理論上即可獲取世界各地巖心庫的大量巖心信息，為地質(zhì)研究和相關(guān)人員帶來極大的便利。此外，基于其虛擬性，巖心模型不會產(chǎn)生人為學(xué)習(xí)研究時可能造成的形態(tài)損壞等不可修復(fù)性，普通公眾也因此可以通過虛擬巖心庫平臺近距離觀察巖心，使得廣大社會公眾都能得到進入巖心庫、了解相關(guān)地質(zhì)知識的機會。在此基礎(chǔ)上，結(jié)合多模態(tài)交互技術(shù)，為用戶提供視覺、聽覺、觸覺等多感官的交互方式，進一步提升用戶的沉浸感，使用戶在虛擬巖心庫中獲得更加自然高效的學(xué)習(xí)體驗。

2 虛擬巖心庫的多模態(tài)交互方式

多模態(tài)交互是一種通過使用兩種或多種輸入或輸出方式，使用戶界面達到自然、高效的方式[10]。目前的交互方式有語音、觸摸、手勢、凝視、面部表情、腦電波等[11,12]，下面將具體探討虛擬巖心庫中的幾種交互方式。

2.1 虛擬現(xiàn)實用戶界面

相關(guān)研究證明，外界信息中80 %的信息是通過視覺獲得的[13]，因此視覺通道在絕大多數(shù)用戶界面中都是最主要的信息呈現(xiàn)方式。虛擬現(xiàn)實(VR)用戶界面相較于傳統(tǒng)圖形用戶界面(GUI)，視野范圍得到了極大擴展，用戶不再局限于屏幕所呈現(xiàn)的固定內(nèi)容，而是可以360°全方位改變視角，相對自由的選擇視野中所呈現(xiàn)的內(nèi)容，進一步達到“以用戶為中心”的設(shè)計目標。

基于虛擬現(xiàn)實平臺環(huán)境特征和巖心庫中觀察巖心的主要功能，虛擬巖心庫也將遵循一般規(guī)則，以視覺通道作為信息呈現(xiàn)的主要方式。

2.2 力觸覺交互

五大感官信息通道中，力觸覺是人類獲取環(huán)境信息中僅次于視覺的重要感官通道。通過力觸覺再現(xiàn)建模技術(shù)，操作者可以感知力的大小、方向，并且在操縱虛擬物體的同時感受到物體的紋理、剛度、形狀等特征[14]。這種獨特的雙向信息交互能力，決定了力觸覺感知對VR用戶體驗的重要性，但目前力觸覺的真實再現(xiàn)還存在很多困難。

當前主流的虛擬現(xiàn)實平臺，如HTC Vive、Oculus Rift以及索尼PlayStation VR均采用手柄控制器作為標準的交互方式?？刂破魃系挠|摸板、扳機鍵、抓取鍵等物理按鍵都是一種簡單的力觸覺交互載體，用戶感知按鍵按下時即得到“確定觸發(fā)”的力反饋，此外，手柄還能提供簡單的振動反饋。

在虛擬巖心庫中，采用手柄控制器作為主要交互方式，通過按鍵觸發(fā)事件，進行用戶的瞬移、巖心的抓取、UI的選擇等操作；用手柄直接觸摸選擇(碰撞)描述巖心的標簽時，通過手柄振動向用戶傳達“已點擊”的反饋信息。

2.3 語音交互

語言是人類最主要的溝通方式，因此語音交互在人機交互中有著學(xué)習(xí)成本低的優(yōu)勢[15]，也是最自然的交互方式。近年來，得益于人工智能技術(shù)的快速發(fā)展，語音交互的核心技術(shù)也都取得了一系列突破性進展[16]。例如谷歌的Duplex技術(shù)，讓語音助手能夠自然流暢的與人類通話以完成餐廳預(yù)定等任務(wù)，它不僅能夠理解人類的自然語言，還能通過模仿人類對話中的語氣詞等細節(jié)表現(xiàn)得更像一個真實的人，極大提升了人機對話的體驗。

盡管語音交互技術(shù)在近幾年出現(xiàn)了革命性提高，但其能力主要體現(xiàn)在以語音交互為主的個人數(shù)字處理上，作為其他應(yīng)用的交互方式之一，語音交互效果仍存在很大提升空間。在現(xiàn)有VR應(yīng)用中，多為對簡短詞語的識別，例如使用語音直接說出“放大”或“縮小”對物體進行縮放操作，用戶還無法下達更為復(fù)雜的指令。

基于目前VR中的語音技術(shù)水平，虛擬巖心庫采用語音作為輔助交互方式，例如，專業(yè)用戶可通過語音說出巖心箱編號“JK1-140”直接取出鉆孔JK1井的第140箱巖心，也可通過語音對巖心進行簡單的旋轉(zhuǎn)、縮放操作。

3 虛擬巖心庫的多模態(tài)應(yīng)用策略

多模態(tài)交互模式的目標是向用戶提供多種與計算機交互的選擇方式，通過協(xié)調(diào)兩個或多個輸入模式，達到自然的用戶體驗。因此根據(jù)定義，沒有唯一的方法可以應(yīng)用于多模態(tài)交互的設(shè)計，需要根據(jù)項目需求，選擇合適的交互方式、確定多模態(tài)的組合類型以及集成策略。本文依據(jù)虛擬巖心庫的需求，結(jié)合Sharon Oviatt關(guān)于多模態(tài)交互的十大迷思[17]和Ritwik Dasgupta提出的新興的多模態(tài)原則[10]，探討其可用性問題，提出對應(yīng)的應(yīng)用策略。

3.1 不同交互方式擅長不同任務(wù)

圖形用戶界面更善于向用戶反饋信息。用戶能通過視覺立即從屏幕上直觀地看到當前狀態(tài)，但使用語音方式獲取同樣的狀態(tài)信息則需要更長的時間。此外，語音使用單一的聽覺通道進行信息的反饋，相較于通過聽覺獲取大量信息，人類通常更傾向于通過視覺觀察來獲取相同的信息。因此，基于虛擬巖心庫通過存儲大量圖文信息以供觀察學(xué)習(xí)的特性，圖形用戶界面無疑是虛擬巖心庫信息反饋方式的首要選擇。

對于基于動作的命令，用戶可能更喜歡使用語音。因為語音更加直接，并且與人類在日常生活中發(fā)出指令的行為相似。例如打開客廳空調(diào)這一行為，用戶使用語音只需要下達“打開客廳空調(diào)”的指令，與日常生活中直接按下空調(diào)啟動按鈕一樣直接與簡潔；如果使用圖形用戶界面，則需要按照順序依次選擇正確的選項(啟動“智能家居”APP——>進入“首頁”——>選擇“客廳空調(diào)”——>點擊“開關(guān)”按鈕)，通過多次點擊動作來完成相同的任務(wù)。在虛擬巖心庫中選取巖心進行觀察時，需要通過手柄控制器操作進入巖心庫、鉆孔井、巖心箱以及翻頁按鈕的一系列選擇操作。對于專業(yè)用戶和長期查看固定巖心箱的用戶而言，經(jīng)常使用手柄翻頁查找?guī)r心箱可能造成操作負擔(dān)，因此虛擬巖心庫同時提供語音交互方式，用戶只需要說出正確的巖心箱編號即可取出對應(yīng)巖心箱，用戶體驗顯著提升。

語音在多數(shù)情境下并非多模態(tài)交互中的主要模態(tài)。當有其他交互方式更利于完成用戶任務(wù)時，語音可能就僅僅只是一種備用的輸入模態(tài)。此外，語音交互還存在識別精度、環(huán)境要求、隱私等問題，因此在多模態(tài)交互設(shè)計中，語音只需要在最合適的情境下使用即可。例如，在虛擬巖心庫中選擇巖心盒時，語音僅作為手柄控制器的等價交互方式，并非特定任務(wù)的唯一交互方式，通過這種交互方式的可選擇性來優(yōu)化用戶體驗。

3.2 多模態(tài)并非單模態(tài)的簡單疊加

多模態(tài)集成中的重復(fù)信息有助于提高指令的精準度[18]。各種輸入模態(tài)都是通過識別技術(shù)來理解輸入進程的，因此識別器的精準度會影響識別結(jié)果。從計算角度來看，多種識別性輸入模態(tài)可以彼此強化以提高指令的整體精準度，從而增強用戶體驗，這也是多模態(tài)集成中的一個關(guān)鍵理念。所以從可用性角度來看，這種輸入模態(tài)間的補充特性不應(yīng)因其簡化輸入的優(yōu)點而被忽視。如在上例中，若用戶使用完整的語音指令和手柄選擇操作共同執(zhí)行放大巖心的任務(wù)，計算機通過對兩種輸入指令的識別，必定更加明確是哪塊巖心需要執(zhí)行放大命令，所以確保合適的多模態(tài)集成以達到補充效果非常重要。

不同模態(tài)可傳輸相似信息，但效果不同。上例中使用手柄控制器和語音結(jié)合的方式來放大巖心。在現(xiàn)有的技術(shù)條件下，還可使用凝視和語音的結(jié)合完成相同任務(wù)。如通過凝視看向需要放大的巖心，由視線跟蹤技術(shù)確定目標，再根據(jù)語音指令執(zhí)行放大命令。從單項用戶體驗的角度來看，通過凝視進行選擇是一種更加自然的交互方式，但基于現(xiàn)有的各項交互技術(shù)水平、虛擬巖心庫的場景以及用戶對VR環(huán)境目前的感知程度等，若增添凝視以選擇交互對象，在沒有視覺提示元素的情況下會由于缺失反饋造成用戶困惑；在增添視覺提示元素的情況下，則會一定程度地破壞虛擬巖心庫場景的整體視覺效果，使界面操作看起來更加復(fù)雜。要想凝視交互在原有效果上達到進一步優(yōu)化用戶體驗的目的，則需要在設(shè)計時投入大量的研究和考量。因此，虛擬巖心庫將不會采用凝視作為選擇物體時的交互方式之一。所以在進行多模態(tài)交互方式的設(shè)計時，要從可用性的角度考慮，采用哪些輸入模態(tài)、用何種方式結(jié)合，并用于哪些場景，這些都需要與項目的實際情況緊密結(jié)合。

3.3 用戶對交互方式的偏好不同

允許用戶選擇自己喜歡的方式進行交互。首先要明確，建立一個多模態(tài)系統(tǒng)并不意味著用戶一定會用多模態(tài)方式進行交互，他們不會使用多模態(tài)的形式發(fā)出所有指令。其次，所有用戶發(fā)出的多模態(tài)指令不會以相同的方式集成，不同用戶會使用不同的方式來操作多模態(tài)系統(tǒng)。例如，對于同一任務(wù)，系統(tǒng)應(yīng)既能滿足用戶使用語音和手勢發(fā)出指令，也能滿足使用語音和凝視發(fā)出指令，或僅使用語音來完成交互。因此，指令結(jié)構(gòu)、多模態(tài)集成方案都應(yīng)具有靈活性，這對人機之間的自然交流非常重要。雖然這種集成方式的選擇設(shè)計會使整體用戶界面更加復(fù)雜，但無疑具有最廣泛的概括性，所以同樣需要設(shè)計師根據(jù)項目需求進行權(quán)衡。此外，不同的使用情境，也會影響用戶對交互方式的選擇。例如在人口密集的環(huán)境使用語音交互伴隨的隱私問題、在公共場合使用姿勢交互造成的尷尬氛圍等。因此，應(yīng)當允許用戶自行決定使用哪種方式進行交互，以獲得舒適且更加滿意的體驗。

綜上所述，高效并不是多模態(tài)系統(tǒng)的僅有優(yōu)勢，它還能降低單個識別系統(tǒng)的錯誤率、提高用戶與系統(tǒng)交互時的靈活性。正因為多模態(tài)交互的復(fù)雜性，心理學(xué)、認知科學(xué)、軟件工程學(xué)和人機交互等多個學(xué)科領(lǐng)域都對多模態(tài)系統(tǒng)的成功設(shè)計發(fā)揮著重要作用。

4 基于多模態(tài)交互的虛擬巖心庫教學(xué)設(shè)計

本節(jié)將以取出鉆孔JK1井的巖心箱進行觀察學(xué)習(xí)的流程為例，介紹虛擬巖心庫的多模態(tài)交互系統(tǒng)。為了匹配系統(tǒng)和現(xiàn)實世界，首先假定一個案例情景——某次巖心實驗教學(xué)課程，教師帶領(lǐng)班級學(xué)生進入巖心庫，對鉆孔JK1井的巖心進行觀察學(xué)習(xí)。

以 A 組學(xué)生為例，按步驟描述進入真實巖心庫進行學(xué)習(xí)的各個過程：

1)進入巖心庫前，教師向?qū)W生說明巖心庫相關(guān)規(guī)章制度及注意事項；

2)教師帶領(lǐng)學(xué)生進入巖心庫；

3)A組學(xué)生(共7人)取出編號為“JK1-140”的巖心箱(箱內(nèi)共7塊巖心)；

4)A組學(xué)生共同觀察該箱巖心的整體情況，并做相應(yīng)學(xué)習(xí)筆記；

5)A組每位學(xué)生分別選擇一塊巖心進行細致觀察，并做相應(yīng)學(xué)習(xí)筆記；

7)A組學(xué)生甲等待一定時間后，同組學(xué)生乙才完成觀察，甲、乙交換巖心繼續(xù)學(xué)習(xí)。

為了在發(fā)揮數(shù)字化巖心信息系統(tǒng)優(yōu)勢的同時，保留真實環(huán)境的現(xiàn)場感，本文提出構(gòu)建基于虛擬現(xiàn)實技術(shù)的虛擬巖心庫，通過多模態(tài)的交互方式，營造具有臨場感且更接近自然交互的用戶體驗。下面仍然以上面取出巖心進行觀察學(xué)習(xí)的流程為例，完整的介紹虛擬巖心庫系統(tǒng)的設(shè)計。

4.1 設(shè)計制作軟硬件環(huán)境

1)三維模型制作：Cinema 4D R20;

2)UI界面制作：Adobe Photoshop CC2019;

3)游戲引擎：Unity 3D;

4)VR平臺：HTC Vive。

4.2 場景漫游

圖1 選擇目標位置Fig.1 Select the target location

虛擬巖心庫通過資源共享，內(nèi)置多個巖心庫資料，用戶可以按需選擇以進入對應(yīng)巖心庫的虛擬現(xiàn)實場景。若用戶使用VR設(shè)備的真實物理空間充足且安全，用戶可如現(xiàn)實世界一樣在虛擬巖心庫中走動以及觀察巖心庫環(huán)境；若用戶真實物理空間中的活動范圍有限，則可通過手柄控制器激活瞬移按鍵，選擇合適的目標位置后釋放按鍵以確定，完成用戶在虛擬巖心庫中的位置移動(圖1)。此外，還可使用語音“前進”、“后退”、“左移”、“右移”的指令完成移動位置的任務(wù)，但目前通過語音進行移動的步幅固定，且距離較短，想要移動到較遠位置，則需要下達多次語音指令，不如手柄操作靈活快速。

4.3 巖心取放

用戶可以通過場景漫游選擇想要觀察的巖心箱，也可通過手柄控制器的菜單鍵調(diào)出“選擇巖心箱”的功能面板，激活控制器射線選擇對應(yīng)巖心箱圖片(圖2)，即可跳轉(zhuǎn)至該巖心箱所在位置。再通過手柄抓取鍵，從巖心架上取出巖心箱放置在桌上。同樣使用抓取鍵從巖心箱中取出巖心即可。

圖2 “選擇巖心箱”功能面板Fig.2 The function panel of select the drill core box

在真實巖心庫中還原整理巖心時，可能發(fā)生巖心位置錯置的情況，而在VR環(huán)境中通過自動吸附能有效解決這一問題。為每塊巖心設(shè)置正確的存儲位置以及自動吸附范圍，用戶將巖心移動到其吸附范圍內(nèi)時，巖心的標準放置位置就會高亮顯示(圖3)，用戶此時釋放巖心即可讓其自動歸位，巖心箱可同樣使用此方法歸位至巖心架，從而提高整個巖心庫的整理效率。

圖3 巖心標準放置位置高亮顯示Fig.3 Highlight the drill core standard placement

4.4 巖心觀察

為提升用戶體驗，發(fā)揮虛擬現(xiàn)實環(huán)境的優(yōu)勢，巖心設(shè)置為不受重力影響。用戶按下抓取鍵從巖心箱中取出巖心，巖心將跟隨手柄控制器移動，釋放按鍵即可讓巖心懸停在該處，不會受重力下落，便于用戶全方位觀察，同時避免了觀察過程中需手持巖心造成的負擔(dān)，且可繼續(xù)取出其他巖心，進行對比觀察。

對巖心進行初步觀察后，可按下菜單鍵以顯示該巖心的編錄號和詳細文本信息，此時巖心表面會同步高亮顯示其地質(zhì)特征標記(圖4)。因此，該信息面板既可作為查詢巖心詳情的渠道之一，也可作為學(xué)生用戶觀察巖心后進行自學(xué)檢查的方式。

圖4 巖心詳情信息面板Fig.4 The panel of the drill core detail information

此外，每個實驗桌上還配備有光學(xué)顯微鏡，用于觀測巖心薄片的內(nèi)部結(jié)構(gòu)(圖5)。當用戶抓取巖心靠近顯微鏡，與之進行碰撞檢測后，顯微鏡上會顯示該巖心中可供選擇的薄片，由于該方法僅在選擇有代表性的巖心時，分析結(jié)果才具有實際價值，因此不同巖心會顯示數(shù)量不等的薄片，選擇薄片后即可呈現(xiàn)該巖心的鏡下結(jié)構(gòu)，從而展開進一步的觀察。

圖5 選擇巖心薄片F(xiàn)ig.5 Select the drill core slice

4.5 學(xué)習(xí)檢測

用戶按下左手柄控制器的常規(guī)菜單即可調(diào)出“知識檢測”面板，由此對巖心相關(guān)知識的掌握程度進行測試，以了解自己的學(xué)習(xí)情況。測試題可由程序設(shè)計覆蓋大量題目，用戶每次進入該面板時，隨機出現(xiàn)數(shù)量相等的不同題目。此外還可根據(jù)用戶需求設(shè)置不同難度、不同類型的題庫以供用戶自由選擇。測試完成后，系統(tǒng)自動計算成績，并以此為依據(jù)給出下一步的學(xué)習(xí)建議。

4.6 學(xué)習(xí)輔助

圖6 畫筆工具的使用Fig.6 Use the brush tool

圖7 選擇巖心描述標簽Fig.7 Select description labels of thedrill core

左手控制器的觸摸板可調(diào)出圓環(huán)菜單，內(nèi)置四個功能按鈕，用于巖心的觀察學(xué)習(xí)。其中，畫筆工具可直接在巖心周邊圈點寫字(圖6)，用作學(xué)習(xí)筆記功能；標簽工具則可提供常見的地質(zhì)描述文本，如巖心的顏色、結(jié)構(gòu)以及礦物成分等，用戶可根據(jù)觀察，選擇相應(yīng)的描述性標簽，放置在巖心對應(yīng)特征處(圖7)，作為觀察記錄；縮放/旋轉(zhuǎn)工具可通過滑塊控制巖心的放大縮小以及旋轉(zhuǎn)(圖8)，用戶同樣可以直接用控制器抓取巖心，更為直觀的操控巖心的位置和觀察角度；顯示/隱藏工具則用于控制各功能面板及其標記的顯示狀態(tài)。此外，實驗桌抽屜內(nèi)也放置了巖心觀察所需的其他工具，通過抓取鍵即可獲取使用。

圖8 縮放巖心Fig.8 Scale the drill core

為進一步提升用戶學(xué)習(xí)效果，虛擬巖心庫會跟蹤并存儲用戶學(xué)習(xí)痕跡。一方面，隨著用戶使用次數(shù)的增加，逐漸形成更符合用戶個人情況的學(xué)習(xí)空間，例如，在“知識檢測”中記錄錯題(圖9)，既可供用戶復(fù)習(xí)回顧，也可在用戶下次進行學(xué)習(xí)檢測時，由程序設(shè)定的運算規(guī)則隨機給出更適合用戶當前學(xué)習(xí)程度的題目，以達到鞏固和逐步提升的效果，從而真正形成以用戶為中心的個性化學(xué)習(xí)環(huán)境。另一方面，程序可對所有用戶的學(xué)習(xí)記錄進行收集分類，任課教師可據(jù)此數(shù)據(jù)查看分析學(xué)生的各項學(xué)習(xí)情況，從而準確又靈活的調(diào)整教學(xué)方案，強化課堂教學(xué)效果。

圖9 查看錯題Fig.9 Check wrong questions

在虛擬巖心庫中，所有交互操作都可通過左右兩個手柄控制器完成。其中選擇確定的方式主要分為兩類：一種是通過射線進行遠距離選擇，用戶可以通過射線的指向，清晰觀察到被選擇的對象；另一種是通過碰撞檢測進行近距離選擇，這種方式更符合人類的自然交互模式，但在VR環(huán)境中“觸碰”的并非真實物體，不會產(chǎn)生觸感，用戶無法確定對象是否已被選擇或點擊，所以借助手柄的振動反饋替代觸覺感知，向用戶傳達“已選擇該對象”的信息。

另外，由于語音技術(shù)在VR環(huán)境中的應(yīng)用還不夠成熟，因此在虛擬巖心庫中僅作為等價型交互方式供用戶選擇。例如，在選擇巖心庫、巖心箱時，用戶可直接說出對應(yīng)名稱以完成選擇操作；在多頁面板中，可通過“上一頁”、“下一頁”的語音指令實現(xiàn)翻頁；在選取工具時，可用工具名稱的同名命令“放大鏡”、“尺子”等直接取出或更換手中的工具。

根據(jù)以上設(shè)計應(yīng)用可以看出，虛擬巖心庫不僅可以同時發(fā)揮真實巖心庫和數(shù)字巖心庫的優(yōu)勢，還具備豐富的信息呈現(xiàn)形式以及多模態(tài)的交互方式，能使用戶獲得更加直觀、自然的交互體驗，提升用戶的使用效率和滿意度。

5 結(jié) 語

本文對多模態(tài)交互進行了研究分析，提出了基于多模態(tài)交互的虛擬巖心庫構(gòu)建，為地學(xué)研究人員提供更加豐富的研究渠道，解決巖心在長期自然存放中因氧化和風(fēng)化造成原貌損壞從而影響研究準確率的問題；為高校地質(zhì)教學(xué)節(jié)省物理存儲空間，降低巖心管理上人力、財力的消耗，解決大量現(xiàn)實條件因素造成的供需矛盾問題；為普通社會公眾創(chuàng)造了進入巖心庫近身觀察了解巖心知識的機會，使專業(yè)地質(zhì)資料、實驗室不再遙不可及，滿足了人民群眾日益增長的文化知識需求，真正做到資源共享、惠及全民。

目前，虛擬現(xiàn)實技術(shù)在各領(lǐng)域均有所應(yīng)用，語音、力觸覺、姿勢、凝視、肌電和腦電等交互技術(shù)也在不斷發(fā)展，但各種交互技術(shù)的研究現(xiàn)狀不盡相同，多模態(tài)結(jié)合時也往往難以發(fā)揮單個模態(tài)當前的最佳技術(shù)水平。然而，多模態(tài)交互帶來的用戶體驗是不可否認的，技術(shù)的進步與融合也是必然的發(fā)展趨勢?？梢韵胂螅褂酶尤诵曰恼Z音操作、使用更加精細的觸覺反饋裝置感受交互對象的紋理重量、使用電腦控制界面的呈現(xiàn)內(nèi)容、使用面部表情捕捉和視線跟蹤技術(shù)收集用戶數(shù)據(jù)以優(yōu)化系統(tǒng)，這些在未來的虛擬巖心庫設(shè)計以及其他領(lǐng)域的應(yīng)用中都將得以實現(xiàn)，從而為全民生活各方面的體驗帶來極大提升。