（東北大學(xué)軟件學(xué)院 遼寧·沈陽 110000）

0 引言

隨著近年來高等教育實驗教學(xué)改革和實驗項目信息化建設(shè)的不斷推進(jìn)，為響應(yīng)國家教育部關(guān)于開展示范性虛擬仿真實驗教學(xué)項目建設(shè)的號召，充分利用信息技術(shù)與高等教育實驗教學(xué)深度融合、教育資源共建共享的先進(jìn)機(jī)制，拓展實驗教學(xué)內(nèi)容的廣度和深度、延伸實驗教學(xué)的時間和空間、提升實驗教學(xué)的質(zhì)量和水平，搭建高靈活性、互動性、操作復(fù)雜性的物理實驗室系統(tǒng)對數(shù)字化教育平臺建設(shè)具有重要意義。本文利用包括基于物理的實時渲染技術(shù)在內(nèi)的多種數(shù)字還原技術(shù)，結(jié)合應(yīng)用廣泛的虛擬現(xiàn)實開發(fā)平臺，以數(shù)據(jù)手套作為交互設(shè)備，通過若干個典型的中學(xué)物理實驗的仿真還原，設(shè)計并實現(xiàn)一個虛擬物理實驗系統(tǒng)，驗證物理實驗在虛擬現(xiàn)實平臺的可操作性以及數(shù)據(jù)手套在虛擬物理實驗中便捷、精確和直觀的交互方式。

1 相關(guān)技術(shù)

1.1 Unity引擎

Unity引擎是一款被廣泛使用的實時3D開發(fā)工具，由于其成熟的開發(fā)流程、豐富的開發(fā)資源，近年來被用作虛擬現(xiàn)實內(nèi)容的首選開發(fā)平臺。其優(yōu)秀的跨平臺特性也為虛擬現(xiàn)實和多體感交互開發(fā)提供了便利。

1.2 3DMax

3D Studio Max，常簡稱為3d Max或3ds Max，是Discreet公司開發(fā)的基于 PC平臺的三維動畫渲染和制作軟件。3ds Max是廣為人熟知的3D內(nèi)容制作工具，性價比較高、易于上手且插件資源豐富，廣泛應(yīng)用于廣告、影視、工業(yè)設(shè)計、建筑設(shè)計、三維動畫、多媒體制作、游戲、以及工程可視化等領(lǐng)域。

1.3 Substance Painter

Substance Painter是一款基于物理效果的材質(zhì)制作工具，在追求真實質(zhì)感表達(dá)的3D仿真類項目中，常被用于制作逼真的材質(zhì)效果。

1.4 PBR技術(shù)

PBR全稱是Physically Based Rendering，基于物理的渲染，是時下非常流行的擬真渲染技術(shù)?；谖锢淼匿秩炯夹g(shù)使用物理原理來模擬光和物質(zhì)之間的相互作用。它是利用真實世界的原理和理論，通過各種數(shù)學(xué)方法推導(dǎo)或簡化或模擬出一系列渲染方程，并依賴計算機(jī)硬件和圖形API渲染出擬真畫面的技術(shù)。

1.5 數(shù)據(jù)手套

數(shù)據(jù)手套是一種多模式的虛擬現(xiàn)實硬件，可進(jìn)行虛擬場景中抓取、移動、旋轉(zhuǎn)等操作，也可利用它的多模式性，控制場景漫游。本項目采用的數(shù)據(jù)手套為Noitom Hi5（圖1），采用慣性動作捕捉技術(shù)實現(xiàn)對手部姿態(tài)的獲取。NoitomHi5手套配備7顆9軸高性能慣性傳感器，可達(dá)到低于5ms的延遲，在腕部還提供振動模塊，可以在使用時產(chǎn)生震動觸覺反饋，增加虛擬現(xiàn)實中的沉浸感。

圖1：Noitom Hi5數(shù)據(jù)手套

2 系統(tǒng)設(shè)計

2.1 場景設(shè)計

本系統(tǒng)主要由五個虛擬場景組成：一個主場景、三個主題場景和一個多人合作場景。在場景設(shè)計上遵循場景風(fēng)格服務(wù)場景功能的原則。

如圖2所示，主場景用于基本實驗操作，為使用者進(jìn)行中學(xué)物理實驗提供虛擬場所，仿真實驗的主要目的則在于通過仿真程序來實現(xiàn)真實世界的實驗，在節(jié)省器材資源和降低實驗風(fēng)險的情況下產(chǎn)生相同于真實實驗甚至實現(xiàn)真實實驗達(dá)不到的效果。

圖2：主場景與實驗器材

為了滿足以上需求，在實驗選取方面，選取以下實驗：（1）驗證動量守恒定律；（2）牛頓擺球；（3）描述小電珠的伏安特性曲線；（4）影響滑動摩擦力大小的因素；（5）利用氣墊導(dǎo)軌驗證牛頓第二定律。

主題場景則提供寓教于樂的交互場景，每個主題場景都以一個中學(xué)物理知識模塊為主題，將該模塊內(nèi)的知識靈活搭配，創(chuàng)造一個具體的環(huán)境以鍛煉學(xué)生使用本模塊所學(xué)物理知識解決實際問題的能力。

2.2 交互功能設(shè)計

本系統(tǒng)為“多體感”的虛擬物理實驗室系統(tǒng)，“多體感”是指交互方式上將涉及數(shù)據(jù)手套、虛擬現(xiàn)實平臺等多元交互設(shè)備的使用。在向虛擬實驗系統(tǒng)中引入復(fù)雜交互設(shè)備的同時，提高交互設(shè)備為使用者帶來的體驗升級便成為系統(tǒng)開發(fā)的重要內(nèi)容，本部分內(nèi)容將從操作的功能分析、交互設(shè)計、具體實驗的交互開發(fā)這三個方面闡述本系統(tǒng)的開發(fā)工作。

2.2.1 操作功能分析

人物漫游：使用者通過VR設(shè)備對虛擬場景進(jìn)行觀察，并可在場景中移動的功能。

物體交互：使用者通過數(shù)據(jù)手套與模型交互的功能。通過對數(shù)據(jù)手套進(jìn)行邏輯控制，讓使用者能在虛擬環(huán)境中觸碰、抓取、移動、操作實驗器材。

2.2.2 操作功能模塊設(shè)計

操作功能包括使用者在虛擬場景內(nèi)的移動、觀察，以及與實驗器材的交互操作，如抓取、觸摸、旋轉(zhuǎn)等。如圖3所示，本系統(tǒng)在用戶的模型手背上添加了操作按鈕，激活此按鈕后，用戶手掌中心將生成一個控制移動的虛擬搖桿，操作搖桿即可在虛擬場景中任意移動。

圖3：控制移動的虛擬搖桿

2.2.3 實驗交互功能模塊設(shè)計

實驗交互功能是對每個物理實驗操作仿真的具體實現(xiàn)，包括器材交互和UI交互。對于不同的器材，需要設(shè)計與其實際使用相適應(yīng)的交互方式，如電學(xué)元件的連接、砝碼的夾取等。本部分以“探究影響滑動摩擦力大小的因素”實驗為例，展示相關(guān)設(shè)計。

由圖4實驗流程圖可以看出，在該實驗中，用戶需要完成對小車及其上砝碼的放置操作。砝碼的放置需要使用鑷子進(jìn)行夾取，通過限制交互手段、UI提示等多種方法向用戶說明儀器的操作規(guī)范。此外，在UI系統(tǒng)和實驗操作流程中采用正交化的設(shè)計方式，可以在確保操作自由度的同時，避免因操作順序錯誤出現(xiàn)的邏輯沖突。

圖4：“探究影響滑動摩擦力大小的因素”實驗流程

3 系統(tǒng)實現(xiàn)

3.1 場景模型與特效制作

完成本項目場景制作的PBR流程：使用3ds max進(jìn)行多邊形建模、拆分UV后導(dǎo)入substancepainter完成法線、AO貼圖的制作，繪制材質(zhì)貼圖，最后將模型和材質(zhì)貼圖導(dǎo)入unity引擎中進(jìn)行配置并對場景進(jìn)行打光和烘焙。

在Unity渲染方面，采用靜態(tài)烘焙和實時渲染相結(jié)合的方式，對于可運動的實驗器材采用實時渲染，而對于靜止不動的場景物體則使用靜態(tài)烘焙節(jié)約性能并合并模型網(wǎng)格。如圖5所示，對于主題場景中的一些特效，如電流激光等，則使用unity的粒子系統(tǒng)實現(xiàn)。

圖5：電磁學(xué)主題場景中的粒子特效

3.2 實驗器材的物理仿真

（1）小球碰撞驗證動量守恒：為使小球遵循動量定理，在引擎中使用物理材質(zhì)，并將Bounciness屬性設(shè)為最大。賦予小球碰撞體和剛體組件，在剛體組件中設(shè)置質(zhì)量參數(shù)以使引擎進(jìn)行正確的物理計算。

（2）托盤天平的仿真模擬：天平仿真的一大難題在于物理計算的精度和模型質(zhì)心的位置問題。最后采用這樣的優(yōu)化方法：在模型部分將托盤天平橫梁的坐標(biāo)軸設(shè)置在其旋轉(zhuǎn)中心，并凍結(jié)將此物體坐標(biāo)軸使其只能繞定軸旋轉(zhuǎn)。天平的效果通過包圍多個碰撞盒實現(xiàn)。

（3）描述小電珠的伏安特性曲線：電路的模擬需要通過腳本進(jìn)行邏輯電路處理來實現(xiàn)。由于每個部件的旋鈕處都需要判斷是否有導(dǎo)線連接，因此在每一個部件的導(dǎo)線接口上添加一個觸發(fā)器進(jìn)行統(tǒng)一管理。

（4）不同粗糙表面的模擬：通過調(diào)節(jié)軌道物理材質(zhì)中有關(guān)動摩擦因數(shù)的屬性數(shù)值來實現(xiàn)。

3.3 數(shù)據(jù)手套交互實現(xiàn)

3.3.1 數(shù)據(jù)手套的導(dǎo)入配置

本項目直接使用數(shù)據(jù)手套開發(fā)商提供的SDK進(jìn)行開發(fā)。數(shù)據(jù)手套軟件部分的交互邏輯主要分為識別可交互物體、分類可交互物體、抓取、觸碰等。項目中需要按如下步驟對項目進(jìn)行配置：（1）相關(guān)插件的導(dǎo)入；（2）項目設(shè)置；（3）場景物體的層級設(shè)置；（4）物理檢測設(shè)置；（5）虛擬現(xiàn)實配置；（6）數(shù)據(jù)手套模型配置。

3.3.2 數(shù)據(jù)手套的交互配置

場景中數(shù)據(jù)手套交互的物體分為三類：單體物體、按鈕/觸發(fā)器、組合物體。針對不同類別的物體交互配置的步驟如下：

（1）單體物體：向所有可交互單體的根節(jié)點添加用于交互管理的組件，并對特定單體添加用于處理各類交互事件、注冊/取消注冊交互、識別交互類型和交互物體ID的組件。在完成組件的設(shè)置后，需要設(shè)置單體的層級、添加剛體組件并設(shè)置物理學(xué)屬性，同時添加一個不渲染，但使用相同網(wǎng)格的子物體，設(shè)置為觸發(fā)器，用于對目標(biāo)物體的觸發(fā)檢測。

（2）按鈕/觸發(fā)器：按鈕/觸發(fā)器與單體物體相似，但不需要添加子物體。

（3）組合物體：組合物體組合物體通常包含多個模型，需要先解散原有的層級結(jié)構(gòu)，將各部分子模型都調(diào)整為同一層級，再在該層級的基礎(chǔ)上，對每個模型使用單體物體的設(shè)置。

3.3.3 數(shù)據(jù)手套的交互邏輯

虛擬物理實驗操作的交互理念是盡可能還原真實的操作。所以數(shù)據(jù)手套的交互也將遵循這個原則。相較于單獨使用vr controller，數(shù)據(jù)手套在仿真體驗方面更接近真實操作，也更符合用戶的使用習(xí)慣。如圖6所示，利用數(shù)據(jù)手套將現(xiàn)實中的實驗交互方式映射到虛擬場景中變成了一件相對容易的事情，通過在手部模型上增加觸發(fā)器檢測點，可以與實驗設(shè)備建立起交互聯(lián)系。除數(shù)據(jù)手套SDK所提供的識別交互物體、觸碰、抓取的交互邏輯外，項目還需解決使用者在使用過程中對于一些設(shè)備的特定交互方式，比如在空手狀態(tài)下不可抓取砝碼，這些特定的邏輯通過腳本檢測加以實現(xiàn)。

圖6：數(shù)據(jù)手套使用戶能以自然的交互方式操作儀器

4 系統(tǒng)測試

4.1 數(shù)據(jù)手套交互測試

表1：數(shù)據(jù)手套交互測試用例表

分析表1，交互部分的問題可分為兩類：

第一類問題：由于數(shù)據(jù)手套精度無法準(zhǔn)確模擬手指運動導(dǎo)致一些操作難以模擬。此類問題可通過增加觸發(fā)器與鎖定位置的方法解決。

第二類問題：由于物理模擬存在的限制，導(dǎo)致無法直接用簡單的抓取操作進(jìn)行交互，否則會有器材部件出現(xiàn)偏移的情況。此類問題主要分三步解決：第一步是以部件的限制軌道作為參考系確認(rèn)部件的運動方式；第二步將移動部件設(shè)置為限制軌道部件的子物體；第三步是根據(jù)第一步確定的運動方式限制軸向并通過腳本加以修正。

4.2 數(shù)據(jù)手套硬件性能測試

表2：數(shù)據(jù)手套精度測試

表3：數(shù)據(jù)手套靈敏度測試

表4：數(shù)據(jù)手套響應(yīng)范圍測試

表5：數(shù)據(jù)手套容錯率測試

表6：數(shù)據(jù)手套連接穩(wěn)定性測試

測試結(jié)果總結(jié)：

有關(guān)數(shù)據(jù)手套的精度，如（表2）（表5）所示，部分情況下手套模型與現(xiàn)實手部的動作并不完全一致，在實際手指第一指節(jié)旋轉(zhuǎn)90°時模型手卻已經(jīng)握攏。但不影響本項目所選實驗的交互。如（表3）所示，在不出現(xiàn)定位丟失的情況下，手套的輸出靈敏度可達(dá)到標(biāo)稱的180Hz，可以滿足絕大多數(shù)情況下的使用。（表4）的測試結(jié)果則表明，活動場地不宜超過以接收器為圓心、半徑5米的圓形。

綜上所述，手套整體性能表現(xiàn)良好，精度、靈敏度、容錯率、穩(wěn)定性（表6）可以充分滿足開發(fā)需求，響應(yīng)范圍雖有限（6m），但也足以支持本項目的開發(fā)需求。

5 總結(jié)

實踐表明，在進(jìn)行步驟簡化和設(shè)計修正下，數(shù)據(jù)手套運用于虛擬物理實驗室中能夠模擬絕大部分中學(xué)物理實驗的手部操作，結(jié)合擬真的虛擬實驗場景，可以對現(xiàn)實中的物理實驗進(jìn)行有效還原。數(shù)據(jù)手套與虛擬實驗的有效配合還可以加快實驗速度、提高專注度和沉浸感。但目前數(shù)據(jù)手套的仍存在精度低等諸多問題?？傮w來說，數(shù)據(jù)手套在仿真教學(xué)中具有廣泛的前景，多體感交互技術(shù)將是現(xiàn)代化教學(xué)的重要趨勢，隨著軟硬件技術(shù)的不斷升級，細(xì)節(jié)問題終將解決，屆時，多體感交互與虛擬現(xiàn)實技術(shù)將在教育領(lǐng)域發(fā)揮更大的作用。