文/莊曉雪 邵申弘

引言

虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，VR）作為一種擴(kuò)展現(xiàn)實(shí)技術(shù)，正逐漸改變?nèi)祟惻c計(jì)算機(jī)交互的方式。隨著5G和大數(shù)據(jù)的進(jìn)一步發(fā)展，VR技術(shù)迅速成為包括教育在內(nèi)的各個(gè)領(lǐng)域的主流技術(shù)，虛擬現(xiàn)實(shí)帶來了教育方法的革新，成為促進(jìn)教育發(fā)展的新型教育模式。[1]文章借助虛擬現(xiàn)實(shí)技術(shù)建立鋼琴結(jié)構(gòu)在線教學(xué)平臺，是從探索學(xué)生學(xué)習(xí)多樣化、教師教學(xué)方式優(yōu)化的新角度出發(fā)，整合與課程內(nèi)容相關(guān)的實(shí)踐模塊，構(gòu)建具有基礎(chǔ)理論知識的教學(xué)資源，形成線上線下一體化的專業(yè)課程，豐富當(dāng)前高等教育的模式和內(nèi)容。[2]

一、VR技術(shù)的特點(diǎn)及分類

VR技術(shù)由人工智能傳感器、計(jì)算機(jī)技術(shù)、仿真技術(shù)、立體現(xiàn)實(shí)技術(shù)等不同類型技術(shù)相結(jié)合，是當(dāng)今最高水平的多媒體應(yīng)用之一。1983年有學(xué)者在研究中提出了虛擬現(xiàn)實(shí)技術(shù)的三角關(guān)系，即沉浸式（Immersion）、交互性（Interaction）和想象性（Imagination），被稱為3I特性。除了3I特性，當(dāng)代研究者認(rèn)為虛擬現(xiàn)實(shí)技術(shù)還具備多感知性（Multi Perception），現(xiàn)在統(tǒng)稱為3I+M。在實(shí)際應(yīng)用中，從系統(tǒng)形式、應(yīng)用方向和沉浸程度等方面歸納，可以概括為桌面式虛擬現(xiàn)實(shí)、沉浸式虛擬現(xiàn)實(shí)、增強(qiáng)式虛擬現(xiàn)實(shí)、分布式虛擬現(xiàn)實(shí)系統(tǒng)形式[3]。VR鋼琴結(jié)構(gòu)教學(xué)采用沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，通過佩戴VR頭顯和手柄交互設(shè)備為師生提供完整的虛擬現(xiàn)實(shí)教學(xué)體驗(yàn)。

二、鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)的優(yōu)勢

《鋼琴結(jié)構(gòu)概論》[4]是音樂科技系研究生和本科生的必修課程，作為一門專業(yè)基礎(chǔ)課程，在理論學(xué)習(xí)與實(shí)踐操作中起到承上啟下的“橋梁”作用。學(xué)習(xí)鋼琴結(jié)構(gòu)有助于為鍵盤樂器修造專業(yè)方向的學(xué)生進(jìn)行鋼琴調(diào)整、修復(fù)實(shí)踐打下堅(jiān)實(shí)的理論基礎(chǔ)。鋼琴具有音域廣、零部件數(shù)量多、內(nèi)部結(jié)構(gòu)復(fù)雜等特點(diǎn)。傳統(tǒng)的線上鋼琴結(jié)構(gòu)教學(xué)由于缺乏教具以及在展示實(shí)物教具的過程中受光線、角度等因素的影響而無法將其完美呈現(xiàn)給學(xué)生，從而達(dá)不到高質(zhì)量的教學(xué)效果。VR教學(xué)被視為21世紀(jì)的教學(xué)學(xué)習(xí)輔助工具，作為現(xiàn)代信息技術(shù)的引領(lǐng)者使得該技術(shù)引入到鋼琴結(jié)構(gòu)教學(xué)中成為現(xiàn)實(shí)，從而能夠采用新的方法論和教育技術(shù)來豐富課堂教學(xué)。

（一）實(shí)現(xiàn)VR+數(shù)字教具，深化課堂教學(xué)內(nèi)容

理論教學(xué)與實(shí)踐操作是相輔相成、缺一不可的。傳統(tǒng)鋼琴結(jié)構(gòu)教學(xué)大多以教材、PPT、動(dòng)畫演示加上教具進(jìn)行教學(xué)，教材中2D平面內(nèi)容無法呈現(xiàn)真實(shí)空間立體感，這就導(dǎo)致學(xué)習(xí)與應(yīng)用相結(jié)合存在一定的局限性、課堂教學(xué)質(zhì)量不高、學(xué)生對知識的理解不夠深入等問題的產(chǎn)生。因此，借助VR技術(shù)搭建的虛擬三維模型將鋼琴各部分結(jié)構(gòu)形象化、立體化，給學(xué)生帶來全新的視覺體驗(yàn)，彌補(bǔ)課堂教學(xué)中2D平面圖和動(dòng)畫的不足，突破了學(xué)生學(xué)習(xí)鋼琴結(jié)構(gòu)的空間瓶頸，從而對所學(xué)內(nèi)容有更加深刻的理解，開拓學(xué)生學(xué)習(xí)的廣度和深度。

（二）體驗(yàn)式學(xué)習(xí)，搭建互動(dòng)教學(xué)環(huán)境

VR使用視覺豐富的仿真提供體驗(yàn)式學(xué)習(xí)，佩戴VR設(shè)備的學(xué)生可以完全沉浸在構(gòu)建的虛擬現(xiàn)實(shí)課堂環(huán)境中。虛擬現(xiàn)實(shí)技術(shù)采用3D模仿實(shí)體鋼琴的構(gòu)造，實(shí)現(xiàn)虛擬拆卸零件，學(xué)生能夠自主對鋼琴各部分零件進(jìn)行拆裝、旋轉(zhuǎn)，從不同視角觀看鋼琴的內(nèi)外結(jié)構(gòu)及對應(yīng)的名稱，充分認(rèn)識各個(gè)零部件，了解其工作原理。人機(jī)交互界面提供給學(xué)生更加真實(shí)的視覺感受，提高學(xué)生對于虛擬場景的體驗(yàn)。VR教學(xué)豐富課堂形式，引導(dǎo)學(xué)生動(dòng)手操作，真正做到以學(xué)生為中心的課堂教學(xué)模式，進(jìn)一步解放學(xué)生的感性思維，激發(fā)創(chuàng)造性思維。

（三）遠(yuǎn)程學(xué)習(xí)，突破時(shí)空限制

虛擬現(xiàn)實(shí)技術(shù)讓我們從書籍、多媒體課件轉(zhuǎn)向使用交互技術(shù)來幫助傳授和理解知識，并為教育者和學(xué)習(xí)者提供不受時(shí)空限制的平臺，學(xué)生能夠通過PC端、移動(dòng)端、VR端等多種形式自主學(xué)習(xí)相關(guān)課程。VR環(huán)境提供不同于現(xiàn)實(shí)世界里的教室、教科書或傳統(tǒng)線上學(xué)習(xí)的體驗(yàn)，并以有效的方式傳遞準(zhǔn)確的信息。[5]虛擬現(xiàn)實(shí)技術(shù)雖然不太可能很快取代傳統(tǒng)的面對面教學(xué)模式，但隨著數(shù)字時(shí)代的發(fā)展，VR輔助教學(xué)將會越來越受歡迎，為教育領(lǐng)域新的教學(xué)模式，給學(xué)生的學(xué)習(xí)之旅帶來更趣的學(xué)習(xí)體驗(yàn)。

三、鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)的設(shè)計(jì)及應(yīng)用

本項(xiàng)目以臥式鋼琴為教學(xué)對象，利用VR技術(shù)搭建基于Unity3D的鋼琴結(jié)構(gòu)教學(xué)系統(tǒng)，完成對鋼琴結(jié)構(gòu)整體、局部虛擬仿真教學(xué)的實(shí)現(xiàn)。系統(tǒng)設(shè)計(jì)通過軟件和硬件相結(jié)合，包括鋼琴零部件模型構(gòu)建、用戶界面設(shè)計(jì)實(shí)現(xiàn)、系統(tǒng)交互的實(shí)現(xiàn)等，最后對完成的系統(tǒng)進(jìn)行集成發(fā)布。

圖1 臥式鋼琴結(jié)構(gòu)建模圖

（一）鋼琴結(jié)構(gòu)三維建模

為了高度還原鋼琴結(jié)構(gòu)教學(xué)過程，采用3Ds Max對鋼琴內(nèi)外部結(jié)構(gòu)進(jìn)行建模（圖1）。通過收集鋼琴的三維模型圖片、尺寸和形狀信息、材料屬性等資料，在3Ds Max中構(gòu)建零部件模型。由于鋼琴內(nèi)外部結(jié)構(gòu)包含許多不規(guī)則且精細(xì)的零部件，為提高建模效率和模型檢修工藝適配度，將其進(jìn)行分層建模。對初步建造的模型進(jìn)行輕量化處理，然后進(jìn)行材質(zhì)設(shè)置與貼圖烘焙。為給用戶提供更具有真實(shí)感體驗(yàn)，采用Substance Painter對模型進(jìn)行PBR材質(zhì)貼圖，在此之前需要對模型進(jìn)行拓?fù)?、展UV操作，為最終材質(zhì)貼圖的效果提供保證。在Substance painter軟件中制作好材質(zhì)效果后，將貼圖導(dǎo)出到Unity引擎中，為下一步實(shí)現(xiàn)交互功能奠定基礎(chǔ)。

（二）基于Unity3D引擎進(jìn)行交互設(shè)計(jì)

鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)借助Unity 3D進(jìn)行開發(fā)（圖2）。首先將FBX格式的模型文件導(dǎo)入U(xiǎn)nity 3D的資源文件夾Assets中，調(diào)整模型位置與模型間的相對關(guān)系，并進(jìn)行檢查和調(diào)整；針對需要調(diào)整或修改的模型細(xì)節(jié)，可以自己進(jìn)行材質(zhì)與貼圖的后期編輯。

虛擬現(xiàn)實(shí)教學(xué)需要將模型與操作者進(jìn)行虛擬交互，利用C#腳本語言進(jìn)行交互開發(fā)，3D模型交互功能主要采用VR一體機(jī)（Pico）和手柄來實(shí)現(xiàn)。為了將VR鋼琴結(jié)構(gòu)教學(xué)變成現(xiàn)實(shí)，需要?jiǎng)?chuàng)建基于此設(shè)想的3D模型，這里通過使用Pico設(shè)備和PC端相結(jié)合的方式開展模型的創(chuàng)建，從而實(shí)現(xiàn)模型開發(fā)過程中開發(fā)者制作可視化和模型成果可供使用者佩戴頭戴式設(shè)備進(jìn)行體驗(yàn)等優(yōu)勢。具體建設(shè)過程如下[6]：

首先進(jìn)行開發(fā)前的準(zhǔn)備，為了方便開發(fā)，在Pico開發(fā)者平臺里下載預(yù)覽工具，安裝官方所提供的apk包。

其次進(jìn)行基礎(chǔ)配置，將操作平臺切換至安卓平臺，在Package Manager中安裝XR Interaction Toolkit，并導(dǎo)入官方提供的3個(gè)Sample。在Package Manager中安裝XR Plugin Management，用于簡化 XR 插件管理的包，提供有關(guān) XR 插件的加載、初始化、設(shè)置和構(gòu)建支持的幫助和管理功能。之后在Pico開發(fā)者平臺安裝SDK，此時(shí)安裝的SDK是LTS版本，目前支持Neo3和Pico4系列。導(dǎo)入官方的Json文件并且在XR Plugin Management的Android和PC中勾選Pico，最后將Starter Assets中的預(yù)設(shè)文件添加為默認(rèn)，從而提供給Unity用戶學(xué)習(xí)和擴(kuò)展使用的Player控制器的功能，包括人物移動(dòng)、跳躍、加速奔跑以及攝像機(jī)控制。

在基礎(chǔ)配置準(zhǔn)備就緒后進(jìn)行Pico項(xiàng)目配置，第一步進(jìn)行添加XR Origin，第二步給雙手控制器添加預(yù)設(shè)，最后打開Preview Tool進(jìn)行測試，直到看到Pico和兩個(gè)手柄都生效，到這一步剛好結(jié)束對于Pico項(xiàng)目的配置。

最后是添加基礎(chǔ)功能，以達(dá)到完善操作過程。在VR鋼琴結(jié)構(gòu)教學(xué)中，在虛擬平臺中玩家需實(shí)現(xiàn)移動(dòng)、射線指示、射線抓取物品等功能。根據(jù)不同功能添加相應(yīng)組件，然后將制作的腳本和3D模型通過mono編譯成資源，再通過Unity選擇相對應(yīng)的平臺進(jìn)行打包。Unity 3D支持多平臺的發(fā)布，系統(tǒng)發(fā)布后便可在所發(fā)布的獨(dú)立平臺上運(yùn)行。

（三）鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)的應(yīng)用及評估

圖2 利用unity 3D開發(fā)的鋼琴結(jié)構(gòu)各部分零件的拆裝功能

鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)構(gòu)建完成后，邀請十名相關(guān)專業(yè)學(xué)生進(jìn)行初步應(yīng)用并在自主體驗(yàn)結(jié)束后進(jìn)行訪談和問卷調(diào)查（圖3），主要圍繞“是否接受該教學(xué)模式”“能否提高學(xué)習(xí)效率”“能否激發(fā)學(xué)習(xí)興趣”等方面進(jìn)行調(diào)查分析。調(diào)查結(jié)果顯示所有參與者均能接受虛擬現(xiàn)實(shí)教學(xué)模式，認(rèn)為該教學(xué)模式新穎有趣，能夠提高課堂吸引力。關(guān)于學(xué)習(xí)效率，大部分學(xué)生認(rèn)為VR教學(xué)平臺讓每個(gè)學(xué)生都能全方位觀察到鋼琴各部分結(jié)構(gòu)，課后還能重復(fù)學(xué)習(xí)，在一定程度上提高了學(xué)習(xí)效率。70%的學(xué)生認(rèn)為虛擬現(xiàn)實(shí)教學(xué)最大的優(yōu)勢是不受時(shí)空的限制。結(jié)合問卷調(diào)查結(jié)果對學(xué)生進(jìn)行一對一訪談，鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)在學(xué)習(xí)效率、互動(dòng)體驗(yàn)和便捷程度等方面占有優(yōu)勢，具有一定推廣應(yīng)用的價(jià)值。但還存在一些不足之處，例如教學(xué)內(nèi)容不夠完善，鋼琴結(jié)構(gòu)細(xì)節(jié)的設(shè)計(jì)還有待加強(qiáng)。因此，在今后的研究中將對本系統(tǒng)進(jìn)一步地完善及優(yōu)化。

圖3 學(xué)生體驗(yàn)鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng)

結(jié)論

文章利用建模技術(shù)、虛擬現(xiàn)實(shí)技術(shù)，以臥式鋼琴的結(jié)構(gòu)為原型，從虛擬現(xiàn)實(shí)教學(xué)的角度出發(fā)，在Unity平臺上對鋼琴結(jié)構(gòu)虛擬現(xiàn)實(shí)教學(xué)項(xiàng)目進(jìn)行開發(fā)設(shè)計(jì)，實(shí)現(xiàn)了鋼琴結(jié)構(gòu)的虛擬可視化，為師生帶來沉浸式的教、學(xué)體驗(yàn)。虛擬現(xiàn)實(shí)技術(shù)與教育相結(jié)合形成一種嶄新的線上教育模式，突破師生教學(xué)過程中時(shí)間和空間的局限性，滿足學(xué)生在線學(xué)習(xí)的需要，進(jìn)一步提高學(xué)生的技能水平，不斷優(yōu)化和提升鋼琴結(jié)構(gòu)課程教學(xué)模式和學(xué)習(xí)者參與方式。