沈陽 紀海林 葉心怡 孟啟帆 駱巖林
[摘? ?要] 傳統(tǒng)物理實驗教學(xué)存在實驗器材受限、教學(xué)內(nèi)容枯燥、學(xué)生參與度不足等困境?;谔摂M現(xiàn)實技術(shù)(以下簡稱VR)的沉浸式學(xué)習(xí)以學(xué)生為主體,提供沉浸式、交互性及可復(fù)用性的學(xué)習(xí)體驗,可以很好地突破當(dāng)前傳統(tǒng)實驗教學(xué)的瓶頸。針對當(dāng)前虛擬學(xué)習(xí)環(huán)境中較為普遍的臨場感缺乏和交互體驗受限等問題,研究重點關(guān)注沉浸式學(xué)習(xí)中人機交互技術(shù)應(yīng)用和學(xué)習(xí)者的力/觸覺體驗對實驗學(xué)習(xí)效果的影響。將VR交互技術(shù)中的力反饋引入K12物理實驗教學(xué)場景設(shè)計中,通過準實驗評估力反饋在沉浸式學(xué)習(xí)中的應(yīng)用效果。結(jié)果顯示,在VR沉浸式學(xué)習(xí)中,使用力反饋技術(shù)可以顯著提高學(xué)習(xí)者的真實感和交互效率,但對知識增益沒有產(chǎn)生顯著性影響。通過研究,為深入探索沉浸式學(xué)習(xí)中的人機交互設(shè)計、力反饋在科學(xué)教育等教學(xué)場景的應(yīng)用及發(fā)展適宜性策略等提供借鑒。
[關(guān)鍵詞] 虛擬現(xiàn)實; 沉浸式學(xué)習(xí); 人機交互; 力反饋技術(shù); 物理實驗教學(xué)
[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A
[作者簡介] 沈陽(1985—),女,安徽宿州人。助理研究員,博士,主要從事虛擬現(xiàn)實教育應(yīng)用、智慧學(xué)習(xí)環(huán)境設(shè)計與評測、教育心理與行為大數(shù)據(jù)等研究。E-mail:shenyang@bnu.edu.cn。
基金項目:全國教育科學(xué)規(guī)劃2022年度教育部重點課題“基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)者沉浸體驗評估模型構(gòu)建與實證研究”(課題編號:DCA220451)
一、研究背景
眾所周知,物理概念、原理和規(guī)律等知識具有抽象、過程復(fù)雜、內(nèi)容深奧等特點,學(xué)生掌握起來比較困難。物理學(xué)中的概念或規(guī)律的發(fā)現(xiàn)、探究和確立大多依賴實驗[1]。物理實驗是物理學(xué)科的基礎(chǔ),物理實驗教學(xué)對提升學(xué)生物理核心素養(yǎng)具有重要意義[2]。由于條件制約,一些實驗無法在課堂上進行,只能借助課本上的圖示和課堂講授,這可能導(dǎo)致學(xué)生認知迷航。在學(xué)校教室開展的實驗存在很多不容忽視的問題,如實驗器材設(shè)備短缺、實驗時間受限以及對實驗安全和費用的顧慮等,影響學(xué)生進行真實實驗的效果[3]。利用信息技術(shù)手段輔助實驗教學(xué)能夠更新實驗教學(xué)理念、改變實驗教學(xué)手段、優(yōu)化實驗教學(xué)方法、突破常規(guī)實驗儀器局限、提高實驗教學(xué)效率[4]。
隨著計算機模擬技術(shù)的不斷發(fā)展,新型學(xué)習(xí)和實驗方案已被開發(fā)。虛擬現(xiàn)實技術(shù)(Virtual Reality,VR)因其提供沉浸式體驗和交互式操作,被認為是教與學(xué)的重要技術(shù)之一[5]。近年來,VR技術(shù)在我國基礎(chǔ)教育領(lǐng)域中廣泛應(yīng)用,對教學(xué)效果產(chǎn)生積極影響[6]。VR技術(shù)與物理實驗教學(xué)融合發(fā)展,在物理實驗教學(xué)中具有獨特優(yōu)勢[7]?;赩R技術(shù)的虛擬實驗室可提供沉浸交互的實驗教學(xué),針對資源不足、危險性高或現(xiàn)實無法開展的實驗進行設(shè)計,實現(xiàn)以學(xué)生為主體的教學(xué)過程,從而改善學(xué)習(xí)體驗[8]。當(dāng)前物理學(xué)習(xí)中,基于VR的學(xué)習(xí)環(huán)境大多只通過VR設(shè)備提供視覺和聽覺體驗,而對虛擬物體的力/觸覺感知關(guān)注較少。作為VR人機交互技術(shù)中的重要分支——力反饋技術(shù),可以將虛擬物體的動態(tài)變化以力的形式傳遞給學(xué)生,從而產(chǎn)生觸碰真實物體的感受,增加互動性和沉浸感。目前,VR和力反饋技術(shù)的結(jié)合正在成為教育研究和實踐探索的重要領(lǐng)域,在遠程學(xué)習(xí)、互動教學(xué)和計算機模擬領(lǐng)域發(fā)揮著重要作用[9-10];適用于如醫(yī)學(xué)、物理學(xué)和生物學(xué)等教學(xué)中需要學(xué)生親身實踐以獲得經(jīng)驗、構(gòu)建知識和掌握技能的學(xué)科。支持力反饋的沉浸式虛擬現(xiàn)實在物理實驗和學(xué)習(xí)中具有巨大潛力。
二、研究現(xiàn)狀與相關(guān)基礎(chǔ)
(一)沉浸式VR與具身認知理論
VR技術(shù)對學(xué)習(xí)效果的影響已經(jīng)被廣泛探討,但不同類型的VR在學(xué)習(xí)內(nèi)容方面的影響機制還有待進一步研究[11]。通常,VR可以通過各種顯示設(shè)備,如臺式機、頭戴式顯示器或移動設(shè)備,以及匹配的交互設(shè)備,如鍵盤、手柄或觸控筆來訪問。沉浸程度根據(jù)采用設(shè)備的不同而不同。Mandal等人將VR分為三大類:非沉浸式桌面VR、半沉浸式VR和沉浸式VR,其中,沉浸式VR通過基于技術(shù)的多種感官刺激增強用戶的沉浸體驗[12]。
沉浸式VR應(yīng)用在教育中有益于革新學(xué)習(xí)方式,構(gòu)建多樣化的學(xué)習(xí)場景,為學(xué)生提供與虛擬對象多感官互動的機會,而在現(xiàn)實物理世界中很難接觸到這些對象[13-14]?;赩R技術(shù)搭建的虛擬實驗平臺,可以完成傳統(tǒng)教學(xué)實驗中難以完成的一些危險性實驗或成本較高的實驗,解決了實驗設(shè)備及儀器不足等問題[15]。傳統(tǒng)物理教學(xué)大多局限在一維的物理空間,而VR技術(shù)則可以拓展為物理實驗空間和虛擬空間相融合的二維空間,在此環(huán)境中,教師無須移動實驗設(shè)備且能夠靈活組織教學(xué),從而提高教學(xué)效率[16]。技術(shù)和教學(xué)的結(jié)合促進沉浸式VR在K12科學(xué)教育中的應(yīng)用[17]。學(xué)生可以通過在三維虛擬環(huán)境中與虛擬化身互動,進一步加深對知識概念的理解[18-19]。利用沉浸式VR開發(fā)的虛擬實驗室可以幫助學(xué)生進行物理、化學(xué)、地理和生物等方面的實驗,提高實踐能力[20-21]。
具身認知理論是心智、身體和環(huán)境的一體論,認為學(xué)習(xí)受到學(xué)生心智和身體與環(huán)境互動方式的影響[22],VR技術(shù)能夠推動這一有機體的融合發(fā)展[23]。具身認知理論應(yīng)用于物理學(xué)習(xí),多感官輸入(包括視覺、聽覺和力覺)的教育模擬交互可以作為K12學(xué)習(xí)者的認知基礎(chǔ)[24]。因此,在真實或虛擬的物理操作對象中添加模擬交互是提升學(xué)習(xí)者認知效果的一種方式。根據(jù)具身認知理論,支持力反饋的VR物理實驗教學(xué)環(huán)境使學(xué)生能夠通過交互設(shè)備控制虛擬物體的運動,并感受與物理環(huán)境相似的力反饋,從而獲得實踐經(jīng)驗,加深對物理概念和規(guī)律的理解[25]。
(二)力反饋技術(shù)及其教育應(yīng)用
力反饋技術(shù)是一種新型人機交互技術(shù),允許用戶使用設(shè)備獲得類似于真實世界的力感。力反饋設(shè)備跟蹤用戶的運動、進行檢測碰撞、計算反饋力并對用戶施加力[26-27]。根據(jù)多媒體學(xué)習(xí)認知理論中的雙通道原則,圖像和聲音可以從多感官來交互刺激學(xué)習(xí)者的記憶,若對視覺通道和聽覺通道一次呈現(xiàn)太多的加工元素,將會超出學(xué)習(xí)者的認知負荷而阻礙學(xué)習(xí)[28]。研究表明,力/觸覺要素可以增強學(xué)生在虛擬環(huán)境中的存在感,也可以平衡視覺工作記憶的壓力[29-30]。相對于無力反饋的VR環(huán)境,力反饋的加入不僅能夠給予學(xué)習(xí)者實時的動態(tài)反饋,還能夠為學(xué)習(xí)者提供視、聽、觸覺一體化的信息體驗通道,為學(xué)習(xí)者創(chuàng)設(shè)生動且逼真的學(xué)習(xí)情境,有效促進技能習(xí)得和實踐能力[31];同時,力反饋可以幫助創(chuàng)造虛擬或想象的空間,刺激學(xué)習(xí)者對未發(fā)生的事物進行想象和思考,促進有意義學(xué)習(xí)的發(fā)生[32]。
力反饋技術(shù)已經(jīng)被應(yīng)用于部分虛擬學(xué)習(xí)環(huán)境中的物理實驗和教學(xué),豐富和改善學(xué)生的體驗[24-25, 33-36]。實驗證明,三維VR物理實驗教學(xué)環(huán)境能夠給學(xué)生提供更優(yōu)質(zhì)的學(xué)習(xí)過程體驗,調(diào)動學(xué)習(xí)主動性,提高學(xué)習(xí)興趣;同時,力反饋功能可以顯著改善學(xué)生在三維交互過程中的沉浸感,有助于提升學(xué)習(xí)專注度,進而加深對知識的理解[37]。已有研究探索了虛擬學(xué)習(xí)環(huán)境中關(guān)于力反饋對學(xué)生物理學(xué)習(xí)表現(xiàn)和態(tài)度的影響,Civelek等人對215名K12學(xué)生進行“太陽系中的重力”評估實驗,結(jié)果表明,與傳統(tǒng)課堂教學(xué)相比,使用力反饋對學(xué)生表現(xiàn)和學(xué)習(xí)質(zhì)量有明顯的積極影響[33];Neri等人的研究表明,如果沒有適當(dāng)?shù)脑O(shè)計,一些物理力學(xué)概念在觸覺場景中是不適用的[34];張文娟等人在一項心理運動能力測試中則發(fā)現(xiàn),受試者在有力反饋的沉浸式學(xué)習(xí)環(huán)境中效率偏低[38]。
綜上所述,VR物理實驗教學(xué)中力反饋是否能增強學(xué)生的虛擬存在感、提高學(xué)生的交互效率,并對他們的學(xué)習(xí)結(jié)果產(chǎn)生顯著的知識增益,尚無定論,仍需進一步探討。
三、基于K12物理實驗教學(xué)的VR場景
設(shè)計與開發(fā)
(一)K12物理實驗教學(xué)案例的選取
在K12物理教學(xué)中,“牛頓運動定律”與“滑動摩擦力”十分重要。由于力的抽象性,無論在傳統(tǒng)物理教學(xué)中,還是大多數(shù)VR學(xué)習(xí)環(huán)境中,學(xué)生都難以確切感知力的效果與規(guī)律。本研究將力反饋技術(shù)應(yīng)用于沉浸式學(xué)習(xí)環(huán)境中,以“牛頓運動定律”和“動摩擦系數(shù)”作為典型教學(xué)案例,以期加強學(xué)生對物理知識的理解和運用。
牛頓運動定律案例中涉及的概念知識包括牛頓第二定律和牛頓第三定律。牛頓第二定律給出加速度和力之間的關(guān)系,即一定質(zhì)量的物體的加速度與外力成比例。牛頓第三定律說明作用力和反作用力之間的關(guān)系,即它們大小相等、方向相反,作用在同一物體上。動摩擦系數(shù)案例中涉及的知識包括:斜面上物體同時受到重力、彈力和摩擦力的合力影響;彈力方向與物體的變形方向相反;滑動摩擦力方向與相對運動或趨勢的方向相反,其大小與動摩擦系數(shù)和正壓力成正比,其中,動摩擦系數(shù)只與接觸表面的材料和粗糙度有關(guān)。
(二)支持力反饋的VR虛擬實驗場景設(shè)計
本研究設(shè)計開發(fā)了一套支持力反饋的VR沉浸式物理學(xué)習(xí)系統(tǒng),具體設(shè)計思路見表1。
依據(jù)教學(xué)案例,設(shè)計開發(fā)牛頓運動定律和動摩擦系數(shù)兩個虛擬實驗場景。學(xué)生可通過Geomagic Touch設(shè)備的操縱桿感受三種力的存在,包括重力、彈力和摩擦力。
1. 牛頓運動定律虛擬實驗場景
首先,學(xué)習(xí)者通過操縱桿將紅色小球提起,順著軌道放入大炮內(nèi)。其次,通過操縱桿拉動左下方綠色的彈簧拉力器,根據(jù)拉動力的大小,大炮會對小球施加對應(yīng)大小的力,使其飛出炮口作拋物線運動;同時,大炮也會因受到反作用力后退,推動懸掛指針旋轉(zhuǎn)。大炮對小球施加力有多大,受到的反作用力就多大。小球受到力越大,則加速度越大,獲得初速度就越大,因此,飛出炮口速度和距離就越遠。借助力反饋,可以加深學(xué)習(xí)者對牛頓第二、第三定律的理解。
2. 動摩擦系數(shù)虛擬實驗場景
學(xué)習(xí)者通過操縱桿按壓斜面感受彈力和摩擦力的存在,同時,通過操縱桿移動長方體塊使其從斜面上滑下。三個斜面的大小、傾角相同,但滑動摩擦系數(shù)不同。學(xué)習(xí)者通過力反饋設(shè)備操縱桿移動長方體塊,并通過觀察其下滑的速度和距離來感受不同摩擦系數(shù)帶來的影響。
3. 力反饋設(shè)計
學(xué)習(xí)者通過移動小球、滑塊以及拉動彈簧拉桿等操作,真實模擬實際操作過程。系統(tǒng)使用力反饋設(shè)備Geomagic Touch,基于其提供的OpenHaptics工具包,通過操縱桿與學(xué)習(xí)者進行交互,將反饋力作用于學(xué)習(xí)者,使其產(chǎn)生感受力覺,并隨時改變操作策略。基于預(yù)先設(shè)定的重力和摩擦系數(shù),系統(tǒng)將實時計算的反饋力通過力反饋設(shè)備傳遞作用到學(xué)習(xí)者。
四、準實驗設(shè)計與實施
(一)問題提出與研究假設(shè)
假設(shè)1:VR物理實驗教學(xué)中合適的力反饋設(shè)計可以增強學(xué)生在虛擬環(huán)境中的存在感。
假設(shè)2:VR物理實驗教學(xué)中合適的力反饋設(shè)計可以提高學(xué)生的交互效率。
假設(shè)3:VR物理實驗教學(xué)中合適的力反饋設(shè)計能讓學(xué)習(xí)者產(chǎn)生顯著的知識增益。
(二)研究對象與實驗設(shè)備
招募38名大學(xué)本科生(24名女性和14名男性,平均年齡為19.9歲),并隨機分配到實驗(力覺)組和對照(無力覺)組,每組學(xué)生分別有19人。兩組都使用操縱桿交互,但實驗組與模型互動時啟用力反饋,而對照組則不會啟用力反饋。所有學(xué)生都自愿參加本研究,并且具備相似的教育背景。
實驗設(shè)備包括:電腦(CPU Intel CoreTM i7-10875H,16GB內(nèi)存,NVIDIA GeForce RTXTM 2080顯卡和1TB SSD硬盤)、VR設(shè)備(HTC Vive)、力反饋設(shè)備(Geomagic Touch)。為了評估該系統(tǒng)的有效性,進行了基于用戶的評價實驗。
(三)實驗流程
首先,收集學(xué)生的人口統(tǒng)計學(xué)信息,以及先前使用VR設(shè)備和力反饋設(shè)備的經(jīng)驗。隨后,進行相關(guān)物理概念知識的前測。在正式實驗之前,讓每個學(xué)生練習(xí)如何使用這些設(shè)備,并觀看介紹整個交互任務(wù)的演示視頻。實驗組和對照組與模型進行互動,完成同樣任務(wù)。共有兩個任務(wù):(1)在牛頓運動定律案例中,首先,沿著軌道拾取小紅球并投入炮口;然后,拉動彈簧拉力器,使小球射出大炮。該過程是一次完整交互,要求每個學(xué)生成功完成兩次。(2)在動摩擦系數(shù)案例中,首先,要求用操縱桿觸摸三種不同材料的斜面,感受彈力和摩擦力(木頭>石英>玻璃);其次,控制滑塊從三個斜坡上滑下,感受不同動摩擦系數(shù)下的滑行速度差異。
以錄屏方式記錄參與者在交互任務(wù)期間與模型的交互行為,并分析其交互準確率及任務(wù)完成時間等任務(wù)績效。在完成正式實驗的學(xué)習(xí)任務(wù)之后,次日對學(xué)生進行知識后測,以避免即時記憶。所有調(diào)查問卷通過問卷星發(fā)放,學(xué)生通過掃描二維碼填寫調(diào)查問卷。交互數(shù)據(jù)在軟件幫助下收集。
(四)測量指標
為了評估力反饋學(xué)習(xí)效果的有效性,采用概念知識前后測以及存在感問卷進行評估。
1. 知識前后測
在中學(xué)物理教師的指導(dǎo)下,知識前測和后測問卷題項均選自真實和經(jīng)典的初中物理試題,二者均包含5個涉及牛頓第三定律知識點的題項,2個涉及牛頓第二定律知識點的題項,3個涉及摩擦力知識點的題項。每個題項所考察的知識點與力反饋學(xué)習(xí)任務(wù)緊密相關(guān),以衡量參與者的知識掌握情況。前測和后測問卷題項所考察的知識點完全相同,但其文字敘述方式不一致,后測題項還考慮到知識點的遷移,與現(xiàn)實生活中的現(xiàn)象聯(lián)系更加緊密,同時盡可能與前測題項的難度保持一致。
2. 存在感問卷
Witmer和Singer首次使用問卷確定虛擬環(huán)境中的存在感,將其描述為控制、感覺、分心和現(xiàn)實主義四個因素,其問卷被廣泛用于評估各類虛擬系統(tǒng)中的存在感,有效性得到多方驗證[39]。后來Hite等人改編Witmer和Singer的問卷,將其用于評估使用3D、觸覺交互的VR教學(xué)系統(tǒng)[40]。本研究采用Hite等的問卷,從原本包含62個6點Likert量表題項的問卷中,保留關(guān)于“力覺感知”相關(guān)題項,刪減其他題項后形成“存在感”問卷——包含33個6點李克特量表題項(1~6對應(yīng)強烈不贊同到強烈贊同,部分題項進行反向設(shè)計),旨在記錄參與者對控制、感覺、分心和現(xiàn)實主義四個方面的感知,見表2,以評估實驗組和對照組在完成任務(wù)期間的存在感。
(五)數(shù)據(jù)分析
計算知識前后測得分和、調(diào)查問卷的平均分和標準差。為了比較力反饋對學(xué)生物理概念知識增益的有效性,進行配對t檢驗,以評估平均結(jié)果差異的統(tǒng)計意義。此外,進行Mann-Whitney's U檢驗(雙尾,α=0.05)以確定各組在存在感調(diào)查問卷和交互數(shù)據(jù)上的顯著性差異,并對問卷的每個子項進行可靠性驗證(Cronbach's alpha)。
共有38名學(xué)生完成實驗并填寫調(diào)查問卷表,使用SPSS 25對問卷調(diào)查數(shù)據(jù)進行分析。18名學(xué)生(47.4%)表示他們之前從未使用過VR設(shè)備,19名學(xué)生(50.0%)偶爾使用過VR設(shè)備,1名學(xué)生(2.6%)表示之前有豐富的VR使用經(jīng)驗。同時,只有3名學(xué)生(7.9%)表示之前有一些使用力反饋設(shè)備的經(jīng)驗,其余35名學(xué)生(92.1%)之前從未使用過力反饋設(shè)備。
對知識前后測得分進行配對t檢驗(見表3)。用后測的平均分減去前測的平均分作為兩組的知識增益。結(jié)果顯示,實驗組和對照組的知識增益分別為0.26和0.89。配對t檢驗表明,兩組學(xué)生的知識增益沒有統(tǒng)計學(xué)上的顯著差異。
用Mann-Whitney's U檢驗(雙尾,α=0.05)比較實驗組和對照組的存在感得分。為了確保數(shù)據(jù)的一致性,對8個條目進行反向評分。計算每組Cronbach's alpha以檢查其內(nèi)部一致性。實驗組Cronbach's alpha在四個因素上分別為0.855、0.771、0.838和0.805,整體為0.918。對照組在四個因素上分別為0.832、0.901、0.879和0.777,整體為0.937。當(dāng)值大于0.9時,其信度為優(yōu)秀。圖1顯示實驗組和對照組存在感四個因素的平均等級。結(jié)果表明,實驗組在每個因素上都得到更高的分數(shù)。
表4為實驗組和對照組存在感四個因素的得分差異。兩組之間的差異并不顯著。但“現(xiàn)實主義”因素的p值(p=0.020)表明,實驗組的“現(xiàn)實主義”因素得分明顯高于對照組。
表5為實驗組和對照組每個案例的交互時間和準確率。在兩個案例中,與對照組相比,實驗組的交互時間更短,準確率更高。交互時間越短,系統(tǒng)的可用性就越好,而準確率越高,系統(tǒng)就越有效。
表6為實驗組和對照組在交互時間和準確率方面的差異。實驗組和對照組在牛頓運動定律案例的交互時間和準確率上有顯著差異。然而,在動摩擦系數(shù)案例的交互時間和準確率方面,兩組之間沒有顯著差異。但兩組之間的總交互時間和準確率有顯著差異。
五、結(jié)果討論與啟示
本研究設(shè)計和開發(fā)了一個支持力反饋的VR物理實驗教學(xué)系統(tǒng),并探討了力反饋技術(shù)對學(xué)生學(xué)習(xí)效果、存在感和交互效率等的影響,為力反饋在VR教學(xué)中的應(yīng)用提供了一定參考。研究結(jié)果表明,使用力反饋技術(shù),學(xué)生的真實感和互動效率都得到了提高。
(一)結(jié)果討論
1. 力反饋技術(shù)應(yīng)用在兩個案例中對“知識增益”并沒有產(chǎn)生顯著的積極作用
經(jīng)訪談和分析得出可能的原因如下:一是疫情防控期間,由于很難在中學(xué)招募到被試,準實驗只能選取大學(xué)本科生作為被試。大部分學(xué)生對案例涉及的物理概念知識的先前掌握水平較高,這可能是影響學(xué)習(xí)效果的關(guān)鍵因素。所有學(xué)生在中學(xué)期間都曾學(xué)習(xí)過相關(guān)的物理基礎(chǔ)概念知識,雖然在實驗開始前存在不同程度的遺忘,但整體的先前知識水平仍然較高。二是系統(tǒng)存在抖動、操作范圍有限和硬件本身在操作過程中造成的定位器卡頓等問題,這可能會給學(xué)生帶來干擾。三是VR沉浸式學(xué)習(xí)系統(tǒng)本身的視覺沉浸感強,學(xué)生也可以通過觀察虛擬環(huán)境中發(fā)生的現(xiàn)象來獲得相關(guān)物理概念知識。
2. 動摩擦系數(shù)虛擬實驗中交互行為數(shù)據(jù)結(jié)果表明,交互時間和準確性在兩組之間沒有明顯差異
牛頓運動定律虛擬實驗中,在力反饋激活的情況下,學(xué)生完成任務(wù)的準確性明顯更高,可以表明系統(tǒng)的有效性。Sch?觟nborn等人的研究表明,激活力反饋后,最終模型之間的對接位置更加準確[29]。與沒有力反饋技術(shù)應(yīng)用的虛擬環(huán)境相比,力覺模擬提供一個視覺之外的觸覺“空間”,它更多地被限制在模型的可達位置,從而節(jié)省控制模型移動的時間,減少錯誤移動的次數(shù)。但是動摩擦系數(shù)虛擬實驗中交互時間和準確性在兩組之間沒有明顯差異。Vélaz等人認為,力反饋組的學(xué)生實際完成任務(wù)的時間與視頻組的學(xué)生沒有明顯區(qū)別[41]。究其原因,在牛頓運動定律虛擬實驗中,力覺“空間”約束更加精確,而動摩擦系數(shù)虛擬實驗中則沒有提供太多的力覺“空間”約束。因此,在用力反饋技術(shù)設(shè)計學(xué)習(xí)任務(wù)時,應(yīng)同時提供視覺以外的信息,輔助提升學(xué)習(xí)者的交互效率。
(二)對VR沉浸式學(xué)習(xí)研究與教學(xué)設(shè)計的啟示
1. 注重借助力反饋技術(shù)促進VR沉浸式學(xué)習(xí)體驗提升
根據(jù)存在感調(diào)查問卷結(jié)果,力反饋技術(shù)在增強現(xiàn)實主義感方面具有優(yōu)勢。由于使用相同的硬件界面進行交互,力反饋并不影響學(xué)生對虛擬環(huán)境的控制、感覺和分心三個因素上的感知。而現(xiàn)實主義因素指虛擬環(huán)境與真實世界的相似性和模擬的一致性[39]。力反饋模擬現(xiàn)實的物理場景,允許用戶使用觸覺設(shè)備獲得類似于真實世界的力覺感知,讓系統(tǒng)與真實世界更接近。研究表明,在虛擬環(huán)境中提供更好感官反饋會使學(xué)生對虛擬環(huán)境的感知更加真實[42]。實驗結(jié)果與Jones等人的研究結(jié)果一致,即力覺感知可提高學(xué)生對虛擬學(xué)習(xí)環(huán)境的真實感[43]。因此,對于目前一些沉浸體驗不佳的非觸覺虛擬現(xiàn)實教學(xué)系統(tǒng),可以適當(dāng)考慮借助力反饋技術(shù),及時、豐富的感官反饋將有利于提升學(xué)生的學(xué)習(xí)體驗。
2. 注重利用力反饋技術(shù)提高學(xué)習(xí)任務(wù)的合理性
Webb等人研究表明,關(guān)閉力反饋后,學(xué)生能夠通過視覺提示彌補力反饋的不足[44]。然而,Lontschar等人認為,簡單任務(wù)(如投擲重物)的力觸覺反饋給學(xué)生帶來更大壓力,需要合理設(shè)計任務(wù)和改進技術(shù)[45]。研究表明,互動不直觀可能會增加學(xué)生的認知負荷,降低其對任務(wù)的注意力,從而影響學(xué)習(xí)效果[45]。因此,在實際的物理實驗教學(xué)應(yīng)用中,VR沉浸式學(xué)習(xí)系統(tǒng)的設(shè)計也同樣遵循“教無定法”的規(guī)律,應(yīng)充分考量不同的學(xué)習(xí)受眾、學(xué)科背景下教學(xué)目標、受眾學(xué)情的差異化,從而在學(xué)習(xí)任務(wù)設(shè)計中更好地利用力反饋設(shè)備,兼顧學(xué)習(xí)者在學(xué)習(xí)效果、感知體驗、交互效率和認知負荷之間的平衡。
3. 注重提升VR沉浸式學(xué)習(xí)系統(tǒng)的智能性,提供學(xué)習(xí)腳手架
通過研究人員在實驗期間的觀察發(fā)現(xiàn),在沒有額外提示和強調(diào)的情況下,大多數(shù)學(xué)生只專注于完成交互任務(wù)而不是學(xué)習(xí)知識本身。系統(tǒng)帶來視覺和力覺上的刺激,讓學(xué)生的感官沉浸其中,如果缺少適切的“認知導(dǎo)航”協(xié)助充當(dāng)學(xué)習(xí)腳手架的角色,學(xué)習(xí)者很容易忽略交互任務(wù)與概念知識之間的關(guān)系建構(gòu)。系統(tǒng)可以通過增加一些提示線索和輔助手段來促進和強化知識建構(gòu),以更好地說明力和概念知識之間的關(guān)系[34]。同時應(yīng)當(dāng)注重提升VR沉浸式學(xué)習(xí)系統(tǒng)的智能性,例如:未來加入基于眼動數(shù)據(jù)的行為預(yù)測和知識地圖導(dǎo)航,可能對學(xué)習(xí)者的學(xué)習(xí)效果更有裨益。
六、結(jié)? ?語
本研究開發(fā)了支持力反饋的VR沉浸式學(xué)習(xí)系統(tǒng),通過準實驗探討力反饋技術(shù)在VR物理實驗教學(xué)中對學(xué)生的學(xué)習(xí)效果、存在感和交互效率的影響。準實驗結(jié)果表明,激活力反饋有助于增強學(xué)生在虛擬環(huán)境中的真實感,有助于學(xué)生定位可達的運動位置,從而更有效地完成移動模型的任務(wù)。但對大學(xué)生學(xué)習(xí)案例所涉及的物理知識增益沒有明顯的影響。通過數(shù)據(jù)分析與比對、訪談剖析等,探究了實驗假設(shè)中的關(guān)鍵因素和可能因素,并基于此進一步提出了對VR沉浸式學(xué)習(xí)研究與教學(xué)設(shè)計的幾點啟示。
未來,將持續(xù)在VR沉浸式學(xué)習(xí)與人機交互式學(xué)習(xí)方向開展實證研究,并在被試選擇及樣本量、學(xué)習(xí)時間、場景設(shè)計、技術(shù)精度等方面進一步優(yōu)化,同時,充分參照建構(gòu)主義、具身認知、認知負荷和最近發(fā)展區(qū)等理論,設(shè)計個性化的學(xué)習(xí)任務(wù)集和合理的視聽覺線索提示、空間約束等輔助手段,幫助學(xué)生在高質(zhì)量的沉浸式學(xué)習(xí)體驗中實現(xiàn)高效率協(xié)同知識建構(gòu)。
[參考文獻]
[1] 羅秋芳. 高中物理實驗教學(xué)的思考與探索[J]. 物理教師,2015,36(8):32-35.
[2] 黃曉,項于晴,汪曉東. 聚焦新課標與新教材把握高中物理實驗教學(xué)方向[J]. 物理實驗,2023,43(3):50-56.
[3] YANG K Y, HEH J S. The impact of internet virtual physics laboratory instruction on the achievement in physics, science process skills and computer attitudes of 10th-grade students [J]. Journal of science education and technology, 2007, 16 (5):451-461.
[4] 李春密,俞曉明,鄭少山. 中學(xué)物理實驗教學(xué)研究[M]. 北京: 北京師范大學(xué)出版社,2018.
[5] 趙一鳴,郝建江,王海燕,等. 虛擬現(xiàn)實技術(shù)教育應(yīng)用研究演進的可視化分析[J]. 電化教育研究,2016,37(12):26-33.
[6] 羅恒,馮秦娜,李格格,等. 虛擬現(xiàn)實技術(shù)應(yīng)用于基礎(chǔ)教育的研究綜述(2000—2019年)[J]. 電化教育研究,2021,42(5):77-85.
[7] 孫春艷. 基于VR技術(shù)物理實驗教學(xué)策略分析[J]. 科技視界,2022(12):11-13.
[8] 沈陽,逯行,曾海軍. 虛擬現(xiàn)實:教育技術(shù)發(fā)展的新篇章——訪中國工程院院士趙沁平教授[J]. 電化教育研究,2020,41(1):5-9.
[9] THEMELIS C, SIME J A. From video-conferencing to holoportation and haptics: how emerging technologies can enhance presence in online education? [M]// YU S, ALLY M,? TSINAKOS A. Emerging technologies and pedagogies in the curriculum. Singapore: Springer, 2020:261-276.
[10] 韓奇.基于VR的初中物理虛擬實驗室設(shè)計[J].中國教育技術(shù)裝備,2020(9):29-31.
[11] PARONG J, MAYER R E. Learning science in immersive virtual reality[J]. Journal of educational psychology, 2018,110(6):785-797.
[12] MANDAL S. Brief introduction of virtual reality & its challenges[J]. International journal of scientific & engineering research, 2013, 4(4):304-309.
[13] FREINA L, OTT M. A literature review on immersive virtual reality in education: state of the art and perspectives[C]// The 11th International Scientifc Conference Elearning and Software for Education(eLSE). Bucharest, Romania:ADL Romania, 2015:133-141.
[14] 何聚厚,梁瑞娜,肖鑫,等. 基于沉浸式虛擬現(xiàn)實系統(tǒng)的學(xué)習(xí)評價指標體系設(shè)計[J]. 電化教育研究,2018,39(3):75-81.
[15] 鄭珂,李新暉. 基于VR的初中物理仿真實驗案例設(shè)計與研究[J]. 中國教育技術(shù)裝備,2020(15):111-114.
[16] 李偉,蔡燃,宋偉. 虛擬仿真實驗在中學(xué)物理教學(xué)的應(yīng)用實例:以《歐姆定律》課程為例[J]. 中國教育信息化,2021(24):35-39.
[17] GEORGIOU Y, TSIVITANIDOU O, IOANNOU A. Learning experience design with immersive virtual reality in physics education[J]. Educational technology research and development, 2021, 69(6):3051-3080.
[18] 周世杰,吉家成,王華. 虛擬仿真實驗教學(xué)中心建設(shè)與實踐[J]. 計算機教育,2015(9):5-11.
[19] HEW K F, CHEUNG W S. Use of three-dimensional (3-D) immersive virtual worlds in K-12 and higher education settings: a review of the research[J]. British journal of educational technology, 2010, 41(1):33-55.
[20] SANFILIPPO F, BLAZAUSKAS T, SALVIETTI G, et al. A perspective review on integrating VR/AR with haptics into stem education for multi-sensory learning[J]. Robotics, 2022,11(2):41-61.
[21] 沈夏林,楊葉婷.空間圖式:沉浸式虛擬現(xiàn)實促進地理空間認知[J].電化教育研究,2020,41(5):96-103.
[22] WILSON M. Six views of embodied cognition[J]. Psychonomic bulletin & review, 2002,9(4):625-636.
[23] 阿巖松,高志軍. VR在初中物理實驗的設(shè)計與應(yīng)用研究——以初中物理凹透鏡成像原理為例[J].信息技術(shù)與信息化,2018(8):126-129.
[24] HAN I, BLACK J B. Incorporating haptic feedback in simulation for learning physics[J]. Computers & education, 2011,57(4):2281-2290.
[25] MINAKER G, SCHNEIDER O, DAVIS R, et al. HandsOn: enabling embodied, creative STEM e-learning with programming-free force feedback[C]//Haptics: perception, devices, control, and applications. London, UK:Springer,2016:427-437.
[26] MASSIE T H, SALISBURY J K. The phantom haptic interface: a device for probing virtual objects[C]//Dynamic systems and control division. New York, USA:IEEE, 1994:295-300.
[27] 王黨校,焦健,張玉茹,等.計算機觸覺:虛擬現(xiàn)實環(huán)境的力觸覺建模和生成[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28(6):881-895.
[28] RUDOLPH M. Cognitive theory of multimedia learning[J]. Journal of online higher education, 2017,1(2):1-10.
[29] SCH?魻NBORN K J,BIVALL P,TIBELL L A E. Exploring relationships between students' interaction and learning with a haptic virtual biomolecular model[J]. Computers & education, 2011,57(3):2095-2105.
[30] HITE R L. Perceptions of virtual presence in 3-D, haptic-enabled, virtual reality science instruction[D]. North Carolina, USA:North Carolina State University, 2016.
[31] 沈陽,王兆雪,潘俊君,等. 虛擬現(xiàn)實學(xué)習(xí)環(huán)境下力反饋交互促進技能習(xí)得的實驗研究[J]. 電化教育研究,2021,42(9):76-83.
[32] 翟雪松,孫玉璉,沈陽,等. “虛擬現(xiàn)實+觸覺反饋”對學(xué)習(xí)效率的促進機制研究——基于2010—2021年的元分析[J]. 遠程教育雜志,2021,39(5):24-33.
[33] CIVELEK T, UCAR E, USTUNEL H, et al. Effects of a haptic augmented simulation on K-12 students' achievement and their attitudes towards physics[J]. Eurasia journal of mathematics, science and technology education, 2014,10(6):565-574.
[34] NERI L, NOGUEZ J, ROBLEDO-RELLA V, et al. Teaching classical mechanics concepts using visuo-haptic simulators[J]. Journal of educational technology & society, 2018,21(2):85-97.
[35] MAGANA A J, SERRANO M I, REBELLO N S. A sequenced multimodal learning approach to support students' development of conceptual learning[J]. Journal of computer assisted learning, 2019,35(4):516-528.
[36] YUKSEL T, WALSH Y, MAGANA A J, et al. Visuohaptic experiments: exploring the effects of visual and haptic feedback on students' learning of friction concepts[J]. Computer applications in engineering education, 2019,27(6):1376-1401.
[37] 鄭明鈺,李家和,張晗,等. 持力反饋的VR物理實驗教學(xué)環(huán)境的構(gòu)建[J].圖學(xué)學(xué)報,2021,42(1):79-86.
[38] ZHANG W, MA W, BRANDAO M, et al. Biometric validation of a virtual reality-based psychomotor test for motor skill training[J]. Assistive technology, 2016,28(4):233-241.
[39] WITMER B G, SINGER M J. Measuring presence in virtual environments: a presence questionnaire[J]. Presence, 1998,7(3):225-240.
[40] HITE R L, JONES M G, CHILDERS G M, et al. Investigating potential relationships between adolescents' cognitive development and perceptions of presence in 3-D, haptic-enabled, virtual reality science instruction[J]. Journal of science education and technology, 2019,28(3):265-284.
[41] V?魪LAZ Y, ARCE J R, GUTI?魪RREZ T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality[J]. Journal of computing and information science in engineering, 2014,14(4):41007-41016.
[42] STEUER J. Defining virtual reality: dimensions determining telepresence[J]. Journal of communication, 1992,42(4):73-93.
[43] JONES M G, HITE R, CHILDERS G, et al. of presence in 3-D, haptic-enabled, virtual reality instruction[J]. International journal of education and information technologies,2016,10(1):73-81.
[44] WEBB M, TRACEY M, HARWIN W, et al. Haptic-enabled collaborative learning in virtual reality for schools[J]. Education and information technologies, 2022,27(1):937-960.
[45] LONTSCHAR S, DEEGAN D, HUMER I, et al. Analysis of haptic feedback and its influences in virtual reality learning environments[C]//2020 6th International Conference of the Immersive Learning Research Network (iLRN). California, USA: IEEE, 2020:171-177.
Research on Human-Computer Interaction Technology in
Virtual Reality Immersive Learning
—A Case of K12 Physics Experiment Teaching
SHEN Yang1,? JI Hailin2,? YE Xinyi2,? MENG Qifan2,? LUO Yanlin2
(1.Collaborative Innovation Center of Assessment for Basic Education Quality, Beijing Normal University, Beijing 100875; 2.School of Artificial Intelligence, Beijing Normal University, Beijing 100875)
[Abstract] Traditional physics experiment teaching suffers from dilemmas such as limited experimental equipment, boring teaching content and insufficient participation of students. Immersive learning based on virtual reality technology (hereinafter referred to as VR) takes students as the main body, provides immersive, interactive and reusable learning experience, and can well break through the bottleneck of the current traditional experiment teaching. Aiming at the common problems such as lack of presence and limited interactive experience in current virtual learning environments, this study focuses on the application of human-computer interaction technology in immersive learning and the impact of the learners' force/tactile experience on experimental learning results. The force feedback in VR interactive technology is introduced into the design of K12 physics experiment teaching scenarios, and the application effect of force feedback in immersive learning is evaluated through quasi-experiment. The results show that in VR immersive learning, the use of force feedback technology can significantly improve the learners' sense of reality and interaction efficiency, but has no significant effect on knowledge gain. Based on the discussion, this study provides references for in-depth exploration of human-computer interaction design in immersive learning, the application of force feedback in teaching scenarios such as science education, and the development of appropriate strategies.
[Keywords] Virtual Reality; Immersive Learning; Human-Computer Interaction; Force Feedback Technology; Physics Experiment Teaching