丁飛 張登銀 師曉曄 許斌 劉寧

摘要：為培養(yǎng)學(xué)生創(chuàng)新思維，鍛煉學(xué)生實(shí)踐能力，采用虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，將抽象的科學(xué)概念以可視化方式呈現(xiàn)，打破傳統(tǒng)授課方式，使教與學(xué)更形象具體，以符合人類認(rèn)知習(xí)慣。通過對虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的分析，基于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)互動(dòng)式教學(xué)特點(diǎn)，提出基于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的互動(dòng)教學(xué)應(yīng)用架構(gòu)。通過基于位置服務(wù)的教學(xué)實(shí)踐，驗(yàn)證了基于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的互動(dòng)式教學(xué)效果，促進(jìn)啟發(fā)性、協(xié)同式和情景式教學(xué)改革與發(fā)展。

關(guān)鍵詞：互動(dòng)式教學(xué);虛擬現(xiàn)實(shí);增強(qiáng)現(xiàn)實(shí);應(yīng)用架構(gòu)

Research and Practice of Interactive Teaching Based on VR/AR

DING Fei， ZHANG Deng?yin， SHI Xiao?ye， XU Bin， LIU Ning

（School of Internet of Things， Nanjing University of Posts and Telecommunications， Nanjing 210003， China）

Abstract：In order to cultivate students′ innovative thinking and exercise their practical ability， abstract scientific concepts?are presented in a visual way thanks to virtual reality （VR） and augmented reality （AR） technologies to subvert traditional teaching methods， make teaching and learning more concrete and specific， and conform better to the habits of human cognition. In the first place， through the investigation and analysis of VR and AR technologies， this paper summarizes the characteristics of interactive teaching based on VR and AR. Then， it explores the scheme of education reform by using the aforementioned technologies and puts forward the application framework of interactive teaching with the help of VR and AR. Finally， through the teaching practice based on position service， it demonstrates the beneficial effect of this new type of teaching and can promote the development of this new teaching method which aims to be enlightening， cooperative and situational.

Key Words：interactive teaching; virtual reality; augmented reality; application architecture

0?引言

隨著計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)和網(wǎng)絡(luò)技術(shù)等快速發(fā)展，虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)已進(jìn)入應(yīng)用階段[1?2]，開始對教育[3?5]、工業(yè)生產(chǎn)[6?8]、旅游[9]、建筑[10]、醫(yī)療[11]等領(lǐng)域帶來顛覆性影響，各公司紛紛布局該市場，如Facebook公司于2014年收購Oculus VR后，推出了全球首款VR眼鏡。美國第二大家居裝飾用品公司（Lowe′s）正在開發(fā)名為Holoroom的一款3D增強(qiáng)現(xiàn)實(shí)科技，客戶可自定義3D空間，并可在線體驗(yàn)自己設(shè)計(jì)的空間。另外三星、索尼、宏達(dá)等公司都紛紛推出AR/VR相關(guān)產(chǎn)品或服務(wù)[12]。

在教育領(lǐng)域，由于存在教學(xué)課程的專業(yè)化、理論化、抽象化、復(fù)雜化等因素，傳統(tǒng)以理論教學(xué)為基礎(chǔ)的教學(xué)模式存在諸多問題[13?15]，對于專業(yè)化較強(qiáng)的學(xué)科，教師往往對某個(gè)概念和技術(shù)理論需要花費(fèi)大量的時(shí)間進(jìn)行教案準(zhǔn)備并增加授課學(xué)時(shí)數(shù)，但還是存在部分學(xué)生難以理解的情況。抽象化概念往往很難用語言和文字表達(dá)，復(fù)雜的學(xué)科往往交織多方面知識(shí)，理解和提高都非常困難。在這種情況下，傳統(tǒng)教學(xué)亟需結(jié)合新一代信息化技術(shù)，如仿真系統(tǒng)、實(shí)訓(xùn)設(shè)備、信息化技術(shù)等進(jìn)行輔助教學(xué)。

VR/AR技術(shù)以多感知、存在感、交互性、自主性等優(yōu)勢在教學(xué)輔助中占有非常重要的地位。文獻(xiàn)[16]提出了基于VR/AR的教學(xué)系統(tǒng)架構(gòu)及教學(xué)體系建立方法，文獻(xiàn)[9]研究了在博物館文化教育體驗(yàn)領(lǐng)域典型的系統(tǒng)設(shè)計(jì)與架構(gòu)。在課程教學(xué)中，VR/AR技術(shù)可以更好地激發(fā)學(xué)習(xí)興趣，促進(jìn)學(xué)生體驗(yàn)應(yīng)用場景和過程，掌握知識(shí)要點(diǎn)。同時(shí)，VR/AR技術(shù)為教師提供了便捷的輔助教學(xué)手段，將知識(shí)以更加直觀和立體方式傳遞給學(xué)生。文獻(xiàn)[17]設(shè)計(jì)了一種基于AR平臺(tái)及圖像識(shí)別系統(tǒng)的跨平臺(tái)移動(dòng)終端，可在機(jī)械課程的教學(xué)過程中，通過展示立體模型及動(dòng)態(tài)過程，手觸控制、多場景選擇等，強(qiáng)化用戶現(xiàn)實(shí)感官認(rèn)知。

VR/AR技術(shù)催生了教育關(guān)聯(lián)產(chǎn)業(yè)的進(jìn)一步發(fā)展，文獻(xiàn)[18?20]分析了AR在智慧圖書館個(gè)性化借閱、資源利用以及科普學(xué)習(xí)等方面的積極影響，文獻(xiàn)[21?22]研究了AR技術(shù)與出版行業(yè)結(jié)合的研發(fā)與應(yīng)用。

物聯(lián)網(wǎng)是傳感網(wǎng)、大數(shù)據(jù)、人工智能、移動(dòng)互聯(lián)、云計(jì)算等新一代信息技術(shù)的高度融合和綜合應(yīng)用，該課程的授課知識(shí)點(diǎn)多、工程應(yīng)用性強(qiáng)?，F(xiàn)有教材主要采用線性教學(xué)為主，學(xué)生只能在教師的講授下獲得基礎(chǔ)概念、原理及邏輯關(guān)系，難以結(jié)合應(yīng)用場景學(xué)習(xí)知識(shí)，主要體現(xiàn)在知識(shí)轉(zhuǎn)移能力弱、缺乏實(shí)踐性相關(guān)知識(shí)。

本文在物聯(lián)網(wǎng)課程授課實(shí)踐過程中，通過引入AR/VR技術(shù)，搭建互動(dòng)教學(xué)的應(yīng)用系統(tǒng)，利用AR/VR技術(shù)的場景增強(qiáng)和沉浸式體驗(yàn)優(yōu)勢，將物聯(lián)網(wǎng)多樣化知識(shí)點(diǎn)、復(fù)雜和抽象的應(yīng)用場景相結(jié)合，為學(xué)生提供動(dòng)態(tài)的、開放的結(jié)構(gòu)化互動(dòng)教學(xué)方式，便于學(xué)生獲得立體性知識(shí)，對傳統(tǒng)教學(xué)內(nèi)容的結(jié)構(gòu)及授課形式進(jìn)行了改革與創(chuàng)新。

1?基于VR/AR的互動(dòng)式教學(xué)特點(diǎn)

1.1?國外典型應(yīng)用案例

國外在教育領(lǐng)域大量采用VR/AR技術(shù)進(jìn)行教學(xué)?；赩R/AR教育培訓(xùn)首先應(yīng)用于安全教育，由美國紐約應(yīng)急管理辦公室使用高級災(zāi)害管理模擬器（ADMS）進(jìn)行培訓(xùn)。ADMS是Environmental Tectonics公司開發(fā)的應(yīng)用，將人工智能融入其中。應(yīng)急辦已建成紐約的城市虛擬副本系統(tǒng)，專注于指揮模擬，市民可通過操縱桿穿行于虛擬城市。指揮者引導(dǎo)他們通過目標(biāo)點(diǎn)，并通過實(shí)時(shí)溝通滿足應(yīng)急需求[6]。

美國科格威爾工藝學(xué)院 （Concordia University，Irvine） 在全球首先開設(shè)VR/AR課程，旨在讓學(xué)生學(xué)習(xí)VR/AR的認(rèn)知和感知方面的知識(shí)，掌握開發(fā)人機(jī)界面及交互的設(shè)計(jì)原則及技能，以及VR/AR的故事敘述方式。格林內(nèi)爾學(xué)院（Grinnell College）設(shè)立了沉浸式體驗(yàn)實(shí)驗(yàn)室（Grinnell College Immersive Experiences Lab），探索VR和AR以及混合現(xiàn)實(shí)（Mixed Reality， MR）技術(shù)以提高文化科學(xué)學(xué)習(xí)效率，探索VR技術(shù)應(yīng)用于歷史場景復(fù)現(xiàn)的教學(xué)中[23]。

Barts Health NHSTrust （巴茲保健和國民信托） 的腫瘤外科醫(yī)生Shafi Ahmed博士是英國一流癌癥外科醫(yī)生之一，他在皇家倫敦醫(yī)院對一位結(jié)腸癌病人進(jìn)行了手術(shù)，該手術(shù)直播給成千上萬的醫(yī)學(xué)院學(xué)生觀看，目的是改進(jìn)醫(yī)學(xué)院學(xué)生訓(xùn)練，這場直播手術(shù)展示了虛擬現(xiàn)實(shí)如何成為一個(gè)強(qiáng)大的教育工具[24]。

南密西西比大學(xué)負(fù)責(zé)籌建的Sportevac項(xiàng)目，為體育場疏散工作提供解決方案。通過觀察場內(nèi)70 000人面對危險(xiǎn)的第一反應(yīng)，研究分析人類面對危險(xiǎn)的行為。

1.2?技術(shù)特點(diǎn)與優(yōu)勢

VR/AR技術(shù)在教學(xué)中具備其專屬特點(diǎn)和優(yōu)勢。在物聯(lián)網(wǎng)教學(xué)中采用VR/AR技術(shù)，能夠?yàn)榻處熖峁┤碌墓ぞ?。傳統(tǒng)方式傳遞的知識(shí)大多以文字和圖片的形式進(jìn)行表達(dá)，而VR/AR課件可將知識(shí)以更加直觀、通俗的場景或游戲、卡通的方式展現(xiàn)，更容易讓學(xué)生理解接受，激發(fā)學(xué)生對知識(shí)的興趣。

VR/AR目標(biāo)是在特定活動(dòng)中鼓勵(lì)、激勵(lì)學(xué)生，教材的編寫與VR/AR技術(shù)之間的協(xié)調(diào)性決定其是否起到關(guān)鍵性作用，比如課件編寫、場景設(shè)置、多媒體制作等都至關(guān)重要;讓學(xué)生體驗(yàn)動(dòng)手學(xué)習(xí)的同時(shí)又毫無風(fēng)險(xiǎn)，如安全程序和醫(yī)療教學(xué)，不會(huì)涉及病人的安全等。

基于VR/AR的互動(dòng)式教學(xué)作為一種新型教學(xué)模式，具有3個(gè)方面的特點(diǎn)和優(yōu)勢[2， 13?16]：

（1）可視化、形象化。VR/AR技術(shù)仿真和交互的特性，能將抽象、晦澀難懂的知識(shí)以更生動(dòng)、直觀、全面的方式呈現(xiàn)，用沉浸式體驗(yàn)增強(qiáng)學(xué)生的代入感。

（2）可在各種環(huán)境下進(jìn)行情景式學(xué)習(xí)。移動(dòng)AR系統(tǒng)能夠基于真實(shí)環(huán)境中的虛擬物體幫助下，使無處不在的合作式和情境式學(xué)習(xí)得到加強(qiáng)，現(xiàn)實(shí)生活中的一切都能成為AR學(xué)習(xí)的道具，實(shí)現(xiàn)便捷性、交互性、情境性、連通性及個(gè)性化。AR系統(tǒng)能夠檢測到學(xué)生的當(dāng)前位置和活動(dòng)狀態(tài)，從而及時(shí)發(fā)出提醒和待選選項(xiàng)以集中學(xué)生的注意力。

（3）提升學(xué)生存在感、直覺和專注度。AR/VR提供一個(gè)虛擬的學(xué)習(xí)空間，讓學(xué)生感覺與其他人或事物同處一個(gè)位置。這種存在感可加強(qiáng)學(xué)生對學(xué)習(xí)社區(qū)的認(rèn)知。所以，AR/VR在培養(yǎng)學(xué)習(xí)者直覺方面有巨大潛力，這種感覺也是一個(gè)人在綜合而真實(shí)的體驗(yàn)中所擁有的主觀感受。

2?基于VR/AR的互動(dòng)教學(xué)應(yīng)用架構(gòu)

基于VR/AR的互動(dòng)式教學(xué)應(yīng)用體系，是在傳統(tǒng)課本、課件、問答和實(shí)驗(yàn)實(shí)踐教學(xué)基礎(chǔ)上，結(jié)合利用移動(dòng)終端設(shè)備的攝像頭、WiFi、GPS、語音識(shí)別等豐富功能和移動(dòng)互聯(lián)網(wǎng)絡(luò)的移動(dòng)、廣覆蓋、實(shí)時(shí)在線等特性，通過條碼鏈接、信息識(shí)別3D建模、行為分析和智能評價(jià)等，形成結(jié)合移動(dòng)智能終端的VR/AR系統(tǒng)化技術(shù)架構(gòu)解決方案，如圖1所示。

在上述應(yīng)用架構(gòu)下，可以充分發(fā)揮VR/AR虛實(shí)相結(jié)合的優(yōu)勢，將課堂教學(xué)與立體式知識(shí)環(huán)節(jié)關(guān)聯(lián)起來，形成“以技術(shù)鏈為主線”的課程知識(shí)體系。在VR/AR教材制作中，可對實(shí)際場景進(jìn)行數(shù)據(jù)采集，然后通過后期制作，加上虛擬的教具（2D、3D模型）和交互性的人機(jī)操作，使學(xué)生更加深刻地理解授課的知識(shí)點(diǎn)。同時(shí)，AR教材可通過圖形識(shí)別技術(shù)，更加方便地呈現(xiàn)多媒體應(yīng)用（如視頻、音頻、圖片、動(dòng)畫等）。

有些特定的物聯(lián)網(wǎng)應(yīng)用行業(yè)，如高危環(huán)境等進(jìn)行知識(shí)傳達(dá)時(shí)，基于課本知識(shí)達(dá)不到預(yù)期效果，現(xiàn)場考察學(xué)習(xí)危險(xiǎn)系數(shù)高。采用結(jié)合VR/AR的交互式授課方式，可以精確模擬真實(shí)環(huán)境，采用傳感器模擬視覺、聽覺、觸感、力量等，達(dá)到與高?，F(xiàn)場一致的體驗(yàn)，完成授課目標(biāo)。

3?基于VR/AR位置服務(wù)的教學(xué)實(shí)踐

物聯(lián)網(wǎng)是大數(shù)據(jù)、人工智能、移動(dòng)互聯(lián)、云計(jì)算等新一代信息技術(shù)的高度融合和綜合應(yīng)用，其關(guān)聯(lián)知識(shí)點(diǎn)較多且知識(shí)點(diǎn)立體性更強(qiáng)。為獲得更好的授課效果，筆者院校在“基于位置的服務(wù)”課程中開展了融合VR/AR的教學(xué)實(shí)踐，取得了較好效果。

首期開發(fā)了基于位置VR/AR的原型服務(wù)系統(tǒng)，將智能手機(jī)識(shí)別應(yīng)用與電子羅盤、GPS、3D展現(xiàn)等相結(jié)合，對基于位置服務(wù)的應(yīng)用場景、POI （Point of Interest） 檢索、智能終端和VR/AR技術(shù)等方面進(jìn)行協(xié)同教學(xué)。

圖2是基于智能手機(jī)實(shí)現(xiàn)電子羅盤VR/AR實(shí)現(xiàn)原理，在用戶終端上通過電子羅盤提供以攝像頭實(shí)景為背景的POI搜索展現(xiàn)。

周邊POI的VR/AR展示效果如圖3所示，包括餐飲、娛樂、交通、銀行、住宿、購物、生活7大類，7大類下又提供54小類周邊POI搜索服務(wù)。

基于位置VR/AR的周邊POI檢索方案，相比于傳統(tǒng)地圖POI檢索方式具有以下優(yōu)點(diǎn)：

（1）將周邊POI在手機(jī)攝像頭上進(jìn)行統(tǒng)一分類疊加展現(xiàn)，支持興趣點(diǎn)的二次點(diǎn)擊和動(dòng)態(tài)移動(dòng)。

（2）展現(xiàn)周邊POI的位置、朝向、距離等信息。

（3）實(shí)現(xiàn)實(shí)景化的目標(biāo)導(dǎo)向和POI信息增強(qiáng)，提升用戶位置判斷和目標(biāo)識(shí)別體驗(yàn)。

（4）支持靈活參數(shù)配置（如檢索區(qū)域大小等），根據(jù)不同使用場景靈活配置。

4?結(jié)語

本文通過VR/AR技術(shù)的導(dǎo)入，將授課基礎(chǔ)知識(shí)點(diǎn)、課件、課堂問答和實(shí)驗(yàn)實(shí)踐虛擬化，結(jié)合虛擬化場景的呈現(xiàn)和完整流程，為學(xué)生提供動(dòng)態(tài)、開放的結(jié)構(gòu)化認(rèn)知形式，從而便于學(xué)生更好地理解課程知識(shí)，體驗(yàn)課程體系和關(guān)聯(lián)知識(shí)，為卓越工程師培養(yǎng)提供了新的教學(xué)思路。

基于VR/AR技術(shù)，探索教師在教育教學(xué)上進(jìn)行授課方式創(chuàng)新的新形式。將抽象的科學(xué)概念以可視化方式呈現(xiàn)，以及融入語音、手勢、體感等多種交互方式以創(chuàng)造沉浸感，使教與學(xué)更形象具體，符合人類認(rèn)知習(xí)慣，有助于啟發(fā)性、協(xié)同式和情景式教學(xué)發(fā)展。

參考文獻(xiàn)：

[1]?RODRIGUEZ N. Teaching virtual reality with affordable technologies[J].Lecture Notes in Computer Science， Proceedings of Lecture Notes in Computer Science （including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics），2016（11）：89?97.

[2]?王培霖，梁奧齡，羅柯.增強(qiáng)現(xiàn)實(shí)（AR）：現(xiàn)狀、挑戰(zhàn)及產(chǎn)學(xué)研一體化展望[J].中國電化教育，2017（3）：16?23.

[3]?朱斌，曹漫祥.VR技術(shù)及其在現(xiàn)代教學(xué)中的應(yīng)用[J].中國教育信息化，2007（5s）：62?64.

[4]?趙兵，韋薇，李紅宇.虛擬現(xiàn)實(shí)技術(shù)在風(fēng)景園林教學(xué)中的應(yīng)用[J].中國林業(yè)教育，2009，27（5）：72?75.

[5]?茅潔.增強(qiáng)現(xiàn)實(shí)技術(shù)在游泳教學(xué)中的應(yīng)用研究[J].武漢體育學(xué)院學(xué)報(bào)，2018，52（5）：67?72.

[6]?鄭康，王小婷.讓VR技術(shù)貼近安全生產(chǎn)實(shí)際[J].現(xiàn)代職業(yè)安全，2017（5）：77?79.

[7]?成董浩，渾寶炬，靳凱.增強(qiáng)現(xiàn)實(shí)技術(shù)在礦井通風(fēng)系統(tǒng)中的應(yīng)用前景分析[J].工礦自動(dòng)化，2018，44（8）：10?14.

[8]?萬艷敏，付瑩.增強(qiáng)現(xiàn)實(shí)技術(shù)在服裝領(lǐng)域的應(yīng)用[J].毛紡科技，2018，46（5）：57?61.

[9]?余日季，蔡敏，蔣帥.基于移動(dòng)終端和AR技術(shù)的博物館文化教育體驗(yàn)系統(tǒng)的設(shè)計(jì)與應(yīng)用研究[J].中國電化教育，2017（2）：31?35.

[10]?王廷魁，楊喆文.案例對比分析BIM與AR在施工現(xiàn)場培訓(xùn)中的應(yīng)用[J].施工技術(shù)，2016，45（6）：44?48.

[11]?潘雯，宮建.3D可視化、3D打印、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)在醫(yī)學(xué)中作用的研究進(jìn)展[J].實(shí)用醫(yī)學(xué)雜志，2017，33（17）：2969?2971.

[12]?美國：2016?2045年新興科技趨勢報(bào)告[EB/OL].http：//www.21ic.com/iot/smart/data/201701/699932.htm.

[13]?張四方，江家發(fā).科學(xué)教育視域下增強(qiáng)現(xiàn)實(shí)技術(shù)教學(xué)應(yīng)用的研究與展望[J].電化教育研究，2018，303（7）：64?69，90.

[14]?梁華勇.虛擬現(xiàn)實(shí)技術(shù)及其在高校中的應(yīng)用[J].廣東培正學(xué)院學(xué)報(bào)，2005（4）：61?64.

[15]?蔡蘇，張晗，薛曉茹，等.增強(qiáng)現(xiàn)實(shí)（AR）在教學(xué)中的應(yīng)用案例評述[J].中國電化教育，2017，362（6）：1?9，30.

[16]?李小平，張琳，張少剛.智能虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)教學(xué)系統(tǒng)構(gòu)造研究[J].中國電化教育，2018，322（1）：97?105.

[17]?張海森，楊光輝，劉超見，等.基于AR技術(shù)的跨平臺(tái)移動(dòng)終端的輔助學(xué)習(xí)系統(tǒng)[J].圖學(xué)學(xué)報(bào)，39（1）：85?90.

[18]?廖宇峰.增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)在圖書館中的應(yīng)用研究[J]，情報(bào)資料工作，2017（1）：62?66.

[19]?馬林山，趙慶峰.基于現(xiàn)實(shí)技術(shù)的圖書館空間參與式服務(wù)項(xiàng)目開設(shè)研究[J].圖書館理論與實(shí)踐，2018（2）：92?96.

[20]?張樹鵬，侯文軍，王希萌.基于增強(qiáng)現(xiàn)實(shí)虛實(shí)交互的科普知識(shí)學(xué)習(xí)方法設(shè)計(jì)研究[J].包裝工程，2017，38（20）：48?55.

[21]?段弘，吳琳.“出版+AR”：以出版主體為中心的增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用研究[J].出版廣角，2017（12）：20?23.

[22]?周榮庭，孫松.增強(qiáng)現(xiàn)實(shí)出版物產(chǎn)業(yè)價(jià)值鏈分析[J].出版廣角，2018（8）：3?6.

[23]?ANONYMITY.What can virtual reality teach us about life on a plantation [EB/OL]. http：//www.grinnell.edu/news/what?can?virtual?reality?teach?us?about?life?plantation.

[24]?王同聚.虛擬和增強(qiáng)現(xiàn)實(shí)（VR/AR）技術(shù)在教學(xué)中的應(yīng)用與前景展望[J].數(shù)字教育，2017，3（1）：1?10.