蔡蘇張晗
特稿
VR/AR教育應(yīng)用案例及發(fā)展趨勢(shì)
蔡蘇1,2張晗1
(1.北京師范大學(xué) 教育學(xué)部,北京 100875;2.北京師范大學(xué) “移動(dòng)學(xué)習(xí)”教育部—中國(guó)移動(dòng)聯(lián)合實(shí)驗(yàn)室,北京 100875)
隨著教育形式的多樣化以及前沿信息技術(shù)在教育領(lǐng)域的深入應(yīng)用,VR/AR學(xué)習(xí)環(huán)境推動(dòng)越來越多的教育學(xué)者通過重塑學(xué)習(xí)方式回歸教育本質(zhì),對(duì)培育創(chuàng)新型人才和教育普及產(chǎn)生了深遠(yuǎn)的影響。本文在介紹VR/AR概念的基礎(chǔ)上,闡述了國(guó)際VR/AR的教育應(yīng)用現(xiàn)狀,介紹了經(jīng)典的VR/AR教育案例開發(fā)與實(shí)證結(jié)果,有助于我們更加深刻地認(rèn)識(shí)信息化教學(xué)模式構(gòu)建的一般規(guī)律。當(dāng)然,VR/AR在教育領(lǐng)域的應(yīng)用還處于早期階段,在教育領(lǐng)域的應(yīng)用既有發(fā)展機(jī)遇,也還面臨著一些挑戰(zhàn)。在未來的研究中,應(yīng)該深入研究VR/AR學(xué)習(xí)環(huán)境如何支持學(xué)與教,以提升學(xué)生在課堂教學(xué)中的學(xué)習(xí)效果,為教育教學(xué)模式的改革創(chuàng)新實(shí)踐提供經(jīng)驗(yàn)和啟示。
增強(qiáng)現(xiàn)實(shí);虛擬現(xiàn)實(shí);教育應(yīng)用
在計(jì)算機(jī)誕生之初就有人做過虛擬現(xiàn)實(shí)(Virtual Reality,簡(jiǎn)稱VR)相關(guān)的嘗試,但直到20世紀(jì)80年代初,美國(guó)VPL公司的創(chuàng)始人杰倫·拉尼爾首次提出“Virtual Reality”一詞,虛擬現(xiàn)實(shí)技術(shù)的研究才開啟了新時(shí)代。VR是綜合利用圖形系統(tǒng)和各種現(xiàn)實(shí)及控制接口設(shè)備,在計(jì)算機(jī)上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術(shù)。格里戈雷·博迪和菲利普·科菲特最早在他們的著作《虛擬現(xiàn)實(shí)技術(shù)》[1]中指出虛擬現(xiàn)實(shí)有三個(gè)特征:沉浸性(Immersion)、交互性(Interactivity)和構(gòu)想性(Imagination),即虛擬現(xiàn)實(shí)的“3I”特征。
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱AR)是廣義上虛擬現(xiàn)實(shí)的擴(kuò)展。AR通過計(jì)算機(jī)技術(shù)將虛擬的信息疊加到真實(shí)世界,真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)融合到同一個(gè)畫面中。VR呈現(xiàn)的場(chǎng)景全部是計(jì)算機(jī)生成的虛擬畫面,而AR允許用戶看到真實(shí)世界以及融合于真實(shí)世界之中的虛擬對(duì)象[2],因此增強(qiáng)現(xiàn)實(shí)是“增強(qiáng)”了現(xiàn)實(shí)中的體驗(yàn),而不是“替代”現(xiàn)實(shí)。
著名投資銀行高盛集團(tuán)在投資者報(bào)告中對(duì)于VR/ AR市場(chǎng)規(guī)模、人口規(guī)模做了數(shù)據(jù)分析,其中教育領(lǐng)域K-12階段和高等教育階段的當(dāng)前市場(chǎng)規(guī)模分別為50億美元和70億美元,僅在發(fā)達(dá)國(guó)家就約有2億所中小學(xué)使用VR/AR輔助教育活動(dòng)。高盛集團(tuán)還對(duì)教育領(lǐng)域VR/AR的人口規(guī)模和市場(chǎng)規(guī)模做出了預(yù)測(cè):至2020年用戶數(shù)將會(huì)增長(zhǎng)至700萬,2025年將會(huì)達(dá)到1500萬;2020年軟件營(yíng)收為3億美元,2025年增長(zhǎng)至7億美元[3]。
盡管VR/AR技術(shù)的教育應(yīng)用時(shí)間不長(zhǎng),但它與教育理論如行為主義、建構(gòu)主義的觀點(diǎn)比較吻合:①在行為主義理論中,學(xué)習(xí)是由知識(shí)和外界相互聯(lián)系,從而建立刺激—反應(yīng)的聯(lián)結(jié)[4]。VR/AR創(chuàng)造的學(xué)習(xí)環(huán)境可以促使學(xué)習(xí)者在與環(huán)境交互的同時(shí)得到反饋,獲得接下來的動(dòng)作指令,這樣知識(shí)和反應(yīng)之間的聯(lián)系就能充分地構(gòu)建。②VR/AR虛擬學(xué)習(xí)情境所提供的大量建構(gòu)工具體系和表現(xiàn)區(qū)域,加以學(xué)習(xí)者的主觀能動(dòng)性,與皮亞杰“把實(shí)驗(yàn)室搬到課堂中去”的構(gòu)想與實(shí)踐,以及“學(xué)習(xí)是一種真實(shí)情境的體驗(yàn)”的建構(gòu)主義觀是相符合的。[5][6][7]AR與全虛擬的VR技術(shù)相比,不僅可以將學(xué)習(xí)對(duì)象及時(shí)仿真呈現(xiàn),更行之有效的是將其置于真實(shí)環(huán)境中,并可對(duì)模型進(jìn)行操縱,能讓學(xué)生以一種自然的交互手段進(jìn)行自主探索,獲得認(rèn)知。它的優(yōu)點(diǎn)在于能呈現(xiàn)真實(shí)環(huán)境中難以表現(xiàn)的信息,并將這種信息與真實(shí)環(huán)境無縫融合,讓學(xué)習(xí)互動(dòng)就像在現(xiàn)實(shí)中互動(dòng)那樣自然。這對(duì)于抽象內(nèi)容教學(xué)和提升學(xué)習(xí)者興趣非常具有啟發(fā)意義。
新媒體聯(lián)盟(The New Media Consortium,簡(jiǎn)稱NMC)是教育領(lǐng)域的著名組織,它每年發(fā)布《地平線報(bào)告》,介紹可能對(duì)教育產(chǎn)生重大影響的各種技術(shù)。在最近幾年發(fā)布的《地平線報(bào)告》中,AR都被列為未來幾年最具潛力的六項(xiàng)技術(shù)之一,如表1所示,并且從“簡(jiǎn)單增強(qiáng)現(xiàn)實(shí)技術(shù)”到“增強(qiáng)現(xiàn)實(shí)技術(shù)”的字眼變化可以看出這門技術(shù)正在迅速走向成熟。值得注意的是2016年該報(bào)告將VR和AR并列提出,這表明了VR和AR這兩種技術(shù)在教育領(lǐng)域?qū)⒒ハ嗳诤蠎?yīng)用。
表1 NMC組織發(fā)布的教育領(lǐng)域技術(shù)趨勢(shì)年度報(bào)告
國(guó)內(nèi)外對(duì)VR/AR技術(shù)在教育領(lǐng)域應(yīng)用的關(guān)注與日俱增,一些團(tuán)隊(duì)也對(duì)VR/AR的教育應(yīng)用做了嘗試,下面通過一些典型案例來展示VR/AR的教育應(yīng)用情況。
(一)三維虛擬學(xué)習(xí)環(huán)境
第二人生(Second Life,簡(jiǎn)稱SL)是一部模擬真實(shí)社會(huì)的大型多人在線角色扮演平臺(tái),作為一種沉浸式游戲?qū)W習(xí)環(huán)境,SL應(yīng)用在合作式學(xué)習(xí)中具有較大的發(fā)展?jié)摿8]。
有研究發(fā)現(xiàn),教育技術(shù)學(xué)、媒體研究、定性研究方法、計(jì)算機(jī)科學(xué)、歷史學(xué)、女性研究、寫作與出版、文化研究和管理學(xué)等學(xué)科都曾在SL中被教授過[9]。以語言學(xué)為例,學(xué)習(xí)英語的學(xué)生與以英語為母語者在SL中通過虛擬化身進(jìn)行口語交流,達(dá)到了現(xiàn)實(shí)生活中很難實(shí)現(xiàn)的效果。
趙晶晶[10]以建構(gòu)主義為理論支撐,對(duì)虛擬現(xiàn)實(shí)中開展對(duì)外漢語教學(xué)活動(dòng)的要素進(jìn)行了梳理歸納。以SL平臺(tái)為研究載體,選取一個(gè)中文教學(xué)虛擬島嶼與一個(gè)英語教學(xué)虛擬島嶼作為案例進(jìn)行對(duì)比分析,重點(diǎn)探討了開展對(duì)外漢語教學(xué)的教學(xué)環(huán)境特征、教學(xué)活動(dòng)特征以及人機(jī)交互界面的特點(diǎn)及局限。
基于SL的學(xué)習(xí)環(huán)境有三個(gè)特點(diǎn):①包含交互和知識(shí)建構(gòu)的沉浸式環(huán)境;②所有用戶創(chuàng)造維護(hù);③注重網(wǎng)絡(luò)社交[11]。盡管作為目前用戶最多、最流行、相對(duì)開放的平臺(tái),SL中卻缺乏支持學(xué)習(xí)過程的管理工具。因此,Sloodle應(yīng)運(yùn)而生。Sloodle,即基于Second Life的面向?qū)ο蠓植际綄W(xué)習(xí)環(huán)境,它整合了SL和目前最具開放特點(diǎn)的網(wǎng)絡(luò)教學(xué)平臺(tái)Moodle中的若干功能,構(gòu)建了一個(gè)方便、有趣的三維學(xué)習(xí)環(huán)境[12]。如圖1展示了Sloodle的體系結(jié)構(gòu),它將Moodle中的二維碼功能模塊對(duì)應(yīng)改造成自身的三維工具,并用HTTP協(xié)議和XML遠(yuǎn)程調(diào)用進(jìn)行通信。
Sloodle中包含Web-Intercom、MetaGloss、Choicer、Translator等工具,可支持角色扮演和模擬、協(xié)同合作、問題呈現(xiàn)、活動(dòng)構(gòu)建(自創(chuàng)對(duì)象和屬性開發(fā))等教學(xué)活動(dòng),并能在活動(dòng)前后和活動(dòng)過程中對(duì)學(xué)生進(jìn)行任務(wù)指導(dǎo)。
除了SL,北京師范大學(xué)蔡蘇等人[13]自主設(shè)計(jì)開發(fā)了一個(gè)跨平臺(tái)的三維虛擬學(xué)習(xí)環(huán)境平臺(tái)i3DVLE,并在中小學(xué)中開展準(zhǔn)實(shí)驗(yàn)研究,旨在分析和評(píng)估三維虛擬學(xué)習(xí)環(huán)境下教學(xué)的有效性、學(xué)生的學(xué)習(xí)動(dòng)機(jī)和參與度。針對(duì)中小學(xué)的學(xué)科教學(xué)對(duì)于三維虛擬學(xué)習(xí)環(huán)境的潛在需求,i3DVLE中設(shè)計(jì)了若干教育案例,如太陽系行星運(yùn)動(dòng)規(guī)律、牛頓運(yùn)動(dòng)規(guī)律、虛擬大講堂等。
圖1 Sloodle體系結(jié)構(gòu)
i3DVLE被運(yùn)用到中小學(xué)的實(shí)際教學(xué)中,研究團(tuán)隊(duì)通過面對(duì)面的交流和網(wǎng)絡(luò)答疑等方式對(duì)學(xué)習(xí)過程進(jìn)行協(xié)助,了解到了教師和學(xué)生的實(shí)際應(yīng)用狀況。但是,部分學(xué)生的學(xué)習(xí)成效并不如預(yù)期那樣好,他們?cè)谡降恼n堂中能夠較好掌握的一些概念,在三維虛擬學(xué)習(xí)環(huán)境中的學(xué)習(xí)效果卻不甚理想。因此,根據(jù)教師和學(xué)生的一些反饋,團(tuán)隊(duì)也做出了很多改進(jìn),如添加虛擬教師,給予虛擬教師更多的權(quán)限去控制和把握課堂,改進(jìn)用戶的交互工具界面等,完善了i3DVLE平臺(tái)的功能。
當(dāng)前三維虛擬學(xué)習(xí)環(huán)境的發(fā)展趨勢(shì)為:一是用戶參與創(chuàng)作,即完全由用戶創(chuàng)作學(xué)習(xí)內(nèi)容。二是提供探究的空間,與學(xué)習(xí)管理系統(tǒng)整合。前文介紹的Sloodle就是一個(gè)典型案例,當(dāng)然它還做得不夠完美,為把三維虛擬環(huán)境和學(xué)習(xí)管理系統(tǒng)兩種異構(gòu)的環(huán)境更好地融合,還需要有更多的研究工作者和實(shí)踐人員的努力。三是虛擬與真實(shí)的融合。虛擬環(huán)境的真實(shí)感有賴于圖形學(xué)的發(fā)展,但不管它如何發(fā)展,虛擬的畢竟都是虛擬的,而我們的學(xué)習(xí)活動(dòng)還都是發(fā)生在真實(shí)物理世界里,“增強(qiáng)現(xiàn)實(shí)”能使學(xué)習(xí)者進(jìn)行學(xué)習(xí)活動(dòng)時(shí)有更好的體驗(yàn),應(yīng)該在教育領(lǐng)域更加普及該種技術(shù)。四是三維和人工智能技術(shù)深度整合。因?qū)W習(xí)的復(fù)雜性,三維虛擬學(xué)習(xí)環(huán)境若要能完全做到像人類行為,比如自動(dòng)答疑、自動(dòng)組卷、自動(dòng)判卷等,還是比較困難的,需要人工智能界技術(shù)的突破。
(二)AR圖書
在教育領(lǐng)域里最早運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)的案例是畢靈赫斯特制作的魔法書(Magic Book)[14]。它根據(jù)書本內(nèi)容制作成3D場(chǎng)景和動(dòng)畫,并且利用一個(gè)特殊的眼鏡就能讓兒童看到虛實(shí)相結(jié)合的場(chǎng)景,如圖2所示。
圖2 Magic Book
頓瑟和霍納科爾[15]以寓言故事為載體,通過閱讀來完成故事設(shè)定的挑戰(zhàn)性任務(wù),對(duì)兒童的學(xué)習(xí)行為進(jìn)行觀測(cè)和分析。研究發(fā)現(xiàn),兒童普遍認(rèn)為AR環(huán)境新穎有趣。而后他們又根據(jù)數(shù)據(jù)反饋,設(shè)計(jì)了針對(duì)七歲兒童閱讀的AR書[16],主要分析兒童是如何將真實(shí)世界的知識(shí)技能與AR環(huán)境建立起有意義的聯(lián)系的。研究得出,AR交互與真實(shí)世界的交互基本一致,而這種新奇的顯示效果使得他們的閱讀興趣大大提升。
在這之后有團(tuán)隊(duì)又設(shè)計(jì)開發(fā)了填色繪本,書中圖片被涂色后,使用平板拍攝即可顯示涂顏色的3D模型[17]。
蔡蘇、宋倩和唐瑤[18]在2010年提出增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)環(huán)境的架構(gòu),并基于此實(shí)現(xiàn)了一本增強(qiáng)現(xiàn)實(shí)概念演示書——未來之書。書中選取了物理學(xué)科中的單擺、牛頓定律等實(shí)驗(yàn)呈現(xiàn)虛實(shí)相結(jié)合的效果,如圖3所示。作為國(guó)內(nèi)最早的增強(qiáng)現(xiàn)實(shí)書,未來之書參展2010年第十七屆北京國(guó)際圖書博覽會(huì),獲得了與會(huì)者的好評(píng)。
圖3 書上浮現(xiàn)的牛頓第二定律三維模擬
(三)AR理科教學(xué)
有大量學(xué)者把AR運(yùn)用在理科教學(xué)中,以此增強(qiáng)學(xué)習(xí)者對(duì)現(xiàn)實(shí)情境的視覺感知能力[19]??死呃热薣20]演示過一個(gè)天文學(xué)教學(xué)的例子,在AR環(huán)境中老師和學(xué)生可通過旋轉(zhuǎn)虛擬地球探究太陽和地球、白天和黑夜的關(guān)系。蔡蘇等人[21]將AR和Kinect體感設(shè)備相結(jié)合能使磁場(chǎng)可視化。學(xué)生在學(xué)習(xí)有關(guān)磁場(chǎng)的知識(shí)時(shí),通過手勢(shì)能與設(shè)備進(jìn)行實(shí)時(shí)交互,從而了解磁場(chǎng)的分布和變化。維也納理工大學(xué)研究人員就曾做過專門的力學(xué)教學(xué)展示[22],通過AR物理引擎模擬力學(xué)領(lǐng)域的物理實(shí)驗(yàn),分析物體質(zhì)量、受力、運(yùn)動(dòng)路徑等參數(shù)。但利用該系統(tǒng)教學(xué)需要配置較昂貴的頭盔、立體眼鏡等設(shè)備。
北京師范大學(xué)蔡蘇團(tuán)隊(duì)研發(fā)的基于AR的凸透鏡成像實(shí)驗(yàn)通過實(shí)證探索了AR技術(shù)對(duì)八年級(jí)學(xué)生物理學(xué)習(xí)效果以及深層次認(rèn)知方面的影響[23]。基于AR的凸透鏡成像教具通過使用三個(gè)不同的標(biāo)記卡片來模擬蠟燭、凸透鏡和熒光屏。當(dāng)攝像機(jī)捕獲到標(biāo)記卡片時(shí),凸透鏡的3D模型與用于標(biāo)記焦距和兩倍焦距數(shù)據(jù)的平行數(shù)軸等參數(shù)都將顯示在屏幕上。將蠟燭標(biāo)記卡片和屏幕標(biāo)記卡片分別放置于凸透鏡標(biāo)記卡片的兩邊,屏幕將基于蠟燭和凸透鏡之間的距離自動(dòng)呈現(xiàn)相關(guān)的圖像,如果調(diào)節(jié)蠟燭和凸透鏡之間的距離,屏幕上的圖像將根據(jù)凸透鏡成像規(guī)則實(shí)時(shí)變化。假設(shè)物距為u,像距為v,焦距為f。根據(jù)凸透鏡成像的公式當(dāng)u<f時(shí),成虛像;當(dāng)u=f時(shí),光屏不呈現(xiàn)像;當(dāng)u>f時(shí),光屏?xí)尸F(xiàn)實(shí)像。實(shí)驗(yàn)結(jié)果表明AR對(duì)成績(jī)較落后的學(xué)生具有更大的影響。
圖4 AR模擬凸透鏡成像實(shí)驗(yàn)
北京師范大學(xué)蔡蘇團(tuán)隊(duì)研發(fā)的微觀粒子交互式實(shí)驗(yàn)主要是對(duì)中學(xué)化學(xué)課程中基于增強(qiáng)現(xiàn)實(shí)的學(xué)習(xí)工具的補(bǔ)救性學(xué)習(xí)效果的研究[24]。實(shí)驗(yàn)設(shè)計(jì)包含如表2所示的四個(gè)部分。
表2 實(shí)驗(yàn)設(shè)計(jì)
該軟件使用Java語言開發(fā),使用了NyArToolkit、Java3D以及JMF(Java Media Framework,Java媒體框架)的軟件包。通過捕獲標(biāo)簽的位置來呈現(xiàn)不同的結(jié)構(gòu)層次以及原子的各種組合。圖5和圖6展示了水和鉆石兩個(gè)實(shí)例的操作。如圖5(a)所示,屏幕中放入了兩個(gè)氫原子和一個(gè)氧原子。當(dāng)慢慢將兩個(gè)氫原子向氧原子靠近時(shí),一個(gè)水分子便形成了,如圖5(b)所示。學(xué)生可以拿起水分子靠近攝像頭來觀察它的結(jié)構(gòu),若將標(biāo)簽向上抬高,即可看到屏幕出現(xiàn)一滴水滴,如圖5(c)和圖5(d)所示。
圖5 水分子的形成
在認(rèn)識(shí)和學(xué)習(xí)金剛石的內(nèi)部結(jié)構(gòu)時(shí),探究活動(dòng)要求學(xué)生使用碳原子構(gòu)造金剛石晶體。首先,使用碳原子和化學(xué)鍵搭建金剛石的正四面體單元,如圖6(a)所示。此外,研究者將使用學(xué)生搭建的正四面體單元組建一個(gè)完整的金剛石結(jié)構(gòu),如圖6(b)所示。學(xué)生可以從桌子上的另一個(gè)標(biāo)簽所呈現(xiàn)的物體得到提示,他們搭建的金剛石結(jié)構(gòu)就是鉆石的內(nèi)部結(jié)構(gòu),這將化學(xué)和日常社會(huì)生活聯(lián)系到了一起。
圖6 金剛石的內(nèi)部結(jié)構(gòu)
研究表明AR工具可以較好地幫助學(xué)生記憶原子的結(jié)構(gòu)。在傳統(tǒng)課堂上,僅通過老師的簡(jiǎn)單指導(dǎo),學(xué)生對(duì)于知識(shí)的理解程度和記憶持久性較低。但基于AR的軟件教學(xué)可調(diào)動(dòng)學(xué)生積極性,促使其注意力更加集中。在直觀地看到仿真模型并與其交互后,學(xué)生對(duì)所學(xué)知識(shí)的印象也更加深刻。AR工具能提高學(xué)生在實(shí)驗(yàn)探究中的操作能力。相比于鍵盤、鼠標(biāo)與計(jì)算機(jī)的操作,直接通過AR技術(shù)提高活動(dòng)參與感的這種方式對(duì)程序性知識(shí)的識(shí)記效果更好。同時(shí),學(xué)生也對(duì)這個(gè)工具提出了一些建議,例如他們希望物質(zhì)的模擬現(xiàn)象能更加逼真,另外還可以加入一些卡通或者動(dòng)畫元素使軟件變得更有趣。
李淑惠等人[28]實(shí)施了中學(xué)數(shù)學(xué)概率知識(shí)點(diǎn)中的經(jīng)典拋硬幣實(shí)驗(yàn)。實(shí)驗(yàn)工具為研究者開發(fā)的基于AR的Android平臺(tái)上的應(yīng)用程序——拋硬幣。在游戲開始前,學(xué)生可以設(shè)定兩個(gè)參數(shù):間隔時(shí)間與識(shí)別時(shí)間。其中,間隔時(shí)間是指攝像頭兩次識(shí)別硬幣之間的最短間隔時(shí)間,識(shí)別時(shí)間為攝像頭成功識(shí)別一次硬幣的最短停留時(shí)間。游戲啟動(dòng)后,移動(dòng)設(shè)備的攝像頭能夠捕捉并識(shí)別畫面中硬幣的正、反面狀態(tài),并在屏幕中顯示相應(yīng)的3D模型以提示用戶該硬幣已被成功識(shí)別。一旦識(shí)別成功,系統(tǒng)會(huì)為硬幣的當(dāng)前狀態(tài)自動(dòng)計(jì)數(shù),同時(shí)更新已識(shí)別的正、反面次數(shù)和頻率。如圖7所示,系統(tǒng)左上角記錄硬幣的正、反面次數(shù),右下角折線圖可實(shí)時(shí)更新正面頻率。將實(shí)驗(yàn)對(duì)象分為兩人一組,分別負(fù)責(zé)硬幣的拋擲和識(shí)別,進(jìn)行多次數(shù)據(jù)統(tǒng)計(jì)。當(dāng)學(xué)生退出游戲后,此次游戲的歷史數(shù)據(jù)將被保存在數(shù)據(jù)庫中。硬幣拋的次數(shù)越多,其正、反面出現(xiàn)的概率就均越接近50%。這個(gè)實(shí)驗(yàn)既能快速統(tǒng)計(jì)大樣本實(shí)驗(yàn)的數(shù)據(jù),又能讓學(xué)生真正體驗(yàn)到游戲動(dòng)作“拋”的感覺。研究結(jié)果表明,當(dāng)使用AR工具進(jìn)行數(shù)學(xué)教學(xué)時(shí),學(xué)生的學(xué)習(xí)積極性均有顯著的提高。
圖7 拋硬幣游戲界面圖
(四)AR語言教學(xué)
北京郵電大學(xué)的李鐵萌等針對(duì)幼兒園兒童漢字和英語學(xué)習(xí)開發(fā)了AR識(shí)字系統(tǒng),旨在探究學(xué)齡前兒童的識(shí)字能力和對(duì)生字學(xué)習(xí)的記憶效果[29]。該系統(tǒng)信息架構(gòu)設(shè)計(jì)如圖8所示。
圖8 增強(qiáng)現(xiàn)實(shí)兒童識(shí)字系統(tǒng)的功能信息架構(gòu)
該實(shí)驗(yàn)有兩項(xiàng)任務(wù):①?gòu)牟僮鞣绞健W(xué)習(xí)應(yīng)用和效果三方面測(cè)試不同年齡兒童對(duì)識(shí)字系統(tǒng)的態(tài)度。②使用AR識(shí)字系統(tǒng)的學(xué)習(xí)效果測(cè)試。實(shí)驗(yàn)表明,AR識(shí)字系統(tǒng)能夠提高學(xué)前兒童的生字認(rèn)知能力、提升記憶效果,而且教學(xué)效果對(duì)較大年齡學(xué)前兒童更好。
北京師范大學(xué)蔡蘇團(tuán)隊(duì)研發(fā)了“快樂記單詞”軟件[30],如圖9所示。該系統(tǒng)基于Java 1.7、Android SDK和Wikitude SDK設(shè)計(jì)開發(fā)。
圖9 “快樂記單詞”軟件界面
使用平板電腦或手機(jī)掃描卡片識(shí)別單詞,然后浮現(xiàn)對(duì)應(yīng)的圖片或三維模型,并發(fā)出讀音,能很好地幫助兒童進(jìn)行詞匯的拼寫和發(fā)音學(xué)習(xí)。研究表明,這種學(xué)習(xí)將觸覺、聽覺和視覺結(jié)合在一起,較傳統(tǒng)教學(xué)方式更容易激發(fā)孩子的熱情,對(duì)非英語母語學(xué)習(xí)者的單詞學(xué)習(xí)效果顯著。使用手機(jī)掃描單詞,呈現(xiàn)匹配的圖片和發(fā)音也符合兒童的認(rèn)知規(guī)則,但是手機(jī)可能會(huì)分散兒童的注意力。這種類型的教學(xué)可能更適合一對(duì)一的情況。
(五)基于地理位置的AR學(xué)習(xí)
江蕙楨等人[31]完成了一個(gè)中學(xué)科學(xué)教育探究活動(dòng)?;顒?dòng)中不同組的學(xué)生分別使用GPS位置獲取不同區(qū)域的信息,信息就會(huì)以增強(qiáng)現(xiàn)實(shí)的方式呈現(xiàn)并上傳至服務(wù)器。其他組成員來到同一地點(diǎn)時(shí),可以查看已有的分享內(nèi)容。這個(gè)實(shí)驗(yàn)提升了學(xué)生學(xué)習(xí)體驗(yàn),也促進(jìn)了知識(shí)共享。
蕭顯勝等人[32]開發(fā)了一個(gè)增強(qiáng)現(xiàn)實(shí)的系統(tǒng)天氣觀察員(Weather Observers),輔助學(xué)生進(jìn)行大氣系統(tǒng)等地理知識(shí)的學(xué)習(xí)。比如,在博物館的教學(xué)環(huán)節(jié)中,學(xué)生可掃描識(shí)別卡片,進(jìn)而獲得相應(yīng)天氣元素的模型。研究發(fā)現(xiàn),該增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)學(xué)習(xí)者地理學(xué)科的學(xué)習(xí)興趣和學(xué)習(xí)效果的提升都有較大的幫助。
王曉玲等人[33]開發(fā)了一款在戶外調(diào)查的增強(qiáng)現(xiàn)實(shí)定位工具,實(shí)踐表明該應(yīng)用可協(xié)助學(xué)生實(shí)時(shí)定位和信息共享,深受他們歡迎。
華東師范大學(xué)開發(fā)了一款叫做“快樂尋寶”的教育游戲[34]。這是一款基于移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的教育游戲,參與者可通過任務(wù)驅(qū)動(dòng)、在線答題進(jìn)行闖關(guān)。游戲的相關(guān)設(shè)置更為靈活自由,如學(xué)科知識(shí)、任務(wù)地點(diǎn)都可由老師進(jìn)行學(xué)情分析后自主設(shè)定。游戲主要設(shè)計(jì)思路如圖10所示。
圖10 “快樂尋寶”游戲主要設(shè)計(jì)思路
實(shí)踐表明,學(xué)生能更好地沉浸于游戲中,實(shí)時(shí)交互,快速反饋。當(dāng)然,游戲依然有待進(jìn)一步完善與開發(fā),存在的問題有模型真實(shí)感不強(qiáng),交互有延遲,學(xué)習(xí)內(nèi)容不完善,等等。
北京師范大學(xué)王沛文等人基于移動(dòng)增強(qiáng)現(xiàn)實(shí)和位置服務(wù)技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了地理導(dǎo)航與文化導(dǎo)覽一體化的服務(wù)系統(tǒng),并在大學(xué)校園部署應(yīng)用。研究選取了小樣本實(shí)驗(yàn)設(shè)計(jì),請(qǐng)實(shí)驗(yàn)對(duì)象對(duì)系統(tǒng)平臺(tái)進(jìn)行試用和評(píng)價(jià),旨在探索移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于校園導(dǎo)覽的效果[35]。使用者試用系統(tǒng)平臺(tái)2—3個(gè)小時(shí)。使用過程中用戶可以根據(jù)攝像頭中捕獲到的真實(shí)場(chǎng)景去尋找校園相關(guān)建筑物,如圖11所示。在到達(dá)目標(biāo)建筑物后,攝像頭通過捕獲圖像自動(dòng)識(shí)別出該建筑物信息,并作為學(xué)習(xí)內(nèi)容呈現(xiàn)給用戶。
圖11 周邊相關(guān)建筑物信息
該實(shí)驗(yàn)分別從可獲取性、宣傳效果、可用性、美觀性、環(huán)保性、可交互性、可推廣性以及功能性八個(gè)方面對(duì)軟件進(jìn)行調(diào)查。調(diào)查表明AR導(dǎo)覽軟件方便美觀。絕大多數(shù)被試者都提到使用手機(jī)可以隨時(shí)隨地獲取信息,而且定位技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)的結(jié)合使得搜索過程和呈現(xiàn)方式變得更加自然,不僅省去了手動(dòng)輸入的過程,而且所見即所得;絕大多數(shù)被試者都提到目前使用紙質(zhì)地圖時(shí)的資源浪費(fèi)問題,并認(rèn)為該軟件是替代紙質(zhì)媒介的比較好的手段之一;絕大多數(shù)被試者都提到使用手機(jī)攝像頭與真實(shí)物理環(huán)境進(jìn)行交互的方式非常新穎有趣,之前并沒有接觸過,信息的快速即時(shí)呈現(xiàn)的特點(diǎn)也讓校園文化隨手可及。使用者對(duì)軟件也提出了很多建設(shè)性意見,有些意見限于目前硬件技術(shù)能力還不能解決,比如校園無線網(wǎng)網(wǎng)速慢速導(dǎo)致加載信息過慢,手機(jī)GPS定位所需時(shí)間過長(zhǎng)且有時(shí)定位不準(zhǔn)確等。
在我國(guó),近年來“互聯(lián)網(wǎng)+”、大數(shù)據(jù)、人工智能、虛擬現(xiàn)實(shí)等紛紛在相關(guān)領(lǐng)域嶄露頭角。而在被稱為“VR元年”的2016年里關(guān)于VR的報(bào)道也接連不斷,引起了政府的足夠重視。政府的大力支持推動(dòng)了VR的進(jìn)一步發(fā)展,國(guó)務(wù)院、發(fā)改委、工信部、文化部及各級(jí)地方政府均制定了相關(guān)的配套文件,對(duì)VR創(chuàng)業(yè)團(tuán)隊(duì)、VR技術(shù)進(jìn)行政策鼓勵(lì),如產(chǎn)業(yè)標(biāo)準(zhǔn)、產(chǎn)業(yè)聯(lián)盟方面的支持,可以說VR受到了來自政府方面前所未有的支持。2016年12月27日“國(guó)務(wù)院關(guān)于印發(fā)《‘十三五’國(guó)家信息化規(guī)劃》的通知”里“強(qiáng)化戰(zhàn)略性前沿技術(shù)超前布局”一章提到要“超前布局前沿技術(shù)、顛覆性技術(shù)”,要“加強(qiáng)全息顯示、虛擬現(xiàn)實(shí)等新技術(shù)基礎(chǔ)研發(fā)和前沿布局,構(gòu)筑新賽場(chǎng)先發(fā)主導(dǎo)優(yōu)勢(shì)”。[36]2017年1月15日中共中央和國(guó)務(wù)院辦公廳發(fā)布的《關(guān)于促進(jìn)移動(dòng)互聯(lián)網(wǎng)健康有序發(fā)展的意見》里提到“加緊人工智能、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等新興移動(dòng)互聯(lián)網(wǎng)關(guān)鍵技術(shù)布局,盡快實(shí)現(xiàn)部分前沿技術(shù)、顛覆性技術(shù)在全球率先取得突破”。[37]最值得提出的是2017年1月19日“國(guó)務(wù)院關(guān)于印發(fā)《國(guó)家教育事業(yè)發(fā)展‘十三五’規(guī)劃》的通知”[38]里提到“要全力推動(dòng)信息技術(shù)與教育教學(xué)深度融合?!C合利用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和虛擬現(xiàn)實(shí)技術(shù)探索未來教育教學(xué)新模式”。從以上政策可以看出,現(xiàn)在正是VR/AR產(chǎn)業(yè)的萌芽時(shí)期,在前期行業(yè)技術(shù)和資本市場(chǎng)的帶動(dòng)下,政府也通過政策利好扶持虛擬現(xiàn)實(shí)產(chǎn)業(yè),并推動(dòng)行業(yè)規(guī)范化發(fā)展。2016年VR在國(guó)內(nèi)市場(chǎng)的火爆程度超乎預(yù)期,在教育領(lǐng)域也不例外。2016年大學(xué)英語六級(jí)、浙江高考、北京中考等大型考試都以虛擬現(xiàn)實(shí)為主題做過命題,很多學(xué)校也開始建立虛擬現(xiàn)實(shí)教學(xué)實(shí)驗(yàn)室,這些都表明虛擬現(xiàn)實(shí)教育已經(jīng)從“概念”開始走向“落地”。
不過,“VR+教育”是有技術(shù)門檻的,人們對(duì)VR的認(rèn)知普遍不多,在市場(chǎng)上VR容易被仿冒及誤導(dǎo)使用,從而讓大家對(duì)VR的期待值一降再降,導(dǎo)致最后VR還未真正問世,就已經(jīng)淪為了供過于求的“垃圾”科技,這讓正牌VR的損失難以估量。產(chǎn)品內(nèi)容方面,硬件配置與學(xué)科教育契合度偏低,VR教育課程的開發(fā)缺乏學(xué)科教育專家和老師的參與。而相對(duì)于使用Oculus、 HTC Vive等純虛擬現(xiàn)實(shí)環(huán)境來說,增強(qiáng)現(xiàn)實(shí)環(huán)境不需要佩戴沉重的頭盔,不需要放置捕獲用戶空間位置的專用定位器和特定的活動(dòng)范圍空間。它僅需要一臺(tái)電腦配合一個(gè)普通攝像頭,或者僅需要平板電腦或手機(jī)(本身自帶攝像頭),即可做到真實(shí)環(huán)境和虛擬對(duì)象的融合互動(dòng)。因此,這種對(duì)硬件條件要求不高的學(xué)習(xí)技術(shù)更容易在學(xué)校落地,并擁有更多的受眾用戶。更重要的是,增強(qiáng)現(xiàn)實(shí)環(huán)境將虛擬的學(xué)習(xí)內(nèi)容與現(xiàn)實(shí)環(huán)境進(jìn)行了有意義的關(guān)聯(lián)。所以,AR技術(shù)作為當(dāng)前研究熱點(diǎn)之一的VR技術(shù)的分支,更能為學(xué)生創(chuàng)設(shè)出一個(gè)科學(xué)探究的環(huán)境[39]。著名刊物《經(jīng)濟(jì)學(xué)人》在2017年初就撰文預(yù)測(cè)AR比VR更有發(fā)展前景[40]。
AR應(yīng)用于教育還處于呈現(xiàn)簡(jiǎn)單、交互不成熟的初級(jí)階段,對(duì)于AR實(shí)證研究主題的研究設(shè)計(jì)也依然有很多亟待開發(fā)的部分。值得提出的是北京師范大學(xué)現(xiàn)代教育研究所團(tuán)隊(duì)對(duì)于增強(qiáng)現(xiàn)實(shí)教育應(yīng)用中的3D建模、虛擬行為交互等關(guān)鍵技術(shù)難題進(jìn)行了長(zhǎng)期的實(shí)證研究,且目前已取得了突破性的成果。通過其實(shí)證研究可以看出,絕大部分學(xué)生對(duì)于VR/AR教學(xué)工具或環(huán)境表現(xiàn)出正面的態(tài)度,這也符合努涅斯等人[41]的研究結(jié)果。因此,在未來教育中,我們應(yīng)深掘教育規(guī)律,借助VR/AR學(xué)習(xí)環(huán)境,構(gòu)建技術(shù)平臺(tái)支撐下的新型教學(xué)模式,探求VR/AR學(xué)習(xí)環(huán)境如何支持學(xué)與教,以提升學(xué)生在課堂教學(xué)中的學(xué)習(xí)效果,通過重塑學(xué)習(xí)方式回歸教育本質(zhì),對(duì)培育創(chuàng)新型人才和教育提供支持。
[1]BURDEA G,COIFFET P.Virtual Reality Technology [M]. Hoboken:John Wiley & Sons,2003.
[2]AZUMA R T.A Survey of Augmented Reality [J].Presence:Teleoperators and Virtual Environments(S1054-7460),1997,6(4):355-385.
[3]GOLDMAN SACHS.Virtual & Augmented Reality Understanding the Race for the Next Computing Platform[DB/OL]. (2016-03-09)[2017-02-20].http://www.goldmansachs.com/ our-thinking/pages/virtual-and-augmented-reality-report.html.
[4]WATSON J B.Psychology as the Behaviorist Views It[J].Psychological Review(S0033-295X),1913,20(2):158.
[5]PIAGET J.The Stages of the Intellectual Development of the Child.Educational Psychology in Context:Readings for Future Teachers [M].1965.
[6]JONASSEN D H.Thinking Technology:Toward a Constructivist Design Model[J].Educational Technology(S0013-1962), 1994,34(4):34-37.
[7]蔡蘇,王沛文,楊陽,等.增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)的教育應(yīng)用綜述 [J].遠(yuǎn)程教育雜志,2016,(5):27-40.
[8]DELUCIA A,FRANCESE R,PASSERO I,et al.Development and Evaluation of a Virtual Campus on Second Life:The Case of SecondDMI[J].Computers & Education(S0360-1315),2009,52(1):220-233.
[9]LUO L,KEMP J.Second Life:Exploring the Immersive Instruct-ional Venue for Library and Information Science Education [J].Journal of Education for Library and Information Science(S0748-5786),2008,(49):147-166.
[10]趙晶晶.虛擬現(xiàn)實(shí)在對(duì)外漢語教學(xué)中的應(yīng)用——以“第二人生”為例 [D].濟(jì)南:山東大學(xué),2015.
[11]SKIBA D J.Nursing Education 2.0:Second Life[J].Nursing Education Perspectives(S1536-5026),2007,28(3):156.
[12]蔡蘇,余勝泉.從Sloodle看三維虛擬學(xué)習(xí)環(huán)境的發(fā)展趨勢(shì)[J].開放教育研究,2010,(2):98-104.
[13]CAI S,YAO Y.I3DVLE:A Case for 3D Interactive Virtual Learning Environment [C].2nd Annual Conference on Electrical and Control Engineering,Yichang,Elsevier,2011:1-8.
[14]BILLINGHURST M,KATO H.Collaborative Augmented Reality[J].Communications of the ACM(S0001-0782),2002,45(7):64-70.
[15]DUNSER A,HORNECKER E.An Observational Study of Children Interacting with an Augmented Story Book [M]// HUI K C,PAN Z,CHUNG R K,et al.Technologies for E-Learning and Digital Entertainment.Springer Berlin Heidelberg,2007:305-315.
[16]HORNECKER E,DUNSER A.Of Pages and Paddles: Children’s Expectations and Mistaken Interactions with Physical-digital Tools [J].Interacting with Computers (S0953-5438),2009,21(1):95-107.
[17]RYFFEL M,MAGNENAT S.Augmented Creativity: Bridging the Real and Virtual Worlds to Enhance Creative Play[C].Proceedings of the SIGGRAPH Asia 2015 Mobile Graphics and Interactive Applications,Kobe:ACM,2015:1-12.
[18]蔡蘇,宋倩,唐瑤.增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)環(huán)境的架構(gòu)與實(shí)踐 [J].中國(guó)電化教育,2011,(8):114-119,33.
[19]ARVANITIS T N,PETROU A,KNIGHT J F,et al.Human Factors and Qualitative Pedagogical Evaluation of a Mobile Augmented Reality System for Science Education Used by Learners with Physical Disabilities [J].Personal and Ubiquitous Computing(S1617-4909),2009,13(3):243-250.
[20]KERAWALLA L,LUCKIN R,SELJEFLOT S,et al.“Making It Real”:Exploring the Potential of Augmented Reality for Teaching Primary School Science [J].Virtual Reality (S1434-9957),2006,10(3-4):163-174.
[21]CAI S,CHIANG F K,SUN Y,et al.Applications of Augmented Reality-based Natural Interactive Learning in Magnetic Field Instruction [J].Interactive Learning Environments (S1049-4820),2016(5):1-14.
[22]KAUFMANN H,MEYER B.Simulating Educational Physical Experiments in Augmented Reality [C].ACM SIGGRAPH ASIA 2008 Educators Programme,Singapore:ACM,2008:1-8.
[23]CAI S,CHIANG F-K,WANG X.Using the Augmented Reality 3D Technique for a Convex Imaging Experiment in a Physics Course [J].International Journal of Electrical Engineering Education(S0020-7209),2013,29(4):856-865.
[24]CAI S,WANG X.A Case Study of Augmented Reality Simulation System Application in a Chemistry Course[J].Computers in Human Behavior(S0747-5632),2014,(37):31-40.
[25]HWANG G J,CHANG H F.A Formative Assessment-based Mobile Learning Approach to Improving the Learning Attitudes and Achievements of Students [J].Computers & Education (S0360-1315),2011,56(4):1023-1031.
[26]CHU H C,HWANG G J,TSAI C C.A Knowledge Engineering Approach to Developing Mindtools for Contextaware Ubiquitous Learning [J].Computers & Education(S0360-1315),2010,54(1):289-297.
[27]CHU H C,HWANG G J,TSAI C C,et al.A Two-tier Test Approach to Developing Location-aware Mobile Learning Systems for Natural Science Courses [J].Computers & Education (S0360-1315),2010,55(4):1618-1627.
[28]LI S,SHEN Y,WANG P,et al.A Case Study of Teaching Probability Using Augmented Reality in Secondary School [C].Proceedings of the 24th International Conference on Computers in Education,India:Asia-Pacific Society for Computers in Education,2016:340-344.
[29]李鐵萌,蘇力博,呂菲,等.基于增強(qiáng)現(xiàn)實(shí)的學(xué)前兒童識(shí)字教育系統(tǒng)及實(shí)驗(yàn)研究 [J].軟件,2015,(4):44-49.
[30]HE J,REN J,ZHU G,et al.Mobile-Based AR Application Helps to Promote EFL Children’s Vocabulary Study[C].Proceedings of the 2014 IEEE 14th International Conference on Advanced Learning Technologies,Athens:IEEE,2014.
[31]CHIANG T H,YANG S J.Students’ Online Interactive Patterns in Augmented Reality-based Inquiry Activities [J]. Computers & Education(S0360-1315),2014,(78):97-108.
[32]HSIAO H S,CHANG C S.Weather Observers:A Manipulative Augmented Reality System for Weather Simulations at Home,in the Classroom,and at a Museum [J].Interactive Learning Environments(S1049-4820),2016,24(1):1-19.
[33]WANG X,KRAAK M J.Progress in Cartography:User Requirements Analysis for a Mobile Augmented Reality Tool Supporting Geography Fieldwork [M].Berlin:Springer International Publishing,2016:30-68.
[34]陳向東,曹楊璐.移動(dòng)增強(qiáng)現(xiàn)實(shí)教育游戲的開發(fā)——以“快樂尋寶”為例 [J].現(xiàn)代教育技術(shù),2015,25(4):101-107.
[35]WANG P,OUYANG S,ZHANG X,et al.A Study on Campus Cultural Learning and Navigation System Using Mobile Augmented Reality and Location Based Services[C].Association for the Advancement of Computing in Education,New Orleans:AACE,2014.
[36]國(guó)務(wù)院.國(guó)務(wù)院關(guān)于印發(fā)“十三五”國(guó)家信息化規(guī)劃的通知[DB/ OL].(2016-12-27)[2017-02-20].http://www.gov.cn/zhengce/ content/2016-12/27/content_5153411.htm.
[37]國(guó)務(wù)院.關(guān)于促進(jìn)移動(dòng)互聯(lián)網(wǎng)健康有序發(fā)展的意見[DB/ OL].(2017-01-15)[2017-02-23].http://www.gov.cn/ zhengce/2017-01/15/content_5160060.htm.
[38]國(guó)務(wù)院.國(guó)務(wù)院關(guān)于印發(fā)國(guó)家教育事業(yè)發(fā)展“十三五”規(guī)劃的通知[DB/OL].(2017-01-19)[2017-02-23].http://www.gov.cn/zhengce/ content/2017-01/19/content_5161341.htm.
[39]WU H K,LEE S W Y,CHANG H Y,et al.Current Status,Opportunities and Challenges of Augmented Reality in Education[J].Computers & Education(S0360-1315),2013,62(3):41-49.
[40]The Economics.The Promise of Augmented Reality[DB/OL]. (2017-02-04)[2017-02-28].http://www.economist.com/news/ science-and-technology/21716013-replacing-real-world-virtualone-neat-trick-combining-two.
[41]NUNEZ M,QUIROS R,NUNEZ I,et al.Collaborative Augmented Reality for Inorganic Chemistry Education In 5th WSEAS/IASME International Conference on Engincering Education,Heraklion,Greece,July 22-24,2008.
(責(zé)任編輯 孫志莉)
The Educational Application Cases and Development Trend of VR/AR
CAI Su1,2,ZHANG Han1
(1.Faculty of Education,Beijing Normal University,Beijing,China 100875; 2.Joint Laboratory for Mobile Learning,Mimstry of Education-China Mobile Communications Corporation,Beijing Normal University,Beijing,China 100875)
With the diversification of educational forms and the deep application of cutting-edge information technology in the field of education,the VR/AR learning environment has promoted more and more educators to return to the nature of education through reshaping the way of learning. It has a profound influence on innovative talents cultivation and education universalization.Based on the introduction of the concept of VR/AR,this paper expounds the current situation of international VR/AR educational application,introduces the development and empirical results of some classic VR/ AR education cases,and helps us have a further understanding of the general law of constructing information-based teaching model.Apparently,the application of VR/AR in the field of education is still in its early stages.It not only has development opportunities,but also faces some challenges.In the future,in-depth studies on the VR/AR learning environment should be conducted to support learning and teaching with the aim to enhance students’ learning effect in the classroom teaching,and to provide experience and inspiration for the reform and practice of educational teaching mode.
Augmented Reality;Virtual Reality;educational application
G4
A
2096-0069(2017)03-0001-10
2017-03-01
蔡蘇(1981— ),男,湖北洪湖人,碩士生導(dǎo)師,研究方向?yàn)閂R/AR教育應(yīng)用、STEM教育;張晗(1995— ),女,內(nèi)蒙古呼倫貝爾人,碩士生,研究方向?yàn)閂R/AR教育應(yīng)用、科學(xué)教育。