（四川音樂學(xué)院，四川 成都 610000）

隨著2016年增強(qiáng)現(xiàn)實(shí)（Augmented Reality）技術(shù)的爆發(fā)式增長(zhǎng)，各大科技企業(yè)如谷歌、Facebook、阿里巴巴等開始投資虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，而可口可樂與宜家家居在增強(qiáng)現(xiàn)實(shí)AR廣告的應(yīng)用，更加印證了AR技術(shù)正在不斷的發(fā)展中。2018年的資本市場(chǎng)開始慢慢冷靜下來，增強(qiáng)現(xiàn)實(shí)概念逐漸淡出大眾視野。除了技術(shù)在不斷沉淀，AR技術(shù)應(yīng)用開發(fā)將是其最終發(fā)展之路。增強(qiáng)現(xiàn)實(shí)AR技術(shù)在教育中將抽象的概念通過三維模型的疊加使其形象化。利用交互手段使得學(xué)生感受更加貼近真實(shí)世界，從視覺、聽覺沉浸式的體驗(yàn)知識(shí)的樂趣增強(qiáng)了學(xué)習(xí)的趣味性，達(dá)到寓教于樂的目的。

一、增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)的教育應(yīng)用概述

增強(qiáng)現(xiàn)實(shí)技術(shù)最早于1990年提出，隨后經(jīng)歷了近30年的探索研究。2009年SPRXmodbile公司推出了全球首款Layer的增強(qiáng)現(xiàn)實(shí)瀏覽器，能幫助用戶通過手機(jī)獲取當(dāng)前環(huán)境的詳細(xì)信息，2012年4月，谷歌發(fā)布了一款眼鏡（Goolge Project Glass）用戶可以通過顯示屏提供輔助信息，同時(shí)可下達(dá)語音指令，實(shí)現(xiàn)拍照、導(dǎo)航、電話等功能。增強(qiáng)現(xiàn)實(shí)技術(shù)是在虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上發(fā)展而來，主要利用電腦圖形圖像技術(shù)、可視化技術(shù)將真是世界與虛擬世界進(jìn)行“真實(shí)”結(jié)合的技術(shù)。其把虛擬物體信息疊加到真實(shí)空間，也可以將不可見的概念實(shí)時(shí)交互的融合在真實(shí)世界中。

增強(qiáng)現(xiàn)實(shí)的硬件系統(tǒng)主要以計(jì)算機(jī)系統(tǒng)、標(biāo)識(shí)識(shí)別系統(tǒng)、顯示系統(tǒng)、傳感器組成的人機(jī)交互系統(tǒng)組成，其主要有以下幾種技術(shù)手段來實(shí)現(xiàn)計(jì)算機(jī)圖形和可視化技術(shù)，由此將虛擬的物體與真實(shí)環(huán)境進(jìn)行融合。AR與VR技術(shù)相比，AR可以不用穿戴設(shè)備，將學(xué)習(xí)對(duì)象與仿真世界融合呈現(xiàn)，使之方便有效地進(jìn)行操作，在應(yīng)用中用戶以自然的交互手段進(jìn)行自主探索，獲得知識(shí)，能將真實(shí)環(huán)境無法表現(xiàn)的信息比如說磁場(chǎng)、電波、分子結(jié)構(gòu)等與真實(shí)環(huán)境結(jié)合，且能互動(dòng)，獲得實(shí)時(shí)的交互體驗(yàn)。

（一）圖像識(shí)別技術(shù)

通過對(duì)圖像的特征進(jìn)行分析計(jì)算得出對(duì)應(yīng)的攝像機(jī)位置和圖像特點(diǎn)。當(dāng)攝像頭拍攝到預(yù)定圖像時(shí)將根據(jù)識(shí)別到的信息如圖像位置、大小、旋轉(zhuǎn)、反求出攝像機(jī)位置、移動(dòng)、旋轉(zhuǎn)等，由此可將3D虛擬模型疊加到真實(shí)空間中。除了特定單一圖片，在特定場(chǎng)景或者物體的識(shí)別技術(shù)都與圖像識(shí)別技術(shù)原理相同。如宜家家居AR情景廣告，通過手機(jī)應(yīng)用掃描宜家家居的畫冊(cè)，可以看到家具模型，可將喜歡的家具放入到自己家中查看展示效果。

（二）定位技術(shù)

除了通過圖像識(shí)別到鏡頭的旋轉(zhuǎn)等信息以外，還可以通過電子羅盤、GPS等設(shè)備來獲取定位所在位置。如Pokemon Go的交互游戲、谷歌發(fā)布的Project Glass等。例如Project Glass它體積雖小但是將智能手機(jī)、GPS、相機(jī)集于一身，可以通過語音來控制拍照、發(fā)信息，使用地圖導(dǎo)航、分享、直播等多種功能。利用定位技術(shù)，結(jié)合網(wǎng)絡(luò)的傳輸，可現(xiàn)實(shí)地圖信息將交互性提升到了一個(gè)新的臺(tái)階。

二、增強(qiáng)現(xiàn)實(shí)AR數(shù)字化教育的產(chǎn)品開發(fā)現(xiàn)狀

（一）幼兒教育

增強(qiáng)現(xiàn)實(shí)AR產(chǎn)品應(yīng)用涵蓋多種方面，而在教育、醫(yī)療、科技、旅游、游戲以及大屏互動(dòng)等應(yīng)用中相對(duì)成熟。其中在幼兒教育領(lǐng)域比較成功的方式如AR卡片識(shí)物、多卡搭建場(chǎng)景、涂涂樂圖書。在未來AR教育依然是技術(shù)應(yīng)用極其重要的方向，幼兒教育環(huán)境本身對(duì)創(chuàng)新教育方式保持相對(duì)積極的態(tài)度，而且幼兒又更容易接受新鮮事物，在實(shí)際課堂中，借助AR技術(shù)將世界各地風(fēng)景以3D的形式體現(xiàn)出來，甚至還能加入人機(jī)交互，在豐富了課堂內(nèi)容的同時(shí)增強(qiáng)了學(xué)習(xí)體驗(yàn)，大大增加了課堂學(xué)習(xí)趣味，提高了學(xué)生學(xué)習(xí)興趣。這使得AR在教育領(lǐng)域應(yīng)用變得更加具有開發(fā)價(jià)值。

（二）中學(xué)教育

在中學(xué)階段的增強(qiáng)現(xiàn)實(shí)應(yīng)用主要以課堂理論和實(shí)驗(yàn)室實(shí)踐為主要方案，提升理論知識(shí)的趣味性、形象化。在中學(xué)階段，學(xué)生開始學(xué)習(xí)物理、化學(xué)、數(shù)學(xué)等抽象概念學(xué)科，增強(qiáng)現(xiàn)實(shí)可以幫助老師在課堂快速實(shí)現(xiàn)理論知識(shí)的可視化操作，對(duì)提升學(xué)生的抽象思維、探索能力也具有積極的促進(jìn)作用。例如“云幻科教AR教學(xué)”應(yīng)用方案。其涵蓋了物理、化學(xué)、生物等學(xué)科，以中學(xué)的課程為方案設(shè)計(jì)，在演示過程中可以進(jìn)行手勢(shì)操作。可以通過交互方式從各個(gè)角度觀察物理現(xiàn)象、生物動(dòng)畫、化學(xué)反應(yīng)動(dòng)畫等，作為一種教學(xué)手段提升了學(xué)生的參與度，同時(shí)豐富了教學(xué)模式。

（三）高等教育

增強(qiáng)現(xiàn)實(shí)AR技術(shù)在高等教育中的應(yīng)用同樣十分廣泛，它可以將抽象立體幾何圖形進(jìn)行3D可視化，可以將機(jī)械模型進(jìn)行拆分，將人體骨骼、肌肉、經(jīng)脈等展現(xiàn)在學(xué)生面前等等。據(jù)研究表明，增強(qiáng)現(xiàn)實(shí)在教育教學(xué)中能幫助學(xué)生更加直觀方便地獲取專業(yè)知識(shí)，在教學(xué)過程中免去了復(fù)雜的抽象的概念，免去了手工拆分模型的煩瑣，有助于學(xué)生專注于核心知識(shí)。這種沉浸式的體驗(yàn)，有助于培養(yǎng)學(xué)生專注力，訓(xùn)練學(xué)生的空間思維能力。目前增強(qiáng)現(xiàn)實(shí)在各個(gè)學(xué)科領(lǐng)域的應(yīng)用，表明了作為一種技術(shù)手段其特有的沉浸式、交互式的優(yōu)勢(shì)，它可融合與各行各業(yè)，對(duì)各行各業(yè)相關(guān)專業(yè)的發(fā)展有很強(qiáng)的促進(jìn)作用。

三、在移動(dòng)客戶端下的兒童圖書動(dòng)畫產(chǎn)品需求分析

增強(qiáng)現(xiàn)實(shí)在圖書領(lǐng)域的應(yīng)用主要體現(xiàn)在書本作為可識(shí)別的對(duì)象，結(jié)合AR技術(shù)展現(xiàn)出3D物體，同時(shí)兼?zhèn)涑两?、交互式，甚至擴(kuò)展AI智能的特點(diǎn)。開發(fā)兒童對(duì)事物認(rèn)識(shí)的思維，拓展理解事物的維度。作為商業(yè)產(chǎn)品的應(yīng)用，兒童圖書產(chǎn)品需要更多關(guān)注到用戶體驗(yàn)，比如更多考慮到書本識(shí)別圖案的獲取便利性、移動(dòng)端對(duì)物體識(shí)別的便利性、產(chǎn)品的趣味性、可拓展性等因素。由此在制作基于增強(qiáng)現(xiàn)實(shí)技術(shù)圖書中，除了遵守最基本的兒童教育圖書相關(guān)法律和道德規(guī)范。對(duì)3D畫面的設(shè)計(jì)應(yīng)當(dāng)適合兒童的美術(shù)風(fēng)格；對(duì)交互性設(shè)計(jì)可選擇以非文字方式體現(xiàn)，可采取手勢(shì)控制、語音指令等方式體現(xiàn)。如由海洋出版社出版的兒童《AR涂涂樂2》系列圖書，分別由多樣職業(yè)系列、奇妙自然系列、多彩社會(huì)系列有趣物品系列四部分組成，通過手機(jī)客戶端下載APP選擇對(duì)應(yīng)圖書進(jìn)行AR識(shí)別，兒童可將自己涂色的人物顯示成三維模型，在美術(shù)和動(dòng)畫設(shè)計(jì)上選用可愛Q版風(fēng)格，畫面清新明亮，同時(shí)配有語音和屏幕觸摸交互設(shè)計(jì)。

四、兒童AR涂涂樂動(dòng)畫產(chǎn)品開發(fā)

涂色類AR應(yīng)用是將真實(shí)的圖書圖案圖上顏色顯示在虛擬模型上的一種AR應(yīng)用，其通過繪畫的方式與虛擬模型的顏色呈現(xiàn)做了一個(gè)交互體驗(yàn)，讓客戶有了另一種參與感受，這種AR技術(shù)方式對(duì)兒童的動(dòng)手能力、色彩思維、立體空間形象思維等開發(fā)有很強(qiáng)的參考價(jià)值。目前涂色類AR在技術(shù)實(shí)現(xiàn)上有兩種體現(xiàn)，第一種是實(shí)時(shí)的涂色（涂色過程會(huì)實(shí)時(shí)顯示在虛擬模型上），另外一種是固定涂色（涂色結(jié)束以后，需要展示涂色效果的時(shí)候才顯示在虛擬模型上）。兩種方式各有優(yōu)點(diǎn)，實(shí)時(shí)涂色方式可以實(shí)時(shí)顯示體驗(yàn)過程，但在繪制過程中往往無法保持相機(jī)位置，識(shí)別容易受到環(huán)境因素而形成干擾；而固定涂色方式，是繪制結(jié)束以后才顯示繪制效果，在識(shí)別過程中不容易出現(xiàn)干擾。

五、基于計(jì)算機(jī)圖形識(shí)別的三維配準(zhǔn)技術(shù)

在AR識(shí)物卡片涂涂樂實(shí)例中，可以方便的選定需要的三維配準(zhǔn)工具，當(dāng)下常用引擎為unity3D而支持引擎的增強(qiáng)現(xiàn)實(shí)的SDK配準(zhǔn)插件包有Vuforia、EasyAR和Wikitude等。目前市面上主要的SDK開發(fā)工具包為Voforia和EasyAR。Voforia是增強(qiáng)現(xiàn)實(shí)應(yīng)用的軟件開發(fā)工具包，其除了平面圖片識(shí)別還提供了圓柱體、立方體、虛擬按鈕、智能貼圖等功能。而EasyAR是國產(chǎn)增強(qiáng)現(xiàn)實(shí)SDK在行業(yè)中使用較多，其推出的免費(fèi)版獲得了許多愛好者的擁護(hù)，隨著市場(chǎng)競(jìng)爭(zhēng)愈來愈激烈EasyAR也不斷在更新使其功能更加完善，可實(shí)現(xiàn)的效果也就越來越豐富多樣，最終才會(huì)推動(dòng)AR產(chǎn)業(yè)不斷向前發(fā)展。Wikitude是國外一款增強(qiáng)現(xiàn)實(shí)SDK，與其他競(jìng)爭(zhēng)者相比，它支持地理信息定位，而識(shí)別類型目前只有圖片識(shí)別功能。

六、基于SDK開發(fā)工具包的增強(qiáng)現(xiàn)實(shí)制作技術(shù)整體設(shè)計(jì)

在制作AR增強(qiáng)現(xiàn)實(shí)中的SDK開發(fā)工具包有很多，本文以EasyAR為例。在基于EasyAR的增強(qiáng)現(xiàn)實(shí)制作流程中，主要?jiǎng)澐?個(gè)步驟：涂色類AR識(shí)別圖案設(shè)計(jì)、三維模型制作、配置識(shí)別圖和模型制作、獲取正確貼圖的編程。

（一）涂色類AR識(shí)別圖案設(shè)計(jì)分析

識(shí)別圖設(shè)計(jì)的優(yōu)劣會(huì)直接影響到最終能否被引擎識(shí)別，最終影響呈現(xiàn)效果。在涂色類AR的識(shí)別圖中，分為兩個(gè)部分，第一部分是有色部分，這一部分信息會(huì)作為定位模型的依據(jù)，第二部分是空白區(qū)域，這一部分需要客戶手動(dòng)上色以后在虛擬模型上呈現(xiàn)出來材質(zhì)顏色區(qū)域。而第一部分的有色區(qū)域需要考慮美觀以及可識(shí)別性，我們可以利用加大圖案的復(fù)雜程度、清晰程度、對(duì)比程度來增強(qiáng)圖形的可識(shí)別性。識(shí)別圖的設(shè)計(jì)展現(xiàn)方式中常見有兩種呈現(xiàn)方式，一種是正交識(shí)別圖（空白待填色區(qū)域體現(xiàn)物體正面和背面），另一種是非正交識(shí)別圖（空白待填區(qū)域是生動(dòng)的動(dòng)作設(shè)計(jì)），兩種識(shí)別圖各有優(yōu)點(diǎn)，正交識(shí)別圖可以比較完美地將顏色賦予虛擬模型，但是識(shí)別圖從設(shè)計(jì)上來講顯得呆板無趣；另一個(gè)非正交識(shí)別圖，動(dòng)態(tài)感比較強(qiáng)提升了美觀性和故事性，但是最后識(shí)別出來的貼圖賦予到虛擬模型上以后，材質(zhì)顯示會(huì)出現(xiàn)比較明顯的拉伸變形效果，有些部分會(huì)形成遮擋，以至于無法單獨(dú)上色。

（二）涂色類AR三維模型和動(dòng)畫標(biāo)準(zhǔn)分析

在3D建模中常見的模型類型有多邊形網(wǎng)格和曲面。在引擎Unity3D中用于增強(qiáng)現(xiàn)實(shí)場(chǎng)景常用的是多邊形網(wǎng)格poly，為了提高客戶端運(yùn)行效率，模型網(wǎng)格數(shù)量應(yīng)該嚴(yán)格控制在一定范圍，目前行業(yè)對(duì)場(chǎng)景和普通物體模型的網(wǎng)格數(shù)量要求在三千個(gè)左右，而卡通人物的網(wǎng)格數(shù)量控制在一萬個(gè)以內(nèi)，模型的網(wǎng)格數(shù)量越低運(yùn)行效率越高，但是細(xì)節(jié)容易損失，需要在畫面質(zhì)量和運(yùn)行效率中找到一個(gè)平衡點(diǎn)，既能滿足普通客戶配置要求，又能得到更好的體驗(yàn)。在對(duì)模型法線要求中需要法線方向朝外，以便更好顯示貼圖材質(zhì)，在擁有動(dòng)畫數(shù)據(jù)和貼圖數(shù)據(jù)后，需要將動(dòng)畫進(jìn)行烘焙。

七、配置識(shí)別圖與獲取正確貼圖的原理

在涂色類AR案例中，之所以能把圖書中涂色部分的顏色匹配到三維模型上，是因?yàn)槿S模型的材質(zhì)現(xiàn)實(shí)是基于UV貼圖，首先需要讓客戶端APP識(shí)別到圖書中的識(shí)別圖，并將識(shí)別圖作為UV貼圖傳遞到物體上，作為物體的材質(zhì)素材圖啟用。所以在UV貼圖制作項(xiàng)目中需要將模型的UV展開，并將UV于識(shí)別圖模型的結(jié)構(gòu)進(jìn)行匹配，為了避免跟蹤數(shù)據(jù)的不穩(wěn)定因素造成貼圖的錯(cuò)誤，也可以適量將UV邊緣與識(shí)別圖的邊緣保持一段距離，來避免識(shí)別誤差導(dǎo)致的不理想效果。

八、資源整合及編程實(shí)現(xiàn)

在Unity3D引擎中我們可以很方便搭建三維場(chǎng)景，可將模型、動(dòng)畫、聲音、物理系統(tǒng)等素材資源進(jìn)行組合，它是一個(gè)多平臺(tái)綜合型的游戲開發(fā)工具，在增強(qiáng)現(xiàn)實(shí)AR領(lǐng)域應(yīng)用十分廣泛。在本項(xiàng)目中選用可在Unity3D中使用的增強(qiáng)現(xiàn)實(shí)EasyAR工具包。在操作中我們需要登錄EasyAR的官網(wǎng)下載開發(fā)工具包，在導(dǎo)入引擎以后會(huì)自動(dòng)提供一個(gè)“ImageTarget”，此物體是作為場(chǎng)景中的識(shí)別物體現(xiàn)實(shí)，將需要識(shí)別圖片拖入“StreamingAssets”目錄下，通過對(duì)“Inspector”中的屬性進(jìn)行設(shè)置，并將場(chǎng)景材質(zhì)與識(shí)別圖進(jìn)行關(guān)聯(lián)。這樣即可實(shí)現(xiàn)基本的增強(qiáng)現(xiàn)實(shí)AR效果。

在實(shí)現(xiàn)可識(shí)別圖案后，作為涂涂樂AR的需要，對(duì)模型材質(zhì)部分還需要用程序進(jìn)行指定。在引擎中的實(shí)現(xiàn)方法可以采用自動(dòng)啟用識(shí)別出的材質(zhì)，也可以通過按鈕替換方式來實(shí)現(xiàn)貼圖材質(zhì)。在自動(dòng)啟用中，這里制作一個(gè)新的材質(zhì)Mobile/Diffuse,將材質(zhì)賦予模型（模型植物體中的網(wǎng)格物體），不過模型材質(zhì)還是為空，是因?yàn)椴馁|(zhì)并沒有獲得任何可用信息。在這里解決辦法是新建一個(gè)C#Script對(duì)存儲(chǔ)的模型和貼圖通過函數(shù)將其關(guān)聯(lián)。其關(guān)聯(lián)主要代碼如下：

在另一種呈現(xiàn)方式是通過按鈕替換貼圖，要實(shí)現(xiàn)這一功能需要調(diào)用引擎的UGUI的“Button”來實(shí)現(xiàn)點(diǎn)擊按鈕來顯示貼圖或者取消顯示。在這里對(duì)按鈕的點(diǎn)擊事件中需要設(shè)置On Click（）下的表達(dá)式管理來添加對(duì)應(yīng)的函數(shù)代碼。在此案例中使用按鈕替換貼圖，其主要代碼如下：

在后續(xù)測(cè)試中，會(huì)出現(xiàn)貼圖不準(zhǔn)確的情況，這是因?yàn)樵讷@取識(shí)別圖時(shí)，直接將所有不想關(guān)聯(lián)的識(shí)別區(qū)域一并賦予模型。解決這一的問題可以通過獲取識(shí)別圖的四個(gè)邊角在空間位置的坐標(biāo)，以此來準(zhǔn)確獲取識(shí)別圖的區(qū)域，獲取此區(qū)域以后，就可以將它的位置定義到著色器shader上。最后通過將識(shí)別圖的資源與定位出來的區(qū)域進(jìn)行調(diào)用即可實(shí)現(xiàn)正確的貼圖效果。

九、總結(jié)

如今科技不斷發(fā)展，教育數(shù)字化在教育應(yīng)用中也在不斷創(chuàng)新，虛擬現(xiàn)實(shí)AR技術(shù)的采用加快了教育改革創(chuàng)新步伐，如何開發(fā)符合市場(chǎng)需求的創(chuàng)新產(chǎn)品也是當(dāng)前所缺乏的，在教育領(lǐng)域增強(qiáng)現(xiàn)實(shí)AR技術(shù)為學(xué)生建立了直觀可視化的教學(xué)案例和交互平臺(tái)，其將抽象的教學(xué)知識(shí)可視化，輔助學(xué)生對(duì)不可見的自然物象進(jìn)行可視化；同時(shí)讓學(xué)生交互式體驗(yàn)不同實(shí)驗(yàn)室的研究過程，增強(qiáng)了學(xué)生在學(xué)習(xí)過程的參與感，培養(yǎng)學(xué)生發(fā)散性思維。作為教學(xué)活動(dòng)的新方式，增強(qiáng)現(xiàn)實(shí)AR技術(shù)也豐富了教學(xué)活動(dòng)，為課堂注入了動(dòng)力，提高了學(xué)生的學(xué)習(xí)趣味性，為傳道授業(yè)解惑的教育事業(yè)增添了新的活力，如何利用好增強(qiáng)現(xiàn)實(shí)技術(shù)AR為教育服務(wù)正是我們需要探索和研究的領(lǐng)域。