楊繼林 ,姚亮 ,楊彥軍 ,劉金鳳

(1.上饒師范學院 文學與新聞傳播學院,江西 上饒 334001;2.上饒師范學院 教務處,江西 上饒 334001;3.上饒師范學院 物理與電子信息學院,江西 上饒 334001;4.南昌大學 教育發(fā)展研究院,江西 南昌 330031)

受全球新型冠狀病毒疫情的沖擊,我國應急啟動了史無前例的大規(guī)模在線教育,在極大推進教育信息化步伐的同時,也暴露出數(shù)字教材匱乏的窘境,建設信息技術與教育教學深度融合、多種介質綜合運用、表現(xiàn)力豐富的新形態(tài)教材[1]成為亟待解決的問題。

AR 是增強現(xiàn)實(Augmented Reality)的英文縮寫。AR 技術是一種借助計算機圖形、可視化等技術,將虛擬信息疊加到真實環(huán)境中,從而達到超越現(xiàn)實的數(shù)字化技術[2]。隨著移動智能終端的普及,AR 與教材的融合也逐漸轉向以移動智能機為載體,以基于富媒體的數(shù)字教材之上鏈接AR 內(nèi)容為主要形態(tài)的AR 數(shù)字教材。其以虛實融合情景模擬和再現(xiàn)的方式為學習者帶來視、聽、觸等多種感官下的具身學習體驗。學習者與虛擬信息的沉浸式交互有助于學習者理解抽象內(nèi)容、獲得情感流暢與歸屬感,進而培養(yǎng)其問題解決能力和批判思維能力。因此,基于AR 技術的數(shù)字化教材的開發(fā)具有實用性和價值性。

1 AR 數(shù)字教材的演變

1.1 AR 數(shù)字教材的技術特征

回顧我國數(shù)字教材的演變歷程,沙沙等學者依據(jù)技術應用方式,將我國中小學數(shù)字教材分為靜態(tài)數(shù)字教材、多媒體數(shù)字教材、數(shù)據(jù)化數(shù)字教材三種類型[3]。隨著VR、AR、MR 技術發(fā)展日新月異,數(shù)字教材的AR技術成分占比逐漸增大,有成為當下數(shù)字教材主流技術的趨勢,對此必須給予足夠的重視。為此,本研究將數(shù)字教材分為靜態(tài)媒體數(shù)字教材、多媒體數(shù)字教材、富媒體數(shù)字教材、AR 數(shù)字教材四代。AR 數(shù)字教材作為數(shù)字教材的最新形態(tài),具有AR 技術的三大特征[4]:一是虛實結合,實現(xiàn)現(xiàn)實和虛擬世界的融合;二是三維注冊,實現(xiàn)3D 圖像的精確配準;三是實時交互,能夠實現(xiàn)現(xiàn)實世界與虛擬信息的實時反饋。這些技術特征使得AR 數(shù)字教材較之前三代在傳播力、直觀性、互動性等方面具有明顯優(yōu)勢。四代數(shù)字教材技術特性比較如表1所示,由此也反映出數(shù)字教材技術演變的進程。

表1 不同類型的數(shù)字教材媒體特性

1.2 AR 數(shù)字教材的教學特性

已有學者研究AR 教材的教學功能。馬來西亞學者[5]采用觀察和訪談法證實AR pop－up book教材有利于提高小學生英語學習動機。泰國學者研究動畫增強現(xiàn)實書模型(AARBook Model)[6],并評估其增強團隊合作的效果。韓國學者[7]指出AR 教材可以幫助學生理解并記憶抽象信息,支持沉浸式學習和差異化學習,從而增加學生的學習動機和參與度。結合AR 數(shù)字教材的定義、技術特征以及AR 書籍的相關研究,歸納出AR 數(shù)字教材具有以下教學特性。

1.2.1 學習過程涉身化

皮亞杰發(fā)現(xiàn)幼兒認識世界是通過吮吸和抓握等身體動作完成的,人的認知發(fā)展是建立在感覺能力和運動能力之上的發(fā)展。因此身體的感覺及運動成了學習的關鍵,人是通過身體來認識世界的,這便是學習的涉身性[8]。AR 數(shù)字教材可以還原教學內(nèi)容場景,立體呈現(xiàn)教學模型,提供深度互動體驗,使得整個教學過程身臨其境。

1.2.2 學習經(jīng)驗具體化

“經(jīng)驗之塔”(The Cone of Experience)理論認為人的經(jīng)驗可以通過直接或間接兩種方式習得,通過這兩種方式將經(jīng)驗分為做的經(jīng)驗、觀察的經(jīng)驗、抽象的經(jīng)驗三大類。傳統(tǒng)的數(shù)字教材在紙質教材的基礎上補充靜態(tài)的二維圖片和動態(tài)的視音頻,為學習者提供觀察的經(jīng)驗和抽象經(jīng)驗。而AR 數(shù)字教材能填補紙質書和傳統(tǒng)數(shù)字教材中所不能提供的“做的經(jīng)驗”。AR 數(shù)字教材可以成為將學生移動到動畫交互的虛擬環(huán)境中去的手段[9],即點擊AR 數(shù)字教材中的識別按鈕,可直接將三維立體的動態(tài)模型或影像疊加在屏幕之上,支持的手勢識別可讓用戶直接觸碰(抓取、移動、添加、減少、旋轉、拆除、組合)虛擬模型。

1.2.3 認知通道平衡化

認知負荷理論認為任何學習活動和任務的完成都需要耗費認知資源,從而造成認知負荷。從單一的視覺通道向聽覺、視覺、觸覺等多通道分流,這樣有效平衡“言語通道”和“視覺通道”中的信息流量以平衡各通道中的認知負荷[10]。

1.2.4 知識記憶無意化

AR 數(shù)字教材可將二維的內(nèi)容轉換成逼真的立體影像,讓用戶全身心投入虛擬世界之中,與三維影像的立體化交互,易于使學習者更多采用無意識記憶,能夠直抵潛意識,從而加深知識記憶。

1.2.5 學習場合自由化

AR數(shù)字教材以移動智能終端為依托,學習者只需開啟攝像頭對準識別圖或點擊同步APP便能進入學習界面,學習場所由被動、固定的向主動、移動式的轉換,隨著學習場所的改變,能夠營造出個性化的學習環(huán)境,促進學習者深度學習。

2 AR 數(shù)字教材的教育應用

數(shù)字教材是一類面向教育教學的特殊電子書,為進一步了解AR 數(shù)字教材具體的教育應用情況,以AR數(shù)字教材、AR book為檢索詞在中外文期刊文獻數(shù)據(jù)庫中進行檢索,共檢索中文21篇、外文127篇。除深入研讀理論文獻外,同時關注AR 數(shù)字教育、AR 數(shù)字出版企業(yè)。整合分析理論資料與實際產(chǎn)品過程中,羅列出10個AR 數(shù)字教材典型案例(如表2所示),參照應用對象的學習領域劃分可見,現(xiàn)有AR 數(shù)字教材的教育應用主要集中在語言學習、科學教育與職業(yè)教育等三大板塊。

表2 案例來源匯集表

2.1 語言學習

漢語拼音是識字的基礎,是閱讀的前提。學好拼音是低年級語文學科的首要任務。然而,傳統(tǒng)拼音教學往往采用跟讀教學方式、以命令式的口吻讓學習者死記硬背,整個教學過程缺乏趣味性,大大降低了學習者對學習的熱愛和激情。AR 數(shù)字教材的出現(xiàn),使學習者在逼真的“現(xiàn)實情境”中直接用雙手對虛擬物體進行靈活的操作,激發(fā)他們的學習興趣和自主探索的能力。例如:新東方推出的一套AR 拼音學習教材,學習者通過裝有攝像頭的設備對準AR 標識的卡片或圖案進行掃描,不僅能觀看到疊加在現(xiàn)實世界之上的三維影像,還能讓學習者沉浸在逼真的虛實融合環(huán)境之中。

2.2 科學教育

科學學科(物理、化學、生物、地理中天文部分)具備抽象化、微觀化、模型化、空間認知以及彰顯實驗能力的學科特征[11]。AR 技術能仿真模擬并重現(xiàn)科學微觀和宏觀場景,使得學習者能夠感知不可見現(xiàn)象,加深學習者對抽象知識的理解。蔡蘇團隊早在2016年就發(fā)現(xiàn),不少國外學者分別通過增強現(xiàn)實技術,來創(chuàng)建探索天文知識(地球和太陽、白天和黑夜的關系)的場景,模擬化學成分,創(chuàng)設可視化、可自然交互的磁場[12]。

2.3 職業(yè)教育

傳統(tǒng)的機械類數(shù)字教材只能提供二維圖片供學習者學習,而欠缺空間想象能力的學生在處理零部件的空間位置及運動關系時就會感到困難[13],使用硬件的攝像頭獲取AR 數(shù)字教材中的零部件或設備圖片,進行空間注冊,然后將模型動畫與教具及其現(xiàn)實場景進行匹配,并通過攝像機渲染達到逼真效果,最后將形成增強現(xiàn)實的特效場景疊加在教具實物之上[14]。

3 AR 數(shù)字教材的開發(fā)現(xiàn)狀

目前,國內(nèi)已經(jīng)有若干AR 數(shù)字教材設計與開發(fā)的研究實例。周靈等[15]提出基于Windows平臺的增強現(xiàn)實少兒英語教科書的研發(fā)流程包括需求分析、項目設計、項目實施、調(diào)試與發(fā)布多個階段。進一步,黃敏等[16]采用Unity3D 集成Vuforia SDK 設計實現(xiàn)基于增強現(xiàn)實技術的英語視聽說移動教學軟件VBook。鐘春霞[17]等認為,基于增強現(xiàn)實的數(shù)字教材設計,需要結合系統(tǒng)的教學設計理念,并且要面向實景學習、體驗式學習、游戲化學習等學習方式。

AR 數(shù)字教材的整體流程設計分為五個階段:需求分析階段、整體設計階段、實現(xiàn)階段、測試與調(diào)試、發(fā)布,如圖1所示。

圖1 AR 數(shù)字教材的開發(fā)模型

(1)需求分析階段:根據(jù)師生對數(shù)字教材的需求進行分析研究,主要包括:在匹配教學目標、教學重難點的基礎上,確定教材的具體哪些教學知識點是需要融合AR 元素的。

(2)整體設計階段:根據(jù)用戶的需求分析,對比并篩選開發(fā)環(huán)境,對不同特性的資源(識別圖、三維模型、多媒體資源)進行分類設計,以及對交互方式進行設計。

(3)實現(xiàn)階段:先選定教材主題內(nèi)容的增強方式,運用不同的開發(fā)工具和平臺對想要呈現(xiàn)的AR 資源分類制作。

(4)測試與調(diào)試階段:通過已安裝測試APP的終端掃描查看識別圖效果以及特效的效果是否達到標準。根據(jù)用戶體驗的反饋意見,對制作的AR 資源進行調(diào)試修改。

(5)發(fā)布階段:在安卓及蘋果商店發(fā)布APP,學習者可通過圖書封面的二維碼掃描下載APP,開啟AR學習之旅。

AR數(shù)字教材開發(fā)對開發(fā)環(huán)境以及人員要求較高。正如徐瑤瑤[18]在開發(fā)面向移動終端的無標識增強現(xiàn)實電子書時所指出的,軟硬件開發(fā)環(huán)境涉及的軟件技術主要有:識別圖制作、3D 建模、增強現(xiàn)實應用開發(fā)軟件與SDK 的使用、交互代碼的編寫等,整個開發(fā)過程要求各個部門及各個板塊的專業(yè)人員高度配合。筆者致力于探尋簡易操作的AR 開發(fā)路徑,因此,下面將詳述不同開發(fā)環(huán)境和平臺的AR 實例開發(fā)步驟,供AR開發(fā)者參考。

4 AR 數(shù)字教材開發(fā)

4.1 基于Unity 3D＋Easy AR SDK 開發(fā)

在開發(fā)AR 數(shù)字教材時,借鑒上述AR 數(shù)字教材的整體流程設計。

(1)需求分析階段:遵循各學科類的教材設計原則,根據(jù)學習對象的學習風格和心理特征,選定需增加AR 互動學習場景的內(nèi)容。如選定小學英語BUS單詞,增加AR 互動學習場景,以游戲化、趣味性來激發(fā)學生學習英語的興趣,使他們初步建立學習英語的自信心。

(2)整體設計階段:先確定AR 互動場景實現(xiàn)流程,如圖2所示。再根據(jù)實現(xiàn)要求選擇開發(fā)環(huán)境:Unity4.2版本,Easy AR SDK 1.0版本。

圖2 AR 互動場景實現(xiàn)流程

(1)制作識別圖。用Adobe Photoshop CC軟件制作單詞卡片,新建項目大小為595?842像素,使用文字工具輸入“BUS”,字色為紅色,字體為Algerian,調(diào)整畫布與圖像的比例,將其保存為BUS.JPG,如圖3所示。

圖3 BUS識別圖

(2)素材制作?？赏ㄟ^網(wǎng)絡資源下載所需的三維模型和音頻文件,將三維模型經(jīng)過3D MAX 軟件處理后導出為BUS.FBX 文件,如圖4所示;另將BUS音頻文件用Adobe Audition軟件進行簡單降噪、添加音效后命名為BUS.MP3,如圖5所示。

圖4 BUS三維模型

圖5 BUS音頻處理

(3)識別功能制作。在Easy AR 官網(wǎng)下載Easy AR SDK 1.0版本,解壓后找到此SDK 案例中的“Hello AR”將其導入到Unity4.2軟件中,在“Project”面板中雙擊Easy AR_Start UP,導入識別圖素材至Streaming Assets目錄下,更換場景中的識別圖為BUS.jpg,新建一個材質命名為M_bus,將識別圖附給他們,設置相應的屬性完成識別功能,如圖6所示。

圖6 BUS的AR 場景

(4)AR 場景呈現(xiàn)。將BUS汽車模型拖到Unity主場景中,作為識別圖“BUS”的子物體,之后在模型上添加盒子碰撞器“Box Collider”,調(diào)整位置與大小。編寫運行腳本語言為“void On MouseDown(){}”來實現(xiàn)觸碰模型時,出現(xiàn)英文朗讀。

4.2 基于睿視平臺

睿視平臺提供模板工具制作AR 內(nèi)容,學習者在開發(fā)AR 內(nèi)容時,無須學習開發(fā)代碼等之類的專業(yè)技術,即可簡單制作出一個增強現(xiàn)實案例。以AR earth 為例。

(1)制作平臺:AR 內(nèi)容制作官網(wǎng):https://ravvar.cn/new/80。

(2)操作步驟:

1)登錄賬號。在“睿視”官網(wǎng)中點擊右上角的“制作AR”按鈕,登錄賬號。

2)創(chuàng)作AR。第一步:完成項目創(chuàng)建。點擊制作界面的“＋”按鈕,新建項目,在項目名稱和項目描述都輸入“AR earth”,添加識別圖為“D.jpg”,項目類型選擇“公開”和“AR”,即完成項目創(chuàng)建。第二步:AR 場景制作。點擊“＋AR 場景”按鈕,進入AR 編輯界面。在編輯界面中添加三維模型,調(diào)整位置和大小,如圖7所示;選擇功能列表的“模型動畫控制”和“自定義動畫”,設置功能相關屬性,如圖8和9所示,場景制作完成后點擊保存按鈕,完成AR 制作,返回后臺“我的項目”頁,找出對應場景后呈現(xiàn)項目二維碼,如圖10所示。

圖7 睿視在線編輯界面

圖8 模型設置

圖9 模型自定義設置

圖10 項目二維碼

3)應用。打開移動智能終端上的“睿視”APP,掃描二維碼,即可查看疊加在真實世界的虛擬影像。

5 結語

AR 數(shù)字教材是基于增強現(xiàn)實技術形成的一種新型數(shù)字教材,它是在富媒體數(shù)字教材的基礎上融入AR技術的多感官交互性書籍,其超越傳統(tǒng)書籍之處是能帶給師生跨越時空限制的多感官體驗,有效降低學生的認知負荷,全面豐富師生對事物與知識的立體認知。當前,虛擬仿真教學已融入多個學科教育教學中,而AR 數(shù)字教材正是助力虛擬仿真教育教學的又一利器?？梢哉f,AR 數(shù)字教材用最貼近自然的交互方式為學習者搭建了一個自主探索的空間,做到教學內(nèi)容立體化、生動化,真正實現(xiàn)教師樂教、學生樂學的教育境界。目前,AR 數(shù)字教材仍處于探索階段,期望本研究能為AR 數(shù)字教材開發(fā)者提供參考,進而促進我國基于AR數(shù)字教材的教育教學實踐的進一步發(fā)展。