陳向東 曹楊璐
(華東師范大學 教育信息技術學系 上海 200062)
教育游戲已經(jīng)得到越來越多的關注。美國新媒體聯(lián)盟(New Media Consortium,NMC)在其發(fā)布的2014年地平線報告中指出[1],未來2~3內,游戲和游戲化學習將會廣泛地應用于教育教學。近年來增強現(xiàn)實技術的不斷發(fā)展,移動設備的功能完善,為教育游戲的發(fā)展提供了新的動力。移動增強現(xiàn)實教育游戲有效地融合了增強現(xiàn)實技術、移動技術與教育游戲的優(yōu)勢,大大拓展了教育游戲的應用領域。
移動增強現(xiàn)實系統(tǒng)是根據(jù)當前定位系統(tǒng)所測到的位置(GPS)、終端朝向(方向傳感器或陀螺儀)、實景或標記識別以及其他通過傳感設備獲得的數(shù)據(jù),將虛擬信息疊加在真實世界中相應的注冊區(qū)域,并顯示在移動終端設備的屏幕上。所謂的注冊區(qū)域可以理解為存儲在增強現(xiàn)實程序中的真實世界影像,例如一張圖片或者一個標記,程序能夠從攝像頭捕獲的視屏輸入流中比較并識別這些“注冊”了的影像,同時進行相應的虛實疊加操作。
1997年,F(xiàn)einer與其他科研人員[2]研制出世界上第一套移動增強現(xiàn)實系統(tǒng),命名為“MARS移動手機增強現(xiàn)實系統(tǒng),主要應用于導航技術。2000年,Tomas等人[3]發(fā)布了AR-Quake游戲,這款游戲是當時非常流行的基于電腦終端的Quake游戲的擴展,使游戲在室內和室外都可以進行。隨后的幾年里,基于移動終端的增強現(xiàn)實技術飛速發(fā)展,2003年 Cheok等人[4]發(fā)布了 Human Pacman(吃豆人),這是一套移動的交互式娛樂系統(tǒng),由GPS和慣性傳感器實現(xiàn)定位和視覺的感應,還配有觸控式的人機交互界面。
增強現(xiàn)實技術使虛擬信息與實際學習環(huán)境相結合,配合移動終端的使用,可以構建出適合學生學習的環(huán)境,從而激發(fā)學生的學習興趣、幫助學生理解學習內容[5]。早在十年前,麻省理工學院的Schrier設計開發(fā)了“重溫獨立戰(zhàn)爭”移動增強現(xiàn)實教育游戲[6]。游戲選在美國獨立戰(zhàn)爭的發(fā)起地——列克星敦進行,參與者使用帶有GPS功能的PDA進行導航,探訪與列克星敦戰(zhàn)役相關的列克星敦公共綠地(列克星敦戰(zhàn)役進行地)及其他建筑物。當參與者到達預設的目標地點時,PDA會疊加顯示虛擬歷史人物、虛擬文物及視音頻材料。例如,當參與者到達Old Belfry時,PDA將疊加顯示Old Belfry銅鐘的相關介紹(在英國士兵到達列克星敦時,Old Belfry銅鐘敲響了警報);當參與者到達列克星敦公共綠地的東北角時,PDA將疊加顯示民兵Nathan Munroe及其對列克星敦戰(zhàn)役的描述。
Ingress是谷歌 2012年發(fā)布的一款增強現(xiàn)實移動游戲[7]。一群歐洲科學家偶然發(fā)現(xiàn)某種神秘的能量,這一能量的來源和用途無人知曉,但一些研究人員認為它會影響我們的思想,我們必須控制這股能量,否則就會被其奴役。陣營分為兩派,“Enlightened”(啟示軍,綠色陣營)試圖接納這股力量,堅信這是對人類的恩賜,另一派“Resistance”(抵抗軍,藍色陣營)則奮力抵抗并保護我們人類剩余的資源和財富。游戲的玩家被稱為特工(Agent),兩個陣營互相角力,爭奪控制真實世界中的地標性建筑或雕塑等據(jù)點。
目前,移動增強現(xiàn)實教育游戲更多地應用于科普教育中?!暗ぁ笔且豢钜院N類教學為主題的教育游戲[8],它的主旨在于通過使用者在野外與虛擬蝴蝶的互動,來激發(fā)使用者進一步觀察了解蝴蝶的興趣,獲取與蝴蝶相關的生物知識?!暗ぁ币话銘糜谑彝庾匀画h(huán)境中,使用者可通過游戲應用,在手機屏幕上看到各類虛擬蝴蝶疊加在真實環(huán)境中。玩家可以仔細觀察蝴蝶的顏色、形狀、種類特征,并與蝴蝶進行手勢互動。
歸納現(xiàn)有的各類移動增強現(xiàn)實教育游戲,從具體功能實現(xiàn)的角度,一個基本的移動增強現(xiàn)實教育游戲的功能可以歸納為六類:用戶登錄模塊、視頻播放模塊、地圖定位模塊、通信交互模塊、增強現(xiàn)實模塊和回答問題模塊。
用戶登錄模塊:用于進行用戶信息的管理,包括用戶名、密碼、身份的分類與權限、歷史信息記錄與管理等等。
視頻播放模塊:一般這類游戲總要疊加一些視頻信息,或用于游戲步驟和相關規(guī)則的說明,或作為游戲過程中的學習資源。
地圖定位模塊:用于設定參與者的位置以及相應游戲資源、標記的位置。除了進行基本的定位以外,往往需要提供一些額外的功能,例如輔助參與者查看周邊的事物,確定行動的路線、進行活動的標記等等。
增強現(xiàn)實模塊:通常借助圖像識別、LBS、指南針等傳感器,確定相關標記和實物。或進行標記對應的操作,或調用對應的虛擬信息(例如3D模型、文字、聲音等多媒體信息),將虛擬信息疊加在真實世界中相應的注冊區(qū)域。
通信交互模塊:用于參與者之間、參與者與后臺程序之間的通信與交流。
回答問題模塊:作為教育游戲,或多或少有一些與知識學習相關的內容?;卮饐栴}模塊用于游戲軟件與知識庫系統(tǒng)、用戶之間的交互,例如在游戲過程中要求使用者按照要求做出選擇或者回答問題。
移動增強現(xiàn)實游戲開發(fā)的流程與一般的游戲軟件類似,但是需要在不同階段充分考慮移動和增強現(xiàn)實的技術特點。由于加入增強現(xiàn)實的元素,需要把虛擬物體疊加到真實的世界中,實現(xiàn)虛擬物體與人之間的交互。開發(fā)者可以結合移動增強現(xiàn)實的特征,根據(jù)教育目標的要求確定增強現(xiàn)實教育游戲的主題、游戲類型(基于場所的或是視覺、基于實物識別還是圖標識別等)以及游戲的基本規(guī)則,并在此基礎上設計游戲的整體架構和主要功能模塊,選取開發(fā)的平臺、增強現(xiàn)實引擎,合適的開發(fā)語言,完成游戲各項的功能模塊。本節(jié)以一款移動增強現(xiàn)實教育游戲——“快樂尋寶”為例,說明移動增強現(xiàn)實游戲的設計與開發(fā)過程。
“快樂尋寶”是一款基于移動增強現(xiàn)實技術的教育游戲,多個手持終端的參與者通過尋找任務、回答問題,交流與協(xié)作,共同完成室外“尋找寶藏”的活動。
該游戲事先由老師(游戲管理者)設置好相關的關卡內容,三個參與者根據(jù)游戲任務的分工共同闖關,完成游戲。由于游戲的闖關是根據(jù)回答問題來進行的,每個角色只能解答一種類型的問題,所以三個角色分別對應三種類型的問題。本次游戲是按照學科劃分的問題類型,選擇的內容是生物、歷史和地理,對應的角色分別是生物學家、歷史學家和地理學家,他們共同根據(jù)自己的知識,判斷與“寶藏”有關的信息。當然,在后續(xù)的游戲中,可以根據(jù)任務的不同,改變題目和角色類型。
參與者通過登錄游戲界面,獲得游戲參與資格之后,開始游戲。參與者首先觀看以視頻方式呈現(xiàn)的游戲規(guī)則,然后在游戲指定的地圖上尋找游戲中的任務。找到目標之后,通過增強現(xiàn)實模塊掃描設定的任務標記,掃描時任務以增強現(xiàn)實的方式呈現(xiàn)出來,通過回答問題,確定找到自己所完成的任務。對應的題目呈現(xiàn)在移動設備界面上,在規(guī)則內完成答題,會顯示游戲的提示信息。三個參與者在匯總各自獲得的提示信息后,通過關卡,共同完成游戲中“寶藏”的獲取。游戲有一定的時間限制,如果超過了時間點,則游戲失敗,“寶藏”被隱藏,如果在游戲規(guī)定時間之前完成,則按照時間的長短給出不同的“寶藏”。
本系統(tǒng)是一個可擴展的游戲,要求學生回答的學科知識、關卡的長度、“寶藏”的形式、內容與地點、任務設置的地點都可以由老師自主設定,根據(jù)不同的年齡、學段和活動類型,可以設置不同的內容。在本案例實施過程中,則選取了初中相關學科的一些內容。
從使用者的角度,游戲的主要思路如圖1所示:
此游戲的活動需要在有網(wǎng)絡信號的戶外環(huán)境開展。參與者首先要了解游戲的背景和規(guī)則,除了游戲開始時教師的提示,系統(tǒng)還會通過一段影音介紹游戲的背景和規(guī)則。在活動的過程中,參與者可多次播放。
進入游戲的主要環(huán)節(jié)后,需要尋找游戲設定的問題所在的位置。該游戲的地圖是基于百度地圖的API設計的,地圖中標出了要找尋的目標所在地,參與者可以按照地圖中的提示,找到目標的位置,還可以根據(jù)自己的經(jīng)緯度來定位當前自己的位置,方便游戲參與者更快更準地找到目標。
參與者找到設定的標記之后,可以用移動終端對標記進行掃描,顯示出要回答問題的類別。獲得掃描的信息后,參與者根據(jù)提示判別是不是自己領域的問題(每個參與者限定只能回答自己領域中的問題)。如果是,則進入回答問題的環(huán)節(jié),如果不是,需要利用通信平臺和其他參與者交流,重新找到自己的問題的目標位置。每一組的參與者需要在平臺上相互交流,以便及時了解隊友的有關信息,共同協(xié)作完成任務。
回答問題的環(huán)節(jié)是按照選擇題的形式進行,回答正確則會有部分的“寶藏”位置的提示信息,直至三個參與者都回答正確,根據(jù)每個人得到的信息,進行整合,最終得到一條完整的位置信息,然后協(xié)作尋求“寶藏”。依此類推,可以設定多重關卡。最終如果參與者到達藏寶地點尋得“寶藏”,然后帶著“寶藏”依照地圖指示回到起點,根據(jù)完成任務的時間長短可以獲取相應的獎勵,游戲結束。
游戲選擇在Android平臺上運行,通過Eclipse平臺開發(fā),增強現(xiàn)實工具使用Metaio[9]提供的相關技術整合,最終完成游戲的開發(fā)。Metaio SDK是可直接用于開發(fā)的一套類庫,因而可以自由地開發(fā)出在移動平臺上運行的增強現(xiàn)實應用。
該游戲需要實現(xiàn)的一些核心功能,按上述的歸納,分為6個部分。
(1)用戶登錄。本游戲需要多人共同協(xié)作完成的,每個人參與角色不同,通過分配的用戶名和密碼進入游戲(如圖2所示)。Android使用開源的、與操作系統(tǒng)無關的SQL數(shù)據(jù)庫,即SQLite,它是一款輕量級數(shù)據(jù)庫,占用的資源非常低。
圖1 游戲主要設計思路
圖2 系統(tǒng)的登入
圖 3地圖呈現(xiàn)
(2)視頻呈現(xiàn)。本游戲中視頻呈現(xiàn)模塊的應用比較簡單,用于游戲介紹和規(guī)則說明。由于Android平臺由Google自己封裝,目前僅支持MP4,3GP和WMV視頻的解析,插入要播放的視頻之前要提前轉換成可以供平臺解析的格式。
(3)地圖與定位?!翱鞓穼殹敝械牡貓D和定位調用的是百度地圖的API。由于地圖的服務接口把平臺和所處的地理位置涉及的數(shù)據(jù)有機地結合在一起,而底層相對復雜的地理信息系統(tǒng)被封裝在一起,所以應用起來相對方便。用戶通過申請之后,將應用程序接口連接到自己開發(fā)的相關程序中。
在本次游戲中,需要用到簡單的圖層覆蓋,顯示問題的所在。所加的覆蓋物是指所有疊加到地圖上的內容,比如標注、圖片、折線、箭頭、多邊形等矢量圖形、定位的坐標以及備注等等,這些均可以稱之為地圖的覆蓋物。這些覆蓋物有自己的地理坐標,有對應自己的經(jīng)緯度。所以,當放大或者縮小地圖時,或者拖動地圖時,它們會根據(jù)自己的地理位置相應地移動。游戲選擇三個覆蓋物添加到地圖上,首先選擇放置此覆蓋物的經(jīng)緯度,以便定位其相應的位置,并且給覆蓋物添加相應的觸發(fā)按鈕,并給覆蓋物一定的解釋。如圖3a)所示,事先設定的覆蓋物會顯示在當前的地圖層面上,不斷地放大地圖,能更精確的定位覆蓋物的位置,結果如圖 3b),點擊按鈕,放大地圖可以找到預先設定的問題所在地,每一個覆蓋物定位到相對具體的位置上,點擊其中一個覆蓋物,則會有相應的提示信息出現(xiàn),然后觸發(fā)解釋文字,如圖3c)所示。
(4)通信與交互。游戲過程中的通信交流基于IP Messenger,它適用于局域網(wǎng)內、廣域網(wǎng)之間的實時通信和文檔共享,最大的優(yōu)點是交流通信速度非???,可以隨時傳送文件和文件夾等。系統(tǒng)設定幾個用戶的用戶名,同時在線的時候相互可以看見。實現(xiàn)這一通信關鍵的步驟是建立網(wǎng)絡用戶列表,通信軟件使用UDP協(xié)議廣播,廣播包內容包含用戶名、工作組名、主機名和IP等相關信息。已經(jīng)啟用此模塊的通信用戶收到廣播包之后,會在自己的用戶列表中添加這個用戶的信息,然后向對方的IP發(fā)送自己的個人信息,雙方建立連接。
(5)增強現(xiàn)實模塊。Metaio軟件的增強現(xiàn)實功能有好多種:基于標記的增強現(xiàn)實,通過掃描定制的標記識別信息,呈現(xiàn)與注冊區(qū)域對應的3D模型;基于圖片圖像的增強現(xiàn)實,通過掃描圖像作為標記來呈現(xiàn)3D模型;無需標記,基于紋理、光線等自然特征,但相對難操作,不好捕捉特征。
本游戲主要用基于圖片圖像的標記來完成問題的識別。選擇對應的標記圖片,然后在此圖片上疊加一些3D的模型,所選用的標記圖片對應的3D模型如圖4所示。不同的標記會有不同的3D模型出現(xiàn),根據(jù)3D模型的類型和提示信息,可以回答對應的問題。如果不是自己領域的問題,則可以通過通信模塊告知其他參與者,提高找到目標問題的效率。
除此之外,與LBS相配合,可以利用基于位置的增強現(xiàn)實技術,幫助尋找問題的位置,判斷自身位置與問題所在位置的距離,方便參與者尋找路徑。
圖4 基于圖像的增強現(xiàn)實
(6)回答問題模塊?;卮饐栴}以選擇題的形式呈現(xiàn),問題同樣使用SQLite來存儲,每一類問題有很多道,掃描出相關的問題提示信息之后,進入答題模塊。在本游戲中,每個問題是在數(shù)據(jù)庫中隨機挑選的。本次游戲設定每個人只能回答10次,在回答的問題中,如果通過6道題,則算是合格,進入提示信息界面,獲得相應的提示信息。如果回答問題的個數(shù)沒有超過6個,則沒有獲得提示信息,在后面的游戲過程中,就少了一份提示信息,增加了游戲的難度。
每個模塊功能實現(xiàn)之后,整合各個模塊的功能,把它們連接成一個完整的游戲情景。本系統(tǒng)按照調用的方式實現(xiàn)整合,每個模塊提供調用的接口。游戲的參與者通過在移動終端上安裝好游戲apk,即可進入游戲。
移動增強現(xiàn)實教育游戲能夠創(chuàng)造復雜、模擬真實的環(huán)境,受到外界的干擾相對較少,加上移動設備的便捷,為戶外開展各式學習活動提供了可能。對于學生而言,這類游戲具有較強的新穎性,通過提供身臨其境的體驗,很容易激發(fā)學生的學習熱情。
本游戲結合基于位置和基于圖像識別的兩種增強現(xiàn)實技術,利用Metaio實現(xiàn)了一個可擴展的移動增強現(xiàn)實教育游戲。該游戲具有用戶登錄、視頻播放、地圖定位、通信交互、增強現(xiàn)實和回答問題等模塊。教師可以根據(jù)學習目標,自主設定游戲情節(jié)、游戲區(qū)域、關卡層數(shù),通過游戲規(guī)則設計答題要求。通過初步的應用,可以發(fā)現(xiàn)該游戲虛實結合,實時交互,使學習者感受到一定的臨場感和沉浸感,能夠順利完成設定的學習任務。當然,該游戲存在著諸多不足:3D建模不夠逼真,游戲反應速度不快,答題模塊的內容還很薄弱,互動性沒有得到充分體現(xiàn)等等,需要在后期制作中進一步的改進。作為一種新興的研究領域,移動增強現(xiàn)實教育游戲可以給教學提供新的方式,有很好的應用前景。
[1] Johnson L, Adams Becker S, Estrada V, et al.NMC horizon report: 2014 higher education edition[R]. Austin, Texas: The New Media Consortium,2014.
[2] Feiner S, MacIntyre B, Hollerer T, et al.A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment[A] Proc. ISWC ’97 (First Int. Symp. onWearable Computers)[C], Cambridge, MA, 1997:74-81.
[3] Thomas B, CloseE B, Donoghue J, et al. AR Quake:An outdoor/indoor augmented reality first person application[A].Proceedings of 4th International Symposium on Wearable Computers[C]. Australia : Cieee Computer Society ,2000: 139-146
[4] Cheok A D.Human Pacman: A Mobile Entertainment System with Ubiquitous Computing and Tangible Interaction over a Wide Outdoor Area[A]. Proc. Mobile HCI 2004 – 6th International Symposium[C], UK :Glasgow, 2004: 209-223.
[5]陳向東,蔣中望. 增強現(xiàn)實教育游戲的應用[J].遠程教育雜志.2012,(5):68-73.
[6]Schrier K L.Revolutionizing history education:using augmented reality games to teach histories[D]. Massachusetts Institute of Technology,Cambridge, MA, 2005.
[7]Google發(fā)布在線現(xiàn)實增強移動游戲Ingress[OL].
[8] Google play. 蝶千尋Butterfly [OL].
[9] Metaio官網(wǎng)[OL].