李傳帥,申閆春

(1. 重慶工業(yè)職業(yè)技術(shù)學(xué)院,重慶 401120;2. 北京信息科技大學(xué)計(jì)算機(jī)學(xué)院,北京 100192)

1 引言

紅色旅游是以弘揚(yáng)中華民族精神為主題旅游活動,不僅是參觀游覽紀(jì)念地,觀看陳列品,更強(qiáng)調(diào)傳承其所承載的紅色故事、革命精神,革命知識,培育新時代奮斗精神。因此,增強(qiáng)現(xiàn)實(shí)科技展示技術(shù)成為研究熱點(diǎn)之一,它能夠更加多感官、多層次、身臨其境的展示紅色旅游承載的內(nèi)涵信息,它把計(jì)算機(jī)生成的豐富虛擬信息疊加到實(shí)景中,實(shí)現(xiàn)對真實(shí)環(huán)境的信息增強(qiáng),實(shí)現(xiàn)虛實(shí)結(jié)合、實(shí)時交互的體驗(yàn),使旅游者通過手機(jī)屏幕就可以體驗(yàn)紅色旅游的文字簡介、語音解說、視頻播放、三維場景瀏覽,更加有利于傳承中華民族的紅色文化和優(yōu)良傳統(tǒng)[1]。

目前,AR系統(tǒng)開發(fā)應(yīng)用技術(shù)主要有:高通公司的Vuforia、日本公司的ARToolKit、我國視辰信息科技(上海)有限公司的EasyAR。其中,ARToolKit僅支持PC平臺開發(fā),Vuforia費(fèi)用較高、開發(fā)難度較大,而EasyAR提供免費(fèi)支持,其成熟度已經(jīng)趨于完善,成為優(yōu)秀的國產(chǎn)AR軟件。與Vuforia相比,具有高效、易用、簡單的優(yōu)點(diǎn)。EasyAR讓增強(qiáng)現(xiàn)實(shí)技術(shù)變得簡單易用,更加方便的應(yīng)用到展覽展示、旅游導(dǎo)覽、廣告推廣等活動之中。因此,EasyAR已經(jīng)逐漸成為AR解決方案的最好選擇。但是,市場上應(yīng)用的增強(qiáng)現(xiàn)實(shí)導(dǎo)覽系統(tǒng),存在自然特征識別數(shù)據(jù)量大、計(jì)算耗時長、標(biāo)志物識別準(zhǔn)確率較低、受光照、遮擋影響大、易導(dǎo)致跟蹤失敗等問題[2]。

針對這些問題,本文提出了一種基于EasyAR的增強(qiáng)現(xiàn)實(shí)導(dǎo)覽方法,采用3DsMax對場景進(jìn)行三維建模,采用Unity開發(fā)交互設(shè)計(jì)程序,采用EasyAR檢測和跟蹤標(biāo)識物特征點(diǎn),疊加顯示對應(yīng)的增強(qiáng)現(xiàn)實(shí)仿真模型、播放視頻、動畫、音效。

聶榮臻元帥陳列館位于中國重慶市江津城郊,是全國愛國主義教育示范基地,館內(nèi)陳列聶帥生平事跡照片近300張,文物、史料400余件,黨和國家領(lǐng)導(dǎo)人的題詞和書,畫名家創(chuàng)作的書畫近百件,此外還收藏照片3000余張,文物數(shù)百件,名家字畫500余件,聶帥生前藏書近萬冊。館內(nèi)還陳列了聶帥為國防科技做出巨大貢獻(xiàn)的標(biāo)志性成果,包括:兩彈一星、長征系列火箭、國產(chǎn)先進(jìn)武器裝備、各種人造衛(wèi)星等模型40余件[3]。因此,特別適合采用AR科技展示方法,開發(fā)聶榮臻元帥陳列館導(dǎo)覽系統(tǒng),給人以身臨其境的體驗(yàn)。

2 基于EasyAR的AR導(dǎo)覽方法

基于EasyAR的移動手機(jī)終端增強(qiáng)現(xiàn)實(shí)自動導(dǎo)覽方法,是把計(jì)算機(jī)系統(tǒng)制作的虛擬場景、三維模型、視頻、音頻、文字、動畫與真實(shí)環(huán)境、照片、模型相疊加而在手機(jī)終端得到的增強(qiáng)視圖場景。其關(guān)鍵技術(shù)是:采用3DsMax對虛擬場景和虛擬實(shí)體進(jìn)行三維建模,采用視音頻、動畫等專業(yè)編輯軟件制作用于虛擬場景中的視頻、音頻、文字、動畫等需要疊加展示的信息,采用Unity3D進(jìn)行場景實(shí)時交互設(shè)計(jì),采用EasyAR引擎檢測和跟蹤標(biāo)識物特征點(diǎn),根據(jù)標(biāo)識物的位置,顯示對應(yīng)的增強(qiáng)現(xiàn)實(shí)場景、疊加虛擬信息、顯示文字解說、音頻解說、播放視頻、動畫、音效,采用人機(jī)虛擬交互方式進(jìn)行導(dǎo)覽交互[1]。

以開發(fā)聶榮臻元帥陳列館增強(qiáng)現(xiàn)實(shí)自動導(dǎo)覽系統(tǒng)為實(shí)際案例,一個典型的AR應(yīng)用系統(tǒng)通常由視頻采集、虛擬場景生成、視音頻制作、注冊定位、視圖識別、視圖跟蹤、視圖渲染、視圖增強(qiáng)疊加、真實(shí)場景疊加虛擬場景、手機(jī)增強(qiáng)視圖顯示輸出模塊構(gòu)成。其系統(tǒng)框架如圖1所示。

圖1 增強(qiáng)現(xiàn)實(shí)導(dǎo)覽系統(tǒng)總體框架

視頻采集模塊用于實(shí)時獲取陳列館真實(shí)的照片、模型,實(shí)時追蹤定位、捕捉標(biāo)志物。虛擬場景生成模塊用于實(shí)時產(chǎn)生增強(qiáng)的虛擬場景,以及其中的三維模型、視頻、音頻、文字、動畫等虛擬視圖。注冊定位模塊用于實(shí)時獲取相機(jī)焦距、寬高比、所采集真實(shí)視圖位置、方位等參數(shù),以便確定實(shí)、虛之間的映射關(guān)系,將虛擬場景疊加至真實(shí)場景的合適位置。視圖識別模塊實(shí)時將采集視圖與目標(biāo)識別視圖進(jìn)行比對,以便確定是否疊加虛擬場景。視圖跟蹤用于實(shí)時追蹤定位、捕捉標(biāo)志物。視圖渲染模塊用于實(shí)時渲染真實(shí)場景與虛擬場景視圖。視圖增強(qiáng)疊加模塊用于當(dāng)確定虛、實(shí)疊加時,生成融合的虛擬場景疊加真實(shí)場景的視圖。真實(shí)場景疊加虛擬場景模塊用于實(shí)時產(chǎn)生融合的虛擬場景疊加真實(shí)場景的視圖。手機(jī)增強(qiáng)視圖顯示輸出模塊用于顯示虛實(shí)融合的增強(qiáng)視圖。

3 AR場景應(yīng)用開發(fā)

采用EasyAR結(jié)合3DsMax、Unity3D開發(fā)AR場景應(yīng)用,3DsMax對虛擬場景和虛擬實(shí)體進(jìn)行三維建模,Unity3D進(jìn)行場景實(shí)時交互設(shè)計(jì),EasyAR實(shí)現(xiàn)檢測和跟蹤標(biāo)識物特征點(diǎn),將虛擬場景疊加于真實(shí)場景,顯示增強(qiáng)現(xiàn)實(shí)場景視圖。

3.1 EasyAR簡介

EasyAR是增強(qiáng)現(xiàn)實(shí)引擎,是為移動平臺的增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)提供的感知真實(shí)世界能力的開發(fā)工具,提供一整套增強(qiáng)現(xiàn)實(shí)功能組件,使非計(jì)算機(jī)專業(yè)的開發(fā)人員也能輕松創(chuàng)建、編寫、發(fā)布增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)。EasyAR 開發(fā)的AR應(yīng)用能夠在真實(shí)世界中疊加虛擬場景,利用移動終端的顯示屏將虛擬對象和攝像頭捕捉的現(xiàn)實(shí)場景結(jié)合到一起顯示,從而實(shí)現(xiàn)對現(xiàn)實(shí)世界增強(qiáng)虛擬信息的作用[1]。

EasyAR提供的主要開發(fā)模塊有:平面圖像跟蹤(圖片識別)、3D物體跟蹤(物體識別)、運(yùn)動跟蹤、稀疏空間地圖、稠密空間地圖、表面跟蹤、多目標(biāo)識別與跟蹤、錄屏、透明視頻播放等。另外,EasyAR支持Android ARM64架構(gòu);支持Windows,Android,IOS;提供功能完善的Unity插件;支持WebAR和微信小程序應(yīng)用的開發(fā);并提供大量完善的開發(fā)案例、中文教程文檔和社區(qū)服務(wù)[4]。

3.2 AR場景應(yīng)用開發(fā)流程

依據(jù)EasyAR的導(dǎo)覽方法,提出了基于EasyAR的增強(qiáng)現(xiàn)實(shí)導(dǎo)覽系統(tǒng)的開發(fā)方法,能夠在移動終端實(shí)現(xiàn)無縫切換虛實(shí)疊加的AR效果。該方法的總體流程如圖2所示。

圖2 開發(fā)AR場景應(yīng)用總體流程

開發(fā)AR場景應(yīng)用,首先要采集想要增強(qiáng)信息的圖像,制作AR識別圖像集,在Unity中安裝EasyAR,配置EasyAR的注冊碼Key,配置支持AR應(yīng)用的手機(jī),應(yīng)用特征點(diǎn)識別算法,以便識別AR圖像,并疊加顯示增強(qiáng)的虛擬信息;然后,在Unity中交互開發(fā)AR場景應(yīng)用,建立圖像識別AR程序,導(dǎo)入3DMax制作的模型及其貼圖,導(dǎo)入視音頻編輯軟件制作的視音頻文件,導(dǎo)入動畫編輯軟件制作的動畫文件;最后,編寫導(dǎo)覽代碼,開發(fā)AR各個功能模塊,生成并發(fā)布Android APK應(yīng)用,在手機(jī)端體驗(yàn)、測試,以便改進(jìn)、完善。

在陳列館用手機(jī)查看圖片時,AR導(dǎo)覽系統(tǒng)會實(shí)時處理標(biāo)識物圖像,直接在手機(jī)端的識別圖像集中進(jìn)行比對,激活相對應(yīng)虛擬場景、視頻、動畫、音頻、文字疊加到實(shí)景應(yīng)用中,這一點(diǎn)比Vuforia技術(shù)更加實(shí)時、高效,經(jīng)過人機(jī)交互控制,使用自己的手機(jī)便可以導(dǎo)覽整個陳列館。與之前的AR開發(fā)方法相比,該方法的主要優(yōu)點(diǎn)是:可以實(shí)現(xiàn)多標(biāo)識物的自動識別、無縫切換,具有光照變化和遮擋處理的自適應(yīng)功能,支持多模式的虛實(shí)疊加功能(三維模型、動畫、視頻、文字等),具有豐富的交互性(虛擬按鈕、操作桿、縮放、漫游等),從而解決了自然特征識別數(shù)據(jù)量大、計(jì)算耗時長、標(biāo)志物識別準(zhǔn)確率較低、受光照、遮擋影響大、易于導(dǎo)致跟蹤失敗等問題[1]。

3.3 AR場景應(yīng)用的實(shí)現(xiàn)

3.3.1 搭建EasyAR開發(fā)環(huán)境

1)采集圖像,制作AR識別圖像集。例如:在聶榮臻元帥陳列館拍照一張展出的氫彈照片。

2)下載EasyAR。在EasyAR官網(wǎng)(https:∥ www.easyar.cn)上注冊一個自己的賬號,以便獲得個人免費(fèi)版。登錄EasyAR官網(wǎng),單擊下載EasyAR。

3)在Unity中安裝EasyAR。以安裝到Unity 2018.4.36f1版為例,介紹安裝方法。解壓縮下載獲得的文件,產(chǎn)生一個文件夾package。啟動Unity 2018,在D:EasyAR創(chuàng)建一個新的項(xiàng)目EasyAR1,單擊Window,Package Manager,單擊“+”,選擇package中的 package.json。

4)在Unity中配置EasyAR的注冊碼(Key)。單擊EasyAR,Sense,Configuration,需要在EasyAR SDK License Key輸入你自己的注冊碼(Key)。獲得Key的方法:登錄EasyAR官網(wǎng),開發(fā)中心,選擇“我需要一個新的Sense許可證密鑰”,選擇免費(fèi)、個人版。輸入應(yīng)用名稱:EasyARProject1,Package Name(Android)的命名需要按照Android開發(fā)的包名命名規(guī)則命名,格式是:執(zhí)行.公司名稱.應(yīng)用名稱,輸入Package Name(Android):com.syc.easyar project1,確認(rèn)。單擊應(yīng)用名稱EasyARProject1,得到授權(quán)的注冊碼密鑰Key,單擊右側(cè)的“復(fù)制”,再回到Unity中,粘貼Key值到Unity的EasyAR SDK License Key中。

5)配置Android SDK、NDK,切換到Android平臺。單擊Edit,選擇Preferences,External Tools,在SDK中配置Android SDK,例如:D:/Android/android-sdk。在NDK中配置Android NDK,例如:D:/Android/android-ndk-r16b。單擊File,Build Settings,Android,Switch Platform,關(guān)閉。

6)配置支持AR應(yīng)用的手機(jī)。單擊Edit,Project Settings,Player,Other Settings,Mini mum API Level,設(shè)置成:Android 8.0 ′Oreo’ (API level 26)。在Unity中Package Name默認(rèn)的名字為:com.DefaultCompany.EasyAR3,修改為Android網(wǎng)站上注冊的名稱:com.syc. easyarproject1,確認(rèn)。

3.3.2 開發(fā)AR場景應(yīng)用

以氫彈三維模型的AR場景為例。

1)建立基礎(chǔ)對象組AR Session,應(yīng)用特征點(diǎn)識別算法。單擊GameObject,EasyAR Sense,Image Tracking,AR Session(Image Tracking Preset)建立了一個跟蹤預(yù)設(shè)圖像的AR基礎(chǔ)對象組AR Session(EasyAR)對象(結(jié)點(diǎn))。

2)建立圖像識別AR程序。單擊Game Object,EasyAR Sense,Image Tracking,Target: Image Target(比對的圖像目標(biāo))建立圖像識別對象。選中Image Target,Source Type選擇Image File,Path Type選擇StreamingAssets,在D:EasyARAssets中,創(chuàng)建文件夾StreamingAssets,用于流式文件管理,實(shí)時跟蹤目標(biāo)圖像文件,并拷貝圖片文件qingdan.jpg到其中。Path中輸入qingdan.jpg,Name輸入qingdan,Scale輸入0.2,跟蹤器Tracker將會自動找到一個唯一對應(yīng)的識別圖像Image Tracker。

3)導(dǎo)入外部要展示的虛擬仿真模型。采用3DsMax制作一個虛擬三維氫彈仿真模型及其貼圖,導(dǎo)入到Unity項(xiàng)目面板的Assetsmodel中,再拖動到層級面板的Image Target里面,雙擊模型,可以聚焦看到圖片和氫彈模型。調(diào)節(jié)識別圖片與氫彈模型之間的位置關(guān)系:識別圖片在XOY平面上,模型應(yīng)在z軸的負(fù)方向上。修改氫彈模型的Scale為:x1.8y1.8z2。拖動模型到z軸的負(fù)方向:z值為:-0.3。

單擊運(yùn)行,但是,在Game中沒有看到圖片和模型,這是因?yàn)?EasyAR應(yīng)用只是生成自己的對象,這個對象自動與主攝像機(jī)綁定在一起了,而主攝像機(jī)默認(rèn)渲染的天空盒遮擋了AR對象,因此,需要去掉天空盒,才能看到AR對象。選中Main Camera,修改Clear Flags為Solid Color,并設(shè)置背景顏色為黑色,近平面為0.1。再單擊運(yùn)行,識別手機(jī)上的qingdan.jpg圖片,便可以看到氫彈模型了。至此,一個基于EasyAR圖像識別的AR場景應(yīng)用程序便完成了,如圖3所示。

圖3 EasyAR增強(qiáng)顯示氫彈仿真模型

4)導(dǎo)出Android APK包。發(fā)布為手機(jī)版的APK文件,以便安裝到手機(jī)上用作旅游導(dǎo)覽。單擊文件File,發(fā)布設(shè)置Build Settings,單擊選擇加入當(dāng)前場景,選擇Android,單擊發(fā)布Build,導(dǎo)出文件夾需要選擇在項(xiàng)目文件夾外面,例如:D: