鄭明月，李穎，焦梓，丁寧

（1.東北大學(xué)軟件學(xué)院數(shù)字媒體技術(shù)系，沈陽(yáng) 110167；2.東北大學(xué)軟件學(xué)院信息安全系，沈陽(yáng) 110167）

基于Android的增強(qiáng)現(xiàn)實(shí)應(yīng)用研究

鄭明月1，李穎1，焦梓2，丁寧2

（1.東北大學(xué)軟件學(xué)院數(shù)字媒體技術(shù)系，沈陽(yáng) 110167；2.東北大學(xué)軟件學(xué)院信息安全系，沈陽(yáng) 110167）

為了解決增強(qiáng)現(xiàn)實(shí)技術(shù)在Android平臺(tái)上的應(yīng)用問(wèn)題，使用Unity與Vuforia結(jié)合的方法進(jìn)行開(kāi)發(fā)，對(duì)普通明信片進(jìn)行視覺(jué)拓展，給出了一個(gè)完整的虛擬校園App開(kāi)發(fā)方案。在該方案中，通過(guò)對(duì)于模型的合并點(diǎn)處理、貼圖處理等解決手機(jī)內(nèi)存與模型質(zhì)量之間的矛盾，降低手機(jī)性能的門檻。同時(shí)，進(jìn)行圖像存儲(chǔ)調(diào)度方面功能的開(kāi)發(fā)與完善。與同類軟件相比對(duì)內(nèi)存需求更低、識(shí)別效果更好。

0 引言

20世紀(jì)90年代初期,波音公司的Tom Caudell和他的同事在他們?cè)O(shè)計(jì)的一個(gè)輔助布線系統(tǒng)中提出了“增強(qiáng)現(xiàn)實(shí)”（Augmented Reality，簡(jiǎn)稱 AR）這個(gè)名詞[1]。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)得到了廣泛的應(yīng)用，目前，該技術(shù)的研究已經(jīng)成為計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)等領(lǐng)域中的一個(gè)熱點(diǎn)，搜索量已經(jīng)超過(guò)虛擬現(xiàn)實(shí)，人們?cè)絹?lái)越關(guān)注包裹我們的信息空間[2]。增強(qiáng)現(xiàn)實(shí)技術(shù)是將真實(shí)場(chǎng)景同虛擬物體加以融合的一種手段，增強(qiáng)現(xiàn)實(shí)系統(tǒng)的特點(diǎn)是虛實(shí)空間的一致性結(jié)合以及實(shí)時(shí)交互。

產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對(duì)象，并通過(guò)傳感技術(shù)將虛擬對(duì)象準(zhǔn)確“放置”在真實(shí)環(huán)境中借助顯示設(shè)備將虛擬對(duì)象與真實(shí)環(huán)境融為一體，并呈現(xiàn)給用戶一個(gè)感官效果真實(shí)的新環(huán)境[3]。因此，虛實(shí)結(jié)合的過(guò)程設(shè)計(jì)三個(gè)方面：三維注冊(cè)、物體位姿、光照條紋[4]。

1 增強(qiáng)現(xiàn)實(shí)識(shí)別原理及Vuforia圖像識(shí)別與處理

（1）獲取真實(shí)場(chǎng)景畫面；

（2）對(duì)真實(shí)場(chǎng)景畫面進(jìn)行分析；

（3）計(jì)算虛擬物體應(yīng)有的角度和位置；

（4）顯示代表虛擬物體的模型。

如圖1所示，即真實(shí)攝像機(jī)捕捉真實(shí)環(huán)境畫面并將圖像信息發(fā)送給程序，程序分析圖像計(jì)算待擬合的虛擬物體與虛擬攝像頭的相對(duì)位置，最后將虛擬物體的圖像疊加在真實(shí)畫面上。

傍晚，我靠著逐漸暗淡的、最后的陽(yáng)光指引，走過(guò)十八年前的故居。這條街、這個(gè)建筑物開(kāi)始在我的眼前隱藏起來(lái)，像在躲避一個(gè)久別的舊友。但是它們改變了的面貌于我還是十分親切，我認(rèn)識(shí)它們，就像認(rèn)識(shí)我自己，還是那樣寬的街，寬的房屋。巍峨的門墻代替了太平缸和石獅子，那一對(duì)常常做我們坐騎的背脊光滑的雄獅也不知逃進(jìn)了哪座荒山。然而大門開(kāi)著，照壁上“長(zhǎng)宜子孫”四個(gè)字卻是原樣地嵌在那里，似乎連顏色也不曾被風(fēng)雨剝蝕。我望著那同樣的照壁，被一種奇異的感情抓住了，我仿佛要在這里看出過(guò)去的十九個(gè)年頭，不，我仿佛要在這里尋找十八年以前的遙遠(yuǎn)舊夢(mèng)。

Vuforia可以說(shuō)是 AR（增強(qiáng)現(xiàn)實(shí)）業(yè)界的一款支柱級(jí)產(chǎn)品，它支持大部分主流手機(jī)、平板電腦和增強(qiáng)現(xiàn)實(shí)設(shè)備[6]。它是Qualcomm推出的擴(kuò)增實(shí)境應(yīng)用的軟件開(kāi)發(fā)工具包，它可以識(shí)別場(chǎng)景中特定的圖像。Vuforia將識(shí)別圖的灰度信息進(jìn)行處理形成Marker矩陣碼，并將Marker矩陣碼集合用于真實(shí)場(chǎng)景信息分析。本文要識(shí)別圖與處理的是明信片。如圖2、圖3所示。

圖1 虛擬物體與真實(shí)圖像的處理過(guò)程

圖2 普通明信片

圖3 灰度識(shí)別點(diǎn)的明信片

在Vuforia通過(guò)將外部攝像機(jī)捕捉到的畫面作為軟件內(nèi)部攝像機(jī)畫面最底層，使用Marker矩陣碼進(jìn)行匹配，并在上層顯示虛擬模型，這樣就完成了虛擬物體與現(xiàn)實(shí)場(chǎng)景的融合，如圖4所示。

圖4 Vuforia融合虛擬與現(xiàn)實(shí)圖示

2 模型制作與處理

Android手機(jī)資源有限，不能承載針對(duì)于電腦的傳統(tǒng)建模方法。于是對(duì)模型進(jìn)行了合并點(diǎn)處理、貼圖處理。

在3ds Max建模中，模型的數(shù)據(jù)通過(guò)存儲(chǔ)點(diǎn)的位置與點(diǎn)之前的鏈接關(guān)系來(lái)保存，設(shè)點(diǎn)的個(gè)數(shù)為P，存儲(chǔ)每個(gè)點(diǎn)所用空間為Mp，點(diǎn)與點(diǎn)之間的鏈接關(guān)系的個(gè)數(shù)為N，存儲(chǔ)每個(gè)鏈接關(guān)系所用空間為Mn，存儲(chǔ)一個(gè)模型數(shù)據(jù)所用的總空間S。則有：

手機(jī)對(duì)于數(shù)據(jù)的存儲(chǔ)空間是不可變的，即Mp、Mn為定值，設(shè)常數(shù)A=Mp+2Mn。則公式（3）可推導(dǎo)為：

由此可知，S的大小與P成正比，即減小P減小S。在模型制作過(guò)程中，使用將多個(gè)點(diǎn)合并為一個(gè)點(diǎn)的方法，可以有效減少P，從而使S減小，如圖5所示，將Cub1中黃色點(diǎn)進(jìn)行合并處理，可以得到Cub2。Cub1中P=12，存儲(chǔ)Cub1模型數(shù)據(jù)所占總空間S1=12A；Cub2中P=8，存儲(chǔ)Cub2模型數(shù)據(jù)所占總空間S2=8A。通過(guò)合并處理，在沒(méi)有形狀缺失的情況下減少了1/3的存儲(chǔ)空間。

圖5 點(diǎn)合并處理實(shí)例

在實(shí)際模型制作過(guò)程中，存儲(chǔ)空間的節(jié)省比例隨模型的不同而有所變化，經(jīng)過(guò)統(tǒng)計(jì)該軟件所使用的模型合并點(diǎn)之前與合并點(diǎn)之后的數(shù)據(jù)，模型中點(diǎn)的個(gè)數(shù)減少了48%。如圖6所示。

在合并點(diǎn)處理之后，貼圖方式也需要進(jìn)行改變。傳統(tǒng)貼圖時(shí)往往會(huì)分模塊進(jìn)行展UV，這樣每個(gè)模型會(huì)對(duì)應(yīng)數(shù)十張貼圖，每張貼圖上只有部分位置是有用的，大量的貼圖占用了很多空間。在展UV之前將模型將模塊每?jī)扇齻€(gè)合并在一起，此時(shí)，模型對(duì)應(yīng)的貼圖數(shù)量就會(huì)大量減少。合并點(diǎn)之后模型如圖7所示，貼圖后模型效果如圖8所示。

圖6 點(diǎn)合并前后對(duì)比效果

圖8 已貼圖模型

3 軟件設(shè)計(jì)與開(kāi)發(fā)

軟件開(kāi)始運(yùn)行后，不斷檢測(cè)是否有識(shí)別圖被識(shí)別。當(dāng)檢測(cè)到識(shí)別圖時(shí)，程序開(kāi)始按照用戶的操作執(zhí)行，具體流程見(jiàn)圖9。

該軟件實(shí)現(xiàn)了圖像識(shí)別、模型展示和相冊(cè)的存儲(chǔ)與管理三方面的功能，下面進(jìn)行詳細(xì)闡述。

圖像識(shí)別功能主要以Vuforia插件為基礎(chǔ)，并對(duì)它進(jìn)行了改進(jìn)，使之更適合本軟件。這里給出具體的改進(jìn)步驟：

（1）創(chuàng)建索引數(shù)組“int[]Index”，給每個(gè)識(shí)別圖都分配數(shù)字索引

圖9 軟件工作流程圖

（2）設(shè)置“識(shí)別”消息函數(shù)“void getModle（）”，該函數(shù)在識(shí)別圖被識(shí)別時(shí)，立即向主控函數(shù)發(fā)送該識(shí)別圖對(duì)應(yīng)的索引“Iq”和識(shí)別圖被發(fā)現(xiàn)的消息。同理，設(shè)置“丟失”消息函數(shù)“void lostModle（）”，該函數(shù)在識(shí)別圖被識(shí)別后丟失時(shí)，立即向主控函數(shù)發(fā)送該識(shí)別圖對(duì)應(yīng)的索引和識(shí)別圖丟失的消息。

（3）主控函數(shù)根據(jù)接收到的消息執(zhí)行對(duì)應(yīng)的工作。

模型展示功能以UI控制模型的切換為主要內(nèi)容。在識(shí)別圖被識(shí)別后，程序默認(rèn)展示識(shí)別圖對(duì)應(yīng)的外建模型，并由UI按下事件來(lái)控制模型切換。要?jiǎng)?chuàng)建“gameObject[]Modles”數(shù)組來(lái)存儲(chǔ)模型，這里Modles數(shù)組可以存儲(chǔ)多個(gè)模型，Index中每個(gè)元對(duì)應(yīng)一個(gè)Mo鄄dles數(shù)組。設(shè)計(jì)數(shù)器counter=0，待顯示的模型為“Mv”，待隱藏的模型為“Mo”被。UI每次被按下時(shí)執(zhí)行：

這樣，可以實(shí)現(xiàn)模型的循環(huán)顯示。

相冊(cè)的存儲(chǔ)與管理功能主要實(shí)現(xiàn)了屏幕截取、存儲(chǔ)截圖、調(diào)用內(nèi)存中圖片。這三部分功能均由UI調(diào)用，當(dāng)用戶按下按鈕時(shí)，執(zhí)行一次對(duì)應(yīng)的函數(shù)。一次完整的拍攝照片、瀏覽照片的實(shí)現(xiàn)過(guò)程如下：

（1）隱藏UI層，截取全屏，將截取圖像命名為“Num鄄ber”+number，其中“number”每次截取屏幕時(shí)都自增1，將圖像放入軟件數(shù)據(jù)所在路徑，重新顯示UI層。至此屏幕截取與存儲(chǔ)功能完成。

（2）讀取軟件數(shù)據(jù)所在路徑中第一個(gè)格式為jpeg的文件“NumberX”，將該文件顯示在屏幕上。按下left按鈕時(shí)，讀取名字為（NumberX-1+number）%number的文件，將該文件顯示在屏幕上。同理，按下right按鈕時(shí)，讀取名字為（NumberX+1）%number的文件，將該文件顯示在屏幕上。至此瀏覽照片功能完成。

4 明信片增強(qiáng)現(xiàn)實(shí)的交互軟件開(kāi)發(fā)

增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)逐漸從實(shí)驗(yàn)室走向普通百姓的生活[7]，筆者將增強(qiáng)現(xiàn)實(shí)技術(shù)與校園主題相結(jié)合，開(kāi)發(fā)了“虛擬校園”手機(jī)軟件。使用者可以直觀的在明信片上看到立體的校園建筑模型并與其進(jìn)行交互，進(jìn)一步驗(yàn)證了本文所述方法的可行性與有效性。

該軟件主要實(shí)現(xiàn)了三個(gè)功能，展示校園功能、拍照功能和瀏覽相冊(cè)功能。展示校園功能主要是用來(lái)識(shí)別明信片、展示配套建筑模型，通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)于二維畫面進(jìn)行拓展。該功能包括8個(gè)校園建筑的外建模型以及若干典型建筑的內(nèi)建模型，對(duì)校園建筑完成了全覆蓋。拍照功能主要是對(duì)手機(jī)畫面的保存。當(dāng)用戶覺(jué)得手機(jī)上的畫面效果十分有保留價(jià)值時(shí)，按下拍照按鈕，則保存一張當(dāng)前手機(jī)屏幕的照片。瀏覽相冊(cè)功能則是提供給用戶觀看其所拍照片的功能。用戶通過(guò)左右切換可以查看自己之前保存的圖像。

基于增強(qiáng)現(xiàn)實(shí)的校區(qū)的交互軟件在Window8系統(tǒng)中使用Unity引擎開(kāi)發(fā)，在開(kāi)發(fā)過(guò)程中用到了Vuforia插件。該軟件在Android系統(tǒng)4.2版本及以上可使用。

5 軟件的成果與使用

經(jīng)過(guò)以上一系列開(kāi)發(fā)，最終可以產(chǎn)生一個(gè)軟件apk和對(duì)應(yīng)的明信片。 下面是運(yùn)行軟件過(guò)程中的截圖。展示模型界面如圖10，圖11所示。

圖10 信息樓識(shí)別效果

圖11 文管樓識(shí)別效果

相冊(cè)瀏覽界面如圖12，圖13所示。

主界面如圖14所示。

6 軟件的特點(diǎn)

這款“虛擬校園”軟件是與東北大學(xué)渾南校區(qū)的建筑群進(jìn)行實(shí)時(shí)的交互，可以將當(dāng)前環(huán)境和教學(xué)信息融合后實(shí)時(shí)的反饋給用戶，為用戶更加形象地了解東北大學(xué)渾南校區(qū)提供了方便。相對(duì)于當(dāng)前市場(chǎng)上的其他種類的增強(qiáng)現(xiàn)實(shí)軟件，這款“虛擬校園”軟件是更加系統(tǒng)的將明信片與校園建筑相結(jié)合。該軟件開(kāi)發(fā)了一套增強(qiáng)現(xiàn)實(shí)明信片，讓使用者有其身臨其境的體驗(yàn)閱讀、多維空間的魔幻閱讀等優(yōu)勢(shì)[8]。

圖12 宿舍樓照片

圖13 校園全景照片

圖14 主界面截圖

“虛擬校園”軟件可以識(shí)別在1-2米之外的識(shí)別圖，用戶可以用自己的手機(jī)或者其他帶有攝像頭的移動(dòng)設(shè)備遠(yuǎn)距離的識(shí)別明信片，在一定程度上保證了軟件識(shí)別的正確率。同時(shí)，利用Unity和Vuforia開(kāi)發(fā)的“虛擬校園”軟件識(shí)別角度廣，識(shí)別的最廣角可達(dá)到120°，當(dāng)明信片傾斜的時(shí)候，也可以準(zhǔn)確識(shí)別。同時(shí)該軟件也可防反光，在光照強(qiáng)度較強(qiáng)時(shí)，軟件也可以識(shí)別明信片。

“虛擬校園”軟件在建筑模型方面采用了簡(jiǎn)模的方式。這樣建模方式的好處體現(xiàn)在了軟件的安裝包上，較小的軟件安裝包可以讓更多擁有低配置設(shè)備的用戶也能體驗(yàn)到軟件帶來(lái)的新奇視角以及樂(lè)趣。

7 結(jié)語(yǔ)

本文提出了一種增強(qiáng)現(xiàn)實(shí)應(yīng)用的開(kāi)發(fā)方法，所開(kāi)發(fā)軟件的識(shí)別效果與模型效果良好。通過(guò)模型的合并點(diǎn)處理、貼圖處理，軟件節(jié)省了大量的資源占用；通過(guò)對(duì)于軟件功能的分塊設(shè)計(jì)，實(shí)現(xiàn)了圖像識(shí)別、模型展示和相冊(cè)管理的功能。是增強(qiáng)現(xiàn)實(shí)軟件應(yīng)用開(kāi)發(fā)一個(gè)成功的例子。

[1]Tom caudell.AR atboeing（1990）[EB/OL].http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/tsld096.htm.

[2]邱克.增強(qiáng)現(xiàn)實(shí)技術(shù)在博物館的運(yùn)用[A].北京數(shù)字科普協(xié)會(huì)等,2015:8.

[3]全紅艷,王長(zhǎng)波,林俊雋.基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)技術(shù)研究綜述[J].機(jī)器人,2008,04:379-384）

[4]Milgram P,Kishino,F.A Taxonomy of Mixed Reality Visual Displays.IEICE Transactions on Information Systems 1994.

[5]朱淼良,姚遠(yuǎn),蔣云良.增強(qiáng)現(xiàn)實(shí)綜述[J].中國(guó)圖象圖形學(xué)報(bào),2004,07:3-10.

[6]齊健.Vuforia產(chǎn)品升級(jí),加速“虛實(shí)”融合[J].智能制造,2016,（10）:8-10.

[7]徐敏,童強(qiáng).一種基于Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)交互App的開(kāi)發(fā)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版）,2016,（12）:71-75.

[8]夏少瓊.增強(qiáng)現(xiàn)實(shí)立體書與傳統(tǒng)紙質(zhì)圖書的比較研究[J].美術(shù)大觀,2016,（08）:134-135.

Research on the Application of Augmented Reality Based on Android System

ZHENGMing-yue1，LIYing1，JIAO Zi2，DING Ning2
（1.College of Digital Media Technology of Software,Northeastern University,Shenyang 110167; 2.College of Information Security of Software,Northeastern University,Shenyang 110167）

In order to solve the Augmented Reality application problems on the Android platform,gives a completely App development program,us鄄es a combination of Unity and Vuforia approach to develop the application,makes the ordinary postcards have a Visual development.By merging point for model processing,texturing process,solves the contradiction between phone memory and model quality,lowers the threshold of performance.Meanwhile,the image storage scheduling feature has a development and improvement.Compared with the simi鄄lar software,it has lowermemory requirementwith better recognition.

國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（No.201610145086）

鄭明月（1995-），女，吉林白山人，研究方向?yàn)閳D形圖像處理、軟件開(kāi)發(fā)

2017-03-06

2017-04-25

1007-1423（2017）13-0033-06

10.3969/j.issn.1007-1423.2017.13.008

增強(qiáng)現(xiàn)實(shí)；明信片；合并點(diǎn)處理；虛擬校園

Augmented Reality;Postcard;Merging Point;Virtual Campus