章輝宇,繆文南,傅凱漩,彭 培

(華南理工大學(xué)廣州學(xué)院電子信息工程學(xué)院,廣東廣州,510800)

基于AR技術(shù)的虛實(shí)圖書

章輝宇,繆文南,傅凱漩,彭 培

(華南理工大學(xué)廣州學(xué)院電子信息工程學(xué)院,廣東廣州,510800)

虛實(shí)圖書是將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于傳統(tǒng)圖書的一種新型出版物，與各種電子書存在區(qū)別。虛實(shí)圖書使用的AR技術(shù)利用移動(dòng)終端，借助對(duì)真實(shí)圖片的識(shí)別，在數(shù)據(jù)庫中獲取虛擬信息，并將虛擬信息疊加于實(shí)際圖片，實(shí)現(xiàn)虛擬信息對(duì)現(xiàn)實(shí)的增強(qiáng)。虛實(shí)圖書顛覆了傳統(tǒng)的紙質(zhì)版圖書，在閱讀時(shí)不再像傳統(tǒng)讀物只是閱讀紙質(zhì)書本的內(nèi)容，還可以看到移動(dòng)終端上顯示的虛擬的信息，包括視頻、3D模型等等，給讀者帶來全新的閱讀體驗(yàn)。

增強(qiáng)現(xiàn)實(shí)；AR；虛實(shí)圖書；移動(dòng)終端；閱讀

0 引 言

圖書是人類用來紀(jì)錄一切成就的主要工具，也是人類交融感情，取得知識(shí)，傳承經(jīng)驗(yàn)的重要媒介，現(xiàn)如今人類獲取知識(shí)的主要途徑依然是圖書，但人們生活節(jié)奏加快，越來越多的人很難被傳統(tǒng)的圖書所吸引，慢慢的閱讀量也下降，隨著紙質(zhì)圖書的閱讀量逐年下降。

增強(qiáng)現(xiàn)實(shí)技術(shù)因其獨(dú)特的魅力，近幾年在各個(gè)行業(yè)都能見其身影，虛實(shí)圖書正是利用AR技術(shù)與傳統(tǒng)的圖書相結(jié)合，在使用傳統(tǒng)圖書書香韻味的同時(shí)能感受科技帶來的樂趣，而且可以做到讀者與圖書的互動(dòng)，通過這種方式提高了閱讀的趣味性，也更容易吸引更多的人參與閱讀，這也是未來閱讀的趨勢(shì)。

1 增強(qiáng)現(xiàn)實(shí)

增強(qiáng)現(xiàn)實(shí)（AR）,是一種將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)，它通過計(jì)算機(jī)等技術(shù)，將虛擬的信息實(shí)時(shí)地疊加到真實(shí)世界，使兩者在同一個(gè)平面或空間同時(shí)存在。通過移動(dòng)設(shè)備等展示出來，使人眼看到虛擬信息與真實(shí)信息疊加后的結(jié)果。故整個(gè)系統(tǒng)具有虛實(shí)結(jié)合、實(shí)時(shí)交互等特點(diǎn)。

增強(qiáng)現(xiàn)實(shí)技術(shù)是近年來各學(xué)術(shù)研究組織的研究熱點(diǎn)之一。正是由于增強(qiáng)現(xiàn)實(shí)在虛擬世界與真實(shí)世界之間的溝壑上架起了一座橋梁。因此，增強(qiáng)現(xiàn)實(shí)的應(yīng)用潛力是相當(dāng)巨大，其使用范圍極為廣泛，不但我們平常的生活學(xué)習(xí)使用，而且很多軍事方面，如尖端武器、飛行器的研制與開發(fā)、虛擬訓(xùn)練等等很多場(chǎng)合可以使用AR技術(shù)；又由于其具有能夠?qū)φ鎸?shí)環(huán)境進(jìn)行增強(qiáng)現(xiàn)實(shí)輸出的特性，在醫(yī)療方面，實(shí)用性則更強(qiáng)，可以成為醫(yī)生護(hù)士們的得力助手。

2 增強(qiáng)現(xiàn)實(shí)技術(shù)在圖書中的應(yīng)用

在圖書中無縫地接入AR技術(shù)主要體現(xiàn)在閱讀方式的新穎有趣，同時(shí)可以為圖書提供更多的補(bǔ)充信息，加入視頻等虛擬信息便于讀者更好的理解書中文字難以表達(dá)的部分。

虛實(shí)圖書閱讀過程大概分為兩種：一種是和閱讀傳統(tǒng)的書籍一樣，閱讀圖書上文字及欣賞圖畫；另一種則是在閱讀的同時(shí)配合移動(dòng)終端，打開手機(jī)APP掃描圖書上的圖片，通過手機(jī)看到虛擬與現(xiàn)實(shí)結(jié)合后的結(jié)果，所看到的內(nèi)容固然更加豐富有趣。這二種閱讀方式如圖1所示：

圖1 兩種閱讀方式流程

軟件的開發(fā)是基于一個(gè)軟件開發(fā)工具包Metaio SDK，我們將增強(qiáng)畫冊(cè)里面的識(shí)別圖、模型和視頻等資源存放在APP本地中，利用unity和metaio SDK編輯多個(gè)AR場(chǎng)景（即掃描到識(shí)別圖后出現(xiàn)的畫面），將對(duì)應(yīng)的AR場(chǎng)景與相應(yīng)的識(shí)別圖綁定在一起。當(dāng)攝像頭檢測(cè)到識(shí)別圖后，即可出現(xiàn)對(duì)應(yīng)的AR場(chǎng)景。利用metaio SDK可對(duì)識(shí)別圖進(jìn)行檢測(cè)。識(shí)別圖的檢測(cè)分為幾個(gè)階段（檢測(cè)中，檢測(cè)成功，檢測(cè)失?。?，故在此基礎(chǔ)上可以增加互動(dòng)等更多有趣的東西。

在使用該SDK的過程中比較重要的MetaioSDKCallbackHandler()回調(diào)函數(shù)就是用來檢測(cè)例如動(dòng)畫、視頻播放或者圖片識(shí)別等狀態(tài)，以便編程實(shí)現(xiàn)更多特色功能，亦可用來做簡單的手游。

圖2 系統(tǒng)運(yùn)行流程

圖3 項(xiàng)目開發(fā)流程圖

3 項(xiàng)目開發(fā)流程

本節(jié)以筆者開發(fā)的AR虛實(shí)圖書—“昨日重現(xiàn)”為案例，展示AR虛實(shí)圖書開發(fā)的主要流程。此次AR虛實(shí)圖書開發(fā)的過程與一般的游戲軟件系統(tǒng)開發(fā)類似，AR虛實(shí)圖書開發(fā)需要經(jīng)歷需求分析、設(shè)計(jì)、開發(fā)和調(diào)試發(fā)布等幾個(gè)階段，如圖3所示：

3.1 需求分析

當(dāng)今信息爆炸時(shí)代，科技發(fā)展十分迅速，傳統(tǒng)的閱讀方式已然不夠適用于現(xiàn)今的社會(huì)，太多人覺得當(dāng)前閱讀方式太過于枯燥無味，人們的閱讀量幾近直線下降。

縱觀國內(nèi)消費(fèi)者市場(chǎng)，與AR結(jié)合的書籍嚴(yán)重稀缺，以回憶童年的書籍更是少數(shù)，正好這種結(jié)合更能引人入勝；所以無論是從未來發(fā)展趨勢(shì)還是現(xiàn)今市場(chǎng)需求，這個(gè)項(xiàng)目都是很有必要的，是很實(shí)用的。

3.2 設(shè)計(jì)

AR虛實(shí)圖書的總體架構(gòu)如圖4所示，系統(tǒng)的實(shí)體部分包括傳統(tǒng)閱讀使用的書籍。系統(tǒng)通過攝像頭將真實(shí)環(huán)境的影像捕獲并輸入到計(jì)算機(jī)主機(jī)，虛實(shí)圖書配套的軟件從每一幀的視頻輸入流中掃描內(nèi)置到軟件的真實(shí)圖片，并在掃描識(shí)別成功的情況下追蹤識(shí)別圖，最后，系統(tǒng)將虛擬信息疊加到每一幀輸出流中以識(shí)別圖標(biāo)定的空間的相對(duì)位置，在顯示器上呈現(xiàn)虛實(shí)疊加后的影像

圖4 AR虛實(shí)圖書系統(tǒng)架構(gòu)

該系統(tǒng)以“昨日重現(xiàn)”圖冊(cè)作為引導(dǎo)工具，如同一本實(shí)體素材。在普通書本的基礎(chǔ)上，使用攝像頭掃描圖冊(cè)相應(yīng)的圖片，可在顯示器上觀察到相應(yīng)的效果，如圖5所示。

設(shè)計(jì)階段需要對(duì)數(shù)字和實(shí)體資源、操控交互和互動(dòng)程序等方面的設(shè)計(jì)。實(shí)體資源書本設(shè)計(jì)與普通書籍類似，設(shè)計(jì)內(nèi)容要求充實(shí)，符合主題；數(shù)字資源包括：3D模型、app界面、視頻、游戲、交互等的設(shè)計(jì)，力求界面、模型等簡約美觀，給人賞心悅目，交互方面新穎有趣。

3.3 開發(fā)

本系統(tǒng)主要采用metaio公司提供的免費(fèi)SDK、Unity、Eclipse、3D MAX、Corel VideoStudio等作為軟件開發(fā)工具，以photoshop作為實(shí)體圖書開發(fā)主要工具，在盡可能節(jié)約成本的前提下，提高整體質(zhì)量。Photoshop是大家比較常見的圖片處理的軟件，主要是用來對(duì)圖書進(jìn)行排版及必要的圖片處理的；metaio SDK是我們本次開發(fā)的關(guān)鍵，所有實(shí)現(xiàn)的AR效果都是基于metaio SDK來實(shí)現(xiàn)的，metaio是德國的一家專注于增強(qiáng)現(xiàn)實(shí)的公司，其中最為受技術(shù)人員歡迎的還要數(shù)metaio SDK，當(dāng)然還包括creator等應(yīng)用，其公司主要目標(biāo)就是將增強(qiáng)現(xiàn)實(shí)簡單化，實(shí)現(xiàn)讓普通人都能成為AR開發(fā)者。程序開發(fā)主要是將metaio SDK導(dǎo)入到unity軟件中，利用metaio SDK中集成好的腳本文件、回調(diào)函數(shù)等進(jìn)行開發(fā)。

該系統(tǒng)采用了照片標(biāo)識(shí)跟蹤算法，但在使用該算法前需加載算法的配置文件，配置文件中包含圖像跟蹤質(zhì)量，閾值偏移量等參數(shù)。主控程序的活動(dòng)圖如圖6所示。

圖5 讀者閱讀圖冊(cè)方式

圖6 系統(tǒng)主程序流程圖

圖7 虛實(shí)圖書閱讀效果圖

4 AR虛實(shí)圖書的使用

AR虛實(shí)圖書的使用分兩種閱讀形式，一種傳統(tǒng)閱讀方式，另一種是虛實(shí)結(jié)合，手機(jī)掃描圖冊(cè)相應(yīng)的圖片，獲取更多隱藏在圖片背后的信息，其中的視頻、3D模型及游戲等內(nèi)容，如圖7所示。

5 結(jié)語

虛實(shí)圖書的魅力在于使用了AR技術(shù)顛覆了傳統(tǒng)圖書閱讀方式，開創(chuàng)了一個(gè)全新的閱讀方式，無形當(dāng)中為傳統(tǒng)圖書增添更多生動(dòng)有趣的內(nèi)容。虛實(shí)圖書給讀者帶來一種全新的閱讀體驗(yàn)，這將是未來閱讀的趨勢(shì)，未來閱讀不再枯燥，將會(huì)有越來越多的人喜歡閱讀。

[1]程志,金義富.智能手機(jī)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的架構(gòu)及教育應(yīng)用研究[J].中國電化教育. 2012(08)

[2]徐媛.增強(qiáng)現(xiàn)實(shí)技術(shù)的教學(xué)應(yīng)用研究[J].中國遠(yuǎn)程教育. 2007(10)

[3]汪存友,程彤.增強(qiáng)現(xiàn)實(shí)教育應(yīng)用產(chǎn)品研究概述[J].現(xiàn)代教育技術(shù). 2016(05)

[4]齊立森,皮宗輝,徐苗,王樹國.增強(qiáng)現(xiàn)實(shí)的技術(shù)類型與教育應(yīng)用[J].現(xiàn)代教育技術(shù). 2014(11)

[5]杜清運(yùn),劉濤.戶外增強(qiáng)現(xiàn)實(shí)地理信息系統(tǒng)原型設(shè)計(jì)與實(shí)現(xiàn)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2007(11)[6] 常勇,施闖.

[6]劉遹菡,湛青,許潔.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手機(jī)應(yīng)用研究[J].湘潭大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版).2015(02)

[7]李然,隋毅,孫仁誠,王紹波.手持設(shè)備增強(qiáng)現(xiàn)實(shí)開發(fā)平臺(tái)研究及應(yīng)用[J]. 計(jì)算機(jī)仿真. 2010(01)

Based on AR technology deficiency of books

Zhang Huiyu,Miao Wennan,Fu Kaixuan,Peng Pei
( Guangzhou college,South China University of Technology Guangzhou,510800,china)

The actual situation of books is to enhance the practical technology used in traditional books of a new type of publication,and a variety of electronic books there are different.AR technology using the actual books using the mobile terminal,to identify the true picture by acquiring virtual information in the database,and the virtual information superimposed on the actual picture,the realization of the virtual information enhancement of reality.The book is the subversion of the traditional print books,reading books is not like traditional reading paper books,also can see the virtual information displayed on the mobile terminal, including video,3D model and so on,to bring readers a new reading experience.

augmented reality;AR;virtual reality books;mobile terminal;reading

章輝宇（1994-），男，本科生，研究方向：圖像識(shí)別技術(shù)

繆文南（1985-），男，實(shí)驗(yàn)師，碩士，研究方向：嵌入式技術(shù)

2016年廣東省大學(xué)生科技創(chuàng)新培育專項(xiàng)資金項(xiàng)目（重點(diǎn)項(xiàng)目pdjh2016a0961）