□文│徐奇智 劉雪琛 周榮庭
增強現(xiàn)實技術(shù)(Augmented Reality,簡稱AR)是指借助計算機圖形技術(shù)、可視化技術(shù)等技術(shù)將虛擬信息疊加集成在真實世界,使得真實世界和虛擬信息同時存在,從而達到超越現(xiàn)實的感官體驗的一種技術(shù)。[1]這種技術(shù)的目標(biāo)是在電子屏幕上(或目鏡上),把虛擬世界加入現(xiàn)實世界影像上并進行互動。其基礎(chǔ)技術(shù)包括跟蹤定位技術(shù)、用戶交互技術(shù)、虛擬融合技術(shù)和系統(tǒng)顯示技術(shù)。
一般認為,波音公司的湯姆·考戴爾(Tom Caudell)在 1990年創(chuàng)造的“Augmented Reality”這個術(shù)語是首次提出增強現(xiàn)實的概念??即鳡枌⒅糜诿枋鲆环N在現(xiàn)實世界影像之上疊加計算機虛擬圖像的技術(shù)。[2]AR技術(shù)隨著移動平臺的興起快速發(fā)展,逐漸應(yīng)用到眾多的數(shù)字內(nèi)容中,形成了增強現(xiàn)實出版物。趙丹在2016年認為:“增強現(xiàn)實出版物 (Augmented Reality Publication, 簡稱 ARP),是在傳統(tǒng)紙質(zhì)出版物的基礎(chǔ)上,利用增強現(xiàn)實技術(shù)中的三維注冊和攝像頭的圖像識別等技術(shù)識別標(biāo)識或圖形,在屏幕上顯示出虛擬的三維物體和場景,實現(xiàn)虛實結(jié)合、實時交互的立體出版物?!盵3]這一定義的缺陷在于把增強現(xiàn)實出版物限制為傳統(tǒng)印刷出版物的補充數(shù)字內(nèi)容,雖然目前國內(nèi)主要的AR出版機構(gòu)還是傳統(tǒng)的出版社,但游戲、廣告、電視、報紙、玩具、教育甚至新媒體等行業(yè)的企業(yè)也開始越來越多地介入AR內(nèi)容出版中。
除了內(nèi)容創(chuàng)意,這些AR出版機構(gòu)面臨的最大挑戰(zhàn)還在于技術(shù)解決方案的選擇。大部分AR技術(shù)解決方案都掌握在信息技術(shù)供應(yīng)商手中,出版機構(gòu)只能將AR技術(shù)開發(fā)外包給IT供應(yīng)商,限制了內(nèi)容創(chuàng)意的發(fā)揮。對于AR技術(shù)缺乏了解,已經(jīng)成為眾多出版社在出版AR內(nèi)容時的最大困擾,盡管很多出版機構(gòu)并未意識到這一點。
在國內(nèi)文獻檢索中,凡是涉及AR出版的論文,總體上對AR技術(shù)缺乏深入的了解,甚至給研究帶來了諸多的限制與約束。而在計算機科學(xué)領(lǐng)域,涉及AR技術(shù)的內(nèi)容,大多集中于3D技術(shù)、計算機視覺、識別與定位算法等底層領(lǐng)域,對AR出版者幫助甚少。在對一些技術(shù)社區(qū)的調(diào)查中,有一些AR技術(shù)社區(qū)總結(jié)了一些技術(shù)解決方案的優(yōu)劣或特點,但是,我們未發(fā)現(xiàn)任何針對AR出版各環(huán)節(jié)提供的技術(shù)方案比較,也沒有如何根據(jù)出版物需求和內(nèi)容創(chuàng)意進行AR技術(shù)解決方案選擇的指南。
本文嘗試從出版機構(gòu)的角度,根據(jù)其掌握的受眾、創(chuàng)意、內(nèi)容等信息,提供一份技術(shù)解決方案選擇的指南。
在選擇技術(shù)解決方案時,需要綜合考慮各種因素,包括內(nèi)容形式、受眾、發(fā)行渠道、使用環(huán)境等維度,從而選擇最適合的技術(shù)解決方案。
AR圖書是目前最常見的AR出版物,而且一般提起AR出版物都是指以實體印刷品為載體的AR應(yīng)用。AR技術(shù)的作用主要是用作數(shù)字內(nèi)容和印刷品之間橋梁,方便用戶通過印刷品獲得數(shù)字內(nèi)容。但在實際應(yīng)用中,很多AR出版物雖然使用了AR技術(shù),其使用方法完全可以被成本更低的二維碼解決方案取代。
AR游戲是以《精靈寶可夢GO》為代表的一種新的電子游戲形態(tài)。玩家可以在現(xiàn)實世界中與一些虛擬形象進行互動,從而完成任務(wù)以獲得游戲體驗。與傳統(tǒng)電子游戲的區(qū)別就在于,這類AR游戲要求玩家在現(xiàn)實世界的空間中完成游戲過程。
除了AR圖書與AR游戲,還有一些AR應(yīng)用是屬于工具類、資料類或教育類的應(yīng)用,比如AR翻譯、AR動植物識別、AR導(dǎo)覽等。
目前AR出版物的主要受眾是少年兒童,但幼兒與中小學(xué)生的應(yīng)用還有一些區(qū)別。從操作能力來看,幼兒在把持移動設(shè)備或穿戴設(shè)備的能力上不足,而一般中小學(xué)生可以較為熟練地使用各種設(shè)備。從內(nèi)容定位上,幼兒內(nèi)容強調(diào)寓教于樂,娛樂性更強;中小學(xué)生的應(yīng)用要么是單純的游戲,要么是單純的學(xué)習(xí),娛樂與學(xué)習(xí)的融合較少。
在文獻調(diào)查的過程中發(fā)現(xiàn),職業(yè)教育與專業(yè)培訓(xùn)領(lǐng)域是被忽視的領(lǐng)域。AR有很大一部分應(yīng)用領(lǐng)域是在具體技能培訓(xùn)中,比如修理汽車發(fā)動機、維修機柜排線等。此外,也有一些特定領(lǐng)域的AR出版物是為普通大眾設(shè)計的,其中AR游戲是數(shù)量最多的,而AR廣告、展覽場館的AR展品等常有出彩的表現(xiàn),具有一定的吸睛效果。
傳統(tǒng)發(fā)行渠道即是指AR出版物中的印刷品通過傳統(tǒng)圖書發(fā)行渠道發(fā)行,而其配套的AR數(shù)字內(nèi)容通過圖書上提供的鏈接或二維碼進行下載。目前也有部分產(chǎn)品先發(fā)行數(shù)字內(nèi)容再通過數(shù)字內(nèi)容發(fā)行平臺購買配套圖書,可以通過AR技術(shù)將圖書和數(shù)字內(nèi)容連接起來。
應(yīng)用發(fā)行渠道通常是指包括蘋果的應(yīng)用商城、安卓的各種應(yīng)用市場、STEAM(全球最大游戲發(fā)行平臺,也是全球較大的綜合性數(shù)字發(fā)行平臺)等發(fā)行渠道。
教育/B2B渠道指教育行業(yè)中AR出版物由機構(gòu)采購后分發(fā)給用戶的模式,通常是AR出版機構(gòu)面對學(xué)校和各類校外培訓(xùn)機構(gòu)的商業(yè)模式。這是AR內(nèi)容進入學(xué)校和各類展館的主要渠道。
嚴格地說,社交網(wǎng)絡(luò)并不是一個獨立的發(fā)行渠道,更多時候是作為發(fā)行渠道配套的宣傳推廣平臺使用。一般用戶通過社交網(wǎng)絡(luò)得到某個AR應(yīng)用的信息,還需要轉(zhuǎn)到傳統(tǒng)發(fā)行渠道購買圖書,或進入對應(yīng)的應(yīng)用發(fā)行渠道下載AR內(nèi)容。但是,隨著各大社交網(wǎng)絡(luò)功能的逐漸強大,社交網(wǎng)絡(luò)開放平臺能夠支持越來越多的應(yīng)用形態(tài),而且HTML5(超文本標(biāo)記語言的第五次重大修改)技術(shù)能夠支持更復(fù)雜的3D交互和硬件調(diào)用,有一些AR內(nèi)容已經(jīng)開始試驗性地在社交網(wǎng)絡(luò)上發(fā)行和直接使用,例如一些AR廣告應(yīng)用。
移動環(huán)境是指在移動設(shè)備上使用AR內(nèi)容的環(huán)境,也是目前AR內(nèi)容的主要環(huán)境。因為移動設(shè)備集成有AR應(yīng)用必須的攝像頭,以及可以極大地擴展AR應(yīng)用形態(tài)的各種傳感器,所以目前的AR出版物主要都將移動環(huán)境作為主要環(huán)境。在未來應(yīng)當(dāng)特別關(guān)注的是,除了智能手機和平板電腦,類似微軟的Hololens(微軟2015年發(fā)布的頭戴式顯示設(shè)備,支持融合現(xiàn)實技術(shù))、谷歌的Google Glass(谷歌2012年發(fā)布的“增強現(xiàn)實”眼鏡)的穿戴式設(shè)備將有可能成為移動環(huán)境中使用的另一大類設(shè)備。
固定環(huán)境是AR應(yīng)用的另外一個場景,通常是指在某個固定場地中使用不可移動的設(shè)備完成AR應(yīng)用,比較流行的有基于微軟Kinect的一些AR解決方案。另外配備有內(nèi)置或外接攝像頭的桌面電腦也可以當(dāng)作AR的使用環(huán)境。在展覽場館的AR應(yīng)用中,還可以看到一些比較大型的定制AR設(shè)備,主要由顯示設(shè)備、主機再加上視頻采集設(shè)備構(gòu)成。
AR出版物的技術(shù)解決方案無非是“云”與“端”兩個部分及兩者之間的通信方案構(gòu)成(參見圖1)。“云”主要是指在服務(wù)器端為AR出版物提供支持的各種服務(wù),“端”是指用戶消費AR內(nèi)容時所使用的硬件設(shè)備和軟件,而“云”與“端”之間的通信主要是指兩者之間完成APP(Application的縮寫,目前特指智能移動設(shè)備上以桌面圖標(biāo)為入口的應(yīng)用軟件)下載、內(nèi)容下載以及其他數(shù)據(jù)傳輸所需的通信過程。
圖1 一般AR出版物技術(shù)解決方案組成結(jié)構(gòu)簡圖
通?!霸啤币鉀Q的問題主要是APP下載、內(nèi)容下載和用戶管理的問題,因此一般會在云提供管理信息系統(tǒng)(Management Information System, MIS系統(tǒng))和云存儲。這部分不存在太多難以選擇的解決方案,而且各種方案相對成熟。
但是在用戶訪談中發(fā)現(xiàn),絕大部分AR出版機構(gòu)在使用公有云服務(wù)還是自建私有云服務(wù)的選擇上還是存在誤區(qū)。出版機構(gòu)一般認為,自建私有云服務(wù)安全性更高、更可控,并因此傾向于自建私有云而非選擇阿里云或騰訊云這樣的公有云服務(wù)。筆者團隊對各種云服務(wù)解決方案進行了比較(參見表1),在出版機構(gòu)可承受的成本范圍內(nèi),公有云服務(wù)從安全性、可靠性、訪問速度、可擴展性等方面全面優(yōu)于一般的私有云服務(wù)。此外,國內(nèi)的阿里云和騰訊云還為開發(fā)者提供很多基礎(chǔ)云服務(wù)或接入第三方云服務(wù),如流媒體服務(wù)、文件存儲服務(wù)、數(shù)據(jù)采集服務(wù)等,極大地降低了開發(fā)者的風(fēng)險和成本。
在AR出版物的技術(shù)解決方案中,因為用戶幾乎完全是通過“端”來消費AR內(nèi)容,因此“端”是最復(fù)雜的部分。通過圖1可以看出,“端”主要由硬件平臺、操作系統(tǒng)、AR SDK和AR應(yīng)用4個部分組成。
硬件平臺的解決方案分為移動終端、桌面終端、游戲主機、穿戴式設(shè)備和其他定制終端等5個類別(參見表2)。移動終端主要是指各類智能手機和平板電腦;桌面終端包括臺式計算機和筆記本電腦;游戲主機主要是PS4(索尼公司的游戲主機 Play Station 4)、Xbox(微軟的游戲主機)等主機;目前支持AR應(yīng)用的穿戴式設(shè)備主要是微軟 Hololens、谷歌 Glass、索尼 SmartEyeGlass(索尼公司2014年發(fā)布的智能眼鏡原型)等;定制終端主要是在各展覽場館、商業(yè)中心用于展示的AR設(shè)備。
表1 公有云與私有云比較
表2 硬件平臺比較
操作系統(tǒng)主要分為桌面操作系統(tǒng)和移動操作系統(tǒng)兩種。桌面操作系統(tǒng)中,Windows占據(jù)絕對多數(shù)用戶,Mac和各版本Linux也有一些用戶。移動操作系統(tǒng)中iOS(蘋果公司的移動終端操作系統(tǒng))和Android兩分天下,Windows Phone(微軟公司的移動終端操作系統(tǒng))已逐漸消亡。游戲主機中的操作系統(tǒng)一般是游戲主機廠商深度定制的封閉操作系統(tǒng),比如PS4采用的是FreeBSD 9.0(一種類Unix操作系統(tǒng))的定制版,XBox One采用了Windows 8的精簡版。穿戴式設(shè)備的體積較小,一般采用移動操作系統(tǒng),而定制終端一般體積龐大,采用桌面操作系統(tǒng)的居多。
AR SDK是AR應(yīng)用的核心,AR的各項功能和特性都依賴于AR SDK的支撐。目前國內(nèi)大多數(shù)AR應(yīng)用都是采用國外的AR SDK,而國內(nèi)的AR SDK大部分都基于開源SDK進行改進。通常出版機構(gòu)在選擇技術(shù)供應(yīng)商時,所遇到的聲稱擁有自主知識產(chǎn)權(quán)AR引擎的供應(yīng)商,大多也還是在國外的AR SDK上加以定制和二次封裝,進而提供一些快速編輯與發(fā)布的功能。
因為AR SDK繁多,幾乎很少有研發(fā)機構(gòu)能夠接觸到所有主流SDK。因此在國外Social Compare的網(wǎng)站上,通過社交媒體集合眾多網(wǎng)友的經(jīng)驗,對目前市面能見到的主流SDK進行了綜合的評估并制作了一張表格。該表格隨時根據(jù)各SDK的發(fā)布情況進行更新,雖然依然比最新的信息略有滯后,但已經(jīng)是目前最新、最全面的AR SDK綜合比較了?,F(xiàn)在將SDK技術(shù)特性的部分關(guān)鍵信息整理成表3。
表3 主流AR SDK比較
AR應(yīng)用一般是在SDK基礎(chǔ)上開發(fā)的具有人機界面的應(yīng)用程序。目前主流AR應(yīng)用包括移動APP、桌面軟件、Web應(yīng)用。如果按照功能類型劃分,AR應(yīng)用則可以劃分為專有應(yīng)用和通用應(yīng)用。專有應(yīng)用一般是針對本AR出版物發(fā)布的應(yīng)用,如科普繪本《消失的世界》使用的“消失的世界”APP、配套教育卡片使用的“AR口袋動物園”APP。通用應(yīng)用則指那些可以發(fā)行、下載、使用多套AR內(nèi)容的平臺,如中國科技大學(xué)新媒體研究院的“科學(xué)薈”APP。
在AR出版物應(yīng)用中,主要功能都依賴于客戶端,服務(wù)端僅為客戶端提供必要的下載和數(shù)據(jù)支持,一般包括應(yīng)用下載、內(nèi)容下載、用戶數(shù)據(jù)采集等部分。其中內(nèi)容下載部分的解決方案一般可分為:與應(yīng)用打包下載、使用前下載到本地、使用中實時下載。
杰西·加瑞特在2010年為網(wǎng)站設(shè)計提出了一個用戶體驗要素五層次模型。[4]該模型根據(jù)設(shè)計目標(biāo)“基于任務(wù)”還是“基于信息”,將網(wǎng)站分為“軟件界面”與“超文本系統(tǒng)” 兩類,并按照“抽象-具體”程度和從概念到完成的順序,將整個網(wǎng)站的用戶體驗設(shè)計過程進行了層次劃分,分別提出不同類網(wǎng)站在各個環(huán)節(jié)應(yīng)當(dāng)進行的工作。按照從概念到完成的順序,用戶體驗要素共分為“戰(zhàn)略層”“范圍層”“結(jié)構(gòu)層”“框架層”和“表現(xiàn)層”。
如果將此模型應(yīng)用于AR出版物,在戰(zhàn)略層和范圍層中,AR出版機構(gòu)應(yīng)當(dāng)已經(jīng)確定了本文第一部分所述需求分析中的所有維度,即用戶體驗要素中戰(zhàn)略層的產(chǎn)品目標(biāo)和用戶需求、范圍層中的功能規(guī)格。在結(jié)構(gòu)層中,應(yīng)當(dāng)完成技術(shù)解決方案的選擇工作。筆者為需求維度和技術(shù)解決方案之間建立了一種映射關(guān)系,并以此形成了4張表格,期望能夠成為AR出版機構(gòu)技術(shù)解決方案選擇的指南。
內(nèi)容形式維度對于技術(shù)解決方案的決策影響參見表4。其中,AR游戲的形式非常多樣,可以基于各種硬件平臺產(chǎn)生完全不同的體驗,大部分時候游戲創(chuàng)意都是基于硬件平臺產(chǎn)生的。
表4 內(nèi)容形式對AR技術(shù)解決方案的影響
受眾維度會從硬件形態(tài)上影響用戶體驗,因此硬件解決方案的選擇成為基礎(chǔ)(參見表5)。例如針對幼兒或兒童的應(yīng)用,硬件平臺首選移動終端,因為移動終端的普及率最高,方便內(nèi)容到達最終用戶。但是,僅僅是智能手機或平板電腦還不能完全滿足幼兒的使用特點。以針對幼兒的AR繪本為例,幼兒會在翻書和拿手機掃描兩個動作中來回切換,從而導(dǎo)致注意力分散降低使用興趣。在焦點小組觀察中,大部分幼兒會在短時間內(nèi)要么專注于圖書,要么專注于手機,要么注意力轉(zhuǎn)移,很難做好兩者的結(jié)合使用。在這一點上比較成功的是OSMO套件(參見圖2)。這組套件通過一個支撐架將平板電腦支撐起來,再用反射鏡將桌子表面的畫面反射到前置攝像頭中,完全讓幼兒擺脫用手操作平板電腦的負擔(dān),可以集中注意力在桌面的其他組件和平板電腦顯示器的畫面反饋中。而在職業(yè)教育和技能培訓(xùn)中,因為可以承擔(dān)相對較大的成本,且對交互要求更高,因此定制設(shè)備和穿戴式設(shè)備成為首選,例如直升機駕駛培訓(xùn)、通訊線路檢修培訓(xùn)等。
表5 受眾類型對AR技術(shù)解決方案的影響
圖2 OSMO Genius Kit
發(fā)行渠道與內(nèi)容形式有強關(guān)聯(lián),因此選擇內(nèi)容形式后,發(fā)行渠道也已經(jīng)基本確定。如AR圖書會通過傳統(tǒng)發(fā)行渠道,AR游戲會通過應(yīng)用發(fā)行渠道,其他AR應(yīng)用可以通過應(yīng)用發(fā)行渠道、教育/B2B渠道和社交媒體。發(fā)行渠道對技術(shù)方案選擇的影響參見表6。
表6 發(fā)行渠道對技術(shù)解決方案的影響
使用環(huán)境對于技術(shù)方案選擇的影響很大,在移動環(huán)境和固定環(huán)境下,幾乎所有的技術(shù)環(huán)節(jié)都會選擇完全不同的解決方案(參見表7)。
表7 使用環(huán)境對技術(shù)解決方案的影響
本文將需求從受眾、內(nèi)容形式、發(fā)行渠道、使用環(huán)境4個維度進行解讀,把技術(shù)解決方案分為了6個部分并提供了可行的選擇項,旨在提供一套指南,能夠根據(jù)需求解讀抽取技術(shù)選項并組合成為合適的技術(shù)解決方案。這份指南可能的缺陷在于很難跟上技術(shù)發(fā)展的腳步,也許在其面世之時便已經(jīng)存在過時之處。但其價值在于,我們將在未來形成一份相對易維護、易更新的電子指南放于互聯(lián)網(wǎng)上供所有AR出版機構(gòu)參考。