蔣 浩

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

增強(qiáng)現(xiàn)實技術(shù)(Augmented Reality,簡稱AR),是一種將真實世界信息和虛擬世界信息“無縫”結(jié)合的技術(shù),該技術(shù)將虛擬的信息(視覺信息、聲音、味道等)通過電腦等系統(tǒng)處理,模擬仿真后疊加在真實世界中,表現(xiàn)為真實的環(huán)境和虛擬的物體實時地疊加到同一個畫面或空間,滿足了用戶超越現(xiàn)實的感官體驗.深度學(xué)習(xí)是近年來在大數(shù)據(jù)環(huán)境下興起的一門機(jī)器學(xué)習(xí)技術(shù),其實質(zhì)是通過構(gòu)建具有多層結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)數(shù)據(jù)中的復(fù)雜特性,用于之后的分析、預(yù)測等應(yīng)用.由于其具有海量數(shù)據(jù)的學(xué)習(xí)能力和高度的特征抽象能力,在諸多應(yīng)用領(lǐng)域都取得了相比傳統(tǒng)方法的革命性的成功.

目前經(jīng)典的AR 軟件包括谷歌星空地圖,用戶只需要將攝像頭對準(zhǔn)天空,就可以在應(yīng)用中看到各大恒星、星座的具體位置和準(zhǔn)確信息,同時用戶也可以搜索特定的星星.星空地圖反應(yīng)快速,使用起來非常流暢,幾乎成了天文愛好者的必裝app 之一.以及瑞典著名的家具品牌宜家推出的“IKEA Place”,該應(yīng)用可以自動掃描環(huán)境,并根據(jù)房間尺寸調(diào)整3D 模型的大小,逼真模擬家具在房間放置的情境,為家具零售業(yè)帶來一場變革.但是可以看到,這些產(chǎn)品的功能以及其與人的互動方式都較為單一,用戶粘性不高,軟件使用頻率低.

據(jù)CNNIC 發(fā)布的報告,截至2018年6月,我國手機(jī)網(wǎng)民規(guī)模已達(dá)7.88 億,智能手機(jī)已經(jīng)逐漸取代傳統(tǒng)PC 成為主要的上網(wǎng)終端,人們對移動社交的需求也隨之越來越高,然而陌生人之間想要交流卻又有安全等其他問題.

本系統(tǒng)通過創(chuàng)造一種新的社交方式來打破這個格局.而留言墻系統(tǒng),既能保護(hù)發(fā)言人的隱私,又能讓不認(rèn)識的人一起交流,作為虛擬社交的一種典型應(yīng)用,具有受眾廣、用戶粘性大、活躍度高的特點.聯(lián)結(jié)同一場景下“共同感受”的人,區(qū)別于以往的社交方式,更能讓人融入這個場景,同時留言榜上可以發(fā)布尋物啟事以及廣告,更加豐富了人們的生活方式以及更具有商業(yè)價值.特別是基于地理位置服務(wù)(LBS)的移動留言系統(tǒng),因其目標(biāo)人群定位準(zhǔn)確,具有較高的認(rèn)同度,無論在產(chǎn)品營銷、廣告宣傳還是信息咨詢等方面都具有巨大的發(fā)展?jié)摿蜕虡I(yè)價值.

目前國外也有關(guān)于AR 留言墻的報道,但是不太人性化,只有單一的普通留言功能用.而本系統(tǒng)希望實現(xiàn)的留言系統(tǒng)不僅僅是簡單的留言,而是一個聚合平臺,商家以及政府機(jī)關(guān)都可以接入,留言系統(tǒng)可以顯示消費者對商家的客觀評價、商家也可以自行留言推銷產(chǎn)品與促銷,以及民眾對政府機(jī)關(guān)的辦事效率評價或是政府各個窗口排隊的實時人數(shù)等.

1 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)總體流程圖如圖1所示.

1)構(gòu)建一個深度學(xué)習(xí)模型進(jìn)行圖像的匹配,其作用主要是將掃描場景的圖像與數(shù)據(jù)庫中已有場景的圖像進(jìn)行圖像匹配,篩選出相似度最高的場景圖像以待后續(xù)操作使用.

2)根據(jù)系統(tǒng)的信息需求、處理需求和數(shù)據(jù)庫的支撐環(huán)境,設(shè)計出高效、有序和支持多種數(shù)據(jù)格式的數(shù)據(jù)庫系統(tǒng).在通過深度學(xué)習(xí)模型得到相似度最高的場景信息之后,則需要在該數(shù)據(jù)庫中提取出該場景信息對應(yīng)的留言信息,包括文字、語音、圖片、視頻.

3)利用AR 技術(shù),將真實場景和虛擬對象進(jìn)行疊加,這些虛擬對象包括文字、圖像、語音和視頻等.其中要利用到虛實結(jié)合技術(shù)將最后的結(jié)果顯示到手機(jī)上；利用實時交互技術(shù)來實現(xiàn)虛擬對象與現(xiàn)實世界之間的交互；利用三維注冊技術(shù)將虛擬對象準(zhǔn)確的疊加到真實環(huán)境中去.

圖1 總體流程圖

2 系統(tǒng)的設(shè)計

從基于深度學(xué)習(xí)的街景對象識別的設(shè)計、基于MongDB 的街景對象數(shù)據(jù)庫的設(shè)計、基于AR 技術(shù)的留言信息展示的設(shè)計三方面進(jìn)行介紹.采用的三重神經(jīng)網(wǎng)絡(luò),對特定的場景的深度學(xué)習(xí)比傳統(tǒng)方法更加的高效,突破傳統(tǒng)識別方式的缺陷,能降低環(huán)境變化帶來的影響.

多層級圖像數(shù)據(jù)庫設(shè)計.本系統(tǒng)采用地方數(shù)據(jù)庫的形式,將固定范圍內(nèi)的數(shù)據(jù)作為一個數(shù)據(jù)包,結(jié)合用戶實時的定位信息進(jìn)行匹配.能夠保證數(shù)據(jù)庫大小在一定范圍內(nèi),便于管理員管理；在進(jìn)行圖片匹配時,能夠加快圖片匹配速度、提高匹配準(zhǔn)確率.

突破了傳統(tǒng)AR 技術(shù)的應(yīng)用(現(xiàn)實世界相關(guān)信息、視頻介紹等),本系統(tǒng)發(fā)展用戶與虛擬信息進(jìn)行交互功能,交互功能包括用戶可以創(chuàng)建留言欄、添加留言、收到回復(fù)的留言等等.

2.1 基于深度學(xué)習(xí)的街景對象識別

景物和建筑的識別的目的是精準(zhǔn)地調(diào)用相應(yīng)的數(shù)據(jù)庫,識別功能是本系統(tǒng)的基礎(chǔ),只有精準(zhǔn)的識別才能保證產(chǎn)品的可靠性.近年來,人臉識別大熱,市場上智能手機(jī)都開始配備這項功能如iPhone XS、Mate 20 Pro 等.但是區(qū)別于人臉識別,本系統(tǒng)所需要識別的街景是建筑和景物.并且由于是在室外,會受到光照、遮擋和場景動態(tài)變化的干擾.基于以上幾點,我們開始研究適合我們系統(tǒng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并對已有的技術(shù)進(jìn)行改進(jìn)優(yōu)化.

基于圖像的局部特征,可以發(fā)現(xiàn)具有重復(fù)性的地方,一定程度上降低了視覺角度和光照方面帶來的影響.識別的時候重點檢查這些局部特性上的幾何特性和幾何排布特性可以進(jìn)一步提升結(jié)果的可靠性.同時,全局照片也可以用來檢測,可拓展性更強(qiáng),但是在光照和視角變化情況下,識別率會比較低.

目前已經(jīng)有一些基于模型或者數(shù)據(jù)學(xué)習(xí)的工作,來設(shè)計一個更高效的從變化事物中找到不變特征的方法.我們研究的方法基于卷積神經(jīng)網(wǎng)絡(luò)(CNN),因為他們具有更高的學(xué)習(xí)圖像模式的潛力.

本系統(tǒng)采用經(jīng)過改進(jìn)的孿生神經(jīng)網(wǎng)絡(luò)——三重神經(jīng)網(wǎng)絡(luò)來進(jìn)行特定場景的識別[1].

孿生神經(jīng)網(wǎng)絡(luò)簡單來說就是“連體的神經(jīng)網(wǎng)絡(luò)”,神經(jīng)網(wǎng)絡(luò)的連體通過共享權(quán)值來實現(xiàn),其中共享權(quán)值指的就是左右兩個神經(jīng)網(wǎng)絡(luò)的權(quán)重一模一樣,基本結(jié)構(gòu)如圖2所示.孿生神經(jīng)網(wǎng)絡(luò)有兩個輸入,通過最后輸出的Loss 來衡量兩個輸入之間的相似程度[2].

圖2 共享權(quán)值

孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)是尋找兩個可比較對象的相似程度(例如,簽名驗證、人臉識別等).這個網(wǎng)絡(luò)有兩個相同的子網(wǎng)絡(luò),兩個子網(wǎng)絡(luò)有相同的參數(shù)和權(quán)重.

孿生神經(jīng)網(wǎng)絡(luò)在場景圖像匹配中的應(yīng)用如圖3所示.第一個子網(wǎng)絡(luò)的輸入是一幅圖片,然后依次送到卷積層、池化層和全連接層,最后輸出一個特征向量.最后的向量f(x(1)) 是 對輸入x(1)的編碼.然后,向第二個子網(wǎng)絡(luò)(與第一個子網(wǎng)絡(luò)完全相同)輸入圖片x(2),我們對它做相同的處理,并且得到對x(2)的編碼fx(2).

圖3 孿生神經(jīng)網(wǎng)絡(luò)的應(yīng)用

為) 了比(較)圖片x(1)和x(2),我們計算了編碼結(jié)果fx(1)和fx(2)之間的距離.如果它比某個閾值(一個超參數(shù))小,則意味著輸入的圖片與圖像數(shù)據(jù)庫中的某張照片為同一場景,否則,輸入的照片并沒有存在于圖像數(shù)據(jù)庫中,即不為同一場景.

上式是計算x(1)和x(2)的編碼之間的距離[3].

系統(tǒng)采用的三重神經(jīng)網(wǎng)絡(luò)則是在孿生神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行修改的,分別在兩個神經(jīng)網(wǎng)絡(luò)最后的輸出增加了一個新的全連接層(沒有激活功能),具體結(jié)構(gòu)如圖4.其中基本的神經(jīng)網(wǎng)絡(luò)將采用在Imagenet 上訓(xùn)練的流行的VGG-16 模型,VGGNet 的主要特性就是利用反復(fù)堆疊的3*3 小型卷積核和2*2 的最大池化核,其目的是在增加網(wǎng)絡(luò)深度的同時避免各層的輸入大小不會隨深度的增加而極具減小.而最后的loss 則采用歐幾里德距離來衡量輸入的相似性.整個工作流程如圖5[4,5].

圖4 三重神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2) Triplet loss 三重?fù)p失函數(shù)定義：

所謂三重?fù)p失函數(shù)指的是使用三幅圖片計算一個損失函數(shù)：一副固定影像A,一副正例圖像P (與固定影像是同一場景),以及一張反例圖像N (與固定影像不是同一場景)三重?fù)p失函數(shù)處理過程如圖6[6].

圖5 三重神經(jīng)網(wǎng)絡(luò)工作流程

圖6 三重?fù)p失函數(shù)示意圖

表1為采用改進(jìn)的孿生神經(jīng)網(wǎng)絡(luò)——三重神經(jīng)網(wǎng)絡(luò)識別校園各個景點識別精度結(jié)果.

表1 不同時間不同場景的街景識別精度

2.2 基于MongDB 的街景對象數(shù)據(jù)庫設(shè)計

基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng)中的用戶信息、留言信息、留言墻信息和場景信息都需要數(shù)據(jù)庫技術(shù)的支持.而其中涉及存取大量的文字,圖片信息,甚至視頻信息等,此外考慮到此系統(tǒng)以后的被推廣以及大量用戶的使用造成數(shù)據(jù)量的極大上升帶來的查詢效率等一系列問題.這里我們采用的是基于分布式文件存儲的MongoDB 數(shù)據(jù)庫系統(tǒng).MongoDB 是一個開源的,基于分布式的,面向文檔存儲的非關(guān)系型數(shù)據(jù)庫,是非關(guān)系型數(shù)據(jù)庫中功能最豐富,并且最像關(guān)系型數(shù)據(jù)庫的.MongoDB 由C++語言編寫,旨在處理海量的數(shù)據(jù),并能提供高效的性能和良好的可靠性[7,8].

本系統(tǒng)研究基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng),該系統(tǒng)通過基于地理位置服務(wù)(Location Based Service,LBS)獲取當(dāng)前位置附近的熱門留言墻,掃描目標(biāo)景物,然后通過增強(qiáng)現(xiàn)實技術(shù)將留言信息疊加到移動終端捕捉到的場景中[9,10].

該數(shù)據(jù)庫主要包括用戶信息、留言信息、留言墻信息和場景信息4 個實體.

其中場景信息存儲有手機(jī)GPS和陀螺儀的信息,其目的是用于目標(biāo)匹配時的第一輪篩選和推薦附近熱門區(qū)域.

在當(dāng)用戶對目標(biāo)景物進(jìn)行掃描時,可通過手機(jī)定位信息來判斷是否進(jìn)入深度學(xué)習(xí)模型來進(jìn)行圖像匹配,這樣可以大大避免運(yùn)算資源的浪費.

在當(dāng)用戶進(jìn)入系統(tǒng)界面時,系統(tǒng)可以根據(jù)手機(jī)的定位信息在地圖上標(biāo)注出附件熱門留言墻以及熱門留言墻上TOP3 的簡要信息,引導(dǎo)人們?nèi)ジ呷藲獾貐^(qū).

用戶信息中還可以包含有微信帳號關(guān)聯(lián)的信息,然后用戶可以查看好友中熱門的留言區(qū)域,同時也可以跟微信好友進(jìn)行互動,在看到自己喜愛的內(nèi)容時進(jìn)行點贊.

開發(fā)基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng).經(jīng)過可行性分析和初步的需求調(diào)查,確定了系統(tǒng)的功能邊界,該系統(tǒng)能完成以下的功能：

1) 用戶注冊(可以微信賬號注冊).

2) 用戶登錄.

3) 用戶可以查看自己的相關(guān)信息,如在哪些地方留過言,留言的關(guān)注度、點贊數(shù)等.

4) 根據(jù)用戶當(dāng)前地理位置信息顯示附近留言墻信息.

5) 用戶對目標(biāo)物體進(jìn)行掃描,顯示當(dāng)前標(biāo)志物的留言墻及留言信息,若無留言墻,可以創(chuàng)建留言墻.

6) 用戶可以查看當(dāng)前打開的留言墻上的信息,其中留言墻上微信好友的留言會有標(biāo)識,也可以在上面以文字、語音、圖片、視頻等方式在上面留言.

圖7反映了基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng)與用戶的接口,但未表明數(shù)據(jù)的加工要求,需要進(jìn)一步細(xì)化.根據(jù)前面基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng)功能邊界的確定,再對基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng)頂層數(shù)據(jù)流圖中的處理功能進(jìn)一步分解,可分解為用戶注冊、登錄、查詢個人信息、查詢附近留言墻、掃描目標(biāo)物體查看留言墻或創(chuàng)建留言墻和留言六個子功能,這樣就得到了基于位置的增強(qiáng)現(xiàn)實街景留言系統(tǒng)的第0 層數(shù)據(jù)流圖.

圖7 系統(tǒng)頂層數(shù)據(jù)流圖

從圖8可以看出,在此系統(tǒng)的不同功能中,有必要對其進(jìn)行更深層次的分析,圖9為掃描目標(biāo)物體查看留言墻或創(chuàng)建留言墻數(shù)據(jù)流圖[11,12].

圖8 系統(tǒng)第0 層數(shù)據(jù)流圖

圖9 查看留言墻或創(chuàng)建留言墻數(shù)據(jù)流圖

2.3 基于AR 技術(shù)的留言信息展示

本系統(tǒng)在Unity 下基于高通(Vuforia)來實現(xiàn)虛擬事物在現(xiàn)實中的顯示.

如圖10為基于Unity3D 的增強(qiáng)現(xiàn)實系統(tǒng)的工作流程,也即是增強(qiáng)現(xiàn)實實現(xiàn)原理,大體上包括圖像獲取、圖像匹配以及虛實結(jié)合等部分內(nèi)容[13,14].

圖10 AR 工作流程

系統(tǒng)通過攝像頭獲取到識別對象,通過識別對象上的特征點將它與系統(tǒng)中本已上傳的識別圖進(jìn)行匹配達(dá)到虛擬與現(xiàn)實結(jié)合的目的.而實現(xiàn)這一功能,我們采用Vuforia SDK.Vuforia 調(diào)用計算機(jī)攝像頭,利用視覺技術(shù)實時識別和捕捉來控制虛擬物體與識別圖位置關(guān)系.

Vuforia 對被識別的模型有著相應(yīng)的要求：

1) 對象被假定為靜態(tài)的,在被檢測到后,將不得不在環(huán)境中保持靜態(tài).用戶則可以在對象周圍移動,但不移動對象本身.如果需要支持移動或者替換對象,在對象移動后停止并重新開始追蹤；

2) 相對來說,單一統(tǒng)一顏色的物體更加難以追蹤,盡管他們通常可以被可靠地檢測到.對于這些對象,往往需要通過表面外觀的一些變化來區(qū)分,因此,純白背景上的純白色或者純黑背景上的純黑色物體區(qū)分效果并不明顯；相比較于幾何復(fù)雜的對象,諸如立方體這類的簡單形狀或者非常細(xì)長的簡單形狀更加容易被混淆；

3) 而很重要的一點,對象應(yīng)當(dāng)具有與模型完全相同的形狀,雖然模型目標(biāo)跟蹤器允許它們各自的幾何形狀有一些偏差,但肯定不能是柔性的物體.

4) 在實例中,用戶使用手機(jī)掃描相應(yīng)的實物或者實景,通過手機(jī)攝像頭來捕捉圖像,將圖像上傳至手機(jī)后臺數(shù)據(jù)庫中進(jìn)行圖像匹配.

在進(jìn)行識別圖讀取定位后,計算機(jī)已經(jīng)擁有了虛擬物體的三維坐標(biāo),下一步即時將它與真實世界進(jìn)行結(jié)合.這個過程包括3 個部分：三維注冊、物體位置、光照條紋.三者協(xié)調(diào)工作,當(dāng)虛擬物與現(xiàn)實場景出現(xiàn)失真情況時,三維注冊進(jìn)行實時定位跟蹤,不斷調(diào)取特征值進(jìn)行匹配,具有自我糾錯能力[15].三維注冊技術(shù)是實現(xiàn)移動增強(qiáng)現(xiàn)實應(yīng)用的基礎(chǔ)技術(shù),也是決定移動增強(qiáng)現(xiàn)實應(yīng)用系統(tǒng)性能優(yōu)劣的關(guān)鍵,因此三維注冊技術(shù)一直是移動增強(qiáng)現(xiàn)實系統(tǒng)研究的重點和難點.本系統(tǒng)主要是實時檢測出攝像頭相對于真實場景的位姿狀態(tài),確定所需要疊加的虛擬信息在投影平面中的位置,并將這些虛擬信息實時顯示在屏幕中的正確位置,完成三維注冊[16,17].

3 系統(tǒng)展示

首先彈出一個登陸界面,用戶需要登陸自己的賬號如圖11,如果沒有要先進(jìn)行注冊.

圖11 登陸界面

登陸后,軟件需要取得用戶手機(jī)位置獲取的權(quán)限獲取用戶當(dāng)前的地理坐標(biāo),下載相關(guān)的場景包,配合手機(jī)后置攝像頭,彈出一個新界面.然后用戶對準(zhǔn)所要識別的景物進(jìn)行掃描如圖12所示.

掃描成功之后會彈出這個景物所屬的留言墻如圖13所示,你可以查看別人在留言墻上發(fā)布的消息,也可以自己發(fā)布消息,甚至還能看到有關(guān)掃描的景物的有關(guān)信息,附上一個范例留言墻如圖14所示.

為了使這個系統(tǒng)更加的完善,帶來更好的體驗感,加入了最近識別點,熱門景點和足跡三個子功能,點擊最近的識別點能出現(xiàn)離你距離最近的一系列留言墻,熱門景點則是根據(jù)事實的留言數(shù)選進(jìn)附近的幾個熱門景點,用戶可以前去掃描參與留言.同時還會記錄下你掃描過的街景,方便你想看看自己留下的痕跡與留言之后與其他用戶的互動.這些功能如圖15所示.

圖12 掃描街景界面

圖13 識別成功后彈出界面

圖14 其他范例留言墻

圖15 其他輔助功能

4 結(jié)束語

這是一款基于位置的移動增強(qiáng)現(xiàn)實街景留言系統(tǒng),用戶可以將該系統(tǒng)安裝于手機(jī)上.這個留言系統(tǒng)不僅僅是簡單的留言,而是一個聚合平臺,后期商家,政府機(jī)關(guān)都可以接入,留言系統(tǒng)可以顯示消費者對商家的客觀評價,商家也可以自行留言推銷產(chǎn)品與促銷,民眾對政府機(jī)關(guān)的辦事效率的評價.