岳遠(yuǎn)紊 王玥瑤，2 康雨豪，3 丁家祺 吳坤霖 費(fèi) 騰

1 武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，湖北武漢，430079

2 北京大學(xué)城市與環(huán)境學(xué)院，北京，100871

3威斯康星大學(xué)麥迪遜分校地理系地理空間數(shù)據(jù)科學(xué)實(shí)驗(yàn)室，美國(guó)威斯康星麥迪遜，53706

隨著定位技術(shù)的發(fā)展和移動(dòng)定位設(shè)備的不斷普及，人們可以將位置信息添加到虛擬社交網(wǎng)絡(luò)平臺(tái)中。位置這一維度的介入拉近了線上社交網(wǎng)絡(luò)與現(xiàn)實(shí)世界的距離?；谖恢玫纳缃痪W(wǎng)絡(luò)（location?based social network，LBSN）不僅僅意味著將位置信息添加到社交網(wǎng)絡(luò)，同時(shí)，它通過人們的物理位置以及具有位置標(biāo)簽的社交內(nèi)容增強(qiáng)了人們之間的相互關(guān)聯(lián)性［1］。然而，目前的LBSN仍有提升的空間。一方面，這些具有位置標(biāo)簽的社交內(nèi)容受限于二維的展現(xiàn)形式，比如文字、圖片、視頻等。另一方面，僅僅添加位置標(biāo)簽到社交內(nèi)容并不能帶給人們足夠的空間語(yǔ)境，這些社交內(nèi)容和位置以及真實(shí)世界之間的聯(lián)系仍需進(jìn)一步的提升。

近年來，隨著計(jì)算機(jī)軟硬件的不斷升級(jí)以及計(jì)算機(jī)視覺算法的進(jìn)步，人們可以利用虛擬現(xiàn)實(shí)（vir?tual reality，VR）技術(shù)和增強(qiáng)現(xiàn)實(shí)（augmented reali?ty，AR）技術(shù)在現(xiàn)有的時(shí)空中疊加虛擬的世界。相比于VR技術(shù)所創(chuàng)造的完全虛擬世界［2］，AR技術(shù)將虛擬信息疊加到真實(shí)世界中，產(chǎn)生新的可視化環(huán)境，虛實(shí)結(jié)合并能夠?qū)崟r(shí)互動(dòng)［3］。它通過在真實(shí)時(shí)空中疊加圖像、視頻和三維模型等內(nèi)容，使得用戶可以在現(xiàn)有的世界中操作虛擬世界的物體并進(jìn)行互動(dòng)，從而增強(qiáng)人們對(duì)世界的感知［4］。隨著移動(dòng)終端上GPS定位、攝像頭、陀螺儀等傳感器的不斷完善，將AR技術(shù)應(yīng)用到移動(dòng)終端已成為可能。移動(dòng)增強(qiáng)現(xiàn)實(shí)（mobile augmented reality，MAR）技術(shù)可以創(chuàng)造出更為“鮮活”的環(huán)境，擴(kuò)展目前的三維時(shí)空，具有廣泛的前景，受到了國(guó)內(nèi)外科技巨頭和高校的青睞。

國(guó)內(nèi)外高校和企業(yè)對(duì)MAR技術(shù)在位置服務(wù)領(lǐng)域的應(yīng)用進(jìn)行了眾多探索。其應(yīng)用領(lǐng)域主要集中于導(dǎo)航、導(dǎo)覽。Feiner等［5］開發(fā)了第一款戶外MAR系統(tǒng)Touring Machine，實(shí)現(xiàn)了簡(jiǎn)單的校園導(dǎo)覽功能。隨著智能手機(jī)的發(fā)展，出現(xiàn)了大量基于手機(jī)AR的位置服務(wù)應(yīng)用，如Mobilizy公司推出的Wikitude世界瀏覽器，SPRX?mobile公司推出的Layer軟件，Blippar公司推出的AR City應(yīng)用，谷歌地圖和百度地圖的AR導(dǎo)航等。這些應(yīng)用讓人們能夠使用手機(jī)攝像頭辨識(shí)周圍建筑物、道路等虛擬信息。國(guó)內(nèi)高校也進(jìn)行了智能手機(jī)上AR導(dǎo)航的應(yīng)用研究［6?11］。這些應(yīng)用方便了人們的生活，但未最大程度發(fā)揮AR技術(shù)的潛力，局限性主要在于內(nèi)容展示與個(gè)人體驗(yàn)，用戶與用戶以及用戶與內(nèi)容之間的雙向互動(dòng)并沒有被充分探究。

在利用AR的互動(dòng)性提升位置服務(wù)方面，Schmalstieg等［12］提出AR 2.0，其目標(biāo)是提供廣泛的基于位置的AR體驗(yàn)，促進(jìn)用戶創(chuàng)造、協(xié)作、通信和信息共享。在AR 2.0平臺(tái)中，用戶能夠創(chuàng)建和更新三維注冊(cè)的內(nèi)容，創(chuàng)建LBSN。劉經(jīng)南等［13］闡述了AR技術(shù)在位置服務(wù)中的應(yīng)用，提出其深度服務(wù)在于通過與social?local?mobile［14］結(jié)合，實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)與位置服務(wù)的深度融合，增強(qiáng)人與人的社交場(chǎng)景感知。目前，在該領(lǐng)域已出現(xiàn)商業(yè)化應(yīng)用，比如Wallme App使用戶能夠在物理世界中發(fā)布虛擬消息或圖片，并與他人共享，但不支持3D模型共享，也不能讓用戶在創(chuàng)建和修改AR內(nèi)容時(shí)相互協(xié)作［15］。Althoff等［16］探究了AR技術(shù)在游戲場(chǎng)景中的內(nèi)容互動(dòng)和多人互動(dòng)。Yue等［17］提出了融合MAR與用戶生成內(nèi)容的LBSN，并探究了多樣的內(nèi)容互動(dòng)和多人互動(dòng)方式，但其側(cè)重于娛樂場(chǎng)景的應(yīng)用。在移動(dòng)智能時(shí)代，如何將AR技術(shù)與LBSN結(jié)合起來，促進(jìn)人與人之間的通信和信息共享成為新的待解決問題。

基于上述內(nèi)容，本文提出了一種基于AR技術(shù)與地理圍欄原理的社交網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)方法，并使用ARKit與CoreLocation框架實(shí)現(xiàn)了案例系統(tǒng)的設(shè)計(jì)，用實(shí)踐檢驗(yàn)該方法的有效性，通過用戶與場(chǎng)景的實(shí)時(shí)交互和用戶與用戶之間的互動(dòng)，實(shí)現(xiàn)了真實(shí)世界與虛擬世界的信息集成，帶給用戶個(gè)性化的社交體驗(yàn)，增強(qiáng)用戶對(duì)社交場(chǎng)景的感知。

1 系統(tǒng)設(shè)計(jì)方案

系統(tǒng)的主體模塊結(jié)構(gòu)如圖1所示。移動(dòng)設(shè)備用于用戶位置的獲取及增強(qiáng)現(xiàn)實(shí)效果的呈現(xiàn)；地理圍欄用于限定增強(qiáng)現(xiàn)實(shí)效果呈現(xiàn)的場(chǎng)所；場(chǎng)景信息為AR模型所承載的信息，可供用戶瀏覽、編輯。對(duì)應(yīng)的系統(tǒng)數(shù)據(jù)流如圖2所示。系統(tǒng)首先獲取用戶位置數(shù)據(jù)，通過區(qū)域監(jiān)聽判斷用戶進(jìn)入地理圍欄后，AR模型數(shù)據(jù)和場(chǎng)景信息將被傳輸?shù)揭苿?dòng)設(shè)備上。其中，移動(dòng)設(shè)備與場(chǎng)景信息之間的信息傳輸通過特定的交互方式實(shí)現(xiàn)。

圖1 系統(tǒng)模塊Fig.1 Modules of the System

圖2 系統(tǒng)數(shù)據(jù)流Fig.2 Data Flow of the System

1）移動(dòng)設(shè)備模塊。系統(tǒng)移動(dòng)設(shè)備為用戶攜帶的智能手機(jī)，系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)需要實(shí)時(shí)獲取用戶的位置信息。用戶的定位主要依靠所持移動(dòng)設(shè)備的GPS功能。為了提高定位精度，系統(tǒng)引入GPS與蜂窩網(wǎng)絡(luò)的聯(lián)合定位，同時(shí)引入?yún)^(qū)域監(jiān)聽功能，從而實(shí)時(shí)判斷用戶的位置。移動(dòng)設(shè)備上的攝像頭、傳感器（如加速度計(jì)、陀螺儀）為跟蹤與注冊(cè)提供數(shù)據(jù)。

2）地理圍欄模塊。為了便于用戶在更合適的場(chǎng)所中獲取虛擬信息，本文將AR信息的呈現(xiàn)限定在特定的空曠區(qū)域內(nèi)。具體實(shí)現(xiàn)方法如下：在符合條件的空曠區(qū)域內(nèi)圍出一個(gè)虛擬地理邊界，并將其呈現(xiàn)在電子地圖上，邊界的形狀可根據(jù)空曠區(qū)域而定，邊界范圍內(nèi)的區(qū)域被設(shè)定為AR信息廣場(chǎng)。AR信息廣場(chǎng)是一個(gè)具有真實(shí)地理坐標(biāo)的虛擬場(chǎng)所，用于展示AR信息載體。載體為提前設(shè)計(jì)并存儲(chǔ)于服務(wù)器內(nèi)的AR模型，所有的虛擬信息都通過載體呈現(xiàn)，比如文字、圖片、視頻等。這些AR模型與地理位置相關(guān)聯(lián)，只能出現(xiàn)在特定的AR信息廣場(chǎng)區(qū)域范圍內(nèi)。用戶進(jìn)入該區(qū)域邊界，觸發(fā)“進(jìn)入”事件，即可通過交互在廣場(chǎng)看到生成的AR模型，獲取對(duì)應(yīng)信息。

3）場(chǎng)景信息模塊。在系統(tǒng)中每個(gè)AR信息廣場(chǎng)都有對(duì)應(yīng)的場(chǎng)景信息。用戶對(duì)于場(chǎng)景信息的獲取與反饋需要通過特定的交互方式實(shí)現(xiàn)。用戶進(jìn)入地理圍欄后，移動(dòng)設(shè)備自動(dòng)進(jìn)行http網(wǎng)絡(luò)請(qǐng)求，獲得該AR信息廣場(chǎng)的場(chǎng)景信息。場(chǎng)景信息被傳輸?shù)紸R模型上，用戶在瀏覽AR模型的同時(shí)可對(duì)模型進(jìn)行編輯。用戶可在本地生成文字、圖片、視頻等形式的信息并發(fā)布，將這些信息上傳到云服務(wù)器上以更新該AR模型對(duì)應(yīng)的場(chǎng)景信息，更新后的AR模型可被該信息廣場(chǎng)區(qū)域內(nèi)的所有用戶瀏覽，從而實(shí)現(xiàn)同一地理圍欄內(nèi)多個(gè)用戶之間的互動(dòng)。

2 關(guān)鍵技術(shù)

2.1 基于視覺慣性里程計(jì)的跟蹤與注冊(cè)技術(shù)

AR技術(shù)實(shí)現(xiàn)中的一個(gè)重要問題是虛擬物體和真實(shí)場(chǎng)景在三維空間中位置的一致性，即在空間上的整合［18］。為了實(shí)現(xiàn)虛擬與現(xiàn)實(shí)場(chǎng)景的無縫融合，需要利用三維空間注冊(cè)技術(shù)，對(duì)顯示場(chǎng)景中的圖像或物體進(jìn)行追蹤和定位，通過計(jì)算虛擬世界與現(xiàn)實(shí)世界坐標(biāo)系的對(duì)應(yīng)關(guān)系，將虛擬物體以正確的空間透視關(guān)系疊加到現(xiàn)實(shí)場(chǎng)景確定位置。ARKit是蘋果公司推出的AR開發(fā)框架，利用該框架可以實(shí)現(xiàn)運(yùn)動(dòng)追蹤和平面檢測(cè)等功能。該系統(tǒng)通過ARKit SDK，借助視覺慣性里程計(jì)（visual inertial odome?try，VIO）實(shí)現(xiàn)基于傳感器和計(jì)算機(jī)視覺的混合注冊(cè)，具體流程如圖3所示。圖3中，ARFrame是ARKit封裝的視頻圖像類；C表示視覺數(shù)據(jù)；m表示手機(jī)傳感器（包括加速度計(jì)和陀螺儀）的運(yùn)動(dòng)數(shù)據(jù)；i表示視頻幀。

圖3 VIO工作流程Fig.3 Workflow of VIO

1）依靠VIO獲取時(shí)間t下的手機(jī)傳感器（包括加速度計(jì)和陀螺儀）的運(yùn)動(dòng)數(shù)據(jù)mt，這為小時(shí)間間隔的設(shè)備移動(dòng)提供了準(zhǔn)確的運(yùn)動(dòng)信息。但由于相機(jī)突然運(yùn)動(dòng)會(huì)造成誤差，而且誤差會(huì)隨著時(shí)間累積，造成漂移。為了減小誤差，系統(tǒng)融合計(jì)算機(jī)視覺處理過程，對(duì)攝像頭時(shí)間t下捕獲的視頻幀it提取特征點(diǎn)，特征點(diǎn)由關(guān)鍵點(diǎn)和描述子兩部分組成，關(guān)鍵點(diǎn)是指該特征點(diǎn)在圖像里的位置，描述子通常是一個(gè)向量，描述了該關(guān)鍵點(diǎn)周圍像素的信息。

2）根據(jù)特征點(diǎn)的相似度和它們的外觀在相機(jī)流上的多個(gè)圖像之間進(jìn)行匹配。根據(jù)兩個(gè)視圖的視角差，可以計(jì)算出圖像的深度，這就意味著2D的圖像被重建為3D圖像，攝像頭坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系也隨之匹配，此時(shí)得到視覺數(shù)據(jù)Ct。若想重建成功，必須連續(xù)移動(dòng)相機(jī)以提供足夠的視差。ARFrame在收到融合的運(yùn)動(dòng)數(shù)據(jù)和視覺數(shù)據(jù)后，在手機(jī)屏幕上呈現(xiàn)出增強(qiáng)現(xiàn)實(shí)效果。

2.2 地理圍欄服務(wù)

雖然基于VIO的跟蹤與注冊(cè)技術(shù)實(shí)現(xiàn)了虛擬與現(xiàn)實(shí)場(chǎng)景的融合，但為了讓用戶在合適的場(chǎng)所獲取相應(yīng)的信息，即將虛擬信息與真實(shí)世界特定區(qū)域相關(guān)聯(lián)，系統(tǒng)引入地理圍欄技術(shù)。地理圍欄是基于位置服務(wù)的一種新應(yīng)用，指的是以某個(gè)位置為中心，根據(jù)一定規(guī)則在一定范圍所建立的虛擬地理邊界。當(dāng)用戶進(jìn)入、離開該區(qū)域或在區(qū)域內(nèi)活動(dòng)時(shí)，手機(jī)可以接收自動(dòng)通知和警告［19，20］。通過這種基于位置的地理信息服務(wù)，可以擴(kuò)展人與場(chǎng)所以及人與人的交流互動(dòng)，便于獲得區(qū)域內(nèi)的信息。

系統(tǒng)中的地理圍欄是以AR信息廣場(chǎng)為中心，一定半徑的區(qū)域范圍。半徑的大小視所處空曠廣場(chǎng)的大小和AR模型的尺寸而定，一般為10~20 m。具體工作流程如圖4所示，用戶登入系統(tǒng)后，系統(tǒng)通過GPS和蜂窩網(wǎng)絡(luò)定位獲取用戶位置，此時(shí)啟動(dòng)區(qū)域監(jiān)聽進(jìn)程，若用戶在地理圍欄內(nèi)，則啟動(dòng)跟蹤與注冊(cè)進(jìn)程，允許用戶瀏覽該AR信息廣場(chǎng)的AR模型并發(fā)布內(nèi)容；若用戶不在地理圍欄內(nèi)，則無法放置AR模型，但用戶可在地圖中獲取自身與AR信息廣場(chǎng)的位置信息，并根據(jù)提示前往。

圖4 系統(tǒng)地理圍欄服務(wù)Fig.4 Geo?fencing Service of the System

2.3 AR模型交互

在真實(shí)世界中，展板是指用于發(fā)布信息的板狀物質(zhì)。在系統(tǒng)中，展板指的是作為信息載體的AR模型，展板的放置要符合真實(shí)場(chǎng)景，且能夠隨場(chǎng)景的變化（設(shè)備的運(yùn)動(dòng)）而變化，以達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。

放置AR模型時(shí)利用了平面檢測(cè)功能。在追蹤和注冊(cè)的過程中，對(duì)同一平面的點(diǎn)不斷累積形成的3D點(diǎn)云進(jìn)行多平面擬合，并將其作為AR模型的放置面。

除了查看展板上的內(nèi)容外，用戶也可以通過交互，對(duì)展板的材質(zhì)、內(nèi)容進(jìn)行編輯。編輯時(shí)利用的是射線檢測(cè)技術(shù)。射線是3D世界中一個(gè)點(diǎn)向一個(gè)方向發(fā)射的一條無終點(diǎn)的線，當(dāng)發(fā)射軌跡與模型發(fā)生碰撞時(shí)，它將停止發(fā)射。用戶每次點(diǎn)擊屏幕相當(dāng)于發(fā)射一條射線，被射線穿過的展板以節(jié)點(diǎn)數(shù)組的形式返回檢測(cè)結(jié)果，對(duì)數(shù)組進(jìn)行遍歷，得到的第一個(gè)節(jié)點(diǎn)即為用戶觸碰的展板材質(zhì)。基于此，用戶可通過單點(diǎn)觸摸的方式觸發(fā)目標(biāo)展板的內(nèi)容更改操作，從而實(shí)現(xiàn)人與AR模型的交互。

3 系統(tǒng)案例實(shí)現(xiàn)

本文使用ARKit與Core Location框架在i OS平臺(tái)完成了武漢大學(xué)的增強(qiáng)現(xiàn)實(shí)社交網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)了AR技術(shù)和位置服務(wù)、社交網(wǎng)絡(luò)的結(jié)合。軟件采集了武漢大學(xué)部分廣場(chǎng)的興趣點(diǎn)（point of in?terest，POI）數(shù)據(jù)，用戶可在這些廣場(chǎng)放置、瀏覽、編輯AR展板，實(shí)現(xiàn)人與AR內(nèi)容的交互以及人與人之間的互動(dòng)。軟件的部分界面如圖5所示。

圖5 軟件部分界面展示Fig.5 Display of Part of the System Interface

圖5（a）為地理圍欄頁(yè)面，紅色邊緣包圍區(qū)域?yàn)锳R信息廣場(chǎng)，案例中系統(tǒng)地理圍欄的形狀為圓形，半徑為20 m，主要設(shè)置在武漢大學(xué)內(nèi)學(xué)生活動(dòng)廣場(chǎng)；圖5（b）為AR模型遠(yuǎn)觀圖，該AR模型由六面展板環(huán)繞而成；圖5（c）為AR模型近觀圖，用戶可瀏覽每一面AR展板的內(nèi)容；圖5（d）為用戶編輯AR展板，發(fā)布內(nèi)容的效果圖。

4 結(jié)束語(yǔ)

本文基于AR技術(shù)與地理圍欄原理，提出了一種新型社交網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)方法，并完成了案例系統(tǒng)的開發(fā)。系統(tǒng)的設(shè)計(jì)與開發(fā)構(gòu)建了同一地理區(qū)域內(nèi)的虛擬社交環(huán)境，實(shí)現(xiàn)了同一地點(diǎn)用戶間的信息共享，提升了信息獲取效率以及信息拓展性；實(shí)現(xiàn)了AR體驗(yàn)中的內(nèi)容互動(dòng)和多人互動(dòng)，讓線上社交網(wǎng)絡(luò)與真實(shí)世界的關(guān)系更緊密，實(shí)現(xiàn)移動(dòng)位置服務(wù)的三維化；基于地理區(qū)域的信息虛擬式呈現(xiàn)，也擴(kuò)充了現(xiàn)有空間信息量，帶給用戶更豐富的場(chǎng)所信息獲取體驗(yàn)。

目前，已經(jīng)開發(fā)實(shí)現(xiàn)了文中描述的基本功能，但仍需要進(jìn)一步完善，擴(kuò)展留言信息的形式，優(yōu)化系統(tǒng)數(shù)據(jù)交互流程，從而使信息與場(chǎng)景聯(lián)系更為緊密，增強(qiáng)人與場(chǎng)所交互的體驗(yàn)感。