石路云

【摘 要】隨著現(xiàn)代旅游的發(fā)展，以增強現(xiàn)實為基礎(chǔ)的虛擬旅游得到了廣泛應(yīng)用，促使文化旅游產(chǎn)品得到推廣和應(yīng)用。針對增強現(xiàn)實技術(shù)在文化旅游資源方面的應(yīng)用，沉浸式數(shù)字旅游系統(tǒng)以旅游特色明信片為基礎(chǔ)，結(jié)合基于SIFT自然特征的增強現(xiàn)實技術(shù)，在真實的明信片上疊加虛擬場景以達到虛實融合的效果。同時，利用Unity3D處理在移動設(shè)備上的觸控操作，實現(xiàn)單指旋轉(zhuǎn)、雙指縮放等交互操作，最后達到能夠在真實場景中對數(shù)字文化內(nèi)容進行智能交互的效果。

【關(guān)鍵詞】增強現(xiàn)實；尺度不變特征變換；數(shù)字旅游

中圖分類號： TP391.41 文獻標(biāo)識碼： A 文章編號： 2095-2457（2018）11-0011-004

DOI：10.19694/j.cnki.issn2095-2457.2018.11.004

【Abstract】With the development of modern tourism，virtual tourism based on augmented reality has been widely applied，which has promoted the promotion and application of cultural tourism products.In view of the application of augmented reality technology in cultural tourism resources， immersive digital tourism system is based on the postcard with the characteristic of tourism，combined with augmented reality technology based on SIFT natural features，adding virtual scenes to real postcards，to achieve integration of virtual and real.At the same time，using Unity3D to handle the touch operation on the mobile device，realize the interactive operation of single finger rotation and double finger zoom， and finally achieve the effect of intelligent interaction of digital culture content in real scene.

【Key words】Augmented reality；Scale invariant feature transform （SIFT）；Digital tourism

0 引言

增強現(xiàn)實（Augmented Reality，簡稱AR）是一種基于虛擬現(xiàn)實發(fā)展的新技術(shù)，是透過攝影機影像的位置及角度精算并加上圖像分析技術(shù)，在屏幕上把虛擬世界套在現(xiàn)實世界中的技術(shù)，這種虛實結(jié)合的技術(shù)可以支持對各種信息的可視化解釋和表現(xiàn)，并能實現(xiàn)用戶與其之間的交互。增強現(xiàn)實技術(shù)因為其虛擬和真實相結(jié)合的特點，具有廣闊的應(yīng)用前景，并在工業(yè)設(shè)計、醫(yī)療技術(shù)、軍事訓(xùn)練等領(lǐng)域得到了廣泛的應(yīng)用[1]。

隨著現(xiàn)代旅游業(yè)的發(fā)展，以增強現(xiàn)實為基礎(chǔ)的虛擬旅游得到了廣泛應(yīng)用。在國內(nèi)，主要有利用增強現(xiàn)實技術(shù)重建圓明園景觀，基于增強現(xiàn)實技術(shù)的虛擬雕塑實景顯示，非物質(zhì)文化遺產(chǎn)內(nèi)容的博物館數(shù)字化展示等方面的應(yīng)用；在國外，有德國Metaio機構(gòu)開發(fā)的基于文化旅游資源的AR互動雜志，日本公司結(jié)合增強現(xiàn)實技術(shù)開發(fā)的旅游景點紀(jì)念讀本，東京大學(xué)的“虛擬飛鳥京”等等應(yīng)用[2]。旅游文化是現(xiàn)代旅游不可或缺的組成部分，同時也是旅游發(fā)展趨勢的主導(dǎo)，因此基于增強現(xiàn)實技術(shù)的文化旅游資源開發(fā)，能夠促使文化旅游產(chǎn)品得到推廣和應(yīng)用[3]，具有非常廣闊的發(fā)展前景。

使用增強現(xiàn)實技術(shù)將虛擬場景實時疊加在相關(guān)的文化旅游商品、手工藝品和其他現(xiàn)實環(huán)境中是一種新的開發(fā)思路和技術(shù)應(yīng)用方法。AR文化旅游商品能夠?qū)⒕皡^(qū)的特色文化以可交互模型、視頻等形式傳遞給用戶，使得用戶能夠直接參與互動，更直觀地感受景區(qū)文化內(nèi)涵。因此本文運用增強現(xiàn)實技術(shù)設(shè)計介紹旅游景點、歷史文化的旅游特色明信片，以移動智能終端為載體，游客們通過下載APP，再通過APP掃描明信片便能在智能終端上再現(xiàn)旅游景點的3D模型[3]，并能在智能終端上展示其歷史文化的宣傳片，同時游客們也能與3D模型進行交互，達到了能夠在真實場景中對數(shù)字文化內(nèi)容進行智能交互的效果。

1 基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)設(shè)計

系統(tǒng)是在明信片的基礎(chǔ)上，以綿陽本地特色景區(qū)越王樓為例，將明信片作為目標(biāo)圖像，結(jié)合增強現(xiàn)實技術(shù)與Unity3D平臺開發(fā)，將虛擬的越王樓主樓模型及宣傳視頻疊加到真實的明信片上，實現(xiàn)對現(xiàn)實的增強。

該系統(tǒng)以移動智能終端為載體，用戶進入系統(tǒng)后，系統(tǒng)會自動打開攝像頭，當(dāng)識別到目標(biāo)圖像（即具越王樓特色的明信片）后，系統(tǒng)會在目標(biāo)圖像中心渲染出一個越王樓主樓的模型，同時在目標(biāo)圖像下方會渲染出一個播放視頻的按鈕，表明系統(tǒng)已經(jīng)識別到目標(biāo)圖像。在交互方面，用戶用手指觸摸屏幕，手指向左右移動，越王樓主樓模型也會對應(yīng)向左右旋轉(zhuǎn)；用戶用兩根手指觸摸屏幕，聚攏兩根手指則是縮小模型，散開兩根手指則是放大模型；另外，點擊目標(biāo)圖像下方的視頻播放按鈕則會播放越王樓宣傳視頻。

該系統(tǒng)首先對越王樓景區(qū)進行實地考察，利用3D Studio Max建立越王樓主樓模型，然后以Unity3D作為開發(fā)平臺，結(jié)合增強現(xiàn)實開發(fā)技術(shù)，將虛擬的越王樓模型疊加到真實的明信片上，最后利用Unity單指與雙指Touch事件捕獲實現(xiàn)與模型的交互。系統(tǒng)整體框架如圖1。

2 增強現(xiàn)實技術(shù)基本架構(gòu)

該數(shù)字旅游系統(tǒng)是基于視覺跟蹤，在增強現(xiàn)實識別與展示方面必須保證高準(zhǔn)確率、高效率以及高穩(wěn)定性，以保證系統(tǒng)的可靠性。

增強現(xiàn)實，簡單地來說，就是在真實的場景的基礎(chǔ)上覆蓋虛擬的影像。本文研究的增強現(xiàn)實系統(tǒng)是基于視覺的跟蹤注冊技術(shù)，通過普通的攝像頭就能夠?qū)崿F(xiàn)對真實場景中關(guān)鍵幀的跟蹤和定位[4]。系統(tǒng)主要通過SIFT算子進行特征提取與匹配，主要由以下環(huán)節(jié)組成[5]：（1）獲得真實場景圖像；（2）特征提取與描述；（3）特征匹配；（4）計算變換矩陣；（5）虛實場景融合。

系統(tǒng)首先對目標(biāo)圖像進行SIFT關(guān)鍵點檢測，并生成特征描述向量，再通過攝像頭獲取真實的場景圖像進行特征點提取并描述，然后和目標(biāo)圖像的關(guān)鍵特征向量進行匹配，估計目標(biāo)圖像和真實的場景圖像之間的單應(yīng)性變換[5]，計算變換矩陣，從而更新真實場景的位置和姿態(tài)估計。最后，在此基礎(chǔ)上將虛擬場景疊加到真實場景上，實現(xiàn)虛實融合，達到對現(xiàn)實增強的效果。所以在實現(xiàn)增強現(xiàn)實的整個流程中，最關(guān)鍵的技術(shù)在于目標(biāo)的識別與跟蹤，即SIFT目標(biāo)檢測和跟蹤算法，其實現(xiàn)過程可用圖2表示。

SIFT（Scale-invariant feature transform）算法是由David G.Lowe提出的一種從圖像中提取獨特不變特征的方法[6]。該算法提取的特征對于圖像尺度和旋轉(zhuǎn)具有不變性，并在光照變化和三維相機視點變化的情況下具有部分的不變性。主要分為以下步驟：

2.1 特征提取

SIFT算法是通過在圖像的多尺度空間查找其特征關(guān)鍵點，首先需要建立高斯尺度空間，由于LOG算子（Laplacian of Gaussian，高斯拉普拉斯函數(shù)）具有真正的尺度不變性，同時DOG（Difference of Gaussian，高斯差分函數(shù)）與LOG近似，所以可以利用DOG算子來構(gòu)建圖像的尺度空間，也能達到降低計算量的效果。尺度空間是利用尺度可變的高斯函數(shù)與輸入圖像卷積得到：

不同尺度空間相減即可得到DOG尺度空間，達到了降低計算量的效果。在構(gòu)建DOG尺度空間之后，利用DOG尺度空間計算極值點，同時通過對DOG尺度空間函數(shù)進行曲線擬合以精確關(guān)鍵點的尺度和位置，進而提高匹配的穩(wěn)定性。然后基于圖像局部的梯度方向，分配給每個關(guān)鍵點位置一個或多個方向，最后就確定了每個關(guān)鍵點的位置、尺度和方向。后面對圖像的操作會相對于關(guān)鍵點的位置、尺度和方向進行變換（平移、縮放和旋轉(zhuǎn)），因此確定了每個關(guān)鍵點的位置、尺度和方向就為這些變換提供了不變性。

2.2 生成特征描述子

在通過特征提取尋找好特征關(guān)鍵點后，需要利用特征關(guān)鍵點處鄰域內(nèi)的像素信息來對特征關(guān)鍵點進行描述，即生成特征向量，以提高匹配的高效性和穩(wěn)定性。首先需要確定特征點主方向，采用梯度直方圖統(tǒng)計法對特征關(guān)鍵點處鄰域采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向，由梯度直方圖峰值表示的方向就是特征處鄰域梯度的主方向，即特征點主方向。之后，為了確保特征向量具有旋轉(zhuǎn)不變性，需要將坐標(biāo)移至特征點主方向，并且計算特征點鄰域內(nèi)（以特征點為中心取16×16像素點的鄰域作為采樣窗口）各個像素點的梯度大小和方向。

完成以上步驟后，接下來就是生成特征描述子?？捎脠D3表示生成特征描述子的過程，圖左部分的中央的圓點為當(dāng)前特征點位置，每個小格代表特征點處鄰域內(nèi)的一個像素點，箭頭長度用于表示像素點梯度大小，箭頭方向用于表示像素點梯度方向，再進行高斯加權(quán)。然后計算每個4×4的像素小塊上8個方向的梯度方向直方圖，計算每個梯度方向的值的總和，即形成一個種子點，每個種子點都有8個方向的向量，一共16個種子點，如圖右部分，即特征描述子采用4×4×8=128維向量表示[7]。最后，將128維向量規(guī)范化，SIFT特征向量生成。

2.3 特征匹配

目標(biāo)圖像和通過攝像頭獲取的關(guān)鍵幀圖像的SIFT特征向量集合生成后，則需要完成兩者之間的特征匹配。此處利用特征點的特征向量的歐式距離來度量目標(biāo)圖像和關(guān)鍵幀圖像中特征點的相似性。最后，利用基于特征點最近鄰和次近鄰距離比的BBF搜索算法搜索SIFT特征點的最近鄰點[8]。

3 模型交互方案

為了使用戶能夠與虛擬景象進行交互，本文中利用Unity3D處理在移動設(shè)備上的觸控操作?；趇OS和Android設(shè)備能夠支持多點觸控，在Unity3D中可以通過Input類中的touch實現(xiàn)與模型的交互，即通過對單指和雙指touch事件的捕獲來對模型做出相應(yīng)的角度或者大小的調(diào)整。

移動智能設(shè)備可以追蹤許多與觸摸屏上的觸摸有關(guān)的不同數(shù)據(jù)，包括觸摸所處的階段（例如，觸摸開始、觸摸中或者是觸摸結(jié)束）、觸摸的位置以及觸摸是單點觸摸或者是多點觸摸。相應(yīng)地，在Unity3D中，可以通過Input.touches屬性集合訪問在最近一幀中在屏幕上觸摸的每一根手指的狀態(tài)數(shù)據(jù)。表1中列出了該系統(tǒng)中用到的與觸摸相關(guān)的API（Application Programming Interface，應(yīng)用程序編程接口）。

表1 與觸摸相關(guān)的API

在本文中，主要定義了兩種交互操作。一種是單指滑動模型的操作，另一種是雙指觸控縮放模型的操作。具體邏輯如下流程圖。

4 系統(tǒng)結(jié)果與分析

根據(jù)本文的思路，以Unity3D作為開發(fā)平臺，結(jié)合增強現(xiàn)實開發(fā)技術(shù)，完成了基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)。該系統(tǒng)以APP的形式搭載在智能移動設(shè)備上，如圖5，將該系統(tǒng)搭載在手機上的運行結(jié)果。

該系統(tǒng)能夠以增強現(xiàn)實技術(shù)展現(xiàn)較為真實的越王樓主樓，并支持觸摸點擊、單指旋轉(zhuǎn)、雙指縮放等交互。系統(tǒng)適用于安裝有Android 4.0以上或iOS 8.0以上系統(tǒng)的智能移動設(shè)備，系統(tǒng)的識別距離、識別速度以及識別的穩(wěn)定性都能夠滿足需求，同時也支持對目標(biāo)圖像的局部識別。除此之外，該系統(tǒng)在測試設(shè)備上的運行平均幀率大于60 FPS，滿足手機應(yīng)用流暢性標(biāo)準(zhǔn)。

5 結(jié)束語

針對增強現(xiàn)實技術(shù)在文化旅游資源方面的應(yīng)用，本文以明信片為基礎(chǔ)，結(jié)合增強現(xiàn)實技術(shù)與Unity3D平臺構(gòu)建基于視覺跟蹤的沉浸式數(shù)字旅游系統(tǒng)，將虛擬場景疊加到真實的明信片上，將本地文化特色以數(shù)字化的形式傳遞給受眾，實現(xiàn)了增強現(xiàn)實與文化旅游的良好結(jié)合；此外，友好的交互設(shè)計也使得用戶能夠參與互動，直觀地感受景區(qū)文化內(nèi)涵，讓用戶感受到一種在文化消費過程中的快樂。隨著增強現(xiàn)實技術(shù)的加入，結(jié)合明信片，通過動畫、視頻等數(shù)字化的形式增加了用戶的交互式體驗，帶給消費者嶄新的視覺體驗，同時也呈現(xiàn)出了更多的創(chuàng)新。

【參考文獻】

[1]王涌天，鄭偉，劉越，等.基于增強現(xiàn)實技術(shù)的圓明園現(xiàn)場數(shù)字重建[J].科技導(dǎo)報，2006，24（3）：36-40.

[2]余日季，唐存琛，胡書山.基于AR技術(shù)的文化旅游商品創(chuàng)新設(shè)計與開發(fā)研究[J].藝術(shù)百家，2013（4）：181-185.

[3]魏三強，王兵.AR技術(shù)在非物質(zhì)文化遺產(chǎn)及文化旅游業(yè)中的應(yīng)用[J].江漢大學(xué)學(xué)報：社會科學(xué)版，2016，44（4）：364-368.

[4]肖慧，陸奎.基于SIFT自然特征的AR系統(tǒng)研究和實現(xiàn)[J].計算機應(yīng)用與軟件，2014（5）：244-246.

[5]邵文堅.面向增強現(xiàn)實的目標(biāo)檢測和跟蹤算法研究[D]. 西安電子科技大學(xué)，2014.

[6]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]松子茶.尺度不變特征變換（SIFT）特征提取分析[EB/OL].https：//blog.csdn.net/songzitea/article/details/13627823， 2013-11-25.

[8]Friedman J H，Bentley J L，F(xiàn)inkel R A.An Algorithm for Finding Best Matches in Logarithmic Time[J].Acm Transactions on Mathematical Software，1977，3（3）：209-226.