李雙宇，吳芳華，徐道柱，楊春成，吳國佳

（1.中國地質(zhì)大學(xué)（武漢），湖北 武漢 430078；2.西安測繪研究所，陜西 西安 710000）

增強現(xiàn)實（AR）技術(shù)是一種將現(xiàn)實世界信息與虛擬世界信息無縫集成的技術(shù)，通過系統(tǒng)處理來提高使用者對現(xiàn)實世界的感知度，將計算機生成的虛擬場景或物體等元素與現(xiàn)實場景進(jìn)行疊加，以此達(dá)到增強現(xiàn)實的效果[1]。與傳統(tǒng)AR技術(shù)需要依托專業(yè)視覺設(shè)備不同，移動端AR（MAR）應(yīng)用系統(tǒng)具有開發(fā)成本低、便攜性強、集成度高、推廣普及容易等優(yōu)勢[2]。因此，在移動GIS應(yīng)用中引入AR技術(shù)，能使地理要素的識別更具直觀性[3]。

國外關(guān)于MAR系統(tǒng)的研究起步較早，1999年日本廣島城市大學(xué)和美國華盛頓大學(xué)共同研發(fā)了ARToolKit軟件開發(fā)工具包；2010年Wagner D[4]等首次在手機設(shè)備上采用了基于自然特征的跟蹤注冊方式；2012年高通公司發(fā)布了AR開發(fā)工具包Vuforia[5]，由于其具有多元化的平臺支持，很快成為國內(nèi)應(yīng)用最廣泛的AR引擎之一。國內(nèi)對于MAR系統(tǒng)的研究起步相對較晚，北京理工大學(xué)在設(shè)計三維注冊和光學(xué)透視設(shè)備[6]方面成果頗豐；上海交通大學(xué)提出了空間AR流水線概念[7]；華中科技大學(xué)提出了標(biāo)示角點與全局單應(yīng)性矩陣相結(jié)合的三維注冊手段[8]。同時，我國的一些高科技企業(yè)也對AR技術(shù)進(jìn)行了大量研究和應(yīng)用，如高德和百度均推出過車載AR導(dǎo)航相關(guān)產(chǎn)品；視辰信息科技自主研發(fā)了AR引擎Easy AR，本文采用該引擎將AR技術(shù)應(yīng)用到海洋地貌可視化中。

海洋地貌作為海洋環(huán)境的基礎(chǔ)地理信息要素，對其進(jìn)行逼真的模擬和再現(xiàn)，是人們對海底環(huán)境進(jìn)行了解的基本手段和方法[9]。將AR技術(shù)與海洋地貌可視化相結(jié)合，有助于更加準(zhǔn)確地掌握海洋地貌特征，對于開發(fā)海洋資源、實施海洋工程以及發(fā)展海洋經(jīng)濟等方面都具有很重要的應(yīng)用價值；再將二者融合到移動端，能為用戶提供更好的體驗，更加有助于大眾了解海底地形地貌、普及海洋知識。

1 海洋地貌可視化特點與AR技術(shù)流程

海洋地貌是覆蓋于海水之下地球固體表面的形態(tài)，其復(fù)雜程度并不亞于陸地地形，也存在山脈、平原、盆地等不同種類的地貌。傳統(tǒng)的二維海圖采用水深線或水深點來表達(dá)海洋地貌，往往不夠直觀，包含的信息量也較少；而三維海洋地貌可視化表達(dá)則往往脫離了海洋洋體，無法體現(xiàn)海洋環(huán)境。海洋地貌的可視化表達(dá)不僅需要考慮海洋洋體的可視化，而且需要考慮海底地貌的可視化。對于海洋洋體部分，需充分考慮海水的顏色、波長、波速、反射等基本視覺屬性；對于海底地貌部分，需充分考慮地形特征、分層設(shè)色規(guī)律、紋理設(shè)置、垂直夸張度設(shè)置等。MAR海洋地貌可視化的實現(xiàn)主要包括模型建立、AR功能實現(xiàn)和移動端交互設(shè)計3個部分。其主要技術(shù)流程如圖1所示。

圖1 技術(shù)流程圖

2 三維海底地形模型的建立

由于海底地形與陸地地形十分相似，因此海底地形三維建模方法主要借鑒陸地地形的三維建模方法。作為海洋地貌可視化系統(tǒng)的核心組成部分，三維海底地形模型的快速構(gòu)建決定了系統(tǒng)的質(zhì)量基礎(chǔ)。

2.1 數(shù)據(jù)預(yù)處理

建立真實的三維海底地形，需獲取目標(biāo)區(qū)域的高精度高程圖，本文采用World Machine提取目標(biāo)地區(qū)的高度貼圖[10]。World Machine是一款優(yōu)秀的地形編輯工具，可通過內(nèi)置的Generators（生成器）和Effects（效果器）創(chuàng)建一個精細(xì)的世界外貌，并提供廣泛的地形信息輸出格式支持。

首先，在地理空間數(shù)據(jù)云網(wǎng)站（http://www.gscloud.cn/）下載目標(biāo)區(qū)域的DEM數(shù)據(jù)，并將其轉(zhuǎn)換為HF2或其余可被World Machine識別的文件類型[11]。在World Machine中會自動打開一個Device Workview （設(shè)備工作視圖，World Machine中每個操作都被稱為一個設(shè)備），在Device Workview中輸入地形屬性后，導(dǎo)出png格式的圖片數(shù)據(jù)，如圖2所示。

圖2 World Machine導(dǎo)出的高程圖

2.2 地形模型生成

本文利用Blender軟件建立海洋地貌三維模型。Blender是一款跨平臺的三維應(yīng)用工具，與其他3D建模工具相比，其對內(nèi)存和驅(qū)動的需求更低。Blender的軟件交互界面基于OpenGL構(gòu)建，在所有支持的硬件與平臺上均能提供一致的用戶體驗。將高程灰度圖導(dǎo)入Blender中，利用平面細(xì)分工具和材質(zhì)紋理工具制作真實海底三維模型。

2.2.1 細(xì)分方式建模與調(diào)節(jié)

為了盡可能還原真實的海底地貌細(xì)節(jié)，需將海洋地貌模型表面進(jìn)行多級細(xì)分，增大表面面片數(shù)，以適應(yīng)不同地形下模型表面的細(xì)微變化。簡單來說，即假定一個單獨多邊形的一級細(xì)分為2×2個網(wǎng)格，那么在其二級細(xì)分上將為4×4個網(wǎng)格，三級細(xì)分為8×8個網(wǎng)格。

對于復(fù)雜的海底地貌模型，格網(wǎng)劃分得越細(xì)，表面呈現(xiàn)得越光滑。利用該特性可使三維模型中不同形狀間的融合過渡風(fēng)格在柔和平滑和銳利參差之間調(diào)整，只要有一個規(guī)則的拓?fù)渚W(wǎng)格，就能輕松調(diào)整形狀之間的組合及其表現(xiàn)樣式[12]。Blender內(nèi)置的細(xì)分修改器在進(jìn)行操作時沒有破壞性，任何時候都能返回并進(jìn)行修改。三維海底地形模型如圖3所示。

圖3 三維海底地形模型

2.2.2 表面色彩渲染

在計算機數(shù)字圖像處理中常用的顏色模型包括HSL模型和RGB模型[13]。HSL模型通過色相（H）、飽和度（S）和亮度（L）3個顏色通道的變化及其相互之間的疊加得到各式各樣的顏色。HSL模型中的H分量代表人眼所能感知的顏色范圍，在Blender中H的取值范圍為[0,1]；S分量代表色彩的飽和度，取值范圍為[0,1]，用于描述相同色相、亮度下色彩純度的變化，數(shù)值越大顏色越鮮艷；L分量代表色彩的亮度，取值范圍為[0,1]，用于描述色彩的明暗變化，數(shù)值越大色彩越亮越接近白色，數(shù)值越小色彩越暗越接近黑色[14]。

HSL模型的多色漸變渲染方法[15]在實際應(yīng)用中，為了使顏色更加純正，通常S取值為1.0；L取值過大顏色接近白色，取值過小又接近黑色，因此通常L取值為0.5；鑒于海底地形的色譜通常為紅、黃、綠、青、藍(lán)，H的取值范圍為[0,1]，海水越深，H值越大。當(dāng)海底最大水深為Zmax，最小水深為Zmin（若存在類似海島高于水面的情形，Z和Zmin均取水面以上高度的負(fù)值）時，H的取值范圍為[Hmin,Hmax]，則水深為Z時的H值為：

在Blender中，為了實現(xiàn)更好的人機交互，將HSL模型修改為HSV模型[16]，其中V分量代表明度，即所有光的亮度。一般而言，V值為L值的兩倍（小于等于1）。在Blender 2.80版中，提供了紋理節(jié)點編輯器對模型的材質(zhì)進(jìn)行編輯。該系統(tǒng)通過將顏色、圖案和其他紋理組合在一起來實現(xiàn)流水線式的紋理創(chuàng)建。流水線上每個節(jié)點的數(shù)據(jù)通過曲線鏈接并傳遞到下一個節(jié)點，直到最后的輸出節(jié)點。Diffuse BSDF是一個彌散型表面類型的著色器，材質(zhì)輸出欄表示最后輸出到模型上的結(jié)果，向其添加幾何節(jié)點、顏色漸變節(jié)點等，給整個模型上色。根據(jù)需要，還可在不同高度段落內(nèi)設(shè)置不同的基礎(chǔ)色相。將多個節(jié)點進(jìn)行組合后，再混合到同一輸出，得到的分層設(shè)色模型（圖4）。

圖4 分層設(shè)色模型

3 AR功能的實現(xiàn)

3.1 技術(shù)流程

目前，Unity提供的AR插件包括ARkit、ARcore、Vuforia以及EasyAR等。本文通過Unity3D+EasyAR搭建MAR海洋地貌可視化系統(tǒng)?；鹃_發(fā)環(huán)節(jié)為：

1）開發(fā)環(huán)境搭建，安裝Unity3D。在EasyAR官網(wǎng)下載EasyAR_SDK，并將其導(dǎo)入Unity3D，構(gòu)建基本開發(fā)環(huán)境。

2）在EasyAR官網(wǎng)注冊賬號，添加SDK License Key，獲取項目中EasyAR插件使用權(quán)限。

3）在Unity中利用EasyAR插件相關(guān)功能進(jìn)行AR場景的搭建，刪除主相機，添加EasyAR中自帶的AR相機。工程中通過添加ImageTarget識別圖以及圖所對應(yīng)模型進(jìn)行編輯與設(shè)計工作。

3.2 交互設(shè)計

本文設(shè)計開發(fā)的MAR海洋地貌可視化系統(tǒng)包括基礎(chǔ)功能、拓展功能和重置功能3個基本模塊，如圖5所示。

圖5 功能模塊框架圖

3.3 功能模塊與實現(xiàn)

3.3.1 功能模塊

1）基礎(chǔ)功能模塊。該模塊主要包括模型平移、旋轉(zhuǎn)和縮放功能，負(fù)責(zé)對模型空間位置和大小進(jìn)行基本控制。系統(tǒng)采用單指觸控的方式進(jìn)行模型平移與旋轉(zhuǎn)操作，為解決平移、旋轉(zhuǎn)沖突問題，添加了按鈕切換平移與旋轉(zhuǎn)模式?？s放功能通過雙指實現(xiàn)，雙指向內(nèi)時縮小，向外時放大。

2）拓展功能模塊。該模塊包括對海底地貌模型操作和水體模型操作兩部分，通過界面右下角紋理切換按鈕可實現(xiàn)海底地貌模型紋理切換，還可通過相應(yīng)的滑動條對模型垂直夸張度、水體顏色、波速、波長、反射進(jìn)行設(shè)置，以滿足同一海洋模型在不同情況、不同需求下的可視化顯示。

3）重置功能模塊。模型顯示后，由于用戶操作會出現(xiàn)位置、形狀、屬性等變化，重新識別時模型仍為改變后的狀態(tài)，只有重新打開應(yīng)用才可恢復(fù)初始狀態(tài)。為了方便用戶使用，系統(tǒng)設(shè)計了重置功能并將其細(xì)分為水體模型重置、海底地貌模型重置和水體屬性重置功能。

3.3.2 基礎(chǔ)功能的實現(xiàn)

系統(tǒng)包括平移、旋轉(zhuǎn)、縮放3種手勢操作，通過添加相應(yīng)腳本實現(xiàn)。

1）模型平移。系統(tǒng)采用單指觸摸移動模型的方式，利用Input.touchCount判斷觸摸點數(shù)量，當(dāng)數(shù)量為1時執(zhí)行平移功能。模型平移涉及模型的屏幕坐標(biāo)、世界坐標(biāo)以及移動端觸摸點的屏幕坐標(biāo)。首先將模型的世界坐標(biāo)通過矩陣轉(zhuǎn)換為自身的屏幕坐標(biāo)，并進(jìn)行存儲；再將觸摸點的屏幕坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，由于屏幕只有X、Y方向上的值，因此Z值需使用模型的屏幕坐標(biāo)。利用模型與觸摸點的世界坐標(biāo)計算模型與觸摸點在世界空間中的偏移量，再將觸摸點的屏幕坐標(biāo)實時轉(zhuǎn)化為觸摸點的世界坐標(biāo)，并加上偏移量即可得到模型的世界坐標(biāo)。由于該功能需要選取模型，因此需添加Box Colider（碰撞器），并設(shè)置碰撞范圍。

2）模型旋轉(zhuǎn)。旋轉(zhuǎn)功能采用單指觸摸的方式實現(xiàn)，為與平移相區(qū)別，利用控制按鈕切換平移與旋轉(zhuǎn)模式。通過定義一個二維向量Vector2記錄屏幕中水平和豎直方向上的偏移量，將Vector2的分向量與世界空間的三維向量Vector3在水平與豎直方向的分向量進(jìn)行運算，再通過Transform.Rotate對世界空間三維坐標(biāo)系進(jìn)行旋轉(zhuǎn)，達(dá)到模型旋轉(zhuǎn)的目的。

3）模型縮放?？s放功能采用雙指觸摸的方式實現(xiàn)，記錄兩個觸摸點新舊位置的距離差，若為正則表示放大手勢， 若為負(fù)則表示縮小手勢。根據(jù)實際情況，對距離進(jìn)行處理，轉(zhuǎn)換成縮放因子。利用模型的Transform組件，根據(jù)模型自身比例大小進(jìn)行運算，實現(xiàn)縮放功能。

3.3.3 拓展功能的實現(xiàn)

拓展功能主要包括海底地貌模型與水體模型的垂直夸張度改變功能、海底地貌模型紋理改變功能以及水體屬性改變功能（顏色、波長、波速、反射），用于根據(jù)用戶需求實現(xiàn)個性化設(shè)置。為使高度和屬性改變得更平滑，系統(tǒng)利用Unity中UI的Slider控件進(jìn)行滑動調(diào)節(jié)。

1）垂直夸張度改變功能。海底地貌模型與水體模型均采用相同原理實現(xiàn)垂直夸張度改變，將Slider控件的值實時賦予模型Transform組件中垂直方向上的比例值，以此實現(xiàn)對垂直夸張度的改變。此外，需將水體模型設(shè)置為海底地貌模型的子對象，以避免海底地貌模型垂直夸張度改變時水體模型垂直夸張度上限過高或過低。

2）海底地貌模型紋理改變功能。模型的材質(zhì)球中的Albedo選項用于放置紋理圖片，更換不同圖片將改變紋理效果。新建Resources文件夾，將要替換的紋理文件存入該文件夾，替換Albedo中的紋理圖片，并利用Button控件切換紋理圖片。

3）水體屬性改變功能。系統(tǒng)中的動態(tài)水體模型是基于Unity3D中的Mobile Ocean & Water插件構(gòu)建而成的。水體模型的屬性可通過代碼直接訪問修改。該功能與UI控件Slider相結(jié)合，將Slider的值賦予著色器屬性，以達(dá)到改變屬性的目的，且Slider控件自帶上下限，有效避免了超限問題。

3.3.4 重置功能的實現(xiàn)

1）模型重置功能。水體模型重置與海底地貌模型重置采用相同的方法，在模型加載期間分別記錄水體與海底地貌模型在Transform組件中的位置、旋轉(zhuǎn)、縮放參數(shù)。當(dāng)需要重置時，通過點擊重置按鈕，將記錄的相關(guān)參數(shù)重新賦予模型，實現(xiàn)重置效果。

2）水體屬性重置功能。水體屬性重置除了相關(guān)顏色、波長、波速、反射的參數(shù)重置外，還要重置與之關(guān)聯(lián)的Slider控件。因此，該功能代碼需要同時將值賦予著色器屬性與對應(yīng)的Slider控件。

3.4 關(guān)鍵技術(shù)

3.4.1 目標(biāo)識別技術(shù)

在AR的識別技術(shù)中，圖像指紋和漢明距離是兩個關(guān)鍵要素[17]。圖像指紋可通過“感知哈希算法”得到，通過將識別圖與相機實時圖像進(jìn)行對比得到漢明距離，即可實現(xiàn)目標(biāo)識別。

“感知哈希算法”首先將圖像縮小為8×8個像素，去除圖像細(xì)節(jié)，同時將灰度值也分為64級灰度，計算灰度值的平均值；再將所有像素的灰度值與平均值進(jìn)行比較，當(dāng)像素灰度值大于或等于平均值時記為1，小于平均值時記為0；最后將所有比較結(jié)果組合在一起，組合產(chǎn)生的64位整數(shù)即為該圖像的“指紋”。

漢明距離是對長度相同的字符串進(jìn)行對比，字符串中對應(yīng)位字符不同的數(shù)量就是漢明距離。將識別圖與相機實時圖像的圖像指紋進(jìn)行對比，根據(jù)漢明距離識別圖像，當(dāng)漢明距離小于5時，說明圖像很相似；當(dāng)漢明距離大于10時，說明是不同的圖像。本文采用“感知哈希算法”通過漢明距離進(jìn)行目標(biāo)識別。

3.4.2 跟蹤注冊技術(shù)

跟蹤注冊技術(shù)是AR的核心技術(shù)，可實時高效地將真實世界與虛擬世界精準(zhǔn)對齊，將真實世界坐標(biāo)系與虛擬世界坐標(biāo)系統(tǒng)一起來，統(tǒng)一的過程即為注冊。由于AR在使用過程中，用戶會不斷移動，導(dǎo)致自身與目標(biāo)坐標(biāo)系以及相對位置均在實時改變。為了實現(xiàn)AR，需實時注冊，不斷修改相關(guān)參數(shù)，該過程稱為跟蹤。目前的跟蹤注冊主要分為3種：基于傳感器、基于機器視覺和基于混合的跟蹤注冊[18]。

基于傳感器的跟蹤注冊技術(shù)利用移動設(shè)備自帶的傳感器（如方向傳感器、GPS傳感器等）獲取當(dāng)前位置和方向信息，并通過攝像頭實現(xiàn)虛擬信息與真實世界的疊加，完成跟蹤注冊。由于傳感器為移動設(shè)備內(nèi)置設(shè)備，因此易受外界因素影響，傳感器的抖動將影響跟蹤注冊，使虛擬信息跟隨抖動疊加。基于機器視覺的跟蹤注冊技術(shù)是通過攝像頭對視頻圖像進(jìn)行處理，得到跟蹤信息，再根據(jù)這些信息得到真實世界中虛擬信息的位置信息[19]?；诨旌系母欁约夹g(shù)是結(jié)合上述兩種方法，先利用傳感器粗略確定用戶位置姿態(tài)，再利用機器視覺跟蹤注冊技術(shù)進(jìn)行精確處理。本文采用基于混合的跟蹤注冊技術(shù)，在提高注冊速度的同時，增加了注冊穩(wěn)定性，提高了用戶體驗。

3.4.3 屏幕坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換

屏幕坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換是實現(xiàn)AR模型識別和基于移動端屏幕操作的關(guān)鍵技術(shù)。AR實現(xiàn)過程中涉及屏幕坐標(biāo)系、攝像機坐標(biāo)系、世界坐標(biāo)系3個坐標(biāo)系。世界坐標(biāo)系下的點與理想屏幕中投影點的像素坐標(biāo)關(guān)系為：

式中，(X,Y,Z)為某點在世界坐標(biāo)系中的坐標(biāo)；(x,y)為屏幕中投影點的位置；f1、f2、p、q和m為攝像機內(nèi)參，可由攝像機標(biāo)定求解；R、T為攝像機外參，即攝像機在世界坐標(biāo)系中的位置和姿態(tài)。

在Unity中，屏幕坐標(biāo)系是指電腦或手機等設(shè)備屏幕的坐標(biāo)系，屏幕坐標(biāo)系通過像素進(jìn)行定義，屏幕左下角為坐標(biāo)原點(0,0)，右上角為(width,height)，對應(yīng)于屏幕的寬與高。攝像機坐標(biāo)系與屏幕坐標(biāo)系相似，區(qū)別在于攝像機坐標(biāo)系位于三維空間，而屏幕坐標(biāo)系位于二維平面。攝像機位于攝像機坐標(biāo)系原點，X軸向右，Y軸位于攝像機正上方，Z軸方向為攝像機朝向。

Unity提供了一系列封裝好的方法，通過這些方法可快速實現(xiàn)不同坐標(biāo)系的轉(zhuǎn)換。

1）Camera.WorldToScreenPoint方法可將世界坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)，其中Camera為場景中的Camera對象。

2）Camera.ScreenToWorldPoint方法可將屏幕坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)。

3.5 實驗效果

在安卓手機上運行MAR海洋地貌可視化App，系統(tǒng)自動識別筆記本電腦上展示的目標(biāo)區(qū)域，顯示海洋洋體模型和海洋地貌模型，移動模型、修改水體模型顏色、旋轉(zhuǎn)模型、改變模型垂直夸張度、改變模型紋理和改變模型波長與反射屬性等功能效果如圖6所示。

圖6 MAR海洋地貌可視化系統(tǒng)實現(xiàn)效果

4 結(jié) 語

本文在移動端將AR技術(shù)應(yīng)用于海洋地貌可視化與多層次展示中，取得了較好的表達(dá)效果。本文中海洋被假定為靜態(tài)水體，但真實的海洋洋體是一個復(fù)雜的動態(tài)系統(tǒng)，在將來的實驗中還有待進(jìn)一步完善。