蒲泓亦，李 鋒，徐 錚，范愛民

1. 信息工程大學(xué)，河南 鄭州 450001；

2. 66444部隊，北京 100042

0 引 言

虛擬地理環(huán)境（virtual geographic environment，VGE）是真實地理環(huán)境在計算機中的逼真模擬和數(shù)字化表達[1]，廣泛應(yīng)用于軍事、教育、娛樂等領(lǐng)域。VGE構(gòu)建主要以測繪數(shù)據(jù)為基礎(chǔ)，利用計算機圖形技術(shù)生成與現(xiàn)實世界在幾何模型和視覺效果上高度相似的虛擬視景[2]。但受當(dāng)前圖像生成技術(shù)影響，難以在計算機中生成與現(xiàn)實世界完全一致的虛擬視景。

全景圖像記錄現(xiàn)實世界全方向的實景信息，廣泛應(yīng)用于旅游、會展等多個行業(yè)。按照獲取位置不同，可分為地面全景和空中全景。空中全景可將觀察視角從地面轉(zhuǎn)移到空中，實現(xiàn)從地平線到地平線的全景觀察，獲得空中俯視、遨游天空的體驗感。將全景圖像與虛擬地球融合建模，可構(gòu)建幾何精度高、視覺效果逼真、空地一體的虛擬地理環(huán)境。

國內(nèi)外研究人員對虛擬地理環(huán)境構(gòu)建和全景圖像獲取與建模技術(shù)進行了大量研究。林琿等對虛擬地理環(huán)境的概念及基本特征進行研究[1]；龔建華、周潔萍等從數(shù)據(jù)、模型、表現(xiàn)、協(xié)同等方面研究了構(gòu)建虛擬地理環(huán)境的關(guān)鍵技術(shù)[3]；楊占龍討論了全景圖像的理論基礎(chǔ)并完成圖像建模[4]；ZHANG Yi、HUANG Fei研究了基于全景圖像的SLAM技術(shù)，證明全景視角可以提高SLAM系統(tǒng)的魯棒性[5]；何鼎乾對全景圖獲取與顯示的關(guān)鍵技術(shù)進行了深入研究[6]。當(dāng)前，應(yīng)用全景圖構(gòu)建虛擬場景的模式可分為3類，一是與二維矢量數(shù)據(jù)結(jié)合，提供街景服務(wù)，如百度街景等，但場景越大，數(shù)據(jù)采集量呈指數(shù)上升；二是基于圖像建模和繪制技術(shù)的?—θ圖[7]，缺點是用戶沉浸感弱，圖像有一定變形；三是與遙感圖像結(jié)合構(gòu)建虛擬場景，但僅使用地面全景圖，環(huán)境認知受限。空中全景圖也多限于航拍應(yīng)用，類似720云(https://720yun.com/)等網(wǎng)站的Web瀏覽器顯示，沒有用于構(gòu)建虛擬地理環(huán)境。

本文在測繪空間數(shù)據(jù)生成的虛擬實景基礎(chǔ)上融合地面、空中全景圖像，設(shè)計空地一體的虛擬地理環(huán)境構(gòu)建方案，研究全景圖像后端處理技術(shù)，解決全景圖像球面建模、多分辨率輸出、圖像編輯以及多尺度顯示等關(guān)鍵問題，實現(xiàn)空中、地面全景圖像在虛擬地理環(huán)境中一體化融合顯示。

1 基于全景圖像的空地一體虛擬地理環(huán)境構(gòu)建方案

針對空地一體的設(shè)計理念，本文提出了基于全景圖像的空地一體虛擬地理環(huán)境構(gòu)建方案（圖1）。采用無人機搭載普通相機和地面全景相機分別獲取空中全景圖像、地面全景圖像，室內(nèi)處理采集數(shù)據(jù)完成球面建模、信息節(jié)點編輯和多分辨率輸出，最終實現(xiàn)與虛擬地理環(huán)境相融合。

圖1 空地一體虛擬地理環(huán)境構(gòu)建方案Fig.1 Air-ground integrated VGE construction scheme

空中全景圖像是用戶在空中利用光學(xué)傳感器拍攝得到的全景圖像。相較于地面全景圖像，空中全景圖像有以下優(yōu)點，能夠獲取大場景中的實景信息，記錄環(huán)境信息更加豐富，拍攝條件受樹木房屋等地物遮擋影響小，能夠記錄場景內(nèi)地物的頂部信息。

采用空中全景圖和地面全景圖相結(jié)合的方式，能夠滿足兼顧全局與局部空間環(huán)境認知要求，拓展場景空間尺度，有機結(jié)合多視角空間信息，實現(xiàn)由城市到街區(qū)、從街區(qū)到目標(biāo)房屋的空間漫游和空間認知。

空中全景采集主要利用多旋翼無人機搭載普通相機拍攝全方向圖像，可分為以垂直方向和以水平方向為主要方向兩種方法[8]。本文采用后者，具體步驟包括：

1）通過無人機自身定位定姿功能獲取飛行POS數(shù)據(jù)。

2）鏡頭沿水平方向轉(zhuǎn)動，間隔一定角度拍攝完一組圖像，相鄰圖片重疊比例不低于30%。

3）鏡頭沿垂直方向轉(zhuǎn)動一定角度后，按照步驟2）采集第二組數(shù)據(jù)，同時保證兩組圖像中相同水平方位角拍攝的圖像間重疊比例不低于30%。

4）重復(fù)以上步驟，直至鏡頭豎直向下，完成一個點位的采集工作[7]。

5）室內(nèi)使用PTGUI軟件拼接序列圖像，并處理成長寬比為2∶1的全景圖像。

此外，由于無人機機身的遮擋或者云臺可旋轉(zhuǎn)角度范圍限制，無法采集到垂直向上的天空圖像，可選擇另獲取天空圖像或利用圖像軟件補全天空。

地面全景獲取是采用消費級全景相機拍攝全景圖像結(jié)合GPS定位設(shè)備，固定相機位置拍攝全景照片。相機拍攝圖像，自動拼接成8192×4096分辨率的全景圖，定位定向設(shè)備獲取坐標(biāo)信息。設(shè)備采用小紅屋全景相機和途強GT320 GPS定位設(shè)備。

2 全景圖像建模與編輯

2.1 球面全景圖像建模

在虛擬場景中繪制全景圖像本質(zhì)是確定全景圖平面坐標(biāo)與球面坐標(biāo)的對應(yīng)關(guān)系。全景圖像建模通常有球面、柱面和立方體3種建模方法，其中球面全景圖像建模能提供視點處的全方位實景，產(chǎn)生的沉浸感最強。

球面全景圖是將全景圖像投影到以相機為球心的虛擬球面上，原理如圖2所示[6]。

圖2 全景圖球面建模原理Fig.2 Illustration of spherical panorama modeling

XYZ為球面坐標(biāo)系，xyz為相機坐標(biāo)系。照相機的拍攝方向為(α,β)，相機的焦距為f。平面圖像上某像素點P(x,y) 在球面上的對應(yīng)點為P′(x′,y′)。點P在xyz中的坐標(biāo)為(x1,y1,-f)，其中x1=x-l/2，y1=y–h/2，l、h分別為全景圖像的長和寬。P點在XYZ坐標(biāo)系下的坐標(biāo)為 (xp′,yp′,zp′)，則有：

同時滿足直線參數(shù)方程和球面方程，最終得到方便存儲的二維坐標(biāo)：

設(shè) Δ=y1sinαcosβ-x1sinβ-fcosαcosβ。Δ ≥ 0時，k=0，n=2；Δ＜0時，k=1，n=1。

2.2 全景圖像多分辨率輸出

獲取全景圖像要求分辨高、數(shù)據(jù)量大，直接加載到三維場景將導(dǎo)致系統(tǒng)卡頓，需構(gòu)建全景圖數(shù)據(jù)的圖像金字塔模型，根據(jù)顯示范圍動態(tài)調(diào)度圖像數(shù)據(jù)。

圖像金字塔是依據(jù)LOD技術(shù)建立的多分辨率層級模型，即對圖像進行分層分塊[9]。以8192×4096的高分辨率全景圖像作為模型底層原始數(shù)據(jù)，向上建立層級模型時對原始數(shù)據(jù)進行重采樣，分辨率逐層降低，最頂層數(shù)據(jù)分辨率最低[9-10]?？紤]到采集的全景圖長寬比為2∶1，適合使用四叉樹分塊法進行數(shù)據(jù)分塊。數(shù)據(jù)塊大小設(shè)置為256×256，對8192×4096分辨率的全景圖像采用四叉樹方法遞歸剖分得到圖像數(shù)據(jù)塊，圖像分辨率見表1。

表1 圖像金字塔層級與分辨率關(guān)系Tab.1 Relationship between image pyramid and resolution

原始圖像剖分為5層分辨率圖像，圖像分辨率由低到高將每層命名為LODi（i=0，1，2，3，4）。數(shù)據(jù)編碼在四叉樹方法基礎(chǔ)上，采用行列編碼（圖3），設(shè)置左下角的數(shù)據(jù)塊為起始數(shù)據(jù)塊，圖像數(shù)據(jù)塊的編碼記作z-x-y，其中水平方向序列號為x，垂直方向序列號為y，所處層級記為z。

圖3 全景圖數(shù)據(jù)塊編碼Fig.3 Panorama data block encoding

2.3 全景圖像信息編輯

盡管建立三維空間的球面全景圖像，但能夠從圖像上得到的信息依然淺顯，只能解決目標(biāo)是什么，周圍有什么的問題。針對深化和拓展地理環(huán)境信息，解決有什么特征，滿足什么任務(wù)要求的問題，除了自身記錄的影像信息外，一張完整的全景圖像還應(yīng)包括圖像的幾何信息以及圖像上目標(biāo)的多媒體信息。這些信息往往是用戶所關(guān)心的，為全景圖像擴充地理空間語義信息。

為建立全景圖像與虛擬場景的關(guān)聯(lián)關(guān)系，需要編輯全景圖像的地理坐標(biāo)、方位角、觀察視角等信息。同時為完成空中、地面全景圖像之間跳轉(zhuǎn)，查看熱點信息，還需要編輯全景圖節(jié)點鏈接和目標(biāo)熱點鏈接。本文設(shè)計并實現(xiàn)了全景圖像信息編輯處理工具，支持交互式編輯全景圖節(jié)點鏈接和目標(biāo)熱點信息，操作界面如圖4所示。

圖4 全景圖編輯工具界面Fig.4 Panorama editing tool

全景圖像信息處理包括，添加鏈接，編輯鏈接項目名稱、節(jié)點鏈接圖標(biāo)在圖像上的方位（前方、左前方、右前方）、節(jié)點位置圖像經(jīng)緯度，編輯信息名稱、圖標(biāo)方位、節(jié)點位置圖像經(jīng)緯度、文件名稱及類型。

文件采用XML存儲數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)良好，且查詢簡單。如圖5所示，文檔以全景圖為根元素，記錄全景圖的名稱、大地坐標(biāo)、北偏角等屬性。子元素則是編輯的鏈接節(jié)點和鏈接信息。其中，鏈接節(jié)點子元素記錄節(jié)點數(shù)目，每個鏈接節(jié)點的大地坐標(biāo)、鏈接方向；鏈接信息子元素記錄鏈接信息數(shù)目、鏈接信息名稱、文件類型、文件名。

圖5 全景圖配置文件信息結(jié)構(gòu)Fig.5 Panorama profile information structure

3 全景圖像與全球虛擬地理環(huán)境融合

3.1 全景圖像多尺度融合顯示模型

當(dāng)前，虛擬地球技術(shù)已經(jīng)成熟，平臺多樣，例如GeoGloble[11]、Lumion 3D、OpenSceneGraph等。本文選用OpenSceneGraph平臺，使用LOD技術(shù)，利用全國DEM數(shù)據(jù)和遙感影像數(shù)據(jù)，構(gòu)建了統(tǒng)一時空框架下的虛擬地球。利用處理完成的全景圖像包含的三維空間坐標(biāo)，將全景圖像融合到虛擬地球內(nèi)。

為提高全景圖和全球虛擬場景融合的視覺體驗，依據(jù)全球虛擬地理環(huán)境中相機的高度，設(shè)計了全景圖像的多尺度顯示融合模型。由高到低，將全景圖顯示模型分為區(qū)域、地點、場景3個尺度，每個尺度采用不同的顯示策略（圖6）。

圖6 全景圖像多尺度融合顯示模型Fig.6 Multi-scale fusion display model for panoramic images

1）區(qū)域尺度。相機在全球虛擬地理環(huán)境內(nèi)高度較大，觀察范圍一般為縣級以上區(qū)域，此時不顯示全景圖像標(biāo)簽，僅顯示虛擬地理環(huán)境地表；

2）地點尺度。相機高度降低，觀察范圍為鄉(xiāng)鎮(zhèn)一級尺度，此時使用標(biāo)簽代替全景圖像。標(biāo)簽位置與全景圖像地理位置相同，可點擊進入球面全景圖像；

3）場景尺度。視點進入到全景圖像內(nèi)部，可交互瀏覽多分辨率全景圖像、熱點信息，通過節(jié)點鏈接實現(xiàn)全景圖像之間跳轉(zhuǎn)。

3.2 虛擬地理環(huán)境中全景漫游與交互

全景圖像多尺度融合顯示模型保證用戶在不同尺度上的漫游體驗感。在區(qū)域尺度和地點尺度上，用戶體會遨游世界，自由飛行的視覺感受。在場景尺度中，視點被固定在球心處，通過改變視場大小和視線方向，改變觀察全景虛擬場景，主要包括全景圖縮放、視場平移、全景圖跳轉(zhuǎn)。觀察方向和視野范圍確定球面上視野范圍，實時調(diào)度相應(yīng)全景數(shù)據(jù)塊顯示。

3.2.1 全景圖縮放

利用視場角的大小控制全景圖縮放，視場角變大則全景圖縮小，視場角變小則全景圖放大。設(shè)在視平面上，相機的焦距為f，平面高度為h，垂直方向的視角為ω，那么滿足下式：

根據(jù)視場角的大小調(diào)用不同分辨率的圖像數(shù)據(jù)參與繪制。初次進入場景尺度默認視場角為60°，調(diào)用1024×512分辨率的全景圖像數(shù)據(jù)。視場角縮小，可見范圍變小，調(diào)度更高分辨率的數(shù)據(jù)塊；相反，調(diào)用更低分辨率數(shù)據(jù)塊，兩者關(guān)系見表2。

表2 圖像金字塔層級與視場角關(guān)系Tab.2 Relationship between image pyramid hierarchy and field of view

3.2.2 視場平移

視點固定在球面全景模型的球心，通過改變視點視線方向的水平角度和垂直角度，改變觀察全景虛擬場景。如圖7所示，相機中心視線方向由點A指向點B，參與渲染的全景圖像數(shù)據(jù)塊發(fā)生變化，系統(tǒng)卸載點A周圍的數(shù)據(jù)塊，加載并渲染點B周圍的數(shù)據(jù)塊。

圖7 球面視場平移（左）及渲染數(shù)據(jù)塊改變（右）Fig.7 FOV panning in spherical images（left）and rendering data block change（right）

設(shè)全景圖像層級固定，圖像數(shù)據(jù)塊的寬度為L。設(shè)P0(X0，Y0)為Z級全景圖像左下角點，屏幕頂點坐標(biāo)分 別為P1(Xn，Yn)、P2(Xn，Yn+1)、P3(Xn+1，Yn)、P4(Xn+1，Yn+1)，則可通過下式計算得到參與繪制的全景圖像數(shù)據(jù)塊行列編碼：

式中， Xmin為橫向最小列號；Xmax為縱向最大列號；Ymin為橫向最小行號；Ymax為縱向最大行號。

3.2.3 全景圖跳轉(zhuǎn)

全景圖跳轉(zhuǎn)是與全景圖交互的重要方式。編輯完成的全景圖包含有圖像目標(biāo)的多媒體信息和全景圖之間的鏈接節(jié)點，以及用戶焦點信息。全景圖跳轉(zhuǎn)即是通過鏈接節(jié)點將當(dāng)前視角的目的地掛鉤到目標(biāo)全景圖的視點位置。

考慮到人腦認知機制，最大程度滿足人腦交互的愉悅感，沉浸感，跳轉(zhuǎn)過程中需要考慮以下兩點要求，一是能夠在短時間內(nèi)完成跳轉(zhuǎn)動作，二是視點運動的速度在離開和靠近球面全景目標(biāo)時要慢下來，以免場景突變帶來視覺不適。觀察相機變換可分解成視點運動和視線調(diào)整兩個步驟實現(xiàn)。

1）視點運動。通過兩個全景圖的地理坐標(biāo)生成運動路徑，同時為滿足要求二，采用式（5）控制運動速度：

式中，D為跳轉(zhuǎn)前視點與全景目標(biāo)的水平距離；S(t)為當(dāng)前視點與跳轉(zhuǎn)前用戶視點的水平距離；D-S(t)為當(dāng)前視點與目標(biāo)球面全景間直線距離；k為控制變化速率。全程視點運動速度由快至慢，最后趨近于零。

2）視線調(diào)整。在視點運動前，不同全景圖中視點與視點的觀察方向不同，要在運動過程中逐漸改變視線方向，避免過渡中效果割裂。兩點距離較遠時，視線朝向視點的運動方向；距離較近時，視線方向調(diào)整為與連線方向垂直；靠近目標(biāo)時，逐漸調(diào)整到觀察目標(biāo)的視線方向；距離很近時，直接轉(zhuǎn)變到目標(biāo)觀察方向[12]。

為增強視點跳轉(zhuǎn)的可視化效果，要盡量保證目標(biāo)點始終在視野內(nèi)。將視線變換分為水平方向偏角旋轉(zhuǎn)和垂直方向的俯仰角變換兩個基本變換，當(dāng)視線從水平方向轉(zhuǎn)到球面全景目標(biāo)方向后，俯仰角觀察視野調(diào)整到最佳狀態(tài)。旋轉(zhuǎn)過程中，引入二次函數(shù)避免實景跳躍，達到漸變效果。具體方法如下：

式中，αc為當(dāng)前偏轉(zhuǎn)角和初始偏轉(zhuǎn)角的夾角；αt為目標(biāo)偏轉(zhuǎn)角和初始偏轉(zhuǎn)角的夾角；t0為初始時刻；t為當(dāng)前偏角所處時刻。

4 實驗與分析

以登封實習(xí)基地為例，采集嵩山地區(qū)衛(wèi)星地面站、紙坊水庫、雪溝村的全景圖像。單張圖像分辨率為8192×4096，通過無人機回傳信息和GPS定位設(shè)備獲取了拍攝位置的地理坐標(biāo)。利用自主研制的全景圖像編輯處理工具進行節(jié)點鏈接、信息熱點編輯、多分辨率處理，生成對應(yīng)的全景配置文件（.qj）、多分辨率OSGB文件數(shù)據(jù)。圖8是全景圖像采集點在虛擬地理環(huán)境中的位置分布圖，圖9是實驗采集的部分全景圖像。

圖8 虛擬環(huán)境中全景圖采集點分布Fig.8 Panorama acquisition points distribution

圖9 實驗采集的部分全景圖像Fig.9 Partial panorama acquisition results

編輯好的全景圖像成果加載到三維場景中，可在地點尺度看到全景圖的圖像標(biāo)簽，點擊標(biāo)簽后進入全景圖節(jié)點，通過全景鏈接節(jié)點圖標(biāo)實現(xiàn)地面、空中到地面全景圖跳轉(zhuǎn)。實驗效果如圖10所示，其中圖10a為單張全景圖像編輯成果的顯示界面，圖10b為三維場景中空中全景圖像標(biāo)簽顯示效果，是圖10c為是地面全景圖像顯示效果，圖10d為空中全景圖像顯示效果。

圖10 全景圖與虛擬地理環(huán)境融合效果Fig.10 Integration effect of panorama and VGE

5 結(jié) 論

本文以解決基于空間幾何數(shù)據(jù)難以生成與現(xiàn)實世界完全一致的虛擬視景為出發(fā)點，分析空中和地面全景圖特點，設(shè)計基于全景圖的空地一體虛擬地理環(huán)境構(gòu)建方案。為優(yōu)化圖像顯示效果，提出全景圖像建模、編輯與多分辨數(shù)據(jù)輸出技術(shù)。在全景圖像和虛擬地理環(huán)境融合階段，設(shè)計全景圖像多尺度顯示模型和三維場景中全景漫游與交互方法。在登封基地進行實驗，結(jié)果證明了方法的可行性、逼真性。

本文方法在輔助戰(zhàn)場環(huán)境勘察、空間認知實驗等教學(xué)和科研環(huán)節(jié)中得到了應(yīng)用。下一步可在全景圖像精度評估、VR立體顯示、全景視頻監(jiān)控等方面深化研究，完善全景圖像與虛擬地理環(huán)境集成建模理論與技術(shù)體系。