徐錚，李鋒，蒲泓亦，盧雪

1. 信息工程大學(xué) 地理空間信息學(xué)院，鄭州 450000；

2. 92292 部隊，青島 266000

1 引 言

虛擬地理環(huán)境（virtual geographic environment，VGE)是真實地理環(huán)境在計算機中的逼真模擬和數(shù)字化表達（龔建華等，2010；林琿等，2013)，通過數(shù)字地表模型、遙感影像、地物模型等測繪數(shù)據(jù)構(gòu)建的三維虛擬場景，用戶可以借助VR 設(shè)備在三維虛擬場景中沉浸式地體驗地理現(xiàn)象并開展地理實驗（譚力恒等，2019)。全景圖是將全景相機固定在某一位置，通過旋轉(zhuǎn)相機拍攝多張照片拼接成全景圖像（鐘力等，1999)，能夠提供與現(xiàn)實世界一致的全視野視覺體驗?？罩腥皥D（周智勇和丁玉蘭，2016)是在高空拍攝的全景圖像，可提供高空俯視、遨游天空的體驗感。伴隨無人機和全景獲取技術(shù)的快速發(fā)展，眾源全景圖像數(shù)量劇增。眾源全景圖像能夠記錄大量的目標(biāo)內(nèi)容，包括重要城市、港口、出海口等。目前，空中全景圖像和虛擬地理環(huán)境融合的應(yīng)用日趨增加，空中全景圖像已經(jīng)成為虛擬地理環(huán)境重要的組成部分。由于全景圖像成像過程中缺失深度信息，僅能提供用戶真實的觀察感，無法提供深度信息，極大限制了虛擬地理環(huán)境中空中全景圖像的應(yīng)用。

國內(nèi)外學(xué)者對全景圖像深度信息獲取和處理做了大量的研究。Fangi 和Nardinocchi（2013)首先提出球面攝影測量的概念，使用空間后方交會法解算球面全景圖像的外方位元素，獲取深度信息，主要用于歷史文物和建筑記錄。啟發(fā)于傳統(tǒng)圖像多視圖立體幾何原理，大量研究采用多目（n≥2)視覺全景圖像方法獲取空間點到鏡頭中心的距離。例如，研究設(shè)計了基于雙魚眼鏡頭的球面立體視覺系統(tǒng)，引入魚眼球圖像的視差從而獲取深度信息，該方法廣泛應(yīng)用于遠距離目標(biāo)的精確測量、虛擬環(huán)境系統(tǒng)仿真等領(lǐng)域（Li，2008；龍幫強等，2015；高興燁等，2016；黎曉東等，2017)。Laganière 和Kangni（2010)使用立方投影處理球面全景圖像，從多個立方體圖像獲取目標(biāo)點深度信息。Liu 等（2020)直接建立雙球面投影的幾何關(guān)系，并與近景攝影測量相對定向的轉(zhuǎn)換參數(shù)進行比較，證明方法可行。隨后，多傳感器組合獲取全景圖像深度信息的方法逐漸嶄露頭角。季順平和史云（2014)建立了多鏡頭組合全景相機成像模型，將其與GPS/ IMU（全球定位系統(tǒng)/慣性測量單元)數(shù)據(jù)結(jié)合，用于光束法平差（鄧非等，2016)、位姿估計（閆利和王奕丹，2017)和定向，實現(xiàn)全景測量（謝東海等，2017)。上述方法中，球面全景攝影測量方法精度有限，一般用于淺深度場景的深度信息獲?。欢嗄苛Ⅲw視覺全景深度信息獲取方法需要計劃多個攝站；多傳感器組合獲取全景圖像深度信息的方法成本較高。

本文結(jié)合傳統(tǒng)測繪數(shù)據(jù)，以虛擬地理環(huán)境為空間，進行球面全景圖像深度信息獲取。保證一定精度的同時，發(fā)揮全景圖像和虛擬地理環(huán)境的融合特點。在虛擬地理環(huán)境中設(shè)計基于深度信息的全景圖空間分析量算模型，解決空中全景圖不支持空間分析量算的問題，并豐富虛擬地理環(huán)境應(yīng)用，深化用戶環(huán)境認知。

2 全景圖深度信息恢復(fù)與應(yīng)用流程

海量的眾源全景圖數(shù)據(jù)為環(huán)境勘察提供了一個新的途徑，利用空中全景圖進行室外大場景環(huán)境勘察，能夠減少地物遮擋，擴大觀察范圍。當(dāng)前全景圖大多是二維圖像，缺乏深度信息。利用射線求交法計算像點的深度信息，使圖像從二維平面轉(zhuǎn)化為三維立體，實現(xiàn)基于全景圖的分析量算，為分析全景圖空間關(guān)系提供有效支撐。

本文采用高精度數(shù)字地表模型和傾斜攝影模型構(gòu)建精確的三維虛擬場景，為全景圖深度信息恢復(fù)提供準(zhǔn)確源數(shù)據(jù)。分別在全景圖和虛擬地理環(huán)境中選取匹配的特征點，通過后方交會法解算相機位姿信息，將精確的相機位姿和地理環(huán)境進行配準(zhǔn)，計算全景圖深度信息并設(shè)計空間分析量算模型，實現(xiàn)全景圖空間分析量算功能。如圖1 所示，主要分為四個階段。

圖1 全景圖深度信息恢復(fù)與應(yīng)用流程圖Fig.1 Workflow diagram for panorama depth information recovery and application

階段一，利用高精度的數(shù)字表面模型（digital surface model，DSM)、傾斜攝影三維模型和全景圖，構(gòu)建目標(biāo)區(qū)域虛擬地理環(huán)境。

階段二，選取多組特征點，通過投影變換計算全景圖特征點的像素坐標(biāo)，利用坐標(biāo)變換計算虛擬地理環(huán)境中對應(yīng)特征點的地理坐標(biāo)，根據(jù)改進的后方交會算法解算全景相機的拍攝參數(shù)。

階段三，將相機與虛擬地理環(huán)境配準(zhǔn)，相機位置點和全景圖像點構(gòu)成射線與三維虛擬場景中地形模型射線求交，計算全景圖深度圖像。

階段四，設(shè)計空間分析量算模型，通過將全景圖像點的像素坐標(biāo)轉(zhuǎn)化為地理坐標(biāo)實現(xiàn)距離、面積、方位角等分析量算功能，并將計算結(jié)果實時顯示。

3 眾源全景圖數(shù)據(jù)處理與虛擬地理環(huán)境構(gòu)建

3.1 眾源全景圖數(shù)據(jù)處理

眾源全景圖數(shù)據(jù)是大量非專業(yè)人員利用無人機、智能手機等采集的帶有地理標(biāo)識的全景數(shù)據(jù)，通過標(biāo)注處理后上傳到開放式數(shù)據(jù)共享平臺（冉飛鵬，2015)。與實拍空中全景影像不同，眾源空中全景圖一般僅含有拍攝地點所在縣市或景區(qū)的名稱及位置屬性，缺少拍攝參數(shù)，可以利用眾源地理數(shù)據(jù)網(wǎng)站提供的API 接口獲取目標(biāo)區(qū)域的全景圖數(shù)據(jù)（單杰等，2014；葛洪濤，2015)。首先，將采集的原始圖像數(shù)據(jù)進行分類整理，剔除不符合要求的圖像；其次，對圖像預(yù)處理，消除圖像中異常的色彩和亮度；最后，對圖像進行拼接處理（王飛等，2019)，得到長寬比為2∶1 的全景圖。

3.2 虛擬地理環(huán)境構(gòu)建

構(gòu)建三維場景不僅要集成多源數(shù)據(jù)，還需要場景渲染和相機控制。三維場景采用樹狀的層次結(jié)構(gòu)組織，利用影像數(shù)據(jù)和數(shù)字高程模型，以縱向分層、橫向分塊的方式加載數(shù)據(jù)，生成全球范圍內(nèi)的地形環(huán)境。針對目標(biāo)區(qū)域，采用高精度的數(shù)字表面模型和傾斜攝影三維模型數(shù)據(jù)構(gòu)建目標(biāo)區(qū)域三維虛擬場景，同時在場景中添加相機視角，實現(xiàn)全方位任意姿態(tài)漫游三維虛擬場景。

將全景圖技術(shù)與三維虛擬場景相結(jié)合，構(gòu)建融合全景圖的虛擬地理環(huán)境（李科等，2013)。根據(jù)目標(biāo)區(qū)域全景圖的拍攝范圍，估計全景相機拍攝位姿。同時在虛擬地理環(huán)境中添加標(biāo)記符號，并在標(biāo)記符號上添加全景圖鏈接，實現(xiàn)在虛擬地理環(huán)境與全景圖之間任意跳轉(zhuǎn)，在三維場景中勘察目標(biāo)區(qū)域。

4 基于后方交會的全景拍攝參數(shù)解算

4.1 球面全景建模

全景圖展現(xiàn)的場景是以相機為中心，周圍360°的全景信息。像素坐標(biāo)系是計算機內(nèi)部數(shù)字圖像使用的一種坐標(biāo)系，數(shù)字圖像以二維數(shù)組的方式存儲。將全景圖上的某點映射到等經(jīng)緯度圖上，需要將全景圖像素坐標(biāo)轉(zhuǎn)化為經(jīng)緯坐標(biāo)。

如圖2 所示，直角坐標(biāo)系O-UV中點O為坐標(biāo)原點，l為全景圖長度，w為全景圖寬度。直角坐標(biāo)系O'-U'V'用作相機內(nèi)部成像坐標(biāo)系。假設(shè)O'為影像中心原點，設(shè)全景圖上任意像點（u，v)在坐標(biāo)系O'-U'V'為（x'，y')，那么兩個坐標(biāo)系的轉(zhuǎn)換關(guān)系為

圖2 全景圖球面建模Fig.2 Panoramic sphere modeling

平面全景圖長寬比為2∶1，對平面全景圖進行球面建模，即l對應(yīng)球面經(jīng)度[-π，π]，w對應(yīng)球面緯度[-π/2，π/2]，O-UV是像素坐標(biāo)系，P'為全景圖像上任意一點，球心Os為原點，X軸指向平面影像中心O'在球面上的映射點，Y軸垂直于X軸構(gòu)成球赤道平面，Z軸與X軸、Y軸構(gòu)成右手坐標(biāo)系，建立球空間坐標(biāo)系Os-XYZ，Ps為P'在球面上的對應(yīng)點。根據(jù)全景圖與等經(jīng)緯度圖像的對應(yīng)關(guān)系，可得全景圖上點P'在球面模型上的對應(yīng)點Ps的經(jīng)度PLo和緯度PLa分別為

4.2 相機拍攝參數(shù)解算

根據(jù)相機位置點、全景圖像點構(gòu)成的射線與數(shù)字地表模型相交，可建立共線方程（陳義，2004),解算全景相機拍攝參數(shù)，公式為

式中，（x，y)為像點的像平面坐標(biāo)；f為相機焦距；（X，Y，Z)為射線與數(shù)字地表模型的交點；（Xs，Ys，Zs)和（a1，b1，c1，a2，b2，c2，a3，b3，c3)為要解算的相機拍攝參數(shù)。但是球面上像點的縱坐標(biāo)隨著像點的球面緯度變化而變化，利用式（3)求解相機拍攝參數(shù)會增大誤差。為了減少解算相機拍攝參數(shù)誤差，提高解算效率，簡化模型計算復(fù)雜度，利用透視投影將球面全景圖映射到虛擬平面，得到虛擬平面像點（圖3)。

圖3 球面全景映射Fig.3 Spherical panoramic mapping

設(shè)球坐標(biāo)系Z軸負方向與虛擬平面相交于O'，過O'且垂直于Z軸的平面XO'Y，球面上像點Ps，和虛擬平面的映射點P1（x，y，z)連線與虛擬平面相交于點P1，那么球面上任意一點Ps與虛擬平面上對應(yīng)點P1的映射關(guān)系為

由圖3 可知，球面全景圖像位姿決定虛擬平面位姿，那么采用平面空間后方交會法解算虛擬平面外方位元素即可計算出全景相機的拍攝參數(shù)。

5 全景圖深度信息恢復(fù)與空間分析應(yīng)用

5.1 計算相機射線與地形交點

眾源空中全景圖一般為二維圖像，缺乏深度信息，降低了用戶環(huán)境感知能力。為了恢復(fù)全景圖的深度信息，本文依據(jù)光線直線傳播原理，提出相機位置點—全景圖像點—虛擬地面點三點共線法求解像點與對應(yīng)地面點的距離，近似地表示為該像點的深度信息。在虛擬地理環(huán)境中，根據(jù)射線求交法（張宗佩等，2015)，計算全景深度圖，計算圖中像點與對應(yīng)地面點的距離，地面點為全景圖相機位置點與像點所組成的射線和地形模型的交點（圖4)。其中，C為全景圖相機位置點；為全景圖中像點；△P1P2P3為某一地形圖元；P為射線CC1與三角形圖元P1P2P3的交點；CP為光線路徑；n12為與組成的平面的法向量；C'為平移經(jīng)過三角圖元頂點P1后C對應(yīng)的新位置。研究地形上的三角圖元上的落點為P，則參量值方程為

圖4 三角圖元求交結(jié)構(gòu)Fig.4 Find intersection structure of trigonometric graph elements

射線CP與三角圖元滿足以下任意一種情況有交點，即相交：D312≥0，Dc12＞0，D312＞Dc12，Dc12≠0；D312≥0，Dc12＞0，D312＞Dc12，Dc12=0，D312≠0；D312＜0，Dc12＜0，Dc12＞D312，Dc12≠0；D312＜0，Dc12＜0，Dc12＞D312，Dc12=0，D312≠0。

同理，對三角圖元的另外兩種組合也按照上述方法進行判斷，方程為

如果三種組合判斷結(jié)束后都有交點，則說明P點在△P1P2P3上。

5.2 解算全景圖像點的深度值

根據(jù)前文所述方法可以得到三種類型組合所有的值。如果Dc12=0，則r3=0，否則r3=Dc12/D312；如果Dc13=0，則r2=0，否則r2=Dc13/D213；如果Dc23=0，則r1=0，否則r1=Dc23/D123。根據(jù)計算得到的三個因子r1、r2、r3，對其進行歸一化處理：

如果Rt=0，則表明射線CP與三角圖元平行，不存在真正的交點；否則表明有交點，交點P的坐標(biāo)為

那么該像點C1的深度值可記為

式中，（xC，yC，z C)為C點坐標(biāo)；（xP，yP，z P)為P點坐標(biāo)。同理，可求出全景圖中所有像點的深度值，生成全景深度圖。

5.3 基于全景圖深度信息的空間分析量算

虛擬地理環(huán)境中，基于空中全景圖的分析與量算應(yīng)用是虛擬地理環(huán)境應(yīng)用的重要部分。不同于在虛擬地表，空中全景圖能夠提供側(cè)面等內(nèi)容，空間上拓展了量算與分析的范圍。同時，基于空中全景圖的分析與量算能夠直接在全景圖上實施，避免人工確定全景圖目標(biāo)點與虛擬地面目標(biāo)點，再由對目標(biāo)地面點或區(qū)域進行量算的過程，提高用戶沉浸感。針對空中全景圖成像特點，設(shè)計空間分析量算模型，實現(xiàn)基于空中全景圖的距離、面積、方位角等空間分析量算功能。通過選取全景圖像點獲得像素坐標(biāo)，根據(jù)該點的深度信息計算地理坐標(biāo)，代入相關(guān)算法模型完成空間分析量算。

如圖5 所示，以相機位置為原點Os，根據(jù)相機拍攝參數(shù)建立像空間坐標(biāo)系，由全景深度圖可知全景圖像點P1、P2、P3的深度值分別為d1、d2、d3、計算出P1′、P2′、P3′的地理坐標(biāo)，即可求出像點P1、P2、P3組成的實際區(qū)域面積。

圖5 空間分析量算模型Fig.5 Spatial analysis volume calculation model

設(shè)球面上點P的像素坐標(biāo)為(xi，yi，zi)，那么像點P的空間向量為

像點P對應(yīng)的地面點P'在像空間坐標(biāo)系中的相對坐標(biāo)為

式中，di為像點P的深度值；記P'在空間大地直角坐標(biāo)系中的坐標(biāo)為Pg，那么該像點對應(yīng)的地理坐標(biāo)為

式中，Os為相機在空間大地直角坐標(biāo)系中的位置；R為大地空間直角坐標(biāo)系轉(zhuǎn)換到像空間坐標(biāo)系的旋轉(zhuǎn)矩陣。同理，可以計算出P1、P2、P3對應(yīng)的地面點P1′、P2′、P3′地理坐標(biāo)，實現(xiàn)距離、面積、方位角等空間分析量算功能，并將處理結(jié)果在全景圖上可視化顯示。

6 實驗與分析

本文以河南省登封市紙坊水庫地區(qū)作為實驗場地，采用數(shù)據(jù)精度為0.3 m 的數(shù)字地表模型和0.1 m 的傾斜攝影三維模型數(shù)據(jù)，結(jié)合全國底層遙感影像數(shù)據(jù)，搭建基于OSG Earth 的虛擬地理環(huán)境，通過“720 云”等網(wǎng)站獲取紙坊水庫高空多張影像，處理成分辨率為8192 像素×4096 像素的全景圖，在全景圖中找出多個具有明顯標(biāo)志的像點為特征點，根據(jù)球面建模原理，計算傾斜攝影模型中與全景圖特征點對應(yīng)的地面點（圖6)。

圖6 特征點提取Fig.6 Feature point extraction

在全景圖中標(biāo)記有明顯特征的像點，并在虛擬地理環(huán)境中計算對應(yīng)特征點的地理坐標(biāo)（表1)。

表1 特征點對坐標(biāo)Tab.1 Coordinates of characteristic points

為了減小誤差，選取多組數(shù)據(jù)解算全景圖的外方位元素，解算得：Xs=-20.87，Ys=23.17，Zs=67.49，t=-3.45487354，w=-1.06735462，k=53.46258432。

轉(zhuǎn)換后可得拍攝相機的地理坐標(biāo)（113.105854°E，34.525095°N，509m)，并更新拍攝相機標(biāo)記在虛擬地理環(huán)境中的位置。根據(jù)全景相機在虛擬地理環(huán)境中的位姿，結(jié)合射線求交法，利用相機位置和全景圖像點位置構(gòu)成的射線與虛擬地理環(huán)境的交點，計算像點的深度值，生成全景深度圖（圖7)，其中，全景深度圖的長l和寬w，與空中全景圖的大小相同。通過手動操作，在全景圖中選取像點，系統(tǒng)根據(jù)像點坐標(biāo)獲取在虛擬環(huán)境中對應(yīng)的地面點坐標(biāo)。

圖7 全景圖標(biāo)記點地理坐標(biāo)誤差分析Fig.7 Analysis of geographical coordinate error of marking points in panorama

為了驗證實驗方法的有效性，根據(jù)地形環(huán)境特點在全景圖中選取15 個標(biāo)記點，計算各標(biāo)記點的像素坐標(biāo)，結(jié)合全景深度圖計算虛擬地理環(huán)境中所有標(biāo)記點的地理坐標(biāo)，記為實驗值。同時，通過傳統(tǒng)測繪方法獲取所有標(biāo)記點的地理坐標(biāo)，記為標(biāo)準(zhǔn)值。標(biāo)記點深度值在[0，100]、[100，200]、[200，300]、[300，1000]范圍內(nèi)時，相對誤差分別為3.7%～8.7%、3.9%～17%、11.9%～17.5%、14.7%～26.2%。通過計算結(jié)果對比，在空中全景圖中，全景相機拍攝的正下方近處場景圖像像素比遠處場景圖像像素的深度信息計算結(jié)果誤差小，而且誤差會隨著相機仰角的增大而增大，造成誤差的主要原因是全景圖像拼接、全景相機位姿解算及射線與地形相交產(chǎn)生的誤差。

根據(jù)實驗結(jié)果，為了較少誤差帶來的影響，提高計算結(jié)果的可靠性，本文選擇全景相機位置點附近區(qū)域進行分析量算（圖8)，在全景圖中選擇目標(biāo)點，計算目標(biāo)點的像素坐標(biāo)和地理坐標(biāo)，利用空間分析量算模型對目標(biāo)點進行計算，并在全景圖上實時顯示計算結(jié)果，其誤差小于10%，能夠輔助分析空中全景圖中目標(biāo)點的空間關(guān)系，深化用戶環(huán)境感知。

圖8 基于全景圖的分析量算Fig.8 Analysis based on panorama

結(jié)果表明，本文提出的虛擬地理環(huán)境中全景圖深度信息恢復(fù)與應(yīng)用的研究具有一定的可行性，有助于提高對空中全景圖的空間關(guān)系認知，擴展了空中全景圖像與虛擬地理環(huán)境的應(yīng)用途徑，提供了一種對陌生地域的環(huán)境勘察方法。

7 結(jié) 論

全景圖已成為環(huán)境勘察的重要手段，是構(gòu)建虛擬地理環(huán)境的重要數(shù)據(jù)來源，本文將虛擬地理環(huán)境和全景圖技術(shù)相結(jié)合，通過改進的后方交會算法解算相機拍攝參數(shù)，基于射線求交法恢復(fù)全景圖的深度信息，實現(xiàn)了基于全景圖的空間分析量算功能。本方法可為構(gòu)建一個地理空間數(shù)據(jù)與全景圖融合顯示，具有可量測、可交互的虛擬地理環(huán)境提供一個有效途徑。下一步可以深入分析由于拍攝距離改變引起景深變化，從而導(dǎo)致全景圖像點表示的地理空間位置產(chǎn)生差異這一問題。