陳天翔，陳 斌

一種基于全景視頻的6自由度野外虛擬環(huán)境快速構建方法

陳天翔，陳 斌

(北京大學地球與空間科學學院，北京 100871)

野外環(huán)境的虛擬化是一個具有重要意義的研究領域，關于如何更高效、更便捷地構建野外虛擬環(huán)境，以及如何在構建的虛擬環(huán)境中獲得更高的交互自由度與更好的沉浸式體驗，是值得思考的重要問題。因此，提出了一種基于全景視頻的6自由度野外虛擬環(huán)境快速構建方法，通過對從中提取的全景影像進行深度估計、攝影建模等處理，得到劃分為不同遠近層次的重建場景；并根據(jù)用戶的漫游位置實現(xiàn)了近遠景的實時動態(tài)匹配融合，最終獲得了支持一定范圍內6自由度漫游的沉浸式野外虛擬環(huán)境；通過圖像質量的客觀指標進行了量化分析驗證，并實現(xiàn)了從構建到使用完整流程的野外虛擬環(huán)境原型系統(tǒng)作為應用。結果表明，該方法有著高效地使用方式與優(yōu)良的應用效果，在虛擬化野外地質實習教學等方面有著良好的前景。

虛擬地理環(huán)境；全景影像；全景視頻；野外環(huán)境；攝影建模；視野融合；6自由度漫游

近年來，隨著虛擬現(xiàn)實(virtual reality，VR)技術的發(fā)展，相應的沉浸式人機交互技術在地理學領域的應用也愈發(fā)廣泛[1-2]。虛擬地理環(huán)境(virtual geographical environment，VGE)被看作是繼地理信息系統(tǒng)之后的新一代地理學語言，是人類認識自然地理環(huán)境、傳遞地理信息和人類社會交流的重要媒介[3-4]。

現(xiàn)有的通過全景影像實現(xiàn)虛擬環(huán)境的主流方法主要有兩類：其一是以球幕的形式直接展示全景影像，其二則是將場景內容進行三維建模，構造真實立體的虛擬場景。直接通過全景影像呈現(xiàn)場景的方法已在一些野外虛擬實驗平臺中得到應用[5-6]。三維建?？梢酝ㄟ^攝影建模的方式由圖像數(shù)據(jù)直接生成高質量模型，近年來在虛擬場景構建方向上也有相關應用[7-9]。

1 待解決的問題

在第一人稱視角下，野外虛擬環(huán)境的不同層次景物對真實感、沉浸感等方面有著不同的要求：近景通常包含具有重要學術意義的內容，需要更高的準確性與立體感；遠景則更注重展示完整視野的環(huán)境，營造足夠的沉浸感。為了實現(xiàn)兼具準確性與沉浸感的野外虛擬環(huán)境，乃至進一步實現(xiàn)在其中的6自由度漫游，需要一個方法對二者進行取長補短，并結合2種展示方式的優(yōu)勢。

由于全景影像的拍攝不包含立體信息，在視點偏離球心后，視野會產生畸變，不支持6自由度漫游，在面向虛擬地質考察等用途時呈現(xiàn)出劣勢。三維建?？梢愿鼫蚀_地展現(xiàn)野外環(huán)境中近景內容，支持一定范圍的6自由度交互，然而面向野外環(huán)境在建模范圍、特征點選取等方面還存在一定的問題。

將全景影像與三維模型疊合展示的虛擬環(huán)境彌補了三維建模場景在遠景處的缺失，但為了支持虛擬環(huán)境的6自由度漫游，仍需要對視點移動時遠近遮擋關系的變化以及視野區(qū)域與三維模型部分邊緣的接合進行處理。

為了解決上述現(xiàn)有方法中存在的缺陷，同時在兼顧虛擬場景生成方式的低成本化與便利化，本文擬通過如下的途徑實現(xiàn)優(yōu)化的野外虛擬場景的構建：通過復用輸入全景視頻，同時作為攝影建模的數(shù)據(jù)源與虛擬場景內全景影像部分的直接展示，減少數(shù)據(jù)采集的成本；通過神經(jīng)網(wǎng)絡對全景影像進行深度估計以復原其表面立體信息，同時通過擬合對應場景三維建模的立體結構信息使二者的深度分布相匹配，實現(xiàn)場景整體接合的效果。此外，本文也將對攝影建模輸出模型的瑕疵部分進行一定程度的修復，以得到更具準確性與沉浸感的野外虛擬場景。

2 方 法

本文提出了一種基于全景視頻自動構建包含三維建模與動態(tài)全景球幕的野外虛擬環(huán)境的方法。所使用的野外虛擬場景來自手持全景攝像機在野外實拍的一段路徑所得的全景視頻。整個構建過程主要劃分為數(shù)據(jù)準備與平臺呈現(xiàn)2個階段，分別負責完成攝影建模與深度估計等場景構建工作，與用戶漫游時實時進行動態(tài)匹配計算。

2.1 數(shù)據(jù)準備階段

數(shù)據(jù)準備階段將采集得到的全景視頻通過自動化的數(shù)據(jù)處理流程轉換為呈現(xiàn)沉浸式場景所需的必要中間數(shù)據(jù)；這一過程需要一定的計算資源與運行時間，其主要流程如圖1所示。

圖1 野外虛擬場景構建流程圖

2.1.1 視頻幀分段

對于一個長度為(單位：s)的全景視頻，本方法首先以固定幀率(單位：幀每秒)將其轉換為共含=幀全景圖像的序列={P:?[1,]}；同時，對序列進行進一步劃分得到分段集合，其中包括=[/n]個分段{S:?[1,]}，每個分段定義為

其中，n為各序列間隔幀數(shù)；n為序列間共用幀數(shù)。

此步驟的參數(shù)，n與n均可根據(jù)實際需求調整，更大的數(shù)量可以得到更精細的重建場景，但也需要更多地計算開銷。

2.1.2 三維建模與空間匹配

2.1.3 重建模型后處理

經(jīng)過攝影建模的近景三維模型?仍包含相當?shù)娜哂嗖糠?，主要產生于對天空區(qū)域大量純色的錯誤匹配，也包含少量由此次生的模型碎片，如圖2(a)和(b)所示。對于每個原始重建模型?，將其模型頂點與邊視為圖=(,)，本文方法對其進行如下后處理：

(1) 遍歷點集，選取紋理顏色包含于預定義HSL顏色區(qū)域?的頂點集合V，構成子圖G；

(2) 對G進行連通性測試，標記其中所有頂點數(shù)大于閾值的連通分量對應頂點，得到點集V；

(3) 在內刪除V，剩余點集-V構成圖?；

(4) 對?進行連通性測試，保留其中最大的連通分量，對應點集為V；

(5) 在?內刪除所有不包含于V的頂點，及不全由V內頂點構成的邊與面，得到裁剪模型M。

經(jīng)試驗，上述參數(shù)中，?中色相分量取[0.33,0.83]范圍，亮度取[0.3,0.9]，飽和度取[0.1,0.9]，當=100時，可以取得對野外全景視頻的天空冗余色塊較好的冗余裁剪效果。該方法得到的裁剪模型M可有效去除模型內的多余區(qū)塊，保留實際存在的近景內容，如圖2(c)所示。

圖2 攝影建模方法得到的原始密集點云((a)重建模型；(b)經(jīng)過冗余裁剪后；(c)實際使用的場景)

2.1.4 全景影像深度估計

為了實現(xiàn)全景照片背景與虛擬場景中的重建模型前景的匹配，本研究使用到了MIANGOLEH等[12]提出的多分辨率自適應深度估計神經(jīng)網(wǎng)絡對全景照片進行處理：輸入全景照片，得到相同大小的單色全景深度圖(圖3)。

圖3 全景照片((a)相應深度圖；(b)示例)

深度圖的格式為灰度位圖，保存估計結果的相對深度，其與場景各點實際深度(即各點距全景影像視點的距離)之間采用指數(shù)與對數(shù)函數(shù)進行相互映射：對于每張全景圖?與相應深度圖?，?中各像素取值x,h與?相應點的絕對深度y,h映射關系為

每個深度估計場景有著不同的映射曲線，對應不同的參數(shù)1與2；每張深度圖中黑色與白色分別代表最遠與最近的距離，不同深度圖中其對應絕對距離也有所不同。

另外，由于全景影像橫向對應全景球連續(xù)的經(jīng)度，其圖像左右邊緣也相互匹配；為了消除深度估計結果左右邊緣的差異，對序列內的每張全景圖P，本文獲得實際所需深度圖D(圖4)的流程為：

(1) 將P沿經(jīng)度方向滾動180° (等價于將圖像左1/2與右1/2交換位置拼合；以下以“滾動”指代)，得到?；

(2) 分別將P和?輸入神經(jīng)網(wǎng)絡，得到深度圖D,1和D,2；

(3) 生成與P等長寬的權重圖P，其橫向各點取值滿足從左、右邊緣至中線為由0到1的線性插值；

(4) 定義“權重相乘”操作：2個等長寬的位圖和運算得新的等長寬位圖，其各像素取值為和相應位置像素之積；將D,1與P相乘得加權深度圖,1；D,2與P相乘，再滾動后得,2；

(5) 生成最終深度圖D，其各像素取值為,1與,2對應位置像素相加。

圖4 深度圖獲取步驟示意圖

2.1.5 射線采樣與立體表面構建

考慮到三維場景存在整體空間變換的可能性，需從D給出的相對深度出發(fā)，構建能與近景三維建模相匹配連接的全景影像立體表面，并通過對全景視頻與三維模型進行成對的距離采樣，由回歸分析得到深度圖的具體映射參數(shù)，以保證全景影像重建立體表面與三維模型的深度分布相匹配。

采樣方法會首先生成一系列以用戶視點為起點的射線，用于在相應方向上進行采樣：取視錐垂直截面矩形，并將其橫豎均勻等分；以視點為起點，矩形各邊與等分線之間各相交格點為終點，分別連接即可得到采樣射線簇。

對于其中任意一條射線，其與M的交點與視點的距離記為y，與D對應虛擬球幕交點上的像素采樣記為x，元組(x,y)即為對應的一次采樣，即

對所有射線進行采樣，得到表面距離分布{,}；將其代入式(1)進行回歸分析，即可得到D的映射關系，還原其實際距離分布。

2.2 動態(tài)實時繪制階段

動態(tài)實時繪制階段通過實時獲取用戶在虛擬場景內的漫游位置與視角，自動展示相應的全景影像與重建模型數(shù)據(jù)，并實現(xiàn)了二者的動態(tài)實時匹配，最終呈現(xiàn)出沉浸的虛擬環(huán)境視野。

2.2.1 位置漫游與數(shù)據(jù)獲取

交互系統(tǒng)根據(jù)最鄰近的策略確定需要展示的數(shù)據(jù)：根據(jù)用戶視點位置，在所有區(qū)段中選擇使距離函數(shù)最小的區(qū)段S，展示其模型M；在所有全景球幕中選擇并展示使距離函數(shù)最小的球幕P。

2.2.2 全景球幕重映射

在得到實際深度分布后，再經(jīng)過一步重映射即可實現(xiàn)全景球幕的實時動態(tài)匹配。在視野空間內，對于每個初始位移對應單位向量與實際深度Y的像素點，其形變后的真實空間位移為

當距離足夠遠時，人眼立體視覺的感受趨近消失，當距離過近時，將會與高精度的三維重建模型相交錯影響觀察，因此全景球幕在顯示時需要通過保序函數(shù)進行壓縮，并將過遠或過近的距離限制在一定的范圍內(圖5)。

本文方法中使用了雙曲正切函數(shù)，即

其中，1(d+d)/2，2(d+d)/2，d與d分別為距離過近與過遠時將趨近的距離數(shù)值；在實際應用中，該距離取2 m或20 m時可以達到較優(yōu)的觀察體驗；最終的像素實際顯示位置為

考慮到計算機性能限制與實時性的需求，該動態(tài)匹配算法將編寫為著色器，運行于GPU中，對構成全景球幕的網(wǎng)格進行相應的偏移形變；在網(wǎng)格密度充分時可近似等價于對像素進行位移，且保證了計算的性能，如圖6所示，其中白色攝像機圖標為虛擬化身位置，綠色線條為采樣射線，藍色為近景三維重建模型，黑色為形變后的全景影像球幕。

據(jù)此，全景影像的所有點均分布于保證立體視覺的范圍內，對于位移新增的遮擋關系因距離壓縮函數(shù)保序而直接成立。另一方面，由于展示全景球幕使用的是無縫的網(wǎng)格模型，實際運行時原不可見卻因位移產生的球幕斷裂會以面元的形式顯示為相鄰位置頂點的插值，保持了視野的完整。該方法有效解決了6自由度漫游時全景影像整體畸變的問題，且一定程度上修復了視野斷裂的問題。

圖6 動態(tài)匹配與深度壓縮后的場景示意圖

3 量化實驗分析

為了驗證本文方法生成的野外虛擬場景的準確性，及確定緩沖區(qū)范圍參數(shù)d的取值，本文通過一系列實地拍攝的全景影像對該方法進行了多方面的量化實驗。

3.1 數(shù)據(jù)準備

實驗數(shù)據(jù)由Ricoh Theta V手持錄制，于北京大學鏡春園拍攝。

實驗數(shù)據(jù)為沿路直行錄制所得；為獲得距重建場景不同方向與距離的偏移視點，參照數(shù)據(jù)為沿實驗路徑前行并左右移動所得的折線形路徑。

虛擬場景使用實驗數(shù)據(jù)錄制視頻重建而成，使用參數(shù)=10 fps，n=100，n=10。參照數(shù)據(jù)也以10 fps幀率截取幀，得到參照畫面序列；根據(jù)參照序列各幀與實驗序列的相對位置，進入虛擬場景，模擬拍攝相應位置的虛擬環(huán)境全景影像。

3.2 評估全景圖像深度估計效果

為了驗證本文所使用的深度估計神經(jīng)網(wǎng)絡用于全景影像上的效果，本文使用了SHARMA等[13]的工作進行驗證，基于實驗數(shù)據(jù)生成低緯度區(qū)域較低分辨率的全景深度圖，與本文方法得到的深度圖經(jīng)緯度裁剪、分辨率縮放后的深度圖進行回歸分析驗證。

將整個數(shù)據(jù)集的所有回歸參數(shù)進行匯總并顯示，2種方法得到的深度圖在數(shù)據(jù)分布模式上呈現(xiàn)很強的線性相關，各組回歸中斜率參數(shù)值不超過3.8×10-105，截距值不超過4.0×10-5；由于指數(shù)函數(shù)擬合等價于對數(shù)變換后的線性回歸，可以認為其不影響深度估計與射線采樣使用的回歸模型；本文方法最終采用了分辨率更高的模型，見2.1.4節(jié)。

3.3 整體參數(shù)確定與效果評估

3.3.1 分析指標

本文使用了均方誤差(mean square error，MSE)與平均結構相似性(mean structural similarity，MSSIM)[14]作為衡量重建圖像偏差的指標，分別從客觀絕對數(shù)值差異，與視覺結構信息差異進行評估；MSE數(shù)值越低、MSSIM數(shù)值越高代表復原效果越好。

3.3.2 有限漫游范圍的確定

將本文方法生成的野外虛擬環(huán)境中模擬拍攝的全景圖像與真實拍攝的驗證數(shù)據(jù)集進行兩兩匹配，得到的MSE與MSSIM關于相對偏移的分布，如圖7所示。

由圖7可以看到，隨著的增加，MSE整體呈上升趨勢，MSSIM則呈下降趨勢，體現(xiàn)出虛擬環(huán)境中圖像與真實結果的偏差逐漸增大；圖8展示了其中一個測試點的偏差現(xiàn)象。

圖7 MSE與MSSIM指標((a)各數(shù)據(jù)點MSE指標(縱軸)關于O (橫軸)分布散點圖與線性擬合；(b) MSSIM指標(縱軸)關于O (橫軸)分布線性擬合與箱線圖)

圖8 測試點#25結果((a)圖中分別為源全景視頻對應幀；(b)虛擬場景內模擬拍攝結果；(c)實錄驗證圖片；(d)模擬拍攝與驗證圖片作差結果)

3.4 本方法對畫面提升的量化評估

為了分別驗證本文方法中三維建模與全景球幕動態(tài)形變對于沉浸式6自由度漫游的貢獻，本文分別進行了各部分功能對沉浸式6自由度漫游準確性貢獻的量化評估。通過在上述模擬拍攝過程中分別屏蔽部分功能，得到不完全的顯示效果，并與完整運行的方法就相應的評估指標進行對比。實驗結果如圖9所示。

由圖9可知，MSE值越低越好；MSSIM值越高越好。紅色線僅展示標準球體投影的全景影像，等價于由全景影像構成、支持定點跳轉的野外虛擬場景；可以看到其在視點無偏移時最接近對照影像，而當偏移增加后質量迅速下降，對6自由度漫游支持不佳。綠色線在此基礎上增加了空間匹配的近景三維建模，其在視點偏移后一定程度保持畫面質量。藍色線為本文方法，在綠色線基礎上增加了全景影像的立體表面重建與對三維建模的匹配。

經(jīng)視點偏移后，本文方法在MSE和MSSIM兩項指標中表現(xiàn)均為最好，展現(xiàn)出了最強的抵抗6自由度漫游圖像質量下降的效果，證明了本文方法在動態(tài)實時部分提升虛擬場景6自由度漫游效果的有效性。

4 原型構建

基于上文方法及量化實驗所確定的參數(shù)，本文開發(fā)了一套基于客戶端-服務端架構，由全景視頻完整構建野外虛擬環(huán)境，實現(xiàn)有限范圍的6自由度沉浸式漫游交互的原型系統(tǒng)。

4.1 軟件層面實現(xiàn)

服務端通過Django 3.1.4版本運行庫實現(xiàn)后端由命令行參數(shù)串聯(lián)工作流：使用Agisoft Metashape 1.5.0完成攝影建模，并使用Python語言完成了模型后處理與深度估計模型的調用。

客戶端使用Unity 2019.4版本進行開發(fā)，通過Unity XR插件實現(xiàn)了跨平臺虛擬現(xiàn)實硬件的運行，使用C#語言編寫最鄰近算法與射線采樣算法，CG (C for Graphics)著色器語言編寫全景球幕動態(tài)匹配功能。如圖10所示，圖中左上部為中遠景全景影像，右下部為近景三維重建模型，動態(tài)匹配邊緣以紅色標出。

圖10 客戶端效果展示

4.2 應用效果

將服務端部署后，訪問其后臺界面，上傳拍攝的全景視頻，即可啟動自動化構建，得到相應的野外虛擬場景，隨后公開對應IP即可提供該場景的漫游交互。

客戶端通過訪問對應服務端IP，提供相應野外虛擬場景的名稱，接入對應的虛擬地理環(huán)境之中；在相應野外虛擬場景內，用戶可以在全景視頻錄制路徑的緩沖區(qū)范圍內6自由度漫游交互。

4.3 本文與相近工作的對比

通過本文方法實現(xiàn)的原型系統(tǒng)，同時結合了全景影像虛擬場景視野完整沉浸，以及三維建模虛擬場景包含立體表面、支持6自由度漫游與協(xié)同交互的優(yōu)點；并且由于通過手持拍攝全景視頻進行數(shù)據(jù)采集與自動構建，兼具了便利性。表1列出了與近年來相關工作進行簡要對比的結果。

表1 近期相關工作對比

5 結束語

本文提出的基于全景視頻自動構建野外虛擬場景的方法，相對常見的基于全景影像或三維建模的野外虛擬場景，有著各方面綜合性的優(yōu)勢：在構建方式上，可以由單一全景視頻方便、快捷而自動化地得到支持6自由度漫游的野外虛擬場景；在交互體驗上，支持有限范圍內高質量的6自由度漫游交互，兼具準確性與沉浸感；在設計架構上，實現(xiàn)了遠程訪問與多人協(xié)同交互的原型系統(tǒng)。本文提出的方法與系統(tǒng)在地學虛擬實驗、虛擬仿真教學等多人沉浸式虛擬地理環(huán)境應用場合下有著良好的適用范圍與應用前景。

為進一步提升該方法與系統(tǒng)的實用性，未來可以在計算速度、網(wǎng)絡傳輸協(xié)議等方面進行進一步地研究與提升。

[1] JONG M S, TSAI C, XIE H R, et al. Integrating interactive learner-immersed video-based virtual reality into learning and teaching of physical geography[J]. British Journal of Educational Technology, 2020, 51(6): 2064-2079.

[2] 羅珽, 冷偉. 沉浸式虛擬現(xiàn)實技術在地球科學中的應用[J]. 中國科學技術大學學報, 2021, 51(6): 431-440.

LUO T, LENG W. The application of immersive virtual reality technology in geoscience[J]. Journal of University of Science and Technology of China, 2021, 51(6): 431-440 (in Chinese).

[3] LIN H, CHEN M, LU G N. Virtual geographic environment: a workspace for computer-aided geographic experiments[J]. Annals of the Association of American Geographers, 2013, 103(3): 465-482.

[4] 林琿, 胡明遠, 陳旻, 等. 從地理信息系統(tǒng)到虛擬地理環(huán)境的認知轉變[J]. 地球信息科學學報, 2020, 22(4): 662-672.

LIN H, HU M Y, CHEN M, et al. Cognitive transformation from geographic information system to virtual geographic environments[J]. Journal of Geo-Information Science, 2020, 22(4): 662-672 (in Chinese).

[5] 鐘正, 葛婉茹. 虛擬全景技術在野外實踐教學平臺開發(fā)中的應用[J]. 城市勘測, 2017(6): 19-22.

ZHONG Z, GE W R. Application of virtual panoramic technology in the field practice teaching platform[J]. Urban Geotechnical Investigation & Surveying, 2017(6): 19-22 (in Chinese).

[6] 陳旭, 陳斌. 基于全景影像的沉浸式多人協(xié)同交互技術研究[J]. 信息技術, 2020, 44(11): 1-5, 13.

CHEN X, CHEN B. Method for immersive collaborative interaction technology based on panoramic image[J]. Information Technology, 2020, 44(11): 1-5, 13 (in Chinese).

[7] 桑學佳, 薛林福, 冉祥金, 等. 基于攝影建模的虛擬野外地質教學系統(tǒng)研究[J]. 中國地質教育, 2020, 29(2): 83-87.

SANG X J, XUE L F, RAN X J, et al. Research on virtual field geological teaching system based on photographic modeling[J]. Chinese Geological Education, 2020, 29(2): 83-87 (in Chinese).

[8] 康傳利, 程耀, 石靈璠. 無人機傾斜攝影建模技術在虛擬現(xiàn)實中的應用[J]. 桂林理工大學學報, 2020, 40(1): 138-142.

KANG C L, CHENG Y, SHI L F. Application of UAV tilt photography modeling technology in virtual reality[J]. Journal of Guilin University of Technology, 2020, 40(1): 138-142 (in Chinese).

[9] 詹容若, 段亮, 羅曉容, 等. 無人機多點位航拍高分辨率三維數(shù)字露頭建模[J]. 西安科技大學學報, 2021, 41(6): 1050-1058.

ZHAN R R, DUAN L, LUO X R, et al. 3D digital outcrop modeling with high resolution using drone-based multi-point photography[J]. Journal of Xi’an University of Science and Technology, 2021, 41(6): 1050-1058 (in Chinese).

[10] AGARWAL S, SNAVELY N, SIMON I, et al. Building Rome in a day[C]//2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 72-79.

[11] FURUKAWA Y, CURLESS B, SEITZ S M, et al. Towards Internet-scale multi-view stereo[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2010: 1434-1441.

[12] MIANGOLEH S M H, DILLE S, MAI L, et al. Boosting monocular depth estimation models to high-resolution via content-adaptive multi-resolution merging[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2021: 9680-9689.

[13] SHARMA A, NETT R, VENTURA J. Unsupervised learning of depth and ego-motion from cylindrical panoramic video with applications for virtual reality[J]. International Journal of Semantic Computing, 2020, 14(3): 333-356.

[14] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

A fast construction method of 6-DOF field virtual environment based on panoramic video image

CHEN Tian-xiang, CHEN Bin

(School of Earth and Space Sciences, Peking University, Beijing 100871, China)

The virtualization of the field environment is of great research significance. It is necessary to consider the following questions: how to construct field virtual environments more efficiently and conveniently, and how to achieve higher degree of interaction freedom and better immersive experience in the constructed virtual environment. We proposed a fast construction method of field virtual environment based on panoramic videos. Through the processing of depth estimation and photographic modeling of extracted panoramic images, the reconstructed scenes were divided into far and near scenes with various forms. Finally an immersive field virtual environment was produced, which supported 6-DOF roaming within a certain range. The practicability of this method was quantitatively analyzed and verified by the objective indicators of image quality, and a prototype system with the complete process from the construction to the use of the field virtual environment was developed as an application. The results show that the fast construction method of 6-DOF field virtual environment based on panoramic image could achieve high efficiency and excellent applicability, exhibiting promising prospects in fields such as virtual field geological practice and teaching.

virtual geographic environment; panoramic image; panoramic video; field environment; 3D reconstruction;visual field fusion; 6-DOF roaming

TP 391

10.11996/JG.j.2095-302X.2022050901

A

2095-302X(2022)05-0901-08

2022-03-24；

2022-06-13

24 March，2022；

13 June，2022

陳天翔(1997-)，男，碩士研究生。主要研究方向為虛擬地理環(huán)境。E-mail：yukkuri@pku.edu.cn

CHEN Tian-xiang (1997-), master student. His main research interest covers virtual geographic environment. E-mail：yukkuri@pku.edu.cn

陳 斌(1973-)，男，教授，博士。主要研究方向為虛擬地理環(huán)境。E-mail：gischen@pku.edu.cn

CHEN Bin (1973-), professor, Ph.D. His main research interest covers virtual geographic environment. E-mail：gischen@pku.edu.cn