梁健 劉召芹 邸凱昌

（1 中國科學(xué)院遙感應(yīng)用研究所，北京 100101）

（2 航天飛行動(dòng)力學(xué)技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100094）

1 引言

衛(wèi)星圖像和巡視器地面圖像被廣泛用于行星著陸探測任務(wù)中。高分辨率的衛(wèi)星圖像用于全球范圍的制圖以及著陸區(qū)選取。巡視器地面圖像提供更精細(xì)的著陸區(qū)域地形地貌和光譜信息，為科學(xué)目標(biāo)選取及路徑規(guī)劃提供技術(shù)支撐。衛(wèi)星圖像和地面圖像及其生成的數(shù)字產(chǎn)品的可視化與量測是實(shí)施行星著陸探測任務(wù)不可缺少的工具，同時(shí)也可以用于行星科學(xué)研究以及教育和科普方面。

在對(duì)地觀測和地理信息領(lǐng)域，虛擬現(xiàn)實(shí)（Virtual Reality，VR）和虛擬地理環(huán)境（Virtual Geographic Environments，VGE）技術(shù)已廣泛應(yīng)用于空間影像和數(shù)據(jù)的可視化［1］，李德仁院士等提出了可量測虛擬現(xiàn)實(shí)（Measurable Virtual Reality，MVR）的概念，并用正射影像及其立體匹配片實(shí)現(xiàn)MVR用于可視化和三維量測［2］，而后又提出數(shù)字可量測影像的概念并用于地球空間信息服務(wù)中［3-4］。地理信息系統(tǒng)（GIS）技術(shù)已被應(yīng)用于行星探測研究和任務(wù)實(shí)施中，例如由美國地質(zhì)調(diào)查局研發(fā)的交互式網(wǎng)絡(luò)地理信息系統(tǒng)行星分析數(shù)據(jù)庫（Planetary Interactive GIS on-the-Web Analyzable Database，PIGWAD）［5］和美國俄亥俄州立大學(xué)開發(fā)的火星網(wǎng)絡(luò)地理信息系統(tǒng)［6］。但總的來說，GIS和虛擬現(xiàn)實(shí)技術(shù)在行星探測領(lǐng)域的研究和應(yīng)用還比較少，其關(guān)鍵技術(shù)和應(yīng)用潛力遠(yuǎn)沒有被開發(fā)。

Google Earth是目前比較流行的星球?yàn)g覽軟件，其中包含了月球和火星及其它行星的衛(wèi)星圖像數(shù)據(jù)，用戶可以以不同分辨率、多視角進(jìn)行瀏覽，同時(shí)在對(duì)應(yīng)的地理位置上通過熱點(diǎn)提供了瀏覽著陸器和巡視器（如勇氣號(hào)和機(jī)遇號(hào)火星車）全景圖像功能。NASA 開發(fā)的開源軟件World Wind 具備與Google Earth類似的便捷強(qiáng)大的可視化功能，同時(shí)也提供了更多的行星數(shù)據(jù)。但是，對(duì)于圖像的量測，以上兩款軟件僅提供了簡單的基于衛(wèi)星圖像的距離量測功能，均沒有提供巡視器全景圖像量測功能。

2 面向行星探測的可量測虛擬現(xiàn)實(shí)環(huán)境的提出

2．1 可量測虛擬現(xiàn)實(shí)環(huán)境的概念

圖1顯示了可量測虛擬現(xiàn)實(shí)環(huán)境的結(jié)構(gòu)圖，其核心部件包含了三維可量測全景瀏覽器以及基于World Wind的星球?yàn)g覽器。其中三維可量測全景瀏覽器，用于瀏覽及量測由地面立體像對(duì)經(jīng)過圓柱投影、自動(dòng)匹配、無縫拼接、圖像勻光后生成的360°全景圖像。量測功能的實(shí)現(xiàn)可以分為以下幾個(gè)步驟：（1）在全景瀏覽器上選取需要量測的目標(biāo)點(diǎn)；（2）由柱面全景圖像坐標(biāo)反算回原始立體像對(duì)，找到該點(diǎn)在原始立體像對(duì)上的對(duì)應(yīng)像素坐標(biāo)；（3）由立體像對(duì)進(jìn)行最小二乘匹配，獲取圖像內(nèi)外方位元素后，進(jìn)行前方交會(huì)解算出點(diǎn)的三維坐標(biāo)。World Wind全球?yàn)g覽器為數(shù)字高程模型（DEM）和數(shù)字正射影像（DOM）的可視化提供了平臺(tái)，同時(shí)，巡視器的路徑也可以在上面進(jìn)行疊加。這兩個(gè)瀏覽器無縫連接在一起，實(shí)現(xiàn)從垂直視角到水平視角的一體化量測。

圖1 可量測虛擬現(xiàn)實(shí)環(huán)境（MVE）概念圖Fig．1 Conceptual diagram of MVE

2．2 數(shù)據(jù)

文中所用地面圖像實(shí)驗(yàn)數(shù)據(jù)，來自于美國勇氣號(hào)火星探測車（Mars Exploration Rover，MER）上搭載的全景相機(jī)（Pancam）拍攝的火星地面圖像。立體全景相機(jī)基線30cm，每臺(tái)相機(jī)的像幅大小為1 024×1 024像元，相機(jī)主距為43mm，像元大小為12μm，視場角為16．8°×16．8°，具備多個(gè)光譜波段［7］。全景相機(jī)和導(dǎo)航相機(jī)一同掛載在高精度云臺(tái)上，可以實(shí)現(xiàn)360°方位角和±90°俯仰角的旋轉(zhuǎn)。實(shí)驗(yàn)中使用的數(shù)據(jù)為經(jīng)核線重采樣的Pancam 立體像對(duì)及派生的三維點(diǎn)云數(shù)據(jù)。經(jīng)過核線重采樣后，立體像對(duì)消除了上下視差，使得立體影像匹配時(shí)同名點(diǎn)的搜索范圍由二維降到了一維，提高匹配的可靠性和速度。三維點(diǎn)云數(shù)據(jù)通過立體像對(duì)間匹配得到同名點(diǎn)后，根據(jù)相機(jī)外方位元素（位置和姿態(tài)），進(jìn)行前方交會(huì)計(jì)算得到。圖像和三維點(diǎn)云數(shù)據(jù)直接從MER Analyst’s Notebook 網(wǎng)站中下載（http：／／an．rsl．wustl．edu／mer／mera／mera．htm）。這 些 數(shù)據(jù)由美國噴氣推進(jìn)實(shí)驗(yàn)室（Jet Propulsion Labora-tory，JPL）的多任務(wù)圖像處理實(shí)驗(yàn)室（Multimission Image Processing Laboratory，MIPL）通過其軟件流水線自動(dòng)生成，核線重采樣的圖像稱為FFL 文件；三維點(diǎn)云數(shù)據(jù)文件稱為XYL 文件，按立體像對(duì)核線重采樣后的左圖像為索引存儲(chǔ)每個(gè)像素點(diǎn)在工作區(qū)局部坐標(biāo)系中地面坐標(biāo)X、Y、Z值。圖2所示為Pancam 獲取的一對(duì)立體圖像，圖2（a）是左相機(jī)獲取圖像（圖像編號(hào)：2p186290744fflajqvp2263l2m1），圖2（b）是右相機(jī)獲取圖像（圖像編號(hào)：2p186290744fflajqvp2263r2m1）。

圖2 勇氣號(hào)火星車全景相機(jī)獲取的一對(duì)核線立體圖像Fig．2 A stereo pair of Pancam images acquired by Spirit rover

文中采用的衛(wèi)星圖像來源于美國“火星勘測軌道器”（Mars Reconnaissance Orbiter，MRO）攜帶的高分辨率科學(xué)成像儀（High Resolution Imaging Science Experiment，HiRISE）。HiRISE 相機(jī)具有14個(gè)CCD 探測元件，其中10個(gè)為紅光波段，2個(gè)為藍(lán)光波段，以及2個(gè)近紅外波段，以推掃式掃描的方式獲取火星表面圖像［8］；每個(gè)CCD 在垂直于行進(jìn)的方向有2 048 個(gè)像元，沿行進(jìn)方向有128 個(gè)像元。HiRISE相機(jī)采用時(shí)間延時(shí)積分電荷耦合元件（TDI-CCD）進(jìn)行成像，通過對(duì)一個(gè)物體進(jìn)行多次曝光，使積分時(shí)長增加M倍（M有8、32、64和128四種選擇），在第一個(gè)積分時(shí)間周期內(nèi)，目標(biāo)在某列的第一個(gè)像元進(jìn)行曝光積分，將得到的光生電荷向下移一個(gè)像元；在第二個(gè)積分周期，目標(biāo)恰好移動(dòng)到該列的第二個(gè)像元進(jìn)行曝光積分，得到的光生電荷與上一個(gè)像元移來的電荷相加再移到下一個(gè)像元……第M個(gè)積分周期結(jié)束時(shí)，該列上第M個(gè)像元的光生電荷與前M-1個(gè)像元的電荷相加后從寄存器讀出。本文采用的HiRISE 圖像為紅光波段，像元分辨率0．25m，圖像大小為44 363×26 521像元，位于勇氣號(hào)火星車著陸區(qū)域，火星經(jīng)緯度范圍為（175．44°，-14．49°）至（175．56°，-14．68°）。Hi-RISE衛(wèi)星數(shù)據(jù)可以在“行星數(shù)據(jù)系統(tǒng)”（PDS）數(shù)據(jù)庫中（http：／／pds．jpl．nasa．gov／）下載得到。

3 可量測全景圖像構(gòu)建

自動(dòng)構(gòu)建大場景、高分辨率的全景圖像是近年來計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)［9］，全景圖像提供了單一圖像所不具備的大視場角，用戶可以得到較好的沉浸感。可量測全景圖像構(gòu)建流程如圖3所示。

圖3 可量測全景圖像構(gòu)建流程圖Fig．3 Panorama stitching flowchart

3．1 全景圖像拼接

3．1．1 圖像預(yù)處理

通常情況下，火星車所停留的平面會(huì)存在一定的坡度，導(dǎo)致獲取圖像上地平線的傾斜（圖4），從而拼接完成的全景圖像出現(xiàn)波浪狀的扭曲。所以需要通過圖像的外方位元素進(jìn)行校正。

式中：x，y是原始圖像的像素坐標(biāo)；x′，y′是校正后圖像的像素坐標(biāo)；k是沿著光軸的旋轉(zhuǎn)角。

圖4 地平線校正Fig．4 Horizon correction

3．1．2 圓柱投影

在全景圖像拼接中，圓柱投影、球面投影、立方體投影是三種常見的投影方式。由于圓柱投影是可展曲面，具有較好的幾何特性，是被普遍采用的一種全景圖像構(gòu)建方式，當(dāng)已知焦距或水平視場角后，就可以將其投影到圓柱坐標(biāo)系統(tǒng)［10］。

圖5顯示了圓柱坐標(biāo)系統(tǒng)的構(gòu)建方式，采用右手坐標(biāo)系XcYcZc，W為原始圖像的寬度，H為原始圖像的高度。坐標(biāo)原點(diǎn)設(shè)在圓柱中心。圓柱投影可以提供水平方向360°的視角，但在豎直方向，視場角被限制在±90°內(nèi)。由于火星車相機(jī)獲取圖像時(shí)的俯仰角無法達(dá)到天頂與天底，故圓柱投影的豎直視場角可以滿足要求。

圖5 圓柱投影Fig．5 Cylindrical projection

3．1．3 全景拼接

全景拼接在Hugin開源軟件［11］基礎(chǔ)上增加了對(duì)圖像外方位元素的處理。首先對(duì)輸入圖像進(jìn)行圓柱投影，然后利用SIFT 算法［12］進(jìn)行關(guān)注點(diǎn)的提取與匹配，經(jīng)過RANSAC 方法剔除粗差。為了獲得高精度的拼接圖像，獲得相鄰圖像的同名點(diǎn)后，利用同名點(diǎn)進(jìn)行光束法平差，對(duì)各圖像的外方位進(jìn)行調(diào)整，利用平差后的影像外方位，計(jì)算兩兩圖像間的旋轉(zhuǎn)矩陣，最后對(duì)圖像進(jìn)行勻光處理完成全景圖像拼接。圖6為勇氣號(hào)火星車在672火星日至677火星日獲取的3個(gè)不同俯仰角的81幅單波段原始核線圖像拼接完成的全景圖像。

圖6 拼接完成的全景圖像Fig．6 Mosaicked panorama

生成全景圖像后，需要對(duì)拼接過程中的參數(shù)進(jìn)行記錄，以便進(jìn)行后續(xù)的坐標(biāo)反算，記錄的內(nèi)容包括：（1）原始圖像的文件名、格式、圖像大小、焦距和水平視場角；（2）全景圖像的文件名、格式、圖像大小、投影類型；（3）同名點(diǎn)的像素坐標(biāo)。

3．2 全景圖像量測

拼接生成的全景圖像只是一個(gè)二維的圓柱投影圖像，其三維量測功能的實(shí)現(xiàn)是通過全景圖像坐標(biāo)反算得到在原始立體圖像的位置，利用原始立體圖像實(shí)現(xiàn)量測功能。由全景圖像坐標(biāo)反算回原始立體圖像坐標(biāo)，分為以下幾個(gè)步驟。

3．2．1 全景圖像坐標(biāo)反算回經(jīng)過圓柱投影后的圖像

首先，通過讀取工程文件信息，計(jì)算全景圖像每個(gè)像素所占的水平視場角ρ。

式中：W是全景圖像的寬度；Hfov是全景圖像的水平視場角；Ⅰ（xp，yp）是全景圖像上的某一點(diǎn)；Ⅰ′（xc，yc）是其圓柱投影后圖像上的對(duì)應(yīng)點(diǎn)。

3．2．2 反圓柱投影對(duì)點(diǎn)Ⅰ′（xc，yc）進(jìn)行反圓柱投影，得到原始圖像上的點(diǎn)Ⅰ″（xo，yo）

3．2．3 三維量測

除了原始立體圖像外，PDS提供了MER 任務(wù)中大部分站點(diǎn)局部坐標(biāo)系中的地面坐標(biāo)X、Y、Z值、距離、坡度等數(shù)據(jù)。這些信息與立體像對(duì)中左影像的核線影像相關(guān)聯(lián)，并與圖像像素坐標(biāo)一一對(duì)應(yīng)。在全景瀏覽器中，不僅可以進(jìn)行單點(diǎn)量測，還可以進(jìn)行線量測（圖7），在全景圖像上選取任意兩點(diǎn)畫線，計(jì)算在線段上的所有點(diǎn)的三維信息，可以繪制出該線段的高程和坡度分布曲線（圖8）。

圖7 對(duì)全景圖像進(jìn)行線量測Fig．7 Measuring aprofile in the panorama

圖8 高程和坡度分布曲線Fig．8 Elevation and slope profiles measured from the panorama

對(duì)于沒有提供三維信息的站點(diǎn)，需要在全景瀏覽器中進(jìn)行實(shí)時(shí)的解算。在反算得到原始圖像的坐標(biāo)值后，調(diào)出該點(diǎn)所在的立體像對(duì)，通過影像匹配和前方交會(huì)解算出該點(diǎn)的坐標(biāo)。圖9顯示了實(shí)時(shí)反算后，調(diào)出該點(diǎn)所在的立體像對(duì)，然后進(jìn)行最小二乘匹配和前方交會(huì)計(jì)算該點(diǎn)的三維坐標(biāo)。

圖9 立體像對(duì)量測窗口Fig．9 Stereo measurement window associated with the panorama viewer

3．3 全景圖像的可視化

拼接完成的全景圖像（圖6）是將圓柱投影的圖像以矩形格式存儲(chǔ)的，直接瀏覽會(huì)有變形，故需要使用全景瀏覽器瀏覽。本文利用DirectX 技術(shù)構(gòu)建一個(gè)圓柱體，將全景圖像作為貼圖置于圓柱內(nèi)表面，設(shè)置視點(diǎn)于圓柱中心，用鼠標(biāo)和鍵盤控制視點(diǎn)的旋轉(zhuǎn)和移動(dòng)，同時(shí)，對(duì)所在顯示窗口內(nèi)的部分采用雙緩存技術(shù)進(jìn)行實(shí)時(shí)的反投影計(jì)算，使得瀏覽器所顯示透視投影圖像與相機(jī)拍攝的原始圖像一致（圖7）。全景瀏覽器提供了基礎(chǔ)的瀏覽功能，如縮放、旋轉(zhuǎn)、平移，以及上面所述的各種量測功能。不同站點(diǎn)之間的全景圖像通過熱點(diǎn)進(jìn)行連接。

4 全景瀏覽器與World Wind的無縫集成

World Wind是NASA 開發(fā)的開源虛擬星球?yàn)g覽器，除了地球數(shù)據(jù)外，World Wind還提供了月球、火星、金星、木星的數(shù)據(jù)［13］。用戶可以對(duì)所關(guān)注的星球進(jìn)行瀏覽、平移、縮放。World Wind中的數(shù)據(jù)以XML格式進(jìn)行管理，可以通過編寫XML文件自由疊加自己的圖像、DEM、DOM、探測車路徑以及其它數(shù)據(jù)。

基于火星車著陸區(qū)的HiRISE 立體衛(wèi)星圖像，生成高分辨率的DEM 和DOM，并將其按經(jīng)緯度疊加到火星表面。為了增加World Wind 的渲染速度，圖像通過建立金字塔進(jìn)行分層管理，在每一層中，圖像被分割為512×512像素的瓦片，并通過文件名建立索引。其它數(shù)據(jù)如火星車的路徑圖，可以以KML格式加入World Wind中。

全景瀏覽器與星球?yàn)g覽器的無縫集成通過影像數(shù)據(jù)和坐標(biāo)實(shí)現(xiàn)，其中衛(wèi)星圖像所用的星固全球坐標(biāo)和地面圖像所用的著陸區(qū)局部坐標(biāo)實(shí)時(shí)轉(zhuǎn)換。只要在全景圖像站點(diǎn)一定距離范圍內(nèi)點(diǎn)擊星球?yàn)g覽器，則會(huì)激活全景瀏覽器并顯示該全景圖像。

圖10（a）顯示了World Wind火星的全貌，圖10（b）為World Wind疊加HiRISE 衛(wèi)星圖像、勇氣號(hào)火星車路徑、以及由火星車地面影像生成的數(shù)字正射圖像后的效果圖。點(diǎn)擊星球?yàn)g覽器上的數(shù)字正射影像，則可激活對(duì)應(yīng)的全景圖像進(jìn)行瀏覽和量測。

圖10 World Wind用戶界面Fig．10 World Wind interface

5 結(jié)束語

本文針對(duì)行星著陸巡視探測的特點(diǎn)，提出了一種基于地面全景圖像和衛(wèi)星圖像的可量測虛擬現(xiàn)實(shí)環(huán)境構(gòu)建方法，將地面圖像自動(dòng)拼接成可量測全景圖像，利用全景瀏覽器直接在全景圖像上進(jìn)行三維量測，三維可量測全景圖像與基于星球?yàn)g覽器進(jìn)行無縫集成，實(shí)現(xiàn)了從垂直視角衛(wèi)星圖像到地面水平視角巡視器圖像的一體化量測。在后續(xù)的工作中，我們將加入更多的數(shù)據(jù)，如我國嫦娥二號(hào)繞月衛(wèi)星圖像及DEM、DOM 數(shù)據(jù)、未來的月球車地面圖像、火星探測數(shù)據(jù)等，構(gòu)建月球和火星可量測全景虛擬現(xiàn)實(shí)環(huán)境，為探測任務(wù)和科研應(yīng)用服務(wù)。

（References）

［1］Lin Hui，Gong Jianhua．Exploring virtual geographic environments［J］．Annals of GIS，2001，7（1）：1-7

［2］Li Deren，Wang Mi，Gong Jianya．Principle and implement of measurable virtual reality （MVR）based on seamless stereo-orthoimage database［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008

［3］Li Deren，Huang Junhua Shao Zhenfeng．Digital earth with digital measurable images［C］／／The International Archives of the Photogrammetry．Beijing：Remote Sensing and Spatial Information Sciences，2008：533-538

［4］Li Deren，Xin Shen．Geospatial information service based on digital measurable image-take image city Wuhan as an example［J］．Geo-Spatial Information Science，2010，13（2）：79-84

［5］Hare T M，Tanaka K L．PIGWAD–new functionality for planetary GIS on the web［C］／／31st Lunar and Planetary Science Conference．Houston：Lunar and Planetary Institute，2000：1889

［6］Li Rongxing，Di Kaichang，Wang Jue，et al．A Web-GIS for spatial data processing，analysis，and distribution for the MER 2003 mission［J］．Photogrammetric Engineering and Remote Sensing，Special Issue on Web and Wireless GIS，2007，73（6）：671-680

［7］Alexander D A，Deen R G，Andres P M，et al．Processing of Mars Exploration Rover imagery for science and operations planning，E02S02［J］．Journal of Geophysical Research -Planets，2006，111（E2）

［8］McEwen A S，Eliason E M，Bergstrom J W，et al．Mars reconnaissance orbiter’s high-resolution imaging science experiment（HiRISE），E05S02［J］．Journal of Geophysical Research，2007，112

［9］Szeliski R，Shum H．Creating full view panoramic image mosaics and texture-mapped models［C］／／SIG-GRAPH’97Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques．Los Angeles：ACM SIGGRAPH，1997：251-258

［10］Chen Shenchang．QuickTime VR-an image-based approach to virtual environment navigation［C］／／SIGGRAPH’95Computer Graphics．Los Angeles：ACM SIGGRAPH，1995：29-38

［11］Wikipedia．Hugin（software），2011a［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／Hugin ＿%28software%29

［12］Lowe D G．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60（2）：91-110

［13］Wikipedia．NASA World Wind，2011b［EB／OL］．［2011-07-10］．http：／／en．wikipedia．org／wiki／World＿Wind