劉興潭,張成渝,武延鵬,華寶成,吳奮陟
(中國空間技術(shù)研究院 北京控制工程研究所,北京 100190)
在我國行星探測重大工程中,小天體探測任務(wù)是一大標(biāo)志性項目。在飛抵小天體前,控制系統(tǒng)需要生成目標(biāo)的三維數(shù)字地形模型(Digital Terrain Model,DTM),從而為交會、下降、附著和取樣過程中的高精度和高自主相對自主導(dǎo)航與控制需求服務(wù),進一步提供測定軌道參數(shù)、自轉(zhuǎn)參數(shù)、目標(biāo)形狀和熱輻射等基礎(chǔ)數(shù)據(jù)。由于小行星探測難度大,需要在地面預(yù)先模擬小天體的表面特性,確保地面驗證充分。因此,開展小天體光學(xué)觀測圖像集的仿真研究,生成包含特定時刻下特定位姿角度與光照信息的目標(biāo)圖像,可作為驗證DTM 模型重建算法精度的數(shù)據(jù)源。
針對空間光場中的非合作目標(biāo),本文選擇小天體為研究對象,搭建圖像渲染觀測平臺(Image Rendering Observation Technology,IROT),用于生成在軌渲染光學(xué)圖像集。該圖像集能夠靈活提供目標(biāo)在觀測時刻的位姿序列、光照角度和相機特性等參數(shù),符合實際儀器成像特點,同時實現(xiàn)了對不同參量的控制。相比于目前已發(fā)布的天體圖像仿真軟件,本文在生成任意位置方向上相機所拍攝圖像的基礎(chǔ)上,還針對以下內(nèi)容進行了定制開發(fā):(1)支持基于物理的射線追蹤渲染方式,還原度高,真實性強;(2)可加入在軌任務(wù)的星歷數(shù)據(jù)(SPICE 位姿數(shù)據(jù)),輔助任務(wù)規(guī)劃與地面演練;(3)可通過多種光電轉(zhuǎn)換關(guān)系,適配選用的儀器鏡頭成像規(guī)律。
本文提出的小天體在軌IROT 在定性與定量角度均符合實測任務(wù)圖像的要求,能夠為小天體探測在軌任務(wù)規(guī)劃提供地面模擬構(gòu)建小天體地形模型與重建的閉環(huán)分析輔助,平臺操作靈活,適配性高。
在目前的地外天體圖像仿真研究領(lǐng)域,英國鄧迪大學(xué)在歐洲航天局(European Space Agen?cy,ESA)的支持下開發(fā)了一款行星、小天體自然環(huán)境仿真軟件——行星和小天體自然場景生成實用程序(Planet and Asteroid Natural scene Gen?eration Utility,PANGU)[1]。PANGU 利用真實和合成的數(shù)據(jù)來渲染圖像諸如火星、月球、水星和小天體等行星表面,可使用開環(huán)或者閉環(huán)方式對已生成的場景、相機、時間和物體模型等進行控制,生成相機、激光雷達和雷達圖像來支持行星著陸、表面漫游和軌道交會對接操作的離線和閉環(huán)高真實度模擬仿真。但是PANGU 的初始DTM 需要從測距敏感器,如美國國家航空航天局(NASA)的火星軌道器激光高度計或ESA 的高分辨率立體相機等中獲取。
德國宇航中心(DLR)開發(fā)的月球表面光照模擬框架(Moon Surface Illumination Simulation Framework,MSISF)[2],在高精度的月球地形數(shù)據(jù)基礎(chǔ)上,使用了三維建模技術(shù)來創(chuàng)建具有大量隕石坑的人造天體表面,隨后由視覺光線追蹤器,即光線跟蹤程序(Persistence of Vision Ray Tracer,POV-Ray)進行光照的模擬。這個過程中,需要使用繞月球軌道運行的虛擬觀測相機,結(jié)合設(shè)定的觀測位置、姿態(tài)和時間,完成光線追蹤并導(dǎo)出圖像,但是模擬結(jié)果不完全符合實際儀器鏡頭的成像規(guī)律。
國內(nèi)相關(guān)領(lǐng)域的研究多集中于計算直接光照與間接光照并獲得全局光照效果的技術(shù)方面,并在游戲開發(fā),電影動畫及特效中融入圖形渲染的技巧,形成了各種完整的光照解決方案[3],但少見于地外天體的模擬在軌觀測渲染研究中。
針對空間光場中小天體在軌序列圖像渲染的觀測需求,本文對仿真中所運用到的三維數(shù)據(jù)模型、基于光線追蹤的物理渲染模型(Physically Based Rendering Toolkit,PBRT)[4]、雙向反射分布函數(shù)(Bidirectional Reflectance Distribution Function,BRDF)文件、航天器行星儀器轉(zhuǎn)陣事件(Spacecraft Planet Instrument C-matrix Events,SPICE)、渲染仿真工具箱(RenderTool?box)涉及的渲染觀測技術(shù)以及歸一化光譜響應(yīng)與灰度響應(yīng)轉(zhuǎn)化進行了全流程平臺搭建,旨在從任意位置角度模擬在軌光學(xué)敏感探測器所拍攝的小天體圖像,為后續(xù)小天體地表的三維重建提供離線閉環(huán)渲染環(huán)境。
IROT 結(jié)合了目標(biāo)形狀信息、幾何位置數(shù)據(jù)與光學(xué)反射模型。圖1 所示為小天體渲染圖像仿真流程。其主要步驟如下:
圖1 小天體渲染圖像仿真流程Fig.1 Asteroid monocular image set simulation process
第一步,將朗伯地表反射特性[5]配置為BRDF 文件,用Blender[6]導(dǎo)入并處理NASA 公開的小天體三維數(shù)據(jù)模型,并以NASA 提供的公開位姿數(shù)據(jù)SPICE 的關(guān)鍵文件,作為包括幾何數(shù)據(jù)、目標(biāo)形狀與反射特性的特性輸入。
第二步,將小天體的FITS(Flexible Image Transport System)格式文件和拍攝時刻的場景信息讀入后,通過預(yù)先在Ubuntu16.05 環(huán)境下配置的RenderToolbox4[7]工具箱進行仿真,從而獲取小天體的位置坐標(biāo)、太陽的光照角度以及相機的位置參數(shù)。
第三步,通過基于物理渲染的開源引擎PBRT 渲染器,得到小天體的光譜響應(yīng)結(jié)果。
第四步,計算歸一化光譜響應(yīng)與灰度響應(yīng)轉(zhuǎn)化系數(shù),將結(jié)果寫入仿真環(huán)境參數(shù),輸出與實際探測任務(wù)位姿信息一致的小天體仿真光學(xué)圖像,即符合真實小天體觀測儀器成像的圖像。
Blender 是一款開源的跨平臺三維模型編輯軟件,支持多種第三方渲染器。本文利用Blend?er 對三維小天體點云模型進行預(yù)先光照渲染的功能,生成光線追跡狀態(tài)下的初始圖像。
將隼鳥一號(Hayabusa-1)[8]任務(wù)獲取的糸川小行星(Itokawa)的三維模型[9]導(dǎo)入Blender,設(shè)定著色方式,包含紋理、陰影、次表面散射與光線追蹤,并在日光模式下渲染高光與漫射效果,作為初始三維模型輸入文件。
BRDF 能夠表示物體表面的反射,即反射方向上的輻射亮度增量與入射方向輻射照度增量的比率。由于BRDF 遵循物理定律,因此使用BRDF 模型計算光與表面交互的渲染技術(shù)也稱為基于物理的渲染。通過基于物理規(guī)則的光與物質(zhì)交互的規(guī)律來計算光照,可以得到和光學(xué)敏感器拍攝影像一樣寫實的渲染效果。圖2 為針對地表反射特性模型生成PBRT 渲染的BRDF 文件過程。其中,朗伯模型實現(xiàn)了對小天體表面光度學(xué)輻射特性的仿真,其波長λ∈(400 nm,1 100 nm)。為準(zhǔn)確模擬目標(biāo)特性,使用任務(wù)實測太陽光譜光源數(shù)據(jù)與糸川實測光譜反射率數(shù)據(jù)[10],生成多譜段成像相機(AMICA)對應(yīng)的BRDF 文件。
圖2 生成BRDF 文件的過程Fig.2 Flow chart for generating BRDF files
導(dǎo)航輔助信息設(shè)施(Navigation Assistant In?formation Facility,NAIF)在美國宇航局空間科學(xué)辦公室的指導(dǎo)下,建立了一個名為SPICE 的數(shù)據(jù)系統(tǒng)[11],以協(xié)助科學(xué)家規(guī)劃和解釋天基儀器的科學(xué)觀測。
SPICE 的主要目標(biāo)是提供用于規(guī)劃空間科學(xué)任務(wù)的幾何和其他輔助信息,隨后恢復(fù)任務(wù)執(zhí)行完畢后返回的科學(xué)儀器數(shù)據(jù),包括將各個儀器數(shù)據(jù)集與其他儀器的數(shù)據(jù)相關(guān)聯(lián)。SPICE 數(shù)據(jù)提供了仿真所需的航天器星歷、小天體星歷、航天器時鐘以及光學(xué)成像敏感器的安裝對準(zhǔn)及觀測時刻小天體、探測器和太陽準(zhǔn)確的位置信息。
空間光場渲染采用RenderToolbox 實現(xiàn)平臺的場景搭建,Render Toolbox 是由賓夕法尼亞大學(xué)(University of Pennsylvania)基于Radiance 和PBRT 引擎開發(fā)的工具箱。通過Blender 與Ren?derToolbox 聯(lián)合仿真可獲取攜帶位姿序列、光照角度和相機特性等參數(shù)的單目序列圖像,從而進一步對觀測圖像進行建模實驗。圖3 為空間光場觀測平臺的搭建過程。其中,在Ubuntu 環(huán)境中需要預(yù)設(shè)的依賴項包括:用來讀取和寫入3D 場景文件的Assimp,用來讀取多光譜圖像文件的OpenEXR,用來分發(fā)預(yù)構(gòu)建的渲染器和其他工具的Docker,以及用來獲取工具箱功能的Tool?boxToolbox。
圖3 Render Toolbox 配置過程Fig.3 Render Toolbox configuration process
首先,在獲取目標(biāo)仿真圖像前,需要將圖像的歸一化光譜響應(yīng)轉(zhuǎn)化為灰度響應(yīng)。由于不同觀測儀器對波長的響應(yīng)不同,通過式(1)計算可得到儀器響應(yīng)的流量譜[12]。
式中:Mc是光譜響應(yīng),f(λ)是光譜輻照度流量抵達觀測儀器時的分布函數(shù),T(λ)QE(λ) 是光學(xué)成像儀器的歸一化光譜響應(yīng),C1是定標(biāo)常數(shù)[13]。
表1 為擬合時采用的AMICA 相機波長與光譜流量f(λ)的相關(guān)數(shù)據(jù),其二維關(guān)系如圖4所示。
圖4 AMICA 相機波長與光譜流量的關(guān)系Fig.4 Relationship between AMICA camera wavelength and spectral flow
表1 仿真采用的AMICA 波長與光譜流量數(shù)據(jù)Tab.1 AMICA wavelength and spectral flow data used in simulation
然后,通過擬合流量函數(shù)f(λ)與光譜響應(yīng)函數(shù)T(λ)QE(λ),并對λ∈(510 nm,600 nm)積分,積分結(jié)果記為Mi。但依靠傳統(tǒng)的積分算法單次求解耗時5 165.62 s,周期過長,不能滿足后續(xù)地面模擬實驗與在軌測量任務(wù)的快速解算需求,需要提升計算效率。
因此,本文綜合光譜與灰度響應(yīng)輸入?yún)?shù)和算法精度的需求,提出了一種計算小天體在軌渲染圖像歸一化光譜與灰度響應(yīng)的快速近似轉(zhuǎn)化方法,即將積分過程轉(zhuǎn)化為求和的方式,并通過迭代實驗進行了驗證。通過替換不同工況的輸入?yún)?shù),在多次求解后歸納出積分結(jié)果Mi與求和結(jié)果Ms之間的關(guān)系為:
其中u=9.709 986。同時,兩種求解方法的響應(yīng)值精度一致。
因此通過簡化積分函數(shù),可以將積分過程轉(zhuǎn)化為求和過程,計算得到:
在仿真環(huán)節(jié),本文利用式(2)將歸一化光譜響應(yīng)轉(zhuǎn)化為灰度響應(yīng)的解算過程進行簡化,通過對流量函數(shù)f(λ)和光譜響應(yīng)函數(shù)T(λ)QE(λ)在λ∈(510 nm,600 nm)區(qū)間內(nèi)進行求和,得到實際響應(yīng)值Mi。實驗表明,改進后的求和算法僅需3.48 s 即可完成圖像解算,解算時間大幅縮短。
參考小天體25143Itokawa 的相關(guān)參數(shù),設(shè)定仿真相機的圖像分辨率為1 024×1 024 像素,視場為5.83°×5.83°。以2005年9月30日14:31:22時,隼鳥一號AMICA 相機可見光波段所觀測的圖像ST_2421019509_V 時的相關(guān)參數(shù)為例(見表2),單次曝光時間為0.087 s。
表2 ST_2421019509_V 成像外部參數(shù)Tab.2 ST_2421019509_V imaging external parameters
首先,讀入糸川小天體的三維場景文件Ito?kawa_amica_static_V1.blend 和目標(biāo)時刻下圖像對應(yīng)的st_2421019509_v.fit 文件。然后,采用PBRT 渲染模式,通過spice kernel 讀入預(yù)先留存的糸川小天體itokawa_kernel.tm 文件,解算出對應(yīng)時刻下的相機與太陽位置信息。圖5為渲染圖像觀測的st_2421019509_v仿真過程中的相機與太陽位置。其中,SunTarget=[0,0,0];SunPosition=[18 133 370.618 960,-160 914 730.557 823,4 752 091.848 854 ] ;cameraPosition=[-0.371 736,-7.506 404,0.010 927];camera?Target=[-0.002 750,-0.155 930,0.003 904];cameraUp=[0.994789,-0.049852,0.088 939]。
圖5 渲染觀測圖像st_2421019509_vFig.5 Rendered observation image st_2421019509_v
利用歸一化光譜響應(yīng)與灰度響應(yīng)的轉(zhuǎn)化關(guān)系,計算仿真圖像的灰度值,輸出結(jié)果如圖6 所示??梢钥闯?,基于朗伯地表反射特性模型仿真生成的圖像,相較于實測任務(wù)圖像,在地形輪廓與細(xì)節(jié)方面均呈現(xiàn)較為一致的狀態(tài),符合實拍圖像標(biāo)準(zhǔn),這在后續(xù)重建過程中是有利的。
圖6 本文仿真結(jié)果與AMICA 實拍圖像Fig.6 Simulation result and AMICA real shot image
(1)標(biāo)準(zhǔn)差(Standard Deviation,SD)是方差的算術(shù)平方根,反映了數(shù)據(jù)集的離散程度,即有:
(2)均方根誤差(Root Mean Squared Error,RMSE)是指參數(shù)估計與參數(shù)真值之差平方的期望值的算術(shù)平方根。它等同于圖像質(zhì)量評估中的中間評估指標(biāo),在許多評估指標(biāo)中均使用了均方根誤差。均方根誤差主要是評估數(shù)據(jù)的變化程度。RMSE值越小,模型精確度越高,其基本公式為:
仿真圖像的真實度檢驗分為定性與定量兩個方面。
首先是定性檢驗。在圖6(a)與6(b)中,由目視判別可知基于朗伯地表反射特性模型的小天體渲染圖像仿真出的圖像與隼鳥一號任務(wù)中的實拍圖像效果接近,且圖像高低起伏部分的對比度高,地表細(xì)節(jié)仿真情況良好,為后期重建能夠提供準(zhǔn)確的數(shù)據(jù)源。
其次是定量角度的檢驗。圖7(a)所示為st_2421019509_v圖像的實值圖像與仿真圖像的灰度差,X,Y坐標(biāo)分別為對應(yīng)像素位置,均為0~1 023。圖7(b)為對應(yīng)圖像的灰度差值統(tǒng)計直方圖,為直觀顯示灰度差,統(tǒng)計過程中省略了灰度為0 的區(qū)域。由統(tǒng)計結(jié)果可知,灰度均值Mean=22.498 2,中位數(shù)Median=14,標(biāo)準(zhǔn)差SD=9.129 4,均方根誤差RMSE=0.101 4。因此仿真圖像與任務(wù)實拍圖像效果接近,滿足需求。
使用在軌序列圖像渲染觀測平臺搭建技術(shù),能夠靈活實現(xiàn)不同工況下從三維模型到二維序列圖像的轉(zhuǎn)換,進一步還可獲取相應(yīng)圖像的位姿序列、光照角度、相機參數(shù)和與實際探測任務(wù)位姿信息一致的小天體仿真光學(xué)圖像集,如圖8 所示。然后,利用渲染的光學(xué)圖像集進行基于幾何立體法的三維模型重建,可得到小天體的全球地形模型。
圖8 觀測序列仿真結(jié)果Fig.8 Observation sequence simulation results
本文的小天體DTM 從光學(xué)圖像集直接生成。通過單一視角圖像結(jié)合其他已知信息推算目標(biāo)三維結(jié)構(gòu)的方法稱為單目視覺法[14],只需布置一臺角度合適的相機即可重建待測目標(biāo)的三維模型。此處針對所獲取的小天體仿真圖像集,采用全局基于運動重建結(jié)構(gòu)(Global SfM)法[15]對場景進行稀疏重建。進一步,得到小天體紋理渲染后的3D 模型。
為了檢驗精度,對比Gaskell 通過多譜段成像相機繞飛期間所拍攝的小行星高分辨率光學(xué)圖像重構(gòu)的高精度三維模型,完成地形投影誤差的評價。
以聯(lián)合仿真觀測影像集中的圖像st_2420945783_v 為例,將Gaskell 實值模型與本文生成的三維模型在觀測時間、觀測位姿和光照信息相同的情況下,對應(yīng)生成的二維仿真觀測圖像,采用多強度模式完成地形投影配準(zhǔn)匹配,結(jié)果如圖9 所示(彩圖見期刊電子版)。其中,綠色部分為本文重建模型的地形投影,紫色部分為與真值模型的二維投影相匹配后的結(jié)果,未重合區(qū)域保留綠色。其轉(zhuǎn)換矩陣為:
圖9 地形投影配準(zhǔn)結(jié)果Fig.9 Terrain projection registration results
參考式(4)和式(5),對地形匹配灰度誤差值進行統(tǒng)計,結(jié)果如表3 所示。其中,在重建模型的仿真二維地形圖中,圖像灰度值配準(zhǔn)的平均RMSE 為0.178 5,糸川小天體的全球表面地形[16]海拔約在-21~69 m,高差約為90 m,采用等比例換算對應(yīng)約為小天體地表0.062 8 m 的海拔高差,表明采用本文方法的仿真序列圖像進行三維重建的模型精度較高,可以滿足未來深空探測小天體地表重建厘米級的精度需求。
表3 地形匹配灰度誤差指標(biāo)統(tǒng)計結(jié)果Tab.3 Index statistics of terrain matching gray error
小天體地形建模實驗結(jié)果表明,本文的圖像仿真方法可以有效運用到小天體地形模型的實際建模工作中。
本文提出了一種空間光場中小天體在軌渲染觀測平臺搭建技術(shù),對所運用到的模型文件生成、光譜與灰度響應(yīng)轉(zhuǎn)化方法進行了闡述。通過基于物理模型的PBRT 渲染器,輸出與實際探測任務(wù)位姿信息一致的小天體光學(xué)圖像集。最后,對小天體渲染圖像集進行了真實度檢驗與地形模型建模實驗驗證。在三維模型重建實驗中,計算渲染圖像灰度值與原始在軌數(shù)據(jù)匹配達0.178 5,即小天體地表0.062 8 m 的海拔高差。IROT 生成圖像與實測任務(wù)圖像的一致性良好,具備高還原度、強真實性的渲染模式,能結(jié)合實際控制系統(tǒng)規(guī)劃在軌任務(wù)的星歷數(shù)據(jù),輔助任務(wù)規(guī)劃與地面演練,還可通過多種光電轉(zhuǎn)換關(guān)系,適配選用儀器鏡頭的成像規(guī)律。未來還可融合導(dǎo)航算法進一步閉環(huán)驗證平臺的模擬在軌表現(xiàn)能力。
綜上所述,IROT 具有以下優(yōu)勢:能夠靈活的提供目標(biāo)天體在觀測時刻的包含位姿序列、光照角度、相機特性等參數(shù)的序列圖像;可對不同參量實現(xiàn)變量控制,從而方便分析歸納影響重建的內(nèi)部與外部因素;支持在后期重建過程中引入外部變量,從而有利于深入解算地形模型;通過融合光譜響應(yīng)與積分轉(zhuǎn)換關(guān)系的仿真方法,針對不同反射率的小天體,可根據(jù)實測結(jié)果制定仿真光學(xué)反射模型;提出了一種小天體在軌渲染圖像歸一化光譜與灰度響應(yīng)的快速轉(zhuǎn)化方法,在精度不變的情況下,解算時間縮短至秒級。