郭鵬宇，胡慶雷,，歐陽真超

(1. 北京航空航天大學自動化科學與電氣工程學院，北京 100190；2. 北京航空航天大學杭州創(chuàng)新研究院(余杭)，杭州 310023)

0 引言

隨著航天工程的持續(xù)推進，太空合作共贏與競爭對抗并存的趨勢日益明顯。為維護空間在軌安全，非合作航天器的在軌監(jiān)測日益重要，具體任務包括快速逼近、繞飛監(jiān)視以及運動捕獲甚至打擊對抗等[1-2]。由于目標的強非合作特性，服務航天器無法提前獲知目標特征及在軌運動信息，這給目標的精準、快速感知帶來了巨大的挑戰(zhàn)[3-4]。針對上述任務需求，空間非合作航天器的三維模型快速構建技術備受關注，目標的模型結(jié)構可以為空間博弈對抗提供豐富的感知信息。因此，目標三維模型精確快速重構是未來目標監(jiān)視、對抗制勝率的重要技術保障之一[5]。

現(xiàn)有的目標三維模型表征方式總體可以劃分為顯式模型表征和隱式模型表征。其中，顯式模型表征包括點云(Point Cloud)、體素(Voxelization)和網(wǎng)格(Meshgrid)[6]。三維點云表征可以更好地保留精確的模型位置、幾何特征和拓撲結(jié)構[7]。然而，真實采樣的點云相對稀疏、無序和噪聲，其索引計算會帶來巨大的計算開銷，同時空間結(jié)構上的多樣性也會導致計算上的歧義。而模型的體素表征可以看作是對三維無序點云的正則化處理，基于均勻體素的模型表征更適合航天器的特征提取與恢復，規(guī)則化的結(jié)構表示大大減少了數(shù)據(jù)規(guī)模和處理的計算量[8]。網(wǎng)格表示下目標的三維表面結(jié)構最光滑，但生成的曲面網(wǎng)格都具有較強的隨機性，這通常需要額外的對齊框架設計[9]。由于點云和網(wǎng)格表征均具有較強的隨機性，針對非合作航天器的模型體素表征唯一性最佳。隱式的三維模型恢復是由目前最為顛覆性的神經(jīng)輻射場(Neural Rad-iance Fields, NeRF)模型[10]首次引出，以相機視角和位置作為神經(jīng)網(wǎng)絡輸入，利用隱式的三維模型高質(zhì)量地恢復不同視角下的目標視圖。雖然基于目標隱式模型可以高質(zhì)量地恢復目標不同視角下的圖片，但在航天器三維感知的任務中，顯式模型表征能夠為后續(xù)導航任務提供更有利的支撐。

針對空間非合作航天器的三維重構任務，目前現(xiàn)有方法包括基于幾何的算法和基于神經(jīng)網(wǎng)絡建模的方法。其中，傳統(tǒng)基于幾何計算的三維模型構建是目前的主流方案，通常需要對目標進行多角度的連續(xù)采樣和復雜的迭代計算，計算時間過長極大地限制了傳統(tǒng)方法在航天器實時感知任務中的應用。調(diào)研發(fā)現(xiàn)，基于人工智能的三維場景重構和目標三維結(jié)構恢復已取得大量的研究進展。但神經(jīng)網(wǎng)絡依賴大規(guī)模標注數(shù)據(jù)進行有監(jiān)督訓練，數(shù)據(jù)饑餓問題(Data Hungry Problem)是所有基于端到端(End-to-End)學習的研究中普遍存在的問題。雖然有少數(shù)利用人工智能算法進行航天器數(shù)據(jù)特征的提取及處理研究，如基于圖像的目標檢測和分割[11]，但缺少對應目標的三維結(jié)構基準。數(shù)據(jù)集的缺乏使得面向非合作航天器的三維模型智能重構研究暫時處于空白狀態(tài)。

在航天器顯式模型表征中，體素化的模型結(jié)構更加規(guī)則且具有唯一性，基于這種規(guī)則化的表示方式進行網(wǎng)絡建模，能夠降低非線性擬合的復雜度，且重建結(jié)果更加易于進行姿態(tài)配準、朝向檢測等后續(xù)任務處理。對于三維體素模型重建結(jié)果的量化指標，地面物體通常使用體素交叉聯(lián)合(intersection-over-union)[12]評估算法性能?；诘孛婺繕巳S模型智能恢復算法研究，本文提出了“編碼-解碼-細化”網(wǎng)絡架構，以解決空間非合作航天器三維體素模型重構問題，建立航天器三維模型數(shù)據(jù)樣本，并利用人工智能方法深入學習航天器模型與輸入圖片之間的映射關系。具體來說，本文的貢獻可以總結(jié)如下：

1)基于公開航天器三維模型和開源渲染軟件，針對單視圖三維體素重建任務，構建了面向航天器三維模型重建任務的數(shù)據(jù)集，包括多個航天器的三維模型文件、對應多尺度體素正則化文件以及多視角相機采樣模擬的渲染圖像，為后續(xù)深度學習建模任務提供數(shù)據(jù)基礎和量化評估方案。

2)設計了基于單一視圖輸入的航天器三維體素模型神經(jīng)網(wǎng)絡框架，整個模型主干網(wǎng)絡主要包含3個子模塊，圖像2D卷積編碼模塊、基于3D卷積的解碼模塊和基于U-Net架構的3D卷積調(diào)優(yōu)模塊，能夠針對單幀目標圖像數(shù)據(jù)進行卷積編解碼，然后恢復航天器的三維空間正則化的體素表征，并利用MIoU指標對網(wǎng)絡性能進行評估。

本文各部分組織如下：第1章介紹了航天器三維模型智能重構算法的總體框架；第2章介紹了航天器三維模型數(shù)據(jù)樣本集的構建方案；第3章介紹了所設計的重建模型的神經(jīng)網(wǎng)絡架構細節(jié)，以及與所構建數(shù)據(jù)集的訓練方案；第4章介紹了航天器三維模型恢復的評估指標，并基于本地數(shù)據(jù)對訓練好的模型進行評估和分析，證明了所提方法的有效性；最后一章討論了所提方法的優(yōu)缺點，并給出結(jié)論及未來研究方向。

1 航天器三維模型智能重構算法

針對基于人工智能的航天器三維體素重建問題，網(wǎng)絡的輸入為包含目標的多種采樣視角下的圖像，輸出為目標的三維體素結(jié)構。與常規(guī)三維重建問題不同，航天器結(jié)構復雜、體積龐大,僅存在于太空環(huán)境和近地軌道附近，相關數(shù)據(jù)難以獲取。因此，針對不同的航天器采用渲染的方式分別生成正則化的三維體素結(jié)構，并利用相機模型渲染生成固定尺寸的航天器圖像數(shù)據(jù)。其中，三維體素表征采用以目標為中心的方法，圖像則通過固定小孔成像模型，保證采樣圖像尺寸的情況下，在不同視角下對航天器進行渲染成像，增加樣本的豐富度。通過對大量航天器模型進行批處理的數(shù)據(jù)生成，構建了一對多的“體素-圖像”數(shù)據(jù)集,并在此基礎上，設計了對應的神經(jīng)網(wǎng)絡模型架構，用于接收單視圖圖像數(shù)據(jù)，通過數(shù)據(jù)集訓練模型構建“圖像-體素”之間非線性關系，實現(xiàn)目標的三維體素重建。最后，通過量化評估和測試，驗證了航天器三維重構網(wǎng)絡的有效性?？傮w流程如圖1所示，包括以下三個部分：

1)航天器三維模型數(shù)據(jù)樣本集合生成。一方面，基于已知航天器三維模型文件生成對應的三維體素數(shù)據(jù)，并構造航天器結(jié)構三維模型的規(guī)范方向，實現(xiàn)航天器模型數(shù)據(jù)各部分的剛性對齊；另一方面，為恢復目標完整的模型結(jié)構，對目標進行全覆蓋的球采樣，實現(xiàn)全方位、全視角下的航天器圖片渲染，為后續(xù)的網(wǎng)絡模型訓練和評估提供數(shù)據(jù)支持。

圖1 航天器三維模型智能重構算法架構Fig.1 Architecture of intelligent 3D model reconstruction algorithm for spacecraft

2)航天器三維模型重構網(wǎng)絡框架設計。該部分基于所生成的航天器三維模型及對應的渲染圖片數(shù)據(jù)對，設計適配的航天器三維模型數(shù)據(jù)恢復網(wǎng)絡框架。利用生成的航天器三維體素表征作為真實值 (Ground Truth)，渲染的航天器圖片作為探測數(shù)據(jù)，設計網(wǎng)絡訓練框架，確保神經(jīng)網(wǎng)絡模型能夠處理對應的數(shù)據(jù)結(jié)構并生成目標尺寸的三維體素。

3)航天器模型恢復性能評估與分析。利用訓練好的網(wǎng)絡參數(shù)和所設計的網(wǎng)絡架構測試航天器的體素結(jié)構恢復效果，定量對比分析模型的重建效果，構建模型恢復對應的評估體系。從不同的角度評估網(wǎng)絡架構的性能，對比不同網(wǎng)絡框架下航天器三維模型的恢復結(jié)果，確保航天器三維模型重構網(wǎng)絡框架能夠滿足目標感知需求。

2 三維模型數(shù)據(jù)樣本生成

航天器三維模型數(shù)據(jù)樣本集是航天器三維模型智能重構的數(shù)據(jù)基礎，也是航天領域神經(jīng)網(wǎng)絡建模研究發(fā)展的制約因素。目前，被公開使用的USRO、SPARK及SPEED等航天器數(shù)據(jù)集是為了目標識別、位姿估計和語義分析任務開發(fā)的，均不涉及航天器三維模型的組織和注釋，難以為航天器三維重構提供有效的數(shù)據(jù)支撐。因此，本文通過分析日常目標三維重構數(shù)據(jù)集ShapeNet[13]的處理方案，對航天器結(jié)構、類型等因素進行歸約，并構建航天器三維模型數(shù)據(jù)樣本集合。首先，利用Blender軟件對不同視角下的航天器成像結(jié)果進行渲染，然后，生成對應的航天器三維體素模型作為網(wǎng)絡訓練的模型真值。數(shù)據(jù)樣本集合生成的過程是一個雙向映射的過程，圖片與體素模型的樣本數(shù)據(jù)鏈接是后續(xù)網(wǎng)絡框架訓練的基礎。

2.1 數(shù)據(jù)必要性分析

航天器三維模型數(shù)據(jù)集的構建將包含豐富的注釋，為航天模型恢復任務提供基礎數(shù)據(jù)激勵。通過收集公開航天器模型用于構建航天器三維重建數(shù)據(jù)集，可以實現(xiàn)以下任務：

1)幫助開展航天器三維結(jié)構分析工作；

2)支持需要航天器模型數(shù)據(jù)的航天任務；

3)對涉及航天器結(jié)構幾何的基本任務(分割、對齊等)進行算法評估；

4)為航天器語義分析提供模型數(shù)據(jù)庫。

為滿足以上航天任務需求，首先需要將所構建的航天器三維模型數(shù)據(jù)集覆蓋現(xiàn)實世界中的多種航天對象，包括不同的空間非合作航天器類別，如衛(wèi)星、運載火箭及空間站等結(jié)構；其次，航天器三維模型需要與其對應的2D視角圖像、結(jié)構語義信息等特征相互關聯(lián)；最后，為航天器的三維體素模型建立一致的規(guī)范方向(目標中心表征)，實現(xiàn)體素表征的唯一性，保證后續(xù)航天器識別、結(jié)構分類和語義分割等不同感知任務的展開。

2.2 三維模型生成

如圖2所示，基于航天器三維模型，將其柵格化為二進制3D體素網(wǎng)絡，可以生成不同分辨率下的binary-voxel (binvox) 體素格式文件；考慮網(wǎng)絡模型的計算效率、模型的復雜性和下游感知任務所需模型的精度，目前以分辨率大小為643進行航天器三維體素模型生成。

圖2 航天器三維體素模型生成樣例Fig.2 A sample of spacecraft 3D voxel model

雖然目前生成的模型文件表征粗略，但所生成的目標三維體素能夠盡可能地保持原模型的關鍵形狀結(jié)構。后續(xù)為確保航天器三維模型結(jié)構的精細化表示、語義分割及三維姿態(tài)檢測任務，可針對性地調(diào)整航天器體素生成分辨率。

2.3 關聯(lián)圖片渲染

考慮太空環(huán)境下非合作航天器的運動自由度較高，傳感器可能從不同的方位進行觀測，為了提升生成模型的魯棒性和泛化能力，采用球形采樣策略進行目標航天器的圖像渲染。具體地，以目標航天器為中心，在固定半徑構成的球面擺放相機模型，并進行渲染采樣生成航天器圖像數(shù)據(jù)。例如，航天器的圓形對接環(huán)、噴嘴及太陽能帆板支架等結(jié)構至少需要保證觀察到一個視圖才能覆蓋到細節(jié)形狀架構。本文構建球形采樣方式，從各個視點捕捉航天器圖片，如圖3所示。對于單個航天器模型，從40個不同視角進行渲染采樣。

圖3 航天器RGB圖片渲染樣例Fig.3 Spacecraft RGB image rendering example

為了模擬中遠距離下傳感器采樣視場能夠包含完整的航天器結(jié)構，本文采用的相機模型將輸出512×512分辨率的圖像數(shù)據(jù)，并保證目標的關鍵細節(jié)清晰，作為后續(xù)網(wǎng)絡的輸入。

3 航天器模型重構網(wǎng)絡框架設計

本文的航天器三維模型智能重構算法使用“編碼-解碼-細化 (Encoder-Decoder-Refiner)”網(wǎng)絡來訓練恢復航天器三維體素模型。其中，編碼器用于拆分2D圖像中的有效紋理卷積特征；解碼器用于從高維卷積特征中重建目標三維體素；最后，一個基于U-Net架構的三維卷積模塊對重建的粗糙結(jié)果進行精細化調(diào)優(yōu)。圖4所示為所提出的模型架構，該架構以二維航天器圖片作為輸入，三維模型作為網(wǎng)絡輸出，重建航天器三維體素結(jié)構。

圖4 航天器三維重構網(wǎng)絡結(jié)構Fig.4 Spacecraft 3D model reconstruction network

3.1 編碼

編碼器的目的是對輸入的RGB圖片進行深度特征提取，作為后續(xù)解碼任務的輸入，以恢復航天器的3D形狀。將RGB圖片輸入連續(xù)的6組2D卷積 (2D Convolution) 層、批歸一化層和ReLU層，將語義信息嵌入到特征圖中。6個卷積層均采用大小為32的卷積核，步長為2，填充為1，每個模塊將特征圖縮小1/2(單個維度)，對應的輸出通道分別為64、128、192、256、384和512。最終，編碼階段輸出大小為512×82的高維局部特征圖組，為之后的解碼恢復提供深層次特征。

3.2 解碼

為了生成分辨率大小為643的航天器體素模型，解碼階段以編碼得到的高維特征作為輸入，先將特征圖數(shù)據(jù)重組為4096×23維，為3維體素生成提供基礎。整個解碼階段包含6組3D逆卷積 (3D Deconvolution) 層，與編碼階段類似，每個逆卷積層后都有批歸一化層和ReLU層，最后使用sigmoid激活函數(shù)。6個逆卷積層的內(nèi)核大小為43，步長為2，填充為1，每次將生成體素(單個維度)的分辨率提升1倍，對應的輸出通道分別為512、128、32、16、8和1。最終，解碼階段輸出大小為643的數(shù)據(jù)架構；但由于網(wǎng)絡較淺，此時所恢復的三維體素細節(jié)較差，一些結(jié)構恢復不全，為重建更加精確的航天器模型結(jié)構，需要對生成的粗略模型進行進一步處理。

3.3 細化

參考3D U-Net架構，構建航天器三維模型細化模塊，在不改變生成模型分辨率的情況下，采用3D卷積和逆卷積進行特征重組，將編碼階段生成的特征引入到解碼階段，進一步將粗略的航天器模型精細化。為了生成分辨率大小為643的三維精確模型，細化階段的編碼器具有4組3D卷積層、批歸一化層、ReLU層和內(nèi)核大小為23的最大池化層，每個卷積層的內(nèi)核大小為43，填充為2。對應卷積層的輸出通道分別編號為16、32、64和128。編碼器后面是2個全連接層，大小分別為2048和8192。解碼器由4組3D逆卷積層組成，每個逆卷積層后都有批歸一化層和ReLU層，最后一個逆卷積層之后接sigmoid函數(shù)。4個逆卷積層的內(nèi)核大小為43，步長為2，填充為1，對應的輸出通道分別為128、64、32和2，最終生成細化后的航天器三維模型。

3.4 損失函數(shù)

訓練過程中，網(wǎng)絡的損失函數(shù)定義為重建的航天器三維模型與真實值之間的體素交叉熵，具體公式為

(1)

其中，N表示總體體素數(shù)目；Gi表示真實模型在對應位置的體素占用情況；Pi表示所重構的航天器模型在對應位置的體素占用情況，該指標獨立地衡量每個體素柵格位置的存在情況。損失函數(shù)越小，表示航天器三維模型重構效果越好。

4 航天器三維模型恢復結(jié)果及分析

在本章中，首先對航天器三維模型重構的性能評估進行了介紹，然后展示了所提網(wǎng)絡框架的實現(xiàn)細節(jié)，最后與目前基于人工智能算法的目標重構結(jié)果進行對比，說明所提網(wǎng)絡框架在航天器三維模型重構方面的優(yōu)勢。

4.1 評估方式

為了評估所提方法對航天器三維體素模型的重構質(zhì)量，本文在閾值t=0.2時對恢復的航天器模型數(shù)據(jù)進行二值化處理，使用聯(lián)合交集(Intersec-tion over Union, IoU)作為預測的模型和真實的模型之間的相似性度量指標，具體來說，其數(shù)學模型可以表示為

(2)

其中，P(i,j,k)與G(i,j,k)分別表征航天器三維體素模型重構結(jié)果及訓練過程中使用的真實體素模型；t表示訓練過程中所設置的閾值。IoU值越高，表示所生成的航天器三維體素模型精確度及質(zhì)量越高。

針對整個網(wǎng)絡模型的體素結(jié)構預測性能，本文使用平均聯(lián)合交集(Mean Intersection over Union, MIoU)作為評估指標，其數(shù)學模型可以表示為

(3)

其中，Nmodels表示測試的航天器三維模型數(shù)量；IoUi表示第i個生成的航天器模型與真實模型之間的相似性度量指標。

4.2 航天器三維模型恢復結(jié)果

本文使用分辨率為512×512的RGB圖像作為網(wǎng)絡模型的訓練輸入，輸出體素化航天器三維模型重建的大小為643。使用Adam優(yōu)化器訓練航天器三維重構網(wǎng)絡模型，對應的參數(shù)β1=0.9，β2=0.999。初始學習率設置為0.001，共訓練250個epoch的網(wǎng)絡。

針對不同結(jié)構的航天器模型，本文提出的網(wǎng)絡架構最終可以良好地恢復其三維結(jié)構，如圖5所示，列出了9種不同結(jié)構航天器的恢復結(jié)果。其中，每列圖片的左側(cè)為目標航天器真實體素(GT)，右側(cè)為訓練后模型基于單視圖輸入生成的航天器三維體素模型(Predicted)可視化結(jié)果。通過分析對比不同結(jié)構的航天器恢復結(jié)果，發(fā)現(xiàn)本文所提網(wǎng)絡可以良好地恢復大部分的航天器三維模型結(jié)構，但對于少數(shù)航天器，可能由于其輸入的圖片信息缺乏足夠的RGB特征，生成的模型存在一定的噪聲，但主要結(jié)構基本與原模型體素一致。

4.3 性能分析

為了評估所提方法在航天器三維模型恢復方面的性能，本文將所提方法與目前最先進的體素模型生成方法進行比較。對比Pix2Vox[14]和Pix2Vox++[15]網(wǎng)絡模型，其三維模型重建結(jié)果定量對比如表1所示，各網(wǎng)絡架構的模型重構性能指標均是在裝有NVIDIA GTX 3080Ti GPU的同一臺電腦上訓練獲取。目前所構建的網(wǎng)絡在航天器結(jié)構恢復方面取得了0.895的MIoU值，相同條件下目前最優(yōu)越的Pix2Vox++三維模型恢復網(wǎng)絡框架通過相同的數(shù)據(jù)訓練在航天器三維模型恢復任務中取得了0.7504的MIoU值。本文所提的網(wǎng)絡框架訓練恢復結(jié)果在航天器三維模型恢復效能方面要優(yōu)于現(xiàn)有網(wǎng)絡，并且具備更低的網(wǎng)絡超參數(shù)量，但由于整個測試過程中將輸入數(shù)據(jù)的分辨率提升，導致最終重建時間高于其余網(wǎng)絡。同時，與傳統(tǒng)算法相比，基于人工智能的航天器三維模型重構方法表現(xiàn)出更強的時效性。

表1 航天器三維模型恢復性能對比

5 結(jié)論

針對傳統(tǒng)空間非合作航天器三維模型重構算法復雜、繞飛觀測實時性差及計算過程數(shù)據(jù)量龐大等問題，本文突破傳統(tǒng)算法的限制，提出了一種基于單視圖的航天器三維體素模型重構方法。首先，通過類比地面大規(guī)模目標三維模型數(shù)據(jù)集，分析航天器結(jié)構、背景、形狀等特性，建立航天器三維模型數(shù)據(jù)樣本集合，并將其鏈接到對應的RGB圖片，構建完備的“模型-圖片”信息交互；其次，設計適用于航天器三維模型重構的網(wǎng)絡框架，以圖片為輸入，三維體素模型為輸出，對網(wǎng)絡模型參數(shù)進行訓練，最終得到最優(yōu)的網(wǎng)絡模型；最后，通過仿真實驗對比說明了所提方法的有效性?？傮w來說，該方法仍存在一些不足，數(shù)據(jù)集規(guī)模不夠龐大且完備性不足，僅引入光照元素對航天器進行數(shù)據(jù)生成，缺乏噪聲、背景等其他干擾因素下的數(shù)據(jù)補充；同時，目前生成的航天器模型比較粗糙，因此需要對航天器模型進一步提高分辨率，使其能夠更好地表征真實航天器三維模型，這也是本文后續(xù)的研究方向。