陳 鳳，張澤旭，王 盈，劉 玉，黃建明

（1.上海宇航系統(tǒng)工程研究所，上海201108；2.哈爾濱工業(yè)大學(xué)，哈爾濱150080）

基于序列圖像的三維重建方法在空間目標(biāo)探測(cè)識(shí)別中的應(yīng)用研究

陳 鳳1，張澤旭2，王 盈1，劉 玉1，黃建明1

（1.上海宇航系統(tǒng)工程研究所，上海201108；2.哈爾濱工業(yè)大學(xué)，哈爾濱150080）

為通過(guò)目標(biāo)探測(cè)識(shí)別獲得空間目標(biāo)三維結(jié)構(gòu)等更多在軌信息，以更好地完成在軌服務(wù)和操控等任務(wù)，根據(jù)三維重建各種方式及資源需求，對(duì)基于序列圖像的三維重建方法進(jìn)行了研究。通過(guò)平臺(tái)對(duì)目標(biāo)進(jìn)行繞飛/懸停，由高分辨率相機(jī)載荷采集目標(biāo)不同方位的序列圖像，然后對(duì)序列圖像進(jìn)行三維重建處理，獲得目標(biāo)三維結(jié)構(gòu)、形貌等信息。仿真和地面試驗(yàn)結(jié)果表明：在繞飛/懸停路徑設(shè)計(jì)合理的情況下，基于序列圖像的三維重建技術(shù)可行，能夠?qū)崿F(xiàn)目標(biāo)結(jié)構(gòu)模型的重建，并可以提供帆板、天線等部位結(jié)構(gòu)信息，可為后續(xù)工程應(yīng)用提供技術(shù)參考。

空間目標(biāo)；序列圖像；三維重建；數(shù)據(jù)處理

1 引言

航天技術(shù)的發(fā)展對(duì)空間在軌服務(wù)和操作技術(shù)提出了更高要求，為提升操作精度，需要提高目標(biāo)的探測(cè)感知能力，在執(zhí)行任務(wù)之前獲取目標(biāo)的光學(xué)特性、材料、無(wú)線電特性和三維結(jié)構(gòu)等信息［1］。通過(guò)三維重建技術(shù)獲取目標(biāo)的三維結(jié)構(gòu)形貌信息，可以為無(wú)構(gòu)型信息的空間目標(biāo)導(dǎo)航提供先驗(yàn)信息，可以掌握目標(biāo)本體、帆板以及感興趣部位的結(jié)構(gòu)尺寸信息，還可以用于目標(biāo)運(yùn)動(dòng)狀態(tài)的估計(jì)。因此，空間目標(biāo)三維重建技術(shù)能夠?yàn)槲磥?lái)空間在軌服務(wù)提供自主導(dǎo)航信息與服務(wù)對(duì)象結(jié)構(gòu)信息等，為在軌服務(wù)的實(shí)施提供技術(shù)保障。

人類從外界獲取的信息有70%～80%是由視覺(jué)感知的，其中三維信息使得人們能夠感知到更加豐富的細(xì)節(jié)，但平時(shí)三維信息都是二維存儲(chǔ)，這樣不可避免地會(huì)使一些重要信息丟失，已經(jīng)不能滿足認(rèn)識(shí)和研究需求［2］。三維重建技術(shù)在這種情況下應(yīng)運(yùn)而生，并已越來(lái)越廣泛地應(yīng)用于逆向工程［3］、醫(yī)學(xué)診斷、文物和古遺址重建、數(shù)字商品的虛擬展示、虛擬數(shù)字地圖和三維游戲等方面［4?5］。

依據(jù)信息獲取技術(shù)手段的不同，三維重建方法一般分為三種：第一種是利用重建軟件手工建模，在產(chǎn)品設(shè)計(jì)方面應(yīng)用較多；第二種是利用具有測(cè)距功能的設(shè)備主動(dòng)重建，主要是通過(guò)激光、超聲波或者紅外線測(cè)距設(shè)備獲取精度較高的三維數(shù)據(jù)，但是這類設(shè)備攜帶不便，分辨率較低；第三種是利用序列圖像的重建方法，主要通過(guò)對(duì)場(chǎng)景目標(biāo)采集的一系列圖像恢復(fù)出三維場(chǎng)景或目標(biāo)模型。所需的設(shè)備簡(jiǎn)單便捷，只需要一臺(tái)相機(jī)或普通攝像頭。相對(duì)于前兩種方法更快捷、更方便，且能夠生成具有照片級(jí)別視覺(jué)效果的三維模型［6?7］。

2 基于序列圖像的空間目標(biāo)三維重建技術(shù)

2.1 空間目標(biāo)三維重建工程實(shí)現(xiàn)

空間目標(biāo)三維重建的研究目前尚處于起步階段，主要分為主動(dòng)方法和被動(dòng)方法：即空間平臺(tái)載有激光成像雷達(dá)（主動(dòng)）或者相機(jī)（被動(dòng)）敏感器對(duì)穩(wěn)定/失穩(wěn)空間目標(biāo)進(jìn)行繞飛/懸停探測(cè)，對(duì)獲取的激光雷達(dá)點(diǎn)云數(shù)據(jù)或者圖像序列數(shù)據(jù)，采取相應(yīng)的處理方法進(jìn)行空間目標(biāo)的三維重建。

激光成像雷達(dá)可以全天候探測(cè)，但是由于目標(biāo)表面材料影響會(huì)產(chǎn)生數(shù)據(jù)空洞，并且受探測(cè)器限制其分辨率較低，質(zhì)量、體積及功耗等資源需求較高，不利于工程實(shí)現(xiàn)，重建結(jié)果缺少目標(biāo)表面紋理和局部結(jié)構(gòu)特征［8］。相機(jī)載荷相對(duì)于激光成像雷達(dá)，除了受光照條件的限制，其分辨率高、效果直觀，對(duì)平臺(tái)資源需求低，技術(shù)成熟，則本文采用相機(jī)的主動(dòng)方式進(jìn)行空間目標(biāo)的三維重建：載有高分辨率相機(jī)的衛(wèi)星平臺(tái)對(duì)空間目標(biāo)進(jìn)行繞飛/懸停，姿態(tài)保持目標(biāo)指向，高分辨率相機(jī)同時(shí)采集目標(biāo)不同方位的序列圖像，通過(guò)對(duì)序列圖像的數(shù)據(jù)處理實(shí)現(xiàn)空間目標(biāo)的三維重建，可以獲得目標(biāo)三維結(jié)構(gòu)、形貌以及感興趣部位的結(jié)構(gòu)等信息。

由于高分辨率相機(jī)為可見(jiàn)光相機(jī)，必須滿足光照條件才可以對(duì)空間目標(biāo)進(jìn)行成像，因此在衛(wèi)星平臺(tái)進(jìn)行繞飛/懸停過(guò)程中需要考慮光照環(huán)境。對(duì)于穩(wěn)定目標(biāo)通常采取繞飛方式進(jìn)行觀測(cè)，不可避免會(huì)遇到背陰面，可以根據(jù)軌道計(jì)算選擇另外觀測(cè)時(shí)機(jī)對(duì)未觀測(cè)到的目標(biāo)部分進(jìn)行成像。對(duì)于失穩(wěn)目標(biāo)通常采取懸停方式進(jìn)行觀測(cè)，此時(shí)可以在滿足光照條件下選擇多個(gè)懸停點(diǎn)對(duì)目標(biāo)進(jìn)行觀測(cè)，保證從各個(gè)方位對(duì)目標(biāo)觀測(cè)完整。對(duì)每次采集的圖像序列重建處理后，再將各重建點(diǎn)云進(jìn)行匹配拼接獲得目標(biāo)完整的重建模型。

對(duì)空間目標(biāo)采取繞飛方式的三維重建如圖1，具體實(shí)施步驟如下：

1）載有高分辨率相機(jī)的平臺(tái)導(dǎo)引至距離空間目標(biāo)合理距離的繞飛軌道；

2）平臺(tái)調(diào)整姿態(tài)，相機(jī)光軸指向空間目標(biāo)（形心或質(zhì)心）；

3）初始導(dǎo)航時(shí)刻校準(zhǔn)，判斷太陽(yáng)方位，在滿足光照條件下，隨著平臺(tái)對(duì)目標(biāo)的繞飛，相機(jī)開(kāi)始連續(xù)采集，形成圖像幀間部分重疊的高分辨率圖像序列；

4）圖像序列下傳至地面，采用基于序列圖像的處理算法實(shí)現(xiàn)空間目標(biāo)的三維重構(gòu)。

圖1 對(duì)空間目標(biāo)繞飛方式的三維重建示意圖Fig.1 The sketch map of 3D reconstruction by flying around the space target

2.2 基于序列圖像的空間目標(biāo)三維重建方法

通過(guò)相機(jī)載荷獲取空間目標(biāo)圖像序列后，采取的三維重建處理流程框圖如圖2所示。

2.2.1 特征提取與匹配

在特征提取過(guò)程中，考慮到空間目標(biāo)的自轉(zhuǎn)、形狀不規(guī)則等特性，以及探測(cè)器會(huì)受到多種攝動(dòng)力干擾的情況，相機(jī)獲取的目標(biāo)圖像通常會(huì)發(fā)生旋轉(zhuǎn)、平移、縮放以及光照變化等。要實(shí)現(xiàn)圖像間可靠的匹配，連接點(diǎn)的提取必須能克服尺度、光照變化等不利因素的影響，因此采用尺度不變特征轉(zhuǎn)換（SIFT）特征點(diǎn)提取算法。該算法具備很強(qiáng)的匹配能力，能夠提取到比較穩(wěn)定的特征點(diǎn)，它能夠用于解決兩幅圖像之間存在著平移、旋轉(zhuǎn)、仿射變換、視角變換甚至光照變換等的匹配［9］。

當(dāng)兩幅圖像的SIFT特征向量生成后，就可以通過(guò)某種相似性度量來(lái)建立特征向量之間的對(duì)應(yīng)關(guān)系。SIFT是采用歐氏距離作為兩幅圖像之間的度量準(zhǔn)則。在得到SIFT特征向量后，利用k?d樹(shù)進(jìn)行搜索以便查找每個(gè)特征點(diǎn)所對(duì)應(yīng)的最近鄰特征點(diǎn)以及次近鄰特征點(diǎn)。在這兩個(gè)特征點(diǎn)中，如果最近鄰除以次近鄰的距離比值小于某個(gè)給定的比例閾值，那么就接受這樣一對(duì)匹配點(diǎn)，即用特征向量的最近鄰距離與次近鄰距離的比值作為匹配約束條件［10］。

針對(duì)紋理信息較少重復(fù)特征較多的非合作目標(biāo)圖像，誤匹配率非常高，這對(duì)后續(xù)的相機(jī)位置姿態(tài)的求解是非常不利的，為了能夠有效地剔除誤匹配點(diǎn)，采用計(jì)算機(jī)視覺(jué)領(lǐng)域通用的魯棒估計(jì)算法即隨機(jī)抽樣一致性算法RANSAC。

2.2.2 稀疏點(diǎn)云重建及優(yōu)化

從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）的思想是指當(dāng)物體旋轉(zhuǎn)造成陰影的時(shí)候才能感覺(jué)到它是三維的，這種現(xiàn)象稱為由運(yùn)動(dòng)引起的深度效應(yīng)，即從不同角度觀察三維世界中的同一個(gè)點(diǎn)，就可以得到其三維信息［11］。

來(lái)自同一景物圖像序列之間存在一些幾何約束關(guān)系，這些幾何約束關(guān)系可以從匹配特征點(diǎn)序列中獲得，且與景物的結(jié)構(gòu)無(wú)關(guān)，僅與相機(jī)的內(nèi)、外參數(shù)有關(guān)［7］。因此，可以通過(guò)對(duì)所獲得的匹配特征點(diǎn)進(jìn)行約束，計(jì)算得出其約束關(guān)系，然后通過(guò)射影重建獲得相機(jī)的內(nèi)、外參數(shù)，同時(shí)生成稀疏三維結(jié)構(gòu)點(diǎn)云。

光束法平差作為基于特征的SFM算法的核心環(huán)節(jié)，用來(lái)獲得最佳的三維結(jié)構(gòu)和運(yùn)動(dòng)參數(shù)估計(jì)。根據(jù)提供初始估計(jì)、通過(guò)最小化觀測(cè)和預(yù)測(cè)的圖像點(diǎn)之間的投影誤差的方法，光束法平差能同時(shí)精化運(yùn)動(dòng)和結(jié)構(gòu)參數(shù)。最優(yōu)參數(shù)估計(jì)的迭代計(jì)算一般是通過(guò)Levenberg?Marquardt（LM）算法來(lái)輔助完成［12］。

2.2.3 稠密點(diǎn)云重建

由于稀疏三維點(diǎn)云只是匹配特征點(diǎn)的三維坐標(biāo)，因此稀疏模型的視覺(jué)效果較差，需要進(jìn)行稠密三維點(diǎn)云重建。主要采用基于面片的多視圖立體視覺(jué)算法。該算法主要包括匹配、擴(kuò)散、過(guò)濾等操作過(guò)程，從匹配特征點(diǎn)構(gòu)成的稀疏點(diǎn)集開(kāi)始，對(duì)特征點(diǎn)進(jìn)行擴(kuò)散，利用可視化約束過(guò)濾掉錯(cuò)誤的匹配點(diǎn)，最終獲得稠密點(diǎn)云數(shù)據(jù)［6］。

2.2.4 目標(biāo)表面恢復(fù)

獲得稠密三維點(diǎn)云后，并不能得到精確的表面紋理等信息，因此需要對(duì)獲得的三維點(diǎn)云進(jìn)行表面重建。根據(jù)三維點(diǎn)云的數(shù)據(jù)信息，采用泊松重建方法，重建出場(chǎng)景的表面網(wǎng)格，然后將圖像的紋理投影到表面網(wǎng)格上，完成場(chǎng)景的表面重建，生成可視化的三維結(jié)構(gòu)模型。

圖2 空間目標(biāo)三維重建處理流程Fig.2 The flowchart of 3D reconstruction of space target using image sequences

3 空間目標(biāo)三維重建仿真與地面試驗(yàn)

3.1 仿真試驗(yàn)及結(jié)果

利用空間站模型對(duì)三維重構(gòu)方法進(jìn)行了仿真測(cè)試。根據(jù)空間站安全距離要求以及目前相機(jī)發(fā)展水平，設(shè)定衛(wèi)星平臺(tái)與空間站相距150 m時(shí)進(jìn)行繞飛。為保證150 m處觀測(cè)到完整目標(biāo)，根據(jù)空間站最大尺寸包絡(luò)，設(shè)置相機(jī)視場(chǎng)角45°，采用常規(guī)成像探測(cè)器，圖像分辨率為1024×1024，衛(wèi)星平臺(tái)每繞飛5°相機(jī)采集一幀圖像。在滿足光照條件下相機(jī)對(duì)空間站采集的圖像序列如圖3所示。

圖3 仿真的圖像序列Fig.3 The simulated image sequences

對(duì)仿真的空間站圖像序列進(jìn)行三維重建后獲得稠密點(diǎn)云數(shù)據(jù)，通過(guò)泊松表面恢復(fù)和紋理映射后還原出空間站的三維模型，結(jié)果如圖4所示?？梢钥闯?，重建結(jié)果能夠完整地保留目標(biāo)信息，建立空間站的三維模型，識(shí)別出空間站各艙體、帆板等典型結(jié)構(gòu)信息。

圖4 空間站模型三維重建結(jié)果Fig.4 The 3D reconstruction results of space station

為驗(yàn)證重建精度，對(duì)重建模型中典型部位的結(jié)構(gòu)尺寸進(jìn)行計(jì)算。表1主要給出圖5中標(biāo)注的3塊帆板尺寸的測(cè)量結(jié)果，表2給出圖5中標(biāo)注的2個(gè)艙體的尺寸測(cè)量結(jié)果。由表可見(jiàn)，重建后帆板尺寸最大誤差為0.534 m，艙體尺寸最大誤差為1.66 m。這主要是因?yàn)榕擉w相比帆板的表面紋理信息少，導(dǎo)致重建艙體的特征點(diǎn)提取和匹配誤差較大，使得重建后尺寸誤差稍大?？梢酝ㄟ^(guò)改善相機(jī)成像分辨率提高特征提取和匹配精度，進(jìn)而提高重建尺寸精度。

圖5 目標(biāo)模型典型部位位置Fig.5 The typical part of the target model

表1 帆板重構(gòu)計(jì)算結(jié)果Table 1 The 3D reconstruction results of solar panel/m

表2 艙體重構(gòu)計(jì)算結(jié)果Table 2 The 3D reconstruction results of cabin/m

3.2 地面試驗(yàn)及結(jié)果

利用空間光學(xué)動(dòng)態(tài)特性測(cè)試系統(tǒng)（圖6），模擬空間光照環(huán)境下平臺(tái)對(duì)目標(biāo)繞飛過(guò)程中，探測(cè)系統(tǒng)以2°為間隔，在不同方位對(duì)目標(biāo)縮比模型采集圖像序列。

圖6 空間光學(xué)動(dòng)態(tài)特性測(cè)試系統(tǒng)Fig.6 The dynamic optics characteristic test system of space target

對(duì)地面試驗(yàn)采集的圖像序列進(jìn)行三維重建后獲得稠密點(diǎn)云數(shù)據(jù)，通過(guò)泊松表面恢復(fù)和紋理映射后還原出空間目標(biāo)的三維模型。重建結(jié)果能夠完整地保留目標(biāo)信息，建立目標(biāo)的三維模型，識(shí)別出目標(biāo)天線、帆板等典型結(jié)構(gòu)信息。

對(duì)重建模型中典型部位的結(jié)構(gòu)尺寸進(jìn)行計(jì)算。表3主要給出帆板和天線尺寸的測(cè)量結(jié)果。由表可見(jiàn)，重建后帆板尺寸最大誤差為0.1073 m，天線尺寸誤差為0.0786 m。我們利用高精度的激光雷達(dá)掃描系統(tǒng)獲取目標(biāo)縮比模型精密點(diǎn)云數(shù)據(jù)，與三維重建后點(diǎn)云數(shù)據(jù)進(jìn)行比較，重建點(diǎn)云精度可達(dá)到0.05m，滿足后續(xù)相對(duì)導(dǎo)航測(cè)量要求。

表3 帆板及天線重構(gòu)計(jì)算結(jié)果Table 3 The 3D reconstruction results of the solar panel and antenna/m

4 結(jié)論

本文研究結(jié)果表明，通過(guò)設(shè)計(jì)平臺(tái)合理的繞飛/懸停路徑，可以采集到目標(biāo)不同方位的序列圖像，然后采用基于序列圖像的三維重建技術(shù)獲得目標(biāo)三維結(jié)構(gòu)模型，并能夠提供帆板、天線等感興趣部位結(jié)構(gòu)信息，重建點(diǎn)云數(shù)據(jù)可以作為基于模型的相對(duì)導(dǎo)航測(cè)量的輸入。

隨著平臺(tái)和敏感器技術(shù)的發(fā)展，平臺(tái)可以攜帶高分辨率相機(jī)和激光成像雷達(dá)兩種載荷對(duì)目標(biāo)同時(shí)進(jìn)行探測(cè)識(shí)別，通過(guò)數(shù)據(jù)融合的方法對(duì)空間目標(biāo)進(jìn)行三維重建，能夠獲取更加精確的空間目標(biāo)三維信息。

（

）

［1］何英姿，魏春嶺，湯亮.空間操作控制技術(shù)研究現(xiàn)狀及發(fā)展趨勢(shì)［J］.空間控制技術(shù)與應(yīng)用，2014，40（1）：1?8.He Yingzi，Wei Chunling，Tang Liang.Research status and development trend of aerospace manipulation control technolo?gy［J］.Aerospace Control and Applicant，2014，40（1）：1?8.（in Chinese）

［2］彭科舉.基于序列圖像的三維重建算法研究［D］.杭州：浙江大學(xué).2012.Peng Keju.Research on 3D Reconstruction Algorithm based on Sequence Image［D］.Hangzhou：Zhejiang University.2012.（in Chinese）

［3］呼艷.基于未標(biāo)定數(shù)碼圖像的三維重建技術(shù)研究與實(shí)現(xiàn)［D］.西安：西北大學(xué)，2011.Hu Yan.Three Dimensional Reconstruction Technique based on the UN Calibrated Digital Image［D］.Xi'an：Northwest University，2011.（in Chinese）

［4］馬頌德，張正友.計(jì)算機(jī)視覺(jué)?計(jì)算理論與算法基礎(chǔ)［M］.北京：科學(xué)出版社，1998：1?93.Ma Songde，Zhang Zhengyou.Computer Vision Calculation Theory and Algorithm Foundation［M］.Beijing：Science Press，1998：1?93.（in Chinese）

［5］劉鋼，彭群生，鮑虎軍.基于圖像建模技術(shù)研究綜述與展望［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17（1）：311?326.Liu Gang，Peng Qunsheng，Bao Hujun.Review and prospect of image?based modeling techniques［J］.Journal of Coputer?Aided Design and Coputer Graphics，2005，17（1）：311?326.（in Chinese）

［6］彭科舉.基于序列圖像的三維重建算法研究［D］.長(zhǎng)沙：國(guó)防科技大學(xué)，2012.Peng Keju.3D Reconstruction using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［7］閆世博.基于圖像的三維重建及網(wǎng)格化算法研究［D］.上海：上海交通大學(xué)，2013.Yan Shibo.3D Reconstruction based on Images and Meshing Algorithms［D］.Shanghai Jiao Tong University，2013.（in Chinese）

［8］唐永鶴.基于序列圖像的空間非合作目標(biāo)三維重建關(guān)鍵技術(shù)研究［D］.長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2012.Tang Yonghe.Researches on 3D Reconstruction Technologies for Non?cooperative Space Targets using Image Sequence［D］.Changsha：National University of Defense Technology，2012.（in Chinese）

［9］魏梨君，潘陽(yáng)，張超.結(jié)合Harris算子和sift算子匹配方法的三維重建.電腦知識(shí)與技術(shù)［J］.2009，5（11）：2980?2981.Wei Lijun，Pan Yang，Zhang Chao.3D reconstruction based on the combination of Harris operators and Sift matching meth?od.Computer Knowledge and Technology［J］.2009，5（11）：2980?2981.（in Chinese）

［10］于勇，張暉，林茂松.基于雙目立體視覺(jué)三維重建系統(tǒng)的研究與設(shè)計(jì)［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（6）：127?130.Yu Yong，Zhang Hui，Lin Maosong.Research and design of 3D reconstruction system based on binocular stereo vision［J］，Computer Technology and Development，2009，19（6）：127?130.（in Chinese）

［11］Carlo Tomasi，Takeo Kanade.Shape and motion from image streams under orthography：a factorization method［J］.Inter?national Journal of Computer Vision.1992，9（2）：137?154.

［12］Kutulakos K N，Seitz S M.A theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199?218.

Application Study of 3D Reconstruction Using Image Sequences in Space Target Detection and Recognition

CHEN Feng1，ZHANG Zexu2，WANG Ying1，LIU Yu1，HUANG1Jianming
（1.Shanghai Institute of Aerospace System Engineering，Shanghai 201108，China；2.Harbin Institute Technology，Harbin 150080，China）

The purpose of this paper is to obtain more on orbit information such as the 3D structure of the space target by detecting and identifying the target so as to better complete the on?orbit servi?cing and on?orbit control tasks.According to the resource requirements of various 3D reconstruction methods，the 3D reconstruction method based on the sequential images was studied.The sequential images from different directions of the target was collected by the high?resolution cameras of the plat?form flying around or hovering over the target.Then the sequential images were processed by means of 3D reconstruction and the 3D structure and geomorphology of the target were obtained.The simu?lation results and ground experiments showed that the 3D reconstruction technique was practical with reasonable paths for flying and hovering.It could also be used to rebuild the structural model and provide information of the solar panel，antenna and other parts，which is of great importance for fur?ther applications.

space target；sequential images；3D reconstruction；data processing

V19

A

1674?5825（2016）06?0732?05

2015?05?03；

2015?10?19

國(guó)家自然科學(xué)基金（51303055）

陳鳳（1974－），女，博士，高級(jí)工程師，研究方向?yàn)轱w行器載荷總體、視覺(jué)導(dǎo)航。E?mail：58446826＠qq.com