李永飛，王仕成，楊東方，孫大為

火箭軍工程大學(xué) 控制工程系，西安 710025

?

基于單目三維重構(gòu)的空間非合作目標(biāo)相對(duì)測(cè)量

李永飛，王仕成，楊東方*，孫大為

火箭軍工程大學(xué) 控制工程系，西安 710025

為了解決非合作目標(biāo)的相對(duì)測(cè)量問題，提出了一種基于單目圖像序列目標(biāo)重構(gòu)結(jié)果的非合作目標(biāo)相對(duì)位姿測(cè)量方法。該方法將目標(biāo)的三維重構(gòu)與相機(jī)的位姿信息計(jì)算相結(jié)合，首先利用觀測(cè)前期得到的圖像序列，通過非線性優(yōu)化算法計(jì)算得到目標(biāo)上部分三維點(diǎn)坐標(biāo)；然后基于該三維點(diǎn)集合，建立遞推深度模型，對(duì)相機(jī)的相對(duì)位姿信息和新觀測(cè)到的目標(biāo)點(diǎn)同時(shí)進(jìn)行卡爾曼濾波估計(jì)。航拍測(cè)量試驗(yàn)表明，隨著圖片數(shù)量的增多，精確重構(gòu)點(diǎn)的比例(重投影誤差小于1個(gè)像素的點(diǎn))不斷提高，80%的圖像中精確重構(gòu)點(diǎn)比例優(yōu)于89%；基于公共數(shù)據(jù)集的試驗(yàn)表明，該算法對(duì)姿態(tài)估算精度可達(dá)1°以內(nèi)，位置測(cè)量的精度可達(dá)到2 cm以內(nèi)。以上試驗(yàn)結(jié)果表明，該算法具有較高的測(cè)量精度。

目標(biāo)重構(gòu)；相對(duì)位姿測(cè)量；單目視覺；非合作目標(biāo)

空間測(cè)量是空間遙操作、空間交互對(duì)接等航空航天領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)[1]。早期的空間測(cè)量傳感器主要包括激光、紅外等距離傳感器，這類傳感器存在價(jià)格高，功耗高、體積龐大等缺陷，將其應(yīng)用于一些成本低、體積小的空間機(jī)器人或者小型對(duì)地測(cè)量平臺(tái)等領(lǐng)域中受到很大的限制[2]。近年來，隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，其在成本、可視化等方面存在的優(yōu)勢(shì)受到越來越多學(xué)者的關(guān)注，僅僅依靠小型視覺傳感器實(shí)現(xiàn)空間非合作目標(biāo)相對(duì)測(cè)量成為近年來的研究熱點(diǎn)[3]。

根據(jù)傳感器的不同，視覺測(cè)量可以分為多目視覺測(cè)量系統(tǒng)、雙目視覺測(cè)量系統(tǒng)和單目視覺測(cè)量系統(tǒng)。其中，多目視覺測(cè)量系統(tǒng)和雙目視覺測(cè)量系統(tǒng)結(jié)構(gòu)復(fù)雜，需要標(biāo)定相機(jī)間的相對(duì)位姿；由于標(biāo)定工藝復(fù)雜，成本較高，而且標(biāo)定過程中引入的誤差難以消除[4]。因此本文主要針對(duì)單目視覺系統(tǒng)進(jìn)行研究。

單目位姿估計(jì)算法的研究主要包括兩類：線性約束法和非線性優(yōu)化法。線性約束法給定相鄰時(shí)刻針對(duì)同一三維場(chǎng)景的兩幅圖像，通過特征點(diǎn)的提取和匹配，利用攝像機(jī)對(duì)極幾何約束關(guān)系，能夠在相差一個(gè)非零因子的意義下求解運(yùn)動(dòng)參數(shù)(R,t)。早期相關(guān)論文研究很多，從最早的8點(diǎn)算法，7點(diǎn)算法，到2004年Nister提出的5點(diǎn)算法[5]，人們通過對(duì)極約束模型進(jìn)行分析，不斷降低了位姿計(jì)算的復(fù)雜度。然而，線性約束法對(duì)于圖像中的噪聲數(shù)據(jù)非常敏感，往往不能得到理想的位姿估計(jì)結(jié)果。因而，此后對(duì)攝像機(jī)位姿估計(jì)方法的研究主要為非線性遞推算法[6-7]及光束平差法[8-10]。雖然，這類非線性優(yōu)化方法能夠在給定良好初始值的情況計(jì)算得到較精確的結(jié)果；但是，這類非線性優(yōu)化方法存在明顯的不足，針對(duì)非凸問題目前仍然沒有有效的優(yōu)化算法能夠保證其最優(yōu)解的獲取，這樣得到的位姿估計(jì)結(jié)果往往容易陷入局部最優(yōu)[11]；并且往往由于觀測(cè)點(diǎn)較多，使得需要優(yōu)化的變量的維數(shù)很高，計(jì)算變得復(fù)雜，無法滿足相對(duì)測(cè)量實(shí)時(shí)性的要求。

為此，本文提出了一種實(shí)時(shí)高精度的非合作目標(biāo)測(cè)量方法，該方法先采用非線性優(yōu)化的方法，重構(gòu)出較精確的非合作目標(biāo)三維點(diǎn)集，隨后以此為初始三維點(diǎn)集，采用濾波的方法，實(shí)現(xiàn)目標(biāo)相對(duì)位姿測(cè)量和增量式的三維重構(gòu)，充分利用對(duì)目標(biāo)觀測(cè)的全部信息，提高了相對(duì)測(cè)量的魯棒性和精度。

1　問題描述

1.1射影相機(jī)模型

目前常用的相機(jī)模型是針孔相機(jī)模型，它可以被定義為一個(gè)將世界坐標(biāo)系的三維點(diǎn)X，映射到圖像坐標(biāo)系像素點(diǎn)的一個(gè)射影變換，如圖1所示，可以用矩陣P來表達(dá)該射影變換。對(duì)于任一世界坐標(biāo)系中的點(diǎn)X，其世界坐標(biāo)系中的坐標(biāo)和圖像坐標(biāo)系中的坐標(biāo)的轉(zhuǎn)換關(guān)系為

(1)

攝像機(jī)模型確定了世界坐標(biāo)系中特征點(diǎn)及其成像坐標(biāo)之間的關(guān)系，這也是進(jìn)行視覺位置和姿態(tài)測(cè)量的基本依據(jù)。傳統(tǒng)的位姿估計(jì)算法需要已知特征點(diǎn)的三維坐標(biāo)，即式(1)中方程最右邊的特征點(diǎn)向量。然而，在本文所研究解決的問題中，空間目標(biāo)是非合作目標(biāo)，因此，其真實(shí)世界坐標(biāo)也是未知的，無法直接計(jì)算相對(duì)位姿參數(shù)。為此，本文提出：能不能利用圖像序列，完成非合作目標(biāo)的重構(gòu)后，再進(jìn)行相應(yīng)的單目視覺位姿計(jì)算，完成單目視覺相對(duì)測(cè)量呢？這也就是本文所提方案的初衷。

1.2非合作目標(biāo)相對(duì)測(cè)量

在合作目標(biāo)的空間相對(duì)測(cè)量過程中，利用事先設(shè)定的參考標(biāo)志信息，結(jié)合前述攝像機(jī)成像幾何模型，計(jì)算攝像機(jī)和目標(biāo)之間的相對(duì)位姿關(guān)系。然而，對(duì)于非合作目標(biāo)而言，由于目標(biāo)物體上沒有已知的標(biāo)志物信息，甚至連基本尺寸信息都是缺失的，如圖2所示。

圖2　合作目標(biāo)和非合作目標(biāo)測(cè)量任務(wù)對(duì)比示意Fig.2　Comparison between relative measurement for cooperation target and that for non-cooperation target

為了完成這類非合作目標(biāo)的相對(duì)測(cè)量，當(dāng)前的研究往往都是基于目標(biāo)某些先驗(yàn)信息已知的假設(shè)，例如文獻(xiàn)[12-13]。為了適應(yīng)于更加一般且真實(shí)的應(yīng)用場(chǎng)景，本文針對(duì)被測(cè)目標(biāo)是完全未知的情形進(jìn)行研究。

2　增量式非合作目標(biāo)重構(gòu)測(cè)量算法

本文提出的非合作目標(biāo)測(cè)量算法分為兩個(gè)階段。第一階段，對(duì)觀測(cè)的圖像進(jìn)行捆綁約束的非線性優(yōu)化，得到目標(biāo)的三維點(diǎn)坐標(biāo)集；第二階段，以第一階段得到的三維點(diǎn)集為初始三維點(diǎn)集，采用濾波的方法，增量式優(yōu)化求解相對(duì)位姿關(guān)系和新觀測(cè)的三維點(diǎn)坐標(biāo)。

2.1基于圖像序列的目標(biāo)三維重構(gòu)

對(duì)于單目視覺系統(tǒng)而言，為了根據(jù)所拍攝的圖像序列完成對(duì)目標(biāo)的三維重構(gòu)，需要利用不同時(shí)刻所采集的圖像，重構(gòu)出目標(biāo)的空間坐標(biāo)，利用時(shí)間域的擴(kuò)展實(shí)現(xiàn)空間域信息的重構(gòu)。在測(cè)量任務(wù)第一階段，利用對(duì)目標(biāo)的多位置、多角度觀測(cè)得到的圖像可以重構(gòu)出目標(biāo)的三維點(diǎn)云坐標(biāo)。該問題可以描述為：已知相機(jī)在m個(gè)不同位置k(k=1,2,…,m)對(duì)n個(gè)點(diǎn)Xi(i=1,2,…,n)進(jìn)行觀測(cè)，觀測(cè)結(jié)果由(uki,vki)表示，求世界點(diǎn)Xi和各個(gè)位置相機(jī)的位姿參數(shù)(Rk,tk)。

為解決上述問題，本文采用Gerald Schweighofer等于2008年提出的一種具有全局收斂性的相機(jī)運(yùn)動(dòng)參數(shù)的估計(jì)方法[14]。該方法基于通用相機(jī)模型[15]，對(duì)于單目針孔相機(jī)系統(tǒng)，通用相機(jī)模型可等價(jià)表達(dá)為

(2)

式中：(c,v)為由通用相機(jī)模型表達(dá)的測(cè)量結(jié)果；K為相機(jī)的內(nèi)參數(shù)矩陣；R、t分別為相機(jī)相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量；p為圖像的像素坐標(biāo)。

基于以上轉(zhuǎn)換關(guān)系，選取目標(biāo)空間重構(gòu)誤差作為代價(jià)函數(shù)，該方法可以表達(dá)為求代價(jià)函數(shù)E(R,t,X)的最小值的問題，即：

(3)

該方法首先求解出由位姿參數(shù)R,t表達(dá)的世界點(diǎn)坐標(biāo)最優(yōu)解X=X(R,t)；其次，求解出由旋轉(zhuǎn)矩陣R表達(dá)的平移向量最優(yōu)解t=t(R)；最后，將代價(jià)函數(shù)表達(dá)成旋轉(zhuǎn)矩陣R的函數(shù)并給出求最優(yōu)解的遞推算法R(λ+1)=R(R(λ),t(λ),X(λ))。具體計(jì)算過程如下：

(1)世界點(diǎn)的三維坐標(biāo)最優(yōu)解

(2)平移向量最優(yōu)解

At,bt分別為m個(gè)具有如下

形式的等式聯(lián)立得到的方程組的系數(shù)矩陣和常數(shù)項(xiàng)矩陣。

(3)旋轉(zhuǎn)矩陣的求解

在最優(yōu)解(1)、(2)結(jié)果的基礎(chǔ)上，該問題可表達(dá)為

(4)

其中，

對(duì)該問題進(jìn)行遞推求解，記第λ次的迭代結(jié)果為

(5)

(6)

由以上步驟，可以求出三維世界點(diǎn)云坐標(biāo)，得到較精確的目標(biāo)三維點(diǎn)集。

需要指出的是，上述得到的三維點(diǎn)坐標(biāo)，是相對(duì)于固定世界坐標(biāo)系的相對(duì)位置坐標(biāo)。在本文中，該世界坐標(biāo)系便是初始時(shí)刻的攝像機(jī)光心坐標(biāo)系。

2.2增量式重構(gòu)測(cè)量算法

前述過程完成了目標(biāo)三維點(diǎn)云模型的重構(gòu)，雖然上述方法經(jīng)證明能夠取得較為準(zhǔn)確的重構(gòu)精度，然而，需要指出的是，上述方法中，只能對(duì)圖像集合進(jìn)行捆綁優(yōu)化處理，不能實(shí)現(xiàn)圖像序列的序貫處理，這對(duì)于常用的目標(biāo)相對(duì)測(cè)量任務(wù)而言是不能滿足需求的。為此，本節(jié)以該初始化模型為基礎(chǔ)，提出了一種增量式的重構(gòu)測(cè)量算法。該算法首先根據(jù)初始化重構(gòu)得到的三維點(diǎn)集，利用攝像機(jī)成像幾何關(guān)系，得到相機(jī)相對(duì)目標(biāo)的位置和姿態(tài)參數(shù)信息；然后，利用該位姿參數(shù)信息，對(duì)每一幀新采集的圖像進(jìn)行特征點(diǎn)重構(gòu)，隨后，再利用該重構(gòu)優(yōu)化后的點(diǎn)云結(jié)果，反過來輔助下一個(gè)時(shí)刻攝像機(jī)位姿參數(shù)的計(jì)算。從上述過程可以看出，該方法實(shí)際上是一個(gè)圖像序列序貫處理的過程，隨著圖像序列的增加，重構(gòu)精度經(jīng)過不斷優(yōu)化越來越高，而攝像機(jī)相對(duì)目標(biāo)的位姿參數(shù)的精度也隨之逐步提高，因此，本文將該方法稱為“增量式重構(gòu)測(cè)量算法”。

如前所述，在得到了目標(biāo)三維點(diǎn)云初始化重構(gòu)結(jié)果后，可以實(shí)現(xiàn)相機(jī)相對(duì)目標(biāo)位姿的實(shí)時(shí)測(cè)量。對(duì)于每一幀新采集的圖像，由于其在觀測(cè)初期階段受重構(gòu)精度的影響，其空間三維坐標(biāo)會(huì)存在誤差，該誤差反過來又會(huì)引起攝像機(jī)相對(duì)位姿參數(shù)的計(jì)算出現(xiàn)誤差。為此，通常將場(chǎng)景中的特征點(diǎn)三維坐標(biāo)和攝像機(jī)位姿參數(shù)同時(shí)構(gòu)建狀態(tài)空間方程，利用圖像序貫觀測(cè)量進(jìn)行濾波計(jì)算，同時(shí)對(duì)特征點(diǎn)坐標(biāo)和位姿參數(shù)進(jìn)行遞推計(jì)算。本文沿用作者于2014年提出的遞推深度參數(shù)模型[16]，并在此基礎(chǔ)上，根據(jù)本文所涉及的目標(biāo)三維點(diǎn)更新迭代過程應(yīng)用需求，將該模型進(jìn)行適應(yīng)性改進(jìn)如下：

(1)增量式重構(gòu)測(cè)量算法中的狀態(tài)更新方程

(7)

(8)

需要指出的是，在持續(xù)的觀測(cè)過程中，無法保證能對(duì)特定點(diǎn)實(shí)現(xiàn)連續(xù)不間斷的觀測(cè)，因此針對(duì)狀態(tài)量Zi(k)的選取，不能采用一成不變的目標(biāo)特征點(diǎn)，而需要進(jìn)行實(shí)時(shí)更新。本測(cè)量方案提出一種堆棧式迭代更新的處理方式，該方法利用特征點(diǎn)的反復(fù)觀測(cè)，不斷提高其深度特征的估計(jì)精度，此時(shí)可以認(rèn)為，觀測(cè)壽命越長(zhǎng)的特征點(diǎn)，其估計(jì)精度也越高。因此，在狀態(tài)方程中，將涉及的N個(gè)特征點(diǎn)按照觀測(cè)壽命長(zhǎng)短進(jìn)行排序，當(dāng)壽命最長(zhǎng)的特征點(diǎn)的估計(jì)精度滿足一定要求后，便可以用新觀測(cè)到的新特征點(diǎn)去替換這些目標(biāo)特征點(diǎn)，增加到系統(tǒng)狀態(tài)方程之中，組成新的N個(gè)特征狀態(tài)。被替換的目標(biāo)特征點(diǎn)由于其觀測(cè)壽命較長(zhǎng)，其精度也已經(jīng)滿足要求，可以將其作為固化的三維世界坐標(biāo)。而新加入的特征點(diǎn)，隨著觀測(cè)圖像的增加，其觀測(cè)壽命也不斷提升，其深度估計(jì)精度也隨之不斷提高，當(dāng)其達(dá)到一定的觀測(cè)壽命后，也被新加入的特征點(diǎn)替換，成為固化的三維重構(gòu)結(jié)果。

如圖3所示，設(shè)定狀態(tài)量中目標(biāo)特征點(diǎn)數(shù)為N，即僅僅對(duì)N個(gè)特征點(diǎn)進(jìn)行狀態(tài)估計(jì)濾波處理；選取在前一階段圖像序列捆綁優(yōu)化得到的N個(gè)三維特征點(diǎn)，作為狀態(tài)量中的Zi(k)(i=1,2，…,N)；當(dāng)壽命最長(zhǎng)的m個(gè)觀測(cè)點(diǎn)(即圖3中最上面的m個(gè)特征點(diǎn))的精度滿足要求，將其作為固化的三維點(diǎn)加入三維模型，不再作為狀態(tài)向量的元素，同時(shí)將新觀測(cè)到的m個(gè)特征點(diǎn)，添加進(jìn)入狀態(tài)向量。m的確定原則為，使得每個(gè)新添入的三維點(diǎn)的觀測(cè)次數(shù)不小于10次，因此有N/m≥10。

圖3　狀態(tài)向量更新示意Fig.3　Update of state vector

(2)增量式重構(gòu)測(cè)量算法中的觀測(cè)方程

(9)

基于上述模型的相對(duì)位姿測(cè)量和新三維點(diǎn)的添加算法可以總結(jié)為以下步驟：

1)根據(jù)已恢復(fù)的三維點(diǎn)坐標(biāo)，分別計(jì)算出相機(jī)的旋轉(zhuǎn)矩陣RCkW和平移向量rWCW(k)，并根據(jù)上一時(shí)刻計(jì)算得到的旋轉(zhuǎn)矩陣RCk-1W和平移向量rWCW(k-1)，并由此計(jì)算觀測(cè)量y；

2)更新狀態(tài)方程；

3)離散擴(kuò)展卡爾曼濾波(EKF)；

4)相機(jī)位姿信息更新及新三維點(diǎn)世界坐標(biāo)計(jì)算：

Pos(k)=Pos(k-1)+RCkWkVC(k)Δt

Pos(k)表示k時(shí)刻相機(jī)在世界坐標(biāo)系中的位置。

3　試驗(yàn)驗(yàn)證

3.1空間航拍重構(gòu)測(cè)量試驗(yàn)

本試驗(yàn)利用四旋翼無人飛行器搭載的攝像機(jī)對(duì)固定未知目標(biāo)進(jìn)行拍攝，并對(duì)所得到的圖像進(jìn)行重構(gòu)和位姿測(cè)量試驗(yàn)。拍攝平臺(tái)和試驗(yàn)場(chǎng)景如圖4所示。

圖4　試驗(yàn)場(chǎng)景示意Fig.4　Experiment scene

(1)試驗(yàn)描述

試驗(yàn)中，操作四旋翼無人飛行器，模擬飛行器從不同角度對(duì)固定目標(biāo)進(jìn)行拍攝的過程，以30幀/s的幀頻進(jìn)行拍攝，得到一組圖片序列(視頻)；基于該圖片序列，進(jìn)行了如下試驗(yàn)。

首先利用采集到的視頻的前10s，每10幀選取一幀，選取出30幀圖像，采用第2.1節(jié)的方法，重構(gòu)出一系列目標(biāo)的三維點(diǎn)坐標(biāo)，這里得到了357個(gè)三維點(diǎn)，如圖5所示。

圖5　初始重構(gòu)結(jié)果Fig.5　Initial reconstruction result

圖5為初始重構(gòu)的結(jié)果，由于僅僅通過單目視覺傳感器，無法得到非合作目標(biāo)的絕對(duì)尺度信息，因此圖中的坐標(biāo)無量綱。

隨后，在上述三維點(diǎn)的基礎(chǔ)上，采用第2.2節(jié)的方法，實(shí)現(xiàn)對(duì)相對(duì)位姿信息和新的特征點(diǎn)的同時(shí)優(yōu)化估計(jì)，圖6顯示了幾個(gè)時(shí)刻相機(jī)的位姿。試驗(yàn)數(shù)據(jù)的處理硬件平臺(tái)為一臺(tái)配置i7八核處理器的PC機(jī)，整個(gè)過程使用了2 160幀(72s視頻)圖像，總處理時(shí)間為223.56s，平均處理速度約為10幀/s。

圖6　相對(duì)測(cè)量結(jié)果Fig.6　Results of relative measurement

圖6顯示了測(cè)量過程中不同時(shí)刻相機(jī)的位姿，并標(biāo)示出了相機(jī)光心的運(yùn)動(dòng)軌跡和相機(jī)的位姿，黑色點(diǎn)云標(biāo)示了重構(gòu)得到的一系列三維點(diǎn)。

(2)試驗(yàn)結(jié)果分析

由于無法得到相機(jī)在空間的位姿信息的真值，無法直接驗(yàn)證結(jié)果的正確性。為此，對(duì)重構(gòu)測(cè)量的結(jié)果進(jìn)行了重投影誤差的分析。

1)單幅圖像重投影誤差分析。

在初始重構(gòu)測(cè)量階段使用的圖片中，選取了第1幀、第15幀、第30幀3幅圖像，進(jìn)行重投影誤差的統(tǒng)計(jì)分析。在此，選取精確重構(gòu)點(diǎn)比例(在本文中，將重投影誤差小于一個(gè)像素的點(diǎn)稱為精確重構(gòu)點(diǎn))這一指標(biāo)作為測(cè)量精度的衡量指標(biāo)。對(duì)3幅圖像的精確重構(gòu)點(diǎn)比例隨時(shí)間的變化進(jìn)行了統(tǒng)計(jì)，結(jié)果如圖7所示。

圖7　單幅圖像精確重構(gòu)點(diǎn)比例變化Fig.7　Changing trend of the percentage of preciously reconstructed points

圖7中，直線段是采用第2.1節(jié)的非線性約束的方法得到的試驗(yàn)結(jié)果，由于該過程不是一個(gè)增量式逐漸遞推的過程，因此在此作為整體處理。其后是通過濾波處理得到的結(jié)果，由于在濾波初期，新觀測(cè)的點(diǎn)的深度具有較大的不確定度，因此，精確重構(gòu)點(diǎn)的比例有所下降；隨著濾波器的收斂，精確重構(gòu)點(diǎn)的比例逐漸提高；當(dāng)一幅圖中，所有特征點(diǎn)都成為固定的三維點(diǎn)，其精確重構(gòu)點(diǎn)比例不再變化?？梢钥闯?，隨著時(shí)間的推移，同一世界點(diǎn)被觀測(cè)次數(shù)的增多，同一圖像的精確重構(gòu)點(diǎn)的比例逐漸增加。由于對(duì)于單幅圖像，其對(duì)應(yīng)的相機(jī)的位姿參數(shù)是確定的，重投影誤差的大小僅取決于三維點(diǎn)坐標(biāo)，精確重構(gòu)點(diǎn)比例的增加表明重構(gòu)得到的三維點(diǎn)坐標(biāo)精度的提高。

2)重構(gòu)測(cè)量最終結(jié)果重投影誤差分析。

對(duì)測(cè)量完成后，得到的三維點(diǎn)坐標(biāo)和相機(jī)的位姿進(jìn)行全局的重投影誤差分析，統(tǒng)計(jì)了測(cè)量過程中所使用的每幀圖像的精確重構(gòu)點(diǎn)的比例，結(jié)果如圖8所示。

在全部使用的2 190幅圖像中，精確重構(gòu)點(diǎn)比例大于89%的圖像有1 754幅，占所有圖片的80%，表明該方法能夠得到較為精確的重構(gòu)測(cè)量結(jié)果。

圖8　精確重構(gòu)點(diǎn)比例分布Fig.8　A diagram of the percentage of precious reconstructed points

3.2公共數(shù)據(jù)集試驗(yàn)

第3.1節(jié)以空間小型測(cè)量平臺(tái)為例，對(duì)所提方法的有效性進(jìn)行了試驗(yàn)驗(yàn)證。然而，由于試驗(yàn)條件的限制，上述試驗(yàn)不能直接對(duì)單目視覺的測(cè)量精度進(jìn)行評(píng)價(jià)。為此，本節(jié)借助于慕尼黑工大提供的單目SLAM公共數(shù)據(jù)集[17]，對(duì)算法的精度指標(biāo)進(jìn)行驗(yàn)證。重構(gòu)測(cè)量結(jié)果如圖9所示。

圖9　公共數(shù)據(jù)集重構(gòu)測(cè)量結(jié)果Fig.9　Results of reconstruction based on RGB-D SLAM dataset

圖10對(duì)試驗(yàn)結(jié)果進(jìn)行了描述。試驗(yàn)數(shù)據(jù)集采集過程中，攝像機(jī)的旋轉(zhuǎn)和平移參數(shù)參考真值由慣性測(cè)量系統(tǒng)得到，由于試驗(yàn)時(shí)間較短，因此慣性測(cè)量結(jié)果可以用來作為參考。從試驗(yàn)結(jié)果可以看出，用本文所提出的方法，能夠由單目攝像機(jī)采集的圖像序列得到關(guān)于攝像機(jī)運(yùn)動(dòng)的姿態(tài)和位置參數(shù)。從圖10中可以看出，姿態(tài)估計(jì)精度可以達(dá)到1°以內(nèi)，而位置估計(jì)精度可以達(dá)到2cm以內(nèi)。

圖10　位姿測(cè)量結(jié)果Fig.10　Results of relative measure

5　結(jié)束語

針對(duì)非合作目標(biāo)的相對(duì)位姿測(cè)量問題，提出了一種基于單目三維重構(gòu)的實(shí)時(shí)測(cè)量方法。試驗(yàn)表明，該算法能夠?qū)崿F(xiàn)以10幀/s對(duì)非合作目標(biāo)進(jìn)行實(shí)時(shí)測(cè)量，姿態(tài)測(cè)量精度優(yōu)于1°，能夠滿足針對(duì)非合作目標(biāo)的高精度實(shí)時(shí)測(cè)量任務(wù)要求。由于僅僅通過單目視覺測(cè)量算法，無法得到真實(shí)世界的絕對(duì)尺度，因此，通過引入其他傳感器信息，實(shí)現(xiàn)對(duì)非合作目標(biāo)的具有絕對(duì)尺度的相對(duì)位姿測(cè)量，是下一步的研究方向。

References)

[1]崔乃剛，王平，郭繼峰，等．空間在軌服務(wù)技術(shù)發(fā)展綜述[J]．宇航學(xué)報(bào)，2007，28(4)：805-811．

CUI N G，WANG P，GUO J F，et al. A review of on-orbit servicing[J]. Journal of Astronautics，2007，28(4)： 805-811(in Chinese)．

[2]劉勇，徐鵬，徐世杰．航天器自主交會(huì)對(duì)接的視覺相對(duì)導(dǎo)航方法[J]．中國(guó)空間科學(xué)技術(shù)，2013，33(6)：33-40.

LIU Y， XU P， XU S J. Vision-based relative navigation for rendezvous and docking of spacecraft[J]. Chinese Space Science and Technology， 2013，12(6)：33-40(in Chinese).

[3]ZHOU J Y，ZHOU J P，JIANG Z C，et al．Investigation into pilot handling qualities in teleoperation rendezvous and docking with time delay[J]．Chinese Journal of Aeronautics，2012，25(4)：622-630．

[4]余慧杰，韓平疇. 雙目視覺系統(tǒng)的測(cè)量誤差分析[J].光學(xué)技術(shù)，2007，33(增刊)：157-159.

YU H J，HAN P C. Measuring errors analysis of binocular vision system[J]. Optical Technique， 2007，33(Suppl.)：157-159(in Chinese).

[5]NISTER D. An efficient solution to the five-point relative pose problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(6)：756-777.

[6]KLEIN G，MURRAY D. Improving the agility of keyframe-based SLAM[C]∥Proceeding of the 10th European Conference on Computer Vision，Marseille，F(xiàn)rance，October 12-18，2008.

[7]MOURAGNON E，LHUILLIER M，DHOME M. Generic and real-time structure from motion using local bundle adjustment[J]. Image and Vision Computing，2009，27(8)： 1178-1193.

[8]ENGELS C，STEWENIUS H. Bundle adjustment rules[C]∥Symposium of ISPRS Commission III Photogrammetric Computer Vision PCV， Bonn， Germany， September 20-22， 2006.

[9]TARDIF J，PAVLIDIS Y. Monocular visual odometry in urban environments using an omnidirectional camera[C]∥International Conference on Intelligent Robots and Systems， Nice， France， September 22-26，2008.

[10]楊東方，孫富春. 單目視覺系統(tǒng)自運(yùn)動(dòng)的滾動(dòng)時(shí)域估計(jì)方法[J]. 模式識(shí)別與人工智能，2013，26(1)：76-82.

YANG D F，SUN F C. Moving horizon estimation of ego-motion in monocular visual systems[J]. Pattern Recognition and Artificial Intelligence，2013，26(1)： 76-82(in Chinese).

[11]FRAUNDORFER F，SCARAMUZZA D. A constricted bundle adjustment parameterization for relative scale estimation in visual odometry[C]∥International Conference on Robotics and Automation Anchorage Convention District，Anchorage，Alaska，USA，May 3-8，2010.

[12]王曉亮，邵曉巍，龔德仁. 空間非合作目標(biāo)交會(huì)對(duì)接影像測(cè)量自適應(yīng)處理[J]. 中國(guó)空間科學(xué)技術(shù)，2011，31(3)： 76-83.

WANG X L， SHAO X W， GONG D R. An adaptive approach to vision measurement for rendezvous and docking with non-cooperative target in space[J]. Chinese Space Science and Technology，2011，31(3)：76-83(in Chinese).

[13]徐文福，梁斌.基于立體視覺的航天器相對(duì)位姿測(cè)量方法與仿真研究[J]. 宇航學(xué)報(bào)，2009，30(4)：1421-1428.

XU W F，LIANG B. Stereo vision-based relative pose measurement method for spacecraft[J]. Journal of Astronautics，2009，30(4)：1421-1428(in Chinese).

[14]GERALD SCHWEIGHOFER，AXEL PINZ. Fast and globally convergent structure and motion estimation for general camera models[C]∥Proceedings of British Machine Vision Conference，Edinburgh，UK，September 4-7，2006.

[15]GROSSBERG M D，NAYAR S K. A general imaging model and a method for finding its parameters[C]∥ICCV，Vancouver，Canada，July 9-12，2001.

[16]YANG D F，LIU Z G. Recursive depth parametrization of monocular visual navigation：observability analysis and performance evaluation[J]. Information Sciences，2014，287：38-49.

[17]STURM J，ENGELHARD N，ENDRES F，et al. A benchmark for the evaluation of RGB-D SLAM systems[C]∥International Conference on Intelligent Robot Systems (IROS)，Vilamoura，Portugal，October 7-12，2012.

(編輯：車曉玲)

Aerial relative measurement based on monocular reconstruction for non-cooperation target

LI Yongfei，WANG Shicheng，YANG Dongfang*， SUN Dawei

Department of Control Engineering，Rocket Force University of Engineering，Xi′an 710025，China

A monocular vision-based relative position and attitude measurement algorithm was presented， which combined the reconstruction of targets with the measurement of relative positions and attitude for non-cooperation targets. Firstly， a series of points on the targets were reconstructed using the images obtained in the earlier measurement with a fast and globally convergent structure and motion estimation.Secondly， the relative position and attitude were calculated by using a Kalman filter based on recursive depth parametrization， in which new points observed from new images were recovered and added to the 3D point set to improve the accuracy and robustness of the measurement. Experiment result shows that the attitude measurement can achieve an accuracy higher than 1°,and the position measurement can achieve an accuracy higher than 2 cm， which indicates the high precision of the proposed algorithm.

target reconstruction；measurement for relative position and attitude；monocular vision；non-cooperation target

10.16708/j.cnki.1000-758X.2016.0057

2015-12-25；

2016-04-28；錄用日期：2016-08-22；

時(shí)間：2016-09-2113:41:25

http:∥www.cnki.net/kcms/detail/11.1859.V.20160921.1341.006.html

國(guó)家自然科學(xué)基金(61403398)；總裝預(yù)研基金(9140A01010413JB47005)

李永飛(1993-)，男，碩士研究生，lyfei314@163.com,研究方向?yàn)閳D像制導(dǎo)

楊東方(1985-)，男，博士，講師，yangdf301@163.com，研究方向?yàn)閳D像制導(dǎo)

V448.2

A

http:∥zgkj.cast.cn

引用格式：李永飛，王仕成，楊東方，等. 基于單目三維重構(gòu)的空間非合作目標(biāo)相對(duì)測(cè)量[J].中國(guó)空間科學(xué)技術(shù)， 2016，36(5)：

48-56.LIYF，WANGSC，YANGDF，etal.Aerialrelativemeasurementbasedonmonocularreconstructionfornon-cooperationtarget[J].ChineseSpaceScienceandTechnology， 2016，36(5)：48-56(inChinese).