張勁鋒,蔡 偉,孫承啟,3

(1.北京控制工程研究所,北京 100190;2.中國空間技術(shù)研究院總體部，北京 100094;3.空間智能控制技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室,北京 100190)

基于單目視覺的空間非合作目標(biāo)相對運(yùn)動(dòng)參數(shù)估計(jì)

張勁鋒1,蔡 偉2,孫承啟1,3

(1.北京控制工程研究所,北京 100190;2.中國空間技術(shù)研究院總體部，北京 100094;3.空間智能控制技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室,北京 100190)

提出了一種估計(jì)空間非合作目標(biāo)相對運(yùn)動(dòng)參數(shù)的單目視覺方法，該方法將相對運(yùn)動(dòng)參數(shù)估計(jì)問題描述為一個(gè)非線性約束優(yōu)化問題.通過迭代求解特征值問題來確定基本矩陣，將基本矩陣分解可得到相對運(yùn)動(dòng)參數(shù)的4個(gè)可能解，給出了消除旋轉(zhuǎn)矩陣多義解的簡單判斷準(zhǔn)則.數(shù)值仿真結(jié)果驗(yàn)證了該方法的有效性.

單目視覺；非合作目標(biāo)；相對運(yùn)動(dòng)；參數(shù)估計(jì)

在空間交會(huì)對接、在軌服務(wù)等航天任務(wù)的最后逼近段，通常采用單目視覺系統(tǒng)來測量追蹤航天器與目標(biāo)航天器之間的相對位置和相對姿態(tài)[1-3].針對合作目標(biāo)的相對位姿測量方法雖有精度高、抗干擾能力強(qiáng)的特點(diǎn)，但其作用距離受限于合作目標(biāo)尺寸，且只能對裝有目標(biāo)標(biāo)識(shí)器的飛行器進(jìn)行測量.現(xiàn)有的非合作目標(biāo)測量方法可對未安裝目標(biāo)標(biāo)識(shí)器的空間目標(biāo)進(jìn)行測量，但仍需事先獲知目標(biāo)的整體幾何模型信息[4-5]，因此僅適用于狹義的非合作目標(biāo).而針對未知模型的廣義非合作目標(biāo)測量方法則不需要被觀測目標(biāo)的幾何模型等任何先驗(yàn)信息，只需利用兩幀以上觀測圖像即可估計(jì)出其相對運(yùn)動(dòng)參數(shù)，因此具有更強(qiáng)的靈活性.除了空間交會(huì)對接、在軌服務(wù)等任務(wù)，該測量方法在空間目標(biāo)監(jiān)視、深空探測和小行星著陸等航天任務(wù)中也有著重要的應(yīng)用前景.

針對未知模型的廣義非合作目標(biāo)，目前主要有單目視覺和雙目視覺[6]兩類測量系統(tǒng).其中單目視覺系統(tǒng)配置簡單、易于標(biāo)定，其缺點(diǎn)在于不能測量目標(biāo)的距離信息.雙目視覺原理較為簡單，能夠測量距離信息,其缺點(diǎn)在于系統(tǒng)配置和標(biāo)定較為復(fù)雜，基線長度影響觀測范圍和測量精度.因此，單目視覺與雙目視覺各有其優(yōu)缺點(diǎn)和適用范圍，同時(shí)單目視覺又可對雙目視覺形成必要的補(bǔ)充和冗余.

1 問題描述

將單目相機(jī)安裝在主動(dòng)航天器上以對任務(wù)對象進(jìn)行成像觀測，由于運(yùn)動(dòng)是相對的，可以認(rèn)為相機(jī)靜止而觀測目標(biāo)運(yùn)動(dòng)，也可以認(rèn)為觀測目標(biāo)靜止而相機(jī)運(yùn)動(dòng)，在成像效果相同的原則下，兩者相互等價(jià)且可以相互轉(zhuǎn)換，本文僅考慮相機(jī)靜止而觀測目標(biāo)運(yùn)動(dòng)的情形.這里相對運(yùn)動(dòng)參數(shù)是指觀測目標(biāo)在獲取兩幀圖像時(shí)刻之間的相對運(yùn)動(dòng)參數(shù)，即后一幀時(shí)刻相對于前一幀時(shí)刻的相對運(yùn)動(dòng)參數(shù)，包括相對位移和相對姿態(tài)(本文不考慮相對運(yùn)動(dòng)速度).

式中

圖1 目標(biāo)相對運(yùn)動(dòng)與相機(jī)成像模型

值得注意的是，由上述約束條件只能確定出平移向量t的方向，但不能確定其大小.因此，這里要研究的主要問題就是在方程(1)、(2)和(3)等約束條件下，利用兩幀圖像中提取的測量信息，求解出觀測目標(biāo)的旋轉(zhuǎn)矩陣R和單位平移向量t.

2 估計(jì)方法

由圖像測量信息求解相對運(yùn)動(dòng)參數(shù)是計(jì)算機(jī)視覺中的經(jīng)典問題[7-10]，可以將參數(shù)估計(jì)問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題來直接求解，也可以分步求解.本文采取分步求解的方法進(jìn)行相對運(yùn)動(dòng)參數(shù)估計(jì)，可分為3個(gè)步驟：①確定圖像特征對應(yīng)；②求解基本矩陣；③求解相對運(yùn)動(dòng)參數(shù).

確定圖像特征對應(yīng)是進(jìn)行后續(xù)處理的基礎(chǔ)，其主要目標(biāo)是基本消除錯(cuò)匹配和粗差的影響，但提取的測量信息中不可避免會(huì)包含有較小的誤差.這里假定該步驟已經(jīng)利用特征匹配、特征跟蹤或魯棒估計(jì)等方法得到了準(zhǔn)確的特征對應(yīng)，下面主要討論后面兩個(gè)步驟.

2.1求解基本矩陣

本文將基本矩陣求解問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題，然后利用數(shù)值算法進(jìn)行迭代求解.

將方程(1)改寫成以下形式：

約束條件為方程(4).

經(jīng)過推導(dǎo)，上述約束優(yōu)化問題可以轉(zhuǎn)化為無約束優(yōu)化問題，并得到一種近似的最大似然估計(jì)目標(biāo)函數(shù)

式中Ai=u(xi)uT(xi),Bi=▽xu(xi)Λxi▽xuT(xi),其中xu(xi)表示在點(diǎn)x=xi處函數(shù)u(x)對于x的9×4雅克比矩陣.若圖像坐標(biāo)向量的高斯噪聲均值為0，協(xié)方差Λxi=σ2I，則可得變換后的變量u(x)的協(xié)方差矩陣為

待優(yōu)化的目標(biāo)函數(shù)為參數(shù)向量θ的非線性函數(shù)，只能通過迭代求解，例如Renormalization算法[11]、HEIV算法[12]和FNS算法[13]等.迭代初值可以用歸一化8點(diǎn)算法求解[4].本文采用較為簡單的FNS算法來求解參數(shù)向量θ，其主要思路是通過迭代求解一個(gè)特征值問題逐步逼近問題的真解，其主要步驟如下：

①利用最小二乘算法求解參數(shù)初值θ0，令k=0;

③求解矩陣Xθ的最小特征值對應(yīng)的單位特征向量，并將其作為新的參數(shù)向量θk+1；

④若θk+1≈θk，則停止迭代，否則轉(zhuǎn)入步驟②繼續(xù)迭代.

由上述方法求出的基本矩陣F未考慮秩2約束(3)，可先求基本矩陣F的奇異值分解F=UDVT，其中矩陣D的對角元素(σ1,σ2,σ3)為其奇異值且按降序排列，令其最小的奇異值σ3=0，則F=Udiag{σ1,σ2,0}VT即為所求的基本矩陣，diag{·}表示由向量形成的對角矩陣.

2.2求解相對運(yùn)動(dòng)參數(shù)

由于假設(shè)已知相機(jī)的內(nèi)參數(shù)矩陣為K，若已得到基本矩陣F的一個(gè)估計(jì)值，首先可以根據(jù)方程(2)求出本質(zhì)矩陣

然后將本質(zhì)矩陣E進(jìn)行奇異值分解，可得

則旋轉(zhuǎn)矩陣R有兩種可能的取值

單位平移向量t也有兩種可能的取值

因此，相對運(yùn)動(dòng)參數(shù)(R,t)共有4組可能解，但是其中只有一組解物理上能夠?qū)崿F(xiàn)，即滿足重建的三維目標(biāo)點(diǎn)均在攝像機(jī)前面這個(gè)約束條件.文獻(xiàn)[4]針對最一般的情形，提出應(yīng)選取一對圖像對應(yīng)點(diǎn)對4組可能解分別進(jìn)行結(jié)構(gòu)重建，最后根據(jù)重建結(jié)果判斷出唯一的真解.

考慮到在連續(xù)兩幀時(shí)刻之間觀測目標(biāo)的姿態(tài)旋轉(zhuǎn)的角度一般不會(huì)太大，否則兩幀圖像中的對應(yīng)特征點(diǎn)個(gè)數(shù)會(huì)隨著旋轉(zhuǎn)角的增大而顯著減少甚至完全消失，因此可假設(shè)旋轉(zhuǎn)矩陣R對應(yīng)的3個(gè)歐拉角φ,θ,ψ均在一定范圍內(nèi)取值.對旋轉(zhuǎn)矩陣和歐拉角的轉(zhuǎn)換關(guān)系進(jìn)行分析可知，當(dāng)歐拉角φ,θ,ψ∈(-30°,30°)時(shí)，對應(yīng)的旋轉(zhuǎn)矩陣R的主對角線元素均大于同一行(或列)中的其他元素.因此，可以根據(jù)這個(gè)簡單的判斷準(zhǔn)則消除旋轉(zhuǎn)矩陣解的多義性，即若旋轉(zhuǎn)矩陣R的3個(gè)主對角線元素中有一個(gè)小于同一行(或列)中的其他元素，則令R=UVTRTUVT，這樣就得到了旋轉(zhuǎn)矩陣R的真解，然后僅需利用結(jié)構(gòu)重構(gòu)消除單位平移向量t解的多義性.由于結(jié)構(gòu)重構(gòu)過程運(yùn)算量較大且會(huì)引入估計(jì)誤差，因此該方法在提高估計(jì)精度的同時(shí)也大大減少了運(yùn)算量.

3 數(shù)值仿真

許多文獻(xiàn)已經(jīng)對估計(jì)基本矩陣的不同算法的性能進(jìn)行了大量的仿真比較，但是其評(píng)價(jià)大多是以點(diǎn)與極線的距離或重投影誤差作為標(biāo)準(zhǔn)，從中很難評(píng)價(jià)對于相對運(yùn)動(dòng)參數(shù)的估計(jì)性能.因此，本文直接以相對運(yùn)動(dòng)參數(shù)的估計(jì)誤差作為評(píng)價(jià)標(biāo)準(zhǔn)，利用Matlab軟件進(jìn)行了數(shù)值仿真.

仿真條件設(shè)定為：相機(jī)的圖像分辨率為1024×1024,正方形像素大小為35μm，焦距為35mm，圖像扭曲參數(shù)為0.每個(gè)圖像點(diǎn)的x、y坐標(biāo)均加入均值為0、標(biāo)準(zhǔn)差為0.5個(gè)像素的高斯噪聲.

考慮到空間非合作目標(biāo)結(jié)構(gòu)的多樣性，觀測目標(biāo)上的三維點(diǎn)坐標(biāo)在單位立方體內(nèi)隨機(jī)取值，如圖2所示.在初始時(shí)刻,相機(jī)與目標(biāo)之間的旋轉(zhuǎn)用歐拉角φ,θ,ψ來表示,并按均勻分布在(-60°,60°)內(nèi)隨機(jī)取值,目標(biāo)距離在1～10m內(nèi)隨機(jī)取值.觀測目標(biāo)從初始時(shí)刻開始連續(xù)作剛體運(yùn)動(dòng)，其旋轉(zhuǎn)運(yùn)動(dòng)的歐拉角在(-30°,30°)內(nèi)隨機(jī)取值，相對平移分量在-1～1m內(nèi)隨機(jī)取值.

圖2 仿真用的目標(biāo)模型

圖3 目標(biāo)運(yùn)動(dòng)前后的圖像特征點(diǎn)對應(yīng)

圖4 相對運(yùn)動(dòng)參數(shù)的估計(jì)誤差

圖3為目標(biāo)在某次相對運(yùn)動(dòng)前后產(chǎn)生的圖像特征點(diǎn)對應(yīng)，圖中連線僅用來表示各點(diǎn)之間的對應(yīng)關(guān)系.對上述目標(biāo)相對運(yùn)動(dòng)進(jìn)行1000次仿真，仿真結(jié)果如圖4所示.相對姿態(tài)誤差用歐拉角的估計(jì)誤差Δφ,Δθ,Δψ表示，相對平移誤差用真實(shí)平移方向與估計(jì)平移方向之間的夾角Δt表示.由圖5可知，該方法對于3個(gè)歐拉角的估計(jì)誤差絕對值|Δφ|,|Δθ|,|Δψ|≤0.5°,估計(jì)平移方向與真實(shí)平移方向之間的夾角絕對值|Δt|≤1°，由于仿真條件中的初始位姿參數(shù)和目標(biāo)相對運(yùn)動(dòng)參數(shù)均是在一定范圍內(nèi)按均勻分布隨機(jī)取值，因此仿真結(jié)果顯示了估計(jì)方法的有效性和穩(wěn)定性.

4 結(jié) 論

本文提出了一種基于單目視覺的空間非合作目標(biāo)相對運(yùn)動(dòng)參數(shù)的估計(jì)方法，從目標(biāo)相對運(yùn)動(dòng)的基本幾何約束條件出發(fā)導(dǎo)出了相關(guān)的非線性優(yōu)化問題，并對常用的數(shù)值迭代算法和參數(shù)分解方法進(jìn)行了研究，最后通過數(shù)值仿真驗(yàn)證了該方法的有效性和穩(wěn)定性.該方法本身提供了一種分步實(shí)現(xiàn)框架，有利于算法的進(jìn)一步改進(jìn)，例如利用基本矩陣的估計(jì)結(jié)果可以對原始測量信息進(jìn)行修正，以提高下一步三維重構(gòu)算法的精度，從而增加整個(gè)估計(jì)方法的可靠性.因此，本文提出的相對運(yùn)動(dòng)參數(shù)估計(jì)方法在針對非合作目標(biāo)的空間交會(huì)對接、在軌服務(wù)等許多航天任務(wù)中有著重要的應(yīng)用前景，同時(shí)也需要進(jìn)一步深入的研究.

[1] Ho C C, McClamroch N H.A spacecraft docking problem: position estimation using a computer vision approach[C].AIAA Guidance, Navigation and Control Conference, Portland, Oregon, Aug.1990

[2] 林來興，李燦.交會(huì)對接逼近階段CCD相機(jī)的測量方法[J].宇航學(xué)報(bào), 1994, 15(2):24-34

[3] Calhoun P C, Dabney R.Solution to the problem of determining the relative 6 DOF state for spacecraft automated rendezvous and docking [J].SPIE, 1995, 2466: 175-184

[4] Cropp A, Palmer P L, McLauchlan P, et al.Estimating the pose of a known target satellite [J].IEE Electronic Letters, 2000, 36(15):1331-1332

[5] 張世杰, 曹喜濱, 陳閩.非合作航天器間相對位姿的單目視覺確定算法[J].南京理工大學(xué)學(xué)報(bào), 2006, 30(5):564-568

[6] 張慶君, 胡修林, 葉斌, 等.基于雙目視覺的航天器間相對位置和姿態(tài)的測量方法[J].宇航學(xué)報(bào), 2008, 29(1):156-161

[7] Luong Q T, Faugeras O D.The fundamental matrix: theory, algorithms, and stability analysis [J].International Journal of Computer Vision, 1996, 17(1):43-75

[8] Torr P H S, Murray D W.The development and comparison of robust methods for estimating the fundamental matrix [J].International Journal of Computer Vision, 1997, 24(3):271-300

[9] Zhang Z.Determining the epipolar geometry and its uncertainty: a review [J].International Journal of Computer Vision, 1998, 27(2): 161-198

[10] Hartley R, Zisserman A.Multiple view geometry in computer vision[M].Cambridge：Cambridge University Press, 2003

[11] Kanatani K.Statistical optimization for geometric computation: theory and practice [M].Amsterdam: Elsevier, 1996

[12] Leedan Y, Meer P.Heteroscedastic regression in computer vision: problems with bilinear constraint [J].International Journal of Computer Vision, 2000, 37(2):127-150

[13] Chojnacki W, Brooks M J, Hengel A, et al.On the fitting of surfaces to data with covariances [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1294-1303

MonocularVision-BasedRelativeMotionParameterEstimationforNon-CooperativeObjectsinSpace

ZHANG Jinfeng1, CAI Wei2, SUN Chengqi1,3

(1.BeijingInstituteofControlEngineering,Beijing100190，China;2.DepartmentofSystemDesign,ChinaAcademyofSpaceTechnology,Beijing100094,China；3.NationalKeyLaboratoryofScienceandTechnologyonSpaceIntelligentControl,Beijing100190,China)

This paper presents a monocular vision-based estimation method of relative motion parameters of non-cooperative objects in space, which is described as a nonlinear constrained optimization problem.The fundamental matrix is estimated by iteratively solving an eigenvalue problem, and then four possible solutions of relative motion parameters may be obtained through fundamental matrix decomposition.A simple test criterion is designed to eliminate the ambiguous solutions of rotation matrix.Numerical simulations demonstrate effectiveness of the proposed approach.

monocular vision; non-cooperative objects; relative motion; parameter estimation

V448.2

A

1674-1579(2010)02-0031-05

2010-02-29

張勁鋒(1979—), 男，河南人，博士研究生，研究方向?yàn)榭臻g目標(biāo)識(shí)別與視覺測量(e-mail: zjf519@yahoo.com.cn).