許允喜，陳 方( 湖州師范學(xué)院 信息工程學(xué)院，浙江 湖州 313000 )

?

基于多幀序列運(yùn)動(dòng)估計(jì)的實(shí)時(shí)立體視覺(jué)定位

許允喜，陳 方
( 湖州師范學(xué)院 信息工程學(xué)院，浙江 湖州 313000 )

摘要：同時(shí)優(yōu)化運(yùn)動(dòng)和結(jié)構(gòu)的集束調(diào)整方法存在對(duì)初始值依賴太大，收斂速度慢，收斂發(fā)散等數(shù)值穩(wěn)定性低的缺點(diǎn)。本文提出了一種新的用于立體視覺(jué)定位的多幀序列運(yùn)動(dòng)估計(jì)方法，該方法收斂速度快，能收斂到全局最小，可大大減少積累誤差。立體視覺(jué)定位仿真實(shí)驗(yàn)和戶外智能車真實(shí)實(shí)驗(yàn)表明：基于多幀運(yùn)動(dòng)估計(jì)的實(shí)時(shí)立體視覺(jué)定位算法在計(jì)算精度、運(yùn)行時(shí)間、抗噪聲、對(duì)初始參數(shù)的穩(wěn)定性方面都優(yōu)于基于集束調(diào)整的實(shí)時(shí)立體視覺(jué)定位算法。關(guān)鍵詞：實(shí)時(shí)視覺(jué)定位；視覺(jué)導(dǎo)航；集束調(diào)整；多幀序列運(yùn)動(dòng)估計(jì)

0 引 言

基于視覺(jué)的自主導(dǎo)航移動(dòng)機(jī)器人需要實(shí)時(shí)地獲取自己的位置(定位)[1-3]。實(shí)時(shí)立體視覺(jué)定位算法一般利用二幀之間的特征匹配信息進(jìn)行運(yùn)動(dòng)估計(jì)(單幀運(yùn)動(dòng)估計(jì))，對(duì)單幀運(yùn)動(dòng)估計(jì)參數(shù)進(jìn)行級(jí)聯(lián)計(jì)算出攝像機(jī)全局定位信息，這種方法使小的運(yùn)動(dòng)估計(jì)誤差隨圖像序列不斷積累，從而導(dǎo)致移動(dòng)機(jī)器人在長(zhǎng)距離行進(jìn)下定位精度不高。集束調(diào)整(Bundle Adjustment)[4-5]是計(jì)算機(jī)視覺(jué)領(lǐng)域的從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的關(guān)鍵技術(shù)，其采用離線方式同時(shí)對(duì)所有圖像幀的攝像機(jī)位姿和特征點(diǎn)3D坐標(biāo)參數(shù)進(jìn)行非線性優(yōu)化。集束調(diào)整優(yōu)化函數(shù)的雅克比矩陣是稀疏結(jié)構(gòu)，利用該稀疏結(jié)構(gòu)可大大提高計(jì)算速度，所以目前使用的集束調(diào)整都指稀疏集束調(diào)整。

由于實(shí)時(shí)需求，對(duì)所有幀進(jìn)行參數(shù)優(yōu)化調(diào)整是不可行的，所以有研究者提出了局部稀疏集束調(diào)整方法并用于實(shí)時(shí)立體視覺(jué)定位[6-8]，其采用時(shí)間滑動(dòng)窗的形式，每行進(jìn)一幀則對(duì)最后幾幀圖像進(jìn)行優(yōu)化調(diào)整。局部稀疏集束調(diào)整通過(guò)同時(shí)優(yōu)化運(yùn)動(dòng)和結(jié)構(gòu)來(lái)建立多幀之間的特征點(diǎn)匹配信息，即同一個(gè)3D點(diǎn)投影在不斷運(yùn)動(dòng)的攝像機(jī)圖像上，利用投影誤差最小來(lái)同時(shí)優(yōu)化運(yùn)動(dòng)和結(jié)構(gòu)，把許多幀特征點(diǎn)之間的匹配信息聯(lián)系在一起，作為最后一步優(yōu)化步驟可大大提高立體視覺(jué)定位的精度[6-8]。但該方法對(duì)初始值依賴太大，特別是遠(yuǎn)距離特征點(diǎn)或長(zhǎng)的運(yùn)動(dòng)序列會(huì)造成收斂速度慢或收斂發(fā)散等數(shù)值穩(wěn)定性低的缺點(diǎn)。針對(duì)集束調(diào)整的缺點(diǎn)，本文提出了一種新的用于實(shí)時(shí)立體視覺(jué)定位的多幀序列運(yùn)動(dòng)估計(jì)方法。與集束調(diào)整不同的是：攝像機(jī)位姿參數(shù)不采用公共世界坐標(biāo)表達(dá)，而采用相鄰攝像機(jī)相對(duì)位姿表達(dá)，非相鄰攝像機(jī)幀之間的相對(duì)位姿由相鄰攝像機(jī)幀的相對(duì)位姿級(jí)聯(lián)表達(dá)，只優(yōu)化運(yùn)動(dòng)不優(yōu)化結(jié)構(gòu)，多幀序列中非相鄰幀之間的運(yùn)動(dòng)約束直接用相鄰幀運(yùn)動(dòng)級(jí)聯(lián)表達(dá)，這大大減少LM參數(shù)優(yōu)化的數(shù)值不穩(wěn)定性問(wèn)題。本文提出的算法具有收斂速度快，能收斂到全局最小的優(yōu)點(diǎn)，在長(zhǎng)距離行進(jìn)中，多幀序列運(yùn)動(dòng)估計(jì)魯棒性高，能夠得到更高的定位精度。

立體視覺(jué)定位仿真實(shí)驗(yàn)和戶外智能車真實(shí)實(shí)驗(yàn)表明：基于多幀序列運(yùn)動(dòng)估計(jì)的實(shí)時(shí)立體視覺(jué)定位算法在計(jì)算精度、運(yùn)行時(shí)間、抗噪聲、對(duì)初始參數(shù)的穩(wěn)定性方面都優(yōu)于基于集束調(diào)整的實(shí)時(shí)立體視覺(jué)定位算法。

1 多幀序列運(yùn)動(dòng)估計(jì)算法

1.1 多幀圖像序列運(yùn)動(dòng)約束

在特征點(diǎn)匹配跟蹤時(shí)，有許多特征點(diǎn)會(huì)同時(shí)被兩幀以上的立體相機(jī)觀測(cè)到，產(chǎn)生特征點(diǎn)多幀匹配約束。由于特征點(diǎn)非相鄰幀之間也存在特征匹配約束，從而產(chǎn)生了多幀圖像序列運(yùn)動(dòng)約束，除了連續(xù)相鄰二幀之間存在運(yùn)動(dòng)約束，非相鄰幀之間也存在運(yùn)動(dòng)約束。傳統(tǒng)的單幀運(yùn)動(dòng)估計(jì)算法只利用了連續(xù)相鄰二幀之間的匹配信息。很顯然，把相鄰幀和非相鄰幀的投影幾何約束統(tǒng)一到運(yùn)動(dòng)優(yōu)化算法中形成多幀運(yùn)動(dòng)參數(shù)優(yōu)化將有助于提高圖像序列運(yùn)動(dòng)估計(jì)的精確性和魯棒性。

1.2 集束調(diào)整方法

在集束調(diào)整方法中，首先把所有匹配的特征點(diǎn)都表達(dá)為相對(duì)于全局坐標(biāo)系的世界點(diǎn)，攝像機(jī)位姿參數(shù)也表達(dá)為相對(duì)于全局坐標(biāo)系。把這些世界特征點(diǎn)重投影在每個(gè)攝像機(jī)上，建立圖像重投影誤差函數(shù)，利用Levenberg-Marquard(LM)優(yōu)化方法同時(shí)優(yōu)化特征點(diǎn)3D世界坐標(biāo)和攝像機(jī)位姿參數(shù)。多幀匹配運(yùn)動(dòng)約束都包含在圖像重投影誤差函數(shù)中以及特征點(diǎn)世界坐標(biāo)和攝像機(jī)位姿參數(shù)優(yōu)化進(jìn)程中。如果僅優(yōu)化運(yùn)動(dòng)(攝像機(jī)位姿參數(shù))，不優(yōu)化結(jié)構(gòu)(特征點(diǎn)3D世界坐標(biāo))，則集束調(diào)整相當(dāng)于單幀運(yùn)動(dòng)估計(jì)。

1.3 多幀運(yùn)動(dòng)估計(jì)算法

攝像機(jī)運(yùn)動(dòng)后前后兩幀中對(duì)應(yīng)匹配點(diǎn)的3D坐標(biāo)分別為P =(X,Y, Z )T和P′=(X′,Y′, Z′)T，假定R和t分別為旋轉(zhuǎn)和平移的變換參數(shù)，則有：

若特征點(diǎn)i在運(yùn)動(dòng)后左右相機(jī)上測(cè)量的2D投影坐標(biāo)為mli=(ulivli)、mri=(urivri)，則給定運(yùn)動(dòng)參數(shù)后特征點(diǎn)在左右相機(jī)上的2D再投影和實(shí)際測(cè)量位置之間的誤差平方和為

其中：Rr,Tr分別為立體相機(jī)中右相機(jī)相對(duì)于左相機(jī)的相對(duì)旋轉(zhuǎn)和平移，為已知固定值。設(shè)立體相機(jī)的實(shí)際測(cè)量圖像位置為：mi=(mlimr i)，由式(1)可知，相鄰幀運(yùn)動(dòng)參數(shù)θ(R和t)包含在P′中，設(shè)立體相機(jī)的圖像再投影函數(shù)向量為：f(θ)=(ml-pro[P']mr-pro[RrP′+Tr])。則可得到下式：

設(shè)攝像機(jī)幀j與經(jīng)過(guò)若干次運(yùn)動(dòng)后的攝像機(jī)幀k存在特征點(diǎn)匹配，則由式(1)可得：

Hj,j+1=為4×4的齊次坐標(biāo)矩陣，表示時(shí)間j相鄰幀之間的運(yùn)動(dòng)參數(shù)。則攝像機(jī)幀j與幀k之間的相對(duì)位姿參數(shù)隨時(shí)間幀的級(jí)聯(lián)表達(dá)為Hj,j+1Hj+1,j +2...Hk -1,k，則攝像機(jī)幀k相對(duì)于幀j的位姿參數(shù)為由式(4)和式(5)可知，任意非相鄰幀之間的特征點(diǎn)匹配投影關(guān)系可由相鄰幀位姿參數(shù)表達(dá)。

設(shè)特征點(diǎn)i被攝像機(jī)幀j和幀k同時(shí)觀測(cè)到，則fk,j,i(θ)表示特征點(diǎn)i在攝像機(jī)運(yùn)動(dòng)后的再投影圖像坐標(biāo)。則再投影圖像誤差函數(shù)可以表示為

其中mk,i表示特征點(diǎn)i在立體攝像機(jī)幀k上投影的真實(shí)圖像測(cè)量坐標(biāo)。

本文提出的多幀序列運(yùn)動(dòng)估計(jì)方法，把相鄰幀、非相鄰幀之間的匹配約束統(tǒng)一表達(dá)為投影約束方程，運(yùn)動(dòng)參數(shù)包含在這些方程中，通過(guò)優(yōu)化算法求出使這些方程所有投影誤差最小的運(yùn)動(dòng)參數(shù)。設(shè)立體相機(jī)共產(chǎn)生N次運(yùn)動(dòng)，則運(yùn)動(dòng)參數(shù)θ={θk,i =1,2,...,N}是6×N維的向量。設(shè)共有Q個(gè)特征點(diǎn)，則總的透視投影誤差函數(shù)平方和可表示為

式(8)可以通過(guò)LM非線性最小平方迭代算法求解，求出使投影誤差平方和最小的運(yùn)動(dòng)參數(shù)θ。在計(jì)算參數(shù)更新步長(zhǎng)時(shí)需求解下列方程：

其中J為f(θ)的雅克比矩陣。

1.4 算法的計(jì)算復(fù)雜度和數(shù)值穩(wěn)定性對(duì)比

在集束調(diào)整中，特征點(diǎn)的匹配聯(lián)系通過(guò)把匹配的特征點(diǎn)表達(dá)為同一世界坐標(biāo)來(lái)實(shí)現(xiàn)，通過(guò)投影誤差同時(shí)優(yōu)化特征點(diǎn)的3D世界坐標(biāo)和攝像機(jī)位姿參數(shù)。對(duì)于N幀圖像，Q個(gè)特征點(diǎn)的視頻序列，集束調(diào)整的透視投影誤差函數(shù)為

下面分析稀疏集束調(diào)整和本文的多幀序列運(yùn)動(dòng)估計(jì)的計(jì)算復(fù)雜度。把計(jì)算復(fù)雜度分為二部分：J矩陣計(jì)算以及線性方程求解。集束調(diào)整的J為fj,i(a, b)的雅克比矩陣，由A、B矩陣計(jì)算得到：。

A矩陣需要計(jì)算的微分次數(shù)：Q .N2，B矩陣需要計(jì)算的微分次數(shù)：Q.N .Q。則J矩陣的微分計(jì)算復(fù)雜度為：Q.N2+Q.N.Q 。利用J矩陣的稀疏結(jié)構(gòu)，JTJ可表達(dá)如下：。

U、V、W為Hession矩陣JTJ的子矩陣，由A,B矩陣計(jì)算得到，則：

εa和εb由得到，a?可由下式計(jì)算：

?b可由下式計(jì)算：

式(12)和式(13)的計(jì)算復(fù)雜度主要為-1V的計(jì)算和線性方程(13)的求解。線性方程的求解也為矩陣求逆的過(guò)程。矩陣求逆的計(jì)算復(fù)雜度為矩陣大小的3次方，所以V-1和方程(12)的計(jì)算復(fù)雜度為O(Q3+N3)。

在本文的多幀序列運(yùn)動(dòng)估計(jì)中，幀間的運(yùn)動(dòng)約束直接用攝像機(jī)間相對(duì)運(yùn)動(dòng)參數(shù)表達(dá)，通過(guò)透視投影誤差只優(yōu)化攝像機(jī)運(yùn)動(dòng)參數(shù)。在方程(9)中，多幀序列運(yùn)動(dòng)估計(jì)J矩陣的微分計(jì)算次數(shù)為：QN(N +1) N/2。在參數(shù)優(yōu)化調(diào)整中，N的值較小(在滿足實(shí)時(shí)性條件下，N≤4 )，而匹配特征點(diǎn)數(shù)很大(Q≥100）。則可以得出：Q.N2+Q.N.Q ＞QN(N+1)N/2。

而多幀序列運(yùn)動(dòng)估計(jì)中式(9)線性方程求解的計(jì)算復(fù)雜度為O(N3)，明顯小于O(Q3+N3)。綜合以上分析，多幀序列運(yùn)動(dòng)估計(jì)方法的計(jì)算復(fù)雜度遠(yuǎn)小于稀疏集束調(diào)整的計(jì)算復(fù)雜度。

在集束調(diào)整中，遠(yuǎn)距離特征點(diǎn)或長(zhǎng)的圖像序列會(huì)造成收斂速度慢、收斂發(fā)散等數(shù)值不穩(wěn)定問(wèn)題[5]。由于采用公共坐標(biāo)系，攝像機(jī)位姿參數(shù)和3D特征點(diǎn)都只用一個(gè)坐標(biāo)系表達(dá)，這大大增加了LM優(yōu)化過(guò)程中的數(shù)值不穩(wěn)定性[5]，特別當(dāng)計(jì)算遠(yuǎn)距離特征點(diǎn)3D坐標(biāo)且攝像機(jī)位姿參數(shù)還不夠精確時(shí)。在本文的多幀序列運(yùn)動(dòng)估計(jì)中，攝像機(jī)位姿不采用公共坐標(biāo)系且不優(yōu)化3D點(diǎn)坐標(biāo)，多幀序列中非相鄰幀之間的運(yùn)動(dòng)參數(shù)直接由相鄰攝像機(jī)運(yùn)動(dòng)參數(shù)級(jí)聯(lián)表達(dá)，這大大增加了數(shù)值穩(wěn)定性、收斂速度和對(duì)初始值的魯棒性。集束調(diào)整收斂速度慢以及陷入局部最小的機(jī)會(huì)很大，本文的多幀序列運(yùn)動(dòng)估計(jì)方法改進(jìn)了集束調(diào)整的優(yōu)化性能，算法收斂速度快，能收斂到全局最小。所以在長(zhǎng)距離行進(jìn)中，多幀序列運(yùn)動(dòng)估計(jì)魯棒性高，能夠得到更高的定位精度。

2 實(shí) 驗(yàn)

本文建立了數(shù)值仿真實(shí)驗(yàn)和戶外真實(shí)智能車實(shí)驗(yàn)，對(duì)集束調(diào)整和多幀序列運(yùn)動(dòng)估計(jì)這二種方法在實(shí)時(shí)立體視覺(jué)定位上的性能進(jìn)行了詳細(xì)的對(duì)比。實(shí)驗(yàn)中用于對(duì)比的集束調(diào)整是指用于實(shí)時(shí)立體視覺(jué)定位的局部稀疏集束調(diào)整[6-7，9-10]。立體視覺(jué)定位的詳細(xì)計(jì)算步驟如下：1) 計(jì)算當(dāng)前幀左圖像的CenSurE特征[6，11]和U-SURF描述符[12]。2) 對(duì)CenSurE特征采用立體匹配方法進(jìn)行左右圖像立體匹配。3) 利用U-SURF描述符，計(jì)算和前一幀的特征匹配集。4) 利用相鄰幀之間的特征匹配和基于RANSAC的位姿估計(jì)算法計(jì)算得到匹配內(nèi)點(diǎn)和初始運(yùn)動(dòng)參數(shù)。5) 根據(jù)相鄰幀之間的匹配內(nèi)點(diǎn)得到前N幀的特征匹配集，利用本文的多幀序列運(yùn)動(dòng)估計(jì)算法對(duì)初始運(yùn)動(dòng)參數(shù)進(jìn)行非線性優(yōu)化。實(shí)驗(yàn)包含仿真實(shí)驗(yàn)和室外真實(shí)智能車實(shí)驗(yàn)。仿真實(shí)驗(yàn)在本文算法框架下進(jìn)行，但由于使用仿真數(shù)據(jù)，所以略去了特征點(diǎn)檢測(cè)和匹配步驟。由于立體視覺(jué)定位是實(shí)時(shí)視頻在線計(jì)算，對(duì)實(shí)時(shí)性要求很高，所以基于精度和實(shí)時(shí)性二方面考慮，實(shí)驗(yàn)中N的值取3。

2.1 仿真實(shí)驗(yàn)

首先建立了立體視覺(jué)定位仿真實(shí)驗(yàn)，實(shí)驗(yàn)條件為：立體相機(jī)的等效焦距為490，基線長(zhǎng)度為0.12 m，圖像大小為640 pixels×480 pixels。在立體匹配和前后幀匹配中都加入高斯噪聲和30%的誤匹配。仿真實(shí)驗(yàn)中行進(jìn)路線為一“正方形”，共有500幀，約150 m。定位結(jié)果采用3D位置和姿態(tài)角度的均方根誤差:表示。為了驗(yàn)證本文算法的實(shí)時(shí)性能，本文運(yùn)用VC++. NET開(kāi)發(fā)工具，在主頻為3.2 GHz，內(nèi)存為4G的PC機(jī)上對(duì)算法進(jìn)行了在線測(cè)試。

由于在立體匹配和特征跟蹤中會(huì)不可避免的出現(xiàn)錯(cuò)誤，所以在序列運(yùn)動(dòng)優(yōu)化前需要排除錯(cuò)誤匹配，得到匹配內(nèi)點(diǎn)和初始位姿(運(yùn)動(dòng))參數(shù)。仿真實(shí)驗(yàn)和室外真實(shí)智能車實(shí)驗(yàn)中內(nèi)點(diǎn)估計(jì)和初始位姿估計(jì)均采用精度最高的基于RANSAC的3D-2D位姿估計(jì)算法[12]。另外，為了更好地對(duì)比BA和MME的性能，在序列優(yōu)化前先采用單幀運(yùn)動(dòng)估計(jì)方法進(jìn)行優(yōu)化，即先采用僅優(yōu)化運(yùn)動(dòng)，不優(yōu)化結(jié)構(gòu)的集束調(diào)整(MBA)，從而得到更精確的運(yùn)動(dòng)參數(shù)初始值。表1給出了實(shí)驗(yàn)結(jié)果。在二種不同的運(yùn)動(dòng)參數(shù)初始值下經(jīng)過(guò)MME優(yōu)化后的定位誤差都明顯小于BA優(yōu)化后的定位誤差。MME在二種初始值條件下都收斂于同一個(gè)值，而B(niǎo)A在3D-2D+MBA方法下比在單獨(dú)3D-2D方法下能收斂到更精確的值。這說(shuō)明：BA算法數(shù)值穩(wěn)定性差，對(duì)初始值依賴度大，而MME不依賴初始值，能全局收斂。為了表明即使在最精確的初始值條件下，本文算法仍優(yōu)于BA方法，后面的實(shí)驗(yàn)均采用3D-2D+MBA方法。

MME表示本文提出的多幀序列運(yùn)動(dòng)估計(jì)方法，BA表示集束調(diào)整方法。MME運(yùn)行時(shí)間遠(yuǎn)遠(yuǎn)低于BA的運(yùn)行時(shí)間，BA的運(yùn)行時(shí)間為37 ms，而MME的優(yōu)化時(shí)間只有13 ms，在計(jì)算資源有限或?qū)崟r(shí)性要求較高的視覺(jué)計(jì)算場(chǎng)合下，MME的計(jì)算優(yōu)勢(shì)很明顯。

表1 不同初始值條件下立體視覺(jué)定位結(jié)果對(duì)比Table 1 Stereo visual localization comparison with different initial value

表2給出了不同噪聲水平下立體視覺(jué)定位結(jié)果(位姿均方根誤差和最大誤差)對(duì)比。從實(shí)驗(yàn)結(jié)果看，在各種噪聲水平下基于MME的視覺(jué)定位算法的位姿均方根誤差和最大誤差都低于基于BA的視覺(jué)定位算法，計(jì)算精度更高。其中，噪聲越大二種定位精度差距越大，表明：基于MME的視覺(jué)定位算法對(duì)噪聲更加魯棒。圖1給出了一組噪聲方差為1.0 pixels的運(yùn)動(dòng)估計(jì)結(jié)果對(duì)比圖，可以看出：基于BA的定位算法較MME偏離基準(zhǔn)軌跡更遠(yuǎn)。

表2 不同噪聲水平下立體視覺(jué)定位結(jié)果對(duì)比Table 2 Stereo visual localization comparison with different noise level

2.2 室外真實(shí)智能車實(shí)驗(yàn)

本文采用“New College Dataset” (感謝牛津大學(xué)移動(dòng)機(jī)器人研究小組提供)進(jìn)行了真實(shí)智能車戶外立體視覺(jué)定位實(shí)驗(yàn)。實(shí)驗(yàn)采用了數(shù)據(jù)集中的1個(gè)閉環(huán)路線(即起點(diǎn)和終點(diǎn)重合)，如圖2所示，測(cè)量定位誤差即為閉環(huán)3D位置和姿態(tài)誤差。實(shí)驗(yàn)結(jié)果如圖3和表3。從表3可以看出，本文的基于MME的定位算法精度明顯高于基于BA的定位算法精度，均方根閉環(huán)位置誤差減少了0.55 m，閉環(huán)姿態(tài)誤差減少了1.13°。

圖1 真實(shí)運(yùn)動(dòng)軌跡及估計(jì)運(yùn)動(dòng)軌跡Fig.1 Real and estimated motion trajectories

圖2 牛津大學(xué)數(shù)據(jù)集的航拍位置Fig.2 Oxford data: aerial view of location

圖3 運(yùn)動(dòng)估計(jì)軌跡對(duì)比Fig.3 Estimated motion trajectories comparison

表3 閉環(huán)誤差對(duì)比Table 3 Loop closure error comparison

3 結(jié) 論

本文提出了一種新的多幀序列運(yùn)動(dòng)估計(jì)方法。立體視覺(jué)定位實(shí)驗(yàn)結(jié)果表明，算法具有優(yōu)化精度高、魯棒性強(qiáng)、實(shí)時(shí)性高的優(yōu)點(diǎn)，優(yōu)于經(jīng)典的集束調(diào)整方法。算法還有許多進(jìn)一步深入研究的課題，如多幀序列運(yùn)動(dòng)估計(jì)的誤差傳播數(shù)學(xué)分析以及在實(shí)時(shí)三維地圖重建中應(yīng)用。

參考文獻(xiàn)：

[1] COMPORT A I，MALIS E，RIVES P. Real-time quadrifocal visual odometry [J]. International Journal of Robotics Research (S0278-3649)，2010，29(2)：245-266.

[2] 彭勃，周文暉，劉濟(jì)林. 基于Harris角點(diǎn)檢測(cè)的立體視覺(jué)里程計(jì) [J]. 兵工學(xué)報(bào)，2007，28(12)：1498-1502.

PENG Bo，ZHOU Wenhui，LIU Jilin. Harris Corner Dectection-based Stereo Visual odometry [J]. Acta Armamentaii，2007，28(12)：1498-1502.

[3] FRAUNDORFER F，SCARAMUZZA D. Visual Odometry：Part II：Matching，Robustness，Optimization，and Applications [J]. IEEE Robotics & Automation Magazine(S1070-9932)，2012，19(2)：78-90.

[4] Agarwal S，Snavely N，Seitz S M，et al. Bundle adjustment in the large [C]// Proceeding of 11th European Conference on Computer Vision，Crete，Greece，September 5-11，2010：29-42.

[5] Engels C，Stewenius H，Nister D. Bundle adjustment rules [C]// Proceeding of Photogrammetric Computer Vision Conference，Bonn，Germany，September 20-22，2006：266–271.

[6] 吳偉仁，王大軼，邢琰，等. 月球車巡視探測(cè)的雙目視覺(jué)里程算法與實(shí)驗(yàn)研究 [J]. 中國(guó)科學(xué)：信息科學(xué)，2011，41(12)：1415-1422.

WU Weiren，WANG Dayi，XING Yan，et al. Binocular visual dometry algorithm and experimentation research for the lunar rover [J]. Scientia Sinica Informationis，2011，41(12)：1415-1422.

[7] Sunderhauf N，Protzel P. Towards Using Bundle Adjustment for Robust Stereo Odometry in Outdoor Terrain [C]// Proceedings of Towards Autonomous Robotic Systems，Guildford，UK，September 4-6，2006：206-213.

[8] Konolige K，Agrawal M，Sola J. Large-scale visual odometry for rough terrain [C]// Proceedings of 13th International Symposium of Robotics Research，Hiroshima，Japan，November 26 -29，2007：201-212.

[9] Lourakis M I A，Argyros A A. SBA：A Software Package for Generic Sparse Bundle Adjustment [J]. ACM Transactions on Mathematical Software(S0098-3500)，2009，36(1)：1-30.

[10] Agrawal M，Konolige K. CenSurE：Center surround extremas for realtime feature detection and matching [C]// Proceeding of 10th European Conference on Computer Vision，Marseille，F(xiàn)rance，October 12-18，2008：102-115.

[11] Bay H，Tuytelaars T，Gool L V. SURF：Speeded up robust features [C]// Proceeding of 10th European Conference on Computer Vision，Graz，Austria，May 7-13，2006：404-417.

[12] Alismail H，Browning B，Dias M B. Evaluating Pose Estimation Method for Stereo Visual Odometry on Robots [C]// Proceedings of the 11th International Conference on Intelligent Autonomous Systems，Ottawa，Canada，August 30-September 1，2010：101-110.

本期組稿：楊淇名

責(zé)任編輯：謝小平

英文編輯：龐 洪

Real-time Stereo Visual Localization Based on Multi-frame Sequence Motion Estimation

XU Yunxi，CHEN Fang
( Institute of Information Engineering, Huzhou University, Huzhou 313000, Zhejiang Province, China )

Abstract:Bundle adjustment which simultaneously refines motion and structure has the fault of low numerical stability, such as dependence on the initial value, slow convergence speed, and convergence divergence. In this paper, we propose a new multi-frame sequence motion estimation method for stereo visual localization. The method has the fast convergence speed, can converge to the global minimum, and greatly reduce the accumulated error. Stereo visual localization experiments with simulated data and outdoor intelligent vehicle show that our algorithm outperforms bundle adjustment in terms of run-time, accuracy, resistance to noise and dependence on the initial value.

Key words:real-time visual localization; visual navigation; bundle adjustment; multi-frame sequence motion estimation

作者簡(jiǎn)介：許允喜(1978-)，男(漢族)，江蘇句容人。講師，博士研究生，主要研究工作是計(jì)算機(jī)視覺(jué)。E-mail:xuyunxi@hutc.zj.cn。

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目(61370173)；湖州師范學(xué)院校級(jí)科研項(xiàng)目成果(KX24071)

收稿日期：2015-03-16； 收到修改稿日期：2015-07-01

文章編號(hào)：1003-501X(2016)02-0089-006

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

doi：10.3969/j.issn.1003-501X.2016.02.015