江燕華，熊光明，姜巖，龔建偉，陳慧巖

(北京理工大學(xué) 機(jī)械與車輛學(xué)院，北京100081)

0 引言

對(duì)智能車輛的自主導(dǎo)航來(lái)說(shuō)，車輛在運(yùn)動(dòng)過(guò)程中的自定位能力非常重要。早期的車輛定位系統(tǒng)中常使用輪速編碼器來(lái)進(jìn)行航跡推算。然而，輪速編碼器存在原理性的累積誤差，并且在某些特殊環(huán)境下(如土質(zhì)疏松、輪胎打滑等)會(huì)出現(xiàn)失誤，不能確保得到精確的車輛位置與姿態(tài)估計(jì)。

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，視覺(jué)傳感器越來(lái)越多地被用來(lái)進(jìn)行車輛的定位和運(yùn)動(dòng)估計(jì)。首先，視覺(jué)傳感器所提供的豐富的感知信息，既可以滿足車輛的自定位要求，又能夠同時(shí)為其他重要的任務(wù)提供信息，如目標(biāo)檢測(cè)、避障等。其次，視覺(jué)傳感器相對(duì)其他傳感器來(lái)說(shuō)成本較低，且體積小，在布置上更為靈活。另外，基于視覺(jué)的定位和運(yùn)動(dòng)估計(jì)還可以獨(dú)立于地形以及地形—輪胎接觸特性，如不受輪胎打滑的影響等［1］。因此，近年來(lái)大量研究者對(duì)車載視覺(jué)里程計(jì)技術(shù)進(jìn)行了研究，也獲得了許多的成果。

1 視覺(jué)里程計(jì)的基本原理

視覺(jué)里程計(jì)是利用車載相機(jī)采集到的圖像信息來(lái)恢復(fù)車體本身的6 自由度運(yùn)動(dòng)，包括3 自由度的旋轉(zhuǎn)和3 自由度的平移。由于類似于里程計(jì)的航跡推算，這種基于圖像信息的自運(yùn)動(dòng)估計(jì)方法稱為視覺(jué)里程計(jì)技術(shù)。視覺(jué)里程計(jì)概念最早可以追溯到Moravec［2］和Matthies［3］，基本步驟包括特征提取、特征匹配、坐標(biāo)變換和運(yùn)動(dòng)估計(jì)，當(dāng)前大多數(shù)視覺(jué)里程計(jì)系統(tǒng)仍是基于此框架［4］。

與視覺(jué)里程計(jì)技術(shù)聯(lián)系非常緊密的2 個(gè)研究領(lǐng)域是形狀信息的運(yùn)動(dòng)復(fù)原(SFM)算法和視覺(jué)同步定位與地圖構(gòu)建(SLAM)算法。在視覺(jué)SLAM 問(wèn)題中，需要同步實(shí)時(shí)估計(jì)相機(jī)本身的位置以及所檢測(cè)的路標(biāo)的空間位置及其關(guān)聯(lián)，從而對(duì)其所處的環(huán)境進(jìn)行地圖創(chuàng)建。早期的SLAM 算法需要依靠那些能夠獲得深度信息的傳感器，如激光雷達(dá)、聲納等，而近年來(lái)單純依靠機(jī)器視覺(jué)的V－SLAM 開(kāi)始得到關(guān)注，如Eade、Davison 等人的單目視覺(jué)SLAM 算法［5－7］，其計(jì)算機(jī)制在性質(zhì)上與基于非線性濾波器的視覺(jué)里程計(jì)系統(tǒng)非常相似。

SFM 算法是從二維圖像數(shù)據(jù)中恢復(fù)3 維場(chǎng)景結(jié)構(gòu)以及相機(jī)本身的6 自由度運(yùn)動(dòng)的方法。在這里，相機(jī)提供的觀測(cè)量都是特征位置在相機(jī)坐標(biāo)系下的二維投影，在經(jīng)典的視覺(jué)SLAM 的術(shù)語(yǔ)中，可以說(shuō)SFM 的設(shè)備只提供了方位而沒(méi)有范圍。對(duì)于本文著重要介紹的兩幀視覺(jué)里程計(jì)，有研究者將其稱為基于SFM 技術(shù)的視覺(jué)里程計(jì)，可以視為不需要估計(jì)場(chǎng)景結(jié)構(gòu)的SFM 算法，或者簡(jiǎn)化了的SFM 算法。所以此類視覺(jué)里程計(jì)算法的核心模塊大多來(lái)自經(jīng)典SFM 算法。

2 視覺(jué)里程計(jì)算法的分類

近10年來(lái)，車載視覺(jué)里程計(jì)技術(shù)已經(jīng)獲得了許多的研究成果。接下來(lái)從系統(tǒng)構(gòu)成的角度，包括所利用的視覺(jué)信息類型、相機(jī)數(shù)量、相機(jī)類型、計(jì)算框架、是否與其他傳感器融合等5 個(gè)方面對(duì)其進(jìn)行分類，詳細(xì)介紹現(xiàn)有視覺(jué)里程計(jì)系統(tǒng)的研究進(jìn)展。

2.1 離散方法與連續(xù)方法

從所利用的視覺(jué)信息的角度分類，視覺(jué)里程計(jì)技術(shù)主要有基于特征的離散處理方法和基于光流的連續(xù)處理方法。早期的研究主要是基于光流的，利用攝像機(jī)拍攝的時(shí)間序列圖像來(lái)估計(jì)光流。但它需要對(duì)圖像亮度恒定性作出很強(qiáng)的假設(shè)，即認(rèn)為連續(xù)幀圖像亮度基本不發(fā)生改變，而在實(shí)際應(yīng)用中，由于遮擋性、多光源、透明性和噪聲等原因，無(wú)法滿足光流場(chǎng)的灰度守恒假設(shè)條件，不能求解出正確的光流場(chǎng)，同時(shí)大多數(shù)的光流方法相當(dāng)復(fù)雜，計(jì)算量巨大。因此，近10年來(lái)的研究主要集中在基于特征的離散處理方法［8］。

2.2 單目視覺(jué)與雙目視覺(jué)

從使用的相機(jī)的個(gè)數(shù)來(lái)分類，視覺(jué)里程計(jì)可以分為單目視覺(jué)系統(tǒng)和立體視覺(jué)系統(tǒng)，其中立體視覺(jué)里程計(jì)絕大多數(shù)指的是雙目視覺(jué)。Badino 認(rèn)為，在大部分情況下立體視覺(jué)的效果要優(yōu)于單目系統(tǒng)，最主要的原因在于，使用單目視覺(jué)會(huì)碰到的尺度歧義問(wèn)題，采用立體視覺(jué)便不復(fù)存在［9］。Nistér 在其著名的視覺(jué)里程計(jì)系統(tǒng)［10］中也對(duì)單目視覺(jué)和雙目視覺(jué)的方案進(jìn)行了比較，同樣指出采用雙目相機(jī)在尺度估計(jì)方面的優(yōu)勢(shì)，能避免艱難的相對(duì)姿態(tài)求解步驟，以及對(duì)運(yùn)動(dòng)退化的良好的抵抗能力。

根據(jù)現(xiàn)在的研究情況來(lái)看，采用單目視覺(jué)［5，11－13］和立體視覺(jué)［14－20］的方案各有其應(yīng)用的場(chǎng)合。但也有文章分析認(rèn)為單純依靠視覺(jué)來(lái)進(jìn)行相機(jī)姿態(tài)估計(jì)與運(yùn)動(dòng)復(fù)原來(lái)說(shuō)，雙目立體視覺(jué)才是發(fā)展的趨勢(shì)［21］。

2.3 普通相機(jī)與全方位相機(jī)

從所使用的相機(jī)類型來(lái)看，視覺(jué)里程計(jì)又可分為普通相機(jī)系統(tǒng)與全方位相機(jī)系統(tǒng)。當(dāng)前大部分算法采用的依然是提供有限視角范圍的普通相機(jī)。對(duì)普通相機(jī)來(lái)說(shuō)，由于全局信息的缺乏，當(dāng)相機(jī)姿態(tài)變化的幅度超出視野范圍時(shí)，很容易出現(xiàn)估計(jì)的斷檔和失效。倘若需要對(duì)較大幅度的位姿變換進(jìn)行估計(jì)，采用全方位相機(jī)的優(yōu)點(diǎn)便凸顯出來(lái)。對(duì)于接近球面視野的全方位相機(jī)來(lái)說(shuō)，特征可以在視野中存在更多時(shí)間，空間上的擴(kuò)大也使得特征匹配的正確程度大大提高［12］。

Lee 采用全方位相機(jī)，在IEKF 計(jì)算框架下對(duì)相機(jī)的較大范圍的運(yùn)動(dòng)進(jìn)行估計(jì)［22］。Corke 則提供了采用全方位相機(jī)時(shí)的光流方法與基于迭代擴(kuò)散卡爾曼濾波(EKF)的算法2 種實(shí)現(xiàn)方案［13］。Tardif 采用全方位相機(jī)，結(jié)合SIFT 特征點(diǎn)與兩幀SFM 算法機(jī)制來(lái)實(shí)現(xiàn)相機(jī)運(yùn)動(dòng)的穩(wěn)定估計(jì)［12］。更多全方位相機(jī)在移動(dòng)平臺(tái)運(yùn)動(dòng)估計(jì)中的應(yīng)用可以參考文獻(xiàn)［23］.然而，全方位相機(jī)視野的擴(kuò)大是以犧牲分辨率為前提的，在需要精度非常高的應(yīng)用場(chǎng)合采用全方位相機(jī)的算法仍需改進(jìn)。

2.4 兩幀方案與多幀方案

從恢復(fù)姿態(tài)所需要的圖像的幀數(shù)來(lái)分類，視覺(jué)里程計(jì)系統(tǒng)可以分為兩幀方案和多幀方案。其中多幀方案又依據(jù)計(jì)算方式可分為“批處理”方式和遞歸方式2 種。視覺(jué)里程計(jì)中的兩幀方案典型地來(lái)自SFM 算法，也就是利用連續(xù)兩幀圖像的特征信息，來(lái)求解位姿變換。經(jīng)典的視覺(jué)里程計(jì)系統(tǒng)大多基于這種計(jì)算框架［10，12，19，21，24－25］，將在第3 節(jié)詳細(xì)討論。

在多幀方案“批處理”算法中應(yīng)用最廣泛的是光束法平差［26］。全局的光束法平差算法是一種非常耗時(shí)的計(jì)算過(guò)程，其基本原理是迭代優(yōu)化相機(jī)姿態(tài)以及點(diǎn)的3 維坐標(biāo)，從而獲得最小化所有幀的重投影誤差的最優(yōu)最小二乘解，包括Levenberg－Marquardt最小化來(lái)求非線性解、高斯牛頓法加梯度下降等都常常采用。光束法平差的計(jì)算結(jié)果精度非常高，但是計(jì)算效率非常低以致無(wú)法在實(shí)時(shí)系統(tǒng)中使用，最初只用于離線仿真和參數(shù)優(yōu)化等。直到Shum 提出了關(guān)鍵幀概念［27］，該方法才開(kāi)始在實(shí)時(shí)系統(tǒng)中應(yīng)用。文獻(xiàn)［11，14，28］都用光束法平差來(lái)進(jìn)行相機(jī)的姿態(tài)估計(jì)。但是關(guān)鍵幀的選擇，卻又成為該算法中的一個(gè)難題。因?yàn)槿绻麅蓚€(gè)連續(xù)關(guān)鍵幀之間沒(méi)有足夠的相機(jī)運(yùn)動(dòng)，對(duì)極幾何的約束計(jì)算便會(huì)成為一個(gè)病態(tài)問(wèn)題;如果兩關(guān)鍵幀之間間距過(guò)長(zhǎng)，插值又不能產(chǎn)生精度足夠高的計(jì)算結(jié)果。Royer 的分層算法將一個(gè)大的圖像序列遞歸地進(jìn)行分裂直至每個(gè)部分都只含有3 幀圖像，然后對(duì)每個(gè)3 元組用光束法平差進(jìn)行計(jì)算，從而避免了關(guān)鍵幀的選擇問(wèn)題［29］。

另外，光束法平差在眾多的兩幀算法系統(tǒng)中也得到了應(yīng)用［10，12，14，30－32］。這是由于兩幀算法是增量式計(jì)算姿態(tài)的方法，不可避免地會(huì)存在累積誤差，于是結(jié)合多幀方法來(lái)作精細(xì)化以減小累積誤差、增強(qiáng)魯棒性是一種很好的選擇。

多幀方案的遞歸算法，也就是采用非線性濾波器來(lái)對(duì)系統(tǒng)進(jìn)行遞歸估計(jì)。與兩幀算法或光束法平差不同，多幀遞歸算法將非線性問(wèn)題交給濾波器來(lái)作線性化逼近，其中最常用的是EKF 和無(wú)跡卡爾曼濾波(UKF)，前者利用高斯分布的特性進(jìn)行精確的線性化［13，22－33］，后者則通過(guò)考慮高斯分布的無(wú)跡變換獲得更好的估計(jì)［18］。有研究者認(rèn)為UKF 在處理非線性問(wèn)題中雖然計(jì)算效率較低但效果要優(yōu)于EKF，因?yàn)閷?duì)高斯分布UKF 接近于3 階精度而EKF僅接近1 階［34］。Kitt 采用迭代Sigma 點(diǎn)卡爾曼(ISPKF)濾波器，并指出與采用一階泰勒展開(kāi)的傳統(tǒng)EKF 相比，基于Sigma 點(diǎn)均值和方差傳播的迭代優(yōu)化能夠獲得更佳的估計(jì)結(jié)果，且收斂速度要快60倍［18］。

在多幀遞歸方案中，一般基于卡爾曼濾波計(jì)算框架的系統(tǒng)都在特征匹配時(shí)作較強(qiáng)的約束，如極線限制等犧牲特征的數(shù)量來(lái)降低誤匹配的程度，從而跳過(guò)異常值的問(wèn)題。但是遞歸方案的另一個(gè)難題是，特征會(huì)消失，也會(huì)有新的特征進(jìn)入，如何為此來(lái)改變狀態(tài)量?Mclauchlan 首次提出了這個(gè)問(wèn)題，并且相應(yīng)地采用了一種變狀態(tài)維數(shù)的濾波器［35］。Chiuso 則通過(guò)運(yùn)行一個(gè)并行的“子濾波器”來(lái)應(yīng)對(duì)新進(jìn)入的特征，其初始化則由主濾波器的估計(jì)得到［33］。Chius 還對(duì)采用EKF 計(jì)算框架的全局可觀測(cè)性、聯(lián)合可觀測(cè)性、最小實(shí)現(xiàn)以及數(shù)值穩(wěn)定性都進(jìn)行了詳細(xì)的分析。

2.5 純視覺(jué)系統(tǒng)與混合系統(tǒng)

根據(jù)前文定義，僅僅依靠視覺(jué)信息輸入的里程計(jì)系統(tǒng)稱為純視覺(jué)系統(tǒng)。本文中提到的絕大部分算法都屬于純視覺(jué)系統(tǒng)。但是對(duì)于增量式的兩幀視覺(jué)里程計(jì)的累積誤差，除了2.4 節(jié)提到的光束法平差，也可以采用能提供全局定位信息的全球定位系統(tǒng)(GPS)［36］，或能夠提供短期精度高的高頻數(shù)據(jù)的慣性導(dǎo)航元件(IMU)［31，37－38］等來(lái)改進(jìn)系統(tǒng)性能。這種依靠其他傳感器來(lái)輔助視覺(jué)進(jìn)行定位導(dǎo)航的系統(tǒng)本文稱為混合系統(tǒng)，它們大都是基于非線性濾波器，如EKF、UKF 等的數(shù)據(jù)融合機(jī)制。其中又以相機(jī)－IMU 的融合系統(tǒng)應(yīng)用最為廣泛。然而引入附加傳感器的做法可能會(huì)帶來(lái)新的問(wèn)題，如多傳感器間位置關(guān)系的精確標(biāo)定、正確的數(shù)據(jù)融合等，仍需要進(jìn)一步的研究。

3 兩幀視覺(jué)里程計(jì)算法中的關(guān)鍵問(wèn)題

如在第2 節(jié)中提到的，經(jīng)典的視覺(jué)里程計(jì)系統(tǒng)大多基于兩幀計(jì)算框架，于是在此作詳細(xì)介紹。兩幀視覺(jué)里程計(jì)算法的核心算法模塊一般包括特征的選擇與匹配，以及基于所選擇的特征集合的魯棒運(yùn)動(dòng)估計(jì)。其中魯棒運(yùn)動(dòng)估計(jì)又由從噪聲數(shù)據(jù)中選擇內(nèi)數(shù)據(jù)和依據(jù)理想數(shù)據(jù)求解方位2 個(gè)部分組成。接下來(lái)對(duì)這些步驟的現(xiàn)有技術(shù)狀況進(jìn)行分析與討論。

3.1 特征的選擇與匹配

視覺(jué)里程計(jì)的關(guān)鍵工作之一，就是得到一些穩(wěn)定魯棒的特征。用于恢復(fù)相機(jī)位姿的特征應(yīng)當(dāng)具有良好的光度不變性和幾何不變性［39］。前者是指當(dāng)2 個(gè)視角有較大的光線變化時(shí)，從對(duì)應(yīng)兩幀圖像所檢測(cè)到的特征依然對(duì)應(yīng)相同的3 維世界坐標(biāo)系點(diǎn)。后者則表示特征在任何投影變換后性質(zhì)不發(fā)生改變，例如投影變換后的點(diǎn)還是點(diǎn)，直線還是直線。這種幾何不變性可以說(shuō)是基于特征的位姿恢復(fù)算法的重要基礎(chǔ)。

點(diǎn)特征、線特征［40］、曲線(輪廓)特征［41］都可以用于解算2 個(gè)視角之間的幾何變換關(guān)系。其中Harris 角點(diǎn)和尺度不變特征變換(SIFT)特征點(diǎn)得到了最為廣泛的應(yīng)用。Schmid 證明了Harris 角點(diǎn)在較大范圍的光度變化和幾何變換中能夠保持良好的不變性，也證明了它在信息豐富度方面的表現(xiàn)非常優(yōu)秀［42］。許多基于視覺(jué)的位姿估計(jì)系統(tǒng)都采用了Harris 角點(diǎn)或其改進(jìn)版本(FAST 角點(diǎn)等)作為其特征檢測(cè)的對(duì)象［4，11，14，19－20，28］。

不過(guò)，倘若場(chǎng)景中存在成簇的或是重復(fù)的紋理特征時(shí)，角點(diǎn)可能會(huì)失效，并不是因?yàn)樗鼈儾痪邆淞己玫呐袆e能力，而是在匹配時(shí)容易產(chǎn)生誤匹配。Parra 證明了Harris 角點(diǎn)的這一缺陷，并認(rèn)為SIFT特征更適合應(yīng)用在視覺(jué)姿態(tài)恢復(fù)系統(tǒng)中［24］。SIFT特征點(diǎn)對(duì)圖像的平移變換、尺度變換、旋轉(zhuǎn)變換，一定程度的光照變化、仿射變換或三維投影變換都具有良好的不變性［43］。近來(lái)也有許多研究者在他們的系統(tǒng)中采用了SIFT 特征［12，24－25，44］。但是，SIFT特征點(diǎn)的缺點(diǎn)主要在于計(jì)算復(fù)雜，效率低下，Howard證明在他的系統(tǒng)中，用角點(diǎn)的處理時(shí)間比用SIFT 特征點(diǎn)少了一個(gè)數(shù)量級(jí)［19］。所以，SIFT 特征點(diǎn)更適合于應(yīng)用在那些對(duì)系統(tǒng)頻率要求不高的場(chǎng)合。

除了Harris 角點(diǎn)和SIFT 特征之外，應(yīng)用較多的特征 還 有Shi－Tomasi 特 征 點(diǎn)［7，16］，加 速 魯 棒 特 征(SURF)［45－46］等。

特征檢測(cè)完成之后，需要對(duì)連續(xù)幀的特征進(jìn)行匹配來(lái)生成可以用于估計(jì)姿態(tài)的特征集。最簡(jiǎn)單常用的匹配方案是絕對(duì)誤差和(SAD)［19，47］和零均值歸一化互相關(guān)(ZMNCC)［11，17，20，24］。在大部分情況下，前者的效率更高而后者的魯棒性更佳。Nistér采用歸一化互相關(guān)與相互一致性檢驗(yàn)方法來(lái)獲得理想的特征匹配效果［10］。當(dāng)然，不同的特征檢測(cè)對(duì)應(yīng)不同的特征匹配方法，如Gordon 提出對(duì)SIFT 特征點(diǎn)來(lái)說(shuō)最合適的匹配方法是最鄰近算法［48］?？紤]到特征數(shù)量一般都非常多，直接搜索最鄰近匹配需要大量的計(jì)算時(shí)間，Parra 用一種基于k－d 樹(shù)搜索的Best－Bin－First 算法來(lái)為所有的特征點(diǎn)尋找其最佳匹配，能比直接搜索節(jié)省近95%的時(shí)間［24］。

3.2 基于噪聲數(shù)據(jù)的內(nèi)數(shù)據(jù)提取

在實(shí)際中，由特征檢測(cè)與匹配得到的特征數(shù)量遠(yuǎn)大于求解的需要。并且由于不可避免的誤差，得到的特征集合實(shí)際是一個(gè)噪聲數(shù)據(jù)集。傳統(tǒng)的方法是利用所有點(diǎn)做全局直接最小二乘或是更魯棒的加權(quán)最小二乘［49］來(lái)求解此超定方程，沒(méi)有任何拋棄誤匹配數(shù)據(jù)的機(jī)制。如今，基于統(tǒng)計(jì)學(xué)的假設(shè)－驗(yàn)證結(jié)構(gòu)算法能夠從這樣的噪聲數(shù)據(jù)中尋找正確的內(nèi)數(shù)據(jù)，正逐漸成為解決該問(wèn)題的通用方法［50］，其中最常用的就是隨機(jī)采樣一致性(RANSAC)算法。

RANSAC 算法首先從全部的觀測(cè)數(shù)據(jù)中選擇一定數(shù)量的隨機(jī)集合，然后用每一個(gè)隨機(jī)小特征集進(jìn)行求解，此前的步驟稱為假設(shè)生成;最后在全部的觀測(cè)數(shù)據(jù)上驗(yàn)證，通過(guò)某種函數(shù)形式計(jì)分，分最高者作為最終結(jié)果［51］。Nistér 專門對(duì)計(jì)分函數(shù)進(jìn)行了分析，證明它應(yīng)是一個(gè)計(jì)算重投影誤差的魯棒的似然函數(shù)或貝葉斯代價(jià)函數(shù)，而非簡(jiǎn)單的計(jì)數(shù)［52］。Scaramuzza 分析了假設(shè)生成所需要的最少特征數(shù)與其能得到正確解的迭代次數(shù)之間的關(guān)系，證明最少特征數(shù)越小，迭代次數(shù)也越少，即算法效率越高。為此，他還提出了基于Ackermann 轉(zhuǎn)向模型的單點(diǎn)RANSAC 算法，使其在保證成功率99%和數(shù)據(jù)異常值比率50%的條件下，平均只需要迭代7 次便能得到理想結(jié)果［53－54］。

與剔除異常值相對(duì)應(yīng)的另一種獲得理想特征集的思路是直接用基于最大團(tuán)的方法檢測(cè)內(nèi)數(shù)據(jù)。Hirschmüller 用歐氏距離約束來(lái)選擇那些內(nèi)數(shù)據(jù)［15］。Howard［19］采用了與Hirschmüller 相同的算法，并證明它在整體數(shù)據(jù)集包含90%異常值的情況下依然能夠獲得理想的內(nèi)數(shù)據(jù)集。

3.3 從理想數(shù)據(jù)集中求解方位

從特征點(diǎn)集計(jì)算姿態(tài)的問(wèn)題根據(jù)2 個(gè)視角的數(shù)據(jù)坐標(biāo)性質(zhì)來(lái)說(shuō)包括2 類:1)絕對(duì)定向問(wèn)題，即2 個(gè)數(shù)據(jù)點(diǎn)集分別是一個(gè)視角的二維圖像坐標(biāo)和另一個(gè)視角的三維世界坐標(biāo);2)相對(duì)定向問(wèn)題，即2 個(gè)數(shù)據(jù)點(diǎn)集分別是2 個(gè)視角的二維圖像坐標(biāo)。

絕對(duì)定向問(wèn)題和相對(duì)定向問(wèn)題都有最小集直接方法和非最小集方法。其中最小集直接方法，即用能解算約束方程所需的最少特征來(lái)求解，一般包括求解相對(duì)定向問(wèn)題的N(N≥5)點(diǎn)算法［10］和求解絕對(duì)定向問(wèn)題的3 點(diǎn)算法［10，18］。

絕對(duì)定向問(wèn)題主要出現(xiàn)在用立體視覺(jué)，可以獲知場(chǎng)景三維信息的場(chǎng)合。Haralick 給出了從1841年到1994年3 點(diǎn)算法的綜述，詳細(xì)介紹比較了6 種方法，證明Finsterwalder 算法能夠獲得最高的精度［55］。但傳統(tǒng)的3 點(diǎn)算法那一般局限于某種相機(jī)模型，如針孔模型等，Nistér 提出了不限定相機(jī)模型的3 點(diǎn)問(wèn)題的通用最小集算法［56］。而求解絕對(duì)定向問(wèn)題的非最小集方法，最常用的是用奇異值分解(SVD)方法［45，57］或四元數(shù)方法［58］等。

相對(duì)定向問(wèn)題則是采用單目視覺(jué)所不可避免的。Stéwenius 對(duì)截至2006年相對(duì)定向問(wèn)題的最小集直接算法作了總結(jié)［59］，比較了包括Nistér 的高效5 點(diǎn)算法［50］和其他多種N(N =6～8)點(diǎn)算法，證明了5 點(diǎn)算法在數(shù)值穩(wěn)定性、計(jì)算效率和對(duì)場(chǎng)景退化的處理能力方面都有最為優(yōu)秀的性能，所以它在單目視覺(jué)里程計(jì)系統(tǒng)中應(yīng)用廣泛。而求解相對(duì)定向問(wèn)題的非最小集方法中，迭代最近點(diǎn)(ICP)算法是較為常用的一種［17］。ICP 算法是一種利用理想幾何模型對(duì)目標(biāo)的離散數(shù)據(jù)作配準(zhǔn)的迭代方法，尤其適用于那些相關(guān)性未知的點(diǎn)云數(shù)據(jù)。在視覺(jué)里程計(jì)系統(tǒng)中，ICP 算法一般不用于直接求解姿態(tài)，而是在用高效方法求解最小二乘問(wèn)題的粗糙解之后來(lái)進(jìn)行迭代優(yōu)化［16－17］。

4 研究展望

如上所述，視覺(jué)里程計(jì)算法已經(jīng)獲得了許多研究成果。但是，單純依靠視覺(jué)的自主車輛定位與導(dǎo)航技術(shù)還不夠成熟。在2007年的DARPA 城市挑戰(zhàn)賽中，單純依靠視覺(jué)的定位系統(tǒng)還沒(méi)有獲得最好的效果［54］;在火星探測(cè)車上，視覺(jué)定位系統(tǒng)也還只是慣型導(dǎo)航系統(tǒng)的備選［60］。所以，視覺(jué)里程計(jì)算法中還有許多問(wèn)題在等待解決，如下研究方向或可作為下一步研究的重點(diǎn):

1)更高效率、更高精度的特征檢測(cè)與匹配算法。當(dāng)前的研究中，魯棒的特征提取與匹配本身計(jì)算量大，而快速的特征檢測(cè)又會(huì)造成特征集噪聲過(guò)大，使檢測(cè)內(nèi)數(shù)據(jù)的計(jì)算量加大，都影響了系統(tǒng)的實(shí)時(shí)性。所以，設(shè)計(jì)更魯棒更快速的特征提取與匹配算法非常重要;

2)“批處理”算法與遞歸算法的結(jié)合。本文在比較兩幀方案與多幀方案時(shí)提到了“批處理”算法的高精度與低效率，若將其與精度相對(duì)較低的遞歸方案相結(jié)合設(shè)計(jì)出高效高精度的“批處理”—遞歸混合系統(tǒng)，將會(huì)是視覺(jué)里程計(jì)系統(tǒng)的一個(gè)可行的發(fā)展方向;

3)在經(jīng)典的視覺(jué)里程計(jì)系統(tǒng)中，一個(gè)非常重要的假設(shè)就是靜態(tài)場(chǎng)景假設(shè)，而在實(shí)際應(yīng)用環(huán)境中是難以成立的，如存在動(dòng)態(tài)的行人、車輛等目標(biāo)。近年來(lái)也出現(xiàn)了一些針對(duì)動(dòng)態(tài)環(huán)境的方法，有依靠低水平的目標(biāo)識(shí)別［61］、對(duì)噪聲建模來(lái)剔除動(dòng)態(tài)目標(biāo)數(shù)據(jù)［62］或是采用對(duì)數(shù)據(jù)質(zhì)量要求極低的內(nèi)數(shù)據(jù)獲得算法［63］等，都沒(méi)有脫離固有的特征檢測(cè)機(jī)制。若能將視覺(jué)里程計(jì)系統(tǒng)與基于視覺(jué)的行人檢測(cè)、車輛檢測(cè)或道路檢測(cè)等在目前已有大量研究成果的算法有效地結(jié)合起來(lái)，將是非常有意義的研究工作。

5 結(jié)論

視覺(jué)里程計(jì)技術(shù)發(fā)展至今已經(jīng)獲得了一定的成果，具備直接在實(shí)時(shí)系統(tǒng)中應(yīng)用的可能。但是視覺(jué)里程計(jì)技術(shù)中當(dāng)前仍然有許多問(wèn)題存在，包括特征檢測(cè)與跟蹤算法效率與精度的權(quán)衡，遞歸算法的累積誤差缺陷以及難以應(yīng)對(duì)復(fù)雜的動(dòng)態(tài)噪聲環(huán)境等。這些問(wèn)題都需要從視覺(jué)里程計(jì)算法的各個(gè)模塊技術(shù)出發(fā)，研究解決以期改善整體系統(tǒng)性能。并最終希望視覺(jué)里程計(jì)可以獨(dú)立實(shí)現(xiàn)智能車輛的精確自定位。

References)

［1］ 吳功偉.立體視覺(jué)里程計(jì)的關(guān)鍵技術(shù)研究［D］.杭州:浙江大學(xué)，2007.WU Gong－wei.Research on key technologies in stereo visual odometry［D］.Hangzhou:Zhejiang University，2007.(in Chinese)

［2］ Moravec H.Obstacle avoidance and navigation in the real world by a.seeing robot rover［D］.Stanford:Univ.of Stanford，1980.

［3］ Matthies L，Shafer S A.Error modeling in stereo navigation［J］.IEEE J.Robot.Automat.，1987，RA23(3):239－250.

［4］ 彭勃，周文暉，劉濟(jì)林.基于Harris 角點(diǎn)檢測(cè)的立體視覺(jué)里程計(jì)［J］.兵工學(xué)報(bào)，2007，28(12):1498－1502.PENG Bo，ZHOU Wen－h(huán)ui，LIU Ji－lin.Harris corner detectionbased stereo visual odometry［J］.Acta Armanmentarii，2007，28(12):1498－1502.(in Chinese)

［5］ Eade E，Drummond T.Scalable monocular SLAM［C］∥Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York:IEEE，2006:469－476.

［6］ Davison A J，Reid I D，Molton N D，et al.Mono SLAM:realtime single camera SLAM［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(6):1052－1067.

［7］ Davison A J.Real－time simultaneous localization and mapping with a single camera［C］∥Proc.International Conference on Computer Vision，Nice:IEEE，2003:1403－1410.

［8］ 馬玉嬌.基于立體視覺(jué)里程計(jì)的移動(dòng)機(jī)器人定位研究［D］.武漢:武漢科技大學(xué)，2009.MA Yu－jiao.Research on mobile robot localization based on stereo visual odometry［D］.Wuhan:Wuhan University of Science and Technology，2009.(in Chinese)

［9］ Badino H.A robust approach for ego－motion estimation using a mobile stereo platform［J］.Lecture Notes in Computer Science，2007，3417:198－208.

［10］ Nistér D，Naroditsky O，Bergen J.Visual odometry［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:652－659.

［11］ Mouragnon E，Lhuillier M，Dhome M，et al.Real time localization and 3D reconstruction［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York:IEEE，2006:363－370.

［12］ Tardif J，Pavlidis Y，Daniilidis K.Monocular visual cdometry in urban environments using an omnidirectional camera［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Nice:IEEE，2008:2531－2538.

［13］ Corke P，Strelow D，Singh S.Omnidirectional visual odometry for a planetary rover［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，IEEE，2004:4007－4012.

［14］ Agrawal M，Konolige K.Rough terrain visual odometry［C］.International Conference on Advanced Robotics，Menlo Park:2007.

［15］ Hirschmüller H，Innocent P R，Garibaldi J M.Fast，unconstrained camera motion estimation from stereo without tracking and robust statistics［C］∥In International Conference on Control，Automation，Robotics and Vision，Singapore:Nayang Technological Univ，2002:1099－1104.

［16］ Milella A，Reina G.Vision－based methods for mobile robot localization and wheel sinkage estimation［C］∥ASME Dynamic Systems and Control Conference，Michigan:2008:625－621.

［17］ Milella A，Siegwart R.Stereo－based ego－motion estimation using pixel－tracking and iterative closest point［C］∥Proc.IEEE International Conference on Computer Vision Systems，New York:IEEE，2006:21－27.

［18］ Kitt B，Geiger A，Lategahn H.Visual odometry based on stereo image sequences with RANSAC－based outlier rejection scheme［C］∥IEEE Intelligent Vehicle Symposium，San Diego:IEEE，2010:486－492.

［19］ Howard A.Real－time stereo visual odometry for autonomous ground vehicles［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Nice:IEEE，2008:3946－3952.

［20］ García－García R，Sotelo M A，Parra I，et al.3D visual odometry for road vehicles［J］.Journal of Intelligent and Robotic Systems Archive，2008，51(1):113－134.

［21］ Sappa A D，Dornaika F，Ponsa D，et al.An efficient approach to onboard stereo vision system POSE estimation［J］.IEEE Trans.Intell.Transp.Syst，2008，9(3):476－490.

［22］ Jong Weon Lee，Suya You，Ulrich Neumann.Large motion estimation for omnidirectional vision［C］∥IEEE Workshop on Omnidirectional Vision，Hilton Head Island:IEEE，2000:161－168.

［23］ Wen Lik Dennis Lui，Ray A.Jarvis.An omnidirectional vision system for outdoor mobile robots［C］∥IEEE Workshop on Omnidirectional Robot Vision，Anchorage:IEEE，2008:273－284.

［24］ Parra I，Sotelo M A，Llorca D F.Robust visual odometry for vehicle localization in urban environments［J］.Robotica，2010，28(3):441－452.

［25］ Parra I，Sotelo M A，Vlacic L.Robust visual odometry for complex urban environments［C］∥IEEE Intelligent Vehicles Symposium，Eindhoven:IEEE，2008:440－445.

［26］ Triggs B，McLauchlan P F，Hartley R I，et al.Bundle adjustment－a modern synthesis［J］.In Vision Algorithms:Theory and Practice，ser.LNCS.Springer Verlag，2000，1883:298－375.

［27］ Shum H，K E Q，Zhang Z.Efficient bundle adjustment with virtual key frames:a hierarchical approach to multi－frame structure from motion［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Collins:IEEE，1999:538－543.

［28］ Jungho Kim，In So Kweon.Vision－based autonomous navigation based on motion estimation［C］∥International Conference on Control，Seoul:Automation and Systems，2008:1738－1743.

［29］ Royer E，Lhuillier M，Dhome M，et al.Monocular vision for mobile robot localization and autonomous navigation［J］.International Journal of Computer Vision，2007，74(3):237－260.

［30］ Levin A，Szeliski R.Visual odometry and map correlation［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:1611－1618.

［31］ Konolige K，Agrawal M，Sola J.Large scale visual odometry for rough terrain［C］∥In International Symposium on Research in Robotics，Hiroshima:2007.

［32］ Kwolek B.Visual odometry based on gabor filters and sparse bundle adjustment［C］∥IEEE International Conference on Robotics and Automation，Roma:IEEE，2007:3573－3578.

［33］ Chiuso A，F(xiàn)avaro P，Jin H，et al.Structure from motion causally integrated over time［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，2002，24(4):523－535.

［34］ Rudolph van der Merwe，Eric A.Wan.Sigma－point kalman filters for integrated navigation［C］∥Proc.Annual Meeting of The Institute of Navigation，Dayton:NSF，2004:641－654.

［35］ Mclauchlan P，Reid I，Murray D.Recursive affine structure and motion from image sequences［C］∥Proc.European Conf.Comp.Vision，Stockholm:Springer Verlag，1994:217－224.

［36］ García－García R G，Sotelo M A，Parra I，et al.3D visual odometry for GPS navigation assistance［C］∥Proc.IEEE Intelligent Vehicles Symposium，Istanbul:IEEE，2007:444－449.

［37］ Zhu Z，Oskiper T，Samarasekera S，et al.Sawhney.Ten－fold improvement in visual odometry using landmark matching［C］∥IEEE International Conference on Computer Vision，Rio de Janeiro:IEEE，2007:1747－1754.

［38］ Oskiper T，Zhu Z，Samarasekera S.Visual odometry system using multiple stereo cameras and inertial measurement unit［C］∥IEEE Conference on Computer Vision and Pattern Recognition，Minneapolis:IEEE，2007:976－983.

［39］ P.H.S.Torr and A.Zisserman.Feature based methods for structure and motion estimation［J］.in Vision Algorithms:Theory and Practice，2000，1883:278－295.

［40］ Taylor C J，Kriegman D J.Structure and motion from line segments in multiple images［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，1995，17(11):1021－1032.

［41］ Wong K Y K，Mendonca P R S，Cipolla R.Structure and motion estimation from apparent contours under circular motion［J］.Image and Vision Computing，2002，20:441－448.

［42］ Schmid C，Mohr R，Baukhage C.Evaluation of interest point detectors［J］.International Journal of Computer Vision，2000，37(2):151－172.

［43］ Lowe D G.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［44］ 李智，周文暉，劉濟(jì)林.動(dòng)態(tài)場(chǎng)景下基于視差空間的立體視覺(jué)里程計(jì)［J］.浙江大學(xué)學(xué)報(bào)(工學(xué)版)，2008，42(10):1661－1665.LI Zhi，ZHOU Wen－h(huán)ui，LIU Ji－lin.Stereo visual odometry from disparity space in dynamic environments［J］.Journal of Zhejiang University:Engineering Science，2008，42(10):1661－1665.(in Chinese)

［45］ Gong P L，Zhang Q F，Zhang A Q.Stereo vision based motion estimation for underwater vehicles［C］∥International Conference on Intelligent Computation Technology and Automation，Changsha:IEEE，2009:745－749.

［46］ Rodriguez S A，F(xiàn)remont F V，Bonnifait P.An experiment of a 3D real－time robust visual odometry for intelligent vehicles［C］∥Proc.International Conference on Intelligent Transportation Systems，Shizuoka:IEEE，2009:226－231.

［47］ Zhang T，Liu X，Kuhnlenz K，et al.Visual odometry for the autonomous city explorer［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，St.Louis:IEEE，2009:3513－3518.

［48］ Gordon I，Lowe D G.What and where:3D object recognition with accurate pose［C］∥International Symposium on Mixed and Augmented Reality，Santa Barbara:IEEE，2006:67－82.

［49］ Horn B K P.Relative orientation［J］.International Journal of Computer Vision，1990，4:59－78.

［50］ Nistér D.An efficient solution to the five－point relative pose problem［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，2004，26(6):756－770.

［51］ Fischler M A，Bolles R C.Random sample consensus:a paradigm for model fitting with apphcatlons to image analysis and automated cartography［J］.Graphics and Image Processing，1981，24(6):381－395.

［52］ Nister D.Preemptive RANSAC for live structure and motion estimation［C］∥Proc.International Conference on Computer Vision，Nice:2003:199－206.

［53］ Scaramuzza D，F(xiàn)raundorfer F，Siegwart R.Real－time monocular visual odometry for on－road vehicles with 1－point RANSAC［C］∥International Conference on Robotics and Automation，Kobe:2009:4293－4299.

［54］ Nourani－Vatani N，Roberts J，Srinivasan M V.Practical visual odometry for car－like vehicles［C］∥International Conference on Robotics and Automation，Kobe:2009:3551－3557.

［55］ Haralick R，Lee C，Ottenberg K，et al.Review and analysis of solutions of the three point perspective pose estimation problem［J］.International Journal of Computer Vision，1994，13(3):331－356.

［56］ Nistér D.A minimal solution to the generalised 3－Point pose problem［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:560－567.

［57］ Horn B K P，Hilden H M，Negahdaripour S.Closed－form solution of absolute orientation using orthonormal matrices［J］.Journal Opt.Soc.Am.A，1988，5:1127－1135.

［58］ Horn B K P.Closed－form solution of absolute orientation using unit quaternions［J］.Journal Opt.Soc.Am.A，1987，4(4):629－642.

［59］ Stéwenius H，Engels C，Nistér D.Recent developments on direct relative orientation［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2006，60:284－294.

［60］ Matthies L，Maimone M，Johnson A，et al.Computer vision on mars［J］.International Journal of Computer Vision，2007，75(1):67－92.

［61］ Kitt B，Moosmann F，Stiller C.Moving on to dynamic environments:visual odometry using feature classification［C］∥International Conference on Intelligent Robots and Systems，Taipei:IEEE，2010:5551－5556.

［62］ Sakai A，Mitsuhashi M，Kuroda Y.Noise model creation for visual odometry with neural－fuzzy model［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Taipei:IEEE，2010:5190－5195.

［63］ Sáez J M，Escolano F.6DOF entropy minimization SLAM for stereo－based wearable devices［J］.Computer Vision and Image Understanding，2011，115(2):270－285.