趙黎明,陳　寧

(集美大學(xué)機械與能源工程學(xué)院，福建 廈門 361021)

?

一種改進(jìn)SIFT算法的單目視覺里程計

趙黎明,陳寧

(集美大學(xué)機械與能源工程學(xué)院，福建 廈門 361021)

[摘要]針對如何準(zhǔn)確獲取位姿信息來實現(xiàn)移動機器人的避障問題，提出一種改進(jìn)SIFT特征點匹配的單目車載視覺里程計算法.首先，為了提高特征點匹配的正確率和實時性，結(jié)合主成分分析法和平面極線幾何約束，改進(jìn)了傳統(tǒng)SIFI匹配算法，其次，建立合理的移動機器人運動數(shù)學(xué)模型，得到連續(xù)幀間圖像信息和移動機器人運動位姿變化的轉(zhuǎn)換關(guān)系.試驗結(jié)果表明，誤差僅為1.6%，算法運行時間縮短0.022 s.

[關(guān)鍵詞]視覺里程計；改進(jìn)SIFT；平面極線幾何約束

0引言

視覺里程計(VO)是僅利用單個或多個相機的輸入信息估計智能機器人的運動信息的過程[1].相比傳統(tǒng)的里程計，視覺里程計不會存在編碼器讀數(shù)不準(zhǔn)、傳感器精度降低或慣導(dǎo)漂移等因素引起的數(shù)據(jù)誤差.

視覺里程計根據(jù)研究方法不同可分為基于特征跟蹤和基于光流兩種方法[2]，近年來，隨著具有尺度、旋轉(zhuǎn)等不變特性的圖像特征點匹配方面的研究不斷發(fā)展，使得基于特征點的視覺里程計方法成為當(dāng)前主流方法.文獻(xiàn)[3-4]采用了基于SIFT特征點匹配的VO算法，文獻(xiàn)[5-6]采用基于SURF特征點匹配的VO算法，SIFT尺度變換效果最好，但實時性最差，SURF速度最快，但尺度變換效果一般.

本文針對兩輪差速驅(qū)動模型的車輛進(jìn)行分析，通過單目相機獲取平面道路信息，假設(shè)車輛在平坦的平面內(nèi)行駛，以解決單目相機缺少尺度因子問題，車輛的位姿可以用p=(x,y,θ)表示，相機安裝位于車體前軸中心，即相機的運動估計與車體運動估計完全一致.采用南加州大學(xué)的 Camera Calibration Toolbox for Matlab對相機的內(nèi)外參數(shù)進(jìn)行標(biāo)定，采用主成分分析法對SIFT描述子進(jìn)行改進(jìn)，結(jié)合平面極線幾何約束，提高改進(jìn)SIFT特征點匹配的正確率，通過坐標(biāo)變換得到車輛位姿變換.

1模型建立

1.1　坐標(biāo)系建立

圖像像素坐標(biāo)系{I}：固定在圖像上的以像素為單位的平面直角坐標(biāo)系，原點位于圖左上角，u，v為像素坐標(biāo)系橫、縱坐標(biāo)軸，平行于圖像物理坐標(biāo)系X、Y軸.

攝像機坐標(biāo)系{C}：以針孔相機模型的聚焦中心為原點，相機光軸為Zc軸建立的三維直角坐標(biāo)系，Xc，Yc與圖像物理坐標(biāo)系平行.

車體坐標(biāo)系{V}：車體坐標(biāo)系的原點位于地面，且位于相機坐標(biāo)系原點的正下方，Xv軸與車輛正前方一致，Zv軸垂直向下.

世界坐標(biāo)系{W}：作為空間點的參考坐標(biāo)系，選取具有任意性，在本文中，世界坐標(biāo)系與拍攝第一幀圖像時的車體坐標(biāo)系{V1}重合.

1.2　數(shù)學(xué)模型建立

圖1表示相機坐標(biāo)系與圖像坐標(biāo)系的關(guān)系.圖2指出相機固定在車體的位置關(guān)系以及車體坐標(biāo)系的建立.圖3指出相機坐標(biāo)系與車體坐標(biāo)系的位置關(guān)系.由相機坐標(biāo)系和車體坐標(biāo)系的位置關(guān)系得到相機外參數(shù)Rc和Tc，Tc=[0,0,-h0]T，h0是相機距離地面的高度.前后兩幀車體的運動估計與車體坐標(biāo)系的變化一致，因此問題轉(zhuǎn)化為求解前后兩幀車體坐標(biāo)系之間的變換關(guān)系.對此本文需要做如下假設(shè)：1)車輛保持在平坦的地面行駛;2)車輛行駛不會發(fā)生橫向漂移；3)第一幀時刻車體坐標(biāo)系{V1}與世界坐標(biāo)系{W}重合.

由假設(shè)1)可知車輛姿態(tài)可由p=(x,y,θ)表示，其中θ表示在{w}坐標(biāo)系中車輛與X軸的角度.圖4路面上匹配到的改進(jìn)SIFT特征點M分別在第k幀和第k-1幀圖像坐標(biāo)系{I}的坐標(biāo)值為(uk,vk)和(uk-1,vk-1)，根據(jù)相機針孔模型，求得M點在第k幀和第k-1幀車體坐標(biāo)系內(nèi)的坐標(biāo)值，至少匹配到兩個特征點，利用線性最小二乘法求得第k幀時刻車體坐標(biāo)系與第k-1幀時刻車體坐標(biāo)系的變換矩陣.其中，Δθ表示連續(xù)兩幀間車體坐標(biāo)系的角度變化.根據(jù)假設(shè)3)把車體坐標(biāo)系原點轉(zhuǎn)換到世界坐標(biāo)系中，即求得每一時刻車輛的位姿.

2改進(jìn)SIFT特征點匹配算法

視覺里程計的精度和實時性很大程度上依賴于特征點匹配的準(zhǔn)確度以及匹配速度.從Moravec的興趣點到harris角點，再從SIFT局部特征到SURF局部特征,越來越多的局部視覺特征正在被研究員提出并應(yīng)用于視覺里程計.SIFT特征在旋轉(zhuǎn)、尺度、仿射和灰度方面具有很好的不變性，但實時性比較差.SURF特征匹配速度最好，但SURF特征在旋轉(zhuǎn)、尺度、仿射、灰度都要差于SIFT.本文對SIFT算法改進(jìn)以提高其匹配的正確率和實時性，圖5為改進(jìn)SIFT算法的流程圖.

圖5　改進(jìn)SIFT特征點匹配流程圖Fig.5　Flow chart of an improved SIFT algorithm

2.1　改進(jìn)SIFT描述子提取

在圖5中改進(jìn)SIFT算法的第三步，不用原先的4×4×8個描述子，而是在41×41的圖像塊上計算39×39×2個梯度導(dǎo)數(shù)，然后使用主成分分析技術(shù)將得到的3042維向量降到36維，改進(jìn)SIFT描述子將所有描述子中提取出更有區(qū)分度，更魯棒性的特征，從而大幅度提高匹配速率.

2.2　改進(jìn)SIFT特征點匹配

原始的SIFT特征點匹配，采用優(yōu)先K-d樹進(jìn)行優(yōu)先搜索來查找每個特征點的近似最近鄰特征點.在這兩個特征點中，如果最近的距離除以次近鄰距離小于某個比例閾值，則接受這一對匹配點.通過最近鄰匹配的閾值進(jìn)行判斷的SIFT匹配算法，通常存在較多錯誤匹配點，因此還需進(jìn)行進(jìn)一步約束，以保障匹配的正確率.

平面極線幾何約束是指圖像平面與以基線為軸的平面束交的幾何，如圖6所示.令C、C′分別在第k-1幀和第k幀時刻攝像機的光心位置，C′在第k-1時刻像平面I上的投影為e，C在第k時刻像平面I′上的投影為e′，它們稱為極點，像平面I(I′)上通過極點e(e′)的直線稱為極線.

2.3　改進(jìn)SIFT特征點匹配試驗分析

在車輛平移和轉(zhuǎn)彎時采集多組圖像進(jìn)行匹配分析，傳統(tǒng)SIFT匹配算法平均耗費時間為0.035 s，改進(jìn)SIFT匹配算法耗費時間為0.013 s.圖8a和圖8b分別在平移和轉(zhuǎn)彎時兩種算法的匹配正確率.圖9a—圖9d分別為傳統(tǒng)SIFT和改進(jìn)SIFT算法匹配的效果圖.

綜合上述分析可得到結(jié)論：改進(jìn)SIFT匹配算法比傳統(tǒng)的SIFT算法有更高正確匹配率和實時性.

3單目視覺里程計數(shù)學(xué)模型求解

單目視覺里程計是指系統(tǒng)通過單目攝像機獲取圖像序列，經(jīng)過特征提取、匹配和坐標(biāo)變換，恢復(fù)車輛的運動估計，圖10給出了單目視覺里程計的設(shè)計流程.

圖10　單目視覺里程計設(shè)計流程圖Fig.10　Flow chart of VO

根據(jù)第1部分所建立的數(shù)學(xué)模型，單目視覺里程計的求解即轉(zhuǎn)化為求解前后兩幀車體坐標(biāo)系之間的變換關(guān)系.采用南加州大學(xué)的CameraCalibrationToolboxforMatlab對固定在車體上的相機進(jìn)行線下標(biāo)定[7]，求得相機的內(nèi)部參數(shù)為A，外部參數(shù)為相機坐標(biāo)系和車體坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，由一個旋轉(zhuǎn)矩陣Rc和一個平移矩陣Tc表示.

相機的內(nèi)部參數(shù):

車體坐標(biāo)系內(nèi)任意一點M(xv,yv)在圖像上的成像位置(u,v)可以用針孔模型表示：

(1)

根據(jù)相機標(biāo)定結(jié)果，結(jié)合式(1)得到特征點在{V}中的坐標(biāo)：

(2)

特征點M在第k幀車體坐標(biāo)系和第k-1幀車體坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為：

(3)

由式(3)分解得到如下方程組：

(4)

方程組(4)有四個未知數(shù)，只需要匹配到兩個特征點就能求解.當(dāng)匹配到的特征點多于兩個時，假如匹配到的特征點數(shù)為n，可以采用線性最小二乘法求解一組最優(yōu)解[cos(Δθ),sin(Δθ),Δtx,Δty]T，即為連續(xù)幀間車輛位姿變化.

4實驗結(jié)果與分析

首先搭建基于單目視覺系統(tǒng)的智能車輛試驗平臺，智能車組成部分由NISbRIO小車、控制器SbRIO-9631單板、超聲波傳感器、AXISM1013IPCamera、無線路由器DIR-617、移動電源組成.IPCamera固定在NIsbRIO小車前沿，由無線路由器建立一個無線局域網(wǎng)，把小車和IPCamera通過網(wǎng)線與路由器連接，各個設(shè)備把IP設(shè)置在無線路由器的統(tǒng)一局域網(wǎng)內(nèi)，實現(xiàn)上位機PC、IPCamera和NIsbRIO小車之間的無線通信，圖像實時傳回PC機，由PC機做圖像處理，從而實時獲取小車的運動軌跡.其結(jié)構(gòu)如圖11所示.

由于車體比較小且速度在0-0.35m/s的低速狀態(tài)下運行，因此相機采集速率設(shè)置為1Hz，試驗小車在校園內(nèi)行駛117s，實際行駛距離和角度由車輪編碼器獲取的實時車速和角速度計算得到.最后將視覺里程計得到的小車運動軌跡圖與由車輪編碼器計算得到的小車運動軌跡進(jìn)行比較.小車行駛共計30.166 4m.視覺里程計算法計算共計29.686 5m,誤差約1.6%.結(jié)果如圖12所示.

5總結(jié)與展望

本文提出了一種精度和實時性都較好的車載單目視覺里程計算法.實驗結(jié)果中的誤差原因有兩點，1)由于車體本身的側(cè)滑移導(dǎo)致；2)由于單目相機采用線下標(biāo)定，而車輛行駛過程中的振動會導(dǎo)致相機外部參數(shù)發(fā)生改變.

未來車載視覺里程計算法的進(jìn)一步改進(jìn)，將會考慮采用相機自標(biāo)定技術(shù)，線上標(biāo)定技術(shù)更適合實時性要求較高的車載視覺里程計.目前大部分視覺里程計的研究都是基于幾何方法，即根據(jù)標(biāo)定相機，通過跟蹤特征點恢復(fù)旋轉(zhuǎn)和平移.將機器學(xué)習(xí)的方法引入視覺里程計為今后發(fā)展的趨勢.

[參考文獻(xiàn)]

[1]蔡自興,賀漢根,陳虹.未知環(huán)境中移動機器人導(dǎo)航控制研究的若干問題[J].控制與決策,2002,04:385-390.

[2]李宇波,朱效洲,盧惠民,等.視覺里程計技術(shù)綜述[J].計算機應(yīng)用研究,2012,08:2801-2805.

[3]SCARAMUZZAD,SIEGWARTR.Apperarance-guidedmonocularomnidirectionalvisualodometryforoutdoorgroundvehicles[J].IEEETransonRobotics,2008,24(5):1015-1026.

[4]SCARAMUZZAD,FRAUNDORFERF,SIEGWARTR.Real-timemonocularvisualodometryforon-roadvehicleswith1-pointransac[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2009:4293-4299.

[5]高云峰,李偉超,李建輝.室內(nèi)移動機器人視覺里程計研究[J].傳感器與微系統(tǒng),2012,02:26-29.

[6]王亞龍,張奇志,周亞麗.基于Kinect的三維視覺里程計的設(shè)計[J].計算機應(yīng)用,2014,08:2371-2374.

[7]JEAN-YVESBOUGUET.CameraCalibrationToolboxforMatlab[EB/OL].(2013-12-02).http://www.vision.caltech.edu/bouguetj/calib_doc/..2014.11

[8]HANWANG,WEIMOU,GERALDSEET,etal.Real-timeVisualOdometryEstimationBasedonPrincipalDirectionDetectiononCeilingVision[J].InternationalJournalofAutomationandComputing,2013,05:397-404.

[9]FRAUNDORFERF,SCARAMUZZAD.VisualodometryPartII:Matching,robustness,optimization,andapplications[J].Robotics&AutomationMagazine,IEEE,2012,19(2):78-90.

(責(zé)任編輯陳敏英文審校鄭青榕)

An Improved-SIFT Algorithm for a Monocular Visual Odometry

ZHAO Li-ming，CHEN Ning

(School of Mechanical and Energy Engineering,Jimei University,Xiamen 361021,China)

Abstract:This paper presents a robust method for monocular visual odometry capable of accurate position estimation of a mobile robot based on an improved SIFT algorithm.Firstly,for improving the accuracy and performance of real-time of feature points matching,improvements have been made on SIFT algorithm by combining Principal Component Analysis and Epipolar geometric constraint.Secondly,a mathematical model has been developed to determine the relationship between the information of consecutive frames and pose change of mobile robot.Results show that the algorithm brought about an accuracy with relative error less than 1.6%,and the running time of the algorithm reduces 0.022 seconds correspondingly.

Key words:visual odometry;improved-SIFT;epipolar geometric constraint

[文獻(xiàn)標(biāo)志碼]A

[中圖分類號]TP 24

[文章編號]1007-7405(2015)03-0218-06

[作者簡介]趙黎明(1987—)，男，碩士生，從事計算機視覺及導(dǎo)航研究.通信作者：陳寧(1972—)，男，博士，副教授，從事工程機器人及計算機視覺技術(shù)研究.

[基金項目]福建省科技廳省屬高校專項課題資助項目(JIC2014024)

[收稿日期]2014-11-02[修回日期]2014-11-27