韓曉東，劉 冬，叢 明

(大連理工大學(xué) 機(jī)械工程學(xué)院，遼寧 大連 116023)

基于ORB特征和里程計信息的機(jī)器人視覺導(dǎo)航*

韓曉東，劉 冬，叢 明

(大連理工大學(xué) 機(jī)械工程學(xué)院，遼寧 大連 116023)

提出一種基于ORB(oriented FAST and rotated BRIEF)特征和里程計信息的移動機(jī)器人視覺導(dǎo)航方法。該方法提取輸入場景的ORB特征作為顯著路標(biāo)，同時提取機(jī)器人里程計信息計算行為模式，將顯著路標(biāo)和行為模式作為狀態(tài)節(jié)點進(jìn)行機(jī)器人環(huán)境拓?fù)涞貓D的構(gòu)建?；谔卣髌ヅ浼夹g(shù)進(jìn)行機(jī)器人的狀態(tài)定位，并選擇狀態(tài)中對應(yīng)的行為模式實現(xiàn)機(jī)器人的路徑跟蹤導(dǎo)航，且在導(dǎo)航過程中有防止偏移既定路線的調(diào)整機(jī)制。實驗表明：文中的方法能夠較好的完成機(jī)器人的導(dǎo)航任務(wù)，并且對環(huán)境中的動態(tài)信息具有一定的魯棒性。

移動機(jī)器人；ORB特征；圖像匹配；導(dǎo)航

0 引言

導(dǎo)航是機(jī)器人通過傳感器感知環(huán)境和自身狀態(tài)，運用智能算法以實現(xiàn)機(jī)器人的各種功能。目前機(jī)器人導(dǎo)航方式主要有以下幾種：慣性導(dǎo)航，磁導(dǎo)航，衛(wèi)星導(dǎo)航如GPS，視覺導(dǎo)航等[1]。其中，視覺導(dǎo)航由于其獲取信息豐富，對環(huán)境認(rèn)知具有多功能性等優(yōu)勢，已經(jīng)成為智能機(jī)器人導(dǎo)航領(lǐng)域的一個重要方向。

隨著機(jī)器人計算機(jī)硬件技術(shù)的飛速發(fā)展以及各類算法的不斷涌現(xiàn)，圖像處理速度得到了極大的提高，此外視覺傳感器價格也顯著下降，使得視覺系統(tǒng)在機(jī)器人導(dǎo)航定位和環(huán)境感知等的應(yīng)用越來越常見，在許多機(jī)器人作業(yè)的場合都會搭載智能視覺系統(tǒng)，比如陸地自主導(dǎo)航車(Autonomous Ground Vehicles, AGV)[2]，空中無人機(jī)(Unmanned Aerial Vehicle, UAV)[3]和水下無人潛艇(Autonomous Underwater Vehicles, AUV)[4]等。

本文基于圖像特征提取與匹配技術(shù)實現(xiàn)機(jī)器人的自主導(dǎo)航。采用特征檢測可以提取環(huán)境中有效的路標(biāo)，這些路標(biāo)在連續(xù)不同幀的圖像中具有穩(wěn)定性，且機(jī)器人回到當(dāng)前位置時容易被再檢測。常用的特征有很多，如經(jīng)典的SIFT算法[5]及其改進(jìn)型SURF算法[6]。近年來二進(jìn)制算法取得了廣泛的應(yīng)用，其中Rublee于2011年提出的ORB算法[7]具有高效、快速的性能。它的特征點檢測以及描述子提取分別基于FAST角點和BRIEF描述算法，并加入旋轉(zhuǎn)不變性，能滿足導(dǎo)航的實時和精度需求。

1 場景特征檢測

特征檢測作為視覺導(dǎo)航過程的第一步，須為后續(xù)地圖構(gòu)建及機(jī)器人導(dǎo)航奠定速度優(yōu)勢。FAST算子[8]是E.Rosten等人于2006年提出的一種快速角點檢測算子，其最大優(yōu)點是杰出的實時性，它通過比較圓周像素與中心像素的灰度值來確定特征點。

(1)

在滿足實時的基礎(chǔ)上進(jìn)一步考慮精度的需求，對FAST特征點加入方向特性，ORB采用的方法如下：

對一個圖像區(qū)域定義一個矩：

(2)

通過這個矩找到圖像區(qū)域的質(zhì)心。

(3)

其中，(x,y)為FAST角點的坐標(biāo)，圓形鄰域半徑r，(x,y)的取值范圍是[-r,r]，C為圓形鄰域的質(zhì)心。這樣就得到一個向量OC，而向量OC的方向θ即為FAST特征點的方向：

(4)

式中,atan2表示取值區(qū)間在 (-π,π]的反正切函數(shù)。

圖1為機(jī)器人獲得的不同幀輸入場景及其中提取出的ORB特征點，圖中圓內(nèi)的直線代表特征點的方向。

圖1 不同輸入場景中的特征點檢測

2 局部描述子提取

在機(jī)器人視覺導(dǎo)航中，需要對提取的特征進(jìn)行描述，穩(wěn)定高效的描述子是后續(xù)匹配工作的前提。ORB特征采用的是基于BRIEF描述子的改進(jìn)算法。BRIEF特征描述子[9]描述簡單、占用存儲空間小、速度快，它的思想是圖像特征點鄰域可以用相對少量的灰度對比來表達(dá)。

在S×S大小的圖像鄰域P上定義τ測試：

(5)

其中,p(x)是圖像鄰域P在x處的灰度值。選擇n個測試點對生成n維的二進(jìn)制串，即為BRIEF描述子。

(6)

ORB根據(jù)特征點的主方向?qū)RIEF描述子加入了旋轉(zhuǎn)不變性，稱為steeredBRIEF。加入方向特征的steeredBRIEF具有更好的區(qū)分性和不相關(guān)性，從而提高匹配的精度。

3 視覺導(dǎo)航方法

圖2為本文移動機(jī)器人的導(dǎo)航方法，包括兩大部分，路徑學(xué)習(xí)以及狀態(tài)定位與導(dǎo)航。

圖2 移動機(jī)器人視覺導(dǎo)航方法流程圖

第一部分：路徑學(xué)習(xí)，在未知環(huán)境中，預(yù)先指定路徑給機(jī)器人學(xué)習(xí)，機(jī)器人通過視覺系統(tǒng)不斷檢測環(huán)境并記錄環(huán)境特征，同時記錄里程計信息計算相應(yīng)的行為模式，將環(huán)境特征和行為模式作為狀態(tài)節(jié)點來構(gòu)建拓?fù)涞貓D。

第二部分是狀態(tài)定位與導(dǎo)航：機(jī)器人對比原先學(xué)習(xí)過的路徑狀態(tài)節(jié)點，即視覺系統(tǒng)檢測并保存的環(huán)境特征，實現(xiàn)狀態(tài)定位并選擇對應(yīng)的行為模式實現(xiàn)導(dǎo)航。

3.1 路徑學(xué)習(xí)

機(jī)器人路徑學(xué)習(xí)是建立基于狀態(tài)的環(huán)境拓?fù)涞貓D的過程，每一個狀態(tài)中都記錄了相應(yīng)的環(huán)境特征信息，機(jī)器人行走于預(yù)先指定路徑時，首先進(jìn)行環(huán)境特征的采樣，即視覺系統(tǒng)采集得到的圖像的ORB描述子，隨時間的不同分割機(jī)器人路徑為離散的狀態(tài)。當(dāng)兩幀圖像的相似度在一定閾值以下時，新的狀態(tài)節(jié)點被保存添加到環(huán)境拓?fù)涞貓D中。這種方法可以方便的自主選擇狀態(tài)數(shù)量以適應(yīng)不同的環(huán)境。

兩幅圖像的相似度判定以圖像中匹配成功的特征點數(shù)與提取特征點總數(shù)的比值來確定。采用特征點向量的Hamming距離進(jìn)行特征點的匹配，以輸入場景的特征點為基準(zhǔn)，在待配準(zhǔn)圖像中搜索與其最近和次近的點，當(dāng)滿足最近距離與次近距離的比值小于一個閾值并且最近距離必須在一定范圍內(nèi)時，則定義匹配成功。

當(dāng)輸入場景需要保存時，同時計算機(jī)器人的行為模式，共同保存作為一個狀態(tài)節(jié)點。行為模式的計算過程見下節(jié)。

3.2 機(jī)器人行為模式

本文中的行為模式表示機(jī)器人行為，如直走、左轉(zhuǎn)、原地左轉(zhuǎn)、右轉(zhuǎn)、原地右轉(zhuǎn)、停止等。通過狀態(tài)節(jié)點間隔時間內(nèi)機(jī)器人里程計信息計算方向角△t的變化，從而判斷機(jī)器人行為模式。機(jī)器人行走過程中角速率恒定，為0.2rad/s ，且規(guī)定左轉(zhuǎn)方向為正。由此定義機(jī)器人的行為模式如下:

(1)如果△t>5°,則相應(yīng)狀態(tài)節(jié)點機(jī)器人的行為模式為左轉(zhuǎn)；

(2)如果△t<-5°，則相應(yīng)狀態(tài)節(jié)點機(jī)器人的行為模式為右轉(zhuǎn)；

(3)如果-5°<△t<5°，則相應(yīng)狀態(tài)節(jié)點機(jī)器人的行為模式為直走。

此外，原地左轉(zhuǎn)及右轉(zhuǎn)的行為模式結(jié)合上述定義以及機(jī)器人里程計獲得的坐標(biāo)信息來確定，當(dāng)采樣周期內(nèi)機(jī)器人位置變動在某一閾值內(nèi)時，發(fā)生角度的變化認(rèn)為機(jī)器人是原地轉(zhuǎn)動。

3.3 機(jī)器人狀態(tài)定位

機(jī)器人的狀態(tài)定位通過當(dāng)前場景與學(xué)習(xí)地圖中記憶路標(biāo)的匹配完成，當(dāng)機(jī)器人獲得當(dāng)前場景的路標(biāo)以后，狀態(tài)定位模塊對數(shù)據(jù)庫中所有路標(biāo)進(jìn)行搜索與匹配。若當(dāng)前感興趣的區(qū)域被定位為機(jī)器人的狀態(tài)，則機(jī)器人導(dǎo)航模塊認(rèn)為此狀態(tài)為機(jī)器人當(dāng)前位置。

如果機(jī)器人成功定位習(xí)得路徑中的某一狀態(tài)，則機(jī)器人可根據(jù)此狀態(tài)中對應(yīng)的行為模式來規(guī)劃機(jī)器人需要采取的行為。

3.4 干擾消除

在機(jī)器人路徑學(xué)習(xí)以及導(dǎo)航過程中，圖像特征的匹配可能會出現(xiàn)誤匹配。在學(xué)習(xí)過程中會造成地圖節(jié)點保存冗余或者匱乏，而導(dǎo)航過程中則會導(dǎo)致機(jī)器人錯誤的狀態(tài)定位直至導(dǎo)航失敗，因此必須去除這些誤匹配點的干擾。

考慮到導(dǎo)航的實時性，基于K近鄰算法進(jìn)行誤匹配的去除工作[10]。在多維空間Rn中找到與位置樣本最近鄰的k個點，并根據(jù)這k個點的類別判斷未知樣本的類，這k個點就是未知樣本的k-最近鄰。圖3為采用K鄰近算法的匹配效果圖，可以看出匹配的精度很高，能滿足機(jī)器人導(dǎo)航任務(wù)的需求。

圖3 K鄰近算法圖像匹配效果圖

3.5 路徑糾正

機(jī)器人導(dǎo)航過程中，由于受到起始位置的偏移或者環(huán)境中動態(tài)信息等因素的影響，機(jī)器人的行駛路徑與學(xué)習(xí)路徑會出現(xiàn)偏差，因此需要在機(jī)器人的行駛過程中加入糾正機(jī)制以保證機(jī)器人導(dǎo)航的精度。

根據(jù)相匹配路標(biāo)的位置坐標(biāo)關(guān)系對機(jī)器人的行駛進(jìn)行調(diào)整[11]，忽略路標(biāo)的縱向坐標(biāo)，采用其橫向坐標(biāo)來進(jìn)行判斷。如圖4所示，圖中中心線代表場景的中心線，Xt為輸入場景路標(biāo)的橫向坐標(biāo)，Xd為數(shù)據(jù)庫中對應(yīng)特征點的橫向坐標(biāo)，則機(jī)器人行駛的調(diào)整機(jī)制為：

Xt

Xt>Xd并且Xt>0，則機(jī)器人右轉(zhuǎn)。

其中X<0表示特征點在圖像中心線的左側(cè)。

圖4 路徑糾正機(jī)制

4 實驗與結(jié)果

在非結(jié)構(gòu)化環(huán)境中，控制Turtlebot2進(jìn)行路徑學(xué)習(xí)，使用Kinect獲得輸入場景圖像序列，驗證本文提出方法的有效性。

實驗中的主要數(shù)據(jù)為圖像分辨率640×480,圖像采集頻率30FPS，特征點檢測數(shù)目上限500，路徑學(xué)習(xí)時兩個狀態(tài)節(jié)點之間圖像相似度閾值在0.5以下，狀態(tài)定位時圖像匹配率閾值在0.8以上。機(jī)器人移動速度設(shè)定線速度0.3m/s，角速度0.2rad/s。實驗開始時通過鍵盤控制機(jī)器人沿一定路徑行走，提取攝像頭的圖像信息及機(jī)器人里程計信息進(jìn)行狀態(tài)學(xué)習(xí)，保存狀態(tài)節(jié)點構(gòu)建環(huán)境拓?fù)涞貓D。

機(jī)器人在室內(nèi)環(huán)境中行走的路徑總長度為6.9m，該路徑呈倒‘L’形狀，在構(gòu)建地圖過程中機(jī)器人只行走一次既定路徑，共采集到1200幀圖像，學(xué)習(xí)到80個狀態(tài)節(jié)點，如圖5中所示。采集過程中，從241幀到302幀有行人經(jīng)過，為場景中的動態(tài)信息，此時狀態(tài)節(jié)點增加速率變快，這段時間內(nèi)共增加了6個狀態(tài)節(jié)點。由于行人只是在短時間內(nèi)經(jīng)過，并不干擾機(jī)器人的行走路線，因此帶來的影響只是拓?fù)涞貓D中增加了若干冗余節(jié)點，機(jī)器人導(dǎo)航還是能夠順利進(jìn)行。

圖5 狀態(tài)節(jié)點生成

圖6為機(jī)器人跟蹤路徑導(dǎo)航過程中在某時刻位置獲得圖像與數(shù)據(jù)庫中顯著路標(biāo)的匹配圖，從圖中可知：本文方法可以自主檢測出輸入場景的顯著路標(biāo)，并且同一位置顯著路標(biāo)具有穩(wěn)定性。根據(jù)匹配狀態(tài)節(jié)點相應(yīng)的行為模式規(guī)劃機(jī)器人當(dāng)前采取的行為，除拐點處為原地左轉(zhuǎn)外，其余部分為直走。

圖6 輸入場景與數(shù)據(jù)庫路標(biāo)匹配

導(dǎo)航結(jié)束后得到的機(jī)器人軌跡與學(xué)習(xí)的路徑對比如圖7中所示，機(jī)器人導(dǎo)航誤差為0.07m，這里導(dǎo)航誤差為機(jī)器人行走路徑與預(yù)設(shè)路徑的橫向偏差。實驗結(jié)果表明：機(jī)器人通過攝像頭的輸入場景檢測顯著路標(biāo)，提取特征描述子進(jìn)行導(dǎo)航可以穩(wěn)定的跟蹤預(yù)設(shè)路徑，在復(fù)雜的室內(nèi)環(huán)境中導(dǎo)航誤差在0.10m以內(nèi)，具有較穩(wěn)定的導(dǎo)航能力。

圖7 機(jī)器人導(dǎo)航軌跡

[1] 劉海濤, 關(guān)勝曉, 秦亮,等. 智能機(jī)器人視覺導(dǎo)航系統(tǒng)的研究[J]. 計算機(jī)應(yīng)用與軟件, 2010, 27(12):218-220.

[2] Lategahn H, Geiger A, Kitt B. Visual SLAM for autonomous ground vehicles[C]//Robotics and Automation (ICRA), 2011 IEEE International Conference on. IEEE, 2011: 1732-1737.

[3] Cai G, Chen B M, Lee T H. An overview on development of miniature unmanned rotorcraft systems[J]. Frontiers of Electrical and Electronic Engineering in China, 2010, 5(1): 1-14.[4] Brown H C, Kim A, Eustice R M. An overview of autonomous underwater vehicle research and testbed at PeRL[J]. Marine Technology Society Journal, 2009, 43(2): 33-47.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[C]// International Journal of Computer Vision, 2004:91-110.

[6] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer vision and image understanding, 2008, 110(3): 346-359.

[7] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]// Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011: 2564-2571.

[8] Rosten E, Drummond T. Machine learning for high-speed corner detection[M].Computer Vision -ECCV 2006.Berlin Heidelberg:Springer, 2006.

[9] Calonder M, Lepetit V, Strecha C, et al. BRIEF: binary robust independent elementary features[C] // Proceedings of the 11th European conference on Computer vision: Part IV. Springer-Verlag, 2010:778-792.

[10] Baggio D L. Mastering OpenCV with practical computer vision projects[M]. Packt Publishing Ltd, 2012.

[11] Chang C K, Siagian C, Itti L. Mobile Robot Vision Navigation & Localization Using Gist and Saliency[C]// IEEE/RSJ International Conference on Intelligent Robots & Systems, 2010:4147-4154.

(編輯 李秀敏)

Robotic Visual Navigation Based on ORB Features and Odometer Information

HAN Xiao-dong，LIU Dong，CONG Ming

(School of Mechanical Engineering, Dalian University of Technology, Dalian Liaoning 116023, China)

A mobile robot vision navigation method was proposed based on ORB (oriented FAST and rotated BRIEF) features and odometer information. The ORB features was extracted from input scenes as salient landmarks, meanwhile robot’s behavior was calculated based on odometer information. Both the landmarks and the behavior patterns was informed as a state to build the topological map of the environment. Robot localization was processed by feature matching, and behavior pattern was selected in corresponding state to realize robot’s path tracking and navigation, an adjustment mechanism was implemented to avoid the deviation from the path. Experimental results show that: the method is able to perform good tracking and navigation task, and has robustness for dynamic information of environment.

mobile robot; ORB features; image matching; navigation

1001-2265(2017)01-0109-03

10.13462/j.cnki.mmtamt.2017.01.030

2016-03-22

大連市科技計劃項目(2014A11GX028)

韓曉東(1990—)，男，河北邯鄲人，大連理工大學(xué)碩士研究生，研究方向為機(jī)器人智能控制，(E-mail)hanxiaodong@mail.dlut.edu.cn。

TH165;TG659

A