張穎超,段京易,胡　凱,茅　丹

(南京信息工程大學信息與控制學院,南京 210044)

?

基于自然環(huán)境辨識的移動機器人位姿快速檢測*

張穎超*,段京易,胡凱,茅丹

(南京信息工程大學信息與控制學院,南京 210044)

摘要:為了對室外移動機器人進行快速準確的位姿檢測,基于Poineer3平臺,運用單目對室外環(huán)境進行圖像采集,對圖像采用基于圖像特征和神經網絡的方法進行了環(huán)境的理解,進而以地面為研究對象,運用Horn-Schunck光流法獲得局部地面光流。進而由圖像坐標系和機器人坐標系的變化關系以及運動速度和光流速度的關系,把光流速度轉化為機器人的運動速度,從而實現了機器人的位姿檢測。實驗結果表明,該方法可行且易操作,檢測速度快。

關鍵詞:機器人視覺;位姿檢測;光流;室外環(huán)境辨識

所謂機器視覺,也就是使用計算機來實現人的視覺功能——對客觀世界的三維場景的感知、識別和理解。換言之,即利用機器人所攜帶的視覺傳感器,如單目、雙目來完成替代人眼視覺功能達到認知外界環(huán)境的任務。在此基礎上,人們提出了視覺導航,就是利用計算機來代替人的視覺功能,從外界獲得有價值的信息,然后進行辨識和理解。目前為止,國內外智能車輛幾乎均使用機器視覺,可見這種感知方式的可靠性與重要性。道路的識別是智能車輛視覺導航的關鍵技術,因其較大的復雜性和挑戰(zhàn)性而備受關注。本文的研究就是基于單目視覺,通過處理視頻圖像達到自然環(huán)境的快速辨識,對環(huán)境中的地面進行識別,從而展開進一步的研究。

通過視頻圖像來進行速度檢測的方法有很多,例如相鄰幀差法、背景差分法、光流法等。但其中各個方法具體優(yōu)勢和缺點也比較明顯。相鄰幀差法[1]是使用時間連續(xù)的兩幀圖像相減,來判斷是否有運動目標的出現,但幀差法的缺點在于其得不到純背景的圖像,因為這種方法不能對所有相關特征點進行狀態(tài)提取,從而使得這種方法下所得結果精確度不夠。背景差分法[2]是將當前幀和背景圖像相減,結合背景更新算法來得到運動目標的信息,但是在這種方法下場景變化對其來說是個比較大的挑戰(zhàn),這種方法對場景的適應存在明顯的缺陷。相比之下,光流法在速度檢測方面就存在比較大的優(yōu)勢。當人眼觀察三維場景中的運動目標時,目標的輪廓在視網膜上形成一系列連續(xù)變化的圖像,這一系列連續(xù)變化的信息不斷“流過”視網膜(即平面圖像),好像一種光的“流”,稱為光流[3-5]OF(Optical Flow)。具體來講,光流算是一種瞬時速度場,它是由圖像上的像素點在圖像平面運動而產生的。

1953年,Gibson和Wallach首次提出了結構運動SFM(Structure From Motion)假設,該假設可以與光流法相結合,使得光流場的二維平面到三維運動空間的轉變登上歷史舞臺,但其只是對上述二維平面與三維空間的轉換提出了假設,到七十年代末,Ullman等學者對上述假設進行了成功的驗證[6-7]。1981年,Horn和Schunck將灰度與二維速度場進行了關聯,提出了光流約束方程的計算算法,成為了光流法發(fā)展的一個重要的里程碑[8]。如今,光流算法已經發(fā)展到幾十種,因其效率高和易于實現被廣泛使用。光流法的運動檢測是運用了運動目標的光流特性隨時間的變化來計算的,其優(yōu)勢在于其既能支持攝像機運動,在多目標檢測方面也有相當強的區(qū)分能力。其對場景中的研究對象的運動狀態(tài)以及場景的結構分布能深度還原。這就是本文采用此種方法的原因。

本文所做研究基于先鋒機器人Poineer3平臺,其自身攜帶VC-C50i攝像機一臺,通過對室外環(huán)境進行視頻采集,基于機器人單目視覺,對自然環(huán)境進行了快速的辨識,識別出采集圖像中的地面,運用單目測距與Horn-Schunck光流法計算了機器人三維運動場的真實運動速度,進而實現了室外移動機器人的位姿檢測。

1　自然環(huán)境的辨識

本文由5個部分組成,如圖1是流程圖。

圖1　流程圖

當機器人處在一個陌生環(huán)境中時,如果想利用其進行自主優(yōu)化并可靠地完成所要做的任務,對所處環(huán)境的辨識與認知便顯得格外重要,因為環(huán)境的辨識認知是進行一系列運作的前提和基礎。自然環(huán)境的辨識與認知也就是在對環(huán)境認識的基礎情況下,對場景中的主體有著進一步的理解,這樣便有利于機器人進行更為智能合理地運動,從而高效可靠地完成任務。

自然環(huán)境認知的關鍵問題便是怎樣實現場景中物體的區(qū)分與識別。在此領域中,有關圖像處理技術的方法被廣泛地使用[9-10]。本章所提出的思路是基于圖像外觀技術,其特點是利用了類似于紋理的LFD特征,以及顏色特征,達到對環(huán)境的大略理解。

本方法是一種基于LFD與神經網絡的新算法[11-12]。其具體步驟如下:

步驟1建立一個樣本庫,其中包含樹木、道路,天空。每個像素的數據位置、顏色值、局部分形維數都輸入到樣本庫。樣品的收集來自不同的環(huán)境、不同的距離。

步驟2建立一個神經網絡,上述數據作為輸入,相應的類別作為輸出。神經網絡訓練成千上萬的樣本數據。建立一個像素之間的關系的參數及其分類,然后存儲加權值。

步驟3通過圖像的視覺系統(tǒng),神經網絡訓練用于分割獲得的圖像,區(qū)分圖像中的道路、樹木等等。

通過這種方法,機器人能很好地感知周圍的環(huán)境,如圖2所示,圖2(a)為原始圖片,圖2(b)為輸出圖片,其中天空為藍色區(qū)域,樹木為灰色區(qū)域,道路為綠色區(qū)域。

圖2　自然環(huán)境的辨識

本文便是采用這種方法,對Poineer3所采集的室外視頻圖像作為一個樣本,進行了圖像的道路(地面)識別。

2　Horn-Schunck算法

20世紀80年代,有關光流的計算問題中提出了光流平滑性的約束概念。Horn和Schunck利用了運動場中圖像點既滿足光流平滑性又滿足光流約束方程的條件進行了光流的計算。這就是Horn-Schunck算法的問世。

下面來分析一下光流約束方程。設I(x,y,t)表示圖像平面上點(x,y)在時刻t的的亮度,用u(x,y)以及v(x,y)來表示該圖像點光流的x和y分量,如果該圖像點在βα時運動到(x+δt,y+δt)時,其亮度沒有發(fā)生變化,其中δx=δt,δy=vδt,也就是:

I(x+uδt,y+vδt,t+δt)=I(x,y,t)

(1)

把圖像灰度當作是圖像點在其對應位置和時間的連續(xù)變化的函數,對式(1)進行泰勒級數展開,式子兩邊再同時除以δt,并取δt極限趨于零。那么有:

(2)

uIx+vIy+It=0

(3)

此式即為光流約束方程表達式。基于此,20世紀80年代,Horn和Schunck利用了運動場中圖像點既滿足光流平滑性又滿足光流約束方程的條件進行了光流的計算。首先做以下前提約束:所研究圖像的灰度是不發(fā)生改變的;光流滿足全局性約束;光流滿足平滑性約束;研究圖像中物體的重疊問題是不予考慮的。

由上述光流約束方程我們可以記光流誤差為:

e2(x)=(uIx+vIy+It)2

(4)

其中X=(x,y)T。因為光流滿足平滑性約束,所以其速度分量平方和的積分可寫為:

s2(X)=?[(?u/?x)2+(?u/?y)2+(?v/?x)2+

(?v/?y)2]dxdy

(5)

把光滑性測度以及加權微分約束測量結合,則:

E=?[e2(X)+αs2(X)]dxdy

(6)

式中,α是控制平滑度的參數,α的值越大,那么估計精度也就愈高,也就是平滑度越高。對式(6),我們采用變分法可得如下偏微分方程:

(7)

對于式(7),可以使用有限差分法把局部圖像流矢量的加權和代替其中的拉普拉斯算子,然后運用迭代的方法求解。

接下來來研究離散情況。在一點(i,j)及其四領域上,由光流約束方程,可以得到光流誤差的離散量e2(i,j),由該點以及其四鄰域點的光流值差分來計算光流平滑量s2(i,j),那么極小化函數則為:

(8)

另外,E關于u和v的微分可記為下式:

(9)

上式中,和分別是u和v在點(i,j)處的領域平均值。根據式(9)從而可以計算出u和v。

上述過程便是Horn-Schunck的光流計算法過程。為了提高速度,本算法僅計算圖像中地面部分所成像中的、固定的、局部部分的光流,即采用局部光流法。

3　單目視覺測距

圖像中任一像素點在運動場中都有相對應的位置,如果想使用移動機器人的單目攝像頭來測量圖像中任一像素點所對應運動場位置到移動機器人的實際位置信息,我們要建立2個坐標系:機器人坐標系和圖像坐標系。對于這2個坐標系我們可以運用攝像機模型的幾何關系來推導圖像坐標與移動機器人坐標的轉換關系,從而實現單目視覺計算真實距離。如圖3,攝像機以一定的俯仰角在機器人上拍攝其前方的圖像。

圖3　模型圖

從中可以得到如下關系。

(10)

其中,δ是攝像機俯仰角,本論文中其值為0。b為攝像機前方盲區(qū)長度。d是攝像機光軸與地面的焦點處沿y軸的長度。h是攝像機的安裝高度。由該研究基于的平臺,可測得h=54.0cm,b=93.5cm。從而可以得知β=60°,α=30°。根據小孔成像原理,可以把單目視覺系統(tǒng)簡化為攝像機投影模型,如圖4、圖5。

圖4　投影關系圖

圖4中,O為單目攝像頭鏡頭光心,G為光軸與地面的交點,O點在地面的投影即是I點,ABCD是單目所拍攝到的矩形區(qū)域。圖4中的ABCD與圖5平面圖像中abcd是對應的。m和n分別是圖像的寬和高,也就是圖像的分辨率,本文單目所得視頻圖像的分辨率為720×480。圖3中,x-y坐標系是機器人坐標系,u-v坐標系即是圖像坐標系。

圖5　圖像平面

圖像中每列像素對應的垂直視場角為2α/(n-1)。由此可得,圖像上任一坐標為(u,v)的點其沿y軸的長度也就是其到移動機器人的真實距離為:

y=htan(β+2α(n-1-v)/(n-1))

(11)

其中,α和β可計算得出,m×n是圖像分辨率,h是攝像頭安置的高度。從而實現了單目視覺的距離測量。

4　運動場與光流場

運動場可以解釋目標的運動,反映了研究對象在真實場景中的三維關系。而光流場是運動場在二維圖像上的投影,其蘊含著豐富的研究信息。假設某個時刻,二維圖像中一點pi對應于真實場景中的點p0,p0與pi的投影關系如圖6所示。

圖6　運動場與光流場模型圖

設目標點p0與攝像機的相對運動速度為v0,那么由運動場中該點對應二維圖像中的點Pi也會產生一個速度為vi的運動。對于這2個速度,我們有下式:

vi=dvi/dtv0=ds0/dt

(12)

而s0和si之間的運動關系是:

si/λ=s0/z

(13)其中,λ為鏡頭焦距,z為鏡頭中心到目標的距離,即圖像中像素點對應在運動場中位置到攝像頭的真實距離。其計算公式見式(11)。由式(12)、式(13)可得

v0/vi=z/λ

(14)

其中vi為光流速度,可由圖像獲得。由此我們便可以得出運動場中機器人的實際速度v0。

5　運動速度的計算與位姿檢測

在實驗過程中,我們對由Poineer3采集的室外視頻圖像做了研究處理。使用Horn-Schunck光流計算方法對連續(xù)的N=750幀進行了光流計算,下面為其中的第468和第469連續(xù)的兩幀圖像。

圖7　光流圖的計算

為了提高速度,我們選用的是局部光流法。圖像分辨率720×480,經過統(tǒng)計,為了保證所取對象完全處于之前識別的地面中,我們選取圖像的第470行,。由式(11)

y=htan(β+2α(n-1-v)/(n-1))

其中,h=540.0mm,n=480,v=470,β=60°,β=30°。我們可以得出,所取對象即運動場景中所研究地面距離機器人的實際距離為9 360.36mm.

由上所述,可以把這750幀圖像的每幀地面所取行的光流通過計算進而得出v0,再根據式(14),其中v0/vi=z/λ,z=9 360.36mm,λ即為單目攝像頭的焦距,λ=30.0mm.可以計算出運動場中機器人的真實速度,我們使用MATLAB把這種方法計算出的每一幀速度與機器人在室外運動的實際速度(由自身所攜帶傳感器獲得)做了如下的比較。

圖8　計算速度與實際速度比較圖

由圖8,我們可以得知,在本文算法下計算得出的機器人速度大小和實際運動速度大小存在著比較明顯的噪聲。鑒于我們研究的環(huán)境是在室外,不可避免地會出現噪聲和光線變化等問題,所以我們將對原始信號(所測速度)進行小波處理。如下是在MATLAB環(huán)境下編程實現‘db1’下對速度信號進行3層處理的細節(jié)圖。同時,我們使用小波工具箱,對原始信號進行來看同樣的處理,細節(jié)圖如圖10所示。

圖10即處理之后速度信號的詳細數據。從中可以得知,經過小波處理后的原始速度平均值為162.2 mm/s,而Pioneer3機器人提供的平均值為160.7 mm/s,這樣非常逼近真實值。從圖8～圖10可以得到圖11。

圖9　‘db1’下三層小波處理

圖10　小波工具箱處理之后信號數據

圖11　速度對比圖

在從圖11我們可以得出,在移動機器人啟動的時候存在著比較明顯的速度誤差,但當機器人啟動之后,速度誤差穩(wěn)定在一個比較可觀的數值之內。對機器人啟動時的誤差處理也是我們下一步要做的工作。

在得到機器人對應每幀圖片的速度信息后我們便可以準確對其位姿進行檢測。

本文在處理由單目獲得的室外環(huán)境圖像時,對750幀圖片也采用了傳統(tǒng)光流法來計算機器人速度,但是傳統(tǒng)光流對外界環(huán)境的高要求使得處理整幅圖片時噪聲偏大,而且所使用的時間也比較長。在使用MATLAB運行程序時,傳統(tǒng)光流處理完750幀照片使用的時間是4 214 s,平均每幀處理時間6.02 s。而使用本文方法,基于LFD與神經網絡的算法進行地面識別的局部光流法,處理完上述數據的時間僅為8.8 s,平均每幀0.012 5 s,在速度檢測的準確性前提下,大大節(jié)約了時間,突出了本文方法的快速性。

綜上所述,我們可以得出,本文算法計算的速度與在先鋒機器人平臺下的機器人真實速度是十分切合的,從而,也驗證了本文算法的可行性,這種方法的位姿檢測對以后有關移動機器人室外基于視覺的定位與地圖構建的進一步研究奠定了基礎。

6　總結

本文的創(chuàng)新點便在于將室外自然環(huán)境的辨識與機器人位姿檢測結合,根據自然辨識對地面進行研究,運用地面局部光流,對機器人的位姿達到了快速的檢測。這和以往通過室外的圖像采集處理所有圖像信息節(jié)省了大量的運算時間。這對將來移動機器人在室外領域的開闊有著十分重要的意義。實驗結果和對比說明,本文使用的方法是行之有效且準確度較高的。這對接下來在此基礎上室外環(huán)境下視覺的定位與地圖構建的進一步研究奠定了基礎。

參考文獻:

[1]Shi J,Tomasi C.Good Features to Track[C]//Computer Vision and Pattern Recognition,1994.Proceedings CVPR’94.,1994 IEEE Computer Society Conference on.IEEE,1994:593-600.

[2]Long W,Yang Y H.Stationary Background Generation:An Alternative to the Difference of Two Images[J].Pattern Recognition,1990,23(12):1351-1359.

[3]Singh A,Allen P.Image-Flow Computation:An Estimation-Theoretic Framework and a Unified Perspective[J].CVGIP:Image Understanding,1992,56(2):152-177.

[4]Adelson E H,Bergen J R.Spatiotemporal Energy Models for the Perception of Motion[J].J.Opt Soc Am A,1985,2(2):284-299.

[5]Heeger D J.Model for the Extraction of Image Flow[J].JOSA A,1987,4(8):1455-1471.

[6]Ullman S.The Interpretation of Structure from Motion.Proceedings of the Royal Society of London.Series B[J].Biological Sciences,1979,203(1153):405-426.

[7]Ullman S.Maximizing Rigidity:The Incremental Recovery of 3-D Structure from Rigid and Rubbery Motion[J].1983.

[8]Horn B K P,Schunck B G.Determining Optical Flow[J].Artificial Intelligence,1981,17(1):185-203.

[9]Van De Sande K E A,Gevers T,Snoek C G M.Evaluating Color Descriptors for Object and Scene Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1582-1596.

[10]Felzenszwalb P F,Girshick R B,McAllester D,et al.Object Detection with Discriminatively Trained Part-Based Models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.

[11]Hu K,Song A G,Wang W L,et al.Fault Detection and Estimation for Non-Gaussian Stochastic Systems with Time Varying Delay[J].Advances in Difference Equations,2013,2013(1):1-12.

[12]Kai Hu,AiGuo Song,WeiLiang Wang,et al.Algorithm for Natural Object Recognition Based on Local Fractal Dimension[J].International Journal of Advancements in Computing Technology,2012,4(20):149-155.

張穎超(1961-),男,漢族,江蘇沛縣人,教授,博士生導師,研究方向為模糊控制,物聯網,嵌入式技術,儀表技術與傳感器;

段京易(1988-),男,漢族,江蘇徐州人。南京信息工程大學碩士,研究方向為機器人視覺。

FastDetectionofMobileRobotPoseBasedontheNatureEnvironmentRecognition*

ZHANGYingchao*,DUANJingyi,HUKai,MAODan

(School of Information Science and Control,NUST,Nanjing 210044,China)

Abstract:In order to detect the pose of outdoor mobile robot fast and exactly,and based on Poineer3 platform,we have carried on the outdoor video image acquisition.With the method of local fractal dimension and neutral network,we achieve the recognition of the ground.Then to the ground as the research object,Horn-Schunck optical flow method is used to calculate optical flow of the ground.And then by the relation between the image coordinate system and the robot coordinate system,the distance is measured between the research object and the robot.According to the relationship of velocity of movement and optical flow velocity,the optical flow velocity is converted to the speed of robot,so as to realize the position detection of the robot.The experimental result shows that the method is feasible and easy to operate with fast inspection speed.

Key words:robot vision;the position detection;optical flow;identification of the outdoor environment

doi:EEACC:7210B10.3969/j.issn.1005-9490.2014.05.017

中圖分類號:TP242.6

文獻標識碼:A

文章編號:1005-9490(2014)05-0876-06

收稿日期:2013-10-31修改日期:2013-12-05

項目來源:國家公益性行業(yè)(氣象)科研專項項目(GYHY201106040);江蘇省產學研聯合創(chuàng)新資金——前瞻性聯合研究項目(BY2011111);江蘇省產學研項目(2012t026)