許 競(jìng)，姜 波

（新疆大學(xué) 電氣工程學(xué)院，烏魯木齊 830047）

0 引言

針對(duì)攝像機(jī)本身的運(yùn)動(dòng)分析在機(jī)器人視覺自主導(dǎo)航等領(lǐng)域有重要的作用[1]，因?yàn)闄C(jī)器人所處的環(huán)境中存在各種隨機(jī)出現(xiàn)的動(dòng)態(tài)和靜態(tài)障礙物，機(jī)器人必須對(duì)各種障礙物的性質(zhì)作出快速和準(zhǔn)確的判斷才能進(jìn)行有效的避障行為。而機(jī)器人若要分析障礙物體的運(yùn)動(dòng)情況，首先需要對(duì)自己的運(yùn)動(dòng)有準(zhǔn)確的認(rèn)識(shí)。由于在機(jī)器人視覺導(dǎo)航中，攝像機(jī)本身隨著機(jī)器人發(fā)生運(yùn)動(dòng)，這將引起了圖像發(fā)生全局性的運(yùn)動(dòng)。傳統(tǒng)上通過圖像來定量描述全局運(yùn)動(dòng)參數(shù)的方法主要是基于光流場(chǎng)分析的方法[2～4]，但是這種方法對(duì)噪聲、大位移量及遮擋背景和運(yùn)動(dòng)不連續(xù)而引起的界外值都非常敏感，如何利用雙目視覺技術(shù)來解決傳統(tǒng)方法對(duì)全局運(yùn)動(dòng)參數(shù)估計(jì)的精度與計(jì)算量是本算法的特點(diǎn)。

1 算法的基本描述

雙目立體視覺系統(tǒng)針對(duì)場(chǎng)景中的某一個(gè)空間點(diǎn)p(Xw, Yw, Zw)在左右平面的投影可以用如下的投影變換模型來描述：

其中(u1,v1)、(ur,vr)分別為空間點(diǎn)p于左右平面的投影點(diǎn)，M1、M2分別為左右相機(jī)的投影矩陣。在下一幀，由于相機(jī)發(fā)生了運(yùn)動(dòng)，點(diǎn)p于左平面的投影點(diǎn)變?yōu)?u'l,v'r)，可以用如下的投影變換模型描述。

其中，R是3×3坐標(biāo)系旋轉(zhuǎn)矩陣，T為3×1平移矩陣。由于機(jī)器人所處的環(huán)境為室內(nèi)，運(yùn)行地面平坦，坐標(biāo)系旋轉(zhuǎn)變化只會(huì)發(fā)生繞Y軸旋轉(zhuǎn)的情況，所以R可簡(jiǎn)化為如式(4)所示，其中Cφ , Sφ是φ的sin和cos值將其帶入式(3)。通過一系列特征點(diǎn)求解式(3)即可得到相機(jī)運(yùn)動(dòng)參數(shù)R、T。

基于以上分析，提出一種基于立體視覺的攝像機(jī)運(yùn)動(dòng)分析算法，主要包括三個(gè)部分：

1）特征點(diǎn)匹配。左右相機(jī)同一時(shí)刻幀之間的點(diǎn)匹配與左相機(jī)前后兩幀之間的點(diǎn)匹配?？紤]到不同幀之間不同的性質(zhì)，對(duì)特征點(diǎn)的匹配分別采用不同算法。

2）利用卡爾曼濾波預(yù)測(cè)與投影變換分析去除外點(diǎn)。

3）用除掉外點(diǎn)之后的點(diǎn)集來求解運(yùn)動(dòng)參數(shù)，并采用迭代法進(jìn)一步優(yōu)化提高參數(shù)的精確度。

2 相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)

2.1 卡爾曼濾波模型

為了預(yù)測(cè)相機(jī)坐標(biāo)系與空間中一點(diǎn)p之間的相對(duì)運(yùn)動(dòng)，選取p點(diǎn)在相機(jī)坐標(biāo)系三個(gè)軸方向的相對(duì)運(yùn)動(dòng)位移與速度為狀態(tài)變量建立卡爾曼濾波模型。由于在室內(nèi)環(huán)境中，移動(dòng)機(jī)器人運(yùn)行平穩(wěn)，而且在兩幀之間旋轉(zhuǎn)角度很小，故可將其視為干擾。選取的狀態(tài)變量記為：

考慮到相機(jī)采樣間隔較短，故在兩幀之間假設(shè)點(diǎn)p的運(yùn)動(dòng)速度保持不變，故可用勻速直線運(yùn)動(dòng)模型來逼近實(shí)際情況，引入的偏差用系統(tǒng)噪聲序列W (k)來補(bǔ)償。令dt為采樣間隔, k為采樣順序,則該離散系統(tǒng)的狀態(tài)方程為：

式中A為狀態(tài)轉(zhuǎn)移矩陣，且是一個(gè)臨界穩(wěn)定系統(tǒng); w (k)為系統(tǒng)噪聲, 認(rèn)為其為零均值的高斯白噪聲,且其方差陣為cov(w)=Q, 它主要反映了勻速模型和實(shí)際軌跡間的偏差。

本系統(tǒng)的觀測(cè)方程反映了點(diǎn)p的圖像坐標(biāo)與狀態(tài)變量之間的關(guān)系，記為：

其中H為系統(tǒng)觀測(cè)方程，為零均值且有cov(w)=Г的高斯白噪聲，該噪聲主要來源于成像過程中的幾何失真、圖像的離散化誤差及角點(diǎn)提取誤差等原因。根據(jù)相機(jī)投影變換模型式(3)，將式(7)展開可以得到H的表達(dá)式，推導(dǎo)過程如式(8)所示。

2.2 特征點(diǎn)提取與匹配

最常用的提取特征點(diǎn)的方法是在圖像中提取Harris角點(diǎn)[6,7]。Harris定義的角點(diǎn)位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣存在兩個(gè)最大特征值的地方。實(shí)際情況中圖像可能發(fā)生平移和旋轉(zhuǎn)，而Harris算子在這些因素的影響下比較穩(wěn)定。

提取到了特征點(diǎn)之后需要在同一時(shí)刻的左右兩幅圖像之間與在不同時(shí)刻的同一相機(jī)的圖像之間進(jìn)行特征點(diǎn)匹配。由于兩個(gè)相機(jī)已經(jīng)進(jìn)行了立體標(biāo)定，也就是說兩個(gè)相機(jī)的光軸在數(shù)學(xué)意義上嚴(yán)格平行，所以在同一時(shí)刻的左右兩幅圖像之間進(jìn)行點(diǎn)匹配只需要在同一行之內(nèi)進(jìn)行搜尋即可。

在同一相機(jī)的不同幀之間搜尋特征點(diǎn)時(shí)，首先采用2.1節(jié)中提到的卡爾曼濾波模型對(duì)點(diǎn)的運(yùn)動(dòng)進(jìn)行軌跡預(yù)測(cè)，然后以預(yù)測(cè)出來的點(diǎn)為中心，構(gòu)建一個(gè)矩形框Ω，復(fù)制至左相機(jī)第二幀中，在第二幀新構(gòu)造出的矩形框Ω'中尋找與待匹配點(diǎn)最相似的點(diǎn)。定義相似性度量準(zhǔn)則為：

為了減少計(jì)算量，預(yù)先設(shè)定好閥值Th，首先于Ω'中尋找與待匹配點(diǎn)灰度值差小于Th的點(diǎn)集，進(jìn)而計(jì)算點(diǎn)集中所有點(diǎn)的SAD，值最小所對(duì)應(yīng)的點(diǎn)即為需要找的匹配點(diǎn)。具體的算法包括以下三個(gè)步驟。

1）選取Harris角點(diǎn)作為特征點(diǎn)，利用立體視覺知識(shí)在左右兩幅圖像中搜索對(duì)應(yīng)點(diǎn)，并計(jì)算出該點(diǎn)此刻位于相機(jī)坐標(biāo)系中的三維坐標(biāo)。

2）利用卡爾曼濾波對(duì)點(diǎn)的運(yùn)行軌跡進(jìn)行預(yù)測(cè)，并以預(yù)測(cè)值為中心在下一時(shí)刻的左圖像中構(gòu)建搜索矩形框，利用式(9)提出的相似性度量準(zhǔn)則在矩形框中搜索特征點(diǎn)。

3）繼續(xù)利用卡爾曼濾波對(duì)點(diǎn)的運(yùn)行軌跡進(jìn)行預(yù)測(cè)，如果該點(diǎn)有運(yùn)行處圖像范圍的趨勢(shì)，則返回至(1)，若無，則返回(2)繼續(xù)搜索。圖1(a)至(d)給出了對(duì)一個(gè)特征點(diǎn)進(jìn)行跟蹤的結(jié)果。其中矩形框是進(jìn)行卡爾曼濾波預(yù)測(cè)后得到的待選區(qū)域，可見該區(qū)域?qū)⒋x點(diǎn)包圍在內(nèi)。

圖1 左相機(jī)跟蹤特征點(diǎn)結(jié)果

2.3 攝像機(jī)運(yùn)動(dòng)參數(shù)估計(jì)

將式(3)展開，可得關(guān)于的線性方程組如式(10)所示，可整理為關(guān)于( cφ, sφ, x , y , z)的線性方程組如式(11)所示。

3 實(shí)驗(yàn)過程及結(jié)果分析

為了驗(yàn)證本文提出的算法對(duì)相機(jī)運(yùn)動(dòng)估計(jì)結(jié)果的準(zhǔn)確性，實(shí)驗(yàn)用攝像機(jī)為維視公司生產(chǎn)的AFT-808HC工業(yè)相機(jī)，在PC(Inter Core2 E8400,1G內(nèi)存)上對(duì)實(shí)驗(yàn)數(shù)據(jù)(324x240圖像)利用VC++6.0進(jìn)行驗(yàn)證實(shí)驗(yàn)。根據(jù)機(jī)器人實(shí)際運(yùn)動(dòng)情況，在參考幀與當(dāng)前幀之間攝像機(jī)的運(yùn)動(dòng)情況為：繞y軸旋轉(zhuǎn)5°，向前平移10cm。故R、T如式(12)所示。

按照Zhang[10]的方法為兩臺(tái)攝像機(jī)分別進(jìn)行標(biāo)定與立體標(biāo)定，得到左相機(jī)、右相機(jī)的內(nèi)參數(shù)。圖2為選取左相機(jī)運(yùn)動(dòng)前后兩幀的實(shí)驗(yàn)數(shù)據(jù)，圖中亮點(diǎn)為選取的15對(duì)特征點(diǎn)。經(jīng)過2.2以及2.3中所敘述的步驟，求得相機(jī)運(yùn)動(dòng)參數(shù)向量( cφ, sφ, x , y , z )為 ( 0.9924 , 0.0954 , 7 , 5 , 112 )。 從 實(shí)驗(yàn)所得的數(shù)據(jù)中可以看出，求得的相機(jī)運(yùn)動(dòng)參數(shù)具有較高的精度。

圖2 左相機(jī)不同幀圖像以及特征點(diǎn)

4 結(jié)論

本文提出了一種基于立體視覺技術(shù)的攝像機(jī)運(yùn)動(dòng)分析方法。在特征點(diǎn)追蹤方面，基于攝像機(jī)投影變換原理提出了一種卡爾曼濾波模型用來預(yù)測(cè)被追蹤點(diǎn)的運(yùn)動(dòng)情況，同時(shí)規(guī)定了相似性度量準(zhǔn)則，可以有效的排除外點(diǎn)對(duì)結(jié)果的干擾。得到幀間的匹配特征點(diǎn)后，利用立體視覺對(duì)特征點(diǎn)進(jìn)行三維坐標(biāo)測(cè)量，將測(cè)量數(shù)據(jù)與追蹤結(jié)果代入相機(jī)運(yùn)動(dòng)模型中，利用最小二乘法求解出相機(jī)運(yùn)動(dòng)參數(shù)。從實(shí)驗(yàn)結(jié)果中可以看出，這種方法的精度完全可以滿足要求，由于在兩幀之間只需要對(duì)15個(gè)特征點(diǎn)進(jìn)行三維測(cè)量、預(yù)測(cè)和匹配，所以也能滿足系統(tǒng)實(shí)時(shí)性的要求。

[1] 胡華梅, 肖曉明, 蔡自興.移動(dòng)機(jī)器人視覺避障技術(shù)研究現(xiàn)狀與未來[C].中國人工智能第11屆全國學(xué)術(shù)年會(huì), 北京: 北京郵電大學(xué)出版社, 2005.

[2] Nagel H.On a constraint equation for the estimation of displacement rates in image sequences [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11 (1):13-30.

[3] 黃贊, 張憲民.改進(jìn)的基于光流的魯棒多尺度運(yùn)動(dòng)估計(jì)算法[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2009, 37(11):118-122.

[4] 朱興全, 羅哉, 薛向陽等.基于運(yùn)動(dòng)矢量的攝像機(jī)運(yùn)動(dòng)定性分類方法[J].計(jì)算機(jī)研究與發(fā)展, 2001, 38(4), 495-501.

[5] Hsu C T, Tsan Y C.Mosaics of video sequences with moving objects[C]//Proceedings of the IEEE International Conference on Image Processing(ICIP), Greece, 2001, 2: 387-390.

[6] Harris C G,Stephens M J.A Combined Corner and Edge Detector.Proceedings Fourth Alvey Vision Conference,Manchester, 1988: 147～151.

[7] 謝東海, 詹總謙, 江萬壽.改進(jìn)Harris算子用于點(diǎn)特征的精確定位[J].測(cè)繪信息與工程, 2003, 28(2): 22-23.

[8] Lippiello V, Siciliano B, Villani L.Position and orientation estimation based on Kalman filter of stereo images[C].Proceedings of the 2001 IEEE International Conference on Control App lication.2001: 702-707.

[9] 付夢(mèng)印, 鄧志紅, 張繼偉.Kalman濾波理論及其在導(dǎo)航系統(tǒng)中的應(yīng)用[M].北京:科學(xué)出版社, 2003.

[10] ZHANG Zhengyou, MEMBER S.A flexib le new technique for camera calibration[J].IEEE Trans on Pattern Analysis And Machine Intelligence, 2000, 22(11): 1330- 1334.