韓 峰，李曉斌

(上海應(yīng)用技術(shù)學(xué)院 電氣與電子工程學(xué)院，上海 201400)

為了滿足當(dāng)今工業(yè)自動(dòng)化不斷發(fā)展的需要，機(jī)器人應(yīng)運(yùn)成為了自動(dòng)化進(jìn)程中的寵兒，與之相關(guān)的機(jī)器人技術(shù)也得到了前所未有的發(fā)展和重視，機(jī)器人視覺(jué)定位作為其中的一個(gè)重要技術(shù)分支，其精準(zhǔn)度的提高成為了研究人員們努力的目標(biāo)和方向。雙目立體視覺(jué)定位因其具有較大的測(cè)量范圍和較高的測(cè)量精度，成為機(jī)器人視覺(jué)定位中最常用的一種方法。在雙目視覺(jué)定位中，對(duì)攝取的圖像上特征點(diǎn)的提取以及提取到的特征點(diǎn)之間能否正確匹配，這兩者決定著最終定位結(jié)果的精準(zhǔn)度。SURF 算法是一種有效的特征點(diǎn)提取和匹配算法，它的高效率和高穩(wěn)定性能均超越了同類算法［1］，所以本文采用SURF 算法對(duì)攝取的圖像進(jìn)行特征點(diǎn)的提取與匹配。由于SURF 算法本身存在的缺陷，在進(jìn)行特征點(diǎn)匹配時(shí)容易產(chǎn)生特征點(diǎn)對(duì)的誤匹配現(xiàn)象，為了消除誤匹配，文中對(duì)SURF算法做了改進(jìn)，加入了剔除誤匹配點(diǎn)對(duì)的RANSAC 算法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的SURF 算法幾乎實(shí)現(xiàn)了零誤匹配，有效提高了雙目視覺(jué)定位的精準(zhǔn)度。

1 SURF 算法

SURF 算法是由H.Bay 等人在SIFT 算法的基礎(chǔ)上，經(jīng)過(guò)計(jì)算速度方面的改進(jìn)，形成的一種快速特征提取與匹配算法［2］，該算法主要包括特征點(diǎn)的檢測(cè)、特征點(diǎn)的描述以及特征點(diǎn)的匹配三大部分。

1.1 特征點(diǎn)檢測(cè)

SURF 算法對(duì)特征點(diǎn)進(jìn)行檢測(cè)時(shí)加入了Hessian 近似矩陣以及積分圖像［3］，這兩者的加入在一定程度上使計(jì)算速度得到了提高。積分圖像的定義如下:設(shè)X=(x，y)是所取圖像I(X)上的任意一個(gè)像素點(diǎn)，則積分圖像IΣ(X)就是取圖像的原點(diǎn)為左上頂點(diǎn)、點(diǎn)X=(x，y)為右下頂點(diǎn)所組成的矩形區(qū)域里面的所有像素累加之和

這樣，當(dāng)把圖像轉(zhuǎn)換為積分圖像時(shí)，就可以在積分圖像內(nèi)用一個(gè)簡(jiǎn)單的公式來(lái)計(jì)算矩形區(qū)域里面的灰度值之和，即ε=A－B－C+D，其中的A，B，C，D 分別是矩形4 個(gè)角的頂點(diǎn)。

SURF 特征點(diǎn)檢測(cè)的依據(jù)是Hessian 近似矩陣行列式的局部極大值或者極小值所在位置。所取圖像I(X)中的任意一個(gè)點(diǎn)X=(x，y)在尺度大小為σ 上的Hessian 近似矩陣定義為

式中:Lxx(X，σ)表示的意思是高斯二階偏導(dǎo)在任意點(diǎn)X 處和所取圖像I(X)兩者之間的卷積，Lxy(X，σ)和Lyy(X，σ)具有相似的含義。為了提高整個(gè)過(guò)程的運(yùn)算效率，Bay 等人將卷積結(jié)果用更簡(jiǎn)單的Dxx、Dxy和Dyy來(lái)分別代替Lxx，Lxy，Lyy，于是得到了Hessian 近似矩陣的行列式，即

式中:w 是一個(gè)一般取值為0.9 的權(quán)重系數(shù)。按照上面計(jì)算Hessian 近似矩陣行列式的方法，對(duì)所攝取圖像上的任意點(diǎn)計(jì)算其響應(yīng)并把結(jié)果保留下來(lái)，這樣就會(huì)得到大小各不相同的σ 下的響應(yīng)結(jié)果。然后從所得到的結(jié)果中，再進(jìn)行非最大值抑制操作，于是那些極值點(diǎn)就可以挑選出作為候選特征點(diǎn)。最后，為了確保所選的特征點(diǎn)是真正的特征點(diǎn)，利用文獻(xiàn)［4］中提出的3 維2 次函數(shù)擬合的方法，這種方法能夠有效地對(duì)特征點(diǎn)進(jìn)行精確定位，從而獲取特征點(diǎn)的位置及不同大小尺度下的信息。

1.2 特征點(diǎn)描述

特征點(diǎn)描述的前提是對(duì)特征點(diǎn)進(jìn)行主方向標(biāo)定。以特征點(diǎn)為圓心做一定大小的圓形鄰域，在鄰域內(nèi)，用Haar 小波模板對(duì)圖像進(jìn)行處理，使其得到x 和y 各自方向上的Haar 小波響應(yīng)，再用一定大小角度的圓心角的扇形繞選定的特征點(diǎn)轉(zhuǎn)一周，計(jì)算出該扇形處在任意一個(gè)角度時(shí)，圖像上所有點(diǎn)的Haar 小波響應(yīng)矢量之和，并從中找出長(zhǎng)度值最大的那個(gè)，則它對(duì)應(yīng)的這個(gè)方向就是該特征點(diǎn)的主方向。確定好主方向以后，就可以在主方向上構(gòu)建描述向量了。以選定的特征點(diǎn)為中心，以一定的長(zhǎng)度為邊長(zhǎng)做一個(gè)正方形鄰域，將確定了的特征點(diǎn)的主方向設(shè)為正方形鄰域y 軸的方向。將正方形鄰域劃分成多個(gè)子區(qū)域，用dx和dy表示每個(gè)子區(qū)域內(nèi)x 軸、y 軸方向的Haar小波響應(yīng)，并分別對(duì)每個(gè)子域內(nèi)的求和，就會(huì)得到一個(gè)4 維向量，在對(duì)特征點(diǎn)進(jìn)行提取時(shí)將會(huì)得到描述子特征向量，然后再對(duì)該向量進(jìn)行歸一化處理操作，這樣，SURF 描述符就得到了。

1.3 特征點(diǎn)的匹配

設(shè)PA是所攝取圖像A 上的任意一點(diǎn)，PB是攝取圖像B上的任意一點(diǎn)，它們的描述子向量分別設(shè)為DA和DB。DA(i)和DB(i)分別是它們的第i 個(gè)分量，則PA和PB之間的距離為

按照式(4)進(jìn)行計(jì)算，把A 圖上某點(diǎn)PA(i)與B 圖中的所有點(diǎn)之間的距離都計(jì)算一遍，然后再根據(jù)Lowe 在文獻(xiàn)［5］中使用的最近鄰比次近鄰的方法進(jìn)行匹配點(diǎn)的求取。

2 SURF 匹配算法的改進(jìn)

在文獻(xiàn)［6］中對(duì)SURF 算法所做的改進(jìn)方法是一種基于圖像的形態(tài)學(xué)處理基礎(chǔ)的方法，該方法是通過(guò)對(duì)攝取圖像中的目標(biāo)物體進(jìn)行形態(tài)學(xué)方面的處理，得到目標(biāo)物體的邊緣輪廓區(qū)域，然后再以邊緣輪廓區(qū)域?yàn)榛A(chǔ)建立積分圖像，最后再進(jìn)行SURF 算法圖像匹配。這種改進(jìn)算法雖然在一定程度上能夠提高SURF 特征點(diǎn)提取的效率，但因?yàn)榧尤肓似交幚?、邊緣檢測(cè)、膨脹處理以及進(jìn)行閉運(yùn)算等過(guò)程，還是會(huì)使整個(gè)過(guò)程所消耗的時(shí)間較長(zhǎng)，并且由于該改進(jìn)算法對(duì)識(shí)別特征點(diǎn)的敏感度不是特別高，在進(jìn)行圖像匹配的過(guò)程中也會(huì)少許存在特征點(diǎn)誤匹配的現(xiàn)象。

針對(duì)SURF 匹配算法中存在的誤匹配點(diǎn)對(duì)比較難剔除的問(wèn)題，本文采用了加入用于剔除誤匹配點(diǎn)對(duì)的RANSAC 算法對(duì)其進(jìn)行了改進(jìn)。RANSAC 是目前廣泛應(yīng)用于剔除誤匹配點(diǎn)對(duì)的一種算法［7］。該算法的基本思想就是:對(duì)某個(gè)點(diǎn)集，給定一個(gè)幾何約束模型，把符合這個(gè)約束模型的點(diǎn)作為所要尋找的內(nèi)點(diǎn)保留，反之，不符合該約束模型的點(diǎn)作為外點(diǎn)剔除。在本文利用的算法程序的實(shí)現(xiàn)當(dāng)中，加入的RANSAC 算法是基于一個(gè)基本矩陣幾何約束模型的，該基本矩陣是對(duì)極幾何的一種代數(shù)表示表達(dá)形式［8］。

圖1 中展示的是對(duì)極幾何的原理圖。在三維視覺(jué)系統(tǒng)中，O 和O’表示兩攝像機(jī)光心的位置，I1和I2表示兩攝像機(jī)采集的圖像，M 是三維空間中的任意一點(diǎn)，m 和m’分別是點(diǎn)M 在左右兩圖像中的投影點(diǎn)，點(diǎn)M、O 和O'三點(diǎn)所在的平面就是極平面，極平面與兩左右圖像之間的交線記為l1(me)、l2(m’e’)，所形成的這兩條直線叫作極線。從上面展示的原理圖中可以知道，m 點(diǎn)一定在極線l1上，而m’點(diǎn)也一定在極線l2上，所以m 點(diǎn)的對(duì)應(yīng)點(diǎn)一定在圖像l2中的極線l2上。不論M 點(diǎn)怎么改變，所形成的極線都會(huì)過(guò)極點(diǎn)e 和e’，這就是極限約束，它的代數(shù)表示形式就是基本矩陣。在求取該基本矩陣時(shí)，本文采用的方法是簡(jiǎn)單有效的8 點(diǎn)算法［9］，為了使利用的8 點(diǎn)算法估計(jì)出的基本矩陣精準(zhǔn)度更高，在選取8個(gè)匹配點(diǎn)對(duì)之前，文中對(duì)SURF 提取的匹配點(diǎn)對(duì)集合中的點(diǎn)進(jìn)行了坐標(biāo)歸一化處理。最后在剔除不滿足條件的匹配點(diǎn)對(duì)時(shí)，使用了Sampson 距離判據(jù)法［10］。

圖1 對(duì)極幾何的原理圖

現(xiàn)將加入RANSAC 算法剔除SURF 誤匹配點(diǎn)對(duì)的整個(gè)改進(jìn)算法的步驟總結(jié)如下:1)對(duì)利用原SURF 算法匹配出來(lái)的點(diǎn)對(duì)集合中的點(diǎn)進(jìn)行坐標(biāo)歸一化處理操作。2)從匹配點(diǎn)對(duì)集合中任意取出8 個(gè)匹配點(diǎn)對(duì)計(jì)算其基本矩陣。3)用Sampson 距離判據(jù)法，將符合條件的匹配點(diǎn)對(duì)作為內(nèi)點(diǎn)記錄下來(lái)。4)重復(fù)2)、3)中的步驟n 次，并把每一次得到的符合條件的內(nèi)點(diǎn)數(shù)記錄保存下來(lái)。5)從中挑選最大的內(nèi)點(diǎn)數(shù)，并計(jì)算出該最大內(nèi)點(diǎn)數(shù)對(duì)應(yīng)的基本矩陣，再根據(jù)Sampson 距離判據(jù)法，把匹配點(diǎn)對(duì)集合中所有符合條件的點(diǎn)對(duì)找出，并把它們確定為最終的內(nèi)點(diǎn)，而將不符合條件的匹配點(diǎn)對(duì)剔除掉。通過(guò)上面的5 個(gè)步驟，就可以完成加入了RANSAC 剔除誤匹配點(diǎn)對(duì)的改進(jìn)SURF 算法。

利用原SURF 算法、經(jīng)過(guò)圖像形態(tài)學(xué)處理改進(jìn)后的SURF 算法以及加入了RANSAC 算法改進(jìn)后的SURF 算法對(duì)圖像進(jìn)行匹配，其對(duì)比結(jié)果如圖2、圖3、圖4 以及表1 所示。

圖2 原SURF 算法圖像匹配

圖3 經(jīng)過(guò)圖像形態(tài)學(xué)處理改進(jìn)后的SURF 算法圖像匹配

圖4 加入了RANSAC 算法改進(jìn)后的SURF 算法圖像匹配

表1 SURF 及其改進(jìn)后的匹配效果比較

從圖表中可以看出，加入RANSAC 算法后的SURF 算法，在對(duì)圖像進(jìn)行匹配時(shí)，能有效剔除誤匹配點(diǎn)對(duì)，使匹配的正確率幾乎達(dá)到了100%，這就為后面雙目視覺(jué)定位中的圖像匹配提供了一個(gè)精準(zhǔn)的算法環(huán)境。改進(jìn)后的算法消耗的時(shí)間也比較少，都能夠滿足運(yùn)算的實(shí)時(shí)性。

3 雙目立體視覺(jué)定位原理

雙目立體視覺(jué)定位的原理是，讓兩攝像機(jī)分別放在不同的位置，來(lái)獲取同一個(gè)目標(biāo)物體存在有視覺(jué)差的兩幅圖像，然后利用視差原理［11］計(jì)算出目標(biāo)物體的空間三維幾何信息，從而確定目標(biāo)物體的空間位置。

圖5 是平行雙目立體視覺(jué)原理圖，兩攝像機(jī)投影中心點(diǎn)之間的距離是基線距，設(shè)為b。本文將兩攝像機(jī)鏡頭的光心所在的位置定為攝像機(jī)坐標(biāo)系的原點(diǎn)。左右兩鏡頭的光心前f 處是左右兩成像平面，O1uv、O2uv 是兩圖像坐標(biāo)系，它的縱橫坐標(biāo)的方向與x 軸和y 軸方向一致，O1和O2是圖像坐標(biāo)系的原點(diǎn)，p1(u1，v1)和p2(u2，v2)是任意空間點(diǎn)P 的左右圖像坐標(biāo)點(diǎn)。兩攝像機(jī)的光心距離兩成像平面相同，則空間點(diǎn)P的左右兩圖像坐標(biāo)的縱坐標(biāo)Y 相同，即v1=v2，由幾何知識(shí)可以得到

式中:坐標(biāo)(xc，yc，zc)是空間點(diǎn)P 在左攝像機(jī)坐標(biāo)系中的坐標(biāo);b 為基線距;f 是焦距，則視差即為點(diǎn)P 在兩圖像中相應(yīng)點(diǎn)的位置差

由此，空間點(diǎn)P 在左攝像機(jī)坐標(biāo)系中的坐標(biāo)可以計(jì)算得到為

圖5 平行雙目立體視覺(jué)原理圖

式中:zc=就是目標(biāo)點(diǎn)P 的深度距離。在求取目標(biāo)物體的三維坐標(biāo)之前，要事先計(jì)算出攝像機(jī)的內(nèi)外參數(shù)，然后再利用上面的公式就可以計(jì)算出目標(biāo)物體的三維坐標(biāo)，從而可以確定出該點(diǎn)的具體位置。

4 雙目視覺(jué)定位的實(shí)驗(yàn)測(cè)定

實(shí)驗(yàn)采用兩個(gè)型號(hào)為CM－323CDNP 的針孔攝像機(jī)，組成平行雙目視覺(jué)系統(tǒng)，兩攝像機(jī)的基線長(zhǎng)為100 mm，CCD 芯片為1/3 in Sony CCD，靶面尺寸為寬4.8 mm×高3.6 mm，對(duì)角線的長(zhǎng)度為6 mm，鏡頭的焦距f 為3.6 mm，獲取到的圖片大小為720×960 像素。

試驗(yàn)中，把籃球作為目標(biāo)物體。將目標(biāo)物體的模板圖像分別與雙目攝像機(jī)所拍攝獲取的左右圖像，用加入了RANSAC 算法改進(jìn)后的SURF 算法進(jìn)行匹配，匹配結(jié)果如圖6、圖7 所示。從匹配圖中采集目標(biāo)物體上的各個(gè)匹配點(diǎn)的坐標(biāo)，然后對(duì)這些坐標(biāo)求取平均值，所得的平均值就可以估計(jì)為目標(biāo)物體在左右圖像上的中心坐標(biāo)點(diǎn)。再利用平行雙目視覺(jué)原理中的式(5)、式(6)就可以計(jì)算出該點(diǎn)的深度距離，從而實(shí)現(xiàn)了對(duì)目標(biāo)物體的定位。此次實(shí)驗(yàn)，求取的目標(biāo)物體在左右圖像上的中心坐標(biāo)點(diǎn)分別是:(1 067，370)、(1 155，370)，通過(guò)計(jì)算得出目標(biāo)物體的深度距離為509 mm，實(shí)際測(cè)量的距離是500 mm。然后在不同的實(shí)測(cè)距離下分別用SURF 算法、經(jīng)過(guò)圖像形態(tài)學(xué)處理改進(jìn)的SURF 算法以及加入了RANSAC算法改進(jìn)的SURF 算法進(jìn)行多組實(shí)驗(yàn)，所得的結(jié)果如表2 所示，整個(gè)實(shí)驗(yàn)基于的仿真軟件是MATLAB R2010a。

從表2 列出的結(jié)果中可以看出，基于經(jīng)加入剔除誤匹配點(diǎn)的RANSAC 算法改進(jìn)后的SURF 算法的雙目視覺(jué)定位更準(zhǔn)確。但由于在雙目視覺(jué)標(biāo)定過(guò)程以及在求取攝像機(jī)內(nèi)部參數(shù)時(shí)會(huì)存在一定的誤差，再加上用匹配點(diǎn)對(duì)坐標(biāo)的平均值來(lái)估計(jì)目標(biāo)物體中心點(diǎn)坐標(biāo)時(shí)存在的誤差，所以計(jì)算結(jié)果會(huì)存在一定的偏差。

圖6 目標(biāo)物體與左圖像的匹配

圖7 目標(biāo)物體與右圖像的匹配

表2 基于SURF 及其改進(jìn)后的測(cè)距結(jié)果 mm

5 結(jié)論

在雙目視覺(jué)定位中，圖像匹配是最核心，也是最關(guān)鍵的一步，特征點(diǎn)能否正確匹配，將直接影響著定位的準(zhǔn)確度。SURF 算法作為一種在同類算法中，各方面優(yōu)勢(shì)都比較突出的算法，被廣泛應(yīng)用于圖像特征點(diǎn)的提取與匹配中。SURF算法能夠?qū)^大部分的特征點(diǎn)進(jìn)行正確匹配，但由于客觀因素的影響，它會(huì)對(duì)那些特征不明顯的極少數(shù)特征點(diǎn)對(duì)產(chǎn)生誤匹配，影響定位的準(zhǔn)確度。為了達(dá)到消除誤匹配的目的，文中對(duì)SURF 算法進(jìn)行了改進(jìn)，在原來(lái)算法的基礎(chǔ)上加入了消除誤匹配的RANSAC 算法。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的SURF 算法幾乎實(shí)現(xiàn)了零誤匹配的效果，提高了雙目視覺(jué)定位的準(zhǔn)確度。

［1］HERBERT B，TINNE T，LUC V G.SURF:speeded up robust features［C］//Proc. 9th European Conference on Computer Vision.Graz，Austria:ECCV Press，2006:404－417.

［2］HERBERT B，ANDREAS E，TINNE T，et al. Speeded－Up Robust Features(SURF)［J］.Computer Vision and Image Understanding，2008，110(3):346－359.

［3］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple［C］//Proc. 2001 IEEE Computer Soeiety Conference on Computer Vision and Pattern Recognition. Kauai Marriott，Hawaii:IEEE Press，2001:511－518.

［4］BROWN M，LOWE D G.Invariant features from interest point groups［C］//Proc. British Machine Vision Conference，Cardiff，Wales，BMVC.［S.l.］:IEEE Press，2002:656－665.

［5］LOWE D G.Distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60(2):91－110.

［6］劉丹丹，魏維.一種改進(jìn)的車頭SURF 特征提取和匹配［J］.成都信息工程學(xué)院學(xué)報(bào)，2014(2):167－172.

［7］FISCHLER M A，BOLLES R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381－395.

［8］RICHARD H，ANDREW Z. Multiple view geometry in computer［M］.2nd ed.New York:Cambridge University Press，2003.

［9］HARTLEY R I.Estimation of relative camera position for uncalibrated cameras［C］//Proc.the 2nd European Conference on Computer Vision.Santa Margherita Ligure，Italy:ECCV，1992:579－587.

［10］YAN L W，ZHEN J M.Automatc panorama image mosaic and ghost e1iminating［C］//Proc.IEEE International Conference on Multimedia and Expo.Hannover，Germany:ICME，2008:112－115.

［11］高文，陳熙霖.計(jì)算機(jī)視覺(jué)—算法與系統(tǒng)原理［M］.北京:清華大學(xué)出版社，1999.