馬偉蘋，李文新，孫晉川，曹鵬霞

(蘭州空間技術物理研究所，蘭州 730000)

0 引言

機器視覺系統(tǒng)是智能機器人感知周圍環(huán)境并實現(xiàn)自主工作的重要基礎，雙目視覺定位技術[1-3]作為機器視覺的一個重要研究方向，可模擬人類視覺結構，獲取物體不同位置的圖像，利用投影點視差恢復物體空間坐標，實現(xiàn)對目標三維位置的測量，該技術基于三角測量原理，測量方式為非接觸式，具有簡單、靈活、適應性強等優(yōu)點，被廣泛應用于三維重建、機器人導航、機器人工業(yè)生產(chǎn)及農(nóng)業(yè)采摘等領域。

雙目視覺定位技術的核心是如何提高雙目視覺定位精度，正確獲取目標位置，其關鍵在于選取具有空間位置一致性的左、右圖像同名點，即立體匹配。根據(jù)匹配方式的不同，定位算法主要分為基于區(qū)域的雙目視覺定位算法和基于特征的雙目視覺定位算法，后者較前者而言，無論是算法的復雜性還是魯棒性都有較大的提升，已成為雙目視覺定位算法的首要選擇?；谔卣鞯碾p目視覺定位方法主要通過提取左、右圖像中的局部特征點來實現(xiàn)目標匹配和定位，如Harris角點、基于加速分割測試的特征(Features from Accelerated Segment Test, FAST)、尺度不變特征變換(Scale Invariant Feature Transform, SIFT)特征、加速魯棒特征(Speed Up Robust Feature, SURF)等特征。其中，SIFT特征因?qū)Τ叨取⑿D(zhuǎn)、視角等變化具有良好的魯棒性而被廣泛應用[4]；但其缺點是計算復雜度高?；赟URF特征的雙目視覺定位方法[5]在保證匹配率的基礎上，改善了SIFT算法實時性差的缺點。在SIFT和SURF算法的基礎上，不斷有學者進行改進工作，通過提高特征匹配率和縮短匹配時間來提升雙目視覺定位系統(tǒng)的定位精度和實時性[6-10]，但上述定位方法存在兩個問題：一是在立體匹配過程中提取目標多個特征點，導致匹配過程計算量大；二是在最終定位時，以多個特征點的均值作為定位點，并非目標中心點，只能獲取目標在攝像頭坐標系下的深度距離，無法精確獲取目標的水平(x軸向)距離和垂直(y軸向)距離。

在實際應用中，無需對目標多個特征進行匹配，只需獲取某個特定點的左右圖像坐標就可實現(xiàn)目標定位，減少了不必要的匹配計算量。文獻[11]提取左圖中目標的輪廓中心，然后在右圖中找出目標輪廓中心點的匹配點，結合三維重建原理實現(xiàn)目標定位。文獻[12]提取目標質(zhì)心在左右圖像中的像素坐標，求得目標質(zhì)心三維坐標，并應用于機器人目標定位、機械手抓取等任務中，因此，從獲取高一致性的目標特征點和減少匹配計算量的角度出發(fā)，本文提出一種基于粗-精匹配策略的雙目立體視覺目標定位方法，提取目標中心點，實現(xiàn)目標空間定位。在粗匹配階段，快速提取左、右圖像中目標區(qū)域的中心點，實現(xiàn)中心點匹配；在精匹配階段，將右中心點作為估計值設定搜索范圍，在該范圍內(nèi)找出左中心點的最佳匹配點。最后利用相似三角形原理，求得中心點的三維坐標，實現(xiàn)目標定位。該算法立體匹配部分以特征匹配為基礎，相比傳統(tǒng)基于特征的立體匹配方法具有匹配結果一致性高、匹配計算量小等優(yōu)點，可使雙目視覺系統(tǒng)達到較為理想的定位精度。

1 目標定位系統(tǒng)結構

圖1所示為本文定位算法總體結構，以獲取的左圖目標中心點為基準，在右圖中特定范圍內(nèi)采用基于特征的立體匹配得到具有高一致性的目標中心點對。

圖1 定位算法框架Fig.1 Positioning algorithm framework

目標識別是實現(xiàn)左右目標中心點匹配的前提，選取快速、魯棒的目標識別算法至關重要。傳統(tǒng)識別算法[13]都是基于以下的思路框架：1)局部特征提取；2)特征不變性描述；3)特征匹配；4)求得兩圖像間的對應關系。文獻[14]采用的隨機蕨(Random Fern)算法將特征匹配看作是簡單的分類問題，避免了特征不變性描述和匹配的龐大計算量，具有實時性好、魯棒性高的優(yōu)勢，因此文中采用該算法對目標特征點進行匹配，實現(xiàn)目標識別。左中心點的立體匹配是定位的關鍵，這里提出一種粗-精匹配算法，粗匹配階段采用隨機蕨算法識別目標，提取左右目標中心點，得到的右中心點可看作是左中心點匹配點的估計值，該值在進行下一步精匹配時可用于設定像素搜索范圍。精匹配階段建立了一種基于圖像梯度信息的二值特征描述子，并使用漢明距離進行描述子間的相似性度量，于右圖中設定好的搜索范圍內(nèi)找到左中心點的匹配點。在得到目標中心匹配點對后，就可利用平行雙目視覺模型恢復出目標中心點的空間位置。下文中主要對隨機蕨算法和粗-精立體匹配方法作詳細介紹。

2 隨機蕨算法

隨機蕨[15-16]算法是一種基于半樸素貝葉斯模型的機器學習分類方法，它將計算量龐大的特征不變性描述和特征匹配過程轉(zhuǎn)移給分類器處理，通過離線訓練分類器和在線識別兩個階段實現(xiàn)特征匹配識別。

2.1 離線訓練

離線訓練的目的就是生成目標分類器，主要包括以下幾個關鍵內(nèi)容。

1)特征點檢測。

特征點檢測是隨機蕨離線訓練和在線匹配的第一步，為后續(xù)分類奠定速度基礎。原隨機蕨算法中提取的特征點為Harris角點，為進一步提高特征點檢測速度，鑒于角點都存在于邊緣像素點，先對目標模板進行Canny邊緣檢測，在得到的邊緣像素范圍內(nèi)再進行Harris角點檢測，可節(jié)省時間成本。

2)穩(wěn)定特征點和訓練片元選取。

穩(wěn)定的特征點構成目標的類別集合，選取穩(wěn)定的特征點至關重要，具體實現(xiàn)方法為：先檢測目標模板的特征點，構成原特征點集合T，再對目標模板進行多次不同的仿射變換，提取每次仿射變換后目標模板的特征點集合T′，然后對T′中的特征點進行對應的逆仿射變換，若找出它們在T中所對應的原特征點，則給該原特征點出現(xiàn)次數(shù)加1，最后統(tǒng)計T中每個原特征點在所有仿射變換中出現(xiàn)的次數(shù)，選取出現(xiàn)次數(shù)靠前的若干點作為目標模板的穩(wěn)定特征點。訓練片元為以穩(wěn)定特征點為中心選取的鄰域圖像塊Patch，作為識別與分類的基本單位，為獲得豐富的訓練樣本集，需要對訓練片元進行大量的仿射變換。

3)訓練分類器。

目標模板可被描述為N個穩(wěn)定特征點，目標的類別集合為C={ci，i=1,2,…,N}，以同一特征點為中心生成的所有訓練片元視為同一類。在某個特征點訓練片元p中隨機選取M對測試點對dj1和dj2，并根據(jù)式(1)計算p的二元特征屬性集合f={fj，j=1,2,…,M}，即：

(1)

其中，dj1和dj2表示p中的隨機選取的兩個像素位置，I(dj1)和I(dj2)為對應的灰度值。分類器的目的就是為p分配類，其所屬類別可以定義為：

(2)

根據(jù)樸素貝葉斯分類模型，式(2)可推導如下：

P(C=ci|f1,f2,…,fM)=P(f1,f2,…,fM|C=ci)·

P(C=ci)/P(f1,f2,…,fM)

(3)

分子為均勻分布，分母為與類別無關的常數(shù)，因此式(3)分子最大化表示為：

(4)

考慮到圖像像素間的相互關系，特征屬性之間的完全獨立不存在，將M個二值特征劃分為長度為S的K個組構成一個隨機蕨叢，K為蕨數(shù)，S為蕨內(nèi)節(jié)點數(shù)。蕨內(nèi)各節(jié)點之間相互聯(lián)系，蕨與蕨之間相互獨立，則式(4)可進一步簡化為：

(5)

其中，F(xiàn)k={fσ(k,1),fσ(k,2),…,fσ(k,S)}，k=1,2,…,K，表示第k個蕨，σ(k，j)表示范圍為1～M的隨機數(shù)。

(6)

其中，nk,i表示類別ci在第k個蕨中出現(xiàn)的樣本數(shù)，分母為類別ci的所有樣本數(shù)，σ為設定的非零系數(shù)，一般取1。

2.2 在線匹配

在線特征匹配過程中，提取待匹配圖像的特征點，將以特征點為中心的32×32鄰域圖像塊作為待分類對象，根據(jù)2.1節(jié)中相關公式，獲取每一個小圖像塊的二值特征屬性集合，投入訓練好的隨機蕨分類器中，采用式(2)統(tǒng)計圖像塊屬于各類別的后驗概率分布，該分布中后驗概率最大的類別ci即為該圖像塊所屬類別，最終實現(xiàn)目標模板特征點與待匹配圖像特征點的匹配。

3 粗-精立體匹配

為在右圖中找到左中心點的匹配點，從優(yōu)化搜索策略的角度出發(fā)，采用粗-精匹配思想[17]，粗匹配階段對左、右圖采用隨機蕨進行目標識別，提取左右目標中心點，得到的右中心點作為估計值，用于設定下一階段特征匹配的像素搜索范圍。精匹配階段建立一種基于圖像梯度信息的描述子，采用漢明距離進行相似性度量，找出左中心點在右圖中的最佳匹配點。這樣既利用了粗匹配速度快的優(yōu)點，又利用了精匹配結果一致性較高的優(yōu)點，兼顧匹配精確性和匹配效率。

3.1 粗匹配

目標在左、右圖像中的標準矩形區(qū)域的中心點從理論上來講，屬于一對天然的匹配點，但考慮到實際中同一目標在左、右圖像中提取的區(qū)域并不一定完全相同，甚至差異較大，導致得到的中心點對并非最佳匹配，因此這里將隨機蕨目標識別后得到的右中心點p′(u′,v′)作為一個估計值，利用該值設定下一步特征匹配時的像素搜索范圍，可降低匹配計算量和誤匹配概率。采用隨機蕨算法對左右圖像進行目標識別，得到目標矩形區(qū)域后，可利用式(7)計算左右中心點，即：

(7)

其中，ui和vi分別表示目標矩形區(qū)域4個頂點在像素坐標系的u軸方向和v軸方向的像素值。

文中采用的攝像頭為雙目平行攝像頭，且圖像經(jīng)過極線校正。根據(jù)極線約束條件，在左右像素坐標系中，左圖目標中心點pl(ul,vl)與其右圖中的匹配點pr(ur,vr)在v軸上的像素值應相等，因此匹配搜索范圍降為一維，考慮校正后二者之間可能仍存在像素誤差e，設定匹配前的初始像素搜索范圍為區(qū)域R={p(u,v)|v∈(vl-e,vl+e)}。經(jīng)過粗匹配后，根據(jù)右圖中目標中心點的值估計，精匹配的像素搜索范圍縮小為R′={p(u,v)|u∈(u′-m,u′+n),v∈(vl-e,vl+e)}，其中m和n為匹配點在u軸方向上的像素值與u′值之間的最大上下偏移量。

3.2 精匹配

3.2.1 描述子建立

要在R′中對左中心點進行精確匹配，前提是生成一種匹配性能好的特征描述子?？紤]到圖像梯度信息更具識別力，且二值特征描述子(Binary Robust Independent Elementary Features, BRIEF)生成與匹配效率高、占用內(nèi)存小的優(yōu)點，這里將二者結合，生成一種基于圖像梯度信息的二值特征描述子(Gradient Binary Feature Descriptor, GBFD)[18]，可兼顧匹配性能和效率。具體實現(xiàn)為：將左中心點和R′中的點的s×t鄰域圖像分為k個等大的子塊，利用積分圖像統(tǒng)計各子塊梯度信息，依次比較不同組合的兩個子塊的水平梯度均值Gdx、垂直梯度均值Gdy、水平梯度絕對值均值|G|dx和垂直梯度絕對值均值|G|dy，生成描述子。

點的GBFD描述子形式為一個長度為l的二值串，每一位的值通過f測試得到：

(8)

圖2 GBFD生成流程Fig. 2 GBFD generation flowchart

3.2.2 相似性度量

通過上述GBFD方法建立左中心點描述子和右圖R′中所有像素點的描述子后，采用描述子間的漢明距離作為相似性判斷依據(jù)：

dist(Bl,Bri)=Fi(Bl⊕Bri);i=1,2,…,N

(9)

其中：Bl為左中心點的描述子，Bri為R′中某像素點的描述子，N為R′中像素總個數(shù)，F(xiàn)(·)表示邏輯1的總個數(shù)，⊕是對兩個二值特征描述子求異或運算，兩個特征點間的漢明距離越小，二者的匹配度越高。

4 雙目視覺模型

圖3為平行雙目立體視覺幾何模型，設定位點空間坐標為P(X,Y,Z)，根據(jù)上文匹配結果得到目標定位點在左、右圖像中的像素坐標分別為pl(ul,vl)和pr(ur,vr)，對應的圖像坐標系物理坐標分別為pl(xl,yl)和pr(xr,yr)，視差為d=xl-xr，b和f分別為兩攝像頭間的基線距離和物理焦距，dx和dy為每個像素點在u、v方向上的物理尺寸，則依據(jù)圖3，根據(jù)三角形測量[19-21]原理有：

(10)

獲得抓取點深度值Z后，可通過攝像頭坐標系和圖像坐標系之間的轉(zhuǎn)換關系求得抓取點的X值和Y值，如式(11)～(12)所示：

(11)

(12)

其中，(u0,v0)為光心在像素坐標系的坐標值。

圖3 平行雙目立體視覺模型Fig. 3 Parallel binocular stereo vision model

5 實驗與分析

實驗平臺采用Intel Core i3- 3217U.1.8 GHz的PC，在VS2013上用C++和OpenCV進行調(diào)試。目標圖像采集使用MYNTEYE平行雙目攝像頭，基線長度為120 mm，焦距為2.1 mm，圖像分辨率為752像素×480像素。

5.1 雙目視覺系統(tǒng)標定結果

在進行目標定位前，需要對雙目視覺中的兩個攝像頭進行標定[22-23]，包括左右攝像頭內(nèi)參和二者之間的相對位置關系，本文采用張正友標定法進行標定。實驗采集標定板左右圖像20組，提取其特征點進行標定實驗，得到的攝像頭參數(shù)見表1。從標定結果可以看出，像素焦距接近理論值f/dx=f/dy=2.1 mm/6 μm=350，兩攝像頭間的實際距離為117 mm，光心點坐標在(376,240)附近，均符合標定預期值。

表1 攝像頭標定參數(shù) Tab. 1 Camera calibration parameters

5.2 隨機蕨目標識別

目標物體模板如圖4(a)所示，分別選取目標在旋轉(zhuǎn)與傾斜、遮擋、光線不足以及復雜背景等場景圖像，采用結合Canny-Harris特征點的隨機蕨算法進行目標識別實驗，識別效果見圖4(b)～4(f)。由算法效果圖可見，不同放置位置和環(huán)境下的目標均可被準確識別。統(tǒng)計圖4中各樣本圖像在該算法下實現(xiàn)目標識別的平均執(zhí)行時間為302 ms，對比原始隨機蕨算法的平均執(zhí)行時間421 ms，匹配效率提升約28%，因此，隨機蕨算法用于目標識別，具有魯棒性好、效率高的優(yōu)點。

圖4 隨機蕨目標識別Fig. 4 Target recognition based on random fern

5.3 基于粗-精匹配方法的目標定位

5.3.1 定位結果分析

以左攝像機為參考坐標系來描述物體的空間信息，左右攝像頭同步采集圖像，雙目視覺系統(tǒng)有效工作距離從250 mm進行測量，采用粗-精匹配方法實現(xiàn)目標定位。如圖5(a)所示為目標模板，圖5(b)為左圖目標識別結果，圖5(c)為提取的左中心點，圖5(d)為粗-精匹配后右圖中得到的左中心點的匹配點。為增加直觀視覺對比，圖6給出了文獻[4]中算法的匹配效果，該方法得到的左右目標定位點為左右圖像中所有匹配特征點對的均值，而并非目標中心點。采集6組不同位置下目標的左右圖像，根據(jù)得到的匹配點對恢復目標空間位置，獲得數(shù)據(jù)如表2所示，經(jīng)過多組實驗，匹配算法中的m和n均取值為20、像素誤差e取值為5合適，像素鄰域s×t取值為36×36，子塊數(shù)k取值為9。

圖5 粗-精匹配結果Fig. 5 Coarse-fine matching results

目標在距攝像頭500 mm距離范圍內(nèi)，本文算法求取的目標位置和實際測量值誤差控制在約7 mm以內(nèi)。為表征系統(tǒng)的定位精度并對誤差進行定量分析，同時為消除目標距離不同對系統(tǒng)定位效果的影響，引入平均相對定位誤差[11]見式(13)：

(13)

將表2數(shù)據(jù)代入式(13)計算得到本文方法的平均相對定位誤差為2.53%，觀察表中數(shù)據(jù)可知，隨著目標距離增加，定位得到的目標深度值誤差呈遞增趨勢，相應地，x軸和y軸方向的誤差也隨之增大。

為進一步驗證本文方法的定位精度，將基于SIFT[4]、SURF[5]和Harris-SIFT[6]的特征匹配定位方法，只采用粗匹配的定位方法，以及只采用精匹配的定位方法分別與本文基于粗-精匹配的定位方法進行比較。由于目標三維坐標的計算誤差均來源于深度值，因此只給出各算法下目標的深度信息，如表3所示，其中d表示真實距離，求得的各算法平均測距誤差依次為：12.6 mm、13.4 mm、11.2 mm、8.3 mm、5.2 mm、5.2 mm。

表3 不同距離下的各算法測距結果 單位：mm Tab. 3 Target ranging results of different algorithms in different distances unit:mm

根據(jù)目標距離測量結果可知，本文算法與其他算法相比，測距精度具有明顯的優(yōu)勢。前3種基于特征匹配的定位方法將特征匹配得到的多組匹配點對的均值點作為最終定位點，而特征匹配存在一定的誤匹配率，會影響定位精度。粗匹配算法由于識別的左右目標區(qū)域不完全相同，導致提取的左右中心點不一定匹配甚至相差較大，因此定位精度完全依賴于左右目標中心點的吻合程度。精匹配算法和本文算法定位精度相當，但前者相比后者缺少了粗匹配環(huán)節(jié)，匹配范圍較大，會增大誤匹配的發(fā)生概率(表3中“—”表示誤匹配)。分析雙目視覺定位誤差產(chǎn)生的原因主要有：1)相機標定存在誤差；2)立體匹配存在匹配誤差；3)相機的像素分辨率有限，采集的圖像質(zhì)量不佳，導致定位存在誤差；4)目標測量值存在誤差。

5.3.2 實時性分析

為驗證本文定位方法的實時性能，統(tǒng)計表3中6種算法實現(xiàn)目標定位所消耗的時間，各算法的平均運行時間見表4。觀察各算法的運行時間，表中左列的3種基于傳統(tǒng)特征匹配的定位算法耗時較大，主要由于它們需要提取多個目標特征點進行描述和匹配，匹配結束后利用多個匹配點對的平均值作為最終匹配點對完成目標定位；而表中右列的3種算法避免了多個特征點提取以及建立描述子進行匹配的龐大計算量，只需對一個點進行小范圍特征匹配，有效降低了匹配計算量。其中：粗匹配算法耗時最小的原因在于采用效率高的隨機蕨算法識別目標，僅將得到的左右目標中心點作為匹配結果，相比精匹配算法和本文算法沒有進行后續(xù)特征點描述和匹配的計算量；而精匹配算法運行時間大于本文算法的主要原因在于，前者的匹配點數(shù)為640×(2e+1)，后者為(m+n+1)×(2e+1)，根據(jù)實驗參數(shù)設置計算，二者候選匹配點數(shù)差值為6 809個，本文匹配算法候選匹配點數(shù)減少了，耗時也就相應少了，同時也降低了精匹配時誤匹配的概率。

表4 各算法執(zhí)行時間對比 單位：s Tab. 4 Running time comparison of different algorithms unit:s

6 結語

本文提出了一種雙目立體視覺定位方法，采用一種基于粗-精匹配策略的立體匹配方法，在粗匹配階段采用具有魯棒性好、效率高的基于Canny-Harris特征點的隨機蕨算法獲取目標區(qū)域，得到左右圖的目標中心點。在精匹配階段，以右中心點為估計值設定搜索范圍，于右圖中找到左中心點的最佳匹配點，最后利用匹配結果恢復目標中心點空間坐標，實現(xiàn)目標定位。粗-精匹配方法獲得的匹配點對具有較高的位置一致性，將其用于雙目視覺系統(tǒng)中，定位實時性高且最終的定位誤差較小，可在一定距離范圍內(nèi)實現(xiàn)目標精確快速定位，具有一定的應用價值。