劉國(guó)華，鄧釗釗

（1.天津工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué) 天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津300387）

三維姿態(tài)估計(jì)對(duì)物體識(shí)別、定位、抓取以及創(chuàng)建地圖等[1-3]應(yīng)用有著非常重要的意義。三維姿態(tài)估計(jì)就是從圖像中獲取物體的三維姿態(tài)，這一問(wèn)題一直是機(jī)器視覺(jué)技術(shù)研究的難點(diǎn)。攝像機(jī)所獲取的圖像是三維物體或者場(chǎng)景的二維投影，因此，由投影圖像的信息來(lái)測(cè)量物體的三維姿態(tài)[4-5]會(huì)使測(cè)量精度受到一定的限制。

微操作中使用的高倍率攝像機(jī)由于景深非常小，無(wú)法使待測(cè)物體整體清晰成像，這對(duì)微操作中物體的姿態(tài)測(cè)量會(huì)有很大的限制。目前，已經(jīng)有大量對(duì)微小物體識(shí)別、定位、抓取等方面的研究，并取得了成功[6-9]，但有關(guān)微操作中微小物體的姿態(tài)測(cè)量與調(diào)整的研究卻比較少。Zhang 等[10]提出一種測(cè)量柱腔位姿的三相機(jī)信息融合方法，并獲得了較小的位置精度。但是，文中只是提出了一種限制條件很多的理論方法，并沒(méi)有相關(guān)實(shí)驗(yàn)結(jié)果。李福東等[11]提出了一種基于運(yùn)動(dòng)的微孔與微管的姿態(tài)測(cè)量方法，該方法根據(jù)微孔、微管在相機(jī)中的投影線與相機(jī)光軸信息，分別計(jì)算出微球、微管的姿態(tài)向量，但該方法對(duì)相機(jī)和采光要求比較高。也有學(xué)者采用激光射線照射的方法在圓柱表面[12-13]人為創(chuàng)造特征點(diǎn)，進(jìn)而檢測(cè)圓柱、圓筒型鍛件、圓截面飛機(jī)導(dǎo)管的三維尺寸以及位姿[14-15]。雖然該方法可以檢測(cè)圓柱形零件的位姿信息，但是其檢測(cè)精度依賴于發(fā)射激光的準(zhǔn)確性和穩(wěn)定性，并且增加了檢測(cè)系統(tǒng)的成本。

由于針類物體圖像的特征點(diǎn)不明顯，難以對(duì)圖像進(jìn)行特征點(diǎn)提取和匹配。本文針對(duì)這一問(wèn)題，設(shè)計(jì)了一種基于雙目視覺(jué)的探針姿態(tài)檢測(cè)系統(tǒng)，提出一種將仿射變換矩陣與探針幾何學(xué)特征相結(jié)合的方法，用該方法提取特征點(diǎn)進(jìn)行匹配，對(duì)探針的三維姿態(tài)進(jìn)行測(cè)量，并通過(guò)實(shí)驗(yàn)對(duì)該方法進(jìn)行了驗(yàn)證。

1 系統(tǒng)組成

探針姿態(tài)檢測(cè)系統(tǒng)框架如圖1所示。

圖1 探針姿態(tài)檢測(cè)系統(tǒng)的組成Fig.1 Composition of probe attitude detection system

該系統(tǒng)主要由主體支架、光源、探針夾具、CCD 相機(jī)、圖像采集卡、計(jì)算機(jī)等硬件組成，如圖2所示。

圖2 系統(tǒng)的硬件組成Fig.2 System hardware components

該檢測(cè)系統(tǒng)主要采用雙目立體視覺(jué)原理[16-17]對(duì)探針姿態(tài)進(jìn)行自動(dòng)化檢測(cè)，其主要功能有：完成對(duì)探針的二維圖像采集；完成對(duì)雙目系統(tǒng)的相機(jī)標(biāo)定；實(shí)時(shí)顯示相機(jī)當(dāng)前采集圖像；提取二維圖像的特征點(diǎn)并進(jìn)行匹配；最后完成對(duì)探針姿態(tài)的測(cè)量。

2 工作原理

探針姿態(tài)檢測(cè)系統(tǒng)的工作原理為：將探針置于均勻的柔光照明環(huán)境下，用兩臺(tái)攝像機(jī)采集探針圖像，由圖像采集卡將攝像機(jī)的圖像信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)，并以數(shù)據(jù)文件的格式存儲(chǔ)在計(jì)算機(jī)中；然后對(duì)攝像機(jī)進(jìn)行標(biāo)定，根據(jù)相機(jī)的標(biāo)定結(jié)果校正預(yù)處理后的探針圖像；然后提取探針圖像中軸線上的特征點(diǎn)，根據(jù)提取到的特征點(diǎn)實(shí)現(xiàn)雙目的立體匹配；通過(guò)三維重建求取探針的三維信息，最后得出探針姿態(tài)數(shù)據(jù)。探針姿態(tài)檢測(cè)流程如圖3所示。

圖3 探針姿態(tài)檢測(cè)流程圖Fig.3 Flow chart of probe attitude detection

2.1 雙目視覺(jué)標(biāo)定

雙目視覺(jué)系統(tǒng)通過(guò)計(jì)算空間點(diǎn)在兩幅圖像中的視差[18-19]來(lái)獲得該點(diǎn)的三維坐標(biāo)。攝像機(jī)標(biāo)定是系統(tǒng)工作的基礎(chǔ)，標(biāo)定的精確與否直接決定了三維重建的精度[20]。

雙目相機(jī)標(biāo)定不僅要得到兩相機(jī)的內(nèi)外參數(shù)，還要得到兩相機(jī)的相對(duì)位置關(guān)系，即系統(tǒng)外參。在完成單相機(jī)的標(biāo)定后，左、右相機(jī)的旋轉(zhuǎn)矩陣和平移向量分別為Rl、Tl和Rr、Tr，在世界坐標(biāo)系下，三維場(chǎng)景中任意一點(diǎn)P 的坐標(biāo)為（Xw，Yw，Zw），P 點(diǎn)在左、右相機(jī)坐標(biāo)系下的坐標(biāo)分別為（Xl，Yl，Zl）和（Xr，Yr，Zr），根據(jù)相機(jī)坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系，（Xl，Yl，Zl）和（Xr，Yr，Zr）坐標(biāo)的齊次形式和（Xw，Yw，Zw）坐標(biāo)的齊次形式滿足式（1）和式（2）：

由式（1）和（2）得到式（3）：

式中：右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)矩陣為R=Rl-1Rr，平移矩陣為T=Tr-Rl-1RrTl。因此，對(duì)于攝像機(jī)坐標(biāo)系中的空間點(diǎn)P 在左右兩攝像機(jī)圖像平面上的投影點(diǎn)p1（x1，y1）和p2（x2，y2）間的對(duì)應(yīng)關(guān)系為：

由此，可得到空間點(diǎn)P 在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)為：

2.2 姿態(tài)檢測(cè)方法

經(jīng)過(guò)雙目視覺(jué)標(biāo)定后，還需要對(duì)圖像進(jìn)行校正。得到兩幅校正的圖像后，由于圖像中探針的邊緣特征不能進(jìn)行匹配，而又沒(méi)有其它明顯特征，因此，本文提出一種將仿射變換矩陣與探針幾何學(xué)特征相結(jié)合的方法。首先通過(guò)Shape-Based matching 匹配方法得到模板圖像和目標(biāo)圖像之間的仿射變換矩陣，即將左相機(jī)圖像的針尖部分制作成模板，然后在右相機(jī)圖像中進(jìn)行模板匹配，得到的匹配結(jié)果如式（6）和圖4所示。

式中：H 為仿射變換矩陣。

圖4 匹配結(jié)果Fig.4 Matching results

在探針圖像特征點(diǎn)的提取方面，本文在探針的中軸線上提取特征點(diǎn)。首先求取探針圖像的中軸線，在左相機(jī)的探針圖像中生成一組與探針相交的平行線：

其與探針的平行處邊緣的交點(diǎn)分別為（ui1，vi1）和（ui2，vi2），則其中點(diǎn)（ui，vi）為：

因此，對(duì)于上面得到的點(diǎn)集{（ui，vi）}，可以采用最小二乘法擬合成直線vi=a+bui，在進(jìn)行參數(shù)估計(jì)時(shí)，要求觀測(cè)值vi的偏差的加權(quán)平方和為最小。即（a+bui）]2最小，那么可以得到參數(shù)a 和b 的最佳估計(jì)值，其值如式（9）所示：

從而得到探針的中軸線。其中求取中軸線的過(guò)程如圖5所示，得到的探針中軸線如圖6所示。

圖5 求取探針圖像中軸線Fig.5 Finding axis of probe image

圖6 探針中軸線Fig.6 Central axis of probe

在得到左相機(jī)探針圖像的中軸線后，則在其中軸線上采用插值法選取n 個(gè)點(diǎn)作為進(jìn)行匹配的特征點(diǎn)，然后通過(guò)計(jì)算得到的仿射變換矩陣匹配，獲得其在右相機(jī)圖像中的對(duì)應(yīng)點(diǎn)，這樣就得到了n 個(gè)探針中軸線上的對(duì)應(yīng)點(diǎn)對(duì)。將這些點(diǎn)的圖像坐標(biāo)代入到式（5）中，得到其三維坐標(biāo)值，然后對(duì)得到的三維坐標(biāo)點(diǎn)進(jìn)行直線擬合，得到該擬合直線的方向向量即為探針中軸線的姿態(tài)。

3 實(shí)驗(yàn)驗(yàn)證

對(duì)于拍攝出來(lái)的圖像經(jīng)過(guò)灰度、增強(qiáng)、去噪等處理后，采用邊緣檢測(cè)算法進(jìn)行亞像素邊緣提取，然后采用本文方法提取特征點(diǎn)并匹配，最后對(duì)于獲得的三維點(diǎn)采用最小二乘法擬合直線，求出方向向量。

實(shí)驗(yàn)采用的相機(jī)為大恒MER-030-120UM 型號(hào)的CCD 工業(yè)相機(jī)，鏡頭為Computar 的百萬(wàn)像素鏡頭，用長(zhǎng)25 mm、直徑1 mm 的鎢針作為實(shí)驗(yàn)對(duì)象，經(jīng)過(guò)預(yù)處理后的探針如圖7所示。

圖7 探針的二維圖像Fig.7 Two-dimensional image of probe

根據(jù)相機(jī)的標(biāo)定結(jié)果對(duì)探針圖像進(jìn)行校正，在左相機(jī)采集的圖像中，用插值法等間距的提取了22 個(gè)像素點(diǎn)，然后通過(guò)Shape-Based matching 匹配方法匹配到右相機(jī)圖像中，得到其對(duì)應(yīng)點(diǎn)，如圖8所示。

根據(jù)雙目立體視覺(jué)原理，對(duì)上述22 個(gè)探針圖像的特征點(diǎn)進(jìn)行三維重建，將這些點(diǎn)的圖像坐標(biāo)代入到式（5）中，得到其三維坐標(biāo)，如表1所示，其三維效果如圖9所示。

圖8 探針中軸線上的點(diǎn)Fig.8 Points on axis of probe

表1 中軸線上點(diǎn)的三維坐標(biāo)Tab.1 Three-dimensional coordinates of points on central axis

圖9 中軸上點(diǎn)的三維顯示Fig.9 Three-dimensional display of points on central axis

對(duì)于獲得的三維點(diǎn)進(jìn)行直線擬合，得到直線的方程式如式（10）所示：

擬合得到的直線如圖10所示。

圖10 擬合的直線Fig.10 Fitting line

根據(jù)得出的直線方程可知，該直線的方向向量為σ=（1.762 -0.182 -0.035），即為探針的姿態(tài)向量。采用本文方法又做了兩組探針姿態(tài)測(cè)量實(shí)驗(yàn)，假設(shè)探針與X、Y 和Z 軸之間的夾角分別為α、β 和γ，則3 次探針姿態(tài)測(cè)量結(jié)果與機(jī)器設(shè)備探針各軸的顯示角度對(duì)比如表2所示。

表2 測(cè)量結(jié)果Tab.2 Result of measurement

由表2可以看出，探針姿態(tài)的系統(tǒng)測(cè)量結(jié)果與設(shè)備顯示結(jié)果非常接近，平均誤差絕對(duì)值＜0.3°，測(cè)量精度較高。

4 結(jié) 語(yǔ)

本文闡述了基于雙目立體視覺(jué)技術(shù)的探針姿態(tài)檢測(cè)系統(tǒng)的工作原理、關(guān)鍵方法和實(shí)驗(yàn)過(guò)程。針對(duì)視覺(jué)檢測(cè)過(guò)程中針類目標(biāo)圖像特征單一、特征提取困難的問(wèn)題，提出一種將仿射變換矩陣與探針幾何學(xué)特征相結(jié)合的方法進(jìn)行探針特征提取，最后通過(guò)最小二乘法擬合直線，得到的直線即為探針的中軸線，由直線方程求出其方向向量，從而求出了探針的姿態(tài)向量。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以提取出探針中軸線上的特征點(diǎn)進(jìn)行比配，并能夠測(cè)量出探針的姿態(tài)，測(cè)量精度較高，平均誤差在±0.3°范圍內(nèi)。