張禹，馬君橋，王永志，王綺夢(mèng)

(沈陽(yáng)工業(yè)大學(xué)機(jī)械工程學(xué)院，遼寧沈陽(yáng) 110870)

0 前言

隨著工業(yè)機(jī)器人自動(dòng)化水平日漸提高，機(jī)器視覺(jué)成為自動(dòng)化加工重要的一部分。通過(guò)視覺(jué)來(lái)實(shí)現(xiàn)對(duì)目標(biāo)物體的定位、抓取、搬運(yùn)工作時(shí)，首先要通過(guò)相機(jī)來(lái)獲得目標(biāo)物體的三維空間信息，于是需要進(jìn)行手眼標(biāo)定。傳統(tǒng)九點(diǎn)法工業(yè)手眼標(biāo)定局限于二維平面，只能獲取目標(biāo)物體的二維平面信息，缺少空間內(nèi)的軸信息，只能在固定高度的平面上進(jìn)行抓取。若機(jī)器人在空間中進(jìn)行抓取，需進(jìn)行三維空間手眼標(biāo)定，即獲取機(jī)器人坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

張正友所提出的相機(jī)標(biāo)定方法，是通過(guò)相機(jī)提取棋盤格角點(diǎn)，對(duì)攝像機(jī)的內(nèi)、外參進(jìn)行矯正。其他標(biāo)定方法大多數(shù)是在張氏標(biāo)定法基礎(chǔ)上進(jìn)行改進(jìn)。但攝像機(jī)標(biāo)定只能對(duì)攝像機(jī)本身的誤差進(jìn)行矯正，使機(jī)器人通過(guò)攝像機(jī)獲得目標(biāo)物點(diǎn)三維坐標(biāo)還需要進(jìn)行手眼標(biāo)定，手眼標(biāo)定是進(jìn)行機(jī)器人抓取、裝配等的前提條件。林嘉睿等借助一個(gè)特制的具有3個(gè)標(biāo)記圓的靶標(biāo)進(jìn)行標(biāo)定，通過(guò)控制機(jī)器人在固定高度移動(dòng)，識(shí)別3個(gè)圓的圓心坐標(biāo)，求得轉(zhuǎn)換矩陣。此方法具有較強(qiáng)的魯棒性，但僅標(biāo)定了二維平面，無(wú)法進(jìn)行立體識(shí)別。

AXELROD和HUANG通過(guò)將標(biāo)定靶安裝在機(jī)器人末端，簡(jiǎn)化了手眼標(biāo)定的過(guò)程，但要求標(biāo)定靶有較高精度。HU和CHANG為簡(jiǎn)化標(biāo)定過(guò)程，提出一種僅需一只激光筆的方法，無(wú)需手動(dòng)測(cè)量即可工作，適用于機(jī)器人不在攝像機(jī)視場(chǎng)范圍的情況，但對(duì)設(shè)備要求較高且不易操作。YANG等采用標(biāo)定球代替標(biāo)定板或其他復(fù)雜的三維模型進(jìn)行手眼標(biāo)定，這種方法參數(shù)化表示簡(jiǎn)單，但獲得的球體中心的坐標(biāo)易出現(xiàn)誤差，標(biāo)定過(guò)程較為復(fù)雜。楊偉姣等采用Halcon軟件進(jìn)行手眼標(biāo)定，機(jī)器人末端抓取標(biāo)定靶，但易受光照影響，抗噪能力弱，需要人為調(diào)整。ZENG等為實(shí)現(xiàn)抓取任務(wù)將傳統(tǒng)九點(diǎn)標(biāo)定法改進(jìn)為三維手眼標(biāo)定，不需要末端工具夾取標(biāo)定靶，精度良好，但標(biāo)定所需時(shí)間較長(zhǎng)。

對(duì)于手眼標(biāo)定缺少空間軸信息、過(guò)程繁瑣、所需外部工具較多的情況，提出一種機(jī)器人三維手眼標(biāo)定方法，不需要人為參與，自主完成手眼標(biāo)定工作，減少標(biāo)定所需時(shí)間的同時(shí)保證標(biāo)定的精度，最后對(duì)方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 標(biāo)定基本原理

1.1 坐標(biāo)系轉(zhuǎn)換

在攝像機(jī)標(biāo)定過(guò)程中，建立了4個(gè)坐標(biāo)系，來(lái)更好地說(shuō)明三維空間中一點(diǎn)在攝像機(jī)內(nèi)的成像原理。像素坐標(biāo)系是描述目標(biāo)物體成像在相機(jī)內(nèi)部產(chǎn)生的像點(diǎn)的坐標(biāo)系，是二維坐標(biāo)系，單位是像素；圖像坐標(biāo)系原點(diǎn)為成像平面與相機(jī)光軸的交點(diǎn)，為建立在相機(jī)成像平面上的坐標(biāo)系，是二維坐標(biāo)系，單位是m；視覺(jué)傳感器坐標(biāo)系是為描述三維空間一點(diǎn)投影到視覺(jué)傳感器上所產(chǎn)生的坐標(biāo)系，是三維坐標(biāo)系，單位是m；世界坐標(biāo)系是描繪真實(shí)世界任意一點(diǎn)位置坐標(biāo)的坐標(biāo)系，是三維坐標(biāo)系，單位是m。

1.2 視覺(jué)傳感器成像模型

視覺(jué)傳感器成像的問(wèn)題可以用小孔成像模型來(lái)模擬。(,)為像素坐標(biāo)，(,)為圖像坐標(biāo)，(,,)為視覺(jué)傳感器坐標(biāo)，(,,)為世界坐標(biāo)，為視覺(jué)傳感器的焦距。

像素坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系為

(1)

其中：、為像素尺寸;、為圖像中心;為兩個(gè)坐標(biāo)系軸之間的傾斜程度。

圖像坐標(biāo)系與視覺(jué)傳感器坐標(biāo)系間關(guān)系可建立數(shù)學(xué)模型：

(2)

視覺(jué)傳感器坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換關(guān)系是：

(3)

視覺(jué)傳感器所識(shí)別到的物點(diǎn)經(jīng)過(guò)旋轉(zhuǎn)矩陣與平移矩陣即可轉(zhuǎn)換到世界坐標(biāo)系下。

1.3 立體視覺(jué)原理

傳統(tǒng)的標(biāo)定方式都局限于二維平面上，缺少軸的深度信息，無(wú)法通過(guò)視覺(jué)使機(jī)器人進(jìn)行空間抓取。雙目立體視覺(jué)根據(jù)視差原理，通過(guò)獲取多組圖像，進(jìn)而得到物體空間坐標(biāo)信息。圖1為雙目攝像機(jī)視差法獲得深度的原理，其中、為空間一點(diǎn)在左右相機(jī)成像平面上的映射點(diǎn)。

圖1 立體視覺(jué)三維空間示意

根據(jù)相似三角形原理有

(4)

求解方程得到相機(jī)坐標(biāo)系下一點(diǎn)、、坐標(biāo)：

(5)

其中:(,)、(,)分別為、在圖像坐標(biāo)系下的坐標(biāo)，mm；為相機(jī)的焦距；為左右兩相機(jī)之間基線的距離，mm；為視差，mm。

2 機(jī)器人三維手眼標(biāo)定方法

2.1 手眼標(biāo)定模型

手眼標(biāo)定按照視覺(jué)傳感器與機(jī)器人的位置關(guān)系共有兩種形式:一種是眼在手上(eye-in-hand)型，視覺(jué)傳感器與機(jī)器人相對(duì)靜止，隨機(jī)器人運(yùn)動(dòng)而運(yùn)動(dòng)；一種是眼在手外(eye-to-hand)型，視覺(jué)傳感器與機(jī)器人作相對(duì)運(yùn)動(dòng)，擺放在機(jī)器人外側(cè)位置，如圖2所示。

圖2 eye-to-hand手眼標(biāo)定模型為標(biāo)定板坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣，為相機(jī)坐標(biāo)系到機(jī)器人基坐標(biāo)系的轉(zhuǎn)換矩陣，為機(jī)器人基坐標(biāo)系到機(jī)器人末端坐標(biāo)系的轉(zhuǎn)換矩陣，為標(biāo)定板坐標(biāo)系到機(jī)器人末端坐標(biāo)系的轉(zhuǎn)換矩陣，其為已知，未知但恒定不變，于是有：

(7)

將式(7)轉(zhuǎn)換成：

=

(8)

2.2 機(jī)器人三維手眼標(biāo)定

手眼關(guān)系采取eye-to-hand的形式，棋盤格標(biāo)定板置于機(jī)器人末端執(zhí)行器上，通過(guò)視覺(jué)傳感器獲取棋盤格的彩色圖像與深度圖像，得到中心點(diǎn)二維坐標(biāo)。通過(guò)雙目成像原理計(jì)算棋盤格中心點(diǎn)深度，并轉(zhuǎn)換成視覺(jué)傳感器坐標(biāo)系下的空間坐標(biāo)。在機(jī)器人坐標(biāo)系中測(cè)量棋盤格中心點(diǎn)到末端執(zhí)行器中心點(diǎn)之間的偏移量，以獲得該點(diǎn)機(jī)器人坐標(biāo)系下的坐標(biāo)。

在機(jī)器人坐標(biāo)系下、、方向上設(shè)定限位，構(gòu)成一個(gè)機(jī)器人的標(biāo)定空間。設(shè)置機(jī)器人移動(dòng)步長(zhǎng)，在標(biāo)定空間內(nèi)按照步長(zhǎng)進(jìn)行軌跡移動(dòng)，移動(dòng)軌跡設(shè)置為三角形軌跡或者N形軌跡，加快標(biāo)定速度。

標(biāo)定過(guò)程中機(jī)器人每經(jīng)過(guò)標(biāo)定軌跡所設(shè)定一路點(diǎn)，視覺(jué)傳感器采集標(biāo)定板中心點(diǎn)一次，并記錄當(dāng)前中心點(diǎn)在視覺(jué)傳感器坐標(biāo)系下的坐標(biāo)。標(biāo)定空間軌跡及路點(diǎn)如圖3所示。

圖3 手眼標(biāo)定軌跡及路點(diǎn)

對(duì)攝像機(jī)識(shí)別到的點(diǎn)與機(jī)器人坐標(biāo)系下的點(diǎn)進(jìn)行轉(zhuǎn)換，求解旋轉(zhuǎn)矩陣則變?yōu)閜oint-to-point Iterative Closest Points(ICP)問(wèn)題：

(9)

(10)

(11)

通過(guò)奇異值(SVD)分解得到：

=Σ

(12)

其中：是分解得到的3×3階的右奇異矩陣；是3×3階的左奇異矩陣的共軛轉(zhuǎn)置;是3×3階的半正定對(duì)角矩陣。

設(shè)定迭代次數(shù)，經(jīng)過(guò)ICP算法進(jìn)行迭代，獲得變換旋轉(zhuǎn)矩陣與平移向量的最優(yōu)解為

=

(13)

(14)

設(shè)置相機(jī)深度比例因子初值為1，比例因子與從相機(jī)捕獲的每個(gè)深度像素相乘獲得軸方向坐標(biāo)值。為減少視覺(jué)傳感器出現(xiàn)的縮放問(wèn)題，通過(guò)下山單純形(Nelder-Mead)法對(duì)深度比例因子進(jìn)行迭代優(yōu)化，求取比例因子最優(yōu)解，縮小點(diǎn)云配準(zhǔn)的誤差。

于是獲得兩坐標(biāo)系之間的轉(zhuǎn)換矩陣為

(15)

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)采用六自由度UR5e系列機(jī)器人，Intel Realsense D415視覺(jué)傳感器，PC端采用Intel 3060顯卡，系統(tǒng)Ubuntu 16.04 LTS，PyCharm編譯軟件，使用Python與OpenCV計(jì)算機(jī)視覺(jué)庫(kù)進(jìn)行開(kāi)發(fā)。棋盤格采用3×3陣列圖案，方格邊長(zhǎng)為1.4 mm，粘貼在RG6抓手中心。整個(gè)系統(tǒng)采取eye-to-hand的手眼標(biāo)定方式，UR5e控制RG6抓手始終平行于水平面，標(biāo)定板中心與機(jī)器人工具中心在軸、軸方向偏移量分別為-0.266 2、0.022 m，如圖4所示。

圖4 手眼標(biāo)定實(shí)驗(yàn)系統(tǒng)(a)，Intel Realsense D415攝像機(jī)(b)，RG6抓手與標(biāo)定板黏貼位置(c)

分別對(duì)三角形、N形、基準(zhǔn)法手眼標(biāo)定移動(dòng)軌跡進(jìn)行實(shí)驗(yàn)，使用movel指令控制機(jī)器人遍歷標(biāo)定點(diǎn)陣。如圖5(a)(b)分別為N形標(biāo)定軌跡與三角形標(biāo)定軌跡實(shí)際標(biāo)定過(guò)程，展示在標(biāo)定空間上的一個(gè)平面的軌跡，并獲得兩種軌跡轉(zhuǎn)換矩陣與：

圖5 手眼標(biāo)定實(shí)驗(yàn)軌跡

(16)

(17)

基準(zhǔn)法手眼標(biāo)定是傳統(tǒng)九點(diǎn)標(biāo)定法的三維形式，設(shè)定、、三個(gè)方向上的限位，機(jī)器人按照步長(zhǎng)遍歷整個(gè)工作空間，將相機(jī)坐標(biāo)系下與機(jī)器人坐標(biāo)系下的點(diǎn)云進(jìn)行轉(zhuǎn)換，進(jìn)而獲得轉(zhuǎn)換矩陣。

采取、、三個(gè)方向上的平均誤差與定位誤差作為改進(jìn)算法精度指標(biāo)的判定標(biāo)準(zhǔn)，其中(,,)為理論標(biāo)準(zhǔn)坐標(biāo)值，(,,)為實(shí)驗(yàn)所得坐標(biāo)值，為所對(duì)比點(diǎn)數(shù)：

(18)

(19)

(20)

(21)

通過(guò)機(jī)器人變換10組位姿，得到3種標(biāo)定軌跡在、、三個(gè)坐標(biāo)軸上的平均誤差如表1所示，標(biāo)定消耗時(shí)間與定位誤差如表2所示。

表1 3種標(biāo)定精度平均誤差對(duì)比

表2 3種標(biāo)定效率對(duì)比

由實(shí)驗(yàn)結(jié)果知：三角形標(biāo)定軌跡精度最高，在、、3個(gè)坐標(biāo)軸上的平均誤差為0.902 1、0.885 3、0.808 4 mm，最大誤差分別為1.318 8、1.221 4、1.518 8 mm，最小誤差分別為0.244 1、0.295 4、0.074 3 mm，定位誤差為0.863 6 mm。所提出方法縮短了標(biāo)定操作時(shí)間，標(biāo)定精度能夠滿足機(jī)器人進(jìn)行視覺(jué)定位、抓取的工作需求。

4 結(jié)論

為完成機(jī)器人空間抓取任務(wù)，提高機(jī)器人三維手眼標(biāo)定精度與效率，分析并建立了機(jī)器人手眼標(biāo)定數(shù)學(xué)模型，提出一種無(wú)需外接其他設(shè)備的手眼標(biāo)定方法，標(biāo)定過(guò)程無(wú)需人為參與。對(duì)眼在手外的手眼模式進(jìn)行標(biāo)定實(shí)驗(yàn)，通過(guò)棋盤格角點(diǎn)識(shí)別、ICP變換、SVD求解得到轉(zhuǎn)換矩陣，采用Nelder-Mead法對(duì)深度比例因子進(jìn)行優(yōu)化，縮小標(biāo)定誤差。建立實(shí)驗(yàn)平臺(tái)對(duì)所提出三維手眼標(biāo)定方法的性能進(jìn)行驗(yàn)證，由實(shí)驗(yàn)結(jié)果可得，改進(jìn)方法的平均標(biāo)定誤差比標(biāo)準(zhǔn)方法減小了18.90%，標(biāo)定時(shí)間減少了49.12%，可見(jiàn)所提出方法相比基準(zhǔn)法的效率更高，能夠滿足標(biāo)定需求。

該方法的局限性包括光線干擾仍對(duì)標(biāo)定精度有著一定影響，對(duì)棋盤格中心與末端執(zhí)行器中心的偏移量存在測(cè)量誤差。未來(lái)的研究方向是進(jìn)一步減少光照的影響，避免測(cè)量誤差，增強(qiáng)方法的魯棒性。