黃朝興，陳丹，唐旭晟（.福州大學(xué)電氣工程與自動化學(xué)院先進控制技術(shù)研究中心，福建福州35008；.福州大學(xué)機械工程及自動化學(xué)院，福建福州35008）

帶激光筆的機器人主動視覺手眼標(biāo)定*

黃朝興1，陳丹1，唐旭晟2
（1.福州大學(xué)電氣工程與自動化學(xué)院先進控制技術(shù)研究中心，福建福州350108；2.福州大學(xué)機械工程及自動化學(xué)院，福建福州350108）

以固高GRB-400機器人和攝像機組成手眼系統(tǒng)，在手眼關(guān)系旋轉(zhuǎn)矩陣的標(biāo)定方面，分析了基于主動視覺的標(biāo)定方法。為實現(xiàn)手眼關(guān)系平移向量的標(biāo)定，提出以固定于機械臂末端的激光筆來獲取工件平臺上特征點的基坐標(biāo)，并結(jié)合已標(biāo)定的旋轉(zhuǎn)矩陣來標(biāo)定平移向量。最后，從圖像求取多個特征點之間的距離并與實際值進行誤差比較，平面特征點間的長度測量誤差在±0.8 mm之間，表明手眼標(biāo)定精度較高，可滿足機器人進行工件定位與自動抓取的要求。

機器人；手眼系統(tǒng)；主動視覺；激光筆；標(biāo)定

0 引言

當(dāng)今，機器人視覺系統(tǒng)以其精度高、成本效率高、連續(xù)性、靈活性等特點被廣泛應(yīng)用于電子原件裝配、焊接工程、零配件尺寸檢查等領(lǐng)域。手眼標(biāo)定是機器視覺系統(tǒng)中的關(guān)鍵技術(shù)，手眼標(biāo)定的精度將直接影響系統(tǒng)的定位精度。因此，為提高系統(tǒng)的定位精度，需要大量的實驗來實現(xiàn)手眼標(biāo)定，以減小最終誤差。在手眼標(biāo)定方面許多學(xué)者做了努力，并取得了一定的成果，如Ma[1]提出了主動視覺的方法，通過攝像機的正交平移運動，利用極點建立約束方程組，求解攝像機內(nèi)參數(shù)及手眼關(guān)系；楊廣林[2]等給出一種手眼標(biāo)定方法，僅需場景中的兩個特征點，通過控制攝像機做兩次平移運動和一次旋轉(zhuǎn)運動即可實現(xiàn)手眼標(biāo)定。此外，針對一些機器人如SCARA機器人，其在做旋轉(zhuǎn)運動時僅能繞z軸旋轉(zhuǎn)，對于一些手眼標(biāo)定方法該類機器人無法實現(xiàn)，如Shiu[3]和Tsai[4]的手眼標(biāo)定方法均要求至少需要旋轉(zhuǎn)軸不平行的兩組運動，才能唯一確定手眼矩陣的各分量。本文以固高GRB-400機器人和攝像機組成的手眼系統(tǒng)為研究對象，采用基于主動視覺的手眼標(biāo)定方法對手眼關(guān)系的旋轉(zhuǎn)矩陣進行標(biāo)定，借助于激光筆來獲取工件平臺上特征點的世界坐標(biāo)，然后根據(jù)特征點的世界坐標(biāo)和已標(biāo)定的旋轉(zhuǎn)矩陣來求取手眼關(guān)系的平移向量。

1 固高GRB-400機器人

四自由度GRB-400機器人是典型的SCARA機器人，具有3個旋轉(zhuǎn)關(guān)節(jié)和1個移動關(guān)節(jié)，采用D-H法建立坐標(biāo)系，如圖1所示。從控制器中獲取關(guān)節(jié)變量θ1、θ2、θ4、d3，由圖1可求得各連桿的變換矩陣，從而得到機械臂末端的位姿參數(shù)：

圖1 機器人D-H坐標(biāo)系

2 手眼關(guān)系的標(biāo)定

2.1 手眼系統(tǒng)中的坐標(biāo)變換

手眼關(guān)系示意圖如圖2所示，Qw-xyz、Qh-xyz和Qcxyz分別表示機器人基坐標(biāo)系、機械臂末端坐標(biāo)系和攝像機坐標(biāo)系，分別表示基坐標(biāo)系與機械臂末端坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量，分別表示機械臂末端坐標(biāo)系與攝像機坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移向量。設(shè)P為空間中的一點，Pw、Ph和Pc分別為點P在坐標(biāo)系Qw-xyz、Qh-xyz和Qc-xyz中的坐標(biāo)，則P在手眼系統(tǒng)中各坐標(biāo)系之間的關(guān)系如下：

2.2 手眼關(guān)系中旋轉(zhuǎn)矩陣的標(biāo)定

在手眼系統(tǒng)中，當(dāng)控制機械手做平移運動時，攝像機也隨著機械手做平移運動。參考文獻[1]給出了確定攝像機坐標(biāo)系平移方向的方法。

圖2 手眼關(guān)系示意圖

整理上式得：

類似地，控制機械手沿不同方向做兩次平移運動，設(shè)其平移向量分別為k b→2、k b→3，相應(yīng)的攝像機平移向量分別為k a→2、k a→3（a→i、b→i均為單位向量，i=2，3），同樣可推得：

將式（6）～（8）合成矩陣形式有：

由此可得手眼關(guān)系的旋轉(zhuǎn)矩陣：

在實際標(biāo)定過程中，可以只通過控制機械手沿相互正交的兩個方向平移，然后采用施密特正交化方法對得到的兩個攝像機平移向量進行正交化，第三個平移向量由前兩項叉乘得出，即由此可求得正交的旋轉(zhuǎn)矩陣Rhc。

2.3 手眼關(guān)系中平移向量的標(biāo)定

手眼關(guān)系的平移向量是通過以固定于機械臂末端的激光筆來獲取工件平臺上特征點的基坐標(biāo)，并結(jié)合已標(biāo)定的旋轉(zhuǎn)矩陣來標(biāo)定的。

2.3.1 基于激光筆求工件平臺上特征點的基坐標(biāo)

基于激光筆求特征點基坐標(biāo)的示意圖如圖3所示，工件平臺與基坐標(biāo)的z軸垂直（設(shè)工件平臺在z軸的坐標(biāo)位置已知），P為工件平臺上位置固定的特征點，設(shè)其基坐標(biāo)表示為，激光筆安裝于機械臂末端，即Qh-xyz坐標(biāo)系的A處，且使激光射線平行于Qh-xyz的z軸?？赏ㄟ^控制機械手上下移動觀察激光射線是否打在工件平臺上的同一點來判斷激光射線是否平行于Qh-xyz的z軸，若不是則調(diào)整激光筆直到激光射線與Qh-xyz的z軸相平行。易知當(dāng)激光射線與Qh-xyz的z軸相互平行時，激光射線上的點在Qh-xyz上具有相同的x、y軸坐標(biāo)值且不隨機械手的移動而改變，設(shè)分別為hxp、hyp。

圖3 基于激光筆求特征點基坐標(biāo)示意圖

首先，通過調(diào)整機器人的四個關(guān)節(jié)狀態(tài)使激光射線打在P點上（如圖3（a）所示），設(shè)此時P點在Qh-xyz中的坐標(biāo)為（wxp，wyp，wzp）T，從控制器中獲取當(dāng)前機器人的關(guān)節(jié)變量分別為θ11、θ21、d3、θ41，根據(jù)D-H法可求得機械臂末端的位姿參數(shù)易知旋轉(zhuǎn)矩陣具有如式（2）的形式，設(shè)為：

接著，保持機械臂末端與工件平臺的距離不變，即機器人的移動關(guān)節(jié)參數(shù)值仍為d3，改變機器人的其他三個旋轉(zhuǎn)關(guān)節(jié)，且仍使激光射線打在P點上（如圖3（b）所示），顯然此時的P點在Qh-xyz中的坐標(biāo)仍為（wxp，wyp，從控制器中獲取當(dāng)前機器人的關(guān)節(jié)變量分別為同理可求得且旋轉(zhuǎn)矩陣具有

式（2）的形式：

由式（12）、（13）可解得：

在基坐標(biāo)系下，對于工件平臺上的特征點的z軸坐標(biāo)值相等且為已知，因此只需求取x、y軸的坐標(biāo)值。將求得的（hxp，hyp）T帶入式（12）即可求得P點在基坐標(biāo)系下的x、y軸的坐標(biāo)值。為減?。╤xp，hyp）T的誤差，可采用對不同特征點重復(fù)多次實驗求平均的方法。

2.3.2 平移向量的標(biāo)定

根據(jù)手眼系統(tǒng)中的坐標(biāo)變換關(guān)系，由式（3）、（4）可得：

整理上式，得：

根據(jù)小孔成像的線性模型有：

將上式代入式（16）得：

標(biāo)定過程：控制機械手使工件平臺上已知基坐標(biāo)的特征點置于場景中，從控制器中獲取當(dāng)前機器人的關(guān)節(jié)變量求得從圖像上獲取特征點的圖像像素坐標(biāo)（u，v），zc可由參考文獻[2]給出的方法求得M均已標(biāo)定求出，則由式（19）即可求得手眼關(guān)系的平移向量通過重復(fù)多次實驗求平均，可減少誤差。

3 實驗結(jié)果及分析

本文的手眼系統(tǒng)的硬件部分主要有：四自由度GRB-400機器人、機器人控制柜、控制計算機、CCD攝像頭、圖像采集卡及其他輔助設(shè)備。攝像機安置于機械臂手爪的旋轉(zhuǎn)關(guān)節(jié)上，其采集的圖像尺寸為2 048× 1 536。

3.1 手眼關(guān)系旋轉(zhuǎn)矩陣的標(biāo)定實驗

控制機械手沿機械臂末端坐標(biāo)系的Zh+（“+”表示坐標(biāo)軸的正方向，“-”表示坐標(biāo)軸的負(fù)方向）方向移動10 mm，根據(jù)移動前后圖像特征對應(yīng)點求取攝像機的平移向量k a→1，再控制機械手沿機械臂末端坐標(biāo)系的Yh+方向移動10 mm，同樣可求得攝像機的平移向量k a→2，利用Schmidt正交化，令同時利用機械手平移的方向向量由式（10）求得手眼關(guān)系的旋轉(zhuǎn)矩陣同理控制機械手沿機械臂末端坐標(biāo)系的Zh-、Yh+、Zh+、Yh-、Zh-、Yh-方向移動10 mm，每兩次移動就可確定一個旋轉(zhuǎn)矩陣的多次實驗結(jié)果數(shù)據(jù)如表1所示，其中最大偏差為旋轉(zhuǎn)矩陣的計算值與平均值之間的偏差矩陣中的最大值。從表1可看出旋轉(zhuǎn)矩陣的偏差是穩(wěn)定的，取平均值作為標(biāo)定結(jié)果。即：

表1 手眼關(guān)系旋轉(zhuǎn)矩陣實驗結(jié)果

3.2 手眼關(guān)系平移向量的標(biāo)定實驗

在求平移向量之前，需通過激光筆來獲取工件平臺上特征點的基坐標(biāo)，因此先對激光筆在機械臂末端坐標(biāo)系x、y軸的坐標(biāo)位置進行標(biāo)定。通過多次標(biāo)定得到的數(shù)據(jù)結(jié)果如表2所示，其中偏差為的實驗計算值與平均值之間的差值。

表2 （hxp，hyp）T的標(biāo)定結(jié)果

在求得hxp、hyp后，控制機器人使激光射線打在工件平臺上基坐標(biāo)待求的特征點P上，從控制器中獲取當(dāng)前機器人的關(guān)節(jié)變量求得機械臂末端的位姿參數(shù)，由式（12）即可求得P點的基坐標(biāo)。

接著對手眼關(guān)系平移向量進行標(biāo)定：控制機械手使工件平臺上基坐標(biāo)已知的4個特征點置于場景中，從控制器中獲取當(dāng)前機器人的關(guān)節(jié)變量求得從圖像上獲取這些特征點的圖像像素坐標(biāo)，這些特征點的zc值按參考文獻[2]的方法另外求取，均已知，由式（19）即可求得手眼關(guān)系的平移向量平移向量的標(biāo)定結(jié)果數(shù)據(jù)如表3所示，其中最大偏差為平移向量的計算值與平均值之間的偏差向量中的最大值。

表3 手眼關(guān)系平移向量的標(biāo)定結(jié)果

由表3可看出，平移向量的最大偏差小于0.5 mm，取平均值為其標(biāo)定結(jié)果。即：

3.3 標(biāo)定結(jié)果測試

選取工件平臺上的4個點作為測試點，且將特征點置于不同的場景中，如圖4所示，通過求取特征點的基坐標(biāo)以求得這4個特征點兩兩之間的距離，實驗結(jié)果數(shù)據(jù)如表4所示，其中實際值為由游標(biāo)卡尺直接測量所得特征點之間的間距。

圖4 不同場景中的特征點圖像

由表4可得不同場景中特征點間距計算值與實際值的誤差曲線，如圖5所示。從圖5可以看出，特征點間距計算值與實際值的誤差在±0.8 mm之間，說明所標(biāo)定的手眼關(guān)系的旋轉(zhuǎn)矩陣和平移向量精度較高，可滿足機器人的工件定位與自動抓取的要求。

表4 不同場景中特征點間距的計算值與實際值

表5列出了本文方法和其他文獻方法的手眼標(biāo)定精度。從表5可以看出，參考文獻[5]的標(biāo)定精度最高，達(dá)到了0.5 mm，但其標(biāo)定過程要求機器人的外臂坐標(biāo)系到機器人基坐標(biāo)系的旋轉(zhuǎn)矩陣以及末端執(zhí)行器的高度保持不變，具有一定的局限性。而參考文獻[1]和參考文獻[6]的手眼標(biāo)定方法在求解平移向量時均需要機器人做旋轉(zhuǎn)運動，并且不能僅僅只繞某一軸旋轉(zhuǎn)，若僅繞某一軸旋轉(zhuǎn)將無法求出平移向量。在標(biāo)定精度方面，參考文獻[6]的標(biāo)定精度與本文方法相當(dāng)，而參考文獻[1]和參考文獻[5]的標(biāo)定精度均低于本文方法。

圖5 不同場景中特征點間距的誤差曲線圖

表5 幾種方法的手眼標(biāo)定精度

4 結(jié)論

本文提出了通過固定在機械臂末端的激光筆來獲取工件平臺上特征點的基坐標(biāo)，以此來標(biāo)定手眼關(guān)系的平移向量；通過場景中的兩個特征點，通過精確控制機械臂做2次特定的平移運動即可標(biāo)定出手眼關(guān)系的旋轉(zhuǎn)矩陣。實驗結(jié)果表明，本文方法的標(biāo)定精度較高（±0.8 mm），可滿足一般機器人工件自動抓取、跟蹤控制等作業(yè)的使用要求。此外，本文提出的方法對于平移向量的標(biāo)定，只需要求機器人末端手臂垂直于工件平臺，并使固定在該臂上的激光筆的射線平行于該臂坐標(biāo)系的z軸，這對于大多數(shù)的機器人都是易于實現(xiàn)的，因此本文的方法精度高，適用范圍廣。

[1]MA S D．A self-calibration technique for active vision systems[J]．IEEE Transactionsons on Robotics and Automation，1996，12（1）：114-120．

[2]楊廣林，孔令富，王潔.一種新的機器人手眼關(guān)系標(biāo)定方法[J].機器人，2006，28（4）：400-405.

[3]SHIU Y C，AHMAD S.Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB[J].IEEEE Transactions on Robotics& Automation，1989，5（1）：16-29.

[4]TSAI R Y，LENZ R K.A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEEE Transactions on Robotics&Automation，1989，5（3）：345-358.

[5]戚芳，席鋒.簡便高精度的機器人手眼視覺標(biāo)定方法[J].傳感器與微系統(tǒng)，2006，25（1）：27-29.

[6]張黎爍，趙志梅.基于主動視覺的結(jié)構(gòu)光手眼系統(tǒng)自標(biāo)定方法[J].科學(xué)技術(shù)與工程，2014，14（9）：202-206.

ARM攜手貴州大學(xué)共建大數(shù)據(jù)創(chuàng)新與人才培養(yǎng)基地培養(yǎng)明日大數(shù)據(jù)人才，打造可持續(xù)“云上貴州”

2015年8月21日，ARM?宣布與貴州大學(xué)合作建立“貴州大學(xué)—ARM創(chuàng)新與人才培養(yǎng)基地”，推動當(dāng)?shù)卮髷?shù)據(jù)教育發(fā)展，為打造長期可持續(xù)發(fā)展的“云上貴州”培養(yǎng)大數(shù)據(jù)人才。

通過該人才培養(yǎng)基地的建立，ARM將協(xié)同其大學(xué)計劃生態(tài)伙伴一起為貴州大學(xué)提供基于ARM的硬件及軟件系統(tǒng)套件，以及行業(yè)最新的專業(yè)級平臺和工具等服務(wù)，使得學(xué)生能夠掌握大數(shù)據(jù)領(lǐng)域的前沿技術(shù)。同時，ARM還將支持學(xué)校公共基礎(chǔ)課程教材改革，并持續(xù)提供多元化、高質(zhì)量、更廣泛的公開課程資料，覆蓋ARM mbedTM嵌入式系統(tǒng)課程與實驗、移動互聯(lián)開發(fā)課程與實驗、微服務(wù)器實踐課題、智能硬件實踐課題及Linux操作系統(tǒng)實訓(xùn)。并支持該創(chuàng)新與人才培養(yǎng)基地的各類學(xué)生競賽、創(chuàng)客、創(chuàng)業(yè)等活動。

ARM全球執(zhí)行副總裁兼大中華區(qū)總裁吳雄昂表示：“ARM致力于在中國產(chǎn)學(xué)結(jié)合，打造開放社區(qū)式創(chuàng)新生態(tài)系統(tǒng)。2014年國內(nèi)合作伙伴基于ARM架構(gòu)的中國芯出貨量超過15億片。貴州目前以發(fā)展大數(shù)據(jù)產(chǎn)業(yè)為中心，從各個產(chǎn)業(yè)環(huán)節(jié)推動創(chuàng)新，而ARM低功耗、高性能且具備可擴展性的處理器及相關(guān)技術(shù)能有效支持大數(shù)據(jù)市場的運營需求。與貴州大學(xué)的合作以核心課程合作為入口，是ARM大學(xué)計劃在中國開展以來的示范項目，促進產(chǎn)學(xué)研相結(jié)合，為貴州大數(shù)據(jù)教育與產(chǎn)業(yè)的可持續(xù)發(fā)展做出貢獻?！?/p>

ARM憑借其在全球先進數(shù)字產(chǎn)品的技術(shù)核心地位，積極開展大學(xué)計劃，鼓勵將ARM處理器用作教育實驗和大學(xué)課程的基礎(chǔ)，并聯(lián)合行業(yè)合作伙伴為工程領(lǐng)域的高校學(xué)生提供基于各自專業(yè)技術(shù)領(lǐng)域的高質(zhì)量教學(xué)內(nèi)容。此次建立的“貴州大學(xué)—ARM創(chuàng)新與人才培養(yǎng)基地”作為ARM大學(xué)計劃在中國發(fā)展的重要實踐，不僅將有助于促進貴州大數(shù)據(jù)人才培養(yǎng)，還將幫助大學(xué)教育體系應(yīng)對逐步升高的行業(yè)需求，加快優(yōu)質(zhì)教學(xué)資源的共享，推進教學(xué)改革，促進大數(shù)據(jù)教育發(fā)展。

（ARM供稿）

Robotic hand-eye calibration based on active vision w ith laser pointer

Huang Chaoxing1，Chen Dan1，Tang Xusheng2
（1.Research Center of Advanced Control Technology，College of Electrical Engineering and Automation，F(xiàn)uzhou University，F(xiàn)ouzhou 350108，China；2.School of Mechanical Engineering and Automation，F(xiàn)uzhou University，F(xiàn)ouzhou 350108，China）

In terms of the rotation matrix calibration of the hand-eye relation，the calibration method based on active vision for eye-in-hand system which is consisted of Googol GRB-400 robot and camera is analyzed.The world coordinates of the feature point on the workpiece platform are obtained by laser pointer mounted on the mechanical arm which is proposed for the calibration of translation vector of the hand-eye relation combined with the calibrated rotation matrix.Finally，the result can be get that the measurement error range of the lengths between the plane feature points is±0.8 mm，which indicates the hand-eye calibration precision is high，through calculating the distances between multiple feature points from the image and comparing the error with the actual values，and it can meet the requirements of workpiece positioning and automatic grabbing for robot.

robot；eye-in-hand system；active vision；laser pointer；calibration

TP24

A

1674-7720（2015）17-0070-05

黃朝興，陳丹，唐旭晟.帶激光筆的機器人主動視覺手眼標(biāo)定[J].微型機與應(yīng)用，2015，34（17）：70-74.

2015-04-05）

黃朝興（1990-），男，碩士研究生，主要研究方向：機器視覺。

陳丹（1977-），女，博士，副教授，主要研究方向：網(wǎng)絡(luò)機器人控制技術(shù)，預(yù)測控制，智能控制以及機器人視覺。

唐旭晟（1973-），男，博士，副研究員，主要研究方向：機器視覺，圖像處理等。

國家自然科學(xué)基金資助項目（61174051）；福建省自然科學(xué)基金項目（2013J01226）