楊厚易

(西南科技大學 信息工程學院，四川 綿陽 621010)

0 引言

視覺引導技術(shù)通過在機器人的控制環(huán)中加入視覺信息，使得機器人對環(huán)境有一定的感知能力，并通過視覺獲取工作軌跡，引導機器人按照視覺給定的位姿工作。機器人視覺引導的優(yōu)勢主要體現(xiàn)在：(1)良好的適應性。對于同一生產(chǎn)線上不同拓撲結(jié)構(gòu)的工件，可通過視覺獲取不同工件的位姿信息，實現(xiàn)一機多工件操作。由于視覺信息的引入，也可較少地考慮工裝過程中的工件誤差，降低了系統(tǒng)加工成本。(2)非結(jié)構(gòu)化環(huán)境的自動化。視覺引導通過引入視覺信息，使得機器人能夠認知環(huán)境，收集環(huán)境信息并處理，達到工作環(huán)境的穩(wěn)定和認知，使得機器人在未知環(huán)境中也能進行生產(chǎn)作業(yè)任務(wù)。

視覺引導技術(shù)可通過是否需要進行手眼標定來進行粗略的分類，對于需要進行手眼標定的視覺引導系統(tǒng)，其主要采用基于位置的視覺引導控制系統(tǒng)(PBVS)。PBVS系統(tǒng)中間變量傳遞的都是位姿信息，通過位姿信息在系統(tǒng)運動鏈中的傳遞與轉(zhuǎn)換來控制機器人的運動軌跡。由于傳遞的是不同參考系下的位姿信息，坐標系之間位置關(guān)系的標定就顯得尤為重要，這就要求高精度的機器人手眼標定。

無標定的視覺引導系統(tǒng)主要采用基于圖像的視覺引導控制系統(tǒng)(IBVS)，IBVS系統(tǒng)通過建立圖像空間與機器人空間之間的圖像雅可比矩陣來控制機器人運動，其最大的優(yōu)勢在于只需要進行弱標定[1]甚至無標定[2]。而這種控制方法非常依賴對圖像特征的提取，在工業(yè)應用中，大部分的工件并沒有非常明顯的特征，即使有明顯的特征，視覺系統(tǒng)要對這些特征進行穩(wěn)定的提取需要穩(wěn)定的光源和高質(zhì)量的相機。這種控制結(jié)構(gòu)不依賴高精度的控制模型標定，但其控制過程中所面臨的特征提取和穩(wěn)定性等一系列關(guān)鍵問題使得無標定視覺控制系統(tǒng)在目前工業(yè)中很少得到應用，有學者針對無標定視覺引導技術(shù)的發(fā)展和前景進行了深入的分析和展望[3]。

本文針對工業(yè)應用較多的PBVS系統(tǒng)，在HALCON平臺下使用線性標定法實現(xiàn)了固定相機結(jié)構(gòu)下6DOF機器人手眼標定。通過對標定結(jié)果的反演，針對標定過程中圖像數(shù)量和相機模型對手眼標定精度的影響進行了分析。

1 機器人的手眼標定

手眼標定是PBVS控制系統(tǒng)中極為關(guān)鍵的一環(huán)，對模型的標定精確度會直接影響機器人的作業(yè)準確度。PBVS系統(tǒng)中，根據(jù)視覺結(jié)構(gòu)可分為移動相機結(jié)構(gòu)(Moving Camera)和固定相機結(jié)構(gòu)(Stationary Camera)。移動相機結(jié)構(gòu)是將相機安裝在機器人的本體上同機器人之間剛性連接，相機隨著機器人手部的運動而運動。對于這種視覺結(jié)構(gòu)，手眼標定的目的是計算機器人工具坐標系與相機坐標系之間的關(guān)系。對于固定相機的視覺結(jié)構(gòu)，相機安裝在環(huán)境中的某一個位置，相對于機器人的基坐標保持固定。在這種視覺結(jié)構(gòu)下手眼標定的目的則是確定相機坐標系與機器人基坐標系之間的旋轉(zhuǎn)位移關(guān)系。學者們對機器人的手眼標定方法進行了廣泛而深入的研究，早在19世紀80年代，文獻[4]就提出了稱為Tasi兩步法的經(jīng)典手眼標定方法，通過將手眼位姿矩陣的旋轉(zhuǎn)和平移兩個部分進行分解，先求解轉(zhuǎn)動部分，然后正交化旋轉(zhuǎn)部分再求平移部分。在Tasi之后，Zhuang Hanqi[5]將機器人手眼轉(zhuǎn)換部分與執(zhí)行器進行整體建模，用于機器人運動學參數(shù)校準。文獻[6]利用光流場的法向?qū)?shù)，采用兩個微小平移來計算光軸方向，然后通過兩個旋轉(zhuǎn)計算平移部分。隨著學者們的深入研究，各種高效的手眼標定方法也被相繼提出[7-9],通過學者們對手眼標定的大量研究，PBVS控制系統(tǒng)在工業(yè)的各個領(lǐng)域得到了廣泛的應用。

2 HALCON中的手眼標定

HALCON是由德國MVTec公司推出的一套標準的機器視覺庫，集成了大量視覺算法，為手眼機器人的手眼標定提供了極大的便利。本文采用了線性手眼標定法，該方法默認相機是沒有畸變的，即沒有相機畸變的非線性影響。因此在進行手眼標定之前必須進行相機標定，獲取相機內(nèi)參數(shù)據(jù)，對圖片進行畸變矯正。

2.1 線性標定原理

(1)

(2)

(3)

A=XB

(4)

(5)

該手眼標定方法就是線性標定法，也就是在默認相機沒有畸變的情況下進行。為了取得較高的手眼標定精度，在使用HALCON進行手眼標定之前，必須進行相機標定。HALCON也為相機標定提供了快捷的方法，在HALCON的標定助手中，可以選擇精度較低的線性相機模型(Division)，該種方法只能處理徑向畸變；也可以使用精度較高的多項式模型，多項式模型下的標定精度更高，且能夠?qū)η邢蚧冇幸欢ǖ难a償作用。對于手眼標定來說，可以采用更高精度的多項式模型來進行相機標定，提高手眼標定的精度。

2.2 機器人姿態(tài)信息的處理

對于不同的機器人，其采用的位姿表示法略有不同。絕大部分機器人的位姿表示法都以基坐標作為參考坐標系，位姿表示中的位置量沒有什么區(qū)別，但姿態(tài)量的表示卻略有不同。主要分為XYZ歐拉角、ZYX歐拉角和ZYZ歐拉角。以ZYX歐拉角為例，ZYX歐拉角姿態(tài)表示法首先將坐標系B與一個已知的參考坐標系A(chǔ)重合，將B坐標系繞著B坐標系的Z軸旋轉(zhuǎn)α角，然后再繞變化后的坐標系B的Y軸旋轉(zhuǎn)β角，最后繞又一次變化后的坐標系B的X軸旋轉(zhuǎn)γ角。這種表示法中，每次都是繞運動坐標系B的各軸旋轉(zhuǎn)，每次旋轉(zhuǎn)所繞的軸的方位取決于上次的旋轉(zhuǎn)。B相對于A的最終姿態(tài)可表示為(下標有撇號表示使用了歐拉角描述旋轉(zhuǎn))：

(6)

(7)

(8)

(9)

HALCON中的算子只支持RPY(固定軸)位姿表示法，RPY位姿表示法與歐拉角表示法的不同在于，RPY表示法中每次的旋轉(zhuǎn)運動都是在固定(不運動)參考坐標系中確定的。在這種姿態(tài)表示法下，讓B坐標系繞著固定參考坐標系A(chǔ)的X軸旋轉(zhuǎn)γ角，再繞著固定坐標系A(chǔ)的Y軸旋轉(zhuǎn)β角，最后繞固定坐標系A(chǔ)的Z軸旋轉(zhuǎn)α角。B相對于A的最終位姿可表示為：

(10)

其中的旋轉(zhuǎn)矩陣和歐拉表示法中的旋轉(zhuǎn)矩陣相同，通過旋轉(zhuǎn)矩陣的乘積結(jié)果來看，式(6)和式(10)的結(jié)果是等價的。可見三次繞固定軸旋轉(zhuǎn)的最終位姿與以相反順序三次繞運動坐標軸旋轉(zhuǎn)的最終位姿相同，即ZYX歐拉角表示法等價于XYZ RPY角表示法。

在HALCON為每張圖片匹配相應的機器人位姿數(shù)據(jù)時，首先要確認機器人所使用的參考坐標系和姿態(tài)表示法。如果機器人使用的是歐拉姿態(tài)表示法，在進行手眼標定時需要將姿態(tài)數(shù)據(jù)處理為RPY角的形式。

2.3 標定結(jié)果的反演

(11)

通過對標定結(jié)果的反演，可以直觀地觀察到手眼標定的精確度。

3 實驗驗證

實驗使用了六自由度Kinova輕量型仿生機械臂和XB3相機，軟件平臺使用了HALCON13。標定板采用HALCON推薦使用的49圓標定板，尺寸為200 mm×200 mm。XB3相機的分辨率為1 280×960，焦距為3.8 mm，相機放置在機械臂的正前方約1 m的位置。標定板被粘貼到了一塊亞力克板之上，亞力克板堅硬且輕盈，Kinova機械臂末端抓手可將其牢牢地抓穩(wěn)，保證標定板不會在移動的過程中和工具坐標系發(fā)生相對位移。在進行手眼標定之前，XB3相機已經(jīng)通過多項式相機模型進行了畸變校正。Kinova機械臂的工具坐標系位姿信息可以通過官方配套的DevelopmentCenter軟件進行實時查看，需要特別注意的是，Kinova機械臂的姿態(tài)表示法為ZYX RPY角表示法，在調(diào)用HALCON算子制作機械臂姿態(tài)文件時要進行標識，告知HALCON關(guān)于機械臂的姿態(tài)表示方法。

通過使用HALCON進行手眼標定后對標定結(jié)果進行反演，在15張圖片的情況下，結(jié)果如圖1所示。從圖1可以直觀地看到，通過多項式相機模型進行鏡頭畸變矯正以后，標定的誤差極小，通過對變量窗口中的數(shù)據(jù)進行對比，在圖像坐標系中的位置最大誤差為3.923 mm，均方誤差為3.143 mm，角度最大誤差為1.889°，均方誤差為1.356°。

圖1 反演后的結(jié)果(左:標定時提取的坐標信息；右:反演計算的坐標信息)

通過采集多組包含不同數(shù)量的帶有標定板的圖片集(不同圖片集中圖像不重復)，對反演計算出的圖像坐標中的位置量和姿態(tài)量進行統(tǒng)計處理，繪制出了圖2和圖3的誤差曲線圖。從圖2和圖3中可以看到，使用更為精確的多項式攝像機模型能夠提高手眼標定的準確度，在圖片數(shù)量較少時，使用精確的攝像機模型可以降低位置誤差和角度誤差。當圖片數(shù)量較多時，兩種攝像機模型下的位置誤差和角度誤差都呈上升趨勢。多項式模型誤差曲線上升得較為緩慢，但使用線性模型的情況下，誤差上升的趨勢明顯，這是由于線性模型對鏡頭畸變的修復能力有限，當圖片數(shù)量增多時，會有更多的高維空間的數(shù)據(jù)點參與線性擬合過程。隨著圖片的增多，鏡頭畸變的影響越發(fā)明顯。

圖2 位置誤差曲線

圖3 角度誤差曲線

當使用同樣的攝像機模型時，在拍攝圖片數(shù)量不足時誤差較大。隨著圖片數(shù)量的增多，誤差會達到最低，而當圖片數(shù)量過多時，誤差又開始增加，這也是由相機的畸變造成的。可得出結(jié)論，對于6DOF的Kinova機械臂，手眼標定采集的圖像數(shù)在15～20張為宜。

4 結(jié)束語

本文通過HALCON平臺提供的豐富的機器視覺算子實現(xiàn)了6DOF機械臂的手眼標定，闡述了線性標定的原理。實驗標定精度達到了毫米級，可以滿足生產(chǎn)線上一般工件的抓取任務(wù)進度要求。研究了不同圖像數(shù)量和不同相機模型對手眼標定的精度影響。實驗證明對于6DOF的機器人采集15～20張用于手眼標定的圖片可以達到較好的標定精度，采用更高精度的攝像機模型消除相機的畸變影響可以提高手眼標定的精度。

[1] Wang Ying, Zhang Guanlu, Lang Haoxiang, et al. A modified image-based visual servo controller with hybrid camera configuration for robust robotic grasping[J]. Robotics & Autonomous Systems, 2014, 62(10):1398-1407.

[2] Cai Caixia, SOMANI N, NAIR S, et al. Uncalibrated stereo visual servoing for manipulators using virtual impedance control[C]. International Conference on Control Automation Robotics & Vision. IEEE, 2015:1888-1893.

[3] 陶波, 龔澤宇, 丁漢. 機器人無標定視覺伺服控制研究進展[J]. 力學學報, 2016, 48(4):767-783.

[4] TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics & Automation, 1989, 5(3):345-358.

[5] Zhuang Hanqi, ROTH Z S, SUDHAKAR R. Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB[J]. IEEE Transactions on Robotics & Automation, 1994,10(4):549-554.

[6] MALM H, HEYDEN A. Simplified intrinsic camera calibration and hand-eye calibration for robot vision[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2003:1037-1043.

[7]王君臣,王田苗,楊艷,等. 非線性最優(yōu)機器人手眼標定[J]. 西安交通大學學報, 2011, 45(9):15-20.

[8]HELLER J, HENRION D, PAJDLA T. Hand-eye and robot-world calibration by global polynomial optimization[C]. IEEE International Conference on Robotics and Automation. arXiv, 2014:3157-3164.

[9] Mo Yuda, Zou Xiangjun, Ye Min, et al. Hand-eye calibration method based on sylvester equation deformation for lychee harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(4):47-54.