陸藝 沈添秀 郭小娟 郭斌

摘要：為實現(xiàn)對工業(yè)機(jī)器人手眼關(guān)系的標(biāo)定，提出一種基于線結(jié)構(gòu)光視覺傳感器的手眼關(guān)系標(biāo)定方法。該方法在標(biāo)定時，將一個平面靶標(biāo)作為參考物固定在工業(yè)機(jī)器人工作空間內(nèi)，控制工業(yè)機(jī)器人末端運(yùn)動以帶動線結(jié)構(gòu)光視覺傳感器作多組變位姿運(yùn)動，獲取在不同位姿狀態(tài)下的平面靶標(biāo)圖像并對其進(jìn)行圖像處理。通過對圖像上固定特征點的測量，以及建立線結(jié)構(gòu)光視覺傳感器模型和手眼關(guān)系模型實現(xiàn)對線結(jié)構(gòu)光內(nèi)參數(shù)和手眼關(guān)系的標(biāo)定。用棋盤格標(biāo)定板進(jìn)行測量實驗驗證，實驗結(jié)果表明該方法準(zhǔn)確度為0.036mm，即優(yōu)于40μm，可用于工業(yè)機(jī)器人的測量應(yīng)用。

關(guān)鍵詞：手眼關(guān)系;線結(jié)構(gòu)光傳感器;標(biāo)定;工業(yè)機(jī)器人

中圖分類號：TP242.2 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-5124（2019）10-0006-04

0 引言

工業(yè)機(jī)器人廣泛應(yīng)用在工業(yè)制造領(lǐng)域，通常需要將測量傳感器安裝在機(jī)器人末端，以獲取被測物的三維信息。因此可將線結(jié)構(gòu)光視覺傳感器安裝于六軸工業(yè)機(jī)器人末端，構(gòu)成基于線結(jié)構(gòu)光的機(jī)器人視覺測量系統(tǒng)。該系統(tǒng)可通過控制機(jī)器人以不同位

收稿日期：2018-10-30;收到修改稿日期：2018-12-17

基金項目：浙江省基礎(chǔ)公益研究計劃項目（LGG18E050009）;浙江省科技計劃項目重大科技專項（2018001063）

作者簡介：陸藝（1979-），男，江蘇揚(yáng)州市人，副教授，碩士，研究方向為精密檢測技術(shù)、汽車零部件自動化測試。姿運(yùn)動，從而對目標(biāo)點進(jìn)行測量獲得測量坐標(biāo)系與目標(biāo)點之間位置關(guān)系。要實現(xiàn)上述測量過程，需要先對線結(jié)構(gòu)光傳感器內(nèi)參數(shù)和機(jī)器人手眼關(guān)系進(jìn)行標(biāo)定。其中線結(jié)構(gòu)光傳感器內(nèi)參數(shù)標(biāo)定根據(jù)靶標(biāo)不同分為三維標(biāo)定[1-2]和二維標(biāo)定[3]兩種。三維標(biāo)定靶標(biāo)具有一定精度，但靶標(biāo)成本和工藝要求高。二維靶標(biāo)制作簡單、效率高，標(biāo)定精度能滿足不同場合的測量需要。手眼關(guān)系標(biāo)定方法通常有有限場景點法[4]，平面靶標(biāo)法[5-7]，標(biāo)準(zhǔn)球法[8]等。其中手眼關(guān)系轉(zhuǎn)換矩陣的求解可通過兩步分離法[9]或單步法[10-11]得到，單步法可一步得到旋轉(zhuǎn)向量、平移向量，兩步分離法分兩步得到旋轉(zhuǎn)向量、平移向量，它存在累積誤差。

為此提出基于線結(jié)構(gòu)光視覺傳感器的手眼關(guān)系標(biāo)定的方法。該方法采用二維平面靶標(biāo)進(jìn)行標(biāo)定，并通過單步法求解手眼關(guān)系。它簡化工業(yè)機(jī)器人測量系統(tǒng)的標(biāo)定過程，僅通過控制機(jī)器人末端作位姿運(yùn)動同時得到攝像機(jī)內(nèi)外參數(shù)，線結(jié)構(gòu)光內(nèi)參數(shù)以及手眼關(guān)系，保證較高精度。以研華LNC-56000型六軸工業(yè)機(jī)器人為實驗平臺進(jìn)行標(biāo)定和測量實驗，驗證該方法的有效性。

1 系統(tǒng)標(biāo)定原理

1.1 線結(jié)構(gòu)光視覺傳感器模型

線結(jié)構(gòu)光傳感器數(shù)學(xué)模型如圖1所示，該傳感器包括CCD相機(jī)以及線激光器兩部分。其中被測點尸在圖像坐標(biāo)系OUV下坐標(biāo)為（u，v），在相機(jī)坐標(biāo)系O_cX_cY_cZ_c下坐標(biāo)為（x_c，y_c，z_c），在世界坐標(biāo)系O_wX_wY_wZ_w下坐標(biāo)為（x_w，y_w，z_w），像面坐標(biāo)系為OXY，相機(jī)主點坐標(biāo)為（u₀，v₀）。

結(jié)合上述模型，根據(jù)相機(jī)的投影變換模型，被測點尸在圖像坐標(biāo)系和相機(jī)坐標(biāo)系的關(guān)系為式（1），相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系為式（2）：其中k_x，k_y為相機(jī)X軸、Y軸放大系數(shù)，M_C為相機(jī)內(nèi)參數(shù)矩陣，_CM_W為相機(jī)坐標(biāo)和世界坐標(biāo)轉(zhuǎn)換關(guān)系外參數(shù)矩陣，包括旋轉(zhuǎn)矩陣R和平移矩陣T。

假設(shè)在相機(jī)坐標(biāo)系下光平面方程表示為：

z=Ax+By+C（3）

結(jié)合式（1）和式（3），可得到點P在相機(jī)坐標(biāo)下的坐標(biāo)為：

根據(jù)以上過程，已知光平面在相機(jī)下的方程即可得知空間某一點在相機(jī)坐標(biāo)系下的坐標(biāo)。式中k_x，k_y，u₀，v₀即為需要標(biāo)定的相機(jī)內(nèi)參數(shù)，光平面方程系數(shù)A，B，C即為待標(biāo)定的結(jié)構(gòu)光內(nèi)參數(shù)。

1.2 確定線結(jié)構(gòu)光內(nèi)參數(shù)

采用如圖2所示的棋盤格標(biāo)定板作為平面靶標(biāo)，棋盤格為7×7的方形靶標(biāo)，棋盤格大小為11mm×11mm。將標(biāo)定板固定放置在工業(yè)機(jī)器人工作空間內(nèi)，控制工業(yè)機(jī)器人帶動線結(jié)構(gòu)光傳感器不同姿態(tài)得到靶標(biāo)圖像。通過張正友標(biāo)定法[12]獲得相機(jī)內(nèi)外參數(shù)M_C，_CM_W，即k_x、k_y、u₀、v₀和靶標(biāo)坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣。靶標(biāo)上角點和激光條形成交點，這些交點都為光平面上的點，將它們作為標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù)的標(biāo)定特征點。由式（2）得到這些特征點在相機(jī)坐標(biāo)系下的坐標(biāo)。通過使機(jī)器人末端帶動線結(jié)構(gòu)光傳感器運(yùn)動到不同位置，獲取多組標(biāo)定特征點在相機(jī)坐標(biāo)系下的坐標(biāo)，由此可擬合相機(jī)坐標(biāo)系下的光平面方程，獲得線結(jié)構(gòu)光內(nèi)參數(shù)A、B、C。

1.3 手眼關(guān)系模型

把線結(jié)構(gòu)光視覺傳感器安裝在工業(yè)機(jī)器人末端，由此構(gòu)成機(jī)器人視覺測量系統(tǒng)。按照圖3所示建立坐標(biāo)系，其中O_b為機(jī)器人基坐標(biāo)系，Q_w為世界坐標(biāo)系，O_e為工業(yè)機(jī)器人末端坐標(biāo)系，O_c為相機(jī)坐標(biāo)系。

由1.1和1.2可知，激光器投射出的光平面與被測物體相交形成光條，根據(jù)相機(jī)內(nèi)參數(shù)及線結(jié)構(gòu)光傳感器內(nèi)參數(shù)即可得到被測點在相機(jī)坐標(biāo)系下的坐標(biāo)?？刂茩C(jī)器人運(yùn)動到不同位姿，通過式（5）將被測點的坐標(biāo)統(tǒng)一到世界坐標(biāo)系即機(jī)器人基坐標(biāo)系下，便可獲得被測物體三維數(shù)據(jù)。

P_b=A₆⁰XP_c（5）其中P_b為被測點P在機(jī)器人基坐標(biāo)下的坐標(biāo);P_c為被測點尸在相機(jī)坐標(biāo)系O_c下的坐標(biāo);A₆⁰為D-H[13]運(yùn)動學(xué)建模的機(jī)器人末端坐標(biāo)系De相對于基坐標(biāo)系O_b的坐標(biāo)轉(zhuǎn)換矩陣;X為待標(biāo)定的手眼關(guān)系矩陣即傳感器坐標(biāo)系O_c相對于機(jī)器人末端的坐標(biāo)變換，為常矩陣。

1.4 手眼關(guān)系標(biāo)定

同樣使用棋盤格作為標(biāo)定靶標(biāo)，選取棋盤格上的固定點作為手眼標(biāo)定特征點，把棋盤格固定在機(jī)器人工作空間內(nèi)，機(jī)器人帶動傳感器不同位姿下拍攝該點，并使該點處于激光面上。由1.3可知該點在傳感器坐標(biāo)系下坐標(biāo)記為P_c在機(jī)器人基坐標(biāo)下的坐標(biāo)記為P_b，手眼矩陣記為X，分別以齊次坐標(biāo)表示它們?yōu)椋?/p>

對固定點進(jìn)行n次測量，則有：

可由式（9）建立方程組：

對上述方程組進(jìn)行求解，可得到手眼矩陣X。

2 標(biāo)定實驗及結(jié)果

線結(jié)構(gòu)光視覺傳感器中選用分辨率為1280×960的相機(jī)，波長為650nm的紅外線一字線激光器，搭建完成的機(jī)器人視覺測量系統(tǒng)。

針對線結(jié)構(gòu)光的機(jī)器人視覺測量系統(tǒng)進(jìn)行標(biāo)定的實驗步驟如下：1）在激光器關(guān)閉情況下，使機(jī)器人在不同位姿拍攝20張棋盤格圖片，用于相機(jī)內(nèi)外參數(shù)的標(biāo)定，并使其中2個姿態(tài)得到圖片能夠適用于光平面標(biāo)定（激光線與某行角點重合）;2）在拍攝1）中的2個特殊位置的圖片時打開激光器，得到帶激光線的棋盤格靶標(biāo)照片;3）利用1）中獲取的圖像，通過Matlab標(biāo)定工具箱得到相機(jī)的內(nèi)參數(shù)，以及2張?zhí)厥馕恢玫耐鈪?shù)（棋盤格相對于相機(jī)的旋轉(zhuǎn)矩陣）;4）根據(jù)3），利用2）中的獲取的帶激光線特征點的圖像數(shù)據(jù)標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù);5）打開激光器從不同位姿拍攝9組圖像中包含固定點圖片;6）根據(jù)4）中得到的結(jié)果，利用5）中的數(shù)據(jù)，得到手眼矩陣。按照上述標(biāo)定步驟，得到攝像機(jī)內(nèi)夕滲數(shù)為：

線結(jié)構(gòu)光內(nèi)參數(shù)為：

A=-0.4602;B=0.0049;C=481.6375

手眼矩陣為：

3 精度驗證實驗

在完成上述標(biāo)定工作后，設(shè)計如下實驗對測量系統(tǒng)精度進(jìn)行驗證。在圖4中的兩個位置對棋盤格所示角點A、B、…、F，G、H、…、L進(jìn)行測量，驗證線結(jié)構(gòu)光內(nèi)參數(shù)和手眼關(guān)系的標(biāo)定結(jié)果。在機(jī)器人工作空間內(nèi)放置棋盤格，棋盤格每個格子邊長規(guī)格為11mm×11mm（準(zhǔn)確度3μm）。由上述方法標(biāo)定的線結(jié)構(gòu)光視覺傳感器讀出各待測點在傳感器坐標(biāo)系下的三維坐標(biāo)，并通過手眼關(guān)系結(jié)果轉(zhuǎn)換到機(jī)器人基座標(biāo)下，得到相應(yīng)線段AB，BC，…，KL的測量尺寸，將實際測得尺寸與標(biāo)準(zhǔn)尺寸比較。驗證實驗示意圖如圖4所示。

分別在不同姿態(tài)下進(jìn)行5次實驗，實驗結(jié)果統(tǒng)計如表1所示。從表中數(shù)據(jù)可知，取測量結(jié)果的平均值并求得其標(biāo)準(zhǔn)差為0.036mm，即該測量系統(tǒng)精度優(yōu)于40μm。

4 結(jié)束語

本文構(gòu)建了一種基于線結(jié)構(gòu)光的工業(yè)機(jī)器人視覺測量系統(tǒng)，并針對該系統(tǒng)提出基于線結(jié)構(gòu)光傳感器的手眼關(guān)系標(biāo)定，減小了因線結(jié)構(gòu)光參數(shù)的變化對整體測量精度的影響，使用同一標(biāo)定靶標(biāo)簡略了標(biāo)定步驟。該方法在獲取用于相機(jī)標(biāo)定靶標(biāo)圖像時，同時得到標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù)的圖像，在不同位姿變化中，基于單點約束標(biāo)定了手眼關(guān)系。最后通過測量棋盤格標(biāo)定板進(jìn)行精度驗證，實驗結(jié)果表明該方法具有較高測量精度即優(yōu)于40μm，可以應(yīng)用于工業(yè)機(jī)器人測量。

參考文獻(xiàn)

[1]DUAN F J，LIU F M，YE S H.A new accurate method for thecalibration of line structured light sensor[J].Chinese Journalof Scientific Instrument，2000，21（1）：108-110.

[2]WANG W，LI A，MA Z，et al.An automated method to robotcalibration using line-structure-light vision sensor[C]//IEEEInternational Conference on Automation and Logistics.IEEE，2009：1896-1899.

[3]FAN J，JING F，F(xiàn)ANG Z，et al.A simple calibration methodof structured light plane parameters for welding robots[C]//Chinese Control Conference.2016：6127-6132.

[4]XU H X，WANG Y N，WAN Q，et al.A self-calf-brationapproach to hand-eye relation of robot[J].Robot，2008，30（4）：373-378.

[5]KEFERSTEIN C P，MARXER M.Testing bench for lasertriangulation sensors[J].Sensor Review，1998，18（3）：183-187.

[6]WEI Z，XIE M，ZHANG G.Calibration method for linestructured light vision sensor based on vanish points andlines[C]//International Conference on Pattern Recognition.IEEE，2010：794-797.

[7]沈波波，許嘉璐，孔明.基于線結(jié)構(gòu)光的空調(diào)四通換向閥高度測量[J].中國測試，2018（3）：33-37.

[8]LIU Z，LI X J，LI F J，et al.Calibration method for line-structured light vision sensor based on a single ball target[J].Optics and Lasers in Engineering，2015，69：20-28.

[9]解則曉，牟楠，遲書凱，等.結(jié)構(gòu)光內(nèi)參數(shù)和機(jī)器人手眼關(guān)系的同時標(biāo)定[J].激光與紅外，2017，47（9）：1142-1148.

[10]熊會元，宗志堅，高群.一種線結(jié)構(gòu)光視覺傳感器手眼標(biāo)定方法及仿真[J].系統(tǒng)仿真學(xué)報，2010（9）：2223-2226.

[11]王金橋，段發(fā)階，伯恩，等.線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標(biāo)定[J].傳感技術(shù)學(xué)報，2014（9）：1196-1201.

[12]ZHANG Z.A flexible new technique for cameracalibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）：1330-1334.

[13]SHAH S V，SAHA S K，DUTT J K.Denavit-Hartenbergparameterization ofeuler angles[J].Journal ofComputational&Nonlinear Dynamics，2012，7（2）：021006-021006-10.

（編輯：劉楊）