孫家樂 羅 晨 周怡君 王偉 張剛

1.東南大學(xué)機械工程學(xué)院,南京,2111892.無錫黎曼機器人科技有限公司,無錫,214000

0 引言

光學(xué)三維視覺測量具有非接觸、高精度、高效率的特點,發(fā)展很快。雙目視覺測量[1]作為最接近人眼的系統(tǒng),可以通過雙目圖像特征的匹配和三維重建實現(xiàn)高精度的產(chǎn)品位姿計算和裝配。雙目視覺測量通常需要借助測量物體信息或主動投影結(jié)構(gòu)光[2]獲取額外信息來尋找匹配特征。機器人視覺三維測量系統(tǒng)廣泛應(yīng)用于曲面測量[3]、目標(biāo)抓取[4]和機器人焊接[5]等領(lǐng)域。利用機器人關(guān)節(jié)給視覺測量系統(tǒng)添加多個自由度的位姿[6]可以提高測量系統(tǒng)的適應(yīng)性,使其適用于更復(fù)雜的形狀和拓撲結(jié)構(gòu)的曲面三維測量。

機器人視覺三維測量系統(tǒng)的相機標(biāo)定是三維重建的基礎(chǔ),標(biāo)定的精度直接決定測量的精度。主動視覺相機標(biāo)定法[7]精度高、魯棒性強,但標(biāo)定使用的設(shè)備昂貴、標(biāo)定成本高;相機自標(biāo)定法[8]可在線實時標(biāo)定,但精度差。經(jīng)典的Tsai兩步法[9]、張正友標(biāo)定法[10]可在常見的相機模型上選定特定的標(biāo)定物進行標(biāo)定。為統(tǒng)一視覺系統(tǒng)坐標(biāo)系和機器人坐標(biāo)系,機器人視覺測量系統(tǒng)需要穩(wěn)定性好、精度高的手眼標(biāo)定技術(shù)[11]。手眼標(biāo)定使用的視覺系統(tǒng)相機標(biāo)定參數(shù)和機器人位姿數(shù)據(jù)均存在誤差,且標(biāo)定精度還受環(huán)境噪聲影響,因此如何提高手眼標(biāo)定的效率和精度仍是研究的焦點和難點?；贏x=xB方程求解的Eye-in-Hand手眼標(biāo)定模型[12]適用于視覺系統(tǒng)固接在機器人末端并隨機器人位姿變換進行測量和分析的情景。求解Ax=xB方程的經(jīng)典方法主要有四元數(shù)和對偶四元數(shù)[13-14]、克羅內(nèi)克積[15]、歐幾里得群[16]等。近年來的研究主要集中在手眼標(biāo)定解析解的參數(shù)優(yōu)化問題上。ZHI等[17]首先利用克羅內(nèi)克積計算手眼標(biāo)定參數(shù)的初始解,然后交替采用三角測量法和光束平差法優(yōu)化手眼標(biāo)定參數(shù)初始解。SHANG等[18]通過分析影響手眼標(biāo)定精度的因素,優(yōu)化調(diào)整標(biāo)定的具體步驟。KOIDE等[19]、MALTI[20]分別通過圖像的重投影誤差和圖像對的對極誤差最小化優(yōu)化手眼標(biāo)定參數(shù)和相機標(biāo)定參數(shù)。若機器人視覺測量系統(tǒng)還包含直線導(dǎo)軌平動或多個機器人的協(xié)同運動,則上述手眼標(biāo)定參數(shù)的優(yōu)化方法需要調(diào)整以滿足測量系統(tǒng)的需求。

本文研究對象是一個多自由度的三維視覺測量系統(tǒng),研究的關(guān)鍵是系統(tǒng)標(biāo)定過程。系統(tǒng)標(biāo)定除了進行相機標(biāo)定和手眼標(biāo)定外,還要對直線導(dǎo)軌、旋轉(zhuǎn)平臺等額外增加的參考坐標(biāo)系之間的位姿變換關(guān)系進行分析計算。相機標(biāo)定、手眼標(biāo)定和旋轉(zhuǎn)軸標(biāo)定等都會產(chǎn)生誤差,且多種誤差相互耦合。為得到更高精度的標(biāo)定結(jié)果,提出一種基于多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化方法,并提出相應(yīng)的精度評估方法和相應(yīng)指標(biāo)以評估標(biāo)定誤差和參數(shù)優(yōu)化效果。

1 復(fù)雜視覺測量系統(tǒng)

如圖1所示,復(fù)雜視覺測量系統(tǒng)涉及多個參考坐標(biāo)系,主要包括:相機坐標(biāo)系{C}、機器人末端坐標(biāo)系{E}、機器人基坐標(biāo)系{S}、導(dǎo)軌坐標(biāo)系{O1}、轉(zhuǎn)臺中心坐標(biāo)系{O2},以及后續(xù)標(biāo)定引入的標(biāo)定板坐標(biāo)系{G}。

圖1 系統(tǒng)結(jié)構(gòu)示意與坐標(biāo)系分布

機器人基坐標(biāo)系{S}始終沿導(dǎo)軌參考坐標(biāo)系{O1}的某一固定方向運動,因此可將直線導(dǎo)軌視為機器人延展軸,即導(dǎo)軌平動位姿可以與機器人位姿合并。導(dǎo)軌基座固定,因此設(shè)導(dǎo)軌坐標(biāo)系{O1}為系統(tǒng)的世界坐標(biāo)系,并設(shè){O1}原點為導(dǎo)軌位置零點。{O1}的Y軸方向為導(dǎo)軌運動方向,也是機器人基坐標(biāo)系{S}在{O1}下的運動方向。{O1}的Z軸豎直向上。測量系統(tǒng)依據(jù)坐標(biāo)系的轉(zhuǎn)換關(guān)系可得

Y=NXM

(1)

式中,X為坐標(biāo)系{C}到坐標(biāo)系{E}的機器人手眼標(biāo)定矩陣;Y為坐標(biāo)系{O2}到坐標(biāo)系{O1}的變換矩陣;M為由旋轉(zhuǎn)軸標(biāo)定[21]得到的坐標(biāo)系{O2}到坐標(biāo)系{C}的變換矩陣;N為由機器人-導(dǎo)軌位姿數(shù)據(jù)計算得到的坐標(biāo)系{E}到坐標(biāo)系{O1}的位姿變換矩陣。

不失一般性,設(shè)轉(zhuǎn)臺中心坐標(biāo)系{O2}的原點為旋轉(zhuǎn)中心軸與轉(zhuǎn)臺平面的交點,其X軸、Y軸分別與坐標(biāo)系{O1}的X軸、Y軸平行,則矩陣Y的旋轉(zhuǎn)變換陣為單位陣。

2 多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化

2.1 測量系統(tǒng)標(biāo)定

利用機器人手眼標(biāo)定矩陣X和旋轉(zhuǎn)軸標(biāo)定矩陣M并結(jié)合機器人-導(dǎo)軌位姿數(shù)據(jù),可由式(1)求得變換矩陣Y。測量系統(tǒng)標(biāo)定過程如圖2所示。標(biāo)定使用常見的棋盤格標(biāo)定板,角點為特征點,且所有角點都在相機視場內(nèi)。

機器人-導(dǎo)軌位姿變換矩陣N的改變會帶動視覺系統(tǒng)運動改變相機坐標(biāo)系的位姿,進而使旋轉(zhuǎn)軸標(biāo)定矩陣M改變,因此系統(tǒng)標(biāo)定通常先進行旋轉(zhuǎn)軸標(biāo)定,再進行手眼標(biāo)定。旋轉(zhuǎn)軸標(biāo)定使用相機拍攝轉(zhuǎn)臺多個轉(zhuǎn)角下的棋盤格圖案,利用棋盤格上的多個角點在同一相機坐標(biāo)系下的各點坐標(biāo)計算多個圓心。根據(jù)所有圓心坐標(biāo),計算各圓心的重心點坐標(biāo)并擬合得到相機坐標(biāo)系下旋轉(zhuǎn)軸的方向向量,最終結(jié)合轉(zhuǎn)角可構(gòu)造出旋轉(zhuǎn)軸標(biāo)定矩陣M。由于測量系統(tǒng)的視覺部件固定于機器人末端支架,因此可以基于Eye-in-Hand手眼標(biāo)定方程Ax=xB[12]并結(jié)合張正友相機標(biāo)定原理[10]求解X。

上述標(biāo)定過程都存有誤差,為提高標(biāo)定精度,提出一種基于多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化方法。在介紹方法前,先定義多維角點誤差并對不同標(biāo)定過程的多維角點誤差進行分析。

2.2 多維角點誤差

不同維度誤差的計算量綱不一致,相機二維成像平面上的角點誤差E2D量綱為像素(pixel),而三維重建后的角點誤差E3D量綱通常為mm。這里通過最小二乘法[22]求得的權(quán)重系數(shù)α來平衡不同量綱的誤差。多維角點誤差可表示為

Emulti=αE2D+E3D

(2)

2.2.1二維成像平面的角點誤差E2D

二維成像平面角點誤差E2D主要有重投影誤差Erep和對極誤差Eepi。

(1)重投影誤差[23]是標(biāo)定后空間中的三維角點根據(jù)相機的投影矩陣計算得到的圖像所有角點位置與實際圖像對應(yīng)角點位置的距離總和:

(3)

(2)對極誤差。對極幾何約束的構(gòu)建需要依靠左右相機拍攝圖像的成像點對及兩相機坐標(biāo)系轉(zhuǎn)換關(guān)系[24-25]。對極誤差是左右各匹配點對及其所在左右極平面上對應(yīng)極線間的距離平方之和:

(4)

2.2.2三維重建角點誤差E3D

三維重建角點誤差E3D的計算如下:先將三維重建出的相鄰行列角點的距離與棋盤格標(biāo)定板對應(yīng)距離真實值依次相減,得到所有重建角點的距離偏差,再對所有偏差求和。結(jié)合雙目相機標(biāo)定結(jié)果匹配左右標(biāo)定圖像的所有角點,再對所有匹配角點對進行三角計算,求得所有角點的三維坐標(biāo)[26]。三維重建角點誤差計算公式為

(5)

式中,Dc為實際棋盤格相鄰角點間隔距離;d(Ch,Cv)為由三維重建得到的棋盤格水平和豎直方向上相鄰角點坐標(biāo)Ch、Cv的歐氏距離。

2.3 不同標(biāo)定過程的誤差分析

2.3.1雙目相機標(biāo)定過程誤差

雙目相機標(biāo)定誤差由左右相機圖像投影點的重投影誤差和對極誤差組成:

(6)

(7)

(8)

(9)

2.3.2旋轉(zhuǎn)軸標(biāo)定和手眼標(biāo)定過程誤差

旋轉(zhuǎn)軸標(biāo)定和手眼標(biāo)定均只需要單一相機標(biāo)定配合轉(zhuǎn)臺、機器人-導(dǎo)軌位姿求解M和X。標(biāo)定誤差由二維成像平面角點誤差及三維重建角點誤差組成,可表示為

(10)

(11)

旋轉(zhuǎn)軸標(biāo)定與手眼標(biāo)定僅使用左相機,計算M和X標(biāo)定過程的對極誤差時,基礎(chǔ)矩陣F計算公式有所不同:

(12)

(13)

式中,N0為旋轉(zhuǎn)軸標(biāo)定對應(yīng)的初始機器人-導(dǎo)軌位姿;Trot,i為第i組旋轉(zhuǎn)平臺轉(zhuǎn)角位姿;Nj為用于手眼標(biāo)定的第j組機器人-導(dǎo)軌位姿。

2.4 基于多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化方法

(14)

基于LM算法對標(biāo)定參數(shù)進行迭代優(yōu)化[25,27]的偽代碼如下:

算法1:基于多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化輸入:X0,K1,K2,N0,Nj,Trot,i,ci,j,Ch,Cv輸出:X^1:初始化Δx←+∞,q←02:whileΔx>10-5and q<104 do3: for i=1 to n do4: for j=1 to m do5: FC←K-T2TCcK-116: FMi←K-T1f(XN0Trot,iN-10X-1)K-117: FXj←K-T1f(XNj+1N-1jX-1)K-118: 計算雙目相機標(biāo)定誤差ECscc9: 計算旋轉(zhuǎn)軸標(biāo)定誤差EMmuti10: 計算手眼標(biāo)定誤差EXmuti11: E(X)←min(ECscc+EMmuti+EXmuti)12: x←X(羅德里格斯逆變換)13: E(x)←E(X)(雅可比矩陣變換)14: Δx=(ET(x)E(x)+μqI)-1ET(x)f(x)15: xq+1=xq-Δx16: X^←x(羅德里格斯變換)17: q←q+118: end for19: end for20:end while21:return X^

(15)

設(shè)殘差函數(shù)f(x)=(f1(x),f2(x),…,fk(x))T,對x=(r1,r2,r3,t1,t2,t3)中各參數(shù)求偏導(dǎo)可得對應(yīng)的雅可比矩陣E(x)。迭代優(yōu)化的公式為

(16)

式中,μq為第q次的修正項;Δx為LM迭代增量。

參數(shù)在優(yōu)化過程中迭代更新,直到迭代增量小于10-5或迭代次數(shù)達到104。

3 標(biāo)定精度評估方法

測量系統(tǒng)標(biāo)定過程中的誤差包含系統(tǒng)標(biāo)定算法誤差、硬件誤差,以及固有的系統(tǒng)安裝誤差。系統(tǒng)標(biāo)定算法誤差是一系列雙目相機標(biāo)定誤差、手眼標(biāo)定誤差、旋轉(zhuǎn)軸標(biāo)定誤差耦合疊加的結(jié)果。硬件誤差包含機器人-導(dǎo)軌各關(guān)節(jié)運動以及旋轉(zhuǎn)平臺的位姿誤差。硬件誤差是標(biāo)定過程中的位姿數(shù)據(jù)測量值和實際值不一致產(chǎn)生的隨機誤差。系統(tǒng)安裝誤差是測量系統(tǒng)實際安裝尺寸與標(biāo)稱尺寸之間的誤差,且在測量系統(tǒng)裝配完成后固定不變。

標(biāo)定模型Y=NXM中,轉(zhuǎn)臺中心坐標(biāo)系到世界坐標(biāo)系的變換矩陣Y的誤差可評估系統(tǒng)整個標(biāo)定過程中的誤差。旋轉(zhuǎn)平臺中心和導(dǎo)軌零點之間的距離之差以及測量系統(tǒng)實際的變換矩陣Y不易精確獲得,因此,將轉(zhuǎn)臺中心與導(dǎo)軌零點之間坐標(biāo)變換的標(biāo)稱值(U,V,W)計算出的變換矩陣Y的誤差作為系統(tǒng)標(biāo)定精度的評估標(biāo)準(zhǔn)。關(guān)鍵標(biāo)稱值可查詢設(shè)計圖紙或產(chǎn)品說明書后計算獲得,且導(dǎo)軌坐標(biāo)系與轉(zhuǎn)臺中心坐標(biāo)系的旋轉(zhuǎn)變換矩陣為單位陣I,故評估標(biāo)準(zhǔn)矩陣為

(17)

標(biāo)定得到初始標(biāo)定矩陣X0,進而可計算出優(yōu)化前的轉(zhuǎn)臺中心坐標(biāo)系到世界坐標(biāo)系的變換矩陣Y0。Y0與Y的初始系統(tǒng)誤差ΔY0由系統(tǒng)初始標(biāo)定誤差E(X0)和安裝誤差組成,對應(yīng)的誤差矩陣為Y-1Y0。Y-1Y0可以分成旋轉(zhuǎn)分量(對應(yīng)旋轉(zhuǎn)誤差矩陣)和X軸、Y軸、Z軸的平移分量(對應(yīng)平移誤差向量)。將誤差矩陣的旋轉(zhuǎn)部分轉(zhuǎn)換成軸-角形式[I0θ0],其中,I0為轉(zhuǎn)軸的三維坐標(biāo)向量,θ0為繞轉(zhuǎn)軸的旋轉(zhuǎn)角度。平移誤差向量Δt0=(Δtx,Δty,Δtz)。系統(tǒng)初始誤差為

ΔY0=(θ0,Δtx,Δty,Δtz)

(18)

(19)

(20)

以系統(tǒng)標(biāo)定誤差優(yōu)化率間接評價基于多維角點誤差補償?shù)臉?biāo)定參數(shù)優(yōu)化方法的有效性和優(yōu)越性。系統(tǒng)標(biāo)定誤差優(yōu)化率φ為標(biāo)定參數(shù)優(yōu)化方法優(yōu)化前后計算得到的系統(tǒng)標(biāo)定誤差之差與初始標(biāo)定參數(shù)計算出的優(yōu)化前系統(tǒng)標(biāo)定誤差的比值。φ由旋轉(zhuǎn)誤差偏角的優(yōu)化率φθ和平移誤差向量模的優(yōu)化率φΔt組成:

(21)

(22)

(23)

4 系統(tǒng)標(biāo)定參數(shù)優(yōu)化和精度評估流程

復(fù)雜視覺測量系統(tǒng)的標(biāo)定參數(shù)優(yōu)化和精度評估的流程如圖3所示。測量系統(tǒng)通過采集不同標(biāo)定過程中的標(biāo)定圖片及其機器人-導(dǎo)軌和轉(zhuǎn)臺的位姿數(shù)據(jù)進行標(biāo)定實驗,求得初始的標(biāo)定矩陣。結(jié)合基于多維角點誤差補償?shù)南到y(tǒng)標(biāo)定參數(shù)優(yōu)化方法,通過算法1對初始標(biāo)定參數(shù)進行迭代優(yōu)化。最后進行系統(tǒng)精度評估,即首先對比優(yōu)化前后的系統(tǒng)標(biāo)定誤差,然后使用系統(tǒng)標(biāo)定誤差優(yōu)化率評價優(yōu)化效果,再進行三維測量實驗來衡量系統(tǒng)的測量精度。

圖3 系統(tǒng)標(biāo)定流程圖

5 實驗

5.1 系統(tǒng)標(biāo)定參數(shù)求解與優(yōu)化實驗

本系統(tǒng)標(biāo)定實驗使用7行9列(有效角點總數(shù)為63),相鄰角點的水平、豎直間距離均為20 mm的陶瓷棋盤格標(biāo)定平板。

5.1.1雙目相機標(biāo)定

雙目相機標(biāo)定使用左右相機采集不同姿態(tài)的標(biāo)定板圖案共18組。每組圖案均需要保證標(biāo)定板上角點全部在畫面內(nèi)且盡量清晰。運用張正友標(biāo)定法進行標(biāo)定,雙目相機標(biāo)定過程如圖4所示,求得的左右相機的內(nèi)參矩陣如下:

圖4 雙目相機標(biāo)定過程

5.1.2手眼標(biāo)定

手眼標(biāo)定實驗僅使用視覺系統(tǒng)的左相機采集不同機器人-導(dǎo)軌位姿下的標(biāo)定棋盤格圖像和對應(yīng)機器人-導(dǎo)軌位姿。標(biāo)定過程中,保證棋盤格角點全部在畫面內(nèi)且畫面清晰,共采集25幅圖像,其中的幾幅如圖5所示。

圖5 手眼標(biāo)定采集圖案

根據(jù)25幅標(biāo)定圖像可計算得到24組相機標(biāo)定的外參變換矩陣A和機器人-導(dǎo)軌位姿變換矩陣B。使用克羅內(nèi)克積方法[15]計算Ax=xB,得到初始手眼標(biāo)定矩陣:

基于多維角點誤差補償?shù)南到y(tǒng)標(biāo)定參數(shù)優(yōu)化方法,通過算法1對初始手眼標(biāo)定矩陣X0進行參數(shù)優(yōu)化,可得

5.1.3旋轉(zhuǎn)軸標(biāo)定

旋轉(zhuǎn)軸標(biāo)定同樣僅使用視覺系統(tǒng)左相機采集5個轉(zhuǎn)角(0°、10.04°、20.05°、30.04°、40.00°)下的標(biāo)定棋盤格圖像,其中的4幅圖像見圖6。旋轉(zhuǎn)軸標(biāo)定過程如圖7所示。

(a)θ=10.04° (b)θ=20.05°

通過旋轉(zhuǎn)軸標(biāo)定計算,得到初始機器人-導(dǎo)軌位姿變換矩陣:

坐標(biāo)系{O2}到{C}的變換矩陣為

將X0、N0、M0代入式(1),可求得初始轉(zhuǎn)臺中心坐標(biāo)系到世界坐標(biāo)系的變換矩陣:

5.2 系統(tǒng)標(biāo)定精度分析

表1 測量系統(tǒng)重要參數(shù)

表2 優(yōu)化前后系統(tǒng)標(biāo)定誤差

5.3 系統(tǒng)三維測量實驗

為驗證測量系統(tǒng)是否滿足實際測量的需求,選取3個不同尺寸的正方體鐵塊進行三維測量實驗。分別用游標(biāo)卡尺和三維測量系統(tǒng)測量正方體鐵塊指定測量面的4條棱長,分析系統(tǒng)測量的最大絕對誤差,評估系統(tǒng)測量精度。

利用測量系統(tǒng)測得的點云,如圖8所示,具體測量實驗結(jié)果見表3。結(jié)果顯示,絕對誤差最大值不超過0.3 mm,約占實際棱長的1%,這表明系統(tǒng)測量精度較高,可以滿足測量需求。

表3 系統(tǒng)三維測量實驗結(jié)果

(a)大正方體鐵塊 (b)中正方體鐵塊 (c)小正方體鐵塊

6 結(jié)論

針對多自由度的復(fù)雜三維視覺測量系統(tǒng),提出了一種Y=NXM的系統(tǒng)數(shù)學(xué)模型,求解過程包括相機標(biāo)定、機器人手眼標(biāo)定與轉(zhuǎn)臺旋轉(zhuǎn)軸標(biāo)定。為獲得更高精度的標(biāo)定結(jié)果,提出一種基于多維角點誤差補償?shù)臉?biāo)定矩陣參數(shù)的優(yōu)化方法。首先定義多維角點誤差,并對不同標(biāo)定過程中的多維角點誤差進行分析,再根據(jù)誤差較大的初始手眼標(biāo)定矩陣參數(shù)構(gòu)造相應(yīng)的目標(biāo)優(yōu)化函數(shù),然后運用LM算法進行迭代優(yōu)化。

提出的系統(tǒng)標(biāo)定精度評估方法中,評估標(biāo)準(zhǔn)為轉(zhuǎn)臺中心與導(dǎo)軌零點之間坐標(biāo)變換的標(biāo)稱值計算出的變換矩陣Y的誤差。通過對比評估標(biāo)準(zhǔn)和優(yōu)化前后標(biāo)定求解結(jié)果之間的誤差來衡量系統(tǒng)標(biāo)定的精度。同時,使用系統(tǒng)標(biāo)定誤差優(yōu)化率來間接評價標(biāo)定參數(shù)優(yōu)化方法的效果。

多組實驗數(shù)據(jù)表明,系統(tǒng)標(biāo)定誤差與評估標(biāo)準(zhǔn)的比值較小,對后續(xù)三維測量影響較小;標(biāo)定參數(shù)優(yōu)化方法對系統(tǒng)初始標(biāo)定誤差旋轉(zhuǎn)和平移部分的優(yōu)化率可達到48%,優(yōu)化效果較好;該系統(tǒng)進行三維測量時的測量精度能達到毫米級。