葛文琦,陸 藝,郭小娟

(中國(guó)計(jì)量大學(xué) 計(jì)量測(cè)試工程學(xué)院,浙江 杭州310018)

在單目手眼視覺(jué)標(biāo)定中已有很多學(xué)者做過(guò)研究,如張正友、TSAI[1]等,這些方法都需要借助外界標(biāo)準(zhǔn)物來(lái)標(biāo)定手眼關(guān)系[2-3],標(biāo)定過(guò)程較繁瑣。因此，在視覺(jué)裝配工業(yè)場(chǎng)景中引入無(wú)標(biāo)定技術(shù),其核心就是在未知手眼關(guān)系的情況下,借助視覺(jué)反饋誤差控制機(jī)器人運(yùn)動(dòng)完成特定的定位或追蹤的任務(wù)。針對(duì)該技術(shù)的應(yīng)用如利用圖像雅克比矩陣來(lái)求解映射關(guān)系[4],該方法在目標(biāo)和相機(jī)同時(shí)進(jìn)行運(yùn)動(dòng)的場(chǎng)合應(yīng)用存在一定局限性;利用神經(jīng)網(wǎng)絡(luò)成功逼近逆圖像雅克比矩陣[5]的方法無(wú)需求解雅克比矩陣元素,但是，由于雅克比矩陣在局部工作范圍內(nèi)有效的固有缺陷,難以應(yīng)用于動(dòng)態(tài)跟蹤情形;由蘇劍波等人提出的運(yùn)用神經(jīng)網(wǎng)絡(luò)視覺(jué)控制技術(shù)完成對(duì)二維平面目標(biāo)的定位與抓取,這種方法實(shí)驗(yàn)仿真結(jié)果良好。但是用在實(shí)際實(shí)驗(yàn)中,需要考慮PID控制中的經(jīng)驗(yàn)參數(shù),以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練值,它們的獲取需要大量的離線訓(xùn)練樣本,實(shí)驗(yàn)過(guò)程較繁瑣且定位誤差會(huì)隨訓(xùn)練值的誤差疊加。本文采用eye-in-hand[6]的視覺(jué)模式,在手眼關(guān)系以及相機(jī)模型未知的情況下,通過(guò)已知的場(chǎng)景信息,定位過(guò)程中對(duì)目標(biāo)的圖像坐標(biāo)位置與世界坐標(biāo)位置關(guān)系進(jìn)行處理,得到目標(biāo)點(diǎn)的世界坐標(biāo),以完成目標(biāo)產(chǎn)品定位與裝配的任務(wù)。

1 視覺(jué)裝配實(shí)驗(yàn)平臺(tái)設(shè)計(jì)

本系統(tǒng)裝配產(chǎn)品為RS-422/485和RS-232至寬溫轉(zhuǎn)換器外殼,產(chǎn)品外觀尺寸如圖1(單位:mm),要求質(zhì)心定位誤差≤1 mm。

圖1 產(chǎn)品尺寸圖Figure 1 Product size drawing

為實(shí)現(xiàn)產(chǎn)品的裝配實(shí)驗(yàn),搭建了一套手眼系統(tǒng)視覺(jué)平臺(tái)如圖2。本文中工業(yè)機(jī)器人選用重復(fù)定位精度為±0.03 mm的7A6六自由度機(jī)器人;視覺(jué)模塊部分選用分辨率為1 024×1 248面陣工業(yè)相機(jī)與環(huán)形光源;控制執(zhí)行機(jī)構(gòu)部分用的是伺服電機(jī)及其驅(qū)動(dòng)器來(lái)驅(qū)動(dòng)輸送線進(jìn)行運(yùn)動(dòng);雙軸氣缸用來(lái)執(zhí)行產(chǎn)品的搬運(yùn)任務(wù)。

圖2 手眼系統(tǒng)實(shí)物圖Figure 2 Physical map of eye-in-hand system

2 無(wú)標(biāo)定算法

圖3 系統(tǒng)映射關(guān)系模型Figure 3 System mapping relational model

根據(jù)系統(tǒng)映射關(guān)系模型,將工業(yè)相機(jī)安裝在工業(yè)機(jī)器人的末端執(zhí)行器上,并且保證相機(jī)光軸和工作臺(tái)平面垂直。通過(guò)工業(yè)相機(jī)中反饋的視覺(jué)信息,對(duì)平面目標(biāo)進(jìn)行定位。與此同時(shí)，將機(jī)器人的基坐標(biāo)系作為世界坐標(biāo)系,此時(shí)坐標(biāo)原點(diǎn)在機(jī)器人底座的中心,機(jī)器人末端執(zhí)行器的中心點(diǎn)在世界坐標(biāo)系的位置即為末端執(zhí)行器坐標(biāo)。工業(yè)機(jī)器人內(nèi)部的標(biāo)定在出廠前已完成,末端執(zhí)行器在世界坐標(biāo)中的位置可以通過(guò)內(nèi)部傳感器實(shí)時(shí)得到,即通過(guò)手持操作器讀取。

相機(jī)坐標(biāo)系與世界坐標(biāo)之間的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移向量T來(lái)表示[8-9],其中R為3×3正交旋轉(zhuǎn)矩陣,T為三維平移向量,空間世界坐標(biāo)中點(diǎn)P(xw,yw,zw)與相機(jī)坐標(biāo)系中點(diǎn)P(xc,yc,zc)存在如下關(guān)系:

(1)

(2)

根據(jù)小孔成像模型知,圖像平面坐標(biāo)Pi(xi,yi)T與相機(jī)坐標(biāo)Pc(xc,yc)T存在如下關(guān)系:

(3)

式(3)中:f表示相機(jī)焦距,z為相機(jī)z軸方向坐標(biāo)值。

聯(lián)合式(2)、(3)可得到圖像平面坐標(biāo)與世界坐標(biāo)系的表示形式如式(2～4)所示,該式作為無(wú)標(biāo)定算法的基礎(chǔ)。

(4)

(5)

(6)

(7)

將式(5)減去式(6)得到式(8)如下:

(8)

則由式(8)可以得到式(9),其中R為正交矩陣,由矩陣性質(zhì)知,矩陣可逆。

(9)

由式(7)減去式(5)得到式(10):

(10)

將式(9)式帶入到式(10)中可計(jì)算出待求坐標(biāo),計(jì)算表達(dá)式如式(11)所示:

(11)

3 標(biāo)定實(shí)驗(yàn)

根據(jù)所述的無(wú)標(biāo)定算法進(jìn)行實(shí)驗(yàn),測(cè)量算法的定位情況。在已知視場(chǎng)內(nèi)選取場(chǎng)景中的兩點(diǎn)A、B,由于無(wú)標(biāo)定算法中沒(méi)有考慮相機(jī)的畸變問(wèn)題,所以A、B兩點(diǎn)的選取應(yīng)盡量選擇在視野的中心位置以減少鏡頭畸變帶來(lái)的影響。先測(cè)繪出已知世界坐標(biāo)的A、B兩點(diǎn),并記錄兩點(diǎn)的坐標(biāo),通過(guò)圖像處理計(jì)算出A、B兩點(diǎn)的像素坐標(biāo)以及目標(biāo)點(diǎn)的像素坐標(biāo)。根據(jù)無(wú)標(biāo)定算法計(jì)算出目標(biāo)點(diǎn)的世界坐標(biāo)。實(shí)驗(yàn)步驟如下。

表1 無(wú)標(biāo)定定位結(jié)果Table 1 Uncalibrated positioning result

根據(jù)以上50組數(shù)據(jù),得到x方向平均定位誤差為0.41 mm,y方向的平均定位誤差為0.42 mm,測(cè)量平面坐標(biāo)點(diǎn)的平面定位誤差為0.61 mm,最大誤差為0.85 mm,如圖4所示的x軸、y軸以及平面的定位誤差曲線,由圖知定位誤差為0.9 mm,能夠滿足定位系統(tǒng)工業(yè)裝配要求。

圖4 無(wú)標(biāo)定算法定位誤差Figure 4 Uncalibrated algorithm positioning error

4 實(shí)驗(yàn)結(jié)果及分析

4.1 裝配實(shí)驗(yàn)

在進(jìn)行裝配實(shí)驗(yàn)前需要對(duì)相機(jī)獲取到的產(chǎn)品圖像進(jìn)行算法處理[10-11]以獲得產(chǎn)品質(zhì)心的坐標(biāo)。質(zhì)心提取流程圖如圖5。

圖5 產(chǎn)品質(zhì)心坐標(biāo)獲取流程圖Figure 5 Product centroid coordinate acquisition flow chart

實(shí)驗(yàn)過(guò)程中機(jī)器人路徑示意圖如6,其中P1、P4、P5為離線示教點(diǎn),P1表示靜態(tài)拍照原點(diǎn),P4表示上蓋放置位姿,P5表示下蓋放置位姿,P2表示抓取時(shí)的位姿,P3表示補(bǔ)償偏轉(zhuǎn)角度后的位姿。具體實(shí)驗(yàn)步驟如圖7。

圖6 機(jī)器人運(yùn)動(dòng)路徑示意圖Figure 6 Robot motion path diagram

圖7 裝配過(guò)程流程圖Figure 7 Assembly process flow chart

為測(cè)試該方案的可靠性,對(duì)系統(tǒng)進(jìn)行全天候的測(cè)試實(shí)驗(yàn),其中上下蓋產(chǎn)品隨意擺放,通過(guò)算法處理實(shí)時(shí)記錄抓取時(shí)的質(zhì)心坐標(biāo)(x,y)和偏轉(zhuǎn)角度,并記錄裝配成功與否。實(shí)驗(yàn)記錄情況如表2,由于篇幅有限,只列舉出其中100次實(shí)驗(yàn)數(shù)據(jù)。由表2可以看出,系統(tǒng)經(jīng)過(guò)全天候的運(yùn)行測(cè)試,產(chǎn)品上下蓋裝配成功率為100%,表明該靜態(tài)場(chǎng)景裝配方案實(shí)施運(yùn)行可靠性良好,滿足工業(yè)應(yīng)用場(chǎng)景需求。

表2 裝配實(shí)驗(yàn)數(shù)據(jù)Table 2 Assembly experiment data

4.2 不確定度評(píng)定

系統(tǒng)的不確定度可以通過(guò)A類和B類兩種評(píng)定方法進(jìn)行評(píng)估[12],本系統(tǒng)測(cè)量不確定度分量分別來(lái)源于系統(tǒng)重復(fù)性定位誤差和機(jī)器人重復(fù)定位誤差。目前不確定度影響最為主要是機(jī)器人重復(fù)定位精度。其中系統(tǒng)重復(fù)性定位誤差引起的不確定度分量可通過(guò)即A類評(píng)定方式進(jìn)行評(píng)估。機(jī)器人重復(fù)定位誤差引起的不確定度分量采用B類評(píng)定方式。兩種不確定度分量合成系統(tǒng)的標(biāo)準(zhǔn)不確定度。

1)機(jī)器人重復(fù)定位不確定度

根據(jù)7A6機(jī)器人出廠指標(biāo)知其重復(fù)定位精度為±0.03 mm,采用B類評(píng)定方式的重復(fù)性定位誤差的標(biāo)準(zhǔn)不確定度可由uB表示:

(12)

2)系統(tǒng)重復(fù)性定位實(shí)驗(yàn)

系統(tǒng)重復(fù)性定位誤差采用A類評(píng)定方式,可以用下式表示:

(13)

式(13)中:xi表示單次測(cè)量結(jié)果,s(xi)表示標(biāo)準(zhǔn)差,C表示極差系數(shù),R表示樣本間極差。

系統(tǒng)重復(fù)性實(shí)驗(yàn)過(guò)程如下,保持產(chǎn)品位置不變,根據(jù)無(wú)標(biāo)定算法計(jì)算產(chǎn)品質(zhì)心坐標(biāo)重復(fù)9次定位,質(zhì)心坐標(biāo)與偏轉(zhuǎn)角度信息記錄在表3中。

由表3數(shù)據(jù)得Rx=0.32,Ry=0.26,n=9時(shí)C=2.97,根據(jù)式(13)得到重復(fù)性引起的不確定度uAx=0.108 mm,uAy=0.09 mm。由于z軸方向是通過(guò)獲取機(jī)器人示教器顯示的笛卡爾坐標(biāo)系的z軸坐標(biāo)值,因此不考慮Z軸方向的不確定度。由上可得合成不確定度uA:

(14)

將式(12)得到的uB與式(14)得到的uA合成得到標(biāo)準(zhǔn)不確定度uc:

(15)

則根據(jù)式(15)得到系統(tǒng)合成不確定度uc=0.14 mm,小于質(zhì)心偏差指標(biāo),滿足裝配要求。

5 結(jié) 語(yǔ)

本文搭建了一套基于手眼系統(tǒng)的視覺(jué)裝配實(shí)驗(yàn)平臺(tái),引入了無(wú)標(biāo)定算法并將其應(yīng)用于產(chǎn)品裝配。實(shí)驗(yàn)數(shù)據(jù)分析表明,在實(shí)驗(yàn)環(huán)境下該無(wú)標(biāo)定方法視覺(jué)定位誤差為0.9 mm,實(shí)驗(yàn)裝配成功率為100%,能滿足工業(yè)裝配應(yīng)用要求。