林強(qiáng)強(qiáng),金守峰,馬秋瑞,張 浩

(1.西安工程大學(xué) 機(jī)電工程學(xué)院,陜西 西安 710048;2. 西安工程大學(xué) 服裝與藝術(shù)設(shè)計(jì)學(xué)院,陜西 西安 710048)

0 引 言

隨著現(xiàn)代先進(jìn)制造技術(shù)的進(jìn)步,工業(yè)機(jī)器人在生產(chǎn)加工過程中扮演著越來越重要的角色,并且不斷地向著智能化和柔性化方向發(fā)展[1-3]。機(jī)器視覺使工業(yè)機(jī)器人具有了視覺感知的能力[4-5]。徐博凡等人基于FANUC機(jī)器人平臺,研發(fā)了一套視覺引導(dǎo)系統(tǒng),提高了機(jī)器人柔性化抓取能力[6];李鵬飛等應(yīng)用雙目相機(jī)作為引導(dǎo),實(shí)現(xiàn)了機(jī)器人對織物的自動抓取[7];李振雨等應(yīng)用神經(jīng)網(wǎng)絡(luò)算法,使用改進(jìn)的Hebb學(xué)習(xí)規(guī)則提高了識別的精度[8];康存鋒等應(yīng)用機(jī)器視覺完成了對并聯(lián)機(jī)器人的引導(dǎo),實(shí)現(xiàn)了穩(wěn)定可靠的抓取[9];韋攀東等人應(yīng)用多關(guān)節(jié)機(jī)器人實(shí)現(xiàn)了柔軟織物的抓取[10]。工業(yè)機(jī)器人對于固定未知的工件具有較好的抓取精度,但是,實(shí)際生產(chǎn)中,工件位置的隨機(jī)擺放,將導(dǎo)致機(jī)器人抓取失敗,影響工作效率。

針對工件位置隨機(jī)擺放,影響抓取精度和效率等問題,提出了基于圖像旋轉(zhuǎn)和灰度投影的工件抓取方法。首先對采集的圖像經(jīng)過預(yù)處理后,用雙線性插值法進(jìn)行旋轉(zhuǎn)校正,在得到的校正圖后應(yīng)用Canny算子提取零件的邊緣,最后對邊緣圖像灰度投影,得到工件的測量尺寸,從而實(shí)現(xiàn)定位與測量。

1 旋轉(zhuǎn)模型的建立

1.1旋轉(zhuǎn)角

(1)

圖 1夾角計(jì)算模型Fig.1 Angle calculation model

在實(shí)際的計(jì)算過程中,經(jīng)過二值化和邊緣檢測等一系列預(yù)處理后,如圖1所示長形工件的邊緣則被置為1,其余區(qū)域則置為0。選取圖形的中點(diǎn)P為起始點(diǎn),向右尋找像素值為1的點(diǎn),則該點(diǎn)為旋轉(zhuǎn)基準(zhǔn)點(diǎn)O,為避免圖像噪聲的影響,需要驗(yàn)證該點(diǎn)周圍的像素點(diǎn)是否為1,若不為1則向下一行繼續(xù)尋找,從而可確定基準(zhǔn)點(diǎn)O的位置;得到O點(diǎn)后,向y軸的方向搜索,直到像素值變?yōu)?,則為A點(diǎn)的位置;B點(diǎn)為x正半上軸隨機(jī)一點(diǎn)。

1.2旋轉(zhuǎn)原理

在機(jī)器人抓取工件時(shí),需要調(diào)整末端手爪的位姿來準(zhǔn)確地抓取工件,提高抓取的精度以及效率。因此可通過建立旋轉(zhuǎn)模型來求取工件與水平方向的夾角。圖像旋轉(zhuǎn)是一種常用的數(shù)字圖像處理技術(shù),已廣泛應(yīng)用于各個領(lǐng)域[11-12]。

由于在灰度投影時(shí),投影的零件圖像應(yīng)處于水平或者豎直狀態(tài),因而需要對采集的圖像做旋轉(zhuǎn)校正處理。如圖2所示,旋轉(zhuǎn)是指將圖像中所有的像素(基準(zhǔn)點(diǎn)除外)按給定的角度沿著圓弧方向逆時(shí)針或者順時(shí)針旋轉(zhuǎn)。(x0,y0)是原始圖像的坐標(biāo)點(diǎn),(x,y)是旋轉(zhuǎn)后圖像坐標(biāo)點(diǎn),R是(x0,y0)到原點(diǎn)的距離[13-15]。

根據(jù)圖2中的三角關(guān)系可得

(2)

旋轉(zhuǎn)后

(3)

圖 2圖像旋轉(zhuǎn)模型Fig.2 Image rotation model

聯(lián)立式(2)，(3)后寫成矩陣形式

(4)

在進(jìn)行位圖旋轉(zhuǎn)時(shí),確定旋轉(zhuǎn)后的位圖大小后,可以確定旋轉(zhuǎn)之后位圖矩形區(qū)域,需要訪問該區(qū)域的每一個坐標(biāo),以獲得該坐標(biāo)對應(yīng)于源位圖的坐標(biāo),最后獲得該坐標(biāo)對應(yīng)于原位圖坐標(biāo)點(diǎn)處的像素值。因此,在得到式(4)的旋轉(zhuǎn)矩陣后,需要做逆運(yùn)算,逆運(yùn)算矩陣如式(5)所示。

(5)

由于圖像坐標(biāo)系原點(diǎn)在左上角,因此需要與實(shí)際數(shù)學(xué)坐標(biāo)系進(jìn)行坐標(biāo)系轉(zhuǎn)換。假設(shè)位圖的寬度和高度分別為W和H,則圖像坐標(biāo)(x0,y0)與數(shù)學(xué)坐標(biāo)(x,y)的關(guān)系為

(6)

逆運(yùn)算關(guān)系為

(7)

旋轉(zhuǎn)需要再將數(shù)學(xué)坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo),設(shè)旋轉(zhuǎn)后圖像的寬度和高度分別為W1和H1,則旋轉(zhuǎn)矩陣和逆運(yùn)算矩陣為

(8)

(9)

整個旋轉(zhuǎn)過程為:(1)將原始圖像的坐標(biāo)轉(zhuǎn)換為數(shù)學(xué)坐標(biāo);(2)通過旋轉(zhuǎn)公式將圖像進(jìn)行旋轉(zhuǎn);(3)將旋轉(zhuǎn)后的數(shù)學(xué)坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo)。

旋轉(zhuǎn)過程矩陣變換為

(10)

式中：A=-0.5Wcosθ+0.5Hsinθ+0.5W1；

B=-0.5Wsinθ-0.5Hcosθ+0.5H1.

由于旋轉(zhuǎn)后圖像的坐標(biāo)不是整數(shù),故旋轉(zhuǎn)后必須對像素點(diǎn)灰度進(jìn)行插值運(yùn)算。常用的插值方法有最近鄰法、雙線性插值法和雙三插值法等3種[16-17]。最近鄰插值法操作簡單,運(yùn)算速度高,但效果較差,圖像容易模糊;雙三插值法速度慢,但圖像質(zhì)量很高;綜合比較后,本文采用比較適中的雙線性插值法,對圖像進(jìn)行插值運(yùn)算。

雙線性插值原理如圖3所示,利用(X,Y)處鄰近的4個灰度值,計(jì)算(X,Y)處的灰度值。設(shè)4個鄰近像素,為A,B,C,D,其坐標(biāo)分別為(i,j),(i+1,j),(i,j+1)，(i+1,j+1),灰度值分別為g(A)，g(B)，g(C)，g(D),首先計(jì)算E，F(xiàn)點(diǎn)處的灰度值g(E) ，g(F)

圖 3雙線性插值Fig.3 Bilinear interpolation g(E)= (X-i)[g(B)-g(A)]+g(A)= (i+1-X)g(A)+ (X-i)g(B)

(11)

g(F)= (X-i)[g(D)-g(C)]+g(C)=

(i+1-X)g(C)+

(X-i)g(D)

(12)

則(X,Y)處的灰度值為

g(X,Y)= (Y-j)[g(F)-g(E)]-g(E)=

(j+1-Y)g(E)+

(Y-j)g(E)

(13)

經(jīng)過計(jì)算，圖1中的圖像與x軸的夾角為32.149 3°,將此圖像經(jīng)過旋轉(zhuǎn)校正后得到水平的軸邊緣檢測圖。

2 基于灰度投影的尺寸測量

經(jīng)過旋轉(zhuǎn)后的圖像與水平方向的夾角近似于0°,為了快速得到工件的尺寸,因此采用灰度投影的方法測量軸徑。灰度投影算法是利用圖像灰度曲線進(jìn)行圖像分析的一種方法,由于只需對圖像行列做投影運(yùn)算,因此,在減少計(jì)算量的同時(shí)也提高了運(yùn)算速度。設(shè)經(jīng)過旋轉(zhuǎn)校正后的圖像為I(x,y),大小為M×N,按式(14)對其進(jìn)行圖像行、列像素灰度值累加投影[18-19]。

(14)

式中:fk(i,j)為圖像中(i,j)點(diǎn)的灰度值；Ck(j)為圖像中第j列像素灰度值的累加投影；Rk(i)為圖像中第i行像素灰度值的累加投影。對校正后軸邊緣檢測圖像做行投影,得到圖4的投影曲線。從圖4可得,投影曲線的峰值位置即為軸的邊緣處,計(jì)算兩峰值位置的坐標(biāo)差值,即為軸的直徑大小。

圖 4投影曲線圖Fig.4 Projection curve

3 實(shí)驗(yàn)分析

3.1實(shí)驗(yàn)平臺與視覺標(biāo)定

Dobot機(jī)械臂、工業(yè)相機(jī)及計(jì)算機(jī)搭建的機(jī)器人視覺抓取實(shí)驗(yàn)平臺如圖5所示,Dobot機(jī)械臂為四軸四自由度的機(jī)器人,手爪為氣動機(jī)械手爪,滑軌有效行程為0～1 000 mm,Dobot機(jī)械臂通過支撐板安裝在滑軌上,可實(shí)現(xiàn)移動抓取。工業(yè)相機(jī)為AVT-GE相機(jī),分辨率為1 024×1 024,最大幀頻為59幀/s,使用鏡頭為Computar手動光圈鏡頭,焦距25 mm。

通過以上計(jì)算所得的數(shù)據(jù)都以像素(pixel)為單位,因而需要通過相機(jī)標(biāo)定轉(zhuǎn)換為以mm為單位的數(shù)值。實(shí)驗(yàn)過程中,首先采集不同尺寸的標(biāo)準(zhǔn)量塊。假定量塊為P(mm),經(jīng)過圖像處理之后得到相應(yīng)像素?cái)?shù)為M,可計(jì)算物面分辨率K=P/M。采用20 mm,30 mm,40 mm,50 mm的量塊進(jìn)行標(biāo)定,實(shí)驗(yàn)之后以計(jì)算出多組物面分辨率的平均值作為機(jī)器視覺系統(tǒng)的物面分辨率。標(biāo)定實(shí)驗(yàn)數(shù)據(jù)如表1所示。

圖 5機(jī)器人抓取系統(tǒng)Fig.5 Robotic grab system表 1標(biāo)定實(shí)驗(yàn)數(shù)據(jù)Table 1 Calibration experiment data

量塊規(guī)格量塊尺寸/mm標(biāo)定像素/px物面分辨率/(mm·px-1) 20201030.194 2 30301520.197 4 40402040.196 1 50502530.197 6

根據(jù)表1中標(biāo)定的物面分辨率,計(jì)算得到物面分辨率的均值K:

0.196 3(mm/px)

3.2旋轉(zhuǎn)校正

表 2夾角計(jì)算Table 2 Angle calculation result

由表2可知,建立的旋轉(zhuǎn)模型校正誤差保持在±2°以內(nèi)。由于采用灰度投影的計(jì)算方式,累加投影曲線對于圖片的旋轉(zhuǎn)誤差并不敏感,因此建立的旋轉(zhuǎn)模型可以滿足本文的計(jì)算要求。其中20°和60°的軸旋轉(zhuǎn)結(jié)果如圖6所示。

(a) 20°工件原始圖 (b) 旋轉(zhuǎn)校正圖

(c) 60°工件原始圖 (d) 旋轉(zhuǎn)校正圖圖 6部分工件校正圖Fig.6 Correction chart of parts of the workpiece

從表3可以看出,除編號2的軸徑測量值超出了實(shí)際的軸徑誤差外,其余測量值均在誤差范圍內(nèi)。實(shí)際測量值與計(jì)算值的誤差也保持在0.2 mm以內(nèi),在精度要求不高的生產(chǎn)環(huán)境中,可以滿足實(shí)際識別與定位要求。

在工件的識別與定位過程中,對于旋轉(zhuǎn)角的計(jì)算存在±2°的誤差,因而導(dǎo)致在投影計(jì)算峰值時(shí)出現(xiàn)了誤差,計(jì)算值與實(shí)際的軸徑誤差經(jīng)過計(jì)算為0.134 1 mm。而在機(jī)器人識別抓取的過程中,這個誤差可以滿足抓取要求,并不會影響抓取精度,因而本文提出的方法可以應(yīng)用于實(shí)際生產(chǎn)。

4 結(jié) 論

(1) 建立了旋轉(zhuǎn)校正模型,在提取散放工件邊緣輪廓特征點(diǎn)的基礎(chǔ)上,通過坐標(biāo)轉(zhuǎn)換、雙線性插值計(jì)算工件與水平方向的夾角,實(shí)現(xiàn)工件的校正。所得夾角可用于機(jī)器人手爪位姿的調(diào)整,便于快速抓取。

(2) 提出了工件尺寸測量的灰度投影方法,對校正后的工件邊緣輪廓進(jìn)行行投影,查詢投影曲線的峰值,峰值點(diǎn)所對應(yīng)的像素坐標(biāo)差值為工件的像素尺寸,結(jié)合標(biāo)定參數(shù)得到實(shí)際尺寸,根據(jù)工件尺寸進(jìn)行機(jī)器人手爪開合大小的調(diào)整。

(3) 以Dobot機(jī)械臂構(gòu)建了機(jī)器人視覺抓取實(shí)驗(yàn)平臺,對本文方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明該方法校正角度的誤差控制在2°以內(nèi),測量尺寸誤差控制在0.5 mm以內(nèi),達(dá)到機(jī)器人末端手爪的位姿和手抓開合的調(diào)整精度。