王漢其，肖曙紅

（廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣州 510006）

0 引言

隨著國家戰(zhàn)略發(fā)展以及勞動成本的提高，促使加工制造業(yè)朝著自動化、智能化的方向發(fā)展。裝配作為加工制造業(yè)比較關(guān)鍵的技術(shù)之一，由于大多數(shù)裝配過程采用人工完成，費(fèi)時費(fèi)力費(fèi)財(cái)，在產(chǎn)品的生產(chǎn)過程中所占的投資比例相對較大。工業(yè)機(jī)器人的應(yīng)用，使得這個領(lǐng)域產(chǎn)生了新的格局，但工況是多變的，而機(jī)器人并不能完美適應(yīng)多變的工況。機(jī)器視覺系統(tǒng)的引入仿佛給予了機(jī)器人一雙“眼睛”，使其更靈活的適應(yīng)多變的工況。在機(jī)器人裝配中應(yīng)用視覺系統(tǒng)，可以進(jìn)行裝配環(huán)境中的障礙檢測、工件識別、工件測量、工件姿態(tài)檢測、工件相對位置檢測等[1,2]。

從上個世紀(jì)50年代開始，機(jī)器視覺逐漸出現(xiàn)和應(yīng)用，當(dāng)時的主要應(yīng)用于對于圖片的分析和識別[3]。到了60年代“積木世界”[4,5]的提出，學(xué)者們開始著手研究圖像的各種要素和特征，并建立了大量的理論方法，為后續(xù)的發(fā)展提供新的基礎(chǔ)和方向。20世紀(jì)70年代，Shirai等人將圖像采集系統(tǒng)加入到控制系統(tǒng)中[6]，大大提高了機(jī)器人控制的精度，該視覺系統(tǒng)的引入對工業(yè)機(jī)器人智能化、自動化提供了有力的技術(shù)基礎(chǔ)。在美國機(jī)器人融合機(jī)器視覺得到了大力的發(fā)展和應(yīng)用，美國斯坦福大學(xué)機(jī)器人研究所的“沙克”機(jī)器人、美國航天探測機(jī)器人以及智能作戰(zhàn)機(jī)器人等相繼出現(xiàn)。在日本2008年，F(xiàn)anuc機(jī)器人制造公司研發(fā)出了一套能夠快速動作的工業(yè)機(jī)器人實(shí)體和系統(tǒng)。在歐洲，瑞典ABB公司研發(fā)的主要用于目標(biāo)抓取的機(jī)器人IRB360，該機(jī)器人采用簡單的二維視覺檢測系統(tǒng)，可以實(shí)現(xiàn)快速撿取靜止的或者傳送帶上的物品[7]。

在國內(nèi)，由于機(jī)器人發(fā)展相對較晚，跟國外的技術(shù)存在很大的差距，而在機(jī)器視覺的應(yīng)用方面，用機(jī)器視覺對目標(biāo)特征的識別是一個非常熱門的方向[8]，各高校以及研究院都進(jìn)行了深入地研究。哈爾濱工業(yè)大學(xué)段喜萍等人利用圖像中的文本信息輔助進(jìn)行圖像特征識別[9]，文本信息的輔助提高了識別的性能。廣東省科學(xué)院張昱，陳光黎等人對采集圖像提取特征后，主要采用最小二乘支持向量機(jī)的識別模型[10]，得到了更好地識別效果。天津理工大學(xué)申曉霞等人提出RGB圖像和深度圖像有效結(jié)合[11]，并且融合了SVM分類器的行為識別算法，具有更好的魯棒性和區(qū)分性。西安工業(yè)大學(xué)王鵬等人等提出了一種基于模糊理論焊縫缺陷的自動識別檢測方法，有比較好的實(shí)用性[12]。

本文就是在這校的背景之下提出來的，選擇以ABB六自由度機(jī)器人為執(zhí)行部件，以O(shè)pen CV為視覺檢測庫，以Python為編程語言進(jìn)行開發(fā)設(shè)計(jì)的。采用機(jī)器視覺和傳感器測量相結(jié)合的方法對目標(biāo)孔中心點(diǎn)P進(jìn)行圖像識別和坐標(biāo)轉(zhuǎn)換以及機(jī)器人姿態(tài)的調(diào)整，然后控制機(jī)器人從固定位置拾取槍體部件，并將槍體部件和目標(biāo)孔完美貼合，進(jìn)行自動裝配操作。

1 調(diào)整機(jī)器人姿態(tài)

目前機(jī)器人常見的手眼標(biāo)定系統(tǒng)是：Eye-to-Hand系統(tǒng)和Eye-in-Hand系統(tǒng)。Eye-to-Hand系統(tǒng)是指相機(jī)固定在機(jī)器人外部的系統(tǒng)，Eye-in-Hand系統(tǒng)則是把相機(jī)固定在機(jī)器人執(zhí)行末端法蘭盤上，使相機(jī)跟隨機(jī)器人執(zhí)行末端運(yùn)動的系統(tǒng)。

Eye-to-Hand系統(tǒng)的相機(jī)固定，一般拍攝范圍較大，可以適應(yīng)大范圍物體定位，但受限于相機(jī)物理像素限制，定位精度會相對較低。而Eye-in-Hand系統(tǒng)的相機(jī)可以跟隨機(jī)器人同步移動，理論上可以實(shí)現(xiàn)運(yùn)動范圍內(nèi)的高精度定位，但系統(tǒng)定位構(gòu)成相對復(fù)雜。

本文結(jié)合實(shí)際研究對象采用Eye-in-Hand系統(tǒng)，機(jī)器人姿態(tài)調(diào)整主要是指機(jī)器人末端軸在圖像掃描檢測的過程中姿態(tài)保持不變，目的是保證機(jī)器人末端所在的平面和目標(biāo)孔所在的平面平行。采用的方法是：用壓力傳感器分別測量目標(biāo)孔所在平面的三個點(diǎn)，根據(jù)其中任意兩點(diǎn)壓力值得大小，可以求出相應(yīng)方向上的角度，并將該角度信息發(fā)送給機(jī)器人進(jìn)行姿態(tài)調(diào)整，最后在誤差允許范圍內(nèi)，三個點(diǎn)壓力傳感器測量的值大小接近。

如圖1所示，是根據(jù)其中的兩點(diǎn)測量相應(yīng)角度的圖像，求解可知：

在此條件下，利用機(jī)器人示教器和幾何測量相結(jié)合的方法，求解出相機(jī)坐標(biāo)系與機(jī)器人工具坐標(biāo)系（TCP）的相對位置關(guān)系為：

2 相機(jī)標(biāo)定過程

2.1 標(biāo)定工具

2.1.1 工業(yè)相機(jī)

視覺相機(jī)整個定位系統(tǒng)的重要部件，設(shè)計(jì)理論檢測精度不低于為0.2mm。結(jié)合多方面考慮，選用映美精牌工業(yè)相機(jī)。該相機(jī)使用千兆以太網(wǎng)接口傳輸數(shù)據(jù)，支持POE供電模式，方便長距離布線，鏡頭使用8mm焦距，最大F2.0光圈工業(yè)相機(jī)鏡頭，最大可以支持1/1.8''寸感光元件成像。

2.1.2 標(biāo)定板

張氏標(biāo)定法是通過拍攝一塊高精度平面標(biāo)定板，識別標(biāo)定板上的標(biāo)定點(diǎn)，通過成像點(diǎn)和物理點(diǎn)的對應(yīng)關(guān)系建立方程組，解出相機(jī)內(nèi)外參數(shù)，再通過極大似然準(zhǔn)則對解出參數(shù)進(jìn)行優(yōu)化，得出最優(yōu)的相機(jī)內(nèi)外參數(shù)。本文采用9×9黑白相間的棋盤格，每個格子的大小為30mm×30mm，所以一共有8×8個角點(diǎn)。

圖2 棋盤標(biāo)定板

2.2 相機(jī)標(biāo)定原理

理想相機(jī)的成像規(guī)律服從凸透鏡成像規(guī)律，也就是物理學(xué)中的小孔成像，而根據(jù)像所處的平面不同，可以分為如下坐標(biāo)系：

1）世界坐標(biāo)系，用W來表示。所有三維世界物體位置的描述都需要相對一個原始坐標(biāo)系來描述，才能統(tǒng)一其位置，設(shè)定世界坐標(biāo)系為原始坐標(biāo)系，以毫米為計(jì)量單位。而本文中的世界坐標(biāo)系是指以ABB機(jī)器人基座中心為坐標(biāo)原點(diǎn)的右手坐標(biāo)系。

2）TCP坐標(biāo)系，也就是工具坐標(biāo)系，ABB機(jī)器人默認(rèn)以機(jī)器人第六軸法蘭盤幾何中心為坐標(biāo)原點(diǎn)，軸向?yàn)閆方向的右手笛卡爾坐標(biāo)系，該坐標(biāo)系可以在ABB示教器上進(jìn)行定義。

3）相機(jī)坐標(biāo)系，用C來表示。這個坐標(biāo)系的原點(diǎn)為相機(jī)的光心，Z軸與光軸重合，XY軸與圖像坐標(biāo)系的XY軸平行，以毫米為計(jì)量單位。

4）圖像坐標(biāo)系以感光元件中心為坐標(biāo)原點(diǎn)，XY軸平行于圖像邊沿，以毫米為計(jì)量單位。

5）像素坐標(biāo)系，一般是以感光元件的左上角為原點(diǎn)，XY軸同校平行于圖像邊沿，以像素為計(jì)量單位。

圖3 相關(guān)坐標(biāo)系

為表述簡潔，推導(dǎo)均直接使用矩陣形式表示，圖像坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換：

其中，u0，u0為圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系的坐標(biāo)，dx，dy為每個像素的單位物理尺寸。圖像坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換：

其中f為焦距；相機(jī)到世界坐標(biāo)系的變換為：

其中R為旋轉(zhuǎn)矩陣，t為平移向量，綜合上述：

其中，ax，ay為圖像尺度因子；K為內(nèi)參矩陣，主要是包含焦距、主點(diǎn)坐標(biāo)的等內(nèi)部參數(shù)的矩陣；M為外參矩陣，主要是包含由相機(jī)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。

2.3 相機(jī)畸變矯正

上述轉(zhuǎn)換是理想的透鏡成像模型，物和像完美遵循相似三角形定律，但現(xiàn)實(shí)中由于透鏡的加工和裝配誤差，透鏡實(shí)際成像存在一定程度上的畸變，是屬于幾何成像失真范疇。這主要是因?yàn)樵诮蛊矫嫔蠄D像放大率不同造成的，在畫面邊沿圖像畸變相對會更嚴(yán)重，因此在實(shí)際標(biāo)定過程中要考慮到相機(jī)畸變引起的誤差并進(jìn)行誤差矯正。

3 實(shí)現(xiàn)過程

3.1 相機(jī)標(biāo)定

本文也使用基于張氏標(biāo)定法，并利用Open CV工具庫和Python語言對相機(jī)進(jìn)行標(biāo)定。由方法可以求出，相機(jī)的內(nèi)參數(shù)矩陣K和畸變系數(shù)DIST：

畸變系數(shù)：

3.2 霍夫圓檢測

相機(jī)標(biāo)定和機(jī)器人姿態(tài)調(diào)整完成之后，就需要用相機(jī)目標(biāo)孔所在平面得到的圖片進(jìn)行圓特征提取。在圖像處理和計(jì)算機(jī)視覺等領(lǐng)域，從得到的圖像中提取出所需要的特征，比如直線或者圓形，為了快速準(zhǔn)確地檢測出直線或圓形，Paul Hough于1960年首次提出霍夫變換，為了檢測直線和曲線。1972年由Richard Duda和Peter Hart推廣，后來的霍夫變換可以實(shí)現(xiàn)對任何形狀的檢測。Hough變換的基本思想是將圖像中具有一定關(guān)系的像素點(diǎn)進(jìn)行聚類，采用投票的方式尋找圖像中能夠用某種參數(shù)形式來描述的曲線。本文也采用該方法對加氣孔特征進(jìn)行提取，并求得目標(biāo)孔中心點(diǎn)在像素坐標(biāo)系上的坐標(biāo)值P（u，v）。

圖4 霍夫變換提取特征圓以及圓心

3.3 坐標(biāo)間轉(zhuǎn)換

已經(jīng)求出目標(biāo)孔中心點(diǎn)在像素坐標(biāo)系上的坐標(biāo)值P（u，v），現(xiàn)在將其轉(zhuǎn)換到圖像坐標(biāo)系上。設(shè)圖像的長和寬分別為：width，high。像素單元為pixl，單位為mm/pix，本文相機(jī)pixl=0.0278mm/pix。所以圖像坐標(biāo)系下加氣孔中心點(diǎn) P（X，Y）可以由公式計(jì)算得到：

單位：mm。

圖5 圖像坐標(biāo)系

由相機(jī)標(biāo)定后的結(jié)果可知：光學(xué)中心點(diǎn)（CX，CY）和焦距F，物距為ZC，由距離傳感器測出。根據(jù)三角形相似原理可以得相機(jī)坐標(biāo)系P（XC，YC）：

圖6 目標(biāo)點(diǎn)成像示意圖

已知機(jī)器人TCP坐標(biāo)系與相機(jī)坐標(biāo)系的相對位置關(guān)系（dx，dy，dz），由機(jī)器人指令實(shí)時返回機(jī)器人末端也就是TCP坐標(biāo)系原點(diǎn)的坐標(biāo)值，設(shè)為（XTCP，YTCP，ZTCP）。

綜上所述，目標(biāo)孔中心點(diǎn)在世界坐標(biāo)系下P（XW，YW，ZW）：

4 結(jié)果分析

在實(shí)驗(yàn)室現(xiàn)有設(shè)備的基礎(chǔ)上，通過上文所述的方法，可以求出目標(biāo)孔中心點(diǎn)在以世界坐標(biāo)系下的坐標(biāo)值。將該坐標(biāo)值傳輸給機(jī)器人控制器，調(diào)用對應(yīng)的機(jī)器人相關(guān)指令，完成圓柱形槍體部件和目標(biāo)孔的裝配。由于在機(jī)器人坐標(biāo)系下，X軸方向?yàn)槟繕?biāo)孔和圓柱形槍體部件的軸向方向，所以在實(shí)現(xiàn)圓柱形槍體部件和目標(biāo)孔裝配的時候，首先根據(jù)已經(jīng)求出的P（XW，YW，ZW），調(diào)整槍體部件Y方向和Z方向的坐標(biāo)，使得槍體部件和目標(biāo)孔同軸。然后控制槍體部件X方向進(jìn)給，直到完成裝配。

為了驗(yàn)證該方法的可行性，本文記錄了多組實(shí)驗(yàn)數(shù)據(jù)，均實(shí)現(xiàn)了機(jī)器人自動化完成槍體部件和目標(biāo)孔的裝配，選取其中15組為校本，如表1所示，對實(shí)驗(yàn)數(shù)據(jù)分析和比較，由于X方向?yàn)檩S向進(jìn)給方向未列在表中。

表1 目標(biāo)孔中心點(diǎn)坐標(biāo)值數(shù)據(jù)表（世界坐標(biāo)系）

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，可以得出在重復(fù)試驗(yàn)時，目標(biāo)孔中心點(diǎn)坐標(biāo)值是在一個范圍內(nèi)波動的，而在該范圍內(nèi)槍體部件和目標(biāo)孔是可以實(shí)現(xiàn)裝配。由表1實(shí)驗(yàn)數(shù)據(jù)可以看出：加氣孔中心點(diǎn)Y方向平均值為219.310mm，其中最大值為219.748mm，偏離平均值0.438mm，最小值為218.980mm，偏離平均值0.330mm。而在目標(biāo)孔中心點(diǎn)Z方向平均值為317.096mm，其中最大值為317.274mm，偏離平均值0.178mm，最小值為316.950mm，偏離平均值0.146mm。Z方向上的相對誤差比Y方向上的相對誤差小，但整體的誤差均在允許的范圍內(nèi)。

圖7 加氣孔Y方向值

圖8 加氣孔Z方向值

5 結(jié)束語

本文提出了一種視覺和傳感器相結(jié)合的機(jī)器人定位矯正系統(tǒng)，其目的是實(shí)現(xiàn)機(jī)器人自動完成圓柱形槍體部件和平面凸出目標(biāo)孔的裝配，并在實(shí)驗(yàn)室的基礎(chǔ)上進(jìn)行相關(guān)可行性測試。理論性和實(shí)驗(yàn)性均表明：在誤差允許的情況下，該方法可以實(shí)現(xiàn)將目標(biāo)孔中心點(diǎn)坐標(biāo)值經(jīng)視覺特征檢測和提取，并在世界坐標(biāo)系下求解出來，將該坐標(biāo)值傳輸給機(jī)器人控制器，從而實(shí)現(xiàn)控制槍體部件和目標(biāo)孔的自動裝配。該方法具有原理簡單，標(biāo)定過程易于操作，實(shí)用性強(qiáng)等優(yōu)點(diǎn)。