閩西職業(yè)技術(shù)學(xué)院 廖毅洲

視覺引導(dǎo)工業(yè)機(jī)器人定位抓取系統(tǒng)設(shè)計(jì)

閩西職業(yè)技術(shù)學(xué)院 廖毅洲

本文將美國(guó)國(guó)家一起公司的視覺開發(fā)模塊以及ABB-IRB120及其人作為研究基礎(chǔ)，對(duì)視覺識(shí)別系統(tǒng)進(jìn)行了模塊設(shè)計(jì)，構(gòu)建了基于單目視覺的機(jī)器人自動(dòng)識(shí)別以及抓取系統(tǒng)，通過建立抓取系統(tǒng)模型給出圖像坐標(biāo)到機(jī)器人坐標(biāo)的算法，在C#環(huán)境下進(jìn)行開發(fā)，最終控制了機(jī)器人對(duì)目標(biāo)的抓取。

工業(yè)機(jī)器人；及其視覺；模式匹配

對(duì)于生產(chǎn)線上多個(gè)工業(yè)機(jī)器人來講，工件識(shí)別以及抓取是其十分重要的一項(xiàng)應(yīng)用，從目前來看，對(duì)生產(chǎn)線上的機(jī)器人控制，大多數(shù)都采用了離線編程的方式，但是，機(jī)器人的工作環(huán)境或者是目標(biāo)對(duì)象等一旦發(fā)生了變化，由于機(jī)器人并不能夠有效的對(duì)這些新的環(huán)境進(jìn)行適應(yīng)，就會(huì)造成機(jī)器人抓取動(dòng)作的失敗。在本文的研究當(dāng)中，采用的軟件為NI Vision，并在C#環(huán)境當(dāng)中，利用上述軟件的圖像處理算法進(jìn)行了二次開發(fā)，通過圖像預(yù)算處理等步驟，從動(dòng)態(tài)改變機(jī)械手的操作。

1.系統(tǒng)硬件組成

1.1 CCD相機(jī)

采用acA2500-14MG型號(hào)工業(yè)相機(jī)，并將相機(jī)安裝在傳送帶的上方。

1.2 鏡頭

在本文當(dāng)中采用了定焦鏡頭，其型號(hào)為M0814-MP2，這種鏡頭有著8.8mm*6.6mm的最大成像尺寸。

1.3 光源

本文采用了擁有較快相應(yīng)時(shí)間以及高品質(zhì)圖形的LED環(huán)形光源。

1.4 工控機(jī)

在本文的研究當(dāng)中，采用了工控計(jì)算機(jī)，負(fù)責(zé)對(duì)CCD相機(jī)采集的圖相信息進(jìn)行解控，同時(shí)利用圖像算法來將識(shí)別后的工件轉(zhuǎn)化為機(jī)器人控制信號(hào)，從而對(duì)機(jī)器人進(jìn)行控制。

1.5 機(jī)器人

本文的研究當(dāng)中采用了瑞士ABB公司研發(fā)的IRB120機(jī)器人，該機(jī)器人有控制簡(jiǎn)單、編程方便等特點(diǎn)，同時(shí)擁有六個(gè)旋轉(zhuǎn)關(guān)節(jié)，適用于生產(chǎn)線抓取作業(yè)。

圖1 機(jī)器人視覺抓取系統(tǒng)

2.視覺引導(dǎo)抓取系統(tǒng)的工作原理

在實(shí)際的操作過程當(dāng)中，需要現(xiàn)在傳送帶的上方對(duì)攝像機(jī)進(jìn)行固定，這時(shí)，傳送帶運(yùn)轉(zhuǎn)就會(huì)使得工件進(jìn)入攝像機(jī)的視野中，同時(shí)將定時(shí)器設(shè)置為沒0.5s出發(fā)一幀相機(jī)的圖像采集，通過模板匹配的方法，確定工件的位置，并通過兩針圖像的間隔來對(duì)工件運(yùn)動(dòng)的速度進(jìn)行計(jì)算。在此之后，我們通過卡爾曼濾波來對(duì)下一周期當(dāng)中的工件位置進(jìn)行預(yù)測(cè)，同時(shí)對(duì)急切人的運(yùn)動(dòng)軌跡進(jìn)行規(guī)劃，使得工件運(yùn)動(dòng)到抓取工位時(shí)，能夠與機(jī)器人的目標(biāo)位姿重合，最后將位姿信息轉(zhuǎn)化為機(jī)器人熟悉的監(jiān)督，從而實(shí)現(xiàn)機(jī)器人對(duì)工件的準(zhǔn)確抓取。此外，在本文的研究當(dāng)中，根據(jù)實(shí)際的需求我們隊(duì)機(jī)器人進(jìn)行了引導(dǎo)，并對(duì)機(jī)器人對(duì)工件的搬運(yùn)操作進(jìn)行了實(shí)現(xiàn)，其主要工作原理能夠從下圖當(dāng)中看到。

在圖2當(dāng)中，上流限是工件開始進(jìn)入機(jī)器人抓取區(qū)域的位置，提前上流限的設(shè)置，能夠減少機(jī)器人等待的時(shí)間，下流限則代表工件離開機(jī)器人抓取區(qū)域的位置，如果工件沒有在抓取區(qū)域當(dāng)中被機(jī)器人抓取，則代表機(jī)器人這次的任務(wù)失敗，與此同時(shí)，機(jī)器人也會(huì)對(duì)該工件放棄追蹤。

圖2 視覺引導(dǎo)抓取系統(tǒng)原理圖

3.抓取系統(tǒng)的參數(shù)化模型建立

3.1 攝像機(jī)定標(biāo)

圖3位小孔成像模型，通過小孔成像模型，我們你能夠在攝像機(jī)的光軸中心建立相應(yīng)的坐標(biāo)系，Z軸沿光軸的方向，而X軸則巖圖像坐標(biāo)水平的方向，在坐標(biāo)系Oc-wyz當(dāng)中，設(shè)點(diǎn)p的坐標(biāo)為（x，y，z），那么他在圖像平面的投影點(diǎn)P的坐標(biāo)就是（X，Y，Z），其中Z=f，在此式子當(dāng)中f代表的為攝像機(jī)的焦距。

圖3 小孔成像模型

通過小孔成像模型，我們得到了下面的比例分析：

同時(shí)，利用CCD的成像原理我們能夠得知，成像平面上的像在經(jīng)過放大之后能夠得到數(shù)字圖像，而成像平面上的像點(diǎn)（X，Y）轉(zhuǎn)化為圖像點(diǎn)（u，v），并將圖像點(diǎn)記為（u0V0），將其作為光軸中心線與成像平面交點(diǎn)的圖像坐標(biāo)，則能夠得到以下公式：

在上面的式子當(dāng)中，dx, dy分別是一個(gè)像素在X與Y方向上的尺寸，此外，分別是X以及Y方向上的采樣頻率，也就是單位長(zhǎng)度上的像素個(gè)數(shù)。

我們將公式（1）帶入到公式（2）當(dāng)中，并改寫成矩陣式，就得到了下面的公式：

而將公式（4）帶入到公式（3）當(dāng)中，則能夠得出以下公式：

3.2 手眼坐標(biāo)標(biāo)定

在該系統(tǒng)當(dāng)中，我們分別在傳送帶的兩端安裝上了攝像機(jī)以及機(jī)器人，但對(duì)工件與機(jī)器人之間的相對(duì)位姿，無法采用傳統(tǒng)的手眼標(biāo)定方法來進(jìn)行確定，這就需要在傳送帶上建立兩個(gè)參考坐標(biāo)系，這兩個(gè)參考坐標(biāo)系分別為ref1和ref2，我們將這兩者分別建立在攝像機(jī)的視野范圍以及機(jī)器人的工作空間當(dāng)中，從下圖當(dāng)中我們能夠看到，攝像機(jī)通過平面標(biāo)靶標(biāo)定法，標(biāo)出了內(nèi)外參數(shù)，同時(shí)建立了坐標(biāo)系ref1，從而得出其與攝像機(jī)坐標(biāo)系之間的相對(duì)位姿。

圖4 抓取系統(tǒng)參數(shù)化模型

圖5 坐標(biāo)轉(zhuǎn)換示意圖

通過以上兩個(gè)參考坐標(biāo)系我們能夠建立起目標(biāo)工件與機(jī)器人之間的聯(lián)系，而坐標(biāo)間的變換關(guān)系能夠由圖5所示。

4.基于灰度相關(guān)的模板匹配算法

在對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤過程當(dāng)中，對(duì)目標(biāo)的特征提取是十分重要的，在對(duì)模板的匹配過程當(dāng)中，輪廓、灰度等都能夠作為準(zhǔn)則存在，此外，幾何特征也能夠?qū)ζ溥M(jìn)行跟蹤。在對(duì)目標(biāo)進(jìn)行提取之后，就能夠針對(duì)目標(biāo)的定位來進(jìn)行算法的選擇，同時(shí)，為了滿足實(shí)際的需求，還需要采用合適的處理方法。

通常來說，在模板匹配算法當(dāng)中最常見的就是基于灰度相關(guān)的模板匹配算法。這種算法就是將灰度值作為特征進(jìn)行匹配，現(xiàn)如今，這種算法已經(jīng)發(fā)展的較為成熟，此外還有著容易實(shí)現(xiàn)的的特點(diǎn)。基于這些特點(diǎn)，本文在實(shí)際的研究過程當(dāng)中也選擇了這種算法。在本文當(dāng)中，將模板大小假設(shè)為M*N個(gè)像素，那么其相似度函數(shù)則如下所示：

在上述的式子當(dāng)中，T（m,n）以及S（i+m,j+n）分別是模板圖像以及待搜索圖像的灰度值，通過對(duì)每個(gè)位置的相似函數(shù)的計(jì)算，能夠?qū)D像是否具有相近的目標(biāo)進(jìn)行確定，而將上一式子規(guī)劃到模板進(jìn)行匹配則能夠得到：

NCC系數(shù)的大小表示與帶搜索圖像擁有怎樣的匹配程度，如果NCC等于1，那么則表示在帶搜索的圖像當(dāng)中找到了完全相同的實(shí)例。模板匹配示意圖如下所示，圖像在經(jīng)過匹配之后能夠找到實(shí)例，從而給予機(jī)器人一定的信息。

圖6 模板匹配示意圖

圖7 卡爾曼濾波的一般步驟

在本系統(tǒng)當(dāng)中，采用了與灰度相關(guān)的匹配PatternMatching，這樣的匹配方式允許對(duì)象進(jìn)行三百六十度的旋轉(zhuǎn)以及一定比例的大小變化，其相關(guān)的操作位：（1）對(duì)原始圖像進(jìn)行預(yù)處理，使得工件擁有更加明顯的特征。（2）在原始圖像當(dāng)中選取目標(biāo)工件的圖像作為模板圖像，建立模板學(xué)習(xí)模式時(shí)允許選擇的模式，并在圖像當(dāng)中定義搜索區(qū)域，通過灰度匹配，在區(qū)域內(nèi)找到模板實(shí)例，給出坐標(biāo)信息。

5.運(yùn)動(dòng)目標(biāo)跟蹤算法

5.1 卡爾曼濾波

作為一種現(xiàn)行濾波器，卡爾曼濾波器能夠通過對(duì)上一時(shí)刻狀態(tài)的觀測(cè)來計(jì)算出當(dāng)前狀態(tài)的估計(jì)值，因此不需要記錄觀測(cè)等歷史信息。在視覺跟蹤系統(tǒng)當(dāng)中，卡爾曼濾波器已經(jīng)得到了廣泛的應(yīng)用，它能夠有效的對(duì)運(yùn)動(dòng)物體的狀態(tài)進(jìn)行估計(jì)，從而引導(dǎo)機(jī)器人完成抓取。

卡爾曼濾波算法如圖7所示。

5.2 運(yùn)動(dòng)模型的建立

傳送帶上的工件通常使直線的勻速運(yùn)動(dòng)，如果將某時(shí)刻的位置和速度假設(shè)為運(yùn)動(dòng)狀態(tài)參數(shù)，那么目標(biāo)的狀態(tài)就只有較小的變化，因此能夠利用速度參數(shù)來反應(yīng)運(yùn)動(dòng)趨勢(shì)，在本文的研究當(dāng)中，對(duì)系統(tǒng)狀態(tài)的定義采用思維變量的方式，期方程為：

而針對(duì)本文的系統(tǒng)，其模型則建立為：

由于在圖像當(dāng)中只能觀測(cè)到目標(biāo)的位置，因此其觀測(cè)模型為：

從上圖當(dāng)中能夠看到，利用模板匹配的方法，能夠?qū)ぜ奈恢眠M(jìn)行檢測(cè)，并通過包含工件的兩幀圖像來對(duì)工件的速度進(jìn)行計(jì)算。在此之后利用卡爾曼濾波器，能夠?qū)ぜ目赡芪恢眠M(jìn)行預(yù)測(cè)，在提升系統(tǒng)實(shí)時(shí)性的基礎(chǔ)上不斷的加快匹配的速度。經(jīng)過預(yù)估、矯正的過程，根據(jù)計(jì)算得出的機(jī)器人運(yùn)動(dòng)軌跡，能夠生成全新的指令，并通過計(jì)算機(jī)來對(duì)機(jī)器人下達(dá)指令，控制其對(duì)工件進(jìn)行抓取。

圖9 工件抓取實(shí)驗(yàn)

表1 視覺定位結(jié)果語機(jī)器人末端實(shí)際位置對(duì)比（mm）

6.實(shí)驗(yàn)

通過工件的圖像坐標(biāo)，通過對(duì)將系統(tǒng)參數(shù)模型映射到機(jī)器人坐標(biāo)系當(dāng)中，能夠利用卡爾曼濾波器來對(duì)工件在抓取區(qū)域當(dāng)中的位置進(jìn)行預(yù)測(cè)，并將其與機(jī)器人機(jī)械手末端的坐標(biāo)進(jìn)行比較，當(dāng)午茶能夠保持在1.5毫米以內(nèi)時(shí)，則能夠保證機(jī)械手對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確的抓取，在該系統(tǒng)當(dāng)中，要求有足夠高的定位精度，從而滿足生產(chǎn)的需求，具體實(shí)驗(yàn)如圖9，表1所示。

7.結(jié)論

本文針對(duì)流水線進(jìn)行識(shí)別抓取，基于NI圖像處理軟件進(jìn)行開發(fā)，通過建立抓取系統(tǒng)參數(shù)模型，在得出圖像坐標(biāo)與機(jī)器人坐標(biāo)的關(guān)系后，進(jìn)行了相關(guān)的匹配，同時(shí)結(jié)合卡爾曼濾波算法，得到工件的位置并控制機(jī)器人抓取目標(biāo)，而通過實(shí)際的實(shí)驗(yàn)也能夠證明，在本文設(shè)計(jì)的系統(tǒng)當(dāng)中，精度能夠滿足實(shí)際的生產(chǎn)的需求，能夠有效的提高生產(chǎn)線的自動(dòng)化水平。

[1]伏云發(fā),郭衍龍,李松,熊馨,李勃,余正濤.基于SSVEP直接腦控機(jī)器人方向和速度研究[J].自動(dòng)化學(xué)報(bào),2016(11).

[2]杜柳青,何鑫,韓濤,朱新才.基于剛?cè)狁詈系乃啓C(jī)修復(fù)機(jī)器人導(dǎo)軌誤差分析[J].組合機(jī)床與自動(dòng)化加工技術(shù),2016(11).

[3]陳鑒,夏慶鋒,賈靜雯,秦晨芝.基于TCS3200的識(shí)別技術(shù)及其在機(jī)器人上的應(yīng)用[J].機(jī)器人技術(shù)與應(yīng)用,2016(5).