鄭魁敬 周 鑫 程曉金

(①燕山大學(xué)先進(jìn)鍛壓成形技術(shù)與科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，河北秦皇島 066004;②燕山大學(xué)河北省并聯(lián)機(jī)器人與機(jī)電系統(tǒng)實(shí)驗(yàn)室，河北秦皇島 066004)

近年來(lái)，由于能夠提高機(jī)器人在不同環(huán)境中的自主判斷能力，保證機(jī)器人的靈活性和工作質(zhì)量，視覺(jué)技術(shù)已經(jīng)逐漸成為機(jī)器人獲得環(huán)境信息的重要手段［1－5］。特別是在自動(dòng)化生產(chǎn)線中，由于機(jī)械定位裝置的偏差有時(shí)會(huì)導(dǎo)致機(jī)器人不能準(zhǔn)確抓取工件，視覺(jué)系統(tǒng)越來(lái)越多地被應(yīng)用于機(jī)器人上下料過(guò)程中的工件自動(dòng)定位［6－8］。采用視覺(jué)技術(shù)，給生產(chǎn)線中的上下料機(jī)器人裝上“眼睛”，通過(guò)準(zhǔn)確識(shí)別工件位置，避免因機(jī)械定位、對(duì)中裝置與工料的碰撞、擠壓等造成不必要損失，從而簡(jiǎn)化了生產(chǎn)線中機(jī)械定位的工藝復(fù)雜性，有效縮短了定位時(shí)間，提高了機(jī)器人上下料效率和靈活性［9－10］。

本文將工業(yè)機(jī)器人與視覺(jué)定位系統(tǒng)進(jìn)行集成，通過(guò)以太網(wǎng)實(shí)現(xiàn)機(jī)器人控制系統(tǒng)與工業(yè)攝像機(jī)、圖像處理軟件之間的實(shí)時(shí)通訊，實(shí)現(xiàn)工業(yè)機(jī)器人對(duì)板料工件的靈活快速準(zhǔn)確抓取和放置。

1 機(jī)器人上下料系統(tǒng)方案

機(jī)器人上下料系統(tǒng)包括機(jī)器人系統(tǒng)、集成控制系統(tǒng)、圖像采集和處理系統(tǒng)、實(shí)時(shí)通訊接口等。

機(jī)器人上下料系統(tǒng)硬件如圖1所示，包括服務(wù)器主機(jī)、ABB1410六自由度工業(yè)機(jī)器人、維視 MV－2000UC攝像機(jī)、端拾器真空系統(tǒng)、上下料工作臺(tái)、I/O接口、數(shù)據(jù)傳輸介質(zhì)等。集成控制軟件安裝在主機(jī)上，能與機(jī)器人控制器通訊并響應(yīng)其請(qǐng)求，觸發(fā)視覺(jué)系統(tǒng)拍照并進(jìn)行圖像處理。

ABB公司IRC5控制器與 PC機(jī)通訊可采用RS232、OPC server及Socket Message;現(xiàn)場(chǎng)總線通訊支持 Device Net、Profibus、Profinet、EtherNetIP。本文采用Socket Message，通過(guò)網(wǎng)絡(luò)接口實(shí)現(xiàn)PC機(jī)與機(jī)器人通訊。機(jī)器人上下料系統(tǒng)將機(jī)器人控制器、PC機(jī)連入局域網(wǎng)，向PC機(jī)分配特定IP地址和端口號(hào)以便控制器搜索;維視MV－2000UC工業(yè)攝像機(jī)安裝到上料工作臺(tái)上方，通過(guò)USB接口連接到PC機(jī);端拾器真空系統(tǒng)連接到控制器Device Net總線I/O板。

如圖2所示，控制器與PC主機(jī)采用C/S結(jié)構(gòu)，控制器端為客戶端，PC機(jī)端為服務(wù)器端。由于攝像機(jī)采用固定式安裝，為避免機(jī)器人在抓取時(shí)干涉攝像機(jī)拍照，拍照的觸發(fā)信號(hào)設(shè)定在機(jī)器人離開(kāi)上料臺(tái)后的指定位姿，由控制器向PC機(jī)發(fā)出。PC機(jī)得到信號(hào)后，通過(guò)執(zhí)行C語(yǔ)言開(kāi)發(fā)的軟件控制攝像機(jī)采集圖像，然后進(jìn)行圖像處理，將工件定位信息數(shù)據(jù)通過(guò)PC機(jī)傳遞給機(jī)器人控制器，當(dāng)機(jī)器人的端拾器運(yùn)動(dòng)到目標(biāo)點(diǎn)時(shí)發(fā)出真空系統(tǒng)觸發(fā)信號(hào)進(jìn)行工件抓取。

2 工件的視覺(jué)定位方法

視覺(jué)系統(tǒng)基本任務(wù)是從攝像機(jī)獲取圖像信息并通過(guò)計(jì)算確定工件的空間位置信息。

機(jī)器人抓取工件為400 mm×410 mm×1 mm的金屬薄板，需要獲得目標(biāo)物體相對(duì)于標(biāo)準(zhǔn)位置沿x、y方向的偏移距離Tx、Ty以及繞z軸的偏轉(zhuǎn)角度θ。圖像坐標(biāo)系和世界坐標(biāo)系的關(guān)系如圖3所示，O1－xy為世界坐標(biāo)系;O2－uv為圖像坐標(biāo)系。圖像坐標(biāo)系的u方向與世界坐標(biāo)系的x方向相同，而v方向和y方向相反，可以建立空間中的目標(biāo)物體相對(duì)于標(biāo)準(zhǔn)位置的偏移模型為

式中:x1、y1為圖像坐標(biāo)系中標(biāo)準(zhǔn)位置的坐標(biāo);u、v為圖像坐標(biāo)系中目標(biāo)物體坐標(biāo);r為圖像坐標(biāo)系到世界坐標(biāo)系的比例因子，mm/pixel;Tx、Ty為偏移量。

用式(2)計(jì)算r并計(jì)算平均值，確定r為0.643 1。參數(shù)x1，y1確定為(516.868，703.197)。

當(dāng)機(jī)器人的端拾器運(yùn)動(dòng)到某一規(guī)定位置時(shí)，客戶端按照指定的IP地址與服務(wù)端口號(hào)請(qǐng)求與服務(wù)器端連接，然后觸發(fā)攝像機(jī)照相。

攝像機(jī)將圖像信號(hào)傳給視覺(jué)系統(tǒng)軟件進(jìn)行圖像處理。圖像處理包括圖像預(yù)處理、特征提取、邊緣提取及中心位置識(shí)別等，流程如圖4所示。

服務(wù)器將圖像處理得到的板料位置偏差數(shù)據(jù)按順序封裝成字節(jié)流，返回給客戶端，客戶端按順序?qū)⒆止?jié)流打開(kāi)，同時(shí)賦值給控制器中的變量X、Y、Rz，及時(shí)修正機(jī)器人抓取的目標(biāo)點(diǎn)。

3 系統(tǒng)實(shí)時(shí)性分析

對(duì)系統(tǒng)實(shí)時(shí)性產(chǎn)生影響的因素主要有3個(gè)方面:系統(tǒng)響應(yīng)快慢，圖像處理速度和網(wǎng)絡(luò)延遲。

3.1 提高系統(tǒng)響應(yīng)速度

Windows是一個(gè)通用操作系統(tǒng)平臺(tái)，在實(shí)時(shí)性方面存在一定缺陷:線程優(yōu)先級(jí)太少;隱含的不確定的線程調(diào)度機(jī)制;優(yōu)先級(jí)倒置，尤其體現(xiàn)在中斷處理中。本系統(tǒng)嵌入RTX(Real－time Extension)對(duì)Windows系統(tǒng)進(jìn)行實(shí)時(shí)擴(kuò)展。

通過(guò)向操作系統(tǒng)嵌入RTX，不但能夠改進(jìn)系統(tǒng)數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性，還能夠避免由于操作系統(tǒng)內(nèi)部引起的錯(cuò)誤，保證了系統(tǒng)運(yùn)行的可靠性。

3.2 提高圖像處理速度

由于視覺(jué)定位中使用的特定標(biāo)志物圖像及背景圖像尺寸對(duì)計(jì)算時(shí)間影響較大，為提高視覺(jué)定位實(shí)時(shí)性，分別改變待識(shí)別圖像及背景圖像尺寸，進(jìn)行圖像匹配實(shí)時(shí)性測(cè)試。當(dāng)標(biāo)志物圖像和背景圖像尺寸縮小40% ～60%時(shí)，特征點(diǎn)數(shù)減少20% ～30%，定位時(shí)間縮短30%～40%，在滿足定位精度要求下提高了定位實(shí)時(shí)性。因此，通過(guò)合理選擇圖像尺寸不僅可滿足匹配精度，還能提高視覺(jué)定位效率。

3.3 降低網(wǎng)絡(luò)延遲

首先，通過(guò)限制以太網(wǎng)通訊負(fù)載大小的方法提高以太網(wǎng)實(shí)時(shí)性。通信負(fù)載主要由節(jié)點(diǎn)數(shù)目和數(shù)據(jù)幀長(zhǎng)度決定。在自動(dòng)化生產(chǎn)線中，節(jié)點(diǎn)間傳輸數(shù)據(jù)多為不超過(guò)256字節(jié)的短信息幀，因此限制通信負(fù)載的大小主要取決于節(jié)點(diǎn)數(shù)目，可通過(guò)盡量減少節(jié)點(diǎn)數(shù)降低延遲。其次，采用快速以太網(wǎng)和交換式以太網(wǎng)取代共享式以太網(wǎng)，通過(guò)劃分網(wǎng)絡(luò)避免競(jìng)爭(zhēng)或提高通信速率減少延遲。最后，可給不同信息分配優(yōu)先級(jí)，使緊急事件信息能夠及時(shí)得到傳輸，從而改善以太網(wǎng)實(shí)時(shí)性能。

3.4 系統(tǒng)實(shí)時(shí)性測(cè)試

對(duì)系統(tǒng)實(shí)時(shí)性測(cè)試采用程序插樁方法。程序插樁是在靜態(tài)測(cè)試階段向被測(cè)程序中插入操作，人為加入測(cè)試函數(shù)(樁函數(shù))，在程序執(zhí)行過(guò)程中通過(guò)收集插入信息來(lái)獲得程序執(zhí)行和狀態(tài)數(shù)據(jù)的測(cè)試技術(shù)。服務(wù)器端實(shí)時(shí)性度量指標(biāo)為軟件響應(yīng)延遲時(shí)間、運(yùn)行時(shí)間和輸出延遲時(shí)間。要獲取這些時(shí)間信息，需要在程序中插入探針，即進(jìn)行插樁。樁點(diǎn)位置設(shè)計(jì)在Server/Client的入口、出口和圖像處理系統(tǒng)的入口、出口。系統(tǒng)實(shí)時(shí)性測(cè)試結(jié)果如表1所示。

表1 系統(tǒng)實(shí)時(shí)性測(cè)試結(jié)果 s

4 系統(tǒng)實(shí)驗(yàn)

首先利用ABB公司Robotstudio仿真軟件對(duì)整個(gè)系統(tǒng)的可行性及網(wǎng)絡(luò)通信能力進(jìn)行仿真測(cè)試。向Robotstudio軟件導(dǎo)入三維模型、定義虛擬I/O板，建立虛擬數(shù)組模仿視覺(jué)系統(tǒng)，完全模擬上下料系統(tǒng)。虛擬上下料系統(tǒng)如圖5所示。

在虛擬上下料系統(tǒng)中仿真測(cè)試后進(jìn)行機(jī)器人上下料實(shí)驗(yàn)。對(duì)工件進(jìn)行視覺(jué)定位，確定工件的偏移位置。利用視覺(jué)系統(tǒng)對(duì)工件圖像的處理過(guò)程如圖6所示，工件定位數(shù)據(jù)如表2所示。

將表2中的視覺(jué)定位數(shù)據(jù)傳遞給機(jī)器人控制器，控制機(jī)器人實(shí)時(shí)調(diào)整位姿，準(zhǔn)確抓取工件。機(jī)器人上下料系統(tǒng)如圖7所示，系統(tǒng)控制軟件界面如圖8所示。在穩(wěn)定光源下，機(jī)器人能夠以10次/min的速度將隨意放置的板料靈活抓取并準(zhǔn)確放入下料臺(tái)，達(dá)到了系統(tǒng)設(shè)計(jì)要求。

表2 工件定位數(shù)據(jù)

5 結(jié)語(yǔ)

基于視覺(jué)定位的上下料機(jī)器人系統(tǒng)集成技術(shù)，通過(guò)引入視覺(jué)功能使機(jī)器人能夠準(zhǔn)確確定板料的位置和方向信息，從而能夠靈活準(zhǔn)確快速地實(shí)現(xiàn)隨意擺放的工件上下料。該系統(tǒng)的研究對(duì)于自動(dòng)化生產(chǎn)線中減少機(jī)器人上下料時(shí)間、降低成本、提高自動(dòng)化水平具有重要的理論與實(shí)際意義。

［1］Savage L.Fully featured machine vision software drives manufacturing［J］.Photonics Spectra，2011，45(11):1 －5.

［2］蔡征宇，沈俊杰，楊昀.基于工業(yè)CCD攝像機(jī)的機(jī)器人視覺(jué)定位系統(tǒng)研究［J］.機(jī)電一體化，2010(3):22－25.

［3］陳偉華，馬瓊雄，陳月軍.基于VisionPro的工業(yè)機(jī)器人視覺(jué)定位系統(tǒng)［J］.組合機(jī)床與自動(dòng)化加工技術(shù)，2012(2):81－83.

［4］張建中，何永義，李軍.機(jī)器人裝配視覺(jué)定位應(yīng)用研究［J］.機(jī)電工程，2011，28(8):934 －937.

［5］Shahabi H H，Ratnam M M.Prediction of surface roughness and dimensional deviation of workpiece in turning:a machine vision approach［J］.Advanced Manufacturing Technology，2010，48(1):213 －226.

［6］李金義，楊成，王京，等.基于視覺(jué)定位的機(jī)器人搬運(yùn)系統(tǒng)［J］.制造業(yè)自動(dòng)化，2011，33(4):40 －42.

［7］姜永成，周正干，任福君，等.圖像尺寸對(duì)機(jī)器人視覺(jué)定位實(shí)時(shí)性的影響研究［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(7):197 －199.

［8］徐劍飛，周德儉，林卓強(qiáng).基于PC機(jī)器視覺(jué)的貼片機(jī)視覺(jué)對(duì)中應(yīng)用研究［J］.測(cè)控技術(shù)，2007，26(7):82 －85.

［9］稻葉善治.機(jī)床和智能機(jī)器人的融合［J］.世界制造技術(shù)與裝備市場(chǎng)，2009(4):37 －38.

［10］關(guān)號(hào)兵，顧寄南，陳四杰，等.圓柱體工件上下料機(jī)器人視覺(jué)系統(tǒng)設(shè)計(jì)［J］.機(jī)械設(shè)計(jì)與研究，2012，28(1):18 －21.