朱冬冬, 秦 琴, 屠子美,洪劍雄

(1.上海第二工業(yè)大學(xué)a.環(huán)境與材料工程學(xué)院;b.智能制造與控制工程學(xué)院,上海201209)

基于視覺檢測的機(jī)器人分揀系統(tǒng)設(shè)計(jì)

朱冬冬a,b, 秦 琴a,b, 屠子美b,洪劍雄b

(1.上海第二工業(yè)大學(xué)a.環(huán)境與材料工程學(xué)院;b.智能制造與控制工程學(xué)院,上海201209)

針對(duì)工業(yè)流水線分揀作業(yè)的需求設(shè)計(jì)了一套基于視覺檢測的工業(yè)機(jī)器人分揀系統(tǒng)。系統(tǒng)采用工業(yè)相機(jī)獲取工件圖像和對(duì)應(yīng)QR碼標(biāo)簽信息,通過圖像識(shí)別方法進(jìn)行工件識(shí)別并計(jì)算工件中心坐標(biāo),將工件坐標(biāo)統(tǒng)一至機(jī)器人坐標(biāo)系并與機(jī)器人建立通信,控制機(jī)器人準(zhǔn)確抓取并分揀工件。本系統(tǒng)主控計(jì)算機(jī)采用LabVIEW編程實(shí)現(xiàn)圖像采集、圖像處理與坐標(biāo)變換等任務(wù),并通過安川公司提供的MOTOCOM32.dll與機(jī)器人控制器建立實(shí)時(shí)通信。該系統(tǒng)具有較高的運(yùn)行速度和準(zhǔn)確度,可應(yīng)用于工業(yè)流水線自動(dòng)化分揀作業(yè)領(lǐng)域。

工業(yè)機(jī)器人;機(jī)器視覺;自動(dòng)化分揀

0 引言

隨著制造業(yè)的發(fā)展,視覺檢測技術(shù)在工業(yè)生產(chǎn)中得到越來越廣泛的應(yīng)用,對(duì)提高生產(chǎn)效率、生產(chǎn)智能化至關(guān)重要。工業(yè)機(jī)器人的工作,離不開分揀,分揀作業(yè)是大多數(shù)流水生產(chǎn)線上的一個(gè)重要環(huán)節(jié),工件分揀也是工業(yè)產(chǎn)品批量生產(chǎn)環(huán)節(jié)重要的組成部分[1-4]。機(jī)器人分揀技術(shù)是機(jī)器人技術(shù)與視覺檢測技術(shù)的組合,一些工業(yè)發(fā)達(dá)的國家在食品、醫(yī)藥、汽車生產(chǎn)等領(lǐng)域已有非常廣泛的應(yīng)用。近些年來,我國的機(jī)器人分揀技術(shù)發(fā)展迅速,越來越多地應(yīng)用于物流等分揀現(xiàn)場。在傳統(tǒng)流水線的分揀作業(yè)中,主要是人工的方法分揀,工人重復(fù)地長時(shí)間執(zhí)行分揀動(dòng)作已不能滿足要求,大大影響了工作效率和準(zhǔn)確性[5-8]。

在目前機(jī)器人分揀技術(shù)的應(yīng)用中,根據(jù)不同的分揀對(duì)象使用不同的機(jī)器人類型:在食品分揀領(lǐng)域,需要應(yīng)用具有高速執(zhí)行功能的機(jī)器人;在物流搬運(yùn)領(lǐng)域,需要負(fù)載能力高的機(jī)器人。本文根據(jù)機(jī)器人分揀系統(tǒng)所需要的技術(shù)要點(diǎn),包括圖像獲取和預(yù)處理、坐標(biāo)變換、通信等,設(shè)計(jì)了一種基于視覺檢測的機(jī)器人分揀系統(tǒng),可用于分揀作業(yè)中,也可用于教學(xué)和實(shí)驗(yàn)應(yīng)用。

1 系統(tǒng)硬件設(shè)計(jì)

1.1 硬件結(jié)構(gòu)

系統(tǒng)硬件主要由工業(yè)機(jī)器人、氣動(dòng)裝備、工業(yè)相機(jī)與鏡頭、光源、PC機(jī)、路由器和分揀對(duì)象(多種形狀的塑料小塊)組成。

在本系統(tǒng)中,作為執(zhí)行機(jī)構(gòu)的工業(yè)機(jī)器人,采用日本安川電機(jī)有限公司生產(chǎn)的具有6個(gè)軸的工業(yè)機(jī)器人。機(jī)器人末端執(zhí)行機(jī)構(gòu)安裝小型吸盤,實(shí)現(xiàn)對(duì)工件的吸取和釋放;工業(yè)相機(jī)采用Allied Vision Technologies公司生產(chǎn)的Manta G201B ASG 30 fps 200 W像素以太網(wǎng)工業(yè)相機(jī),固定安裝在工作臺(tái)上方70 cm處;輔助光源安裝于工作臺(tái)上方40 cm處,用于補(bǔ)光以達(dá)到最佳的拍攝效果;利用1臺(tái)路由器,把機(jī)器人、工業(yè)相機(jī)、計(jì)算機(jī)連接到同一個(gè)局域網(wǎng)內(nèi),以達(dá)到它們互相通信的目的。主要系統(tǒng)硬件連接示意圖見圖1。

2 軟件設(shè)計(jì)

本系統(tǒng)采用LabVIEW作為軟件平臺(tái),其包含機(jī)器視覺圖像處理組件NI Vision Pack和通用工業(yè)相機(jī)驅(qū)動(dòng)程序NI-IMAQdx,編寫設(shè)計(jì)上位機(jī)程序,完成圖像采集、分析、識(shí)別處理的工作。

圖1 硬件連接示意Fig.1 Hardware connection schematic

機(jī)器人編程在機(jī)器人示教編程器上完成。

根據(jù)預(yù)期的系統(tǒng)執(zhí)行流程,主要可以分為7個(gè)流程。其工作流程示意圖如圖2所示。

圖2 工作流程圖Fig.2 Work f l ow chart

軟件設(shè)計(jì)部分包含上位機(jī)控制程序和機(jī)器人執(zhí)行程序的設(shè)計(jì)。上位機(jī)控制程序的功能包括控制工業(yè)相機(jī)拍攝、圖像處理、目標(biāo)定位、坐標(biāo)變換和坐標(biāo)信息發(fā)送,系統(tǒng)可實(shí)時(shí)顯示圖像和系統(tǒng)工作狀態(tài),具有啟動(dòng)/停止系統(tǒng)工作功能。

機(jī)器人執(zhí)行程序的功能包括接收啟動(dòng)/停止信號(hào),根據(jù)上位機(jī)發(fā)送的工件坐標(biāo)信息和目標(biāo)位置信息實(shí)時(shí)控制機(jī)器人執(zhí)行分揀動(dòng)作。

2.1 上位機(jī)程序設(shè)計(jì)

2.1.1 程序流程設(shè)計(jì)

結(jié)合本系統(tǒng)的運(yùn)作流程選擇狀態(tài)機(jī)作為程序設(shè)計(jì)模式。程序與機(jī)器人的通信通過調(diào)用MOTOCOM32.dll動(dòng)態(tài)鏈接庫實(shí)現(xiàn)(MOTOCOM32是日本安川電機(jī)公司為其MOTOMAN系列機(jī)器人提供的軟件開發(fā)工具,該工具具有數(shù)據(jù)文件傳送、機(jī)器人控制、I/O信號(hào)讀寫等功能,可供用戶根據(jù)需求開發(fā)自己的應(yīng)用程序[9-10])。根據(jù)系統(tǒng)運(yùn)行流程,依照狀態(tài)機(jī)設(shè)計(jì)模式編寫控制程序,如圖3所示。

圖3 程序流程圖Fig.3 Program f l owchart

程序初始化包括顯示控件初始化(指示燈、數(shù)值顯示框、圖像顯示控件)和機(jī)器人通信初始化2部分。程序通過調(diào)用MOTOCOM32.dll動(dòng)態(tài)鏈接庫中的函數(shù)實(shí)現(xiàn)與機(jī)器人通信,運(yùn)行程序前需保證計(jì)算機(jī)已接入U(xiǎn)SB電子加密器。

初始化成功后,通信狀態(tài)指示燈亮、機(jī)器人伺服上電、機(jī)器人進(jìn)入準(zhǔn)備工作狀態(tài);上位機(jī)同時(shí)判斷機(jī)器人是否處于運(yùn)行狀態(tài)以及停止按鈕是否被按下。若按下停止按鈕,則退出程序,與機(jī)器人控制器斷開連接。在機(jī)器人空閑狀態(tài),程序?qū)?dòng)相機(jī)進(jìn)行拍攝。當(dāng)拍攝到目標(biāo)工件,立即對(duì)工件進(jìn)行圖像處理定位和讀取QR碼信息,之后轉(zhuǎn)入下一狀態(tài)調(diào)用BscPutVarData函數(shù)將計(jì)算出的坐標(biāo)信息發(fā)送至機(jī)器人控制器的指定變量中,然后控制機(jī)器人執(zhí)行分揀動(dòng)作。

2.1.2 圖像獲取、處理與坐標(biāo)變換

使用NI公司提供的通用工業(yè)相機(jī)驅(qū)動(dòng)程序NIIMAQdx執(zhí)行相機(jī)各項(xiàng)操作,包括打開相機(jī)、執(zhí)行拍攝和關(guān)閉相機(jī)。在采集到圖像后,由于成像系統(tǒng)的像差、畸變等因素造成圖像變形失真,本文使用NI公司提供NI Vision Pack中的IMAQ Set Calibration Info VI進(jìn)行圖像校正,校正使用圖4(a)所示的點(diǎn)陣模板,點(diǎn)中心實(shí)際距離為10 mm。

圖4 圖像操作Fig.4 Image manipulation

圖像經(jīng)校正以后,灰度圖像需進(jìn)行二值化處理,以達(dá)到減小數(shù)據(jù)量、清晰化的目標(biāo),便于進(jìn)一步的識(shí)別處理。圖像二值化的方法有很多,主要分為全局方法和局部方法2大類。本文選用Niblack方法,Niblack方法是局部方法的一種,它根據(jù)以像素點(diǎn)為中心的領(lǐng)域內(nèi)的點(diǎn)的情況計(jì)算閾值,在此設(shè)置的局部窗口大小為32×32像素。

經(jīng)過二值化后的圖像含有很多噪聲,本文采用中值濾波法進(jìn)行非線性平滑,中值濾波將每一像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)的所有像素點(diǎn)灰度值的中值[11-12],經(jīng)測試中值濾波可以消除本系統(tǒng)圖像的噪聲,二值化及中值濾波算法實(shí)現(xiàn)及測試結(jié)果見圖 4(b～c)。

在得到質(zhì)量較好的二值圖像后,使用IMAQ Match Multiple Geometric Patterns VI進(jìn)行模板匹配操作,匹配成功后得到對(duì)應(yīng)工件的中心坐標(biāo)。

工件在圖像上的坐標(biāo)是以像素點(diǎn)為坐標(biāo)的,必須要與機(jī)器人坐標(biāo)統(tǒng)一才可執(zhí)行。機(jī)器人提供用戶自定義坐標(biāo)的權(quán)限,因此,可以通過定義1個(gè)機(jī)器人的用戶坐標(biāo)系的x、y軸使之與圖像坐標(biāo)的u、v軸對(duì)齊,用戶坐標(biāo)系的z軸垂直于x、y軸,記原點(diǎn)位置為點(diǎn)O,見圖5(a)。

如此,通過坐標(biāo)變換就可以達(dá)到目的。假定工件在圖像坐標(biāo)系上的坐標(biāo)是(u,v),圖像坐標(biāo)系原點(diǎn)與用戶坐標(biāo)系的原點(diǎn)重合,記為O,相機(jī)所拍攝到的視野為1個(gè)345 mm×265 mm的矩形區(qū)域,已知相機(jī)的有效像素為1 624×1 234,這樣就可以得出工件中心在用戶坐標(biāo)系下以mm為單位表示的坐標(biāo)(x1,y1):

取機(jī)器人末端點(diǎn)處在機(jī)器人用戶坐標(biāo)系下的坐標(biāo)為(x2,y2),見圖5(b)。坐標(biāo)變換后,機(jī)器人需要在x、y方向上移動(dòng)的距離為:

而對(duì)于z軸,機(jī)器人執(zhí)行點(diǎn)到工件中心點(diǎn)的垂直距離是確定的,只需在機(jī)器人的編程中指定執(zhí)行點(diǎn)到中心點(diǎn)z軸的運(yùn)行距離即可。

本系統(tǒng)中,經(jīng)過圖像校正后,視場中心區(qū)域精度達(dá)到0.3 mm,視場外圍由于鏡頭畸變誤差增大,精度降低為1 mm,可以達(dá)到系統(tǒng)分揀的定位精度要求。

圖5 坐標(biāo)系Fig.5 Coordinate system

2.2 機(jī)器人執(zhí)行程序設(shè)計(jì)

上位機(jī)控制程序的功能是獲取圖像并處理以及進(jìn)行坐標(biāo)轉(zhuǎn)換和流程狀態(tài)機(jī)的設(shè)計(jì)。機(jī)器人的運(yùn)行程序是在示教編程器上完成的,從示教編程器上可以操作機(jī)器人本體運(yùn)動(dòng),還可以設(shè)置自定義坐標(biāo)。示教編程器上編程語言采用的是機(jī)器人公司所提供的一種類似于匯編語言的程序語言,通過該語言編程,可以實(shí)現(xiàn)機(jī)器人按照用戶編程的意圖運(yùn)行。

在此系統(tǒng)中,機(jī)器人執(zhí)行程序的設(shè)計(jì)相對(duì)簡單,只需機(jī)器人按照預(yù)定的路線執(zhí)行后回到初始位置。其運(yùn)行流程見圖6。

由圖6可見,機(jī)器人未到上位機(jī)控制程序的啟動(dòng)信號(hào)時(shí),處于循環(huán)等待接收啟動(dòng)信號(hào)的狀態(tài)。當(dāng)接收到啟動(dòng)信號(hào)時(shí),即上位機(jī)調(diào)用了機(jī)器人啟動(dòng)任務(wù)的BscSrartJob函數(shù),使機(jī)器人末端的控制點(diǎn)移動(dòng)到工件中心位置,輸出信號(hào)控制氣嘴吸取動(dòng)作,移動(dòng)到相應(yīng)的落料位置,輸出信號(hào)控制氣嘴釋放工件,最后返回初始位置,完成整套動(dòng)作。以下為機(jī)器人程序的主要部分及注釋:

圖6 機(jī)器人執(zhí)行流程圖Fig.6 Flow chart of robot perform

在以上程序中,變量名為Select的變量在機(jī)器人控制器中是字節(jié)型變量,可存儲(chǔ)0～255的整數(shù)。本程序中,Select的值被上位機(jī)程序根據(jù)圖像判斷工件的形狀后設(shè)定為1、2、3中的1個(gè)值,用來表示工件的形狀為三角形、方形和圓形,機(jī)器人根據(jù)這個(gè)值,相應(yīng)地執(zhí)行名為1、2和3中的1個(gè)子程序,達(dá)到分揀工件的目的。

3 系統(tǒng)運(yùn)行效果

在本實(shí)驗(yàn)系統(tǒng)中,使用三角形、方形和圓形工件作為分揀對(duì)象,同時(shí)讀取該工件上QR碼的信息顯示并保存。在不改變環(huán)境光照的條件下通過多次實(shí)驗(yàn),統(tǒng)計(jì)分揀實(shí)驗(yàn)結(jié)果,如表1所示。

表1 實(shí)驗(yàn)統(tǒng)計(jì)Tab.1 Experimental statistics

實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果顯示,使用三角形、方形圓形作為分揀的對(duì)象,經(jīng)過圖像校正、二值化、中值濾波處理,分揀的準(zhǔn)確率達(dá)到100%;而未經(jīng)過圖像校正、二值化、中值濾波處理的,分揀的準(zhǔn)確率都不足90%;其他形狀不作為分揀的對(duì)象,都不進(jìn)行分揀。實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果表明,對(duì)圖像校正、二值化、中值濾波處理后,提高了對(duì)工件識(shí)別的準(zhǔn)確率。

4 結(jié) 語

本文以安川工業(yè)機(jī)器人、工業(yè)相機(jī)、氣動(dòng)裝置等硬件配合機(jī)器人編程程序、LabVIEW軟件等設(shè)計(jì)了一套基于視覺檢測的機(jī)器人分揀系統(tǒng)。

通過調(diào)用MOTOCOM32.dll動(dòng)態(tài)鏈接庫實(shí)現(xiàn)了主控電腦與機(jī)器人的實(shí)時(shí)通信,通過自定義坐標(biāo)系使得圖像坐標(biāo)系與機(jī)器人坐標(biāo)系的轉(zhuǎn)換更加便捷。根據(jù)生產(chǎn)實(shí)際需求,系統(tǒng)可以更換吸嘴結(jié)構(gòu)為夾具結(jié)構(gòu)來實(shí)現(xiàn)分揀不同的目標(biāo)。

實(shí)踐結(jié)果表明,本系統(tǒng)實(shí)現(xiàn)了分揀作業(yè)無人化,替代了重復(fù)的體力勞動(dòng),提高了自動(dòng)化水平和質(zhì)量,機(jī)器人與機(jī)器視覺的結(jié)合會(huì)越來越廣泛地應(yīng)用于各個(gè)領(lǐng)域。本系統(tǒng)可用于實(shí)驗(yàn)教學(xué),為進(jìn)一步研究和開發(fā)積累了經(jīng)驗(yàn),為機(jī)器人分揀技術(shù)在生產(chǎn)領(lǐng)域付諸實(shí)施提供更多的參考和借鑒。

[1] 焦恩璋,杜榮.工業(yè)機(jī)器人分揀技術(shù)的實(shí)現(xiàn)[J].組合機(jī)床與自動(dòng)化加工技術(shù),2010(2):84-87.

[2] 劉振宇,趙彬,鄒風(fēng)山.機(jī)器視覺技術(shù)在工件分揀中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(11):87-91.

[3] 李和平,陳育新.基于LabVIEW工業(yè)機(jī)器人自動(dòng)分揀系統(tǒng)設(shè)計(jì)[J].機(jī)床與液壓,2015,43(9):90-93.

[4] 趙彬.基于機(jī)器視覺的工業(yè)機(jī)器人分揀技術(shù)研究[D].沈陽:沈陽工業(yè)大學(xué),2013:25-30.

[5] 栗俊艷,米月琴,弓靖,等.一種基于機(jī)器視覺的工業(yè)機(jī)器人分揀系統(tǒng)[J].電子科技,2016,29(1):105-107.

[6] 李明.運(yùn)動(dòng)食品機(jī)器視覺的識(shí)別與定位技術(shù)的研究[D].哈爾濱:哈爾濱商業(yè)大學(xué),2014.

[7] 蘭虎,陶祖?zhèn)?段宏偉.基于LabVIEW的弧焊機(jī)器人視覺傳感圖像處理技術(shù)[J].實(shí)驗(yàn)技術(shù)與管理,2012,29(7):87-91.

[8] 唐東煒,安軍,肖周勇.基于LabVIEW的慧魚機(jī)器人控制系統(tǒng)設(shè)計(jì)[J].中國現(xiàn)代教育裝備,2008,69(11):50-51.

[9] 杜榮.基于機(jī)器視覺的工業(yè)機(jī)器人分揀系統(tǒng)的研究[D].南京:南京林業(yè)大學(xué),2009.

[10]杜榮,焦恩璋.Motocom32的應(yīng)用及其面向?qū)ο蠓庋b研究[J].機(jī)電一體化,2009,15(6):80-83.

[11]朱志恩.中值濾波技術(shù)在圖像處理中的應(yīng)用研究[D].東北:東北大學(xué),2008.

[12]孫宏琦,施維穎,巨永鋒.利用中值濾波進(jìn)行圖像處理[J].長安大學(xué)學(xué)報(bào)(自然科學(xué)版),2003,23(2):104-106.

Sorting System of Robot Based on Vision Detection

ZHU Dongdonga,b,QIN Qina,b,TU Zimeib, HONG Jianxiongb
(a.School of Environmental and Materials Engineering;b.School of Intelligent Manufacturing and Control Engineering,Shanghai Polytechnic University,Shanghai 201209,China)

According to industrial assembly line sorting activities,thesorting system of i ndustrial robot wasdesigned based on vision detection.This system used industrial camera to obtain workpiece images and corresponding QR code label information.The workpiece recognition method was used to identify the workpiece and calculate the center coordinates of the workpiece which were unif i ed to the robot coordinate system and communicated with the robot.The robot could accurately grasp and sort the workpiece.The system used LabVIEW to achieve image acquisition,image processing and coordinate transformation tasks.And it used MOTOCOM32.dll which provided by Yaskawa company to establish real-time communicationwith robot controller.The system had a high running speed and accuracy,and could be applied to automatic sorting operations in the industrial assembly line.

industrial robot;machine vision;automatic sorting

TP 241

A

1001-4543(2017)04-0258-06

10.19570/j.cnki.jsspu.2017.04.002

2017-04-20

秦 琴(1978–),女,遼寧沈陽人,副教授,博士,主要研究方向?yàn)闄C(jī)器視覺與運(yùn)動(dòng)控制技術(shù)。E-mail:qinqin@sspu.edu.cn。

上海第二工業(yè)大學(xué)研究生項(xiàng)目基金(EGD16YJ025),上海第二工業(yè)大學(xué)校重點(diǎn)學(xué)科(XXKZD1603)資助