馬麗雅，吳自然，吳桂初

（溫州大學(xué) 數(shù)理與電子信息工程學(xué)院，溫州 325000）

0 引言

為了減少工人在工業(yè)自動(dòng)化生產(chǎn)流水線上的重復(fù)勞動(dòng)，越來越多的工業(yè)機(jī)器人加入到工業(yè)生產(chǎn)的過程中來。引入機(jī)器視覺技術(shù)使得工業(yè)機(jī)器人朝著更加智能化和柔性化的方向發(fā)展，極大的提高了生產(chǎn)效率。當(dāng)前用于自動(dòng)生產(chǎn)線上的工業(yè)機(jī)器人大多都是利用離線編程的方式來使機(jī)器人完成動(dòng)作，雖然這種方式可以提高工業(yè)自動(dòng)化的水平，然而卻沒有達(dá)到人們所期望的智能化工業(yè)生產(chǎn)。為了能夠?qū)崿F(xiàn)智能化的自動(dòng)包裝生產(chǎn)，工業(yè)機(jī)器人必須要知道在傳送帶上的待包裝工件的實(shí)時(shí)位置信息，因此需要將圖像傳感設(shè)備在安裝在工業(yè)機(jī)器人，從而可以獲取外部圖像信息，使其增強(qiáng)自適應(yīng)性來滿足包裝或分揀種類眾多工件的要求[1]。柔性化制造要根據(jù)包裝紙對象尺寸變化來移動(dòng)相機(jī)的位置，所以需要在線重新標(biāo)定。因此和傳統(tǒng)的機(jī)器人分揀和包裝作業(yè)相比較，使用機(jī)器視覺的工業(yè)機(jī)器人對于目標(biāo)物體的識(shí)別和定位有著極其重要的意義[2]。

本文以紙盒為抓取對象，然后利用工業(yè)機(jī)器人把紙盒放置在包裝紙上，通過包裝紙上的膠水粘合從而完成包裝，當(dāng)前制造業(yè)要求包裝紙和紙盒之間的誤差僅有幾十微米，所以紙盒定位準(zhǔn)確對于包裝來講十分重要。機(jī)器視覺技術(shù)的研究在國外已經(jīng)從實(shí)驗(yàn)室階段走向了成熟，且廣泛應(yīng)用于實(shí)際生產(chǎn)生活中，例如ABB公司的IRB340工業(yè)機(jī)器人在Flex Picker視覺系統(tǒng)的引導(dǎo)下，可以在傳送帶上抓取工件并放到預(yù)先指定的地方[3]。但是在實(shí)際應(yīng)用中一直存在著些還未解決的問題，比如在復(fù)雜的生產(chǎn)環(huán)境下，視覺系統(tǒng)容易受到光照和粉塵等因素的影響，使工業(yè)相機(jī)在識(shí)別工件時(shí)的識(shí)別算法的普適性和實(shí)效性受到一定的影響[4]。近些年來，我國工業(yè)機(jī)器人取得了很大的進(jìn)展，例如天津大學(xué)黃田教授發(fā)明了Diamond機(jī)構(gòu)的平面Delta機(jī)構(gòu)[5]。李淵等人提出了基于機(jī)器視覺的紙盒包裝定位方法，以區(qū)域中心為特征點(diǎn)確定感興趣區(qū)域，綜合中值濾波Canny算子、總體最小二乘法等方法檢測直線，計(jì)算修正位移和角度，克服包裝過程中光電跟蹤定位不準(zhǔn)確的問題[6]。

1 目標(biāo)識(shí)別與定位系統(tǒng)工作原理

系統(tǒng)原理圖如圖1所示，系統(tǒng)工作流程為：攝像機(jī)固定在工作臺(tái)上方，包裝紙從傳送帶的下側(cè)進(jìn)入攝像機(jī)視覺，通過圖像處理算法找到包裝紙的角點(diǎn)并判斷是否為待抓取紙盒，如果確定為待抓取紙盒，則機(jī)械臂使用吸盤，將紙盒運(yùn)送到包裝紙的位置。包裝紙主視圖如圖2所示，P0點(diǎn)為包裝紙中心點(diǎn)，P1和P2點(diǎn)為包裝紙的角點(diǎn)，利用這兩個(gè)角點(diǎn)可計(jì)算出包裝紙的中心點(diǎn)，從而利用機(jī)械臂將紙盒放在包裝紙上。

圖1 系統(tǒng)原理圖

圖2 包裝紙主視圖

2 系統(tǒng)組成

2.1 系統(tǒng)硬件

1）相機(jī)：考慮到目標(biāo)尺寸大小約為55mm×40mm，其定位精度不高于0.025mm/像素，可以計(jì)算出所需的相機(jī)靶面短邊的像素為40/0.025=1600，長邊的像素為55/0.025=2200。最終選用的是500萬像素的德國Basler Aca2500-14gm工業(yè)相機(jī)，其分辨率為2592×1944。在選用此型號的相機(jī)后，測得定位精度可達(dá)到0.0218mm/像素，實(shí)際目標(biāo)尺寸為55mm×42mm。該相機(jī)的特點(diǎn)是分辨率高，精度高，圖像質(zhì)量穩(wěn)定、傳輸能力高。高分辨率可以保證被檢測產(chǎn)品始終保持在相機(jī)視野范圍之內(nèi)。使用千兆以太網(wǎng)與計(jì)算機(jī)通訊，相機(jī)安裝在傳送帶正 上方。

2）鏡頭：目標(biāo)尺寸大小為55mm×40mm，又根據(jù)相機(jī)到物體的距離大于800mm，可以計(jì)算出放大倍率α與鏡頭焦距f，圖像的高度為Hi，目標(biāo)高度為Ho，目標(biāo)與鏡頭的距離為Do，放大倍率 =Hi/Ho=4.3 m m/（1944×0.025）≈0.088。鏡頭焦距f=Do/(1+1/α)≈65。通過查詢對應(yīng)的鏡頭參數(shù)與選型原則，選用的是型號為HF75SA-1的長焦鏡頭，該鏡頭焦距75mm，光圈F1.8，具有低畸變、抗震性能好等特點(diǎn)。

3）光源：使用的是高均勻性條形白色照明光源，特點(diǎn)為具有更高的均勻性，更高的亮度。起照明作用的光源對機(jī)器視覺系統(tǒng)十分的重要，是影響機(jī)器視覺系統(tǒng)的至關(guān)重要的因素[7]。

4）機(jī)器人：采用Epson的LS6-602S型SCARA機(jī)器人，該機(jī)器人具有4個(gè)自由度，SCARA機(jī)器人具有結(jié)構(gòu)緊湊、工作空間大、操作靈活等優(yōu)點(diǎn)外同時(shí)還具有較高的重復(fù)定位精度和較好的性價(jià)比。末端重復(fù)定位精度達(dá)到0.017mm，編程方便，適合用于生產(chǎn)線上抓取作業(yè)。

5）末端執(zhí)行器：末端執(zhí)行器采用吸盤、真空發(fā)生器、電磁閥、氣管和氣泵。

6）傳送帶及包裝對象：由伺服電機(jī)進(jìn)行驅(qū)動(dòng)，包裝對象為紙盒。

(4)赤佬頂銻多金屬礦田已知礦床(點(diǎn))密集，且分布范圍廣，礦床類型均為銻、汞等低溫?zé)嵋旱V床，勘查深度較淺。其中最具規(guī)模的赤佬頂銻礦床的主礦體賦礦標(biāo)高為409～134m，目前最深開采標(biāo)高至+170m左右。推測該礦田受隱伏巖體和構(gòu)造的控制，區(qū)域重、磁異常規(guī)模大(數(shù)十平方千米)，電磁法剖面反映隱伏巖體埋藏深(-600m標(biāo)高以下)，顯示該地帶找礦空間廣闊，具備尋找中大型中-高溫?zé)嵋旱V床的條件，是本區(qū)最具找礦前景的區(qū)域，有望成為粵北地區(qū)又一重要的多金屬礦集區(qū)。

2.2 關(guān)鍵技術(shù)

2.2.1 攝像機(jī)標(biāo)定

標(biāo)定板為兩個(gè)正方形中心各自有一個(gè)圓，利用其圓心點(diǎn)來進(jìn)行標(biāo)定。使用該類的模板的有點(diǎn)是，由于圓心坐標(biāo)是通過霍夫變換累加計(jì)算，可以消除實(shí)際工作中灰塵顆粒的干擾。因此這種標(biāo)定版的魯棒性好，不易受到干擾，標(biāo)定板如圖3所示。標(biāo)定的步驟為：首先移動(dòng)工業(yè)機(jī)器人到達(dá)標(biāo)定板中的目標(biāo)位置且多次移動(dòng)機(jī)械手的位置，獲得目標(biāo)點(diǎn)在機(jī)器人坐標(biāo)系中的位置。接著第二步是利用相機(jī)拍照成像，對圖像分析處理，獲得目標(biāo)點(diǎn)在相機(jī)坐標(biāo)系中的位置。然后利用相機(jī)和機(jī)器人坐標(biāo)系中的目標(biāo)點(diǎn)位置，計(jì)算出從相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換參數(shù)。最后一步是利用標(biāo)定中獲得的參數(shù)，對相機(jī)中給定的像素點(diǎn)坐標(biāo)機(jī)器人坐標(biāo)系中的坐標(biāo)，并發(fā)送給工業(yè)機(jī)器人，從而工業(yè)機(jī)器人能夠移動(dòng)機(jī)械臂到達(dá)指定位置。

圖3 標(biāo)定板

攝像機(jī)標(biāo)定的目的是為了求解模型的參數(shù)，然而參數(shù)是相對于模型的，所以需要確定攝像機(jī)的成像模型[8]攝像機(jī)標(biāo)定采用線性攝像機(jī)模型標(biāo)定，使用線性方程來求解，簡易且快速，在計(jì)算機(jī)視覺領(lǐng)域是研究的熱點(diǎn)之一[9]。攝像機(jī)標(biāo)的關(guān)鍵是實(shí)現(xiàn)世界坐標(biāo)系（xw，yw，zw）坐坐標(biāo)系（u，v）之間的轉(zhuǎn)換。使機(jī)器人坐標(biāo)系中的點(diǎn)和圖像平面中的點(diǎn)一一對應(yīng)。各個(gè)坐標(biāo)系的關(guān)系如圖3所示。因?yàn)閿z像機(jī)是固定在傳送帶的正上方，所以不用考慮視覺系統(tǒng)繞x軸和y軸的旋轉(zhuǎn)，這里只需要考慮繞z軸的旋轉(zhuǎn)。為了得到圖4中與機(jī)器人坐標(biāo)系平行的圖像坐標(biāo)系，需要進(jìn)行坐標(biāo)轉(zhuǎn)化得到圖像坐標(biāo)（u，v），如圖5所示，轉(zhuǎn)換關(guān)系為：攝像機(jī)坐標(biāo)系（x，y，z）中的物點(diǎn)P在圖像物理坐標(biāo)系（X，Y，Z）中像點(diǎn)Pu的坐標(biāo)關(guān)系下：

f為焦距，即圖像平面到投影中心的距離。

圖像物理坐標(biāo)系與圖像像素坐標(biāo)系的關(guān)系如下：

dx，dy分別為一個(gè)像素在X與Y方向上的物理尺寸，u0，v0是圖像中心（光軸與圖像平面的交點(diǎn)）坐標(biāo)。使用齊次坐標(biāo)表示為：

sx為X方向上的采樣頻率，sx=1/dx，即單位長度的像素個(gè)數(shù)，sy為Y方向上的采樣頻率，sy=1/dy。

式(5)中，矩陣T=[txtytz]T是世界坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)，矩陣R是正交旋轉(zhuǎn)矩陣，其矩陣的元素滿足：

攝像機(jī)外部參數(shù)共有六個(gè)，其決定了攝像機(jī)光軸在世界坐標(biāo)系中的空間位置，在正交旋轉(zhuǎn)矩陣中有3個(gè)獨(dú)立變量，再加上tx，ty，tz。

聯(lián)立上述式(1)、式(3)、式(4)，可以得到如下像素坐標(biāo)系和世界坐標(biāo)系的關(guān)系：

為使計(jì)算方便，建立機(jī)器人原點(diǎn)及坐標(biāo)系與世界坐標(biāo)系的原點(diǎn)及坐標(biāo)系重合。利用標(biāo)定板的兩個(gè)圓心點(diǎn)在機(jī)器人坐標(biāo)系中的坐標(biāo)與圖像坐標(biāo)系中的坐標(biāo)，將上述參數(shù)計(jì)算出來，標(biāo)定過程完成。

圖4 標(biāo)定系統(tǒng)坐標(biāo)系

圖5 坐標(biāo)轉(zhuǎn)換圖

2.2.2 霍夫變換

Hough變換檢測直線的基本思想是點(diǎn)-線的對偶性[10]。在極坐標(biāo)系中畫出所有通過點(diǎn)（x0，y0）的直線，會(huì)得到一條正弦曲線[11]。對同一條直線上的不同點(diǎn)畫在極坐標(biāo)系中，得到的曲線將會(huì)在θ-ρ平面相交，這就說明了一條直線能夠通過在θ-ρ平面中相交的曲線個(gè)數(shù)來檢測，相交的曲線個(gè)數(shù)越多，說明這個(gè)直線由越多的點(diǎn)組成，可以通過設(shè)置曲線的閾值來判別是否檢測到直 線[12]。本實(shí)驗(yàn)的視覺檢測對象為包裝紙，放置在傳送帶上的包裝紙的角點(diǎn)特征不明顯（如圖6所示），這是由于在生產(chǎn)包裝紙的過程中造成，所以需要利用霍夫變換檢測到的直線之間的交點(diǎn)來找到包裝紙真正的角點(diǎn)（如圖7所示）。

圖6 帶檢測圖

圖7 直線檢測角點(diǎn)圖

圖8 軟件流程圖

2.3 工業(yè)機(jī)器人控制軟件實(shí)現(xiàn)

本系統(tǒng)是使用C#在Visual Studio 2015環(huán)境中編寫，使用WPF設(shè)計(jì)軟件界面，方便工人操作，同時(shí)作為一個(gè)開發(fā)框架，方便未來識(shí)別新的對象，實(shí)驗(yàn)新的算法。尋找圖像角點(diǎn)的動(dòng)態(tài)鏈接庫使用的編程語言為C++。軟件實(shí)現(xiàn)流程圖如圖8所示，首先啟動(dòng)機(jī)器人與PC通信和打開相機(jī)拍照，然后調(diào)用圖像處理模塊和坐標(biāo)轉(zhuǎn)換函數(shù)得到包裝紙的角點(diǎn)坐標(biāo)，工業(yè)機(jī)器人接受到坐標(biāo)后，在紙盒存放區(qū)域吸取紙盒，再放置到包裝紙上。重復(fù)上述過程實(shí)現(xiàn)生產(chǎn)線中的自動(dòng)包裝。經(jīng)過軟硬件調(diào)試，本實(shí)驗(yàn)系統(tǒng)順利的完成了“識(shí)別包裝紙點(diǎn)-抓取紙盒-放置紙盒”的過程。實(shí)現(xiàn)工業(yè)機(jī)器人相應(yīng)的動(dòng)作之前，需要在工業(yè)機(jī)器人與視覺處理之間建立相應(yīng)的通信接口，通信接口有Socket通信、調(diào)用視覺處理函數(shù)?；赪indows系統(tǒng)搭建了相關(guān)設(shè)備之間的通訊聯(lián)系，客戶端是工業(yè)機(jī)器人控制器，服務(wù)端是PC機(jī)，利用Socket通信實(shí)現(xiàn)服務(wù)端與客戶端之間的通訊。本文采用的是將視覺處理程序封裝為動(dòng)態(tài)鏈接庫，在相機(jī)采集圖像的程序中調(diào)用庫函數(shù)的方法。

2.4 圖像的分析處理

由于現(xiàn)場采集環(huán)境伴隨著光照不均、背景干擾等影響，因此采集圖片時(shí)常會(huì)因?yàn)楦鞣N因素使得效果不理想，導(dǎo)致圖像處理環(huán)節(jié)的質(zhì)量下降。根據(jù)所獲圖像的特點(diǎn)進(jìn)行圖像預(yù)處理，降低各種因素的干擾帶來的影響，以便于后期包裝紙角點(diǎn)的提取[13]。首先判斷采集到的圖片（如圖9(a)所示）是否為單通道，若是，則不需灰度化，否則先對圖像進(jìn)行灰度化。考慮到圖像在采集過程中可能會(huì)受到外界的影響，所以要對圖像進(jìn)行濾波處理來減少這些噪音對圖像質(zhì)量的影響[14]，然后再通過二值化轉(zhuǎn)化為黑白圖像，二值化時(shí)采用的是基于灰度直方圖的自動(dòng)閾值選擇方法[15]。圖像的數(shù)據(jù)經(jīng)過二值化處理后大大減少，更加凸顯包裝紙角點(diǎn)區(qū)域的邊緣，如圖9(b)所示。接下來進(jìn)行邊緣提取，得到圖像的邊緣圖，如圖9(c)所示。特征識(shí)別和提取是角點(diǎn)定位的關(guān)鍵步驟，提取的特征是都合理將會(huì)對后續(xù)結(jié)果又重要的影響。邊緣提取的方法采用的是Canny算子提取邊緣[15]，Canny算子使用高斯函數(shù)對圖像進(jìn)行平滑處理，通過搜尋圖像梯度的局部極大值來確定目標(biāo)的邊緣。并且Canny算子不易受噪聲的干擾，適用于不同的場合來檢測到弱邊緣且邊緣連續(xù)性較好。如圖9(c)所示。由于我們只需得到角點(diǎn)坐標(biāo)，因此可以提取感興趣區(qū)域即可，即ROI區(qū)域。接著在利用霍夫變化提取直線，利用直線的交點(diǎn)從而找到角點(diǎn)，如圖9(d)所示。

圖9 圖像的分析處理示意圖

本文中所述的目標(biāo)對象是包裝紙，在對包裝紙定位的過程中，首先需要確定圖像坐標(biāo)系的偏轉(zhuǎn)角度，利用機(jī)器人末端執(zhí)行器與相機(jī)，分別找到標(biāo)定板（如圖3所示）中兩個(gè)正方形的8個(gè)頂點(diǎn)在機(jī)器人坐標(biāo)系中的坐標(biāo)與圖像坐標(biāo)系的坐標(biāo)，計(jì)算出正方形內(nèi)圓的圓心在機(jī)器人坐標(biāo)系中的坐標(biāo)M1和M2，并利用霍夫變換計(jì)算出在圖像坐標(biāo)系中的坐標(biāo)C1和C2，即可計(jì)算相機(jī)偏移角度θ，接著利用相機(jī)采集包裝紙的圖像，利用霍夫變換算法來尋找包裝紙的角點(diǎn)坐標(biāo)Co，再利用式(1)～式(7)將圖像坐標(biāo)轉(zhuǎn)化為機(jī)器人坐標(biāo)系下的坐標(biāo)Mo。最后機(jī)械臂使用吸盤將紙盒放置在相機(jī)找到的位置。如圖10所示為識(shí)別與定位的流程圖。

圖10 識(shí)別與定位流程圖

3 實(shí)驗(yàn)

在對包裝紙定位的過程中，首先可計(jì)算出M1（48.789，317.625）、M2（28.538，296.676）、C1（929，1428）、C2（1900，501），相機(jī)偏移角度為θ=2.35°，接著利用相機(jī)采集包裝紙的圖像，利用霍夫變換算法來尋找包裝紙的角點(diǎn)坐標(biāo)Co（666，822），再利用式(1)～式(7)將圖像坐標(biāo)轉(zhuǎn)化為機(jī)器人坐標(biāo)系下的坐標(biāo)Mo（53.99，304.323）。最后機(jī)械臂使用吸盤將紙盒放置在相機(jī)找到的位置。

為了驗(yàn)證系統(tǒng)的穩(wěn)定性與準(zhǔn)確性，進(jìn)行了10次實(shí)驗(yàn)。表1為視覺定位結(jié)果與機(jī)器人末端實(shí)際位置對比，本實(shí)驗(yàn)取得了預(yù)期的效果。坐標(biāo)（x，y，z）中x表示機(jī)械臂末端在機(jī)器人坐標(biāo)系中X軸分量，y表示機(jī)械臂末端在機(jī)器人坐標(biāo)系中Y軸分量，z表示機(jī)器人末端裝置端相對原始位置下降的距離?？梢杂?jì)算10組數(shù)據(jù)中視覺定位坐標(biāo)與實(shí)際機(jī)器人末端坐標(biāo)之間的歐式距離ρ作為誤差，十組數(shù)據(jù)的誤差的均值為0.031。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)的測量誤差均在企業(yè)要求的0.05mm范圍之內(nèi)，很好的滿足了工業(yè)應(yīng)用的要求。

4 結(jié)語

根據(jù)實(shí)驗(yàn)結(jié)果可以看出，在圖像的分析處理階段，圖像的角點(diǎn)在尋找過程中難以確定，所以最后選擇了活霍夫直線來檢測，可以使實(shí)驗(yàn)結(jié)果更加合理。本文基于機(jī)器視覺的包裝紙盒定位抓取系統(tǒng)進(jìn)行了研究，并實(shí)驗(yàn)驗(yàn)證了本系統(tǒng)的可靠性，解決了包裝紙盒自動(dòng)包裝的問題。實(shí)驗(yàn)證明，該系統(tǒng)具有較高的定位精度，提高了生產(chǎn)效率和系統(tǒng)柔性，滿足工業(yè)生產(chǎn)的要求。基于機(jī)器視覺的機(jī)器人的高效作業(yè)替代了繁重的體力勞動(dòng)，提高了自動(dòng)化水平和作業(yè)質(zhì)量，機(jī)器人自動(dòng)分揀將會(huì)越來越廣泛的應(yīng)用于生產(chǎn)領(lǐng)域。

表1 視覺定位結(jié)果與機(jī)器人末端實(shí)際位置對比