李致金，武 鵬， 喬 治，閆 倩

(南京信息工程大學(xué) 電子與信息工程學(xué)院，南京 210044)

0 引言

傳統(tǒng)工業(yè)技術(shù)中，人工進(jìn)行工件包裝會(huì)產(chǎn)生定位不準(zhǔn)而導(dǎo)致生產(chǎn)效率低下的問題。在生產(chǎn)流水線中，機(jī)器人的動(dòng)作都是通過離線編程預(yù)先設(shè)定好的，并通過傳感器進(jìn)行控制運(yùn)動(dòng)[1]。當(dāng)工作環(huán)境發(fā)生變化時(shí)，缺乏對(duì)環(huán)境的應(yīng)變能力，很大程度上限制了機(jī)器人的操作范圍。工件在傳送帶上的移動(dòng)過程中容易發(fā)生位置的偏移。機(jī)器人執(zhí)行既定的動(dòng)作，造成工件無法精準(zhǔn)放置，因此對(duì)機(jī)器人精確放置工件提出了很高的要求[2]。將視覺技術(shù)應(yīng)用于工業(yè)機(jī)器人上，好比給機(jī)器人安裝了眼睛[3]，識(shí)別工件偏轉(zhuǎn)并完成相應(yīng)的定位抓取。目前視覺算法在較多領(lǐng)域有了較快的發(fā)展[4-6]。文獻(xiàn)[7]提出的改進(jìn)霍夫變換和窗口隨機(jī)霍夫變換，通過減輕存儲(chǔ)負(fù)載來提高圖像處理運(yùn)行速度。文獻(xiàn)[8]將降噪的自動(dòng)編碼與深度學(xué)習(xí)相結(jié)合，達(dá)到機(jī)器人在多模特征的深度學(xué)習(xí)抓取識(shí)別的能力。文獻(xiàn)[9]設(shè)計(jì)的三維視覺機(jī)器人定位系統(tǒng)，識(shí)別誤差范圍低于2mm。本文對(duì)文獻(xiàn)中現(xiàn)有的定位誤差范圍進(jìn)行提升，通過上位機(jī)軟件編程實(shí)現(xiàn)對(duì)圖像的提取與預(yù)處理分析，設(shè)計(jì)了一套精確的機(jī)器視覺定位系統(tǒng)，完成機(jī)器人對(duì)工件的定位放置。并將定位精度誤差降低到1mm以下。

1 系統(tǒng)的組成與工作原理

基于機(jī)器視覺的機(jī)器人定位系統(tǒng)的結(jié)構(gòu)如圖1所示。該系統(tǒng)包括機(jī)器視覺系統(tǒng)和機(jī)器人控制系統(tǒng)：

控制系統(tǒng)：由工控機(jī)和RCX340控制器組成，用于控制機(jī)器人的末端位置并執(zhí)行相應(yīng)的抓取操作；

機(jī)器視覺系統(tǒng)：它由工控機(jī)與工業(yè)相機(jī)組成，負(fù)責(zé)圖像的采集和處理。圖像處理在QT-creator平臺(tái)中進(jìn)行，在QT-creator設(shè)計(jì)器中完成的界面中實(shí)時(shí)顯示圖像、位置偏移數(shù)據(jù)等。

圖1 視覺機(jī)器人工件定位系統(tǒng)組成圖

視覺定位系統(tǒng)通過上位機(jī)與下位機(jī)之間的相互控制。在傳送帶Ⅱ處放置速度傳感器，當(dāng)工件B進(jìn)入傳送帶后，系統(tǒng)的定時(shí)器開啟，延時(shí)時(shí)間可根據(jù)傳送帶的快慢進(jìn)行調(diào)整。當(dāng)工件B在工業(yè)相機(jī)的拍攝視場范圍內(nèi)，節(jié)拍式傳送帶停止，同時(shí)自動(dòng)觸發(fā)相機(jī)完成對(duì)工件B的抓拍。

上位機(jī)通過已完成的設(shè)計(jì)界面，對(duì)工件B進(jìn)行圖像分析處理，包含圖像灰度處理、濾波處理、特征提取、矢量定位等，計(jì)算出工件B進(jìn)入傳送帶Ⅱ后相對(duì)于標(biāo)定圖像的坐標(biāo)與角度偏移量。上、下位機(jī)通過串口進(jìn)行通信，將工件B的空間位置矢量信息傳送給機(jī)器人。機(jī)器人抓取傳送帶Ⅰ上的工件A，并根據(jù)B的偏移量調(diào)整機(jī)械師在X、Y和R軸方向上的位置，將工件A精準(zhǔn)得地放置在工件B的指定位置。

2 坐標(biāo)系標(biāo)定

本系統(tǒng)選擇M2S036-H彩色工業(yè)相機(jī)對(duì)傳送帶上的工件進(jìn)行圖像采集。機(jī)器人需要在世界坐標(biāo)系中執(zhí)行抓取動(dòng)作，為保證機(jī)器人抓取參數(shù)的一致性，需要通過小孔成像模型將工業(yè)相機(jī)拍攝的三維圖像投影到二維平面中，并通過矩陣變化將二維平面的圖像轉(zhuǎn)換到世界坐標(biāo)系中。如圖2所示。

圖2 坐標(biāo)系轉(zhuǎn)換圖

定義點(diǎn)M1(x1,y1,z1)為圖像在世界坐標(biāo)系中的任一點(diǎn)，根據(jù)小孔成像的相似比可知圖像在世界坐標(biāo)系與相機(jī)的三維坐標(biāo)系關(guān)系式：

(1)

其中，M2(x2,y2,z2)為點(diǎn)M1映射在相機(jī)坐標(biāo)系下的坐標(biāo)，M3(x3,y3,z3)為點(diǎn)M1在圖像坐標(biāo)系下的坐標(biāo)值。f為相機(jī)的的焦距。點(diǎn)M1、M2在相機(jī)坐標(biāo)系與世界坐標(biāo)系下的相互轉(zhuǎn)換關(guān)系為：

(2)

其中，P為3×3的正交矩陣；Q為平移向量，T1為相機(jī)的內(nèi)參矩陣。

在建立圖像坐標(biāo)系的過程中，左上角為坐標(biāo)原點(diǎn)，因此圖像的理想坐標(biāo)系原點(diǎn)與真實(shí)坐標(biāo)原點(diǎn)之間存在偏差。需要對(duì)所建立的坐標(biāo)系中的點(diǎn)進(jìn)行校正操作。

(3)

其中,(X,Y)為真實(shí)圖像坐標(biāo)系點(diǎn)，(x,y)為圖像理想標(biāo)系中的圖像點(diǎn)，(x0,y0)為理想的圖像坐標(biāo)系原點(diǎn)。將世界坐標(biāo)系下的M1點(diǎn)的橫、縱坐標(biāo)值帶入式(3)可得到下述變換矩陣：

(4)

通過等式(2)和等式(4)可以推導(dǎo)出圖像坐標(biāo)系與世界坐標(biāo)系下的關(guān)系：

(5)

其中，T2為相機(jī)的外參數(shù)矩陣，由相機(jī)本身參數(shù)決定。為了確定相機(jī)的內(nèi)外參數(shù)矩陣，需要對(duì)校準(zhǔn)工業(yè)相機(jī)。本實(shí)驗(yàn)采用的是70mm×70mm的圓點(diǎn)型標(biāo)定板，如圖3所示。在相機(jī)校準(zhǔn)的過程中需要圖像的多組三維坐標(biāo)點(diǎn)，通過相機(jī)標(biāo)定板找到圖像中的對(duì)應(yīng)坐標(biāo)值，并建立對(duì)應(yīng)關(guān)系從而求得相機(jī)T1、T2參數(shù)矩陣。

圖3 相機(jī)標(biāo)定板

3 工件定位算法的實(shí)現(xiàn)

3.1 圖像預(yù)處理

由于拍攝的環(huán)境、光照強(qiáng)度、相機(jī)抖動(dòng)等都會(huì)影響到工件圖像的質(zhì)量，因此對(duì)圖像進(jìn)行預(yù)處理。處理流程如圖4所示。

圖4 圖像預(yù)處理流程圖

首先，從由相機(jī)獲取的工件圖像中提取前景圖像，接著對(duì)圖像進(jìn)行灰度處理、濾波變換去除噪聲邊緣，然后對(duì)圖像進(jìn)行二值化處理，并對(duì)二值圖像進(jìn)行邊緣檢測，最后通過主軸法對(duì)邊緣檢測后的工件進(jìn)行矢量標(biāo)定。

相機(jī)采集的圖像如圖5a所示，由于工件的顏色與傳送帶的顏色有差異，為了減少傳送帶背景色對(duì)工件識(shí)別的影響，因此對(duì)傳送帶上的工件進(jìn)行一個(gè)前景的提取，縮小工件的識(shí)別范圍，如圖5b所示。

彩色圖像在圖像處理的過程中考慮色調(diào)、飽和度等問題，大大增加了圖像處理的時(shí)間。由于灰度圖像與彩色圖像具有同等的特征描述能力[10]。本文采取加權(quán)平均值的方法對(duì)工件圖像進(jìn)行灰度化處理。效果圖如圖5c所示。

圖像進(jìn)行濾波處理可以減少噪聲的干擾，最大限度的保留圖像的特征信息。高斯濾波在使用的過程中，會(huì)將圖像的邊緣模糊化，這對(duì)圖像的矢量數(shù)據(jù)造成誤差[11]。本文采用雙邊濾波的方法對(duì)灰度化處理后的圖像進(jìn)行濾波，效果圖如圖5d所示。

二值化過程不僅減少數(shù)據(jù)的運(yùn)算量，還突出了目標(biāo)區(qū)域范圍。在本文中，采取局部自適應(yīng)閾值的方法來對(duì)圖像進(jìn)行二值化處理。處理后的二值化圖像如圖5e所示。

邊緣檢測，本文中應(yīng)用Canny算法[12]。具體實(shí)現(xiàn)步驟如下：①高斯濾波器進(jìn)行平滑處理；②計(jì)算圖像的梯度方向、幅度；③非最大抑制法尋找圖像可能的邊緣點(diǎn)；④雙門限檢測并進(jìn)行邊緣連接。經(jīng)過Canny 算子處理以后，對(duì)二值圖像膨脹處理。邊緣檢測效果圖如圖5f所示。

(a) 采集圖像 (b) 前景提取

(c) 灰度處理圖 (d) 雙邊濾波圖

(e) 二值化后圖像 (f) 邊緣檢測圖 圖5 圖像預(yù)處理效果圖

3.2 工件矢量信息獲取

本系統(tǒng)通過主軸法尋找能夠涵蓋工件圖像的最小外接矩形。如果把圖像看成一塊類似于質(zhì)量密度都不均勻的薄板，那么圖像的灰度分布函數(shù)f(x,y)也就類似看作薄板的密度分布函數(shù)[13-14]?？紤]到邊緣檢測圖像的不規(guī)則性，通過重心的思想[15]確定主軸與其垂直軸的初始位置，并以重心點(diǎn)為中心計(jì)算矩形輪廓。當(dāng)所拍攝的圖像位置發(fā)生偏轉(zhuǎn)，以重心點(diǎn)為旋轉(zhuǎn)中心，將矩形輪廓按一定角度進(jìn)行逆時(shí)針旋轉(zhuǎn)，尋找一個(gè)覆蓋工件輪廓的矩形且面積最小。當(dāng)工件發(fā)生偏轉(zhuǎn)時(shí)，其密度分布函數(shù)會(huì)相應(yīng)發(fā)生改變，但圖像的實(shí)質(zhì)不會(huì)改變，仍然可以看做一個(gè)薄板，只是密度分布有所改變。通過這個(gè)思想，可對(duì)圖像進(jìn)行簡化處理，保留最能反映目標(biāo)特性的信息，遍歷所有的像素值，確定包含工件的最小矩形區(qū)域如圖6所示。從圖6可以看出，按此方法可以識(shí)別出多個(gè)矩形輪廓，但所能涵蓋工件工件輪廓的最小矩形只有一個(gè)，滿足最小矩形輪廓獲取的要求。

圖6 最小外接矩形

主軸法所確定的最小矩形輪廓的重心坐標(biāo)為：

(6)

其中,Xi表示第i行的坐標(biāo)，Yj表示j列坐標(biāo)值，f(i,j)表示第i行和第j列的像素值。在旋轉(zhuǎn)的過程中，重心點(diǎn)坐標(biāo)值都會(huì)發(fā)生變化，因此要標(biāo)定初始中心坐標(biāo)值。發(fā)生偏轉(zhuǎn)后的圖像中心值坐標(biāo)為：

X′=X1cosθ-Y1sinθ;
Y′=X1sinθ+Y1cosθ;

(7)

其中，(X1,Y1)為原始圖像重心坐標(biāo)，(X′,Y′)為圖像發(fā)生偏轉(zhuǎn)后的中心坐標(biāo)值，θ為偏轉(zhuǎn)角。機(jī)器人根據(jù)接收的矢量信息完成相應(yīng)的動(dòng)作。但在機(jī)器人放置的時(shí)候會(huì)產(chǎn)生誤差，因此在QT-creator軟件平臺(tái)中添加微調(diào)量Δx,Δy,Δθ，滿足下述公式：

X′=X1cos(θ+Δθ)-Y1sin(θ+Δθ)+Δx;
Y′=X1sin(θ+Δθ)+Y1cos(θ+Δθ)+Δy;

(8)

實(shí)現(xiàn)對(duì)機(jī)器人手臂的微調(diào)與修正。

3.3 上、下位機(jī)間數(shù)據(jù)通信

在數(shù)據(jù)傳輸?shù)倪^程中，上位機(jī)發(fā)送的串口通信協(xié)議要與機(jī)器人可以執(zhí)行的操作協(xié)議保持一致，需要設(shè)置串口的參數(shù)，包括波特率、數(shù)據(jù)所需的位數(shù)、是否需要校驗(yàn)位以及停止位等。每個(gè)工件B的偏移量以字符串的形式發(fā)送給控制器。偏移量太小可能會(huì)造成誤差，因此將偏移量放大10倍，轉(zhuǎn)換成最小寬度為4的十六進(jìn)制數(shù)。最后輸出的偏移字符串是偏移角度字符串+偏移X軸的水平距離的字符串+偏移Y軸水平距離字符串+0X0D+0X0A。機(jī)器人控制系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行提取，取字符串的前5個(gè)字符為X坐標(biāo)，中間5個(gè)字符為Y坐標(biāo)，最后4個(gè)字符為偏移角度。機(jī)器人手臂依據(jù)修正后的數(shù)據(jù)將工件A精準(zhǔn)定位放置。

由于流水線速度可調(diào)，系統(tǒng)中設(shè)延時(shí)拍照控件，提高系統(tǒng)的柔性。但當(dāng)工件位置偏移數(shù)據(jù)超過機(jī)器人手臂延伸范圍，機(jī)器人視為無效工件，由人工補(bǔ)正。

4 實(shí)驗(yàn)結(jié)果與分析

本系統(tǒng)上位機(jī)基于C++開發(fā)環(huán)境，在QT creator中進(jìn)行軟件編程。下位機(jī)使用匯編語言實(shí)現(xiàn)對(duì)機(jī)器人的控制。系統(tǒng)流程圖如圖7所示。

圖7 軟件設(shè)計(jì)流程圖

本文針對(duì)現(xiàn)有的定位誤差范圍，并在此基礎(chǔ)上提升了定位精度，將誤差精度降低到1mm以下。為了驗(yàn)證系統(tǒng)的精確度，識(shí)別工件B相對(duì)于標(biāo)定位置的偏移數(shù)據(jù)，重復(fù)多次實(shí)驗(yàn)，對(duì)不同位姿的工件進(jìn)行識(shí)別。取其中一組數(shù)據(jù)見圖8。圖8a為初始標(biāo)定圖像，工件偏移如圖8b所示。根據(jù)設(shè)計(jì)的軟件平臺(tái)獲得其中的一組矢量數(shù)據(jù)如圖8c所示。利用本系統(tǒng)提取的4組偏轉(zhuǎn)工件的最小輪廓的矢量數(shù)據(jù)如表1所示。選取一組誤差修正數(shù)據(jù)如表2所示。

(a)工件標(biāo)定圖 (b)工件偏移圖

(c)檢測矢量數(shù)據(jù)圖 圖8 實(shí)驗(yàn)效果圖

表1 最小矩形輪廓矢量數(shù)據(jù)表

表2 檢測矢量數(shù)據(jù)修正表

根據(jù)圖8可以看出，實(shí)驗(yàn)準(zhǔn)確的找到工件的偏移位置，極大的方便機(jī)器人進(jìn)行抓取完成相應(yīng)的動(dòng)作。由表1和表2可知，實(shí)驗(yàn)平臺(tái)可以準(zhǔn)確的獲得矩形輪廓的矢量數(shù)據(jù)以及通過微調(diào)實(shí)現(xiàn)機(jī)器人手臂的精準(zhǔn)定位。實(shí)際抓取點(diǎn)與理論抓取點(diǎn)的誤差小于1mm,低于現(xiàn)有視覺定位系統(tǒng)的誤差2mm范圍，滿足實(shí)驗(yàn)要求。

5 結(jié)論

本文闡述了基于機(jī)器視覺的機(jī)器人定位系統(tǒng)，完成坐標(biāo)系的標(biāo)定，接合圖像處理的算法完成對(duì)圖像的預(yù)處理，并通過主軸法確定工件的最小外接矩形，求得工件的矢量信息，大大提升了工業(yè)生產(chǎn)效率。而將所有的操作過程放在QT creator設(shè)計(jì)平臺(tái)中完成，在顯示界面上可以清晰的讀取圖像的矢量數(shù)據(jù)，使得定位系統(tǒng)更加智能化、具體化，有效的提高工件定位安裝的效率。本文提出的基于視覺的機(jī)器人定位系統(tǒng)將定位精度降到1mm以下，具有很強(qiáng)的工程實(shí)用性。

DOI:10.1007/978-3-642-23094-3_28.