王 丹，錢 煒，秦小健，漆思杰，顧自明

(1.上海理工大學 機械工程學院，上海 200093；2.豐漢電子(上海)有限公司，上海 201611)

結構不規(guī)則工件定位與抓取研究

王 丹1，錢 煒1，秦小健2，漆思杰1，顧自明1

(1.上海理工大學 機械工程學院，上海 200093；2.豐漢電子(上海)有限公司，上海 201611)

為解決結構不對稱、質(zhì)量分布不均勻的工件定位抓取問題，提出了利用工件表面特征的位置信息進行定位的方法。識別和提取工件上表面定位孔的圖像坐標，聯(lián)合機器人手眼標定參數(shù)獲取工件的位姿信息。文中以散熱器殼為例搭建了一種單目視覺系統(tǒng)，對機器人定位抓取系統(tǒng)中工件存在判定、圖像分割、工件提取以及工件定位進行了研究，并通過實驗進行驗證，實驗結果表明，該方法定位成功率高達0.92，具有較強的實用性。

單目視覺；工件定位；存在判定；圖像分割

在工業(yè)自動化生產(chǎn)中，涉及到各種的零件識別及元件裝配和搬運，例如電子行業(yè)元件自動定位、IC卡上的字符識別以及鑄造業(yè)的機器人搬運等，機器人視覺在工件識別上的應用越來越廣泛[1-3]。目前單目視覺定位的研究對象主要采用平面定位，試驗工件為圓形、矩形或者對稱開槽的對稱型工件，其特點是質(zhì)量分布均勻，重心和形心位置重合，通過計算質(zhì)心和慣性矩的方法來計算抓取中心的位置[4-5]；而在鑄造業(yè)中質(zhì)量分布不均勻、形狀結構復雜的壓鑄件不適用該法。根據(jù)上述缺陷，本文采用定位工件表面特征孔的方法實現(xiàn)了復雜工件的定位和抓取。

不同的工件特點有不同的圖像處理方法。孫琦[6]等人采用HSV顏色空間H分量的方法進行分割，該法對于工件與背景顏色不同的圖像來說準確性較高，但會丟失工件的表面細節(jié)信息；朱代先、夏群峰等人基于灰度特征模板匹配法[7-9]，采用相似性度量準則進行搜索，然后通過邊緣檢測提取工件的輪廓特征后進行質(zhì)心法進行定位。模板匹配的方法受模板的種類影響，定位目標僅限于庫中存在的對象，且只有輪廓比較簡潔的圓柱體型或者矩形的工件才能提取清晰的工件輪廓。本文以外形復雜的散熱器殼為例搭建了一套單目視覺定位抓取系統(tǒng)，采用OTSU算法選取合適的閾值對圖像進行分割，能夠保留工件表面大部分的空間特征；結合利用工件表面特征進行工件定位的思想，識別散熱器殼上兩個定位孔的圖像坐標，聯(lián)合機器人手眼標定參數(shù)，獲取工件的位姿信息。

1 視覺系統(tǒng)工作原理

為減小環(huán)境光對圖像質(zhì)量的影響，根據(jù)工作現(xiàn)場環(huán)境情況添加光源。利用固定在支架上的工業(yè)相機拍攝某工位工件的圖片，通過采集卡將數(shù)字圖像傳輸給計算機，由計算機完成圖像分割、工件存在判定、工件提取以及工件定位等步驟，得出工件位置參數(shù)并傳遞到機器人控制器，由機器人控制器控制夾爪抓取工件，工作流程如圖1所示。

圖1 工件定位流程圖

2 圖像處理

圖像處理部分主要包括圖像分割以及判定數(shù)字圖像中是否存在工件，通過直方圖歸一化的方法降低噪聲的影響并將目標工件提取出來，便于后續(xù)工件位姿信息的獲取。目標圖像如圖2所示，背景圖像如圖3所示。

圖2 目標圖像

圖3 背景圖像

2.1 圖像分割

圖像分割是機器人視覺和圖像識別領域重要的預處理方法。本文采用灰度圖像自適應閾值分割法[10-11]，用OTSU算法(最大類間方差法)確定圖像分割的最佳閾值，計算簡單且不受圖像亮度和對比度的影響。

按圖像的灰度特性將圖像分成背景和前景兩部分，背景和前景之間的類間方差越大,說明構成圖像的兩部分差別越大。當部分前景錯分為背景或部分背景錯分為前景都會導致兩部分差別變小。因此,使類間方差最大的分割意味著錯分概率最小。OTSU算法以最佳門限將圖像灰度直方圖分割成兩部分，使兩部分類間方差取最大值，即分離性最大。

OTSU算法實現(xiàn)原理：

圖4 均衡化前后的灰度圖及直方圖

(2)計算圖像灰度均值μ。

(1)

其中，μ0為分開后前景像素點的平均灰度；w0為分開后前景像素點數(shù)量占圖像的比例；μ1為分開后背景像素點的平均灰度；w1為分開后背景像素點數(shù)占圖像的比例；

(3)計算直方圖的零階w[i]和一級距u[i]。設灰度門限值為k，則圖像像素按灰度級被分為兩類

C0={1,2,…k}

(2)

C1={k+1,…,M}

(3)

(4)

w1=1-w[k]

(5)

對一級矩作以下處理

μ0=μ[k]/w[k]

(6)

μ1[μ-μ[k]]/[1-w[k]]

(7)

(4)計算并找到最大的類間方差，對應此最大方差時的灰度值即為要找的閾值t。

(8)

其中， 是分割閾值為t時的類間方差。當 為全局最大時所對應的t稱為最佳閾值；

(5)用找到的閾值二值化圖像。

圖5 兩種方法分割圖像結果

如圖所示，圖5(a)為HSV顏色空間H分量圖像分割結果，圖5(b)為最大類間方差法分割結果。從圖像可以看出，本文所述的OTSU算法分割效果更好。

2.2 工件存在判定

首先采集沒有工件時該工位的圖像作為背景圖像，如圖6所示。進行工件識別時在同樣的光照條件下捕獲目標圖像，并用上文所述方法分別對背景圖像和目標圖像完成圖像分割，然后對二值圖像進行工件存在判定，工件存在判定公式如下

|fm(u,v)-fb(u,v)|=Δf

(9)

圖6 目標圖像與模板圖像差異點數(shù)量分布規(guī)律

本算法中圖像的二值化閾值受光照條件以及噪聲的影響，工件尺寸以及工業(yè)相機拍攝的圖像大小決定了門限值的大小：在相同背景環(huán)境、光照以及圖像采集設備的條件下，工件在視野中占圖幅比例越大，門限值越大；反之，則門限值越小。門限值的大小需要根據(jù)實際情況通過多次實驗得出。本系統(tǒng)中存在工件的目標圖像與模板圖像差異點總數(shù)分布規(guī)律如圖6所示，∑Δf在1.52×106～1.59×106之間浮動，以最低值作為界限，對于小于界限值的圖像判定為工件不存在，此時門限值k為0.76。

2.3 目標工件的提取

要對工件進行定位首先要將工件從背景中分離出來。對于存在工件的目標圖像，先創(chuàng)建一張空白圖像fk(u,v)，大小與目標圖像大小一致。然后遍歷目標圖像與背景圖像的每一個像素點，比對每一個對應點的像素值，并對空白圖像進行填充。填充規(guī)則如下

(10)

其中，fk(u,v)為空白圖像(u,v)點的像素值。

當目標圖像(u,v)點與背景圖像(u,v)點像素值相同時，空白圖像(u,v)點的值為1(置白)，當目標圖像與背景圖像在該點的像素值不同時，空白圖像在該點的值取目標圖像該點的值，填充后的圖像即為提取出來的工件結果，如圖7所示。

通過背景刪除法提取工件，不受圖像背景顏色以及結構特征等的干擾，直接去除背景提取工件的二值圖，該方法能夠有效保留工件表面的特征信息，方便后續(xù)工件的定位。

圖7 工件提取結果

3 工件位姿識別方法

基于兩點的2D視覺工件定位抓取系統(tǒng)分為EYE-IN-HAND和EYE-TO-HAND兩種手眼模式，為計算簡便采用第2種手眼模式。本文所述的工件定位抓取方法在目標工件實際位置與理想抓取位置相差不大的前提下實現(xiàn)。為防止機械手在運動過程中遮擋相機視場，視覺系統(tǒng)在機械手回歸到零位后開始采集圖片。

(11)

(12)

建立零位時兩定位銷中心點在機器人世界坐標系中XY平面所構成的直線方程Y1=k1x+b1，目標圖像中定位孔中心點在世界坐標系中XY面上的直線方程Y2=k2x+b2，如圖8和圖9所示。

圖8 夾爪坐標空間示意圖

圖9 定位孔與定位銷相對位置關系示意圖

利用4點坐標求兩條直線的角度差Δα，并計算其中一對坐標點X和Y方向的位移差Δx和Δy

(13)

(14)

其中， 為機械手應該偏轉(zhuǎn)的角度； 和 為定位銷 應該發(fā)生的位移。機械手發(fā)生確定角度的偏轉(zhuǎn)和位移變化之后下降一定高度完成抓取工作。

4 機器人抓取實驗

系統(tǒng)由FANUC公司M-20iA機器人、機器人控制器、Kenyence公司的CV-H500M型CCD、CA-LIHR35鏡頭、CV-X170A型控制器、CA-DRW24W型照明光源、實驗臺及實驗工件組成，攝像機安裝在實驗臺上端的支架上。

表1 實驗結果舉例

5 結束語

本文闡述了工業(yè)機器人定位工件的基本步驟，通過目標圖像與背景圖像相似度的比較實現(xiàn)了工件的存在判定，運用作差法提取目標工件，通過定位孔中心點及其構成的直線確定了工件的位姿信息完成工件定位。

本研究應用Matlab與VC++混合編程，將工件位置信息輸入到M-20iA機器人控制器，完成了機器人對工件的抓取任務。實驗表明，在合適的補充光源條件下，本研究采用的工件定位方法能夠準確的定位工件并成功抓取，對其應用到工業(yè)生產(chǎn)中形狀結構不規(guī)則的工件的定位抓取工作有指導意義。

[1] 李樹杰.中國機器視覺的發(fā)展趨勢[J].赤峰學院學報,2010,26(1):161-162.

[2] 劉金橋,吳金強.機器視覺系統(tǒng)發(fā)展及其應用[J].機械工程與自動化,2010,158(1) :215-216.

[3] 郭靜,羅華,張濤.機器視覺與應用[J].電子科技,2014, 27(7) :185-187.

[4] 孫琦.基于Adept機器人的平面工件視覺定位與控制[D].杭州:杭州電子科技大學, 2009.

[5] 王紅濤.基于視覺的工業(yè)機器人目標識別定位方法的研究[D].西安:西安理工大學,2007.

[6] 孫琦,羅志增.Eye- to- Hand機器人系統(tǒng)的平面工件識別研究[J].杭州電子科技大學報,2009(3):46-49.

[7] 朱代先.基于雙目視覺的工件定位與抓取研究[J].計算機測量與控制,2011,19(1):92-94.

[8] 夏群峰,彭永剛.基于視覺的機器人抓取系統(tǒng)應用研究綜述[J].機電工程,2014,31(6):697-701.

[9] 王召利,楊廷梧,劉上乾,等.特殊靶標圖像的Otsu自適應雙閾值分割法[J].電子科技,2010,23(6):46-48.

[10] 陽樹洪.灰度圖像閾值分割的自適應和快速算法研究[D].重慶:重慶大學,2014.

[11] Tian Jing,Yu Weiyu,Xie Shengli.An ant colony optimization algorithm for image edge deteetion [C].CA,USA:IEEE Congress on Image,2009.

[12] Zhang Zhengyou.Flexible camera calibretion by viewing a plane from unknown orientations[C].Korea:ICCCV,1999.

[13] 陳澤寧,張學習,彭澤榮,等.基于機器視覺的工件定位和識別[J].電子科技,2016,29(4) :99-103.

[14] 陳立松.工業(yè)機器人視覺引導關鍵技術的研究[D].合肥:合肥工業(yè)大學,2013.

[15] 卜鵬輝,趙宏,谷飛飛,等.一種基于平面靶標的全自動標定方法[J].光電學報.2014,34(10):41-45.

The Research on Orientation and Scraping of Workpiece with Asymmetry Structure

WANG Dan1，QIAN Wei1，QIN Xiaojian2，QI Sijie1，GU Ziming1

(1.School of Mechanical Engineering,University of Shanghai for Science and Technology, Shanghai 200093,China;2.Yutaka Electronics (SH)CO.,LTD, Shanghai 201611,China)

To solving the problem of location and grasping workpiece that with nonuniform mass distribution and asymmetry structure, a new method of orientation based on object surface features is proposed. Recognition and extraction the image coordinate of locating holes in the surface of workpiece, then combined image coordinate with robot EYE-TO-HAND system calibrate parameters to obtain pose information. The paper experiment on radiator case and built a whole monocular computer vision system, and did some research into robot orientation and scraping system about judgment on existence of workpiece, division of image, workpiece feature extraction and positioning. The results show that the success rate is 0.92 and the positioning method have a strong practical value.

monocular computer vision; workpiece locating; judgment on existence; picture division

2016- 05- 26

國家科技支撐計劃基金資助項目(2015BAK16B04)

王丹(1991-)，女，碩士研究生。研究方向：數(shù)字圖像處理。

10.16180/j.cnki.issn1007-7820.2017.01.038

TP391.41

A

1007-7820(2017)01-139-05