劉曉鵬，劉 波，馬自超，高 琳

（1.中北大學(xué)機(jī)械與動(dòng)力工程學(xué)院，山西 太原 030051；2.寧波韋爾德斯凱勒智能科技有限公司，浙江 寧波 315000）

基于機(jī)器視覺(jué)的遙控器裝配系統(tǒng)研究與設(shè)計(jì)

劉曉鵬1，劉 波1，馬自超2，高 琳1

（1.中北大學(xué)機(jī)械與動(dòng)力工程學(xué)院，山西 太原 030051；2.寧波韋爾德斯凱勒智能科技有限公司，浙江 寧波 315000）

為實(shí)現(xiàn)遙控器按鍵裝配生產(chǎn)線自動(dòng)化，結(jié)合機(jī)器視覺(jué)技術(shù)與SCARA機(jī)器人的精確定位與控制，采用Roberts算子進(jìn)行工件邊緣提取，確定模板匹配方法。在得出圖像坐標(biāo)與機(jī)器人末端抓手坐標(biāo)的轉(zhuǎn)換函數(shù)關(guān)系后，計(jì)算模板位置與抓取位置之間的差值，在工件裝配過(guò)程中進(jìn)行差值補(bǔ)償，實(shí)現(xiàn)自動(dòng)裝配。經(jīng)測(cè)試，抓取和裝配精度達(dá)到±0.1 mm，完全符合規(guī)定的裝配速度和精度要求。系統(tǒng)實(shí)現(xiàn)了遙控器按鍵的智能裝配，優(yōu)化了現(xiàn)場(chǎng)工作流程，提高了工作效率。與其他自動(dòng)化系統(tǒng)相比，該系統(tǒng)更具智能性和便捷性。系統(tǒng)的設(shè)計(jì)思路可用于各類自動(dòng)裝配，能夠有效保證裝配過(guò)程的安全性、可靠性及穩(wěn)定性，是未來(lái)智能裝配的發(fā)展趨勢(shì)。

自動(dòng)化；機(jī)器視覺(jué)；Roberts算子；邊緣提??；智能化；差值補(bǔ)償

0 引言

近年來(lái)，隨著機(jī)器人性能的大幅度提升和成本的直線下降，工業(yè)生產(chǎn)迎來(lái)了大規(guī)模的變革。機(jī)器視覺(jué)的迅速發(fā)展，在保證工作質(zhì)量的前提下，極大地提高了機(jī)器人的靈活性，已成為機(jī)器人感知外界的重要手段之一。在自動(dòng)化生產(chǎn)線中，由于機(jī)械裝置的固有偏差和工件擺放位置影響，致使機(jī)器人不能準(zhǔn)確抓取工件，并放置到要求精度較高的位置。因此，機(jī)器視覺(jué)系統(tǒng)更多地被用來(lái)對(duì)生產(chǎn)過(guò)程中的工件進(jìn)行定位。通過(guò)機(jī)器人的“眼睛”，能準(zhǔn)確識(shí)別工件的位置，并在放置的過(guò)程中進(jìn)行自我調(diào)整，進(jìn)一步簡(jiǎn)化了生產(chǎn)線，縮短了定位時(shí)間［1-3］。

本文將SCARA機(jī)器人與視覺(jué)定位系統(tǒng)進(jìn)行集成，通過(guò)工控機(jī)利用以太網(wǎng)實(shí)現(xiàn)機(jī)器人控制系統(tǒng)與工業(yè)相機(jī)、圖像處理軟件三者之間的實(shí)時(shí)通信，從而實(shí)現(xiàn)機(jī)器人對(duì)遙控器按鍵的準(zhǔn)確、快速抓取和放置。

1 系統(tǒng)工作原理

系統(tǒng)裝配流程為：首先采用SCARA機(jī)器人來(lái)替代部分人工進(jìn)行按鍵裝配作業(yè)，后續(xù)再實(shí)現(xiàn)PCB板、拾音器、彈性片和硅膠的裝配，以及功能測(cè)試（functional circuit test，F(xiàn)CT）自動(dòng)測(cè)試和自動(dòng)包裝等。機(jī)器人裝配系統(tǒng)主要由四軸多關(guān)節(jié)SCARA機(jī)器人、Balser CMOS工業(yè)相機(jī)、工控機(jī)和環(huán)形光源等相應(yīng)的圖像處理軟件和通信線組成。圖像處理軟件安裝在工控機(jī)上，能與機(jī)器人控制進(jìn)行通信，實(shí)現(xiàn)數(shù)據(jù)交換，觸發(fā)環(huán)形光源進(jìn)行補(bǔ)光。同時(shí)，相機(jī)采集圖形，并傳輸給工控機(jī)進(jìn)行圖像處理。通過(guò)一系列的計(jì)算，將得到的補(bǔ)償數(shù)值傳遞給機(jī)器人的控制器；在由相機(jī)上方運(yùn)動(dòng)到裝配點(diǎn)的過(guò)程中，進(jìn)行調(diào)整，達(dá)到精確裝配的目的。裝配控制流程如圖1所示。

圖1 裝配控制流程圖Fig.1 Flow chart of assembly control

1.1 機(jī)器人選型

YAMAHA公司的RCX340與工控機(jī)通信可采用RS-232C、Ethernet，本次采用 EtherNet/IP（以太網(wǎng)）通信的方式進(jìn)行連接，按照ANSI/TIA/EIA568A協(xié)議進(jìn)行標(biāo)準(zhǔn)化。機(jī)器人基本參數(shù)如表1所示。左右坐標(biāo)系統(tǒng)可實(shí)時(shí)切換［4］。

表1 機(jī)器人基本參數(shù)Tab.1 Basic parameters of robot

為實(shí)現(xiàn)抓取、裝配、拋料等動(dòng)作，在原有機(jī)器人裝置的基礎(chǔ)上加裝帶有相機(jī)和環(huán)形光源的可調(diào)節(jié)底座。針對(duì)工件的特殊結(jié)構(gòu)，設(shè)計(jì)專用的吸盤(pán)。

1.2 相機(jī)選型

根據(jù)廠商所提供的資料，裝配件均為圓形或長(zhǎng)方圓且具有對(duì)稱性的黑色塑料結(jié)構(gòu)件。通過(guò)式（1）計(jì)算，選用耗電量較小和周邊電路整合性高的COMS相機(jī)，其型號(hào)為ACA2500-14gm，通過(guò)GigE（千兆以太網(wǎng)）與工控機(jī)（圖像處理軟件）相連接。為了突出顯示被測(cè)物體邊緣和高度的變化，采用環(huán)形光源，通過(guò)漫反射方式照亮一圖像采集區(qū)域，突出原本難以看清的部分。

相機(jī)基本參數(shù)如表2所示。

表2 相機(jī)基本參數(shù)Tab.2 Basic parameters of camera

2 工件邊緣特征提取方法

由多次試驗(yàn)可知，光照條件對(duì)圖像的采集有十分重要的影響。為方便圖像特征的提取，突出裝配工件邊緣，選用與工件色差較大的白色底板，同時(shí)配以環(huán)形光源，在圖像采集的瞬間，提供適合的光照，采用順光拍照。

將采集到的圖像傳遞到工控機(jī)中進(jìn)行處理，圖像經(jīng)灰度化處理、圖像增強(qiáng)、圖像二值化處理結(jié)合邊緣特征提取方法進(jìn)行邊緣提取，再通過(guò)降噪，得到清晰且準(zhǔn)確的工件邊緣。利用MATLAB軟件對(duì)常用的邊緣提取方法，如 Roberts算子、Sobel算子、Canny算子、Prewitt算子、Gauss-Laplace算子、零交叉法，針對(duì)五聯(lián)件的特性進(jìn)行初步選取。理論圖像梯度的函數(shù)關(guān)系如式（2）所示：

Roberts算子的原理是將任意一對(duì)互相垂直方向上的差分看成求梯度的近似，即對(duì)角方向相鄰兩像素值之差代替該梯度值。

細(xì)化處理計(jì)算公式為：

綜合試驗(yàn)情況，Roberts算子檢測(cè)邊緣的結(jié)果定位精度比較高，且對(duì)于低噪圖像具有較好的檢測(cè)效果，故選用 Roberts算法［5-8］。

3 相機(jī)標(biāo)定方法及測(cè)試

由于裝配工件需按照要求將其高精度擺放在規(guī)定位置，這就給裝配帶來(lái)了困難。因此采用機(jī)器視覺(jué)技術(shù)，對(duì)機(jī)器人抓取到的工件在裝配前進(jìn)行姿態(tài)識(shí)別，對(duì)機(jī)器人末端與目標(biāo)物體之間的位置誤差進(jìn)行視覺(jué)反饋。與標(biāo)準(zhǔn)姿態(tài)進(jìn)行比對(duì)，將差值傳遞給工控機(jī)進(jìn)行計(jì)算，得出SCARA機(jī)器人的位置調(diào)整運(yùn)動(dòng)參數(shù)。通過(guò)通信串口傳遞給機(jī)器人控制器，實(shí)現(xiàn)工件的位置校正、指導(dǎo)末端抓手對(duì)工件進(jìn)行精確抓取的目的［9］。

3.1 相機(jī)參數(shù)確定

工件視覺(jué)分析及試驗(yàn)以具有代表性的五聯(lián)件作為研究對(duì)象。圖像位置變換如圖2所示。工件長(zhǎng)40 mm，寬36 mm，為左右對(duì)稱結(jié)構(gòu)。在對(duì)五聯(lián)件進(jìn)行初步分析后，確定其定位方法。采集工件圖像為二維圖像，即平面圖像。

圖2 圖像位置變換示意圖Fig.2 Schematic diagram of image position transformation

平面上的元素，就是點(diǎn)、線、面。平面上所有的圖形都是由眾多的點(diǎn)和點(diǎn)之間的線段組成的。所以，平面上的圖形變換也就是點(diǎn)坐標(biāo)位置的變換。

如圖2所示，假設(shè)0位為標(biāo)準(zhǔn)位置，1位為檢測(cè)位置，由兩者的位置關(guān)系可知，1位需經(jīng)過(guò)一次旋轉(zhuǎn)和一次平移變換到0位。函數(shù)關(guān)系如（3）所示：

3.2 相機(jī)坐標(biāo)變換及標(biāo)定

3.2.1 坐標(biāo)變換

一被測(cè)點(diǎn) P，其三維坐標(biāo)（世界坐標(biāo)系）為（xw，yw，zw），相機(jī)坐標(biāo)系為（xc，yc，zc），在經(jīng)過(guò)拍攝后，相機(jī)圖像坐標(biāo)系中的坐標(biāo)為（x，y），最后得到計(jì)算機(jī)像面坐標(biāo)系的坐標(biāo)（xf，yf）。即空間三維坐標(biāo)經(jīng)過(guò)三次變換，可得到相應(yīng)的像素坐標(biāo)。空間點(diǎn)三維坐標(biāo)與像素坐標(biāo)之間的對(duì)應(yīng)關(guān)系如式（4）所示：

通過(guò)圖像平面不同位置來(lái)求解，確定相機(jī)的內(nèi)部參數(shù)，然后監(jiān)測(cè)機(jī)器人在不同的空間位置對(duì)應(yīng)的空間坐標(biāo)，即相機(jī)坐標(biāo)系與基坐標(biāo)系之間對(duì)應(yīng)的旋轉(zhuǎn)和平移關(guān)系。

3.2.2 工件定位方法

本次標(biāo)定所采取的五點(diǎn)標(biāo)定法［10］，通過(guò)對(duì)機(jī)器人運(yùn)動(dòng)狀態(tài)的監(jiān)測(cè)，可獲取機(jī)器人末端在任一位置時(shí)的坐標(biāo)，即在世界坐標(biāo)系中的參數(shù)。機(jī)器人抓取一個(gè)工件（五聯(lián)件），并移動(dòng)到環(huán)形光源的上方，對(duì)相機(jī)、環(huán)形光源和機(jī)器人Z方向進(jìn)行初步調(diào)整，找到三者較為合適的位置，獲取相機(jī)的空間坐標(biāo)值。然后Z方向固定，設(shè)定角五聯(lián)件的中心區(qū)域?yàn)槟０鍏^(qū)域，即為每次定位的特征匹配區(qū)域，選取區(qū)域的中心（圖片中畸變小的位置）并獲取當(dāng)前機(jī)器人末端的世界坐標(biāo)系中的坐標(biāo)值和標(biāo)記點(diǎn)在圖像坐標(biāo)系中像素坐標(biāo)值。末端抓手帶著五聯(lián)件等距離（即等像素）移動(dòng)四次，軌跡為一個(gè)帶中心的正方形，即最小外接矩形法。同時(shí)記錄機(jī)器人末端在世界坐標(biāo)系中的坐標(biāo)值和標(biāo)記點(diǎn)的像素坐標(biāo)值，利用上述五點(diǎn)的坐標(biāo)值，即可求解得到圖像與機(jī)器人末端抓手之間的坐標(biāo)變換函數(shù)關(guān)系。

3.3 測(cè)試

3.3.1 標(biāo)定測(cè)試

根據(jù)上述的標(biāo)定方法，利用自行編寫(xiě)的標(biāo)定軟件對(duì)五聯(lián)件進(jìn)行標(biāo)定測(cè)試。先選取中心一點(diǎn)的像素坐標(biāo)為（662.025，468.633），對(duì)應(yīng)的末端世界坐標(biāo)系位置為（102.549，276.747）；然后進(jìn)行移動(dòng)，第二點(diǎn)的像素坐標(biāo)為（815.025，320.633），對(duì)應(yīng)的末端世界坐標(biāo)系位置為（92.548，286.747）；第三點(diǎn)的像素坐標(biāo)為（809.025，622.633），對(duì)應(yīng)的末端世界坐標(biāo)系位置為（92.548，266.747）。由第二點(diǎn)移動(dòng)到第三點(diǎn)的過(guò)程中，主移動(dòng)量為Y方向，移動(dòng)302個(gè)像素，對(duì)應(yīng)的世界坐標(biāo)系移動(dòng)距離為20 mm，同理移動(dòng)到第四點(diǎn)、第五點(diǎn)。由標(biāo)定測(cè)試結(jié)果可知，副偏差均在允許范圍內(nèi)。利用上述五點(diǎn)的坐標(biāo)值，得出圖像中的任意像素坐標(biāo)對(duì)應(yīng)的機(jī)器人末端抓手坐標(biāo)的關(guān)系。

3.3.2 系統(tǒng)測(cè)試

在軟硬件準(zhǔn)備完成以后，進(jìn)行現(xiàn)場(chǎng)測(cè)試。按照?qǐng)D1所示的工作流程，先逐步點(diǎn)動(dòng)，確保每一步單獨(dú)動(dòng)作能夠準(zhǔn)確無(wú)誤地完成；然后進(jìn)行多步聯(lián)動(dòng)，最后進(jìn)行全部動(dòng)作調(diào)試，在整組動(dòng)作循環(huán)調(diào)試無(wú)誤后，可進(jìn)行整條生產(chǎn)線調(diào)試。

通過(guò)現(xiàn)場(chǎng)調(diào)試，機(jī)器人末端抓手先抓取五聯(lián)件，然后在物料盤(pán)的整定區(qū)進(jìn)行整定，并移動(dòng)到環(huán)形光源上方，相機(jī)進(jìn)行圖像采集。在由圖像采集區(qū)移動(dòng)到裝配區(qū)進(jìn)行裝配的過(guò)程中進(jìn)行位置校正，確保準(zhǔn)確裝配。經(jīng)調(diào)試，可保證設(shè)備穩(wěn)定運(yùn)行，裝配節(jié)拍位10 s/個(gè)，對(duì)電源及氣源來(lái)料精度要求降低后，自動(dòng)工位來(lái)料抓取精度達(dá)到±0.1 mm。

4 結(jié)束語(yǔ)

本文采用視覺(jué)定位的方法和Roberts算子進(jìn)行工件邊緣提取，確定工件裝配過(guò)程中的差值補(bǔ)償，實(shí)現(xiàn)自動(dòng)裝配。經(jīng)測(cè)試，抓取和裝配精度達(dá)到±0.1 mm。融合了圖像處理、機(jī)械工程、自動(dòng)控制等視覺(jué)定位技術(shù)在柔性制造系統(tǒng)也會(huì)隨著需求的增加、研究的深入而變得更為完善。

［1］張俊.基于視覺(jué)定位的自動(dòng)上下料機(jī)械手系統(tǒng)研究［D］.石家莊：石家莊鐵道大學(xué)，2012.

［2］金明華.用于視覺(jué)定位的合作目標(biāo)識(shí)別圖像處理方法研究［D］.沈陽(yáng)：中科院沈陽(yáng)自動(dòng)化研究所，2002.

［3］程曉金.機(jī)器人上料系統(tǒng)中視覺(jué)定位研究［D］.石家莊：燕山大學(xué)，2013.

［4］程汀.SCARA機(jī)器人的設(shè)計(jì)及運(yùn)動(dòng)學(xué)動(dòng)力學(xué)的研究［D］.合肥：合肥工業(yè)大學(xué)，2008.

［5］ SZELISKIR．ComputerVision：Algorithmsandapplications［M］．Beijing：Tsinghua University Press，2012．

［6］ MA Y，ZHANG Z H．Comparison of several edge detection operators［J］．Industry and Mine Automation，2004（1）：54-56．

［7］范帥，湯綺婷，盧滿懷，等.基于機(jī)器視覺(jué)的軸承內(nèi)外圈尺寸檢測(cè)及分類［J］.自動(dòng)化儀表，2016，37（11）：77-80，87.

［8］陸興娟，吳震字.圖像邊緣檢測(cè)算法研究［J］.現(xiàn)代電子技術(shù)，2010，33（6）：128-130.

［9］ PENG W X，ZHAO G X，WANG Z Q．Reasearch andefficiency analysis of gray algorithm based on image recognition system［J］．Electronic World，2014（7）：105．

［10］ZHANG F Q，WANG G F，ZENG Q N.New algorithmfor minimum enclosing rectangle of the object in the image region based on center-of-gravity principle［J］．Infrared and Laser Engineering，2013（5）：1382-1387.

Research and Design of Remote Control Assembly System Based on Machine Vision

LIU Xiaopeng1，LIU Bo1，MA Zichao2，GAO Lin1
（1.School of Mechanical and Power Engineering，North University of China，Taiyuan 030051，China；2.WILD SC（NINGBO）Intelligent Technology Co.，Ltd.，Ningbo 315000，China）

In order to realize the automation of remote control button assembly line，the technology of machine vision and the accurate positioning and control of SCARA robot are combined，workspace edge is extracted by Roberts operator，and the template matching method is determined;then the conversion function relations of image coordinates and robot end gripper coordinate conversion are obtained，and the difference value between the template position and the grab position is calculated，the compensation of difference is conducted in assembling process of workpiece to realize automatic assembly.From testing，the accuracy of grab and assembly reaches±0.1 mm;the assembling speed and accuracy fully meet the requirements.The intelligent assembly of the key and button of remote control is realized，and the field work flow is optimized，the work efficiency is improved.Compared with other automatic systems，it is more intelligent and convenient.The design concept of this system can be applied to all kinds of automatic assembly，and it can guarantee the safety，reliability and stability of assembly process effectively.It is the development trend of intelligent assembly in the future.

Automation；Machine vision；Roberts operator；Edge extraction；Intelligence；Difference compensation

TH-39；TP24

A

10.16086／j.cnki.issn1000-0380.201711023

修改稿收到日期：2017-07-23

劉曉鵬（1993—），男，在讀碩士研究生，主要從事機(jī)械工程、機(jī)器視覺(jué)等方向的研究。E-mail：a1016353973@qq.com。劉波（通信作者），男，博士，副教授，主要從事機(jī)械電子工程、機(jī)器視覺(jué)等方向的研究。E-mail：124250076@qq.com。