焦 亮,胡國(guó)清,呂成志,趙朋飛

(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510640)

基于機(jī)器視覺的高精度測(cè)量與裝配系統(tǒng)設(shè)計(jì)

焦 亮,胡國(guó)清,呂成志,趙朋飛

(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510640)

在對(duì)某些精密產(chǎn)品實(shí)現(xiàn)自動(dòng)化生產(chǎn)過程中，存在難以對(duì)裝配該產(chǎn)品所需的多種裝配小零件進(jìn)行高精度自動(dòng)測(cè)量與裝配的問題；針對(duì)該問題，搭建了基于機(jī)器視覺技術(shù)的自動(dòng)化測(cè)量與裝配系統(tǒng)；基于Halcon圖像處理軟件平臺(tái)，對(duì)零件圖像進(jìn)行了中值濾波、圖像增強(qiáng)等預(yù)處理；采用了Canny算法對(duì)零件求取像素精度的邊緣，并運(yùn)用橢圓曲線擬合法獲取了亞像素精度邊緣；建立了兩種相機(jī)鏡頭畸變模型，采用徑向排列約束(RAC)標(biāo)定法與張正友標(biāo)定法對(duì)相機(jī)進(jìn)行了標(biāo)定，并對(duì)標(biāo)定精度進(jìn)行了對(duì)比；實(shí)驗(yàn)結(jié)果表明：本系統(tǒng)的裝配同軸度精度能達(dá)到0.05mm，零件尺寸測(cè)量標(biāo)準(zhǔn)差低于3.8μm，滿足工業(yè)需求，可以解決工業(yè)實(shí)際問題。

機(jī)器視覺；自動(dòng)化裝配；亞像素精度；畸變模型；相機(jī)標(biāo)定

0 引言

隨著工業(yè)自動(dòng)化的發(fā)展，機(jī)器視覺廣泛應(yīng)用于工業(yè)領(lǐng)域，主要集中在電子行業(yè)、半導(dǎo)體行業(yè)、航天、測(cè)量等行業(yè)。機(jī)器視覺作為工業(yè)機(jī)器人獲得外界環(huán)境信息的主要手段，可以提高工業(yè)生產(chǎn)的柔性與自動(dòng)化程度，這使得對(duì)多種小零件的高精度測(cè)量與裝配工作實(shí)現(xiàn)全自動(dòng)化生產(chǎn)裝配成為可能，可以提高裝配效率，一般小零件的高精度裝配對(duì)環(huán)境潔凈度要求較高，實(shí)現(xiàn)自動(dòng)化生產(chǎn)裝配后，有利于對(duì)裝配環(huán)境的保持與維護(hù)，減少了對(duì)裝配環(huán)境維持的成本，提高了工業(yè)生產(chǎn)的穩(wěn)定性與合格率。

機(jī)器視覺具有高效率和針對(duì)性強(qiáng)兩大特點(diǎn)，面對(duì)各類工業(yè)需求，運(yùn)用機(jī)器視覺技術(shù)開發(fā)相應(yīng)的設(shè)備與解決方案，并取得了較理想的效果，王冠英等人采用線陣CCD掃描儀與Matlab圖像處理技術(shù)相結(jié)合的方法，對(duì)織針針坯模具進(jìn)行快速、準(zhǔn)確地非接觸測(cè)量，并取得了3 μm的測(cè)量精度[1]；查英等人運(yùn)用機(jī)器視覺技術(shù)構(gòu)建了針對(duì)工業(yè)裝配生產(chǎn)線的削刀架自動(dòng)裝配問題的在線視覺系統(tǒng)，取得了100%的識(shí)別零件正確率[2]；李釗寶等人運(yùn)用基于轉(zhuǎn)軸法的外切矩形法對(duì)工件進(jìn)行定位，并通過雙線性差值算法實(shí)現(xiàn)工件邊緣的亞像素提取，最終實(shí)現(xiàn)了0.015 mm的測(cè)量重復(fù)性精度[3]；郭瑞等人設(shè)計(jì)了視覺系統(tǒng)到機(jī)器人的坐標(biāo)標(biāo)定及坐標(biāo)值計(jì)算，實(shí)現(xiàn)了視覺系統(tǒng)對(duì)機(jī)器人精確定位的引導(dǎo)[4]。

針對(duì)某些精密產(chǎn)品自動(dòng)化生產(chǎn)過程中，需對(duì)組成產(chǎn)品的多種小零件進(jìn)行高精度測(cè)量和自動(dòng)化裝配問題，本文采用Keyence的CCD工業(yè)相機(jī)，運(yùn)用光學(xué)測(cè)量理論、圖像處理技術(shù)以及視覺定位算法來實(shí)現(xiàn)零件尺寸的高精度測(cè)量與自動(dòng)化裝配。首先對(duì)獲取的零件圖像進(jìn)行預(yù)處理，減小噪聲對(duì)圖像的干擾，然后采用Canny算法提取像素精度邊緣，在此基礎(chǔ)上，通過橢圓曲線擬合法提取亞像素精度邊緣，提高零件關(guān)鍵信息與尺寸的測(cè)量精度，滿足工業(yè)需求。

1 系統(tǒng)總體方案設(shè)計(jì)

本文具體針對(duì)的問題：8種不同種類、不同尺寸圓形小零件需按要求依次疊放，且保證裝配好的各類零件的中心與底座中心同軸度精度高于0.05 mm，同時(shí)測(cè)量每種零件的外徑尺寸，精度高于0.01 mm。圖1表示整個(gè)裝配過程的流程。

圖1 零件裝配流程圖

2 視覺系統(tǒng)設(shè)計(jì)

2.1 預(yù)處理

在進(jìn)行圖像采集過程中，不可避免地受到各種干擾而混入加性噪聲，故需對(duì)圖像進(jìn)行濾波處理，圖2(a)為8種裝配小零件之一的圓片1原始灰度圖，這里僅以該零件為例，需要獲取的特征信息包括圓片1的外圓直徑以及中心坐標(biāo)值。

在圓片上存在若干白點(diǎn)噪聲干擾，本文選用中值濾波算法對(duì)圖像進(jìn)行濾波，中值濾波是一種非線性濾波算法，能夠在濾除隨機(jī)噪聲的同時(shí)，很好的保持圖像的邊緣信息[5]。

濾波后，通過圖像增強(qiáng)使模糊的圖像變清晰，圖像增強(qiáng)算法可用式(1)所示。

(1)

其中:Yij為圖像增強(qiáng)后序列，fij為增強(qiáng)前圖像序列，a為比例系數(shù)，這個(gè)系數(shù)主要通過反復(fù)實(shí)驗(yàn)調(diào)試得到，本文取為2。

在圖2為原始灰度圖經(jīng)過中值濾波，再經(jīng)過圖像增強(qiáng)處理的效果圖，從圖中可以看出，原始圖像上的若干白點(diǎn)噪聲基本被濾除。

圖2 預(yù)處理效果圖

2.2 亞像素邊緣提取

圖像邊緣檢測(cè)的目的是提取圖像中物體的邊緣，邊緣提取效果的好壞直接影響到物體尺寸及定位信息的獲取。邊緣檢測(cè)是圖像測(cè)量的基礎(chǔ)和關(guān)鍵，隨著人們對(duì)檢測(cè)精度要求的不斷提高，像素級(jí)檢測(cè)精度已經(jīng)不能滿足實(shí)際測(cè)量的要求，本文首先采用Canny算法提取像素級(jí)邊緣，再采用橢圓曲線擬合法進(jìn)一步求取亞像素精度邊緣。

2.2.1 Canny算法

Canny算法具有良好的信噪比和檢測(cè)精度，在圖像處理領(lǐng)域應(yīng)用廣泛。檢測(cè)時(shí)主要分為以下幾個(gè)步驟：

1)采用高斯濾波進(jìn)行圖像去噪；2)計(jì)算梯度幅值和梯度方向；3)非極大值抑制；4)雙閾值確定邊緣。

本文設(shè)置梯度值的高閾值為Th=22，低閾值為Tl=10，圖3為Canny算子邊緣提取結(jié)果。

圖3 Canny算子邊緣提取結(jié)果

從圖3可知，通過Canny算子獲得了較完整的零件外圓邊緣，但通過放大的小窗口可知，提取的邊緣是像素級(jí)的，放大后呈鋸齒狀。此時(shí)測(cè)得的外圓圓心像素坐標(biāo)為(583,792)，直徑大小為D=1 032 pix。

2.2.2 橢圓曲線擬合法

由于本文要檢測(cè)的亞像素邊緣是圓形，故采用橢圓最小二乘擬合法[6]進(jìn)行邊緣提取可以達(dá)到較好的精度和速度。

設(shè)一個(gè)二次曲線方程為：

x2+2Bxy+Cy2+2Dx+2Ey+F=0

(2)

(3)

(1+C)(CF+2BDE-D2C-B2F-E2)<0

(4)

如果式(3)和式(4)同時(shí)滿足，式(2)就代表一個(gè)橢圓，其均方差為：

(5)

分別對(duì)式(5)中的B、C、D、E、F求偏導(dǎo)數(shù)，并令每個(gè)導(dǎo)數(shù)式都為零，這樣，我們就得到了5個(gè)方程組，用矩陣求逆法求出橢圓的參數(shù)。

橢圓的中心坐標(biāo)計(jì)算公式為：

(6)

(7)

圖4為通過橢圓擬合法求取零件的亞像素精度邊緣結(jié)果。

圖4 亞像素邊緣提取結(jié)果

由圖5可知，亞像素精度邊緣不受像素大小限制，邊緣提取精度更高。由此測(cè)得的外圓圓心像素坐標(biāo)為(582.056,791.754)，直徑為D=1 033.848 pix。

2.3 相機(jī)標(biāo)定

機(jī)器視覺系統(tǒng)識(shí)別物體的位置和形狀等信息，需要確定空間位置與圖像上像素的映射關(guān)系，以及相機(jī)的內(nèi)部參數(shù)和位置參數(shù)，即相機(jī)標(biāo)定。相機(jī)標(biāo)定有很多方法，例如：直接線性法(DLT)、基于徑向排列約束的標(biāo)定法(RAC)和張正友標(biāo)定法等[7-9]。

2.3.1 成像幾何模型及坐標(biāo)變換

由于本系統(tǒng)零件裝配的精度要求較高，需要考慮鏡頭的加工與裝配誤差導(dǎo)致的非線性畸變，考慮非線性畸變的成像幾何模型如圖5所示。

圖5 非線性幾何模型

空間中點(diǎn)M在世界坐標(biāo)系(WCS)即owXwYwZw下表達(dá)為M(Xw,Yw,Zw)，相機(jī)坐標(biāo)系(CCS)為OcXcYcZc，像素坐標(biāo)系(IPCS)為Ouv，理想情況下點(diǎn)M在圖像坐標(biāo)系(ICS)即O1xy下表示為mu(xu,yu)，在實(shí)際情況下，相機(jī)成像幾何模型存在畸變，導(dǎo)致點(diǎn)M成像在Md(xd,yd)。

按照理想的針孔透視模型，圖像坐標(biāo)系(ICS)與像素坐標(biāo)系(IPCS)的轉(zhuǎn)換關(guān)系為：

(8)

其中:(u0,v0)表示在像素坐標(biāo)系下圖像坐標(biāo)原點(diǎn)的坐標(biāo)，dx和dy分別為每個(gè)像素在圖像平面x軸和y軸方向上的物理尺寸大小。

圖像坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(9)

式中,f為相機(jī)的焦距。

相機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(10)

式中,R是3*3的正交旋轉(zhuǎn)矩陣，t表示三維平移向量，R和t的形式如下：

其中：R是α，β，γ的函數(shù)，表示如下：

將式(8)、式(9)和式(10)綜合起來有：

(11)

式中，cx和cy分別表示圖像水平和垂直的尺寸因子，ρ表示比例因子，H1矩陣中包含焦距、主點(diǎn)的坐標(biāo)等相機(jī)的內(nèi)部結(jié)構(gòu)決定的參數(shù)，因而稱其為內(nèi)部參數(shù)矩陣，cx、cy、u0、v0叫做相機(jī)內(nèi)部參數(shù)。H2成為相機(jī)的外部參數(shù)矩陣，因?yàn)槠渲邪男D(zhuǎn)矩陣R和平移向量t是由相機(jī)的坐標(biāo)系相對(duì)于世界坐標(biāo)系的位置決定的，相機(jī)標(biāo)定的目的就是確定相機(jī)的內(nèi)部參數(shù)與外部參數(shù)。

2.3.2 畸變模型

普通工業(yè)鏡頭存在徑向畸變、離心畸變和薄透鏡畸變，其中徑向畸變是影響視覺精度的主要因素，薄透鏡畸變可充分地近似為徑向畸變。本文首先針對(duì)相機(jī)鏡頭存在的徑向畸變建立畸變模型，并采用RAC標(biāo)定法進(jìn)行標(biāo)定。為了進(jìn)一步提高并保證裝配精度，針對(duì)相機(jī)鏡頭可能存在的徑向畸變以及離心畸變，建立存在兩種畸變的畸變模型，再采用張正友標(biāo)定法進(jìn)行相機(jī)標(biāo)定，并且對(duì)比兩種方法的標(biāo)定結(jié)果。

(1)徑向畸變模型：

將徑向畸變量考慮進(jìn)成像幾何關(guān)系中，并采用LENZ畸變模型[10]，該畸變模型通用性強(qiáng)、精度高，用式12來描述相機(jī)的該畸變模型，當(dāng)k為負(fù)值時(shí)表示桶形畸變，k為正值時(shí)為枕形畸變：

(12)

其中：(x，y)為相機(jī)理想的線性模型下的圖像點(diǎn)的圖像坐標(biāo)值，(xd，yd)為發(fā)生畸變后得到的圖像坐標(biāo)值。

(2)混合畸變模型：

通過張正友相機(jī)標(biāo)定法來解決相機(jī)鏡頭帶來的徑向畸變以及離心畸變，式(13)用來描述兩種畸變的模型，式中包含k1,k2,k3的項(xiàng)表示徑向畸變，包含p1,p2的項(xiàng)表示離心畸變。

(13)

2.3.3 相機(jī)標(biāo)定實(shí)驗(yàn)

本文基于Halcon圖像處理平臺(tái)進(jìn)行相機(jī)標(biāo)定實(shí)驗(yàn)，標(biāo)定所用的標(biāo)定板一般有棋盤方格和圓形靶標(biāo)[11]等，本文選用圓形靶標(biāo)的標(biāo)定板，相對(duì)于棋盤方格的角點(diǎn)提取，圓心提取算法抗噪聲能力強(qiáng)，算法簡(jiǎn)單快速。標(biāo)定板由7*7的圓點(diǎn)及左上角確定坐標(biāo)系方向的黑色三角形塊構(gòu)成，如圖6所示。

進(jìn)行相機(jī)標(biāo)定時(shí)，標(biāo)定精度與圖像數(shù)量有關(guān)，至少需要10幅圖像，為了保證節(jié)省標(biāo)定耗費(fèi)時(shí)間，更適應(yīng)于工業(yè)應(yīng)用，本文只用10幅圖像進(jìn)行標(biāo)定，所選圖像中標(biāo)定板的位置應(yīng)該能覆蓋視野的4個(gè)角，因?yàn)榻锹涮幍溺R頭畸變最大，這樣能得到較準(zhǔn)確地畸變參數(shù)。

拍攝的10幅標(biāo)定圖像如圖6所示，并通過重投影法分析標(biāo)定結(jié)果的平均誤差，如式14，式15所示。

(14)

(15)

式中，e表示均方誤差；Io(i)表示原始圖像上第i點(diǎn)的向量，Ip(i)表示重投影圖像上第i點(diǎn)的向量，i∈(0,N)；N代表標(biāo)志點(diǎn)總數(shù)，本文N=10*7*7=490；Err表示平均均方誤差。

圖6 標(biāo)定圖像

RAC標(biāo)定法與張正友法對(duì)內(nèi)部參數(shù)的標(biāo)定結(jié)果如表1所示，外部參數(shù)標(biāo)定結(jié)果如表2所示。

表1 相機(jī)內(nèi)部參數(shù)標(biāo)定結(jié)果

表2 相機(jī)外部參數(shù)標(biāo)定結(jié)果

由表1可知，通過張正友相機(jī)標(biāo)定法，將徑向畸變與離心畸變加入畸變模型，對(duì)相機(jī)進(jìn)行標(biāo)定，相對(duì)于RAC標(biāo)定法僅考慮徑向畸變的畸變模型，減小了相機(jī)標(biāo)定平均誤差，平均誤差從0.525%減到0.434%。通過測(cè)量?jī)煞N方法的選用相同的10幅標(biāo)定圖像進(jìn)行標(biāo)定所用的時(shí)間，RAC法需用4 451ms，張正友法則需用5 324ms，雖然采用張正友法需要的時(shí)間比RAC法所花的時(shí)間多873ms，但張正友法提高了相機(jī)標(biāo)定精度，故本系統(tǒng)采用張正友法對(duì)相機(jī)進(jìn)行標(biāo)定。

3 實(shí)驗(yàn)與結(jié)果分析

本文所研究的視覺定位裝配系統(tǒng)需要測(cè)量各個(gè)零件的直徑以及測(cè)得零件中心的坐標(biāo)值用于零件裝配。為了驗(yàn)證本系統(tǒng)對(duì)零件直徑測(cè)量的精度，現(xiàn)對(duì)1套裝配體中的零件進(jìn)行測(cè)量，每套裝配體除底座外包括7中不同的零件需要測(cè)量，并且對(duì)每個(gè)零件測(cè)量5次，求取平均值測(cè)量結(jié)果如表3所示。

表3 零件直徑測(cè)量結(jié)果 mm

根據(jù)公式16，求取測(cè)量7種零件直徑的標(biāo)準(zhǔn)差σ，計(jì)算結(jié)果如表4所示。

(16)

表4 零件直徑標(biāo)準(zhǔn)差 mm

從表4中可以得出，7種零件直徑測(cè)量尺寸中，最大標(biāo)準(zhǔn)差σmax=0.003 8mm，滿足工業(yè)要求。

為了對(duì)零件中心的視覺定位精度進(jìn)行驗(yàn)證，隨機(jī)選取一個(gè)底座，針對(duì)該底座反復(fù)裝配3次，通過測(cè)量各零件中心定位坐標(biāo)來得到同軸度精度，并且與未加入視覺定位系統(tǒng)的裝配精度進(jìn)行對(duì)比，首先測(cè)得底座的中心像素坐標(biāo)為(793.672,607.154)，裝配結(jié)果分別如表5，表6所示。

表5 未引入視覺定位的裝配結(jié)果 pixel

表6 引入視覺定位的裝配結(jié)果 pixel

由表5、表6中的同軸度數(shù)據(jù)可知，未引入視覺定位系統(tǒng)時(shí)，裝配同軸度誤差最大達(dá)到0.356 mm，而引入視覺定位系統(tǒng)時(shí)，裝配同軸度誤差最大只有0.011 mm，小于0.05 mm，滿足裝配同軸度精度的要求。

4 結(jié)論

本文基于機(jī)器視覺搭建的高精度測(cè)量與裝配系統(tǒng)，通過結(jié)合Canny算法以及橢圓曲線擬合法，提取了零件亞像素精度邊緣，為零件尺寸的高精度測(cè)量以及零件的高精度裝配奠定了基礎(chǔ)，通過分析對(duì)比張正友相機(jī)標(biāo)定法與RAC標(biāo)定法的標(biāo)定結(jié)果，得出采用RAC法標(biāo)定花費(fèi)的時(shí)間比張正友法少，但前者的精度沒有后者高。最終本系統(tǒng)獲得的零件尺寸測(cè)量精度以及裝配同軸度精度均滿足工業(yè)要求，可以解決實(shí)際問題。

[1] 王冠英, 胡心平, 刁維龍. 基于機(jī)器視覺的復(fù)雜形狀模具尺寸測(cè)量[J]. 計(jì)算機(jī)測(cè)量與控制, 2015,23(3):706-708.

[2] 查 英, 劉鐵根, 杜 東, 等. 基于機(jī)器視覺的零件自動(dòng)裝配系統(tǒng)[J]. 天津大學(xué)學(xué)報(bào), 2006,39(6):722-726.

[3] 李釗寶, 汪新新, 賈茜媛. 基于機(jī)器視覺的工件尺寸高精度測(cè)量方法[J]. 計(jì)算機(jī)測(cè)量與控制, 2015,23(6):1866-1870.

[4] 郭 瑞, 劉振國(guó), 曹云翔, 等. 基于視覺的裝配機(jī)器人精確定位研究[J]. 制造業(yè)自動(dòng)化, 2014,36(5):154-156.

[5] Casten Steger, Markus Ulrich, Christian Wiedemann. Machine Vision Algorithms and Applications[M].1sted., Yang Shaorong, Wu Dijing, Duan Deshan, translated. Beijing: Tsinghua University Press,2008:97-125.

[6] 張麗群. 基于相關(guān)法的多重成像亞像素定位算法的研究與實(shí)現(xiàn)[D]. 哈爾濱:哈爾濱工程大學(xué), 2005.

[7] 解則曉, 辛少輝, 李緒勇, 等. 基于單目視覺的機(jī)器人標(biāo)定方法[J].機(jī)械工程學(xué)報(bào), 2011, 47(5):35-39.

[8] 趙高長(zhǎng), 武風(fēng)波, 周 彬, 等.基于DLT模型的攝像機(jī)標(biāo)定簡(jiǎn)化方法[J].應(yīng)用光學(xué), 2009, 30(4):585-589.

[9] 張 娜. 攝像機(jī)標(biāo)定方法的研究[D]. 南京:南京理工大學(xué), 2014.

[10] Lanser S.Model-based localization based on monocular video images[D]. Technical University of Munich, 1997.

[11] Zhang Z Y. A flexible new technique for camera calibration[J]．IEEE Transactions on Patten Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

Design of High-precision Measurement and Assembly System Based on Machine Vision

Jiao Liang，Hu Guoqing，Lü Chengzhi，Zhao Pengfei

(College of Mechanical and Automotive Engineering, South China University of Technology,Guangzhou 510640, China)

In realizing automation production process of certain precision products, there exist the problem of being hard to measure and assemble many kinds of small parts which are necessary for the product high-precision and autamatically. Aiming at the problem, the automatic measurement and assembly system is built based on machine vision technology. Based on Halcon, the image processing software platform, the system pretreats the parts image with median filtering, image enhancement and so on, and uses the Canny algorithm to calculate the pixel-precision edge, then uses elliptic curve fitting method to obtain the subpixel-precision edge. Two kinds of camera lens distortion model are established, using the method of the radial alignment constraint (RAC) and the method of Zhang Zhengyou to calibrate cameras and compared the calibration accuracy. The experimental results show that the assembly alignment accuracy of system can reach 0.05 mm, and the standard deviation of measurement is less than 3.8 μm. It can meet the requirement of industry and solve practical problems.

machine vision; automatic assembly; sub-pixel accuracy; distortion model; camera calibration

2016-01-16；

2016-02-15。

廣東省教育部產(chǎn)學(xué)研結(jié)合項(xiàng)目(2012B091100109)。

焦 亮(1990-)，男，江西吉安人，碩士研究生，主要從事智能機(jī)器人與圖像處理技術(shù)方向的研究。

胡國(guó)清(1964-)，男，四川崇慶人，教授，博士導(dǎo)師，主要從事智能機(jī)器人與圖像處理技術(shù)方向的研究。

1671-4598(2016)07-0072-04

：10.16526/j.cnki.11-4762/tp

TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A