張嘉易，劉 揚(yáng)，郝永平，孫全偉

（沈陽理工大學(xué) 遼寧省先進(jìn)制造與裝備重點(diǎn)實(shí)驗(yàn)室，沈陽 110159）

面向微裝配的零件識(shí)別定位方法研究

張嘉易，劉 揚(yáng)，郝永平，孫全偉

（沈陽理工大學(xué) 遼寧省先進(jìn)制造與裝備重點(diǎn)實(shí)驗(yàn)室，沈陽 110159）

0 引言

微裝配主要面向的是介于納米與微米之間的器件裝配。隨著納米技術(shù)的的發(fā)展，以及微機(jī)電系統(tǒng)的日趨復(fù)雜，針對(duì)微小型零件的裝配也日益引起人們的關(guān)注。近年來，機(jī)器視覺技術(shù)逐步成熟，它以速度快、精度高以及非接觸式測量等優(yōu)點(diǎn)，在零件檢測領(lǐng)域得到了廣泛的應(yīng)用[1]。國內(nèi)外自上世紀(jì)90年代開始就針對(duì)微小零件的裝配進(jìn)行了研究，并在基于機(jī)器視覺的裝配技術(shù)上取得了重大突破，由此機(jī)器視覺技術(shù)成為了實(shí)現(xiàn)微小零件的識(shí)別定位及裝配的重要手段。

面向平板類微小零件的裝配，主要利用平板類零件平面化、尺寸小的自身特點(diǎn)，結(jié)合機(jī)器視覺與力反饋控制等技術(shù)，通過視覺定位零件吸附點(diǎn)，采用真空吸附的方式進(jìn)行裝配。目前，對(duì)平板類微小型零件裝配研究的機(jī)構(gòu)主要有北京理工大學(xué)、大連理工大學(xué)及北京聯(lián)合大學(xué)等，并取得了一定的成果。本文針對(duì)開發(fā)的微裝配控制系統(tǒng)模塊構(gòu)成及基于視覺的裝配流程進(jìn)了分析，主要對(duì)形狀模板匹配方法進(jìn)行了研 究，并開發(fā)了識(shí)別定位軟件。

1 微裝配控制系統(tǒng)構(gòu)成與零件識(shí)別定位流程

微裝配控制系統(tǒng)由運(yùn)動(dòng)控制模塊、視覺識(shí)別定位模塊、氣路控制模塊及光源控制模塊等組成。其中視覺識(shí)別定位模塊由兩個(gè)CCD相機(jī)組成，首先，上CCD相機(jī)負(fù)責(zé)對(duì)零件存放區(qū)的微小型零件進(jìn)行圖像抓拍，目標(biāo)圖像依次與模板庫中各個(gè)模板相匹配來識(shí)別待裝配零件，并將其位姿信息反饋于控制系統(tǒng)，運(yùn)動(dòng)控制模塊根據(jù)視覺系統(tǒng)反饋的坐標(biāo)信息，通過真空吸附抓取零件并運(yùn)動(dòng)至下CCD處；然后，下CCD拍取零件照片，程序根據(jù)上CCD識(shí)別的模板號(hào)，調(diào)取模板庫中相應(yīng)模板進(jìn)行對(duì)位匹配，并通過高精密步進(jìn)電機(jī)對(duì)零件位姿調(diào)控；最后，精密位移臺(tái)運(yùn)行至裝配區(qū)，氣路系統(tǒng)釋放零件進(jìn)行裝配。微裝配系統(tǒng)實(shí)驗(yàn)平臺(tái)及其具體識(shí)別定位與裝配流程如圖1、圖2所示。

圖1 微裝配實(shí)驗(yàn)平臺(tái)

2 微小型零件的識(shí)別定位算法

本文采用基于形狀的模板匹配進(jìn)行微小型零件的識(shí)別定位，經(jīng)過對(duì)模板圖像進(jìn)行高斯濾波、二值化、去噪，并對(duì)模板定義相似度量，提取模板圖像的輪廓特征，生成形狀模板。將各個(gè)模板信息存入模板庫，并標(biāo)記模板號(hào)，以備目標(biāo)圖片匹配調(diào)用。為了增加模板匹配的可靠性，將模板圖像與目標(biāo)圖像進(jìn)行了相同的預(yù)處理。在創(chuàng)建模板時(shí)，對(duì)零件所在的感興趣區(qū)域進(jìn)行模板創(chuàng)建，而且定義模板的姿態(tài)與裝配姿態(tài)一致，這樣有利于實(shí)現(xiàn)目標(biāo)零件裝配位姿調(diào)整。

圖2 微小零件識(shí)別定位與裝配流程圖

2.1 圖像平滑處理

圖像的平滑處理，也即模糊處理，其作用是在減少噪聲影響的同時(shí)，又能很好地保護(hù)邊緣輪廓信息。然而，在微裝配系統(tǒng)的識(shí)別定位過程中，不僅要求算法精度高，同時(shí)還必須處理速度快。常規(guī)的濾波算法有均值濾波、中值濾波、高斯濾波、維納濾波[6]。針對(duì)微裝配實(shí)際情況，我們選擇了高斯濾波，二維高斯濾波器的公式如下：

2.2 圖像分割

微小型零件尺寸小，而且由于加工原因，其表面較為粗糙。這就造成了在顯微視覺放大的情況下，圖片噪聲非常明顯，而且零件背景經(jīng)過放大，也會(huì)加入很多噪聲點(diǎn)。雖然進(jìn)行了濾波平滑處理，但是還是不可避免的附帶較多噪聲。為了得到高質(zhì)量的模板，采用對(duì)模板圖像進(jìn)行固定二值化操作，然后通過提取連通區(qū)域方法去除噪聲，具體實(shí)現(xiàn)算法如下：

1）采用從上到下、從左到右的順序遍歷模板二值圖像W，定義二維數(shù)組將圖像每一點(diǎn)W(i,j)像素標(biāo)記為0，并用二維數(shù)組S[i][j]存儲(chǔ)每點(diǎn)的像素值，由于是二值圖像，所以S[i][j]只有0和1兩種情況。

2）再次遍歷圖像，判斷二維數(shù)組S[i][j]及W[i][j]值。若S[i][j]值1，且W[i][j]為0，則將W[i][j]賦值為W[i][j]+1，并按順時(shí)針方向搜索此像素點(diǎn)W(i,j)的8鄰域像素。若8領(lǐng)域中某一點(diǎn)像素值為1，則繼續(xù)對(duì)這點(diǎn)進(jìn)行8鄰域像素判斷，如此采用遞歸算法進(jìn)行統(tǒng)計(jì)各個(gè)標(biāo)號(hào)下連通域的像素個(gè)數(shù)。

3）對(duì)于提取的連通域，通過比較每個(gè)標(biāo)號(hào)下對(duì)應(yīng)的像素?cái)?shù)，最大者即為模板零件，并將其余標(biāo)號(hào)下的連通域像素值賦值為0，由此便得到了模板零件。圖像二值化及其遞歸去噪如圖3所示。

圖3 零件圖像二值化及其去噪效果圖

這樣不僅很好的消除了非模板輪廓邊緣點(diǎn)的引入，而且在圖像二值化的基礎(chǔ)上進(jìn)行匹配，并不會(huì)存在灰度失真與灰度變化的情況，增強(qiáng)了算法的穩(wěn)定性。而對(duì)目標(biāo)圖像進(jìn)行處理時(shí)，為了提高模板匹配速度，無需進(jìn)行連通域去噪處理。

2.3 模板匹配

2.3.1 定義相似度量

模板匹配，最重要的是創(chuàng)建模板。首先將目標(biāo)對(duì)象的模板定義為點(diǎn)集pi=(ri+ci)T，其每個(gè)點(diǎn)的方向向量為di=(ti+ui)T，i=1，2，3，…，n，由Sobel算子邊緣提取方式計(jì)算每個(gè)點(diǎn)(r，c)的方向向量[3]。在搜索圖像中，經(jīng)由相同的處理方式計(jì)算出圖像中的每個(gè)點(diǎn)的方向向量er,c=(vr,c+wr,c)T。模板經(jīng)由仿射變換的方式與目標(biāo)圖像相應(yīng)位置相匹配，并將仿射變換的平移部分分離出去[7]，從而得到更為準(zhǔn)確的匹配定位。進(jìn)行模板匹配時(shí)，將模板中所有點(diǎn)的方向向量與目標(biāo)圖像相應(yīng)點(diǎn)處的方向向量的點(diǎn)積之和進(jìn)行歸一化處理來定義相似度量[4]，而得到的相似度量必須不受遮擋、混亂的影響。如此得到歸一化相似度量公式如下：

圖像匹配后，歸一化后的相似度量s返回一個(gè)小于1的數(shù)值作為匹配分值，其值越接近1，表示匹配度越高。在微小型結(jié)構(gòu)件裝配的實(shí)際應(yīng)用中，由于零件加工工藝、混亂等因素，其值通常小于1。為了增強(qiáng)模板匹配的可靠性，程序設(shè)定最小分值為0.7，這樣不僅提高了匹配速度，而且防止了目標(biāo)零件的誤匹配。

2.3.2 提高匹配速度

為了提高算法速度，以達(dá)到微裝配零件實(shí)時(shí)檢測的快速性，本文采用了構(gòu)建金字塔的方式進(jìn)行加速匹配。通過對(duì)圖像金字塔從頂層到底層的方式求取模板圖像的相似度[2]，由粗到精匹配搜索來降低算法的復(fù)雜程度，從而加速匹配?？紤]到微裝配的實(shí)際情況，我們選取了四層金字塔搜索策略。選擇模板ROI及其金字塔效果圖如圖4所示。

圖4 模板ROI及其模板金字塔提取設(shè)定效果圖

2.3.3 提高定位精度

可以下面函數(shù)來得到更精確的位姿a的參數(shù)：

在搜索圖像中潛在對(duì)應(yīng)的圖像點(diǎn)時(shí)，由此通過外推法得到了亞像素級(jí)的定位精度[3]。

3 實(shí)驗(yàn)驗(yàn)證

我們?cè)赩C++6.0平臺(tái)下實(shí)現(xiàn)了視覺模塊與其他模塊的編程。在微裝配平臺(tái)中，待裝配零件總共有四種，且有序排放置在零件存放區(qū)。通過示教再現(xiàn)，運(yùn)動(dòng)控制系統(tǒng)運(yùn)行至零件放置區(qū)，CCD通過位置觸發(fā)拍攝圖片，進(jìn)行模板匹配。為了實(shí)現(xiàn)零件的單目標(biāo)識(shí)別與按零件槽號(hào)裝配，事先將相機(jī)視野調(diào)整至只能顯示一個(gè)零件。零件存放區(qū)與裝配區(qū)成功裝配效果如圖5所示。

圖5 零件存放區(qū)與裝配區(qū)零件裝配效果全景

通過對(duì)四種零件100次的裝配試驗(yàn)，零件識(shí)別率為95%，平均匹配時(shí)間58.6ms，三次失敗是由于零件表面過度污濁或生銹，圖像二值化后邊緣輪廓變形所致，效果如圖7所示，然而部分生銹造成的二值輪廓缺失依然可以識(shí)別，如圖8所示。零件糾偏對(duì)準(zhǔn)定位進(jìn)行裝配的成功率為93%，糾偏過程中平均匹配時(shí)間為50.1ms。零件識(shí)別定位成功與失敗界面分別如圖6、圖8和圖7所示。

圖6 模板匹配成功效果

圖7 零件被過度銹蝕匹配失敗效果

圖8 零件部分生銹成功匹配效果

4 結(jié)論

本文針對(duì)某些平板類微小型零件的裝配，提出了基于形狀模板的匹配算法，并應(yīng)用到了實(shí)際微裝配中。結(jié)果表明，本文提出的基于形狀的模板匹配算法，現(xiàn)場驗(yàn)證表明該算法穩(wěn)定、識(shí)別效率高、定位準(zhǔn)確，可以實(shí)現(xiàn)某些平板類微小型零件的識(shí)別定位及裝配任務(wù)。同時(shí)，該算法也為實(shí)現(xiàn)漏空以及復(fù)雜平板類機(jī)構(gòu)件的裝配奠定了良好的基礎(chǔ)。

[1]徐征,王曉東,程新宇,羅怡,王立鼎.基于機(jī)器視覺的微裝配控制策略及軟件架構(gòu)[J].光學(xué)精密工程,2009,17(4):819-824.

[2]張嘉易,王永杰,郝永平,等.面向微裝配的真空吸附控制系統(tǒng)研究[J].機(jī)床與液壓,2014.

[3]Carsten S,Markus U,Christian W.機(jī)器視覺算法與應(yīng)用[M].清華大學(xué)出版社,2008.260-261.

[4]C.STEGER. System and method for object recognition[P].European Patent,1193642,March 2005.

[5]解楊敏,劉強(qiáng).高精度自動(dòng)貼片機(jī)視覺系統(tǒng)定位算法研究[J].光學(xué)技術(shù),2008.

[6]沈奕,姚若河,呂佳鵬.LCD基板視覺自動(dòng)對(duì)準(zhǔn)系統(tǒng)及其圖像處理[J].電子工藝技術(shù),2001.

[7]吳曉軍,鄒廣華.基于邊緣幾何特征的高性能模匹配算法[J].儀器儀表學(xué)報(bào),2013.

Study on the method of parts identification for micro-assembly

ZHANG Jia-yi, LIU Yang, HAO Yong-ping, SUN Quan-wei

針對(duì)平板類微小零件裝配問題，在搭建了微小型零件裝配系統(tǒng)實(shí)驗(yàn)平臺(tái)的基礎(chǔ)上，開發(fā)了微裝配控制系統(tǒng)，并對(duì)裝配流程進(jìn)行了分析研究。根據(jù)平板類微小型零件的特點(diǎn)，在微裝配識(shí)別定位模塊，對(duì)零件識(shí)別定位方法進(jìn)行了研究，開發(fā)了基于形狀模板的匹配算法。該模塊首先將模板圖像與目標(biāo)圖像進(jìn)行高斯濾波，得到平滑圖像，并對(duì)平滑圖像二值化以及對(duì)模板二值圖像進(jìn)行去噪；其次，通過Sobel濾波器計(jì)算邊緣點(diǎn)的方向向量，定義相似性度量；最后，通過圖像金字塔加快匹配速度，并利用最小二乘法達(dá)到亞像素級(jí)定位精度。實(shí)驗(yàn)分析表明，此方法識(shí)別率高、匹配速度快、定位精度高，能夠較好的滿足實(shí)際要求。

微裝配；識(shí)別定位；形狀模板匹配；亞像素

張嘉易（1968 -），男，遼寧沈陽人，教授，博士，主要從事先進(jìn)制造技術(shù)方面的研究。

TH166

A

1009-0134(2015)07(下)-0038-03

10.3969/j.issn.1009-0134.2015.07(下).11

2015-04-06

國家863計(jì)劃資助項(xiàng)目