陳澤寧,張學(xué)習(xí),彭澤榮,鐘凱宇

(廣東工業(yè)大學(xué) 自動化學(xué)院,廣東 廣州　510006)

?

基于機(jī)器視覺的工件定位和識別

陳澤寧,張學(xué)習(xí),彭澤榮,鐘凱宇

(廣東工業(yè)大學(xué) 自動化學(xué)院,廣東 廣州510006)

摘要根據(jù)機(jī)器視覺系統(tǒng)具有非接觸性、實(shí)時(shí)性、穩(wěn)定性及高精度的特點(diǎn)。文中采用機(jī)器視覺技術(shù)對工件的定位和識別進(jìn)行了研究。通過求取工件輪廓中心矩和輪廓軸線二階導(dǎo)數(shù)的最小值,求得工件的中心坐標(biāo)和旋轉(zhuǎn)角度;通過提取模板工件的Hu不變矩與工件輪廓的Hu不變矩,利用輪廓的相似度量函數(shù)識別工件類型。實(shí)驗(yàn)結(jié)果表明,通過提取工件輪廓矩能在旋轉(zhuǎn)的情況下精確地定位和識別工件。

關(guān)鍵詞工件定位;工件識別;輪廓提取;旋轉(zhuǎn)

機(jī)器視覺技術(shù)是指利用攝像機(jī)作為傳感器模擬人的視覺功能,其廣泛應(yīng)用于工業(yè)分揀、測量、檢測等領(lǐng)域。本文將機(jī)器視覺技術(shù)應(yīng)用到工件定位和識別問題中。在定位識別之前,先利用Opencv提供的標(biāo)定算法[1]對圖像進(jìn)行了畸變矯正;為機(jī)器人順利抓取工件,又研究了圖像坐標(biāo)與機(jī)器人坐標(biāo)的相互轉(zhuǎn)換問題。為定位和識別工件,本文通過提取每個(gè)工件的輪廓信息[2],并計(jì)算其輪廓中心矩和輪廓軸線二階導(dǎo)數(shù)的最小值從而確定工件的位姿[3],又因在生產(chǎn)線上的工件擺放位置均是隨意的,若要識別工件類型,就需要尋找一種具有尺度不變性和旋轉(zhuǎn)不變性的識別算法,普通的模板匹配,例如普通的最小平方差算法(MSD)、最小絕對差算法(MAD)、Hausdorff距離匹配法,雖然時(shí)間復(fù)雜度小,但不能較好地處理旋轉(zhuǎn)的情況,再如后來又提出的精度高、時(shí)間復(fù)雜度大的NCC[4]算法,以及李強(qiáng)提出的基于像素值分塊編碼的快速匹配算法[5],相較于NCC算法,時(shí)間復(fù)雜度大幅下降,但這仍然沒能解決旋轉(zhuǎn)不變性[6]。本文通過對這一問題的研究,提出利用具有尺度不變性和旋轉(zhuǎn)不變性的Hu矩,即計(jì)算工件輪廓的Hu矩[7],然后將其與標(biāo)準(zhǔn)模板庫圖像的輪廓的Hu矩對比,計(jì)算其“相似度”[8],順利實(shí)現(xiàn)了工件識別。

1相機(jī)標(biāo)定

攝像機(jī)標(biāo)定的主要作用是矯正圖像畸變及確定攝像機(jī)坐標(biāo)系和空間坐標(biāo)系的位置關(guān)系,是機(jī)器視覺系統(tǒng)開發(fā)的重要環(huán)節(jié)?，F(xiàn)有的標(biāo)定算法主要有:基于徑向排列約束的 Tsai法、直接線性法(DLT)和兩步攝像機(jī)標(biāo)定法等[9]。本文采用Opencv提供的標(biāo)定方法,使用黑白相間的棋盤格為標(biāo)定模板。如圖1所示,從8個(gè)不同的位姿獲取目標(biāo)圖像,根據(jù)空間坐標(biāo)與對應(yīng)圖像坐標(biāo)的位置關(guān)系標(biāo)定出攝像機(jī)內(nèi)參和外參。

圖1　標(biāo)定圖像

圖2　標(biāo)定結(jié)果

圖3　標(biāo)定界面

本文攝像頭采集640×480大小圖像,得到的攝像頭內(nèi)參數(shù)和畸變參數(shù)依次為

(1)

dist=[-0.335 4 1.446 8 -0.000 6 0.009 9]T

(2)

由于Opencv所采用的算法主要為張正友標(biāo)定法,其的空間坐標(biāo)與圖像坐標(biāo)的映射關(guān)系可表示為

(3)

設(shè)s為調(diào)節(jié)因子,u、v表示圖像坐標(biāo);Xw、Yw、Zw表示空間坐標(biāo),則A是3×3的矩陣,主要由攝相機(jī)的內(nèi)部參數(shù)構(gòu)成;R和T分別是旋轉(zhuǎn)矩陣和平移向量,主要由攝像機(jī)的外部參構(gòu)成。

2圖像坐標(biāo)向世界坐標(biāo)的轉(zhuǎn)化

由于式(3)在由圖像坐標(biāo)反求三維世界坐標(biāo)的過程中,得到的是一條射線,究其主要原因是因Z平面沒有固定,因此可根據(jù)實(shí)際需要,自身設(shè)定一個(gè)Z平面,由于世界坐標(biāo)系的位置可任意選取,文中可假定世界坐標(biāo)系和攝像機(jī)坐標(biāo)系重合,故定義模板平面落在世界坐標(biāo)系的ZW=0平面上。將R用列向量ri表示,則對圖像平面上的任意一點(diǎn),有

(4)

可見,標(biāo)定模板平面與圖像平面建立了一種單應(yīng)性映射H。因此只要確定標(biāo)定模板點(diǎn)的空間坐標(biāo)和圖像平面上相應(yīng)點(diǎn)的坐標(biāo),便可求得單應(yīng)性矩陣H。

(5)

設(shè)h′=[h11h12h13h21h22h23h31h32]T,可以推出

(6)

將多個(gè)模板平面和圖像平面相對應(yīng)的點(diǎn)的方程均考慮進(jìn)來作累加,則可表示為Sh′=d。若要實(shí)驗(yàn)結(jié)果更精確,可使用最小二乘法求h′=(STS)-1STd,從而求得H。

3工件中心定位及類型識別

要實(shí)現(xiàn)工件中心定位首先要提取工件的目標(biāo)區(qū)域,然后找出目標(biāo)工件區(qū)域的質(zhì)心即可實(shí)現(xiàn)工件的中心位置獲取。由于在分揀系統(tǒng)中工件背景可人為控制為單一顏色,所以通過二值法可較好地分割工件的目標(biāo)區(qū)域,效果如圖4所示,對其進(jìn)行邊界輪廓提取和跟蹤,效果如圖5所示,由于跟蹤的是二值圖像[10],相對簡單,算法過程如下。

首先對圖像進(jìn)行遍歷,按照從上到下,從左到右的順序掃描,設(shè)首先掃描到的黑點(diǎn)為點(diǎn)a,易知a是左上方的點(diǎn),然后搜索a點(diǎn)的鄰域,對其右,右下,左,左下的點(diǎn)進(jìn)行判斷,至少可以發(fā)現(xiàn)一個(gè)邊界點(diǎn),設(shè)為b。再以b為基礎(chǔ),對其右,右下,下,左下,左,左上,上,右上的進(jìn)行判斷,找出邊界點(diǎn)c。如果c與a為同一點(diǎn),則表示已經(jīng)遍歷了一圈,邊界跟蹤結(jié)束;否則,再以c為基礎(chǔ)繼續(xù)遍歷,直到找到a為止。在遍歷過程中可能會遇到不是邊界點(diǎn)的情況,判斷是否為邊界點(diǎn)的方法:如果其上下左右均為與自身相同的點(diǎn),則不是,否則是邊界點(diǎn)。發(fā)現(xiàn)輪廓后,將輪廓作為一個(gè)整體研究,一個(gè)輪廓一般對應(yīng)一系列的點(diǎn),也就是圖像中的目標(biāo)工件邊緣曲線。

圖4　二值圖像

圖5　輪廓跟蹤后的結(jié)果

再將輪廓點(diǎn)的坐標(biāo)按順序保存為一個(gè)序列,構(gòu)成目標(biāo)物體的輪廓序列。接下來通過求取輪廓的中心矩來定位工件重心,對于離散的數(shù)字圖像,圖像的p+q階矩定義為

(7)

所以圖像的中心坐標(biāo)由下式可得

(8)

圖像的p+q階中心距定義為

(9)

N和M分別為圖像的高和寬;歸一化的中心矩定義為:ηpq=μpq/(μ00ρ),其中ρ=(p+q)/2+1,將其二階和三階矩歸一化為中心矩,由這些中心矩構(gòu)造出7個(gè)不變矩,這7個(gè)不變矩構(gòu)成一組具有旋轉(zhuǎn)、縮放和平移不變性的特征量

M1=η20+η02

(10)

(11)

M3=(η30-3η12)2+(3η21-η03)2

(12)

M4=(η30+η12)2+(η21+η03)2

(13)

M5=(η30-3η12)(η30+η12)((η30+η12)2-3(η21+η03)2)+(3η21-η03)(η21+η03)(3(η30+η12)2-(η21+η03)2)

(14)

M6=((η20+η02)(η30+η12)2-(η21+η03)2)+4η11(η30+η12)(η21+η03)

(15)

M7=(3η21-η03)(η30+η12)((η30+η12)2-3(η21+η03)2)-(η30-3η12)(η21+η03)(3(η30+η12)2-(η21+η03)2)

(16)

為得到工件的姿態(tài),可以利用工件長軸方向與水平軸的夾角[11],由于工件的長軸為過工件中心的直線,當(dāng)工件關(guān)于該軸線的二階矩取最小值時(shí)即為所求直線。設(shè)長軸與圖像的水平軸線正方向的夾角為θ,θ∈[-π/2,π/2],則工件關(guān)于這條直線的二階矩可以表示為

(17)

其中,uc、vc為工件中心坐標(biāo);u、v分別為工件輪廓點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。對S(θ)關(guān)于θ求導(dǎo),當(dāng)導(dǎo)數(shù)取0時(shí)求得極小值,即ds(θ)/dθ=0,可推出

θ=(1/2)arctan[2μ11/(μ20-μ02)]

(18)

式中,μ11,μ20和μ02分別為輪廓的各階中心距。

因?yàn)楣ぜ臄[放位置是隨機(jī)的,可能出現(xiàn)任意角度和位置,因此普通的模板匹配法不能適用,因?yàn)椴痪邆湫D(zhuǎn)不變性,但Hu矩具有旋轉(zhuǎn)、縮放和平移不變性,所以正適合本文為實(shí)現(xiàn)對工件類型的識別。本文通過計(jì)算模板圖像的Hu矩并將其保存,并依次與目標(biāo)提取到的圖像的Hu矩進(jìn)行匹配計(jì)算,計(jì)算相似度公式如下

(19)

4實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的定位過程和匹配結(jié)果如下圖所示,由于金屬工件因?yàn)榉垂獾脑?對圖像的獲取及后續(xù)的算法有較大影響,在本次圖像采集中,采用紅色環(huán)形光源,正上方打光的方式,采集圖像效果如圖6所示,對圖像進(jìn)行二值化后效果如圖7所示,對圖像提取輪廓后效果如圖8所示。

圖6　原始采集到的圖像

圖7　二值化圖像

圖8　輪廓提取后圖像

對模板采用同樣的處理,得到輪廓效果如圖9所示,將處理后的圖像輪廓與模板輪廓匹配計(jì)算后,識別結(jié)果如圖10所示。

圖9　模板及輪廓

圖10　定位和識別結(jié)果

搜索圖像輪廓的中心坐標(biāo)、角度數(shù)據(jù)及模板輪廓與搜索圖像的相似度數(shù)據(jù)如表1所示。

表1　工件輪廓的中心坐標(biāo)和角度及與模板的相似度

將圖中所示7種工件位置改變進(jìn)行一般性的實(shí)驗(yàn)測試,每改變一個(gè)位置,分別測試7種模板的識別結(jié)果,共改變工件位置20次,共進(jìn)行140次實(shí)驗(yàn)。實(shí)驗(yàn)表明:基于輪廓的工件定位和識別,平均坐標(biāo)偏差1.7mm,角度偏差0.6°,工件識別率為100%,在i5處理器,主頻3.2GHz,8GB內(nèi)存下平均耗時(shí)39ms。進(jìn)一步驗(yàn)證了該方法的可行性,適用于機(jī)械手快速準(zhǔn)確地抓取分揀幾何工件。

5結(jié)束語

本文闡述了工業(yè)機(jī)器人定位工件的基本步驟,將單目視覺技術(shù)運(yùn)用到工業(yè)機(jī)器人智能抓取中,從圖像采集、畸變矯正、坐標(biāo)轉(zhuǎn)換,到工件定位及識別,并且對坐標(biāo)轉(zhuǎn)換部分,通過固定Z平面,并在張正友標(biāo)定法的基礎(chǔ)上,進(jìn)行了理論推導(dǎo),順利實(shí)現(xiàn)了坐標(biāo)轉(zhuǎn)換。算法部分提出利用基于輪廓的中心定位工件,通過求取工件長軸與水平軸的夾角,識別工件姿態(tài),利用Hu不變矩識別工件的類型,并結(jié)合開源機(jī)器視覺軟件包Opencv進(jìn)行編程實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明:在較好的打光條件下,能準(zhǔn)確定位工件的位姿和識別工件。

參考文獻(xiàn)

[1]ZhangZY.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(11):1330-1334.

[2]陳宏申,李環(huán).Canny邊緣檢測算法在機(jī)器人視覺中的應(yīng)用[J].現(xiàn)代計(jì)算機(jī),2011(11):17-20.

[3]劉暢,王耀南.冷凝器管口圖像多目標(biāo)搜索與定位算法[J].儀器儀表學(xué)報(bào),2011,32(11):2515-2521.

[4]WeiSD,LaiSH.Fasttemplatematchingbasedonnormalizedcrosscorrelationwithadaptivemultilevelwinnerupdate[J].IEEETransactionsonImageProcessing,2008,17(11):2223-2227.

[5]李強(qiáng),張鈸.一種基于圖像灰度的快速匹配算法[J].軟件學(xué)報(bào),2006,17(2):216-222.

[6]傅衛(wèi)平,秦川,劉佳,等.基于SIFT算法的圖像目標(biāo)匹配與定位[J].儀器儀表學(xué)報(bào),2011,32(1):163-169.

[7]HuMK.Visualpatternrecognitionbymomentinvariants[J].IRETransactionsonInformationTheory,1962,8(2):179-187.

[8]王振海.融合HU不變矩的和SIFT特征商標(biāo)檢測[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(1):187-190.

[9]李建,陳長明.基于Opencv的改進(jìn)兩步攝像機(jī)標(biāo)定[J].計(jì)算機(jī)應(yīng)用與軟件,2010,27(3):104-109.

[10]王福生,齊國清.二值圖像中目標(biāo)物體輪廓的邊界跟蹤算法[J].大連海事大學(xué)學(xué)報(bào),2006,32(1):62-67.

[11]莊開嵐,王吉忠,周潔.機(jī)器視覺技術(shù)在角度檢測方面的應(yīng)用研究[J].裝備制造技術(shù),2011(4):9-10.

Workpiece Location and Recognition Based on Machine Vision

CHEN Zening,ZHANG Xuexi,PENG Zerong,ZHONG Kaiyu

(School of Automation,Guangdong University of Technology,Guangzhou 510006,China)

AbstractThe non-contact real-time machine vision system enjoys stability and high precision.In this paper,the machine vision is used to study the localization and recognition of the workpiece.The center coordinates and rotation angles are obtained by solving the contour center moment and the minimum value of the two order derivative of the axis of the workpiece.The contour similarity metric function is used to identify the types of artifacts by extracting the template of artifacts Hu invariant moments and Hu invariant moments of the workpiece contour.The experimental results show that the workpiece can be accurately located and identified by the extraction of the workpiece contour.

Keywordsworkpiece position;workpiece recognition;contour extraction;rotation

中圖分類號TP242.6+2

文獻(xiàn)標(biāo)識碼A

文章編號1007-7820(2016)04-099-05

doi:10.16180/j.cnki.issn1007-7820.2016.04.026

作者簡介:陳澤寧(1989—),男,碩士研究生。研究方向:圖像處理與機(jī)器視覺。張學(xué)習(xí)(1978—),男,博士,副教授。研究方向:圖像處理與機(jī)器視覺。

基金項(xiàng)目:廣東省工業(yè)高新技術(shù)領(lǐng)域科技計(jì)劃基金資助項(xiàng)目(2013B010401028)

收稿日期:2015- 09- 11