游秋香， 趙棋唯， 諶永祥， 李永橋

(1．西南科技大學(xué) 制造科學(xué)與工程學(xué)院,四川 綿陽(yáng) 621010；2．西南科技大學(xué)城市學(xué)院,四川 綿陽(yáng) 621010)

0 引 言

隨著現(xiàn)代工業(yè)的飛速發(fā)展，鉚接工藝是先進(jìn)制造業(yè)的一個(gè)重要環(huán)節(jié)。在民用企業(yè)中，對(duì)于大尺寸鈑金件多采用具有自動(dòng)出釘?shù)牧⑹姐T釘機(jī)進(jìn)行人工鉚接，這種操作方式自動(dòng)化程度低、穩(wěn)定性差、生產(chǎn)率低。基于工業(yè)機(jī)器人和十字滑臺(tái)設(shè)計(jì)的小型半自動(dòng)送料裝置[1]，實(shí)現(xiàn)了送料過(guò)程的自動(dòng)化，成為目前研究的熱點(diǎn)。

現(xiàn)有薄板鉚接孔定位不具備實(shí)時(shí)性，需要人輸入薄板孔位置到控制程序中，進(jìn)行運(yùn)動(dòng)路徑規(guī)劃。雙目立體視覺(jué)技術(shù)具有非接觸、測(cè)量速度快、精度高、自動(dòng)化程度高、結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)，被廣泛應(yīng)用于國(guó)內(nèi)外各個(gè)行業(yè)，如焊接焊縫缺陷檢測(cè)、大型農(nóng)機(jī)熱鍛件尺寸測(cè)量、醫(yī)療機(jī)器人手術(shù)定位導(dǎo)航[2]、農(nóng)作物識(shí)別、魚苗生長(zhǎng)尺寸測(cè)量[3]等。

基于雙目視覺(jué)的鉚釘機(jī)自動(dòng)鉚接，主要是配合小型半自動(dòng)送料裝置和立式鉚釘機(jī)，用兩臺(tái)同型號(hào)的相機(jī)獲取代加工薄板的圖像后，采用形態(tài)學(xué)算子去噪平滑圖像和Hough變換[4]提取薄板邊緣，根據(jù)薄板形狀與環(huán)境的差異分割出薄板，通過(guò)計(jì)算孔位圓近似比提取圓心坐標(biāo)。基于“回”字形式的位置約束匹配，實(shí)現(xiàn)了特征點(diǎn)匹配，所提出的方法為高精度坐標(biāo)為自動(dòng)鉚接奠定了基礎(chǔ)。

1 雙目視覺(jué)原理

雙目立體視覺(jué)技術(shù)[5]基于視差原理，用兩臺(tái)同型號(hào)的攝像機(jī)模擬人眼在同一時(shí)間不同方位對(duì)同一個(gè)目標(biāo)分別獲取圖像信息，計(jì)算兩幅圖像間對(duì)應(yīng)像素點(diǎn)的位置偏差來(lái)獲取目標(biāo)物體的三維空間信息。

圖1 平行雙目視覺(jué)原理

圖1為理想的平行雙目視覺(jué)原理模型，圖中兩攝像機(jī)的內(nèi)參一樣，焦距為f，基矩B為兩個(gè)攝像機(jī)光心的間矩，兩攝像機(jī)光軸平行并與像平面的交點(diǎn)為OL,OR，左右兩像平面重合?？臻g中一點(diǎn)P(x,y,z)在兩攝像機(jī)的像平面的投影為PL(XL,YL),PR(XR,YR)。由透視變換幾何關(guān)系可知點(diǎn)P,PL,PR之間的數(shù)學(xué)關(guān)系如下

(1)

從式(1)中可以看出PL,PR兩點(diǎn)只在橫坐標(biāo)存在視差D=XL-XR，由此可知P點(diǎn)的三維坐標(biāo)為

(2)

因此，根據(jù)雙目立體視覺(jué)原理可知，兩攝像機(jī)內(nèi)參一致，一臺(tái)攝像機(jī)像平面上的任意一點(diǎn)只要能在另一臺(tái)攝像機(jī)像平面上找到匹配點(diǎn)，就能確定該點(diǎn)的空間坐標(biāo)。

2 鉚釘薄板圖像處理算法

2.1 薄板區(qū)域的提取

兩臺(tái)同型號(hào)的像機(jī)獲取的左右圖像受到外界環(huán)境的噪音干擾，不能直接用于薄板孔心定位，需要先對(duì)兩幅圖像進(jìn)行濾波、去噪、灰度化、二值化等預(yù)處理。

分析獲取的圖像及薄板自身的特點(diǎn)可知：1)薄板與背景亮度差異較大，采用閾值的方法將獲取兩幅圖像轉(zhuǎn)換為具有完整薄板信息的二值圖;2)薄板區(qū)域連通性好，對(duì)獲取的二值圖取反并采用形態(tài)學(xué)填充空洞和膨脹處理，能使薄板信息更詳細(xì)，用Canny邊緣提取算子獲取薄板輪廓信息;3)鉚釘薄板形狀為矩形，根據(jù)四條邊的直線特性，采用Hough變換檢測(cè)邊緣的直線特征，結(jié)合薄板是由規(guī)則四條邊圍成的區(qū)域的線性約束條件，可將薄板從復(fù)雜的背景中分割出來(lái)，為圓心的提取做準(zhǔn)備。根據(jù)上述方法對(duì)左右兩幅圖處理結(jié)果圖2所示。

圖2 薄板區(qū)域分割結(jié)果

2.2 目標(biāo)孔區(qū)域提取

1)形態(tài)學(xué)運(yùn)算消除干擾。從圖2(b)和圖2(d)可以發(fā)現(xiàn)提取的薄板區(qū)域圖中有不屬于目標(biāo)圓孔特征的干擾信息，需要進(jìn)一步去噪。遍歷薄板分割圖，計(jì)算所有8連通區(qū)域的像素值，記為Ia(a=1，2…，b)，代入式(3)中，將滿足的連通區(qū)域灰度值置為與背景一致，則消除了干擾信息

(3)

2)目標(biāo)孔區(qū)域面積及周長(zhǎng)計(jì)算。計(jì)算目標(biāo)孔區(qū)域內(nèi)各個(gè)像素的8鄰域，若領(lǐng)域內(nèi)像素值均為1，則權(quán)值為1，對(duì)權(quán)值求和即為目標(biāo)孔區(qū)域的面積，記為Sn(n為目標(biāo)孔個(gè)數(shù)，n=1，2…，m)。采用差分法求各個(gè)目標(biāo)孔區(qū)域周長(zhǎng)，即計(jì)算每個(gè)目標(biāo)孔區(qū)域邊界的相鄰兩像素的距離，累加距離求和，記為Cn(n為目標(biāo)孔個(gè)數(shù)，n=1,2…，m)。

3)計(jì)算目標(biāo)孔區(qū)域的圓度，判斷是否為圓形。將Sn,Cn代入式(4)，計(jì)算目標(biāo)孔的圓度Tn

(4)

根據(jù)Tn值是否大于0.92判定目標(biāo)孔是否滿足圓的要求，保存滿足目標(biāo)孔，結(jié)果如圖3所示。

圖3 目標(biāo)孔區(qū)域圓度與質(zhì)心

2.3 獲取圓孔心坐標(biāo)

圓孔中心的提取主要分為橢圓擬合法[6,7]和質(zhì)心法[8,9]。由于獲取的目標(biāo)圖像中目標(biāo)圓孔只是類似于橢圓，采用橢圓擬合法時(shí)會(huì)造成中心偏移，不能滿足工業(yè)要求，故采用質(zhì)心法獲取圓孔心坐標(biāo)。質(zhì)心法包括傳統(tǒng)質(zhì)心算法、加權(quán)質(zhì)心算法、閾值質(zhì)心算法以及距離質(zhì)心算法，由于獲取的薄板二值圖已將目標(biāo)孔與背景完全分離，且目標(biāo)孔邊緣清晰完整，故采用傳統(tǒng)質(zhì)心法。

傳統(tǒng)質(zhì)心算法[10]獲取圓孔心的坐標(biāo)，是先對(duì)連通區(qū)域內(nèi)各個(gè)像素點(diǎn)對(duì)應(yīng)灰度值求面積，再求和，最后在該連通區(qū)域內(nèi)作面積平均。在圖像坐標(biāo)中，一個(gè)柵格代表一個(gè)像元，一個(gè)像元的寬度、高度分別對(duì)應(yīng)x軸、y軸的單位坐標(biāo)。令xi=i，yi=j，其中i=0,1,…，j=0,1,…；可知第i行第j列像元坐標(biāo)為(xi,yj)，灰度值為I(xi,yj)，則質(zhì)心可以表示為

(5)

(6)

如圖3所示，用上述方法對(duì)左右兩幅圖獲取的目標(biāo)孔質(zhì)心用黑色“.”表示。

3 特征點(diǎn)匹配

立體匹配[11,12]是對(duì)空間一點(diǎn)，求在同一時(shí)刻、同一位置由左右相機(jī)獲取的兩幅圖片中的對(duì)應(yīng)點(diǎn)，并進(jìn)一步求得視差圖。本文是對(duì)鉚接板件孔中心點(diǎn)的三維重建，需要對(duì)20個(gè)特征點(diǎn)進(jìn)行匹配，屬于稀疏特征點(diǎn)的三維重建。對(duì)于鉚接板件孔位定位不僅要考慮精度，還需要實(shí)時(shí)定位，結(jié)合薄板形狀規(guī)則且孔位分布具有規(guī)律，故提出一種基于位置約束“回”字形的立體匹配方法。

板件孔位分布如圖4，將四個(gè)頂點(diǎn)記為A,B,C,D，每個(gè)孔從1～20依此編號(hào)。要使左右兩幅圖的孔位特征點(diǎn)一一匹配，只需要將特征點(diǎn)與孔的編號(hào)一一對(duì)應(yīng)。由于左圖與右圖的計(jì)算方式一樣，在此用右圖進(jìn)行方法說(shuō)明。

圖4 板件孔位分布圖

兩點(diǎn)的距離公式為

(7)

點(diǎn)到直線的距離公式為

(8)

步驟如下：1)根據(jù)四個(gè)端點(diǎn)坐標(biāo)求出直線AB，BC，CD、DA的方程。2)用式(7)計(jì)算20個(gè)特征點(diǎn)分別與4個(gè)頂點(diǎn)的距離，求出4個(gè)點(diǎn)對(duì)應(yīng)距離最小的點(diǎn)，將頂點(diǎn)A對(duì)應(yīng)的特征點(diǎn)標(biāo)記為1，頂點(diǎn)B對(duì)應(yīng)的特征點(diǎn)標(biāo)記為4，頂點(diǎn)C對(duì)應(yīng)的特征點(diǎn)標(biāo)記為20，頂點(diǎn)D對(duì)應(yīng)的特征點(diǎn)標(biāo)記為17。

3)用式(8)計(jì)算剩余的16個(gè)特征點(diǎn)分別到四條直線的距離，找到分別與直線AD,BC距離最小的三個(gè)點(diǎn)，找到分別與直線AB，CD距離最小的兩個(gè)點(diǎn)。求直線AD對(duì)應(yīng)的三個(gè)點(diǎn)與點(diǎn)1的距離，按照距離由小到大將三個(gè)點(diǎn)標(biāo)記為5,9,13；求直線BC對(duì)應(yīng)的三個(gè)點(diǎn)與點(diǎn)4的距離，按照距離由小到大將其標(biāo)記為8,12,16；求直線AB對(duì)應(yīng)的兩個(gè)點(diǎn)與點(diǎn)4的距離，按照距離由小到大將其標(biāo)記為3,2；求直線CD對(duì)應(yīng)的兩個(gè)點(diǎn)與點(diǎn)20的距離，按照距離由小到大將其標(biāo)記為19,18。4)用式(8)計(jì)算剩下的6個(gè)特征點(diǎn)分別到直線AD，BC的距離，找到分別與直線AD,BC距離最小的三個(gè)點(diǎn)。求直線AD對(duì)應(yīng)的三個(gè)點(diǎn)與點(diǎn)2的距離，按照距離由小到大將三個(gè)點(diǎn)標(biāo)記為6,10,14；求直線BC對(duì)應(yīng)的三個(gè)點(diǎn)與點(diǎn)3的距離，按照距離由小到大將其標(biāo)記為7,11,15。

用這種方法對(duì)左圖和右圖的特征點(diǎn)以“回”字形一一標(biāo)記，通過(guò)位置約束的方式完成立體匹配，這種方法既不需要解復(fù)雜的方程，且易于實(shí)現(xiàn)，處理結(jié)果如圖5所示。從圖5中可以看出兩幅圖的特征點(diǎn)是按照設(shè)定的順序一一排列，可見(jiàn)匹配率達(dá)到了100 %。

圖5 匹配結(jié)果

4 實(shí)驗(yàn)及誤差分析

4.1 平臺(tái)搭建

基于雙目視覺(jué)的鉚釘機(jī)自動(dòng)鉚接平臺(tái)結(jié)構(gòu)如圖1。整個(gè)平臺(tái)主要由小型半自動(dòng)送料裝置、兩臺(tái)高分辨率的工業(yè)相機(jī)、光源、待加工薄板、計(jì)算機(jī)等組成，其中小型半自動(dòng)送料裝置是為了裝夾及運(yùn)送待加工薄板，相機(jī)是為了獲取板件圖像，計(jì)算機(jī)是為了對(duì)獲取的圖像進(jìn)行處理。鉚接薄板是金屬且光澤較亮，光源過(guò)亮?xí)a(chǎn)生衍射現(xiàn)象使板件的某些孔位信息缺失，且考慮到經(jīng)濟(jì)實(shí)用選用熒光燈作為光源。兩臺(tái)CMOS相機(jī)的分辨率為2 592 像素×19 44l 像素，像元尺寸為2.2 μm×2.2 μm，鏡頭焦距為8 mm。

4.2 相機(jī)標(biāo)定

本文選用與板件大小差距較小、角點(diǎn)間距為30 mm的矩形棋盤格標(biāo)定版，為使標(biāo)定結(jié)果理想，標(biāo)定時(shí)只取其中6行9列作為標(biāo)定區(qū)域。結(jié)合張正友標(biāo)定法，經(jīng)過(guò)多次調(diào)整相機(jī)與標(biāo)定板間的距離等，標(biāo)定結(jié)果如表1所示。

表1 標(biāo)定結(jié)果

4.3 誤差分析

根據(jù)雙目重建原理，對(duì)匹配后的特征點(diǎn)重建得到所有特征點(diǎn)的三維坐標(biāo)。實(shí)驗(yàn)獲得三維坐標(biāo)分別從x軸、y軸與實(shí)際坐標(biāo)的計(jì)算坐標(biāo)相對(duì)偏差，結(jié)果如圖6所示。從圖中可以看出x方向偏差大多在-0.2～0.3 mm內(nèi)，y方向偏差大多在-0.2～0.2 mm內(nèi)。計(jì)算得到在x方向絕對(duì)平均偏差為0.195 mm，y方向絕對(duì)平均偏差為0.170 mm。

圖6 圓孔質(zhì)心坐標(biāo)偏差

誤差產(chǎn)生的主要原因有：薄板孔在加工時(shí)的精度誤差與薄板形變誤差；搭建的雙目平臺(tái)位置誤差；圖像處理中圓度計(jì)算精度有待提高。

5 結(jié) 論

本文根據(jù)實(shí)際板件特性分析，采用Hough變換與線性約束相結(jié)合的方法提取目標(biāo)鉚接板件。為了獲得目標(biāo)孔邊緣，采用形態(tài)學(xué)去噪平滑圖像，用Canny算法提取孔的邊緣，結(jié)合連通區(qū)域面積閾值去除干擾信息，采用傳統(tǒng)質(zhì)心法和圓近似度判別提取孔的質(zhì)心。用以“回”字形式的位置約束方法對(duì)兩幅圖像的特征點(diǎn)匹配，該法計(jì)算簡(jiǎn)單，速度快，無(wú)需解復(fù)雜的方程。實(shí)驗(yàn)結(jié)果顯示，基于雙目視覺(jué)的鉚接孔定位誤差為0.2587 mm，而鉚接行業(yè)中對(duì)于薄板鉚接中心定位精度在0.1～0.3 mm以內(nèi)，該方法滿足行業(yè)要求。