胡國(guó)勇，彭小波HU Guo-yong，　PENG Xiao-bo（深圳大學(xué) 機(jī)電與控制工程學(xué)院，深圳 510006）

基于雙目視覺(jué)的焊接零件位姿誤差檢測(cè)

胡國(guó)勇，彭小波
HU Guo-yong，PENG Xiao-bo
（深圳大學(xué) 機(jī)電與控制工程學(xué)院，深圳 510006）

葉盤零件在焊接后，需要檢測(cè)出多余的余量進(jìn)行精加工。為了檢測(cè)出多余的余量，需要對(duì)零件進(jìn)行位姿測(cè)量。針對(duì)這一需要，設(shè)計(jì)了一種雙目視覺(jué)的方法。首先在葉片毛坯上精加工出凸臺(tái)用于位姿誤差檢測(cè)，并貼上標(biāo)記點(diǎn)。再識(shí)別出標(biāo)記點(diǎn)的圓心，并首先用灰度相關(guān)進(jìn)行匹配，再用極線約束刪除錯(cuò)誤的匹配。最后利用C++和Opencv開(kāi)發(fā)出系統(tǒng)，設(shè)計(jì)了試驗(yàn)并分析結(jié)果。

機(jī)器視覺(jué)；線性摩擦焊；位姿檢測(cè)；橢圓擬合

0　引言

近年來(lái)，線性摩擦焊在加工領(lǐng)域中發(fā)揮著越來(lái)越大的作用，具有傳統(tǒng)的焊接無(wú)法相比的優(yōu)點(diǎn)。線性摩擦焊的焊縫強(qiáng)度能達(dá)到與焊件材料等強(qiáng)度，能實(shí)現(xiàn)不規(guī)則零件的焊接并且質(zhì)量穩(wěn)定［1］。在零件焊接后，需要對(duì)零件的位姿情況進(jìn)行測(cè)量。根據(jù)位姿情況，與理想模型比較得到多余余量，生成數(shù)控機(jī)床精加工刀軌。雙目視覺(jué)測(cè)量是非接觸式測(cè)量，具有測(cè)量速度快和效率高等優(yōu)點(diǎn)［2］。

1　位姿檢測(cè)問(wèn)題的描述

1.1對(duì)焊接零件位姿描述

本文主要是針對(duì)焊接零件前后位姿變化的檢測(cè)。首先在葉片毛坯上精加工方形凸臺(tái)工藝結(jié)構(gòu)如圖1所示，用于葉片的定位。

圖1　螺旋槳線性摩擦焊示意圖

在焊接前，先把葉盤用專門的夾具固定在和盤心理想情況下的位置。然后用雙目視覺(jué)位姿測(cè)量系統(tǒng)對(duì)凸臺(tái)位姿情況進(jìn)行檢測(cè)；首先選取凸臺(tái)的一個(gè)頂點(diǎn)，三條豎直邊界做X，Y，Z軸的坐標(biāo)系，獲取凸臺(tái)坐標(biāo)系與相機(jī)坐標(biāo)系的R矩陣和T矩陣。對(duì)凸臺(tái)工藝結(jié)構(gòu)上的特征進(jìn)行拍照獲取圖像。從而獲得葉盤在理想位姿情況上相對(duì)于凸臺(tái)坐標(biāo)系的三維坐標(biāo)。在焊接后，對(duì)焊接后的凸臺(tái)進(jìn)行拍照獲取圖像，再進(jìn)行三維坐標(biāo)計(jì)算。最后已知前后獲得三維坐標(biāo)，計(jì)算出焊接后與理想位置的情況，即在凸臺(tái)坐標(biāo)系的三個(gè)平移參量X，Y，Z和繞凸臺(tái)坐標(biāo)系Rx，Ry，Rz的角度情況。

本文中的位姿檢測(cè)系統(tǒng)就是首先通過(guò)雙目立體視覺(jué)檢測(cè)出葉片某些關(guān)鍵點(diǎn)的X、Y、Z的坐標(biāo)值，根據(jù)坐標(biāo)值進(jìn)行位姿解算求解出三個(gè)坐標(biāo)軸方向的位移和三個(gè)狀態(tài)的轉(zhuǎn)角，測(cè)得的數(shù)據(jù)同已有的CAD設(shè)計(jì)模型相比較后得出焊接后的葉盤與原本設(shè)計(jì)的模型的偏差值。最后通過(guò)數(shù)控編程，生成刀軌進(jìn)行精加工。圖3紅色透明部分就是所多出來(lái)的余量。

圖2　雙目視覺(jué)系統(tǒng)對(duì)焊接后的零件位姿測(cè)量示意圖

圖3　焊接位姿情況確定后的零件與理想零件模型對(duì)比

圖4　位姿問(wèn)題描述流程圖

1.2位姿求解

設(shè)標(biāo)記點(diǎn)的在焊接前理想位置的三維坐標(biāo)點(diǎn)集P1i=（xli，yli，zli），焊接后標(biāo)記點(diǎn)的三維坐標(biāo)點(diǎn)集為P2i=（x2i，y2i，z2i）。所以P點(diǎn)在焊接前的坐標(biāo)值經(jīng)過(guò)一個(gè)旋轉(zhuǎn)矩陣和一個(gè)平移矩陣，形成了焊接后的坐標(biāo)值，如下式：

其中，向量T是一個(gè)三維向量。

平移向量T即是兩件焊接前后位置平移情況，R矩陣是3×3的矩陣，其中九個(gè)元素是由三個(gè)角度的三角（Rx，Ry，Rz）函數(shù)組成。Rx，Ry，Rz分別是繞凸臺(tái)坐標(biāo)系X、Y、Z軸的三個(gè)旋轉(zhuǎn)角度，詳細(xì)的旋轉(zhuǎn)過(guò)程為：先繞Z軸旋轉(zhuǎn)，其次繞Y軸轉(zhuǎn)動(dòng)，最后繞X軸轉(zhuǎn)動(dòng)，以右手定則為正方向。所以分別繞X、Y、Z軸轉(zhuǎn)動(dòng)的矩陣為R1，R2，R3，旋轉(zhuǎn)矩陣R=R1R2R3。

旋轉(zhuǎn)矩陣R有9個(gè)未知數(shù)，但是未知數(shù)不是孤立的，可以用3個(gè)參數(shù)表達(dá)，R矩陣中要滿足以下約束：

本文求得的參數(shù)位姿變化過(guò)程是：先按（Rx，Ry，Rz）旋轉(zhuǎn)，再按照。根據(jù)定義得，旋轉(zhuǎn)矩陣R的各元素的表達(dá)式為：

2　雙目原理與相機(jī)標(biāo)定

2.1雙目視覺(jué)數(shù)學(xué)模型

雖然現(xiàn)在的相機(jī)鏡頭都是由一組鏡頭組成，但是其模型還是可以看作針孔模型，如圖5（a）所示，為了簡(jiǎn)化模型，把成像平面往右移，如圖5（b）所示。圖6為平行光軸雙目立體視覺(jué)［3］。

圖5　針孔相機(jī)模型

圖6　雙目視覺(jué)模型

左相機(jī)和右相機(jī)的中心投影是Oc、Or，兩光軸平行，X軸的方向一致。Oc、Or之間的距離B稱為基線距。兩相機(jī)分別拍攝空間目標(biāo)點(diǎn)P，則左相機(jī)成像平面獲得的像素點(diǎn)P1=（x1，y1），在右相機(jī)的成像平面獲得的像素點(diǎn)Pr=（xr，yr），以左相機(jī)坐標(biāo)系為世界坐標(biāo)系，則目標(biāo)點(diǎn)P的三維坐標(biāo)為（Xz，Yc，Zc）?；陔p目相機(jī)結(jié)構(gòu)中的極線約束原理知y1=yr=y，所以由三角測(cè)量法得到如下關(guān)系式：

由上一節(jié)中的轉(zhuǎn)換公式可以計(jì)算出P點(diǎn)相對(duì)于左相機(jī)的三維坐標(biāo)值為：

其中x1-xr為視差，是通過(guò)兩個(gè)像素點(diǎn)的像素坐標(biāo)轉(zhuǎn)換成物理坐標(biāo)的值，Xc，Yc，Zc為目標(biāo)點(diǎn)相對(duì)于左相機(jī)坐標(biāo)系的三維坐標(biāo)值。以上就是基于平行光軸雙目視覺(jué)獲取空間目標(biāo)點(diǎn)的三維坐標(biāo)值的數(shù)學(xué)模型。

2.2相機(jī)標(biāo)定

由于加工生產(chǎn)相機(jī)時(shí)，相機(jī)的CCD傳感器和透鏡都會(huì)產(chǎn)生誤差，這樣會(huì)造成上一節(jié)中每個(gè)坐標(biāo)系變換中的內(nèi)部參數(shù)的誤差［4］。比如在CCD傳感器固定在相機(jī)上時(shí)，中心位置可能無(wú)法對(duì)準(zhǔn)傳感器中心，會(huì)造成相機(jī)兩個(gè)內(nèi)參數(shù)和不準(zhǔn)確。文章采用張正友相機(jī)標(biāo)定法［5］。下面是相機(jī)標(biāo)定的參數(shù)。

表1　內(nèi)參數(shù)標(biāo)定結(jié)果

3　標(biāo)記圓識(shí)別與匹配

3.1標(biāo)記圓識(shí)別

用于標(biāo)記圓是采用橢圓，求取圓心為特征點(diǎn)的方法，本文設(shè)計(jì)了一種新的標(biāo)記圓識(shí)別擬合方法。步驟如下：

1）首先用聚類分析的方法對(duì)圖像進(jìn)行分割［6］。因?yàn)楸疚倪x取的標(biāo)記圓與實(shí)際的背景環(huán)境對(duì)比度相差比較大的鮮艷顏色的圓，所以可以用標(biāo)記圓的顏色信息進(jìn)行分割，本節(jié)采用K均值聚類算法。

2）聚類后可能其他并不會(huì)完全地只分割出橢圓。所以接著用canny算子對(duì)聚類后的圖像邊進(jìn)行邊緣提取，形成輪廓與點(diǎn)集。對(duì)輪廓和點(diǎn)集進(jìn)行用最小二乘法進(jìn)行擬合，方法如下：

（1）獲取每條輪廓的程度（每條輪廓所包含點(diǎn)的數(shù)量），舍棄程度小于20個(gè)像素點(diǎn)的輪廓。

（2）設(shè)置循環(huán)次數(shù)，每個(gè)輪廓隨機(jī)抽出六個(gè)點(diǎn)，用最小二乘法求橢圓5個(gè)參數(shù)。

（3）篩選每個(gè)輪廓的橢圓最佳參數(shù)，篩選方法：給定一組參數(shù)，獲得橢圓的任意一點(diǎn)，以這點(diǎn)為中心，取3×3的像素區(qū)域，在區(qū)域存在論點(diǎn)，計(jì)數(shù)器加1，最后求出計(jì)數(shù)器值與橢圓周長(zhǎng)的比值，用于最佳參數(shù)的篩選。

（4）根據(jù)比值選出最優(yōu)的橢圓參數(shù)。

（5）根據(jù)橢圓大小，刪除偽橢圓，選出真正的標(biāo)記圓。

圖7為標(biāo)記圓識(shí)別算法幾個(gè)步驟處理后的圖片。

3.2標(biāo)記點(diǎn)匹配

在識(shí)別出左右相機(jī)成像圖片上的標(biāo)記圓后，需要將兩幅圖中的標(biāo)記圓圓心建立一一對(duì)應(yīng)的關(guān)系，為后續(xù)的三維坐標(biāo)值的計(jì)算做準(zhǔn)備。因?yàn)楸疚目紤]的目標(biāo)物體存在平移和小角度旋轉(zhuǎn)關(guān)系的圖像匹配，所以本文采用的匹配算法的步驟是：

1）首先用灰度相關(guān)匹配進(jìn)行首次匹配。

2）用極線約束［7］對(duì)首次匹配中有錯(cuò)誤的點(diǎn)進(jìn)行剔除。

在實(shí)驗(yàn)驗(yàn)證中，選用7個(gè)標(biāo)記圓隨機(jī)擺放位置，驗(yàn)證匹配算法的準(zhǔn)確度。并且選用本文實(shí)驗(yàn)?zāi)Ｐ停谕古_(tái)上放置四個(gè)點(diǎn)的模型，對(duì)其在不同角度位姿進(jìn)行實(shí)驗(yàn)。圖8中有出現(xiàn)錯(cuò)誤匹配的情況。

圖8　有錯(cuò)誤匹配的灰度相關(guān)匹配

圖9　極限約束匹配刪除錯(cuò)誤匹配

圖10　模型匹配

表2　匹配準(zhǔn)確率

4　實(shí)驗(yàn)與分析

4.1系統(tǒng)軟硬件介紹與實(shí)驗(yàn)方案設(shè)計(jì)

圖11為本系統(tǒng)搭建的硬件結(jié)構(gòu)，本系統(tǒng)為單相機(jī)雙目結(jié)構(gòu)，即相機(jī)能在某一方向移動(dòng)，形成雙目效果。選用佳能相機(jī)，像素為720×480。

圖11　單相機(jī)雙目硬件系統(tǒng)

軟件編程部分，主要分為界面設(shè)計(jì)與算法設(shè)計(jì)兩個(gè)方面，界面設(shè)計(jì)主要是考MFC進(jìn)行編寫與設(shè)計(jì)，整個(gè)設(shè)計(jì)界面如圖12所示，整個(gè)界面的布局較為簡(jiǎn)單，分為用戶交互部分和圖像效果顯示部分。主要有圖像顯示窗口、三維坐標(biāo)顯示區(qū)、交互按鍵區(qū)、位姿結(jié)果顯示區(qū)和MATLAB標(biāo)定參數(shù)輸入?yún)^(qū)五大部分。其中圖像顯示區(qū)分別是左右兩幅圖像的顯示窗口；三維坐標(biāo)顯示區(qū)是顯示每個(gè)特征標(biāo)記點(diǎn)的三維坐標(biāo)；交互按鍵區(qū)有讀入圖像、特征檢測(cè)與匹配和位姿解算等操作；結(jié)果顯示區(qū)是顯示位姿的旋轉(zhuǎn)角和平移量；標(biāo)定參數(shù)輸入?yún)^(qū)是輸入第二章中用MATLAB標(biāo)定得到的數(shù)據(jù)。

圖12　系統(tǒng)操作界面

為了仿真焊接件上的凸臺(tái)結(jié)構(gòu)，制作了一個(gè)凸臺(tái)模型如圖13（a）所示，凸臺(tái)長(zhǎng)49.3mm，寬55.01mm，高2.0mm，頂面貼上標(biāo)記圓。為了方便測(cè)量實(shí)際位置，在實(shí)驗(yàn)平臺(tái)上顯示出坐標(biāo)系，其中坐標(biāo)系每個(gè)為2mm。下面為系統(tǒng)精度試驗(yàn)步驟：

1）凸臺(tái)左上角頂點(diǎn)和兩條邊線分別與實(shí)驗(yàn)平臺(tái)上的坐標(biāo)系原點(diǎn)橫軸和縱軸重合。凸臺(tái)坐標(biāo)系設(shè)定為以左上角頂點(diǎn)為圓心，橫向邊線為x軸，縱向邊線為y軸，z軸為向著圖像朝外。計(jì)算出凸臺(tái)坐標(biāo)系與相機(jī)坐標(biāo)系的R矩陣和T矩陣，由于凸臺(tái)厚度為2mm，所以實(shí)驗(yàn)平臺(tái)上的坐標(biāo)系相對(duì)于凸臺(tái)坐標(biāo)系T矩陣中，原點(diǎn)相對(duì)于z軸減2mm。

2）在對(duì)x平移參量精度測(cè)量時(shí)，在實(shí)驗(yàn)平臺(tái)在y軸不變的情況下，每測(cè)量一次位置向x軸移動(dòng)一格，在測(cè)量x軸時(shí)，同時(shí)記錄z軸的數(shù)據(jù)。測(cè)量y軸的平移參量精度也是如此。

3）在測(cè)量旋轉(zhuǎn)變量時(shí)，在其他參數(shù)不變的時(shí)候，分布測(cè)量繞z軸、x軸和y軸的實(shí)驗(yàn)數(shù)據(jù)。

圖13　實(shí)驗(yàn)準(zhǔn)備圖

【】【】

4.2實(shí)驗(yàn)結(jié)果

隨機(jī)選取16組實(shí)驗(yàn)結(jié)果，通過(guò)實(shí)驗(yàn)得出：在位置情況檢測(cè)上，在x軸方向上，平均誤差為0.193mm，其中最大誤差為0.46mm；在y軸方向上，平均誤差0.197mm，其中最大誤差為0.41mm；在z軸方向上平均誤差為0.459mm，其中最大誤差為1.75mm。綜合以上測(cè)量結(jié)果說(shuō)明x和y軸方向上精度較高，能達(dá)到0.5mm，在z軸方向上精度較差，達(dá)到2mm，這也是因?yàn)閦軸坐標(biāo)值與匹配精確度有關(guān)系。

在姿態(tài)檢測(cè)上，繞z軸旋轉(zhuǎn)角度上，平均誤差為0.386°，最大誤差為0.75°，精度在1°內(nèi)；在繞x軸旋轉(zhuǎn)角度上，平均誤差為0.786°，最大誤差為1.38°，精度在1.5°內(nèi)；在繞y軸旋轉(zhuǎn)角度上，其中測(cè)得平均誤差為0.535，最大誤差為1.38°，精度1.5°內(nèi)。由于實(shí)驗(yàn)系統(tǒng)的搭建會(huì)存在一定的系統(tǒng)誤差，導(dǎo)致測(cè)量精度也會(huì)受到一定的影響。

5　結(jié)論

研究了基于雙目視覺(jué)對(duì)焊接零件位姿誤差檢測(cè)系統(tǒng)，建立了雙目數(shù)學(xué)模型。針對(duì)準(zhǔn)確快速識(shí)別多橢圓的難點(diǎn)，設(shè)計(jì)了準(zhǔn)確提取橢圓的方法，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。還針對(duì)葉盤模型，設(shè)計(jì)了位姿檢測(cè)誤差系統(tǒng)，并進(jìn)行仿真實(shí)驗(yàn)。

［1］ 張悅.鈦合金整體葉盤盤銑加工刀具設(shè)計(jì)與分析研究［D］.哈爾濱理工大學(xué)，2015.

［2］ 吳哲岑.基于雙目立體視覺(jué)的特征點(diǎn)提取與定位方法研究［D］.吉林大學(xué)，2015.

［3］ 賴小波.機(jī)器人雙目立體視覺(jué)若干關(guān)鍵理論問(wèn)題及其技術(shù)實(shí)現(xiàn)研究［D］.浙江大學(xué)，2010.

［4］ Zhang，Z.A flexible new technique for camera calibration［J］. Pattern Analysis and Machine Intelligence，IEEE Transactions on，2000，22（11）:1330-1334.

［5］ Blas F.Review of 20 years of range sensor development［J］. Electron Imaging，2004，13（1）:231240.

［6］ 孫吉貴，劉杰，趙連宇.聚類算法研究［J］.軟件學(xué)報(bào)，2008，19（1）:48-61.

［7］ 鄧志燕，陳熾坤.利用外極線約束的圖像匹配新算法［J］.工程圖學(xué)學(xué)報(bào)，2009，30（5）:104-107.

Position and pose error detection of welding parts based on binocular vision

TP39

B

1009-0134（2016）06-0077-05

2016-03-25

胡國(guó)勇（1991 -），男，廣東韶關(guān)人，碩士，研究方向?yàn)闄C(jī)器視覺(jué)。