張 宇,戴 娜,戈海龍,成 巍,李文龍,任 遠(yuǎn)

(1.齊魯工業(yè)大學(xué)(山東省科學(xué)院),山東省科學(xué)院激光研究所,山東濟(jì)南 250104;2.山東產(chǎn)研強(qiáng)遠(yuǎn)激光科技有限公司,山東聊城 252022)

0 引言

電連接器的作用是控制系統(tǒng)的電能傳輸和信號(hào)傳送[1]。電連接器廣泛應(yīng)用于儀器儀表和航空航天領(lǐng)域,作為電能傳輸與信號(hào)傳遞的電氣元件,它對(duì)整個(gè)系統(tǒng)穩(wěn)定運(yùn)行具有重要作用。

目前針對(duì)電連接器質(zhì)量檢測(cè)方式比較單一,大多數(shù)是通過(guò)人工使用放大鏡或者直接目視的方式,判斷電連接器插針是否出現(xiàn)傾斜、彎曲[2]。存在檢測(cè)工作量大、檢測(cè)精度無(wú)法得到保障、檢測(cè)結(jié)果不具有可追溯性等問(wèn)題?？梢酝ㄟ^(guò)機(jī)器視覺(jué)算法解決電連接器插針的缺陷和完整測(cè)量等問(wèn)題。

文獻(xiàn)[3]實(shí)現(xiàn)了對(duì)幾種圓形電連接器插針的檢測(cè),但是檢測(cè)的最大尺寸為50 mm。文獻(xiàn)[4]實(shí)現(xiàn)了插針特征點(diǎn)的提取,并與標(biāo)準(zhǔn)模板進(jìn)行點(diǎn)集配準(zhǔn)。而針對(duì)矩形電連接器,還未有學(xué)者進(jìn)行研究,其主要特點(diǎn)是尺寸較長(zhǎng),根據(jù)國(guó)標(biāo)規(guī)格,有的連接器長(zhǎng)度達(dá)到140 mm,并且檢測(cè)精度要求在0.1 mm之內(nèi)。若要保證拍攝精度,則會(huì)受限于相機(jī)的視野,獲得的單幅圖像并不能涵蓋整個(gè)電連接器表面的所有缺陷信息。為保證測(cè)量的完整性,必須進(jìn)行圖像拼接。

針對(duì)電連接器檢測(cè)中存在的問(wèn)題,本文采用2種型號(hào)的矩形連接器作為研究對(duì)象,針對(duì)Vision Pro算子庫(kù)中PatMax算法的特點(diǎn),引入Sobel邊緣檢測(cè),實(shí)現(xiàn)了基于邊緣特征提取點(diǎn)的圖像拼接,實(shí)現(xiàn)了電連接器插針的無(wú)縫拼接。采用模板匹配的方式,定位到拼接后的插針,采用最小二乘法對(duì)插針進(jìn)行擬合圓操作,實(shí)現(xiàn)插針的參數(shù)測(cè)量。該方法解決了矩形電連接器在視覺(jué)測(cè)量中視野限制導(dǎo)致的測(cè)量困難問(wèn)題,在工業(yè)檢測(cè)中應(yīng)用圖像拼接和測(cè)量方面有一定的實(shí)用價(jià)值。

1 測(cè)量系統(tǒng)構(gòu)成及測(cè)量流程

1.1 測(cè)量系統(tǒng)構(gòu)成

本文設(shè)計(jì)的電連接器插針檢測(cè)系統(tǒng)如圖1所示,主要由工業(yè)機(jī)器人、CCD工業(yè)相機(jī)、遠(yuǎn)心鏡頭、LED環(huán)形光源、檢測(cè)平臺(tái)和工控機(jī)組成。工業(yè)相機(jī)固定在工業(yè)機(jī)器人末端,通過(guò)控制機(jī)器人運(yùn)動(dòng)實(shí)現(xiàn)圖像的采集,將待測(cè)電連接器放置在檢測(cè)平臺(tái)上,動(dòng)態(tài)調(diào)節(jié)相機(jī)的高度使得拍攝的圖像最清晰。工業(yè)相機(jī)采用cam-cic-10Mr相機(jī),分辨率為3 858像素×2 764像素;鏡頭為XF-MH03X195遠(yuǎn)心鏡頭,光學(xué)畸變低于0.025%。將相機(jī)采集到的圖像傳輸至工控機(jī),基于Vision Pro算法庫(kù),進(jìn)行圖像拼接以及后續(xù)的測(cè)量。

圖1 檢測(cè)裝置構(gòu)成圖

采用J29A-66ZK和J30J-100TJN兩款電連接器作為實(shí)驗(yàn)對(duì)象,圖2所示為所選的電連接器,J29A-66ZK款的長(zhǎng)度為55 mm,由66個(gè)插針組成,J30J-100TJN款的長(zhǎng)度為45 mm,由100個(gè)插針組成。

1.2 測(cè)量流程

檢測(cè)流程如圖3所示。根據(jù)電連接器的尺寸以及相機(jī)能夠采集的視野大小,通過(guò)水平移動(dòng)機(jī)器人,實(shí)現(xiàn)三幀待拼接圖像的采集,然后進(jìn)行重疊區(qū)域的定位,特征點(diǎn)的檢測(cè)與提取,匹配完成后進(jìn)行坐標(biāo)變換,完成拼接,最后使用模板匹配和邊緣擬合算法完成插針的檢測(cè)。

(a)J29A-66ZK電連接器

(b)J30J-100TJN電連接器圖2 電連接器插針

圖3 系統(tǒng)檢測(cè)流程

2 像素當(dāng)量計(jì)算和圖像預(yù)處理

2.1 像素當(dāng)量計(jì)算

為了得到電連接器的實(shí)際測(cè)量尺寸,需要進(jìn)行尺寸單位的換算,將像素坐標(biāo)下的尺寸換算成實(shí)際尺寸[5]。本文采用高精度圓點(diǎn)陣列標(biāo)定板完成像素當(dāng)量的標(biāo)定工作,標(biāo)定板的精度達(dá)到1 μm,標(biāo)定板圓心距為1.5 mm,圓點(diǎn)個(gè)數(shù)為9×9,圓點(diǎn)直徑為0.75 mm。

采集標(biāo)定板圖像,使用Vision Pro算子庫(kù)中的CogFindCircleTool工具,選擇標(biāo)定板中每一行的7個(gè)相鄰圓點(diǎn),提取出圓點(diǎn)的邊緣,擬合得到圓點(diǎn)的中心點(diǎn)和直徑的像素值。求其均值得到的最終像素當(dāng)量K為0.005 612 mm/像素,計(jì)算公式為

(1)

式中：K為所求的像素當(dāng)量;D為標(biāo)定板相鄰圓點(diǎn)間距設(shè)計(jì)值;N為標(biāo)定板相鄰圓點(diǎn)間距像素個(gè)數(shù);n為選取相鄰圓點(diǎn)間距個(gè)數(shù)。

2.2 待拼接圖像預(yù)處理

工業(yè)機(jī)器人在運(yùn)動(dòng)過(guò)程中存在振動(dòng),圖像傳輸也會(huì)造成圖像信號(hào)的波動(dòng),會(huì)出現(xiàn)噪聲信號(hào)。在圖像拼接過(guò)程中,需要進(jìn)行特征點(diǎn)的匹配,噪聲信號(hào)會(huì)嚴(yán)重影響特征點(diǎn)的匹配問(wèn)題,并且電連接器的插針特征比較多,噪聲信號(hào)也會(huì)對(duì)后續(xù)針孔的檢測(cè)造成影響。因此,需要對(duì)拼接前采集到的電連接器的圖像進(jìn)行濾波,去除噪聲干擾。

通過(guò)對(duì)采集的圖像進(jìn)行實(shí)驗(yàn)和分析,產(chǎn)生的噪聲干擾主要是分布在插針周邊的灰度值較高的白色點(diǎn),也就是椒鹽噪聲。常用的濾波方法主要分為：中值濾波、均值濾波、高斯濾波。采用中值濾波進(jìn)行去噪,中值濾波的原理是將一幅圖像中像素的中值進(jìn)行計(jì)算,并用計(jì)算的中值替代區(qū)域中心像素點(diǎn)的灰度值,它的特點(diǎn)是能夠較好消除椒鹽噪聲[6]。經(jīng)過(guò)處理后的圖像如圖4所示。進(jìn)行圖像中值計(jì)算的過(guò)程為：將區(qū)域內(nèi)的灰度值記為X1,X2,…,Xn,將這些灰度值按照從小到大的順序進(jìn)行排序,設(shè)排序順序?yàn)椋篨i1

(2)

(a)原始插針圖像

(b)中值濾波后的插針

3 圖像拼接

矩形電連接器物理尺寸較大,電連接器上的插針直徑在0.6～0.8 mm之間,插針與插針的間距在1.80～1.95 mm之間。本文圖像拼接部分用于解決電連接器檢測(cè)需要高分辨率圖像與電連接器物理尺寸較大之間的矛盾,通過(guò)圖像拼接的方式得到具有高分辨率的完整電連接器圖像[7]。圖像拼接是將2張具有重疊部分的圖像進(jìn)行拼接而成。本次的圖像拼接算法設(shè)計(jì)主要包括特征點(diǎn)檢測(cè)、特征點(diǎn)匹配、拼接坐標(biāo)設(shè)置、圖像融合。

3.1 圖像重疊區(qū)域的選擇方法

在圖像拼接過(guò)程中,并非圖像上所有的點(diǎn)都要參與匹配,比如兩幅相鄰待拼接圖像的非重疊區(qū)域,一般都是重疊圖像的無(wú)效信息點(diǎn),在尋找特征點(diǎn)過(guò)程中,如果加上這一部分無(wú)效點(diǎn),不僅增加計(jì)算量,影響軟件的運(yùn)算速度,還會(huì)造成干擾,導(dǎo)致匹配精度下降,所以找到圖像的近似重疊區(qū)域?qū)ζ唇有Ч饬x重大。

根據(jù)電連接器的幾何特征和相機(jī)的視野關(guān)系,3個(gè)拍攝機(jī)位的電連接器位置及近似重疊區(qū)域的簡(jiǎn)化示意圖如圖5所示。從右往左依次是拍攝位機(jī)位1～機(jī)位3,采集到的3張圖片,其中虛線(xiàn)部分是相機(jī)拍攝的視野,設(shè)其尺寸為L(zhǎng)×W,陰影加深部分是重疊區(qū)域,長(zhǎng)度設(shè)為a,電連接器長(zhǎng)度為A[8]。其中拍攝機(jī)位2中,有2個(gè)重疊區(qū)域。點(diǎn)x,y表示重疊區(qū)域的角點(diǎn)位置對(duì)應(yīng)圖像的實(shí)際坐標(biāo)。

(a)拍攝機(jī)位3 (b)拍攝機(jī)位2 (c)拍攝機(jī)位1圖5 圖像近似重疊區(qū)域示意圖

設(shè)圖像區(qū)域的右上角坐標(biāo)為(0,0),左下角坐標(biāo)為(L,W),由圖5中的位置關(guān)系可得拍攝機(jī)位1中x1點(diǎn)和拍攝機(jī)位2中x2點(diǎn)的坐標(biāo)分別為：

(3)

(4)

拍攝機(jī)位1中y1點(diǎn)和拍攝機(jī)位2中y2點(diǎn)的坐標(biāo)分別為：

(5)

(6)

通過(guò)Vision Pro算子庫(kù)中PMAlign工具,將求得的坐標(biāo)值和計(jì)算的重疊區(qū)域尺寸參數(shù)進(jìn)行設(shè)置,實(shí)現(xiàn)重疊區(qū)域的區(qū)域選擇。

3.2 基于PatMax算法的特征點(diǎn)識(shí)別與匹配實(shí)現(xiàn)

使用Vision Pro算法庫(kù)中的PMAlign工具對(duì)重疊圖像區(qū)域進(jìn)行特征點(diǎn)提取。PMAlign工具包含PatMax和PatQuick 2種算子,PatMax具有精確度高,對(duì)細(xì)微細(xì)節(jié)內(nèi)容識(shí)別更精確的特點(diǎn),因此選用PatMax算子作為提取工具。其原理是基于圖案匹配技術(shù),首先對(duì)圖片中的特定區(qū)域進(jìn)行訓(xùn)練,提取出特征點(diǎn),通過(guò)幾何特征信息和特征之間的空間位置關(guān)系在采集的電連接器圖片中搜索并匹配到相似的區(qū)域,判斷是否為重疊區(qū)域[9]。

圖6 圖像特征點(diǎn)識(shí)別與匹配流程圖

基于PatMax算法的特征點(diǎn)識(shí)別與匹配流程如圖6所示。基于圖6流程,對(duì)采集的電連接器圖像進(jìn)行重疊區(qū)域的訓(xùn)練,選擇好重疊區(qū)域后,通過(guò)PatMax算法,獲取區(qū)域的邊緣特征,圖7(a)和圖7(b)分別為訓(xùn)練的插針重疊區(qū)域和訓(xùn)練完成后在第2張插針圖片中找到的重疊區(qū)域。

(a)插針區(qū)域特征提取

(b)插針重疊匹配

3.3 圖像融合

特征點(diǎn)識(shí)別與匹配后,對(duì)相鄰位置的圖像重疊區(qū)域進(jìn)行融合,實(shí)現(xiàn)無(wú)縫拼接,本文的圖像融合,采用Vision Pro算法庫(kù)中的CogImageStitch類(lèi),實(shí)現(xiàn)3張圖像的無(wú)縫拼接。

如圖8所示,拼接的第1步是要指定拼接后的圖像尺寸,為了留有部分余量,設(shè)置圖像大小StitchedImg如式(7)和式(8)所示。

StitchedImg(W)=Img1.Width+500

(7)

StitchedImg(H)=Img1.Height×3

(8)

式中：Img1.Width為第1張圖像的寬度;Img1.Height為第1張圖像的高度。

圖8 拼接算法流程圖

然后設(shè)置坐標(biāo)原點(diǎn),這里設(shè)置的坐標(biāo)原點(diǎn)是(10,10),CogFixtureTool為定位工具,對(duì)3張帶拼接圖像分別使用1個(gè)定位工具,完成拼接的圖像如圖9所示。

圖9 拼接后電連接器針

3.4 引入Sobel微分算子的圖像拼接

通過(guò)以上方法完成圖像的拼接,但是通過(guò)放大拼接處,可以觀察到存在重影部分,如圖10框內(nèi)所示。

圖10 拼接后重影圖

說(shuō)明特征點(diǎn)識(shí)別和匹配過(guò)程中出現(xiàn)了識(shí)別不準(zhǔn)確的問(wèn)題。針對(duì)此類(lèi)問(wèn)題,研究PatMax算法的特點(diǎn)得出結(jié)論,由于PatMax算法是基于圖像邊緣的匹配,原始圖像雖然已經(jīng)通過(guò)中值濾波操作濾除一部分無(wú)效信息,但是還無(wú)法滿(mǎn)足無(wú)縫拼接過(guò)程中特征提取的要求。因此,引入Sobel微分算子,通過(guò)Sobel微分算子進(jìn)行邊緣提取,獲取感興趣的邊緣圖像后,再使用PatMax算法。

Sobel邊緣檢測(cè)算法具有原理簡(jiǎn)單、邊緣平滑和抗噪聲的特點(diǎn),是一種常用的一階邊緣檢測(cè)算法。傳統(tǒng)的Sobel算子有0°和90°2個(gè)方向的卷積模板,水平方向梯度Tx與垂直方向梯度Ty計(jì)算公式如式(10)、式(11)所示[10],其中Z為3×3的窗口像素矩陣,(x,y)為中心像素。

(9)

(10)

(11)

得到的水平方向梯度Tx與垂直方向梯度Ty的幅值和方向角為：

(12)

θ=tan-1(Gy/Gx)

(13)

式中：T為局部邊緣強(qiáng)度,即梯度幅值;θ為梯度方向角。

由梯度幅值T與設(shè)定的閾值對(duì)比后進(jìn)行二值化處理,梯度幅值T大于等于閾值,則判斷為邊緣點(diǎn),給予灰度值為 0,否則為255。圖11為采用Sobel邊緣檢測(cè)得到的圖像。可以看出,進(jìn)行Sobel邊緣提取后再進(jìn)行特征點(diǎn)識(shí)別,相比于圖7,得到了更多邊緣信息,匹配更加準(zhǔn)確。

將電連接器插針圖像經(jīng)過(guò)Sobel邊緣提取,然后進(jìn)行特征點(diǎn)識(shí)別、特征點(diǎn)匹配、圖像融合,拼接的圖像如圖12所示。拼接完成后的插針不存在陰影部分,拼接效果得到了提升。

圖12 引入Sobel改進(jìn)的拼接圖

4 參數(shù)測(cè)量

為了進(jìn)一步驗(yàn)證拼接圖像的準(zhǔn)確性,進(jìn)行實(shí)驗(yàn)驗(yàn)證,通過(guò)Vision Pro算法庫(kù),測(cè)量電連接器的長(zhǎng)度。對(duì)拼接后完整的電連接器插針進(jìn)行定位,測(cè)量插針間距,判斷插針是否有缺失。

4.1 電連接器直徑測(cè)量

通過(guò)圖12可以看出,真實(shí)電連接器的2個(gè)邊緣分別有一個(gè)圓孔,通過(guò)測(cè)量2個(gè)圓孔之間的距離,判斷拼接的精度能否達(dá)到測(cè)量精度要求。

通過(guò)Vision Pro中的擬合圓算子實(shí)現(xiàn)兩邊的圓孔擬合,設(shè)置的搜索卡尺數(shù)量為17,對(duì)比度閾值為5。圖13為擬合后的效果圖。

圖13 圓孔擬合圖

將兩邊的圓孔擬合后,通過(guò)式(14)計(jì)算出兩圓孔之間的距離AB。

(14)

式中(x1,y1),(x2,y2)分別為兩圓心坐標(biāo)。

4.2 電連接器插針檢測(cè)

為了實(shí)現(xiàn)電連接器插針的檢測(cè),設(shè)計(jì)的檢測(cè)算法如圖14所示。

圖14 插針檢測(cè)算法流程圖

首先對(duì)拼接完成的圖像進(jìn)行圖像分割,對(duì)每一列插針?lè)謩e進(jìn)行定位,使用Vision Pro算子庫(kù)的PMA定位工具,對(duì)插針進(jìn)行模板訓(xùn)練,再進(jìn)行匹配。如圖15(a)所示,獲得其邊緣信息作為匹配依據(jù),匹配成功后如圖15(b)所示。

圖15 插針匹配示意圖

插針定位完成后,生成插針定位參數(shù)表,如圖16所示,參數(shù)表包含每個(gè)插針的坐標(biāo)信息。但是其坐標(biāo)作為圓孔中心的坐標(biāo)點(diǎn)并不準(zhǔn)確,采用找圓工具,將定位中心點(diǎn)作為找圓工具的中心坐標(biāo),對(duì)插針進(jìn)行擬合圓操作,擬合圓后產(chǎn)生的圓點(diǎn)坐標(biāo)才是插針的中心坐標(biāo)[11]。

圖16 插針定位參數(shù)生成圖

通過(guò)冒泡排序,對(duì)插針的坐標(biāo)從小到大進(jìn)行排序,然后依次遍歷出當(dāng)前坐標(biāo)與相鄰坐標(biāo)的差值,計(jì)算出相鄰插針的距離。將距離值與圓擬合圖形添加到圖形上進(jìn)行顯示。圖17為部分插針間距數(shù)值。

圖17 部分插針擬合與間距圖

通過(guò)Results.Count參數(shù)與myDistances[i]參數(shù),判斷插針的質(zhì)量,第1個(gè)參數(shù)是統(tǒng)計(jì)查找到的插針個(gè)數(shù),若插針個(gè)數(shù)小于66,表示插針缺失;第2個(gè)參數(shù)中的i代表遍歷的第i個(gè)插針,判斷i-1個(gè)插針的間距,通過(guò)這個(gè)數(shù)值判斷是否插針出現(xiàn)偏斜。

5 測(cè)量實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證系統(tǒng)的穩(wěn)定性,對(duì)上面提到的2種電連接器,利用本文的檢測(cè)方法,分別進(jìn)行圖像采集、預(yù)處理、圖像拼接、參數(shù)測(cè)量,得到檢測(cè)值。通過(guò)精度為0.000 1 mm影像測(cè)量?jī)x對(duì)2個(gè)樣件進(jìn)行相應(yīng)參數(shù)測(cè)量,作為實(shí)際參考值,與本系統(tǒng)測(cè)量值進(jìn)行對(duì)比。

如表1所示,對(duì)兩款電連接器進(jìn)行7次重復(fù)性尺寸測(cè)量,判斷其重復(fù)性誤差,與實(shí)際測(cè)量值做對(duì)比。零件1的平均誤差為0.098 mm,零件2的平均誤差為0.067 mm。2個(gè)零件的拼接精度在0.1 mm以?xún)?nèi),符合工業(yè)生產(chǎn)的要求。

表1 拼接測(cè)量值與實(shí)際值重復(fù)性測(cè)量比 mm

如表2所示,對(duì)5個(gè)電連接器插針進(jìn)行插針識(shí)別,通過(guò)實(shí)驗(yàn)數(shù)據(jù)可以看出,插針的識(shí)別率為100%。

表2 插針識(shí)別個(gè)數(shù)對(duì)比

針對(duì)兩款電連接器,隨機(jī)選取10組間距數(shù)據(jù),將拼接值與實(shí)際值進(jìn)行對(duì)比(見(jiàn)表3),計(jì)算出零件1最大偏差為0.024 mm,零件2最大偏差為0.019 mm,可以看出,拼接后對(duì)電連接器的參數(shù)測(cè)量誤差在0.02 mm以?xún)?nèi),可以滿(mǎn)足精度測(cè)量要求。

表3 插針間距測(cè)量值與實(shí)際值比較 mm

6 結(jié)束語(yǔ)

本文通過(guò)圖像預(yù)處理、像素當(dāng)量計(jì)算、圖像拼接算法得到高精度的電連接器插針完整圖像,然后進(jìn)行插針定位與識(shí)別,插針間距的測(cè)量。最后對(duì)以上數(shù)據(jù)結(jié)合實(shí)際測(cè)量數(shù)據(jù)進(jìn)行比較。實(shí)驗(yàn)表明：該方法解決了大尺寸矩形電連接器在測(cè)量過(guò)程中,精度要求較高與實(shí)際物理尺寸較大之間的矛盾,可準(zhǔn)確實(shí)現(xiàn)電連接器插針數(shù)據(jù)的提取與測(cè)量,進(jìn)而驗(yàn)證了本文方法和技術(shù)的可行性。