王祖進(jìn)，黃筱調(diào)，顧萍萍

(1.南京工業(yè)大學(xué)機(jī)械與動(dòng)力工程學(xué)院，江蘇南京210009;2.南京康尼機(jī)電股份有限公司，江蘇南京210038)

隨著貼片元件的微型化以及引腳間距的密集化，芯片貼裝領(lǐng)域?qū)N片機(jī)視覺系統(tǒng)的定位精度提出了更高的要求.因此，必須建立速度更快，精度更高的視覺定位算法［1］.而貼片機(jī)視覺系統(tǒng)定位算法主要包括貼片元件定位和PCB板定位算法2部分:貼片元件定位是對(duì)貼片元件中心相對(duì)于吸嘴中心的偏移量和貼片元件在拾取過程中的偏轉(zhuǎn)角度進(jìn)行檢測(cè);PCB板定位是通過對(duì)母板上的定位標(biāo)志進(jìn)行檢測(cè)，進(jìn)而得到PCB板坐標(biāo)系與機(jī)器坐標(biāo)系之間的轉(zhuǎn)換關(guān)系.眾多學(xué)者對(duì)貼片機(jī)視覺系統(tǒng)的相關(guān)算法［2-4］進(jìn)行了研究，但對(duì)偏移量和偏轉(zhuǎn)角度的檢測(cè)基本都是分開進(jìn)行的，很少將兩者結(jié)合起來考慮.為此，文中提出一種基于Harris角點(diǎn)特征的貼片元件定位算法，其中以矩形引腳元件為研究對(duì)象，能夠同時(shí)檢測(cè)元件的偏移量和偏轉(zhuǎn)角度，且檢測(cè)精度都達(dá)到了亞像素級(jí)別.

1 貼片機(jī)視覺系統(tǒng)構(gòu)成

貼片機(jī)視覺系統(tǒng)主要結(jié)構(gòu)如圖1所示.光學(xué)系統(tǒng)由CCD相機(jī)和可編程控制的LED光源組成，高速圖像采集卡對(duì)圖像進(jìn)行采集，然后由PC機(jī)上的處理軟件對(duì)圖像進(jìn)行處理，產(chǎn)生相應(yīng)的控制信號(hào).

圖1 視覺系統(tǒng)結(jié)構(gòu)示意圖

2 貼片元件視覺定位算法及其實(shí)現(xiàn)

基于Harris角點(diǎn)特征的貼片元件定位算法流程如圖2所示.

圖2 貼片元件定位算法流程圖

2.1 圖像預(yù)處理

貼片機(jī)視覺系統(tǒng)在采集元件圖像的過程中，會(huì)受到各種噪聲和不均勻光照的干擾.通過圖像預(yù)處理可以消除光照不均勻的影響，濾除噪聲，修補(bǔ)圖像內(nèi)部缺陷.首先通過頂帽變換消除光照不均勻的問題，然后利用伽瑪變換拉伸元件圖像的對(duì)比度［5］，再運(yùn)用數(shù)學(xué)形態(tài)學(xué)閉運(yùn)算濾除噪聲和修補(bǔ)缺陷［6］，最后進(jìn)行二值化.圖像預(yù)處理結(jié)果如圖3所示.

圖3 圖像預(yù)處理結(jié)果

2.2 引腳形狀判別

元件引腳的形狀分為矩形和圓形.不同形狀的引腳，相應(yīng)的定位算法也不同.所以在進(jìn)行定位之前，需要對(duì)貼片元件的引腳形狀進(jìn)行判別.首先用8連通模板對(duì)二值圖像進(jìn)行卷積，以標(biāo)記每個(gè)引腳的連通分量，為每個(gè)連通區(qū)域分配一個(gè)唯一的編號(hào)，并將輸出圖像中該連通區(qū)內(nèi)的所有像素賦值為該區(qū)域的編號(hào)，得到標(biāo)記圖像.以和標(biāo)記區(qū)域具有相同二階中心矩的橢圓長(zhǎng)短軸為特征，來判別元件引腳形狀，但實(shí)際計(jì)算時(shí)不需要具體計(jì)算出橢圓的長(zhǎng)短軸，只要求得標(biāo)記區(qū)域的2個(gè)二階中心矩的比值即可，矩形引腳的比值遠(yuǎn)大于1，圓形引腳的比值約等于1.

一幅M×N的數(shù)字圖像f(i，j)，其p+q階幾何矩mpq和中心矩μpq為

設(shè)X為標(biāo)記圖像的橫向坐標(biāo)矩陣，Y為標(biāo)記圖像的縱向坐標(biāo)矩陣，大小均為n×1.則標(biāo)記區(qū)域的二階中心矩的計(jì)算過程如下:

表1給出了2個(gè)圓形引腳和2個(gè)矩形引腳的各階矩及二階中心矩的比值.采用上述判別算法對(duì)6種類型的貼片元件進(jìn)行檢測(cè)，檢測(cè)結(jié)果如表2所示.

表1 部分引腳的矩特征

表2 引腳形狀檢測(cè)結(jié)果

2.3 偏轉(zhuǎn)角度和偏移量檢測(cè)

圖像的角點(diǎn)是兩個(gè)邊緣的交點(diǎn)，其所在鄰域是圖像中穩(wěn)定的、信息豐富的域，具有旋轉(zhuǎn)不變性和平移不變性.Harris算子［7-9］是一種有效的角點(diǎn)特征提取算子，具有計(jì)算簡(jiǎn)單、提取的特征點(diǎn)均勻等優(yōu)點(diǎn).所以文中采用Harris角點(diǎn)特征作為貼片元件的定位特征.Harris角點(diǎn)特征提取步驟如下:

1)計(jì)算圖像I(x，y)在x，y方向上的梯度Ix，Iy:

式中:

?為卷積運(yùn)算.

2)計(jì)算圖像x，y方向梯度的乘積:

3)使用高斯函數(shù)對(duì)梯度乘積進(jìn)行高斯加權(quán):

式中w為9×9的高斯窗函數(shù).

4)計(jì)算自相關(guān)矩陣M的行列式detM和直跡traceM:

5)計(jì)算每個(gè)角點(diǎn)的響應(yīng)值R，并對(duì)小于閥值t的R置0:

式中α為經(jīng)驗(yàn)常數(shù)，取值0.04.

6)在3×3的鄰域內(nèi)進(jìn)行非極大值抑制，余下的局部極大值點(diǎn)即為圖像的角點(diǎn).

角點(diǎn)特征的提取結(jié)果如圖4所示.

圖4 角點(diǎn)特征提取結(jié)果

在xy坐標(biāo)系中標(biāo)注出每個(gè)角點(diǎn)，然后找出具有x軸坐標(biāo)最大、最小值以及y軸坐標(biāo)最大、最小值的4個(gè)基準(zhǔn)角點(diǎn)，最后通過計(jì)算其他角點(diǎn)與4個(gè)基準(zhǔn)角點(diǎn)的距離來判斷剩余角點(diǎn)與哪個(gè)基準(zhǔn)角點(diǎn)屬于同一類.通過最小二乘法對(duì)4類角點(diǎn)進(jìn)行直線擬合，并將擬合得到的直線平移0.75l(l為貼片元件的引腳長(zhǎng)度)，去除已分類的角點(diǎn)，剔除虛假角點(diǎn)，對(duì)余下的角點(diǎn)再次進(jìn)行分類和最小二乘擬合，最后取8條直線斜率的平均值作為偏轉(zhuǎn)角度θ的檢測(cè)結(jié)果.其中虛假角點(diǎn)的判別方法是將余下角點(diǎn)分別帶入平移后的4條直線的直線方程，得到4個(gè)值y1，y2，y3，y4，若4個(gè)值中正數(shù)的個(gè)數(shù)為2，則此點(diǎn)為4條直線所構(gòu)成的封閉區(qū)間內(nèi)的點(diǎn)，否則為虛假點(diǎn).處理結(jié)果如圖5所示.

常用的圖像配準(zhǔn)方法［10-11］包括基于灰度的配準(zhǔn)方法和基于特征的配準(zhǔn)方法.基于灰度的圖像配準(zhǔn)方法對(duì)圖像的灰度變化比較敏感，計(jì)算的復(fù)雜度高，對(duì)目標(biāo)的旋轉(zhuǎn)、形變以及遮擋比較敏感;基于特征的圖像配準(zhǔn)方法［12-13］可以克服基于灰度的圖像配準(zhǔn)方法的缺點(diǎn)，在圖像配準(zhǔn)領(lǐng)域得到了廣泛的應(yīng)用.圖像的特征點(diǎn)比圖像的像素點(diǎn)要少很多，大大減少了匹配過程的計(jì)算量;特征點(diǎn)的匹配量值對(duì)位置的變化比較敏感，匹配的精確程度高;特征點(diǎn)的提取過程可以減少噪聲的影響，對(duì)灰度的變化、圖像形變以及遮擋等都有較好的適應(yīng)能力.所以文中采用基于Harris角點(diǎn)的圖像配準(zhǔn)方法對(duì)貼片元件的偏移量進(jìn)行檢測(cè).

首先采用雙三次插值法對(duì)原灰度圖像進(jìn)行旋轉(zhuǎn)和放大，旋轉(zhuǎn)角度為-θ，放大倍數(shù)為2.因?yàn)樘卣鼽c(diǎn)的坐標(biāo)都為整數(shù)，使得最后檢測(cè)出的偏移量只能為整數(shù)個(gè)像素，無法檢測(cè)出小于1.0個(gè)像素的偏移量.而對(duì)圖像進(jìn)行放大處理，可使誤差由原來的1.0個(gè)像素減小為0.5個(gè)像素，從而實(shí)現(xiàn)偏移量的亞像素檢測(cè).最后提取幾何變換后的圖像與未發(fā)生偏移的標(biāo)準(zhǔn)圖像的Harris角點(diǎn)特征，取角點(diǎn)附近的8.0個(gè)像素值作為匹配特征點(diǎn)向量，并進(jìn)行匹配，去除匹配錯(cuò)誤點(diǎn)，得到最佳匹配點(diǎn)對(duì)，匹配點(diǎn)對(duì)間的坐標(biāo)差值即為貼片元件的偏移量.最終的匹配結(jié)果如圖6所示.

圖5 處理結(jié)果

圖6 圖像配準(zhǔn)結(jié)果

3 試驗(yàn)及結(jié)果分析

試驗(yàn)中以TQFP48-P-0707-0.5-K(如圖3a所示)型貼片元件為被測(cè)對(duì)象.偏轉(zhuǎn)角度的檢測(cè)結(jié)果如表3所示，偏移量的檢測(cè)結(jié)果如表4所示.由表3，4可以看出，文中算法對(duì)偏轉(zhuǎn)角度的檢測(cè)誤差小于0.1°，以像素來度量則小于 0.5 個(gè)像素，對(duì)偏移量的檢測(cè)誤差小于25 μm，以像素來度量則小于0.5個(gè)像素，兩者的檢測(cè)精度都到達(dá)了亞像素級(jí)別.

表3 偏轉(zhuǎn)角度檢測(cè)結(jié)果

表4 偏移量檢測(cè)結(jié)果

4 結(jié)論

在分析現(xiàn)有貼片元件定位方法的基礎(chǔ)上，提出了一種基于Harris角點(diǎn)特征的貼片元件定位方法，以矩形引腳元件為研究對(duì)象.首先采用頂帽變換、伽瑪變換以及數(shù)學(xué)形態(tài)學(xué)閉運(yùn)算對(duì)元件圖像進(jìn)行預(yù)處理;然后標(biāo)記元件引腳的連通區(qū)域，計(jì)算二階中心矩，以判別元件的引腳形狀;再通過Harris角點(diǎn)特征提取、分類和直線擬合等得到元件的偏轉(zhuǎn)角度;最后對(duì)元件圖像進(jìn)行旋轉(zhuǎn)和放大處理，并進(jìn)行基于Harris角點(diǎn)特征的圖像配準(zhǔn)，得到最佳匹配點(diǎn)對(duì)，匹配點(diǎn)對(duì)間的坐標(biāo)差值即為貼片元件的偏移量.檢測(cè)結(jié)果表明，文中算法能夠同時(shí)檢測(cè)貼片元件的偏移量和偏轉(zhuǎn)角度，偏移量誤差小于25 μm，偏轉(zhuǎn)角度誤差小于0.1°，檢測(cè)誤差均小于 0.5 個(gè)像素，達(dá)到了亞像素精度.

References)

［1］孫 力，蔡健榮，李永平，等.基于TOF成像技術(shù)的柑橘實(shí)時(shí)識(shí)別與定位［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2013，34(3):293-297.Sun Li，Cai Jianrong，Li Yongping，et al.Real-time citrus recognition and location based on TOF imaging technology［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(3):293-297.(in Chinese)

［2］Lin C S，Lue L W.An image system for fast positioning and accuracy inspection of ball grid array boards［J］.Microelectronics Reliability，2001，41(1):119-128.

［3］Yeh C H，Shen T C，Wu F C.A case study:passive component inspection using a 1D wavelet transform［J］.International Journal of Advanced Manufacturing Technology，2003，22(11/12):899-910.

［4］解楊敏，劉 強(qiáng).高精度自動(dòng)貼片機(jī)視覺系統(tǒng)定位算法研究［J］.光學(xué)技術(shù)，2008，34(3):449-454.Xie Yangmin，Liu Qiang.Research on locating algorithm of vision alignment system in automatic high precision chip mounter［J］.Optical Technique，2008，34(3):449-454.(in Chinese)

［5］王祖進(jìn)，黃筱調(diào).基于形態(tài)學(xué)的元件圖像邊緣檢測(cè)算法［J］.南京工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版，2013，35(2):115-118.Wang Zujin，Huang Xiaodiao.Chip image edge detection algorithm based on morphology［J］.Journal of Nanjing University of Technology:Natural Science Edition，2013，35(2):115-118.(in Chinese)

［6］關(guān)柏青，于新瑞，王石剛.基于鏈碼分析及矩特征的元件類型檢測(cè)方法［J］.上海交通大學(xué)學(xué)報(bào)，2005，39(6):969-974.Guan Baiqing，Yu Xinrui，Wang Shigang.An inspection method of component type based on moment features and chain code［J］.Journal of Shanghai Jiaotong University，2005，39(6):969-974.(in Chinese)

［7］Lin H，Du P，Zhao W，et al.Image registration based on corner detection and affine transformation［C］∥2010 3rd International Congress on Image and Signal Processing，2010:2184-2188.

［8］Bellavia F，Tegolo D，Valenti C.Improving Harris corner selection strategy［J］.IET Computer Vision，2011，5(2):87-96.

［9］Chen J，Zou L，Zhang J，et al.The comparison and application of corner detection algorithms［J］.Journal of Multimedia，2009，4(6):435-441.

［10］Manuel G S，Thurman S T，F(xiàn)ienup J R.Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33(2):156-158.

［11］Wyawahare M V，Patil P M，Abhyankar H K.Image registration techniques:an overview ［J］.Image Processing and Pattern Recognition，2009，2(3):11-26.

［12］文貢堅(jiān)，呂金建，王繼陽(yáng).基于特征的高精度自動(dòng)圖像配準(zhǔn)方法［J］.軟件學(xué)報(bào)，2008，19(9):2293-2301.Wen Gongjian，Lü Jinjian，Wang Jiyang.An automated method for feature-based image registration with high-accuracy［J］.Journal of Software，2008，19(9):2293-2301.(in Chinese)

［13］Liao S，Chung A C S.Feature based nonrigid brain MR image registration with symmetric alpha stable filters［J］.IEEE Transactions on Medical Imaging，2010，29(1):106-119.