曹曉歡,楊建華,張 揚

(西北工業(yè)大學 自動化學院,西安 710072)

0 概述

引線框架[1-2]是集成電路芯片的載體,是實現(xiàn)芯片內(nèi)部電路引出端與外引線電氣連接的關(guān)鍵結(jié)構(gòu)?；跈C器視覺[3-4]的引線框架缺陷檢測技術(shù)[5-6]是提高引線框架產(chǎn)能的關(guān)鍵技術(shù)之一。隨著機器視覺技術(shù)[7]的逐步發(fā)展,通過機器視覺代替人工視覺實現(xiàn)引線框架缺陷檢測與識別是引線框架產(chǎn)業(yè)目前發(fā)展的重要方向。而制約機器視覺技術(shù)發(fā)展的主要因素除了機器視覺軟硬件集成還包括圖像處理技術(shù)[8-10]。

圖像配準是引線框架缺陷檢測中圖像處理技術(shù)的關(guān)鍵,是將同一目標或相似目標取自不同時間、不同傳感器、不同視角以及不同光照條件下的圖像進行匹配融合的過程[11]。在圖像配準中,圖像空間域互相關(guān)匹配(Cross Correlation,CC)算法[12]和頻域互功率譜算法(Cross Power Spectrum,CPS)[13]以其優(yōu)良的配準精度與較強的魯棒性,一直以來備受歡迎。但在工業(yè)實際應用中,除了良好的配準精度,算法的執(zhí)行效率也是一個很重要的因素。因此,本文首先對現(xiàn)有的CC和CPS圖像配準算法進行研究,在此基礎上引入高斯平滑的多尺度圖像分析技術(shù),提出一種新的高斯多尺度圖像快速配準方法(Gauss Multi-scale Fast Registration,GMFR),并通過定義性能函數(shù)對算法性能進行分析。然后基于以上算法,設計并搭建一套成本適中的完整機器視覺系統(tǒng),最終實現(xiàn)引線框架缺陷的智能識別。

1 圖像配準技術(shù)

1.1 傳統(tǒng)的CC和CPS算法

1.1.1 CC算法

假設f(x,y)是一幅包含目標區(qū)域且尺寸為M×N的灰度圖像,g(x,y)是包含目標區(qū)域的模板灰度圖像,f(x,y)=g(x-x0,y-y0)。若f(x,y)進行變換后其目標區(qū)域能與g(x,y)中的目標區(qū)域完全匹配,則需要求解出位移參數(shù)(x0,y0)。2-D灰度圖像的互相關(guān)函數(shù)表示為:

(1)

其中,f*(x,y)為f(x,y)的復共軛[14]。

1.1.2 CPS算法

設F(u,v)與G(u,v)分別為f(x,y)和g(x,y)的離散Fourier變換,則:

(2)

(3)

兩幅圖像的歸一化互功率譜可表示為:

(4)

快速Fourier變換能夠減少傳統(tǒng)Fourier變換的運算量,故在圖像配準中,CPS算法的性能會優(yōu)于CC算法。但工業(yè)實際應用中,算法效率仍有待提高,采用圖像多尺度表達來優(yōu)化算法效率能為問題的解決提供新的思路。而Fourier變換由于無法直接實現(xiàn)圖像局部處理,在算法優(yōu)化過程中具有一定的局限性。因此,可考慮將頻域處理與可以實現(xiàn)圖像局部處理的互相關(guān)算法相結(jié)合,在確保達到相同精度的同時,提高算法執(zhí)行效率。

1.2 高斯平滑下的圖像多尺度表達

圖像多尺度表達可通過亞采樣實現(xiàn)。對于一幅2-D圖像,亞采樣是指在圖像正交方向上隔行抽取。當2個方向上尺度均以2倍變化時,圖像尺寸將以4倍變化[11],重復進行亞采樣將會得到如圖1所示的結(jié)構(gòu),即為圖像原始多尺度表達。此時,引入尺度參數(shù)λ=0,1,…,圖像則可改用f(x,y;λ)表示,λ=0時對應原始圖像,λ越大表示圖像分辨率越低,描述的圖像細節(jié)越粗糙。低尺度圖像雖然模糊,但在配準過程中仍可以表示圖像平移變化趨勢。對低尺度圖像進行相應的配準處理將會節(jié)省大量運算。

圖1 圖像多尺度表達過程

一幅數(shù)字灰度圖像為一個2-D數(shù)組,直接通過亞采樣減少圖像尺寸必然會丟失很多圖像細節(jié)?；贔ourier變換的CPS配準是針對整幅圖像信息實現(xiàn)的配準技術(shù),在有噪聲干擾時表現(xiàn)出了很強的魯棒性。但是隨著亞采樣的實現(xiàn),圖像信噪比急劇下降,圖像細節(jié)丟失與噪聲干擾都會導致配準失敗,以犧牲配準精度提高配準效率是不科學的。

本文通過引入高斯濾波技術(shù)來抑制低尺度圖像細節(jié)丟失問題。高斯濾波是實現(xiàn)圖像平滑、抑制圖像噪聲的重要技術(shù)。平滑后圖像的各像素值都會攜帶其鄰域內(nèi)的其他像素點信息,使得亞采樣圖像可極大程度地還原原始尺度圖像細節(jié)。

高斯濾波器可表示為:

(5)

其中,a+b+c=1,且a+c=b,以保證圖像平滑后歸一化處理且中心點有不低于其他點的貢獻[15]。圖像f(x,y)的高斯濾波表示為:

(6)

高斯平滑下的圖像多尺度表達過程如圖2所示。圖3為同一圖像在λ=3的尺度下通過CPS算法得到配準的結(jié)果,其中圖3(a)為經(jīng)過高斯濾波實現(xiàn)多尺度表達的結(jié)果,圖3(b)為沒有經(jīng)過濾波的結(jié)果?？梢?沒經(jīng)過高斯平滑的圖像由于細節(jié)大量丟失,配準結(jié)果雜波較多,很難得到正確結(jié)果。

圖2高斯平滑下的多尺度實現(xiàn)方法

圖3 低尺度圖像配準結(jié)果對比

1.3 GMFR配準算法

構(gòu)造待配準圖像與標準模板圖像高斯平滑下的多尺度表達f(x,y;λ),g(x,y;λ)。其中,λ=0,1,…,s。s=maxλ為最低尺度圖像,其取值以原始圖像大小及其是否可以表達原始圖像為主要依據(jù)。根據(jù)式(2)、式(3)得到最低尺度圖像Fourier變換結(jié)果為:

(7)

(8)

根據(jù)式(4)得到兩幅圖像的歸一化互功率譜為:

(9)

得到s層圖像的配準結(jié)果(x0s,y0s)后,在s-1層進行圖像局部空間域互相關(guān)運算,運算范圍為(2x0s-Δx:2x0s+Δx,2y0s-Δy:2y0s+Δy)。在多尺度表達中,相鄰尺度圖像橫縱2個方向均已2倍抽取,則有min△x=2,min△y=2。在s-1層只需在5×5的局部范圍內(nèi)進行互相關(guān)運算,根據(jù)式(1)可得:

g(x+m,y+n;λ)

(10)

重復上述局部互相關(guān)運算,直至迭代至原始尺度圖像(λ=0),得到配準結(jié)果(x0,y0)。

2 GMFR算法性能分析

為簡化表達,將待處理圖像尺寸記為M×M,且只考慮運算中耗時較多的乘法運算,不考慮加法運算的影響。2幅同樣大小的圖像完成CC算法進行乘法運算次數(shù)記為CCC(M),則:

CCC(M)=M4

(11)

對于一幅灰度圖像進行Fourier變換需要運算M4次乘法;采用快速Fourier變換的方法可將其簡化至(MlbM)2次。2幅圖像完成CPS算法需進行的乘法運算次數(shù)記為:

CCPS(M)= 2×[(MlbM)2+4M2+4(MlbM)2]=

2×[5(MlbM)2+4M2]

（2）財務科負責按照科研經(jīng)費報銷審批流程執(zhí)行，對科研經(jīng)費進行核算、監(jiān)督及管理，建立科研經(jīng)費明細賬戶，按規(guī)定專款專用。從2016年后嚴格控制現(xiàn)金支付，設備、材料、實驗外協(xié)費、國際合作與交流費、勞務費、專家咨詢費等通過銀行轉(zhuǎn)賬結(jié)算。

(12)

其中,第1項表示Fourier變換乘法運算,第2項表示兩幅圖像頻域乘積運算,由于是復數(shù)運算,因此是普通乘法運算的4倍,第3項表示反Fourier變換,同樣也是復數(shù)運算。

完成GMFR算法需進行的乘法運算次數(shù)記為:

(13)

其中,s為最高層尺度參數(shù)。第1項表示最高尺度圖像CPS運算,后面的s項表示逐層局部CC運算。取s=3,得:

(14)

定義算法性能優(yōu)勢函數(shù)P(Performance),一般來講,取M=2n,得到性能函數(shù):

(15)

(16)

2個函數(shù)曲線如圖4所示。GMFR方法迅速增加的優(yōu)勢是n的函數(shù)。當n=10時,GMFR較CC算法有接近2.6×104倍的性能優(yōu)勢;而當n=15時,有接近1.9×107倍的性能優(yōu)勢。如圖4中右下角曲線所示,CPS算法相較于CC算法的性能增長遠沒有GMFR算法明顯,因此GMFR算法相比于CPS算法亦有明顯優(yōu)勢。

圖4 算法性能函數(shù)曲線

3 機器視覺環(huán)境的構(gòu)建和算法應用分析

本文搭建的機器視覺環(huán)境用于工業(yè)上引線框架缺陷的檢測,而圖像配準是實現(xiàn)缺陷精確檢測的基礎。為最大限度地驗證算法性能,搭建低成本機器視覺系統(tǒng),選取普通面陣CCD相機及白光光源。對稱條形光源組成低角度沐光照明方式,實現(xiàn)表面缺陷檢測中的圖像獲取;背光光源實現(xiàn)形狀缺陷檢測中的圖像獲取。完整的機器視覺環(huán)境如圖5所示。

圖5 機器視覺圖像采集系統(tǒng)

在圖5中,1為相機架,可以調(diào)節(jié)相機的工作高度;2為面陣CCD相機,用于獲取圖像;3為條形光源架;4為條形光源;5為目標物體,即待配準的引線框?qū)嵨?6為背光光源。

圖6 GMFR算法對型號1待配準圖像1的配準結(jié)果

圖7 GMFR算法對型號1待配準圖像2的配準結(jié)果(含噪聲)

圖8 GMFR算法對型號2待配準圖像1的配準結(jié)果

圖9 GMFR算法對型號2待配準圖像2的配準結(jié)果(含噪聲)

在表1、表2中,局部CC結(jié)果是在5×5的局部范圍內(nèi)進行運算所得,與仿真結(jié)果圖中的圖(e)～圖(g)對應;換算結(jié)果是指由低尺度配準結(jié)果向高尺度換算的過程,具體為:上一層的換算結(jié)果×2-3+本層局部CC結(jié)果。加粗部分為GMFR算法的最終配準結(jié)果,其與空間域全局CC算法精度保持一致,且圖像在有噪聲干擾下也可得到精確結(jié)果。對最終配準結(jié)果進行中心變換,即可得到平移配準參數(shù)(x0,y0),換算結(jié)果依次為:型號1是(-27,16)、(26,-34);型號2是(41,21)、(-60,-39),根據(jù)結(jié)果將圖像進行平移變換,即可實現(xiàn)配準。

表1 待配準圖像1的GMFR算法驗證量化表示結(jié)果

表2 待配準圖像2(含噪聲)的GMFR算法驗證量化表示結(jié)果

表3給出了相同實驗環(huán)境下,GMFR算法、傳統(tǒng)CC以及CPS算法的運算性能對比實驗結(jié)果。其中,型號1的尺寸為672像素×296像素,型號2的尺寸為768像素×608像素。由于圖像配準過程除完成配準算法,同時還包括相機驅(qū)動、圖像讀取、預處理、得到配準結(jié)果后的圖像變換等運算內(nèi)容,這些運算與配準算法的運算時間疊加在一起,使得機器視覺環(huán)境中實際的優(yōu)勢沒有理論上分析的明顯。所以與圖4進行對比,實驗結(jié)果的優(yōu)勢體現(xiàn)并不如性能函數(shù)分析的那樣明顯。但是在保證相同精度的同時,相對于傳統(tǒng)的CC以及CPS算法,GMFR算法的運算效率仍舊得到了明顯提升,可以更好地滿足工業(yè)上機器視覺系統(tǒng)對算法的實時性要求。

表3Matlab環(huán)境下3種算法實現(xiàn)圖像配準運算時間s

型號圖像GMFRCCCPS(快速Fourier變換)1待配準10.585 6227.988 9550.853 264待配準20.586 6398.551 7650.847 5002待配準10.663 82137.040 1031.105 019待配準20.630 01236.717 0051.109 305

4 結(jié)束語

本文從研究高性能圖像處理算法和構(gòu)建成本適中的機器視覺軟硬件環(huán)境出發(fā),設計并搭建了一套完整的機器視覺系統(tǒng)來實現(xiàn)引線框架缺陷的智能識別。為解決傳統(tǒng)圖像配準算法運行效率低的問題,研究新的GMFR快速配準算法。GMFR綜合了圖像空間域CC算法與頻域CPS算法的優(yōu)勢,融合了高斯平滑、圖像多尺度表達等技術(shù),提高了算法的執(zhí)行效率。最后通過所定義的優(yōu)勢函數(shù)以及真實引線框架圖像數(shù)據(jù)對算法的良好性能進行展示分析。此外,該算法同樣適用于Fourier-Mellin變換下圖像尺度與旋轉(zhuǎn)配準的情況,可滿足機器視覺、生物醫(yī)學圖像處理、視覺導航等多個領(lǐng)域?qū)D像處理算法的實時性要求,針對尺寸較大的圖像將表現(xiàn)出更加優(yōu)良的算法性能。

[1] 朱本明.LED封裝膠體與引線框架熱失配可視化研究[D].廣州:華南理工大學,2013.

[2] 王 磊.引線框架鍍銀生產(chǎn)線中電鍍銀裝置的分析研制[D].西安:西安電子科技大學,2010.

[3] DAVIES E R.Machine vision:theory,algorithms,practicalities[M].[S.l.]:Access Online via Elsevier,2004.

[4] KASTURI J R R,SCHUNCK B G.Machine vision[M].New York,USA:McGraw-Hill,1995.

[5] 張 耀,王耀南,周博文.異型瓶藥液中可見異物的智能視覺檢測機器人[J].儀器儀表學報,2010,31(5):1058-1063.

[6] 張 輝,王耀南,周博文.基于機器視覺的液體藥品異物檢測系統(tǒng)研究[J].儀器儀表學報,2009,30(3):548-553.

[7] SONKA M,HLAVAC V,BOYLE R.Image processing,analysis,and machine vision[M].[S.l.]:Cengage Learning,2014.

[8] 雷 濤,周 進,吳欽章.DSP實時圖像處理軟件優(yōu)化方法研究[J].計算機工程,2012,38(14):177-180.

[9] 羅 蘭,杜欽生.基于多尺度局部方差的圖像融合質(zhì)量評價算法[J].計算機工程,2017,43(2):264-267.

[10] WACHOWIAK M P,SMOLIKOVA R,ZHENG Yufeng.An approach to multimodal biomedical image registration utilizing particle swarm optimization[J].IEEE Transactions on Evolutionary Computation,2004,8(3):289-301.

[11] Zitova B,Flusser J.Image registration methods:a survey[J].Image and vision computing,2003,21(11):977-1000.

[12] REDDY B,PRASAD T.Color image registration and template matching using quaternion phase correlation[J].Ubiquitous Computing and Communication Journal,2011(6):714-721.

[13] MADISETTI V.Digital signal processing fundamentals[M].[S.l.]:CRC Press,2010.

[14] INGLE V K,PROAKIS J G.Digital signal processing using MATLAB[M].Berlin,Germany:Springer,2011.

[15] JAHNE B.Practical handbook on image processing for scientific and technical applications[M].Berlin,Germany:Springer,2004.