閆夢濤，蘇 瑋，冉海周

(浙江理工大學(xué) 信息學(xué)院，浙江 杭州 310018)

0 引言

近年來，印刷電路在全球電子元件中產(chǎn)值穩(wěn)定增長，而伴隨著整機(jī)產(chǎn)品品種結(jié)構(gòu)的調(diào)整，印刷電路板(Printed Circuit Board，PCB)的面積已大大減小，其精度、復(fù)雜度迅速提高，印刷電路板組裝件(Printed Circuit Board Assembly，PCBA)的檢測必將朝著自動化、可視化的計(jì)算機(jī)檢測方向發(fā)展[1]。目前，我國檢測PCBA板元器件技術(shù)設(shè)備已經(jīng)在一些大公司生產(chǎn)線上投入使用，此設(shè)備的出現(xiàn)幾乎完全替代人工操作，提高了產(chǎn)品質(zhì)量和生產(chǎn)效率，但是設(shè)備成本極高，一套自動光學(xué)檢測系統(tǒng)價值幾十萬美元，甚至高達(dá)數(shù)百萬美元[2]，如此高額的成本對于大部分中小企業(yè)來說是不能接受的，也是不切實(shí)際的。

由美國國家儀器公司 ( National Instruments，NI)提出的虛擬儀器 (Virtual Instruments，VI)技術(shù)[3]以其開放靈活、高效便捷、成本低廉、維護(hù)方便、功能強(qiáng)大等突出優(yōu)勢迅速為工業(yè)界廣泛接受，針對現(xiàn)在AOI所存在的價格成本的問題，本文介紹一種基于虛擬儀器的PCBA元器件實(shí)時檢測系統(tǒng)，本系統(tǒng)硬件只需要一臺CCD相機(jī)和一套箱式光源配合lABVIEW14.0的軟件平臺運(yùn)用IMAQ Vision圖像處理模塊[4]進(jìn)行PCBA板的精準(zhǔn)測量，可見本系統(tǒng)成本是極其低的，有利于投入市場供給中小型企業(yè)使用，提高其產(chǎn)品競爭力。

1 系統(tǒng)總體設(shè)計(jì)

檢測系統(tǒng)整體結(jié)構(gòu)包括圖像采集系統(tǒng)和圖像處理系統(tǒng)，圖像采集系統(tǒng)由I/O接口設(shè)備與CCD相機(jī)組成，圖像處理系統(tǒng)由LABVIEW中IMAQ Vision圖像處理模塊所組成。

1.1 系統(tǒng)硬件結(jié)構(gòu)

由于采用了虛擬儀器技術(shù)，省去了大部分昂貴的硬件設(shè)備，系統(tǒng)只需要1臺CCD相機(jī)、1個箱式光源和1臺計(jì)算機(jī)作上位機(jī)。

CCD相機(jī)固定在箱式光源中心處，其電源線與外界電源連接，USB線與圖像處理系統(tǒng)的USB接口連接，箱式光源的電源線與外界電源連接。箱式光源的底面為正方形，距離在線流水線40 cm。

1.2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件部分采用 LabVIEW14.0(Laboratory Virtual Instrument Engineering Workbench)作為開發(fā)工具，由I/O接口設(shè)備[5]完成對圖像的采集，以圖形化的編程語言，利用 PC 計(jì)算機(jī)強(qiáng)大的軟件功能實(shí)現(xiàn)數(shù)據(jù)的運(yùn)算、分析和處理，從而進(jìn)行PCBA 的檢測。

系統(tǒng)軟件整體流程如圖1所示，當(dāng)通過流水線PCBA板進(jìn)入系統(tǒng)時，系統(tǒng)首先會利用CCD相機(jī)對PCBA板進(jìn)行局部圖像聚焦從而采集局部的小圖，當(dāng)采集的圖像到一定數(shù)值后，開啟拼接線程對采集到的圖像進(jìn)行拼接，當(dāng)PCBA板無縫進(jìn)入系統(tǒng)，圖像處理系統(tǒng)會進(jìn)行分板處理，得到拼接后的測試圖后逐步加入檢測隊(duì)列，進(jìn)行檢測。

圖1 系統(tǒng)軟件整體流程

2 系統(tǒng)功能實(shí)現(xiàn)

2.1 圖像采集

由于PCBA板進(jìn)入系統(tǒng)時間是隨機(jī)的，本系統(tǒng)設(shè)置一個事件等待觸發(fā)，當(dāng)PCBA板離開系統(tǒng)的時候要合理地判斷板子離開的時機(jī)，停止圖像采集線程。本文采用圖像機(jī)構(gòu)相似度(SSIM)[6]等于0.75作閾值來判斷板子進(jìn)入和離開的時機(jī)。圖像采集軟件流程如圖2所示。

圖2 圖像采集流程

本系統(tǒng)圖像結(jié)構(gòu)相似度(SSIM)采用的是LABVIEW IMAQ Vision模塊如圖3所示。

圖3 SSIM(結(jié)構(gòu)相似度)

圖像結(jié)構(gòu)相似度從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對比度的反映場景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對比度和結(jié)構(gòu)3個不同因素的組合[7]。本系統(tǒng)用在PCBA沒進(jìn)入系統(tǒng)時的圖片tt.jpg與進(jìn)入系統(tǒng)的照片進(jìn)行結(jié)構(gòu)相似度對比，發(fā)現(xiàn)其亮度、對比度和結(jié)構(gòu)都有很大區(qū)別，經(jīng)過反復(fù)試驗(yàn)，選用結(jié)構(gòu)相似度等于0.75作為閾值，從而達(dá)到圖像采集的目的。

2.2 圖像拼接

圖像拼接的一般流程包括圖像預(yù)處理、圖像配準(zhǔn)和圖像融合3步[8]。由于本系統(tǒng)安裝在固定的實(shí)時流水線上，圖像間的旋轉(zhuǎn)誤差很小可以忽略，所以拼接時只考慮平移變換，忽略圖像的旋轉(zhuǎn)[9]；此外，在線檢測中拼接速度太慢將會影響生產(chǎn)的效率，所以算法不能太復(fù)雜，當(dāng)圖像采集照片大于一定張數(shù)時，圖像拼接線程就會開啟。

算法原理如圖4所示，圖像采集到的圖片肯定會有相互重疊的區(qū)域，圖片A和圖片B的黑色部分就是重疊的區(qū)域，拼接就是把圖片A和圖片B中重合部分刪除，并把兩圖像融合到一個坐標(biāo)系下。

圖4 算法原理

系統(tǒng)拼接步驟如下：① 從圖片A中自上往下選取一行像素值，從圖片B中自下往上選取一行像素值；② 對以上2行像素值進(jìn)行線性相關(guān)系數(shù)[10]計(jì)算，得出線性先關(guān)系數(shù)值并記錄；③ 繼續(xù)從圖片B中往上取一行像素，重復(fù)步驟2；④ 經(jīng)過反復(fù)以上步驟多次后，記錄下相似度值最大的那行線性相關(guān)系數(shù)所在的圖像位置；⑤ 在圖B這個位置以下區(qū)域選取一段區(qū)域作為彩色模板匹配[11]的模板，在圖片A中從上往下進(jìn)行彩色膜板匹配，得出匹配分?jǐn)?shù)和匹配位置；⑥ 根據(jù)匹配位置分別對圖像A、B進(jìn)行裁剪，將裁剪后圖片轉(zhuǎn)化為數(shù)組，進(jìn)行數(shù)組的連接，將得到的圖像數(shù)組轉(zhuǎn)化為圖像，實(shí)現(xiàn)圖像融合。

由于彩色模板匹配是R、G、B三種通道進(jìn)行模式匹配加權(quán)得到的，拼接質(zhì)量非常高，但是計(jì)算量很大，所以本系統(tǒng)步驟①、②、③、④是求出線性相關(guān)系數(shù)，先粗略估計(jì)匹配區(qū)間，匹配區(qū)間里進(jìn)行匹配，減少了計(jì)算量，提高了效率，上述步驟中的線性先關(guān)系數(shù)計(jì)算公式為：

(1)

式中，zx和zy是X和Y標(biāo)準(zhǔn)化的z值，z值計(jì)算為數(shù)組每一項(xiàng)想去其均值后除以其標(biāo)準(zhǔn)差，均值計(jì)算公式為：

(2)

式中，n是X中的元素?cái)?shù)。標(biāo)準(zhǔn)差計(jì)算公式為：

(3)

彩色模板匹配是LABVIEW IMAQ Vision模塊如圖5所示。

圖5 彩色模板匹配

2.3 圖像分板

當(dāng)多個PCBA板無縫進(jìn)入系統(tǒng)時，若沒有分板處理，圖像采集系統(tǒng)會反復(fù)采集相同的圖像存入一個文件夾，圖像拼接系統(tǒng)會拼出多個相連的PCBA板相連的照片，就沒法有效地進(jìn)行實(shí)時檢測，本系統(tǒng)對模板圖下邊緣部分圖像保存到內(nèi)存里，當(dāng)圖像采集線程采集的圖像的張數(shù)到某個閾值的時候不斷與采集線程的圖像做彩色模板匹配，并記錄匹配分?jǐn)?shù)，當(dāng)匹配到原圖像時，停止拼接線程，圖片計(jì)數(shù)清零并把拼接后的圖像送入檢測隊(duì)列，實(shí)現(xiàn)分板，具體步驟如下：

① 在預(yù)先設(shè)置好的模板中截取與圖像下面部分高度為拍照聚焦框高度一半的矩形區(qū)域，并把圖像灰度化，并用此區(qū)域作為灰度模板匹配模板[12]如圖6所示。

圖6 圖像分板步驟

由圖6(a)可知，聚焦框的拍照的圖片高度為648px，截取離模板下邊緣320px位置的圖像作為灰度模板匹配的模板如圖6(b)所示。

② 設(shè)置拍照張數(shù)的閾值，當(dāng)拍照大于這個數(shù)值的時候，匹配模板就會不斷去匹配拍下的照片，并得出匹配分?jǐn)?shù)。

③ 當(dāng)匹配分?jǐn)?shù)大于800，表明已經(jīng)匹配到原圖像，此時停止拼接線程并把拼接圖像送入檢測隊(duì)列，計(jì)數(shù)清零，圖像采集線程繼續(xù)采集圖像。

由于匹配模板高度是聚焦框的一半，匹配模板區(qū)域比較大，匹配計(jì)算量比較小，不會影響匹配時間，本分板灰度模板匹配是基于LABVIEW的IMAQ Vision模塊，如圖7所示。

圖7 灰度模板匹配

2.4 檢測

檢測步驟的算法流程如圖8所示。

圖8 檢測流程

經(jīng)過拼接而來的測試圖和實(shí)際模板間空間位置上會出現(xiàn)誤差，這樣會使元器件定位的時候造成困難，本文采用彩色模板匹配方式進(jìn)行校準(zhǔn)，校準(zhǔn)步驟如下：

① 在模板處設(shè)置一塊校準(zhǔn)區(qū)域MARK，作為彩色模板匹配的模板；

② 在測試圖上進(jìn)行彩色模板匹配，得出匹配分?jǐn)?shù)以及匹配位置；

顧名思義，人生價值觀是指關(guān)于人生價值的根本觀點(diǎn)和看法，說到底就是對人生目的和人生意義的認(rèn)識。人生價值觀決定人生態(tài)度。而人生價值觀又是由人生的理想和信念所決定。有了偉大的理想和信念才能樹立正確的人生價值觀。因此，我們論及方志敏的人生價值觀，首先必須了解方志敏的人生理想和信念。

③ 計(jì)算出這個校準(zhǔn)區(qū)域在測試圖上像素的誤差；

④ 根據(jù)計(jì)算出來的的像素誤差對測試圖像進(jìn)行增減。

本檢測原理是測試板與模板通過一些預(yù)處理[13]對比分析得出結(jié)論，本系統(tǒng)對不同元器件采用不同的預(yù)處理方式，對于顏色比較鮮艷的元器件(比如說綠色電容)去噪后二值化，通過對比其1的個數(shù)判斷是否存在；對于幾何特征比較明顯的元器件(比如插座)采用彩色模板匹配通過匹配分?jǐn)?shù)來判斷是否存在；對于電解電容這種判斷極性的元器件，先采用霍夫變換[14]找到圓本體，然后二值化[15]通過圓環(huán)周圍像素點(diǎn)為0的個數(shù)判斷極性等等。

3 系統(tǒng)實(shí)驗(yàn)結(jié)果與分析

3.1 系統(tǒng)界面

當(dāng)運(yùn)行軟件時，系統(tǒng)會跳到軟件登陸界面如圖9(a)所示，系統(tǒng)有檢測員、糾錯員和管理員3個入口，不同人用不同密碼選擇不同入口就可以進(jìn)入相應(yīng)的界面，進(jìn)行操作，管理員進(jìn)入系統(tǒng)通后回會跳入模板管理界面如圖9(b)所示，設(shè)置模板時對不同元器件對不同預(yù)處理，如圖9(b)右邊顯示有跳線-孔位、二極管管腳、二極管匹配、彩色模板匹配、模板匹配、電解電容、顏色提取、相似度、插座和彩色二極管等針對不同元器件不同預(yù)處理的方法。

圖9 系統(tǒng)界面

由于方法眾多，本文只展示綠色電容顏色提取的方法(如圖10所示)，通過調(diào)整R、G、B三個分量值把模板和測試板空板進(jìn)行二值化，可以看出測試0的個數(shù)(黑色區(qū)域)占模板0的個數(shù)0.852 4，如果此此測試板沒有綠色電容就是空板下，0的個數(shù)占模板0的個數(shù)0.053，所以可以通過設(shè)置一個閾值來加以判斷。

3.2 圖像采集

由于采用的是結(jié)構(gòu)相似度為0.75作為拍照閾值，拍照后照片會編號存入指定目錄下，如圖11所示。

圖10 綠色電容顏色提取方法界面

圖11 圖像采集小圖

3.3 圖像拼接與分板

經(jīng)過反復(fù)試驗(yàn)，拼接后的照片(圖12)和原照片的結(jié)構(gòu)相似度作為拼接質(zhì)量[16]，從拼接開始到拼接結(jié)束的時間算為拼接總時間，本實(shí)驗(yàn)對單塊板子進(jìn)行拼接，拼接質(zhì)量為0.95，時間為1.45 s。

圖12 拼接照片

通過數(shù)據(jù)發(fā)現(xiàn)本拼接是能適應(yīng)流水線上的實(shí)時PCBA檢測的。

經(jīng)過反復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖13所示。由圖13和下面的檢測結(jié)果可知，系統(tǒng)能夠準(zhǔn)確地分開PCBA板。

圖13 分板效果圖

3.4 檢測

對PCBA所有元器件都畫框后，與拼接后的照片進(jìn)行對比，如圖14所示。圖14(a)是個沒有錯誤的板子，所以檢測結(jié)果為ok，圖14(b)是有缺少下面綠色電容的板子，與模板對比，系統(tǒng)會找出錯誤元器件并直接顯示出來并報警。

圖14 檢測界面

本文設(shè)計(jì)了一款基于機(jī)器視覺的PCBA元器件檢測系統(tǒng)，采用LABVIEW的IMAQ Vision圖像處理模塊，通過大量實(shí)驗(yàn)證明本系統(tǒng)能夠適應(yīng)高速流水線下的PCBA板的在線實(shí)時檢測。

4 結(jié)束語

本文設(shè)計(jì)了一款基于機(jī)器視覺的PCBA板的實(shí)時檢測系統(tǒng)，從圖像采集到圖像拼接、分板最后到圖像檢測逐步介紹了本系統(tǒng)的關(guān)鍵性技術(shù)，本系統(tǒng)在NI公司的LABVIEW開發(fā)平臺下，采用IMAQ VISION模板進(jìn)行圖像處理檢測，開發(fā)硬件成本較低，可以在中小企業(yè)生產(chǎn)使用，目前本系統(tǒng)在實(shí)驗(yàn)室組裝并研發(fā)，并已經(jīng)在浙江杭州達(dá)峰科技有限公司部署使用。實(shí)際應(yīng)用結(jié)果表明，系統(tǒng)的檢測誤報率低、檢測速度快、且占有資源少，能夠適應(yīng)高速流水線下的PCBA板的在線實(shí)時檢測。

[1] 黃楠，劉光昌.基于LABVIEW的PCBA計(jì)算機(jī)視覺檢測系統(tǒng)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2005，26(10)：2783-2887.

[2] 陳臣.硬刷電路板的自動光學(xué)檢測系統(tǒng)的設(shè)計(jì)與研究[D].南京：南京航天航空大學(xué)，2010.

[3] 劉娜.基于LabVIEW的虛擬儀器[J].上海計(jì)量測試,2017(4)：7-9.

[4] 劉金橋，王春耀，吳金強(qiáng)，等.基于LabVIEW和IMAQ Vision的農(nóng)產(chǎn)品顏色識別研究[J].農(nóng)機(jī)化研究，2009(3)：50-52.

[5] 張霞.LabVIEW中的I/O接口設(shè)備驅(qū)動[J].電子測試，2007(11)：80-82.

[6] 付燕，史小雨.基于結(jié)構(gòu)相似度的無參考遙感圖像質(zhì)量評價[J].科學(xué)技術(shù)與工程，2007(25)：108-144.

[7] 田浩南，李素梅.基于邊緣的SSIM圖像質(zhì)量客觀評價方法[J].光子學(xué)報.2013(01)：110-114

[8] 熊哲源，熊小敏，吳勝益，等.圖像拼接技術(shù)研究綜述[J].信息技術(shù)，2015(1)：15-16.

[9] 秦益雯，馬祥林.基于LABVIEW的圖像拼接技術(shù)在PCB板在線檢測系統(tǒng)中的應(yīng)用[J].常州信息職業(yè)技術(shù)學(xué)院學(xué)報，2011，8(4)28-33.

[10] 湯嘉立，杜卓明.基于局部線性相關(guān)的信號去噪方法[J].計(jì)算機(jī)應(yīng)用研究，2008(4)：1-7.

[11] 張紅民.基于模板匹配的彩色圖像自動拼接方法[J].微機(jī)發(fā)展，2003(7)：40-42.

[12] 陳麗芳，劉淵，須文波.改進(jìn)的歸一互相關(guān)法的灰度圖像模板匹配方法[J].計(jì)算機(jī)工程與應(yīng)用，2011(26)：181-183.

[13] 胡穎，王東.基于MATLAB的圖像預(yù)處理技術(shù)研究[J].遼寧師專學(xué)報(自然科學(xué)版)，2012(2)：57-59.

[14] 孫豐榮，劉積仁.快速霍夫變換算法[J].計(jì)算機(jī)學(xué)報，2001(10)：1102-1109.

[15] 江明，劉輝，黃歡.圖像二值化技術(shù)的研究[J].軟件導(dǎo)刊，2009(4)：175-177.

[16] 蔣剛毅，黃大江，王旭，等.圖像質(zhì)量評價方法研究進(jìn)展[J].電子與信息學(xué)報，2010(1)：219-226.