陳 健，王 猛，朱 寒，謝龍華，林 麗

(福建工程學(xué)院電子電氣與物理學(xué)院，福建福州 350118)

0 引言

印刷電路板(printed circuit board，PCB)上芯片的焊接缺陷檢測(cè)是PCB板缺陷檢測(cè)的關(guān)鍵環(huán)節(jié)，也是確保PCB板質(zhì)量的重要步驟[1-2]。

PCB板缺陷檢測(cè)中與芯片相關(guān)的缺陷包括漏焊和極性焊接錯(cuò)誤。早期的缺陷檢測(cè)多由人工完成，但人工檢測(cè)存在成本高及易于因疲勞引起漏檢等問(wèn)題[3-7]。隨著機(jī)器視覺(jué)技術(shù)的成熟，基于機(jī)器視覺(jué)的檢測(cè)系統(tǒng)在工業(yè)生產(chǎn)中得到廣泛的應(yīng)用[8-12]，包括應(yīng)用于PCB缺陷檢測(cè)的機(jī)器視覺(jué)系統(tǒng)[13-16]，學(xué)者們也針對(duì)缺陷檢測(cè)系統(tǒng)中的不同問(wèn)題提出了不同的方法，吳暉輝等[17]針對(duì)PCB板上集成電路(integrated circuit，IC)類(lèi)貼裝器件檢測(cè)的實(shí)時(shí)性要求提出了基于邊緣積分投影和顏色統(tǒng)計(jì)的特征檢測(cè)算法；趙翔宇等[18]提出基于數(shù)學(xué)形態(tài)學(xué)結(jié)合種子填充的分層提取匹配算法，實(shí)現(xiàn)對(duì)貼片電阻、電容及IC芯片丟失等多種缺陷的查找；程良倫等[19]提出二值投影分析方法，同樣實(shí)現(xiàn)對(duì)貼片電阻、電容及IC芯片的缺陷檢測(cè)；陳壽宏等[13]為了提高PCB板中元件焊點(diǎn)缺陷檢測(cè)的分類(lèi)準(zhǔn)確率，提出一種基于多特征的支持向量機(jī)(SVM)多分類(lèi)缺陷檢測(cè)方法；曹亮[20]提出一種快速的改進(jìn)Hough變換圓形檢測(cè)的方法，檢測(cè)PCB板中芯片的圓形凹點(diǎn)極性標(biāo)志，以判斷芯片極性是否錯(cuò)誤；陳文帥等[21]利用深度學(xué)習(xí)算法檢測(cè)電子元器件的極性缺陷。

本文針對(duì)PCB板芯片缺陷檢測(cè)中的極性檢測(cè)問(wèn)題，提出一種結(jié)合先驗(yàn)知識(shí)的感興趣區(qū)域提取、改進(jìn)模板匹配及像素相加法的芯片極性二級(jí)檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，相比于現(xiàn)有方法，本文方法具有更高的芯片定位及極性檢測(cè)準(zhǔn)確性。

1 PCB板芯片極性檢測(cè)方法

本文提出的芯片極性檢測(cè)流程如圖1所示。

檢測(cè)流程共分為3個(gè)步驟，首先，采用先驗(yàn)知識(shí)(芯片封裝信息)對(duì)PCB板進(jìn)行劃分，確定感興趣區(qū)域(即芯片所在區(qū)域)，并將其截取出來(lái)，隨后提出改進(jìn)模板匹配方法實(shí)現(xiàn)芯片的定位，提取出對(duì)應(yīng)芯片圖像；其次，對(duì)提取的芯片圖像利用直方圖匹配和中值濾波實(shí)現(xiàn)芯片圖像的預(yù)處理；最后，在對(duì)預(yù)處理圖像進(jìn)行二值化處理的基礎(chǔ)上，提出基于像素相加法的二級(jí)檢測(cè)方法實(shí)現(xiàn)芯片的極性檢測(cè)。

2 PCB板芯片的定位提取

PCB板芯片的定位提取主要分為2個(gè)步驟，具體實(shí)現(xiàn)流程如圖2所示。

基于封裝信息的PCB板芯片感興趣區(qū)域劃分即結(jié)合PCB板原圖結(jié)構(gòu)信息，提取不同芯片對(duì)應(yīng)的感興趣區(qū)域范圍，每個(gè)芯片對(duì)應(yīng)一個(gè)感興趣區(qū)域，進(jìn)行標(biāo)識(shí)。由于焊接后PCB板中各種器件位置是固定的，偏差很小，尤其是芯片位置，因此，事先針對(duì)具體PCB板給出芯片所在區(qū)域在整個(gè)PCB板中的坐標(biāo)，并存儲(chǔ)于數(shù)據(jù)庫(kù)中供后續(xù)程序調(diào)用。

以不同芯片為中心進(jìn)行感興趣區(qū)域的劃分，有利于降低后續(xù)模板匹配時(shí)其他區(qū)域?qū)Ξ?dāng)前芯片所在區(qū)域的干擾，提高芯片定位的準(zhǔn)確率及實(shí)時(shí)性。

在感興趣區(qū)域劃分的基礎(chǔ)上，分別以不同的芯片模板按指定的順序?qū)Σ煌男酒M(jìn)行模板匹配。本文提出一種基于多方向Sobel算子的改進(jìn)模板匹配方法實(shí)現(xiàn)待測(cè)芯片圖像的匹配。多方向改進(jìn)Sobel算子如式(1)所示。

(1)

式中：S1，S2為水平方向和垂直方向模板；Si(i=3,4,5,6)為對(duì)角線(xiàn)方向模板。

多方向Sobel算子的梯度分量信息Hi(x,y)如式(2)所示。

Hi(x,y)=[T*Si]x,y，i=1,2,…,6

(2)

式中：T為圖像灰度矩陣；*為卷積運(yùn)算。

邊緣強(qiáng)度M(x,y)計(jì)算公式如式(3)所示。

(3)

通常情況下，模板匹配是在計(jì)算模板圖像和待搜索圖像的相似度量的基礎(chǔ)上，在待搜索圖像中找到模板圖像[22]。匹配過(guò)程中采用TM_SQDIFF即差值平方和函數(shù)作為相似度的測(cè)量函數(shù)，數(shù)學(xué)表達(dá)式如式(4)所示。

R(x,y)=∑x′y′[T(x′,y′)-I(x+x′,y+y′)]2

(4)

式中：T(x,y)為模板；I(x,y)為目標(biāo)圖像；R(x,y)為相似度量函數(shù)，R(x,y)數(shù)值越小則匹配度就越好[23-24]。

需要說(shuō)明的是，考慮到芯片管腳在后續(xù)二值化處理過(guò)程中存在明顯干擾，芯片模板圖像去除了管腳部分的信息。

3 基于像素相加法的芯片極性二級(jí)檢測(cè)

提取出待檢測(cè)芯片后，為提高后續(xù)處理的準(zhǔn)確性，需要對(duì)芯片圖像進(jìn)行預(yù)處理。本文分別引入直方圖匹配及中值濾波法，實(shí)現(xiàn)芯片圖像的預(yù)處理。

隨后，對(duì)預(yù)處理后的芯片圖像進(jìn)行二值化操作，并對(duì)輸出圖像進(jìn)行像素相加；最后進(jìn)行二級(jí)檢測(cè)。檢測(cè)流程如圖3所示。

像素相加即對(duì)2幅二值化圖像中的像素對(duì)位相加，從而得到2幅圖像累加信息。設(shè)模板圖像為bf，待測(cè)圖像為bh，得到bf和bh像素相加之后的和圖像bsum，如式(5)所示：

bsum(x,y)=bf(x,y)+bh(x,y)

(5)

針對(duì)電路板的芯片極性缺陷檢測(cè)，本文提出了二級(jí)檢測(cè)實(shí)現(xiàn)步驟，其中步驟1到步驟3為初級(jí)檢測(cè)過(guò)程(檢測(cè)過(guò)程如圖4所示)，步驟4到步驟5為二級(jí)檢測(cè)過(guò)程。

步驟1：對(duì)預(yù)處理后的待測(cè)芯片圖像和模板芯片圖像分別進(jìn)行圖像灰度化，并利用大津法進(jìn)行二值化操作，計(jì)算出待測(cè)二值化芯片圖像中白色(前景)像素點(diǎn)的個(gè)數(shù)Nh。

步驟2：將待測(cè)二值化芯片圖像與模板芯片二值化圖像進(jìn)行像素相加，并計(jì)算輸出和圖像的白色(前景)像素點(diǎn)的個(gè)數(shù)NT。

步驟3：將和圖像的白色像素點(diǎn)的個(gè)數(shù)除以待測(cè)芯片二值化圖像的白色像素點(diǎn)個(gè)數(shù)，并進(jìn)行閾值判斷。若大于設(shè)定閾值T1，則跳到步驟4進(jìn)行二次判斷，否則認(rèn)為芯片無(wú)極性問(wèn)題。

步驟4：截取模板芯片圖像及待測(cè)芯片圖像中的主要特征區(qū)域作為模板圖像，并在待測(cè)芯片中進(jìn)行模板匹配與提取，再次按步驟1至步驟3進(jìn)行判斷。需要說(shuō)明的是，為了保證處理的準(zhǔn)確性，截取的圖像面積小于芯片圖像面積的一半，并再次經(jīng)過(guò)預(yù)處理過(guò)程。

步驟5：判斷返回的數(shù)值。若返回的數(shù)值大于T2，則認(rèn)為存在芯片極性問(wèn)題，否則判斷為無(wú)極性問(wèn)題。

在上述處理過(guò)程中，在初級(jí)檢測(cè)及二級(jí)檢測(cè)階段各需要一個(gè)閾值，在實(shí)驗(yàn)中，綜合系統(tǒng)的容錯(cuò)性及大量的實(shí)驗(yàn)數(shù)據(jù)結(jié)果，T1取1.2，T2取1.3。

4 實(shí)驗(yàn)分析

本文搭建的實(shí)驗(yàn)平臺(tái)如圖5所示。整個(gè)實(shí)驗(yàn)平臺(tái)包括了小型流水線(xiàn)、光源模塊、電機(jī)控制模塊、以太網(wǎng)交換機(jī)、工業(yè)攝像頭、遮光罩及計(jì)算機(jī)。工業(yè)攝像頭所采集的圖像數(shù)據(jù)通過(guò)以太網(wǎng)交換機(jī)傳輸?shù)接?jì)算機(jī)進(jìn)行處理。遮光罩內(nèi)部包含了條形光源及工業(yè)攝像頭。

本實(shí)驗(yàn)采用單芯片電路板PCB1和多芯片電路板PCB2 2種電路板進(jìn)行測(cè)試，如圖6所示，芯片模板圖像分別如圖7所示。通過(guò)在測(cè)試系統(tǒng)上采集多組圖像得到最終的測(cè)試數(shù)據(jù)集。

4.1 芯片定位實(shí)驗(yàn)對(duì)比

針對(duì)PCB板中的芯片定位問(wèn)題，本文引入文獻(xiàn)[25-26]中的芯片定位方法與本文的方法進(jìn)行比較，并采用單芯片和多芯片電路板分別進(jìn)行實(shí)驗(yàn)，比較不同定位方法的運(yùn)行時(shí)間以及準(zhǔn)確率，如表1與表2所示。需要說(shuō)明的是，這里的運(yùn)行時(shí)間是取所有芯片定位時(shí)間之和除以芯片總數(shù)得到的數(shù)值。

表1 單芯片PCB板定位結(jié)果對(duì)比

表2 多芯片PCB板定位提取結(jié)果對(duì)比

從運(yùn)行時(shí)間上看，由于文獻(xiàn)[26]采用了基于surf算法的芯片匹配檢測(cè)算法，因此，無(wú)論是單芯片電路板還是多芯片電路板，其定位時(shí)間均最長(zhǎng)。從定位準(zhǔn)確性上看，本文方法與文獻(xiàn)[26]方法的準(zhǔn)確率均能達(dá)到100%，而文獻(xiàn)[25]的定位方法對(duì)多芯片電路板存在錯(cuò)誤定位的情況。圖8為本文方法準(zhǔn)確定位到芯片，而文獻(xiàn)[25]的方法出現(xiàn)了錯(cuò)誤定位的具體圖像。

4.2 直方圖匹配實(shí)驗(yàn)對(duì)比

在芯片圖像預(yù)處理步驟中，本文的方法引入了直方圖匹配，在圖像的后續(xù)處理中起到了很好的效果。實(shí)驗(yàn)中，對(duì)是否引入直方圖匹配進(jìn)行了對(duì)比，并以芯片極性檢測(cè)的效果即誤檢概率、漏檢概率以及檢測(cè)時(shí)間進(jìn)行對(duì)比，如表3與表4所示。

表3 單芯片PCB板基于直方圖匹配的極性檢測(cè)對(duì)比

表4 多芯片PCB板基于直方圖匹配的極性檢測(cè)對(duì)比

從表中可以得出，對(duì)于單芯片PCB板，對(duì)芯片圖像采用直方圖匹配后，所有極性缺陷芯片都可以檢測(cè)出來(lái)，漏檢率為0。對(duì)于多芯片PCB板，對(duì)芯片圖像采用直方圖匹配后，漏檢率同樣為0。而沒(méi)有采用直方圖匹配方法進(jìn)行預(yù)處理的芯片圖像，存在1例漏檢的情況。另外，不采用直方圖匹配進(jìn)行預(yù)處理時(shí)，芯片誤檢率較高。

4.3 芯片極性檢測(cè)實(shí)驗(yàn)對(duì)比

針對(duì)芯片極性缺陷檢測(cè)結(jié)果，本文在測(cè)試平臺(tái)下采集不同的電路板芯片圖像(有極性缺陷和無(wú)極性缺陷)，進(jìn)行了對(duì)比實(shí)驗(yàn)。首先將本文的單級(jí)檢測(cè)方法與二級(jí)檢測(cè)作對(duì)比(如表5和表6所示)，隨后將本文方法與文獻(xiàn)[17]作比較，并給出不同方法的運(yùn)行時(shí)間和檢測(cè)結(jié)果(如表7所示)。實(shí)驗(yàn)中將全部芯片圖像檢測(cè)的平均時(shí)間作為不同方法所需要的最終運(yùn)行時(shí)間。

表5 單芯片PCB板不同級(jí)數(shù)下本文方法極性檢測(cè)結(jié)果對(duì)比

表6 多芯片PCB板不同級(jí)數(shù)下本文方法極性檢測(cè)結(jié)果對(duì)比

表7 不同檢測(cè)方法的檢測(cè)效果及時(shí)間對(duì)比

從表5和表6可以看出，單級(jí)檢測(cè)與二級(jí)檢測(cè)的漏檢率均為0，但單級(jí)檢測(cè)的誤檢率明顯高于二級(jí)檢測(cè)。

從表7可以看出，本文檢測(cè)方法的運(yùn)行時(shí)間較文獻(xiàn)[17]的方法長(zhǎng)。從檢測(cè)的效果上看，本文提出的檢測(cè)方法不存在漏檢和誤檢的問(wèn)題，而文獻(xiàn)[17]存在誤檢和漏檢的情況。

圖9和圖10給出采用文獻(xiàn)[17]方法時(shí)誤檢和漏檢的示意圖。這里需要說(shuō)明的是文獻(xiàn)[17]中提到的檢測(cè)方法設(shè)置的閾值RA，文獻(xiàn)中并未提供，因此在本文中，結(jié)合大量實(shí)驗(yàn)數(shù)據(jù)為文獻(xiàn)[17]設(shè)置了最優(yōu)閾值，如圖中RA值，并將其顯示于芯片上以表明具體的誤檢和漏檢的位置。

5 結(jié)束語(yǔ)

針對(duì)PCB板中芯片極性檢測(cè)問(wèn)題，本文提出基于感興趣區(qū)域提取，改進(jìn)模板匹配及像素相加法的芯片極性檢測(cè)方法。首先，應(yīng)用先驗(yàn)知識(shí)實(shí)現(xiàn)芯片區(qū)域(即感興趣區(qū)域)的提取，結(jié)合改進(jìn)模板匹配法實(shí)現(xiàn)芯片的精確定位，并提取出待測(cè)芯片圖像；其次，利用直方圖匹配及中值濾波實(shí)現(xiàn)對(duì)芯片圖像的預(yù)處理；最后，在對(duì)芯片圖像進(jìn)行二值化的基礎(chǔ)上，提出基于像素相加法的二級(jí)檢測(cè)方法，實(shí)現(xiàn)對(duì)芯片極性的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，本文提出的芯片定位方法有較好的性能，而針對(duì)芯片極性檢測(cè)的問(wèn)題，本文提出的檢測(cè)方法準(zhǔn)確性更高。但由于芯片種類(lèi)繁多，因此，后續(xù)可將該方法應(yīng)用于不同類(lèi)型芯片的電路板中進(jìn)行芯片極性的檢測(cè)。