賈正偉，黃海松，張松松

(貴州大學(xué)現(xiàn)代制造技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550025)

0 引言

PCB是目前電子行業(yè)里需求最大的產(chǎn)品，它被應(yīng)用于各個(gè)領(lǐng)域，小到日常使用的手機(jī)、平板、電視，大到國(guó)防科技中的飛機(jī)、航母、導(dǎo)彈，這也使SMT產(chǎn)業(yè)迅速發(fā)展，PCB的種類、形態(tài)和尺寸也變得日新月異[1]。與此同時(shí)，PCB缺陷檢測(cè)技術(shù)也在不斷提升，從最初的人工目檢到激光掃描，再到電氣檢測(cè)法和紅外輻射檢測(cè)，最后到目前最常用的基于機(jī)器視覺(jué)的檢測(cè)技術(shù)，這些檢測(cè)技術(shù)中，基于機(jī)器視覺(jué)的PCB缺陷檢測(cè)技術(shù)具備實(shí)用性高、操作簡(jiǎn)單和檢測(cè)精度高等優(yōu)勢(shì)，因此被90%以上的企業(yè)所使用[2]。

在基于機(jī)器視覺(jué)的缺陷檢測(cè)技術(shù)中，存在著各類算法，他們有一個(gè)共性就是都存在圖像處理技術(shù)，例如圖像色差法(閾值分割)[3]、深度學(xué)習(xí)算法對(duì)樣本圖像進(jìn)行訓(xùn)練和分類[4]、背景減法[5]和模板匹配算法[6]等，其中模板匹配方法在近幾年取得了巨大成功。通過(guò)對(duì)上述技術(shù)的研究，他們都存在一個(gè)共同特點(diǎn)，就是處理的圖像都為二值化圖像，有些直接相機(jī)采集二值化圖像，有些通過(guò)二值化處理得到二值化圖像，最后在對(duì)二值化圖像進(jìn)行圖像處理，其過(guò)程復(fù)雜繁瑣，而且圖像在采集和處理過(guò)程中受外界環(huán)境背景及噪聲的影響較大，獲取的有些二值化圖像根本無(wú)法使用，尤其是深度學(xué)習(xí)方法，不僅需要龐大數(shù)量的樣本圖像進(jìn)行訓(xùn)練，而且只能單獨(dú)訓(xùn)練單一缺陷，工作量大，工程繁瑣，最后很難應(yīng)用于實(shí)際生產(chǎn)，只處于理論試驗(yàn)階段。

在彩色圖像快速模板匹配技術(shù)[7-10]中,將x-y(RGB)空間中模板圖像與每個(gè)目標(biāo)圖像區(qū)域應(yīng)用最佳模板相似度BBM，檢測(cè)目標(biāo)圖像中存在缺陷。這些方法存在操作過(guò)程繁雜、耗時(shí)較長(zhǎng)、精度不高等不足，在PCB工業(yè)生產(chǎn)中應(yīng)用效果不理想。本文為解決上述問(wèn)題提出了一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測(cè)方法，該方法可以抵抗背景雜波和噪聲引起的離群值，快速地完成PCB各類缺陷的檢測(cè)。通過(guò)試驗(yàn)驗(yàn)證了該方法不僅檢測(cè)精度高、實(shí)用性強(qiáng)，而且實(shí)現(xiàn)了多缺陷集中檢測(cè)，大大提升了檢測(cè)效率。

1 基本原理

1.1 檢測(cè)模型

我們所使用的BBM檢測(cè)系統(tǒng)光路圖如圖1所示，使用一臺(tái)CCD工業(yè)相機(jī)在垂直于參考平面上方可以捕獲每個(gè)PCB表面輪廓信息，并同步到PC端。該檢測(cè)系統(tǒng)工作模式簡(jiǎn)單，工件配置簡(jiǎn)單，具有只需要光源、CCD、圖像采集卡和計(jì)算機(jī)的優(yōu)點(diǎn)，大大降低了成本，非常適合用于工業(yè)應(yīng)用[11]。

圖1 BBM檢測(cè)系統(tǒng)模型

在本文實(shí)驗(yàn)過(guò)程中，采用的CCD相機(jī)分辨率為1280×1024，為了獲取無(wú)失真的圖像，將條紋像素設(shè)置為256×256 pixel，掃描頻率為1.64 kHz,增益和光圈設(shè)置在同一水平，將CCD相機(jī)與個(gè)人電腦同步，通過(guò)CCD相機(jī)拍攝的不同PCB圖像將被存儲(chǔ)于電腦用于后續(xù)處理。

1.2 算法基礎(chǔ)

過(guò)去三年，許多用于擴(kuò)展模板匹配來(lái)處理參數(shù)轉(zhuǎn)換的方法被提出[3,12-13,15]，這些方法的基本原理都是模板和查詢區(qū)域之間的一對(duì)一映射，完成底層轉(zhuǎn)換。其匹配過(guò)程就是將模板圖像移動(dòng)到較大源圖像中的所有可能位置，并計(jì)算一個(gè)數(shù)字索引，該索引指示模板在該位置與圖像匹配的程度，如圖2所示。

圖2 圖像匹配過(guò)程

BBM就是一個(gè)雙向匹配措施，具體地說(shuō)，就是點(diǎn)集被用作兩個(gè)圖像之間的相似性度量，其中一個(gè)圖像由一組補(bǔ)丁表示，因?yàn)樗腔赽bp的計(jì)數(shù)規(guī)則，并且只隱式地使用它們的實(shí)際匹配，此外，BBM能夠準(zhǔn)確區(qū)分內(nèi)部值和異常值，這些特性使BBM成為一種更為可靠的檢測(cè)方法[14]。

1.3 算法分析

(1)

(2)

為了理解匹配過(guò)程，以兩個(gè)點(diǎn)集P和Q的簡(jiǎn)單2D情況為例。集是由從兩個(gè)不同的正態(tài)分布N(μ1,∑1)和N(μ2,∑2)中提取的2D點(diǎn)組成，類似地，Q中的點(diǎn)從相同的分布N(μ1,∑1)和不同的分布N(μ3,∑3)中提取。分布N(μ1,∑1)可以看作是前景模型，而N(μ2,∑2)和N(μ3,∑3)是兩種不同的背景模型。

這里定義一個(gè)函數(shù)bbi,j(P,Q)，對(duì)于給定的P和Q，當(dāng)pi和qj彼此最接近時(shí)，該指示函數(shù)等于1，否則為0。這可以用點(diǎn)之間的差異表示，如下所示：

[d(ql,pi)>d(pi,qj)]

(3)

其中,∏是一個(gè)指示函數(shù)，因此，對(duì)于給定的Pi和qj值之間的獨(dú)立性，我們繼續(xù)計(jì)算一對(duì)點(diǎn)在所有可能的P和Q樣本上的期望值，用EBBP表示：

(4)

如上所述，將RGB圖像和TEM板都分解為K×K的不同的補(bǔ)丁，要將BBM應(yīng)用于模板匹配，需要將每個(gè)圖像塊轉(zhuǎn)換為Rd中設(shè)置的點(diǎn)。 為此，我們將該區(qū)域分成k×k個(gè)不同的塊， 每個(gè)k×k色塊由其RGB值和中心像素的xy位置(相對(duì)于色塊坐標(biāo)系)的K2向量表示。BBM模板匹配數(shù)據(jù)示例結(jié)果如圖3所示。

(a) PCB板標(biāo)定 (b) PCB板標(biāo)定

(c) BBM模板匹配PCB板圖3 BBM模板匹配實(shí)示例

計(jì)算兩個(gè)點(diǎn)集P,Q∈Rd之間的最佳伙伴相似度(BBM)，需要計(jì)算每對(duì)點(diǎn)之間的相似性， 即構(gòu)造相似矩陣D，其中[S]i,j=d(pi,qj)， 在給定S的情況下，NN(pj,Q)是S的第i行中的最小元素，同理，NN(qj,P)是S的第j個(gè)列中的最小元素，最后，通過(guò)計(jì)算相互最近鄰居的數(shù)量(除以一個(gè)常數(shù))來(lái)計(jì)算BBM：

(5)

其中，上標(biāo)A表示像素外觀RGB，上標(biāo)L表示像素位置(標(biāo)準(zhǔn)化為[0，1]的色塊內(nèi)的x，y),λ= 2是根據(jù)實(shí)驗(yàn)條件選擇的，并且在后邊的實(shí)驗(yàn)中都是固定的，在這種情況下，根據(jù)公式(5)給出的3D情況，在每個(gè)維度獨(dú)立地進(jìn)行分析，BBM的期望值被每個(gè)維度的期望值的乘積所限制，因此得出：

(6)

綜上所述，本文提出的BBM算法流程如圖4所示。

圖4 BBM算法路程圖

2 標(biāo)準(zhǔn)模板標(biāo)定

基于BBM方法，在1.2節(jié)中給出了全搜索模板匹配的原理，通過(guò)對(duì)匹配區(qū)域的搜索，實(shí)現(xiàn)匹配區(qū)域的檢測(cè)。對(duì)于PCB圖像，我們感興趣的目標(biāo)是圖像的缺陷部分，為了識(shí)別和分析這些目標(biāo)，需要將其提取出來(lái)，本文針對(duì)三種缺陷(引線缺失、元器件破損、焊點(diǎn)漏焊)進(jìn)行標(biāo)定。首先獲取標(biāo)準(zhǔn)PCB圖像，通過(guò)CCD相機(jī)拍攝5張PCB圖像，并對(duì)五組圖像進(jìn)行定位，捕獲的圖像轉(zhuǎn)換為數(shù)字格式，每個(gè)單獨(dú)的像素對(duì)應(yīng)于位置X、Y坐標(biāo)[16]，如圖5所示，本文使用PatMax算法定位某一圖案特征，這里選擇一個(gè)電容器作為定位圖案特征。

圖5 PCB圖像標(biāo)定原理

為了驗(yàn)證定位效果，以及應(yīng)對(duì)在檢測(cè)過(guò)程待檢測(cè)PCB發(fā)生位置偏移而導(dǎo)致的檢測(cè)失敗，在拍攝第二張與第三張圖片時(shí)，分別對(duì)PCB位置做了不同角度放置，定位結(jié)果如圖6所示。

圖6 PatMax定位效果

并報(bào)告所找到圖案的x、y坐標(biāo)、角度和得分，如表1所示。

表1 定位結(jié)果

完成定位后，針對(duì)3種缺陷進(jìn)行關(guān)鍵位置標(biāo)定：

(1)芯片上部17條引線缺陷

對(duì)圖像檢測(cè)區(qū)域中存在的引線數(shù)進(jìn)行BBM模板匹配，報(bào)告匹配引線的得分，如果符合指定的極限范圍，則報(bào)告通過(guò)，在極限范圍外則報(bào)告失敗，標(biāo)定如圖7所示。

(a) PCB引線數(shù)BBM模板匹配圖

(b) 匹配引線得分偏移量曲線圖圖7 PCB引線BBM標(biāo)定

(2)PCB板10焊點(diǎn)檢測(cè)

對(duì)圖像檢測(cè)區(qū)域中存在的焊點(diǎn)數(shù)進(jìn)行BBM模板匹配，報(bào)告匹焊點(diǎn)的得分，如果符合指定的極限范圍，則報(bào)告通過(guò)，若出現(xiàn)漏焊、少焊和破損等情況，則報(bào)告失敗，標(biāo)定如圖8所示。

(a) PCB焊點(diǎn)數(shù)BBM模板匹配圖

(b) 匹配焊點(diǎn)得分偏移量曲線圖圖8 PCB焊點(diǎn)BBM標(biāo)定

(3)PCB板關(guān)鍵元器件檢測(cè)

對(duì)圖像檢測(cè)區(qū)域中關(guān)鍵易缺失的元器件進(jìn)行BBM模板匹配，報(bào)告匹配元器件的得分，如果符合指定的極限范圍，則報(bào)告通過(guò)，如果元器件缺失、破損或種類異常，則匹配失敗，標(biāo)定如圖9所示。

圖9 PCB元器件BBM標(biāo)定

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果

實(shí)驗(yàn)選用表面具有復(fù)雜形狀的PCB待測(cè)件，待測(cè)件被固定在裝置上，實(shí)驗(yàn)測(cè)量系統(tǒng)如圖1所示，光源投射到被檢測(cè)物體表面，待測(cè)件圖案由CCD相機(jī)捕獲。根據(jù)以上標(biāo)定的三類缺陷，對(duì)特征點(diǎn)進(jìn)行BBM精確匹配，以引線匹配為例，如圖10所示，確定搜索區(qū)域，進(jìn)行BBM計(jì)算。

(a) 無(wú)缺陷PCB板 (b) 元器件缺失缺陷PCB板圖10 BBM引線匹配結(jié)果

與圖10相似方法，完成PCB焊點(diǎn)和電子元器件的BBM模板匹配，包括3類缺陷，共28對(duì)P、Q點(diǎn)集，匹配結(jié)果如圖11所示，其中PCB板(圖11a)是無(wú)缺陷的PCB板，經(jīng)過(guò)BBM匹配顯示0個(gè)error，PCB板(圖11b)缺失關(guān)鍵元器件，經(jīng)過(guò)BBM匹配顯示1個(gè)error，PCB板(圖11c)是引線缺失缺陷，經(jīng)過(guò)BBM匹配顯示1個(gè)error，PCB板(圖11d)是焊點(diǎn)缺失缺陷，經(jīng)過(guò)BBM匹配顯示1個(gè)error，PCB板(圖11e)包括漏焊和元器件缺失兩個(gè)缺陷，經(jīng)過(guò)BBM匹配顯示2個(gè)error，PCB板(圖11f)包括漏焊、元器件缺失和引線缺失3個(gè)缺陷，經(jīng)過(guò)BBM匹配顯示3個(gè)error。

為驗(yàn)證其有效性，本文從現(xiàn)場(chǎng)采集200張PCB生產(chǎn)圖片，其中包括20張具有不同類型缺陷的圖片，對(duì)其進(jìn)行BBM模板匹配，分別對(duì)焊點(diǎn)檢測(cè)率、元器件檢測(cè)率、引線檢測(cè)率、誤識(shí)別率、檢測(cè)準(zhǔn)確率和平均耗時(shí)進(jìn)行了統(tǒng)計(jì)，如表2所示。

表2 BBM模板匹配檢測(cè)結(jié)果

從表3、圖11所示的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，BBM彩色圖像快速模板匹配快速完成了PCB各類缺陷的成功檢測(cè)。更重要的是，BBM方法基于彩色圖像進(jìn)行模板匹配，最大程度保留了圖像的真實(shí)性，消除了背景雜波和噪聲引起的離群值，從表2記錄的實(shí)驗(yàn)數(shù)據(jù)可知，本文算法在進(jìn)行PCB板焊點(diǎn)檢測(cè)、引線檢測(cè)和元器件檢測(cè)過(guò)程中，精度幾乎為100%，而且平均耗時(shí)僅為2.325 ms，性能優(yōu)越于目前標(biāo)膠流行的絕大數(shù)算法。

表3 BBM模板匹配PCB缺陷檢測(cè)結(jié)果表

(a)無(wú)缺陷PCB板 (b)元器件缺失缺陷PCB板

(c)引線缺失缺陷PCB板 (d)焊點(diǎn)缺失缺陷PCB板

(e)焊點(diǎn)和元器件 缺失缺陷PCB板 (f)焊點(diǎn)、元器件和引線 缺失缺陷PCB板圖11 BBM模板匹配PCB缺陷檢測(cè)結(jié)果

4 結(jié)論

為解決現(xiàn)有圖像處理算法在PCB工業(yè)應(yīng)用存在的實(shí)施過(guò)于復(fù)雜、缺陷檢測(cè)單一、訓(xùn)練樣本大、檢測(cè)精度低和時(shí)間長(zhǎng)成本高等問(wèn)題。提出一種基于彩色圖像快速模板匹配的PCB多缺陷集中檢測(cè)方法，該方法基于計(jì)算源對(duì)目標(biāo)集合中的點(diǎn)對(duì)進(jìn)行最佳伙伴的配對(duì)，根據(jù)模板點(diǎn)的最佳伙伴對(duì)尋找模板補(bǔ)丁，實(shí)現(xiàn)了同時(shí)一次性完成PCB各類缺陷的檢測(cè)。試驗(yàn)表明，該方法可以快速準(zhǔn)確的完成PCB缺陷板的識(shí)別，比目前流行的深度學(xué)習(xí)方法等，操作方便、耗時(shí)短、精度高等優(yōu)勢(shì)，在PCB工業(yè)生產(chǎn)中取得了成功應(yīng)用，更適用于目前企業(yè)的需求。