李 娜, 王學(xué)影, 胡曉峰, 郭 斌, 羅 哉

(中國計(jì)量大學(xué) 計(jì)量測試工程學(xué)院，浙江 杭州 310018)

1 引 言

在人工智能、機(jī)器人、半導(dǎo)體、航空航天等高新技術(shù)飛速發(fā)展的環(huán)境下,印刷電路板(printed circuit boards, PCB)制造作為高新技術(shù)的基礎(chǔ)產(chǎn)業(yè),在各個高新技術(shù)產(chǎn)業(yè)的發(fā)展中發(fā)揮重要的作用。在PCB上焊接集成電路(integrated circuit, IC)、電容、電阻等元器件之后,才能組裝為電子設(shè)備[1]。PCB板上元器件的焊接質(zhì)量將直接影響產(chǎn)品的性能指標(biāo),尤其貼片IC引腳多、間距小,使得貼片IC的焊接缺陷檢測的難度要高于其他元器件。

傳統(tǒng)的PCB缺陷檢測方法有人工目檢、在線測試和功能測試[2],其中人工目檢容易受到工作人員情緒、經(jīng)驗(yàn)等主觀因素的影響,導(dǎo)致缺陷檢測的準(zhǔn)確率和效率較低;在線測試的主要方式為飛針測試,屬于接觸式測量,在一定程度上,會對電路板造成二次損壞;功能測試基于自動化測試原理,采用各種測試設(shè)備對特定板或特定單元進(jìn)行測試,具有測試速度慢、不支持參數(shù)測量的缺點(diǎn)。

機(jī)器視覺是一種無接觸、無損傷的自動檢測技術(shù)[3],近年來得到了迅速發(fā)展,基于機(jī)器視覺的PCB缺陷檢測備受關(guān)注。Malge P S等[4]提出了一種基于形態(tài)圖像分割算法的PCB缺陷檢測與分類系統(tǒng),能夠檢測短路、開路等多個缺陷;Kumar M等[5]提出了彩色平面提取、LUT變換等圖像增強(qiáng)方法和標(biāo)準(zhǔn)數(shù)據(jù)生成算法完成對PCB的缺陷檢測;Gaidhane V H等[6]提出了一種相似性度量方法,對PCB缺陷進(jìn)行檢測。基于傳統(tǒng)圖像處理和機(jī)器視覺的方法,需要進(jìn)行特征提取、模板匹配等操作,對于不同的PCB板,需要重新建模,耗時且繁瑣。近年來,隨著深度學(xué)習(xí)模型在人臉識別、缺陷檢測、目標(biāo)跟蹤等領(lǐng)域成功應(yīng)用[7～9],基于深度學(xué)習(xí)的PCB缺陷檢測也得到了快速發(fā)展。Ding R等[10]基于Faster R-CNN提出了一種微小的缺陷檢測網(wǎng)絡(luò),提高了PCB缺陷檢測的性能。殷政[11]建立深度卷積網(wǎng)絡(luò),對不同型號的IC引腳焊接缺陷進(jìn)行檢測。李澄非等[12]基于YOLOv4提出了一種PCB缺陷檢測方法,達(dá)到了較高的檢測精度。由于IC引腳小而密集,對其缺陷檢測具有很高的難度,針對這些存在的問題,本文提出改進(jìn)的PP-YOLOv2算法,完成對IC引腳焊接缺陷的檢測。

2 檢測流程

提出改進(jìn)的PP-YOLOv2算法對IC引腳焊接缺陷進(jìn)行檢測,檢測流程圖如圖1所示。

圖1 檢測流程圖Fig.1 Flow chart of detection

對采集到的IC引腳焊接缺陷圖像進(jìn)行標(biāo)注,制作成Pascal VOC格式的數(shù)據(jù)集,劃分訓(xùn)練集、驗(yàn)證集、測試集的比例為6:2:2,將訓(xùn)練集、驗(yàn)證集輸入改進(jìn)的PP-YOLOv2網(wǎng)絡(luò)中進(jìn)行迭代,優(yōu)化網(wǎng)絡(luò)參數(shù),加速網(wǎng)絡(luò)收斂,模型訓(xùn)練完畢之后,使用測試集檢驗(yàn)網(wǎng)絡(luò)對新的缺陷圖像檢測的能力。工業(yè)上要求缺陷檢測的平均準(zhǔn)確率大于95%,如果模型的性能達(dá)到要求,則將模型應(yīng)用到在線檢測系統(tǒng)中,否則,優(yōu)化網(wǎng)絡(luò),繼續(xù)訓(xùn)練。

3 網(wǎng)絡(luò)模型算法

基于深度學(xué)習(xí)的目標(biāo)檢測算法分為:兩階段檢測算法和單階段檢測算法。兩階段目標(biāo)檢測算法將檢測任務(wù)分2個階段,首先找出目標(biāo)的候選區(qū)域,對是否為目標(biāo)做初步判斷;然后再對候選區(qū)域進(jìn)行分類和回歸,對候選區(qū)域的位置進(jìn)行修正,最后輸出目標(biāo)的類別。其代表算法有R-CNN[13],Fast R-CNN[14],Faster R-CNN[15]。單階段目標(biāo)檢測算法沒有候選區(qū)域生成階段,直接輸出物體的類別概率以及位置坐標(biāo)信息,代表算法有YOLO[16]、YOLOv3[17]、SSD[18]等。

本文基于PP-YOLOv2算法對IC引腳焊接缺陷進(jìn)行檢測,為了提高PP-YOLOv2算法對IC引腳焊接缺陷此種小而密集情況的目標(biāo)識別能力,本文在網(wǎng)絡(luò)的特征提取部分后加入注意力機(jī)制SE(squeeze and excitation)模塊,進(jìn)一步提高網(wǎng)絡(luò)特征提取能力。

3.1 改進(jìn)的PP-YOLOv2算法

PP-YOLOv2是Huang X等[19]提出的一種改進(jìn)的基于PaddlePaddle的YOLOv3模型,是基于anchor-based的單階段目標(biāo)檢測算法,網(wǎng)絡(luò)由骨干網(wǎng)絡(luò),檢測頸和檢測頭組成,引入注意力機(jī)制SE模塊的PP-YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2中,骨干網(wǎng)絡(luò)為Resnet50-vd網(wǎng)絡(luò)[20,21],檢測頸為路徑聚合網(wǎng)絡(luò)(path aggregation network,PAN)[22],檢測頭有3種尺度的輸出,SE Block表示注意力機(jī)制[23]。

3.1.1 改進(jìn)后的PP-YOLOv2骨干網(wǎng)絡(luò)

該模型的骨干網(wǎng)絡(luò)采用Resnet50-vd網(wǎng)絡(luò),相比于YOLOv3的骨干網(wǎng)絡(luò)Darknet53網(wǎng)絡(luò),Resnet50-vd可以根據(jù)不同需要適當(dāng)?shù)卦黾泳W(wǎng)絡(luò)分支,具有更強(qiáng)的普適性。IC引腳小且高密度,經(jīng)典的神經(jīng)網(wǎng)絡(luò)在卷積計(jì)算過程中,將目標(biāo)中心像素點(diǎn)與其卷積核矩陣范圍內(nèi)的像素點(diǎn)加入計(jì)算,而IC引腳焊接缺陷的尺寸不一、形狀多變,導(dǎo)致檢測效果不佳。因此,本文在Resnet50-vd網(wǎng)絡(luò)基礎(chǔ)上,用可變卷積層(deformable convolutional networks, DCN)代替了最后一級的3×3卷積層,提升感受野與實(shí)際目標(biāo)缺陷形狀的匹配度。改進(jìn)后的PP-YOLOv2骨干網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)后的骨干網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of the improved backbone network

3.1.2 改進(jìn)后的PP-YOLOv2檢測頸

檢測頸采用PAN,自上而下地聚合特征信息,在特征金字塔網(wǎng)絡(luò)的基礎(chǔ)上添加了自下而上的路徑增強(qiáng)結(jié)構(gòu),增加了跳轉(zhuǎn)連接,將低層特征信息傳遞給高層,利用準(zhǔn)確的低層定位信號增強(qiáng)特征層次,進(jìn)而縮短低層與頂層特征之間的信息路徑。檢測頸PAN結(jié)構(gòu)詳見圖2,PAN中detection block的結(jié)構(gòu)如圖4所示。

圖4 Detection block的結(jié)構(gòu)圖Fig.4 Structure of detection block

圖4中,上一級輸入的特征圖,分為2個部分,一部分通過1×1卷積,另一部分通過多層卷積,再相加,最后經(jīng)過1×1卷積輸出。

3.1.3 改進(jìn)后的PP-YOLOv2檢測頭

改進(jìn)后的PP-YOLOv2的檢測頭由一個3×3卷積層和一個1×1卷積層組成,輸出通道為3×(K+5),其中3表示3種大小的錨框,K表示預(yù)測的類的個數(shù),5表示每個預(yù)測框的4個位置參數(shù)和1個包含物體的概率參數(shù)。

3.1.4 注意力機(jī)制SE模塊

對于卷積神經(jīng)網(wǎng)絡(luò)輸出的H×W×C的特征圖,C是通道,也表示特征的數(shù)量,H和W分別是原始圖片經(jīng)過壓縮后的圖的高度和寬度,改進(jìn)后的PP-YOLOv2在骨干網(wǎng)絡(luò)后加入SE模塊,SE給特征圖中的每個通道,通過神經(jīng)網(wǎng)絡(luò)算出梯度并且前向傳播和后向反饋來學(xué)習(xí)得到不同的權(quán)重,有利于網(wǎng)絡(luò)學(xué)習(xí)各個特征通道之間的關(guān)系,提高網(wǎng)絡(luò)對密集小目標(biāo)的檢測精度。SE結(jié)構(gòu)圖如圖5所示。

圖5 SE結(jié)構(gòu)圖Fig.5 Structure of SE

由圖5可知,SE模塊首先對輸入的特征圖全局平均池化,將輸入的特征圖壓縮成為1×1×C的特征通道向量ZC,計(jì)算公式如下:

(1)

式中:uc表示特征向量。

再使用全連接神經(jīng)網(wǎng)絡(luò)經(jīng)過激活函數(shù)等操作賦予特征通道向量不同的權(quán)重,計(jì)算公式如下:

SC=σ(W2g(W1ZC))

(2)

最后通過乘法逐通道加權(quán)到C個通道上,完成在通道維度上對原始特征的重標(biāo)定,并作為輸出值,計(jì)算公式如下:

(3)

3.2 Mish激活函數(shù)

Mish是自正則的非單調(diào)神經(jīng)激活函數(shù)[24],有助于保持較小的負(fù)值,穩(wěn)定網(wǎng)絡(luò)的梯度流;而且,與其他激活函數(shù)相比,無窮階連續(xù)性和光滑性具有更好的泛化能力,可以提高檢測的精度。因此,本文將Mish激活函數(shù)應(yīng)用于檢測頸部。Mish激活函數(shù)如圖6所示。

定義和求導(dǎo)公式如下:

f(x)=x×tanh(ln(1+ex))

(4)

(5)

式中:x表示輸入;w=4(x+1)+4e2x+e3x+ex(4x+6);δ=2ex+e2x+2。

3.3 損失函數(shù)

改進(jìn)算法的損失函數(shù),包括坐標(biāo)回歸和分類的損失函數(shù),去掉了平滑的L1損失,增加了iou損失和iou感知損失,以適應(yīng)檢測的回歸任務(wù),提高了定位精度。IC引腳焊接缺陷檢測模型的損失函數(shù)可以表示為

floss=λ1fxy loss+λ2fwh loss+λ3fobj loss+λ4fcls loss

+λ5fiou loss+λ6fiou aware loss

(6)

式中:λ1,λ2,…,λ6是權(quán)重參數(shù);fxy loss和fwh loss是坐標(biāo)損失函數(shù);fobj loss是置信度損失函數(shù);fcls loss是類別損失函數(shù);fiou loss是預(yù)測框和真實(shí)框交并比損失函數(shù);fiou aware loss是預(yù)測框和真實(shí)框交并比感知損失函數(shù)。fiou loss和fiou aware loss公式為

(7)

fiou aware loss=-t×log(σ(p))-(1-t)

×log(1-σ(p))

(8)

3.4 評價指標(biāo)

3.4.1 檢測精度

平均精確度(average precision, AP)是對數(shù)據(jù)集中單個類別檢測精度衡量的指標(biāo),平均檢測精度均值(mean average precision, mAP)是對數(shù)據(jù)集中所有類別目標(biāo)的檢測精度衡量的指標(biāo)。mAP是各個缺陷類別的AP的平均值,AP由準(zhǔn)確率-召回率(precision-recall)曲線下覆蓋的面積得到,準(zhǔn)確率、召回率由混淆矩陣計(jì)算得到,混淆矩陣如表1所示。

表1 混淆矩陣Tab.1 Confusion matrix

表1中:TP表示預(yù)測結(jié)果中預(yù)測框被正確預(yù)測為正樣本的個數(shù);FN表示正樣本被錯誤預(yù)測為負(fù)樣本的個數(shù);FP表示負(fù)樣本被錯誤預(yù)測為正樣本的個數(shù);TN表示預(yù)測框被正確預(yù)測為負(fù)樣本的個數(shù)。

(1) 準(zhǔn)確率P又稱查準(zhǔn)率,指分類過程中模型所預(yù)測的所有正樣本內(nèi)預(yù)測正確的比例,其公式為

P=TP/(TP+FP)

(9)

(2) 召回率R又稱查全率,指分類過程中模型預(yù)測正確的正樣本占真實(shí)正樣本的比例,其公式為

R=TP/(TP+FN)

(10)

(3) 以P為縱軸,R為橫軸作圖,得到模型的P-R曲線。計(jì)算P-R曲線與坐標(biāo)軸所圍的面積,即對P-R曲線求積分可得到該類別的平均精度AP,AP值越高表明檢測效果越好。其公式如下:

(11)

式中r表示召回率變量。

(4) mAP是評價模型綜合性能的重要指標(biāo),代表著模型在所有類別目標(biāo)上的平均檢測精度,其公式如下:

(12)

式中:M表示檢測目標(biāo)的種類數(shù);APi為每一類目標(biāo)的平均精度。

3.4.2 檢測速度

每秒幀數(shù)(frame per second, FPS)表示測試樣本總數(shù)與測試樣本進(jìn)行檢測所消耗時間的比值,計(jì)算公式為

FPS=N/T

(13)

式中:N表示測試樣本總數(shù);T表示測試樣本進(jìn)行檢測所消耗的時間。

4 實(shí)驗(yàn)準(zhǔn)備

4.1 圖像采集

本文實(shí)驗(yàn)數(shù)據(jù)由搭建的圖像采集硬件平臺采集得到,計(jì)算機(jī)發(fā)出采集指令,運(yùn)動控制器控制PCB板在軌道上移動,移動到指定位置停止,打開光源,相機(jī)拍攝IC圖像,存入計(jì)算機(jī)。共計(jì)采集1 000幅圖像。

4.2 數(shù)據(jù)增強(qiáng)

當(dāng)訓(xùn)練樣本數(shù)較少時,使用深度學(xué)習(xí)算法容易導(dǎo)致過擬合現(xiàn)象,難以訓(xùn)練出具有好的魯棒性的模型。數(shù)據(jù)增強(qiáng)是一種常見的技術(shù),能夠降低過擬合,訓(xùn)練出具有好的泛化能力的模型,從而更好的對缺陷進(jìn)行識別。因此,本文通過5種數(shù)據(jù)增強(qiáng)方法對IC數(shù)據(jù)樣本進(jìn)行擴(kuò)充,以增強(qiáng)數(shù)據(jù)的豐富性。采用的數(shù)據(jù)增強(qiáng)的方法有:平移、翻轉(zhuǎn)、對比度變換、縮放變換、mosaic數(shù)據(jù)增強(qiáng)。經(jīng)過數(shù)據(jù)增強(qiáng)后共得到1×104幅圖片,并且圖片大小全部Resize為640×640,數(shù)據(jù)增強(qiáng)示例如圖7所示。

圖7 4種數(shù)據(jù)增強(qiáng)方法示例Fig.7 Examples of four data enhancement methods

4.3 數(shù)據(jù)集制作

為了使采集的圖片數(shù)據(jù)在模型訓(xùn)練及測試時更加標(biāo)準(zhǔn),將經(jīng)過數(shù)據(jù)增強(qiáng)后的圖片數(shù)據(jù)制作成Pascal VOC格式的數(shù)據(jù)集。拍攝得到的IC引腳焊接缺陷共有4種,分別為短路(short_circuit)、缺腳(missing_pin)、翹腳(pin_cocked)、少錫(little_tin),選用LabelImg對缺陷進(jìn)行標(biāo)注,標(biāo)注后的每一幅圖片都會生成對應(yīng)xml格式的標(biāo)注文件,該文件包含圖片的名稱及尺寸信息,缺陷名稱及缺陷標(biāo)注框的位置信息等。劃分訓(xùn)練集、驗(yàn)證集、測試集的比例為6:2:2。

5 實(shí)驗(yàn)與分析

5.1 實(shí)驗(yàn)環(huán)境

計(jì)算平臺配置如下:CPU為Intel(R) Core(TM) i7-7700@3.60 GHz;GPU為NVIDIA GeForce GTX 1070;內(nèi)存16 GB;操作系統(tǒng)Win10;深度學(xué)習(xí)框架為PaddlePaddle 2.0.2;CUDA 10.2。

5.2 配置訓(xùn)練參數(shù)

數(shù)據(jù)集共1×104幅,劃分訓(xùn)練集6 000幅,驗(yàn)證集2 000幅,測試集2 000幅。訓(xùn)練集和驗(yàn)證集共計(jì)8 000幅圖片,設(shè)置Batch size為20,則Batch數(shù)為400,輸入圖像尺寸為640×640,初始學(xué)習(xí)率設(shè)置為0.001 25,動量參數(shù)設(shè)置為0.9,整個訓(xùn)練過程分為100個Epoch,則總迭代次數(shù)為4×104次。

PP-YOLOv2使用3個不同尺度的特征圖預(yù)測缺陷,每個尺度的特征圖包含3種預(yù)測信息,因此共有9個anchor參數(shù)。不同數(shù)據(jù)集中目標(biāo)的尺寸和長寬比不同,為了更加準(zhǔn)確地識別本文制作數(shù)據(jù)集中的缺陷,改進(jìn)的算法采用k-means++聚類算法對所有的缺陷框大小聚類,最終得到9個聚類中心,分別為:(18,61), (18,79), (72,20), (59,29), (56,37), (37,58), (50,84), (51,85), (84,60)。

5.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證改進(jìn)后網(wǎng)絡(luò)的性能,在相同的實(shí)驗(yàn)環(huán)境下,應(yīng)用相同的IC引腳焊接缺陷數(shù)據(jù)集分別對YOLOv3算法、PP-YOLOv2算法、改進(jìn)算法網(wǎng)絡(luò)訓(xùn)練100輪,損失值曲線對比如圖8所示。

圖8 3種網(wǎng)絡(luò)訓(xùn)練損失值變化曲線Fig.8 Variation curve of three network training loss values

可見,隨著訓(xùn)練輪數(shù)的增加,3種網(wǎng)絡(luò)的損失函數(shù)曲線整體上均呈下降趨勢。YOLOv3算法損失值曲線有震蕩,PP-YOLOv2算法損失值在訓(xùn)練22輪左右收斂,改進(jìn)算法損失值在訓(xùn)練32輪左右收斂,改進(jìn)算法損失值相比于原始PP-YOLOv2算法來說收斂較慢,這是因?yàn)樵诰W(wǎng)絡(luò)結(jié)構(gòu)中添加了SE模塊,所以增加了計(jì)算量。最終經(jīng)過100輪迭代訓(xùn)練后,YOLOv3算法損失值收斂至0.2,PP-YOLOv2算法損失值收斂至0.1,改進(jìn)算法損失值收斂至0.04,改進(jìn)算法相比其他2種算法的收斂值更小。綜上所述,改進(jìn)算法的損失曲線收斂值最小且趨于穩(wěn)定,比其他2種算法效果更好。

在訓(xùn)練期間每經(jīng)1輪就在驗(yàn)證集上驗(yàn)證模型效果,平均精度曲線對比如圖9所示。

圖9 3種網(wǎng)絡(luò)訓(xùn)練平均精度變化曲線Fig.9 Variation curve of mAP of three network training

圖9顯示,隨著訓(xùn)練輪數(shù)的增加,3種網(wǎng)絡(luò)的平均精度曲線整體上均呈上升趨勢。YOLOv3算法平均精度曲線有波動,經(jīng)過90輪訓(xùn)練后模型mAP達(dá)到最高為82%。PP-YOLOv2算法平均精度曲線經(jīng)過45輪訓(xùn)練后mAP穩(wěn)定在90%左右,經(jīng)66輪訓(xùn)練后模型mAP達(dá)到最高為91%。改進(jìn)算法平均精度曲線在30輪訓(xùn)練后模型的mAP穩(wěn)定在95%左右,經(jīng)49輪訓(xùn)練后模型mAP達(dá)到最高為96%。

分別使用3種模型在IC引腳焊接缺陷測試集上進(jìn)行預(yù)測,性能對比如表2所示。

表2 3種模型檢測性能對比Tab.2 Comparison of detection performance of three models

表2顯示,YOLOv3模型對短路、缺腳、翹腳、少錫4種缺陷的AP差為19.4%,表明模型性能隨著缺陷復(fù)雜度增加大幅降低。PP-YOLOv2模型對4種缺陷的AP差為9.1%,表明模型對于復(fù)雜缺陷的識別能力有所提高。改進(jìn)算法對4種缺陷的AP差為2.1%,各缺陷的平均檢測精度較為均衡,模型性能得到大幅提高。在閾值為0.5的情況下,改進(jìn)模型的mAP達(dá)到96.6%,與YOLOv3、PP-YOLOv2相比,分別提高了14.9%, 5.1%。檢測速度上,改進(jìn)模型的檢測速度遠(yuǎn)快于YOLOv3的檢測速度,改進(jìn)模型比PP-YOLOv2的檢測速度稍慢,原因是SE模塊增加了推理時間,但是其速度在IC質(zhì)檢要求范圍內(nèi)。

分別使用YOLOv3、PP-YOLOv2和改進(jìn)模型對2幅圖片進(jìn)行檢測,檢測結(jié)果如圖10所示。

圖10 3種模型對2張圖片檢測結(jié)果Fig.10 Detection results of three models on two images

3種模型檢測結(jié)果的統(tǒng)計(jì)情況如表3所示。

表3 3種模型對左、右圖檢測結(jié)果Tab.3 Detection results of three models on the left and right images 個數(shù)

由圖10和表3可以看出:改進(jìn)模型較準(zhǔn)確地檢測出了圖中所有的缺陷,而其他兩種模型存在漏檢和錯檢,這說明改進(jìn)算法模型的識別效果更好。

6 結(jié) 論

本文提出一種基于改進(jìn)PP-YOLOv2算法的IC引腳焊接缺陷檢測方法。

1) 針對IC引腳小而密集導(dǎo)致缺陷難以檢測的問題,本文在Resnet50-vd網(wǎng)絡(luò)基礎(chǔ)上,使用可變卷積層DCN,提升了感受野與實(shí)際目標(biāo)缺陷形狀的匹配度。

2) 在骨干網(wǎng)絡(luò)后加入SE模塊,增加了對小目標(biāo)的感知能力,使用Mish激活函數(shù)改善梯度消失的問題,穩(wěn)定了訓(xùn)練過程,進(jìn)而提高了缺陷檢測精度。

3) 使用k-means++聚類算法確定先驗(yàn)框的大小,加快了模型收斂,提升了檢測精度和速度。

改進(jìn)算法mAP達(dá)到了96.6%,與YOLOv3、PP-YOLOv2相比,mAP分別提高了14.9%、5.1%,改進(jìn)算法對單幅圖片的檢測時間僅為0.151 s,遠(yuǎn)快于YOLOv3,比PP-YOLOv2的檢測速度慢。

本研究為IC引腳焊接缺陷檢測提供了新的研究思路和方法,可為小目標(biāo)和密集目標(biāo)的檢測提供理論支持和參考。