廖鑫婷 ， 李泉洲 ， 邱權(quán) ， 徐海 ， 劉振國

（1.工業(yè)和信息化部電子第五研究所， 廣東 廣州 511370；2.工業(yè)裝備質(zhì)量大數(shù)據(jù)工業(yè)和信息化部重點實驗室， 廣東 廣州 511370）

0 引言

隨著當前人工智能、 云計算、 5G 網(wǎng)絡和大數(shù)據(jù)等技術(shù)的快速發(fā)展， 印制電路板（PCB） 作為現(xiàn)代電子信息產(chǎn)品的核心組成部件， 其功能要求不斷地提升[1]。 PCB 的生產(chǎn)過程有覆銅、 蝕刻和鉆孔等各種復雜工藝， 使得其生產(chǎn)質(zhì)量的保障具有一定的難度。 缺陷檢測是PCB 生產(chǎn)制造中一項不可或缺的質(zhì)量控制技術(shù)。 現(xiàn)今PCB 缺陷檢測方法主要有人工目視檢測和基于傳統(tǒng)機器視覺的自動光學檢測[2]。 面對繁重的檢測任務和復雜的檢測環(huán)境，傳統(tǒng)的人工目視檢測具有重復性差、 主觀影響大、勞動強度大、 一致性差、 耗時長、 效率低和成本高等缺點。 傳統(tǒng)機器視覺技術(shù)的自動光學檢測方法，則局限于人工設計特征和復雜圖像處理方法， 增加模型通用化應用難度， 影響其在PCB 生產(chǎn)環(huán)境下的檢測效率[3]。

目前主流的基于機器視覺的PCB 缺陷檢測方法， 根據(jù)是否使用PCB 模板圖像可以分為參考法和非參考法兩類。 參考法借助圖像處理算法， 將PCB 模板圖像與PCB 待測圖像進行像素級別比較。趙翔宇等[4]針對極性錯誤與元器件丟失等缺陷，提出一種基于數(shù)學形態(tài)學與種子填充相結(jié)合的分層提取匹配算法。 該方法首先利用種子填充算法分層提取各類元器件， 然后對其分別進行基于單鏈表的模板分類匹配。 朱寒等[5]將缺陷檢測分為兩個環(huán)節(jié)， 首先， 基于多方向Sobel 算子的改進模板匹配環(huán)節(jié)， 匹配PCB 模板圖像與PCB 待測圖像； 其次， 利用基于圖像差分法的多級二值化檢測法來實現(xiàn)PCB 漏件缺陷檢測。 李文靜等[6]結(jié)合圖像預處理、 圖像分割技術(shù)及模式識別方法檢測漏焊和短路缺陷。 該方法對模板分割圖像和待測分割圖像進行連同區(qū)域提取， 然后根據(jù)預設閾值和連同區(qū)域面積判斷是否存在缺陷。 然而， 參考法嚴重地依賴于PCB 模板圖像， 存在對準困難、 存儲量需求大等問題， 并且在實際復雜的工業(yè)環(huán)境下難以獲取與PCB 模板圖像角度和距離一致的圖片。

非參考法無需借助PCB 模板圖像， 利用傳統(tǒng)機器學習加圖像處理技術(shù)的方式， 檢測PCB 是否存在缺陷。 李云峰等[7]首先利用濾波去噪和圖像分割操作獲得PCB 敷銅層區(qū)域， 然后設計了鄰域梯度方向信息熵作為特征描述子， 并結(jié)合邊緣像素在局部區(qū)域的分布特性， 進行缺陷特征提取和特征向量構(gòu)造， 最后利用支持向量機（SVM） 實現(xiàn)缺陷識別和定位。 Yuk 等[8]先利用SURF 特征提取算法進行特征提取與特征描述， 再結(jié)合加權(quán)核估計技術(shù)和隨機森林算法進行缺陷檢測。 陳壽宏等[9]利用PCB 焊點的形狀和紋理特征參數(shù)及方向梯度直方圖（HOG） 作為特征， 提出一種基于多特征的SVM 多分類缺陷檢測方法， 先對提取到的形狀和紋理特征利用SVM 中最優(yōu)核函數(shù)進行焊點初步缺陷檢測， 對于誤檢的焊點再使用基于HOG 特征的SVM 多分類算法對其進行二次檢測分類， 得到最終分類準確率。 在真實復雜的缺陷檢測工業(yè)環(huán)境中， 該方法存在缺陷特征提取困難、 檢測算法復雜和耗時長等問題。 難以進一步地取得較好的檢測效率。

近年來， 隨著工業(yè)數(shù)據(jù)量的快速增長和計算機運算性能的不斷提升， 深度學習以其強大的表征能力和復雜關(guān)聯(lián)關(guān)系的學習能力在計算機視覺領(lǐng)域取得了卓越的成績[10]。 為了進一步地提升PCB 表面缺陷的檢測效果， 本文對基于深度學習的PCB 缺陷檢測技術(shù)進行了研究， 為PCB 制造過程的相關(guān)檢測技術(shù)提供了重要參考。

1 基于深度學習的缺陷檢測模型

近幾年， 深度學習技術(shù)因其自動提取特征和高效自動學習的能力， 攻克了因傳統(tǒng)方法有限的原始數(shù)據(jù)處理能力而導致的難點。 本文采用YOLOv3 深度學習模型作為PCB 缺陷檢測模型。 YOLOv3 將缺陷檢測任務定義為回歸問題， 省去目標候選框提取操作， 直接利用卷積神經(jīng)網(wǎng)絡在輸入圖像上進行特征提取， 獲得缺陷的位置和類別， 完成端到端的缺陷檢測任務。

YOLOv3 基于YOLOv2， 提出了新的主干特征提取網(wǎng)絡Darknet-53， 在保持速度優(yōu)勢的情況下進一步地提高了檢測精度， 具體如圖1 所示。 圖1 中Conv_BN_L 代表包含卷積Conv、 批量歸一化BN和激活函數(shù)Leaky ReLU 的常規(guī)卷積網(wǎng)絡操作，Residual Block 代表殘差模塊， Concat 為通道維度的特征合并[11]。 Darknet-53 主干特征提取網(wǎng)絡大量地使用ResNet 中的殘差模塊Residual Block， 并省去YOLOv2 中的池化操作， 直接用卷積層中的步長來實現(xiàn)降采樣。 對于預測網(wǎng)絡部分， YOLOv3 引入了多尺度預測的概念， 使其更好地融合了上下文特征信息， 其中預測層數(shù)量增加為3 層， 分別地對應13×13、 26×26、 52×52 這3 個不同尺度的特征圖； 并沿用YOLOv2 中的錨框機制， 利用K-means聚類出錨框的尺寸， 不同的是錨框個數(shù)由5 個增加到9 個， 按照其尺寸大小分到3 個預測層級。 由于Darknet-53 網(wǎng)絡結(jié)構(gòu)的改進和多尺度預測思想的引入等優(yōu)化措施， YOLOv3 檢測性能表現(xiàn)較YOLOv2有顯著的提升。

圖1 YOLOv3 網(wǎng)絡框架圖

2 實驗基礎(chǔ)條件

2.1 實驗環(huán)境與參數(shù)設置

在實驗環(huán)境的選擇上， 本文實驗采用了Ubuntu20.04-64 位操作系統(tǒng)， 型號為Intel Xeon Gold 6242R 的CPU 處理器， 型號為GeForce RTX 3090 的GPU， Python 開發(fā)語言， PyCharm 編譯軟件， PyTorch 深度學習框架為 CUDA11.2 +cuDNN8.0.4 的并行計算架構(gòu)。

為了更好地初始化網(wǎng)絡權(quán)重， 減少訓練時間，以及避免過擬合或欠擬合現(xiàn)象， 我們采用遷移學習加微調(diào)訓練方法。 基于遷移學習原理， 采用基于VOC 數(shù)據(jù)集的模型作為預訓練模型。 在網(wǎng)絡訓練過程中， 網(wǎng)絡輸入大小設為608×608， 優(yōu)化損失函數(shù)采用Adam 優(yōu)化器， 總訓練批次量為100， 每批次大小為8， 初始學習率為0.000 1。

2.2 PCB 缺陷數(shù)據(jù)集

本文實驗采用由北京大學智能機器人開發(fā)實驗室提供的PCB 缺陷數(shù)據(jù)集[12]。 該數(shù)據(jù)集通過工業(yè)攝像機拍攝不同PCB 裸板的圖像后， 均衡不同缺陷種類的數(shù)量再進行修圖， 最后得到每張圖像含若干個同類缺陷的缺陷圖像數(shù)據(jù)集， 主要包含斷路、短路、 缺孔、 鼠咬、 毛刺和殘銅6 類常見的PCB表面缺陷。 數(shù)據(jù)集包含共693 張PCB 缺陷圖像，其平均像素為2 777×2 138。 由于原始數(shù)據(jù)集樣本量較少， 采用裁剪和旋轉(zhuǎn)的數(shù)據(jù)擴充方法對其進行擴充， 并使其統(tǒng)一為608×608 的大小， 在豐富數(shù)據(jù)集的同時一定程度地抑制過擬合。 最終得到包含34 378 張圖像的PCB 表面缺陷數(shù)據(jù)集， 其中每張圖片包含若干個同類表面缺陷。 隨后將其按9∶1的比例均勻地劃分為包含30 940 張圖像的訓練集和包含3 438 張圖像的測試集， 數(shù)據(jù)集細節(jié)如圖2和表1 所示。

圖2 PCB 缺陷種類

表1 PCB 缺陷數(shù)據(jù)集信息

2.3 模型性能評價指標

目前模型常用的性能評價指標主要有精確率（P： Precision）、 召回率（R： Recall）、 F1 得分、某一類別的平均準確率（AP： Average Precision）、多類別的平均準確率 （mAP： mean Average Precison） 和衡量檢測速度的每秒傳輸幀數(shù)（FPS：Frames Per Second）， 具體的計算公式如下：

式（1） - （4） 中： TP——正樣本被正確識別為正確樣本的個數(shù)；

FP——負樣本被錯誤識別為正樣本的個數(shù)；

FN——正樣本被錯誤識別為負樣本的個數(shù)；

C——缺陷類別的個數(shù)。

3 實驗結(jié)果分析

文中通過對比Faster RCNN、 SSD、 YOLOv3和YOLOv4 4 個主流的檢測模型， 驗證深度學習在PCB 缺陷檢測的適用性， 優(yōu)選更加符合檢測的模型。 實驗結(jié)果如表2 所示， 從表2 中可以看出，YOLOv3 取得了最好的檢測精度， 其mAP 達到98.99%， 分別比Faster RCNN、 SSD 和YOLOv4 高39.51%、 0.75%和0.08%。 在檢測速度方面，YOLOv3 同樣具有最快的檢測速度， 其FPS 為71.28， 分別比Faster RCNN、 SSD 和YOLOv4 高23.72、 5.20 和28.29。 實驗對比結(jié)果顯示， 針對PCB 缺陷數(shù)據(jù)集， “一步走” 檢測模型在檢測精度和檢測速度上均比“兩步走” 檢測模型表現(xiàn)更好。 雖然“一步走” 檢測模型的檢測精度差異略小， 但YOLOv3 取得更快的檢測速度。 同時， 由實驗結(jié)果（圖3） 可知， 針對PCB 缺陷種類多、 缺陷微小、 位置隨機、 尺寸不一和數(shù)量任意等特征，YOLOv3 檢測模型可精確地分類與定位， 并均可獲得較高的置信度。 這表明了YOLOv3 均衡精度與速度， 更加符合實際的PCB 實時在線缺陷檢測需求。

表2 不同檢測模型的性能表現(xiàn)

圖3 YOLOv3 的部分檢測結(jié)果圖

4 結(jié)束語

文中針對目前PCB 缺陷檢測算法存在嚴重依賴標準模板、 人工提取特征和成本高等局限性， 提出了基于深度學習的PCB 缺陷檢測方法。 該方法首先對現(xiàn)存的PCB 缺陷數(shù)據(jù)集進行圖像擴充， 再利用不同的主流檢測模型進行檢測性能的實驗對比。 由實驗結(jié)果可知， YOLOv3 檢測模型的mAP 高達98.99%， FPS 為71.28， 滿足PCB 實時在線的檢測需求。 此外， 本研究中的數(shù)據(jù)集僅囊括6 種常見的PCB 缺陷， 后期需要不斷地更新缺陷種類數(shù)量，充分地發(fā)揮深度學習的自主學習和自動提取特征的能力。