廖鑫婷,張 潔,呂盛坪

(1.東華大學 人工智能研究院,上海 201620;2.東華大學 機械工程學院,上海 201620;3.華南農(nóng)業(yè)大學 工程學院, 廣東 廣州 510642)

0 引言

印制電路板(Printed Circuit Board,PCB)作為現(xiàn)代電子產(chǎn)品不可或缺的組成部件,由于受到各種復(fù)雜工序要求、設(shè)備運作狀況、人為因素和環(huán)境因素等影響,在生產(chǎn)制造過程中可能出現(xiàn)毛刺、鼠咬、缺孔、短路、斷路等缺陷[1]。這些缺陷不僅影響整板的美觀與性能表現(xiàn),還可能導(dǎo)致整板的報廢,以至于降低產(chǎn)品合格率和增加生產(chǎn)成本[2]。因此,為了提高PCB產(chǎn)品的質(zhì)量及生產(chǎn)效率,缺陷檢測是印刷電路板生產(chǎn)過程中質(zhì)量控制的基本要求。

PCB缺陷檢測是利用人工目視或機器視覺判斷產(chǎn)品表層是否存在缺陷的技術(shù),主要包括人工檢測法和自動光學檢測法等[3]。自動光學檢測作為一種無損非接觸式的缺陷在線檢測技術(shù),已成為PCB制品質(zhì)量檢測的重要環(huán)節(jié),其核心檢測算法可劃分為傳統(tǒng)機器視覺的檢測算法和基于深度學習的檢測算法[4]?；趥鹘y(tǒng)機器視覺的PCB缺陷檢測算法,往往采用常規(guī)圖像處理算法或人工設(shè)計特征加分類器方式完成缺陷檢測任務(wù),存在標準模板制作繁雜,缺陷特征提取困難,檢測不同型號PCB時需要重新建模等問題[5-8]。

相較之下,基于深度學習的目標檢測算法借助其優(yōu)秀的表征學習能力可以有效地解決這類問題[9]。近年來不少研究學者紛紛將其應(yīng)用于PCB缺陷檢測領(lǐng)域,以突破傳統(tǒng)機器視覺缺陷檢測技術(shù)的瓶頸。ZHANG等[8]針對PCB缺陷檢測中類分布的不平衡以及真實缺陷和偽缺陷的不同錯誤分類成本的問題,在ResNet中添加成本敏感調(diào)整層,根據(jù)不平衡程度為少數(shù)真實缺陷分配了較大的權(quán)值,通并過最小化加權(quán)交叉熵損失函數(shù)來優(yōu)化CS-ResNet檢測網(wǎng)絡(luò)。伍濟鋼等[10]使用改進聚類算法確定錨框,引入MobileNetV3和Inceptionv3分別作為特征提取網(wǎng)絡(luò)和檢測網(wǎng)絡(luò),不僅提升PCB缺陷檢測性能,還有助于現(xiàn)場輕量化移動端的部署。蘇佳等[11]在YOLOv4的基礎(chǔ)上,利用二分K-means算法生成合適的錨框,利用ResNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)減少網(wǎng)絡(luò)參數(shù),并結(jié)合注意力機制、改進PANet結(jié)構(gòu)和H-Swish激活函數(shù)提高準確率。陳博源[12]在PCB缺陷數(shù)據(jù)集上,用數(shù)據(jù)增強、自適應(yīng)錨框設(shè)計、廣義交并比(Generalized Intersection Over Union,GIOU)損失函數(shù)等訓練技巧進行YOLOv5網(wǎng)絡(luò)訓練,以此獲得PCB缺陷智能檢測模型。楊杰等[13]利用密集YOLOv3的PCB缺陷檢測算法,增強網(wǎng)絡(luò)的特征重用,并改進損失函數(shù)解決交并比為零時無法繼續(xù)優(yōu)化的問題。CHEN等[14]提出Transformer-YOLO檢測網(wǎng)絡(luò),改進聚類算法以生成適合PCB缺陷的錨框,并利用Swin Transformer特征提取網(wǎng)絡(luò)有效建立圖像特征之間的關(guān)系。TANG等[15]通過融合K-means++算法、Swin transformer模塊、小目標預(yù)測層、EIoU損失函數(shù)和深度可分離卷積,構(gòu)建PCB-YOLO檢測算法,實現(xiàn)PCB缺陷的檢測效率和實時性的提高?；谏疃葘W習的檢測方法使用感受野較大的深層網(wǎng)絡(luò)結(jié)構(gòu),不斷對輸入圖像進行卷積操作來提高檢測精度。在實際生產(chǎn)中,PCB微小缺陷在圖像中占比小,缺陷位置隨機,并與背景語義信息區(qū)別甚微,因此深層網(wǎng)絡(luò)模型學習到的缺陷特征信息非常薄弱。

現(xiàn)有基于深度學習的PCB微小缺陷檢測存在以下問題:①深層網(wǎng)絡(luò)的大量卷積操作造成PCB微小缺陷關(guān)鍵信息的流失。深層網(wǎng)絡(luò)的卷積操作,雖能在減少參數(shù)量的同時提取特征信息,但對于微小缺陷而言,隨著網(wǎng)絡(luò)層次的增加,深層卷積輸出的特征信息已被壓縮或者丟失;②PCB微小缺陷關(guān)鍵特征信息提取不完善。由于PCB微小缺陷圖像占比小,與背景對比度低,深層網(wǎng)絡(luò)在特征提取過程中,未能有效剔除冗余的背景信息,導(dǎo)致網(wǎng)絡(luò)對微小缺陷信息的敏銳度不強。

為解決上述問題,本文提出基于YOLOv5-Tiny Defect Detection(YOLOv5-TDD)的PCB微小缺陷檢測算法。首先針對深層網(wǎng)絡(luò)的微小缺陷信息丟失的問題,設(shè)計了頸部網(wǎng)絡(luò)結(jié)構(gòu),在原有YOLOv5的基礎(chǔ)上,通過添加更淺層CSPblock1的特征Output1作為輸入,將包含微小缺陷語義信息的更淺層特征融入頸部網(wǎng)絡(luò),并縮短了更淺層特征Output1與小目標檢測分支YOLO Head1距離。其次針對網(wǎng)絡(luò)對微小缺陷信息的敏銳度不強的問題,在YOLOv5-TDD網(wǎng)絡(luò)特征合并節(jié)點中引入10個SE-SiLU注意力機制模塊,對合并前特征圖中微小缺陷信息分配較高的特征權(quán)重,使得有效微小缺陷信息多次重用,提升深層網(wǎng)絡(luò)對微小缺陷的表征學習能力。最后,以PCB_DATASET[16]數(shù)據(jù)集、DeepPCB[17]數(shù)據(jù)集和PCBSDD[18]數(shù)據(jù)集為測試對象,基于本文提出的方法進行不同算法的性能對比實驗分析和優(yōu)化策略的消融實驗分析。

1 YOLOv5-TDD網(wǎng)絡(luò)模型

針對PCB表面缺陷檢測的實時性需求和工程項目部署難度,本文的YOLOv5-TDD模型選用模型參數(shù)量較小的YOLOv5s[19]模型為基礎(chǔ)進行改進,其參數(shù)量和計算量分別是8.32 M和35.85 G。如圖1所示,YOLOv5-TDD模型根據(jù)各部分功能不同分為主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)和預(yù)測網(wǎng)絡(luò)(Prediction)三部分。主干網(wǎng)絡(luò)由Focus模塊、卷積模塊(Conv)、CSP_X模塊和SPPblock模塊組合而成,主要功能是提取輸入圖像的特征信息,并將4個CSPblock提取的特征輸入頸部網(wǎng)絡(luò)。頸部網(wǎng)絡(luò)通過對160×160、80×80、40×40、20×20四種不同尺寸的特征圖,不斷上采樣(Upsampling)、合并(Concatenation)和下采樣進行特征融合,進一步加強不同尺寸的特征信息傳遞。鑒于深層微小缺陷特征信息量少,將尺寸80×80的特征圖作為小目標檢測分支輸入YOLO Head1,并為其分配尺寸為(10,13)、(16,30)和(33,23)的預(yù)設(shè)小錨框;而中目標檢測分支YOLO Head2和大目標檢測分支YOLO Head3則分別以尺寸為40×40和20×20的特征圖作為輸入,以及匹配尺寸為(30,61)(62,45)和(59,119)的預(yù)設(shè)中錨框和尺寸為(116,90)(156,198)和(373,326)的預(yù)設(shè)大錨框。最后,預(yù)測網(wǎng)絡(luò)中3個YOLO Head模塊將前期提取的特征轉(zhuǎn)化為預(yù)測結(jié)果。

1.1 YOLOv5-TDD頸部網(wǎng)絡(luò)結(jié)構(gòu)

在深度學習中,淺特征層相較于深特征層的感受野較小,能夠從像素級別關(guān)注圖像信息,從而使得特征提取網(wǎng)絡(luò)獲得更多的細節(jié)特征,有利于提高圖像中占比小的PCB缺陷檢測的準確率。如圖1和圖2所示,YOLOv5-TDD頸部網(wǎng)絡(luò)結(jié)構(gòu)在原有基礎(chǔ)上,添加更淺層CSPblock1的特征Output1作為輸入,將包含微小缺陷的語義信息的更淺層特征融入頸部網(wǎng)絡(luò),并將微小缺陷信息較豐富的特征Output1與特征Output2融合后的特征Output5作為小目標檢測分支YOLO Head1的輸入,縮短更淺層特征Output1與小目標檢測分支YOLO Head1距離,改善隨著網(wǎng)絡(luò)深度的增加微小缺陷特征信息丟失的問題。Output1特征輸入先與經(jīng)過CSP_X模塊、Conv模塊和上采樣操作的Output2特征融合,再進行CSP_X模塊和Conv模塊操作實現(xiàn)下采樣,并與下層特征融合后的特征進行二次融合,最后再次進行CSP_X模塊作為預(yù)測網(wǎng)絡(luò)小目標檢測分支YOLO Head1的輸入和后續(xù)下采樣的輸入,具體如圖2所示。其中,為了減少網(wǎng)絡(luò)的計算量和深度,此處的CSP_X模塊設(shè)置1個Res unit模塊(n=1),并將殘差邊(shortcut)設(shè)置為False。在圖1和圖2中,自頂向下信息通路的融合操作和自底向上的信息通路的融合操作分別如式(1)和式(2)所示:

圖2 融合不同尺寸淺層特征的小目標檢測分支

f(xi,yi+1)=xi+Upsampling(yi+1),

(1)

g(xi,yi-1)=xi+Downsampling(yi-1)。

(2)

式中,χ和Y為特征層的集合,x∈χ和y∈Y各為一個張量,xi為第i層特征,yi∈Y是第i層的輸出,xi+1為xi的上一層特征,f(·)和g(·)分別是自頂向下通路以及自底向上通路的融合操作符。

1.2 SE-SiLU注意力機制模塊

YOLOv5-TDD在網(wǎng)絡(luò)特征合并節(jié)點中引入10個SE-SiLU注意力機制模塊,對合并前特征圖中微小缺陷信息分配較高的特征權(quán)重,使得有效微小缺陷信息多次重用,抑制無關(guān)的背景特征信息流通,降低微小缺陷有效信息隨著網(wǎng)絡(luò)加深丟失和微小缺陷與背景對比度不高的影響,提升深層網(wǎng)絡(luò)對微小缺陷特征的學習和表達能力。SE-SiLU模塊的整體流程如圖3所示,鑒于壓縮和抑制(Squeeze and Excitation, SE)結(jié)構(gòu)的思想,利用全局平均池化(AvgPool)對輸入特征圖的信息進行壓縮,再通過兩個全連接層(Linear)和SiLU激活函數(shù)組成的多層感知機(Multi-Layer Perception,MLP)進行特征提取,再利用Sigmoid函數(shù)進行歸一化后得到不同通道的權(quán)重值,最后結(jié)合權(quán)重值對輸入特征圖進行特征放大和抑制操作,提升網(wǎng)絡(luò)對PCB微小缺陷特征的選擇能力,該過程可用式(3)表示。其中,SiLU激活函數(shù),相較于原ReLU激活函數(shù),具有其無上界有下界、平滑、非單調(diào)的特性,可改善深層網(wǎng)絡(luò)訓練效果和性能表現(xiàn),具體表達式和曲線圖分別如式(4)和圖4所示。

圖3 SE-SiLU模塊

圖4 SiLU函數(shù)曲線

(3)

式中,輸入特征圖F∈RH×W×C,H、W、C分別為輸入特征圖F的高、寬和通道數(shù),fx0(i0,j0)表示輸入特征圖F的第x0通道中坐標為(i0,j0)點的像素值,?表示兩個矩陣對應(yīng)元素相乘。

(4)

2 PCB缺陷圖像數(shù)據(jù)集

2.1 PCB_DATASET數(shù)據(jù)集

PCB_DATASET數(shù)據(jù)集是由北京大學智能機器人開放實驗室通過工業(yè)攝像機拍攝不同PCB裸板的圖像后,均衡不同缺陷種類的數(shù)量進行修圖,最后得到每張圖像含若干個同類缺陷的缺陷圖像數(shù)據(jù)集,主要包含缺孔、鼠咬、斷路、短路、毛刺、殘銅6類常見的PCB表面缺陷[16]。PCB_DATASET數(shù)據(jù)集作為實驗的數(shù)據(jù)集,共693張缺陷圖像,其平均像素為2777×2138。

由于原始數(shù)據(jù)集樣本量較少,本文采用隨機裁剪、圖像旋轉(zhuǎn)和亮度變化進行數(shù)據(jù)集擴充。隨機裁剪通過用鼠標點擊定位為操作的中心,得到不同大小的圖像。圖像旋轉(zhuǎn)則使圖像以90°、180°和270°的角度旋轉(zhuǎn),從而可以獲得相同缺陷的4個不同角度。亮度變化指定亮度值,調(diào)整原始圖像的亮度。旋轉(zhuǎn)和隨機剪切圖像有助于檢測性能和魯棒性的提高;亮度變化模擬了不同環(huán)境照明的亮度偏差,提高了模型對不同照明的適應(yīng)性[20-21]。此外,將所有圖像的大小調(diào)整為640×640像素,最終獲得9037張圖像,各缺陷類別的圖像數(shù)量如表1所示。最后,每個圖像的表面缺陷由LabelImg標注,并以PASCAL VOC格式存儲,并將數(shù)據(jù)集按9∶1的比例,隨機劃分為訓練集和測試集。

表1 PCB_DATASET詳細信息

2.2 DeepPCB數(shù)據(jù)集

DeepPCB數(shù)據(jù)集是由上海交通大學圖像處理與模式識別研究所公開的PCB缺陷數(shù)據(jù)集。如表2所示,該數(shù)據(jù)集包含1500張殘銅(copper)、鼠咬(mousebite)、斷路(open)、針孔(pin-hole)、短路(short)和毛刺(spur)6類PCB缺陷圖像,并且每張缺陷圖像包含若干個不同種類缺陷[17]。雖然PCB_DATASET數(shù)據(jù)集與DeepPCB數(shù)據(jù)集的缺陷類型相似,但是兩數(shù)據(jù)集中PCB圖像背景區(qū)別較大、圖像顏色不同,并且前者每張圖像中僅包含一種類型缺陷的多個目標,而后者圖像中則包含多種類型缺陷的多個目標。由于該數(shù)據(jù)集已包含缺陷圖像和缺陷標注文件,本文僅將其按照9∶1的比例劃分訓練集和測試集,以便后續(xù)PCB缺陷檢測模型的訓練與驗證。

表2 DeepPCB詳細信息

2.3 PCBSDD數(shù)據(jù)集

PCBSDD數(shù)據(jù)集是在PCB企業(yè)生產(chǎn)車間采集的常見PCB表面缺陷數(shù)據(jù)集,并進行數(shù)據(jù)集擴充和LabelImg表面缺陷標注。如表3所示,該數(shù)據(jù)集包含的缺陷與前兩個數(shù)據(jù)集不同,主要包含線路不良、雜物、劃傷、補線不良、孔損、補油超標6類常見的PCB表面缺陷,共19029張圖像[18]。為了方便驗證模型性能,將其按9:1的比例隨機劃分為包含17126張圖像的訓練集和包含1903張圖像的測試集。

表3 PCBSDD詳細信息

3 實驗與分析

3.1 性能評價指標

目前目標檢測模型常用的性能評價指標主要有精確率(P)、召回率(R)、F1得分,某一類別的平均準確率(AP)和多類別的平均準確率(mAP)等[22]。在計算各性能評價指標前,需設(shè)定IoU(交并比)判定閾值T(一般設(shè)T=0.5)及計算IoU。在圖5中,實線矩形框A為預(yù)測框,虛線矩形框B為真實框,網(wǎng)格陰影區(qū)域C為它們的重疊區(qū)域,C區(qū)域面積與A、B區(qū)域并集面積之比則為IoU,具體公式如式(5):

(5)

圖5 預(yù)測框與真實框示意圖

假設(shè)某個預(yù)測框IoU得分大于閾值T,則該預(yù)測框被劃分為真正例TP,而那些IoU得分小于閾值T的預(yù)測框和不包含目標的預(yù)測框為假正例FP,真實目標總數(shù)為N,則召回率R、精確率P和F1得分計算方法為:

(6)

(7)

(8)

AP為P-R曲線下方區(qū)域的面積,其中該曲線展示不同閾值對應(yīng)的P與R。mAP是多個類別AP的平均值,mAP的大小一定在[0,1]區(qū)間,且越大越好。

3.2 實驗環(huán)境及參數(shù)設(shè)置

在實驗環(huán)境的選擇上,本文實驗采用了Ubuntu18.04-64位操作系統(tǒng),型號為Tesla V100的顯卡,Python開發(fā)語言,Visual Studio Code編譯軟件,PyTorch深度學習框架,并行計算架構(gòu)是CUDA11.0+cuDNN8.0.5。

為了減少網(wǎng)絡(luò)訓練時間以及避免網(wǎng)絡(luò)過擬合或欠擬合現(xiàn)象,采用遷移學習加微調(diào)訓練方法[23]?；谶w移學習原理,采用基于VOC數(shù)據(jù)集的模型作為預(yù)訓練模型,用于主干網(wǎng)絡(luò)的參數(shù)初始化。在前50訓練世代內(nèi),首先凍結(jié)主干網(wǎng)絡(luò)的參數(shù),對其余部分進行訓練和參數(shù)更新;然后在后50訓練世代內(nèi),解凍主干網(wǎng)絡(luò)的參數(shù),對整個網(wǎng)絡(luò)的參數(shù)進行更新。訓練網(wǎng)絡(luò)時,網(wǎng)絡(luò)輸入大小為640×640,優(yōu)化損失函數(shù)采用SGD優(yōu)化器,前50世代的批大小(batch size)為16,初始學習率為0.001,后50世代的batch size為8,初始學習率為0.0001。

3.3 不同數(shù)據(jù)集的對比實驗

由于PCB缺陷形態(tài)和種類多樣,本文采用PCB_DATASET、DeepPCB和PCBSDD三種PCB缺陷數(shù)據(jù)集進行YOLOv5-TDD和YOLOv5算法的性能對比實驗分析。如表4所示,針對PCB_DATASET的PCB微小缺陷,YOLOv5-TDD的檢測速度略低于YOLOv5,但其檢測精度為99.12%,比YOLOv5提高了3.54%,每類缺陷的檢測精度提升了0.13%～5.28%。針對DeepPCB數(shù)據(jù)集的檢測結(jié)果如表5所示,YOLOv5-TDD的檢測精度不僅比YOLOv5提高了3.93%,檢測速度FPS略高于YOLOv5,其中鼠咬、斷路和毛刺的檢測精度提升顯著,分別提升了3.88%、3.43%和4.93%。由表6可知,在PCBSDD數(shù)據(jù)集的檢測任務(wù)中,YOLOv5-TDD比YOLOv5的檢測性能率高,檢測精度達到了98.87%,并且針對劃傷這類形態(tài)纖細、與背景對比度小的缺陷,檢測精度提高了5.45%。綜上所述,在PCB微小缺陷檢測任務(wù)中,YOLOv5-TDD比YOLOv5檢測性能表現(xiàn)更佳,從而驗證了YOLOv5-TDD比YOLOv5對PCB微小缺陷的網(wǎng)絡(luò)表征學習能力更強。

表4 PCB_DATASET數(shù)據(jù)集的不同算法性能指標結(jié)果

表5 DeepPCB數(shù)據(jù)集的不同算法性能指標結(jié)果

表6 PCBSDD數(shù)據(jù)集的不同算法性能指標結(jié)果

3.4 優(yōu)化策略的消融實驗

為驗證優(yōu)化策略的有效性,利用PCB_DATASET數(shù)據(jù)集,對YOLOv5、YOLOv5+改進頸部網(wǎng)絡(luò)、YOLOv5+SE、YOLOv5+SE-SiLU和YOLOv5-TDD五種算法進行消融實驗分析。

3.4.1 模型訓練過程分析

由不同算法的訓練損失曲線(圖6a)可知,YOLOv5-TDD的訓練損失曲線,隨著訓練世代的增加,曲線斜率逐漸減小,并從第4個世代開始,訓練損失值均較小于其他算法,證明加入優(yōu)化策略后的檢測算法的訓練效果優(yōu)于其他算法。其次,如圖6b所示,利用不同Epoch訓練得到的權(quán)重進行檢測精度驗證時,YOLOv5-TDD從第4個世代開始,檢測精度均較高于其他算法,表明優(yōu)化策略使得檢測算法不但獲取更低的訓練損失值,而且在微小缺陷的檢測任務(wù)中得到更高的檢測精度。

圖6 不同優(yōu)化策略模型的訓練過程分析

3.4.2 模型P-R曲線分析

如圖7所示為不同算法對測試集進行測試后,得到的6個微小缺陷的P-R曲線。YOLOv5-TDD的每類PCB缺陷P-R曲線完全包絡(luò)了其他算法曲線,這說明YOLOv5- TDD獲得的每類微小缺陷檢測精度都優(yōu)于其他算法。相較于YOLOv5算法獲得的P-R曲線,YOLOv5+改進頸部網(wǎng)絡(luò)算法在殘銅缺陷檢測任務(wù)中獲得的P-R曲線波動較大,而YOLOv5+SE算法在缺孔、斷路和短路缺陷檢測任務(wù)中獲得的P-R曲線波動較大。YOLOv5-TDD通過同時優(yōu)化頸部網(wǎng)絡(luò)和引入SE-SiLU注意力機制模塊,改善利用單一優(yōu)化策略時個別微小缺陷的P-R曲線波動較大和曲線包絡(luò)面積小的問題。

圖7 不同缺陷類型的P-R曲線

3.4.3 模型性能和熱力圖分析

由表7不同算法的性能指標結(jié)果可知,YOLOv5-TDD的平均精度(mAP)為99.12%,比YOLOv5的檢測精度高了3.54%,F1值、不同缺陷種類的平均召回率(mR)和不同缺陷種類的平均精確率(mP)分別提高了0.06、9.28%和1.66%,同時檢測速度FPS與其接近,驗證了YOLOv5-TDD優(yōu)化策略的有效性。此外,頸部網(wǎng)絡(luò)的優(yōu)化策略,通過增加更淺層特征融合分支,避免包含更豐富的微小缺陷特征信息丟失于深層網(wǎng)絡(luò)中,顯著提升了斷路、短路和殘銅缺陷的檢測精度,而SE-SiLU注意力機制模塊的優(yōu)化策略,自適應(yīng)增加和減少有用的特征信息和冗余的背景信息,顯著提升了鼠咬和毛刺缺陷的檢測精度,兩種優(yōu)化策略相輔相成。

表7 消融實驗的不同性能指標結(jié)果

此外,如圖8所示,本文通過熱力圖可視化對比不同優(yōu)化策略對斷路缺陷特征的空間響應(yīng),其中顏色由藍到紅表示激活值逐漸變大。由YOLOv5算法得到的熱力圖可知,該算法不但未能識別出全部缺陷,而且在缺陷以外的部分局部區(qū)域仍能獲取到網(wǎng)絡(luò)的關(guān)注度,而利用優(yōu)化策略的算法既能精準識別出全部缺陷,還能剔除缺陷以外的背景信息干擾。值得注意的是YOLOv5-TDD算法通過疊加優(yōu)化策略,在取得上述效果的基礎(chǔ)上,熱力圖中缺陷部分均為紅色,表明網(wǎng)絡(luò)對缺陷區(qū)域的關(guān)注度明顯增加。

圖8 斷路缺陷特征可視化對比

3.5 不同檢測算法的對比實驗

在相同的實驗環(huán)境下,采用Faster-RCNN[24]、YOLOv3[25]、Efficiendet[26]、Centernet[27]、YOLOv4[28]、YOLOX[29]六種目標檢測算法與YOLOv5-TDD進行性能上的對比實驗,其實驗結(jié)果如表8所示。相比于其他目標檢測算法,YOLOv5-TDD算法的mAP值為99.12%,比Faster-RCNN的mAP值高34.40%,比YOLOv3高5.07%,比Efficiendet高4.16%,比Centernet高1.12%,比YOLOv4高5.89%,比YOLOX高0.79%;在檢測速度方面YOLOv5-TDD獲得的FPS為40.92,比Faster-RCNN高26.41,比YOLOv3高10.03,比Efficiendet高26.53,比Centernet高2.09,比YOLOv4高12.42,比YOLOX高0.57。由圖9的對比結(jié)果可知,YOLOv5-TDD不僅成功識別5個斷路缺陷并獲取較高的置信度,而且能精準定位5個斷路缺陷位置,而其他算法對于斷路缺陷檢測,缺陷個數(shù)、位置和置信度等檢測結(jié)果都欠佳。

表8 常用目標檢測算法的不同性能指標結(jié)果

圖9 不同算法斷路缺陷檢測結(jié)果

此外,將YOLOv5-TDD與針對PCB_DATASET數(shù)據(jù)集的TDD-net[16]、MMDetection[30]、YOLOv4-W[10]、YOLO-J[11]、YOLOv5-C[12]和密集YOLOv3[13]算法進行檢測精度對比分析。由于算法使用的硬件環(huán)境、訓練數(shù)據(jù)集、訓練參數(shù)和訓練技巧均對模型性能有一定的影響,因此不同算法之間的檢測精度差距略有差異。如表9所示,YOLOv5-TDD算法的mAP值比TDD-net高0.22%,比MMDetection高54.82%,比YOLOv4-W高0.02%,比密集YOLOv3高15.12%,比YOLO-J高0.10%,比YOLOv5-C略低0.40%。其中,MMDetection由于著重實現(xiàn)端到端的輕量化檢測模型,并且網(wǎng)絡(luò)修改沒有合適的預(yù)訓練模型,并未使用遷移學習的訓練策略,一定程度上影響PCB缺陷檢測性能。此外,本文YOLOv5-TDD的參數(shù)量和計算量比YOLOv5-C分別減少80%和64%,故YOLOv5-TDD檢測性能不但接近YOLOv5-C,而且網(wǎng)絡(luò)復(fù)雜度顯著降低。由上述分析可知,與其他不同檢測算法相比,本文提出的YOLOv5-TDD在相同PCB微小缺陷檢測場景中有較高的檢測精度,較好地滿足了PCB微小缺陷檢測需求。

表9 不同PCB缺陷檢測算法檢測精度結(jié)果

3.6 錨框機制的工業(yè)有效性分析

由于PCB缺陷具有種類多樣、尺寸跨度大、長寬比大等特點,利用DeepPCB數(shù)據(jù)集和PCBSDD數(shù)據(jù)集,分析YOLOv5-TDD錨框機制的工業(yè)有效性,進一步驗證YOLOv5-TDD的檢測性能。YOLOv5-TDD不但通過優(yōu)化策略提高PCB微小缺陷信息網(wǎng)絡(luò)流通效率,而且沿用YOLOv5的錨框機制,選取3個不同尺寸的特征圖進行不同尺寸范圍的PCB缺陷目標檢測,對每個特征點預(yù)設(shè)不同尺寸的錨框,并利用檢測頭(YOLO Head)選擇合適的錨框計算損失,最后利用非極大值抑制進行冗余錨框篩選。在圖10不同尺寸缺陷的錨框檢測效果對比圖中,第一行為YOLOv5-TDD在DeepPCB數(shù)據(jù)集獲取的檢測結(jié)果圖,第二行為YOLOv5-TDD在PCBSDD數(shù)據(jù)集獲取的檢測結(jié)果圖。如圖10所示,YOLOv5-TDD不但能在斷路、毛刺、針孔等微小缺陷檢測任務(wù)中具有較好的檢測性能,而且針對與微小缺陷尺寸跨度較大的線路不良和雜物缺陷,以及長寬比大的劃傷和補線不良缺陷,同樣能定位精確和獲取較高的置信度。這表明YOLOv5-TDD的錨框機制,面對實際PCB工業(yè)缺陷檢測任務(wù),能保證尺寸不一的PCB缺陷檢測性能。

圖10 不同尺寸缺陷的錨框檢測效果對比圖

4 結(jié)束語

針對由于微小缺陷圖像占比小,與背景對比度低,導(dǎo)致的微小缺陷特征信息在深度網(wǎng)絡(luò)容易丟失和特征提取不充分的問題,本文提出了融合淺層特征和注意力機制的YOLOv5-TDD檢測算法,并通過3種PCB缺陷數(shù)據(jù)集進行實驗驗證:

(1)在提高微小缺陷特征信息的網(wǎng)絡(luò)流動效率方面,在頸部網(wǎng)絡(luò)中添加更淺層特征融合分支,將斷路、短路和殘銅缺陷的檢測精度分別提升至97.68%、96.10%和99.01%,實現(xiàn)微小缺陷特征信息流在網(wǎng)絡(luò)中的二次流通,降低有效信息在深度網(wǎng)絡(luò)中流失的風險。

(2)在提高微小缺陷與背景的對比度方面,在網(wǎng)絡(luò)中嵌入10個SE-SiLU注意力機制模塊,將缺孔、鼠咬和毛刺缺陷的檢測精度分別提升至100.00%、99.12%和98.85%,有效抑制冗余的背景信息抓取網(wǎng)絡(luò)關(guān)注度的可能性,使得模型能夠?qū)Ｗ⒂趯W習缺陷信息特征。

(3)本文方法針對PCB_DATASET公開數(shù)據(jù)集、DeepPCB數(shù)據(jù)集和PCBSDD數(shù)據(jù)集,檢測精度mAP分別獲得99.12%、97.63%和98.87%,與其他算法相比具有一定的優(yōu)越性,并且得益于其錨框機制,YOLOv5-TDD算法對于尺寸跨度大和長寬比較大的PCB缺陷仍能獲取較高的檢測精度。

下一步的研究工作,考慮在本文PCB微小缺陷檢測算法的基礎(chǔ)上,進一步研究不同對象的微小目標檢測,優(yōu)化模型在微小目標檢測任務(wù)中的泛化能力,提高模型的任務(wù)可移植性。