王宇航,張凱兵

(1.西安工程大學 電子信息學院,陜西 西安 710048;2.西安工程大學 計算機科學學院,陜西 西安 710048)

隨著科技發(fā)展以及算力的不斷升級,深度學習發(fā)展迅速,目標檢測算法及應用也在不斷成熟,使得工業(yè)制造與生產的水平持續(xù)提升。新興的技術離不開底層硬件的基礎,由于PCB在生產過程中,環(huán)境難以控制,且對生產的條件要求較為苛刻。生產出的PCB會存在缺孔、鼠咬、開路、短路、直刺和雜銅等缺陷。導致生產產品質量不合格,使得某些使用該產品的電子設備出現(xiàn)癱瘓等問題。

傳統(tǒng)的人工檢測[1]難以長時間、高效率地應對PCB的細小缺陷檢測任務,為提高生產效率,控制缺陷檢測成本,如何利用高效且高精度的目標檢測算法檢測PCB中的缺陷已經(jīng)成為研究的熱門。使用計算機視覺技術,如邊緣檢測、輪廓檢測和圖像分割來進行檢測,對于缺陷檢測的發(fā)展十分重要[2-3]。易歡等[4]利用基于HALCON軟件采用一系列的圖像處理方式對PCB進行缺陷檢測。溫悅欣等[5]通過拉普拉斯銳化來對PCB缺陷的特征進行加強,并通過SURF算法實現(xiàn)PCB缺陷檢測。經(jīng)過深度學習的發(fā)展,逐漸將深度學習與缺陷檢測進行結合應用。采用卷積神經(jīng)網(wǎng)絡[6]提取特征,從而對缺陷進行檢測等。具有代表性網(wǎng)的網(wǎng)絡有RNN[7]、FasterR-CNN[8]、YOLOv1[9]、YOLOv3[10]、YOLOv5[11]、YOLOv7[12]等深度學習網(wǎng)絡。蘇佳等[13]利用YOLOv4的網(wǎng)絡框架,在其中加入注意力機制并對PANet結構進行改進,從而提高對特征的提取能力,來解決PCB缺陷檢測問題。王淑青等[14]利用基于YOLOv5的模型框架,采用EfficientNetV2結構來替換原始的主干網(wǎng)絡,針對小目標引入CA注意力機制來解決PCB缺陷檢測問題。

與此同時,研究表明注意力機制可使算法能夠集中關注輸入中的相關信息,以便更好地處理和理解數(shù)據(jù),有效提升檢測準確性[15]。目前較為常見的注意力機制有擠壓-激勵注意力模塊(squeeze-and-excitation,SE)[16]通過引入squeeze操作即全局平均池化層,將每個通道的特征圖壓縮為一個單一的數(shù)值。然后經(jīng)過excitation操作即全連接網(wǎng)絡,生成通道注意力權重。這些權重被應用于原始特征圖,以增強重要的特征并抑制不重要的特征,從而提升網(wǎng)絡性能。瓶頸式注意力模塊(bottleneck attention module,BAM)[17]是一種結合了通道注意力和空間注意力的注意力模塊。通道注意力部分,首先使用全局平均池化來將特征圖的每個通道壓縮成一個單一的數(shù)值。然后通過一層全連接網(wǎng)絡,生成通道注意力權重并應用于原始特征圖的每個通道上,以增強重要的通道信息并抑制不重要的通道?？臻g注意力應用一個特殊的卷積操作來捕捉特征圖中不同空間位置的相關性。通道注意力和空間注意力的聯(lián)合作用可以提升網(wǎng)絡的性能和表達能力。卷積塊注意力模塊(convolutional block attention module,CBAM)[18]由通道注意力和空間注意力組成,通道注意力部分通過全局平均池化將特征圖的每個通道進行壓縮,得到通道級別的表示,通過兩個全連接網(wǎng)絡分支,生成通道注意力權重?？臻g注意力部分旨在捕捉特征圖中不同空間位置的相關性和重要性。它通過使用一維最大池化和一維平均池化操作,分別在水平和垂直方向上對特征圖進行壓縮。然后通過兩個全連接網(wǎng)絡分支,生成空間注意力權重。聯(lián)合通道注意力和空間注意力,CBAM模塊可以自適應地調整不同通道和空間位置的重要性,從而增強網(wǎng)絡對關鍵特征的表示能力,有效提升網(wǎng)絡在各種計算機視覺任務中的性能。

由于單一的YOLOv5網(wǎng)絡檢測速度雖然可觀,但在檢測時由于各種條件原因,檢測環(huán)境往往會出現(xiàn)一些干擾,使得檢測精度往往難以達到工業(yè)化標準。本文基于YOLOv5的BiFormer網(wǎng)絡結構,提出了一種使用融合圖像多尺度特征的注意機制模塊MBiFormer,通過自適應的調整對于被檢測目標中更為關鍵的特征信息,有效增強網(wǎng)絡對于關鍵特征的表示能力,提高了PCB中微小缺陷檢測的準確性。通過實驗對比分析,改進算法有效提升對于PCB檢測的精度,滿足工業(yè)化對PCB缺陷檢測的精度要求。

1 YOLOv5

1.1 YOLOv5總體結構

作為One-Stage檢測方法中代表性算法之一,YOLOv5具有相比于其他Single Shot MultiBox Detector(SSD)[19]、ResNet[20]等二階段方法有著更快的速度,更好的通用性、拓展性,這些特性使得YOLO系列算法的發(fā)展?jié)摿κ志薮?。YOLOv5的網(wǎng)絡結構主要由四個部分即輸入模塊、Backbone主干網(wǎng)絡模塊、Neck網(wǎng)絡模塊以及Head模塊組成。Backbone模塊采用輕量級卷積神經(jīng)網(wǎng)絡結構CSPDarknet53,模塊包含一系列的卷積層和殘差塊,而每個殘差塊由一層卷積層、多個殘差連接和一個跨層連接組成,有效的輸入圖像轉換為一系列特征圖,用于后續(xù)的目標檢測任務;Neck采用了FPN結構,有助于從不同層的特征金字塔中提取信息,且一系列上采樣與融合操作可以生成多尺度的特征,模塊對不同層級的特征進行融合,可以幫助模型在不同大小的目標上實現(xiàn)更好的檢測性能;Head模塊則由多個卷積層與全連接層構成,通過置信度邊界框與候選邊界框重疊面積大小進行最后的篩選完成檢測步驟,Head模塊的多尺度預測策略,可以在不同尺度的特征圖上進行目標檢測,提高檢測的精度。 通過上述結構與模塊的設計,使得YOLOv5可以實現(xiàn)高效目標檢測,有效完成缺陷檢測任務等。在較快速度的同時保持較高準確性,并且,可滿足各種應用如智能監(jiān)控、自動駕駛等,實驗結果表明改進后的YOLOv5可以以較高準確度完成PCB的缺陷檢測任務。

2 方法的提出

2.1 改進YOLOv5總體結構

為了使模型以高精度的方式完成PCB的缺陷檢測任務,本文對YOLOv5模型框架進行了改進。YOLOv5框架模型Backbone骨干網(wǎng)絡仍采用CSPDarknet53結構來對圖像進行初始特征提取,得到三個有效特征層,與特征提取網(wǎng)絡進行特征融合。同時在獲得三層有效特征層后,分別將經(jīng)過多尺度改進后的MBiFormer模塊融入到特征提取之后,有助于解決由于PCB缺陷較小,且難以檢測的特征提取的問題。之后在FPN結構中,通過對不同尺寸的特征層進行融合并進行連續(xù)卷積從而有效提取特征信息。通過上述處理可以有效地提取PCB中較為微小的缺陷,從而針對性的增強PCB微小缺陷的檢測精度。將FPN得到的特征層傳入到PANet結構并自底向上進行融合操作,有效的傳輸強定位信息,通過對強語義信息和強定位信息的相互作用從而有效提高模型對PCB微小缺陷提取的魯棒性,改進后的YOLOv5結構圖如圖1所示。

圖1 改進YOLOv5總體結構

2.2 雙層路由注意力機制

注意力機制(attention mechanism,AM)作為計算模型中的重要組成,首次在Transform[21]中提出。注意力機制模擬量注意力分配,允許網(wǎng)絡專注于它需要關注的地方,以一種即插即用結構的方式,在提高模型性能和解決序列到序列任務方面取得了顯著成功。通過引入查詢向量和注意力權重的方式使得模型根據(jù)輸入的信息動態(tài)的選擇性關注輸入的不同特征,從而有效的提升對于PCB缺陷中的檢測精度,提高了模型性能。Fu等[22]提出了一種雙重注意力網(wǎng)絡DANet,可以自適應地將局部特征與全局依賴性相結合,在傳統(tǒng)的擴張型全卷積網(wǎng)絡之上附加了兩種類型的注意力模塊,分別在空間維度和通道維度上建模語義間的依賴關系。與上述雙重注意力網(wǎng)絡思想十分相似,Zhu等[23]提出了BiFormer注意力機制如圖2所示,一種新的通用視覺Transformer。以一種自適應的方式關注于查詢中一小部分相關的標記,且不被其他不相關的標記干擾,BiFormer具有良好的性能與高計算效率,適用于一些預測任務。

圖2 BiFormer注意力機制結構

雙層路由注意力機制(bi-level routing attention,BRA)是一種動態(tài)的、查詢感知的稀疏注意力機制。其核心思想是在粗粒度的區(qū)域級別上篩選出大部分不相關的鍵值對,只保留小部分經(jīng)過路由的區(qū)域,并在這些路由區(qū)域的并集上應用細粒度的token to token注意力。

BiFormer采用了四階段金字塔結構。在每個階段中,通過重疊的路徑嵌入和路徑合并模塊來處理輸入特征,從而降低空間分辨率并增加通道數(shù)量。然后通過使用連續(xù)的BiFormer塊對特征進行轉換。每個BiFormer塊中,我們首先使用3×3的深度可分離卷積對相對位置信息進行編碼,然后依次應用BRA模塊和2層MLP模塊來建模跨位置關系和生成每個位置的嵌入。

基于上述BiFormer模塊,本文通過融合輸入圖像的多尺度特征,提出了一個有效提升目標提取能力的注意力模塊MBiFormer,有助于有效提高YOLOv5對于小目標缺陷的特征提取能力,從而提高PCB缺陷檢測的準確性。

2.3 改進多尺度輸入的MBiFormer

使用多尺度方法對于PCB缺陷檢測有著十分關鍵的作用,PCB上可能存在不同大小的缺陷,有些缺陷可能較小且細微,而有些可能較大。使用多尺度的提取方法可以捕獲不同尺寸的特征,幫助檢測不同級別的缺陷,特別是對過小尺寸或過大尺寸的缺陷。同時,多尺度方法能夠在不同尺度上進行特征提取和分析,有助于提高缺陷檢測的準確性和魯棒性,增強缺陷的檢測和定位能力,使得模型在不同PCB樣本上都能有較好的表現(xiàn)。

不同尺度的信息包含不同層次的語義信息和空間細節(jié),通過對注意力模塊進行多尺度信息融合,提高模型對于圖像不同尺度的感知能力,使得在PCB缺陷檢測中充分考慮不同尺寸的特征信息,提高檢測全面性和準確性。

Q=XrWq

(1)

K=XrWk

(2)

V=XrWv

(3)

式中:Wq,Wk,Wv為查詢、鍵、值的投影權重。

區(qū)域間路由和有向圖:通過構建一個有向圖,確定每個區(qū)域的關注區(qū)域。通過對Q和K分別進行區(qū)域級平均,得到區(qū)域級查詢和鍵Qr,Kr形狀為(S2×C)。然后通過Qr與轉置Kr的矩陣相乘得到區(qū)域間關聯(lián)圖的鄰接矩陣Ar(形狀為S2×S2)。Ar中的元素表示兩個區(qū)域之間的語義相關性。接下來的關鍵步驟是通過保留每個區(qū)域的前k個連接來處理關聯(lián)圖。具體而言,通過對Ar進行逐行的top-k操作,得到路由索引矩陣Ir(形狀為S2×K),由此可得Ir的第i行包含第i個區(qū)域最相關的k個區(qū)域的索引,如式(4)和(5)所示:

Ar=Qr(Kr)T

(4)

Ir=topkIndex(Ar)

(5)

式中:Ar為區(qū)域間關聯(lián)圖的鄰接矩陣,Ir為路由索引矩陣,topkIndex為以通過返回每行最大值的索引,從而形成一個索引矩陣用于獲取矩陣中每行的前k個最大值為目的的算子。

Kg=gather(K,Ir),Vg=gather(V,Ir)

(6)

O=Attention(Q,Kg,Vg)+LCE(V)

(7)

本文通過對BiFormer進行改進,提出了一種將圖像多尺度特征進行輸入提取并將之在模塊中融合的注意力機制模塊MBiFormer,具體模塊結構如圖3所示。

圖3 圖(a)為MBiFormer Block模塊結構.圖(b)為單個MBiFormer Block圖

MBiFormer模型采用四階金字塔結構進行構建,本文以MBlock作為基本模塊。首先,將圖像分成小塊,將每個小塊轉換為嵌入向量。通過重疊的方式進行這個過程,從而降低輸入的空間分辨率,并且增加通道數(shù)。然后,在二到四階段通過Patch Merging模塊,將塊進行合并,從而進一步降低空間分辨率,增加通道數(shù),進一步使用Ni個連續(xù)的MBiFormer模塊,用來進行特征的變換。

在上述四個階段中使用連續(xù)的Block來轉換特征,每個Block組成如下:輸入經(jīng)過不同卷積的不同尺度圖像特征,用來獲得包含不同層次語義信息與空間細節(jié)的特征。之后,我們使用一個3×3的深度可分離卷積來隱式編碼相對位置信息。經(jīng)過加和融合不同尺度信息的特征并對編碼后的特征圖Xp。通過應用上述介紹的BRA模塊來進行跨位置關系建模。 接收輸入融合圖像不同尺度特征的特征圖Xp,并且輸出經(jīng)過位置關系建模后的特征圖。接著應用雙層MLP模塊,對每個位置進行嵌入。通過對注意力機制模塊MBiFormer在特征提取層的應用,使得模型在提取PCB缺陷的不同深度特征時更加全面,有效提升檢測準確度。

3 實驗部分

3.1 數(shù)據(jù)集及模型訓練細節(jié)

本文以PCB板缺陷檢測為研究對象,所使用的PCB缺陷數(shù)據(jù)集包含6種缺陷分別為:缺孔、鼠咬、開路、短路、雜銅和偽銅。缺孔(Missing hole):制造過程中的錯誤或設計問題導致電路板上應該有孔洞但卻缺失的情況;鼠咬(Mouse bite):加工過程中的機械應力或切割工具導致的電路板上通過孔或焊盤的邊緣出現(xiàn)的圓形或半圓形咬痕或裂紋;開路(Open circuit):連接點松動、線路損壞或焊接問題等原因造成的導電路徑被中斷,電流無法流過的情況;短路(Short):電路中兩個本不應該連接的節(jié)點之間發(fā)生意外的連接,導致電流繞過了預期的路徑;雜銅(Spur):材料或加工問題引起的電路板上出現(xiàn)的不應該存在的突起物或凸起;偽銅(Spurious copper):制造過程中的錯誤、化學反應或污染導致的電路板上不應存在的銅質雜質或未經(jīng)預期的銅導電層;數(shù)據(jù)集共693張圖片,部分數(shù)據(jù)集缺陷如圖4所示,對數(shù)據(jù)集按照訓練集加驗證集和測試集按7:3的比例隨機劃分。

圖4 部分數(shù)據(jù)集

模型訓練過程的初始學習率為0.0025,BatchSize為16。經(jīng)過100次迭代后,學習率調整為0.0001,整個訓練過程的總迭代次數(shù)為300次。

3.2 評價指標

為直觀評估模型性能的指標,本文選用準確率P和召回率R以及平均精度均值作為評價依據(jù),準確率P和召回率R,平均精度AP以及平均精度均值mAP的計算表達式如下:

(8)

(9)

(10)

(11)

3.3 實驗結果與分析

為了更定性、直觀地驗證本文優(yōu)化算法對高密度小目標PCB缺陷的有效性,將優(yōu)化后的算法與YOLOv5s、YOLOv4、以及YOLOv3算法進行比較,得到5種網(wǎng)絡模型各性能指標對比,如表1所示。

表1 5種網(wǎng)絡模型的性能指標對比

改進后算法模型的缺陷混淆矩陣結果如圖5所示,其中各個類別的缺陷檢測效果都較為可觀。其中焊孔缺失、老鼠咬痕、短路、斷路、散雜銅等缺陷預測準確值均達到0.91之上,由于缺陷突起與背景中的一些缺陷十分相似,但也達到0.83的準確率。

圖5 各缺陷混淆矩陣

我們將各種方法識別結果進行對比,可以發(fā)現(xiàn):在識別結果中,我們的方法有較好的表現(xiàn),置信度高的同時識別錯誤較少。部分結果比較如圖6所示,其中紅色框為結果中出現(xiàn)錯誤檢測結果,黃色框為結果中沒有檢測出即漏檢。

圖6 各方法識別結果對比圖

由上述結果可知,對PCB缺陷檢測,在輸入圖像尺寸不變的情況下,本文的優(yōu)化算法提高了模型的平均精度,算法中mAP0.5值為95.8%,分別比YOLOv5s、YOLOv4與YOLOv3高1.3%、2.6%和10.4%;mAP0.5:0.95值為50.2%,分別比YOLOv5s、YOLOv4與YOLOv3高1.4%、8.4%和34.6%,且本文的優(yōu)化算法對6種PCB板缺陷進行檢測,單一類別缺陷檢測精度十分可觀,可以得出改進YOLOv5模型算法對PCB板缺陷的檢測方法有客觀的實用價值。本文通過在YOLOv5的網(wǎng)絡基礎上增加了M-BiFormer模塊,有效提升了YOLOv5對PCB檢測的精度。在實際的工業(yè)生產過程中,可以有效滿足PCB板缺陷檢測的高精度需求。

4 結束語

本文通過對YOLOv5模型進行改進,在網(wǎng)絡結構中增加了MBiFormer模塊,并將其應用于多尺度特征的提取過程。通過高效捕獲不同大小的缺陷,并充分考慮不同尺度的特征信息,提高了檢測的準確性。實驗結果表明,優(yōu)化后的算法在PCB缺陷檢測中表現(xiàn)出較高的準確率和召回率,其平均精度相較于YOLOv5s、YOLOv4和YOLOv3都有著明顯提高。表明本文的優(yōu)化算法在PCB缺陷檢測中取得了顯著的性能改進。本文提出的優(yōu)化算法可以有效改善工業(yè)生產過程,滿足PCB缺陷檢測的高精度需求。通過增加MBiFormer模塊并融合多尺度特征,該算法在PCB缺陷檢測中取得了較好的表現(xiàn),為工業(yè)化標準的實現(xiàn)提供了有力的支持。