郭偉峰,趙 倩

(上海電力大學(xué)電子與信息工程學(xué)院,上海 200120)

0 引言

目前,芯片缺陷檢測(cè)任務(wù)逐步向智能化、自動(dòng)化發(fā)展。楊桂華等[1]采用形狀匹配和一維測(cè)量算法實(shí)現(xiàn)已封裝芯片的引腳定位和缺陷檢測(cè);魏鴻磊等[2]通過模板匹配的方法定位待檢芯片的位置,并通過形態(tài)學(xué)的異或運(yùn)算求解芯片的載帶缺陷。以上方法要求本地匹配模板盡可能覆蓋芯片的缺陷情況,否則難以提高算法的泛化能力。近年來,以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)為代表的深度學(xué)習(xí)檢測(cè)算法逐步替代傳統(tǒng)自動(dòng)化檢測(cè),為缺陷檢測(cè)提供了新的實(shí)現(xiàn)方案,如鋼軌表面缺陷檢測(cè)[3]、汽車輪轂表面缺陷檢測(cè)[4]、電力設(shè)備表面缺陷檢測(cè)[5]等。目前主流目標(biāo)檢測(cè)方法分為單階段和兩階段兩類。單階段方法通過把檢測(cè)對(duì)象的識(shí)別和定位任務(wù)在同一個(gè)無分支的深度卷積網(wǎng)絡(luò)中實(shí)現(xiàn),使網(wǎng)絡(luò)結(jié)構(gòu)變得簡(jiǎn)單[6],從而實(shí)現(xiàn)端到端的快速檢測(cè),其代表算法有YOLO[7](you only look once)系列和SSD[8](single shot detector)系列。兩階段檢測(cè)方法首先通過區(qū)域建議網(wǎng)絡(luò)RPN(region proposal network)在待檢圖像上生成建議框,再對(duì)候選區(qū)域進(jìn)行分類和位置的回歸[9],實(shí)現(xiàn)更精確的識(shí)別效果,其代表算法有Faster RCNN[10](region convolutional neural network)系列。相較于傳統(tǒng)檢測(cè)算法而言,基于深度學(xué)習(xí)的檢測(cè)算法可以學(xué)習(xí)高維的目標(biāo)特征,無需針對(duì)不同目標(biāo)手動(dòng)設(shè)計(jì)分類過程,極大簡(jiǎn)化了檢測(cè)的流程,因此基于深度學(xué)習(xí)的芯片缺陷檢測(cè)研究逐漸成為熱點(diǎn)。周天宇等[11]提出輕量化檢測(cè)網(wǎng)絡(luò)YOLO-Efficient,通過引入通道注意力機(jī)制,實(shí)現(xiàn)了對(duì)載波芯片缺陷的實(shí)時(shí)檢測(cè)。李可等[12]提出一種改進(jìn)U-Net的檢測(cè)算法,該算法引入空間注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)的位置信息提取能力,提高芯片X線圖像焊縫氣泡的缺陷檢測(cè)精度。羅月童等[13]提出了一種無監(jiān)督學(xué)習(xí)的檢測(cè)方案,該方案將芯片的表面缺陷視為噪聲,通過卷積去噪自編碼器重構(gòu)原始圖像,避免了大量的人工數(shù)據(jù)標(biāo)注過程。上述研究雖然從不同角度實(shí)現(xiàn)了芯片的缺陷檢測(cè),但是并未解決形狀不規(guī)則的缺陷分類效果差的問題。因此,對(duì)于芯片表面缺陷的多尺度實(shí)時(shí)檢測(cè)研究是至關(guān)重要的。本文采用YOLOv5網(wǎng)絡(luò)作為主要框架,該框架通過特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)[14]網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)(path aggregation network,PAN)[15]特征金字塔融合網(wǎng)絡(luò)提高特征利用效率,并將3個(gè)融合分支并行送入預(yù)測(cè)層,實(shí)現(xiàn)端到端的多尺度目標(biāo)檢測(cè),是目前最好的單階段檢測(cè)網(wǎng)絡(luò)。

針對(duì)芯片表面存在的缺陷尺度變化大、單類特征共性低、缺陷小目標(biāo)漏檢問題,本文對(duì)YOLOv5檢測(cè)網(wǎng)絡(luò)進(jìn)行針對(duì)性改進(jìn)。首先,提出一種邊緣信息的數(shù)據(jù)增強(qiáng)策略,通過Canny邊緣檢測(cè)算子提取待檢圖片的邊緣特征,并通過霍夫變換清除水平與豎直的背景走線,增強(qiáng)數(shù)據(jù)中不規(guī)則目標(biāo)的信息;其次,提出多尺度空間感知池化層,通過感知因子動(dòng)態(tài)調(diào)整不同卷積核對(duì)缺陷的響應(yīng)權(quán)重,自適應(yīng)地提高網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的響應(yīng);接著,引入RFB模塊與ConvNext模塊,加強(qiáng)網(wǎng)絡(luò)的高維特征提取能力;最后,提出基于置信度的難分樣本重檢策略,該策略將低置信度的錯(cuò)分樣本送入輕量級(jí)子分類器二次分類,提高模型的整體分類精度。實(shí)驗(yàn)結(jié)果表明:改進(jìn)后網(wǎng)絡(luò)的準(zhǔn)確率為93.1%,召回率為91.2%,平均精度為95.5%,相較于原YOLOv5網(wǎng)絡(luò)分別提高了3.3%、3.0%、3.4%。此外,該算法對(duì)多尺度缺陷的識(shí)別精度更高、對(duì)難分缺陷的分類效果更好。

1 芯片表面缺陷數(shù)據(jù)集與預(yù)處理

1.1 芯片表面缺陷數(shù)據(jù)集

本文采用芯片表面缺陷數(shù)據(jù)集(chip defect dataset,CDD),該數(shù)據(jù)集共包含5 750張由顯微鏡采集的芯片表面缺陷圖,實(shí)際分辨率為512×512。實(shí)驗(yàn)以9∶1的比例劃分訓(xùn)練集和測(cè)試集,其中了包含11種常見表面缺陷,包括:器件缺損(incomp)、器件劃損(scrach)、異物(foreign)、 藥液殘留(res)、金屬物殘留(gold)、凹陷凸起(lump)、漏刻蝕(UBM)和4種類型原料不良(Raw Ⅰ、Raw Ⅱ、Raw Ⅲ、Raw Ⅳ),涵蓋了絕大部分芯片表面缺陷的檢測(cè)場(chǎng)景。缺陷實(shí)際分布情況如表1所示。

表1 CDD數(shù)據(jù)集缺陷分布

1.2 基于邊緣信息的數(shù)據(jù)增強(qiáng)

由于芯片表面缺陷的數(shù)據(jù)均來自工業(yè)顯微鏡攝像頭在人工光源下以固定的焦段和光圈參數(shù)拍攝所得,而且拍攝角度均垂直于芯片平面,因此得到的結(jié)果光照穩(wěn)定且無其他物體遮擋。而芯片表面缺陷通常存在缺陷之間的互斥性[16],即兩種缺陷同時(shí)出現(xiàn)在一種表面的概率極低?；谠撎匦?本文提出基于邊緣信息的數(shù)據(jù)增強(qiáng)策略,總體思路如圖1所示。

圖1 邊緣信息提取過程

首先將RGB顏色空間的輸入圖片轉(zhuǎn)換為單通道灰度圖,轉(zhuǎn)換過程如式(1)所示:

D=0.299R+0.587G+0.144B

(1)

式中:D為輸出的灰度通道矩陣;R、G、B分別為輸入圖片的紅色通道、綠色通道和藍(lán)色通道矩陣。

其次通過高斯濾波以7×7的核尺度對(duì)圖像模糊處理,處理過程如式(2)所示:

(2)

式中:w為卷積核內(nèi)部權(quán)重;i,j為單個(gè)權(quán)重的坐標(biāo);n為模板中心坐標(biāo);σ為標(biāo)準(zhǔn)差;e為自然對(duì)數(shù)。

濾波后使用Canny檢測(cè)算子提取灰度值變化較大的區(qū)域,即目標(biāo)邊緣,梯度計(jì)算公式如式(3)所示:

Gx=Sx·D
Gy=Sy·D

(3)

(4)

接著,通過霍夫直線檢測(cè)提取邊緣圖中的水平和垂直邊緣并通過相減將其消除,減少芯片背景走線,提高邊緣的整體占比。

最后,通過輪廓匹配搜索密閉空間,返回所有不規(guī)則邊緣。二值邊緣圖和灰度圖與RGB三通道經(jīng)過維度堆疊后,作為輸入送入網(wǎng)絡(luò)訓(xùn)練。

2 芯片表面缺陷檢測(cè)算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

為應(yīng)對(duì)不同目標(biāo)檢測(cè)任務(wù)難易程度不同所帶來的挑戰(zhàn),單階段YOLOv5目標(biāo)檢測(cè)模型包含YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5xl 4種不同的網(wǎng)絡(luò)模型,每個(gè)模型的結(jié)構(gòu)一致,只是各模塊的深度和寬度不同,都采用CSPDarknet53主干網(wǎng)絡(luò)、FPN+PANet特征金字塔融合網(wǎng)絡(luò)提高特征利用效率,3個(gè)融合分支最終送入Detect預(yù)測(cè)層,實(shí)現(xiàn)端到端的特征檢測(cè)。本文基于YOLOv5s模型進(jìn)行主干網(wǎng)絡(luò)的改進(jìn)與調(diào)優(yōu),在保證實(shí)時(shí)性檢測(cè)的基礎(chǔ)上提高模型的性能。

網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在主干部分,首先通過交替卷積層與RFB-S實(shí)現(xiàn)多尺度特征下采樣;其次通過ConvNext模塊整合高維特征;最后通過MSSPP網(wǎng)絡(luò)提高網(wǎng)絡(luò)對(duì)大尺度形變?nèi)毕莸捻憫?yīng)。

圖2 模型總結(jié)構(gòu)

在特征融合網(wǎng)絡(luò)部分,使用ConvNext模塊提取特征的同時(shí),利用Deconv模塊和卷積層分別對(duì)特征進(jìn)行上下采樣,并將相鄰層相同尺寸的特征進(jìn)行Concat張量拼接,不斷融合不同尺度的信息,增強(qiáng)網(wǎng)絡(luò)的特征豐富程度。

在檢測(cè)頭部分,網(wǎng)絡(luò)輸出類別、置信度和回歸框3個(gè)參數(shù)后,通過提出的基于置信度的重檢策略,首先將低置信度的目標(biāo)選出,結(jié)合回歸框的信息裁剪出原圖對(duì)應(yīng)的圖片,并將其送入子分類器進(jìn)行識(shí)別,提高模型對(duì)難分樣本的準(zhǔn)確率。

2.2 多尺度空間感知池化層

傳統(tǒng)目標(biāo)檢測(cè)任務(wù)中,待檢目標(biāo)具有相同的語義信息,如動(dòng)物的毛發(fā)、人的眼睛是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)分類提取的高維特征。然而,在芯片表面產(chǎn)生的缺陷具有特征信息高度不統(tǒng)一的特性。例如異物、劃痕由于誘發(fā)因素眾多,其特征具有形狀上的高度不確定性。這種類內(nèi)語義特征的差異要求網(wǎng)絡(luò)能夠更高維地提取空間特征,對(duì)相同缺陷進(jìn)行有效聚類。為了提高網(wǎng)絡(luò)在不同尺度下的空間特征提取能力,本文設(shè)計(jì)了多尺度空間感知池化層,如圖3所示。

圖3 多尺度空間感知池化層結(jié)構(gòu)

和原空間金字塔池化層(spatial pyramid pooling layer)相比,該池化層加入更多尺度的池化核(1×3、3×1、5×5、9×9等)應(yīng)對(duì)不同形狀的缺陷目標(biāo)。該模塊盡可能地覆蓋了待檢目標(biāo)的長(zhǎng)寬范圍,提高了網(wǎng)絡(luò)對(duì)特殊形狀目標(biāo)的響應(yīng)。模塊計(jì)算過程如式(5)～式(7)所示:

Fj=Maxpool(Fin,Kj)

(5)

(6)

Fout=Concat(ωj·Fj)

(7)

2.3 RFB感受野模塊

本文引進(jìn)感受野模塊(receptive field block)代替?zhèn)鹘y(tǒng)卷積,該模塊利用多分支結(jié)構(gòu)模擬人眼對(duì)物體的感知機(jī)制,其結(jié)構(gòu)如圖4所示。

圖4 RFB-S模塊內(nèi)部結(jié)構(gòu)

感受野模塊首先將特征并行進(jìn)入4條支路,支路1串行連接1×1的傳統(tǒng)卷積與擴(kuò)張率為1、卷積核為3×3的擴(kuò)張卷積;支路2、3串行輸入1×1的卷積后分別送入1×3和3×1的矩形卷積,最后連接擴(kuò)張率為3、卷積核為3×3的擴(kuò)張卷積;支路4串行輸入卷積核的每條分支都由傳統(tǒng)卷積和擴(kuò)張卷積構(gòu)成,二者串行連接組合不同尺度的特征感知領(lǐng)域。將各分支逐一相加即可實(shí)現(xiàn)多層感受野的空間疊加,實(shí)現(xiàn)中心注意力高、邊緣注意力低、感受范圍廣的人眼空間感知模式。

2.4 改進(jìn)ConvNext模塊

本文引入即插即用的ConvNext模塊,其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,輸入特征經(jīng)過深度可分離卷積(depthwise separable convolution)后,送入由二維卷積構(gòu)造的倒置瓶頸結(jié)構(gòu),起到提取高維特征的作用。此外,針對(duì)多尺度目標(biāo)進(jìn)行適當(dāng)調(diào)整,具體調(diào)整策略如圖2所示。在不同網(wǎng)絡(luò)層級(jí)選取了不同尺度的深度可分離卷積:在網(wǎng)絡(luò)的淺層(7層、9層)使用7×7的大卷積核增大感受野,在網(wǎng)絡(luò)的深層(12、15、16、19、22層)使用3×3的小卷積核避免小尺度的位置信息被稀釋,從而針對(duì)性地保留所需的特征信息,提高網(wǎng)絡(luò)對(duì)芯片缺陷的響應(yīng)。

圖5 ConvNext模塊內(nèi)部結(jié)構(gòu)

2.5 基于置信度閾值的難分樣本重檢策略

大量實(shí)驗(yàn)發(fā)現(xiàn),器件異物和原料不良的檢測(cè)精度相比其他缺陷較低。如圖6所示,外來異物(foreign)與原料不良(Raw)2種缺陷的形態(tài)尺度各異,因此公共特征難以提取。

圖6 多尺度難分缺陷

為了針對(duì)性地提高模型對(duì)難分樣本的分類精度,本文提出基于置信度閾值的檢測(cè)框架,該框架通過置信度作為難分樣本的評(píng)判指標(biāo),將置信度較低的目標(biāo)單獨(dú)裁切送入輕量化的子分類器進(jìn)行識(shí)別。

具體框架如圖7所示:當(dāng)特征從YOLOv5的檢測(cè)層進(jìn)行非極大值抑制(non-maximum suppression,NMS)后,會(huì)得到6個(gè)參數(shù),分別對(duì)應(yīng)預(yù)測(cè)框的坐標(biāo)位置(x,y,w,h)以及預(yù)測(cè)目標(biāo)的類別和置信度(class,confidence),通過設(shè)置置信度閾值,當(dāng)某一預(yù)測(cè)目標(biāo)的置信度低于該閾值時(shí),算法將根據(jù)預(yù)測(cè)框的位置,在原圖中裁剪分類目標(biāo),最后送入通過Resnet18訓(xùn)練好的分類器中進(jìn)行識(shí)別。

圖7 難分樣本重檢流程圖

該輕量化子分類器針對(duì)難分樣本進(jìn)行了大量的分類訓(xùn)練,缺陷分類能力更強(qiáng),如果分類結(jié)果置信度大于原類別置信度,則更新類別,否則不更新參數(shù)。另外,如果2次分類結(jié)果置信度都過小,該目標(biāo)很可能是錯(cuò)檢對(duì)象,需從預(yù)測(cè)框中刪除。通過該算法可以有效提高異物和原料不良的識(shí)別精度,同時(shí)避免了難分樣本混淆的問題。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置

本實(shí)驗(yàn)基于Windows10的64位操作系統(tǒng),在 Anaconda中配置 Python3.6的語言環(huán)境和深度學(xué)習(xí)框架Pytorch1.10。實(shí)驗(yàn)選用AMD5600X、搭載12 GB顯存的RTX3060顯卡進(jìn)行加速運(yùn)算,CUDA版本為11.4。

3.2 評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)本文網(wǎng)絡(luò)的多尺度目標(biāo)提取能力,采用精確率(precision)、召回率(recall)、平均精度(average precision)、全類平均精度(mean average precision)作為檢測(cè)任務(wù)的評(píng)價(jià)指標(biāo)。召回率為所有正樣本中模型預(yù)測(cè)正確的概率,反映了模型對(duì)缺陷目標(biāo)的定位能力。精確率為所有模型預(yù)測(cè)正樣本占真實(shí)正樣本的比例,反映了模型對(duì)目標(biāo)的識(shí)別能力。平均精度綜合考慮了目標(biāo)的精確率和召回率,是PR曲線與坐標(biāo)軸所圍成的面積,反映了模型在某一類的識(shí)別精度。全類平均精度是每一類AP的均值。反映模型整體性能水平。具體指標(biāo)的計(jì)算公式如下:

(8)

(9)

(10)

(11)

式中:TP(true positive)為被模型預(yù)測(cè)正確的真實(shí)正樣本;FP(false positive)為被模型預(yù)測(cè)為錯(cuò)誤的負(fù)樣本;FN(false negative)被模型預(yù)測(cè)為錯(cuò)誤的正樣本;P和R為精確率和召回率;K為類別數(shù)量。

3.3 網(wǎng)絡(luò)訓(xùn)練過程

本文使用隨機(jī)梯度下降法(stochastic gradient descent,SGD)進(jìn)行優(yōu)化訓(xùn)練,初始學(xué)習(xí)率為0.01,采用余弦退火策略調(diào)整學(xué)習(xí)率,動(dòng)量因子為0.937,前5輪進(jìn)行熱身訓(xùn)練并在120輪訓(xùn)練后學(xué)習(xí)率將衰減到初始學(xué)習(xí)率的 10%, Batchsize設(shè)置為64。

網(wǎng)絡(luò)訓(xùn)練時(shí)的分類損失函數(shù)曲線見圖8。網(wǎng)絡(luò)在前40輪收斂速度較快,在40輪到100輪收斂過程逐漸平緩,網(wǎng)絡(luò)驗(yàn)證集損失在100輪后趨于不變,收斂在0.001左右。為防止網(wǎng)絡(luò)過擬和,在第120輪停止網(wǎng)絡(luò)訓(xùn)練。收斂過程證明網(wǎng)絡(luò)訓(xùn)練情況較好。

圖8 損失函數(shù)曲線

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 模型檢測(cè)結(jié)果

選取本文算法與原YOLOv5算法對(duì)芯片表面缺陷圖片進(jìn)行檢測(cè),可視化結(jié)果如圖9所示。由圖9可得,本文算法相較于改進(jìn)前針對(duì)尺度變化大的目標(biāo)具有更完整的感知區(qū)域,識(shí)別效果更好。

圖9 多尺度缺陷檢測(cè)結(jié)果對(duì)比

3.4.2 模型性能指標(biāo)分析

為驗(yàn)證算法的先進(jìn)性,選取了4組在相同訓(xùn)練集、驗(yàn)證集與訓(xùn)練配置下的模型進(jìn)行算法性能對(duì)比。實(shí)驗(yàn)結(jié)果如表2所示。

由表2可得,經(jīng)典算法中,YOLOv5網(wǎng)絡(luò)性能最佳,其準(zhǔn)確率為89.80%,召回率為88.20%,平均精度為92.10%,而本文算法通過改進(jìn)策略使準(zhǔn)確率提升3.3%,召回率提升3%,全類平均精度提升3.4%,該結(jié)果驗(yàn)證了本文改進(jìn)方法的有效性。

為具體說明數(shù)據(jù)增強(qiáng)策略、MSSPP模塊、ConvNext模塊、RFB模塊和難分樣本檢測(cè)策略對(duì)最終檢測(cè)結(jié)果的貢獻(xiàn),設(shè)置消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示,表中A代表數(shù)據(jù)增強(qiáng)策略、B代表MSSPP模塊、C代表ConvNext模塊與RFB模塊、D代表難分樣本檢測(cè)策略。

表3 消融實(shí)驗(yàn) %

結(jié)合表3結(jié)果進(jìn)行分析,得到以下結(jié)論:

(1)基于邊緣信息的數(shù)據(jù)增強(qiáng)策略提高了模型對(duì)不規(guī)則缺陷的檢測(cè)能力,因此和原YOLOv5相比,整體召回率提高0.9%,準(zhǔn)確率也有小幅增加。

(2)MSSPP可以針對(duì)性地提高特殊尺度的響應(yīng),因此準(zhǔn)確率在方案1的基礎(chǔ)上提高了2.2%,召回率提高了1.1%,全類平均精度提高了1.2%。

(3)ConvNext模塊和RFB模塊改善了模型中間層對(duì)多尺度特征的提取能力,準(zhǔn)確率、召回率和全類平均精度在方案2基礎(chǔ)上分別提升0.59%、0.5%、0.7%。

(4)難分樣本重檢策略通過剔除錯(cuò)檢目標(biāo),提高了低置信度目標(biāo)的準(zhǔn)確率,準(zhǔn)確率在方案3基礎(chǔ)上提高了0.41%,召回率提高了0.5%,全類平均精度提高了0.9%。

4 結(jié)論

針對(duì)芯片缺陷的尺度變化大、類內(nèi)特征不統(tǒng)一的問題,提出了基于YOLOv5的目標(biāo)檢測(cè)框架。通過邊緣信息數(shù)據(jù)增強(qiáng),豐富輸入特征,提高網(wǎng)絡(luò)對(duì)不規(guī)則缺陷的定位能力;采用MSSPP模塊自適應(yīng)數(shù)據(jù)集中多尺度缺陷,增強(qiáng)類內(nèi)高維特征的聚類能力,提升模型識(shí)別精度;引入ConvNext與RFB模塊,根據(jù)缺陷分布情況適當(dāng)微調(diào),強(qiáng)化模型的特征提取能力;設(shè)計(jì)了難分樣本重檢策略,利用芯片缺陷易檢難分的特性,增強(qiáng)網(wǎng)絡(luò)對(duì)缺陷目標(biāo)的分類性能。實(shí)驗(yàn)證明:本文算法各項(xiàng)指標(biāo)高于經(jīng)典目標(biāo)檢測(cè)算法,為芯片缺陷檢測(cè)提供了更高魯棒、更優(yōu)性能的檢測(cè)方案。