鄭亞睿,蔣三新

(上海電力大學電子與信息工程學院,上海 201306)

0 引言

在工業(yè)生產(chǎn)中,產(chǎn)品的表面缺陷檢測至關重要。如何高效找出缺陷,保證產(chǎn)品的產(chǎn)量和良品率,一直是研究熱點。目前,傳統(tǒng)人工篩選缺陷的方法已逐步被機器視覺自動檢測器替代,然而,機器視覺算法[1-4]聚焦在構建模式識別器,沒有從缺陷圖像中學習到有效特征,復用性不大,很難對各類缺陷進行遷移。

近年來,基于深度學習的算法由于強大的特征提取能力在各領域得到廣泛應用,給缺陷檢測帶來了新思路[5]。D. Weimer等[6]提出了用于工業(yè)故障檢測的深度CNN架構,可以區(qū)分重紋理背景下的表面劃痕,并建立了具有少量先驗知識的產(chǎn)品交付檢測系統(tǒng);J. Shi等[7]提出了一種多通道掩模區(qū)域的卷積神經(jīng)網(wǎng)絡來解決木材表面缺陷的問題,并使用快速瀏覽網(wǎng)格來確定圖像是否適合進一步的檢測,減少了檢測時間;B. Su等[8]采用Faster R-CNN+FPN作為基本探測器,將一種新的雙向注意特征金字塔網(wǎng)絡(BAFPN)集成到RPN中,檢測光伏電池的缺陷;T. Nakazawa 等[9]通過使用28 600幅合成的22類晶圓圖對CNN進行預訓練,實現(xiàn)對真實晶圓圖像的高精度識別,并且設計的模型能夠在沒有真實數(shù)據(jù)的情況下實現(xiàn)對罕見事件的檢測,這可以幫助技術階段的開發(fā)。

表面缺陷檢測任務是目標檢測的一個分支。當前主要的目標檢測模型,無論是基于一階段的YOLO[10]、RetinaNet[11],還是兩階段的Faster R-CNN[12]、Cascade R-CNN[13]等都設置了密集的候選預測框,需要非極大值抑制(Non-Maximum Suppression,NMS)[14]來處理這些冗余,增加了計算成本。并且雖然NMS過程中處理了重復識別問題,但是對于重疊目標和相近目標,會因為置信度較低沒有正確識別出來。DETR[15]是去除NMS,使用標簽比配進行端到端預測的模型,但是由于其基于Transformer架構,模型體量較大,收斂非常緩慢。對此,根據(jù)以上問題,提出雙動態(tài)頭Sparse-RCNN算法,去掉了區(qū)域提議網(wǎng)絡(region proposal network,RPN)[12]、NMS等人工設計的組件,進行缺陷目標的稀疏預測。有如下貢獻:

(1)改進了缺陷圖像的特征提取。體現(xiàn)在2個部分:在網(wǎng)絡頸部特征金子塔網(wǎng)格和特征提取動態(tài)頭配合對缺陷進行尺度和空間的感知;在檢測頭部分針對多頭注意力后期注意力圖相似度高的問題,提出了交流注意力模塊,混合各頭部信息,提高缺陷特征的細節(jié)提取。

(2)提出多分支的動態(tài)實例交互頭,并用“雙查詢”方式取代RPN的密集預測方式,去除了NMS操作,實現(xiàn)端到端的預測。

(3)改進了邊界框回歸損失函數(shù),使用Alpha-CIoU[16]加速邊界框收斂,提高檢測精度。

1 算法介紹

本文算法的總體結構見圖1,主要分為3個階段,第1階段首先使用ResNet骨干網(wǎng)絡進行圖像的基本特征提取,然后輸入網(wǎng)絡頸部,由特征金字塔網(wǎng)格與特征提取動態(tài)頭進行不同尺度和空間的特征感知。第2階段是網(wǎng)絡的檢測頭部分,包含動態(tài)實例交互頭和2個特殊的提議,提議框和提議特征,是本算法的核心部分,稱為“雙查詢”操作,具體定義如下:

圖1 雙動態(tài)頭Sparse R-CNN模型總體結構

(1)可學習的提議框。網(wǎng)絡中使用一組固定的可學習提議框進行區(qū)域提議,替代了用區(qū)域提議網(wǎng)絡RPN進行大量預測。提議框由四維參數(shù)表示,分別為中心橫縱坐標、高度以及寬度,參數(shù)在訓練中通過反向傳播進行更新。這些可學習的提議框可看作是訓練集潛在目標位置的統(tǒng)計數(shù)據(jù),是圖像中最可能包含目標的區(qū)域的初始猜測。

(2)可學習的提議特征。雖然提議框的四維信息提供了物體的大致定位,但是缺失了大量細節(jié)信息,如姿態(tài)、形狀。故引入提議特征(N×d,N是提議特征的數(shù)量,d是維數(shù)),數(shù)量與提議框相同,是一個高維潛在向量,包含豐富的實例特征。最后一階段是標簽匹配算法,進行預測集和標注集信息的一一匹配。本文首先詳細介紹特征金字塔網(wǎng)格與特征提取動態(tài)頭模塊,然后是提出的交流注意力模塊和動態(tài)實例交互頭的細節(jié),最后說明標簽匹配算法與改進的損失函數(shù)部分。

1.1 改進的網(wǎng)絡頸部架構

原Sparse R-CNN網(wǎng)絡頸部僅使用特征金字塔(feature pyramid networks,FPN)進行多尺度特征融合,本文改進為更深層的特征金字塔網(wǎng)格(feature pyramid grids,FPG)[17]和特征提取動態(tài)頭結合的模塊。

1.1.1 特征金字塔網(wǎng)格

特征金字塔網(wǎng)格是一個多路深層改進的特征金字塔,將特征尺度空間表示為規(guī)則網(wǎng)格,并由多路的橫向連接融合,從而實現(xiàn)各層次的信息交換。如圖2所示,存在兩種主干通路以及4 種橫向連接,具體連接方式如下:

圖2 特征金子塔網(wǎng)格結構圖

主干通路相同尺度的特征張量屬于一個網(wǎng)絡階段,特征張量的空間步長從前到后逐漸增大。金字塔通路代表跨尺度的信息。從最高分辨率階段到最低分辨率階段,以自底向上的方式構建它們。首先,該通路的第一特征圖由對應的高分辨率主干或金字塔級通過 1×1 橫向卷積連接實現(xiàn)。其次,下采樣后使用步長2的3×3卷積,在金字塔路徑中創(chuàng)建各個較低層次的特征圖。因此在各金字塔通路中,特征層次由多尺度的特征圖構成,且各階段的空間分辨率與主干通路一致。

Across-same:將同一水平特征通過主干通路連接起來,通過在特征圖上使用1×1橫向卷積來投影特征,并使之與相鄰通路中相應的特征融合。

Across-up:直接連接構建了跨水平的自底向上路徑,通過步長為2的3×3卷積將低層特征圖降采樣至一半大小,再與高層特征圖融合?？s短了低層特征到高層特征的路徑。

Across-down:通過整合向下的連接來實現(xiàn)自上而下的信息流。首先用2倍放縮比例的最近鄰插值對高層特征圖上采樣,然后利用 3×3 卷積使之變?yōu)榭蓪W習的,上采樣特征與下采樣特征融合。

Across-skip:為簡化如此寬泛網(wǎng)絡的訓練,在相同層級的首個通路及其后一個通路之間使用1×1卷積添加了跳躍連接。

1.1.2 特征提取動態(tài)頭

缺陷圖像中多個不同尺度的物體經(jīng)常共存于一幅圖像中,并且物體可能在不同的視點下以不同的形狀出現(xiàn)。受文獻[18]的啟發(fā),本文將尺度和空間2種感知結合起來形成輕量化的特征提取動態(tài)頭,增強特征的提取,網(wǎng)絡結構見圖3。如果把特征金字塔網(wǎng)格的輸出看作是Level×Space×Channel的三維張量,可以將兩種感知分別部署在每個特定維度上。尺度感知的模塊部署在維度上,學習不同的語義層次,根據(jù)單個目標的規(guī)模在適當?shù)膶哟紊显鰪娫撎卣?。空間感知模塊部署在維度上(即高度×寬度)。它學習空間位置上的連貫區(qū)別表征。這樣,就實現(xiàn)了動態(tài)頭的統(tǒng)一感知機制。

圖3 特征提取動態(tài)頭結構圖

首先,將特征金字塔網(wǎng)格輸出的特征圖通過不同倍數(shù)的上采樣統(tǒng)一到統(tǒng)一尺寸,表示為一個4維的張量F∈RLHWC,L表示金字塔層數(shù),H、W、C分別表示特征的高度、寬度和通道數(shù)。定義S=HW,張量重塑為F∈RLSC。

特征動態(tài)頭的總感知公式為

W(F)=πL(πS(F)·F)·F

(1)

式中:πL、πS為適用于維度L、S的不同感知函數(shù)。

πL、πS具體公式為:

(2)

(3)

式中:σ(·)為1×1卷積層近似的線性函數(shù);?(x)為hard sigmoid激活函數(shù),?(x)=max(0,min(1,(x+1/2)))。

πS首先使用可變形注意學習稀疏化,然后在相同的空間位置跨層聚合特征。其中,k是稀疏采樣點的數(shù)量,Δpk是空間位置偏移量,通過自學習空間補償來關注有區(qū)別的區(qū)域,Δmk是pk位置處的自學習重要標量。這兩種感知方式可以任意組合,實現(xiàn)不同效果的特征提取,本文動態(tài)頭由6個動態(tài)塊組成,采集圖像不同角度內在信息。

1.2 改進的檢測頭架構

原檢測頭中,使用多頭自注意力和單分支動態(tài)頭進行提議特征和提議框的交互,本文改進為交流注意力和多分支動態(tài)頭,增強模型特征匹配能力。

1.2.1 交流注意力

提議特征在輸入動態(tài)實例交互頭前,先經(jīng)過交流注意力模塊進行特征信息的梳理。

目前多頭注意力[19]中,不同的注意力頭進行單獨的計算,最后求和。隨著深度的增加,注意力頭每個塊之間學習到的注意力圖相似度逐漸升高,表達能力不足以完整建模原圖細節(jié)[20]。但是不同的注意力頭相似度較低,學習到了圖像不同的特征信息。

本文為了增強模型對圖像特征的提取能力,減少注意圖隨著深度增加的相似度。提出交流注意力(speaking-head attention,SHA),將多頭自注意力用一個參數(shù)矩陣重新融合成多個混合注意力,每個新的得到的混合注意力都融合了原先的各頭部的注意力,交流注意力的結構如圖4所示。

圖4 交流注意力結構

本文的SHA模塊輸入為Q(Query)、K(Key)、V(Value)。使各注意力頭部聯(lián)系起來的主要操作是在Query與Key矩陣運算之后,softmax操作之前插入一個可學習的參數(shù)矩陣,混合各注意力頭學習到的信息后,再與Value進行注意力計算。

具體計算公式如下:

(4)

(5)

SHA(Q,K,V)=concat(head0,…,headN)W1

(6)

式(4)為交流注意力計算。其中λ為可學習的參數(shù)矩陣,使用它將多頭注意力映射混合成重新生成的注意力映射,然后再進行softmax計算。

式(5)為各個注意力頭部的計算,式(6)為拼接各混合后頭部操作。

1.2.2 動態(tài)實例交互頭

動態(tài)實例交互頭是本算法的核心,它通過輸入特征映射、提議框和提議特征來生成預測對象的位置和特征,其分別和提議框、提議特征進行交互運算。

如圖5所示,本文改進了動態(tài)實例交互頭,通過GMP(全局最大池化)操作和一個全連接建立了一個分支網(wǎng)絡,自適應地校準特征。本文在整個模型中堆疊6個級聯(lián)動態(tài)頭,每個動態(tài)頭輸出的對象特征和提議框將被用作下一個階段的輸入,具體交互過程如下。

圖5 動態(tài)實例交互頭

首先給定N個提議框,使用RoIrEAligns操作提取每個提議框的特征,提取到的區(qū)域池化(ROI)特征的大小為(S×C×C)(設置S=7,C=256)。每個區(qū)域池化特征Pi(C)與其提議特征進行一一對應,通過“動態(tài)實例層”進行融合。首先,將區(qū)域池化特征調整為一個尺寸為(S2,C)的二維向量,作為“動態(tài)實例層”的輸入之一,并將提議特征直接輸入一個全連接中,得到“動態(tài)實例層”的長度參數(shù)(2×C′×C),其中C′是“動態(tài)通道”的超參數(shù)。然后將向量等分為(C′×C),重塑為二維向量(C,C′)和(C′,C),分別作為“參數(shù)P1”和“參數(shù)P2”。動態(tài)實例層分別對以上參數(shù)進行矩陣運算,每次運算后進行BN和ReLU激活輸出,最終得到融合特征,輸入進前饋網(wǎng)絡進行分類和定位。

1.3 標簽匹配算法與改進的損失函數(shù)

檢測網(wǎng)絡的最后一部分,本文使用了三層感知機和線性計算層組成兩個前饋網(wǎng)絡來預測缺陷的類別和邊界框。分類信息由softmax函數(shù)輸出,邊界框信息存于一個預測集合中,由N個固定大小的元素組成,分別為每個查詢(Query)學習到綁定的目標位置信息。這并不意味著每個圖像需要檢測到N個目標,而是在學習中,使用匈牙利二分圖匹配算法將輸出的N個預測信息與真實的標注信息進行一一匹配,將標注中不存在的預測自動歸為背景處理。憑借特殊的匹配算法,不需要在輸出中使用非極大值抑制算法進行冗余框的處理。匈牙利二分圖匹配算法如下:

(7)

LHung是基于匹配結果計算損失的公式。當預測的N個預測目標與標注信息逐個匹配時,使用損失函數(shù)優(yōu)化。損失函數(shù)包括分類損失和邊界框損失,表示如下:

(8)

Lbox包括IoU損失和L1損失,它計算預測框和標注框之間的中心點和高度差。計算公式如下:

(9)

式中Liou為預測框和真實框之間的聯(lián)合交集(IoU),用于評估定位的精度。

原網(wǎng)絡使用了GIoU,但是當檢測框和真實框之間出現(xiàn)包含的現(xiàn)象時,GIoU就和IoU loss是同樣的效果。缺陷數(shù)據(jù)集缺陷跨越范圍大,并且非缺陷位置交錯分布,缺陷樣本形狀各異。為了提高缺陷定位的精度。本文引入Alpha-CIoU作為IoU loss,Alpha是將Box-Cox變換應用于基礎的IoU中,公式為

(10)

式中:ρ2α(b,bgt)為預測框與標注框中心點坐標的歐式距離;c為包住它們的最小方框的對角線距離;v為度量長寬比的相似性函數(shù);β為權重函數(shù)。

Alpha的冪變換保留了作為性能度量的關鍵性質,包括非負性、不可分辨恒等式、對稱性和三角形不等式。使用Alpha冪指數(shù)加成的CIoU有如下優(yōu)點:

(1)可以梯度自適應加權的邊界框回歸精度。

(2)α可作為調節(jié)α-CloU損失的超參數(shù)以滿足不同水平的邊界框回歸精度,其中α>1,通過更多地關注高IoU目標來獲得高的回歸精度。

(3)改進檢測器的效果,在干凈或嘈雜的環(huán)境下,不會引入額外參數(shù),也不增加訓練/推理時間。

2 實驗結果與分析

為了評估本文算法的性能,本文將在多種表面缺陷數(shù)據(jù)集上與主流兩階段目標檢測算法Faster R-CNN、Cascade R-CNN、Sparse R-CNN[21]進行對比實驗。研究實驗在配備了NVIDIA Tesla P100 GPU的Ubuntu操作系統(tǒng)下,采用Mmdetection深度學習框架構建網(wǎng)絡。對所有訓練情況,使用圖像翻轉和旋轉的增強來增加多樣性,并使用AdamW優(yōu)化器進行優(yōu)化,學習率為0.0001,設置動量為0.9。

2.1 數(shù)據(jù)集

采用晶圓表面缺陷數(shù)據(jù)集(wafer defect dataset,WDD)和熱軋鋼表面缺陷公開數(shù)據(jù)集(NEU-DET)訓練和測試網(wǎng)絡性能。 WDD和NEU-DET的樣本分布情況分別見表1、表2。其中,WDD包含6 000張樣本(分辨率為512像素×512像素),11類缺陷,分別為:外部異物(Foreign)、金屬殘余(Gold)、缺損(Incomp)、凸起腫塊(Lump)、液體殘余(Residual)、劃傷(Scratch)、漏刻蝕(UBM)和4種原料不良(Raw I、Raw II、Raw III、Raw IV)。NEU-DET包含1 800張樣本(分辨率為200像素×200像素),6類缺陷,分別為:氧化鐵皮(Rolled in scale),色斑(Patch),裂紋(Cracking),坑面(Pitted surface),雜質(Inclusion)和劃傷(Scratch)。

表1 WDD中各缺陷樣本分布

表2 NEU-DET中各缺陷樣本分布

2.2 評估方法

為了評估檢測器的性能,使用了4個指標,分別為平均精度(average precision,AP)、平均不確定識別率(average dibious,AD)、平均遺漏率(average missed,AM)和平均誤檢率(average error,AE),其計算方法如下:

(11)

式中:Nc、Nw、Nd、Nm分別為這些缺陷對應的正確判斷、錯誤判斷、不確定識別、遺漏的樣本數(shù);Nall為樣本總數(shù)。

為了評價該模型對所有類型缺陷的性能,提出了4個綜合指標:綜合平均精度(mean AP,mAP)、綜合平均誤檢率(mean AE,mAE)、綜合平均不確定識別率(mean AD,mAD)和綜合平均漏檢率(mean AM,mAM)。

(12)

(13)

式中:c為缺陷類別的數(shù)量,αi為i型缺陷的權重,即型缺陷樣本在總樣本中的比例。

2.3 性能評估

2.3.1 網(wǎng)絡收斂

如圖6(a)所示,本文算法與同樣使用標簽匹配方法的端到端檢測器DETR和兩階段網(wǎng)絡Faster R-CNN進行了收斂對比,相比DETR的150epoch才能達到收斂,本文算法收斂速度顯著提升,36epoch時即達到收斂,并且對于同樣能快速收斂的Faster R-CNN來說,本文算法在同樣的epoch有著更高的檢測精度。圖6(b)為邊界框的收斂情況,本文方法得益于Alpha-CIoU得到改善,在14epoch時已達到收斂,優(yōu)于原Sparse R-CNN的24epoch。

(a)AP曲線收斂對比

2.3.2 缺陷檢測實驗

表3為Faster R-CNN、Cascade R-CNN、Sparse R-CNN和本文算法在晶圓缺陷數(shù)據(jù)集上的實驗結果,分別測試了以ResNet-50和ResNet-101為骨干網(wǎng)絡的情況。相比其他網(wǎng)絡,本文方法在ResNet-101為基準時檢測精度最高,mAP為94.3%,并且誤檢率、不確定識別率和漏檢率顯著減少,分別為2.7%、2.1%和1.3%。相較于其他檢測方法,本文算法計算復雜度有所增加,有更多的參數(shù)需要學習訓練,所以FPS較低。

表3 基于WDD數(shù)據(jù)集

如表4所示,本文也在NEU-DET的數(shù)據(jù)集驗證了網(wǎng)絡的檢測以及泛化能力。對于非晶圓類缺陷也能很好定位和分類,熱軋鋼帶上細微的劃痕和裂縫也能識別。本文算法的各項指標也優(yōu)于其他方法,mAP達到88.1%。但是誤檢率和漏檢率高于晶圓數(shù)據(jù)集驗證結果,分析是由于此數(shù)據(jù)集的背景更復雜,缺陷細小,對于網(wǎng)絡來說缺陷的特征不易學習。

表4 基于NEU-DET數(shù)據(jù)集

為了進一步分析算法的性能,圖7比較了采用ResNet-50為骨干網(wǎng)絡的Sparse R-CNN和本文方法檢測器在各類缺陷中的檢測結果。從圖中可以看出,本文算法對大多數(shù)缺陷類別的檢測精度均有提升,誤檢、漏檢情況有所下降。如圖7(b)所示,不確定識別情況改進明顯,“Incomplete”和“Gold”類最突出。但對于某些類別檢測困難的樣本,仍存在一些問題,分析了某些類別難以學習的一些原因?！癛aw_Ⅱ”類與“Foreign”類精度較低,“Raw_Ⅱ”類漏檢情況較多,達到8.2%。主要原因是此類缺陷與背景缺陷相似,若缺陷部位較小會被網(wǎng)絡判定為背景處理?！癋oreign”類誤檢率較高,為10%。此類缺陷大多為黑、灰亮色,形狀各不相同。若分布面積較大,易被正確識別,否則易被識別為其他缺陷的部分區(qū)域。“UBM”與“Lump”類檢測精度最高,均達到0.96以上,此類缺陷顏色對比度高,并且形狀較完整簡單,相比其他類缺陷易于學習訓練。

圖8展示了部分兩類表面缺陷的檢測結果,可以看到Faster R-CNN冗余框去除不夠充分,定位不夠準確,需要提高NMS閾值修改結果。相比之下,本文算法只保留了一個預測框,定位準確,并且跨非缺陷位置完整地包圍住了主要缺陷,置信度也高于Faster R-CNN網(wǎng)絡。

圖8 冗余框消除結果

本文方法在邊框提議階段能夠有效控制邊框數(shù)量,并且由于特殊的標簽預測匹配模式,也會減少冗余的產(chǎn)生,更好定位目標位置。

圖9為交流注意力的可視化結果,可視化了特征提議階段交流注意力對目標的關注情況,其中較深的顏色表示高度關注,而較淺的顏色表示模型對它的關注較少?？梢钥吹揭婚_始交流注意力模塊關注了大范圍區(qū)域,從全局進行特征信息的提取。后面逐漸縮小關注區(qū)域,定位到缺陷的具體區(qū)域,正確提取缺陷部位圖像特征信息。

圖9 交流注意力可視化

2.4 消融實驗

為了驗證雙動態(tài)頭Sparse R-CNN中每個模塊的有效性,采用ResNet-50作為骨干網(wǎng),在WDD數(shù)據(jù)集上進行了消融試驗,實驗中均使用相同的訓練設置進行訓練,結果見表5。可以看到,實驗未使用任何改進模塊的基準識別率為89.3%,當單獨添加FPG和Dyhead時,精度分別從89.3%提升到90.1%和91.8%,結合兩者使用時精度從89.3%提升到92.9%,提取特征能力顯著增強。SHA模塊使精度從89.3%提升到91.2%,Alpha-CIoU改進邊框收斂速度的同時,檢測精度也從93.7%提升到94.1%。本文方法能取得更好的表現(xiàn),在于加強了對缺陷圖像信息的細節(jié)關注以及使用了更精準回歸邊界框的損失函數(shù),這兩種方法不僅有助于關注圖像的全局特征,而且可以很好處理缺陷復雜變化的定位問題。

以上結果均是在動態(tài)實例交互頭添加了改進分支網(wǎng)絡的基礎上,表6單獨驗證了分支網(wǎng)絡的效果,可以看到精度的提升,說明在分支網(wǎng)絡對動態(tài)實例交互中的特征校準有所改善。

表6 動態(tài)實力交互頭分支網(wǎng)絡消融

對于本文1.2.1小節(jié)的交流注意力模塊(SHA),其中注意力頭部的混合方式為在softmax操作之前插入混淆矩陣λ。對于混淆注意力頭部信息的方式,本部分測試另一種方式并展示在表7中,其中第2行采用了在softmax操作后直接插入混淆矩陣λ的方式,之后再進行注意力計算。從準確率上這樣的方式也提高了檢測結果,但是不如本文采用的方法效果好,相差0.9%。

表7 SHA添加位置消融實驗

3 結論

本文針對目前缺陷檢測算法對目標冗余識別的問題,提出雙動態(tài)頭Sparse R-CNN端到端的表面缺陷檢測算法,融合了特征金字塔網(wǎng)格和特征提取動態(tài)頭,對圖像進行不同尺度和空間方向的特征提取,并提出交流注意力打通不同注意力頭部的信息,保留提議階段缺陷的細節(jié)特征。用動態(tài)實例交互頭和雙查詢方法取代了RPN,并去除NMS模塊,實現(xiàn)目標的稀疏預測,減少了大量冗余計算。此外,使用Alpha-CIoU損失改進了邊框的回歸速度。在晶圓表面缺陷數(shù)據(jù)集WDD和熱軋鋼表面缺陷NEU-DET數(shù)據(jù)集上的實驗表明,該算法使檢測精度分別提高到94.3%和88.1%,可以有效實現(xiàn)對各類缺陷的識別和定位,具有應用價值。同時,本研究仍存在算法模型大、參數(shù)量多的不足。在后續(xù)的研究中,將研究改進為輕量化網(wǎng)絡,提高實時的檢測效率。