鞏 克,陸春月,柴子凡

(中北大學(xué)機(jī)械工程學(xué)院,山西 太原 030051)

鋼鐵行業(yè)是經(jīng)濟(jì)產(chǎn)業(yè)的重要組成部分,鋼鐵表面缺陷不僅損害外觀和內(nèi)部品質(zhì),嚴(yán)重時(shí)甚至?xí)＜鞍踩?。然?隨著生產(chǎn)水平的提高和需求量的增大,人工檢測已不能滿足鋼鐵表面缺陷檢測的要求,因此采用智能化、自動(dòng)化的方法解決缺陷檢測問題已經(jīng)是大勢所趨。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的檢測方法得到了廣泛應(yīng)用。但是鋼鐵缺陷圖像成像模糊、分辨率較低,會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)到的特征出現(xiàn)信息丟失、特征模糊以及易混淆的問題。為此,本文提出基于鄰域自注意力的鋼鐵表面缺陷分類算法,通過鄰域自注意力模塊與多尺度特征融合進(jìn)一步提高了鋼鐵缺陷檢測的正確率。

1 相關(guān)工作

1.1 鋼鐵缺陷分類

傳統(tǒng)的鋼鐵表面缺陷識(shí)別方法主要使用小波變換、雙閾值二值化和決策樹等方法來分析和檢測圖像,但是適用性有限。近幾年提出的一些方法往往使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測,例如Boikov等[1]使用合成數(shù)據(jù)來訓(xùn)練視覺任務(wù)的方法,在鋼工件表面缺陷的分類和分割方面都取得了良好的效果。Hao等[2]使用基于生成對抗網(wǎng)絡(luò)和注意力機(jī)制的方法來識(shí)別缺陷。Li等[3]提出了一種混合網(wǎng)絡(luò)架構(gòu)(CNN-T),該架構(gòu)合并了卷積神經(jīng)網(wǎng)絡(luò)(CNN)和Transformer編碼器,在NEU-CLS數(shù)據(jù)集上取得了顯著的分類效果。

盡管上述方法在鋼鐵表面缺陷分類方面取得了不錯(cuò)的效果,但這些方法所針對的鋼鐵缺陷數(shù)據(jù)集分辨率較高(通常為224×224)。當(dāng)輸入圖像為低分辨率時(shí),由于低分辨率圖像所包含的像素點(diǎn)數(shù)量較少,很多細(xì)節(jié)和信息都無法在圖像中表現(xiàn)出來,因此信息有缺失。同時(shí),由于像素點(diǎn)的數(shù)量較少,低分辨率圖像的邊緣和輪廓通常比較模糊,這會(huì)使得一些細(xì)微的特征難以識(shí)別和區(qū)分,從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)所學(xué)到的特征模糊。

1.2 注意力機(jī)制

注意力機(jī)制的作用是讓系統(tǒng)學(xué)會(huì)從大量信息中把注意力放在感興趣或者高價(jià)值的地方,目前已經(jīng)成功地應(yīng)用于各種任務(wù)。例如,在2017年被應(yīng)用于Transform模型中的自注意力機(jī)制[4],已成為大型模型發(fā)展的重要轉(zhuǎn)折點(diǎn)。此外,Hu等[5]提出了一種用于圖像分類的通道注意塊,以提高網(wǎng)絡(luò)的代表性。Wang等[6]則通過提出用于CNN的有效通道注意(ECA)模塊,成功實(shí)現(xiàn)了跨通道交互,增強(qiáng)了SENet的策略。為了建立通道注意和空間注意的雙重機(jī)制,Woo等[7]在SENet和ECANet的基礎(chǔ)上進(jìn)一步加強(qiáng)了注意力模塊設(shè)計(jì)。在計(jì)算圖像自相關(guān)性時(shí),往往使用鄰域相關(guān)性[8],但這種方法計(jì)算量大、模型復(fù)雜。而本文所提出的鄰域自注意力模塊通過簡單的連接實(shí)現(xiàn)上下文特征感知,省去了許多冗余的參數(shù)。

2 算法內(nèi)容

圖1所示為網(wǎng)絡(luò)的總體架構(gòu),圖2所示為鄰域自注意力模塊的整體架構(gòu)。鄰域自注意力網(wǎng)絡(luò)包括2個(gè)主要的可學(xué)習(xí)模塊:自相關(guān)計(jì)算模塊、上下文特征感知模塊。

圖1 基于鄰域自注意力網(wǎng)絡(luò)的總體架構(gòu)

圖2 鄰域自注意力模塊架構(gòu)

2.1 網(wǎng)絡(luò)總體架構(gòu)

給定一組缺陷樣本圖像的情況下,使用卷積塊(Conv)來提取基本特征Z,Z∈H×W×C,其中H和W分別為特征的高度和寬度,C為通道維度。接著,引入鄰域自注意力模塊來增強(qiáng)基礎(chǔ)特征,并將增強(qiáng)后的特征與基礎(chǔ)特征進(jìn)行殘差連接,得到自注意力特征A,A∈H×W×C。最后,將4個(gè)得到的特征進(jìn)行多尺度特征融合,再經(jīng)過輸出卷積層來恢復(fù)通道數(shù),并通過全連接層進(jìn)行分類。

2.2 自相關(guān)計(jì)算

為了獲取圖像中鄰域的自相似性,對基本特征Z,計(jì)算每個(gè)位置x處(x∈[1,H]×[1,W]及其鄰域中的值)C維向量的哈達(dá)瑪積,并將它們收集到自相關(guān)張量D中,D∈H×W×C。張量D可以表示為具有C1維向量輸出的函數(shù):

(1)

式中:p∈[-dU,dU]×[-dV,dV],對應(yīng)于滑動(dòng)窗口中的相對位置,即2dU+1=U和2dV+1=V,其中dU和dV分別為垂直和水平方向上的最大位移,U和V為滑動(dòng)窗口的高度和寬度。這里D并沒有保留U、V的維度,而把它看作通道特征的一部分,因此可以得到新的通道維度C1=U×V×C。

2.3 上下文特征感知

盡管自相關(guān)計(jì)算可以獲取圖像的自相似性,但它缺乏原始卷積特征所表示的局部語義線索。為了更好地捕捉語義對象的不同方面,對Z和D進(jìn)行拼接,得到上下文語義特征G,G∈H×W×Cg,如下所示:

(2)

式中:G(i,j)為圖像中特定位置(i,j)的上下文語義特征,它包含了原始語義信息和自相似語義信息的綜合表達(dá),能夠更好地反映圖像的語義特征。之后通過特征提取層來分析G中的上下文關(guān)系,并對提取出的特征張量進(jìn)行再卷積操作,使用輸出層將特征通道數(shù)降至輸入通道數(shù),得到更加緊湊的特征表示。上述兩個(gè)卷積塊的卷積核大小都為1×1,該卷積塊h(·)在沒有填充的情況下學(xué)習(xí)上下文關(guān)系,并聚集局部相關(guān)模式,從而將通道的維度恢復(fù)為C,使得輸出h(G)具有與Z相同的大小。將這兩種表示結(jié)合起來生成自注意力,表示為A∈H×W×C。

A=h(G)+Z

(3)

通過鄰域自注意力模塊對基本特征進(jìn)行增強(qiáng),有助于定位目標(biāo)對象的重要區(qū)域并增強(qiáng)特征的可識(shí)別性。

2.4 多尺度特征融合

經(jīng)過鄰域自注意力模塊可以得到4個(gè)加強(qiáng)的特征,它們分別代表不同尺度的自注意力特征。為了使特征圖信息完整并得到更好的嵌入特征,采用平均池化層和層歸一化進(jìn)行特征處理,從而進(jìn)一步提高特征的表達(dá)能力。

ai=LayerNorm(AvgPool(Ai))

(4)

式中:ai為處理后的特征,Ai為經(jīng)過鄰域注意力處理后的加強(qiáng)特征。隨后,進(jìn)行多尺度特征融合,將不同尺度的特征信息進(jìn)行融合,以提高模型的分類準(zhǔn)確性。最后,通過輸出卷積層恢復(fù)通道數(shù),并后接全連接層進(jìn)行分類。

a=concat(a1,a2,a3,a4)

(5)

y=FC(conv(a))

(6)

式中:a為融合后的特征,y為最終的分類結(jié)果,a1、a2、a3、a4為經(jīng)過平均池化和層歸一化后的輸出特征,concat為拼接操作,FC為全連接層,conv為卷積層。使用多尺度特征融合可以進(jìn)一步增強(qiáng)模型的表達(dá)能力,使其能夠更準(zhǔn)確地進(jìn)行分類。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集介紹

本文所用鋼鐵缺陷樣本圖像均來源于東北大學(xué)(NEU)表面缺陷數(shù)據(jù)庫中的NEU-CLS-64[9],該數(shù)據(jù)集收集了熱軋鋼帶的9種典型表面缺陷,即軋入氧化皮(RS)、斑塊(Pa)、裂紋(Cr)、麻面(PS)、夾雜物(In)、劃痕(Sc)、油污(Sp)、坑洼(Gg)和銹蝕(Rp)。NEU-CLS-64數(shù)據(jù)集中共有7 226張圖片且每個(gè)類別圖片數(shù)量不等,例如夾雜物(In)775張、坑洼(Gg)296張、油污(Sp)438張,但這些圖片的分辨率全部是64×64,這種低分辨率圖片無疑會(huì)給網(wǎng)絡(luò)正確分類帶來很大的難度。

3.2 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)使用基于NVIDIA 2080Ti GPU和Intel i7 9700K CPU的環(huán)境,采用PyTorch 1.8深度學(xué)習(xí)框架。訓(xùn)練集與測試集之間的劃分比例為8∶2,即80%的數(shù)據(jù)用于訓(xùn)練,而剩余20%的數(shù)據(jù)則用于驗(yàn)證。在實(shí)驗(yàn)中,所輸入的圖片分辨率為64×64,并采用大小為3×3的卷積核來構(gòu)建Conv卷積塊,同時(shí)各個(gè)Conv卷積塊的通道數(shù)C按照64—160—320—640的順序遞增。為獲得具有更佳語義信息的特征圖,在鄰域自注意力模塊中全部采用點(diǎn)卷積技術(shù)。在優(yōu)化器方面,使用SGD優(yōu)化器,設(shè)置動(dòng)量為0.9,學(xué)習(xí)率從0.01開始,衰減因子為0.05。在NEU-CLS-64數(shù)據(jù)集上進(jìn)行了100次epoch訓(xùn)練,每批次訓(xùn)練的樣本數(shù)量為64。在第80個(gè)和90個(gè)epoch之后,采用學(xué)習(xí)率下降策略,將學(xué)習(xí)率減少0.1個(gè)因子。

3.3 算法對比分析

在實(shí)驗(yàn)設(shè)置相同的情況下,對本文所提模型與其他神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了比較,結(jié)果見表1。從實(shí)驗(yàn)結(jié)果中可以看出,本文所提的鄰域自注意力網(wǎng)絡(luò)具有最好的分類性能。相比于ViT-B/16[10]、Swin_t[11]、ResNet50[12]、MobileNet_v3_small[13]、DenseNet121[14]和EfficientNet_b2[15]分別在準(zhǔn)確率上高出9.39%、5.11%、4.83%、3.30%、3.24%和2.97%。此外,在運(yùn)行時(shí)間方面,鄰域自注意力網(wǎng)絡(luò)也是最快的,這意味著本文模型能夠在相同時(shí)間內(nèi)處理更多的圖像,并且保持最佳準(zhǔn)確率。在實(shí)驗(yàn)過程中發(fā)現(xiàn),最新的ViT-B/16和Swin_t取得了最差的效果。這兩個(gè)模型不僅計(jì)算量大、參數(shù)較復(fù)雜,而且性能表現(xiàn)較差。這是因?yàn)檩斎雸D像尺寸較小時(shí),劃分出來的圖像塊會(huì)比較小,每個(gè)圖像塊中包含的信息量有限,導(dǎo)致分類器無法捕捉到足夠的信息,從而影響模型的性能。

表1 與其他方法在NEU-CLS-64數(shù)據(jù)集上的比較結(jié)果

3.4 可視化分析

圖3呈現(xiàn)了各個(gè)模型的熱力圖可視化結(jié)果。從圖中可以看出,ViT-B/16和Swin_t權(quán)重的關(guān)注點(diǎn)比較混亂,而鄰域自注意力網(wǎng)絡(luò)可以過濾掉其中一些不相關(guān)的區(qū)域,并將注意力集中在更重要的圖像特征上。尤其是在Cr、In、Pa、Rp和RS這些缺陷上,相較于其他方法,本文方法能更精確地定位缺陷位置。同時(shí),鄰域自注意力網(wǎng)絡(luò)融合了不同尺度的特征,使得它更有可能在復(fù)雜環(huán)境中學(xué)習(xí)到有用的特征。

圖3 不同模型可視化的結(jié)果

4 結(jié)束語

本文提出了一種基于鄰域自注意力的鋼鐵表面缺陷分類算法,通過鄰域自注意力模塊定位目標(biāo)對象的重要區(qū)域并增強(qiáng)特征的可識(shí)別性。為了保持特征圖信息完整,使用多尺度特征融合的方法融合4種不同尺度的自注意力特征并用軋入氧化皮(RS)、斑塊(Pa)、裂紋(Cr)、麻面(PS)、夾雜物(In)、劃痕(Sc)、油污(Sp)、坑洼(Gg)和銹蝕(Rp)9類鋼鐵缺陷圖像進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表明,本文所提模型在低分辨的鋼鐵缺陷圖像中具有良好分類性能,可進(jìn)一步獲取缺陷的位置信息,對鋼鐵表面缺陷分類具有重要的實(shí)際應(yīng)用意義。