江培營 陶青川 艾夢琴

(四川大學(xué)電子信息學(xué)院 四川 成都 610065)

0 引 言

鋼板生產(chǎn)是國家重工業(yè)的基礎(chǔ)，近些年鋼板生產(chǎn)的質(zhì)量要求越來越高，除了要求滿足使用性能外，還要有良好的外觀，即良好的表面質(zhì)量。在鋼板生產(chǎn)制造過程中由于工藝技術(shù)的不成熟，往往會(huì)伴隨著鋼板表面缺陷的出現(xiàn)，而鋼板不同表面缺陷的呈現(xiàn)，意味著生產(chǎn)環(huán)節(jié)中相應(yīng)工藝存在問題，所以鋼板表面缺陷識(shí)別極為重要，識(shí)別出鋼板缺陷類別有助于分析生產(chǎn)工藝中存在的某些問題，以提升鋼板生產(chǎn)質(zhì)量和效率[1]。我國鋼板制造業(yè)雖然發(fā)展迅猛，但是鋼板表面質(zhì)量檢測技術(shù)卻發(fā)展緩慢。由于鋼板生產(chǎn)工藝技術(shù)的不成熟和受環(huán)境的影響，生產(chǎn)出的鋼板的缺陷各有差異，采集的缺陷圖像存在著噪聲大、受光照不均勻、圖像對比度低、缺陷目標(biāo)難以分割等缺點(diǎn)，都極大地增加了鋼板表面缺陷圖像分類識(shí)別算法的難度[2]。

目前借助于計(jì)算機(jī)技術(shù)進(jìn)行鋼板表面缺陷分類檢測方法主要有兩種。一種是基于傳統(tǒng)機(jī)器視覺算法，傳統(tǒng)機(jī)器視覺算法基于提取變化的特征，使用支持向量機(jī)SVM[3]、隨機(jī)森林[4]等分類器進(jìn)行分類，由于缺陷在鋼板圖像上的分布也無明顯規(guī)律，特征難以提取，導(dǎo)致該方法識(shí)別算法難度大，且識(shí)別準(zhǔn)確率較低。二是基于卷積神經(jīng)網(wǎng)絡(luò)CNN的鋼板表面缺陷圖像分類算法[5]。目前卷積神經(jīng)網(wǎng)絡(luò)在語音和圖像識(shí)別等領(lǐng)域都得到飛速發(fā)展，可以直接將圖像作為網(wǎng)絡(luò)的輸入，自動(dòng)提取特征，對光照與旋轉(zhuǎn)有一定的抗性，并且對圖片的變形，如平移、比例縮放、傾斜等，具有高度不變性[6]，算法適應(yīng)性強(qiáng)。

Inception[7]網(wǎng)絡(luò)可以并行執(zhí)行多個(gè)不同卷積核大小的運(yùn)算或池化操作，增加了網(wǎng)絡(luò)對尺度的適應(yīng)性，并行處理這些卷積運(yùn)算并合并所有結(jié)果，將獲得更好的圖像表征。ResNet網(wǎng)絡(luò)的殘差網(wǎng)結(jié)構(gòu)可以使得隨著網(wǎng)絡(luò)層數(shù)的加深，準(zhǔn)確率不下降。ResNet殘差學(xué)習(xí)模塊將每層的輸入和輸出進(jìn)行一個(gè)堆疊，且并不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)和計(jì)算量，從而能夠加快模型訓(xùn)練收斂速度，并且當(dāng)模型的層數(shù)加深時(shí)，還能很好地解決退化問題[8]。Inception-ResnetV2網(wǎng)絡(luò)[9]基于Inception V3[10]采用殘差連接，使得能夠訓(xùn)練層數(shù)更深的神經(jīng)網(wǎng)絡(luò)從而產(chǎn)生更好的性能，在圖像分類基準(zhǔn)上取得更高的識(shí)別率。Convolutional Block Attention Module(CBAM)[11]模塊是一種用于前饋卷積神經(jīng)網(wǎng)絡(luò)的簡單而有效的注意模塊。對于給定一個(gè)中間特征圖譜，CBAM模塊沿著兩個(gè)獨(dú)立的維度，在通道和空間依次推斷注意力映射，然后將注意力映射圖譜乘以輸入特征圖譜以進(jìn)行自適應(yīng)特征細(xì)化，提升網(wǎng)絡(luò)性能。本文在上述網(wǎng)絡(luò)模型的基礎(chǔ)上，以Inception-ResnetV2為基礎(chǔ)網(wǎng)絡(luò)框架，并嵌入CBAM模塊，提出一種結(jié)合二者優(yōu)勢、網(wǎng)絡(luò)層數(shù)更深、性能更優(yōu)的CBAM-Inception-ResnetV2網(wǎng)絡(luò)，提高網(wǎng)絡(luò)模型分類的準(zhǔn)確率。

1 算法描述

本文的鋼板表面缺陷圖像分類算法流程如圖1所示。由于圖像質(zhì)量會(huì)顯著影響后續(xù)神經(jīng)網(wǎng)絡(luò)的特征提取以及分類，因此本文先將采集的圖像進(jìn)行去噪濾波與圖像增強(qiáng)，然后進(jìn)行閾值分割與ROI區(qū)域提取，經(jīng)過預(yù)處理的數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集用來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，測試集用來驗(yàn)證已訓(xùn)練網(wǎng)絡(luò)模型。

1.1 圖像預(yù)處理

本文實(shí)驗(yàn)中鋼板表面缺陷圖像主要分為六種，分別為斑跡、表面夾雜、大花臉、過酸洗、鐵皮氧化、壓痕。由于鋼板表面缺陷原圖像對比度低、噪聲大，且圖像整體對比度低下，因此有必要對鋼板表面圖像進(jìn)行去噪濾波和圖像增強(qiáng)。本文采用雙邊濾波，在去噪的同時(shí)又能較好地保留圖像邊緣信息，然后進(jìn)行圖像增強(qiáng)，采用直方圖均衡化，通過圖像的灰度分布直方圖來確定一條原始灰度值到變換灰度值的映射曲線，然后對圖像進(jìn)行灰度變換，拉伸圖像對比度。最后在增強(qiáng)圖像上進(jìn)行自適應(yīng)閾值分割和投影，提取增強(qiáng)圖像中特征比較明顯的區(qū)域，作為神經(jīng)網(wǎng)絡(luò)的輸入圖像，圖像預(yù)處理結(jié)果如圖2所示。

(a) 原圖 (b) 圖像增強(qiáng) (c) 閾值分割 (d) ROI

1.2 Inception-ResnetV2模型

Inception模塊是一種具有優(yōu)良局部拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)，即對輸入圖像并行地執(zhí)行多個(gè)卷積運(yùn)算或池化操作，如并行執(zhí)行1×1、3×3、5×5和7×7等卷積核大小不同的卷積操作，可以獲得輸入圖像的不同層次的特征信息，并將所有卷積輸出結(jié)果合并拼接組成一個(gè)更深的特征圖譜以獲得更優(yōu)的圖像表征[12-13]。Inception-ResnetV2網(wǎng)絡(luò)中的Inception結(jié)構(gòu)主要采用分解的思想，將一個(gè)尺寸較大的二維卷積分解成兩個(gè)較小的不對稱一維卷積，例如將一個(gè)7×7 Conv拆成7×1 Conv和1×7 Conv，一個(gè)3×3 Conv拆成3×1 Conv和1×3 Conv，可以減輕計(jì)算量，從而減少參數(shù)量，且同時(shí)拆分成兩個(gè)不對稱卷積，可以得到更加多樣性的特征圖譜。Inception-ResnetV2網(wǎng)絡(luò)輸入從224×224變?yōu)?99×299，其中Stem結(jié)構(gòu)中采用了Inception V3模型中的并行結(jié)構(gòu)和分解思想，可以在保證信息損失足夠小的情況下，使得計(jì)算量降低，結(jié)構(gòu)中1×1的卷積核用來降維，并且也增加了非線性。Inception-Resnet-A、Inception-Resnet-B和Inception-Resnet-C結(jié)構(gòu)采用Inception+殘差網(wǎng)設(shè)計(jì)，層次更深、結(jié)構(gòu)更復(fù)雜，得到特征圖的通道數(shù)更多。而Reduction-A、Reduction-B、Reduction-C三種結(jié)構(gòu)用來降低計(jì)算量和特征圖譜的尺寸。Inception-ResnetV2模型能很好地融合Inception模塊和殘差網(wǎng)結(jié)構(gòu)二者優(yōu)勢，既能增加網(wǎng)絡(luò)深度和寬度，又能避免梯度消失。圖3只給出Inception-Resnet-A結(jié)構(gòu)，這與Inception-Resnet-B和Inception-Resnet-C結(jié)構(gòu)類似。

圖3 Inception-Resnet-A網(wǎng)絡(luò)結(jié)構(gòu)

1.3 注意力機(jī)制模型

1.3.1SENet

SENet(Sequeeze-and-Excitation Network)[14]是一個(gè)輕量級網(wǎng)絡(luò)，主要包括擠壓和激勵(lì)兩部分運(yùn)算，可以嵌入到其他的分類或者檢測模型。一般認(rèn)為特征圖譜的每個(gè)通道是同等重要的，并沒有區(qū)分各個(gè)通道的重要程度性，而SE模塊的核心思想就是通過損失函數(shù)去學(xué)習(xí)每個(gè)通道的特征權(quán)重，使得任務(wù)相關(guān)通道的特征圖譜權(quán)重大，從而提高模型的精準(zhǔn)度。SENet結(jié)構(gòu)組成詳解如圖4所示。

圖4 Sequeeze-and-Excitation結(jié)構(gòu)

(1)Fsq操作：為了了解特征圖譜通道之間的相關(guān)性，先考慮輸出特征圖譜中各個(gè)通道的信息。由于每個(gè)學(xué)習(xí)到的卷積核都有自己的局部感受野，因此，卷積變換后得到的輸出的各個(gè)數(shù)據(jù)單元不能利用數(shù)據(jù)單元以外的信息。為了解決這個(gè)問題，壓縮操作使用了一個(gè)最大全局池化，將二維的空間特征壓縮成一個(gè)實(shí)數(shù)，從而在一定程度上可以得到具有全局感受野的單個(gè)通道的統(tǒng)計(jì)信息z，統(tǒng)計(jì)信息z的第c個(gè)分量計(jì)算公式如下：

(1)

式中：uc表示二維輸入矩陣；H表示矩陣高度；W表示矩陣寬度。

(2)Fex操作：為了有效利用壓縮操作生成的全局通道信息，激活操作通過兩個(gè)全連接層，融合特征圖各個(gè)通道之間的信息。為了降低模型計(jì)算量，第一個(gè)全連接層操作，將維度降到原來的1/r,然后第二個(gè)全連接層又恢復(fù)原來維度，然后經(jīng)過Sigmoid函數(shù)得到權(quán)重s，計(jì)算公式如下：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(2)

式中：W1∈RC×C/r；W2∈RC/r×C；g表示全連接操作；δ為ReLU激活函數(shù)；σ為Sigmoid函數(shù)。

(3)Fscale操作：將上述激活操作得到的特征圖權(quán)重與之前通道上的輸入進(jìn)行相乘，加權(quán)到之前的通道上，實(shí)現(xiàn)在通道維度上的對原始特征的重標(biāo)定[15]。

xc=Fscale(uc,sc)=sc·uc

(3)

式中：sc表示權(quán)重。

1.3.2CBAM

CBAM(Convolutional Block Attention Module)表示卷積模塊的注意力機(jī)制模塊，是一種結(jié)合了空間和通道的注意力機(jī)制模塊。它相對于SE多了一個(gè)空間注意力模塊，其實(shí)就是圖像像素點(diǎn)位置的關(guān)注。CBAM模塊示意圖如圖5所示。

圖5 CBAM模塊結(jié)構(gòu)

對輸入F,進(jìn)行兩個(gè)運(yùn)算，其中：MC表示通道維度上進(jìn)行注意力映射計(jì)算；MS表示空間維度上進(jìn)行注意力映射計(jì)算。兩個(gè)運(yùn)算操作原理如下。

MC(F)=σ(MLP(AvgPool(F)))+σ(MLP(MaxPool(F)))

(4)

(5)

式中：F表示輸入；MLP表示多層感知機(jī)模型；W0∈RC/r×C；W1∈RC×C/r。

(2) Spatial Attention操作。空間上的計(jì)算主要關(guān)注位置信息，首先將特征圖進(jìn)行列通道上的全局最大池化和平均池化得到兩個(gè)不同的特征描述。假如輸入特征圖為h×w×c，經(jīng)過一次池化后變?yōu)閔×w×1的特征圖，將經(jīng)過全局最大池化和平均池化的特征描述合并，得到h×w×2的特征圖，采用7×7的卷積核進(jìn)行卷積，使用Sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化，將得到的結(jié)果與通道上的輸入相乘，實(shí)現(xiàn)在空間維度上的對原始特征的重標(biāo)定。計(jì)算過程如下：

MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))

(6)

式中：σ為Sigmoid函數(shù)；f表示卷積，7×7表示卷積核的大小。

1.4 網(wǎng)絡(luò)模型改進(jìn)

本文實(shí)驗(yàn)中將SENet和CBAM模塊嵌入到Inception-ResnetV2中[16]的Inception-Resnet-A、Inception-Resnet-B和Inception-Resnet-C結(jié)構(gòu)中，并且簡化基礎(chǔ)模型，減少網(wǎng)絡(luò)層數(shù)，將Inception-Resnet-A、Inception-Resnet-B和Inception-Resnet-C結(jié)構(gòu)個(gè)數(shù)分別置為3、5、3。以嵌入CBAM模塊為例，假設(shè)對于Inception卷積輸入為w×h×c,首先進(jìn)行通道上的注意力映射計(jì)算，對于特征圖w×h×c的輸入，進(jìn)行全局最大池化，其實(shí)是求每個(gè)w×h面積的最大值，得到1×1×c的結(jié)果，然后接兩層全連接層。第一層全連接層FC1為1×1×c/r,縮放參數(shù)r是為了減少通道數(shù)，從而降低計(jì)算量，本文算法中r設(shè)置為16，經(jīng)過第二層全連接層FC2升到原來維度1×1×c，平均池化也一樣。經(jīng)過Sigmoid函數(shù)，維度不變，與最開始的Inputs相乘，相當(dāng)于[1×1×c]×[w×h×c],這里相乘相當(dāng)于給每個(gè)通道作用了不同的權(quán)重?？臻g上的注意力機(jī)制，首先進(jìn)行全局通道池化，通道池化相當(dāng)于將通道壓縮到了1維，其實(shí)就是對通道維度求最大值，平均池化操作也類似，生成兩個(gè)w×h×1的特征圖。將兩個(gè)w×h×1的特征圖進(jìn)行通道合并，用1個(gè)7×7的卷積核進(jìn)行卷積，維度恢復(fù)到w×h×1，最后經(jīng)過Sigmoid門函數(shù)，維度不變，然后將其與經(jīng)過通道重標(biāo)定的輸入相乘得到最終的結(jié)果。通過嵌入CBAM模塊對中間網(wǎng)絡(luò)層的通道和空間位置進(jìn)行重標(biāo)定，具體結(jié)構(gòu)設(shè)計(jì)如圖6所示。

圖6 CBAM-Inception-ResnetV2結(jié)構(gòu)

1.5 參數(shù)優(yōu)化方法

本文算法采用交叉熵?fù)p失函數(shù)作為代價(jià)函數(shù)，并且在求total_loss時(shí)加入L1、L2混合正則,損失函數(shù)如下：

(7)

(8)

式中：p表示x的實(shí)際概率分布；q表示x的預(yù)測概率分布；對整個(gè)batch的交叉熵求均值得到corss_loss，再進(jìn)行L1、L2混合正則，以減輕過擬合；ω1表示權(quán)重；α表示正則化參數(shù)。

Adam算法是一種自適應(yīng)學(xué)習(xí)率的算法，既能夠處理較大的數(shù)據(jù)集，也能適應(yīng)稀疏的數(shù)據(jù)集，計(jì)算效率高[17]。由于本文實(shí)驗(yàn)中的數(shù)據(jù)集較大，且數(shù)據(jù)集較稀疏，因此梯度下降算法采用Adam算法。Adam算法綜合梯度的一階矩估計(jì)和二階矩估計(jì)來計(jì)算梯度更新。Adam算法更容易找到比較平坦的最小值，概括性更好。Adam算法梯度更新規(guī)則如下：

gt=▽J(θt-1)

(9)

mt=β1mt-1+(1-β1)gt

(10)

(11)

(12)

(13)

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)準(zhǔn)備

本文采用的數(shù)據(jù)集來自合作伙伴上海寶鋼公司提供的42 280幅圖像，其中斑跡7 100幅、表面夾雜6 800幅、大花臉7 080幅，過酸洗6 900幅、鐵皮氧化7 100幅、壓痕7 300幅。圖像大小均為2 048×1 000。本文是在ubuntu環(huán)境下，基于TensorFlow深度學(xué)習(xí)框架，硬件平臺(tái)Intel Core i7- 7700，8 GB內(nèi)存,GPU為NVIDIA GeForce GTX1080配置下進(jìn)行訓(xùn)練。將經(jīng)過預(yù)處理后的圖像數(shù)據(jù)集按照3 ∶1劃分為訓(xùn)練集和測試集，標(biāo)簽分為6類。將訓(xùn)練集作為模型的輸入，采用反向傳播算法對模型進(jìn)行逐層訓(xùn)練，采用Adam算法進(jìn)行權(quán)值更新，用于模型的訓(xùn)練和參數(shù)微調(diào)。測試集用來驗(yàn)證模型的準(zhǔn)確率和泛化能力。

2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果

在實(shí)驗(yàn)過程中，在訓(xùn)練時(shí)將初始學(xué)習(xí)率learning_rate設(shè)置為0.001，batchsize為64，損失函數(shù)采用交叉熵函數(shù)，用Adam算法進(jìn)行權(quán)值更新，其中參數(shù)β1設(shè)置為0.9，β2設(shè)置為0.999，使用Softmax作為分類函數(shù)。圖7顯示了對Inception-Resnet-V2模型以及嵌入SE模塊和CBAM模塊三種網(wǎng)絡(luò)模型在訓(xùn)練過程中的識(shí)別準(zhǔn)確率變化，可以看出在epoch為90的時(shí)候三種模型識(shí)別準(zhǔn)確率趨于穩(wěn)定，結(jié)果表明CBAM-Inception-ResnetV2與SE-Inception-ResnetV2模型的識(shí)別率相近，但是相比于原始網(wǎng)絡(luò)模型識(shí)別率有所提升。圖8是三種網(wǎng)絡(luò)模型隨著迭代次數(shù)變化的損失函數(shù)圖，可以看出CBAM-Inception-ResnetV2模型訓(xùn)練的收斂速度明顯要優(yōu)于SE-Inception-ResnetV2和Inception-ResnetV2模型，這是由于CBAM模塊可以有效地強(qiáng)調(diào)或抑制和重新定義中間特征的內(nèi)容和位置，使得網(wǎng)絡(luò)性能更優(yōu)。

圖7 三種網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率

圖8 三種網(wǎng)絡(luò)模型loss損失

表1是測試CBAM-Inception-ResnetV2模型將數(shù)據(jù)集隨機(jī)分配成5次計(jì)算平均準(zhǔn)確率得到的結(jié)果?？梢钥闯瞿Ｐ偷谋砻鎶A雜、大花臉、過酸洗有較高的分類準(zhǔn)確率，而對斑跡、鐵皮氧化、壓痕三種類別存在混淆，這是由于這三種類別之間存在模糊的定義，導(dǎo)致分類識(shí)別率有所下降。

表1 CBAM-Inception-ResnetV2分類準(zhǔn)確率混淆矩陣

為了驗(yàn)證本文網(wǎng)絡(luò)有更好的分類效果，本文還對比了多種當(dāng)前主流分類神經(jīng)網(wǎng)絡(luò)，如VGG19[18]、Resnet50[19]、InceptionV4[20]、Inception-Resnet-V2模型，由表2可以看出本文網(wǎng)絡(luò)CBAM-Inception-ResnetV2有更高的分識(shí)別類準(zhǔn)確率，相對于Inception-ResnetV2模型識(shí)別準(zhǔn)確率提高了2.17百分點(diǎn)以及參數(shù)量只有較小幅度的提升。且本文將Inception-ResnetV2模型進(jìn)行簡化，CBAM-Inception-ResnetV2最終的參數(shù)量也只有37.8 M,可以看出在基礎(chǔ)網(wǎng)絡(luò)上嵌入CBAM模塊以較小參數(shù)量代價(jià)可以顯著提升模型識(shí)別率，提升網(wǎng)絡(luò)性能。

表2 各主流神經(jīng)網(wǎng)絡(luò)算法與本文算法識(shí)別率比較

3 結(jié) 語

本文提出一種基于注意力機(jī)制和深度學(xué)習(xí)的鋼板表面缺陷圖像分類算法。在Inception-ResnetV2模型基礎(chǔ)上嵌入CBAM注意力機(jī)制模塊，能夠提取任務(wù)相關(guān)的特征，抑制任務(wù)無關(guān)的特征，重新定義每個(gè)通道和空間特征的重要性，以較小的開銷達(dá)到較為可觀地提升網(wǎng)絡(luò)性能、提高模型識(shí)別率和加快模型收斂速度。實(shí)驗(yàn)結(jié)果表明，相較于其他算法，本文算法有更高的識(shí)別率，可以為鋼材生產(chǎn)工業(yè)提供更好的輔助作用。今后的工作重點(diǎn)是進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提取更有效的特征，進(jìn)一步提高識(shí)別率，更好地應(yīng)用到鋼材生產(chǎn)工業(yè)中。