程國建，卞晨亮

(西安石油大學(xué) 計算機學(xué)院，陜西 西安 710065)

0 引 言

隨著工業(yè)智能化時代到來，市場需求不斷進(jìn)化，傳統(tǒng)的鋼鐵制造業(yè)也難以幸免于難，受到強烈的沖擊。為適應(yīng)這種變化，國內(nèi)企業(yè)開始研究布局鋼材生產(chǎn)線的表面質(zhì)量檢測與自動處理。將深度學(xué)習(xí)技術(shù)應(yīng)用到機器視覺領(lǐng)域如安全監(jiān)控、自動駕駛[1]已經(jīng)成為生產(chǎn)企業(yè)及科研人員重點關(guān)注的方向。東北大學(xué)宋老師團(tuán)隊提出融合多層級特征的弱監(jiān)督鋼板表面缺陷檢測算法[2],其中引入殘差網(wǎng)絡(luò)提高了檢測的效果。文獻(xiàn)[3,4]使用Faster R-CNN檢測鋼材缺陷，對比傳統(tǒng)的方法有一定的提升。文獻(xiàn)[5]基于SVM算法實現(xiàn)缺陷識別系統(tǒng)，具有一定的局限性。文獻(xiàn)[6]提出基于機器視覺的產(chǎn)品表面檢測算法，結(jié)合傳統(tǒng)算法和深度學(xué)習(xí)進(jìn)行了描述。文獻(xiàn)[7]利用深度學(xué)習(xí)實現(xiàn)鋼板表面檢測與字符識別。文獻(xiàn)[8]使用YOLOv3算法，并優(yōu)化了損失函數(shù)，提升了檢測的速度。本文中采用深度學(xué)習(xí)方法對鋼材缺陷檢測[9]采用YOLOv5作為基礎(chǔ)骨架，改進(jìn)其網(wǎng)絡(luò)架構(gòu)，并引入注意力機制降低了算法的誤差，進(jìn)而提高算法的精度。

1 YOLOv5算法

YOLO的含義是“你只需看一次(you only look once)”，其版本已從V1到目前的V5版。YOLO模型為單階段的網(wǎng)絡(luò)結(jié)構(gòu)，計算出候選區(qū)域的同時進(jìn)行分類任務(wù)和位置的優(yōu)化，提高了檢測速度和資源利用率。YOLOv5模型的第一特點是提供了4種不同深度的網(wǎng)絡(luò)結(jié)構(gòu)，可以根據(jù)任務(wù)的需求不同進(jìn)行選擇。使用了CSPDarknet53作為基本網(wǎng)絡(luò)，主要由Focus模塊、CSP模塊、CBL模塊構(gòu)成，F(xiàn)ocus模塊構(gòu)成，主要包括切片操作和卷積層(Conv)，其中CBL模塊由卷積層(Conv)、批歸一化層(BN)和Leaky Relu激活函數(shù)組成。YOLOv5中設(shè)計了兩種CSP模塊，一種CSP1_X結(jié)構(gòu)使用于Backbone主干網(wǎng)絡(luò)，另一種CSP2_X結(jié)構(gòu)嵌入到Neck模塊中，通過跨級拼接與通道整合增強CNN的學(xué)習(xí)能力。在邊界框的預(yù)測方式進(jìn)行學(xué)習(xí)自動錨定框，在不斷訓(xùn)練過程中優(yōu)化邊界框，并在不同層次的特征圖上進(jìn)行預(yù)測，采用PANet的思想對不同層次的特征進(jìn)行融合。

2 模型改進(jìn)與優(yōu)化(YOLOv5-MD)

2.1 候選區(qū)域參數(shù)選定

YOLO系列模型檢測的基礎(chǔ)是在輸入圖像上獲取一系列w和h固定的初始候選框，候選框選用對模型的性能至關(guān)重要。YOLOv5模型每次訓(xùn)練時自適應(yīng)的計算不同訓(xùn)練集中的最佳錨框值，一定程度上增加訓(xùn)練的時間，增加了網(wǎng)絡(luò)中的參數(shù)。本文使用K-means++聚類方法對鋼材缺陷數(shù)據(jù)集進(jìn)行聚類得到合適的候選框大小，K-means++優(yōu)化了初始聚類中心的選取，其具體流程為，開始隨機選取一個中心點，其次選取離中心點最遠(yuǎn)的點作為第二個中心點，第三個中心點是離其前兩個類中心點間距最大的一個點，根據(jù)這個選取方式，直到選取k個原始類簇中心點。選擇好初始的中心點之后，再采用原K-means算法進(jìn)行聚類。

聚類效果用輪廓系數(shù)來評估，計算公式如式(1)所示

(1)

式中：bi為樣本i到其它各個族群的所有樣本距離的平均值中的最小值，ai為樣本i到本身簇的距離平均值。

經(jīng)過優(yōu)化和計算，最終獲得候選區(qū)域參數(shù)分別為(61,122)，(75,238)，(155,156)，(194,273)，(99,543)，(419,131)，(431,239)，(226,509)，(541,569)。

2.2 融合EfficientNet分類網(wǎng)絡(luò)

EfficientNet[10]是谷歌2019最新的神經(jīng)網(wǎng)絡(luò)，介紹了如何利用復(fù)合系數(shù)統(tǒng)一縮放模型的所有維度，達(dá)到精度最高效率最高，符合系數(shù)包括w，d，r，其中，w表示卷積核大小，決定了感受野大??；d表示神經(jīng)網(wǎng)絡(luò)的深度；r表示分辨率大小。

本實驗中采用遷移學(xué)習(xí)，使用EfficientNet-B7在鋼材數(shù)據(jù)集上訓(xùn)練一個二分類網(wǎng)絡(luò)，雖然目標(biāo)檢測模型在7個不同的類(6個不同類型的鋼材缺陷和一個無缺陷的類)上訓(xùn)練，但我們只在兩個類(有缺陷的鋼材和無缺陷的鋼材)上訓(xùn)練分類網(wǎng)絡(luò)。類似于一種建模方法，簡化了分類問題，因為2分類網(wǎng)絡(luò)比7分類網(wǎng)絡(luò)容易得多。雖然YOLOv5的分類預(yù)測非常好，如果將它與另一個更強大的網(wǎng)絡(luò)的分類混合在一起，即我們?nèi)诤蟉OLOv5和EfficientNet-B7這兩個網(wǎng)絡(luò)時，性能可以進(jìn)一步提高。設(shè)置一個高閾值和一個低閾值。然后我們要檢查每個分類預(yù)測。如果概率小于低閾值，我們將預(yù)測設(shè)置為“無缺陷”。如果分類預(yù)測在低閾值和高閾值之間，我們得到一個“Better Confidence”的預(yù)測，該預(yù)測具有EfficientNet-B7的置信度。如果分類預(yù)測高于高閾值，意味著網(wǎng)絡(luò)是高度自信的，不需要做什么操作，具體算法如算法1所示。

算法1：輔助分類算法偽代碼

輸入： low_thr，high_thr，Result

輸出： Result

(1) If result[target]

Result[‘prediction’]=‘7 1 0 0 1 1’

(2) Else if low_thr

Result[‘prediction’]+=‘7 {result[target]} 0 0 1 1’

(3) Else if result[target]>high_thr:

Result[‘prediction’]=Result[‘prediction’]

(4) Else:

ValueError (‘Prediction must be from[0-1]’)

2.3 Shuffle卷積與注意力模塊

大多數(shù)輕量級的神經(jīng)網(wǎng)絡(luò)模型[12]一般都采用組卷積或深度可分離卷積來減少卷積過程中產(chǎn)生的計算量，但是1×1卷積的應(yīng)用也會在卷積過程中占用較多的計算資源，Shuffle Net提出了通道混洗方法用于緩解這一問題。經(jīng)過組卷積之后，采用通道混洗能實現(xiàn)組間信息的流動，有助于提高模型特征的表達(dá)能力。通道混洗的本質(zhì)在于不增加計算復(fù)雜度的情況下，可以使組卷積通道之間信息流通?；谶@些方面考慮，對普通卷積為3×3和1×1的模塊做出調(diào)整，更換為組卷積和通道混洗模塊，進(jìn)而對模型壓縮。

針對YOLOv5中的跳層連接加入自注意力機制(self-attention，SA)，可以保持信息的有效性，在一定程度上減少梯度消失的問題。SA機制是獲得長距離依賴的一種方式，可以動態(tài)地生成不同連接的權(quán)重。將前一層的輸出稱為g，以及來自于擴展路徑連接稱為x。x和g經(jīng)過1×1的卷積，將兩者都變成相同數(shù)量的通道數(shù)，并不改變其特征圖的大小，經(jīng)過逐像素相加并通過激活函數(shù)(ReLU)，之后通過另一1×1的卷積和激活函數(shù)(Sigmoid)，得到一個0到1的重要度分?jǐn)?shù)，分配給特征圖的每個部分，最后用這個注意力圖乘以x，產(chǎn)生注意力塊的最終結(jié)果。

將池化注意力模塊(PBAM)[13]添加到Y(jié)OLOv5 網(wǎng)絡(luò)的主干網(wǎng)絡(luò)中，用來提取到更多的特征信息。PBAM 模塊先采用兩個并列的池化操作進(jìn)行特征圖的壓縮獲取到特征圖的關(guān)鍵點，然后對其進(jìn)行擴張操作，PBAM引入了殘差結(jié)構(gòu)用來融合前后的特征信息，并可以有效保證網(wǎng)絡(luò)較深情況下梯度不會消失或者過大，最后將兩個分支的結(jié)果進(jìn)行逐像素相加并與輸入特征圖融合傳入下一層。該模塊輸入特征圖和輸出特征圖大小一致，PBAM模塊可以嵌入到任意網(wǎng)絡(luò)結(jié)構(gòu)中，圖1為YOLOv5-MD的算法框架。

2.4 加權(quán)邊界框融合(WBF)

圖像檢測任務(wù)中模型的預(yù)測包括邊界框矩形的坐標(biāo)，對象的類別標(biāo)簽以及反映模型在此預(yù)測中的信心程度的置信度得分(概率從0到1)。其中有一個非常重要的階段，需要生成區(qū)域建議(可能的邊界框)，以及過濾一些建議區(qū)域。經(jīng)常使用的算法有非極大值抑制(NMS)，Soft-NMS。NMS指如果框與框的交并比(intersection over union，IoU)高于指定的閾值參數(shù)，則這些框會被過濾為一個框。Soft-NMS不會完全移除IoU高于閾值的框，而是根據(jù)IoU的值降低它們的置信度分?jǐn)?shù)，相比于NMS，可以過濾掉較少的邊界框。

NMS和soft-NMS都排除某些框，而WBF[14]使用所有的框，可以有效解決模型無法正確預(yù)測所有框的情況。如圖2所示，細(xì)黑色線條表示不同的預(yù)測框，粗黑色線條表示真實的標(biāo)注位置。NMS/soft-NMS保留一個不準(zhǔn)確的框，而WBF使用所有的預(yù)測框進(jìn)行融合。

2.5 改進(jìn)的PANet結(jié)構(gòu)

輸入圖像經(jīng)過YOLOv5網(wǎng)絡(luò)中的骨干網(wǎng)絡(luò)提取特征信息后預(yù)測輸出結(jié)果。為了提高模型性能，YOLOv5采用PANet[15]結(jié)構(gòu)進(jìn)行路徑增強和聚合，增加了自底向上的路徑，從而縮短了低層與頂層特征之間的信息路徑，使低層信息更容易傳播。

針對高層特征語義豐富但是空間信息較弱，低層特征語義較弱但空間信息豐富的特點，引入改進(jìn)的PANet結(jié)構(gòu)，如圖3所示，這種結(jié)構(gòu)能夠在較少計算量的前提下融合高層和低層的特征信息。該模塊去除掉 PANet結(jié)構(gòu)中一些邊，并使用殘差的方式添加一條額外的邊，對粗分辨率的特征圖，對特征層的較高層特征執(zhí)行2倍上采樣操作，使特征圖的大小增加一倍；較低層特征采用橫向連接，通過1×1卷積改變通道數(shù)，最后將上采樣和卷積后的特征圖的對應(yīng)元素相加，重復(fù)該過程，直到生成最精細(xì)的分辨率特征圖。輸入圖像經(jīng)過骨干網(wǎng)絡(luò)得到各層級的特征圖后，采用多尺度特征融合獲得特征圖大小分別為152、76、38和19的特征圖，并根據(jù)得到的4個特征圖繼續(xù)進(jìn)行預(yù)測。

3 實驗流程與數(shù)據(jù)分析

3.1 實驗流程

YOLOv5-MD模型訓(xùn)練包括訓(xùn)練6類的目標(biāo)檢測模型和2分類的EfficientNet-B7網(wǎng)絡(luò)模型，具體實驗流程如圖4所示。首先是對鋼材缺陷圖像進(jìn)行篩選和標(biāo)注，制作數(shù)據(jù)集并隨機劃分為訓(xùn)練集、驗證集和測試集，其次對數(shù)據(jù)訓(xùn)練樣本進(jìn)行預(yù)處理(其中包括處理圖像為模型輸入圖像的尺寸，以及封裝樣本和標(biāo)簽等)；然后利用設(shè)計的算法提取圖像的特征、計算損失函數(shù)以及反向傳播優(yōu)化，隨后在驗證集上測試本次迭代結(jié)果的平均準(zhǔn)確率，如果準(zhǔn)確率大于之前保存模型的準(zhǔn)確率，使用本次迭代結(jié)果保存的參數(shù)信息替換之前保存的模型參數(shù)信息；之后判斷迭代次數(shù)是否大于實驗設(shè)置的最大迭代次數(shù)，如果小于最大迭代次數(shù)，模型則繼續(xù)訓(xùn)練，反之，模型訓(xùn)練完成；最后，模型訓(xùn)練完成后使用測試集對模型效果進(jìn)行測試，以及在測試圖像上畫出最終的識別結(jié)果，即鋼材缺陷的位置和所屬的類別。

3.2 實驗數(shù)據(jù)集及其預(yù)處理

本次實驗所使用的數(shù)據(jù)集是東北大學(xué)宋克臣老師團(tuán)隊制作的鋼材表面缺陷數(shù)據(jù)集和經(jīng)過網(wǎng)絡(luò)爬蟲得到的數(shù)據(jù)，共有5800張多類的鋼材圖像。模型訓(xùn)練過程中將數(shù)據(jù)集分為3個部分：訓(xùn)練集(4200個采樣)、驗證集(1000個采樣)和測試集(600個采樣)。經(jīng)過labelme標(biāo)注工具對未標(biāo)注的數(shù)據(jù)注釋完成后，數(shù)據(jù)集共有crazing(裂紋)、inclusion(夾雜)、patches(斑塊)、scratches(劃痕)、pitted_surface(麻點)、rolled-in_scale(氧化鐵皮壓入)6類缺陷類型。為了使每類樣本數(shù)量均衡，采用數(shù)據(jù)增強[16]方式將較少類別的目標(biāo)區(qū)域精準(zhǔn)增強。以“patches”為例數(shù)據(jù)增強前后對比如圖5所示。

對數(shù)據(jù)集進(jìn)行預(yù)處理后。每類樣本數(shù)目見表1。

表1 數(shù)據(jù)增強后每類樣本的數(shù)量

3.3 模型結(jié)果對比分析

采用處理后的數(shù)據(jù)集分別對YOLOv5算法和YOLOv5-MD算法進(jìn)行訓(xùn)練，本次采用Pytorch框架和OpenCV庫函數(shù)，CPU為Inteli7-9750H，GPU為NVIDIA GTX 1080，顯存16 G，采用CUDA 10.0與CUDNN V7.5并結(jié)合Python語言實現(xiàn)了算法內(nèi)容。訓(xùn)練參數(shù)設(shè)置迭代次數(shù)為300，批處量大小為8，基礎(chǔ)學(xué)習(xí)率初始為0.001，其中動量和權(quán)重衰減分別配置0.9和0.0005，訓(xùn)練過程中優(yōu)化器為Adam，YOLOv5算法和YOLOv5-MD算法的損失函數(shù)值的變化曲線如圖6所示。

從圖6可以觀察到訓(xùn)練迭代到280次左右損失曲線逐漸處于平穩(wěn)且無明顯震蕩，YOLOv5-MD模型最終損失值明顯低于YOLOv5，基本穩(wěn)定在0.03左右，模型收斂。

對比消融實驗分為6個組別，分別為融合EfficientNet網(wǎng)絡(luò)、Shuffle Conv、PBAM(pooling block attention module)、改進(jìn)的PANet結(jié)構(gòu)以及K-means++這5個方向進(jìn)行對比實驗，結(jié)果見表2。Lab1、Lab2、Lab3表明，通過采用融合Efficient網(wǎng)絡(luò)、改進(jìn)PAnet方法以及增加池化注意力機制在不同程度上提高了鋼材缺陷分類的準(zhǔn)確率，其中加入注意力機制的實驗準(zhǔn)確率明顯提高了7%左右。Lab1、Lab5表明，通過使用Shuffle Conv卷積方法減少了模型的復(fù)雜度，縮短了單幀圖像的處理時間，進(jìn)而提高了檢測的實時性；Lab2、Lab3、Lab4、Lab5、Lab6表明將4處方向融合，可以在保證召回率的前提下，提高檢測的準(zhǔn)確率。

表2 不同改進(jìn)模塊的對比實驗

模型訓(xùn)練結(jié)束后，將Faster RCNN、SSD、YOLOv4、YOLOv5作為對比模型，在測試集上采用精確率(Precision)和召回率(Recall)分別對4個模型進(jìn)行測試，表3為4種算法分別對鋼材缺陷數(shù)據(jù)進(jìn)行檢測的結(jié)果。

表3 5種模型進(jìn)行鋼材缺陷檢測的綜合性能對比

分析表3可知，改進(jìn)的YOLOv5-MD算法復(fù)雜度沒有明顯提高，模型的單幀檢測速度與YOLOv5，YOLOv4基本一致，但比SSD和Faster RCNN分別快了1.7倍和7.1倍，其精確率比其它4個算法都高，比Faster RCNN提高了10%左右。

依據(jù)Precision和Recall可以對每類目標(biāo)的平均精準(zhǔn)度(AP)和整體的平均檢測精度(mAP)進(jìn)行計算。如表4所示，優(yōu)化后的模型YOLOv5-MD整體的mAP比YOLOv5提升了3.3%，模型的魯棒性有了一定的提升。分析表4中每種類別的AP值，經(jīng)過數(shù)據(jù)增強和改進(jìn)模型每種類別的AP值都有一定的提升。

表4 YOLOv5與YOLOv5-MD的mAP對比

YOLOv5-MD置信度分?jǐn)?shù)和F1分?jǐn)?shù)、精確率、召回率的關(guān)系如圖7所示，從圖中可以看出，當(dāng)置信度分?jǐn)?shù)為0.4左右時，所有類的平均F1分?jǐn)?shù)、精確率和召回率都可以達(dá)到85%以上，可以達(dá)到比較好的效果。

鋼材缺陷圖像的實際檢測結(jié)果如圖8所示，鋼材缺陷檢測位置信息和類別信息在圖中都有標(biāo)示。

4 結(jié)束語

本文對于目標(biāo)檢測算法YOLOv5進(jìn)行改進(jìn)，提出了一種鋼材表面缺陷檢測的算法YOLOv5-MD。

(1)針對YOLOv5自適應(yīng)的計算不同訓(xùn)練集中的最佳錨框值，在一定程度上增加訓(xùn)練的時間，增加了網(wǎng)絡(luò)中的參數(shù)，本文利用Kmeans++聚類算法得到相應(yīng)的錨框值。

(2)YOLOv5-MD通過替換大小為3×3和1×1的卷積模塊為組卷積和通道混洗模塊以及融合EfficientNet-B7輔助網(wǎng)絡(luò)，并對YOLOv5的PANet結(jié)構(gòu)進(jìn)行修改，利用跨級連接和同級跳躍連接這樣高效的多尺度特征融合方式，可以在降低圖像的特征損失，增加了檢測的準(zhǔn)確性。

(3)引入自注意機制SA和PBAM使算法收斂速度加快，并使用加權(quán)邊界框融合可以過濾掉較少的邊界框，使用一個公式來調(diào)整坐標(biāo)和置信度分?jǐn)?shù)，在一定程度上增加了鋼材缺陷檢測的準(zhǔn)確性。

運用本文提出的YOLOv5-MD檢測方法，能夠有效地檢測和正確識別鋼材缺陷類型，該模型的mAP(平均檢測精度)可以達(dá)到97.2%。后續(xù)將進(jìn)一步研究超輕快的模型，使算法需要更小的內(nèi)存。