楊濤，劉美，孟亞男 ，張斐 ，劉世杰 ，莫常春

(1.吉林化工學(xué)院信息與控制工程學(xué)院，吉林吉林 132022；2.廣東石油化工學(xué)院自動化學(xué)院，廣東茂名525000；3.東莞理工學(xué)院機械工程學(xué)院，廣東東莞 523419；4.湖南科技大學(xué)機械設(shè)備健康維護湖南省重點實驗室，湖南湘潭 411201；5.大連交通大學(xué)機車車輛工程學(xué)院，遼寧大連 116028)

0 前言

鋼鐵是國家基礎(chǔ)設(shè)施必不可少的材料，在建筑、橋梁及機場、手術(shù)刀、軸承滾珠以及精密部件中均可見其應(yīng)用。然而從生產(chǎn)過程中操作不當(dāng)?shù)阶匀唤缪趸g，再到使用過程中造成的自然磨損，鋼鐵表面的缺陷伴隨著鋼鐵存在，一些微小的表面缺陷可能導(dǎo)致重大的事故，確保鋼鐵表面質(zhì)量尤為重要。因此，針對檢測精度高、速度快和模型體積小的鋼鐵表面缺陷檢測方法的研究具有重要意義。

傳統(tǒng)鋼鐵表面缺陷檢測方法包括人工抽檢法、紅外檢測法和基于圖像處理的方法。人工抽檢法是質(zhì)檢工人以目測的方式隨機抽取樣本判斷鋼鐵表面缺陷，該方式效率低、漏檢率高、誤檢率高。沈立華等[1]在紅外熱像儀分辨率允許的前提下，采用單面法紅外檢測鋼板內(nèi)面損傷情況；吳秀永等[2]基于Gaber小波KLPP算法提出一種特征提取方法；趙久梁等[3]為了解決鋼鐵表面缺陷圖片邊緣難以檢測到的問題，提出基于小波變換模極大值的多尺度邊緣檢測算法；楊永敏等[4]提出一種基于超熵和模糊集理論的圖像分割算法。盡管傳統(tǒng)方法對鋼鐵表面缺陷檢測做出了貢獻，但仍存在檢測效率和檢測精度低等問題。

近年來，深度學(xué)習(xí)技術(shù)快速發(fā)展，采用目標(biāo)檢測算法的鋼鐵表面缺陷檢測方法相繼被提出?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法分為兩類：(1)是雙階段目標(biāo)檢測算法，代表算法有Faster R-CNN[5]；(2)是單階段目標(biāo)檢測算法，代表算法有SSD[6]、YOLO[7]系列。韓強等人[8]基于Faster R-CNN算法，采用檢測網(wǎng)絡(luò)對區(qū)域建議框進行分類回歸；LI等[9]基于YOLO網(wǎng)絡(luò)模型改進鋼鐵表面缺陷檢測的模型，該模型能夠有效提高鋼鐵表面缺陷的召回率；李維剛等[10]基于YOLOv3目標(biāo)檢測算法進行網(wǎng)絡(luò)結(jié)構(gòu)的改進，采用K-means聚類獲得數(shù)據(jù)集的初始錨框，將淺層特征信息和深層特征信息融合，改進后模型的mAP值明顯提升；葉欣[11]基于YOLOv4目標(biāo)檢測模型進行改進，通過替換損失函數(shù)為EIoU，同時采用自適應(yīng)空間特征融合結(jié)構(gòu)，提高了冷軋帶鋼表面缺陷的檢測精度。

針對鋼鐵表面缺陷檢測的現(xiàn)實需求，本文作者提出基于YOLOv5s算法的鋼鐵表面缺陷檢測改進算法。通過改進骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和替換損失函數(shù)，以提高算法檢測精度、檢測速度并降低模型復(fù)雜度，最后在NEU-DET數(shù)據(jù)集上進行實驗驗證。

1 YOLOv5s理論基礎(chǔ)

YOLO系列算法中性能最優(yōu)良的一類算法為YOLOv5系列，它是基于卷積神經(jīng)網(wǎng)絡(luò)搭建模型進行一系列改進，使得算法既能實現(xiàn)較快的檢測速度，也能達到較高的檢測精度。YOLOv5系列算法包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其中YOLOv5s體積最小，但檢測精度較低。隨著模型體積的增大，YOLOv5系列的檢測精度逐級提高，體積最大的是YOLOv5x，其精度也最高。文中旨在獲得一個輕量化且精度較高的目標(biāo)檢測算法，因此采用YOLOv5s作為改進的基準(zhǔn)模型。

YOLOv5s模型由4個部分組成：輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測頭。輸入端將圖片進行預(yù)處理操作方便網(wǎng)絡(luò)處理，圖片送入骨干網(wǎng)絡(luò)中進行特征提取。骨干網(wǎng)絡(luò)主要由Focus模塊、卷積模塊、CSP(n)模塊以及空間金字塔池化(Spatial Pyramid Pooling，SPP)[12]模塊構(gòu)建而成。Focus模塊對輸入的特征圖進行切片操作，以減少參數(shù)計算和CUDA的內(nèi)存使用；CSP(n)結(jié)構(gòu)中有2個特征通道，分別進行Bottleneck操作和卷積操作，2個特征通道的輸出經(jīng)過Concat處理使模型學(xué)習(xí)更多特征；SPP模塊有3個不同尺度的MaxPooling(5×5，9×9，13×13)，保證網(wǎng)絡(luò)在輸入圖像大小隨機的情況下輸出固定大小的特征圖。

頸部網(wǎng)絡(luò)包括特征金字塔網(wǎng)絡(luò)(Feature Pyramid Ne-tworks，F(xiàn)PN)[13]和金字塔注意力網(wǎng)絡(luò)(Pyramid Attention Networks，PAN)[14]，通過結(jié)合這2個網(wǎng)絡(luò)，頸部網(wǎng)絡(luò)更好地融合了淺層特征信息和高層語義信息；檢測頭輸出3個尺度的模型預(yù)測信息，包括預(yù)測框的坐標(biāo)信息、類別信息以及置信度信息。圖1所示為YOLOv5s模型結(jié)構(gòu)。

2 算法優(yōu)化改進

2.1 融合SE通道注意力模塊

基于深度學(xué)習(xí)的注意力模仿人類視覺注意力機制。人觀察某個對象時會自動忽略背景中的無關(guān)信息而將注意力集中在觀察對象上。在自然語言處理領(lǐng)域，注意力機制的運用取得了巨大成功，因此，學(xué)者們開始研究它在視覺領(lǐng)域應(yīng)用的可能性。通道注意力機制SENet[15]是注意力機制在視覺領(lǐng)域應(yīng)用的重大突破，它賦予特征通道中某些通道更大的權(quán)重，抑制特征通道中無用的干擾信息，以增強網(wǎng)絡(luò)特征提取能力。在2017年ImageNet大賽中，SENet榮獲冠軍，其Top5 error 僅有2.251%。目前，SENet已經(jīng)成為分類、檢測、分割任務(wù)中最經(jīng)典最常用的注意力網(wǎng)絡(luò)?；谝陨显?，文中在YOLOv5s網(wǎng)絡(luò)的特征提取中融入SE通道注意力模塊，以增強網(wǎng)絡(luò)對鋼鐵表面缺陷特征的提取能力。

圖2所示為SE通道注意力模塊結(jié)構(gòu)。輸入圖像x經(jīng)過骨干網(wǎng)絡(luò)中卷積等模塊處理后輸出H×W×C大小的特征圖u，其中(H，W)表示特征圖的高寬，C表示特征圖通道數(shù)，隨后u被送入SE通道注意力模塊中做處理。SE通道注意力模塊主要包括3個操作，首先是Fsq(·)操作(Squeeze)，將輸入特征圖沿著空間維度做全局平均池化，輸出特征通道變成一個具有全局感受野的實數(shù)，通道數(shù)不變，如公式(1)所示：

(1)

圖2 SE通道注意力模塊結(jié)構(gòu)

式中：uc表示通道數(shù)為c的特征圖；(i，j)表示特征圖坐標(biāo)；H、W分別表示特征圖長、寬；zc為輸出的結(jié)果。

經(jīng)過Squeeze處理，F(xiàn)ex(·)對輸入做Excitation操作?；谔卣魍ǖ篱g的相關(guān)性，zc通過一層全連接操作將通道數(shù)變?yōu)樵瓉淼?/r，送入ReLU激活函數(shù)增加非線性，再經(jīng)過一層全連接層處理恢復(fù)為輸入通道數(shù)，經(jīng)過Sigmoid激活函數(shù)生成每個特征通道權(quán)重，如公式(2)所示：

s=Fex(zc,W)=?(g(W1zc))=?(W2(δ(W1zc)))

(2)

式中：W1為第一層全連接層權(quán)重；δ為ReLU激活操作；W2為第二層全連接層操作權(quán)重；?為Sigmoid激活操作；r為縮放因子；s為輸出的每個特征通道的權(quán)重。

在模塊的最后，對兩路輸入做Reweight操作Fscale(·)，將求得的每個通道特征的權(quán)重加權(quán)到原特征圖上得到x′，如公式(3)所示：

x′=Fscale(uc,s)=s·uc

(3)

2.2 融合STR多頭自注意力模塊

多年以來計算機視覺(Computer Vision，CV)領(lǐng)域的主導(dǎo)網(wǎng)絡(luò)模型一直為CNN，在自然語言處理領(lǐng)域(Natural Language Processing，NLP)，Transformer以其優(yōu)異的性能已經(jīng)成為主導(dǎo)模型[16]，學(xué)者們嘗試將之前NLP領(lǐng)域中的transformer模型運用到CV領(lǐng)域中。視覺自注意力機制(Vision Transformer，ViT)成為了該工作的基礎(chǔ)，它在圖像分類問題任務(wù)中取得了很好的效果，但由于沒有考慮文本信號和視覺信號的差異，并不適合目標(biāo)檢測任務(wù)[17]。滑窗自注意力機制(Swin Transformer，STR)在ViT的基礎(chǔ)上考慮視覺信號的特點，使得網(wǎng)絡(luò)可以應(yīng)用于復(fù)雜的視覺任務(wù)[18]。在基于COCO數(shù)據(jù)集的目標(biāo)檢測任務(wù)中，采用STR構(gòu)建的網(wǎng)絡(luò)在多個維度性能優(yōu)于采用CNN構(gòu)建的網(wǎng)絡(luò)。

經(jīng)過骨干網(wǎng)絡(luò)提取特征后，鋼鐵表面缺陷的邊緣紋理等細(xì)節(jié)特征信息丟失嚴(yán)重，考慮STR架構(gòu)性能優(yōu)于CNN架構(gòu)，因此文中選擇STR作為一種探索式應(yīng)用，以增強頸部網(wǎng)絡(luò)部分缺陷邊緣紋理等細(xì)節(jié)特征的比重。圖3所示為 STR結(jié)構(gòu)。

圖3 STR結(jié)構(gòu)

(4)

(5)

W-MSA的輸出結(jié)果Zl進入SW-MSA模塊，通過LN層歸一化進入SW-MSA層做窗口信息交互后計算注意力，如公式(6)所示：

(6)

輸出結(jié)果在SW-MSA模塊最后經(jīng)過MLP層處理輸出結(jié)果Zl+1，如公式(7)所示：

(7)

2.3 改進損失函數(shù)

定位框回歸預(yù)測是目標(biāo)檢測的主要任務(wù)之一。YOLOv5s的分類損失函數(shù)采用二元交叉熵(Binary Cross-Entropy，BCE)，置信度損失采用Logits損失函數(shù)，定位框損失函數(shù)采用CIoU。盡管CIoU使得預(yù)測框回歸更為精確，但基于距離、重疊區(qū)域以及長寬比的設(shè)計沒有考慮預(yù)測框與真實框中心點的方向問題，二者相對位置存在很大自由，導(dǎo)致預(yù)測框和真實框回歸收斂速度較慢，進而影響模型的整體性能。SIoU考慮兩框中心點角度因素和兩框形狀因素，重定義距離公式[19]，有效加快預(yù)測框回歸收斂速度，提升模型檢測精度。因此文中采用SIoU替代CIoU。圖4所示為預(yù)測框與真實框相對位置。

圖4 預(yù)測框與真實框相對位置

圖中：Bgt表示真實框；B表示預(yù)測框；α為預(yù)測框與真實框中心點的角度；ch、cw分別表示兩框中心點構(gòu)成矩形的長、寬；σ表示中心點的距離。

以下是SIoU的計算過程，如公式(8)—(11)所示：

δSIoU=1-δIoU+(Δ+Ω)/2

(8)

(9)

(10)

Δ=∑t=x,y(1-e-γρt)=2-e-γρx-e-γρy

(11)

其中：δIoU表示預(yù)測框與真實框的交并比；Δ為將角度成本考慮在內(nèi)的距離公式；Ω表示形狀成本。

(12)

(13)

文中基于YOLOv5s算法進行改進。改進點有以下3點：(1)為了增強算法對鋼鐵表面缺陷特征的提取能力，在骨干網(wǎng)絡(luò)融入SE通道注意力模塊；(2)骨干網(wǎng)絡(luò)特征提取后，特征圖淺層缺陷邊緣紋理等細(xì)節(jié)信息丟失嚴(yán)重，因此融入STR模塊以增強頸部網(wǎng)絡(luò)缺陷邊緣紋理等細(xì)節(jié)特征的比重；(3)為了縮短網(wǎng)絡(luò)預(yù)測框回歸收斂過程，引入SIoU替換CIoU。改進算法如圖5所示，圖中分別使用①②③指明改進點在網(wǎng)絡(luò)中的位置。

圖5 改進算法模型結(jié)構(gòu)

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與數(shù)據(jù)集

文中實驗環(huán)境采用Windows10操作系統(tǒng)，內(nèi)存為32GiB，CPU型號為12th Gen Inter(R) Core(TM) i9-12900 3.19 GHz，顯卡型號為NVIDIA GeForce RTX 3090，采用PyTorch1.11.0作為深度學(xué)習(xí)框架，Python版本為3.8.13，CUDA版本為11.3，cuDNN版本為8200。實驗使用東北大學(xué)宋克臣團隊[20]制作的NEU-DET數(shù)據(jù)集，共有1 800張鋼材表面缺陷圖像。模型訓(xùn)練過程中將數(shù)據(jù)集分為訓(xùn)練集、驗證集和測試集，比例為8∶1∶1。使用Labelimg標(biāo)注工具對數(shù)據(jù)集進行標(biāo)注，數(shù)據(jù)集有裂紋(Crazing，Cr)、 夾雜(Inclusion，In)、 斑塊(Patches，Pa)、劃痕(Scratches，Sc)、麻點(Pitted_surface，Ps)、氧化鐵皮(Rolled-in_scale，Rs)等6類缺陷類型。

3.2 性能評估指標(biāo)

文中采用mAP@0.5(IoU閾值為0.5時各個類別平均AP值)評價模型的檢測精度，采用每秒檢測圖像數(shù)(FPS)評估模型的檢測速度。其他評估指標(biāo)有：模型權(quán)重體積(Weights)、GFLOPs、精確率(Precision，P)、召回率(Recall，R)、平均精度(Average Precision，AP)，表達式如公式(14)—(16)。模型權(quán)重體積表示模型權(quán)重數(shù)大小，GFLOPs表示10億次浮點運算，用于衡量模型計算量，F(xiàn)PS表示模型每秒處理圖片的數(shù)量；P表示所有預(yù)測為正樣本的結(jié)果中預(yù)測正確的比率；R表示所有正樣本中被正確預(yù)測的比率；AP表示在不同召回率下精確率的平均值。對各個類別的AP求均值得到mAP(所有類別的平均精度)，如公式(17)所示。

P=PT/(PT+PF)

(14)

R=PT/(PT+NF)

(15)

(16)

(17)

式中：P表示精確率；R表示召回率；N表示總類別個數(shù)；PT表示正樣本預(yù)測出正樣本數(shù)量；PF表示負(fù)樣本預(yù)測出正樣本數(shù)量；NF表示正樣本預(yù)測出負(fù)樣本數(shù)量。

3.3 實驗方案

文中以YOLOv5s算法作為改進基準(zhǔn)算法。首先采用初始超參數(shù)、初始錨框組合和初始權(quán)重實驗，實驗結(jié)果顯示：mAP@0.5較低，原因可能是初始超參數(shù)組合不適合此數(shù)據(jù)集。因此在實驗過程中，采用遺傳算法迭代5次獲得基于此數(shù)據(jù)集的一組超參數(shù)，如表1所示。mAP@0.5值為77.1%，如表2所示。最后基于鋼鐵表面缺陷檢測任務(wù)設(shè)計消融實驗改進算法，并對實驗結(jié)果進行對比，整體實驗方案如圖6所示。

表1 進化超參數(shù)

表2 改進點消融實驗

表中的批次大小和訓(xùn)練輪次根據(jù)實驗效果設(shè)定。

3.4 實驗結(jié)果分析

3.4.1 改進點消融實驗

為驗證單個改進點對模型性能的影響，文中進行了消融實驗，對每個改進點在相同條件下進行訓(xùn)練、測試，得到5種改進模型的性能，如表2所示。

G1表示原算法未作改動；G2表示在原算法基礎(chǔ)上使用進化后的超參數(shù)；G3表示在G2的基礎(chǔ)上替換CIoU為SIoU；G4表示在G3的基礎(chǔ)上在頸部網(wǎng)絡(luò)添加STR模塊；G5表示在G4基礎(chǔ)上在骨干網(wǎng)絡(luò)中融合SE模塊。

由表2可知：采用進化后的超參數(shù)，mAP值從74.9%提升至77.1%，但模型檢測速度下降，說明模型精度提升，但網(wǎng)絡(luò)計算量增大。在G3中，模型mAP值從77.1%提升至77.9%，模型檢測速度達到111FPS，說明引入SIoU后模型的精度略微提升，但大幅加快了預(yù)測框回歸收斂的速度。在G4中，模型mAP值從77.9%提升至79.1%，提升幅度為1.2%，表明STR模塊有優(yōu)良的提取細(xì)節(jié)特征信息的能力，但網(wǎng)絡(luò)趨向復(fù)雜。在G4中，模型mAP繼續(xù)提升，從79.1%提升至80.4%，引入SE模塊進一步加強了骨干網(wǎng)絡(luò)提取特征的能力，雖然檢測速度低于G4但仍高于YOLOv5s算法。

3.4.2 檢測精度對比實驗

圖7所示為改進算法與YOLOv5s在各個類別上檢測性能的對比。可知：與YOLOv5s相比，改進算法在多種缺陷類別中的檢測精度提升顯著，尤其對于缺陷Cr和Rs。Cr的檢測精度從47.8%提升至59.0%，提升了11.2%，Rs的檢測精度從51.6%提升至69.2%，提升了17.6%。算法的mAP值較YOLOv5s提升了5.5%。

圖7 檢測精度對比

3.4.3 泛化能力對比實驗

算法改進完成后進行了改進算法的泛化能力的驗證。從數(shù)據(jù)集6種類別中隨機挑選各一張缺陷圖像，共6張，先后使用YOLOv5s算法和改進算法對6張圖片進行測試，結(jié)果如圖8所示。實驗結(jié)果表明：相比YOLOv5s算法，改進算法表現(xiàn)出更好的泛化能力。

圖8 檢測結(jié)果對比

3.4.4 算法對比實驗

為進一步驗證改進算法在檢測精度、檢測速度以及模型復(fù)雜度等方面的優(yōu)勢，文中選擇Faster R-CNN、SSD、YOLOv3以及YOLOv5系列在FPS、GFLOPs、模型體積以及mAP等多個維度展開實驗，表3是實驗結(jié)果。

表3 不同算法在NEU-DET數(shù)據(jù)集上性能對比

由表3可知：Faster R-CNN的mAP值為78.0%，模型體積大小為108 MB，模型計算量為307GFLOPs，檢測速度僅有27FPS，符合雙階段目標(biāo)檢測算法的性能預(yù)期；SSD模型體積有所降低，檢測精度較Faster R-CNN降低明顯，檢測速度達到148FPS；YOLOv3模型體積為235 MB，其檢測精度并沒有較大提升；隨著模型體積增大，YOLOv5系列算法的檢測精度提升，模型體積最小的為YOLOv5s，其檢測精度也最低，模型體積最大的YOLOv5l精度達到78.1%。相比YOLOv5s，文中改進算法模型體積從14.4 MB降到了13.2 MB，降低了約8.3%，模型計算量降低約4.3%，檢測速度提升了8.7%，mAP值提升5.5%。以上算法中，改進算法的檢測精度最高，模型復(fù)雜度最低，檢測速度雖比SSD低但仍能滿足實時檢測的要求。

改進算法在檢測精度、模型體積以及檢測速度等性能上得到了較大提升，可以滿足實時條件下對鋼鐵表面缺陷做精準(zhǔn)定位識別分類檢測的任務(wù)。

4 總結(jié)

鑒于YOLOv5s算法在鋼鐵表面缺陷檢測任務(wù)中檢測精度低、檢測速度較慢等問題，提出基于YOLOv5s的改進算法。由于SE通道注意力模塊提取圖像重要特征信息的優(yōu)良表現(xiàn)，在骨干網(wǎng)絡(luò)中融入該模塊；在頸部網(wǎng)絡(luò)中融入STR模塊以加強高層特征中邊緣紋理特征等缺陷細(xì)節(jié)的比重；與CIoU相比，SIoU在保證算法精度的同時能加快預(yù)測回歸的速度，因此算法采用SIoU替換CIoU；提出的改進算法在檢測精度、檢測速度和模型復(fù)雜度等三方面都優(yōu)于原算法，但改進算法對Cr和Rs的檢測精度仍較低且算法魯棒性有待提高，后續(xù)將針對這兩點展開工作?？傮w而言，提出的改進算法可以滿足實時條件下對鋼鐵表面缺陷做精準(zhǔn)定位識別分類檢測的任務(wù)。