谷長江 高法欽

摘 要：缺陷檢測是生產(chǎn)中重要的環(huán)節(jié)，基于鋼板表面缺陷特征不明顯和難以提取導致的檢測精度不足問題，文章在YOLOv5s檢測網(wǎng)絡(luò)的基礎(chǔ)上進行改進，首先基于DO-Conv過參數(shù)化模塊改進網(wǎng)絡(luò)特征提取模塊，然后使用ULSAM注意力機制改進網(wǎng)絡(luò)的頸部（Neck），提出改進的YOLOv5s缺陷檢測網(wǎng)絡(luò)?；贜EU-DET數(shù)據(jù)集的實驗結(jié)果表明，改進的YOLOv5s缺陷檢測網(wǎng)絡(luò)檢測平均準確率達76.6%，較YOLOv5s和YOLOv4分別提升了7.8%和6.3%，有效提高了鋼材表面缺陷檢測精度。

關(guān)鍵詞：YOLOv5s;缺陷檢測;注意力機制;過參數(shù)化

中圖分類號：TP399 文獻標志碼：A

0 引言（Introduction）

鋼材作為國民生產(chǎn)中重要的材料，在其生產(chǎn)、加工及運輸過程中不可避免地有缺陷產(chǎn)生，其中尤為嚴重的就是生產(chǎn)過程中產(chǎn)生的缺陷，這類缺陷的影響較大，常常造成殘次品或無法滿足實際使用需要等。傳統(tǒng)的目標檢測主要是采用人工方式進行檢測，這種方法受主觀因素影響較大，因此研究基于深度學習的鋼材表面缺陷檢測算法具有重大意義。

隨著深度學習在圖像領(lǐng)域的不斷應(yīng)用，缺陷檢測也逐漸成為其中一個應(yīng)用分支[1]。傳統(tǒng)的機器圖像如無損檢測、微波檢測方法的應(yīng)用存在對材料有限制等問題而無法廣泛應(yīng)用[2-3]?；趫D像深度學習的缺陷檢測技術(shù)沒有目標材料限制要求且不需要直接接觸被檢測物體而逐漸被應(yīng)用于更多領(lǐng)域的材料缺陷檢測任務(wù)中。

研究者們在鋼材表面缺陷檢測領(lǐng)域已進行了大量研究。2017年，邢健夫[4]使用AlexNet構(gòu)建了一套對鋼材缺陷進行分類的網(wǎng)絡(luò)，并使用數(shù)據(jù)增強技術(shù)對數(shù)據(jù)集進行擴充，最終提高了缺陷分類的準確性。2020年，徐鏹等[5]在YOLOv3網(wǎng)絡(luò)的基礎(chǔ)上進行改進，采用MobileNet模塊提升了帶鋼表面缺陷的檢測速度。

然而，對于鋼材表面缺陷檢測任務(wù)，上述研究仍存在很多問題，例如對小目標不敏感、缺陷檢測的精度依舊有待提高等。針對小目標檢測問題，本文通過使用ULSAM 注意力機制，加強了上下文特征信息的融合和對小目標的特征提取能力。針對缺陷檢測精度不高的現(xiàn)象，本文提出基于DO-Conv的特征提取模塊，利用過參數(shù)化帶來的強大特征提取能力提升模型的性能[6]。并通過實驗證明，本文所提方法有效提升了鋼材表面缺陷檢測精度。

1 YOLOv5s算法及其改進（YOLOv5s algorithmand its improvements）

1.1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5是繼YOLOv4之后提出的YOLO系列的又一名新成員，它的特征提取網(wǎng)絡(luò)是基于跨階段的局部網(wǎng)絡(luò)架構(gòu)的暗網(wǎng)（CSPDarknet）[7]。CSPDarknet擁有較高的計算效率，同時YOLOv5系列為了面向不同的檢測任務(wù)，提出了如YOLOv5-t、YOLOv5-s、YOLOv5-m、YOLOv5-l等多個不同版本，這使得YOLOv5系列比YOLOv4系列擁有更廣的適用領(lǐng)域[8]。其中應(yīng)用最多的就是YOLOv5s網(wǎng)絡(luò)，它在網(wǎng)絡(luò)復(fù)雜性與網(wǎng)絡(luò)精度方面取得了良好的協(xié)調(diào)。因此，本文針對YOLOv5s網(wǎng)絡(luò)進行研究。

圖1是YOLOv5s網(wǎng)絡(luò)的結(jié)構(gòu)圖。YOLOv5s網(wǎng)絡(luò)分為Backbone特征提取網(wǎng)絡(luò)、neck上下文特征融合網(wǎng)絡(luò)及Head預(yù)測網(wǎng)絡(luò)三個部分。其中，SPPF結(jié)構(gòu)使用集連方法構(gòu)建模塊，這在很大程度上擴大了模塊的感受野。

1.2 YOLOv5s網(wǎng)絡(luò)檢測原理

YOLOv5s是一種基于深度學習的目標檢測模型，它使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對圖像中物體的檢測。YOLOv5s采用了單階段目標檢測的方法，該方法可以在單次推理中完成目標檢測、定位和分類任務(wù)。

在YOLOv5s中，網(wǎng)絡(luò)使用多個卷積層提取圖像特征。Neck部分完整對Backbone部分提取到的特征進行進一步融合，由此得到更豐富的目標特征，以便實現(xiàn)對目標的預(yù)測。Neck網(wǎng)絡(luò)部分采用的是特征金字塔+路徑聚合（FPN+PAN）結(jié)構(gòu)。LIN等[9]提出著名的特征金字塔網(wǎng)絡(luò)（Feature PyramidNetworks，F(xiàn)PN），目的是對網(wǎng)絡(luò)內(nèi)部不同深度的特征信息進行融合。Mosaic數(shù)據(jù)增強技術(shù)是在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上提出的，經(jīng)實驗證明，Mosaic能有效緩解特征不明顯的現(xiàn)象，因此YOLOv5s中也使用了這種方法[10]。

首先，網(wǎng)絡(luò)使用一組卷積層提取圖像特征。其次，網(wǎng)絡(luò)使用類似于FPN的結(jié)構(gòu)生成多個分辨率的特征圖。這些特征圖可以用來預(yù)測目標的位置和類別。最后，YOLOv5s使用了一種稱為非極大值抑制（Non-Maximum Suppression）的方法移除重疊的檢測框，并輸出最終的檢測結(jié)果。

YOLOv5s的損失函數(shù)如公式（1）：

其中，α、β、γ 是協(xié)調(diào)三個損失的超參數(shù)，Lconf 表示該檢測點是否存在目標的置信度損失，Lobj 表示目標分類的損失，Lbbox 表示目標真實框與預(yù)測框之間偏離導致的損失。

1.3 YOLOv5s的改進

1.3.1 基于DO-Conv改進YOLOv5s

DO-Conv是一種過參數(shù)化（Over-Parameter）方法[11]，它的思想是通過將一次卷積分離成兩個可學習的訓練步驟，最終在推理時將這兩個步驟結(jié)合成一個卷積操作，它包含一個深度卷積操作和一個普通的矩陣乘法即線形層。其中，深度卷積公式如下：

通過一次深度卷積可以讓原有尺度為Cin×（M ×N ）的輸入特征轉(zhuǎn)換為尺度為Cin×D 的輸入特征，對于h×w 大小的特征圖而言，D 指的是h×w 個空間點位，M ×N 指的是滑動窗口時卷積核W 的個數(shù)，Cin 表示輸入特征的尺度為C。

DO-Conv的具體流程圖如圖2所示，其中W 表示卷積權(quán)重，I 表示輸入特征，P 表示卷積參數(shù)，O 表示輸出特征，o為公式（2）表示的運算操作，*表示普通卷積操作。圖2是DOConv推理時的流程，可以看出，輸入特征相當于進行了兩次卷積，根據(jù)DO-Conv研究推理得出，圖2中的計算流程等價于圖3所示的流程。

從圖3中可以看出，DO-Conv采用了類似Inception的思想，但不同的是DO-Conv采用深度方向的堆疊方法。

1.3.2 ULSAM

ULSAM（超輕量級子空間注意力模塊），是一種用于緊湊型CNN的新型注意力模塊。ULSAM可以為每個特征圖子空間學習不同的注意力圖，減少緊湊型CNN的特征圖中的空間和通道冗余。同時，為每個子空間學習不同的注意力圖，可以實現(xiàn)多尺度的特征表示，特別是對于細粒度的圖像分類任務(wù)。ULSAM是一個能夠高效地學習特征圖子空間的模塊，它是基于跨通道相互依賴性的注意力模塊構(gòu)建的。

ULSAM計算流程圖如圖4所示，DW 表示分組卷積，PW表示點積，1×1表示卷積核大小，Softmax是激活函數(shù)。

為了增強網(wǎng)絡(luò)對特征的識別能力，本文在將特征送入預(yù)測網(wǎng)絡(luò)之前，使其通過一個ULSAM模塊，以更好地提取特征。改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。

2 實驗與分析（Experiment and analysis）

2.1 實驗環(huán)境

為了驗證本研究改動對小目標缺陷件檢測的有效性和先進性，在CPU為RX3600，GPU為Ge Force RTX3060，開發(fā)語言為Python，深度學習框架為pytorch的環(huán)境下進行實驗。

2.2 數(shù)據(jù)集簡介

數(shù)據(jù)集來源于東北大學的NEU-DET鋼材表面缺陷數(shù)據(jù)集[12]。圖像類別包括裂紋（CR，Crazing）、夾雜（IN，Inclusion）、斑塊（PA，Patches）、麻點（PS，Pitted_Surface）、壓入氧化鐵皮（RS，Rolled-in_Scale）及劃痕（SC，Scratches）。每種類型的缺陷圖片包含300幅尺寸為200×200的圖像，共計1 800張。使用xml格式定位缺陷位置并對其進行分類。數(shù)據(jù)集按7∶2∶1的比例隨機分為訓練集、驗證集和測試集。

2.3 模型訓練

本文提出的改進YOLOv5s算法的初始設(shè)置情況如下：初始學習率為0.01，訓練300個epoch，若訓練結(jié)束驗證集損失未穩(wěn)定，則相應(yīng)增加epoch 值，如果訓練長時間不收斂，超過50個epoch，則提前結(jié)束。模型訓練目標的類別置信度閾值是0.5，DIoU 閾值是0.45。當兩個預(yù)測框之間的DIoU 值超過了設(shè)置閾值時，則刪除該預(yù)測框。將輸入圖像進行分類處理后，輸出結(jié)果作為最終結(jié)果。

評價指標主要分為模型指標和精度指標兩大類。模型指標為模型的參數(shù)量大小Params，模型推理時的浮點數(shù)GFLOPs。精度指標采用精確率（Precision，P）、召回率（Recall，R）和平均準確率（Mean Average Precision，MAP）三項作為網(wǎng)絡(luò)模型的性能指標。P、R、MAP 和AP 公式如下：

其中，TP 為正確預(yù)測的正例;FP 為錯誤預(yù)測的負例;FN 為錯誤預(yù)測的正例;n 為類別數(shù);AP 為每種檢測類型的準確性。

2.4 結(jié)果與分析

為了驗證本文方法的優(yōu)越性，首先將其與主流算法進行了性能比較，然后通過消融實驗驗證了改進YOLOv5s算法的有效性。

2.4.1 算法的對比實驗

改進YOLOv5s與YOLOv3、YOLOv4和YOLOv5s三種常用算法的評價指標見表1[13-16]。下述算法的GFLOPs 是在輸入圖像大小為640×640時獲得的。

上述改進模型的Params 和GFLOPs 是在推理時獲得的。所有模型均是在初始學習率為0.01、IoU 閾值為0.5的條件下計算，訓練結(jié)束時模型損失均已收斂。由表1中的結(jié)果可知：本文提出的改進YOLOv5s算法以76.6%的平均準確率、76.2%的精確率、70.3%的召回率排第一，其綜合性能優(yōu)于其他幾種算法。

2.4.2 消融實驗

本文設(shè)立3組不同條件的實驗，未改動的YOLOv5s、僅添加DO-Conv的YOLOv5s，以及添加了ULSAM注意力機制與DO-Conv的YOLOv5s（本文改進算法），通過比較3組實驗的MAP 驗證本文所提算法的有效性。這3組實驗的MAP 見表2。

由表2可知，改動后算法的檢測精度得到了大幅提升，通過使用注意力機制融合特征以及通過DO-Conv增強特征提取能力，可以有效提升模型的精度。

3 結(jié)論（Conclusion）

本文提出的基于YOLOv5s的鋼板缺陷檢測方法通過DO-Conv增強特征提取能力，引入ULSAM 模塊提升了算法對NEU-DET鋼板缺陷識別的精度。針對鋼材表面缺陷檢測問題，本文對YOLOv5s算法進行改進：引入DO-Conv模塊，進一步增強模型對特征的提取能力;引入ULSAM 注意力機制，增強特征融合能力，更好地提取目標特征。實驗結(jié)果驗證了本文提出的新算法的有效性，研究成果為鋼材表面缺陷檢測提供了一種算法基礎(chǔ)。接下來，將在提升模型檢測速度及檢測精度方面做進一步研究。

參考文獻（References）

[1] 袁洪強，杜國鋒，余澤禹，等. 基于輕量神經(jīng)網(wǎng)絡(luò)的鋼材表面缺陷快速識別[J]. 科學技術(shù)與工程，2021，21（34）：14651-14656.

[2] 李翰超，古陽，于亞婷. 基于渦流無損檢測技術(shù)的金屬表面缺陷三維模擬分析[J]. 電子科技大學學報，2020，49（6）：942-948.

[3] GAO B，ZHANG H，WOO W L，et al. Smooth nonnegativematrix factorization for defect detection using microwavenondestructive testing and evaluation[J]. IEEETransactions on Instrumentation and Measurement，2014，63（4）：923-934.

[4] 邢健夫. 基于卷積神經(jīng)網(wǎng)絡(luò)的熱軋帶鋼表面缺陷識別及系統(tǒng)開發(fā)[D]. 沈陽：東北大學，2017.

[5] 徐鏹，朱洪錦，范洪輝，等. 改進的YOLOv3網(wǎng)絡(luò)在鋼板表面缺陷檢測研究[J]. 計算機工程與應(yīng)用，2020，56（16）：265-272.

[6] YE H，ZHU X D，LIU C Y，et al. Furniture image classificationbased on depthwise group over-parameterized convolution [J]. Electronics，2022，11（23）：3889.

[7] WANG X，GAO J S，HOU B J，et al. A lightweight modifiedYOLOX network using coordinate attention mechanismfor PCB surface defect detection[J]. IEEE SensorsJournal，2022，22（21）：20910-20920.

[8] 楊暢暢，李慧玲，潘廣通. 基于改進YOLOv4算法的鋁型材表面缺陷檢測[J]. 組合機床與自動化加工技術(shù)，2022（11）：66-69.

[9] LIN T Y，DOLLáR P，GIRSHICK R，et al. Feature pyramidnetworks for object detection[C]∥IEEE. Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition. New York：IEEE，2017：936-944.

[10] 顏學坤，楚建安. 基于YOLOv5改進算法的印花圖案疵點檢測[J]. 電子測量技術(shù)，2022，45（4）：59-65.

[11] PANDEY E，KUMAR S. Exploring the generalization capacityof over-parameterized networks[J]. InternationalJournal of Intelligent Systems and Applications in Engineering，2023，11（1s）：97-112.

[12] HE Y，SONG K C，MENG Q G，et al. An end-to-end steelsurface defect detection approach via fusing multiple hierarchicalfeatures[J]. IEEE Transactions on Instrumentationand Measurement，2020，69（4）：1493-1504.

[13] 程婧怡，段先華，朱偉. 改進YOLOv3的金屬表面缺陷檢測研究[J]. 計算機工程與應(yīng)用，2021，57（19）：252-258.

[14] 方葉祥，甘平，陳俐. 金屬表面缺陷檢測的改進YOLOv3算法研究[J]. 機械科學與技術(shù)，2020，39（9）：1390-1394.

[15] 庾彩紅，黃海松，曾鋒，等. 基于YOLO_v4的空心杯電樞表面缺陷實時檢測[J]. 組合機床與自動化加工技術(shù)，2021（6）：59-62，66.

[16] CHEN S H，LAI Y W，KUO C L，et al. A surface defect detectionsystem for golden diamond pineapple based on CycleGANand YOLOv4[J]. Journal of King Saud University-Computerand Information Sciences，2022，34（10）：8041-8053.

作者簡介：

谷長江（1997-），男，碩士生。研究領(lǐng)域：目標檢測，缺陷檢測，圖像處理。本文通信作者。

高法欽（1974-），男，博士，副教授。研究領(lǐng)域：機器學習與智能感知，機器視覺定位與產(chǎn)品外觀檢測重構(gòu)研究。