周 繁，廖義奎

（廣西民族大學(xué)電子信息學(xué)院，南寧 530006）

0 引言

鋼材作為國民經(jīng)濟的基礎(chǔ)產(chǎn)業(yè)，在工業(yè)建設(shè)和社會發(fā)展中都發(fā)揮重要的作用。隨著鋼材產(chǎn)量的增大，鋼材質(zhì)量檢測成為其中重要的一環(huán)。盡管在鋼材的瑕疵檢測方面、生產(chǎn)設(shè)備方面的技術(shù)得到一定程度的發(fā)展，但對于鋼材表面多類瑕疵的檢測問題還是無法得到徹底的解決［1］。因此，提升工業(yè)鋼材瑕疵檢測的效率和準(zhǔn)確率對提高工業(yè)鋼材質(zhì)量有重要的意義。

目前，一些傳統(tǒng)的檢測技術(shù)已得到應(yīng)用。例如，朱柳忠［2］結(jié)合超聲波檢測技術(shù)，進行了鋼材檢測領(lǐng)域的應(yīng)用研究，并解釋了其技術(shù)原理及已有的應(yīng)用實例。蘇伯泰等［3］設(shè)計了基于渦流成像的鋼材表面裂紋檢測平臺，利用平臺驗證分析了對渦流熱成像檢測鋼材裂痕效果的多種內(nèi)部影響因素，從而更加高效地檢測鋼材裂痕。董寧琛等［4］在對鋼材表面裂痕檢測時，利用了脈沖激光光源熱成像原理，將熱量在裂縫缺陷處傳遞并形成表面溫度差，使用熱成像儀實現(xiàn)裂痕的可視化。

為解決傳統(tǒng)的瑕疵檢測技術(shù)存在的效率低、檢測精確度不高等問題，目前在瑕疵檢測領(lǐng)域，深度學(xué)習(xí)技術(shù)得到應(yīng)用。因其工作量小、學(xué)習(xí)能力強等特點已成為熱門的研究方法。例如，劉洋［5］通過改進Tiny-YOLOv3（You Only Look Once）算法，來實現(xiàn)對鋼材瑕疵檢測速度的提升。Zhao 等［6］通過重構(gòu)Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)，加強對目標(biāo)特征的提取，有效提高了檢測精度。Ferguson 等［7］提出基于CNN（Convolutional Neural Network）的檢測方法，主要對圖像進行分割，并進行遷移學(xué)習(xí)來提升網(wǎng)絡(luò)模型精度。Zhang 等［8］對YOLOv3 算法進行改動，在原始的基礎(chǔ)上增加小目標(biāo)識別層，從而增強網(wǎng)絡(luò)檢測能力。上述研究表明，深度學(xué)習(xí)技術(shù)已在鋼材瑕疵檢測領(lǐng)域得到應(yīng)用，且現(xiàn)階段主要將檢測速度以及精度的提升作為主要目標(biāo)。

1 YOLOv5算法

YOLOv5算法相比同系列其他算法具有較好的性能。YOLOv5 算法有四個主要的組成結(jié)構(gòu)：輸入端，Backbone 骨干網(wǎng)絡(luò)，路徑聚合網(wǎng)絡(luò)（Path Aggregation Networks，PANet）和輸出檢測層。其中，第一部分輸入端主要增強圖像數(shù)據(jù)，同時豐富背景也減少對圖片批量處理需求［9］，顯著提升訓(xùn)練速度。

第二部分Backbone骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)由Focus模塊、CBL（Conv Bn LeakRelu）、CSP（Cross Stage Paritial）和SPP（Spatial Pyramid Pooling）結(jié)構(gòu)組成，主要作用是從圖像中提取豐富的信息特征。其中Focus 模塊對圖片進行切片處理，在減少模型的計算量的同時，還不會發(fā)生信息丟失。CBL 結(jié)構(gòu)在YOLOv5 中使用Conv 結(jié)構(gòu)替代，新的結(jié)構(gòu)主要替換原始的激活函數(shù)為SiLU［10］。CSP結(jié)構(gòu)由C3結(jié)構(gòu)替代，C3主要由Conv結(jié)構(gòu)和BottleNeck 結(jié)構(gòu)組成，即去掉了原始的Bottle-Neck 結(jié)構(gòu)后的卷積層操作。SPP 結(jié)構(gòu)的主要作用是進行多尺度融合，并分離出上下文的重要特征。第三部分為路徑聚合網(wǎng)絡(luò)，其主要特征就是將圖像的不同特征層的相應(yīng)尺度的特征圖進行相互融合。第四部分輸出檢測層，該部分有三種不同的檢測頭，分別實現(xiàn)對大中小目標(biāo)的檢測識別。

2 算法改進

2.1 協(xié)同注意力機制

為了提升網(wǎng)絡(luò)對瑕疵特征的學(xué)習(xí)能力，本文應(yīng)用協(xié)同注意力機制［11］（Coordinate Attention，CA）。在對圖像中目標(biāo)特征的提取過程中，往往會忽視重要的位置信息，CA 注意力機制在通道注意力中嵌入位置信息，使網(wǎng)絡(luò)能夠更準(zhǔn)確定位特征信息以及參與較大的區(qū)域的空間選擇。主要結(jié)構(gòu)如圖1所示。

圖1 CA注意力機制結(jié)構(gòu)

CA 注意力機制的主要步驟為坐標(biāo)信息嵌入和坐標(biāo)信息特征圖的生成。首先坐標(biāo)信息的嵌入，即具體在兩個獨立的空間方向上分別采用一維全局池化操作，將輸入信息聚合成該方向的感知特征。然后將這兩個特征映射分別編碼成兩個注意映射，協(xié)調(diào)注意編碼橫向和縱向空間方向上的遠程依賴關(guān)系和位置信息，然后進行特征聚合。其次坐標(biāo)信息特征圖生成，即先對上述兩個變換在空間維度上進行拼接，再通過卷積變換函數(shù)F1進行信息變換。變換公式如式（1）所示：

其中δ為非線性激活函數(shù)。再將f分解成兩個獨立的張量fh和fw，之后利用卷積Fh和Fw變換得到與輸入相同的通道數(shù)，其變換操作如式（2）、式（3）所示：

其中σ為Sigmoid 函數(shù)。然后擴展上述結(jié)果，作為注意力權(quán)重，得到輸出y。如式（4）所示，其中xc(i,j)表示輸入特征圖，ghc(i)和gwc(i)表示兩個空間方向的注意力權(quán)重。

2.2 邊框回歸損失函數(shù)

原始算法邊框回歸損失為GIoU，其解決了傳統(tǒng)IoU存在的當(dāng)預(yù)測框和目標(biāo)框沒有重疊部分時，所出現(xiàn)的梯度消失的問題，但其同時也存在收斂慢及回歸不準(zhǔn)確的問題。其中GIoU 計算公式如式（5）所示：

其中A和B分別為目標(biāo)框和預(yù)測框的面積，C為能夠包圍住A和B的最小的框的面積。本文將采用CIoU Loss［12］作為邊框回歸損失函數(shù)，CIoU 引入中心點距離，解決了當(dāng)兩框出現(xiàn)包含時，兩框的距離變化但其損失不變的問題。同時考慮了長寬比的差異問題，解決了當(dāng)兩框中心點發(fā)生重合，但兩框的長寬比不同時其損失不變的問題。CIoU Loos 能夠很好地解決GIoU Loss的不足，從而提升邊框回歸預(yù)測能力，其公式如式（6）所示：

其中兩框的中心點分別為b，bgt。式（7）中w，wgt分別代表了兩框的寬度，h，hgt分別代表兩框的高度。式（8）中α表示權(quán)重參數(shù)，v表示預(yù)測框與目標(biāo)框的長寬比差異。

2.3 Ghost模塊

2.3.1 Ghost卷積

Ghost 模塊是華為諾亞方舟實驗室在Ghost-Net［13］網(wǎng)絡(luò)中提出的。其卷積操作主要由一般卷積層和線性變化層組成，Ghost 卷積操作如圖2所示。

圖2 Ghost卷積結(jié)構(gòu)

如圖2所示，Ghost 卷積先經(jīng)過普通卷積，然后分別經(jīng)過一次恒等映射和m次線性變換。其中Φ1、Φ2、Φ3表示對應(yīng)的線性操作，最后將恒等映射和線性變換后的特征圖拼接后輸出。

假設(shè)原始的輸入特征為X∈?W×H×C，經(jīng)過普通卷積的輸出為Y∈?W'×H'×M。其中W'×H'為普通卷積輸出尺寸，M為通道數(shù)，同時令卷積核大小為k×k，則普通卷積運算后的計算量F1可表示如式（9）所示：

與普通卷積不同，Ghost 卷積對于同樣的輸入特征圖，首先經(jīng)過一個普通卷積運算轉(zhuǎn)化為輸出Y'∈?H'×W'×m。再對Y'進行m 次線性操作，每個線性操作輸出通道數(shù)為s，則共生成M=m×s個特征圖［14］。同時令每個線性操作的卷積核大小為d×d，則一般卷積計算量F1和Ghost卷積的計算量F2比值如式（10）所示：

由式（10）可知，Ghost 卷積計算量大概是普通卷積的1s。

2.3.2 C3Ghost模塊

C3Ghost 模塊是通過對C3 模塊中的Bottleneck進行修改得到的，結(jié)合Ghost模塊的特點得到新的Ghost-BottleNeck結(jié)構(gòu)，其結(jié)構(gòu)如圖3所示。

圖3 Ghost-BottleNeck結(jié)構(gòu)

Ghost-BottleNeck 結(jié)構(gòu)由兩個分支組成，首先是左分支經(jīng)過一個Ghost模塊進行卷積運算減少特征通道數(shù)，然后通過深度卷積（Depthwise Convolution，DWConv）執(zhí)行下采樣操作，改變特征尺度，再通過Ghost 模塊增加特征的通道數(shù)。右邊經(jīng)過一個深度卷積減少特征尺度，再通過一個Conv 結(jié)構(gòu)的卷積層增加通道數(shù)，此時左右分支得到相同的通道數(shù)再相加［15］。結(jié)合了Ghost 模塊在卷積過程中的特點得到新的C3Ghost結(jié)構(gòu)，其結(jié)構(gòu)如圖4所示。

如圖4所示，C3Ghost 為了提高特征的重用性，首先復(fù)制輸入特征圖，然后分別送入上下兩條支路進行操作。其中下面的支路主要是實現(xiàn)通道數(shù)縮減，上面的支路首先經(jīng)過Conv 結(jié)構(gòu)減少通道數(shù)，然后進入Ghost-BottleNeck 進行多次操作。隨后將兩支路輸出進行拼接，再進行一次Conv卷積層的操作，以調(diào)整輸出通道數(shù)。

圖4 C3Ghost結(jié)構(gòu)

結(jié)合以上三點的改進，最終的改進算法的結(jié)構(gòu)如圖5所示。

圖5 改進后算法結(jié)構(gòu)

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及數(shù)據(jù)集

本文實驗環(huán)境配置：顯卡為GeForce RTX 2080 Ti，11 G 顯存，CPU 為Intel（R）Xeon（R）Platinum 8255C，操作系統(tǒng)為ubuntu20.04。實驗框架為Pytorch1.9.1，開發(fā)環(huán)境Python3.8，CUDA11.1版本，訓(xùn)練迭代次數(shù)為300次。

數(shù)據(jù)集采用東北大學(xué)（NEU）的鋼材表面缺陷數(shù)據(jù)集。整個數(shù)據(jù)集總共包含了鋼材表面常見瑕疵的6 個類別，每個類別300 個樣本。分別為軋制氧化皮（Rolled-in Scale，RS）、銀紋（Crazing，Cr）、斑塊（Patches，Pa）、雜質(zhì)（Inclusion，In）、劃痕（Scratches，Sc）、點蝕表面（Pitted_Surface，PS），訓(xùn)練之前隨機按照80%訓(xùn)練集、10%驗證集和10%測試集劃分。

3.2 評價指標(biāo)

為了驗證改進后算法的性能，需要選擇合適的評價指標(biāo)進行系統(tǒng)模型的評價。本文選取的評價指標(biāo)包括：準(zhǔn)確率（Precision，P）、召回率（Recall，R）、平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP），網(wǎng)絡(luò)參數(shù)量大?。≒arameters）等。

由式（11）和式（12）可知，對應(yīng)本文數(shù)據(jù)集的檢測識別種類，以銀紋（Crazing）樣本為例，TP為模型檢測銀紋類別正確識別的數(shù)量，F(xiàn)P表示識別錯誤或者沒有識別的數(shù)量，F(xiàn)N表示將銀紋識別成其他類別的數(shù)量。AP為PR曲線下方面積，mAP為所有AP求和取平均后的值。

3.3 實驗結(jié)果分析

3.3.1 對比實驗分析

為了體現(xiàn)CA 注意力機制對模型性能的提升，以及對比其他的注意力機制的優(yōu)勢?，F(xiàn)與CBAM［16］、SE［17］以及ECA［18］注意力機制進行對比實驗，分別添加至主干網(wǎng)絡(luò)的相同位置。結(jié)果記錄如表1所示。

由表1結(jié)果可知，CA 注意力機制對網(wǎng)絡(luò)的提升性能比其他注意力機制更好，其檢測的準(zhǔn)確率、召回率以及mAP值都是最高的。CA 注意力機制與SE 注意力機制相比，在基礎(chǔ)上考慮了空間位置信息，能夠更好地定位瑕疵的位置。檢測準(zhǔn)確率提高1.7 個百分點，mAP值高0.7 個百分點。與其他注意力機制檢測效果單獨對比，CA 注意力機制對大部分瑕疵類別的檢測準(zhǔn)確率要高。其中mAP最高為73.3%，較CBAM和ECA 注意力機制分別高1.2 和0.7 個百分點，較YOLOv5提升了1.4個百分點。

表1 不同注意力機制對比

為了驗證使用CIOU Loss 做為損失函數(shù)時檢測性能的提升，進行了幾種主流的邊框回歸損失DIoU［19］，EIoU［20］的對比實驗，驗證其對模型性能提升優(yōu)勢。結(jié)果如表2所示。

由表2可知，原始的邊框回歸損失函數(shù)，其檢測對模型的性能提升有限。相對于使用其他損失函數(shù)，大部分瑕疵類別的檢測能力有限。使用CIoU Loss 作為邊框回歸損失函數(shù)，其對檢測性能有較好的提升。其引入中心點之間的距離、考慮長寬比，能夠做到更好地回歸。其中mAP值較GIoU、DIoU 以及EIoU 分別提升了2.2、0.3和1個百分點。

表2 不同邊框回歸損失函數(shù)對比

為了驗證各改進點對本文算法的提升，在原始YOLOv5 網(wǎng)絡(luò)的基礎(chǔ)上分別使用各改進點，記錄各瑕疵類別的平均檢測精度，并將其作為評價指標(biāo)，結(jié)果如表3所示。同時消融實驗結(jié)果如表4所示。

表3 各改進點對比實驗

表4 消融實驗

由上表3可知，改進點1 能夠有效地提升系統(tǒng)的性能，加強主干網(wǎng)絡(luò)的提取能力，對比各瑕疵的檢測平均精度，除點蝕表面（pitted_surface）、軋制氧化皮（rooled-in_scale）兩個類別的檢測能力沒有提升，其他類別的檢測精度都有顯著的提升。其中mAP值提升了1.4 個百分點。改進點2提升預(yù)測框的回歸定位能力，有效地提升了系統(tǒng)的性能，檢測精度提升較大，有0.9 個百分點，召回率提高2.5個百分點以及mAP值提升1.4 個百分點。改進點3 使用輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，能夠有效地減少網(wǎng)絡(luò)模型的模型參數(shù)量。

由表4可知，原始的YOLOv5 網(wǎng)絡(luò)檢測精度以及召回率各參數(shù)值都較低，參數(shù)量較高。添加CA 注意力機制后，提高檢測精度但同時也增加了算法的參數(shù)量，參數(shù)量增加0.01 M。提升主干特征提取能力的同時改變邊框回歸損失方式，有效地提升檢測精度，相比單獨使用CA 注意力機制提升了1.5 個百分點，mAP值提升1.9個百分點，參數(shù)量并未增加。最后引入C3Ghost模塊，檢測精度有少許的降低，參數(shù)量在前者基礎(chǔ)上減少，一定程度上抵消了注意力機制帶來的網(wǎng)絡(luò)參數(shù)量的提升。相較于原始的YOLOv5算法，本文改進算法在各評價指標(biāo)上都有一定的提升，同時網(wǎng)絡(luò)模型參數(shù)量更少。

為了體現(xiàn)本文算法相比與其他檢測算法的性能優(yōu)勢，進行了對比實驗，結(jié)果如表5所示。得到各目標(biāo)檢測算法的平均檢測精度及mAP值，另外引入在測試集檢測后的模型的平均推理時間（Inference time）作為模型的速度對比。

由表5可知，使用Faster-RCNN 算法檢測，其推理時間最長為170.36 ms。本文算法推理時間最短為4.8 ms，極大地提升了檢測速度。相對于同為單階段目標(biāo)檢測算法的SSD 以及YOLOv3算法，本文算法的參數(shù)量較少，僅為6.1 M，為較輕量的網(wǎng)絡(luò)。同時本文算法的mAP值最高達74.5%。

3.3.2 檢測結(jié)果顯示

為了直觀地體現(xiàn)改進后的YOLOv5算法對工業(yè)鋼材瑕疵檢測的效果，經(jīng)過對測試集的數(shù)據(jù)測試后得到測試結(jié)果，選取各瑕疵類別的測試結(jié)果進行對比顯示。檢測結(jié)果如圖6所示。

對比圖6（a）和圖6（b）可知，改進后的算法的檢測能力及檢測準(zhǔn)確率有顯著的提升，如瑕疵類別：雜質(zhì)（inclusion），點蝕表面（Pitted_Surface）等，在原始算法中檢測精度較低，而且存在檢測不全及檢測范圍不全的問題。改進后的算法參與了更大的空間檢測，對瑕疵的定位更加準(zhǔn)確，且解決了存在的漏檢的問題，對存在的瑕疵檢測更全面。檢測結(jié)果很好地展示了改進后的算法能實現(xiàn)對工業(yè)鋼材檢測更好的檢測效果和識別率。

圖6 對比結(jié)果圖

4 結(jié)語

本文提出的基于YOLOv5的改進算法，解決在工業(yè)鋼材缺陷檢測過程中的檢測效率低，檢測精度不高等問題。通過使用CA 注意力機制，弱化對無用信息的關(guān)注，加強對目標(biāo)的定位能力。再改變邊界框回歸損失函數(shù)為CIoU Loss，加強預(yù)測框的回歸預(yù)測能力，以及使用C3Ghost結(jié)構(gòu)簡化模型大小，并進行對比實驗和融合實驗驗證。結(jié)果表明，改進后的算法性能得到提升，參數(shù)量更少，算法推理時間較短。其中mAP值提升了2.6%，參數(shù)量減少了13.3%，在工業(yè)鋼材缺陷檢測中有較大的檢測精度和速度。但同時由于本文是對已有數(shù)據(jù)集的訓(xùn)練和測試，實際工業(yè)生產(chǎn)過程中可能會考慮較多的外部因素。所以還需不斷地完善數(shù)據(jù)庫，并且開發(fā)出配套的硬件設(shè)施為實際的工業(yè)鋼材生產(chǎn)及質(zhì)量檢測提供更好的輔助。