馬瑞，賀德強(qiáng)，賀歲球，陳彥君，靳震震，單晟

(1.廣西大學(xué) 機(jī)械工程學(xué)院，廣西 南寧 530004；2.中車株洲電力機(jī)車研究所有限公司，湖南 株洲 412001)

焊接作為金屬連接的主要方式之一，在地鐵列車鋁合金車體的生產(chǎn)制造中發(fā)揮著重要作用[1]。在實(shí)際加工過程中，焊接環(huán)境、焊接材料以及焊接技術(shù)的局限性導(dǎo)致了焊接缺陷的產(chǎn)生，因此，開展焊接質(zhì)量檢測非常必要[2]。無損檢測是焊接質(zhì)量檢測的常用方法，相控陣超聲波檢測技術(shù)作為一種便捷高效環(huán)保的無損檢測方式，其檢測靈敏度高，可以檢測出焊縫的表面和內(nèi)部缺陷，內(nèi)部缺陷主要有未焊透、未熔合、裂紋、氣孔和夾渣[3]。陳選民等[4]對(duì)鋼軌焊縫的相控陣超聲定點(diǎn)掃查工藝進(jìn)行了研究，發(fā)現(xiàn)扇形掃描角度范圍在30°～70°之間的檢測能力最好。閆彧[5]通過超聲波檢測技術(shù)，對(duì)焊接缺陷類型、大小、位置做出了檢測與評(píng)估。但是傳統(tǒng)的無損檢測方法，需要人工檢測和判別缺陷類型，漏檢率和誤檢率較高。人工智能的發(fā)展為焊接質(zhì)量檢測提供了新思路，與機(jī)器視覺結(jié)合的無損檢測方法得到廣泛應(yīng)用[6]。在傳統(tǒng)機(jī)器視覺方面，余勝威等[7]提出基于PCA(Principal Component Analysis)降維的特征焊縫提取方法，有效檢測出轉(zhuǎn)向架焊接表面缺陷。SUN 等[8]提出了基于高斯混合特征提取的焊縫缺陷檢測模型，實(shí)現(xiàn)了焊縫缺陷的識(shí)別和分類。ZHANG 等[9]提出了一種基于支持向量機(jī)與網(wǎng)格搜索優(yōu)化交叉驗(yàn)證的焊接缺陷檢測模型，可以識(shí)別未焊透、燒穿等焊接缺陷。YANG 等[10]提出了一種向量機(jī)多尺度缺陷檢測方法，運(yùn)用遷移學(xué)習(xí)和多尺度融合方法，對(duì)于弱紋理和弱對(duì)比度圖像有較好的識(shí)別能力。以上焊縫檢測模型雖然取得一定成效，但是模型魯棒性不足，缺陷識(shí)別精度較低，而深度學(xué)習(xí)算法可以彌補(bǔ)這一缺陷。深度學(xué)習(xí)可以實(shí)現(xiàn)端到端的檢測，無須手動(dòng)提取焊縫缺陷特征，且具有較強(qiáng)的特征學(xué)習(xí)和遷移學(xué)習(xí)能力，檢測效率較高。在深度學(xué)習(xí)機(jī)器視覺方面，鐘嘉俊等[11]提出了基于改進(jìn)Faster R-CNN(Faster region convolutional neural network)的車體焊縫檢測方法，對(duì)焊接缺陷有較高的識(shí)別率和魯棒性。FENG 等[12]基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)電樞焊接表面缺陷進(jìn)行了研究，但其網(wǎng)絡(luò)層數(shù)較少，所學(xué)習(xí)到的特征有限，檢測精度有待提高。針對(duì)焊接缺陷數(shù)據(jù)樣本不平衡的問題，GUO 等[13]提出了生成對(duì)抗網(wǎng)絡(luò)對(duì)樣本數(shù)量擴(kuò)充，使得各類缺陷數(shù)據(jù)分布均衡。在實(shí)際焊接過程中，焊接缺陷往往并不是單一存在，而是各種缺陷混雜，焊接缺陷密集分布且尺度變化較大，給焊接缺陷檢測帶來了巨大挑戰(zhàn)。常見焊接缺陷的相控陣超聲波圖像如圖1(a)～1(d)所示，按照焊縫缺陷的分布情況可以分為2類，稀疏分布(圖1(a)～1(b))和密集分布(圖1(c)～1(d))，其中焊接缺陷密集分布情況較為常見。各種檢測網(wǎng)絡(luò)中，YOLOX 對(duì)混雜的焊接缺陷進(jìn)行精確定位，對(duì)密集分布和尺度變化較大的焊接缺陷有較好的特征提取能力，YOLOX 對(duì)圖1(a)～1(d)特征提取的熱力圖如圖1(e)～1(h)所示，焊接缺陷被較好地識(shí)別。此外，YOLOX 具有YOLO(you only look once)系列不生成候選框直接進(jìn)行檢測、檢測速度快的優(yōu)勢，也用anchor free方法減少負(fù)樣本數(shù)，緩解正負(fù)樣本不平衡的問題，提高檢測精度[14]。但是YOLOX 模型存在梯度流消失問題，多尺度特征融合能力需要進(jìn)一步加強(qiáng)。YI等[15]引入MobileViT(mobile vision transformer)模塊對(duì)YOLOX 模型改進(jìn)，增強(qiáng)了其主干網(wǎng)絡(luò)的特征提取能力，但其80.67%的檢測精度，40.37 fps 的檢測速度，難于滿足實(shí)際應(yīng)用需求。WU 等[16]在YOLOX 模型中引入Atrous 空間金字塔池化和卷積注意力機(jī)制，提高多尺度圖像的檢測能力，但其誤檢率較高。綜上所述，現(xiàn)有的焊接質(zhì)量檢測網(wǎng)絡(luò)雖然取得了一定成效，但其特征提取不全面，缺乏多尺度特征融合，檢測精度和速度還有待提高。針對(duì)目前焊接質(zhì)量檢測智能化水平不高、檢測效率低的問題，提出了一種改進(jìn)的YOLOX 智能檢測方法，在YOLOX 模型中引入了跨階段分部網(wǎng)絡(luò)(Cross-stage Partial Dark Network,CSPDarkNet)、密集連接網(wǎng)絡(luò)(Densely Connected Network,DCN)、加權(quán)雙向金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Network,BiFPN)和自適應(yīng)空間融合網(wǎng)絡(luò)(Adaptively Spatial Feature Fusion,ASFF)，對(duì)相控陣超聲波檢測儀采集到的焊接缺陷進(jìn)行識(shí)別，有效提高了焊接質(zhì)量檢測的效率。

圖1 焊接缺陷圖像Fig.1 Images of welding defects

1 焊接質(zhì)量檢測模型

1.1 改進(jìn)的CSPDarkNet

為了解決焊縫缺陷圖像中存在的缺陷密集分布導(dǎo)致檢測精度低、檢測速度不高的問題，改進(jìn)的YOLOX 將原有的DarkNet 采用跨階段分部CSP結(jié)構(gòu)[17-18]，并將CSPDarkNet 網(wǎng)絡(luò)中的殘差網(wǎng)絡(luò)改為密集連接網(wǎng)絡(luò)DCN[19]，改進(jìn)的CSPDarkNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。CSP 結(jié)構(gòu)通過劃分區(qū)域減少信息的重復(fù)學(xué)習(xí)，DCN 減輕梯度消失問題，減少了參數(shù)數(shù)量，對(duì)提高模型的檢測精度和檢測速度具有重要作用。

圖2 改進(jìn)的CSPDarkNetFig.2 Improved CSPDarkNet

如圖2(a)所示，CSP 結(jié)構(gòu)的作用原理是先采樣，將輸出特征圖經(jīng)過1*1 卷積分為2 部分，且卷積后的特征圖通道數(shù)為輸入特征圖通道數(shù)的一半。經(jīng)過DarkNet 卷積塊之后，再使用1*1 卷積整合通道特征。CSP結(jié)構(gòu)可以最大化梯度聯(lián)合的差異，通過梯度流截?cái)?，可以避免不同的卷積層學(xué)習(xí)到重復(fù)的梯度信息，從而提升網(wǎng)絡(luò)的學(xué)習(xí)能力。

CSPDarkNet 的前向傳播與權(quán)重計(jì)算如式(1)～(6)所示。將圖像的特征圖均分為2部分，分別用和表示，每部分都有k層卷積，如式(1)所示。通過DarkNet 進(jìn)行特征提取的輸出為xT，不計(jì)算，最后將和xT通過concat 操作的結(jié)果定義為xU。xi，xk，xT，xU分別表示前向傳播過程中的特征圖，Wk，WT，WU與，，分別表示更新前和更新后的權(quán)重，f表示權(quán)重更新函數(shù)，gi表示第i層卷積的梯度。

如圖2(b)所示，DCN 中dense 單元密集連接加強(qiáng)了不同層之間的連接關(guān)系，網(wǎng)絡(luò)中的每一層都與前面層相連，實(shí)現(xiàn)特征的傳遞和復(fù)用，進(jìn)一步減輕了梯度消失問題，提高了特征提取能力。DCN 比殘差網(wǎng)絡(luò)有更少的參數(shù)，因?yàn)樗恳粚佣荚O(shè)計(jì)得比較窄，密集連接使它不需要再重新學(xué)習(xí)多余的特征圖，即每一層只學(xué)習(xí)很少的特征就學(xué)習(xí)到足夠的信息，使得參數(shù)量和計(jì)算量顯著減少，降低了模型的參數(shù)冗余性，有利于模型檢測速度的提高。

1.2 改進(jìn)的BiFPN

為了解決焊接缺陷圖像中焊接缺陷尺度變化較大導(dǎo)致的檢測精度降低的問題，將原有的YOLOX 中路徑聚合金字塔網(wǎng)絡(luò)(Path Aggregation Feature Pyramid Network，PAFPN)改成了加權(quán)雙向金字塔網(wǎng)絡(luò)BiFPN[20]和自適應(yīng)空間融合網(wǎng)絡(luò)ASFF[21]，從而實(shí)現(xiàn)更高層次的特征融合，改進(jìn)的BiFPN 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。BiFPN 可以實(shí)現(xiàn)雙向路徑和多尺度融合，雙向表示自頂向下和自底向上，加權(quán)表示帶權(quán)重進(jìn)行特征融合。圖3中三箭頭表示自頂向下的通路，傳遞高層特征語義信息；雙箭頭表示自底向上的通路，傳遞低層特征的位置信息。P3-P7分別表示不同層的特征圖，每一層都包含輸入與輸出，P4-P6包含中間層。ASFF 對(duì)BiFPNP4-P6輸出的特征信息做自適應(yīng)空間特征融合，從而提高特征的尺度不變性。ASFF 的核心思想是自適應(yīng)地學(xué)習(xí)每個(gè)尺度上特征圖融合的空間權(quán)值，包含特征圖尺度調(diào)整和自適應(yīng)融合兩部分。ASFF 的輕量化結(jié)構(gòu)使得提高檢測精度的同時(shí)，對(duì)檢測速度幾乎無影響。

圖3 改進(jìn)的BiFPNFig.3 Improved BiFPN

BiFPN特征圖的計(jì)算如公式(7)～(9)所示。，分別表示第7 級(jí)、第6 級(jí)特征圖的輸入，表示第6 級(jí)特征圖的中間層，分別表示第7級(jí)、第6 級(jí)特征圖的輸出，Conv表示卷積運(yùn)算，Resize表示上采樣或者下采樣運(yùn)算，自頂向下是上采樣，自底向上是下采樣。w1，w2表示第6級(jí)特征圖的中間層的權(quán)重，，，表示第6級(jí)特征圖的輸出層的權(quán)重。常數(shù)項(xiàng)ε=0.000 1。第3 級(jí)到第5級(jí)特征圖的計(jì)算與第6級(jí)類似。

1.3 改進(jìn)的YOLOX網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)的YOLOX 網(wǎng)絡(luò)主要由輸入端、特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和目標(biāo)檢測網(wǎng)絡(luò)四部分組成，如圖4 所示。輸入端將焊縫缺陷圖像尺寸通過多尺度融合重置為640×640，并分為R，G，B 3 個(gè)通道輸入到特征提取網(wǎng)絡(luò)中，如圖4(a)所示。

圖4 改進(jìn)的YOLOX結(jié)構(gòu)Fig.4 Structure of improved YOLOX

特征提取網(wǎng)絡(luò)如圖4(b)所示。輸入的特征圖圖像依次經(jīng)過dense-CSPDark2-5，學(xué)習(xí)焊縫缺陷圖像的特征信息。CSP結(jié)構(gòu)增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，占用較少的顯存空間，加快了網(wǎng)絡(luò)的推理速度。DCN 網(wǎng)絡(luò)加強(qiáng)特征連接和特征復(fù)用，減少了參數(shù)量，提高了模型訓(xùn)練和測試的速度?；揪矸e、Focus，dense-CSP結(jié)構(gòu)和SPP(Spatial Pyramid Pooling)的單元構(gòu)成，如圖4(e)所示。

特征融合網(wǎng)絡(luò)如圖4(c)所示。改進(jìn)的BiFPN 將網(wǎng)絡(luò)輸出的有效特征層和SPP結(jié)構(gòu)的輸出進(jìn)行特征融合。BiFPN為雙向路徑，一個(gè)是將低層的語義信息向高層融合，另一個(gè)是將高層的語義信息向低層融合。首先，對(duì)SPP結(jié)構(gòu)的輸出的特征圖進(jìn)行卷積和上采樣，對(duì)網(wǎng)絡(luò)輸出特征圖卷積，將2個(gè)結(jié)果在通道維度上堆疊，然后將結(jié)果再進(jìn)行卷積和上采樣，將2個(gè)特征圖在通道維度上堆疊，完成低層的語義信息向高層融合。同理，可以實(shí)現(xiàn)高層的語義信息向低層融合。BiFPN輸出的特征信息分別輸入到ASFF 網(wǎng)絡(luò)中，進(jìn)行自適應(yīng)空間特征融合。ASFF 在空間領(lǐng)域過濾沖突信息以抑制不一致特征，提升網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的特征融合能力。

目標(biāo)檢測網(wǎng)絡(luò)如圖4(d)所示。目標(biāo)檢測網(wǎng)絡(luò)采用解耦檢測頭結(jié)構(gòu)，可以提高檢測性能，提升收斂速度。不同的分支對(duì)應(yīng)于ASFF 輸出的不同尺度下的特征圖，結(jié)合不同的尺度對(duì)焊接缺陷進(jìn)行精確分類。

2 數(shù)據(jù)采集與處理

地鐵列車車體生產(chǎn)制造中，T 型焊縫較為常見，如圖5(a)～5(h)所示。實(shí)驗(yàn)數(shù)據(jù)為中車某公司生產(chǎn)的車體焊接試件，如圖5(i)所示。焊縫類型為T 型焊縫，材料為6082 鋁合金，焊接方式為MIG(metal inert-gas welding)，用相控陣超聲波檢測儀采集了1 500 張焊接缺陷圖像，如圖6 所示。用labelme 軟件分別標(biāo)注為LOF(未熔合)、IP(未焊透)、crack(裂紋)、slag(夾渣)、core(氣孔)，如圖7所示。為了提高數(shù)據(jù)集的泛化能力，避免過擬合，將1 500 張圖像通過旋轉(zhuǎn)、平移、改變亮度、增加噪聲等數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)增到3 000 張。并以9︰1 的比例劃分訓(xùn)練集和測試集，即訓(xùn)練集有2 700 張圖像，測試集有300 張圖像。每張圖像含有1 個(gè)或多個(gè)焊接缺陷，5種焊接缺陷數(shù)量如表1所示。

表1 焊接缺陷數(shù)量Table 1 Amount of welding defects

圖5 地鐵列車鋁合金車體和試件Fig.5 Aluminum alloy body of metro train and test piece

圖6 相控陣超聲波檢測T型焊縫焊接缺陷Fig.6 T-type welding defect detection by phased array ultrasound

圖7 5種焊接缺陷類型Fig.7 Five kinds of welding defects

3 模型訓(xùn)練與測試

3.1 實(shí)驗(yàn)環(huán)境與性能評(píng)估指標(biāo)

模型訓(xùn)練和測試的軟件系統(tǒng)為Ubuntu20.04 系統(tǒng)，搭建MMDetection 框架，配套安裝Pytorch 1.11.0，TorchVision 0.12.0，Cuda 11.3.1，mmdet 2.25.0 和mmcv-full 1.4.8。硬件系統(tǒng)CPU 為I7-11800H@2.30 GHz，GPU 為英偉達(dá)顯卡RTX3070。利用訓(xùn)練集2 700 張圖像訓(xùn)練模型，一共訓(xùn)練300輪，并獲得檢測精度最高的權(quán)重文件。利用測試集300張圖像和模型訓(xùn)練中的權(quán)重文件對(duì)模型的檢測性能進(jìn)行測試。模型訓(xùn)練中batchsize 設(shè)置為2，即每次訓(xùn)練時(shí)輸入2 張圖像，每輪訓(xùn)練1 350 次。具體模型參數(shù)設(shè)置如表2所示。

表2 模型參數(shù)設(shè)置Table 2 Model parameter setting

模型的檢測性能評(píng)估指標(biāo)有平均檢測精度mAP(mean average precision)和幀速率FPS(frames per second)。AP(average precision)表示每一類焊縫缺陷的檢測精度，mAP表示5種焊縫缺陷的平均檢測精度。檢測速度用幀速率表示，即每秒檢測的圖像數(shù)。

3.2 焊縫檢測模型對(duì)比

為了驗(yàn)證模型的有效性，將改進(jìn)的YOLOX 模型與主流網(wǎng)絡(luò)Faster R-CNN，Cascade R-CNN，YOLO V5 以及YOLOX 進(jìn)行對(duì)比，評(píng)估其檢測性能。如表3 所示，改進(jìn)YOLOX 的平均檢測精度mAP 和檢測速度是最高的，分別達(dá)到了97.3%，78.4 fps。在同樣采用CSP 結(jié)構(gòu)的情況下，改進(jìn)YOLOX 模型比原始YOLOX 的檢測精度提高4.5%，檢測速度提高3.6 fps。改進(jìn)YOLOX 對(duì)于未焊透缺陷的檢測精度最高，達(dá)到了98.60%，其次是夾渣缺陷，檢測精度達(dá)到了98.50%，表現(xiàn)出優(yōu)秀的檢測性能。

3.3 特征提取網(wǎng)絡(luò)對(duì)比

將幾種特征提取網(wǎng)絡(luò)的檢測效果進(jìn)行對(duì)比，如表4 所示。ResNet 是Faster R-CNN 和Cascade RCNN 的特征提取網(wǎng)絡(luò)，Darknet 是YOLOX 的特征提取網(wǎng)絡(luò)，CSPDarknet 是YOLO V5 的特征提取網(wǎng)絡(luò)。由表4 可知，改進(jìn)CSPDarknet 的檢測性能最好，CSP 結(jié)構(gòu)和DCN 密集連接有利于充分提取密集分布和多尺度的焊接缺陷特征信息，減少參數(shù)量，提高檢測速度。改進(jìn)CSPDarknet 比原始CSPDarknet 的檢測精度提高了4.14%，檢測速度提高了4.0 fps。

表4 特征提取網(wǎng)絡(luò)對(duì)比Table 4 Comparison of feature extraction networks

3.4 特征融合網(wǎng)絡(luò)對(duì)比

將改進(jìn)BiFPN 與PAN，BiFPN 進(jìn)行對(duì)比，如表5所示，可知改進(jìn)BiFPN 具有BiFPN 雙向加權(quán)融合和ASFF 空間自適應(yīng)融合的優(yōu)勢，對(duì)密集分布的焊接缺陷特征充分學(xué)習(xí)。相比BiFPN，改進(jìn)BiFPN在不犧牲檢測速度的情況下，將檢測精度提高了1.8 %。

3.5 模型魯棒性分析

用改進(jìn)的YOLOX 網(wǎng)絡(luò)檢測測試集的300 張圖像，部分檢測結(jié)果如圖8 所示。圖8(a)～8(b)為稀疏分布的焊接缺陷圖像，圖8(c)～8(d)為密集分布的焊接缺陷圖像。改進(jìn)的YOLOX 模型對(duì)于密集分布的焊接缺陷具有較高的檢測精度，均在94%以上，模型的抗干擾能力比較強(qiáng)。為了更好的檢測模型的魯棒性，對(duì)圖8(a)～8(d)通過添加斑點(diǎn)、改變亮度等方式增加噪聲，如圖8(e)～8(h)所示。對(duì)于添加噪聲的焊接缺陷圖像，改進(jìn)的YOLOX 網(wǎng)絡(luò)仍可以準(zhǔn)確識(shí)別各種焊接缺陷，其檢測精度與無噪聲時(shí)相近。如圖8(a)和8(e)所示，有噪聲和無噪聲時(shí)，氣孔缺陷(core)的檢測精度均為95%，說明該模型具有較好的魯棒性。

4 結(jié)論

1) 將深度學(xué)習(xí)與相控陣超聲波檢測技術(shù)結(jié)合，提出了一種基于改進(jìn)YOLOX 的地鐵列車焊接質(zhì)量智能檢測方法。在特征提取網(wǎng)絡(luò)中，引入CSP 結(jié)構(gòu)和dense 網(wǎng)絡(luò)；在特征融合網(wǎng)絡(luò)中，引入BiFPN和ASFF 網(wǎng)絡(luò)。在同樣采用CSP 結(jié)構(gòu)的情況下，改進(jìn)后的YOLOX 比原始YOLOX 的檢測精度提高4.5%，檢測速度提高3.6 fps。

2) 改進(jìn)后的YOLOX 模型對(duì)圖像噪聲的抗干擾能力較強(qiáng)，表現(xiàn)出較好的魯棒性。

3) 提出的改進(jìn)YOLOX智能檢測算法尚未部署到相控陣超聲波檢測儀終端，未來需要在模型的部署方面進(jìn)一步研究。