王靖然　王桂棠　楊波　王志剛　符秦沈　楊圳

摘要：焊縫缺陷的檢測在石油化工等領(lǐng)域是極其關(guān)鍵的環(huán)節(jié)，焊接質(zhì)量的好壞直接影響到結(jié)構(gòu)的使用性能。對于X射線焊縫圖像評定，目前采用的人工評片受到多種主觀因素的影響，導致漏檢或錯檢情況相對較高。近年來，隨著工業(yè)智能檢測技術(shù)的發(fā)展，深度學習在圖像特征學習中的獨特優(yōu)勢使其在缺陷自動檢測中具備重要的實用價值。綜述了以神經(jīng)網(wǎng)絡技術(shù)為代表的深度學習模型在焊縫缺陷檢測方面的研究進展，詳細分析了基于卷積神經(jīng)網(wǎng)絡和Faster R-CNN網(wǎng)絡的工業(yè)設備焊縫缺陷自動檢測的理論模型及其優(yōu)缺點，并對焊縫缺陷自動檢測技術(shù)的發(fā)展進行了展望。

關(guān)鍵詞：焊縫缺陷;卷積神經(jīng)網(wǎng)絡;Faster R-CNN網(wǎng)絡;自動檢測

中圖分類號：TG409 文獻標志碼：A

文章編號：1009—9492（2021）03—0065—04

0引言

隨著我國工業(yè)化程度的不斷提高，焊接技術(shù)已廣泛應用到承壓容器、冶金工業(yè)、石油化工等各個領(lǐng)域，工業(yè)設備焊接質(zhì)量的好壞直接影響焊接結(jié)構(gòu)的使用性能和壽命。由于生產(chǎn)工藝和焊接環(huán)境等因素影響，工業(yè)設備焊縫位置在制造和使用過程中容易產(chǎn)生各類焊接缺陷，依照焊縫位置的不同可分為內(nèi)部缺陷（裂紋、圓形缺陷、未熔合、未焊透等）和表面缺陷（咬邊、燒穿等）。對于表面缺陷可以通過視覺檢測方法直接識別焊縫缺陷類型和損傷程度，而焊縫內(nèi)部缺陷則需要借助其他無損檢測技術(shù)進行缺陷識別和研判，如脈沖超聲檢測技術(shù)（UT）X射線檢測技術(shù)（RT）和渦流檢測技術(shù)（ET）等。其中RT由于可以準確識別缺陷的位置和長度，在焊縫缺陷檢測中應用最為廣泛。目前RT的缺陷定性、定量主要還是依賴人工的評定法，包括人工評片和機器視覺等。人工評片受評片人員的專業(yè)水平和身體狀況等主觀因素影響，容易造成缺陷漏檢或誤判等情況;機器視覺廣泛應用于焊縫圖像的缺陷分割，主要是針對人工選取的特征進行提取和分析，這不僅依賴于人工選定，且對某些缺陷難選出優(yōu)質(zhì)的特征，當所提取的特征質(zhì)量不佳時，就得不到較高的識別準確率。

為了降低依賴人工評定法的主觀性、差異性，研究焊縫缺陷自動檢測系統(tǒng)成為重要的研究方向。近年來，將深度學習的圖像特征自動學習應用于工業(yè)設備焊縫缺陷檢測成為主流研究方向。目前主要包含卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）和Faster R-CNN兩種網(wǎng)絡模型，通過利用算法模型自動學習的特點，自動提取焊縫缺陷，實現(xiàn)焊縫缺陷的自動檢測。一方面，其方法避免了傳統(tǒng)算法中人工提取特征的局限性和復雜性;另一方面，深度學習在自然語言處理、圖像分類和物體檢測等領(lǐng)域獲得了廣泛應用，為深度學習在焊縫缺陷檢測中的應用奠定基礎(chǔ)。

本文針對目前主流的基于深度學習技術(shù)的焊縫缺陷檢測模型進行了歸納總結(jié)。先后對基于深度學習技術(shù)的焊縫缺陷檢測的相關(guān)模型進行詳細論述，隨后對基于深度學習的焊縫缺陷自動檢測模型進行了總結(jié)和展望。

1焊縫缺陷檢測模型

目前深度學習技術(shù)的很多模型都被應用在焊縫缺陷圖像中，其中應用比較廣泛的包括卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）和Faster R-CNN兩種網(wǎng)絡模型。

1.1卷積神經(jīng)網(wǎng)絡

CNN最早由Yann于1998年提出，可以自動提取圖像的顏色、邊緣和紋理等特征，避免了傳統(tǒng)算法中復雜的特征提取過程，并且在扭曲不變性應用上具有良好的魯棒性。在CNN中，主要包括3種網(wǎng)絡層：卷積層（Convolutions）、下采樣層（Subsampling）和全連接層（Fully Connection）。

卷積神經(jīng)網(wǎng)絡的關(guān)鍵部分在于感受野、權(quán)值共享和下采樣層。神經(jīng)元只需要感知圖像局部特征即可，然后綜合不同的局部神經(jīng)元得到全局信息，減少了神經(jīng)元連接的數(shù)目，降低模型復雜度。權(quán)值共享就是對圖像用同樣的卷積核進行卷積操作，因此可以檢測到不同位置的同一類型特征，既有較好的平移不變性，同時也減少了訓練參數(shù)量，提高了模型的運算速率。下采樣層可以降低特征維度同時保留有用信息，防止過擬合。

1.2 Faster R-CNN網(wǎng)絡

Faster R-CNN網(wǎng)絡在2016年被Ren s等提出，其網(wǎng)絡結(jié)構(gòu)如圖1所示，整體檢測框架為：

（1）原始圖像先經(jīng)過CNN層進行特征提取，得到特征圖;

（2）特征圖分為兩部分，一部分特征圖進入RPN層產(chǎn)生區(qū)域建議框;

（3）將區(qū)域建議框映射到另一部分特征圖上，輸入到RoI pooling層，輸出RoI特征圖;

（4）對RoI特征圖進行分類和邊框回歸。

Faaer R-CNN網(wǎng)絡實現(xiàn)了區(qū)域推薦網(wǎng)絡（RPN）和Fast R-CNN檢測網(wǎng)絡共享同一特征圖，解決了R-CNN對region進行特征提取時的重復計算和Fast R-CNN找出所有候選框的耗時計算問題。Faster R-CNN將區(qū)域建議和Fast R-CNN融入到一個網(wǎng)絡模型中，實現(xiàn)了端到端的目標檢測，大幅提升了檢測精度和效率。

2焊縫缺陷檢測方法

2.1基于卷積神經(jīng)網(wǎng)絡

Li等在AlexNet模型的基礎(chǔ)上根據(jù)焊縫的缺陷特征進行了微調(diào)，通過對比了其他經(jīng)典卷積神經(jīng)網(wǎng)絡，其中AlexNet的分類準確率最高達到97%。

Liu等提出了一種基于VGGl6的全卷積結(jié)構(gòu)對焊縫缺陷圖像進行分類，以較小的數(shù)據(jù)集就能實現(xiàn)了氣孔和裂紋兩類缺陷的高精度識別，其訓練集和驗證集的準確度在45 000步（10個epoch）后趨于100%，測試集的精度也達到了97.6%。

Li等設計了一個6級10層的卷積神經(jīng)網(wǎng)絡，通過分割定義出一個疑似缺陷區(qū)域（SuspectedDefectRegion，SDR）圖像，將SDR圖像作為CNN的輸入可使缺陷的平均識別率提高到98.8%。

Hou等提出了深度卷積神經(jīng)網(wǎng)絡（DCNN）模型，該模型使用Sofimax算子進行微調(diào)，并且比較了3種重采樣方法解決缺陷樣本不平衡問題的效果。實驗結(jié)果表明該模型學到的DCNN特征比傳統(tǒng)手工特征和堆疊稀疏自動編碼器（SSAE）特征具有更好的分類能力，SMOTE重采樣方法能夠更好地解決分類不平衡的問題，缺陷分類準確率達到97.2%。

Liu等提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡（CNNs）和長短期記憶網(wǎng)絡（LSTM）的CNN-LSTM算法，如圖2所示。首先CNN提取熔池圖像特征，轉(zhuǎn)化為特征矩陣后送入到LSTM網(wǎng)絡進行特征融合分類。實驗結(jié)果表明，焊接熔池缺陷檢測精度達94%，單幅圖像處理時間為0.067ms，完全滿足基于熔池圖像的實時監(jiān)測要求。

Fan等在CNN模型中使用ELU激活函數(shù)使模型訓練時有更好的魯棒性，同時利用超像素分割（SLIC）算法對圖像像素進行像素塊處理，增大了焊縫圖像中感興趣區(qū)域的占比，提高模型的特征提取能力。實驗表明該方法對4種類型的焊縫缺陷圖像整體識別準確率達到97.8%。

Gu等提出一種多尺度壓縮激勵網(wǎng)絡模型（SINet），將卷積模塊與Inception模塊、壓縮激勵模塊（SEblock）相結(jié)合進行多尺度融合和特征重標定提高缺陷識別準確率，并且采用深度卷積對抗生成網(wǎng)絡（DCGAN）擴充數(shù)據(jù)集，最終在測試集上準確率達到96.77%。

Jiang等提出將隨機森林與CNN相結(jié)合，強化了特征提取能力，同時根據(jù)焊縫缺陷特征提出了一種綜合考慮池化域與所在特征圖分布的池化模型，使得池化模型具有一定的動態(tài)自適應性。實驗表明比傳統(tǒng)CNN方法有更高的識別率。

Agus Khumaidi等使用卷積神經(jīng)網(wǎng)絡和高斯核的方法對4種不同類型的焊縫缺陷進行識別，準確率達到了95.83%。

Daniel Bacioiu等使用能夠抵消強大弧光的HDR攝像機組成的視覺系統(tǒng)捕獲焊縫圖像，并構(gòu)建了基于CNN和FCN的分類模型，分別采用6種缺陷、4種缺陷和2種缺陷數(shù)據(jù)集對模型進行訓練，其最高識別精度分別為71%、89%和95%。

Huang等使用生成對抗網(wǎng)絡擴充數(shù)據(jù)集，并且對輕量卷積神經(jīng)網(wǎng)絡進行Dropblock和全局平均池化優(yōu)化，有效提高了焊縫缺陷識別的準確率和泛化能力。

Seungmin Shin等提出了一種基于深度神經(jīng)網(wǎng)絡（DNN）的無損檢測方法，基于焊接電壓信號實時檢測和預測氣孔缺陷。經(jīng)實驗對比，基于DNN框架比人工神經(jīng)網(wǎng)絡（ANN）模型的性能高15%。

基于卷積神經(jīng)網(wǎng)絡的方法主要是增加卷積神經(jīng)網(wǎng)絡的層數(shù)以及與其他模型進行融合，從而克服原來網(wǎng)絡結(jié)構(gòu)簡單、特區(qū)特征類別單一的缺點，增強網(wǎng)絡對焊縫缺陷特征的提取能力，使模型達到更高的識別準確率。但是也增加了模型的參數(shù)量，導致模型訓練時間增加。

2.2基于Faster R-CNN網(wǎng)絡

Du等采用特征金字塔網(wǎng)絡（Feature Pyramid Network，F(xiàn)PN）代替Faster R-CNN原來的特征融合方式，mAP值提高了40.7%;RoIAlign代替原來的RoI pooling方式，消除了量化誤差，準確率提高了23.6%，同時對圖像使用了旋轉(zhuǎn)、裁剪等數(shù)據(jù)增強算法，提高了模型的檢測精度。

Max Ferguson等提出了一種基于掩模區(qū)域CNN（Mask R-CNN）的鑄造缺陷識別系統(tǒng)，在Faster R-CNN基礎(chǔ)上多出分割分支，如圖3所示。該缺陷檢測系統(tǒng)同時對輸入圖像進行缺陷檢測和分割，適用于多種缺陷檢測任務。結(jié)果表明，訓練網(wǎng)絡同時進行缺陷檢測和缺陷實例分割，比單純訓練缺陷檢測具有更高的缺陷檢測精度，同時利用遷移學習減少對訓練數(shù)據(jù)的需求，提高訓練模型的預測精度。

Chang等采用FasterR-CNN，通過GT包圍盒的長寬比重新選定anchor大小以及對訓練集進行圖像增強，獲得工業(yè)CT缺陷檢測模型。實驗結(jié)果表明該模型可以快速準確地標出裂紋、夾渣和氣泡的位置，檢測準確率高達96%，平均每張圖片的總檢測時間為166 ms。

Guo等對數(shù)據(jù)集進行了預處理，經(jīng)過實驗對比發(fā)現(xiàn)采用自適應直方圖均衡化（AHE）增強圖像和雙中值模糊（DMB）降噪可以使基于Resnetm]提取圖像特征的Faster R-CNN模型的mAP達到58.6%。

Zhong等使用Unet網(wǎng)絡和Resnet網(wǎng)絡作為特征提取器使得Faster R-CNN模型具有更深的神經(jīng)網(wǎng)絡，圖像的特征提取能力增強。如表1所示，改進后的模型對裂痕識別率達到98%，對氣孔識別率達到了97.1%。

Qu等針對小尺度目標檢測不準確的問題對Faster R-CNN進行優(yōu)化，再使用Resnet代替VGGNet進行特征提取，均值平均準確率（mAP）達到62.4%?；贔aster R-CNN的方法主要是進行了模型融合，單一的網(wǎng)絡模型往往不能提取所有的有用特征信息，采用多個模型進行融合的方式可以充分利用各個模型的優(yōu)勢提取多維特征，增加了更多細節(jié)信息，從而提高了模型的識別率。但是也存在模型設計困難和達不到預期性能等問題。

3結(jié)束語

本文對近年來提出的基于深度學習的焊縫缺陷自動檢測方法進行了歸納和總結(jié)。

（1）傳統(tǒng)的人工提取焊縫缺陷特征識別算法的魯棒性不強、泛化能力差，并且檢驗人員的主觀因素可能會降低識別準確率。深度學習與傳統(tǒng)方法相比優(yōu)勢明顯，深度網(wǎng)絡可以自動從數(shù)據(jù)中學習并更新網(wǎng)絡參數(shù)，使其具有強大的特征學習能力。目前在深度學習模型自動識別焊縫缺陷方面大多采用改進的卷積神經(jīng)網(wǎng)絡和改進的Faster R-CNN網(wǎng)絡這兩種模型，缺陷識別準確率高。

（2）基于卷積神經(jīng)網(wǎng)絡的方法雖然準確率相比與傳統(tǒng)方法得到了顯著提高，但并沒有在焊縫圖像中定位出缺陷的位置。而基于Faster R-CNN的方法雖然框出了缺陷的位置，但只對某類缺陷識別率高，整體的識別準確率不高。

（3）基于深度學習的焊縫缺陷智能檢測算法目前只能對焊縫缺陷進行定性分析，而實際檢測過程中要依據(jù)國家標準對焊縫缺陷進行定性分析，所以離工業(yè)應用還有一定的差距，目前可以作為輔助人工檢測的技術(shù)手段。

深度學習技術(shù)在焊縫缺陷檢測領(lǐng)域未來的研究工作可以從以下幾個方面展開。

（1）引入無監(jiān)督學習來進行焊縫缺陷的自動識別。目前大多數(shù)深度學習模型，如卷積神經(jīng)網(wǎng)絡，都需要有標簽的數(shù)據(jù)來進行監(jiān)督學習，而大量的缺陷圖像標記是一個難題。

（2）將生成式對抗網(wǎng)絡（GAN）引入焊縫缺陷圖像，擴大數(shù)據(jù)集，進一步提高缺陷的準確識別率。目前公開的焊縫缺陷數(shù)據(jù)集只有GDXray，且其焊縫缺陷數(shù)據(jù)量少。未來解決圖像數(shù)據(jù)缺乏的問題，不僅可以使用圖像增強、遷移學習等技術(shù)，還可以使用生成式對抗網(wǎng)絡生成焊縫缺陷圖像，進一步提高焊縫缺陷自動識別的精確度和準確度。

（3）用深度學習進行定性分析后，可以采用傳統(tǒng)圖像處理算法對缺陷進行提取進一步做定量分析。