薛龍，曹楷順，黃軍芬，黃繼強，鄒勇，曹瑩瑜

摘要：針對大型構(gòu)件缺陷焊縫的自動定位及缺陷識別是實現(xiàn)焊縫打磨、補焊等自動化操作的必要條件。大型構(gòu)件焊縫及焊縫缺陷圖像具有形狀多樣、灰度分布隨機等特點，加大了圖像處理的難度。提出一種基于深度學習的焊縫定位及缺陷識別方法，通過深度學習目標檢測方法確定焊縫位置并識別焊瘤及不合格缺陷，通過深度學習語義分割方法識別氣孔及凹坑缺陷。選取FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓練焊縫定位及缺陷識別模型，并通過增加樣本數(shù)量完成模型優(yōu)化，焊縫定位識別準確率達到95%，焊瘤識別準確率達到98%，氣孔與凹坑兩類缺陷的識別準確率約為91.8%。

關(guān)鍵詞：焊縫定位;缺陷識別;深度學習方法

中圖分類號：TG441.7? ? ? 文獻標志碼：A? ? ? ? ?文章編號：1001-2003（2021）09-0031-05

DOI：10.7512/j.issn.1001-2303.2021.09.06

0? ? 前言

隨著大型港機設(shè)備生產(chǎn)制造要求的進一步提升，監(jiān)測其焊接質(zhì)量成為保障生產(chǎn)安全的重要環(huán)節(jié)。港機大型設(shè)備在生產(chǎn)過程中焊接工作量大，不可避免地會產(chǎn)生如氣孔、凹坑、焊瘤等焊接缺陷，由于焊縫數(shù)量多，依賴人工完成焊縫缺陷識別大大影響了工作效率。國內(nèi)針對港機大型設(shè)備焊縫缺陷的自動化識別技術(shù)相較于國外發(fā)展較為落后，為了提高港機生產(chǎn)效率及生產(chǎn)質(zhì)量，需要研發(fā)出焊縫缺陷自動化處理系統(tǒng)，其中焊接缺陷的自動化定位識別技術(shù)是重要關(guān)鍵點之一[1]。由于港機設(shè)備上不同位置的焊縫及焊縫缺陷的形狀、亮度等不同，增大了定位識別難度。應(yīng)對這種紋理、形狀、亮度均有變化的對象識別，深度學習的方法具有很好的識別效果。因此，文中提出應(yīng)用深度學習的方法實現(xiàn)焊縫定位與缺陷識別[2]。借助HALCON的深度學習功能，收集缺陷數(shù)據(jù)集進行網(wǎng)絡(luò)模型訓練以及優(yōu)化，從而實現(xiàn)焊縫的定位以及缺陷識別。

1 焊縫定位與缺陷識別方案設(shè)計

深度學習在圖像領(lǐng)域的三大主要功能為圖像分類、目標檢測及語義分割。圖像分類是根據(jù)圖像中主要特征信息確定圖像中主要目標對象的類別。目標檢測功能是針對每張圖片包含多個待檢測目標的情況，如工件圖像中包含多種焊接缺陷（焊瘤、氣孔等等），可用于確定圖像中各種缺陷類別信息及其所在位置。語義分割功能是實現(xiàn)圖像像素級別的定位與識別[3-5]，適用于識別焊縫氣孔、凹坑等邊緣不規(guī)則的缺陷?；谏疃葘W習的語義分割給予每個像素一個標簽，分割的目標可以具有更精確的邊緣，判斷圖像中的缺陷類型及缺陷邊緣[6]。本研究中基于深度學習的目標檢測功能開發(fā)焊縫定位算法，基于深度學習的語義分割功能開發(fā)氣孔及凹坑焊縫缺陷識別定位算法。

焊縫定位及缺陷識別總體流程如圖1所示。采集工件圖像后，通過深度學習目標檢測方法完成焊縫定位任務(wù)，同時將焊瘤、存在嚴重不合格缺陷的焊縫進行定位識別;焊縫定位后，在焊縫區(qū)域通過深度學習語義分割方法識別凹坑及氣孔缺陷。

文中深度學習方法應(yīng)用的訓練網(wǎng)絡(luò)是基于FPN網(wǎng)絡(luò)的結(jié)構(gòu)。FPN網(wǎng)絡(luò)是Tsung Yili等人在2017年提出的金字塔網(wǎng)絡(luò)結(jié)構(gòu)Feature Pyramid Network。通過該網(wǎng)絡(luò)結(jié)構(gòu)解決了不同尺寸圖像的目標檢測問題[7]，它可以將卷積神經(jīng)網(wǎng)絡(luò)的高維特征與低維特征進行融合，使網(wǎng)絡(luò)所包含的語義更加豐富。在塔形結(jié)構(gòu)端部的目標會有更高的分辨率，有助于小目標的識別[8]。FPN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

研究過程中發(fā)現(xiàn)，代表焊縫及焊縫缺陷的像素在圖像中的占比非常小，而高分辨率的相機拍攝的工件圖像包含的信息量非常大，焊縫及缺陷屬于小目標，因此適合運用這種塔形結(jié)構(gòu)的FPN網(wǎng)絡(luò)進行焊縫定位及缺陷識別，既保證了圖像輸入輸出尺寸前后一致，又保證了焊縫與焊縫缺陷最終的識別效果。

2 焊縫定位

焊縫定位算法通過深度學習中的目標檢測功能來實現(xiàn)。目標檢測工作流程主要包含：準備數(shù)據(jù)、網(wǎng)絡(luò)模型訓練、推理驗證。準備數(shù)據(jù)包括采集焊縫圖像、圖像中焊縫標注;訓練包括選取網(wǎng)絡(luò)框架并創(chuàng)建網(wǎng)絡(luò)模型，基于特定待識別目標訓練模型，并評估訓練模型的性能;推理驗證即指在新圖像集上應(yīng)用訓練好的模型。焊縫定位算法流程如圖3所示。

2.1 焊縫定位網(wǎng)絡(luò)模型訓練

基于深度學習目標檢測方法的焊縫定位算法要求有充足的焊縫圖像樣本，樣本中包括不同形狀、亮度的焊縫，然后對圖像中的焊縫進行標注，基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓練焊縫定位模型，以及優(yōu)化網(wǎng)絡(luò)模型等。

訓練用于焊縫目標檢測的深度學習網(wǎng)絡(luò)使用的計算機硬件配置為：CPU型號Intel Corei7-6700HQ，GPU型號NVIDIA GeForce GTX 1060，運行內(nèi)存為6 GB，固態(tài)硬盤存儲容量為256 GB，內(nèi)存為金士頓 DDR4，參數(shù)為8 GB@ 2 400 MHz。軟件參數(shù)如表1所示。

軟硬件的合理配置可確保網(wǎng)絡(luò)模型訓練的順利進行。焊縫圖像樣本數(shù)據(jù)集共444張圖像，其中測試集為65張，約占總圖像數(shù)量的12%，剩余379張圖像用于焊縫定位網(wǎng)絡(luò)模型訓練，經(jīng)統(tǒng)計，總體識別準確率為78.8%，如圖4所示，焊縫識別效果不太理想，需要進一步優(yōu)化網(wǎng)絡(luò)模型。

2.2 網(wǎng)絡(luò)模型優(yōu)化

通過分析上面網(wǎng)絡(luò)模型訓練結(jié)果，對樣本圖像數(shù)據(jù)進行調(diào)整，重新對網(wǎng)絡(luò)模型進行訓練，在訓練中將訓練圖像增加到696張，焊縫定位識別準確率增加到95%。初始網(wǎng)絡(luò)模型訓練后焊縫識別結(jié)果及網(wǎng)絡(luò)模型優(yōu)化后焊縫識別結(jié)果統(tǒng)計如表2所示。

識別準確率的提升反應(yīng)到焊縫圖像中即為準確的焊縫定位，定位效果如圖5所示。圖中紅色矩形框中的區(qū)域便是網(wǎng)絡(luò)模型優(yōu)化后定位識別的焊縫區(qū)域，該區(qū)域很好地覆蓋了焊縫位置，雖然工件右側(cè)受到強光干擾，半塊工件反光嚴重，不過坡口中焊縫位置依然準確。綜上所述，充足數(shù)量的訓練樣本可以提升網(wǎng)絡(luò)模型的訓練效果。

3 缺陷識別

工件中的焊縫缺陷根據(jù)特征不同分別應(yīng)用深度學習目標檢測和語義分割兩種方法進行識別。焊縫圖像中焊瘤缺陷輪廓的圓度較高并且通常與焊縫分離，因此使用深度學習目標檢測的方法進行識別定位。焊縫上的氣孔、凹坑缺陷因為與焊縫融合并且邊緣輪廓不規(guī)則，采用深度學習語義分割方法進行識別定位。針對這兩種缺陷識別方案進行了實驗研究。

3.1 應(yīng)用深度學習目標檢測法實現(xiàn)缺陷識別

在采用深度學習目標檢測方法進行焊縫定位識別的過程中，標注焊縫的同時可以將焊瘤缺陷與斷續(xù)焊縫（定義為不合格缺陷，見圖6）一起標注出來，具體標注數(shù)量如表3所示。通過網(wǎng)絡(luò)模型訓練，在實現(xiàn)焊縫定位識別的同時也實現(xiàn)了焊瘤及不合格缺陷的定位識別。

統(tǒng)計網(wǎng)絡(luò)模型訓練結(jié)果得出，焊瘤缺陷識別準確率為80%、不合格類型識別準確率為67%。通過不斷優(yōu)化訓練數(shù)據(jù)集，焊瘤識別準確率由80%提高到98%，不合格缺陷識別準確率由67%提高到78%，焊瘤與不合格缺陷識別效果如圖7所示。

圖7中白色框選范圍內(nèi)是通過網(wǎng)絡(luò)模型識別的缺陷位置。上面焊縫中共有4個焊瘤缺陷，都被準確地識別出來;下面焊縫屬于不合格缺陷，框選區(qū)域表明對這類缺陷有良好的識別定位效果。

3.2 應(yīng)用深度學習語義分割法實現(xiàn)缺陷識別

在完整識別焊縫的基礎(chǔ)上對焊縫上存在的氣孔、凹坑缺陷進行下一步的識別，此時就需要借助深度學習的語義分割方法。氣孔、凹坑缺陷邊緣較為清晰，但是邊界形態(tài)各異，深度學習語義分割的方法可以細化每個像素的分類，較適用于邊緣不規(guī)則缺陷的識別。凹坑缺陷及標注示意如圖8所示，氣孔缺陷與標注后效果示意如圖9所示。

深度學習語義分割方法的工作流程同樣包括準備數(shù)據(jù)、網(wǎng)絡(luò)模型訓練、推理驗證三部分，其中準備數(shù)據(jù)包括采集焊縫圖像、圖像中氣孔及凹坑的標注。語義分割方法要求圖像標注精確度較高，達到像素級標注，可以從根本上解決邊緣不貼合目標、背景信息過多等問題。實驗中標注完成的訓練圖像共430張，推理驗證數(shù)據(jù)集共73張圖像。

深度學習語義分割方法通常采用交并比均值（MIoU）和像素精度均值（MPA）作為算法衡量標準。其中MIoU是將焊縫中每一類（背景、氣孔、凹坑）的交并比求平均值。每一類的交并比是屬于該類的實際像素集合與預(yù)測像素集合的交集和并集之比。焊縫圖像分為背景、氣孔、凹坑3類（k=0，1，2），MIoU的計算公式如式（1）所示

式中 pij表示本屬于類i但被預(yù)測為類j的像素數(shù)量，pii為預(yù)測正確的像素數(shù)量，pji表示本屬于類j但被預(yù)測為類i的像素數(shù)量。交并比均值是簡單、高效的衡量缺陷識別準確程度的參數(shù)[9]。

準確率均值是指分別計算背景、氣孔、凹坑3類中每個類別分類正確的像素數(shù)和該類所有像素數(shù)的比例然后求平均。MPA的計算公式如式（2）所示。

語義分割方法同樣基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓練網(wǎng)絡(luò)模型，訓練后獲得交并比均值MIoU為0.582 （MIoU>0.5），準確率均值MPA為0.683（MPA>0.5），表明網(wǎng)絡(luò)模型滿足要求。

基于語義分割方法網(wǎng)絡(luò)模型訓練氣孔與凹坑兩類缺陷的識別準確率約為91.8%，體現(xiàn)出了語義分割方法在焊縫缺陷識別上的良好效果。焊縫氣孔和凹坑識別效果如圖10所示。

4 結(jié)論

（1）采用深度學習目標檢測法識別并定位焊縫，基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓練焊縫定位模型，通過增加圖像數(shù)據(jù)集優(yōu)化定位模型，焊縫定位識別準確率達到95%。

（2）采用深度學習目標檢測法實現(xiàn)了焊瘤和不合格缺陷識別，通過優(yōu)化訓練數(shù)據(jù)集，焊瘤識別準確率達到98%，不合格缺陷識別準確率達到78%。

（3）采用深度學習語義分割方法進行了焊縫氣孔和凹坑兩類缺陷的識別，識別準確率約為91.8%。

參考文獻：

[1]Edwards G R. Inspection of welded joints[M]. ASM handbook welding， brazing and soldering，ASM International，1993（6）：1081-1088.

[2]范立南，韓曉微，張廣淵. 圖像處理與模式識別[M]. 北京：科學出版社，2007：1-2.

[3]蘇賦，呂沁，羅仁澤.基于深度學習的圖像分類研究綜述[J]. 電信科學，2019，35（11）：58-74.

[4]顧佳晨，高雷，劉路璐.基于深度學習的目標檢測算法在冷軋表面缺陷檢測中的應(yīng)用[J]. 冶金自動化，2019，43（6）：19-22，27.

[5]侯文慧. 基于深度學習的焊縫圖像缺陷識別方法研究[D]. 安徽：中國科學技術(shù)大學，2019.

[6]凌晨，張鑫彤，馬雷.基于Mask R-CNN算法的遙感圖像處理技術(shù)及其應(yīng)用[J]. 計算機科學，2020，47（10）：151-160.

[7]劉艷飛，丁樂樂，孟凡效，等.深度辨別性增強網(wǎng)絡(luò)高分影像語義分割[J]. 遙感信息，2021，36（2）：24-31.

[8]程龍.基于特征融合的目標檢測算法研究[D].北京：北京郵電大學，2020.

[9]曠視科技數(shù)據(jù)業(yè)務(wù)團隊. 計算機視覺圖像與視頻數(shù)據(jù)標注[M]. 北京：人民郵電出版社，2020.