曹晉晉

（天津理工大學(xué)電氣工程與自動化學(xué)院，天津 300384）

在智能焊接工作過程中，焊縫特征提取是實現(xiàn)機器人實時焊縫跟蹤焊接的基礎(chǔ)[1-3]。在實際焊接工作中，焊接現(xiàn)場環(huán)境復(fù)雜，焊縫形式多樣，傳統(tǒng)的圖像處理方法識別模型單一，且在圖像提取過程中易受到弧光、飛濺、煙霧等因素的干擾，焊縫目標(biāo)識別難度增大，無法完全適應(yīng)復(fù)雜工作場景下的焊縫跟蹤。

近年來，隨著計算機圖像處理技術(shù)能力的提升以及深度學(xué)習(xí)理論的迅速發(fā)展，深度學(xué)習(xí)技術(shù)正逐步應(yīng)用于焊縫圖像識別、焊縫跟蹤和焊縫缺陷檢測等領(lǐng)域[4-6]。該技術(shù)通過對大量的數(shù)據(jù)樣本進行訓(xùn)練，可以在復(fù)雜的環(huán)境下精準(zhǔn)地識別目標(biāo)。

焊縫特征識別系統(tǒng)的結(jié)構(gòu)如圖1 所示，首先通過相機等視覺系統(tǒng)掃描焊件獲取圖像信息并傳到計算機中，接著對接收的圖像進行預(yù)處理和特征提取，進而對識別出的焊縫進行標(biāo)定，將坐標(biāo)轉(zhuǎn)換后發(fā)送到控制器，控制器接收坐標(biāo)信息后，驅(qū)動焊槍進行焊接完成焊接任務(wù)。

圖1 焊縫識別系統(tǒng)

在對焊縫識別的研究中，樊德金等[7]首次利用最小二乘法對焊縫進行擬合。李鶴喜等[8]針對焊接機器人的焊縫識別視覺建模使用了深度學(xué)習(xí)的方式來構(gòu)建，其網(wǎng)絡(luò)模型中輸入層、隱含層和輸出層構(gòu)成了全連接層，相當(dāng)于一個分類器用于焊縫目標(biāo)識別，對不同類別的焊縫進行分類，但未做到定位檢測。

張宇飛等[9]依托Python 平臺，開發(fā)出基于OpenCV的焊縫識別程序。鄒焱飚等[10]還提供了一個根據(jù)深度分層特征的焊縫檢驗單元，有很好的畸變?nèi)萑棠芰?，可以在噪聲污染的時序圖中定位焊縫。

陳凱等[11]通過先分類再分割的思想來實現(xiàn)對目標(biāo)焊縫的識別定位。楊中雨等[12]利用自適應(yīng)矩估計的方法避免了卷積網(wǎng)絡(luò)識別陷入局部最優(yōu)解。劉美菊等[13]提出了一種改進型網(wǎng)絡(luò)壓縮算法，解決了設(shè)備成本高的問題。馬徐峰[14]利用改進的SSD 模型對焊縫進行識別跟蹤，解決了原網(wǎng)絡(luò)特征語義性不強的問題。張永帥等[15]通過全卷積網(wǎng)絡(luò)對焊縫圖像進行點到點的像素級分類，將高層特征和低層特征進行融合，完善邊緣細(xì)節(jié)，有效地提高了圖像分割精度。

深度學(xué)習(xí)經(jīng)典檢測方法有以下2 種：①單階段檢測方法。如Yolo 系列，即通過一個回歸得到結(jié)果；②雙階段檢測方法，如Faster-RCNN、Mask-RCNN，雙階段相對于一階段多了一個預(yù)選步驟，因此速度比較慢。

單階段最核心的優(yōu)勢是速度非?？?，適合做實時檢測任務(wù)，但是缺點也是有的，即效果通常不會太好；雙階段檢測速度通常較慢，但是準(zhǔn)確率較高。

為了克服環(huán)境因素，更高效率地識別提取焊縫特征信息，本文在Faster-RCNN 網(wǎng)絡(luò)的基礎(chǔ)上，用ResNet網(wǎng)絡(luò)代替VGG 網(wǎng)絡(luò)，優(yōu)化了網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)，克服了傳統(tǒng)模型檢測精度低、易受環(huán)境影響、訓(xùn)練耗時長等問題。ResNet 網(wǎng)絡(luò)既提高了網(wǎng)絡(luò)深度，又避免了梯度消失現(xiàn)象。同時用FPN（特征金字塔）網(wǎng)絡(luò)來代替原有的RPN 網(wǎng)絡(luò)，更好地解決了多尺度圖像的檢測問題。從實驗結(jié)果可以看出，隨著訓(xùn)練周期的增加，數(shù)據(jù)集的損失值相應(yīng)減少，焊縫特征檢測的置信率達到98%以上，精確率達到99.6%，能夠滿足焊縫特征提取系統(tǒng)的工作要求。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的焊縫特征提取

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為深度學(xué)習(xí)中的典型模型，在對圖像數(shù)據(jù)集的訓(xùn)練過程中，獲取被檢測目標(biāo)的特征，通過反復(fù)訓(xùn)練，達到在不同的工作環(huán)境下均可完成對目標(biāo)特征的檢測識別效果，保證模型的魯棒性[16]。相比傳統(tǒng)圖像處理方法，深度學(xué)習(xí)法夠獲取圖像特征像素之間的規(guī)律，從而有效地解決因環(huán)境差異引起的圖像識別困難等問題。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2 所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

1.2 卷積過程

卷積過程首先要對圖像中的特征點進行賦值，然后對圖像中的賦值區(qū)域進行卷積運算，得到的結(jié)果作為對應(yīng)位置新的特征值，然后沿著圖像右方或下方平移該卷積核，繼續(xù)進行新特征值的計算，最終獲得圖像信息。2 個通道的卷積運算過程如圖3 所示。

圖3 2 個通道的卷積運算過程

1.3 模型選擇

目前典型的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)有VGG16、ResNet等。本文利用Pytorch 框架構(gòu)建ResNet18 模型，對焊縫數(shù)據(jù)集進行訓(xùn)練，實現(xiàn)焊縫圖像的自動檢測提取。

1.4 殘差網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中，提高網(wǎng)絡(luò)性能一般從拓展網(wǎng)絡(luò)的寬度或增加網(wǎng)絡(luò)的深度2 個方面入手。同一個模型下，層數(shù)淺的網(wǎng)絡(luò)相當(dāng)于之后在做等價映射，網(wǎng)絡(luò)層數(shù)深的其性能往往會更加優(yōu)越。但是在實際應(yīng)用中，或多或少會存在信息丟失、損耗等問題，同時還有可能導(dǎo)致梯度消失或者梯度爆炸，使得很深的網(wǎng)絡(luò)無法訓(xùn)練[17]。

殘差網(wǎng)絡(luò)能夠利用殘差塊實現(xiàn)數(shù)據(jù)的跳躍鏈接，既能保證信息傳輸?shù)耐暾?，又能降低?xùn)練壓力。如圖4 所示，完成x→F（x）的映射，可以通過2 種方法實現(xiàn)。左圖為一般方法，右圖則是利用殘差塊推動數(shù)據(jù)跨層傳播，對比可知，殘差映射F（x）－x更容易得到優(yōu)化，同時更能捕捉到數(shù)據(jù)的波動，更具效率。

圖4 普通映射與殘差網(wǎng)絡(luò)映射示意圖

殘差塊示意圖如圖5 所示，2 個3×3 卷積層的連接順序均為卷積層、規(guī)范化層和激活函數(shù)。跳躍連接即從輸入端直接到達最后的ReLU 激活函數(shù)前。通道數(shù)相同時，殘差塊依照左側(cè)流程圖疊加；若不同時，輸入數(shù)據(jù)需要通過1×1 卷積層變化后，才可以繼續(xù)疊加。

圖5 殘差塊示意圖

1.5 FPN 算法

RCNN 網(wǎng)絡(luò)在目標(biāo)檢測時，特征識別全部作用在最后一層，當(dāng)處理小目標(biāo)物體檢測時，往往因為語義信息的丟失，導(dǎo)致檢測結(jié)果不夠準(zhǔn)確。在實際焊接工作中，待識別的物體各種尺度都有，為了提升檢測精度和效率，更好地完成多尺度的目標(biāo)檢測，使RCNN網(wǎng)絡(luò)更好地應(yīng)用在焊縫檢測中，本文選擇FPN 算法對圖像進行處理。

一般的圖像多尺度檢測方法圖6 所示，對原始圖像逐層提取特征，然后進行擬合、識別、預(yù)測，這種方法的優(yōu)點是能夠完成不同尺度下的目標(biāo)檢測，但是在實際應(yīng)用中，占用的系統(tǒng)內(nèi)存較大，工作量繁重。

圖6 多尺度金字塔

FPN 網(wǎng)絡(luò)的檢測流程如圖7 所示。圖像的分辨率信息和語音信息由不同網(wǎng)絡(luò)完成，原始圖像經(jīng)卷積處理后，通過1×1 卷積層變成相同的尺寸，這樣做的目的是將不同網(wǎng)絡(luò)得到信息進行疊加，在保證檢測精度的同時又能提升工作效率，更適合焊接工作中的小目標(biāo)識別。

圖7 FPN 網(wǎng)絡(luò)

2 實驗步驟和流程

2.1 數(shù)據(jù)集制作

數(shù)據(jù)集的制作一般需要將圖片名稱、格式和尺寸進行統(tǒng)一，在進行分類實驗時，不同的數(shù)據(jù)集需要存放在不同的文件夾下，收集到的圖片質(zhì)量一定程度上影響著模型訓(xùn)練的結(jié)果。數(shù)據(jù)集如圖8 所示。

圖8 數(shù)據(jù)集

2.2 網(wǎng)格訓(xùn)練與測試

本實驗的運行環(huán)境如下：CPU 使用的是Intel Core i9-12900kf，主頻5.5 GHz，運行內(nèi)存32 G，頻率5 400 Hz，GPU 使用的是GeForce RTX 3090 24G 顯存的版本，系統(tǒng)的NVIDIA 的CUDA 版本是11.1，采用Windows10 的操作系統(tǒng)，搭建的是Anaconda 的Python3.7 的編程環(huán)境，采用的是PyTorch 的深度學(xué)習(xí)框架。本文通過平移和翻轉(zhuǎn)的方式擴充采集的焊縫數(shù)據(jù)集。訓(xùn)練網(wǎng)絡(luò)的焊縫圖像共10 000 張，包括2 000張原始圖像和8 000 張增強圖像。其中8 000 張圖片用作訓(xùn)練，2 000 張圖像用作測試。

本次實驗采取的是Faster-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練模型是ResNet50。其中輸入到網(wǎng)絡(luò)的圖片大小壓縮成了756×1 008 的保持原比例的像素。模型訓(xùn)練的總的訓(xùn)練步數(shù)分別為5、10、20 個周期，優(yōu)化器采用的是SGD 優(yōu)化器，基礎(chǔ)的學(xué)習(xí)率是0.02，沖量設(shè)置是0.9，權(quán)值衰減系數(shù)是0.000 1。每次的訓(xùn)練樣本是80 張圖片。

對訓(xùn)練集和測試集分別進行圖像片大小的調(diào)整、圖像增強、數(shù)據(jù)集的擴充以及圖像標(biāo)準(zhǔn)化的處理，其主要目的是讓圖像數(shù)據(jù)將轉(zhuǎn)化為模型能夠接受的數(shù)據(jù)類型及格更適合進行實驗。通過標(biāo)準(zhǔn)化后，使數(shù)據(jù)更符合數(shù)據(jù)中心化分布規(guī)律，能增加模型的泛化能力。

2.3 訓(xùn)練過程

在正向傳播過程中，數(shù)據(jù)會按照各層網(wǎng)絡(luò)順序依次傳播，并記錄每次圖像的數(shù)據(jù)與標(biāo)簽。輸出結(jié)果的有效性通過損失值反映，當(dāng)數(shù)據(jù)結(jié)果與期望值存在較大差異時，數(shù)據(jù)會通過反向傳播來修正誤差，并記錄下每次的損失值進行匯總。

3 實驗與分析

3.1 數(shù)據(jù)評估

分別設(shè)置不同的訓(xùn)練周期對采集到的數(shù)據(jù)進行訓(xùn)練，記錄并繪制損失率曲線圖。通過觀察曲線圖的走勢可以看出模型是否有效，結(jié)果是否準(zhǔn)確。不同訓(xùn)練周期下的訓(xùn)練集與測試集的損失率曲線圖如圖9—圖11 所示，訓(xùn)練結(jié)果如表1 所示。觀察可知，損失率隨著訓(xùn)練時長的增加均有不同程度的降低，這說明沒有過擬合現(xiàn)象的發(fā)生。周期為10 時，2 條曲線已經(jīng)幾乎重合，周期為20 時，準(zhǔn)確率達到99.6%。

表1 不同訓(xùn)練周期的訓(xùn)練結(jié)果

圖9 訓(xùn)練周期為5 時的損失率

圖10 訓(xùn)練周期為10 時的損失率

圖11 訓(xùn)練周期為20 時的損失率

3.2 焊縫特征提取結(jié)果

選取2 000 張焊縫圖像進行焊縫特征的提取實驗。焊縫圖像原圖如圖12 所示，焊縫特征提取結(jié)果如圖13所示。圖中方框是跟蹤到的焊縫區(qū)域。焊接時通常伴隨著不同程度的弧光、飛濺等的干擾，有些強干擾甚至?xí)⑻卣鼽c區(qū)域完全淹沒。焊縫特征提取結(jié)果顯示，本文所提方法能克服焊接時的噪聲干擾，可以較為準(zhǔn)確地定位焊縫，保證了焊縫提取的精度。實驗結(jié)果表明大部分檢測結(jié)果的置信度都在98%以上，精確率達到99.6%。

圖12 焊縫圖像原圖

圖13 焊縫特征提取結(jié)果

4 結(jié)束語

本文使用Pytorch 搭建ResNet50 模型，為了更加準(zhǔn)確高效地識別提取焊縫，對模型結(jié)構(gòu)進行調(diào)整優(yōu)化，通過反復(fù)訓(xùn)練，繪制出數(shù)據(jù)損失率的曲線圖，驗證了模型的有效性。在使用該網(wǎng)絡(luò)對焊縫圖像識別的的實驗中，焊縫識別的準(zhǔn)確率達到了99.6%，滿足了實際工作的要求。