申俊琦 ，劉晨帆 ，胡繩蓀 ，楊 輝，張 超，吳定勇

（1.天津大學(xué)材料科學(xué)與工程學(xué)院，天津 300354；2.天津市現(xiàn)代連接技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300354；3.中交天和機(jī)械設(shè)備制造有限公司，蘇州 215557）

焊接機(jī)器人被廣泛應(yīng)用于工業(yè)制造領(lǐng)域，并可以借助各種傳感器獲取焊縫信息，實(shí)現(xiàn)對(duì)機(jī)器人焊接過程的實(shí)時(shí)跟蹤與控制，從而提高機(jī)器人焊接的質(zhì)量和效率[1-2].線結(jié)構(gòu)光視覺傳感具有非接觸、結(jié)構(gòu)簡(jiǎn)單、信息豐富和測(cè)量精度高等優(yōu)點(diǎn)，因此在焊縫跟蹤領(lǐng)域得到了廣泛的應(yīng)用[3-5].線結(jié)構(gòu)光被投射到焊縫表面形成包含焊縫信息的圖像，但焊接過程中的弧光、飛濺、煙塵等噪聲會(huì)對(duì)焊縫信息提取造成嚴(yán)重干擾，因此可以通過圖像分割的方法從采集到的圖像中提取出焊縫信息.

目前，幾何中心法[6]和Sterger算法[7]等已被用于焊縫圖像處理中，并取得了一定的效果.此外，研究者基于焊縫圖像的特點(diǎn)及圖像處理新技術(shù)改進(jìn)了傳統(tǒng)的圖像處理算法，并相繼提出了一些新的焊縫信息提取方法，取得了較好的效果[8-12].

深層神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，能夠從大量焊縫標(biāo)簽圖像中學(xué)習(xí)焊縫的特征信息，從而增強(qiáng)焊縫信息提取的精度和穩(wěn)定性.張永帥等[13]使用全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)從焊縫圖像中提取出激光線條，并證明了該模型在多種焊接條件下的穩(wěn)定性.Zhao等[14]提出了基于 ERF-Net網(wǎng)絡(luò)的強(qiáng)噪聲圖像焊縫信息提取算法，算法在多層多道焊縫圖像處理中表現(xiàn)出較強(qiáng)的魯棒性.

本文提出并構(gòu)建了一種基于改進(jìn)型 U-net全卷積神經(jīng)網(wǎng)絡(luò)的焊縫圖像處理模型，以實(shí)現(xiàn)準(zhǔn)確、快速的焊縫信息提取，為適用于強(qiáng)干擾焊接環(huán)境的線結(jié)構(gòu)光視覺焊縫跟蹤系統(tǒng)的開發(fā)與應(yīng)用奠定基礎(chǔ).

1 焊接方法和設(shè)備

1.1 焊接方法

本文針對(duì) Q235鋼中厚板機(jī)器人熔化極氣體保護(hù)焊(GMAW)過程中的焊縫圖像處理開展研究.試驗(yàn)時(shí)的試件厚度為 30mm、V 型坡口角度為 60°、鈍邊為 1mm.所使用的 GMAW 焊接工藝參數(shù)如表1所示.

表1 焊接工藝參數(shù)Tab.1 Welding parameters

1.2 焊縫圖像采集和處理設(shè)備

圖1為焊縫圖像采集和處理系統(tǒng)的示意.由文獻(xiàn)[15]可知，弧光在波長(zhǎng) 625～660nm 范圍時(shí)強(qiáng)度最弱，因此選用 650nm線性激光器和 CA-160 CMOS工業(yè)相機(jī)激光視覺圖像采集系統(tǒng)，并在工業(yè)相機(jī)鏡頭前加裝 650nm 的窄帶濾光片以減弱弧光的干擾.在計(jì)算機(jī)中構(gòu)建焊縫圖像處理模型以提取焊縫特征信息，計(jì)算機(jī)處理器為 Intel(R)Core(TM)i7-6700HQ CPU@2.60GHz，內(nèi)存為 8.0GB，操作系統(tǒng)為Windows10 64位系統(tǒng)，運(yùn)行平臺(tái)為Python3.7.4.

圖1 焊縫圖像采集和處理系統(tǒng)示意Fig.1 Schematic of the weld seam image acquisition and processing system

2 U-net模型建立與訓(xùn)練

2.1 U-net全卷積神經(jīng)網(wǎng)絡(luò)

U-net全卷積神經(jīng)網(wǎng)絡(luò)采用編碼-解碼的架構(gòu)，通過像素點(diǎn)端到端地訓(xùn)練，從而實(shí)現(xiàn)被觀測(cè)信息的語(yǔ)義分割[16-17].如圖2所示，原生 U-net網(wǎng)絡(luò)可分為下采樣和上采樣兩個(gè)階段，且都使用相同數(shù)量的卷積層；通過跳躍的方式連接下采樣層和上采樣層，從而將下采樣層中獲得的深層特征信息傳遞到上采樣層，并在上采樣階段實(shí)現(xiàn)特征融合.因此，U-net網(wǎng)絡(luò)具有較強(qiáng)的圖像局部細(xì)節(jié)敏感度，能夠充分考慮像素和像素之間的聯(lián)系，從而保持像素間的空間一致性.

圖2 U-net神經(jīng)網(wǎng)絡(luò)原理示意Fig.2 Schematic of the U-net neural network

2.2 改進(jìn)型U-net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)上述原生 U-net網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種基于改進(jìn)型U-net全卷積神經(jīng)網(wǎng)絡(luò)的焊縫圖像處理模型，改進(jìn)型U-net網(wǎng)絡(luò)的結(jié)構(gòu)與訓(xùn)練過程如圖3所示.改進(jìn)型 U-net網(wǎng)絡(luò)將原生 U-net網(wǎng)絡(luò)中的單個(gè) U型結(jié)構(gòu)重構(gòu)為兩個(gè)U型結(jié)構(gòu)，使單個(gè) U型結(jié)構(gòu)的卷積層和反卷積層數(shù)均減少 1/2，使得圖像下采樣倍率從 16倍變成 4倍，從而保留了更多的空間信息.使用橋接的方式將第 1階段下采樣分割的焊縫信息傳入第 2階段上采樣過程中，為深層抽象的焊縫特征融入更多的空間信息.將原生 U-net的修正線性單元(rectified linear unit，ReLU)激活函數(shù)改為帶泄漏的修正線性單元(leaky rectified linear unit，LReLU)，并將超參數(shù) α設(shè)置為0.01，從而有效避免原生U-net網(wǎng)絡(luò)的神經(jīng)元壞死現(xiàn)象.引入批標(biāo)準(zhǔn)化(batch normalization，BatchNorm)層實(shí)現(xiàn)數(shù)據(jù)的正則化，以減少梯度彌散并使神經(jīng)網(wǎng)絡(luò)使用較大的學(xué)習(xí)率來(lái)訓(xùn)練，從而提升收斂速度并增強(qiáng)像素分類效果.

圖3 改進(jìn)型U-net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練過程Fig.3 Structure and training process of the improved U-net neural network

改進(jìn)型 U-net網(wǎng)絡(luò)的下采樣階段共有 4個(gè)卷積層，均采用卷積-LReLU-BatchNorm 的結(jié)構(gòu)，每層都使用 LReLU函數(shù)激活卷積運(yùn)算的結(jié)果.上采樣階段共有 4個(gè)反卷積層，均采用反卷積-LReLUBatchNorm的結(jié)構(gòu)，同樣使用 LReLU函數(shù)激活反卷積運(yùn)算的結(jié)果，但在最后一個(gè)反卷積層中關(guān)閉BatchNorm.下采樣和上采樣階段的卷積層和反卷積層均使用大小為3×3的卷積核，滑動(dòng)步長(zhǎng)設(shè)置為1；下采樣開始前和上采樣結(jié)束后，使用大小為 1×1的卷積核分別增加和降低圖像的維度.

改進(jìn)型U-net神經(jīng)網(wǎng)絡(luò)的損失函數(shù)L為

式中：X表示改進(jìn)型 U-net神經(jīng)網(wǎng)絡(luò)提取的焊縫位置；Y表示人工標(biāo)注的焊縫位置；N為樣本數(shù)量；S(X,Y)表示 X和 Y的接近程度，可以用式(2)計(jì)算獲得.

因此，改進(jìn)型 U-net全卷積神經(jīng)網(wǎng)絡(luò)總的損失函數(shù)Lt為

式中λ為L(zhǎng)1正則化損失函數(shù)的權(quán)重，本文設(shè)置為1.

2.3 改進(jìn)型U-net神經(jīng)網(wǎng)絡(luò)訓(xùn)練

相機(jī)采集的全分辨率(1600像素×1600像素)焊縫圖像如圖4(a)所示，從圖中可看出，焊縫信息集中分布在圖像中的某一區(qū)域內(nèi)，若直接處理原始的圖像，不僅會(huì)引入過多的噪聲和無(wú)關(guān)信息，還會(huì)影響算法的實(shí)時(shí)性.因此，通過感興趣區(qū)域(region of interest，ROI)提取的方法處理全分辨的圖像，結(jié)果如圖4(b)所示，ROI提取后焊縫圖像的分辨率為 320像素×320像素.為防止過擬合現(xiàn)象產(chǎn)生，本文使用圖像增強(qiáng)的手段增加了焊縫圖像的多樣性.

圖4 采集焊縫圖像的ROI提取Fig.4 ROI extraction of the captured weld seam image

訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要準(zhǔn)備如圖5(a)所示的原始焊縫圖像和圖5(b)所示的人工標(biāo)注焊縫圖像兩類數(shù)據(jù)，其中人工標(biāo)注焊縫圖像基于未起弧狀態(tài)的圖像制作，依次使用灰度變換、濾波和閾值處理等去除圖像中的無(wú)關(guān)信息，并使用 Sterger算法提取激光條紋的中心，最后通過 Labelme軟件標(biāo)注出焊縫的特征信息.最終分別將1050組和450組如圖5所示的圖像作為訓(xùn)練集和測(cè)試集.

圖5 改進(jìn)型U-net網(wǎng)絡(luò)圖像訓(xùn)練數(shù)據(jù)Fig.5 Image data used for training the improved U-net network

使用PyTorch深度學(xué)習(xí)框架構(gòu)建改進(jìn)型U-net網(wǎng)絡(luò).訓(xùn)練中初始學(xué)習(xí)率為 0.0005，批量大小為 32，訓(xùn)練迭代次數(shù)為 50；選用 Adam 算法加速和優(yōu)化訓(xùn)練過程，使模型的權(quán)值調(diào)整到最優(yōu).

采用相同的數(shù)據(jù)集訓(xùn)練 FCN-32s網(wǎng)絡(luò)、原生 U-net網(wǎng)絡(luò)和改進(jìn)型 U-net網(wǎng)絡(luò)，并通過像素精度(PA)、平均像素精度(mPA)和平均交集對(duì)聯(lián)合(mIoU) 3個(gè)指標(biāo)定量評(píng)估各模型的焊縫信息提取效果，結(jié)果如表2所示.PA、mPA和mIoU的計(jì)算式分別為

式中K為修正參數(shù).

網(wǎng)絡(luò)中引入L1正則化，以防止過擬合現(xiàn)象產(chǎn)生，并提升網(wǎng)絡(luò)的分割效果，其表達(dá)式為

式中：TP是真陽(yáng)性數(shù)；TN是真陰性數(shù)；FP是假陽(yáng)性數(shù)；FN是假陰性數(shù).

由表2可知，改進(jìn)型U-net網(wǎng)絡(luò)從焊縫圖像中準(zhǔn)確提取出的焊縫像素信息最多，提取的焊縫位置與人工標(biāo)注的焊縫位置最為接近，對(duì)不同類焊縫圖像提取的穩(wěn)定性也最好.

表2 3種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果Tab.2 Training results of three neural networks

3 結(jié)果與討論

分別使用Sterger算法、FCN-32s和改進(jìn)型U-net全卷積神經(jīng)網(wǎng)絡(luò)處理測(cè)試集中的圖像以測(cè)試不同算法的焊縫信息提取效果.圖6為部分測(cè)試的結(jié)果.

從圖6(b)可以看出，Sterger算法雖然分割了被觀測(cè)物和背景，但無(wú)法區(qū)分焊縫信息和噪聲信息，將兩者的邊界混雜在一起，因此提取結(jié)果沒有實(shí)用價(jià)值.圖6(c)表明，F(xiàn)CN-32s網(wǎng)絡(luò)可以區(qū)分焊縫信息和噪聲信息，但由于 FCN-32s網(wǎng)絡(luò)的上采樣階段僅對(duì)底層的抽象特征采用反卷積的方法恢復(fù)宏觀形貌，未考慮像素點(diǎn)間的相對(duì)位置關(guān)系，割裂了空間信息的一致性，從而導(dǎo)致提起出的焊縫信息出現(xiàn)了間斷和扭曲.如前所述，改進(jìn)型 U-net網(wǎng)絡(luò)在下采樣階段降低了采樣倍率，因此保留了更多的焊縫像素點(diǎn)的空間信息，并在兩次上采樣階段都融合了所保留的焊縫空間信息，從而提升了焊縫信息的提取效果，提取結(jié)果如從圖6(d)所示.

圖6 3種模型焊縫分割結(jié)果對(duì)比Fig.6 Weld seam segmentation by three models

分別計(jì)算 3個(gè)模型的焊縫信息提取平均絕對(duì)誤差(MAE)、均方根誤差(RMSE)以及處理單張焊縫圖像的時(shí)長(zhǎng)以定量分析各個(gè)模型的焊縫信息提取精度和速度，計(jì)算結(jié)果如表3～表5所示.

從表3～表5可以看出，使用傳統(tǒng) Sterger算法提取焊縫信息的偏差最大且耗時(shí)最長(zhǎng)，表明其不適合從包含強(qiáng)噪聲的焊縫圖像中提取焊縫信息.由表3和表4可知，改進(jìn)型U-net網(wǎng)絡(luò)模型提取各層焊縫信息的精度均優(yōu)于FCN-32s網(wǎng)絡(luò)；通過坐標(biāo)轉(zhuǎn)換，計(jì)算出改進(jìn)型 U-net網(wǎng)絡(luò)模型的焊縫位置提取平均偏差為1.64mm.多層多道焊接時(shí)，隨著焊接層數(shù)的增加，焊縫表面逐漸趨于平滑，從而使得線結(jié)構(gòu)光條紋的形狀愈發(fā)復(fù)雜，因此焊縫信息提取的難度也隨之增加，從而使得 FCN-32s網(wǎng)絡(luò)和改進(jìn)型 U-net網(wǎng)絡(luò)的焊縫位置提取 MAE和 RMSE都隨著焊接層數(shù)的增加而增加.由表5可知，兩個(gè)模型在焊縫信息提取時(shí)均有較快的處理速度.

表3 不同焊接層焊縫位置提取的MAETab.3 MAE of weld seam extraction in different welding layers

表4 不同焊接層焊縫位置提取的RMSETab.4 RMSE of weld seam extraction in different layers

表5 不同焊縫提取算法運(yùn)算時(shí)長(zhǎng)Tab.5 Calculation time required by different algorithms for weld seam extraction

4 結(jié) 論

(1) 針對(duì)機(jī)器人熔化極氣體保護(hù)焊線結(jié)構(gòu)光焊縫跟蹤系統(tǒng)中焊縫信息提取過程容易受到弧光、飛濺和煙塵等噪聲干擾的問題，提出了一種基于改進(jìn)型U-net全卷積神經(jīng)網(wǎng)絡(luò)的圖像處理模型，實(shí)現(xiàn)了圖像中焊縫位置信息的有效提取.

(2) 采用相同數(shù)據(jù)集訓(xùn)練的條件下，改進(jìn)型 U-net網(wǎng)絡(luò)具有比FCN-32s和原生U-net網(wǎng)絡(luò)更高的像素精度、平均像素精度和平均交集對(duì)聯(lián)合；實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng) Sterger算法和 FCN-32s網(wǎng)絡(luò)模型相比，改進(jìn)型U-net網(wǎng)絡(luò)的焊縫位置提取精度更高且圖像處理速度更快.

(3) 基于改進(jìn)型 U-net全卷積神經(jīng)網(wǎng)絡(luò)的焊縫信息提取的平均絕對(duì)誤差為 3.53、均方根誤差為4.42，焊縫位置提取的平均偏差為 1.64mm，單幀焊縫圖像處理時(shí)間為 6.4ms，可以滿足線結(jié)構(gòu)光視覺焊縫跟蹤的精度和實(shí)時(shí)性需求.