劉秀航 葉廣文 黃宇輝 張艷喜 馮桑 高向東

摘要：激光-熔化極惰性氣體（Melt inert gas，MIG）復(fù)合焊過程中容易出現(xiàn)根部駝峰缺陷，為了實現(xiàn)焊接過程根部駝峰缺陷的同步預(yù)測，研究根部駝峰缺陷預(yù)測的算法并對其預(yù)測結(jié)果進行分析。采用高速攝像機進行復(fù)合焊接過程的實時視覺傳感采集，提取焊接過程的正面熔池和匙孔的時序特征信息，并對這些特征信號進行小波包分解（Wavelet packet decomposition，WPD）與重構(gòu)。應(yīng)用激光掃描儀獲得背部焊縫余高，以此作為駝峰狀態(tài)標(biāo)記的依據(jù)。再通過長短期記憶（Long short-term memory，LSTM）神經(jīng)網(wǎng)絡(luò)對焊接過程中根部駝峰狀態(tài)進行預(yù)測。結(jié)果表明，WPD-LSTM算法對根部駝峰預(yù)測的準(zhǔn)確率達到97.85%。相比其它算法，基于焊接過程正面視覺傳感時序特征信息的WPD-LSTM算法預(yù)測準(zhǔn)確率更高，且預(yù)測結(jié)果具有較高的連續(xù)性，有利于實現(xiàn)對焊接過程根部駝峰缺陷的同步檢測與控制。

關(guān)鍵詞：根部駝峰；視覺檢測；長短期記憶神經(jīng)網(wǎng)絡(luò)；小波包分解

中圖分類號： TG 409

Root hump defect prediction for laser-MIG hybrid welding

Liu Xiuhang， Ye Guangwen， Huang Yuhui， Zhang Yanxi， Feng Sang， Gao Xiangdong

（Guangdong Provincial Welding Engineering Technology Research Center， Guangdong University of Technology， Guangzhou 510006， Guangdong， China）

Abstract： The root hump defect is easy to appear in the laser-MIG composite welding process. In order to realize the simultaneous prediction of the root hump defect in the welding process， this paper studies the algorithm of root hump defect prediction and analyzes the prediction results of different algorithm. The real-time visual sensing information of composite welding process is carried out by a high-speed camera， the time series characteristic information of the front weld pool and the keyhole in the welding process is extracted， and the characteristics signals are decomposed and reconstructed by wavelet packet decomposition （WPD）. Then， the residual height of the back weld is obtained by a laser scanner， which is used as the basis for marking the hump status. Long short-term memory （LSTM） neural network was used to predict the status of root hump in the welding process. Experimental results show that the accuracy of WPD-LSTM algorithm for root hump prediction is 97.85%. Compared with other algorithms， the prediction accuracy of WPD-LSTM algorithm based on the temporal feature information of the front visual sensing in the welding process is higher， and the prediction results have higher continuity， which is conducive to realize the synchronous detection and control of root hump defects in welding process.

Key words： root hump; visual inspection; long short-term memory neural networks; wavelet packet decomposition

0前言

激光焊和激光-電弧復(fù)合焊兩種焊接方式易出現(xiàn)根部駝峰缺陷，國內(nèi)外學(xué)者對激光焊接根部駝峰及熔池和匙孔的狀態(tài)進行了大量研究。激光-電弧復(fù)合焊過程中，電弧熱源的加入有可能是導(dǎo)致根部駝峰出現(xiàn)概率提高的原因［1］。Jan［2］通過焊接過程高速攝像機實時檢測來闡述了駝峰的形成是匙孔內(nèi)部壓力、熔池流動和熔體表面張力綜合作用的結(jié)果，研究了應(yīng)對駝峰缺陷的工藝解決方案。駝峰是由于受力不穩(wěn)定所導(dǎo)致的熔融金屬從上到下轉(zhuǎn)移和溢出，駝峰的出現(xiàn)會改變焊縫正面熔池和匙孔的狀態(tài)。經(jīng)過多次試驗得出，當(dāng)激光功率不足以完全熔透焊縫時，熔池內(nèi)部流動熔融金屬從焊根部溢出，此時出現(xiàn)根部駝峰缺陷，因此駝峰的形成與焊接熱輸入不足時出現(xiàn)的臨界熔透狀態(tài)有關(guān)。

在焊接熔透狀態(tài)檢測方面，國內(nèi)外學(xué)者進行了許多深入的研究。焊接的熔透狀態(tài)可以通過背部焊縫的熔寬來表征，提取焊接過程的正面視覺特征，通過模式識別和神經(jīng)網(wǎng)絡(luò)技術(shù)對焊接熔透狀態(tài)進行分類的研究已有許多成果。高向東等人［3］提出了用于熔透狀態(tài)預(yù)測的模糊聚類方法。采用可視范圍為960～ 990 nm 的近紅外濾光片進行焊接過程的圖像采集，并提取焊接過程匙孔和熔池的相關(guān)特征對熔透與未熔透兩種狀態(tài)進行分類。楊嘉佳等人［4］利用近紅外視覺傳感方法獲取雙絲焊過程熔池圖像，提取熔池幾何特征參數(shù)輸入到反向傳播（Back propagation，BP）神經(jīng)網(wǎng)絡(luò)進行熔透識別。馮寶等人［5］利用L1/L2極限學(xué)習(xí)機（L1/L2-Extreme Learning Machine，L1/L2-ELM）算法來訓(xùn)練電弧焊熔透識別模型，與傳統(tǒng)ELM 算法相比，具有更強的泛化能力和更高的準(zhǔn)確率。劉天元等人［6］針對激光焊接過程的熔池匙孔圖像，采用卷積神經(jīng)網(wǎng)絡(luò)對熔池和匙孔圖像特征進行提取，再將特征輸入LSTM 神經(jīng)網(wǎng)絡(luò)，對激光焊接過程的熔透狀態(tài)進行識別。陳子琴等人［7］通過高速攝像機分別拍攝激光焊接正面和側(cè)面的焊接過程，提取金屬蒸氣、飛濺和熔池等特征信息，再利用神經(jīng)網(wǎng)絡(luò)對背部熔寬預(yù)測。

利用焊接過程狀態(tài)的傳感監(jiān)測可以識別焊接缺陷，對焊接過程穩(wěn)定性進行評價。高速焊接過程圖像中的飛濺、金屬蒸氣、電弧光和底面熔池流動信息能有效反映焊接成形和焊接過程狀態(tài)穩(wěn)定性［8-9］。通過多傳感監(jiān)測平臺對激光焊接過程的特征信息進行提取，利用相關(guān)分類算法和模型，對焊接無缺陷情況和不同的焊接缺陷的情況進行準(zhǔn)確分類［10-11］。

在焊接領(lǐng)域中有學(xué)者采集焊件正面及背面圖像，并將經(jīng)驗?zāi)B(tài)分解處理后的特征作為預(yù)測模型輸入實現(xiàn)焊縫根部駝峰缺陷檢測［12］。但該方法需要采集焊件背部信息，不適用無法觀察焊件背部的場合。而所提出的方法僅需要采集焊接表面圖像特征，通過WPD 對圖像的時序特征分解和重構(gòu)，使輸入維度得以擴增，從而防止模型欠擬合。以焊接過程熔池和匙孔的時序特征信息作為LSTM 神經(jīng)網(wǎng)絡(luò)模型輸入輸出，可準(zhǔn)確預(yù)測激光-MIG 復(fù)合焊根部駝峰缺陷。

1激光-MIG 復(fù)合焊特征信息采集

1.1試驗系統(tǒng)

激光-MIG復(fù)合焊過程中的檢測系統(tǒng)，如圖1所示。光纖激光器的激光波長為1.07μm， 最大輸出功率為4 kW。高速攝像機采集圖像的像索為640×480 pixel，采樣幀率為2000幀/s，采用950 nm窄帶近紅外濾光片濾除焊接過程中的干擾，提取熔池和匙孔的特征信息。高速攝像機距離焊件表面300 mm，與焊接工作臺成30的夾角。保護氣成分為98%Ar+2%CO2，進行焊后熔池保護。選用的焊件材質(zhì)為SUS304不銹鋼，尺寸為200 mm×100 mm×3 mm，焊絲為φ1 mm ER308不銹鋼焊絲。采用電弧輔助激光焊接的形式，激光在前， MIG焊槍在后，具體焊接工藝參數(shù)如表1所示。此外，采用裝配有激光掃描儀的關(guān)節(jié)臂測量儀對焊縫進行掃描，采集焊縫的成形輪廓，并對焊縫輪廓曲線進行相應(yīng)的結(jié)構(gòu)光圖像處理以獲得背部焊縫的余高。

1.2圖像分割與特征提取

由于復(fù)合焊過程熱輸入較大，產(chǎn)生大量金屬蒸氣，加之MIG焊槍同軸吹出的混合保護氣體導(dǎo)致焊接過程熔融金屬被蒸發(fā)產(chǎn)生的大量金屬蒸氣覆蓋在熔池和匙孔區(qū)域的正上方，對熔池和匙孔區(qū)域形成遮擋，因此同步高速攝像機難以直接集成或置于焊件上方對焊接過程中的熔池和匙孔進行拍攝，而是采用側(cè)拍的方式。

對復(fù)合焊過程圖像進行處理以及特征提取，如圖2所示。其中熔池區(qū)域主要采用了自動標(biāo)定的分水嶺算法來進行分割并特征提取，而匙孔部分則主要采用閾值分割的方法來進行圖像分割并提取特征。最終得到熔池和匙孔的區(qū)域圖像，取熔池區(qū)域橫向最大長度為熔池長度WL，縱向最大寬度為熔池寬度WW，熔池長度和寬度之比為熔池長寬比WR，熔池和匙孔區(qū)域像素點之和分別為熔池面積WA和匙孔面積KA，所提取的時序特征曲線如圖3所示。

圖4為帶有根部駝峰缺陷的焊縫成形。對于出現(xiàn)根部駝峰的位置，對應(yīng)的正面焊縫成形呈現(xiàn)寬度收縮和表面下凹的形態(tài)，這與焊接過程熔融金屬的向下轉(zhuǎn)移有關(guān)。焊縫的正面成形狀態(tài)出現(xiàn)周期性的變化，根部駝峰缺陷也相應(yīng)周期性出現(xiàn)，焊接過程中熔池和匙孔在穩(wěn)定與失穩(wěn)兩種狀態(tài)下周期性地切換。

2小波包時序特征信號處理

焊接過程中熔池和匙孔的時序特征富含焊接過程狀態(tài)信息。為擴增預(yù)測模型的輸入維度，解決欠擬合問題，提高預(yù)測模型的準(zhǔn)確率，通過小波包分解對焊接過程時序特征進行分解和重構(gòu)，實現(xiàn)預(yù)測模型輸入維度的擴增，從而解決預(yù)測模型欠擬合問題，并提高預(yù)測模型的準(zhǔn)確率。小波包分解通過使代價函數(shù)最小化，得出對原始信號最優(yōu)的分解路徑，并以此進行分解[13]。

小波包分解與重構(gòu)算法設(shè)gnj（t）∈Unj，

小波包分解是可以通過{dj+1，nl（t）}求{dj，2nl（t）}和{dj，2n+1l（t）}獲得。

式中：j為尺度系數(shù)；l為位置系數(shù)；n為采樣幀率；dj，2nl（t）和{dj，2n+1l（t）}為下一層小波分解的結(jié)果；{dj+1，nl（t）}為上層分解結(jié)果；a和b為正交共軛低通和高通濾波器。

小波包的重構(gòu)過程是通過{dj，2nl（t）}求解{dj+1，nl（t）}和{dj，2n+1l（t）}。

式中：h和g為小波包重構(gòu)濾波器組。由式（1）～式（4）可知，小波包變換將原始信號分解成高頻部分和低頻部分。以熔池寬度的時序特征為例，選取Daubechies1（db1）作為小波基函數(shù)，采用香農(nóng)熵進行3層小波包分解。最終分解出P（3，0），P（3，1），P（3，2），P（3，3），P（3，4），P（3，5），P（3，6），P（3，7）共8個小波包節(jié)點，對這些小波包節(jié)點的進行重構(gòu)，如圖5所示。這些重構(gòu)節(jié)點的信號包含了熔池寬度特征的眾多有效信息。小波包節(jié)點經(jīng)過重構(gòu)后的數(shù)據(jù)為熔池寬度特征的低頻主體部分，其與熔池寬度變化的大致趨勢一致。將分解后的信號輸入神經(jīng)網(wǎng)絡(luò)中進行相應(yīng)的預(yù)測和分類。

3根部駝峰缺陷預(yù)測

3.1長短期記憶神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)能夠聯(lián)系和儲存上下時刻輸入的特征信息，對具有時序聯(lián)系的數(shù)據(jù)進行學(xué)習(xí)和預(yù)測[14]。 LSTM神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，同樣具有時序結(jié)構(gòu)，LSTM神經(jīng)網(wǎng)絡(luò)解決了經(jīng)典RNN反向傳播過程中容易出現(xiàn)梯度消失和梯度爆炸的問題，其神經(jīng)元結(jié)構(gòu)如圖6所示。LSTM神經(jīng)網(wǎng)絡(luò)是在RNN的基礎(chǔ)上在神經(jīng)元結(jié)構(gòu)中加入記憶單元和調(diào)節(jié)門構(gòu)成，包括輸入門、輸出門和遺忘門[15-16]。

xt為當(dāng)前狀態(tài)下數(shù)據(jù)的輸入，Ct-1，ht-1分別表示上一狀態(tài)的長時記憶和短時記憶特征。

遺忘門可對當(dāng)前時刻的輸入進行有選擇地遺忘，可以清除無效信息對神經(jīng)元狀態(tài)的影響，其計算公式[17]為

式中：σ為激活函數(shù)Sigmoid；Wf和bf為輸入門的加權(quán)和偏置，輸入門的作用是對當(dāng)前時刻的輸入數(shù)據(jù)進行有選擇的輸入，它決定了神經(jīng)元細胞狀態(tài)中需要更新的信息，具體計算式為

式中：Wi，Wc和bi，bc為遺忘門的加權(quán)和偏置。神經(jīng)元細胞狀態(tài)的更新是通過結(jié)合之前細胞狀態(tài)經(jīng)過、遺忘門的選擇結(jié)果和通過輸入門的所需要更新的新的信息來實現(xiàn)，即

輸出門是用來控制神經(jīng)元的輸出，并將輸出數(shù)據(jù)分別傳輸?shù)较乱粚拥纳窠?jīng)元和同層的下一神經(jīng)元中，即

式中：Wo和bo為輸出門的加權(quán)和偏置。上述公式中的輸入門、輸出門和遺忘門中的參數(shù)Wi，Wo，Wf和Bi，Bo，Bf可以通過學(xué)習(xí)來不斷更新。

通過圖像分割算法提取的熔池和匙孔時序特征信息存在一定的噪聲，會影響實際的預(yù)測效果。通過門結(jié)構(gòu)，LSTM 神經(jīng)網(wǎng)絡(luò)的神經(jīng)元可對焊接過程熔池和匙孔的時序特征信息有選擇地判斷是進行傳遞或是將其清除，把這些焊接過程的特征數(shù)據(jù)儲存在記憶單元中以保留到焊接過程的下一時序，有利于降低噪聲對根部駝峰缺陷預(yù)測的干擾。

3.2預(yù)測試驗設(shè)計及結(jié)果分析

通過提取熔池和匙孔時序特征預(yù)測背面焊縫的高度，進而識別焊縫根部駝峰缺陷。首先，對背部焊縫成形進行標(biāo)定，將背部焊縫余高于1 mm 部分視為根部駝峰缺陷區(qū)域，標(biāo)記為狀態(tài)2，若背部焊縫余高低于或等于1 mm 則表明未出現(xiàn)根部駝峰缺陷，標(biāo)記為狀態(tài)1。然后，采用LSTM 神經(jīng)網(wǎng)絡(luò)以焊縫正面的視覺傳感采集的時序特征對焊縫根部的駝峰狀態(tài)進行實時預(yù)測。其中，神經(jīng)網(wǎng)絡(luò)模型的5個輸入特征分別為熔池長度WL、熔池寬度WW、熔池長寬比WR、熔池面積WA 和匙孔面積KA。LSTM神經(jīng)網(wǎng)絡(luò)模型中隱藏層神經(jīng)元個數(shù)為200個，全連接層設(shè)置為50個神經(jīng)元，學(xué)習(xí)率設(shè)置為0.005，隨機失活（dropout）值是0.7。訓(xùn)練的周期設(shè)置為3000。采用Adam算法來進行梯度下降優(yōu)化。提取出連續(xù)14000幀圖像，其中連續(xù)的12000幀作為預(yù)測的訓(xùn)練集，剩余的連續(xù)的2000幀作為測試集，采用訓(xùn)練集數(shù)據(jù)按時序依次輸入模型進行訓(xùn)練，訓(xùn)練完成后將測試集時序特征也按時序輸入到訓(xùn)練好模型中，得到根部駝峰狀態(tài)的預(yù)測結(jié)果，將其與標(biāo)記的結(jié)果進行對比，如圖7所示。表2為采用不同預(yù)測算法進行根部駝峰狀態(tài)預(yù)測的準(zhǔn)確率對比。

從表2可知，經(jīng)過小波包對正面視覺提取的特征進行分解與重構(gòu)后，再輸入到LSTM 神經(jīng)網(wǎng)絡(luò)進行預(yù)測的準(zhǔn)確率最高，達到97.85%，而直接將提取的時序特征用于LSTM 神經(jīng)網(wǎng)絡(luò)的方式準(zhǔn)確率為86.25%，相較WPD-LSTM 算法稍低。通過對比預(yù)測結(jié)果和準(zhǔn)確率發(fā)現(xiàn)，得益于LSTM 神經(jīng)網(wǎng)絡(luò)對時序特征信息的記憶和遺忘上面存在的優(yōu)勢，LSTM 與WPD-LSTM預(yù)測算法的預(yù)測結(jié)果如圖7c和圖7d所示，相對BP神經(jīng)網(wǎng)絡(luò)算法和SVM 支持向量機不僅在預(yù)測準(zhǔn)確性上存在優(yōu)勢，在預(yù)測的連續(xù)性方面相對后兩者也存在明顯優(yōu)勢[18-19]。經(jīng)過以上分析得出，對激光-MIG復(fù)合焊進行正面的視覺采集，并將提取到的特征進行小波包分解并重構(gòu)，然后將重構(gòu)后的特征向量作為長短期記憶神經(jīng)網(wǎng)絡(luò)的輸入進行根部駝峰缺陷的預(yù)測。此方法的預(yù)測準(zhǔn)確率較高，能夠滿足駝峰缺陷預(yù)測的要求。

4結(jié)論

（1）提出了一種利用焊接過程正面視覺圖像中的熔池和匙孔時序特征信息來預(yù)測根部駝峰缺陷的方法，建立了基于焊接過程時序特征信息的根部駝峰缺陷預(yù)測模型。首先采集焊接過程圖像，通過圖像分割提取出焊接過程熔池和匙孔的時序特征，對提取的時序特征進行小波包分解與重構(gòu)后再輸入LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測模型，對根部駝峰缺陷狀態(tài)進行預(yù)測識別。

（2）WPD-LSTM算法對背部駝峰缺陷的預(yù)測效果較好，準(zhǔn)確率達到97.85%。相比未利用時序信息的支持向量機和BP 神經(jīng)網(wǎng)絡(luò)分類算法，其預(yù)測的準(zhǔn)確率和連續(xù)性都更具有優(yōu)勢。

參考文獻

［1］ Blecher J J， Palmer T A， Debroy T. Mitigation of root defect in laser and hybrid laser-arc welding[J]. Welding Journal， 2015， 94：73-82.

[2] Jan F. Factors affecting weld root morphology in laser keyhole welding[J]. Optics and Lasers in Engineering， 2018， 101：89-98.

[3]高向東， 梁劍斌， 劉桂謙， 等.大功率光纖激光焊熔透狀態(tài)模糊聚類識別方法[J].焊接學(xué)報， 2017， 38（5）：22-25.

[4]楊嘉佳， 王克鴻， 吳統(tǒng)立， 等.基于熔池視覺特征的鋁合金雙絲焊熔透識別[J].焊接學(xué)報， 2017， 38（3）：49-52.

[5]馮寶， 覃科， 蔣志勇.基于L1/L2極限學(xué)習(xí)機的熔池熔透狀態(tài)識別[J].焊接學(xué)報， 2018， 39（9）：31-35.

[6]劉天元， 鮑勁松， 汪俊亮， 等.融合時序信息的激光焊接熔透狀態(tài)識別方法[J].中國激光， 2021， 48（6）：228-238.

[7]陳子琴， 高向東， 王琳.大功率盤形激光焊焊縫背面寬度預(yù)測[J].光學(xué)精密工程， 2017， 25（9）：2524-2531.

[8] Chang Y F， Lei Z， Wang X Y， et al. Characteristic of laser-MIG hybrid welding with filling additional cold wire for aluminum alloy[J]. China Welding， 2018， 27（3）：35-41.

[9] Gao X D， Zhang Y X. Monitoring of welding status by molten pool morphology during high-power disk laser welding[J]. Optik-International Journal for Light and Electron Optics， 2015，126（19）：1797-1802.

[10] Zhang Y X， Han S W， Cheon J， et al. Effect of joint gap on bead formation in laser butt welding of stainless steel[J]. Journal of Materials Processing Technology， 2017， 249：274-284.

[11] Wang T， Gao X D， Katayama S， et al. Study of dynamic features of surface plasma in high-power disk laser welding[J]. Plasma Science and Technology， 2012， 14（3）：245-251.

[12] Fan X A， Gao X D， Zhang Y X， et al. Monitoring of 304 austenitic stainless-steel laser-MIG hybrid welding process based on EMD-SVM[J]. Journal of Manufacturing Processes， 2022， 73：736-741.

[13]王藝蒙， 李蔚， 韓紀(jì)龍， 等.基于小波包變換碼的新型無源光網(wǎng)絡(luò)上行信號復(fù)用和傳輸方法[J].中國激光， 2014， 41（6）：0605001.

[14]周旭峰， 王醒策， 武仲科， 等.基于組合RNN 網(wǎng)絡(luò)的EMG 信號手勢識別[J].光學(xué)精密工程， 2020， 28（2）：424-442.

[15]李清亮， 蔡凱旋， 耿慶田， 等.極限梯度提升和長短期記憶網(wǎng)絡(luò)相融合的土壤溫度預(yù)測[J].光學(xué)精密工程， 2020， 28（10）：2337-2348.

[16]馮澤斌， 周翊， 江銳， 等.門控循環(huán)網(wǎng)絡(luò)辨識準(zhǔn)分子激光器能量模型[J].中國激光， 2021， 48（9）：34-43.

[17] Liu T Y， Bao J S， Wang J L， et al. A hybrid CNN-LSTM algorithm for online defect recognition of CO2 welding[J]. Sensors，2018， 18（12）：4369.

[18] You D Y， Gao X D， Katayama S. Multisensor fusion system for monitoring high-power disk laser welding using support vector machine[J]. IEEE Transactions on Industrial Informatics， 2014，10（2）：1285-1295.

[19] Zhang Y X， Gao X D， Katayama S. Weld appearance prediction with BP neural network improved by genetic algorithm during disk laser welding[J]. Journal of Manufacturing Systems， 2015，34：53-59

劉秀航簡介： 碩士；主要從事焊接自動化研究；liuxiuhang17@163.com。

高向東簡介：通信作者，博士，教授，博士研究生導(dǎo)師；gaoxd@gdut.edu.cn。