趙新玉， 馬小創(chuàng)， 李正光， 張佳瑩

(1.大連交通大學(xué) ，遼寧 大連 116028；2.大連外國語大學(xué),語言智能研究中心，遼寧 大連 116028)

0 前言

建立焊接過程參數(shù)與焊接缺陷之間的關(guān)聯(lián)對焊接產(chǎn)品質(zhì)量控制具有重要意義。自動化和智能化焊接，需要焊接系統(tǒng)能夠依據(jù)焊接過程采集的參數(shù)來預(yù)測焊接質(zhì)量。

利用不同傳感器監(jiān)測焊接過程中的焊縫質(zhì)量具有重要意義[1-4]，利用不同傳感器的互補(bǔ)性，實現(xiàn)更全面可靠的焊接質(zhì)量監(jiān)測動態(tài)過程，You等人[5]提出了一種基于SVM的方法，通過多傳感器來檢查激光焊接過程中的缺陷。Cui等人[6]建立了一種多傳感系統(tǒng)，獲得電弧聲、電弧電壓和焊接電流的信號，利用ECCOC SVM-GSCV模型，在TIG焊缺陷識別中獲得了較高的準(zhǔn)確率。Sumesh等人[7-8]研究了機(jī)器人GMAW過程中的焊接質(zhì)量使用決策樹，利用焊接電流、電弧電壓和聲學(xué)信號對缺陷進(jìn)行分類，由于大量的過程參數(shù)使過程更加復(fù)雜，因此在GWAM焊接中進(jìn)行的研究較少。孫明健等人[9]利用光學(xué)信號為主體、結(jié)合光學(xué)信號和超聲信號3種模態(tài)來分析金屬材料的缺陷，得到了缺陷的完整信息，獲得了精確可靠的檢測，該方法使用ANSYS有限元仿真軟件。胡文剛等人[10]提出融合超聲信號和圖像的焊接缺陷識別方法，該方法利用BP神經(jīng)網(wǎng)絡(luò)，通過對缺陷的回波信號特征與缺陷形態(tài)特征的數(shù)據(jù)融合，實現(xiàn)了焊縫缺陷識別，提高了焊接缺陷識別率。

焊接過程中的電壓、電流、聲音、熔池圖像信息，對于不同的焊接缺陷，其區(qū)分能力不同，因此文中將電壓、電流作為一種模態(tài)，聲音作為一種模態(tài)，圖像作為一種模態(tài)進(jìn)行焊接缺陷分類。SVM分類器大規(guī)模訓(xùn)練樣本，具有速度慢、費(fèi)時費(fèi)成本的缺點(diǎn)，而卷積神經(jīng)網(wǎng)絡(luò)是一種端對端檢測模型，具有移植性好和精度高的特點(diǎn)[11-12]，很多研究者利用卷積神經(jīng)網(wǎng)絡(luò)對圖像處理進(jìn)行處理，Bacioiu等人[13]利用卷積神經(jīng)網(wǎng)絡(luò)對HDR相機(jī)捕捉TIG焊焊接熔池和周圍區(qū)域單一模態(tài)進(jìn)行分類識別，具有較高的分類精度。文中其缺陷識別的主模態(tài)也是熔池圖像，因此利用3支卷積神經(jīng)網(wǎng)絡(luò)提取電流、電壓、聲音及熔池圖像的特征信息，并加入空間和通道注意力，以有效地提高焊接缺陷的檢測能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)

該試驗建立3個分支的卷積神經(jīng)網(wǎng)絡(luò)，分別對熔池圖像、聲音、電流和電壓進(jìn)行處理。最終網(wǎng)絡(luò)結(jié)構(gòu)的3支卷積神經(jīng)網(wǎng)絡(luò)安排如下，圖像采用10層卷積，5個池化層進(jìn)行處理，圖像卷積采用2D卷積進(jìn)行處理，激活函數(shù)為relu。聲音、電流與電壓都是采用8層卷積，一個池化層進(jìn)行處理，卷積采用的是1D卷積，激活函數(shù)為tanh。其模型結(jié)構(gòu)簡圖如圖1所示，在3個分支神經(jīng)網(wǎng)絡(luò)提取到3個數(shù)據(jù)集特征之后，最后進(jìn)行特征拼接，經(jīng)過2個全連接層之后進(jìn)行預(yù)測分類。

圖1模型框架圖中，在卷積神經(jīng)網(wǎng)絡(luò)第2層后加入注意力機(jī)制，先經(jīng)過通道注意力機(jī)制，得到注意力圖Mc，經(jīng)過空間注意力機(jī)制，得到注意力圖Ms，送入第3層卷積中。

2 五折交叉驗證與注意力機(jī)制

2.1 五折交叉驗證

五折交叉驗證用來測試模型的準(zhǔn)確性，驗證在新數(shù)據(jù)上的預(yù)測能力。在一定程度上減小數(shù)據(jù)的過擬合情況，防止數(shù)據(jù)的浪費(fèi)應(yīng)用。訓(xùn)練集、驗證集、測試集的數(shù)據(jù)分配如圖2所示。

圖2 五折交叉驗證配比

按照圖2把數(shù)據(jù)分為5次進(jìn)行訓(xùn)練、驗證、測試，來驗證模型的穩(wěn)定性及分類結(jié)果受數(shù)據(jù)的影響程度。

2.2 注意力機(jī)制

近年來，基于注意力的深度學(xué)習(xí)模型對圖像識別、分類的問題有著良好的處理效果[14]，在各個領(lǐng)域得到了廣泛的應(yīng)用。深度學(xué)習(xí)過程中的注意力模塊模仿了人類對事物的注意力，會優(yōu)先提取圖片的特征信息。該試驗的注意力機(jī)制CBAM(Convolutional block attention module)，其包含2個網(wǎng)絡(luò)模塊：空間注意力機(jī)制(Spital attention)和通道注意力機(jī)制(Channel attention)[15]，這2個注意力模塊可以加入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。CBAM 結(jié)構(gòu)如圖3所示，從圖中清楚地看到通道注意力機(jī)制和空間注意力機(jī)制是單獨(dú)存在的，結(jié)構(gòu)相對簡單，網(wǎng)絡(luò)中加入CBAM 模塊，網(wǎng)絡(luò)結(jié)構(gòu)在空間和通道做了微小的調(diào)整，并不影響網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度。

圖3 卷積模塊的注意力機(jī)制模塊

圖4表示的是通道注意力模塊的簡圖，輸入一個特征圖F，經(jīng)過一次最大池化操作和一次平均池化操作，再通過一個多層感知器把這2個結(jié)果連接在一起，它們的通道數(shù)都是一樣的。使用激活函數(shù)上述過程進(jìn)行處理，得到通道層面的注意力特征圖Mc，將通道注意力結(jié)果特征圖和輸入特征圖做乘法操作，得到最后微調(diào)后的特征圖。用式(1)表示：

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))

(1)

式中：σ表示Sigmoid函數(shù)；MLP表示多層感知器；AvgPool表示全局平均池化；MaxPool表示全局最大池化。

圖4 通道注意力模塊

在圖5中可以看出，空間注意力模塊的簡圖，它是在前一個通道注意力的結(jié)果作為輸入，再次經(jīng)過最大池化和平均池化，將其結(jié)果送入卷積層。此卷積層卷積核大小為 7 × 7、步長為 3，最后進(jìn)入Sigmoid激活函數(shù)輸出。將空間注意力模塊的輸出結(jié)果與在通道注意力機(jī)制的輸入的特征圖對應(yīng)相乘，生成新的特征，將其記為Ms，用式(2)表示：

Ms(F)=σ(f7×7([AvgPool(F);Max(F)]))

(2)

式中：σ表示 Sigmoid 函數(shù)；f7×7表示卷積核大小為 7 ×7 的卷積操作；AvgPool表示全局平均池化；MaxPool 表示全局最大池化。

圖5 空間注意力模塊

3 數(shù)據(jù)處理

3.1 數(shù)據(jù)對齊

電流、電壓與聲音數(shù)據(jù)集都是采用數(shù)組方式進(jìn)行存儲，每個時刻的電流、電壓與聲音信號都是一定維度的數(shù)組。

由于各個傳感器的頻率不同，因此在采集到的電流、電壓、聲音、與圖像數(shù)據(jù)并非一一對應(yīng)，只是在各自的模態(tài)上起到相應(yīng)的作用，為了使數(shù)據(jù)在時間維度上對齊，方便各個模態(tài)之間進(jìn)行信息交互，需要對數(shù)據(jù)進(jìn)行補(bǔ)齊處理，其方法如下：

假設(shè)電流、電壓與聲音在一個焊縫號有5條數(shù)據(jù)，而對應(yīng)此焊縫圖像有11條數(shù)據(jù)，圖像數(shù)據(jù)個數(shù)大于電流、電壓與聲音的個數(shù)，具體處理方法見表1。在T0，T3，T5，T7，T105個時刻，電流、電壓和聲音與圖像都有對應(yīng)的數(shù)據(jù)，電流、電壓為T0VOC，T3VOC，T5VOC，T7VOC，T10VOC，聲音為T0S，T3S，T5S，T7S，T10S，而此時圖像在每個時刻都有信息，因此為了一一對應(yīng)便引出了該對齊方式，在T1時刻時，計算T1-T0和T2-T1的差值，如果T1-T0較小，則在T1時刻補(bǔ)充T0時刻的數(shù)據(jù)，反之補(bǔ)充T2時刻數(shù)據(jù)，以此類推，把每個缺少時刻都進(jìn)行補(bǔ)充，最后電流、電壓、聲音、圖像數(shù)據(jù)一一對應(yīng)。

表1 數(shù)據(jù)對齊方式

3.2 數(shù)據(jù)維度對齊

在電流、電壓與聲音數(shù)據(jù)集中，每組數(shù)據(jù)的特征信息的數(shù)據(jù)長度不等，因此要對數(shù)據(jù)進(jìn)行處理。綜合考慮各方面的因素，包括計算機(jī)的性能和數(shù)據(jù)普遍的長度，以2 500個點(diǎn)的脈沖信息的數(shù)據(jù)長度作為標(biāo)準(zhǔn)，大于2 500個點(diǎn)的數(shù)據(jù)脈沖選取前2 500，小于2 500個點(diǎn)的數(shù)據(jù)脈沖的數(shù)據(jù)，用零進(jìn)行補(bǔ)充。

3.3 數(shù)據(jù)標(biāo)簽標(biāo)注

在原始數(shù)據(jù)中，每條數(shù)據(jù)對應(yīng)一個標(biāo)簽，由于在焊接過程中存在2個過程，即焊接準(zhǔn)備階段和焊接結(jié)束階段，這2個階段為正常，對其他數(shù)據(jù)，錯邊為0，未焊為1，咬邊為2，氣孔為3，正常為4，擺動為5，焊漏為6，夾渣為7，卡絲為8，焊偏為9，未熔為10。

4 試驗和結(jié)果分析

4.1 試驗數(shù)據(jù)

該試驗采用的圖像、電流/電壓、聲音4種模態(tài)信息，是一個高級焊工通過調(diào)節(jié)焊接位置、焊接電流、電弧電壓、是否送保護(hù)氣模擬出十種焊接缺陷，通過4個傳感器獲得4種模態(tài)信息。試驗數(shù)據(jù)包括6 166條聲音數(shù)據(jù)，6 166條電流/電壓數(shù)據(jù)，以及9 233條圖像數(shù)據(jù)，有11種標(biāo)簽，隨機(jī)打亂后，60%共5 540條數(shù)據(jù)作為訓(xùn)練集，20%共1 846條數(shù)據(jù)作為驗證集，20%共1 846條數(shù)據(jù)作為測試集。

4.2 試驗環(huán)境與設(shè)置

試驗環(huán)境見表2。利用Adam優(yōu)化器進(jìn)行模型優(yōu)化，初始學(xué)習(xí)率設(shè)置為1×10-4，迭代次數(shù)為100個epoch，數(shù)據(jù)批量處理大小batchsize為32，dropout_rate為0.5，使用softmax進(jìn)行分類。

表2 試驗環(huán)境

4.3 分類評價指標(biāo)

準(zhǔn)確率(Precision，P)和召回率(Recall，R)是信息檢索和統(tǒng)計學(xué)分類領(lǐng)域的兩個度量值，用于評價模型的性能[16]。有時候需要綜合評估模型的性能，最常用的方法就是F-Measure(又稱為F-Score)。計算公式如下:

(3)

(4)

(5)

式中：TP預(yù)測為正例實際為正例的數(shù)量；FP預(yù)測為正例實際為負(fù)例的數(shù)量；TN預(yù)測為負(fù)例實際為負(fù)例的數(shù)量；FN預(yù)測為負(fù)例實際為正例的數(shù)量。

4.4 試驗結(jié)果與分析

4.4.1加入注意力機(jī)制之后圖片增強(qiáng)比較

把雙通道注意力機(jī)制加入圖像卷積神經(jīng)網(wǎng)絡(luò)中，增強(qiáng)圖片的特征信息，圖6為注意力機(jī)制增強(qiáng)前后的圖片信息，圖像是焊接過程中的熔池圖片。圖6注意力機(jī)制加入前后對比圖，該圖像是通過模型可視化得到，通過模型對圖像進(jìn)行復(fù)現(xiàn)，可以清楚地看到圖像增強(qiáng)的區(qū)域，注意力機(jī)制有助于模型重點(diǎn)關(guān)注到焊接熔池，使得焊接熔池的輪廓更清晰，從而提高模型的缺陷識別能力。

圖6 注意力機(jī)制前后對比圖

4.4.2注意力機(jī)制加入2層后與加入10層后的結(jié)果比較

把空間注意力機(jī)制和通道注意力機(jī)制加入到圖像神經(jīng)網(wǎng)絡(luò)中，通過多次試驗，可以看出把注意力機(jī)制放到神經(jīng)網(wǎng)絡(luò)的前端效果更好，表3是注意力機(jī)制加入神經(jīng)網(wǎng)絡(luò)的第2層后和加入到第10層后的結(jié)果對比。從表3可以清楚地看到，把注意力機(jī)制加入到神經(jīng)網(wǎng)絡(luò)的2層后相對于加入到10層后F值有著明顯的提高，說明注意力機(jī)制加在神經(jīng)網(wǎng)絡(luò)的前端有著明顯的增強(qiáng)效果。該結(jié)果表明，注意力機(jī)制在圖像處理中應(yīng)該加在初始網(wǎng)絡(luò)層，也符合人類的認(rèn)知習(xí)慣，對于圖像人類大腦是一種表層認(rèn)知，與抽象的語言認(rèn)知不同[17]。

4.4.3加入注意力機(jī)制與不加注意力機(jī)制結(jié)果分析

把注意力機(jī)制加入到圖像卷積神經(jīng)網(wǎng)絡(luò)的第2層卷積后與不加注意力機(jī)制的結(jié)果對比見表4。從表4中可以看到，把雙通道注意力機(jī)制加入圖像卷積神經(jīng)網(wǎng)絡(luò)的第2層后與不加入注意力機(jī)制結(jié)果對比可以看出，R值在加入注意力機(jī)制之后得到很大程度的提升，識別率增加了0.2%以上，均方差相對于不加注意力機(jī)制偏小，說明數(shù)據(jù)更偏于穩(wěn)定。從F值的角度看，在加入注意力機(jī)制的情況下，咬邊、氣孔、正常、焊漏、夾渣、卡絲的識別效果高于不加注意力機(jī)制，有了明顯的增強(qiáng)效果，均方差波動較小，說明受數(shù)據(jù)影響較小。錯邊、擺動、焊偏、未熔的識別效果并沒有增加，是因為熔池特征不明顯，導(dǎo)致數(shù)據(jù)特征信息增強(qiáng)的不明顯。

表3 注意力機(jī)制加入神經(jīng)網(wǎng)絡(luò)的結(jié)果對比

表4 加入注意力機(jī)制前后結(jié)果對比

5 結(jié)論

(1)利用3支卷積神經(jīng)網(wǎng)絡(luò)來對焊接熔池圖片、聲音、電流和電壓進(jìn)行信息提取，融合識別。

(2)利用五折交叉驗證的方式來驗證此模型的穩(wěn)定性，結(jié)果顯示，缺陷識別的F值大多在92.6%以上，根據(jù)均方差說明數(shù)據(jù)識別穩(wěn)定。

(3)驗證了雙通道注意力機(jī)制嵌入卷積神經(jīng)網(wǎng)絡(luò)的淺層效果優(yōu)于深層。

(4)在圖像卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制，增強(qiáng)焊接熔池圖片信息，F(xiàn)值得到明顯提升。

(5)4種模態(tài)信息可利用4個傳感器獲取信息，為以后的實時檢測焊接缺陷提供了思路。