劉天元，鄭杭彬，楊長祺，鮑勁松,*，汪俊亮，顧俊

1. 東華大學(xué) 機(jī)械工程學(xué)院 智能制造研究所，上海 201600 2. 上海航天精密機(jī)械研究所，上海 201600 3. 上海市激光技術(shù)研究所，上海 200235

激光焊接具有功率密度高、熱輸入量低、焊縫窄、熱影響區(qū)及變形小、焊接速度快等優(yōu)點(diǎn)，在航空發(fā)動(dòng)機(jī)葉盤葉片、航空用薄壁件、飛行器等零部件的焊接上得到了廣泛的應(yīng)用。但是，由于參數(shù)不匹配、裝配誤差、焊接振動(dòng)等復(fù)雜原因會(huì)導(dǎo)致未熔透、過熔透、間隙過大、左右錯(cuò)邊、油污等缺陷的發(fā)生。因此，基于激光焊接過程信息實(shí)現(xiàn)焊接質(zhì)量的有效監(jiān)測對于提高激光焊接質(zhì)量至關(guān)重要。其中，基于視覺傳感的監(jiān)測方法以其無接觸、可靠性高、包含信息豐富等優(yōu)勢得到了學(xué)術(shù)界和工業(yè)界廣泛關(guān)注。

如圖1所示，針對激光焊接過程中視覺信號的處理方法主要有2種思路，即基于特征工程和基于深度學(xué)習(xí)的思路。特征工程一般遵循圖像預(yù)處理、特征提取、特征選擇、特征分類的技術(shù)路線。在預(yù)處理階段主要是對圖像進(jìn)行去噪、濾波、增強(qiáng)和邊緣檢測等操作。在特征提取階段主要是從幾何空間、色彩空間、梯度空間等提取焊接缺陷的特征，如幾何空間的尺寸特征、色彩空間的像素特征以及梯度空間的紋理特征。在特征選擇階段主要通過主成分分析、獨(dú)立成分分析等方法對特征維度進(jìn)行約減。在特征識別階段主要通過支持向量機(jī)、邏輯回歸和感知器等方法對特征模式進(jìn)行判斷?；谔卣鞴こ痰乃悸穬?yōu)點(diǎn)在于由人為參與特征識別的全流程，因此該方法提取的特征模式的可解釋性極強(qiáng)，即對缺陷特征的提取過程及模型的決策過程都有明確的認(rèn)知。但是，特征工程的思路存在人為參與程度高和中間子任務(wù)多的問題。較高的人為參與程度不但導(dǎo)致數(shù)據(jù)的價(jià)值無法得到充分發(fā)揮，而且使模型的效果嚴(yán)重依賴專家水平。中間子任務(wù)多不但會(huì)導(dǎo)致全局最優(yōu)難以實(shí)現(xiàn)，而且會(huì)降低模型開發(fā)的整體效率。基于深度學(xué)習(xí)的方法可以實(shí)現(xiàn)從原始圖像到焊接缺陷類型的端到端的映射。該思路不但可以充分挖掘數(shù)據(jù)價(jià)值，而且對專家經(jīng)驗(yàn)的依賴較低。此外，該思路可以實(shí)現(xiàn)全局優(yōu)化并因此提高模型的開發(fā)效率。在智能化技術(shù)與制造業(yè)不斷融合的趨勢下，基于深度學(xué)習(xí)的激光焊接缺陷識別(Deep Learning based Laser Welding Defect Recognition, DL-LWDR)已成為當(dāng)今的研究熱點(diǎn)。但是，DL-LWDR會(huì)面臨以下挑戰(zhàn)。第一，激光焊接過程存在的振動(dòng)、金屬蒸汽等因素會(huì)對成像質(zhì)量造成干擾，這需要一個(gè)復(fù)雜度較高的模型才能挖掘出讓模型做出準(zhǔn)確判斷的抽象特征。第二，航空航天領(lǐng)域?qū)Ξa(chǎn)品的可靠性要求極高，這要求對缺陷識別模型有一個(gè)透明的認(rèn)知。然而，深度學(xué)習(xí)模型被公認(rèn)為黑箱模型，即無法完全知道深度學(xué)習(xí)模型的內(nèi)部運(yùn)作機(jī)制及其決策依據(jù)，且復(fù)雜度越高的深度學(xué)習(xí)模型其可解釋性越差。為了提高DL-LWDR在航空領(lǐng)域的實(shí)際應(yīng)用價(jià)值，如何在提高DL-LWDR的可解釋性的同時(shí)兼顧準(zhǔn)確性成為了本文的關(guān)注點(diǎn)。

在可解釋性研究方面，主要分為事前可解釋和事后可解釋2種思路。事前可解釋傾向于開發(fā)一種本身具有可解釋性的模型，事后可解釋傾向于采用相關(guān)解釋性方法去白化黑箱模型。就深度學(xué)習(xí)模型而言，更適合采用事后可解釋性的策略。在事后可解釋方面，又可以分為整體可解釋和局部可解釋2個(gè)研究方向。整體可解釋試圖研究模型學(xué)習(xí)到了什么，局部可解釋試圖研究模型對某類別做判斷的依據(jù)，在實(shí)際應(yīng)用中針對局部可解釋的研究更廣泛。相關(guān)局部可解釋方法有敏感性分析、局部近似、梯度反傳、類激活映射(Class Activation Mapping， CAM)等。敏感性分析是從定量的角度研究針對輸入的微小擾動(dòng)對決策的影響；局部近似是利用簡單的具有可解釋性的模型擬合待解釋模型針對某一輸入的決策過程；梯度反傳是利用反向傳播機(jī)制將模型的梯度信息逐層傳遞到模型的輸入端，從而揭示輸入樣本的特征重要性。CAM的基本思想是將特征圖的加權(quán)組合作為模型對某類別的響應(yīng)。上述方法中，CAM方法可以參與到網(wǎng)絡(luò)的訓(xùn)練過程，這意味著模型的準(zhǔn)確性和可解釋性具有被統(tǒng)一優(yōu)化的可能。但是，傳統(tǒng)的CAM方法僅利用最后一個(gè)卷積層的特征圖作為類激活映射的依據(jù)。最后一個(gè)卷積層雖然具有最豐富的語義信息，但是丟失了很多邊緣、結(jié)構(gòu)等初級信息?？紤]到不同的激光焊接缺陷具有不同的輪廓形態(tài)，本文提出一種融合多尺度特征的類激活映射方法(Class Activation Mapping Incorporating Multiscale Features, MSF-CAM)。MSF-CAM將多尺度特征作為類別激活的依據(jù)，可以從不同的尺度對模型的決策依據(jù)進(jìn)行解釋。此外，多尺度信息的加入對模型的準(zhǔn)確性也會(huì)起到促進(jìn)作用。

圖1 LWDR的2種思路Fig.1 Two ideas for LWDR

1 方法介紹

1.1 總體框架

所提MSF-CAM方法的總體框架如圖2所示，MSF-CAM的骨干部分為經(jīng)典的VGG16網(wǎng)絡(luò)，該網(wǎng)絡(luò)共有5個(gè)卷積塊(Block，=1,2,…,5)。每個(gè)Block內(nèi)部分別具有2、2、3、3、3個(gè)卷積層，在Block內(nèi)部以及輸入與Block之間均由卷積(Convolution, Conv)操作進(jìn)行連接。相鄰的Block之間通過最大值池化(Max Pooling， MP)進(jìn)行連接，MP操作可實(shí)現(xiàn)特征圖的維度約簡并得到多尺度特征。得到多尺度特征之后，針對每一個(gè)尺度的特征分別利用7個(gè)1×1卷積將通道數(shù)壓縮到與輸出類別一致，然后通過全局平均池化(Global Average Pooling， GAP)得到多尺度特征的一維表示。得到多尺度特征的一維表示之后，利用真實(shí)標(biāo)簽對其進(jìn)行深度監(jiān)督以促進(jìn)網(wǎng)絡(luò)對多尺度特征的學(xué)習(xí)和利用。在訓(xùn)練過程中，共有5條誤差反向傳播路徑。

圖2 MSF-CAM方法的總體框架Fig.2 Overall framework of MSF-CAM method

1.2 多尺度特征提取

該部分主要涉及Conv、MP、GAP操作。Conv操作的主要作用是可以自適應(yīng)的提取熔池/匙孔圖像的抽象特征。假設(shè)第層為Conv層，第-1層為MP層或輸入層。則第層的計(jì)算公式為

(1)

(2)

MP操作不但可以實(shí)現(xiàn)特征維度的約簡，而且還可以獲取不同尺度的特征。得到多尺度特征之后，首先采用1×1卷積對多尺度特征的通道進(jìn)行壓縮，然后用GAP操作獲取每個(gè)尺度下的特征表示。GAP操作是針對某一張?zhí)卣鲌D，計(jì)算其所有像素的平均值以作為該特征圖的表征。設(shè)待進(jìn)行GAP操作的特征圖為FM，則GAP操作可描述為

(3)

式中：表示FM中某位置上的像素值；和表示FM的長與寬，F(xiàn)M表示特征圖的數(shù)量。

由式(3)可知，GAP操作可以實(shí)現(xiàn)空間范圍的特征壓縮，即將一張二維特征圖壓縮為一個(gè)標(biāo)量。得到特征圖的GAP值之后，通過SoftMax函數(shù)將其映射為類別概率。SoftMax函數(shù)的表達(dá)式為

(4)

1.3 多尺度類激活映射

經(jīng)典的類激活映射(Classic CAM, C-CAM)的基本原理是針對最后一個(gè)卷積層進(jìn)行GAP操作，并用SoftMax函數(shù)將GAP操作的結(jié)果映射為輸出類別的概率。然后將GAP層與輸出層之間針對某一類別的概率值乘以對應(yīng)的特征圖，最后將相乘的結(jié)果進(jìn)行疊加并作為模型對該類別響應(yīng)的解釋。雖然最后一個(gè)卷積層包含最豐富的語義信息，但是缺乏對初級特征的表達(dá)。因此，本文在C-CAM思想的基礎(chǔ)上考慮融合多尺度特征的類激活映射。MSF-CAM的形式化描述如下。令,表示GAP值與輸出類別之間的概率矩陣，F(xiàn)M,表示特征圖。則針對類別C的MSF-CAM可表示為

(5)

式中：表示特征尺度的總數(shù)；表示某一尺度下的特征圖總數(shù)。

由于不同Block中的特征圖尺度不一樣，因此式(5)采用上采樣(Upsample)操作將不同尺度下的類激活映射上采樣至與原圖同一尺寸之后再疊加。為了利用多尺度特征來增強(qiáng)對類別C的解釋能力，本文只關(guān)心對類別C有正影響的像素點(diǎn)。因此，在MSF-CAM過程中，首先采用Relu激活函數(shù)來過濾對類別C判斷無用的像素點(diǎn)，Relu激活函數(shù)的表達(dá)式為

(6)

針對類別C的MSF-CAM如圖3所示。

圖3 融合多尺度特征的類激活映射Fig.3 Class activation mapping by incorporating multiscale features

2 試驗(yàn)與分析

2.1 激光焊接試驗(yàn)

為了模擬真實(shí)的生產(chǎn)環(huán)境，本文搭建了圖4(a)所示的激光焊接試驗(yàn)系統(tǒng)，該系統(tǒng)由焊接模塊(實(shí)指示線)和視覺模塊(虛指示線)組成。圖4(b)為某型號的激光焊接現(xiàn)場。為了盡量獲取高質(zhì)量焊接圖像，采用工裝夾具對焊件進(jìn)行固定；通過相機(jī)支架將高速相機(jī)固定在激光頭上；并采用輔助光和濾光片以降低強(qiáng)烈弧光的影響。在基本參數(shù)方面，焊件選用長度、寬度、厚度分別為300、120、2 mm的SS304不銹鋼板；保護(hù)氣采用流量為25 L/min的氬氣；焊接速度為2 m/min；離焦量為+8 mm；相機(jī)型號為CP70-2M；激光器型號選為IPG-YLS6000；輔助光源的波長為808 nm；濾光片的中心波長為808 nm。通過對激光功率、不銹鋼板的裝配位置、焊件表面的改變可獲取未熔透、正常、過熔透、間隙過大、右錯(cuò)邊、左錯(cuò)邊、油污7種類型對應(yīng)的熔池/匙孔圖像。

經(jīng)過大量試焊確定工藝后，本文在14塊不銹鋼板上進(jìn)行焊接以獲取特定的缺陷類別。試驗(yàn)共采集了7 531張熔池/匙孔圖像，各類別對應(yīng)的實(shí)際圖像及橫截面示意如圖5所示。從圖5可以看出，隨著熔透程度的增加，熔池區(qū)域的寬度、匙孔區(qū)域的不規(guī)則程度、熔池/匙孔區(qū)域的金屬蒸汽和飛濺均會(huì)增加。間隙過大會(huì)導(dǎo)致液態(tài)熔融金屬泄露，在圖像中會(huì)呈現(xiàn)出熔池不飽滿、匙孔區(qū)域有延伸的特點(diǎn)。左錯(cuò)邊和右錯(cuò)邊會(huì)呈現(xiàn)出熔池/匙孔前端極度不對稱的特點(diǎn)。其中，左錯(cuò)邊是指位于焊接方向左側(cè)的母材低于裝配位置的缺陷，右錯(cuò)邊是指位于焊接方向右側(cè)的母材低于裝配位置的缺陷。油污缺陷對應(yīng)的圖像會(huì)在熔池/匙孔前端呈現(xiàn)出逆流的特點(diǎn)。

為了對所提方法的性能進(jìn)行綜合評估，本文將獲取的原始數(shù)據(jù)按照7∶2∶1的比例分為訓(xùn)練集、驗(yàn)證集和測試集3部分。具體的數(shù)據(jù)分布如表1所示。

圖4 激光焊接現(xiàn)場及試驗(yàn)系統(tǒng)Fig.4 Laser welding site and test system

圖5 不同類別對應(yīng)的熔池/匙孔圖像Fig.5 Molten pool/keyhole images corresponding to different categories

表1 數(shù)據(jù)分布及劃分情況Table 1 Distribution and division of data

2.2 算法試驗(yàn)

2.2.1 試驗(yàn)設(shè)置

鑒于本文的主旨不包含參數(shù)優(yōu)選，因此本文根據(jù)經(jīng)驗(yàn)將學(xué)習(xí)率設(shè)置為10，損失函數(shù)采用交叉熵，優(yōu)化器選用Adam。此外，將數(shù)據(jù)集按照表1劃分為訓(xùn)練集、驗(yàn)證集、測試集。訓(xùn)練過程中將批次設(shè)置為4以加速訓(xùn)練。在訓(xùn)練周期方面，本文對所有數(shù)據(jù)遍歷100次并保存最佳模型。在環(huán)境方面，所提方法在Windows10操作系統(tǒng)、NVIDIA 1050顯卡(4 GB顯存)的硬件以及Pytorch深度學(xué)習(xí)框架下進(jìn)行算法性能試驗(yàn)。為了防止模型過擬合，采用遷移學(xué)習(xí)的方法加載基于ImageNet的預(yù)訓(xùn)練模型。即本文將VGG16在ImageNet上訓(xùn)練的權(quán)重作為本文骨干網(wǎng)絡(luò)的權(quán)重，本文針對新加入的1×1卷積部分的權(quán)重進(jìn)行訓(xùn)練。在對比試驗(yàn)方面擬將所提方法與C-CAM及沒有加載預(yù)訓(xùn)練模型的MSF-CAM(MSF-CAM Without Pre-Trained model, MSF-CAM-WPT)進(jìn)行對比。

在評價(jià)指標(biāo)方面，采用準(zhǔn)確率(Accuracy, ACC)、精確率(Precision, PRE)、召回率(Recall, REC)、F1-score這4個(gè)指標(biāo)對相關(guān)方法進(jìn)行綜合評估。各指標(biāo)的定義如下：

(7)

(8)

(9)

(10)

式中：TP表示某圖像實(shí)際為正類同時(shí)被識別為正類；TN表示某圖像實(shí)際為負(fù)類同時(shí)被識別為負(fù)類；FP表示某圖像實(shí)際為負(fù)類同時(shí)被識別為正類；FN表示某圖像實(shí)際為正類同時(shí)被識別為負(fù)類。ACC指所有預(yù)測正確的樣本占總樣本的比重；PRE指在被預(yù)測為正類的所有樣本中實(shí)際為正類的比重；REC指實(shí)際為正類的樣本中被預(yù)測為正類的比重；F1-score是對PRE和REC調(diào)和平均的綜合評價(jià)指標(biāo)。

2.2.2 訓(xùn)練過程分析

MSF-CAM、C-CAM及MSF-CAM-WPT方法的訓(xùn)練過程如圖6所示。MSF-CAM經(jīng)過90次迭代即可收斂于0.99左右，且收斂過程平穩(wěn)。而經(jīng)典的CAM方法經(jīng)過100次迭代才可收斂于0.97左右。這主要是因?yàn)镸SF-CAM方法在模型中融合了多尺度特征，因此可以對熔池/匙孔圖像的特征進(jìn)行更好的表征。在對訓(xùn)練集中的數(shù)據(jù)完成一次遍歷后，利用驗(yàn)證集對模型進(jìn)行驗(yàn)證。從圖6中可以看出，MSF-CAM和C-CAM方法在驗(yàn)證集上的結(jié)果和訓(xùn)練集上相差不大，這說明基于ImageNet進(jìn)行預(yù)訓(xùn)練后二者沒有發(fā)生明顯的過擬合現(xiàn)象。作為對比，MSF-CAM-WPT方法在訓(xùn)練集和驗(yàn)證集上的差異較大，即發(fā)生了較為明顯的過擬合現(xiàn)象。

在模型訓(xùn)練完成后，將其保存為可測試文件。然后用測試集對模型性能進(jìn)行測試。在指標(biāo)方面，我們采用準(zhǔn)確率、精確率、召回率、F1-score、模型的大小以及模型針對單幅圖像的識別時(shí)間對模型進(jìn)行綜合評估，模型在測試集上的相關(guān)指標(biāo)得分如表2所示。由于對多尺度特征的深度利用，MSF-CAM方法的準(zhǔn)確率和綜合評價(jià)指標(biāo)F1-score相對于C-CAM方法均提高了2%左右。為了將多尺度特征用于對模型決策依據(jù)的解釋，本文在Block后面插入了1×1卷積，因此模型體積和測試時(shí)間略有增加。考慮到當(dāng)今工業(yè)相機(jī)的幀率一般不超過100 Hz且工控機(jī)的硬盤容量一般在1 TB以上，因此所提方法仍可滿足在線監(jiān)測的需求。

圖6 不同方法的訓(xùn)練和驗(yàn)證過程Fig.6 Training and validation process for different methods

值得注意的是，所建立的模型是基于本文實(shí)驗(yàn)環(huán)境下采集的數(shù)據(jù)得到的。鑒于本文的關(guān)注點(diǎn)是在提高DL-LWDR的可解釋性的同時(shí)兼顧準(zhǔn)確性，因此本文沒有針對模型對相機(jī)角度、位置和光照條件等的魯棒性進(jìn)行優(yōu)化。針對這一點(diǎn)，在未來工作中可從以下方面展開。在數(shù)據(jù)獲取階段，可以通過大量的改變相機(jī)角度、位置和光照條件等以獲取更豐富的原始數(shù)據(jù)。在模型訓(xùn)練階段，可以通過仿射變換對原始數(shù)據(jù)進(jìn)行增廣以模擬復(fù)雜的工況。在模型優(yōu)化階段，可以通過遷移學(xué)習(xí)的方法利用新數(shù)據(jù)對在原始數(shù)據(jù)上構(gòu)建的模型進(jìn)行微調(diào)。

模型在測試集上的最終分類結(jié)果的混淆矩陣如圖7所示，標(biāo)簽0、1、2、3、4、5、6分別代表過熔透、間隙過大、未熔透、右錯(cuò)邊、油污、正常、左錯(cuò)邊這7個(gè)類別。從混淆矩陣中可以看出C-CAM更容易錯(cuò)分未熔透和過熔透、右錯(cuò)邊和間隙過大，而MSF-CAM對這一情況有所改善，這說明多尺度特征的引入對上述兩對狀態(tài)間的鑒別性特征的提取具有重要作用。

表2 不同方法的測試結(jié)果Table 2 Test results for different methods

圖7 不同方法測試結(jié)果的混淆矩陣Fig.7 Confusion matrix of test results for different methods

2.2.3 可解釋性分析

圖8展示了所提方法在不同尺度下的類激活圖。從中可以看出網(wǎng)絡(luò)的淺層(Block、Block)傾向于提取散點(diǎn)和短線等初級特征，但是這些初級特征之間缺乏關(guān)聯(lián)，因此無法單獨(dú)根據(jù)淺層特征的類激活映射對模型的決策做出解釋；網(wǎng)絡(luò)的深層(Block、Block)傾向于提取目標(biāo)級的語義特征；網(wǎng)絡(luò)的中層(Block)提取的特征類型介于淺層和深層提取的特征級別之間。雖然基于Block的類激活映射圖中已經(jīng)可以大致看出模型做決策的依據(jù)在哪個(gè)區(qū)域，但仍然不易于人類的理解。此外，可以看出送氣管道對模型的判斷起到了干擾作用。

圖9顯示了C-CAM和MSF-CAM這2種方法產(chǎn)生的類激活圖。通過對比可以發(fā)現(xiàn)：C-CAM產(chǎn)生的類激活映射與MSF-CAM方法在Block層次產(chǎn)生的類激活映射類似，但是C-CAM方法僅通過一路損失對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，因此C-CAM方法產(chǎn)生的類激活映射圖比Block層次產(chǎn)生的類激活映射圖在分類導(dǎo)向上更強(qiáng)。但是通過對MSF-CAM方法產(chǎn)生的類激活圖的觀察可以發(fā)現(xiàn)：融合了多個(gè)尺度的類激活圖可以從初級特征的角度對模型的決策依據(jù)做出解釋。如：MSF-CAM對未熔透、熔透、過熔透三者的區(qū)分不但關(guān)注了熔池/匙孔的區(qū)域信息而且還更加關(guān)注了熔池區(qū)域的左右邊緣上，這意味著模型是關(guān)注到了熔池的寬度做出的決策，這非常符合人類的認(rèn)知。同樣地，對左錯(cuò)邊和右錯(cuò)邊的識別不但關(guān)注到了熔池/匙孔區(qū)域的前端不對稱的地方，還對該部位的輪廓特征進(jìn)行了著重關(guān)注。對油污缺陷則關(guān)注到了熔池/匙孔前端呈現(xiàn)逆流狀的區(qū)域。對間隙過大的缺陷則關(guān)注到了熔池/匙孔前端的弧線型特征。因此，融合了多個(gè)尺度的類激活圖可以對模型的決策依據(jù)做出更符合人類直觀感受的解釋。

圖8 不同尺度下的類激活圖Fig.8 Class activation map at different scales

圖9 可解釋性方法的對比Fig.9 Comparison of different explainability methods

3 結(jié) 論

1) 針對基于視覺的激光焊接缺陷識別問題，建立了基于深度學(xué)習(xí)的識別模型，所提方法可以自適應(yīng)的提取激光焊接缺陷的抽象特征。

2) 針對基于深度學(xué)習(xí)的激光焊接缺陷識別可解釋性差的問題，提出了融合多尺度特征類激活映射方法，該方法可以對模型的準(zhǔn)確性和可解釋性進(jìn)行統(tǒng)一優(yōu)化。

3) 融合多尺度特征的類激活映射方法MSF-CAM針對7類缺陷的識別問題準(zhǔn)確率為98.12%，識別單幅圖像需8.28 ms，可滿足基于視覺的在線監(jiān)測需求。

4) 融合多尺度特征的類激活映射方法不但可以對模型的決策依據(jù)做出目標(biāo)級的解釋，而且還可以從初級特征的角度做出更直觀的解釋。