張 毅，范玉剛

〈無(wú)損檢測(cè)〉

基于深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測(cè)

張 毅1,2，范玉剛1,2

（1. 昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2.云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500）

機(jī)械設(shè)備運(yùn)行過(guò)程中，標(biāo)記的故障樣本量小，導(dǎo)致建立的模型故障診斷準(zhǔn)確率低，為此本文提出一種結(jié)合深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測(cè)方法。首先將注意力機(jī)制引入深度殘差網(wǎng)絡(luò)ResNet50中，加強(qiáng)模型的特征提取能力；然后將源域和目標(biāo)域數(shù)據(jù)送入改進(jìn)的ResNet50網(wǎng)絡(luò)中提取深度特征，并且在網(wǎng)絡(luò)的全連接層中引入局部最大均值差異，用于縮小兩域特征間的分布差異，以此實(shí)現(xiàn)相關(guān)子域的分布對(duì)齊；最后在網(wǎng)絡(luò)的Softmax分類(lèi)器中實(shí)現(xiàn)對(duì)工件金屬材料的缺陷檢測(cè)。在公開(kāi)的磁瓦數(shù)據(jù)集和本文實(shí)驗(yàn)采集的金屬板渦流紅外圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文方法對(duì)渦流紅外圖像的裂紋缺陷檢測(cè)識(shí)別準(zhǔn)確率較高，通過(guò)t分布隨機(jī)鄰居嵌入方法對(duì)分析結(jié)果可視化，驗(yàn)證了本文方法的優(yōu)越性。

渦流熱成像；深度殘差網(wǎng)絡(luò)；注意力機(jī)制；域自適應(yīng)；局部最大均值差異

0 引言

工業(yè)生產(chǎn)中的金屬材料在使用過(guò)程中可能會(huì)產(chǎn)生劃痕、裂紋等損傷缺陷，從而影響設(shè)備的正常運(yùn)行，甚至危及人身安全，因而對(duì)金屬材料中的損傷缺陷進(jìn)行檢測(cè)具有重要意義。渦流脈沖熱成像檢測(cè)作為新興的無(wú)損檢測(cè)技術(shù)，具有非接觸性、檢測(cè)速度快等優(yōu)點(diǎn)[1]，因而被廣大研究者應(yīng)用于工業(yè)中金屬材料的探傷檢測(cè)。如Peng等[2]采用快速傅里葉變換和主成分分析消除非均勻加熱影響來(lái)增強(qiáng)紅外圖像的裂紋特征，成功檢測(cè)出銅棒裂紋位置和形狀。Yi等[3]通過(guò)渦流熱成像檢測(cè)技術(shù)，提出用核主成分分析和低秩稀疏建模方法，增強(qiáng)缺陷區(qū)域特征，實(shí)現(xiàn)了金屬表面裂紋深度的檢測(cè)。

因此基于圖像分析的檢測(cè)方法能夠有效識(shí)別設(shè)備的金屬裂紋，但上述文獻(xiàn)無(wú)法實(shí)現(xiàn)自適應(yīng)地提取缺陷圖像的特征信息。近年來(lái)深度學(xué)習(xí)方法在圖像識(shí)別、缺陷檢測(cè)等方向取得了較好的效果，它能夠自動(dòng)地學(xué)習(xí)輸入數(shù)據(jù)的深度特征。但深度學(xué)習(xí)方法的訓(xùn)練需要足量的數(shù)據(jù)，且訓(xùn)練的數(shù)據(jù)和測(cè)試的數(shù)據(jù)要具有相同的分布[4]，實(shí)際的工業(yè)生產(chǎn)中，工況多變，訓(xùn)練和測(cè)試樣本數(shù)據(jù)同分布的要求難以得到滿(mǎn)足。

為解決以上問(wèn)題，多種深度遷移學(xué)習(xí)方法被提出，例如基于特征遷移的深度學(xué)習(xí)方法。特征遷移的核心思路是通過(guò)適當(dāng)?shù)奶卣髯儞Q將源域和目標(biāo)域的數(shù)據(jù)映射到一個(gè)公共的特征空間，并通過(guò)特征對(duì)齊來(lái)減小領(lǐng)域間的分布差異，然后利用源域的標(biāo)簽數(shù)據(jù)訓(xùn)練目標(biāo)域的分類(lèi)器[5]。特征遷移學(xué)習(xí)方法在許多領(lǐng)域得到發(fā)展和應(yīng)用，例如Long等[6]提出的DAN深度適配網(wǎng)絡(luò)同時(shí)適配3個(gè)全連接層，且提出了多核MMD（Maximum mean discrepancy）來(lái)度量?jī)捎蛑g的分布差異。Ganin等[7]引入生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial networks, GAN）[8]思想提出領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain adversarial neural network, DANN），將生成對(duì)抗網(wǎng)絡(luò)的生成器視為特征提取器，將生成對(duì)抗網(wǎng)絡(luò)的判別器視為域適應(yīng)器，因而提取出源域和目標(biāo)域的共同特征實(shí)現(xiàn)遷移。王等[9]聯(lián)合生成對(duì)抗網(wǎng)絡(luò)和多核MMD最小化域間距離，提出了基于生成對(duì)抗網(wǎng)絡(luò)和距離度量的聯(lián)合分類(lèi)模型。

以上文獻(xiàn)聚焦于源域和目標(biāo)域進(jìn)行全局特征對(duì)齊研究，缺乏對(duì)源域和目標(biāo)域相同類(lèi)別間關(guān)系的深入研究，故本文在特征提取網(wǎng)絡(luò)ResNet50的基礎(chǔ)上引入CBAM注意力機(jī)制，使得網(wǎng)絡(luò)更加關(guān)注圖像的重點(diǎn)區(qū)域，以此來(lái)提高網(wǎng)絡(luò)的特征提取能力，并引用局部最大均值差異（Local maximum mean discrepancy, LMMD）[10]作為子領(lǐng)域自適應(yīng)對(duì)齊算法，用來(lái)度量源域和目標(biāo)域特征的分布差異，通過(guò)最小化該差異損失優(yōu)化訓(xùn)練模型，并將得到的特征遷移深度學(xué)習(xí)模型應(yīng)用于金屬板材料缺陷的檢測(cè)問(wèn)題。

1 領(lǐng)域自適應(yīng)

1.1 全局域自適應(yīng)與子領(lǐng)域自適應(yīng)

領(lǐng)域自適應(yīng)實(shí)質(zhì)就是把提取的源域和目標(biāo)域數(shù)據(jù)特征映射到可再生核希爾伯特空間（Reproducing kernel Hilbert space, RKHS）中來(lái)減小兩領(lǐng)域間的分布差異。實(shí)行全局域自適應(yīng)后，源域和目標(biāo)域的全局特征得到對(duì)齊，但兩域間不同類(lèi)別的特征樣本并沒(méi)有明顯地分開(kāi)，影響了分類(lèi)的準(zhǔn)確性。而經(jīng)過(guò)子領(lǐng)域自適應(yīng)后，源域和目標(biāo)域不僅全局特征得到對(duì)齊，而且兩域中不同類(lèi)別的特征很好地得以分開(kāi)，且同類(lèi)別間的特征分布更為緊密，因此子領(lǐng)域自適應(yīng)可以改善全局域自適應(yīng)分類(lèi)精度較差的情況。兩種領(lǐng)域自適應(yīng)的思想如圖1所示。

圖1 領(lǐng)域自適應(yīng)示意圖

1.2 最大均值差異度量算法

2 融合注意力的ResNet50網(wǎng)絡(luò)和子領(lǐng)域自適應(yīng)的工件缺陷檢測(cè)模型

2.1 融合CBAM注意力機(jī)制的ResNet50特征提取模塊

卷積注意力模塊（Convolutional block attention module, CBAM）[12]是一種結(jié)合了通道注意力和空間注意力的綜合注意力模塊，CBAM結(jié)構(gòu)如圖2所示[13]。輸入特征圖∈R××，先經(jīng)過(guò)通道注意力模塊得到其權(quán)值C()，再經(jīng)過(guò)空間注意力模塊得到其權(quán)值S(￠)，整個(gè)過(guò)程計(jì)算公式如(3)、(4)所示。

￠＝C()?(3)

2＝S(￠)?￠(4)

圖2 CBAM模塊結(jié)構(gòu)圖

由于隨著網(wǎng)絡(luò)模型的加深，會(huì)相繼出現(xiàn)梯度消失和網(wǎng)絡(luò)退化的問(wèn)題，因此本文選擇了采用殘差塊的ResNet50[14]網(wǎng)絡(luò)模型，殘差塊的存在使得網(wǎng)絡(luò)層之間能夠進(jìn)行短連接，緩解了梯度爆炸和梯度消失問(wèn)題，提高了模型的穩(wěn)定性。

ResNet50網(wǎng)絡(luò)在提取特征中沒(méi)有重點(diǎn)的關(guān)注喜好，本文希望網(wǎng)絡(luò)模型在對(duì)工件進(jìn)行檢測(cè)訓(xùn)練時(shí)能更多地關(guān)注缺陷的部位，而忽略不重要的背景信息，從而提高模型檢測(cè)識(shí)別的正確率。因此本文將CBAM注意力模塊引入ResNet50網(wǎng)絡(luò)中，實(shí)驗(yàn)采用在ImageNet上預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)，在引入CBAM模塊時(shí)不改變ResNet50的殘差結(jié)構(gòu)，所以分別在第一層卷積和最后一層卷積后面加入CBAM模塊，融合CBAM機(jī)制的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

2.2 子領(lǐng)域自適應(yīng)模塊

本文使用局部最大均值差異來(lái)測(cè)量?jī)深I(lǐng)域間相關(guān)子領(lǐng)域的分布差異，其公式為：

式中：是兩域的類(lèi)別數(shù)；w,jt和分別是樣本xs和xt屬于類(lèi)別的權(quán)重，其計(jì)算公式為：

表1 添加CBAM的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

本文使用真實(shí)標(biāo)簽ys的one-hot得出源域中類(lèi)樣本的權(quán)重w,is。目標(biāo)域中樣本由于沒(méi)有標(biāo)簽，故無(wú)法使用yt來(lái)計(jì)算目標(biāo)域中對(duì)應(yīng)的權(quán)重，但卷積神經(jīng)網(wǎng)絡(luò)的輸出是概率分布，它可以表示樣本x屬于某個(gè)類(lèi)別的概率大小，故而使用卷積神經(jīng)網(wǎng)絡(luò)的Softmax分類(lèi)器來(lái)預(yù)測(cè)目標(biāo)域中的標(biāo)簽，從而得出樣本xt是類(lèi)的權(quán)重w,jt。

對(duì)于輸入的源域和目標(biāo)域數(shù)據(jù)，經(jīng)過(guò)本文改進(jìn)的ResNet50網(wǎng)絡(luò)的全連接層中提取得到對(duì)應(yīng)特征zs和zt，于是將其映射到可再生核希爾伯特空間進(jìn)行特征對(duì)齊，因此可將公式(5)重新計(jì)算得到：

2.3 網(wǎng)絡(luò)模型的整體結(jié)構(gòu)

本文通過(guò)融合CBAM注意力的ResNet50特征提取網(wǎng)絡(luò)模塊和子領(lǐng)域自適應(yīng)模塊，搭建了工件的缺陷檢測(cè)模型，其結(jié)構(gòu)如圖3所示，首先將注意力機(jī)制CBAM模塊添加到ResNet50中，提取源域和目標(biāo)域數(shù)據(jù)的深度特征，并將網(wǎng)絡(luò)的參數(shù)共享，同時(shí)將子領(lǐng)域自適應(yīng)層設(shè)在網(wǎng)絡(luò)的全連接層[10]，以便在此層中使用局部最大均值差異來(lái)實(shí)現(xiàn)兩域中相關(guān)子領(lǐng)域的特征對(duì)齊，最后用網(wǎng)絡(luò)模型中的Softmax分類(lèi)器對(duì)金屬板材料的紅外熱圖像進(jìn)行缺陷的檢測(cè)識(shí)別。

2.4 模型的目標(biāo)函數(shù)

式中：J(,)是交叉熵?fù)p失函數(shù)；dlmmd(,)是子領(lǐng)域自適應(yīng)的分布距離函數(shù)；l＞0，是權(quán)衡超參數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)采集

渦流熱成像實(shí)驗(yàn)平臺(tái)由渦流加熱裝置和紅外熱像儀組成，圖4為實(shí)驗(yàn)的渦流加熱設(shè)備和有缺陷的金屬板材料。實(shí)驗(yàn)時(shí)給裝置通電，給被測(cè)金屬材料渦流加熱，然后用紅外熱像儀拍攝金屬板材料的紅外圖像，從而得到實(shí)驗(yàn)的紅外圖像數(shù)據(jù)。

圖4 渦流加熱設(shè)備（左）和缺陷金屬板（右）

Fig.4 Eddy current heating equipment (left) and defective metal plate (right)

本文實(shí)驗(yàn)?zāi)M工業(yè)生產(chǎn)設(shè)備的金屬材料工件，選用并加工了有裂紋缺陷的金屬板和無(wú)缺陷的完好的金屬板作為實(shí)驗(yàn)中的兩大類(lèi)別，以此來(lái)驗(yàn)證本文提出網(wǎng)絡(luò)模型的性能優(yōu)劣。對(duì)工件材料加工時(shí)分別設(shè)置了有缺陷的裂紋長(zhǎng)度為4mm、8mm、10mm、20mm，以滿(mǎn)足不同長(zhǎng)度裂紋缺陷的檢測(cè)實(shí)驗(yàn)，提高實(shí)驗(yàn)的豐富性和可靠性，裂紋的寬度均為1.5mm，考慮到加工誤差，裂紋缺陷的尺寸會(huì)和標(biāo)注數(shù)據(jù)有0.2mm的誤差，本實(shí)驗(yàn)加工的裂紋缺陷均在金屬材料的表面。通過(guò)渦流設(shè)備對(duì)金屬材料的加熱和紅外熱像儀采集圖像數(shù)據(jù)，本實(shí)驗(yàn)采集得到的紅外圖像分辨率為320×240，紅外圖像集分別有裂紋缺陷和無(wú)裂紋缺陷兩種類(lèi)型。在實(shí)際的機(jī)械設(shè)備運(yùn)行過(guò)程中，工況多變，標(biāo)記的故障樣本量小，為此本文提出一種結(jié)合深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測(cè)方法，所以還需要選擇一個(gè)相似的領(lǐng)域數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)，于是選擇了中科院自動(dòng)化所收集的磁瓦數(shù)據(jù)集[16]作為其相似領(lǐng)域來(lái)進(jìn)行遷移學(xué)習(xí)的實(shí)驗(yàn)。因本實(shí)驗(yàn)采集的數(shù)據(jù)集有無(wú)裂紋缺陷和有裂紋缺陷兩種類(lèi)別，所以從磁瓦數(shù)據(jù)集中也選用了對(duì)應(yīng)的類(lèi)別進(jìn)行實(shí)驗(yàn)。同時(shí)由于實(shí)驗(yàn)采集的圖像是彩色的RGB圖像，因此需要先對(duì)磁瓦數(shù)據(jù)集的兩種類(lèi)型的黑白圖像進(jìn)行處理轉(zhuǎn)化為RGB圖像后再進(jìn)行本文模型方法的相關(guān)實(shí)驗(yàn)，根據(jù)源域數(shù)據(jù)集相關(guān)資料，盡量還原了真實(shí)的RGB色彩，以便和本文的紅外圖像進(jìn)行領(lǐng)域適應(yīng)的遷移學(xué)習(xí)。如圖5為實(shí)驗(yàn)數(shù)據(jù)集示例。

圖5 實(shí)驗(yàn)數(shù)據(jù)集示例

本文中實(shí)驗(yàn)的兩個(gè)領(lǐng)域的樣本存在數(shù)目不均衡的問(wèn)題，為了更好地訓(xùn)練模型，驗(yàn)證實(shí)驗(yàn)方法的性能，因此使用翻轉(zhuǎn)、縮放、裁剪，旋轉(zhuǎn)等一些數(shù)據(jù)增強(qiáng)的方式得到了相對(duì)均衡的數(shù)據(jù)樣本。故最后得到磁瓦數(shù)據(jù)集的裂紋缺陷圖像460張，無(wú)裂紋缺陷圖像434張，本實(shí)驗(yàn)得到的金屬板紅外圖像數(shù)據(jù)集的裂紋缺陷圖像380張，無(wú)裂紋缺陷圖像320張。將兩域的數(shù)據(jù)集根據(jù)有無(wú)裂紋缺陷各自按照8:1:1的比例劃分訓(xùn)練集，驗(yàn)證集和測(cè)試集。實(shí)驗(yàn)包含兩種域遷移：磁瓦數(shù)據(jù)集→金屬板數(shù)據(jù)集，金屬板數(shù)據(jù)集→磁瓦數(shù)據(jù)集，因本文主要應(yīng)用網(wǎng)上公開(kāi)的缺陷數(shù)據(jù)集來(lái)實(shí)現(xiàn)對(duì)我所實(shí)驗(yàn)的金屬材料紅外圖像的缺陷檢測(cè)識(shí)別，所以更多關(guān)注的是從磁瓦數(shù)據(jù)集到金屬板數(shù)據(jù)集的遷移任務(wù)的準(zhǔn)確率。

3.2 實(shí)驗(yàn)配置和實(shí)驗(yàn)對(duì)比

本文實(shí)驗(yàn)都使用基于Python 3.7的Pytorch深度學(xué)習(xí)框架，CPU為i5-11400H，GPU為GeForce RTX 3060，RAM為16GB。模型訓(xùn)練的迭代輪數(shù)保持一致，使用隨機(jī)梯度下降法（Stochastic gradient descent，SGD），動(dòng)量設(shè)置為0.9，學(xué)習(xí)率的調(diào)整公式為＝0/(1＋)，其中訓(xùn)練時(shí)服從0到1的線(xiàn)性變化，0＝0.01,＝10,＝0.75。

為對(duì)比證明本文方法的優(yōu)越性，于是設(shè)置了幾組不同方法的模型來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)。一是經(jīng)過(guò)網(wǎng)絡(luò)數(shù)據(jù)集預(yù)訓(xùn)練后的微調(diào)ResNet50網(wǎng)絡(luò)模型，二是度量距離為多核最大均值差異（Multipe Kernel Maximum Mean Discrepancy，MK-MMD）的DAN模型，三是未添加注意力機(jī)制，采用局部最大均值差異（Local Maximum Mean Discrepancy，LMMD）度量距離的ResNet50_LMMD模型，四是本文的添加CBAM注意力模塊的改進(jìn)ResNet50網(wǎng)絡(luò)，用局部最大均值差異度量距離的模型。幾種模型實(shí)驗(yàn)的環(huán)境條件和配置相同，實(shí)驗(yàn)設(shè)定100輪次，本文方法訓(xùn)練集和測(cè)試集的檢測(cè)精度如圖6所示。可以看出，訓(xùn)練集和測(cè)試集在30輪左右達(dá)到穩(wěn)定，且精度相差不大，說(shuō)明模型是穩(wěn)定可靠的。

圖6 訓(xùn)練集和測(cè)試集精度對(duì)比圖

各個(gè)不同模型的檢測(cè)精度對(duì)比如表2所示，可以明顯看出本文提出的方法平均精度為88.52%，好于對(duì)比的其他模型，表明本文提出的模型通過(guò)對(duì)齊同類(lèi)子領(lǐng)域，能得到領(lǐng)域間更細(xì)節(jié)的信息，使得不同領(lǐng)域間同類(lèi)別聯(lián)系更為緊密，不同類(lèi)別間的類(lèi)間距分得更開(kāi)，同時(shí)和方法3相比可知添加注意力機(jī)制后檢測(cè)精度得到大約1.3%的提升，驗(yàn)證了模型的優(yōu)越性。同時(shí)圖7展示了磁瓦數(shù)據(jù)集到金屬板數(shù)據(jù)集訓(xùn)練得到的準(zhǔn)確率的對(duì)比效果，相同輪次下，可以看到其余方法在20個(gè)epoch左右達(dá)到收斂，隨后細(xì)微振蕩，而本文提出的方法收斂速度較慢，原因是在ResNet50網(wǎng)絡(luò)基礎(chǔ)上加入了CBAM注意力模塊，增加了網(wǎng)絡(luò)的復(fù)雜度，所以檢測(cè)消耗的時(shí)間較不添加CBAM模塊的時(shí)間增加了大約2.5s，但是檢測(cè)缺陷的準(zhǔn)確率得到了提升。

表2 不同模型的檢測(cè)精度

Magnetic tile data set→sheet metal data set

3.3 實(shí)驗(yàn)結(jié)果可視化

為了更加直觀地體現(xiàn)出本文方法的優(yōu)點(diǎn)，實(shí)驗(yàn)選擇了源域?yàn)榇磐邤?shù)據(jù)集，目標(biāo)域?yàn)楸疚牟杉慕饘侔宓募t外圖像數(shù)據(jù)集作為可視化對(duì)比，利用t-SNE（t-distributed stochastic neighbor embedding）算法[17]將源域和目標(biāo)域部分?jǐn)?shù)據(jù)的特征值映射為二維空間，然后在二維空間里將其特征可視化。幾種對(duì)比方法的特征可視化效果如圖8所示，其中S代表源域，T代表目標(biāo)域，S-0表示源域中無(wú)缺陷的樣本，S-1表示源域中裂紋缺陷的樣本。由圖可知，僅采用經(jīng)過(guò)預(yù)訓(xùn)練微調(diào)的ResNet50模型提取通用特征能力強(qiáng)，一個(gè)域內(nèi)的同類(lèi)別間的聚類(lèi)效果好，但不同領(lǐng)域相同類(lèi)別就沒(méi)有很好地聚類(lèi)。采用多核MMD（MK-MMD）的DAN模型展現(xiàn)出一定的特征對(duì)齊能力，但未考慮兩域子領(lǐng)域的分布對(duì)齊，不同領(lǐng)域的同類(lèi)別間聚類(lèi)效果不是很好。而采用子領(lǐng)域自適應(yīng)模型的ResNet50_LMMD和本文方法在對(duì)齊全局域分布的同時(shí)還實(shí)現(xiàn)了對(duì)齊同類(lèi)子領(lǐng)域的分布，另外本文方法融入注意力機(jī)制，提升了特征提取能力，可以看出兩域間相同類(lèi)別密切地聚集在一起，得到了不錯(cuò)的聚類(lèi)效果，充分證實(shí)了本文方法的有效性和優(yōu)越性。

圖8 不同方法的t-SNE特征可視化

4 結(jié)論

通過(guò)引入特征遷移學(xué)習(xí)思想，建立局部最大均值差異衡量指標(biāo)，縮小了源域和目標(biāo)域數(shù)據(jù)特征間的分布差異，實(shí)現(xiàn)了相關(guān)子域的分布對(duì)齊?；谔卣鬟w移學(xué)習(xí)思想建立的金屬板材料裂紋的缺陷識(shí)別模型，解決了數(shù)據(jù)集中裂紋缺陷樣本量少，訓(xùn)練和測(cè)試樣本難以同分布的問(wèn)題。提出的基于深度學(xué)習(xí)與子領(lǐng)域自適應(yīng)的工件渦流熱成像的缺陷檢測(cè)模型，在ResNet50網(wǎng)絡(luò)添加CBAM注意力機(jī)制，提高了模型對(duì)于缺陷區(qū)域特征的關(guān)注度，可以聚焦于缺陷特征的提取，提升模型缺陷檢測(cè)能力。通過(guò)相關(guān)實(shí)驗(yàn)對(duì)比，并使用t-SNE算法對(duì)幾種對(duì)比實(shí)驗(yàn)提取的特征進(jìn)行可視化，驗(yàn)證了所提模型的有效性，提升了金屬板材料裂紋缺陷的檢測(cè)精度。

[1] 李寶蕓, 范玉剛, 高陽(yáng). 基于OTSU和Canny算子的紅外圖像特征提取[J]. 陜西理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019, 35(6): 33-40. LI Baoyun, FAN Yugang, GAO Yang. Infrared image feature extraction based on OTSU and Canny operator[J].:, 2019, 35(6): 33-40.

[2] PENG Y, HUANG S, HE Y, et al. Eddy current pulsed thermography for noncontact nondestructive inspection of motor winding defects[J]., 2020, 20(5): 2625-2634.

[3] YI Q, Malekmohammadi H, TIAN G Y, et al. Quantitative evaluation of crack depths on thin aluminum plate using eddy current pulse-compression thermography[J]., 2021, 16(6): 3963-3973.

[4] 董紹江, 朱朋, 裴雪武, 等. 基于子領(lǐng)域自適應(yīng)的變工況下滾動(dòng)軸承故障診斷[J]. 吉林大學(xué)學(xué)報(bào): 工學(xué)版, 2022, 52(2): 288-295. DONG Shaojiang, ZHU Peng, PEI Xuewu, et al. Fault diagnosis of rolling bearing under variable operating conditions based on subdomain adaptation[J].:, 2022, 52(2): 288-295.

[5] 姜萬(wàn)錄, 岳毅, 張淑清, 等. 基于特征遷移學(xué)習(xí)的變工況下軸向柱塞泵故障診斷[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(5): 45-55. JIANG Wanlu, Yue Yi, ZHANG Shuqing, et al. Axial piston pump fault diagnosis under variable working conditions based on feature transfer learning[J]., 2022, 38(5): 45-55.

[6] LONG M S, CAO Y, WANG J, et al. Learning transferable features with deep adaptation networks[C]//, 2015: 97-105.

[7] Ganin Y, Ustinova E, Ajakan H, et al. Domain-adversarial training of neural networks[J]., 2016, 17(1): 2096-2030.

[8] 陳佛計(jì), 朱楓, 吳清瀟, 等. 生成對(duì)抗網(wǎng)絡(luò)及其在圖像生成中的應(yīng)用研究綜述[J].計(jì)算機(jī)學(xué)報(bào), 2021, 44(2): 347-369. CHEN Foji, ZHU Feng, WU Qingxiao, et al. A survey about image generation with generative adversarial nets[J]., 2021, 44(2): 347-369.

[9] 王格格, 郭濤, 余游, 等. 基于生成對(duì)抗網(wǎng)絡(luò)的無(wú)監(jiān)督域適應(yīng)分類(lèi)模型[J]. 電子學(xué)報(bào), 2020, 48(6): 1190-1197. WANG Gege, GUO Tao, YU You, et al. Unsupervised domain adaptation classification model based on generative adversarial network[J].2020, 48(6): 1190-1197.

[10] ZHU Y C, ZHUANG F Z, WANG J D, et al. Deep subdomain adaptation network for image classification[J]., 2020(99): 1-10.

[11] Gretton A, Borgwardt K M, Rasch M J, et al. A kernel two-sample test[J]., 2012, 13: 723-773.

[12] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//, 2018: 3-19.

[13] 郝帥, 張旭, 馬旭, 等. 基于CBAM-YOLOv5的煤礦輸送帶異物檢測(cè)[J].煤炭學(xué)報(bào), 2021, 1644: 1-11. HAO Shuai, ZHANG Xu, MA Xu, et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J].2021, 1644: 1-11.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[15] 吳靜然, 劉建華, 崔冉. 子域適應(yīng)無(wú)監(jiān)督軸承故障診斷[J]. 振動(dòng)與沖擊, 2021, 40(15): 34-40. WU Jingran, LIU Jianhua, CUI Ran. Sub-domain adaptive unsupervised bearing fault diagnosis[J]., 2021, 40(15): 34-40.

[16] HUANG Y B, QIU C Y, YUAN K. Surface defect saliency of magnetic tile[J]., 2020, 36(1): 85-96.

[17] Laurens V D M, Hinton G. Visualizing data using t-SNE[J]., 2008, 9(2605): 2579-2605.

Defect Detection of Eddy Current Thermal Imaging of Workpiece Based on Deep Learning and Domain Adaptation

ZHANG Yi1,2，F(xiàn)AN Yugang1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China; 2. Key Laboratory of Artificial Intelligence in Yunnan Province, Kunming 650500, China)

When operating mechanical equipment, the number of fault samples marked is small, which leads to low accuracy of the fault diagnosis of the established model. Therefore, this study proposes a defect detection method for eddy current thermal imaging of a workpiece that combines depth learning and domain adaptation. First, the attention mechanism is introduced into the deep residual network ResNet50 to enhance the feature extraction capability of the model. Then, the source and target domain data are sent into the improved ResNet50 network to extract the depth features. The local maximum mean difference is introduced into the full connection layer of the network to reduce the distribution difference between the two domain features to achieve the distribution alignment of related sub-domains. Finally, workpiece metal material defects were detected in the Softmax classifier of the network. The experiment was conducted on the open magnetic tile dataset and eddy current infrared image dataset of the metal plate collected during the experiment. The results show that the method proposed in this paper is highly accurate in detecting and recognizing crack defects in eddy current infrared images. The advantages of the method in this study were verified by visualizing the analysis results using the t-distribution random neighbor embedding method.

eddy current thermal imaging, deep residual network, attention mechanism, domain adaptation, local maximum mean discrepancy

TP391

A

1001-8891(2024)03-0347-07

2022-11-15；

2023-01-31.

張毅（1997-），男，四川眉山人，碩士研究生，主要從事渦流熱成像缺陷檢測(cè)、圖像處理。E-mail：1946552068@qq.com。

范玉剛（1973-），男，山東省威海市人，副教授，主要從事渦流熱成像檢測(cè)技術(shù)、圖像處理。E-mail：km72905566372@qq.com。

云南省科技廳項(xiàng)目（KKPT202203010）。