蘭孝文，張學(xué)強(qiáng)，王少鋒，徐 光

（1.內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014010；2內(nèi)蒙古科技大學(xué)機(jī)械工程學(xué)院，內(nèi)蒙古 包頭 014010；3.包頭市特種設(shè)備檢驗(yàn)所，內(nèi)蒙古 包頭 014030）

1 引言

在一些火炮炮塔零件生產(chǎn)中，由于焊接工藝參數(shù)偏差、裝夾條件、材料表面狀況、操作人員等因素的影響。工件焊縫內(nèi)部可能出現(xiàn)肉眼無法發(fā)現(xiàn)的缺陷。導(dǎo)致火炮在實(shí)彈射擊時(shí)發(fā)生故障。從而造成人員的傷亡。傳統(tǒng)的工件焊縫檢測(cè)方法多為使用超生探傷儀生成缺陷圖譜，然后通過一些資歷老的工人來觀測(cè)，從而對(duì)缺陷類別來進(jìn)行分析。這樣得到的結(jié)果不僅耗時(shí)，而且失誤率較高，無法提出合適的預(yù)警信號(hào)。此時(shí)，就需要一種快速高效的分類方法。

隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人工智能領(lǐng)域的相關(guān)技術(shù)逐漸被研究人員所重視起來。深度學(xué)習(xí)作為人工智能領(lǐng)域的一個(gè)重要分支學(xué)科，一種能夠模擬人腦學(xué)習(xí)方式的學(xué)習(xí)算法，是目前最接近人類大腦的智能學(xué)習(xí)方法。使用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類是深度學(xué)習(xí)網(wǎng)絡(luò)中的一個(gè)重要的應(yīng)用。圖像智能分類技術(shù)源于上世紀(jì)40年代，由于當(dāng)時(shí)技術(shù)不先進(jìn)以及硬件設(shè)施不發(fā)達(dá)，圖像識(shí)別技術(shù)未得到快速發(fā)展。

直到上世紀(jì)90年代，人工神經(jīng)網(wǎng)絡(luò)與svm相結(jié)合，促進(jìn)了圖像智能分類技術(shù)的發(fā)展，圖像智能分類技術(shù)得以廣泛應(yīng)用，例如在人臉識(shí)別、車牌識(shí)別、物體目標(biāo)檢測(cè)等方面。針對(duì)超聲圖像圖譜分類，文獻(xiàn)［1］提出了基于遺傳算法優(yōu)化支持向量機(jī)的分類方法，對(duì)金屬工件中的夾渣、裂紋、孔洞缺陷進(jìn)行了分類。文獻(xiàn)［2］針對(duì)管道焊縫檢測(cè)中的超聲無損檢測(cè)信號(hào)，提出利用多層感知器神經(jīng)網(wǎng)絡(luò)來分類小波分析得到的緊湊的有限元向量，結(jié)果表明，頻率不變性處理技術(shù)和小波變換分析方法用于特征提取可以大大提高神經(jīng)網(wǎng)絡(luò)分類精度。文獻(xiàn)［3］提出了在紅外熱成像中使用神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蜂窩結(jié)構(gòu)中空氣、油和水等可降低材料性能的缺陷進(jìn)行分類，利用原始數(shù)據(jù)和熱成像信號(hào)重建系數(shù)對(duì)兩個(gè)多層、前饋NN模型進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明，使用系數(shù)作為特征的模型比使用原始數(shù)據(jù)的模型執(zhí)行得更好。文獻(xiàn)［4］提出了將自動(dòng)編碼器與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合用于超聲波焊縫缺陷分類，有效地去除超聲波焊縫缺陷信號(hào)中的噪聲，從而提高了人工智能深度學(xué)習(xí)分類器的缺陷分類精度。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是機(jī)器學(xué)習(xí)中的熱點(diǎn)，在圖像識(shí)別研究領(lǐng)域被廣泛的運(yùn)用。2012年，AlexNet［5］網(wǎng)絡(luò)在ImageNet圖像分類競(jìng)賽中獲得冠軍，標(biāo)志著深度學(xué)習(xí)的崛起.隨后幾年，GoogleNet［6］，VGGNet［7］，ResNet［8］等算法的迅速發(fā)展提升了圖像分類的精度，并成功應(yīng)用于車輛檢測(cè)、人臉識(shí)別、醫(yī)學(xué)圖像處理等多個(gè)領(lǐng)域。文獻(xiàn)［9］提出了使用深度卷積神經(jīng)網(wǎng)絡(luò)解決道路目標(biāo)識(shí)別問題，與傳統(tǒng)算法相比，省去了手工特征提取的過程，提高了網(wǎng)絡(luò)模型的泛化能力。有效地解決了道路目標(biāo)識(shí)別問題。文獻(xiàn)［10］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的垃圾圖像分類模型（Garbage Classification Network，GCNet），有效地提高垃圾識(shí)別精度。文獻(xiàn)［11］提出了將卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于含噪聲的超聲波信號(hào)分類，以提高焊縫缺陷的分類性能和適用性。

結(jié)果表明，CNN是健壯的，不需要特定的特征提取方法，即使對(duì)于噪聲信號(hào)，也具有相當(dāng)高的缺陷分類率。相較于醫(yī)學(xué)領(lǐng)域，工業(yè)生產(chǎn)領(lǐng)域?qū)τ贑NN的應(yīng)用相對(duì)較少，還遠(yuǎn)遠(yuǎn)不夠成熟，不夠完善。因此，我們?cè)谘芯渴褂镁矸e神經(jīng)網(wǎng)絡(luò)對(duì)于超聲相控陣圖譜智能分類時(shí)，可以借鑒一些醫(yī)學(xué)上較為先進(jìn)的方法。文獻(xiàn)［12］研究了深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在甲狀腺結(jié)節(jié)超聲圖像良惡性分類問題中的可行性，結(jié)果表明：深度學(xué)習(xí)CNNs可輔助診斷甲狀腺結(jié)節(jié)在超聲圖像上的良惡性，且效果良好。文獻(xiàn)［13］引入脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）算法，實(shí)現(xiàn)了膽囊結(jié)石超聲圖像全自動(dòng)分割。在膽囊結(jié)石圖像全自動(dòng)分割算法體系的建構(gòu)上，提出的改進(jìn)的圖像預(yù)處理Otsu 算法，能夠自動(dòng)確定預(yù)處理所需的圖像閾值。

針對(duì)不同類型膝關(guān)節(jié)疾病超聲圖像特征差異小的問題，文獻(xiàn)［14］提出了一種基于Resnet 粗糙分類和二次訓(xùn)練與圖形嵌入的混合算法。最后，實(shí)驗(yàn)表明，所提出的圖像分段框架比普通分段網(wǎng)絡(luò)的精度提高了10%。阿里達(dá)摩院AI團(tuán)隊(duì)［15］基于5000多新冠病毒肺炎病例的CT影像樣本數(shù)據(jù)，使用CNN卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練CT影像的識(shí)別網(wǎng)絡(luò)，學(xué)習(xí)訓(xùn)練樣本的病灶紋理。該技術(shù)可以在20s內(nèi)準(zhǔn)確地對(duì)新冠疑似案例CT影像做出判讀，分析結(jié)果準(zhǔn)確率達(dá)到96%，大幅提升診斷效率。

在上述背景下，這里主要針對(duì)工件焊縫內(nèi)部的氣孔、夾雜、未焊透等缺陷，結(jié)合超聲相控陣探傷儀掃描得到的檢測(cè)圖譜，提出使用基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)來對(duì)超聲相控陣圖譜進(jìn)行智能分類。

2 數(shù)據(jù)集的采集與處理

2.1 原始數(shù)據(jù)集構(gòu)建

實(shí)驗(yàn)原始數(shù)據(jù)是使用法國(guó)M2M臺(tái)式相控陣探傷儀對(duì)缺陷標(biāo)準(zhǔn)試塊中的氣孔、夾雜、未焊透等缺陷進(jìn)行聚焦掃查所生成的缺陷超聲圖像。原始圖像為彩色三通道圖像。超聲相控陣探傷儀以及缺陷試塊實(shí)物圖，如圖1所示。

圖1 超聲相控陣探傷儀及焊縫試塊Fig.1 Ultrasonic Phased Array Detector and Weld Test Block

2.2 數(shù)據(jù)增強(qiáng)

本次實(shí)驗(yàn)使用顏色隨機(jī)增強(qiáng)、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)對(duì)原始數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)處理。原始數(shù)據(jù)集包括3類不同的缺陷，共為1257張，如圖2所示。

圖2 各類缺陷圖片F(xiàn)ig.2 Pictures of Various Defects

將原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理后擴(kuò)充到原來的三倍，共有1257×3=3771張。避免了過擬合現(xiàn)象的出現(xiàn)。其中每類缺陷的具體數(shù)量，如表1所示。

表1 缺陷種類及數(shù)量Tab.1 Types and Quantity of Defects

2.3 數(shù)據(jù)預(yù)處理

為了使原始圖像轉(zhuǎn)化為卷積神經(jīng)網(wǎng)絡(luò)模型和算法所使用的形式，對(duì)原始圖像進(jìn)行了裁剪、歸一化等操作。截取的原始圖像數(shù)據(jù)中選擇包含完整缺陷區(qū)域且較為清晰的圖像，刪除原始數(shù)據(jù)中由雜波產(chǎn)生的超聲圖像。

3 實(shí)驗(yàn)平臺(tái)的搭建

3.1 實(shí)驗(yàn)平臺(tái)

本次實(shí)驗(yàn)在windows10系統(tǒng)下進(jìn)行，編程環(huán)境為python3.7，基于pytorch深度學(xué)習(xí)框架完成。硬件環(huán)境為CPU inter（R）Core（TM）i7 8700。內(nèi)存32GB，64位操作系統(tǒng)。

3.2 深度學(xué)習(xí)模型

這里使用的神經(jīng)網(wǎng)絡(luò)模型為Resnet-34網(wǎng)絡(luò)模型、MobileNetv2網(wǎng)絡(luò)模型以及Alexnet網(wǎng)絡(luò)模型。

3.2.1 Resnet-34網(wǎng)絡(luò)模型

Resnet-34是一種殘差網(wǎng)絡(luò)，在2015年ImageNet比賽classification任務(wù)上獲得第一名，相比于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)來說，殘差網(wǎng)絡(luò)更容易優(yōu)化，可以減輕網(wǎng)絡(luò)訓(xùn)練的難度。

由圖5可看出A2、A4的增加能使開發(fā)商建設(shè)普通房的概率的曲線斜率絕對(duì)值變大，即縮短被動(dòng)房的推廣過程。同樣條件下增加A4比增加同比例的A2能更快地加速降低無效概率的趨勢(shì)。減少A4會(huì)使得開發(fā)商建設(shè)普通房的概率下降的速率減緩，將會(huì)阻礙被動(dòng)房的推廣。開發(fā)商會(huì)根據(jù)政府激勵(lì)政策力度來決定開發(fā)被動(dòng)房的速度，政府對(duì)開發(fā)商的優(yōu)惠越大則開發(fā)商建設(shè)被動(dòng)房的意愿越高，加速了推廣的程度。

在檢測(cè)，分割，識(shí)別等領(lǐng)域里得到廣泛的應(yīng)用。它使用了一種叫作shortcut connection 的連接方式。ResNet 的網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。

圖3 ResNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network Structure of Resnet

它對(duì)每層的輸入做一個(gè)reference（X），無需學(xué)習(xí)上層網(wǎng)絡(luò)的整個(gè)輸出，而是學(xué)習(xí)上一個(gè)網(wǎng)絡(luò)輸出的殘差。這種殘差函數(shù)更容易優(yōu)化，能使網(wǎng)絡(luò)層數(shù)大大加深。上圖的resnet網(wǎng)絡(luò)殘差塊中含有兩層的網(wǎng)絡(luò)層數(shù)，如下表達(dá)式：（其中σ代表非線性函數(shù)ReLU）：

F=W2σ(W1x)

然后通過一個(gè)shortcut，和第二個(gè)ReLU，獲得輸出y。

y=F(x，{Wi}) +x

當(dāng)需要對(duì)輸入和輸出維數(shù)進(jìn)行變化時(shí)，或改變通道數(shù)目時(shí)，可以在shortcut時(shí)對(duì)x做一個(gè)線性變換Ws，如下式：

y=F(x，{Wi}+Wsx)

3.2.2 MobileNet-v2網(wǎng)絡(luò)模型

圖4 MobileNet-v2網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network Structure of Mobilenet-v2

MobileNet-v2 網(wǎng)絡(luò)使用shortcut 將輸入輸出相加，這點(diǎn)與Resnet-34網(wǎng)絡(luò)一致。但是它提取特征的形式與Resnet-34網(wǎng)絡(luò)的標(biāo)準(zhǔn)卷積方式不同，它始終使用DW卷積提取特征。

3.2.3 Alexnet網(wǎng)絡(luò)模型

Alexnet 網(wǎng)絡(luò)模型Hinton 和他的學(xué)生Alex Krizhevsky 提出，是2012年ImageNet競(jìng)賽冠軍獲得者，它首次在卷積神經(jīng)網(wǎng)絡(luò)中成功使用了ReLU、Dropout等函數(shù)。

3.3 遷移學(xué)習(xí)

雖然經(jīng)過數(shù)據(jù)增強(qiáng)之后的缺陷圖譜數(shù)據(jù)已經(jīng)達(dá)到3771張，但是對(duì)于神經(jīng)網(wǎng)絡(luò)來說是遠(yuǎn)遠(yuǎn)不夠的，考慮到缺陷圖譜數(shù)量較少的問題，這里使用了遷移學(xué)習(xí)的方法，將從Imagenet圖像數(shù)據(jù)集中學(xué)習(xí)到的模型遷移到焊縫缺陷分類的模型中。遷移學(xué)習(xí)方法不僅能有效地解決缺陷圖譜樣本數(shù)據(jù)量不足的問題，而且還能減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間，從而降低了訓(xùn)練網(wǎng)絡(luò)模型的難度。遷移學(xué)習(xí)示意圖，如圖5所示。Imagenet圖像數(shù)據(jù)集是世界上圖像識(shí)別領(lǐng)域公開的最大數(shù)據(jù)集，目前ImageNet中總共有14197122幅圖像，共包含27個(gè)大類，21841個(gè)小類。

圖5 遷移學(xué)習(xí)示意圖Fig.5 Schematic Diagram of Transfer Learning

所使用的遷移學(xué)習(xí)模型為三種神經(jīng)網(wǎng)絡(luò)官方的預(yù)訓(xùn)練模型，三種預(yù)訓(xùn)練模型全部是使用Image net數(shù)據(jù)集訓(xùn)練而來。然后使用所采集的數(shù)據(jù)集逐層對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)模型中的每一個(gè)節(jié)點(diǎn)的權(quán)重進(jìn)行微調(diào)。從而大大的降低了訓(xùn)練網(wǎng)絡(luò)模型的時(shí)間。

4 實(shí)驗(yàn)測(cè)試和實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)測(cè)試

在數(shù)據(jù)集隨機(jī)抽取了其中90%的數(shù)據(jù)作為訓(xùn)練集，10%的數(shù)據(jù)為測(cè)試集。分別使用Resnet-34網(wǎng)絡(luò)模型、MobileNet-v2網(wǎng)絡(luò)模型以及Alexnet網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行了六組實(shí)驗(yàn)，如表2所示。

表2 實(shí)驗(yàn)分組及各組配置信息Tab.2 Experimental Grouping and Configuration Information of Each Group

Resnet-34網(wǎng)絡(luò)在卷積層與全連接層所使用的激活函數(shù)為目前運(yùn)用比較廣泛、性能比較優(yōu)秀的ReLU函數(shù)，使得模型在低精度計(jì)算下具有更強(qiáng)的魯棒性；分類層使用的是softmax激活函數(shù)來對(duì)各類缺陷進(jìn)行分類；Batch_size（批尺寸）設(shè)置為16；dropout函數(shù)值設(shè)置為0.2；使用的優(yōu)化函數(shù)為Adam優(yōu)化函數(shù)；初始學(xué)習(xí)率設(shè)置為0.0001。第一組、第二組實(shí)驗(yàn)過程中的損失值及準(zhǔn)確率變化曲線，如圖6～圖7所示。

圖6 第一組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.6 Variation Curve of Training Loss and Accuracy of the First Group of Models

圖7 第二組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.7 Change Curve of Training Loss and Accuracy of the Second Group of Models

MobileNet-v2 網(wǎng)絡(luò)所使用的激活函數(shù)與Resnet-34 網(wǎng)絡(luò)相同，Batch_size（批尺寸）設(shè)置為16；dropout函數(shù)值設(shè)置為0.2。初始學(xué)習(xí)率設(shè)置為0.0001。第三組、第四組實(shí)驗(yàn)過程中的損失值及準(zhǔn)確率變化曲線，如圖8～圖9所示。

圖8 第三組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.8 Change Curve of Training Loss and Accuracy of the Third Group of Models

圖9 第四組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.9 Change Curve of Training Loss and Accuracy of the Fourth Group of Models

Alexnet網(wǎng)絡(luò)所采用的激活函數(shù)同樣與上述兩種網(wǎng)絡(luò)相同，Batch_size（批尺寸）設(shè)置為4；動(dòng)量系數(shù)設(shè)置0.9；學(xué)習(xí)率初始化為0.001，每隔5個(gè)epoch周期衰減0.1倍。第五組、第六組實(shí)驗(yàn)過程中的損失值及準(zhǔn)確率變化曲線，如圖10～圖11所示。

圖10 第五組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.10 Variation Curve of Training Loss and Accuracy of the Fifth Group Model

圖11 第六組模型訓(xùn)練損失值及準(zhǔn)確率變化曲線Fig.11 Variation Curve of Training Loss and Accuracy of the Sixth Group of Models

4.2 實(shí)驗(yàn)結(jié)果分析

通過繪制訓(xùn)練過程的損失函數(shù)和準(zhǔn)確率變化曲線可以得到以下信息：隨著迭代次數(shù)的增加，測(cè)試集的準(zhǔn)確率在訓(xùn)練時(shí)上下動(dòng)蕩，但是總體呈上升趨勢(shì)。而訓(xùn)練損失值在不斷的下降。各組的所達(dá)到的最高準(zhǔn)確率與最低損失值，如表3所示。

表3 各組最高準(zhǔn)確率及最低損失值Tab.3 Maximum Accuracy and Minimum Loss of Each Group

從表3中的數(shù)據(jù)可以看出，在加入遷移學(xué)習(xí)模型后，模型的收斂速度明顯增加，模型變得更加穩(wěn)定而且測(cè)試準(zhǔn)確率也比未加入遷移學(xué)習(xí)模型之前更高。

5 結(jié)語(yǔ)

針對(duì)工件焊縫缺陷圖譜智能分類的問題，提出使用基于遷移學(xué)習(xí)方法的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)焊縫缺陷圖譜的分類。對(duì)圖像經(jīng)過預(yù)處理及數(shù)據(jù)增強(qiáng)處理后，采用三種網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練學(xué)習(xí)，其中Resnet-34 網(wǎng)絡(luò)模型的最高準(zhǔn)確率可以達(dá)到98.6%。MobileNet-v2網(wǎng)絡(luò)模型的最高準(zhǔn)確率達(dá)到84.5%。Alexnet網(wǎng)絡(luò)模型的最高準(zhǔn)確率達(dá)到96.5%。

由實(shí)驗(yàn)結(jié)果可得知，該方法有效的實(shí)現(xiàn)了對(duì)各類工件焊縫缺陷圖譜的分類，分類的速度也遠(yuǎn)比人工分類的速度要快。有效的解決了傳統(tǒng)工件焊縫缺陷分類方法準(zhǔn)確率低、速度慢的問題，但是從長(zhǎng)遠(yuǎn)來看，還是有很多不足之處，比如缺陷圖譜樣本少、網(wǎng)絡(luò)的泛化能力還不夠強(qiáng)。未來可以通過采集更多的焊縫缺陷圖譜或者進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型來使分類模型更加的穩(wěn)定、高效。