沈陽(yáng)工業(yè)大學(xué)信息科學(xué)與工程學(xué)院 岳明星 楊理踐 石 萌

1 引言

目前，管道焊縫和缺陷的識(shí)別方式主要通過(guò)管道漏磁內(nèi)檢測(cè)數(shù)據(jù)中的漏磁場(chǎng)徑向和軸向分量進(jìn)行數(shù)據(jù)圖像可視化，根據(jù)漏磁曲線特征進(jìn)行判定。在國(guó)內(nèi)，對(duì)于焊縫缺陷的智能識(shí)別領(lǐng)域，主要應(yīng)用的神經(jīng)網(wǎng)絡(luò)方法有支持向量機(jī)[1]、BP神經(jīng)網(wǎng)絡(luò)[2]、RBF神經(jīng)網(wǎng)絡(luò)等[3]；國(guó)外對(duì)于焊接缺陷數(shù)據(jù)進(jìn)行訓(xùn)練和識(shí)別主要應(yīng)用的方法為多層感知器神經(jīng)網(wǎng)絡(luò)[4]?；径际遣捎萌斯さ膱D像分割到目標(biāo)的特征提取，然后采用統(tǒng)計(jì)方法或淺層神經(jīng)網(wǎng)絡(luò)方法來(lái)實(shí)現(xiàn)目標(biāo)的分類(lèi)識(shí)別[5]。近年來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)算法的圖像分類(lèi)識(shí)別方法已經(jīng)廣泛的應(yīng)用于各種工程檢測(cè)領(lǐng)域。本文提出一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)于管道漏磁圖像進(jìn)行訓(xùn)練和識(shí)別，并在管道漏磁曲線圖像數(shù)據(jù)集上驗(yàn)證識(shí)別率。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)采用卷積核運(yùn)算對(duì)于輸入圖像進(jìn)行特征提取。該運(yùn)算方法在結(jié)構(gòu)設(shè)計(jì)上選擇局部連接，該設(shè)計(jì)類(lèi)似生物神經(jīng)網(wǎng)絡(luò)的稀疏連接的特性。一個(gè)卷積層中通常包含多個(gè)具有不同權(quán)值向量的特征圖，使得能夠在同一個(gè)位置獲得多種不同的特征圖[6]。完成對(duì)于圖像數(shù)據(jù)的特征深度提取和組合。

選取64*64像素的管道漏磁圖像，該尺寸能夠包含完整的焊縫特征并且有效減小冗余數(shù)據(jù)量?；贚eNet5卷積神經(jīng)網(wǎng)絡(luò)的5個(gè)隱含層加入了兩層局部歸一化響應(yīng)層，在輸出層中加入Softmax分類(lèi)器層，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示。

圖1 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)中，C1層為卷積層，是通過(guò)6個(gè)3*3的卷積核與輸入圖像進(jìn)行卷積運(yùn)算，得到6個(gè)60*60的特征圖，每個(gè)神經(jīng)元與輸入圖像中的3*3的鄰域相連。對(duì)于該層的訓(xùn)練參數(shù)為W1和b1。該卷積層數(shù)學(xué)表達(dá)式為：

其中，l表示輸入的圖像的數(shù)量，其中l(wèi)=6，輸入層經(jīng)過(guò)第一層3*3卷積核的卷積運(yùn)算之后輸出的圖像數(shù)據(jù)的映射圖大小為62*62像素。φ1表示第一層的激活函數(shù)。在每一個(gè)卷積層運(yùn)算結(jié)束后都要進(jìn)行激活操作，目的是抑制非特征區(qū)域，輸出映射特征圖。

S2層為池化層，采用最大池化操作（Maxpolling），池化半徑為2，主要完成對(duì)于卷積層的特征聚合提取。每個(gè)神經(jīng)元通過(guò)與C1層相對(duì)應(yīng)的2*2區(qū)域相連接，采樣輸出的特征圖大小為31*31像素，為C1層大小的1/4。該層無(wú)訓(xùn)練參數(shù)。數(shù)學(xué)表達(dá)式為：

L3和L6層為局部響應(yīng)歸一化層（Local Response Normalization）。加入該層的目的為完成對(duì)于數(shù)據(jù)歸一化。當(dāng)神經(jīng)網(wǎng)絡(luò)每批次訓(xùn)練數(shù)據(jù)的分布各不相同時(shí)，則卷積神經(jīng)網(wǎng)絡(luò)在每次迭代時(shí)都要去學(xué)習(xí)適應(yīng)不同的分布，訓(xùn)練速度將會(huì)降低[7]。當(dāng)對(duì)于數(shù)據(jù)進(jìn)行歸一化處理后，即使網(wǎng)絡(luò)在訓(xùn)練開(kāi)始的階段出現(xiàn)數(shù)據(jù)的分布各異性，歸一化后的數(shù)據(jù)分布也能降低訓(xùn)練誤差，提高訓(xùn)練速度。對(duì)于該層沒(méi)有訓(xùn)練參數(shù)。

C4層同樣為卷積層，該層增加10個(gè)卷積核對(duì)于S2層輸出圖像進(jìn)行卷積運(yùn)算，該層的輸出可得到16個(gè)28*28大小的特征圖，訓(xùn)練參數(shù)為W2和b2。數(shù)學(xué)表達(dá)式為：

S5層與S2層完成同樣的池化操作，即池化半徑為2，該網(wǎng)絡(luò)的層的輸出可到16個(gè)14*14的特征圖。對(duì)于該池化層的數(shù)學(xué)表達(dá)式為：

公式（4）中r5表示第5層的池化半徑，與S2層中的池化操作相同，即對(duì)于C4層做最大池化操作。經(jīng)過(guò)S5層的池化操作后輸出的特征圖大小為14*14像素。

F7層為全連接層，分為全連接1層和全連接2層，主要完成的功能即為把卷積核二維矩陣運(yùn)算的稀疏連接變?yōu)橐痪S數(shù)據(jù)向量的全連接方式。全連接層的數(shù)學(xué)表達(dá)式為：

對(duì)于分類(lèi)器（Softmax）的設(shè)計(jì)為：

公式（6）中，θ為管道漏磁數(shù)據(jù)集中目標(biāo)類(lèi)別，對(duì)于最后分類(lèi)器的最后輸出類(lèi)標(biāo)為：

分類(lèi)器輸出分類(lèi)目標(biāo)的依據(jù)即為對(duì)于待分類(lèi)目標(biāo)求得最大的概率，由公式7可知對(duì)于分類(lèi)概率求反運(yùn)算即可得分類(lèi)結(jié)果，最后將待分類(lèi)中概率最大的一類(lèi)輸出。

3 實(shí)驗(yàn)結(jié)果及分析

首先對(duì)于管道漏磁曲線圖像數(shù)據(jù)進(jìn)行判別分析。管道漏磁內(nèi)檢測(cè)數(shù)據(jù)通過(guò)高精度管道漏磁在線檢測(cè)系統(tǒng)形成管道漏磁曲線圖像[8]。對(duì)于無(wú)焊縫特征處的管道壁，漏磁曲線呈現(xiàn)出平滑的波線，對(duì)于管道的焊縫處則形成明顯的焊縫特征，如圖2所示。

圖2 管道焊縫曲線特征

如圖2中所示的管道漏磁圖像，建立基于卷積神經(jīng)網(wǎng)絡(luò)的管道漏磁曲線圖像數(shù)據(jù)集，該數(shù)據(jù)集分為兩個(gè)部分，即訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；數(shù)據(jù)集中的圖像一共包括3個(gè)分類(lèi)，管道無(wú)缺陷的漏磁曲線圖、環(huán)焊縫漏磁曲線和螺旋焊縫的漏磁曲線。每個(gè)類(lèi)的曲線圖分別為200張，大小為64*64像素。其中管道螺旋焊縫包含兩種特征曲線，因此本文所建立的漏磁曲線圖像訓(xùn)練數(shù)據(jù)集中一共包含600張圖像數(shù)據(jù)，分為3個(gè)標(biāo)簽。測(cè)試數(shù)據(jù)集中一共包含300張，其中每個(gè)類(lèi)別100張圖像。

基于深度學(xué)習(xí)平臺(tái)中實(shí)現(xiàn)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算，對(duì)于管道漏磁曲線圖像數(shù)據(jù)集進(jìn)行訓(xùn)練。如圖3所示為不同神經(jīng)網(wǎng)絡(luò)層級(jí)中的圖像訓(xùn)練結(jié)果。

圖3 不同卷積層中圖像訓(xùn)練結(jié)果

選取Φ720管徑的管道漏磁焊縫原始灰度圖作為卷積神經(jīng)網(wǎng)絡(luò)不同層級(jí)訓(xùn)練結(jié)果的實(shí)驗(yàn)觀測(cè)對(duì)象，從圖3中b圖可以看出第一個(gè)卷積層6個(gè)3*3的卷積核對(duì)于原始圖像中的特征圖之外的部分有明顯的濾波效果。在C4層中增加了10個(gè)卷積核后對(duì)于管道焊縫特征的深度提取效果較為明顯。在S5層中，經(jīng)過(guò)了2個(gè)卷積層和2個(gè)池化層后對(duì)于圖像中的非特征區(qū)域?qū)崿F(xiàn)了完全濾波的效果?？梢詫?duì)于管道漏磁圖像數(shù)據(jù)集執(zhí)行圖像的批量化訓(xùn)練過(guò)程。如圖4為不同參數(shù)情況下利用損失函數(shù)觀測(cè)到的訓(xùn)練過(guò)程。

圖4 不同參數(shù)下的損失函數(shù)收斂結(jié)果

深度學(xué)習(xí)平臺(tái)中損失函數(shù)的定義為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果與期望之間的誤差，在改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型中加入歸一化層之后，損失函數(shù)表達(dá)為損失率，作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果的監(jiān)測(cè)標(biāo)準(zhǔn)。其中，lr為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率，batch為每一批次訓(xùn)練所讀取的圖像數(shù)量，通過(guò)每一批次的訓(xùn)練，卷積神經(jīng)網(wǎng)絡(luò)模型通過(guò)不斷對(duì)于批次的讀取和訓(xùn)練完成對(duì)于權(quán)值連接矩陣和偏置矩陣的不斷更新。

由圖4中a所示，當(dāng)學(xué)習(xí)率為0.01，batch=16時(shí)神經(jīng)網(wǎng)絡(luò)未完全訓(xùn)練，圖b中將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率改為0.001后，損失率降低10%左右，c圖中，將圖像訓(xùn)練批次增加一倍，同時(shí)將學(xué)習(xí)速率減小為0.0001，相比b中，損失率下降了5%左右；在d圖中，通過(guò)將最大迭代步數(shù)設(shè)置為2000步時(shí)，神經(jīng)網(wǎng)絡(luò)損失率收斂在[1800,2000]步的區(qū)間之內(nèi)，神經(jīng)網(wǎng)絡(luò)的損失函數(shù)值收斂在[0.02,0.08]區(qū)間內(nèi)，滿足訓(xùn)練誤差。

當(dāng)損失率滿足誤差標(biāo)準(zhǔn)時(shí)，認(rèn)為神經(jīng)網(wǎng)絡(luò)訓(xùn)練達(dá)到最優(yōu)化。將訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型保存，然后在300張測(cè)試數(shù)據(jù)集上驗(yàn)證識(shí)別正確率，如表1所示為測(cè)試圖像集在訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型上的驗(yàn)證的正確率。

表1 測(cè)試數(shù)據(jù)集的平均識(shí)別正確率

由表中的識(shí)別正確率可知，該模型對(duì)于平滑漏磁曲線和特征較為明顯的管道螺旋焊縫的識(shí)別率高于環(huán)焊縫的93.25%平均識(shí)別率。驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)對(duì)于管道焊縫圖像批量化訓(xùn)練結(jié)果能夠應(yīng)用管道焊縫識(shí)別。較傳統(tǒng)的分類(lèi)的神經(jīng)網(wǎng)絡(luò)具有批量識(shí)別的優(yōu)勢(shì)。

4 結(jié)論

通過(guò)對(duì)于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的理論分析計(jì)算，基于深度學(xué)習(xí)平臺(tái)對(duì)于模型訓(xùn)練階段進(jìn)行觀測(cè)，驗(yàn)證了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在加入了歸一化層之后，能夠防止訓(xùn)練參數(shù)分布的各異性，有效的降低訓(xùn)練誤差。最終在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)了平均測(cè)試率為93%以上。驗(yàn)證了該卷積神經(jīng)網(wǎng)絡(luò)在處理批量訓(xùn)練數(shù)據(jù)上的優(yōu)勢(shì)，證明了該方法相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法有著廣闊的應(yīng)用前景。

[1]申清明,高建民,李成.焊縫缺陷類(lèi)型識(shí)別方法的研究[J].西安交通大學(xué)學(xué)報(bào),2010,44(7):100-103.

[2]金濤,闕沛文,陳天璐.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法的管道缺陷漏磁信號(hào)識(shí)別[J].上海交通大學(xué)學(xué)報(bào),2005(07):1140-1144.

[3]朱紅秀,劉歡,李宏遠(yuǎn).基于優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的管道缺陷量化分析方法[J].儀表技術(shù)與傳感器,2016(02):83-86.

[4]Limty,Ratnam,Khalidma.Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight,2007,49(3):154-159.

[5]余永維,殷國(guó)富,殷鷹.基于深度學(xué)習(xí)網(wǎng)絡(luò)的射線圖像缺陷識(shí)別方法[J].儀器儀表學(xué)報(bào),2014,39(9):135-143.

[6]Christian Szegedy,Wei Liu,Yangqing Jia.Going deeper with convolutions[J].arXiv:1409.4842v1 17 Sep 2014.

[7]Karen Simonyan,Andrew Zisserman,Very Deep Convolutional Networks for Large-Scale Image Recognition[J].arXiv:1409.1556v6[cs.CV]10 Apr 2015.

[8]楊理踐,邢燕好,高松巍.高精度管道漏磁在線檢測(cè)系統(tǒng)的研究[J].無(wú)損探傷,2005(01):20-22+41.