朱雪峰, 馮 早, 馬 軍, 范玉剛

(1.昆明理工大學(xué) 民航與航空學(xué)院,昆明 650500; 2.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650500)

隨著“智慧城市”、“海綿城市”建設(shè)的提出,排水管道系統(tǒng)呈現(xiàn)大型化、復(fù)雜化、智能化的發(fā)展趨勢(shì),管道排水系統(tǒng)是現(xiàn)代城市不可或缺的基礎(chǔ)設(shè)施[1]。為了避免管道與地面大型建筑物如高樓、鐵路、高速公路等產(chǎn)生共振造成物理性損傷,在大型建筑物下方多采用下沉式U型管道設(shè)計(jì)。U型管道由2段彎頭和3段直管組合而成,采用焊縫的方式將彎頭和直管進(jìn)行連接。由于U型管道深埋地下,其水平部分的直管比常規(guī)管道承受更大壓力,管壁易出現(xiàn)裂縫,直管和彎頭連接處更易發(fā)生破損形成泄漏。同時(shí),管道內(nèi)充滿(mǎn)介質(zhì)水平部分的直管水流速度慢易形成堵塞,降低管道使用壽命,影響管道安全運(yùn)行[2]。因此,埋地U型管道的缺陷識(shí)別是城市基礎(chǔ)設(shè)施維護(hù)的重點(diǎn)和難點(diǎn),對(duì)保證管道正常運(yùn)行的高效性與可靠性具有重要意義。

目前,低頻主動(dòng)聲波被廣泛應(yīng)用于流體管道缺陷檢測(cè)領(lǐng)域,其優(yōu)點(diǎn)是成本低、操作簡(jiǎn)單、檢測(cè)效率高且由于聲波在管道表面和內(nèi)部均有質(zhì)點(diǎn)振動(dòng),聲場(chǎng)遍及整個(gè)管道,對(duì)管道內(nèi)部、表面缺陷以及邊緣位置能夠?qū)崿F(xiàn)有效檢測(cè)[3-4]。然而,U型管道的缺陷呈現(xiàn)多源和多征兆的特點(diǎn),并且聲波在液體U型管道中傳播,沿傳播路徑的能量分布受管道內(nèi)外介質(zhì)類(lèi)型、傳播速度、管內(nèi)幾何環(huán)境和管道運(yùn)行條件等多因素影響,因此,導(dǎo)致采集得到的聲學(xué)振動(dòng)信號(hào)成分復(fù)雜,具有非平穩(wěn)、非線(xiàn)性和強(qiáng)衰減等特性。管道缺陷識(shí)別多采用“信號(hào)預(yù)處理+特征提取+構(gòu)造分類(lèi)器”的技術(shù)路線(xiàn)[5-7],常用機(jī)器學(xué)習(xí)算法準(zhǔn)確性依賴(lài)于特征的有效提取程度,無(wú)法提取有效非線(xiàn)性特征以及模型魯棒性不足都將導(dǎo)致識(shí)別模型的準(zhǔn)確率下降。

近年來(lái),深度學(xué)習(xí)在人工智能領(lǐng)域?qū)崿F(xiàn)了重大突破,已廣泛運(yùn)用于缺陷識(shí)別中,其通過(guò)堆疊多個(gè)非線(xiàn)性隱藏層的方式,實(shí)現(xiàn)了特征自提取與狀態(tài)分類(lèi)一體化,避免了對(duì)信號(hào)處理技術(shù)和人工特征選擇的依賴(lài)[8-9]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)具有獨(dú)特的卷積結(jié)構(gòu)、局部感受野、權(quán)值共享等特點(diǎn),對(duì)特征有強(qiáng)大的學(xué)習(xí)能力和較高的泛化能力,因此成為深度學(xué)習(xí)中應(yīng)用最廣的網(wǎng)絡(luò)架構(gòu),在缺陷識(shí)別中也應(yīng)用廣泛[10-12]。孫潔娣等[13]提出一種優(yōu)化卷積改進(jìn)稠密塊的輕量化神經(jīng)網(wǎng)絡(luò)用于管道泄漏孔徑識(shí)別。溫江濤等[14]采用壓縮感知與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的實(shí)現(xiàn)管道泄漏孔徑識(shí)別。寧方立等[15]將泄漏信號(hào)短時(shí)穩(wěn)定的窄帶線(xiàn)譜圖作為AlexNet網(wǎng)絡(luò)的輸入,實(shí)現(xiàn)輸氣管道閥門(mén)泄漏的識(shí)別。周倩倩等[16]利用CNN實(shí)現(xiàn)管道6種常見(jiàn)的狀態(tài)識(shí)別(裂縫、錯(cuò)口、障礙物、殘墻壩根、樹(shù)根和正常類(lèi)別),建立自動(dòng)檢測(cè)和評(píng)估排水管道缺陷的智能系統(tǒng)。李哲等[17]使用短時(shí)傅里葉變換計(jì)算去噪聲信號(hào)的時(shí)頻圖,將聲信號(hào)識(shí)別問(wèn)題轉(zhuǎn)化為圖像識(shí)別問(wèn)題,采樣卷積神經(jīng)網(wǎng)絡(luò)對(duì)管道泄漏聲學(xué)信號(hào)識(shí)別。聶維等[18]提出一種基于一維CNN和長(zhǎng)短期記憶(long short-term memory,LSTM)相結(jié)合的管道泄漏識(shí)別方法,實(shí)現(xiàn)對(duì)管道泄漏的檢測(cè)與識(shí)別。

上述的方法雖然功能強(qiáng)大且多樣化,但仍存在兩個(gè)不可忽視的弊端。一方面,將一維時(shí)域輸入信號(hào)轉(zhuǎn)換成圖片,轉(zhuǎn)換時(shí)會(huì)有更多的細(xì)節(jié)數(shù)據(jù)丟失,且模型訓(xùn)練耗時(shí)較長(zhǎng),且管道缺陷的特征從單一尺度中無(wú)法充分提取。聲學(xué)傳感器采集的管道運(yùn)行狀態(tài)振動(dòng)信號(hào)為時(shí)序性數(shù)據(jù),基于CNN的缺陷識(shí)別模型不能充分挖掘時(shí)序性數(shù)據(jù)的上下文相關(guān)性特征?；贚STM神經(jīng)網(wǎng)絡(luò)在缺陷識(shí)別任務(wù)中取得顯著成就,但同時(shí)忽略了訓(xùn)練時(shí)間長(zhǎng)。與此同時(shí),當(dāng)前模型未考慮不同特征的重要程度,在計(jì)算資源有限的條件下,如果網(wǎng)絡(luò)對(duì)所有特征視為同等重要可能造成資源的浪費(fèi),對(duì)分類(lèi)貢獻(xiàn)較大的特征被忽視,將會(huì)嚴(yán)重影響網(wǎng)絡(luò)的分類(lèi)性能。另一方面,經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的識(shí)別模型具有優(yōu)異的自動(dòng)特征提取和預(yù)測(cè)功能,能實(shí)現(xiàn)U型管道端到端的缺陷識(shí)別。然而,深度神經(jīng)網(wǎng)絡(luò)模型由于其內(nèi)在的黑盒原理,缺乏工程上的物理解釋性,對(duì)其內(nèi)部工作機(jī)制的解釋仍然面臨巨大挑戰(zhàn),可解釋性問(wèn)題已成為了研究界和工業(yè)界的前沿性熱點(diǎn)研究課題。

因此,提出一種多尺度卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短期記憶(multi-scale convolution neural network-long short-term memory,MSCNN-LSTM)和注意力機(jī)制的模型(MCLA)用于U型管道缺陷識(shí)別。通過(guò)MSCNN-LSTM特征提取層不僅能捕獲局部細(xì)粒度特征,而且能有效提取時(shí)間依賴(lài)性的粗粒度上下文特征,實(shí)現(xiàn)粗細(xì)粒度特征融合,全面刻畫(huà)U型管道缺陷的聲學(xué)特征。在此基礎(chǔ)之上引入注意力機(jī)制,根據(jù)不同特征對(duì)分類(lèi)結(jié)果影響的大小賦予不同的權(quán)重,達(dá)到提高分類(lèi)效果的目的。對(duì)于深度神經(jīng)網(wǎng)絡(luò)模型存在“黑箱”的問(wèn)題,采用Grad-CAM類(lèi)激活映射并結(jié)合管道結(jié)構(gòu)和聲學(xué)信號(hào),對(duì)其模型機(jī)理進(jìn)行了深入的研究和解釋。

1 理論與方法

1.1 MSCNN-LSTM特征提取層

CNN通過(guò)局部連接和共享權(quán)值的方式對(duì)輸入數(shù)據(jù)進(jìn)行卷積、池化運(yùn)算來(lái)提取局部特征。多尺度卷積神經(jīng)網(wǎng)絡(luò)是在卷積運(yùn)算中采用多種不同尺度的卷積核,實(shí)現(xiàn)對(duì)振動(dòng)信號(hào)多尺度特征的提取,融合更豐富的局部信息,充分利用信號(hào)內(nèi)部隱含信息[19]。

采用MSCNN神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)序信號(hào)進(jìn)行卷積操作。卷積的運(yùn)算過(guò)程為

(1)

池化層通過(guò)池化核對(duì)卷積層的輸出進(jìn)行降采樣操作,在保留原有主要特征的基礎(chǔ)上實(shí)現(xiàn)了降維參,同時(shí)使網(wǎng)絡(luò)結(jié)構(gòu)不易出現(xiàn)過(guò)擬合。池化層采用最大池化層,其數(shù)學(xué)表達(dá)式為

(2)

式中:ah(m,t)為第h層中第m個(gè)特征圖的第t個(gè)神經(jīng)元的激活值;g為池化區(qū)域的寬度;n為第n個(gè)池化核;ph(m,n)為相應(yīng)池化層的輸出。

將池化層輸出的特征輸入到特征聯(lián)合層進(jìn)行特征融合。為了提高模型的性能和魯棒性,使用批標(biāo)準(zhǔn)化層(batch normalization layer, BN)和使用線(xiàn)性整流激活函數(shù)(rectified linear unit, ReLU)作為激活函數(shù),其優(yōu)點(diǎn)是能夠增強(qiáng)網(wǎng)絡(luò)的非線(xiàn)性表示關(guān)系,產(chǎn)生較為稀疏的學(xué)習(xí)參數(shù)矩陣,在一定程度上降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度。因此,MSCNN特征提取模塊的輸出由式(3)計(jì)算得到

Y=f{g[c(bshort,bmidum,blong)]}

(3)

式中:卷積步長(zhǎng)等于d1,d2,d3的卷積核提取到的特征圖,經(jīng)過(guò)最大池化之后提取的特征分別使用bshort,bmidum,blong,表示對(duì)應(yīng)時(shí)間序列的短、中、長(zhǎng)期特征;c(·)為特征連接操作;g(·)為批量標(biāo)準(zhǔn)化操作;f(·)為使用ReLU激活函數(shù)計(jì)算的激活值。

利用MSCNN提取局部特征,狀態(tài)只能由前向后傳播,信息單向流動(dòng),MSCNN只考慮當(dāng)前輸入,忽略之前的信息。U型管道缺陷的形成通常是一個(gè)累積的過(guò)程(例如堵塞和泄漏形成),當(dāng)前時(shí)刻缺陷的發(fā)生一定程度上取決于前一時(shí)刻系統(tǒng)狀態(tài)的變化,捕獲時(shí)滯信息能提高對(duì)缺陷識(shí)別的性能。LSTM神經(jīng)網(wǎng)絡(luò)是一類(lèi)適用于處理時(shí)序信號(hào)的模型,能夠保留對(duì)輸入模式的記憶,解決循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)結(jié)構(gòu)存在的梯度消失問(wèn)題[20]。

信息數(shù)據(jù)的傳遞如下:由上一時(shí)刻的外部狀態(tài)Ht-1和當(dāng)前時(shí)刻的輸入xt開(kāi)始,根據(jù)式(4)～式(6)計(jì)算3個(gè)門(mén)狀態(tài),代入式(7)中得到候選狀態(tài)。再經(jīng)過(guò)遺忘門(mén)ft和輸入門(mén)i,更新記憶單元Ct。最后輸出門(mén)o結(jié)合更新后的記憶單元,代入式(8)得到外部狀態(tài)Ht的最終的輸出。

it=σ(Wi·[Ht-1,xt]+bi)

(4)

ft=σ(Wf·[Ht-1,xt]+bf)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

ot=σ(Wo·[Ht-1,xt]+bo)

(7)

Ct=ft?Ct-1+it?tanh(Wc·[Ht-1,xt]+bc)

(8)

Ht=ot?tanh(Ct)

(9)

式中:Wi,Wf,Wo,Wc分別為隱藏層到輸入門(mén)、遺忘門(mén)、輸出門(mén)與細(xì)胞狀態(tài)的權(quán)重矩陣;bi,bf,bo,bc分別為輸入門(mén)、遺忘門(mén)、輸出門(mén)與細(xì)胞狀態(tài)的偏置量;σ(·)為Sigmoid激活函數(shù);tanh(·)為雙曲正切函數(shù);?為兩個(gè)同矩陣中對(duì)應(yīng)元素相乘的運(yùn)算,稱(chēng)為Hadamard乘積。

1.2 注意力機(jī)制特征優(yōu)化層

當(dāng)U型管道存在缺陷時(shí),泄漏或堵塞對(duì)聲學(xué)信號(hào)反映在其傳播路徑和聲場(chǎng)分布上的變化呈現(xiàn)不同的特性,使得同種特征對(duì)管道不同類(lèi)型缺陷識(shí)別的價(jià)值并非完全相同。為了能從大量特征中篩選出更多需要關(guān)注的細(xì)節(jié)信息,忽略無(wú)關(guān)信息,引入注意力機(jī)制衡量特征的重要程度,通過(guò)賦予不同特征不同權(quán)重值的方式,改變模型對(duì)輸入特征的關(guān)注度,關(guān)注更具有判別力、更關(guān)鍵和更重要的特征,提高模型的識(shí)別準(zhǔn)確率,實(shí)現(xiàn)計(jì)算資源的高效分配[21]。

當(dāng)經(jīng)過(guò)LSTM提取的上下文向量為Ht,全局注意力每個(gè)時(shí)間步對(duì)應(yīng)的權(quán)重向量為at(s),其計(jì)算公式為

(10)

函數(shù)score計(jì)算每個(gè)特征向量與整個(gè)特征向量匹配得分為

(11)

式中,WT為可訓(xùn)練的權(quán)重矩陣。

(12)

ht=tanh(Wc[Ht;ht])

(13)

注意力機(jī)制特征優(yōu)化層主要實(shí)現(xiàn)對(duì)特征矩陣進(jìn)行權(quán)重參數(shù)優(yōu)化,得到更重要的特征矩陣將其輸入至分類(lèi)層,分類(lèi)層包括1個(gè)對(duì)注意力機(jī)制模塊的輸出結(jié)果進(jìn)行展平操作,成為一維序列形式的全連接層和1個(gè)實(shí)現(xiàn)預(yù)測(cè)目標(biāo)類(lèi)別輸出的Softmax分類(lèi)層。

1.3 Grad-CAM類(lèi)激活映射

為了能以視覺(jué)的方式呈現(xiàn)深度學(xué)習(xí)模型學(xué)習(xí)到的特征,尋找輸入變量、特征編碼及輸出結(jié)果之間的相關(guān)性,快速獲取對(duì)神經(jīng)網(wǎng)絡(luò)內(nèi)部特征和決策的理解,表征可視化是一種較為直接的理解深度神經(jīng)網(wǎng)絡(luò)的解釋方法。如圖1所示,采用類(lèi)激活圖來(lái)可視化神經(jīng)網(wǎng)絡(luò)重點(diǎn)激活區(qū)域與目標(biāo)類(lèi)別之間的聯(lián)系,通過(guò)對(duì)特征圖進(jìn)行通道級(jí)加權(quán)調(diào)整,生成與特定類(lèi)別最相關(guān)的區(qū)域類(lèi)激活圖,與特定類(lèi)別最相關(guān)的區(qū)域級(jí)特征用高亮的方式突出。采用基于梯度的Grad-CAM的類(lèi)激活映射(class activation mapping, CAM)[22],使用反向傳播求通道梯度均值作為通道權(quán)重,建立輸出與輸入的聯(lián)系,生成細(xì)粒度的、含有類(lèi)別區(qū)分性熱力圖。

圖1 類(lèi)激活圖角度的可解釋性Fig.1 Interpretability of the perspective of class activation map

其過(guò)程如下:

步驟1定義第k特征圖Ak對(duì)應(yīng)目標(biāo)類(lèi)別c的權(quán)重為

(14)

式中:求和元素為通道k內(nèi)部每個(gè)神經(jīng)元值的梯度;z為歸一化因子。

步驟2在求得目標(biāo)類(lèi)別對(duì)應(yīng)的特征圖權(quán)重后,將權(quán)重與對(duì)應(yīng)的特征圖進(jìn)行加權(quán)求和。通過(guò)ReLU激活函數(shù)獲得通過(guò)該神經(jīng)網(wǎng)絡(luò)的輸入樣本的類(lèi)激活圖,以消除其他類(lèi)別的影響。即

(15)

由于不同維度的信號(hào)經(jīng)過(guò)多層卷積后已經(jīng)和輸入信號(hào)的維度不一致,通過(guò)插值的方法使其維度和輸入信號(hào)的維度一致,作為熱力圖直接標(biāo)注在原始信號(hào)上,實(shí)現(xiàn)以視覺(jué)的方式標(biāo)注輸入與輸出的相關(guān)關(guān)系。

2 MSCNN-LSTM和注意力機(jī)制的U型管道缺陷模型

由于U型管道結(jié)構(gòu)復(fù)雜導(dǎo)致缺陷多源和多征兆,難以有效識(shí)別缺陷的問(wèn)題,提出一種基于MSCNN-LSTM和注意力機(jī)制的缺陷識(shí)別方法。該框架主要包括4個(gè)步驟:輸入層、MSCNN-LSTM特征提取層、注意力機(jī)制的特征優(yōu)化層、全連接和Softmax的缺陷識(shí)別層。具體描述如圖2所示。

圖2 MCLA識(shí)別模型框架結(jié)構(gòu)Fig.2 MCLA recognition model framework structure

輸入層:為了進(jìn)一步縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間,更快的收斂到最優(yōu)解,對(duì)每段一維的時(shí)域信號(hào)做線(xiàn)性歸一化處理,結(jié)果映射到[0,1],數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。

MSCNN-LSTM特征提取層:該部分由2個(gè)模塊組成,MSCNN模塊和LSTM模塊。其中,MSCNN模塊由3個(gè)一維卷積層、最大池化層、BN層組成。采用并行的方式,設(shè)置3種大小分別為5×5,3×3,1×1的卷積核,拓寬網(wǎng)絡(luò)的寬度,產(chǎn)生多個(gè)感受域提取時(shí)序信號(hào)在不同尺度的特征,形成多尺度特征。利用最大池化層降低數(shù)據(jù)復(fù)雜度,加快網(wǎng)絡(luò)的處理速度。將池化層輸出的特征輸入至BN層,提高模型的魯棒性。將并行的多尺度特征融合為一個(gè)向量作為L(zhǎng)STM的輸入。LSTM模塊由2層LSTM網(wǎng)絡(luò)構(gòu)成,由于LSTM獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)遺忘門(mén)、輸入門(mén)、輸出門(mén)的選擇過(guò)濾操作進(jìn)一步提取上下文特征。

注意力機(jī)制特征優(yōu)化層:將經(jīng)過(guò)MSCNN和LSTM層輸出的特征矩陣輸入到Softmax函數(shù)中,計(jì)算不同特征維度的各自權(quán)重系數(shù),將得到的權(quán)重系數(shù)與輸入特征進(jìn)行對(duì)應(yīng)元素相乘得到新的經(jīng)過(guò)權(quán)重分配的特征。特征越重要,其對(duì)應(yīng)的注意力機(jī)制模塊輸出值越接近1。通過(guò)數(shù)值的高低來(lái)體現(xiàn)特征的重要程度,完成更關(guān)鍵、更具判別性的特征辨別。

全連接和Softmax分類(lèi)層:該層通過(guò)1個(gè)全連接層和Softmax多分類(lèi)器實(shí)現(xiàn)管道缺陷識(shí)別的結(jié)果輸出該模型主要由3個(gè)卷積-最大池化-BN對(duì)、2個(gè)LSTM層、1個(gè)注意力機(jī)制層和1個(gè)全連接層組成。該模型的其他參數(shù)如表1所示。

表1 MCLA模型參數(shù)Tab.1 The details of MCLA

3 試驗(yàn)驗(yàn)證

3.1 聲學(xué)信號(hào)采集

試驗(yàn)平臺(tái)如圖3所示[23]。U型管道被安裝在一個(gè)由厚度12 mm膠合板制成的頂部開(kāi)口箱中,底部鋪設(shè)0.5 m細(xì)沙層固定管道。管道水平部分長(zhǎng)為4.2 m,高為2.0 m,直徑為0.45 m。在所有的試驗(yàn)過(guò)程中,U型管道周?chē)猩匙友诼?且管道中充滿(mǎn)清水,水位高為1.1 m。

圖3 U型管道試驗(yàn)平臺(tái)Fig.3 Experimental siphon constructed

聲學(xué)信號(hào)的數(shù)據(jù)采集平臺(tái)如圖4所示,試驗(yàn)員使用安裝WinMLS軟件的電腦控制聲卡產(chǎn)生頻率范圍為100～6 000 Hz正弦掃描信號(hào),驅(qū)動(dòng)安裝在管道的左側(cè)安裝了一個(gè)50 mm的K50WP揚(yáng)聲器,發(fā)射到U型管道中。并且,管道的左側(cè)安裝了一個(gè)水聽(tīng)器,其目的是檢測(cè)發(fā)射到管道中聲學(xué)信號(hào)的有效性。聲學(xué)信號(hào)在管道中傳播,被安裝在管道右側(cè)的3個(gè)不等距的25 mm的水聽(tīng)器組接收,采樣頻率為22 050 Hz。通過(guò)數(shù)據(jù)采集卡采集能夠反映管道相關(guān)運(yùn)行狀態(tài)的聲學(xué)信號(hào),通過(guò)8通道的高通濾波器,用于去除水聽(tīng)器H1～H3接收的信號(hào)中不必要的低頻機(jī)械噪聲,將采集的相關(guān)聲學(xué)信號(hào)上傳至計(jì)算機(jī)中存儲(chǔ)。

圖4 試驗(yàn)數(shù)據(jù)采集平臺(tái)簡(jiǎn)圖Fig.4 Schematic diagram of experimental data acquisition platform

3.2 數(shù)據(jù)說(shuō)明

為了模擬真實(shí)的試驗(yàn),共設(shè)計(jì)10種管道運(yùn)行狀態(tài),包括正常運(yùn)行狀態(tài),連接處破損狀態(tài),不同程度堵塞狀態(tài)和不同程度泄漏狀態(tài)。其中,管道泄漏的發(fā)展是循序漸進(jìn),首先出現(xiàn)細(xì)小裂紋,管壁上出現(xiàn)單一線(xiàn)性泄漏。當(dāng)管道承受的壓力增大且泄漏造成管道承載能力下降,單一泄漏發(fā)展為多個(gè)泄漏,管道內(nèi)部材料開(kāi)始出現(xiàn)起皮掉落。隨著外部壓力的持續(xù)增大,管道承載能力下載,管道材料出現(xiàn)大面積掉落,形成孔洞泄漏。

因此,如圖5(a)和圖5(b)所示,管壁泄漏試驗(yàn)設(shè)置為在U型管道水平部分的頂部進(jìn)行了人工切割,形成了4種不同的泄漏缺陷:①50 mm沿軸向泄漏;②100 mm沿軸向泄漏;③200mm沿軸向泄漏+150 mm橫向泄漏;④200 mm沿軸向泄漏+孔洞泄漏120 mm×70 mm。管道堵塞物質(zhì)的累積是一個(gè)漸進(jìn)的過(guò)程,如圖5(c)所示,為模擬管道堵塞狀態(tài)制備了10個(gè)5 kg的吸聲透明袋,并用細(xì)沙填充。1個(gè)沙袋的最大橫截面尺寸約為管道橫截面的20%,10個(gè)沙袋依次綁在一根9 m長(zhǎng)的繩子上,中間相隔300 mm,模擬沿軸向產(chǎn)生的不同程度的堵塞。試驗(yàn)設(shè)定1～3個(gè)沙袋為輕度堵塞狀態(tài),4～6個(gè)沙袋為中度堵塞狀態(tài),7～10個(gè)沙袋為重度堵塞狀態(tài)。U型管道由2段彎頭和3段直管組合而成,彎頭和直管的部分采用焊縫進(jìn)行連接。由于管道周?chē)寥缿?yīng)地形地質(zhì)影響容易出現(xiàn)疏松或濕陷等缺陷,造成直管和彎頭部分的接口處應(yīng)力增加,導(dǎo)致排水阻力加大增加泄漏風(fēng)險(xiǎn)。因此,如圖5(d)所示,管道焊接處破損試驗(yàn)設(shè)置為:管道焊接處人工切割出現(xiàn)裂縫。

圖5 U型管道4種典型缺陷Fig.5 Four typical defects of siphon

試驗(yàn)在U型管道充滿(mǎn)水的運(yùn)行狀態(tài)下對(duì)每種典型狀態(tài)的聲學(xué)信號(hào)進(jìn)行采集,包含正常運(yùn)行、管道焊縫處破損、堵塞和泄漏等10種類(lèi)別,如表2所示。每種典型狀態(tài)樣本數(shù)量為200組,每組22 050個(gè)數(shù)據(jù)點(diǎn),截取樣本長(zhǎng)度為2 205點(diǎn),采樣頻率為22 050 Hz,對(duì)應(yīng)聲波在管內(nèi)傳播時(shí)間為0.1s,按8∶2的比例將樣本集劃分為訓(xùn)練集和測(cè)試集。

表2 U型管道典型缺陷運(yùn)行狀態(tài)Tab.2 Typical defects in siphon

4 結(jié)果與分析

4.1 聲壓信號(hào)

分別選取管道4類(lèi)運(yùn)行狀態(tài)的一組樣本繪制聲壓圖,即正常運(yùn)行狀態(tài)、彎管焊接處出現(xiàn)裂縫、管內(nèi)包含1個(gè)堵塞物和管壁有50 mm軸向泄漏,其聲壓圖如6所示。

由圖6(a)可知,U型管道正常運(yùn)行的聲壓振幅明顯低于其他3類(lèi)運(yùn)行狀態(tài),且波形相對(duì)簡(jiǎn)單。由圖6(b)可知,U型管道焊縫處破損的振動(dòng)信號(hào)表現(xiàn)出近似周期性的特點(diǎn)并伴隨衰減。由圖6(c)和圖6(d)可知,管道堵塞和管道泄漏的振動(dòng)信號(hào)存在明顯的非線(xiàn)性,衰減特性,但聲壓波形在時(shí)域內(nèi)未體現(xiàn)明顯差異,無(wú)法區(qū)分管道是否出現(xiàn)堵塞或泄露的缺陷。因此,需要對(duì)聲壓信號(hào)進(jìn)行進(jìn)一步的分析與處理。

圖6 U型管道時(shí)域波形圖Fig.6 Time domain waveform of siphon

4.2 識(shí)別準(zhǔn)確率

在訓(xùn)練過(guò)程中,設(shè)置迭代次數(shù)為200,批次大小為32,將學(xué)習(xí)速率為0.001的RMSProp優(yōu)化器用于更新網(wǎng)絡(luò)參數(shù)。為驗(yàn)證提出的MCLA模型的識(shí)別效果,在同等試驗(yàn)環(huán)境下與以下基準(zhǔn)模型進(jìn)行8組對(duì)比試驗(yàn):模型9(MSCNN-LSTM-Attention)是提出的方法。對(duì)比方法包括:模型1～模型8,模型2、模型5和模型6是消融試驗(yàn)。模型1～模型8分別是CNN、MSCNN、MSCNN+GRU、MSCNN+RNN、MSCNN+LSTM、MSCNN+Attention、MSCNN+GRU+Attention、MSCNN+RNN+Attention。由于單獨(dú)用LSTM識(shí)別時(shí)間較長(zhǎng)。因此,消融試驗(yàn)沒(méi)有設(shè)計(jì)單獨(dú)使用LSTM。對(duì)每個(gè)模型的訓(xùn)練過(guò)程進(jìn)行探究,得出9種對(duì)比模型的識(shí)別準(zhǔn)確率圖和損失函數(shù)圖,如圖7所示。

圖7 不同模型的識(shí)別準(zhǔn)確率和損失值變化曲線(xiàn)Fig.7 Variation curve of accuracy and loss for different models

由圖7可知,隨著迭代次數(shù)增加,每個(gè)模型的準(zhǔn)確率逐漸上升,損失率平滑下降。相比較而言,提出的模型9不僅收斂速度更快,且曲線(xiàn)整體相對(duì)平緩,訓(xùn)練過(guò)程穩(wěn)定且準(zhǔn)確率高,且在后續(xù)的訓(xùn)練過(guò)程中一直處于領(lǐng)先優(yōu)勢(shì)。而MSCNN模型、MSCNN-Attention模型和MSCNN-LSTM曲線(xiàn)波動(dòng)較大,在第80個(gè)Epoch才開(kāi)始收斂。每種模型均進(jìn)行10次試驗(yàn),10次試驗(yàn)的平均準(zhǔn)確率和模型運(yùn)行時(shí)間如表3所示。

表3 不同模型的識(shí)別準(zhǔn)確率和運(yùn)行時(shí)間Tab.3 Accuracy and running time of different models

由表3可知,模型9的表現(xiàn)最優(yōu),識(shí)別準(zhǔn)確率高達(dá)98.44%,訓(xùn)練時(shí)間為266.92 s。其中,模型1和模型2是為了驗(yàn)證MSCNN提取局部特征的能力,對(duì)比模型1和模型2可知,模型2的識(shí)別準(zhǔn)確率高于模型1的識(shí)別準(zhǔn)確率,訓(xùn)練時(shí)間最短,說(shuō)明MSCNN采用并行的多尺度卷積模塊,產(chǎn)生多個(gè)感受域,不僅能更加有效提取信號(hào)的局部特征,還可以充分地利用計(jì)算機(jī)性能進(jìn)行加速運(yùn)算。為了驗(yàn)證LSTM更能有效捕獲時(shí)延信息,提取上下文特征,設(shè)置了RNN和GRU兩種算法的對(duì)比,模型3、模型4、模型5是一組對(duì)比試驗(yàn)。模型5的識(shí)別準(zhǔn)確率均高于模型3、模型4。試驗(yàn)結(jié)果表明:LSTM通過(guò)獨(dú)有的門(mén)控機(jī)制有效緩解梯度爆炸或消失的問(wèn)題,能有效地挖掘隱藏在不同位置的時(shí)序信號(hào)中上下文特征。為了驗(yàn)證注意力機(jī)制模塊的有效性,設(shè)置了模型6、模型7、模型8的對(duì)比試驗(yàn)。分別對(duì)比模型2和模型6、模型3和模型7以及模型4和模型8可知,在模型2、模型3、和模型4的基礎(chǔ)上增加注意力機(jī)制,模型的識(shí)別準(zhǔn)確率均提高,說(shuō)明注意力機(jī)制能有效優(yōu)化特征。

消融試驗(yàn)為模型2、模型5、模型6,模型2只使用MSCNN提取局部特征,既不使用LSTM也不使用注意力機(jī)制時(shí),10次試驗(yàn)的平均準(zhǔn)確度僅為87.55%。模型6是MSCNN+Attention的組合,在提取特征時(shí)只考慮了局部的關(guān)鍵信息,未考慮上下文信息,但是考慮了重要特征的貢獻(xiàn),識(shí)別準(zhǔn)確率提高至92.22%。模型5是MSCNN+LSTM組合提取特征,準(zhǔn)確率提高到94.22%。這是因?yàn)镸SCNN能有效提取局部關(guān)鍵信息,LSTM能有效提取上下文信息,但進(jìn)行分類(lèi)時(shí)認(rèn)為每個(gè)特征對(duì)最終的缺陷識(shí)別結(jié)果影響相同,沒(méi)有將注意力集中在更重要的缺陷特征上。而模型9在模型5的基礎(chǔ)上引入了注意力機(jī)制,通過(guò)計(jì)算注意力分值賦予每個(gè)缺陷特征不同權(quán)重,有效識(shí)別對(duì)分類(lèi)結(jié)果影響較大的缺陷特征。并且,未加入注意力機(jī)制,訓(xùn)練時(shí)間為254.11 s,僅僅只減少12.81 s,相對(duì)于精度提高而訓(xùn)練時(shí)間的增加是可以接受的。

綜上所示,模型9首先經(jīng)過(guò)前端MSCNN層,實(shí)現(xiàn)對(duì)管道缺陷重要細(xì)粒度局部特征的有效提取,再輸入至LSTM層中完成隱藏在時(shí)序規(guī)律的粗粒度序列特征挖掘,賦予每個(gè)缺陷特征不同權(quán)重,關(guān)注于具有判別力的特征,濾除冗余特征,提高模型的缺陷識(shí)別準(zhǔn)確率,實(shí)現(xiàn)計(jì)算資源的高效分配。

4.3 TSNE降維特征可視化

通過(guò)t-分布鄰域嵌入(t-distributed stochastic neighbor embedding, t-SNE)算法對(duì)模型在測(cè)試集上的預(yù)測(cè)進(jìn)行降維和可視化,使輸出的多維預(yù)測(cè)數(shù)據(jù)展現(xiàn)在二維空間上,其可視化圖如圖8所示。

圖8 U型管道10類(lèi)樣本的t-SNE降維可視化圖Fig.8 Visualization results of siphon ten types of samples by t-SNE

如圖8(a)～圖8(c)是不同卷積核的卷積層提取局部特征輸出可視化,經(jīng)過(guò)模型中MSCNN卷積層訓(xùn)練,特征已經(jīng)初步具有了一定的分布規(guī)律,且具有互補(bǔ)性。管道正常運(yùn)行,焊縫處連接破損和泄漏的特征基本已經(jīng)分離,不同類(lèi)型的缺陷已明顯可分。但是,不同程度的堵塞卻難以分離,如圖8中虛線(xiàn)圈所示,正常狀態(tài)和輕度堵塞狀態(tài)的特征比較相似。如圖8(d)～圖8(f)經(jīng)過(guò)LSTM層之后的特征輸出,不同程度地堵塞特征能實(shí)現(xiàn)基本分類(lèi)。這是因?yàn)閁型管道堵塞狀態(tài)的變化是一個(gè)漸進(jìn)的過(guò)程,LSTM層能充分挖掘時(shí)序性數(shù)據(jù)的上下文相關(guān)性,對(duì)時(shí)序性特征進(jìn)行充分提取。如圖8(g)所示,經(jīng)過(guò)注意力機(jī)制輸出層特征進(jìn)一步分離,并呈一定的流形分布。綜上,構(gòu)建的MCLA模型能夠從原始一維振動(dòng)聲學(xué)信號(hào)中提取出重要缺陷特征信息,并實(shí)現(xiàn)U型管道缺陷的準(zhǔn)確識(shí)別。

4.4 可解釋性探討

為探討MCLA模型在管道缺陷識(shí)別領(lǐng)域中對(duì)于一維振動(dòng)信號(hào)的可解釋性,采用Grad-CAM類(lèi)激活映射對(duì)其內(nèi)部機(jī)理進(jìn)行了深入的研究,并結(jié)合管道結(jié)構(gòu)進(jìn)行解釋。分別從網(wǎng)絡(luò)結(jié)構(gòu)和樣本角度展開(kāi)分析,其中從網(wǎng)絡(luò)角度即利用Grad-CAM標(biāo)出MSCNN、LSTM和Attention分別作用于振動(dòng)信號(hào)的哪些部分讓作出當(dāng)前的判斷。以熱力圖的形式對(duì)原始信號(hào)經(jīng)過(guò)MSCNN,LSTM和Attention后的激活情況進(jìn)行標(biāo)注,形成類(lèi)激活圖,描述該神經(jīng)網(wǎng)絡(luò)對(duì)于原始輸入樣本不同位置處的取值的激活程度。通過(guò)插值的方法將激活圖尺寸變換到原輸入圖像的尺寸大小,熱力圖的值對(duì)應(yīng)著神經(jīng)網(wǎng)絡(luò)不同層對(duì)此位置的激活程度,熱力圖直接標(biāo)注在原始信號(hào)上,實(shí)現(xiàn)以視覺(jué)的方式標(biāo)注輸入與輸出的相關(guān)關(guān)系。可視化結(jié)果如圖9所示,選取U型管道中有10個(gè)堵塞的樣本為例,其中圖中黑色曲線(xiàn)代表管道運(yùn)行狀態(tài)的時(shí)域信號(hào),豎向的陰影部分代表神經(jīng)網(wǎng)絡(luò)不同層對(duì)此位置的激活程度。

圖9 CAM不同層的可視化Fig.9 Visualization of different layers of CAM

由圖9(a)可知,MSCNN主要關(guān)注每個(gè)波峰和波谷的信號(hào),且都較為分散,說(shuō)明MSCNN通過(guò)設(shè)置不同大小的卷積核能有效地提取局部關(guān)鍵信息。然而,這些主要特征之間缺乏關(guān)聯(lián)使得僅基于MSCNN無(wú)法獲得對(duì)模型決策的有效解釋。由圖9(b)可知,LSTM從數(shù)據(jù)不同位置學(xué)習(xí)樣本隱藏特征,提取上下文語(yǔ)義信息。由圖9(c)可知,注意力機(jī)制通過(guò)設(shè)置不同的權(quán)重可以將注意力放到對(duì)最終結(jié)果影響較大的缺陷。綜上,提出的MCLA模型充分利用了MSCNN和LSTM提取特征的優(yōu)點(diǎn),采用LSTM從MSCNN提取出的顯著細(xì)粒度特征中,提取粗粒度特征,精細(xì)化處理各個(gè)維度特征的同時(shí),避免由于步長(zhǎng)過(guò)長(zhǎng)導(dǎo)致的記憶丟失和梯度彌散問(wèn)題。在此基礎(chǔ)之上引入注意力機(jī)制,根據(jù)不同特征對(duì)分類(lèi)結(jié)果影響的大小賦予不同的權(quán)重,特征在分類(lèi)任務(wù)中起到不同的作用,達(dá)到提高分類(lèi)效果的目的。這種體系結(jié)構(gòu)能夠捕獲提取有效特征的時(shí)間依賴(lài)性,實(shí)現(xiàn)粗細(xì)粒度特征融合,全面刻畫(huà)U型管道缺陷的特征。

從管道運(yùn)行狀態(tài)的信號(hào)樣本分析,選擇測(cè)試集中不同缺陷類(lèi)型的U型管道聲學(xué)信號(hào),通過(guò)Grad-CAM方法達(dá)到的缺陷可視化效果,圖10的結(jié)果展示了所提模型在識(shí)別U型管道不同類(lèi)缺陷的聲學(xué)信號(hào)時(shí)重點(diǎn)關(guān)注的位置信息。其中,類(lèi)激活圖采用COLORMAP_JET作為顏色映射,高激活區(qū)域顏色為深色,顏色越深代表了聲學(xué)信號(hào)重要的鑒別性特征的位置區(qū)域,如圖10所示。

圖10 不同缺陷的可視化圖Fig.10 Visualization of different defects

圖10(a)對(duì)應(yīng)管道正常運(yùn)行狀態(tài),波形相對(duì)簡(jiǎn)單,沒(méi)有明顯的沖擊峰值,網(wǎng)絡(luò)模型的關(guān)注區(qū)域分散在輸入樣本時(shí)域波形的大部分片段上,表明信號(hào)序列對(duì)于輸出的貢獻(xiàn)程度大部分基本相同,表明MCLA模型從振動(dòng)數(shù)據(jù)的整體信號(hào)中學(xué)習(xí)正常運(yùn)行狀態(tài)的特征。如圖10(b)所示,對(duì)于管道焊縫處的連接破損,MCLA模型對(duì)于輸入樣本激活程度較大的部分集中在信號(hào)采樣點(diǎn)數(shù)的250～750的強(qiáng)衰減區(qū)域間,該部分的信息對(duì)于網(wǎng)絡(luò)的分類(lèi)結(jié)果具有較高的權(quán)重,說(shuō)明該區(qū)域含有管道焊縫處連接破損特征較多的信息。對(duì)于該類(lèi)缺陷識(shí)別,模型重點(diǎn)關(guān)注信號(hào)的強(qiáng)衰減區(qū)域。如圖10(c)所示,MCLA模型的激活程度主要集中在采樣點(diǎn)數(shù)為1 250～2 000,說(shuō)明在信號(hào)沖擊峰值區(qū)域,則是管道泄漏狀態(tài)的重點(diǎn)關(guān)注區(qū)域。對(duì)于管道堵塞,圖10(d)顯示由于波形中后期的沖擊成分分布更為復(fù)雜,更難診斷,各個(gè)范圍的激活程度差異較大,難以直觀地解釋。但在采樣點(diǎn)數(shù)為1 000～1 200具有較大的激活程度,認(rèn)為該位置含有沖擊成分的可能性較大。綜上,MCLA模型在U型管道缺陷識(shí)別領(lǐng)域中對(duì)于樣本的分類(lèi)識(shí)別與人類(lèi)的認(rèn)知規(guī)律之間存在基本相似性,MCLA模型在缺陷識(shí)別應(yīng)用的工程合理性提供了參考和借鑒意義。

5 結(jié) 論

針對(duì)U型管道結(jié)構(gòu)復(fù)雜導(dǎo)致缺陷多源多征兆難以有效識(shí)別的問(wèn)題,提出一種基于MSCNN-LSTM的注意力機(jī)制U型管道缺陷識(shí)別方法。利用U型管道4類(lèi)運(yùn)行狀態(tài)的不同缺陷程度進(jìn)行多方面驗(yàn)證與測(cè)試,試驗(yàn)結(jié)果表明:

(1)該模型直接輸入原始振動(dòng)聲學(xué)信號(hào),實(shí)現(xiàn)U型管道“端到端”的缺陷識(shí)別,在保證識(shí)別精度的同時(shí)節(jié)省大量特征提取成本。MSCNN能有效提取聲學(xué)信號(hào)的重要細(xì)粒度局部特征,挖掘數(shù)據(jù)相互關(guān)聯(lián)的多維信息并從中剔除噪聲和不穩(wěn)定成分,將提取的多尺度局部特征輸入至LSTM網(wǎng)絡(luò)中,LSTM能有效提取信號(hào)中粗粒度的上下文特征,實(shí)現(xiàn)細(xì)粒度局部特征和粗粒度上下文特征的融合,全面刻畫(huà)U型管道缺陷的聲學(xué)特征。

(2)通過(guò)引入注意力機(jī)制,賦予提取特征不同的權(quán)重,濾除冗余特征,提高模型識(shí)別缺陷的能力,使模型更關(guān)注于最具類(lèi)別區(qū)分度的特征。

(3)通過(guò)t-SNE和Grad-CAM類(lèi)激活可視化方法分析了該模型的特征學(xué)習(xí)過(guò)程和缺陷分類(lèi)機(jī)理,進(jìn)一步解釋內(nèi)部特征的學(xué)習(xí)過(guò)程,研究決策與特征之間的關(guān)聯(lián)關(guān)系,中間層的知識(shí)與輸出預(yù)測(cè)之間關(guān)系,解釋輸入-輸出的關(guān)系。

目前,所提模型能有效識(shí)別U型管道的堵塞、泄漏及焊縫破損等缺陷。然而,該模型僅采用單一模態(tài)的聲信號(hào)特征進(jìn)行識(shí)別,所提模型的網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)均依人工選取或網(wǎng)格搜索技術(shù)的方式來(lái)確定。隨著自動(dòng)機(jī)器學(xué)習(xí)技術(shù)的興起,提供了一個(gè)可行的解決方案和思路。下一步將關(guān)注并深入研究基于自動(dòng)機(jī)器學(xué)習(xí)的智能缺陷網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)選取方法。