周益天，孔軍偉，張新良*

(1.舟山洋旺納新科技有限公司，浙江 舟山 316000；2.河南理工大學(xué) 電氣工程與自動化學(xué)院 河南省煤礦裝備智能檢測與控制重點(diǎn)實(shí)驗(yàn)室，河南 焦作 454003)

卷積神經(jīng)網(wǎng)絡(luò)可以同時(shí)利用目標(biāo)的低層次和高層次特征來完成目標(biāo)識別任務(wù)，非常適用于時(shí)序振動信號的軸承故障診斷研究[1-3]。Zhuang等[4]基于特征和時(shí)域數(shù)據(jù)之間分布概率的一致性，給出了一種用于多尺度聚合上下文的離散卷積，保證了在提取軸承故障特征時(shí)，不降低分辨率且得到了較好的預(yù)測性能。馮浩楠等[5]構(gòu)建了并行通道的一維卷積網(wǎng)絡(luò)，同時(shí)獲取軸承振動信號的時(shí)-頻域信息。實(shí)驗(yàn)結(jié)果證明，相比單通道的一維卷積神經(jīng)網(wǎng)絡(luò)，并行的模型具有更強(qiáng)的泛化能力，提高了特征信息的利用率。對于軸承故障診斷模型應(yīng)用時(shí)面臨的多工況和噪聲干擾的問題，Shenfield等[6]提出了一種結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)的RNN-WDCNN模型，用于診斷機(jī)械系統(tǒng)中重復(fù)出現(xiàn)的振動信號，采用寬卷積核捕獲時(shí)間序列的距離相關(guān)性，抑制輸入信號中的高頻噪聲。Chen等[7]使用不同尺寸卷積核，從原始數(shù)據(jù)中提取不同頻率的信號特征，利用長短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)識別故障類型，使模型對噪聲環(huán)境具有適應(yīng)性。Zhao等[8]使用軟閾值收縮函數(shù)實(shí)現(xiàn)深層網(wǎng)絡(luò)的非線性轉(zhuǎn)換，消除噪聲的相關(guān)特征，有效提高了高噪聲振動信號中識別故障特征的能力。

然而，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)診斷模型需要大量訓(xùn)練數(shù)據(jù)，且在結(jié)構(gòu)上其卷積層之后采用下采樣操作來降低參數(shù)量，對于含有噪聲的小樣本故障數(shù)據(jù)，往往會導(dǎo)致有效故障特征提取不完備，影響故障診斷精度[9]。膠囊網(wǎng)絡(luò)(Capsule Network,CapsNet)利用以膠囊形式體現(xiàn)的特征向量，通過線性組合生成預(yù)測向量，使用動態(tài)路由機(jī)制篩選與目標(biāo)最接近的預(yù)測輸出，摒棄了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的深層次結(jié)構(gòu)和池化層，因此非常適合小樣本學(xué)習(xí)，為基于圖像的故障診斷提供了新的研究思路[10-12]。Zhu等[13]使用短時(shí)傅里葉變換將軸承振動信號轉(zhuǎn)換為二維圖像，通過在初級膠囊層并聯(lián)多尺度卷積核實(shí)現(xiàn)特征擴(kuò)展，實(shí)驗(yàn)結(jié)果表明，該模型具有良好的泛化性能，可以適應(yīng)不同負(fù)載下的軸承故障診斷需求，且具有較高的運(yùn)行效率。為了彌補(bǔ)噪聲干擾造成的特征損失，Liang等[14]將門結(jié)構(gòu)和空洞卷積引入CapsNet網(wǎng)絡(luò)中，通過增強(qiáng)網(wǎng)絡(luò)的全局特征提取能力，抑制噪聲的影響。

本文考慮CapsNet處理小樣本數(shù)據(jù)集的優(yōu)勢，結(jié)合軸承故障診斷在實(shí)時(shí)性和抗噪性方面的應(yīng)用需求，通過擴(kuò)展多尺度故障特征和改進(jìn)數(shù)字膠囊迭代條件，提高模型的預(yù)測性能。

1 初級膠囊故障特征擴(kuò)展網(wǎng)絡(luò)

CapsNet將多組卷積層提取到的特征向量按通道、位置點(diǎn)索引，構(gòu)造用于數(shù)字膠囊故障診斷的初級膠囊，如圖1所示。因此，初級膠囊中故障特征的完備程度直接決定了整個(gè)故障診斷模型的預(yù)測精度，本文通過將通道內(nèi)約束改進(jìn)為通道內(nèi)-通道間混合約束，擴(kuò)展膠囊特征向量，為數(shù)字膠囊層預(yù)測網(wǎng)絡(luò)提供更完備的故障特征。

圖1 膠囊網(wǎng)絡(luò)軸承故障診斷模型

設(shè)初級膠囊層的輸入特征圖為F，大小為M×M×C，M為特征圖的寬度和高度，C為特征圖的通道數(shù)。通過并行c個(gè)多尺度通道的L個(gè)卷積塊，生成特征映射f為

f=[f1,f2,…,fi,…，fL]

(1)

式中：fi為每其中每個(gè)卷積塊的特征映射輸出，大小是N×N×c。初級膠囊u通過遍歷f中的特征圖fi的所有元素生成，可得：

u=[u1,u2,…，uj,…,uS]T

(2)

式中：S=N×N×L。每個(gè)初級膠囊元素uj描述為

u(i-1)N2+(m-1)N+n=Conc(fi(m,n))

(3)

式中：m=1,2,…，N；n=1,2,…，N；i=1,2,…，L；(m,n)為像素在fi中水平和垂直方向上的位置；函數(shù)Conc(·)實(shí)現(xiàn)將特征圖中的像素fi重排為向量形式。

同一通道內(nèi)的元素點(diǎn)組成的初級膠囊層內(nèi)約束為uI，即

(4)

(5)

不同通道間、相同位置特征元素組成的層間約束uC為

(6)

(7)

式中：mC=1,2,…，NC；nC=1,2,…，NC；jC=1,2,…，cC；l1=1,2,…，S1；i1=1,2,…，LC；uC大小為S1×cC。

初級膠囊由層內(nèi)-層間構(gòu)成的混合約束共同構(gòu)造：

u=uC?uI

(8)

層內(nèi)約束補(bǔ)充了網(wǎng)絡(luò)對目標(biāo)局部信息的提取，即以少數(shù)的層數(shù)，采用多維向量參與計(jì)算的方式，完成深層網(wǎng)絡(luò)提取目標(biāo)特征的任務(wù)。層間約束對目標(biāo)全局信息進(jìn)行補(bǔ)充，對于具有時(shí)序特征的故障數(shù)據(jù)，尤其在噪聲干擾下，網(wǎng)絡(luò)具有了更強(qiáng)的捕捉目標(biāo)全局特征的能力。

2 余弦相似度度量的數(shù)字膠囊層動態(tài)路由

對于CapsNet的故障分類實(shí)現(xiàn)，數(shù)字膠囊層輸出膠囊向量的方向描述預(yù)測的類別，向量的模值描述類別的概率。經(jīng)典的CapsNet以向量的內(nèi)積作為當(dāng)前膠囊向量和目標(biāo)膠囊的度量，會導(dǎo)致同一投影，有兩種不同方向和不同模值的向量與之對應(yīng)，如圖2所示。

圖2 向量投影示意圖

從圖2中可以看出，向量u1在向量v上的投影與向量u2在向量v上的投影所存在關(guān)系為

‖u1‖cos(u1,v)=‖u2‖cos(u2,v)

(9)

向量u1、u2與v的夾角不同，即cos(u1,v)≠cos(u2,v)。

若僅使用向量模值度量當(dāng)前預(yù)測膠囊和目標(biāo)膠囊的接近程度并作為動態(tài)路由的依據(jù)，面對足夠大的向量模值時(shí)，向量夾角余弦值貢獻(xiàn)度變小，此時(shí)判別器會將本不屬于同類別的u1、u2判定為同一類別，造成誤判。誤判會影響故障分類的準(zhǔn)確度，尤其在診斷模型處于收斂的平緩階段，導(dǎo)致模型訓(xùn)練過程出現(xiàn)振蕩。

為此，在數(shù)字膠囊層，使用向量的余弦相似度代替向量的內(nèi)積來描述膠囊向量的相似性，即

(10)

(11)

vj為目標(biāo)膠囊，其向量模表征故障類型存在的概率：

(12)

(13)

(14)

進(jìn)而，利用向量夾角作為衡量向量相似性的標(biāo)準(zhǔn)，并將其應(yīng)用到預(yù)測膠囊的迭代篩選依據(jù)中。數(shù)字膠囊層的動態(tài)路由過程描述為

(15)

3 膠囊網(wǎng)絡(luò)軸承故障診斷模型

帶有混合通道約束和余弦相似度迭代依據(jù)的軸承故障診斷模型iCapsNet如圖3所示。在CapsNet模型的卷積層，采用寬卷積核的空洞卷積與常規(guī)卷積，多尺度并聯(lián)提取特征。特征向量送至初級膠囊層構(gòu)造具有混合約束關(guān)系的初級膠囊，為數(shù)字膠囊層提供特征向量。膠囊的輸出通過轉(zhuǎn)換矩陣W加權(quán)后，以相同的向量維度拼接，在數(shù)字膠囊層動態(tài)路由到高維膠囊。路由過程通過余弦相似度描述預(yù)測膠囊和目標(biāo)膠囊的相似性，輸出每個(gè)數(shù)字膠囊向量的模值，判定輸入數(shù)據(jù)的類別。

圖3 iCapsNet診斷模型的網(wǎng)絡(luò)架構(gòu)

訓(xùn)練模型的損失函數(shù)定義為數(shù)字膠囊輸出標(biāo)簽與目標(biāo)實(shí)際標(biāo)簽偏差的泛函，即

λ(1-Tk)(max(0,‖vk‖-m-))2

(16)

式中：Lk為單個(gè)數(shù)字膠囊的邊緣損失，描述為預(yù)測準(zhǔn)確與預(yù)測不準(zhǔn)確的加權(quán)組合；λ為權(quán)重參數(shù)；Tk為標(biāo)簽系數(shù)，即

(17)

式中：函數(shù)label(·)為通過數(shù)字膠囊vk給出的預(yù)測輸出標(biāo)簽；符號“LABEL”為輸入樣本的實(shí)際標(biāo)簽。

因數(shù)字膠囊vk的模值‖vk‖為預(yù)測的概率，此處設(shè)置膠囊之間連接強(qiáng)度的上限和下限分別為m+和m-。在m-<‖vk‖m+以確保其屬于該故障類型；vk模值足夠小時(shí)，‖vk‖

4 實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

在凱斯西儲大學(xué)(Case Western Reserve University,CWRU)的軸承數(shù)據(jù)集中對提出的膠囊網(wǎng)絡(luò)軸承故障診斷模型的有效性進(jìn)行驗(yàn)證。實(shí)驗(yàn)使用PyThon 3.5編程語言和PyTorch深度學(xué)習(xí)框架編寫網(wǎng)絡(luò)模型代碼，并在Ubuntu 16.04操作系統(tǒng)、torch 1.2.0版本機(jī)器學(xué)習(xí)框架和帶有GTX 1080Ti×2 GPU的Intel i7-8700K CPU上進(jìn)行。

考慮到輸入尺寸的設(shè)置對網(wǎng)絡(luò)模型診斷的準(zhǔn)確性影響不大，以及目前用于故障診斷的網(wǎng)絡(luò)模型常用的輸入大小為32×32，在本文實(shí)驗(yàn)中選擇輸入大小為32×32，并通過實(shí)驗(yàn)確定網(wǎng)絡(luò)模型各層的參數(shù)，卷積核大小設(shè)置為23×23，空洞卷積核大小設(shè)置為13×13(空洞率為2)，CapsNet模型參數(shù)設(shè)置如表1所示。時(shí)序數(shù)據(jù)樣本長度為1024，將其重排為32×32的矩陣送入網(wǎng)絡(luò)模型，兩種卷積核大小分別設(shè)置為23×23和12×12(空洞率為2)，步長為1。特征提取網(wǎng)絡(luò)生成兩個(gè)分支特征圖，輸出通道數(shù)設(shè)置為128，即兩分支輸出特征圖大小均為10×10×128(M= 10和C= 128)。

表1 CapsNet模型參數(shù)設(shè)置

初級膠囊層中，特征圖的兩個(gè)分支進(jìn)行8組卷積，卷積核大小為4×4，步長為2，通道數(shù)為9，即產(chǎn)生的特征圖大小為4×4×9×8。遍歷特征圖的元素生成初級膠囊，其中層間約束初級膠囊大小為2×8×16×9，層內(nèi)約束的初級膠囊為2×8×8×16，維度為16。兩種初級膠囊的權(quán)重矩陣Wk1、Wk2大小分別設(shè)置為9×16、16×16。數(shù)字膠囊層輸出10個(gè)膠囊，即vk(k=1,2,…,10)，維度為16。利用式(16)描述的損失函數(shù)誤差反傳訓(xùn)練網(wǎng)絡(luò)模型。

4.2 實(shí)驗(yàn)過程與分析

在凱斯西儲大學(xué)軸承數(shù)據(jù)集中選擇10種故障類型進(jìn)行實(shí)驗(yàn)，包括正常軸承的振動信號、損傷尺寸分別為0.007、0.014和0.021的滾動體振動信號、發(fā)生內(nèi)圈(Inner Ring,IR)和外圈(Outer Ring,OR)故障的軸承振動信號。選取4600個(gè)矩陣樣本，其中3600個(gè)用于模型訓(xùn)練，每種故障類型對應(yīng)360個(gè)訓(xùn)練樣本；1000個(gè)用于模型測試，每種故障類型對應(yīng)100個(gè)測試樣本。

為了對比模型的故障診斷性能，實(shí)驗(yàn)中同時(shí)采用了常用的其他4種故障診斷模型,即CNN、ResNet18[15]、LSTM和經(jīng)典CapsNet[11],進(jìn)行了故障診斷實(shí)驗(yàn)。各個(gè)診斷模型的訓(xùn)練誤差變化曲線如圖4所示。

圖4 CWRU數(shù)據(jù)集上診斷模型的誤差損失曲線

卷積層空洞卷積的添加不僅可以作為補(bǔ)充提取特征，并且相比常規(guī)卷積核，其利用少量的參數(shù)，引導(dǎo)著模型向收斂方向?qū)W習(xí)；其次，采用余弦相似度作為路由的迭代依據(jù)，使模型更加客觀地、準(zhǔn)確地輸出高維數(shù)字膠囊。二者的結(jié)合，為模型決策提供了完備的特征向量。從實(shí)驗(yàn)結(jié)果來看，本文所提出的模型可在短時(shí)間內(nèi)收斂，且相對穩(wěn)定，克服了膠囊網(wǎng)絡(luò)在訓(xùn)練計(jì)算方面的不足。

從圖4中可以看出，CNN模型、LSTM模型、ResNet18模型分別在第12000次、22000次和27000次迭代訓(xùn)練后達(dá)到穩(wěn)定的訓(xùn)練損失，而經(jīng)典CapsNet模型及本文提出的iCapsNet在1000次迭代后達(dá)到穩(wěn)定，其網(wǎng)絡(luò)收斂能力具有突出優(yōu)勢。

所得5種軸承診斷模型在1000個(gè)測試樣本上的分類精度如圖5所示。可以看出，CNN在30個(gè)訓(xùn)練周期后達(dá)到穩(wěn)定值，分類精度約為97.2%；LSTM模型在60個(gè)訓(xùn)練周期后達(dá)到穩(wěn)定值，分類精度為99.2%；ResNet18模型預(yù)測精度曲線波動較大，在第100個(gè)訓(xùn)練周期時(shí)分類精度為99.1%。對比可見，基于膠囊網(wǎng)絡(luò)故障分類模型精度最高，精度值最穩(wěn)定。其中經(jīng)典CapsNet模型在15個(gè)訓(xùn)練周期后達(dá)到穩(wěn)定值，分類精度為99.5%；而iCapsNet在35個(gè)訓(xùn)練周期后達(dá)到穩(wěn)定值，分類精度為99.7%，所提出的iCapsNet診斷模型比其他4個(gè)模型具有更高的預(yù)測精度。

圖5 CWRU數(shù)據(jù)集上診斷模型的精度曲線圖

在測試數(shù)據(jù)中添加不同信噪比的噪聲信號，測試5種軸承診斷模型在噪聲環(huán)境下的預(yù)測能力，如表2所示。可以看出，隨著信噪比逐漸變小，原始軸承振動數(shù)據(jù)受干擾情況逐漸加重，上述5種診斷模型的分類精度都有所下降。其中，CNN模型在SNR<8 dB時(shí)，模型的故障分類能力近乎失效。從SNR= 10 dB到SNR=0 dB，其故障分類精度下降了55.1%。ResNet18模型的分類精度同樣下降明顯，在SNR=10 dB時(shí)，預(yù)測精度為52.7%，模型對噪聲干擾十分敏感，噪聲環(huán)境下泛化能力差。

表2 CWRU數(shù)據(jù)集不同信噪比下診斷模型精度

與之形成鮮明對比的是，經(jīng)典CapsNet模型以較淺的網(wǎng)絡(luò)層數(shù)，在信噪比4 dB的噪聲干擾下，仍達(dá)到了79.3%的分類精度，相比較于CNN模型和ResNet18模型，具有更好的泛化性。但是當(dāng)噪聲信號與振動信號能量相當(dāng)時(shí)，即SNR=0 dB的噪聲干擾情況下，精度下降至46.1%，失去故障分類能力。同等實(shí)驗(yàn)條件下，表現(xiàn)較好的是LSTM模型和本文所提出的iCapsNet模型。LSTM模型從SNR=10 dB到SNR=0 dB，模型的分類精度下降了17.7%，在信噪比為4 dB的時(shí)候精度仍保持在93%以上。而iCapsNet模型從SNR=10 dB到SNR=0 dB網(wǎng)絡(luò)的分類精度僅下降8.7%；其中，信噪比為0 dB的情況下，精度為90.9%，保持了較高的預(yù)測能力；信噪比為10 dB和8 dB下的分類精度分別為99.6%和99.4%，與無噪聲干擾下的分類精度99.7%相差無幾。綜上，在不同信噪比噪聲干擾情況下，iCapsNet故障診斷模型均顯示出了較高的故障預(yù)測精度，未出現(xiàn)預(yù)測性能失效的情況，模型對噪聲環(huán)境具有良好的泛化性能。

圖6為iCapsNet模型在不同信噪比下故障分類的混淆矩陣。同時(shí)，iCapsNet各故障類型的預(yù)測結(jié)果如表3所示。混淆矩陣包括10種軸承故障類型，每種類型100個(gè)測試樣本，直觀地給出了誤判的故障類型和誤判個(gè)數(shù)。

圖6 iCapsNet模型在不同信噪比下診斷結(jié)果混淆矩陣

表3 iCapsNet各故障類型預(yù)測表 單位：%

由圖6和表3可以看出，所提出的iCapsNet故障診斷模型可以有效地診斷10種故障狀態(tài)的存在，所產(chǎn)生的誤判僅存在于不同的故障類型中。當(dāng)噪聲影響較大時(shí)，可觀察到預(yù)測精度的下降主要出現(xiàn)在OR_014故障類型中，例如SNR=0 dB。

綜合5種模型在CWRU數(shù)據(jù)集上的診斷結(jié)果可以看出，ResNet18模型作為殘差網(wǎng)絡(luò)的代表，其網(wǎng)絡(luò)結(jié)構(gòu)中包括可用于篩選故障特征的注意力機(jī)制，因此，在一定程度上適用于噪聲條件下的故障診斷。CNN模型和CapsNet模型本質(zhì)上都是通過增加網(wǎng)絡(luò)的深度來增強(qiáng)故障特征的提取能力，進(jìn)而保證故障診斷模型的泛化性，因此這兩種模型的預(yù)測性能變化規(guī)律一致，但CapsNet模型由于本身的結(jié)構(gòu)特點(diǎn)，能夠以少量的隱藏層捕捉故障目標(biāo)特征，在故障診斷應(yīng)用中具有時(shí)效性優(yōu)勢。LSTM模型作為一種循環(huán)神經(jīng)網(wǎng)絡(luò)，其內(nèi)部含有具有記憶功能的門結(jié)構(gòu)，在樣本充足的條件下具有抑制噪聲的優(yōu)勢，但其模型訓(xùn)練依賴離散信號片段的時(shí)間序列或頻譜，忽略了局部片段的連接即準(zhǔn)周期性特性，因此在處理含有噪聲影響的故障診斷任務(wù)時(shí)，雖未出現(xiàn)模型失效的情況，但LSTM模型的預(yù)測性能不足以與其他4種網(wǎng)絡(luò)模型相比。與CNN、ResNet18、LSTM和經(jīng)典CapsNet模型相比，iCapsNet 模型表現(xiàn)出了更好的故障預(yù)測性能，模型對噪聲條件下的故障診斷具有良好的適應(yīng)性和泛化性能。

5 結(jié)束語

針對軸承故障診斷模型在噪聲環(huán)境泛化性方面的應(yīng)用需求，提出了一種基于混合通道約束特征擴(kuò)展的膠囊網(wǎng)絡(luò)診斷模型iCapsNet，用于噪聲干擾環(huán)境下的軸承故障診斷。在膠囊網(wǎng)絡(luò)的初級膠囊層采用通道內(nèi)-通道間混合約束，有效提取故障信號特征，為數(shù)字膠囊層提供更完備的特征向量。同時(shí)，采用余弦相似度度量預(yù)測膠囊和目標(biāo)膠囊的相似性，并作為迭代依據(jù)篩選預(yù)測膠囊，克服經(jīng)典CapsNet網(wǎng)絡(luò)動態(tài)路由機(jī)制中使用內(nèi)積相似度度量的不足，使得模型在噪聲干擾下仍能準(zhǔn)確地對軸承故障進(jìn)行決策分類。實(shí)驗(yàn)結(jié)果表明，提出的iCapsNet模型具有良好的抗噪聲能力和泛化性能。