李秋婷,王秀青,2,解飛,楊云鵬,杜文霞

(1.河北師范大學(xué) a.計算機與網(wǎng)絡(luò)空間安全學(xué)院;b.中燃工學(xué)院,石家莊 050024;2.河北省網(wǎng)絡(luò)與信息安全重點實驗室,石家莊 050024)

旋轉(zhuǎn)機械廣泛應(yīng)用于航空航天、船舶、汽車、機械制造等領(lǐng)域,滾動軸承是旋轉(zhuǎn)機械中的關(guān)鍵、易損部件,在惡劣的工作環(huán)境和交變載荷下容易發(fā)生故障。滾動軸承故障診斷是保障旋轉(zhuǎn)機械系統(tǒng)正常運行的重要環(huán)節(jié),實際應(yīng)用中迫切需要高精度、高穩(wěn)定性的滾動軸承故障診斷方法[1]。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)采用多層卷積的方式提取特征,并在挖掘數(shù)據(jù)的深層特征表示方面具有獨特優(yōu)勢,可解決傳統(tǒng)方法中特征提取繁瑣和不同故障特征間的耦合問題,經(jīng)典模型有LeNet-5,GoogleNet,殘差網(wǎng)絡(luò)(ResNet)等[2]。長短期記憶網(wǎng)絡(luò)(Long and Short Term Memory,LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的變體,可解決RNN收斂困難和梯度消失問題[3]。注意力機制在圖像處理領(lǐng)域取得了較好效果,也被推廣應(yīng)用于故障診斷領(lǐng)域,文獻(xiàn)[4]提出了基于多重注意力-卷積神經(jīng)網(wǎng)絡(luò)-雙向門控循環(huán)單元的機械故障診斷方法,在CNN中加入卷積注意力模塊(Convolutional Block Attention Module,CBAM)進(jìn)一步加強模型對關(guān)鍵信息的提取能力,結(jié)果表明該方法的故障診斷性能優(yōu)于一維CNN。

很多學(xué)者對滾動軸承故障診斷方法進(jìn)行了研究:文獻(xiàn)[5]提出了小波包能量與CNN相結(jié)合的滾動軸承故障診斷方法,有效提高了卷積神經(jīng)網(wǎng)絡(luò)的故障識別準(zhǔn)確率;文獻(xiàn)[6]提出了基于AlexNet和極限學(xué)習(xí)機(ELM)的軸承故障診斷方法,獲得了較高的分類精度和較短的訓(xùn)練時間;文獻(xiàn)[7]提出了基于離散小波變換-多尺度模糊熵與最小二乘支持向量機(LSSVM)的滾動軸承故障診斷方法并驗證了其可行性;文獻(xiàn)[8]提出了基于奇異譜分解和2層支持向量機的故障診斷方法并成功完成滾動軸承故障診斷工作。

雖然許多傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)方法已能夠完成滾動軸承故障診斷任務(wù),但實際生產(chǎn)中仍迫切需要更高精度、更佳穩(wěn)定性的滾動軸承故障診斷方法,以最大限度地降低故障造成的損失。注意力機制可以有效增強數(shù)據(jù)重要特征的關(guān)注度并減弱不重要特征的關(guān)注度,有助于提高模型的故障診斷精度。以自注意力機制[9]為核心的Transformer模型在圖像分類[10]、醫(yī)學(xué)圖像分割[11]、句子生成[12]、機器翻譯[13]等方面得以成功應(yīng)用。因此,本文基于注意力機制和Transformer模型,提出2種數(shù)據(jù)驅(qū)動的滾動軸承故障診斷方法:1)基于CAR模型的滾動軸承故障診斷方法,將注意力機制與殘差網(wǎng)絡(luò)相結(jié)合,提取滾動軸承振動信號中的重要特征,避免梯度消失或爆炸現(xiàn)象,從而有利于模型的訓(xùn)練;2)基于Transformer模型的滾動軸承故障診斷方法,使用Vision Transformer編碼器對軸承振動信號進(jìn)行處理并提取內(nèi)部相關(guān)性,僅使用該編碼器即可完成有效的特征提取,提高模型故障診斷精度。

1 相關(guān)理論及方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)包含卷積層、池化層和全連接層這3個主要層結(jié)構(gòu),通過堆疊形成完整的網(wǎng)絡(luò):處于核心地位的卷積層用于特征提取;池化層用于數(shù)據(jù)壓縮,降低決策成本,可以減少網(wǎng)絡(luò)中的參數(shù)量并有效控制過擬合;卷積層與池化層配合使用具有局部連接、權(quán)值共享和空間池化的特點,使得卷積神經(jīng)網(wǎng)絡(luò)具有比其他網(wǎng)絡(luò)更深的特征提取能力[14];經(jīng)過一系列卷積和池化操作后將提取特征輸入全連接層,得到整個網(wǎng)絡(luò)的輸出結(jié)果,如圖1所示。

(a) 卷積

1.2 殘差網(wǎng)絡(luò)

隨著深度卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增多,可采用ResNet網(wǎng)絡(luò)避免出現(xiàn)梯度消失或爆炸現(xiàn)象[15]。ResNet的一種快捷連接如圖2所示,該網(wǎng)絡(luò)層的輸入為X,堆疊的非線性層映射為F(X),輸出為H(X)=F(X)+X。當(dāng)H(X)近似為X時,這組堆疊的網(wǎng)絡(luò)層可看作一個恒等映射,則F(X)=H(X)-X,F(X)即殘差函數(shù)。在神經(jīng)網(wǎng)絡(luò)中添加若干恒等映射,可增加網(wǎng)絡(luò)深度但不會導(dǎo)致網(wǎng)絡(luò)退化。

圖2 殘差函數(shù)

1.3 卷積注意力模塊

CBAM的原理如圖3所示,特征圖1為卷積的輸出,通道注意力模塊用于捕捉特征圖各通道之間的聯(lián)系,空間注意力模塊則用于捕捉特征圖空間區(qū)域之間的聯(lián)系,可表示為

圖3 CBAM原理

F′=MC(F)?F,

(1)

F″=MS(F′)?F′,

(2)

(3)

(4)

式中:Cconv為核尺寸為7×7的卷積操作。

1.4 Vision Transformer

標(biāo)準(zhǔn)Transformer接收一維標(biāo)記嵌入序列作為輸入。為處理二維圖像,Vision Transformer將圖像x∈RH×W×C重塑為一系列扁平的二維圖塊xp∈RN×(P2×C)。其中,(H,W)為原始圖像的分辨率,C為通道數(shù),(P,P)為每個圖塊的分辨率,N為圖塊的數(shù)量,N=HW/P2。

Vision Transformer在其所有層中使用恒定的潛在向量大小D(D=P2×C),因此將圖像展平成二維圖塊并線性映射到D維,可表示為

(5)

(6)

Vision Transformer編碼器由l(l=1,…,L)個多頭自注意力和多層感知器的交替層組成,在每個塊之前應(yīng)用層歸一化(NLN),即

(7)

(8)

標(biāo)準(zhǔn)qkυ自注意力(Self-Attention,SA)是神經(jīng)架構(gòu)的流行構(gòu)建塊。q,k,υ均由輸入序列得到,即

[q,k,υ]=zUqkυ;Uqkυ∈RD×D,

(9)

其中,q和k充當(dāng)匹配和被匹配向量,計算其相似性A并應(yīng)用于υ可得

(10)

sSSA(z)=Aυ。

(11)

多頭注意力(Multiheaded Self-Attention,MSA)是SA的擴展,通過并行k個SA操作并將其輸出拼接進(jìn)行線性學(xué)習(xí)以得到多頭注意力結(jié)果,即

SMSA(z)=[SSA1(z);SSA2(z);…;

SSAk(z)]UMSA;UMSA∈RkDh×D。

(12)

2 基于注意力機制和數(shù)據(jù)驅(qū)動的滾動軸承故障診斷模型

2.1 試驗數(shù)據(jù)及其預(yù)處理

本文采用CWRU和江南大學(xué)滾動軸承故障數(shù)據(jù)進(jìn)行研究。

CWRU數(shù)據(jù)集[16]中的試驗軸承為驅(qū)動端的SKF 6205深溝球軸承,由驅(qū)動端軸承座上方的加速度傳感器以48,12 kHz的采樣頻率采集在0,1,2,3 hp工況(對應(yīng)轉(zhuǎn)速分別為1 797,1 772,1 750,1 730 r/min)下的滾動軸承振動信號,共得到8個樣本集。每個樣本集中包含9 800個樣本,涉及9種故障工況和1種正常工況,具體的數(shù)據(jù)描述見表1(以48 kHz+0 hp為例,其他樣本集與其類似)。

表1 CWRU(48 kHz+0 hp)軸承數(shù)據(jù)集描述

江南大學(xué)軸承數(shù)據(jù)集的試驗軸承為NU205,內(nèi)、外圈及滾動體上的缺陷尺寸(寬×深)均為0.25 mm×0.30 mm,通過PCB MA352A60型加速度傳感器以50 kHz的采樣頻率采集在600,800,1 000 r/min下的滾動軸承振動信號[17],共得到3個樣本集,每個樣本集中包含3 920個樣本,涉及3種故障工況(滾動體故障、內(nèi)圈故障、外圈故障)和1種正常工況,具體的數(shù)據(jù)描述見表2(以600 r/min為例,其他樣本集與其類似)。

表2 江南大學(xué)軸承數(shù)據(jù)集描述(600 r/min)

軸承數(shù)據(jù)輸入診斷模型前先進(jìn)行量綱一化處理,即

(13)

式中:x為傳感器測量值;xmax為最大測量值;xmin為最小測量值。

2.2 基于CAR的滾動軸承故障診斷模型

基于CAR的滾動軸承故障診斷模型總體結(jié)構(gòu)如圖4所示,包括特征學(xué)習(xí)器和分類器2個部分,具體診斷步驟為:1)將預(yù)處理后的一維向量輸入二維卷積神經(jīng)網(wǎng)絡(luò),根據(jù)經(jīng)驗將1×864維傳感向量轉(zhuǎn)換為24×36維向量輸入CAR模型;2)在特征學(xué)習(xí)器中進(jìn)行2次自主特征提取操作(自主特征提取模塊1,2操作過程相同),具體過程為卷積層→批處理層→ReLU→CBAM→最大池化層→殘差塊;3)將提取的特征送到分類器(全連接層→Softmax分類器),輸出故障診斷類別。

圖4 基于CAR的滾動軸承故障診斷模型總體結(jié)構(gòu)

所設(shè)計的CAR模型結(jié)構(gòu)將卷積神經(jīng)網(wǎng)絡(luò)、卷積注意力模塊、殘差網(wǎng)絡(luò)有效結(jié)合,以高精度、高穩(wěn)定性進(jìn)行滾動軸承故障診斷工作:首先,使用卷積層進(jìn)行滾動軸承故障特征提取,使用批處理(BN)層將提取后的特征進(jìn)行歸一化以提高網(wǎng)絡(luò)穩(wěn)定性,使用ReLU激活函數(shù)增加非線性使網(wǎng)絡(luò)能夠更好地解決復(fù)雜問題;然后,對特征添加CBAM注意力機制,使網(wǎng)絡(luò)可以增強重要特征的關(guān)注度并減弱不重要特征的關(guān)注度,并對添加注意力機制后的特征進(jìn)行池化操作以減少參數(shù)量并有效控制過擬合;最后,引入ResNet避免梯度消失或爆炸現(xiàn)象發(fā)生。

2.3 基于Transformer的滾動軸承故障診斷模型

基于Transformer的滾動軸承故障診斷模型總體結(jié)構(gòu)如圖5所示,具體診斷步驟為:1)將預(yù)處理后的1×864維傳感向量轉(zhuǎn)換為24×36維,以使Transformer更好地應(yīng)用于滾動軸承故障診斷領(lǐng)域;2)將轉(zhuǎn)換后的24×36維向量進(jìn)行展平、線性映射、添加分類標(biāo)記,進(jìn)行位置編碼并完成序列化;3)序列化后輸入Transformer模型,通過歸一化→多頭注意力機制→歸一化→多層感知器完成特征學(xué)習(xí);4)將學(xué)習(xí)到的類嵌入通過全連接層,Softmax分類器完成分類,得到故障診斷類別。

圖5 基于Transformer的滾動軸承故障診斷模型總體結(jié)構(gòu)

基于Transformer的滾動軸承故障診斷方法將層歸一化、多頭注意力、多層感知器和殘差連接有效結(jié)合,通過自注意力捕捉數(shù)據(jù)特征之間的依賴關(guān)系,使用多頭注意力機制更好地挖掘滾動軸承故障特征與故障工況之間的關(guān)系,從而使得Transformer方法能夠高精度、高穩(wěn)定性地完成滾動軸承故障診斷工作。

2.4 損失函數(shù)

基于CAR和基于Transformer的滾動軸承故障診斷模型依據(jù)特征診斷工況,屬于監(jiān)督學(xué)習(xí)中的分類問題,因此選用交叉熵作為損失函數(shù)[18]。

交叉熵主要用于計算實際輸出(概率)與期望輸出(概率)的距離,其值越小,表明診斷結(jié)果越接近真實結(jié)果,交叉熵可表示為

(14)

式中:xi為第i個樣本;n為樣本總數(shù);p(xi)為實際輸出;q(xi)為期望輸出。

2.5 優(yōu)化算法

基于CAR和基于Transformer的滾動軸承故障診斷模型均使用Adam作為優(yōu)化算法。Adam算法利用梯度的一、二階矩估計動態(tài)修正各個參數(shù)的訓(xùn)練步長[19],其更新規(guī)則為

(15)

3 試驗分析

利用深度學(xué)習(xí)框架PyTorch,在4個CPU和2個GPU的集群環(huán)境下針對CWRU和江南大學(xué)滾動軸承數(shù)據(jù)進(jìn)行故障診斷,訓(xùn)練集和測試集的劃分比例為7:3,為測試所提模型對滾動軸承故障診斷的準(zhǔn)確性和穩(wěn)定性,每組試驗進(jìn)行20次。試驗流程如圖6所示,CAR模型和Transformer模型的參數(shù)信息分別見表3、表4。

表3 CAR模型的參數(shù)設(shè)置

表4 Transformer模型的參數(shù)設(shè)置

圖6 基于CAR模型和Transformer模型的滾動軸承故障診斷流程圖

3.1 CAR模型的試驗結(jié)果

3.1.1 結(jié)果分析

CAR模型對CWRU和江南大學(xué)數(shù)據(jù)集進(jìn)行20次試驗得到的準(zhǔn)確率及其標(biāo)準(zhǔn)差見表5(訓(xùn)練的迭代次數(shù)為200,學(xué)習(xí)率為1×10-2),結(jié)果表明CAR模型可以有效識別滾動軸承故障類型。

表5 CAR模型的滾動軸承故障診斷結(jié)果

使用t-SNE算法[20]將CAR模型在最后一個隱藏層提取的高維特征映射為二維特征向量進(jìn)行可視化,取得最高準(zhǔn)確率時的特征可視化結(jié)果和混淆矩陣分別如圖7、圖8所示。以CWRU 48 kHz+0 hp樣本集為例,CAR模型在20次試驗中的最高準(zhǔn)確率達(dá)到了99.7%, 對應(yīng)分析混淆矩陣和特征可視化圖,發(fā)現(xiàn)第0類有0.7%被錯誤預(yù)測為第1類,第1,2類也有類似錯誤,其余均正確分類。

(a) 600 r/min(95.3%)

(a) 48 kHz+0 hp(99.7%)

3.1.2 模型對比

在同樣的試驗條件下,選擇RF+LSTM,ResNet,ResNet+LSTM模型與CAR模型進(jìn)行對比,結(jié)果如圖9所示:

(a) CWRU軸承數(shù)據(jù)集

1)RF+LSTM將RF提取后的特征輸入LSTM網(wǎng)絡(luò)(包含LSTM層、全連接層和Softmax分類器)進(jìn)行訓(xùn)練和分類[20],其故障診斷平均準(zhǔn)確率低于CAR且標(biāo)準(zhǔn)差均高于CAR,試驗結(jié)果表明CAR具有比RF+LSTM更高的分類準(zhǔn)確率和更好的模型穩(wěn)定性。

2)CAR在ResNet基礎(chǔ)上引入注意力機制加強了模型對關(guān)鍵信息的提取能力,因此ResNet的故障診斷平均準(zhǔn)確率均低于CAR且標(biāo)準(zhǔn)差均高于CAR。

3)ResNet+LSTM在ResNet的基礎(chǔ)上添加了LSTM層,而CAR則在ResNet的基礎(chǔ)上添加了CBAM,注意力機制在學(xué)習(xí)特征上優(yōu)于LSTM,因此ResNet+LSTM的故障診斷平均準(zhǔn)確率低于CAR,標(biāo)準(zhǔn)差高于CAR,在ResNet基礎(chǔ)上加入注意力機制要比加入LSTM可取得更準(zhǔn)確、穩(wěn)定的結(jié)果。

綜上,CAR模型相較RF+LSTM,ResNet和ResNet+LSTM模型具有更高的故障診斷準(zhǔn)確率和更好的穩(wěn)定性。

3.2 Transformer模型的試驗結(jié)果

Transformer模型對CWRU和江南大學(xué)數(shù)據(jù)集進(jìn)行20次試驗得到的準(zhǔn)確率及其標(biāo)準(zhǔn)差見表6(訓(xùn)練的迭代次數(shù)為1 000,學(xué)習(xí)率為1×10-3), 2個示例的特征可視化結(jié)果和混淆矩陣如圖10所示,結(jié)果表明Transformer模型也取得了較好的診斷效果。

表6 Transformer模型的滾動軸承故障診斷結(jié)果

(a) CWRU軸承數(shù)據(jù)集(48 kHz,1 797 r/min)

3.3 分析與討論

進(jìn)一步分析試驗結(jié)果可知:對于CWRU軸承數(shù)據(jù),CAR的準(zhǔn)確率比Transformer高0.738%,訓(xùn)練時長比Transformer少48.401 s,標(biāo)準(zhǔn)差比Transformer高0.001 88;對于江南大學(xué)軸承數(shù)據(jù),CAR的準(zhǔn)確率比Transformer高5.280%,訓(xùn)練時長比Transformer少24.440 s,標(biāo)準(zhǔn)差比Transformer高0.000 60。以上分析表明CAR的準(zhǔn)確率更高,訓(xùn)練更快,但Transformer的穩(wěn)定性略優(yōu),2種模型均能夠以高準(zhǔn)確率和低標(biāo)準(zhǔn)差完成滾動軸承故障診斷任務(wù)。

其他文獻(xiàn)對CWRU和江南大學(xué)軸承數(shù)據(jù)集的診斷結(jié)果見表7。

表7 不同文獻(xiàn)對CWRU和江南大學(xué)軸承數(shù)據(jù)集的

對于CWRU軸承數(shù)據(jù),本文所提CAR模型和Transformer模型在12 kHz下10種工況的最低故障診斷準(zhǔn)確率也優(yōu)于文獻(xiàn)[5-7];對于江南大學(xué)軸承數(shù)據(jù),CAR模型和Transformer模型的故障診斷準(zhǔn)確率分別比文獻(xiàn)[8]高4.77%,0.44%:結(jié)果表明,基于CAR模型和Transformer模型的滾動軸承故障診斷方法較已有研究成果具有更高的故障診斷準(zhǔn)確率和更好的性能。

4 結(jié)束語

本文將卷積神經(jīng)網(wǎng)絡(luò)、注意力機制與殘差網(wǎng)絡(luò)相結(jié)合構(gòu)建了適用于滾動軸承故障診斷的CAR網(wǎng)絡(luò)模型,并嘗試將多用于圖像處理和自然語言處理等領(lǐng)域的Transformer應(yīng)用于滾動軸承故障診斷領(lǐng)域以取得高精度的故障診斷準(zhǔn)確率。所提CAR與Transformer滾動軸承故障診斷模型簡單且易于實施,可直接將軸承振動信號轉(zhuǎn)化成二維向量輸入模型而無需進(jìn)行復(fù)雜的傳感信息預(yù)處理,2種模型在滾動軸承故障診斷試驗中均得到較高的診斷準(zhǔn)確率和穩(wěn)定性。今后的研究工作會嘗試將適用于類腦計算、可同時融入時空信息的似真神經(jīng)網(wǎng)絡(luò)(脈沖神經(jīng)網(wǎng)絡(luò))應(yīng)用于滾動軸承故障診斷領(lǐng)域,并將本文所提方法應(yīng)用于故障預(yù)測和健康管理領(lǐng)域。