周立儉,卜振飛,耿增榮,孫伊萍,周玉國

(青島理工大學(xué) 信息與控制工程學(xué)院,青島 266525)

軸承是機(jī)械設(shè)備運轉(zhuǎn)過程最容易損壞的部件,例如在交流同步、交流異步、直流電機(jī)中軸承的損壞比例分別為51%,41%和42%[1]。為了避免軸承損壞造成安全生產(chǎn)事故,建立了基于數(shù)據(jù)驅(qū)動的健康評估框架、工業(yè)裝備故障預(yù)測與健康管理(簡稱PHM)系統(tǒng)[2]。軸承作為PHM中的核心,對其進(jìn)行剩余壽命(RUL)預(yù)測可以避免機(jī)械設(shè)備突發(fā)事故造成的損失,具有重要的現(xiàn)實意義。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,相關(guān)理論的完善,基于數(shù)據(jù)驅(qū)動的預(yù)測方法中,利用深度學(xué)習(xí)進(jìn)行RUL預(yù)測逐漸成為主流。馬占偉等[3]建立了多尺度卷積神經(jīng)網(wǎng)絡(luò)(CNN)對軸承數(shù)據(jù)進(jìn)行特征提取,構(gòu)建退化指標(biāo);張繼冬等[4]則是建立了基于全卷積的預(yù)測網(wǎng)絡(luò),去掉神經(jīng)網(wǎng)絡(luò)中的全連接層來減少神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)。為了利用軸承數(shù)據(jù)之間的時序相關(guān)性,蔡薇薇等[5]先對軸承數(shù)據(jù)進(jìn)行頻域特征提取,然后利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)與長短期記憶網(wǎng)絡(luò)(LSTM)組成的預(yù)測模型進(jìn)行深層特征提取和RUL預(yù)測。孫世巖等[6]利用動態(tài)時間規(guī)整算法擴(kuò)增數(shù)據(jù)集訓(xùn)練預(yù)測網(wǎng)絡(luò)BLSTM;而為了使網(wǎng)絡(luò)在特征提取時得到更為有效的退化特征,DU等[7]將全局注意力結(jié)構(gòu)加入預(yù)測網(wǎng)絡(luò)用以調(diào)整退化特征的貢獻(xiàn)度。

上述基于深度學(xué)習(xí)網(wǎng)絡(luò)建立的預(yù)測模型,不管是利用CNN還是LSTM進(jìn)行特性提取時,數(shù)據(jù)稍微平移,絕大多數(shù)CNN的輸出會發(fā)生變化,而可變形卷積[8]在每個卷積采樣點上增加了偏移量,可以獲得不規(guī)則數(shù)據(jù)的不變特征。但因為可變形卷積的參數(shù)計算量較大,太多可變形卷積的堆疊會造成計算負(fù)擔(dān)太大,因此本文在使用較少可變卷積核的基礎(chǔ)上進(jìn)一步利用注意力機(jī)制、普通的卷積計算和殘差結(jié)構(gòu)構(gòu)建了基于可變形卷積的RUL預(yù)測模型(ADRN),減小計算負(fù)擔(dān)的同時也提高了預(yù)測精度。又因為預(yù)測網(wǎng)絡(luò)越來越復(fù)雜,如果不對網(wǎng)絡(luò)訓(xùn)練加以約束,網(wǎng)絡(luò)權(quán)重更新就變得不穩(wěn)定,為使網(wǎng)絡(luò)在面對異常數(shù)據(jù)時也能有效調(diào)節(jié)網(wǎng)絡(luò)訓(xùn)練的權(quán)重,本文在訓(xùn)練過程中提出了基于均方誤差(MSE)與均方根對數(shù)誤差(RMSLE)的動態(tài)損失函數(shù)。

因為原始的軸承數(shù)據(jù)變化是非平穩(wěn)的,很難體現(xiàn)出軸承的退化趨勢,ZHU等[9]在軸承的RUL預(yù)測工作中,采用小波變換獲得軸承原始數(shù)據(jù)的時頻特征圖作為模型輸入,與使用原始信號或時域、頻域特征相比,在CNN預(yù)測網(wǎng)絡(luò)中取得了更好的RUL預(yù)測精度。因此本文首先使用了連續(xù)小波變換(CWT)提取軸承數(shù)據(jù)的時頻特征圖作為網(wǎng)絡(luò)的輸入。

綜上所述,本文首先利用CWT變換提取軸承的時頻退化特征,然后,建立了使用可變形卷積、普通卷積、注意力機(jī)制與殘差結(jié)構(gòu)的ADRN預(yù)測網(wǎng)絡(luò),最后,為了對網(wǎng)絡(luò)的訓(xùn)練加以約束,構(gòu)建了動態(tài)損失函數(shù)。

1 基礎(chǔ)工作

1.1 數(shù)據(jù)集介紹

本文使用IEEE PHM2012軸承數(shù)據(jù)集[10]來進(jìn)行實驗。PHM2012數(shù)據(jù)由IEEE可靠性協(xié)會和法國FEMTO-ST提供,在PRONOSTIA平臺(圖1)上進(jìn)行,該平臺通過傳感器收集來自水平和垂直方向的振動加速度信號,傳感器每10 s收集1次0.1 s的數(shù)據(jù)(頻率25.6 kHz)。PHM2012采集了3種不同轉(zhuǎn)速負(fù)載下17個滾動軸承的數(shù)據(jù),其測試集與訓(xùn)練集的劃分如表1所示。

表1 PHM2012數(shù)據(jù)集中訓(xùn)練集與測試集劃分

圖1 PRONOSTIA實驗臺[10]

1.2 評價指標(biāo)

本文使用預(yù)測誤差評價預(yù)測效果,對模型整體的精度使用分?jǐn)?shù)(S)作為評價標(biāo)準(zhǔn)。

1) 預(yù)測誤差:

(1)

式中:E為預(yù)測誤差;ARUL為軸承的真實剩余壽命;PRUL為軸承的預(yù)測剩余壽命。

2) 分?jǐn)?shù):

在實際的生產(chǎn)生活中,欠預(yù)測(E>0)優(yōu)于過預(yù)測(E<0),因此在后續(xù)的實驗中,使用評價指標(biāo)分?jǐn)?shù)來描述這種影響,第i個軸承的評價分?jǐn)?shù)Ai為

(2)

Ai越接近1,預(yù)測的精度越高。在同精度下,欠預(yù)測得分是高于過預(yù)測的。為評價模型的整體精度,將所有N個測試軸承的評價指標(biāo)求平均得到模型的評價分?jǐn)?shù),記作S。

(3)

1.3 可變形卷積

相較于可變形卷積,普通卷積固有的幾何結(jié)構(gòu)對未知形狀的數(shù)據(jù)特征建模存在不足。以圖2為例,在對時頻圖進(jìn)行卷積計算時,普通卷積的卷積核為固定的矩形,而可變形卷積則可以通過一個偏移量來適應(yīng)特征的幾何形狀。

圖2 可變形卷積與普通卷積示意

普通卷積與可變形卷積的計算輸出定義如下。

1) 普通卷積計算。使用規(guī)則網(wǎng)格G對二維特征圖采樣時,對于一個膨脹率為1的3×3卷積核而言,G可表示為

G={(-1,-1),(-1,0),…,(0,1),(1,1)}

(4)

其中,G的每個元素代表卷積核的所有位置相對于中心位置的偏移量。

因此對于采樣中心位置為p0的普通卷積而言,其計算輸出為

y(p0)=∑pn∈Gw(pn)·x(p0+pn)

(5)

式中:pn為采樣點位置;w(·)為卷積得到的當(dāng)前位置權(quán)值;x(·)為輸入對應(yīng)的位置值。

2) 可變形卷積計算。對于可變形卷積而言,通過在G上增加偏移量得到式(6):

y(p0)=∑pn∈Gw(pn)·x(p0+pn+Δpn)·Δmn

(6)

式中:Δpn為采樣點位置pn的偏移量;Δmn為權(quán)值調(diào)制參數(shù),Δmn∈[0,1]。

Δpn與Δmn通過額外的卷積層計算得到,額外卷積層在計算時所使用的學(xué)習(xí)率為原有卷積層的0.1倍,Δpn與Δmn的初始值分別為0和0.5。

2 基于可變形卷積的軸承RUL預(yù)測方法

為了對滾動軸承進(jìn)行準(zhǔn)確地RUL預(yù)測,本文構(gòu)建了基于圖像化軸承時頻特征數(shù)據(jù)與深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測方法,如圖3所示。該方法由數(shù)據(jù)預(yù)處理、ADRN預(yù)測網(wǎng)絡(luò)和RUL預(yù)測3個模塊組成。

圖3 軸承RUL預(yù)測方法流程

數(shù)據(jù)預(yù)處理模塊:①利用CWT提取軸承的時頻特征,并生成時頻圖;②使用雙行性差值對原始的軸承時頻圖進(jìn)行降維;③將每個采樣時刻水平與垂直方向的時頻圖利用通道拼接構(gòu)建成新的軸承退化數(shù)據(jù)。

ADRN預(yù)測網(wǎng)絡(luò)模塊:ADRN預(yù)測網(wǎng)絡(luò)主要由注意力、殘差可變卷積與殘差普通卷積構(gòu)成,并使用動態(tài)損失減少網(wǎng)絡(luò)訓(xùn)練中的異常值。①在軸承深層退化特征提取過程中,注意力機(jī)制為初級退化特征分配貢獻(xiàn)權(quán)值;②使用殘差可變卷積與普通卷積自動提取軸承深層退化特征;③在網(wǎng)絡(luò)訓(xùn)練過程中利用由MSE與RMSLE組成的動態(tài)損失函數(shù)約束預(yù)測網(wǎng)絡(luò);④通過全連接層對深層退化特征下采樣,并使用Tanh激活函數(shù)計算并輸出健康因子。

RUL預(yù)測模塊:①將預(yù)處理后的數(shù)據(jù)測試集輸入訓(xùn)練好的預(yù)測網(wǎng)絡(luò),得到預(yù)測健康因子(HI);②為去除HI中的異常值并加強(qiáng)軸承的退化趨勢,使用Savitzky-golay濾波器平滑預(yù)測HI;③利用多項式函數(shù)精確擬合平滑后的HI,得到軸承的預(yù)測RUL。

2.1 數(shù)據(jù)預(yù)處理

當(dāng)滾動軸承運行到生命后期,由于脈沖變載荷原因造成軸承處于非平穩(wěn)的狀態(tài),因此收集到的軸承原始振動信號也是非平穩(wěn)、非線性的[11],不能清晰和準(zhǔn)確描述軸承的退化特征,降低了RUL預(yù)測效果。因此本文通過CWT提取軸承的時頻故障特征圖。以訓(xùn)練集Bearing1-1第2600個采樣時刻的原始振動數(shù)據(jù)為例,軸承原始振動數(shù)據(jù)與CWT時頻如圖4(a)和(b)所示,軸承時頻特征圖中的故障特征更為清晰豐富。

圖4 數(shù)據(jù)預(yù)處理過程

進(jìn)行預(yù)測網(wǎng)絡(luò)訓(xùn)練時,時頻圖的尺寸過大會影響到網(wǎng)絡(luò)訓(xùn)練的效率。因此本文首先對原始CWT時頻圖(840×840×3)使用雙線性插值將其縮小到適合處理尺寸(224×224×3),如圖4(b)和(c),最后將得到的每一采樣時刻水平與垂直方向的時頻圖利用通道拼接構(gòu)成新的退化數(shù)據(jù)特征(n×224×224×6,n為采樣時刻)。

2.2 ADRN預(yù)測網(wǎng)絡(luò)

本文的預(yù)測網(wǎng)絡(luò)具體結(jié)構(gòu)如圖5所示,其中,降級卷積降采樣層由1層7×7的二維卷積與1層二維全局平均池化組成;注意力結(jié)構(gòu)由通道與空間注意力組成;可變卷積層則是由可變卷積塊與下采樣可變卷積塊組成。

圖5 ADRN預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 注意力

預(yù)測網(wǎng)絡(luò)在訓(xùn)練時,首先將輸入尺寸為224×224的時頻退化數(shù)據(jù)通過卷積核為7×7的二維卷積進(jìn)行降采樣,得到退化特征(F);之后由通道與空間注意力為退化特征重新分配權(quán)重;最后,在全連接層將深度退化特征計算為健康因子HI之前,使用通道與空間注意力為深度退化特征(F′)重新分配權(quán)重,使網(wǎng)絡(luò)在特征提取時關(guān)注到更為重要的退化特征。具體流程如圖6所示。

圖6 注意力機(jī)制

退化特征中的每一個通道都代表一個特征的表達(dá),因此,為了在特征提取時充分利用特征圖中的有效特征數(shù)據(jù),使用通道注意力為特征圖中的每一個通道賦予一個數(shù)值,將該數(shù)值與對應(yīng)的特征圖元素進(jìn)行相乘計算,得到加權(quán)后的退化特征。為確定特征圖不同空間方位重要程度,通過空間注意力的像素級的計算,可以得到特征圖中每一通道上的每一像素值的權(quán)重。

2.2.2 深度殘差可變卷積

軸承的CWT時頻圖中不同特征之間的邊界劃分較為復(fù)雜,而且時頻圖中的特征形狀是不規(guī)則的,如圖4(b)所示。因此,為了獲得更為準(zhǔn)確的特征信息,本文利用可以適應(yīng)特征的幾何形狀可變形的二維卷積構(gòu)建了可變卷積層,而構(gòu)成可變卷積層的可變卷積層塊與下采樣可變卷積塊的結(jié)構(gòu)如圖7所示。

圖7 可變卷積層

在可變卷積塊中,首先由普通卷積對退化特征D進(jìn)行3×3的卷積計算,并由批標(biāo)準(zhǔn)化(BachNorm2D)與激活函數(shù)(ReLU)進(jìn)行處理得到退化特征D1;然后使用卷積尺寸為3×3的可變卷積計算D1,得到退化特征D2;最后在殘差結(jié)構(gòu)中D與D2逐點相加,得到退化特征D3。較于可變卷積塊,下采樣可變卷積塊,則是在殘差結(jié)構(gòu)中加入了1×1的二維卷積,對特征進(jìn)行升維和下采樣處理。

可變形卷積計算時會對采樣點的權(quán)重再次分配,因此在可變卷積塊與下采樣可變卷積塊中,并沒有加入空間與通道注意力。但是因為可變形的卷積計算和采樣點權(quán)重分配會成倍地增加模型參數(shù),因此本文的卷積計算并沒有全部使用可變形卷積,而是加入了普通卷積來增加網(wǎng)絡(luò)計算復(fù)雜度。同時為避免網(wǎng)絡(luò)深度增加造成梯度的不穩(wěn)定,在網(wǎng)絡(luò)構(gòu)建時加入了殘差結(jié)構(gòu)。

2.2.3 動態(tài)損失

滾動軸承在退化過程中經(jīng)常出現(xiàn)瞬時突發(fā)故障,而在網(wǎng)絡(luò)訓(xùn)練過程中,這些突發(fā)故障數(shù)據(jù)有可能造成影響網(wǎng)絡(luò)精度與穩(wěn)定性的異常值出現(xiàn);并且隨著網(wǎng)絡(luò)的加深,計算復(fù)雜度的上升,在網(wǎng)絡(luò)訓(xùn)練過程中難免出現(xiàn)異常值。而為了減少網(wǎng)絡(luò)訓(xùn)練時異常值影響,本文將MSE與RMSLE損失函數(shù)相結(jié)合,當(dāng)訓(xùn)練集的真實值與預(yù)測值的差小于閾值(σ)時,網(wǎng)絡(luò)利用MSE損失函數(shù)訓(xùn)練,而當(dāng)真實值與預(yù)測值的差大于閾值(σ)時則使用RMSLE損失函數(shù),即

(7)

當(dāng)面對較小的訓(xùn)練誤差時,MSE可以有效地將網(wǎng)絡(luò)收斂到最小值;而當(dāng)面對較大的訓(xùn)練誤差時,RMSLE因?qū)?shù)的計算所以幾乎不受影響。

為了對比不同閾值設(shè)置下的網(wǎng)絡(luò)訓(xùn)練結(jié)果,本文分別設(shè)置閾值0.01,0.05,0.1,0.5,1和5進(jìn)行對比訓(xùn)練。在訓(xùn)練過程中,測試集數(shù)據(jù)設(shè)置退化標(biāo)簽用以監(jiān)督,其定義為:當(dāng)前運行時刻/總運行時間,分布于0～1之間,代表了軸承運行到此時的損壞程度,0為完全健康、1為完全失效,并使用Adam優(yōu)化器、學(xué)習(xí)率為0.001、批量大小為4、訓(xùn)練周期為50作為網(wǎng)絡(luò)訓(xùn)練的超參數(shù)設(shè)置。PHM2012中所有訓(xùn)練集的平均誤差(MAE)與確定系數(shù)(R2)的平均值如表2所示。

表2 不同閾值設(shè)置下的訓(xùn)練結(jié)果

由表2可以觀察到,當(dāng)閾值設(shè)置為0.01時網(wǎng)絡(luò)訓(xùn)練效果較差,而其余閾值的設(shè)置下網(wǎng)絡(luò)訓(xùn)練結(jié)果非常相近,當(dāng)閾值為0.01時網(wǎng)絡(luò)的損失函數(shù)為RMSLE。為了進(jìn)一步選取合適的閾值設(shè)置,本文使用測試集軸承Bearing1-6(退化過程存在異常故障)對比了不同閾值設(shè)置下的HI預(yù)測結(jié)果(圖8)。

圖8 不同閾值設(shè)置下的Bearing1-6的預(yù)測結(jié)果

由圖8可以看到,5種不同閾值設(shè)置下的軸承退化趨勢較為相似,但是在異常故障發(fā)生時(紅色方框所標(biāo)記的區(qū)域)只有閾值為0.05時預(yù)測結(jié)果的波動較小。因此,本文選取閾值為0.05的動態(tài)損失作為本文網(wǎng)絡(luò)的損失函數(shù)。

2.2.4 HI預(yù)測

可變形卷積層與注意力將軸承退化數(shù)據(jù)計算為深度退化特征后,首先使用展平層將退化特征轉(zhuǎn)變?yōu)橐痪S數(shù)據(jù);然后由全連層對一維的退化特征進(jìn)行下采樣,并由tanh激活函數(shù)輸出健康因子HI。

2.3 HI平滑與RUL預(yù)測

在得到軸承的預(yù)測HI后,為了避免HI的分布震蕩導(dǎo)致預(yù)測結(jié)果不準(zhǔn)確,本文首先使用了Savitzky-golay濾波器對預(yù)測HI進(jìn)行平滑處理;之后利用多項式擬合平滑后的HI,得到回歸函數(shù)并計算出軸承的預(yù)測RUL。圖9為Bearing1-5和Bearing2-3的原始預(yù)測HI與平滑后的HI對比,可見經(jīng)過平滑后預(yù)測HI中的異常值被剔除,軸承整體退化趨勢更加清晰,減少了后續(xù)HI擬合的誤差。

測試集中軸承在不同工況下的振動表現(xiàn)與故障類型是不同的,因此它們的退化趨勢也是不同的。如果對不同軸承使用相同的擬合函數(shù)來擬合回歸HI,會造成欠擬合現(xiàn)象,無法有效且準(zhǔn)確地預(yù)測RUL。因此,本文擬合過程中,選擇均方根誤差(RMSE)落在[0.01～0.04]的多項式函數(shù)作為每一個軸承的最終擬合回歸函數(shù),圖10為3種不同工況下的軸承擬合回歸曲線。由圖10可以看出,本文所選用的多項式擬合函數(shù)可以較好地擬合HI。圖10紅框中為擬合曲線縱坐標(biāo)為1時(軸承完全失效)的波形,其中圖10(a)與圖10(b)非常符合整體的退化趨勢,因此,得出來的預(yù)測結(jié)果更加真實地反應(yīng)了本文模型的預(yù)測能力。圖10(c)的退化趨勢較為復(fù)雜,而本文的擬合回歸函數(shù)也可以有效地擬合HI,說明本文模型的預(yù)測能力較強(qiáng)。

3 實驗與結(jié)果分析

3.1 消融實驗

為了證明本文提出的可變形卷積與注意力機(jī)制在軸承RUL預(yù)測任務(wù)中的有效性,設(shè)計了4個消融實驗:a.普通卷積+無注意力;b.普通卷積+有注意力;c.可變卷積+無注意力;d.可變卷積+有注意力。

在相同的硬件環(huán)境下4個網(wǎng)絡(luò)對3種不同工況下的軸承預(yù)測結(jié)果如表3所示。實驗d在Bearing1-3、Bearing1-4、Bearing2-5、Bearing2-6上預(yù)測誤差的絕對值最小,意味著預(yù)測的RUL更接近于真實RUL;而在Bearing1-3、Bearing1-4、Bearing2-5、Bearing3-3上實驗d的預(yù)測均為欠預(yù)測,意味著預(yù)測結(jié)果更貼合實際預(yù)測需求。因此,消融實驗的結(jié)果證明可變卷積計算表達(dá)能力要強(qiáng)于普通卷積,預(yù)測結(jié)果更接近真實壽命。

表3 消融實驗預(yù)測結(jié)果

3.2 對比實驗

為了證明本文提出方法的有效性,在PHM2012數(shù)據(jù)集上使用預(yù)測誤差與評價分?jǐn)?shù)作為評價指標(biāo),與已被證明有效的4種方法[12-15]進(jìn)行了結(jié)果對比,如表4所示,由軸承真實RUL、本文預(yù)測的RUL、每個軸承預(yù)測誤差(E)計算得到平均預(yù)測誤差和預(yù)測分?jǐn)?shù)S。文獻(xiàn)[12]首先將原始數(shù)據(jù)處理為時頻譜圖,之后利用殘差神經(jīng)網(wǎng)絡(luò)與時間卷積神經(jīng)網(wǎng)絡(luò)(R-T)進(jìn)行退化建模;文獻(xiàn)[13]利用長短期記憶循環(huán)網(wǎng)絡(luò)構(gòu)成的編碼解碼結(jié)構(gòu)預(yù)測模型(LSTM-ED)進(jìn)行RUL預(yù)測;文獻(xiàn)[14]利用模態(tài)分解提取其中具有代表性的模態(tài)分量作為特征數(shù)據(jù),使用循環(huán)神經(jīng)網(wǎng)絡(luò)(EMD-RL)進(jìn)行預(yù)測建模;文獻(xiàn)[15]為PHM2012挑戰(zhàn)賽獲勝算法(PHM2012)。

表4 PHM2012數(shù)據(jù)集中不同方法的預(yù)測結(jié)果對比

通過表4可以看出,與已被公開證明的方法相比,本文所提出方法的預(yù)測平均誤差要小于其他方法,而且評價分?jǐn)?shù)也要高一些,證明本文方法可以有效進(jìn)行剩余壽命預(yù)測。

4 結(jié)論

本文在建立軸承預(yù)測網(wǎng)絡(luò)時利用可變形卷積取代了部分普通卷積,并通過注意力機(jī)制與動態(tài)損失函數(shù)提升了預(yù)測網(wǎng)絡(luò)的復(fù)雜度與穩(wěn)定性。在PHM2012數(shù)據(jù)集中,與其他方法的預(yù)測結(jié)果相比,預(yù)測精度有較大提升。