馬鳴風，王力

(1.中國民航大學電子信息與自動化學院，天津 300300；2.中國民航大學職業(yè)技術(shù)學院，天津 300300)

0 前言

渦扇發(fā)動機作為航空飛行器的重要部件，一方面對航空飛行器的正常飛行起著至關(guān)重要的作用，另一方面其復(fù)雜的內(nèi)部結(jié)構(gòu)以及對可靠性和安全性的嚴苛要求使得維護成本高昂。因此，需要對渦扇發(fā)動機的健康狀態(tài)進行實時監(jiān)控，對其剩余使用壽命(Remaining Useful Life, RUL)進行精準預(yù)測，從而做到實時維護，防止故障的發(fā)生[1-3]。目前有兩大方法可以實現(xiàn)對渦扇發(fā)動機RUL的預(yù)測：基于物理模型的預(yù)測方法和基于數(shù)據(jù)驅(qū)動的預(yù)測方法[4]。

由于發(fā)動機內(nèi)部機制復(fù)雜，物理模型通常難以建立。隨著發(fā)動機歷史失效數(shù)據(jù)的大量積累，機器學習和深度學習的快速發(fā)展，數(shù)據(jù)驅(qū)動的預(yù)測方法已成為時下研究熱點。最小二乘支持向量機(Least Squares Support Vector Machine, LS-SVM)[5]、半馬爾可夫決策過程框架[6]等機器學習算法被用來解決RUL預(yù)測問題。上述方法均沒有對數(shù)據(jù)進行深層次的挖掘，因而預(yù)測精度較低。和機器學習相比，深度學習更能充分挖掘數(shù)據(jù)間復(fù)雜關(guān)系[7]。長短期記憶(Long Short-Term Memory, LSTM)[8]、循環(huán)門控單元(Gated Recurrent Units，GRU)[9]等神經(jīng)網(wǎng)絡(luò)模型被用來預(yù)測發(fā)動機的RUL。上述研究在剩余壽命預(yù)測領(lǐng)域取得了一定的成果，但單一神經(jīng)網(wǎng)絡(luò)的使用無法優(yōu)化隱藏信息權(quán)重，缺少不同網(wǎng)絡(luò)的優(yōu)勢互補。文獻[10]將自編碼(Autoencoder)神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶(Bidirectional Long Short-Term Memory, BLSTM)相結(jié)合；文獻[11]將自注意力機制(Self-attention，SA)與LSTM相融合；文獻[12]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)與LSTM相融合。上述研究均采用融合神經(jīng)網(wǎng)絡(luò)實現(xiàn)對發(fā)動機RUL的預(yù)測，雖然取得了一定成果，但是仍存在輸入數(shù)據(jù)維度過高的問題。

本文作者提出了將隨機森林(Random Forest, RF)、深度門控循環(huán)單元(Deep Gated Recurrent Units，DGRU)和自注意力機制相融合的預(yù)測模型來對渦扇發(fā)動機RUL進行預(yù)測。首先，將數(shù)據(jù)輸入RF模塊，通過重要度閾值的設(shè)置，剔除無關(guān)特征，解決輸入數(shù)據(jù)維數(shù)過高的問題；其次，利用DGRU處理此類狀態(tài)檢測數(shù)據(jù)的優(yōu)勢，挖掘出相關(guān)狀態(tài)特征和剩余使用壽命之間的內(nèi)在聯(lián)系，獲取更深層次的隱藏信息；最后，利用SA對隱藏信息添加不同大小的權(quán)重，進行重要度區(qū)分，提高模型的預(yù)測精度。

1 理論方法

1.1 基于改進隨機森林的特征提取

RF是一個以多個決策樹分類器為基礎(chǔ)的集成算法，屬于自舉匯聚法(Bootstrap Aggregating)，決策樹采用CART(Classification and Regression Tree)算法構(gòu)建[13]。RF采用有放回的抽樣方式在原始數(shù)據(jù)上進行抽樣，抽選出k個數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，使用每一個訓(xùn)練集訓(xùn)練出一個決策樹即弱分類器，對多個弱分類器預(yù)測結(jié)果進行組合得到最終集成結(jié)果。傳統(tǒng)的RF算法采取算術(shù)平均法作為集成結(jié)果，考慮到不同弱分類器的預(yù)測精度不同，本文作者將為不同弱分類器添加誤差權(quán)重，剔除誤差最大的弱分類器，改變其余弱分類器對隨機森林集成結(jié)果的影響。改進算法具體描述如下。

(1)在原始數(shù)據(jù)集上進行k次有放回的采樣，得到k個采樣數(shù)據(jù)集Di(i=1,2,…,k)，其中每個采樣數(shù)據(jù)集都與原始數(shù)據(jù)集有著相同的大小。

(2)設(shè)原始數(shù)據(jù)具有x個特征，隨機挑選m個特征作為單一弱分類器每個節(jié)點的分枝變量，根據(jù)已有分枝選出最優(yōu)分枝，采用CART算法構(gòu)建出沒有剪枝的弱分類器。

(3)以弱分類器中最大預(yù)測誤差為基準將所有弱分類器的預(yù)測誤差進行歸一化，用最大值1減去各個弱分類器的誤差歸一化結(jié)果得到每個弱分類器的誤差權(quán)重αi。

(1)

(4)將上一步計算出的誤差權(quán)重αi與各個弱分類器預(yù)測結(jié)果相乘得到優(yōu)化后預(yù)測結(jié)果，將優(yōu)化后預(yù)測結(jié)果求和得到最終集成結(jié)果r。

(2)

在上述通過有放回的采樣方式得到訓(xùn)練數(shù)據(jù)集訓(xùn)練弱分類器的過程中，大約有1/3的數(shù)據(jù)未被采樣，這些未參與訓(xùn)練弱分類器的數(shù)據(jù)被稱為袋外(Out of Bag，OOB)數(shù)據(jù)。此類數(shù)據(jù)常被用于計算不同特征對目標值的重要度，具體思想是對OOB中的單個特征隨機添加噪聲，分別計算噪聲添加前后的預(yù)測誤差，噪聲添加前后的誤差變化越大，證明該特征對目標值的重要度越高。

利用改進RF計算特征重要度的步驟：

(1)每個弱分類器都有對應(yīng)的袋外數(shù)據(jù)，將袋外數(shù)據(jù)輸入弱分類器，輸出預(yù)測結(jié)果，將預(yù)測值與真實值進行比較得到袋外數(shù)據(jù)誤差，記為e1i。

(2)對袋外數(shù)據(jù)的某一特征Tj(1≤j≤x)進行噪聲添加，利用新的袋外數(shù)據(jù)再次計算袋外數(shù)據(jù)誤差，結(jié)果記為e2i。

(3)用誤差權(quán)重乘以e1i和e2i的差，將二者乘積再除以原數(shù)據(jù)集中特征Tj的標準誤差Tj,std，即得到單一特征Tj對目標值的重要度。重要度的最終結(jié)果被限制在[0，1]內(nèi)。

(3)

(4)

1.2 GRU的結(jié)構(gòu)介紹

GRU作為RNN的一種變體，模擬了人的大腦記憶，通過不同門控的使用將前面有用的時間序列信息進行編碼，重新放到模型的參數(shù)當中。GRU神經(jīng)網(wǎng)絡(luò)模型有兩個控制門：控制重置的門控(Reset Gate)和控制更新的門控(Update Gate)。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 GRU網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of GRU

GRU對上一個時刻傳輸下來的隱狀態(tài)ht-1進行保留，再將它與當前節(jié)點的輸入xt進行向量相連，利用sigmoid函數(shù)得到控制重置和更新的兩個門控狀態(tài)rt和zt。然后將rt與ht-1進行矩陣相乘，得到ht-1′，將ht-1′和當前節(jié)點的輸入xt進行向量拼接，利用tanh激活函數(shù)將向量相乘的結(jié)果縮放在-1～1之間，經(jīng)過縮放得到的ht′主要包含的是當前輸入數(shù)據(jù)。最后利用zt對上一時刻的隱狀態(tài)ht-1和當前時刻的隱狀態(tài)ht′進行綜合運算，確定出傳遞給下一時刻的隱狀態(tài)ht。具體過程如下所示：

rt=sigmoid(Wr·[ht-1,xt])

(5)

zt=sigmoid(Wz·[ht-1,xt])

(6)

ht-1′=ht-1×r

(7)

ht′=tanh(Wht′·[ht-1′,xt])

(8)

ht=(1-zt)×ht-1+ht′

(9)

式中：[]表示向量相連；×表示矩陣之間的相乘運算；Wr、Wz、Wht′分別表示不同的權(quán)重。

2 RF-DGRU-SA預(yù)測模型

2.1 模型構(gòu)建

文中所提出的RUL預(yù)測模型主要分為基于改進隨機森林算法的特征提取模塊和DGRU-SA壽命預(yù)測模塊。首先將預(yù)處理之后的數(shù)據(jù)輸入到特征提取模塊當中，通過設(shè)置重要度閾值從中篩選出所需特征，實現(xiàn)特征維度的降低；然后將降維過后的數(shù)據(jù)輸入DGRU-SA模塊。DGRU模塊由多個GRU層堆疊形成，通過多層網(wǎng)絡(luò)的構(gòu)建自適應(yīng)捕獲數(shù)據(jù)中的潛在特征。單個GRU網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)只在隱藏層之間實現(xiàn)傳遞，在多個GRU層構(gòu)造的DGRU模型當中，能完成對輸入數(shù)據(jù)的深層挖掘[11]。在DGRU模塊當中，第一層GRU的隱狀態(tài)只與時刻有關(guān)，輸出當前時刻下的隱藏信息，其余GRU層與第一層依次相連，實現(xiàn)了數(shù)據(jù)在空間上的交互，隱藏信息會從上層依次傳輸入下層神經(jīng)元，每個GRU層的輸出都將作為下一GRU層的輸入，同一GRU層下包含多個GRU神經(jīng)元，各個神經(jīng)元之間互相交換信息以發(fā)掘輸入信息的長期依賴性，實現(xiàn)跨時間的自連接。DGRU從輸入數(shù)據(jù)中提取出大量隱藏信息，SA機制自動為隱藏信息添加不同大小的權(quán)重，使得重要信息獲得更高的關(guān)注，最后通過一層全連接層輸出預(yù)測RUL。圖2展示了文中模型的整體架構(gòu)。

圖2 模型整體結(jié)構(gòu)Fig.2 Structure of model

假設(shè)輸入特征數(shù)據(jù)X=[x1,x2,x3,…,xN]，目標值Y=[y1,y2,y3,…,ym]T。其中xN為m維列向量。輸入數(shù)據(jù)通過特征提取模塊，得到各個特征與目標值間的重要度，設(shè)置重要度閾值P，當輸入特征與目標值間的重要度小于P時，該特征被剔除。設(shè)n個特征得到保留，此時X=[x1,x2,x3,…,xn]。

將降維過后的數(shù)據(jù)輸入到DGRU-SA模塊，為了滿足GRU輸入數(shù)據(jù)尺寸要求，采用滑窗處理的方式對輸入數(shù)據(jù)進行處理。已知輸入數(shù)據(jù)的長度為m，設(shè)滑窗窗口長度為s，經(jīng)RF降維過后的維度為n，DGRU模塊的輸入(m-s,s,n)的一個三維張量，輸出(i,s,e)的一個三維張量，其中i是新樣本長度，e為最后一層GRU的隱含層數(shù)。

DGRU模塊輸出的三維張量被傳輸給SA模塊，SA模塊包含一個編碼器和解碼器，編碼器和解碼器均采用RNN網(wǎng)絡(luò)實現(xiàn)。當前時刻的每個輸入xij通過編碼器會得到一個隱層輸出hij，將上一時刻隱層Si-1作為參考向量計算出當前時刻每個hij對應(yīng)的權(quán)重αij，根據(jù)權(quán)重對每個hij進行加權(quán)平均得到當前時刻的容量向量ci，最后根據(jù)當前容量向量ci、上一時刻隱層Si-1和上一時刻最終輸出yi-1計算出當前時刻隱層Si和當前時刻最終輸出yi，具體計算過程如下：

eij=F(Si-1,hij)

(10)

(11)

(12)

Si=F(Si-1,yi-1,ci)

(13)

yi=F(yi-1,Si,ci)

(14)

式中：F表示當前神經(jīng)網(wǎng)絡(luò)；i表示當前時刻；j表示當前時刻下的單一輸入；T表示當前時刻下的總輸入數(shù)。

2.2 性能評價指標

文中采用3個評價指標來評估不同模型的預(yù)測性能，分別是平均絕對誤差(Mean Absolute Error，MAE)、均方根誤差(Root Mean Square Error，RMSE)和Score評分函數(shù)。MAE和RMSE的定義分別如式(15)、式(16)所示。

(15)

(16)

Score評分函數(shù)為數(shù)據(jù)集創(chuàng)建者給出[14]，不同于上面兩種評價指標，Score評分函數(shù)從實際出發(fā)，對滯后的預(yù)測結(jié)果給予更高的懲罰，能反映出預(yù)測結(jié)果的超前性與滯后性，是更具參考價值的評價指標。Score評分函數(shù)的定義如下式：

(17)

3 案例驗證

為了研究單一故障對發(fā)動機剩余使用壽命的影響，文中使用的數(shù)據(jù)集是CMAPSS數(shù)據(jù)集下的子集FD001[15]。FD001數(shù)據(jù)集記錄了100臺發(fā)動機在高壓壓氣機故障下進行仿真得到的各類數(shù)據(jù)，包含21個傳感器數(shù)據(jù)、3個運行參數(shù)和運行周期。FD001數(shù)據(jù)集包含1個訓(xùn)練集和1個測試集，其中訓(xùn)練集為20 631行和26列，除去首列發(fā)動機號，其余25列作為特征；測試集為13 096行和27列，與訓(xùn)練集相比多出的1列為真實RUL。由于原始訓(xùn)練集沒有給出真實RUL，文中將訓(xùn)練集中每臺發(fā)動機的最大運行周期數(shù)作為初始壽命，每運行一個周期壽命自動減1直至為零。對于渦扇發(fā)動機，只有在使用末期失效率才隨著時間急速增加，而在運行初期，渦扇發(fā)動機的失效率隨時間變化并不明顯，因此文中將根據(jù)渦扇發(fā)動機的RUL構(gòu)建分段函數(shù)。

(18)

式中：Rp表示修正后RUL；Ro表示原始RUL。

為了加快模型運行速度、提高模型預(yù)測精度，首先對訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集中的各類特征值進行歸一化處理；然后設(shè)置模型的各類參數(shù)：設(shè)置4層GRU，每層GRU神經(jīng)元數(shù)設(shè)置為256，步長設(shè)置為20，batch size設(shè)置為20，隨機丟棄層的丟棄率設(shè)置為0.3，輸出層神經(jīng)元數(shù)設(shè)置為1，迭代次數(shù)設(shè)置為100。選擇均方誤差(Mean Square Error，MSE)作為損失函數(shù)，RMSprop作為損失函數(shù)優(yōu)化器。為了提高訓(xùn)練效率，添加監(jiān)視器用以監(jiān)督模型的訓(xùn)練過程，若連續(xù)10個時期內(nèi)驗證集的誤差都沒有發(fā)生明顯下降，則提前終止訓(xùn)練生成最終模型。

將預(yù)處理后的數(shù)據(jù)輸入特征提取模塊，輸出各個特征對目標RUL的重要度α，結(jié)果如圖3所示。

圖3 各特征重要度αFig.3 Importance of each feature

圖中S1～S21表示21個傳感器數(shù)據(jù)，cycle表示已運行周期，Setting1～Setting3分別表示3個運行參數(shù)，未列出特征參數(shù)的重要度皆為0。特征參數(shù)的重要度為0，意味著這類特征在發(fā)動機運行過程中沒有發(fā)生變化。

在特征提取模塊中需設(shè)定重要度閾值，將重要度低于此閾值的特征剔除，從而實現(xiàn)數(shù)據(jù)維度的降低，提升后續(xù)模塊的預(yù)測表現(xiàn)。重要度閾值的取值范圍設(shè)置為[0，0.01，0.02，0.03，0.05]，在不同閾值下分別進行實驗，評價指標仍為MAE、RMSE和Score函數(shù)，實驗結(jié)果如表1所示。

表1 不同閾值下的評價結(jié)果Tab.1 Evaluation results of different thresholds

分析實驗結(jié)果，當重要度閾值為0.05時， RMSE和MAE誤差最大，Score得分次大，表明前9個特征不能完全囊括特征與目標值間的隱藏關(guān)系，隨著重要度閾值的降低，這一現(xiàn)象得到一定程度的改善。但當重要度閾值降為0時，即對數(shù)據(jù)不做降維處理，預(yù)測模型并沒有表現(xiàn)出最好的預(yù)測效果，表明某些特征對預(yù)測結(jié)果起到負面影響，干擾模型的預(yù)測。當重要度閾值設(shè)置為0.03時，實驗結(jié)果最佳，與未做降維處理的結(jié)果相比，MAE下降了15.8%，RMSE下降了14.6%，Score下降了32.1%。綜上，通過比較各閾值下模型的預(yù)測表現(xiàn)，最終將重要度閾值設(shè)置為0.03，即使用重要度排名前12的特征用于后續(xù)實驗。

為了驗證加入SA模塊的有效性，將進行消融實驗。將原數(shù)據(jù)分別輸入RF-DGRU模型和RF-DGRU-SA模型，特征提取模塊中的重要度閾值都設(shè)置為0.03，兩種模型的對比結(jié)果如圖4所示。分析圖4可知，SA模塊的引入有效降低了模型預(yù)測的誤差，其中Score得分下降趨勢最為明顯。說明SA模塊的引入優(yōu)化了隱藏信息的權(quán)重，提高了模型的整體預(yù)測表現(xiàn)。

圖4 RF-DGRU和RF-DGRU-SA模型對比

為了更加全面直觀地比較上述模型的預(yù)測效果，使用上述兩種模型對測試集中前50臺發(fā)動機進行剩余壽命預(yù)測，結(jié)果如圖5所示。比較兩種模型的預(yù)測曲線，發(fā)現(xiàn)RF-DGRU-SA模型的預(yù)測曲線更加貼合真實值，說明SA模塊的引入有效提高了模型整體預(yù)測精度。

圖5 兩類模型對前50臺發(fā)動機剩余壽命預(yù)測結(jié)果Fig.5 Remaining useful life prediction results of the first 50 engines by two types of models

圖6展示了上述兩種模型預(yù)測的相對誤差?？梢钥闯觯号cRF-DGRU模型相比，RF- DGRU -SA模型預(yù)測的誤差整體波動較小，誤差范圍多集中于[-20，20]，表明RF-DGRU-SA模型具有更好的預(yù)測穩(wěn)定性。

圖6 兩類模型預(yù)測相對誤差erFig.6 Predict relative errors of two kinds of models

選取多層感知機(Multi-Layer Perceptron, MLP)模型、卷積神經(jīng)網(wǎng)絡(luò)[16](Convolutional Neural Network, CNN)模型、LSTM模型[17-18]、CNN-LSTM模型[12]與文中所提RF-DGRU-SA模型進行比較，具體結(jié)果如表2所示。

表2 不同預(yù)測方法比較結(jié)果Tab.2 The results of different forecasting methods

對比結(jié)果表明：無論是在MAE和RMSE的評價指標下還是在Score的評價指標下，文中所提方法預(yù)測誤差都是最低。與其余方法的最優(yōu)表現(xiàn)相比，文中所提方法預(yù)測誤差的MAE降低了5.3%，RMSE降低了11.6%，Score得分下降了26.9%，這得益于特征提取模塊對特征維數(shù)的有效降低，DGRU-SA模塊提取出更深層次的隱藏信息，并根據(jù)隱藏信息的重要性賦予不同大小的權(quán)重重構(gòu)隱藏信息，有效提高了對渦扇發(fā)動機RUL的預(yù)測精度。

4 結(jié)論

針對渦扇發(fā)動機退化過程機制復(fù)雜、數(shù)據(jù)維數(shù)過高等問題，提出一種RF-DGRU-SA融合模型實現(xiàn)對渦扇發(fā)動機RUL的預(yù)測。利用CMAPSS數(shù)據(jù)集進行實驗驗證，得到以下結(jié)論：

(1)通過改進隨機森林算法建立特征提取模塊，得到數(shù)據(jù)樣本中各個特征與目標值間的關(guān)系，設(shè)置合理的重要度閾值，在高維數(shù)據(jù)中提取出重要特征，實現(xiàn)特征降維。與沒有添加此模塊，即特征提取模塊的重要度閾值為零的DGRU-SA方法相比，MAE下降了15.8%，RMSE下降了14.6%，Score下降了32.1%，表明特征提取模塊可以對特征進行有效提取。

(2)RF-DGRU-SA模型與其余模型最優(yōu)表現(xiàn)相比，MAE、RMSE和Score評分分別下降了5.3%，11.6%和26.9%，并且RUL預(yù)測誤差幅度變化較小，多集中于[-20，20]，表明此模型有效提升了對渦扇發(fā)動機RUL預(yù)測的精度，并且具有良好的穩(wěn)定性。