周先燁，陳里里，王 彪，白懷偉

（重慶交通大學 機電與車輛工程學院，重慶 400074）

現今民航客機主要采用渦扇發(fā)動機，雖然其推力大、效率高、燃油和噪音比較低，但具有迎風面積大和高速阻力升高等缺點。為確保使用安全與經濟性、提高設備可靠性，需要進行渦扇發(fā)動機的剩余壽命提前預測，以便為各企業(yè)提供有效信息，減少損失、提高經濟效益。

在國內外研究中，對設備進行健康管理以及壽命預測主要有2 種方式，根據設備運行機制建立物理分析模型和對設備運行的數據驅動方式進行預測。物理建模方式對專業(yè)人員要求較高，在設備RUL 方面帶來一定的挑戰(zhàn)，因此對設備數據分析建模預測應用較為廣泛。文獻[1]提出了一種基于機器學習模型采用Stacking 多模型融合，以絕緣柵雙極型晶體管（IGBT）為對象進行壽命預測，融合了4 種機器學習算法模型，結果表明，多模型融合的機器學習模型對IGBT 壽命預測的均方誤差平均降低了93%。文獻[2]針對太陽能光伏發(fā)電對環(huán)境變化特點，提出一種基于堆疊集成學習方法的預測模型，選擇在單個模型中具有卓越性能的極限梯度增強（XGBoost）與Stacking 集成學習比較，結果表明，Stacking的均方根誤差比XGBoost 低1.84%。文獻[3]基于堆疊集成的思想，構建了臺風災害下用戶停電的預測模型，驗證了Stacking 模型能很好地實現臺風災害下用戶停電的預測。近幾年使用深度學習對設備RUL預測也逐漸延伸，文獻[4]對精密機床加工進行精度研究，根據主軸熱伸長率提出一種機床主軸位移的關鍵溫度點選擇算法和熱誤差估計方法，對溫度點進行聚類建立數據集，提出長短期記憶（LSTM）建模方法，建立主軸熱誤差與關鍵溫度點變化的關系，結果表明，在不同溫度變化下，所提LSTM 模型和關鍵溫度點選擇算法的最大均方根誤差（RMSE）在0.6 μm以內，其深度學習預測方法具有更好的魯棒性。

以渦扇發(fā)動機為研究對象的實驗有很多，使用Stacking 集成學習和傳統(tǒng)機器學習方法進行對比，或者雙向長短時記憶神經網絡（BiLSTM）與傳統(tǒng)機器學習方法進行實驗對比來體現出改進的優(yōu)點，但是方式較為單一。本研究基于Stacking 集成算法模型與LSTM 改進的BiLSTM 進行對比驗證，并與單一機器學習模型和LSTM 預測效果比較，在數據處理時不采用傳統(tǒng)的特征選擇與降維，而是使用GBDT與隨機森林2 種算法模型特征重要性排序，再進行特征重疊選擇取并集。經過Stacking 集成學習進行預測并采用隨機搜索進行參數尋優(yōu)，后與BiLSTM以及其他算法模型對比驗證后，對設備RUL 進行預測分析結果，在發(fā)動機剩余壽命預測方面實現商用價值。

1 數據處理

1.1 數據描述

本文使用的數據集來自美國國家航天局（NASA）公開的渦扇發(fā)動機仿真數據集（C-MAPSS），模擬其不同工況下的退化過程，數據集由多個多元時間序列組成，但可認為是來自同一類型一系列引擎。數據包括26 列序列名，分別是引擎編號、循環(huán)周期時間序列、引擎操作設置1～3 號以及21 個傳感器反饋數據1～21 號。研究主要目的是通過發(fā)動機故障問題累加達到設備系統(tǒng)故障這一段周期進行剩余周期壽命預測，從而提前獲得設備故障信息進行早期維護與更換。

1.2 FP-GBDT-RF 特征選擇

特征選擇是為了過濾非關聯、冗余和嘈雜的特征，降低學習難度和提高模型可解釋性。通過尋找強相關和非冗余的特征子集，可以為機器學習和模式識別提供更穩(wěn)定的結果，其主要方法有過濾法、包裝法、嵌入法[5]。本研究基于嵌入法提出FP-GB DT-RF 進行特征提取，是基于GBDT 和隨機森林（RF）算法進行特征選擇，此方法相較于單一特征選擇，能夠加強因子重要性，首先2 種模型分別對特征進行重要性排序，并設定閾值K，對所選的K 個特征向量進行特征重疊?。‵P）后輸出，其原理如圖1 所示。

圖1 FP-GBDT-RF 原理圖Fig.1 Schematic diagram of FP-GBDT-RF

2 算法優(yōu)化

2.1 Stacking 集成算法

特征工程階段對數據FP-GBDT-RF 特征選擇后，利用循環(huán)控制采用十折交叉驗證[6]法對平衡后的訓練集進行劃分以抑制過擬合現象，防止線性依賴。采用Stacking 模型融合，該算法為異質集成算法，分為基學習器和元學習器2 層，第一層基學習器模型M1 采用隨機森林模型（RF），隨機森林使用Bootstrap 采樣，即有放回的包外估計保留驗證集，內部多個不同決策樹采用窮舉法切分變量，在預測階段，隨機森林將內部多個決策樹的預測結果取平均得到最終結果。M2 采用KNN，KNN 以線性關系作為基礎，通過一種距離度量關系（通常為曼哈頓距離或歐幾里得距離）尋找與待預測點相近的K 個點，取K 個點平均值進行回歸預測，能對復雜數據低維處理；M3 采用XGBoost[7]進行模型融合，處理大數據速度快、效果好、內部提升決策樹、魯棒性強、在回歸預測方面敏感度強。在得到每個模型的預測值后，通過基學習器預測輸出至第二層元學習器模型GBDT 并進行訓練。其模型原理如圖2 所示。

圖2 Stacking 處理框圖Fig.2 Processing block diagram of Stacking

2.2 隨機搜索尋優(yōu)

在超參數優(yōu)化方法中[8]，網格搜索作為暴力搜索，對每組數據都進行遍歷同時參數優(yōu)化，參數值連續(xù)并可能耦合狀態(tài)，搜索時間長，算力大且耗時。隨機搜索是在當樣本數量非常大的時候，通過局部搜索范圍也可以找到最優(yōu)值或近似值，并試圖接近最好的參數解耦，因此采用隨機搜索對Stacking 參數進行尋優(yōu)。

2.3 雙向長短時記憶網絡模型（BiLSTM）

在使用深度學習處理時間序列問題時，RNN 是序列模型，優(yōu)缺點同時表現為狀態(tài)依賴上一時刻輸入，將上一時刻的輸出作為當前時刻隱藏節(jié)點輸入[9]，具有一定的順向性與長期依賴。當時間序列數據量大且復雜時，隱藏節(jié)點儲存消耗增多，權重循環(huán)矩陣連續(xù)相乘導致高次冪，面臨梯度消失與梯度爆炸問題。為解決這一問題，改變RNN 結構體誕生出LSTM。LSTM 記憶單元替換RNN 隱藏層的神經元結構，引入了遺忘門、記憶門與神經元結構來減少梯度消失與爆炸問題，同時有效地解決了RNN 的長期依賴問題，另外可通過梯度剪切閾值防止梯度爆炸，結構如圖3 所示，其中LSTM 公式如下：

圖3 LSTM 結構圖Fig.3 Structure diagram of LSTM

式中：ft、it、ξi、ct、ot、ht分別表示當前時刻的遺忘門、輸入門、當前神經元狀態(tài)、神經元、輸出門以及隱藏單元。

BiLSTM 主要是由Forward 層在當前t 時刻通過神經元狀態(tài)來對信息進行記憶與遺忘，輸出時序前一時刻隱藏狀態(tài)hfd，同理Backward 層對當前t 時刻進行操作輸出后一時刻當前隱藏狀態(tài)hb。前向傳播層與后向傳播層共同決定輸出層，得到新的結果改變LSTM 的單向梯度決策問題，其t 時刻雙向傳播時隱藏狀態(tài)為

BiLSTM 在當前時刻狀態(tài)的模型結構如圖4所示。yi為序列正向傳播時上一個神經元的輸出，yo為序列反向傳播時上一個神經元的輸出。

圖4 BiLSTM 當前時刻狀態(tài)Fig.4 Current time state of BiLSTM

3 實驗過程與分析

3.1 實驗流程

本研究主要使用Stacking 集成算法模型與BiLSTM模型進行對比試驗，根據渦扇發(fā)動機模擬故障狀態(tài)過程，C-MAPSS 共有4 個子數據集，選擇其中的FD001 子數據集作為研究數據，本研究使用FD001 數據集Train_FD001 為訓練集，Test_FD001為測試集，RUL_FD001 為最終預測值。其中包含100臺發(fā)動機，共20360 個訓練樣本點和13095 個測試樣本點。具體實現流程如下：

（1）對FD001 整體數據集進行清洗；

（2）分別使用GBDT 與隨機森林（RF）進行特征重要性排序，設定閾值K，選出K=12 個特征，分別輸出KGBDT和KRF；

（3）對兩模型輸出KGBDT和KRF進行特征重疊，將所取的并集部分進行輸出（FP-GBDT-RF）；

（4）特征重疊后的輸出進行十折交叉驗證，再劃分訓練集和測試集，同時取評價指標平均值，輸出結果；

（5）將結果輸入Stacking 融合模型，其中M1 為RF，M2 為KNN，M3 為XGBoost，進行回歸預測；

（6）Stacking 模型使用隨機搜索進行超參數優(yōu)化，重復步驟（4）進行回歸預測；

（7）將步驟（3）結果輸入BiLSTM、LSTM 神經網絡模型、RF、KNN 和XBoost 模型回歸預測；

（8）將機器學習模型（RF、KNN、XGBoost、Stacking）與深度學習模型（LSTM、BiLSTM）進行效果對比驗證，通過評價指標進行結果分析。

3.2 評價指標

為印證融合分析Stacking 集成學習與BiLSTM神經網絡模型對渦扇發(fā)動機剩余使用壽命預測效果，采用均方根誤差（RMSE）和決定系數R2作為評價指標[10]，計算公式如下：

均方根誤差：

決定系數：

式中：n 為樣本數量；yi為樣本數量i 的真實值；為樣本數量i 的預測值。MAE 值相對于對波動敏感性誤差弱于RMSE，因此選用RMSE 作為預測效果指標，RMSE 值越小，表示模型預測效果越接近數據真實值，具有較優(yōu)的精確度。同時使用R2為擬合優(yōu)度，其值為0 到1，值越大表示模型有更好的擬合性能。通過不同評價標準對Stacking 融合模型、機器學習（XGBoost、KNN、RF）、深度學習（LSTM、BiLSTM）十折交叉驗證取均值進行預測效果驗證，結果如表1所示。

表1 不同模型評價指標結果對比Tab.1 Comparison of evaluation index results of different models

由表可以看出，RF、KNN、XGBoost 機器學習模型通過特征堆疊后進行訓練得到RMSE 精確度表現較好，在擬合優(yōu)度方面都達到了0.94 左右，相比于深度學習的LSTM 與BiLSTM 2 種模型，經過特征堆疊再訓練的RMSE 值未得到提升，同時R2擬合優(yōu)度均未達到0.9，相比于Stacking 集成學習模型與其他5 種模型進行比較RMSE 值最低，比較接近真實值，誤差較小，擬合優(yōu)度R2為0.95，具有更好的擬合趨勢。與同數據其他論文研究結果對比，本文通過特征重疊后使用Stacking 集成學習RMSE 值有明顯的降低，R2擬合優(yōu)度略優(yōu)，另外在整體運行時間方面為30.46 s。從結果可以看出，Stacking 集成網絡綜合表現最好，也體現出特征堆疊的方法在有限的環(huán)境下適用于機器學習與集成學習，在深度學習以及其他應用中還須進一步驗證。

對設備RUL 進一步未來預測，取FD001 前80個設備編號進行預測，使用機器學習（圖5）和深度學習（圖6）進行效果預測。如圖5 所示，BiLSTM 與LSTM 預測效果與真實值分布情況具有一定的偏差。如圖6 所示，整體的幾種模型預測效果均表現良好，但集成學習的預測效果更接近設備RUL 最真實的分布情況，具有一定的代表性。

圖5 BiLSTM 與LSTM 模型預測結果Fig.5 Prediction effects of BiLSTM and LSTM models

圖6 單一模型與Stacking 模型預測結果Fig.6 Prediction effect of single model and Stacking

4 結語

為進一步準確預測設備剩余壽命，本文使用公開C-MAPSS 數據集，首次提出使用2 種單一的機器學習模型（GBDT 與RF）進行特征重要性排序，并設定特征閾值，再進行特征重疊取并集，使原數據更少更好地保留原有信息。后使用集成學習并進行隨機搜索進行超參數優(yōu)化，同時改進雙向長短時記憶網絡，與多個單一機器學習模型和LSTM 進行預測效果驗證。結果證明，經過特征重疊后集成學習在各方面表現有明顯優(yōu)勢，提升了模型性能的同時也保證模型穩(wěn)定性，為各種設備進行準確壽命預測提供可靠性研究。