萬曉凡，徐澤宇，張營

（210037 江蘇省 南京市 南京林業(yè)大學(xué)）

0 引言

剩余使用壽命預(yù)測經(jīng)過多年的發(fā)展，現(xiàn)主要以失效物理模型和數(shù)據(jù)驅(qū)動的方法[1]為主。盡管數(shù)據(jù)驅(qū)動法比較適合設(shè)備的剩余壽命預(yù)測，但是航空發(fā)動機衰退曲線的變化無明顯規(guī)律，所以結(jié)果不準確。失效物理模型就是通過采集設(shè)備的歷史衰退數(shù)據(jù)建立預(yù)測模型，但該方法對預(yù)測對象的假設(shè)條件較高且不適用于不相同線性的轉(zhuǎn)換。由此，依賴數(shù)據(jù)建模的相似性預(yù)測和機器學(xué)習預(yù)測更被研究者所接受[2-3]。張妍[4]等提出運用相似性進行剩余壽命預(yù)測適用于單退化量，但航空發(fā)動機運行環(huán)境多變且多傳感器，不能保證樣本后期相似程度變化小。

機器學(xué)習一般包括人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）和支持向量機，若在兩者的基礎(chǔ)之上進行算法優(yōu)化則預(yù)測效果更佳。近年來，深度學(xué)習在機器學(xué)習領(lǐng)域一直是熱點，長短記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和雙向長短時記憶神經(jīng)網(wǎng)絡(luò)（Bi-directional Long-Short Term Memory，Bi-LSTM）在壽命預(yù)測領(lǐng)域發(fā)揮了重要作用。馬忠[5]等在CNN 的基礎(chǔ)上，使用不同的一維卷積核提取序列趨勢信息特征來更好地得到航空發(fā)動機工作過程中各個變量與剩余壽命之間的關(guān)系進行預(yù)測；曲星宇[6]等使用RNN-LSTM對故障進行診斷，優(yōu)化了網(wǎng)絡(luò)訓(xùn)練的魯棒性和容錯性，但只憑借設(shè)備振動噪聲信號而對設(shè)備傳感器數(shù)據(jù)的忽略，其結(jié)果缺乏一定的嚴謹性；申彥斌[7]等提出一種基于Bi-LSTM 神經(jīng)網(wǎng)絡(luò)用于軸承剩余使用壽命預(yù)測研究，該方法進一步提升了模型的預(yù)測準確率及泛化能力。

基于以上研究，本文提出在深度學(xué)習的基礎(chǔ)上，收集多個傳感器和飛行參數(shù)，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，以根據(jù)時序數(shù)據(jù)或序列數(shù)據(jù)來預(yù)測數(shù)值。使用雙向長短期記憶 (Bi-directional Long Short-Term Memory，Bi-LSTM) 網(wǎng)絡(luò)，對網(wǎng)絡(luò)中的初始化函數(shù)和優(yōu)化器進行一定調(diào)整，旨在根據(jù)發(fā)動機中各種傳感器的時序數(shù)據(jù)來預(yù)測發(fā)動機的剩余使用壽命（預(yù)測性維護，以周期為單位度量）。最后，從NASA提供的航空發(fā)動機渦輪風扇發(fā)動機退化仿真數(shù)據(jù)集進行驗證，表明Bi-LSTM 預(yù)測效果較為理想。

1 Bi-LSTM 相關(guān)內(nèi)容

1.1 Bi-LSTM 運行原理

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是深度學(xué)習算法之一，其輸入為一類序列（sequence）后，經(jīng)過不斷迭代和神經(jīng)節(jié)點間鏈式連接最后輸出。因為循環(huán)神經(jīng)網(wǎng)絡(luò)自身具有記憶特性和共享參數(shù)等特點，利于參數(shù)挖掘和權(quán)重的合理分配，所以在非線性的序列學(xué)習上效果良好[8]。但RNN 并非完美無缺，若輸入過長，RNN 在不斷循環(huán)的過程中就會有梯度爆炸產(chǎn)生?？傊?，RNN 在信息輸入間距太遠情況下提取特征能力不盡如人意。長短記憶神經(jīng)網(wǎng)絡(luò)（LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）改進而來，其實LSTM 與RNN 相比增添了記憶功能，LSTM 多了輸入門、遺忘門和輸出門由此控制循環(huán)信息量。

無論是RNN 還是LSTM，都依靠前段時間的輸入經(jīng)過訓(xùn)練得出后段時間的輸出，但是輸出結(jié)果有時不僅僅由前段信息決定，還可能和未來息息相關(guān)[9]。要想前后時刻同時操作，需要兩相反方向的LSTM 疊加操作。Bi-LSTM 不僅克服了RNN 梯度爆炸問題，同時還擁有LSTM 推算優(yōu)點[8]。Bi-LSTM 原理如圖1 所示。

圖1 Bi-LSTM 工作原理Fig.1 Working principle of Bi-LSTM

如圖1 所示，把輸入分為4 部分進行編碼，前向傳播得到的組合為（AL1，AL2，AL3，AL4），反向傳播得到的組合是（AR1，AR2，AR3，AR4）。最后，將前后組合兩兩拼接得到4 個新組合（AL1，AR1）（AL2，AR2）（AL3，AR3）（AL4，AR4），即為（A1，A2，A3，A4）。

從圖1 中還可以看出，Bi-LSTM 相較于LSTM工作原理沒有什么較大的差異，和LSTM 一樣有輸入門、遺忘門和輸出門。

首先是遺忘門流程。輸入一串信息后，信息內(nèi)容并非都是重要的，若能去除不重要的信息會有利于網(wǎng)絡(luò)訓(xùn)練，這一步的操作就由遺忘門完成。ht-1為上一隱藏層狀態(tài)值，它和現(xiàn)輸入值xt一起進入隱藏層。激活函數(shù)sigmoid 為σ，它決定去留的信息。因為其值域為0 到1，當信息值趨于0 時丟棄，趨于1 時保留。遺忘門公式如式（1）：

式中：w——權(quán)重；b——權(quán)重偏置。

其次為輸入門操作。負責保留信息的存放。得到候選值kt，然后通過遺忘門和輸入門舍去信息得到當前信息ct，具體操作如式（2）—式（3）：

式中：it——輸入門。

最后為輸出操作。通過sigmoid 確定信息要輸出的內(nèi)容，再將輸出信息同tanh 相乘確定要輸出的部分，具體操作如下：

1.2 Bi-LSTM 過擬合優(yōu)化

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中會產(chǎn)生訓(xùn)練誤差及測試誤差，若兩者在訓(xùn)練整個過程中誤差相差不大且兩者誤差值都很小，說明預(yù)測模型構(gòu)建良好；若兩者相差過大，也就是俗稱的過擬合[10-11]，這表示模型構(gòu)建效果不佳，意思就是模型極度依賴現(xiàn)有的數(shù)據(jù)建模，一旦出現(xiàn)全新的數(shù)據(jù)將會影響預(yù)測的效果。

出現(xiàn)過擬合問題有2 種解決方法：一是數(shù)據(jù)量過少需增加訓(xùn)練集，但是該方法成本較高；二是通過Dropout 層進行優(yōu)化。

Dropout 能改善過擬合問題的原理就是一定幾率的、隨機和暫時地停止部分神經(jīng)元的訓(xùn)練（如圖2 所示），也就是斷開神經(jīng)元的連接，該方法在文獻[12]中提出。

圖2 Dropout 工作原理Fig.2 Working principle of Dropout

在網(wǎng)絡(luò)模型訓(xùn)練的過程中，不一定要全部的神經(jīng)元都參與工作，可以讓部分神經(jīng)元不參與訓(xùn)練過程，在每次訓(xùn)練時隨機斷開部分神經(jīng)元的連接，這樣可以提高網(wǎng)絡(luò)的泛化能力。正常情況下在Dropout 層（丟棄率）設(shè)置為0.5 上下。

1.3 RMSprop 優(yōu)化器

深度學(xué)習中會引入損失函數(shù)（Loss Function），損失函數(shù)越小表示訓(xùn)練結(jié)果越好，最小化（或最大化）任何數(shù)學(xué)表達式的過程稱為優(yōu)化。目前，使用較廣泛的優(yōu)化算法是梯度下降（Gradient Descent，SGD）。RMSprop 優(yōu)化算法是在SGD 基礎(chǔ)上演變而來，是自適應(yīng)學(xué)習的一種。將其與Momentum 優(yōu)化算法對比發(fā)現(xiàn)，RMSprop 能更好地調(diào)整損失函數(shù)更新擺動幅度過大問題，同時收斂速度也有加快[13]。圖3 所示為二者優(yōu)化路線對比（左側(cè)虛線為Momentum，右側(cè)實線為RMSprop）?？煽闯鯮MSprop 幅度更小，因為它將微分平方加權(quán)平均數(shù)使用在權(quán)重和偏置的梯度上。

圖3 Momentum 與RMSprop 優(yōu)化路線對比Fig.3 Comparison of optimized routes between Momentum and RMSprop

2 案例證明

2.1 Bi-LSTM 預(yù)測模型

基于Bi-LSTM搭建預(yù)測流程框架，如圖4所示，訓(xùn)練集預(yù)處理后由輸入層輸入，經(jīng)過隱藏層和輸出層輸出結(jié)果。

圖4 基于Bi-LSTM 搭建的預(yù)測流程圖Fig.4 Forecast flow chart based on Bi-LSTM

將數(shù)據(jù)分為若干部分，一部分組成訓(xùn)練集（Train），剩下組成測試集（Test），如圖5 所示。其中訓(xùn)練集在神經(jīng)網(wǎng)絡(luò)的運作下進行數(shù)據(jù)建模并分出一部分進行效果檢測和參數(shù)調(diào)整。建模完成后，將測試集輸入模型得出結(jié)果。

圖5 訓(xùn)練集與測試集Fig.5 Training set and test set

2.2 案例數(shù)據(jù)來源

本文實驗數(shù)據(jù)來自NASA 的渦扇發(fā)動機退化模擬數(shù)據(jù)集（C-MAPSS）中的FD001，該數(shù)據(jù)包含100 個不完整序列，每個序列的末尾為相應(yīng)的剩余使用壽命值，數(shù)據(jù)集為26 位數(shù)據(jù)，其中6～26 為傳感器，其他為飛行高度和循環(huán)次數(shù)。文獻[2]對21 個傳感器數(shù)據(jù)有詳細介紹。將數(shù)據(jù)集劃分成訓(xùn)練集（Train）和測試集（Test），其中訓(xùn)練集表示發(fā)動機從工作到失效整個過程數(shù)據(jù)，測試集為壽命結(jié)束前過程的整個數(shù)據(jù)，前者通過訓(xùn)練找尋規(guī)律，后者進行測試驗證。

2.3 數(shù)據(jù)處理

數(shù)據(jù)歸一化（標準化）是對數(shù)據(jù)進行挖掘，因為評價指標不同，量綱也不同，由此會對分析造成一定影響，歸一化后的數(shù)據(jù)，各項指標數(shù)量級相同，可進行綜合對比。

本文數(shù)據(jù)集數(shù)據(jù)多，所以采取是z-score 標準化，這種方法給予原始數(shù)據(jù)的均值（mean）和標準差（standard deviation）進行數(shù)據(jù)的標準化[14-15]。經(jīng)過處理的數(shù)據(jù)符合標準正態(tài)分布，即均值為0，標準差為1。轉(zhuǎn)換函數(shù)公式為：

式中：u——樣本均值；σ——樣本的標準差。

2.4 性能評價標準

為了測評模型訓(xùn)練效果，本文會采用均方根誤差（root mean squared error,RMSE）作為評價指標，其能夠良好反應(yīng)目標值與預(yù)測值存在多少誤差[16]，計算公式為：

2.5 預(yù)測結(jié)果分析及對比

本模型實驗在Corei5-10300H，8-GB RAM，NVIDIA GTX 1650 GPU 環(huán)境下進行，操作系統(tǒng)為Windows 10，仿真軟件為MATLAB 2019a。設(shè)置丟棄率為0.5，否則會出現(xiàn)過擬合。優(yōu)化器為RMSprop，激活函數(shù)為Sigmoid，權(quán)重初始函數(shù)為Glorot，每批大小為20，最大迭代次數(shù)為300 次。

預(yù)測結(jié)果的RMSE 如圖6 所示。誤差（Error）為預(yù)測值減去真實值得到。由圖6 可見，RMSE 為17.943 3，除了極少誤差值落在兩側(cè)，部分誤差集于(-10，0]且分布緊湊，結(jié)果比較理想。

圖6 預(yù)測結(jié)果的RMSEFig.6 RMSE of predicted result

為證明使用RMSprop 算法的Bi-LSTM 預(yù)測在隨機情況下的誤差表現(xiàn)，在同樣的條件下進行5 次訓(xùn)練得到RMSE，并且LSTM 網(wǎng)絡(luò)進行對比，結(jié)果如圖7 所示。圖7 中，上者為LSTM，下者為Bi-LSTM，可以看出下者比上者平均低約2.5%。

圖7 Bi-LSTM 和LSTM 隨機RMSE 對比Fig.7 Bi-LSTM and LSTM random RMSE comparison

還可通過抽取樣本在神經(jīng)網(wǎng)絡(luò)中的預(yù)測結(jié)果圖，如圖8 所示為隨機樣本抽查效果圖，可以看出，Bi-LSTM 樣本預(yù)測剩余使用壽命（Remaining Useful Life，RUL）與真實RUL 線大致貼合。

圖8 Bi-LSTM 樣本預(yù)測圖Fig.8 Sample prediction graph of Bi-LSTM

綜合以上對比結(jié)果可以看出，RMSprop 優(yōu)化算法的Bi-LSTM 整體預(yù)測效果要優(yōu)于LSTM。但有時會出現(xiàn)較大波動，因為航空發(fā)動機在多種故障下的規(guī)律難以捉摸，故在單工況下對其預(yù)測較為準確。

3 結(jié)語

本文總結(jié)了Bi-LSTM以及一些參數(shù)的特點后，提出基于該網(wǎng)絡(luò)的預(yù)測模型。通過航空發(fā)動機數(shù)據(jù)進行驗證，結(jié)果表明，單工況下基于RMSprop 優(yōu)化算法的Bi-LSTM 預(yù)測模型對航空發(fā)動機的剩余壽命預(yù)測相對于LSTM 預(yù)測模型要更加準確。