張其霄，董 鵬，王科文，盧 葦

（海軍工程大學管理工程與裝備經(jīng)濟系，武漢 430033）

0 引言

航空發(fā)動機作為重要的航空裝備，是一個十分復雜的系統(tǒng)，且航空發(fā)動機一般在高溫、高壓、高轉(zhuǎn)速、高負荷等復雜條件下長時間運行，因此，保證航空發(fā)動機安全性和可靠性十分必要。其中，發(fā)動機的預測與健康管理（prognostics and health management，PHM）是一個有效的解決方案。剩余使用壽命（remaining useful life，RUL）預測是PHM 研究領域中的關鍵任務，目標是根據(jù)設備健康狀態(tài)的數(shù)據(jù)，預測設備的剩余使用時間。航空發(fā)動機的剩余壽命預測主要方法可分為3 類：基于物理模型的預測方法、基于數(shù)據(jù)驅(qū)動的預測方法和混合預測方法。由于發(fā)動機結(jié)構(gòu)復雜，難以建立精確的物理模型來進行描述，因此，基于發(fā)動機監(jiān)控數(shù)據(jù)的數(shù)據(jù)驅(qū)動模型是有效的研究方法，成為眾多學者們的研究熱點。

基于數(shù)據(jù)驅(qū)動的RUL 預測方法不依賴于物理失效模型，而是基于數(shù)據(jù)分析和挖掘，提取反映系統(tǒng)健康狀態(tài)的特征，繼而借助于人工智能等算法實現(xiàn)剩余壽命預測。常見的數(shù)據(jù)驅(qū)動方法可分為兩類：基于數(shù)理統(tǒng)計和基于機器學習的方法。典型的數(shù)理統(tǒng)計模型如馬爾科夫、自回歸移動平滑（AMRA）、維納過程等。相較于統(tǒng)計模型，近年來，基于機器學習方法的研究與應用更為廣泛，典型算法有人工神經(jīng)網(wǎng)絡、支持向量機、深度學習等。KHELIF等人基于支持向量回歸（support vectorregerssion，SVR）對渦輪發(fā)動機進行了剩余壽命預測；也有學者利用多層感知機（multi-layerperceptron，MLP）進行剩余壽命預測的研究。現(xiàn)有的機器學習方法在一定程度上嚴重地依賴于專家經(jīng)驗，依靠人工來提取特征，在面對海量數(shù)據(jù)時性能一般。

深度學習是機器學習的一個組成部分，隨著計算機性能的提升、數(shù)據(jù)積累和深度神經(jīng)網(wǎng)絡理論完善與發(fā)展，訓練深層網(wǎng)絡成為了一個重要發(fā)展方向。依賴深層網(wǎng)絡提取特征和處理非線性表達，深度學習在許多傳統(tǒng)機器學習難題領域取得了重大突破，但深度學習在健康評估和剩余壽命預測的應用仍在探索階段。BABU G S 首先利用卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）進行了剩余壽命預測。在LSTM 的應用中，ZHENG S 在2017 年首先利用LSTM 網(wǎng)絡對渦輪發(fā)動機進行了剩余壽命預測；LI X 則利用LSTM 的變體BiLSTM 研究剩余壽命預測問題；李京峰運用深度置信網(wǎng)絡對LSTM 進行優(yōu)化，對渦輪發(fā)動機進行了剩余壽命預測；HE K則將（bidirectional handshaking LSTM，BHSLSTM）應用于剩余壽命預測研究。

雖然以上的幾種深度學習方法在PHM 領域中已經(jīng)有了一定的應用，但是在運用深度學習進行剩余壽命預測時，對超參數(shù)的確定主要根據(jù)經(jīng)驗或者手工優(yōu)化，參數(shù)優(yōu)化效率較低，在預測準確率上仍然有提升的空間。

因此，依據(jù)深度學習算法和優(yōu)化算法，提出一種基于貝葉斯優(yōu)化LSTM 模型的發(fā)動機剩余壽命預測方法。利用貝葉斯優(yōu)化算法優(yōu)化LSTM 網(wǎng)絡，選擇隱藏層數(shù)和初始學習率作為優(yōu)化的超參數(shù)，將使用該組超參數(shù)在驗證集上的RSME 作為目標函數(shù)?；谀繕撕瘮?shù)的過去評估結(jié)果建立替代函數(shù)找到最小化目標函數(shù)的值，并作為超參數(shù)。利用貝葉斯優(yōu)化的LSTM 函數(shù)對發(fā)動機剩余壽命進行預測，利用NASA 數(shù)據(jù)集對方法進行驗證。

1 基本算法

1.1 LSTM 算法

長短期記憶網(wǎng)絡（long short term memory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡（RNN）的變體之一，是針對RNN自身所存在的長期依賴問題和模型訓練中存在梯度消失、爆炸等問題所專門設計出來的一種時間循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu)。LSTM 的核心思想就是在一般RNN 單元結(jié)構(gòu)設的基礎上增加3 種類型的“門”，通過門限機制來控制傳輸狀態(tài)，保留長期記憶和忘掉無用記憶，以保留最重要信息。這3 種門分別為：遺忘門、輸入門和輸出門，示意圖如圖1 所示。

圖1 LSTM 示意圖

LSTM 網(wǎng)絡模型搭構(gòu)完畢后，可以運用時間反向傳播（BPTT）算法來對LSTM 網(wǎng)絡進行訓練，來得到LSTM 的相關參數(shù)。

1.2 貝葉斯優(yōu)化算法

貝葉斯優(yōu)化算法使用概率模型代理擬合原始代價的目標函數(shù)，根據(jù)后驗概率分布構(gòu)造采集函數(shù)，選擇下一個最優(yōu)評估點。文中概率模型選擇運用高斯過程回歸，采集函數(shù)選擇運用提升概率函數(shù)。

貝葉斯優(yōu)化過程如圖2 所示。

圖2 貝葉斯優(yōu)化過程圖

1.2.1 高斯過程回歸

高斯過程是貝葉斯優(yōu)化的運用中應用最為普遍的概率模型。作為多元高斯概率分布的一般范化，高斯過程主要是由均值函數(shù)與半正定的協(xié)方差函數(shù)組成，即：

其中，f（x）為目標函數(shù)值，φ（*）為分布函數(shù)，μ（x）、σ（x）分別為高斯過程回歸概率模型的均值和方差，α 為超參數(shù)，以探索最大值空間。α=0 使得值收斂于f（x），避免出現(xiàn)局部最優(yōu)。

利用貝葉斯優(yōu)化LSTM 進行預測的一般步驟為：

1）設定待優(yōu)化參數(shù)范圍，優(yōu)化目標為RMSE；

2）利用貝葉斯對LSTM 的隱藏層和初始學習率進行優(yōu)化；

3）返回優(yōu)化的RMSE 最小值及對應LSTM 模型的超參數(shù)；

4）將貝葉斯優(yōu)化LSTM 模型的超參數(shù)作為最終LSTM 模型的參數(shù)。

2 基于貝葉斯優(yōu)化LSTM 的剩余壽命預測方法

基于貝葉斯優(yōu)化LSTM 網(wǎng)絡構(gòu)建發(fā)動機剩余壽命預測模型，該模型在LSTM 網(wǎng)絡的基礎上，使用貝葉斯優(yōu)化算法對LSTM 網(wǎng)絡的超參數(shù)進行優(yōu)化，提高預測的準確度。主要對初始學習率和隱藏層數(shù)兩個超參數(shù)進行貝葉斯優(yōu)化，優(yōu)化超參數(shù)的約束條件如表1 所示。

表1 超參數(shù)約束條件

運用貝葉斯優(yōu)化LSTM 網(wǎng)絡超參數(shù)，進而應用LSTM 網(wǎng)絡對航空發(fā)動機進行剩余壽命預測，其具體實現(xiàn)流程如圖3 所示。

圖3 具體實現(xiàn)流程圖

3 實例分析

3.1 數(shù)據(jù)集介紹

驗證實驗數(shù)據(jù)集來自于NASA 的渦扇發(fā)動機退化數(shù)據(jù)集（C-MAPSS），該數(shù)據(jù)集記錄了每臺發(fā)動機在采樣時間產(chǎn)生的數(shù)據(jù)樣本，記錄了從健康到故障的性能退化過程。數(shù)據(jù)集包含1 個時間數(shù)據(jù)，3 個操作模式和21 個傳感器數(shù)據(jù)。具體傳感器名稱如表2 所示。數(shù)據(jù)集包括訓練集、測試集和測試集標簽。以該數(shù)據(jù)集為例，測算貝葉斯優(yōu)化LSTM 算法的性能，并與其他算法進行對比分析。

表2 傳感器信息表

3.2 數(shù)據(jù)預處理

3.2.1 刪除常量參數(shù)

雖然訓練集與測試集一共記錄渦扇發(fā)動機的21種傳感器數(shù)據(jù)，但其中有一部分傳感器是常數(shù)量，不隨樣本或時間變化。換言之，這些常量參數(shù)對于航空發(fā)動機剩余壽命預測不起作用，對于模型訓練也沒有幫助。同時，參考其他研究中的做法，方便進行對比分析，對常量參數(shù)進行了刪除操作，只選取變量傳感器數(shù)據(jù)作為輸入來對模型進行訓練和驗證。

3.2.2 數(shù)據(jù)標準化

然后，對傳感器數(shù)據(jù)進行了數(shù)據(jù)標準化，方便不同量綱的數(shù)據(jù)進行分析。數(shù)據(jù)標準化的一般處理方法主要有Min-max 和Z-score 兩種方法。主要采取Z-score 方法對傳感器數(shù)據(jù)進行數(shù)據(jù)歸一化。Z-score 表達式如下：

3.2.3 設置訓練集標簽

下面先各按各個樣本的大小順序進行排列。如圖4 所示，可以發(fā)現(xiàn)大部分樣本在125 以上。因為在系統(tǒng)前期，發(fā)動機狀態(tài)比較穩(wěn)定，退化較慢。為更快訓練算法，按照一般做法對系統(tǒng)前期的數(shù)據(jù)進行裁剪，選取選取快要發(fā)生故障的樣本數(shù)據(jù)，以125 對樣本進行裁剪。

圖4 樣本數(shù)據(jù)排序圖

3.3 設置網(wǎng)絡結(jié)構(gòu)

構(gòu)建基于貝葉斯優(yōu)化的LSTM 網(wǎng)絡，LSTM 網(wǎng)絡包含1 個LSTM 層、1 個池化層和兩個全連接層。其中，LSTM 網(wǎng)絡結(jié)構(gòu)超參數(shù)中初始學習率和隱藏層數(shù)由貝葉斯優(yōu)化迭代選優(yōu)，其他參數(shù)如表3 所示。貝葉斯優(yōu)化針對初始學習率和隱藏層數(shù)進行迭代尋優(yōu)，迭代次數(shù)設置為10。

表3 LSTM 網(wǎng)絡參數(shù)表

3.4 評價指標

模型評價的常用性能評價指標主要有均方根誤差（root mean squared error，RMSE）和評分函數(shù)（Score）兩種方法。主要采用均方根誤差（RMSE）來對航空發(fā)動機剩余壽命預測模型的性能進行評價。RMSE 的表達式如下所示：

3.5 實驗結(jié)果

首先利用貝葉斯優(yōu)化算法對LSTM 算法的超參數(shù)進行了優(yōu)化，經(jīng)過迭代擇優(yōu)，找到了LSTM 超參數(shù)最優(yōu)解，當初始學習率為0.010 177，隱藏層數(shù)為756 時，RMSE 最小，為15.188。具體貝葉斯優(yōu)化過程如圖5 所示。

圖5 貝葉斯優(yōu)化過程圖

然后隨機選取6 個發(fā)動機，對其剩余壽命預測情況進行觀察，如下頁圖6 所示，貝葉斯優(yōu)化LSTM算法對于航空發(fā)動機剩余壽命預測效果較好。

圖6 發(fā)動機剩余壽命預測情況

3.6 對比分析

為了進一步說明預測方法的可行性和有效性，選取其他6 種預測方法，與同樣數(shù)據(jù)集的研究結(jié)果進行對比分析，以充分評估貝葉斯優(yōu)化LSTM 算法的效果。6 種方法同樣使用RMSE 作為評價指標，具體對比結(jié)果如下頁表4 所示。

由表4 可見，與MLP 和SVM 等機器學習算法相比，貝葉斯優(yōu)化LSTM 結(jié)果更好，CNN 等常規(guī)深度學習模型也取得了更好的結(jié)果。和Bi-LSTM 、BHSLSTM 和LSTM 等優(yōu)化算法相比，RMSE 評價結(jié)果分別提升了9.595%、19.128%和5.898%。這是因為利用貝葉斯優(yōu)化算法對超參數(shù)進行了迭代擇優(yōu)，克服了手工調(diào)整的弊端，能更好地利用深度學習網(wǎng)絡進行預測。因此，在航空發(fā)動機剩余壽命預測上取得更好的結(jié)果。

表4 RMSE 對比分析表

4 結(jié)論

航空發(fā)動機作為最重要的航空器部件，實時監(jiān)控健康狀態(tài)、準確預測剩余壽命，能有效提高航空器的可靠性和安全性，并為制定維修策略提供參考依據(jù)。根據(jù)深度學習和優(yōu)化算法，提出了貝葉斯優(yōu)化LSTM 算法的航空發(fā)動機剩余壽命預測方法。方法利用貝葉斯優(yōu)化算法優(yōu)化LSTM 網(wǎng)絡的隱藏層數(shù)和初始學習率，將使用該組超參數(shù)在驗證集上的RSME 作為目標函數(shù)；基于目標函數(shù)過去的評估結(jié)果建立替代函數(shù)找到最小化目標函數(shù)的值，并作為超參數(shù)；利用貝葉斯優(yōu)化的LSTM 函數(shù)對發(fā)動機剩余壽命進行預測，然后通過NASA 公開數(shù)據(jù)集對該方法進行了驗證。通過與其他6 種算法的比較可以得出，貝葉斯優(yōu)化LSTM 算法能更好地進行參數(shù)優(yōu)化，具有更高的預測精度，在航空發(fā)動機進行剩余壽命預測方面應用效果較好。