閆嘯家, 梁偉閣,*, 張 鋼, 佘 博, 田福慶

(1. 海軍工程大學(xué)兵器工程學(xué)院, 湖北 武漢 430033; 2. 大連艦艇學(xué)院導(dǎo)彈與艦炮系, 遼寧 大連 116016)

0 引 言

對機(jī)械設(shè)備進(jìn)行預(yù)測和健康管理(prognostics and health management, PHM)有利于提高其安全性,防止災(zāi)難性事故發(fā)生[1]。而剩余壽命(remaining useful life, RUL)的準(zhǔn)確預(yù)測是PHM研究領(lǐng)域中的關(guān)鍵任務(wù)[2],可以為設(shè)備維修建立最佳維護(hù)策略提供決策支持[3]。

RUL預(yù)測可以動態(tài)感知機(jī)械設(shè)備健康狀態(tài)的未來變化,目前較為流行的有模型驅(qū)動的預(yù)測方法、數(shù)據(jù)驅(qū)動的預(yù)測方法和混合驅(qū)動的預(yù)測方法三類[4]。模型驅(qū)動和混合驅(qū)動的預(yù)測方法需要通過已知的力學(xué)原理和機(jī)械原理建立明確的數(shù)學(xué)模型,進(jìn)而分析設(shè)備的性能退化過程[5]。然而大型機(jī)械設(shè)備的結(jié)構(gòu)復(fù)雜,使用環(huán)境和故障模式多樣,建立精確的性能退化模型代價過高,應(yīng)用范圍受到極大限制。而數(shù)據(jù)驅(qū)動的預(yù)測方法僅通過對設(shè)備運(yùn)行過程中的監(jiān)測數(shù)據(jù)進(jìn)行性能特征挖掘,從而展現(xiàn)內(nèi)外部環(huán)境所導(dǎo)致設(shè)備性能的劣化,該方法規(guī)避了機(jī)械設(shè)備復(fù)雜機(jī)理的數(shù)學(xué)建模,逐步成為RUL預(yù)測的研究熱點。

數(shù)據(jù)驅(qū)動的預(yù)測方法主要分為統(tǒng)計分析和機(jī)器學(xué)習(xí)兩類方法[6]。統(tǒng)計分析方法通過對設(shè)備失效時間數(shù)據(jù)進(jìn)行統(tǒng)計分析,利用參數(shù)估計構(gòu)造RUL的分布函數(shù),然后通過分布擬合隨機(jī)變量的關(guān)系實現(xiàn)RUL預(yù)測[7]。黃亮等[8]通過融合機(jī)械設(shè)備的歷史退化數(shù)據(jù)和實時監(jiān)測數(shù)據(jù),建立了多階段Wiener過程性能退化模型,從而實現(xiàn)發(fā)動機(jī)RUL的預(yù)測。袁慶洋等[9]利用電機(jī)溫度作為退化特征,建立了多段Wiener過程模型以預(yù)測電機(jī)RUL。馮磊等[10]提出了半隨機(jī)濾波-期望最大化算法,成功解決了隱含退化過程的RUL在線預(yù)測問題。Kundu等[11]綜合考慮了模型參數(shù)估計過程中設(shè)備的工作參數(shù)和監(jiān)測信號,從而建立威布爾加速損傷回歸模型來描述不同工作狀態(tài)下設(shè)備的故障特征。Zhang等[12]利用設(shè)備融合監(jiān)測信息建立了基于Gamma退化過程的RUL預(yù)測模型。王澤洲等[13]在傳統(tǒng)Wiener退化模型中引入擴(kuò)散系數(shù)與漂移系數(shù)的比例關(guān)系,從而實現(xiàn)漂移系數(shù)和擴(kuò)散系數(shù)的同步更新。Wu等[14]基于隨機(jī)系數(shù)Wiener過程對復(fù)雜機(jī)械設(shè)備的RUL進(jìn)行預(yù)測,具有更高的預(yù)測精度和更低的預(yù)測不確定性。然而,隨著智能傳感器的發(fā)展,通常使用多種組網(wǎng)傳感器收集多源數(shù)據(jù)來全面反映設(shè)備運(yùn)行狀態(tài),統(tǒng)計分析方法難以從信號差異大、采樣策略多和數(shù)據(jù)價值低的大數(shù)據(jù)中提取退化特征信息,同時基于耦合多維變量的RUL分布求解難題仍未解決。以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)可以對原始監(jiān)測數(shù)據(jù)進(jìn)行特征提取和訓(xùn)練,不必構(gòu)建具體的退化模型便可模擬性能退化過程,同時深度學(xué)習(xí)方法克服了淺層機(jī)器學(xué)習(xí)方法[15]難以提取深度特征的缺陷,通過對多傳感器性能參數(shù)組成的多維數(shù)據(jù)進(jìn)行深度特征提取,充分利用學(xué)習(xí)時間序列蘊(yùn)含的信息對RUL進(jìn)行更為精確的預(yù)測。

深度循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)適用于處理時間序列,從中挖掘反映設(shè)備性能退化的潛在特征,而其衍生模型長短期記憶(long short term memory,LSTM)網(wǎng)絡(luò)可以解決RNN模型無法學(xué)習(xí)長時間特征關(guān)系及梯度消失等問題[16],對于解決設(shè)備的RUL預(yù)測問題具有明顯優(yōu)勢。Zheng等[17]通過多層LSTM堆疊以構(gòu)建深層LSTM結(jié)構(gòu),提高了RUL預(yù)測精度。王鑫等[18]通過多層網(wǎng)格參數(shù)搜索,對LSTM預(yù)測模型優(yōu)選參數(shù),并利用飛機(jī)故障試驗對方法的有效性和實用性進(jìn)行了驗證。Sheng等[19]構(gòu)建了可以挖掘不同退化狀態(tài)信息的多尺度LSTM,具有更好的預(yù)測性能。宋亞等[20]提出自編碼器與雙向LSTM(bidirectional LSTM, BiLSTM)網(wǎng)絡(luò)融合模型,對于高維海量狀態(tài)監(jiān)測數(shù)據(jù)的處理獲得了較好的效果。孫世巖等[21]使用擴(kuò)增后的數(shù)據(jù)訓(xùn)練BiLSTM網(wǎng)絡(luò),解決了訓(xùn)練樣本數(shù)量不足的問題,同時準(zhǔn)確描述了軸承的退化趨勢。Chen等[22]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)提取監(jiān)測數(shù)據(jù)的空間特征,從而對設(shè)備的RUL進(jìn)行準(zhǔn)確的預(yù)測。盡管LSTM在處理時序性數(shù)據(jù)時表現(xiàn)出良好的效果,但面對長時間序列時難以捕捉關(guān)鍵退化信息,從而導(dǎo)致性能退化時間點的識別準(zhǔn)確率較低。

為了解決上述問題,本文提出一種基于殘差CNN和注意力BiLSTM網(wǎng)絡(luò)(residual CNN-attentional BiLSTM network, RCNN-ABiLSTM)的RUL預(yù)測模型。首先,利用CNN從多維傳感器信號中提取深度特征向量,同時利用殘差網(wǎng)絡(luò)結(jié)構(gòu)有效解決深層CNN帶來的梯度消失問題;其次,針對傳感器數(shù)據(jù)的前后序列相關(guān)性,利用BiLSTM學(xué)習(xí)CNN所提空間特征的退化信息,捕獲時間序列中長距離相關(guān)特征,并借助注意力機(jī)制計算時間特征的重要性程度,加強(qiáng)關(guān)鍵時間特征對RUL預(yù)測的表達(dá),從而有效提高模型RUL預(yù)測準(zhǔn)確度。

1 模型理論

1.1 RCNN

傳統(tǒng)CNN的結(jié)構(gòu)如圖1所示,主要由卷積層、池化層和全連接層組成[23]。卷積層能夠提取輸入數(shù)據(jù)的特征,池化層對卷積層所提特征按照特定規(guī)則進(jìn)行選擇和過濾,而全連接層一般與輸出層進(jìn)行連接,相當(dāng)于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的隱藏層,實現(xiàn)最后的輸出維度變換。模型可以從多維樣本中自適應(yīng)提取空間特征,易于實現(xiàn)樣本重構(gòu)和特征提取,可以有效獲取性能退化信息[24]。

圖1 CNN結(jié)構(gòu)Fig.1 Structure of CNN

(1)

式中:W1、W2和W3分別為單向殘差模塊3個卷積層的權(quán)重矩陣;f(·)表示批歸一化(batch normalization, BN)操作和ReLU激活函數(shù)的函數(shù)映射;?為卷積運(yùn)算。則單個模塊的非線性映射函數(shù)為

(2)

對式(2)求偏導(dǎo),可得

(3)

圖2 ResNet模塊Fig.2 ResNet module

由式(3)可知,通過構(gòu)建輸入到輸出的直連通道可以有效解決梯度消失的問題。對比圖2(a)和圖2(b),根據(jù)全壽命周期數(shù)據(jù)集特點,單向殘差模塊將經(jīng)典殘差模塊第2個卷積層的卷積核尺寸由2×2替換為2×1。同時,實際卷積過程實現(xiàn)了卷積核的單向移動,不會對時間序列的前后相關(guān)性進(jìn)行破壞,即對機(jī)械設(shè)備傳感器數(shù)據(jù)的單一時間序列進(jìn)行信息融合,不改變數(shù)據(jù)的時序關(guān)系,進(jìn)而提取與RUL相關(guān)聯(lián)的特征。

1.2 BiLSTM網(wǎng)絡(luò)

RUL預(yù)測的主要途徑是從機(jī)械設(shè)備傳感器數(shù)據(jù)中學(xué)習(xí)與設(shè)備性能退化的時空信息,而RNN可以充分利用數(shù)據(jù)的時間相關(guān)特性對時域序列數(shù)據(jù)進(jìn)行處理,然而當(dāng)單一時序數(shù)據(jù)的長度很大或時間很短時,RNN會存在梯度消失、梯度爆炸等問題[27]。

LSTM引入記憶細(xì)胞概念,由輸入門、遺忘門、選擇門和輸出門4個相互連接的結(jié)構(gòu)組成,通過比較記憶信息和當(dāng)前信息,選擇重要信息,遺忘次要信息,使網(wǎng)絡(luò)獲得更強(qiáng)的記憶能力,能夠緩解長序列RNN訓(xùn)練過程中梯度消失與爆炸的問題,其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 LSTM network structure diagram

其中，ht-1、ht分別為t-1時刻和t時刻的隱藏狀態(tài);ct-1、ct分別為t-1時刻和t時刻的門控單元狀態(tài);xt為t時刻的輸入。遺忘門ft負(fù)責(zé)對上一節(jié)點輸入的信息進(jìn)行選擇性遺棄;輸入門it將記憶信息與當(dāng)前信息進(jìn)行融合,輸入至選擇門gt中;選擇門gt對融合信息進(jìn)行選擇性記憶;輸出門ot決定當(dāng)前門控單元狀態(tài)對隱層輸出的影響。當(dāng)前門控單元狀態(tài)ct受上一時刻門控單元狀態(tài)、遺忘門、輸入門和選擇門共同影響,而記憶單元的輸出由輸出門ot和門控單元狀態(tài)ct共同決定,具體計算過程如下所示:

(4)

式中:Wf和bf、Wi和bi、Wg和bg以及Wo和bo分別為遺忘門、輸入門、選擇門和輸出門的權(quán)重和偏置矩陣;σ(·)為Sigmoid激活函數(shù),將輸出變換到[0,1]區(qū)間內(nèi);tanh(·)為雙曲正切激活函數(shù),將輸出變換到[-1,1]區(qū)間內(nèi)。

記憶單元或稱門控單元是LSTM網(wǎng)絡(luò)的核心,通過若干記憶單元構(gòu)成前向傳播鏈?zhǔn)浇Y(jié)構(gòu)[16],可以實現(xiàn)信息的統(tǒng)籌和傳遞。由式(4)可知,記憶單元可以對信息流進(jìn)行精準(zhǔn)的控制,通過整合所有時刻內(nèi)部狀態(tài)信息和輸入信息,保證模型訓(xùn)練過程中梯度下降的穩(wěn)定性。為了加深對原始時間序列特征提取的層次,進(jìn)一步提高模型輸出的準(zhǔn)確性,將兩個方向不同的獨立的LSTM疊加在一起構(gòu)成BiLSTM網(wǎng)絡(luò),具體結(jié)構(gòu)如圖4所示。

圖4 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 BiLSTM network structure diagram

將xt輸入至前向?qū)?從0時刻到t時刻正向計算出向前隱含層的輸出hf;輸入至反向?qū)?從t時刻到0時刻反向計算出向后隱含層的輸出hb。最后,將前向?qū)雍头聪驅(qū)拥妮敵鼋Y(jié)果輸入至全連接層,得到最終輸出h:

h=f(hf,hb)

(5)

式中:f(·)是全連接層的映射函數(shù)。

2 機(jī)械設(shè)備RUL預(yù)測模型

2.1 預(yù)測模型概述

在機(jī)械設(shè)備RUL預(yù)測中,性能退化規(guī)律的重要信息主要存儲于歷史時間序列中。傳統(tǒng)機(jī)器學(xué)習(xí)方法一般根據(jù)先驗知識從時間序列中選取與性能退化相關(guān)特征,這種方法會破壞歷史數(shù)據(jù)的時序性,導(dǎo)致預(yù)測精度較低。而RCNN不僅能夠充分挖掘數(shù)據(jù)潛在規(guī)律,自動提取重要特征,而且可以改善深層CNN訓(xùn)練過程中梯度消失的問題?；谧⒁饬C(jī)制的BiLSTM網(wǎng)絡(luò)能夠更好地從RCNN所提取特征中學(xué)習(xí)性能退化的規(guī)律,更容易捕獲時間序列中長距離相關(guān)特征,當(dāng)RUL預(yù)測中輸入時間序列過長時,注意力機(jī)制可以通過對輸入特征賦予不同的權(quán)重,利用有限運(yùn)算資源從大量信息中篩選出關(guān)鍵信息,過濾或弱化其他冗余信息,使模型更加關(guān)注對性能退化影響大的特征,以此來解決時間序列過長導(dǎo)致的信息丟失問題。因此,本文提出的RCNN-ABiLSTM機(jī)械設(shè)備RUL預(yù)測方法,能夠利用融合模型深入挖掘傳感器數(shù)據(jù)中豐富的規(guī)律信息與退化趨勢,提高RUL預(yù)測的精度。

2.2 RCNN-ABiLSTM結(jié)構(gòu)

本文所設(shè)計并構(gòu)建的RCNN-ABiLSTM結(jié)構(gòu)如圖5所示。該模型主要由輸入層、特征提取層、時間序列信息學(xué)習(xí)層以及輸出層組成。將機(jī)械設(shè)備傳感器數(shù)據(jù)輸入至單向殘差模塊中,通過反復(fù)卷積操作加深網(wǎng)絡(luò)深度,將所提多維特征圖輸入至全連接層獲得最終輸出,完成時間序列深度特征的提取。BiLSTM模塊從所提特征中學(xué)習(xí)機(jī)械設(shè)備隨時間變化的規(guī)律,注意力模塊通過引入權(quán)值概率來突出注意力集中的時間段,同時加強(qiáng)各段之間的聯(lián)系以幫助網(wǎng)絡(luò)捕獲關(guān)鍵時間序列信息。最后,利用輸出層對當(dāng)前RUL做出精準(zhǔn)預(yù)測。

圖5 RCNN-ABiLSTM模型結(jié)構(gòu)圖Fig.5 Structure of RCNN-ABiLSTM model

2.2.1 輸入層

輸入層負(fù)責(zé)將機(jī)械設(shè)備歷史傳感器數(shù)據(jù)輸入至預(yù)測模型中。記運(yùn)行工況和不同類型傳感器監(jiān)測數(shù)據(jù)為相關(guān)特征時間序列矩陣X=(x1,x2,…,xT)=(x1,x2,…,xN)T,展開可表示為

(6)

2.2.2 特征提取層

特征提取層負(fù)責(zé)提取輸入時間序列的特征。通過構(gòu)建若干單向殘差模塊組成RCNN框架,同時在模塊中添加最大值池化層,以保留更多的數(shù)據(jù)波動信息。經(jīng)過卷積和池化操作后原始數(shù)據(jù)被映射到隱層特征空間,選取ReLU激活函數(shù)進(jìn)行激活,搭建全連接結(jié)構(gòu)將其轉(zhuǎn)換為一維結(jié)構(gòu),并簡化參數(shù)以提高訓(xùn)練速度。輸入為單個時間序列,構(gòu)建3層殘差模塊結(jié)構(gòu)如圖6所示,其計算過程為

R1=F(X?W1+b1)=ReLU (X?W1+b1)

(7)

P1=max (R1)+b2

(8)

R2=F(P1?W2+b3)=ReLU (P1?W2+b3)

(9)

R3=F(R2?W3+b4)=ReLU (R2?W3+b4)

(10)

Ho=Sigmoid (R3×W4+b5)

(11)

圖6 特征提取層結(jié)構(gòu)Fig.6 Feature extraction layer structure

由圖6可知,假設(shè)輸入數(shù)據(jù)的大小為14×1,卷積核的數(shù)目為2,首先經(jīng)過殘差卷積操作1后,變?yōu)榇笮?×13×1的兩個特征圖;其次經(jīng)過尺寸為2×1的最大值池化操作后,得到2×12×1的輸出;然后經(jīng)過殘差卷積操作2和3后,得到大小為8×10×1的輸出;之后將輸出節(jié)點展開為全連接層,利用激活函數(shù)計算出特征提取層的最終輸出,從而實現(xiàn)提取特征降維。

2.2.3 時間序列信息學(xué)習(xí)層

對于機(jī)械設(shè)備RUL預(yù)測任務(wù),作為輸入的傳感器數(shù)據(jù)特征是一段連續(xù)的具有強(qiáng)相關(guān)性的時間序列,從而要求網(wǎng)絡(luò)具有一定的“記憶功能”,通過學(xué)習(xí)前后信息的差異對當(dāng)前設(shè)備的RUL進(jìn)行判斷。特征提取層可以從不同角度挖掘數(shù)據(jù)特征,但難以學(xué)習(xí)具有明顯時間相關(guān)性的序列信息。因此,在特征提取層后添加了BiLSTM模塊和注意力模塊,使得網(wǎng)絡(luò)可以對時間序列信息進(jìn)行學(xué)習(xí)。如圖5所示的時間序列信息學(xué)習(xí)層,將BiLSTM模塊的輸出作為注意力模塊的輸入,解決長時間序列信息丟失的問題。

BiLSTM模塊:BiLSTM從前后兩個方向?qū)CNN提取的深度特征進(jìn)行學(xué)習(xí)。如圖5所示,將每個時刻t的特征輸入至前向?qū)雍头聪驅(qū)?得到前向輸出hft和后向輸出hbt,最終通過式(5)計算出BiLSTM模塊的輸出ht,t∈[1,T]。

注意力模塊:記t時刻內(nèi)剩余壽命標(biāo)簽為Y=(y1,y2,…,yt,…,yT)。首先通過全連接神經(jīng)網(wǎng)絡(luò)計算ht的特征權(quán)重參數(shù)Wt,用來表示由ht所得目標(biāo)值Y′與Y的相關(guān)性,突出注意力集中的時間段,然后利用Softmax函數(shù)實現(xiàn)權(quán)重歸一化,得到所有特征權(quán)重之和為1的權(quán)值概率Pt,最后根據(jù)權(quán)值概率對輸入ht進(jìn)行加權(quán)求和,計算出注意力模塊的輸出st。所述計算過程如下:

Wt=tanh (wht+b)

(12)

(13)

(14)

式中:w為全連接層的權(quán)重系數(shù);b為偏差向量。

2.2.4 輸出層

將注意力模塊的輸出作為輸出層的輸入,通過全連接層計算出設(shè)備的剩余壽命預(yù)測值Y′=[y′1,y′2,…,y′t,…,y′T]T,計算公式可表示為

y′t=Sigmoid (wost+bo)

(15)

式中:y′t為第t時刻模型的預(yù)測值;wo為權(quán)重矩陣;bo為偏置系數(shù);激活函數(shù)選擇Sigmoid函數(shù)。

3 驗證與分析

3.1 數(shù)據(jù)集介紹

美國航空航天局的C-MAPSS航空發(fā)動機(jī)數(shù)據(jù)集[28]是RUL預(yù)測領(lǐng)域應(yīng)用最為廣泛的公共數(shù)據(jù)集之一,包含了不同故障模式和工作條件下渦扇發(fā)動機(jī)從正常運(yùn)行到故障失效的4組傳感器監(jiān)測數(shù)據(jù),且將21種傳感器作為能夠表征發(fā)動機(jī)運(yùn)行狀況的典型指標(biāo)。每組數(shù)據(jù)由訓(xùn)練集、測試集和RUL標(biāo)簽組成,訓(xùn)練集包含發(fā)動機(jī)整個壽命周期的全部數(shù)據(jù),測試集只包含測試發(fā)動機(jī)從初始狀態(tài)開始前一部分的數(shù)據(jù),RUL標(biāo)簽是與測試集相對應(yīng)的發(fā)動機(jī)最后監(jiān)測時刻的RUL。其中,各個數(shù)據(jù)文件中包含不同數(shù)量的發(fā)動機(jī),每臺發(fā)動機(jī)帶有不同程度的初始磨損,因此每臺發(fā)動機(jī)監(jiān)測數(shù)據(jù)的序列長度也不同,4組監(jiān)測數(shù)據(jù)的具體信息如表1所示。

表1 航空發(fā)動機(jī)數(shù)據(jù)集

3.2 驗證過程及結(jié)果分析

3.2.1 數(shù)據(jù)預(yù)處理

本文以FD001為例展示驗證的具體過程。觀察到數(shù)據(jù)集中setting_3與7個傳感器數(shù)值無變化,為提高計算速度,剔除無意義數(shù)據(jù),同時將運(yùn)行周期也作為輸入特征之一,即可得到17個輸入特征的數(shù)據(jù)集。其次,原始數(shù)據(jù)含有大量高斯隨機(jī)噪聲,首先使用窗寬為10的濾波函數(shù)對數(shù)據(jù)進(jìn)行降噪處理,以降低數(shù)據(jù)的波動。

由于多維監(jiān)測數(shù)據(jù)具有不同的量綱,所以在模型構(gòu)建前須進(jìn)行歸一化預(yù)處理。本文選用最小-最大標(biāo)準(zhǔn)化方法將數(shù)據(jù)統(tǒng)一至[0,1]范圍內(nèi),具體公式如下:

(16)

為了利用有限的序列深入挖掘性能退化規(guī)律,同時將時間序列轉(zhuǎn)化成BiLSTM網(wǎng)絡(luò)擅長處理的三維輸入格式,采用滑動時間窗分割方法對歸一化后的數(shù)據(jù)進(jìn)行處理。這樣既可以充分保留相鄰序列之間的時間相關(guān)性,又可以提高訓(xùn)練集樣本的數(shù)量,使模型具有更高的魯棒性和泛化能力。記發(fā)動機(jī)原始時間序列長度為T,特征維度為N,利用窗寬為S的滑動窗沿著時間序列滑動,將每滑動一個步長所截取的時間序列疊加至第3個維度,形成(T-S,S,N)的三維張量,計算過程如下:

X1:T-S=x1:1+S⊕x2:2+S⊕…xi:i+S…⊕xT-S:T

(17)

式中:X1:T-S為轉(zhuǎn)換后的三維張量;xi:i+S為從第i個時間周期開始長度為S的序列;⊕表示窗口內(nèi)數(shù)據(jù)在第3個維度的連接,從而形成三維張量。

發(fā)動機(jī)在運(yùn)行初期狀態(tài)良好,性能退化量可忽略不計,但到了使用末期,發(fā)動機(jī)的性能會隨著時間的延長而急劇下降。如果將發(fā)動機(jī)性能迅速劣化之前監(jiān)測數(shù)據(jù)的標(biāo)簽設(shè)置為總運(yùn)行周期減去當(dāng)前運(yùn)行周期數(shù),會增加剩余壽命預(yù)測結(jié)果的滯后性。因此,可以認(rèn)為發(fā)動機(jī)開始急速退化之前的RUL保持不變,即為訓(xùn)練集的RUL標(biāo)簽設(shè)置閾值,使之成為分段線性函數(shù)。研究表明,將訓(xùn)練集RUL標(biāo)簽突變臨界值設(shè)置為第130個運(yùn)行周期預(yù)測效果較好[29],RUL標(biāo)簽設(shè)置結(jié)果如圖7所示。

圖7 RUL標(biāo)簽設(shè)置Fig.7 RUL label setting

3.2.2 超參數(shù)設(shè)置

本模型所涉及的主要超參數(shù)有:網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)率、批尺寸、迭代次數(shù)、Dropout率等。模型超參數(shù)對模型性能的優(yōu)劣有較大的影響,因此通過調(diào)節(jié)單個參數(shù)來使得模型預(yù)測誤差最低,從而獲取最優(yōu)超參數(shù)組合。

同時,為了準(zhǔn)確反映不同超參數(shù)模型在測試集的預(yù)測值與真實值之間的誤差距離,采用均方誤差MSE作為評價指標(biāo)來調(diào)節(jié)超參數(shù):

(18)

以批尺寸參數(shù)為例,模型超參數(shù)調(diào)節(jié)過程如圖8所示。由圖8可知,批尺寸為64時MMSE最小,因此64是模型最合理的批尺寸參數(shù)。其中，MMSE為30次實驗結(jié)果所得MSE的均值。表2是通過30次重復(fù)實驗獲得的最優(yōu)超參數(shù)組合,表中其他超參數(shù)設(shè)置方法均按上述方法進(jìn)行。

圖8 不同批尺寸試驗結(jié)果(MMSE為30次試驗結(jié)果所得MSE的均值)Fig.8 Different batch size test results (MMSE is the mean of MSE obtained from 30 trials)

表2 最優(yōu)超參數(shù)組合

3.2.3 模型訓(xùn)練與結(jié)果分析

將預(yù)處理后的高維時間序列輸入RCNN進(jìn)行特征提取,原始數(shù)據(jù)共有17個特征,經(jīng)過5個殘差單元和最大值池化操作后數(shù)據(jù)維度降低至7,然后將降維特征輸入到BiLSTM中進(jìn)行時間信息學(xué)習(xí)。將訓(xùn)練集按照7:1的比例劃分為訓(xùn)練集和驗證集,若驗證集的誤差在連續(xù)10個訓(xùn)練時期內(nèi)沒有下降趨勢時,為防止模型過擬合,提前停止訓(xùn)練。訓(xùn)練過程中的測試誤差與訓(xùn)練誤差變化情況如圖9所示,訓(xùn)練與測試的評價指標(biāo)隨著訓(xùn)練時期數(shù)的遞增而逐漸趨于平穩(wěn)與一致,訓(xùn)練誤差從1 852降低至234,測試誤差從1 794逐漸減小至263。

圖9 RUL預(yù)測訓(xùn)練誤差與測試誤差曲線圖Fig.9 RUL prediction training error and test error curves

將測試集輸入至訓(xùn)練后的模型中,RUL預(yù)測結(jié)果如圖10所示。

圖10 FD001測試集RUL預(yù)測結(jié)果Fig.10 FD001 test set RUL prediction results

為比較RUL大小對模型預(yù)測的影響,將FD001測試集中所有的發(fā)動機(jī)根據(jù)真實RUL值從大到小進(jìn)行重新排序,結(jié)果如圖11所示。當(dāng)RUL值較大時,發(fā)動機(jī)處于健康狀態(tài),表明設(shè)備運(yùn)行狀況良好。由圖11可知,發(fā)動機(jī)剛開始運(yùn)行時,RUL預(yù)測誤差較大,同時波動較為劇烈且表現(xiàn)出明顯的滯后性。但經(jīng)過長時間運(yùn)行后,預(yù)測RUL收斂在真實RUL周圍,預(yù)測性能顯著增強(qiáng)。因此,設(shè)備歷史信息越充分,性能退化信息越明顯,模型的預(yù)測誤差越小。

圖11 FD001發(fā)動機(jī)重新排序預(yù)測結(jié)果Fig.11 FD001 engine reordering prediction results

在FD001數(shù)據(jù)集中隨機(jī)選取4個發(fā)動機(jī)的連續(xù)RUL預(yù)測結(jié)果,如圖12所示。由圖可以看出RCNN-ABiLSTM模型的深層卷積結(jié)構(gòu)能夠有效提取引擎退化的深度特征,即使引擎剛開始運(yùn)轉(zhuǎn)時歷史數(shù)據(jù)較少,難以預(yù)測RUL大小,模型預(yù)測值也較為接近臨界值130。隨著運(yùn)行周期的增加,發(fā)動機(jī)的性能退化量逐漸積累,BiLSTM可以學(xué)習(xí)時間序列前后的時序關(guān)系,同時注意力機(jī)制自適應(yīng)選取性能退化關(guān)鍵時間點。模型通過融合二者在空間和時間特征學(xué)習(xí)的優(yōu)勢,有效提升較長時間段的預(yù)測精度。由圖12可知,在發(fā)動機(jī)性能退化中后期,模型能夠較好的擬合真實性能退化曲線,RUL預(yù)測結(jié)果愈發(fā)精確且穩(wěn)定性較高。因此,本文所提模型有較強(qiáng)的空間深度特征提取能力和較長時序特征的記憶能力。

圖12 4臺發(fā)動機(jī)RUL預(yù)測結(jié)果Fig.12 Four engines RUL prediction results

3.3 模型對比分析

為了客觀評估不同模型在測試集上的準(zhǔn)確度和泛化能力,采用均方根誤差RMSE和評分函數(shù)Score對RUL預(yù)測效果進(jìn)行評價[15]。

RMSE用于衡量預(yù)測值同真實值之間的偏差,其計算公式為

(19)

由于發(fā)動機(jī)較高的安全性要求,不及時維修造成的災(zāi)難性后果所引起的成本遠(yuǎn)大于過度維修資源的成本,因此評分函數(shù)對高估RUL的情況施加更高的懲罰。Score分?jǐn)?shù)越低,表明模型的預(yù)測性能越好,計算公式如下:

(20)

為了驗證提出的RCNN-ABiLSTM融合模型進(jìn)行發(fā)動機(jī)RUL預(yù)測的有效性,分別構(gòu)建了支持向量回歸[15]、CNN[15]、LSTM[17]、CNN-LSTM[30]、Autoencoder-BiLSTM[20]作為對比模型,所得結(jié)果如表3所示。由表3可知,相較于淺層機(jī)器學(xué)習(xí)方法和單層深度學(xué)習(xí)模型,文獻(xiàn)[30]中提出的CNN-LSTM雖然在子集FD003上表現(xiàn)略遜于LSTM,但在復(fù)雜多故障模式條件子集FD002和FD004上預(yù)測效果更好。文獻(xiàn)[20]中提出的Autoencoder-BiLSTM將自編碼器作為特征提取工具,同時利用BiLSTM捕捉雙向長程依賴特性,相較于CNN-LSTM誤差,預(yù)測結(jié)果進(jìn)一步提升,但在FD002和FD004上表現(xiàn)出明顯的預(yù)測滯后性。RCNN-ABiLSTM考慮到注意力機(jī)制提取長時間序列關(guān)鍵退化信息的優(yōu)越性,在所有的測試集上預(yù)測精度顯著提升。結(jié)果表明,本文所提出的融合模型不僅有效降低了RUL預(yù)測誤差,而且對于運(yùn)行條件復(fù)雜和故障模式多變的發(fā)動機(jī)傳感器數(shù)據(jù),能夠準(zhǔn)確尋找到退化時間點,提高設(shè)備的使用安全性。

表3 不同預(yù)測模型對比結(jié)果

4 結(jié) 論

針對機(jī)械設(shè)備監(jiān)測數(shù)據(jù)呈現(xiàn)出非線性、多維度、大規(guī)模等特點,關(guān)鍵退化信息容易淹沒在長時間序列中,本文提出一種基于RCNN與ABiLSTM的機(jī)械設(shè)備RUL預(yù)測方法,通過CMAPSS數(shù)據(jù)集對模型進(jìn)行多方面驗證與測試,試驗結(jié)果表明:

(1) 設(shè)備歷史信息越充分,性能退化信息越明顯,模型的預(yù)測誤差越小。

(2) RCNN-ABiLSTM模型通過RCNN模型深度挖掘多維監(jiān)測數(shù)據(jù)的退化特征,同時ABiLSTM可以學(xué)習(xí)時間序列前后的時序關(guān)系,利用注意力機(jī)制自適應(yīng)選取性能退化關(guān)鍵時間點。模型通過融合二者在空間和時間特征學(xué)習(xí)的優(yōu)勢,有效提升較長時間段的預(yù)測精度。

(3) 相較于淺層機(jī)器學(xué)習(xí)方法、單層深度學(xué)習(xí)模型和多層深度學(xué)習(xí)模型,利用RCNN-ABiLSTM模型對運(yùn)行條件復(fù)雜和故障模式多變的多維機(jī)械設(shè)備監(jiān)測數(shù)據(jù)進(jìn)行處理,能夠準(zhǔn)確尋找到退化時間點,提高設(shè)備的使用安全性。