閆嘯家, 梁偉閣,*, 張 鋼, 佘 博, 田福慶

(1. 海軍工程大學(xué)兵器工程學(xué)院, 湖北 武漢 430033; 2. 大連艦艇學(xué)院導(dǎo)彈與艦炮系, 遼寧 大連 116016)

0 引 言

對(duì)機(jī)械設(shè)備進(jìn)行預(yù)測(cè)和健康管理(prognostics and health management, PHM)有利于提高其安全性,防止災(zāi)難性事故發(fā)生[1]。而剩余壽命(remaining useful life, RUL)的準(zhǔn)確預(yù)測(cè)是PHM研究領(lǐng)域中的關(guān)鍵任務(wù)[2],可以為設(shè)備維修建立最佳維護(hù)策略提供決策支持[3]。

RUL預(yù)測(cè)可以動(dòng)態(tài)感知機(jī)械設(shè)備健康狀態(tài)的未來變化,目前較為流行的有模型驅(qū)動(dòng)的預(yù)測(cè)方法、數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法和混合驅(qū)動(dòng)的預(yù)測(cè)方法三類[4]。模型驅(qū)動(dòng)和混合驅(qū)動(dòng)的預(yù)測(cè)方法需要通過已知的力學(xué)原理和機(jī)械原理建立明確的數(shù)學(xué)模型,進(jìn)而分析設(shè)備的性能退化過程[5]。然而大型機(jī)械設(shè)備的結(jié)構(gòu)復(fù)雜,使用環(huán)境和故障模式多樣,建立精確的性能退化模型代價(jià)過高,應(yīng)用范圍受到極大限制。而數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法僅通過對(duì)設(shè)備運(yùn)行過程中的監(jiān)測(cè)數(shù)據(jù)進(jìn)行性能特征挖掘,從而展現(xiàn)內(nèi)外部環(huán)境所導(dǎo)致設(shè)備性能的劣化,該方法規(guī)避了機(jī)械設(shè)備復(fù)雜機(jī)理的數(shù)學(xué)建模,逐步成為RUL預(yù)測(cè)的研究熱點(diǎn)。

數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法主要分為統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)兩類方法[6]。統(tǒng)計(jì)分析方法通過對(duì)設(shè)備失效時(shí)間數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,利用參數(shù)估計(jì)構(gòu)造RUL的分布函數(shù),然后通過分布擬合隨機(jī)變量的關(guān)系實(shí)現(xiàn)RUL預(yù)測(cè)[7]。黃亮等[8]通過融合機(jī)械設(shè)備的歷史退化數(shù)據(jù)和實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù),建立了多階段Wiener過程性能退化模型,從而實(shí)現(xiàn)發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)。袁慶洋等[9]利用電機(jī)溫度作為退化特征,建立了多段Wiener過程模型以預(yù)測(cè)電機(jī)RUL。馮磊等[10]提出了半隨機(jī)濾波-期望最大化算法,成功解決了隱含退化過程的RUL在線預(yù)測(cè)問題。Kundu等[11]綜合考慮了模型參數(shù)估計(jì)過程中設(shè)備的工作參數(shù)和監(jiān)測(cè)信號(hào),從而建立威布爾加速損傷回歸模型來描述不同工作狀態(tài)下設(shè)備的故障特征。Zhang等[12]利用設(shè)備融合監(jiān)測(cè)信息建立了基于Gamma退化過程的RUL預(yù)測(cè)模型。王澤洲等[13]在傳統(tǒng)Wiener退化模型中引入擴(kuò)散系數(shù)與漂移系數(shù)的比例關(guān)系,從而實(shí)現(xiàn)漂移系數(shù)和擴(kuò)散系數(shù)的同步更新。Wu等[14]基于隨機(jī)系數(shù)Wiener過程對(duì)復(fù)雜機(jī)械設(shè)備的RUL進(jìn)行預(yù)測(cè),具有更高的預(yù)測(cè)精度和更低的預(yù)測(cè)不確定性。然而,隨著智能傳感器的發(fā)展,通常使用多種組網(wǎng)傳感器收集多源數(shù)據(jù)來全面反映設(shè)備運(yùn)行狀態(tài),統(tǒng)計(jì)分析方法難以從信號(hào)差異大、采樣策略多和數(shù)據(jù)價(jià)值低的大數(shù)據(jù)中提取退化特征信息,同時(shí)基于耦合多維變量的RUL分布求解難題仍未解決。以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)可以對(duì)原始監(jiān)測(cè)數(shù)據(jù)進(jìn)行特征提取和訓(xùn)練,不必構(gòu)建具體的退化模型便可模擬性能退化過程,同時(shí)深度學(xué)習(xí)方法克服了淺層機(jī)器學(xué)習(xí)方法[15]難以提取深度特征的缺陷,通過對(duì)多傳感器性能參數(shù)組成的多維數(shù)據(jù)進(jìn)行深度特征提取,充分利用學(xué)習(xí)時(shí)間序列蘊(yùn)含的信息對(duì)RUL進(jìn)行更為精確的預(yù)測(cè)。

深度循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)適用于處理時(shí)間序列,從中挖掘反映設(shè)備性能退化的潛在特征,而其衍生模型長短期記憶(long short term memory,LSTM)網(wǎng)絡(luò)可以解決RNN模型無法學(xué)習(xí)長時(shí)間特征關(guān)系及梯度消失等問題[16],對(duì)于解決設(shè)備的RUL預(yù)測(cè)問題具有明顯優(yōu)勢(shì)。Zheng等[17]通過多層LSTM堆疊以構(gòu)建深層LSTM結(jié)構(gòu),提高了RUL預(yù)測(cè)精度。王鑫等[18]通過多層網(wǎng)格參數(shù)搜索,對(duì)LSTM預(yù)測(cè)模型優(yōu)選參數(shù),并利用飛機(jī)故障試驗(yàn)對(duì)方法的有效性和實(shí)用性進(jìn)行了驗(yàn)證。Sheng等[19]構(gòu)建了可以挖掘不同退化狀態(tài)信息的多尺度LSTM,具有更好的預(yù)測(cè)性能。宋亞等[20]提出自編碼器與雙向LSTM(bidirectional LSTM, BiLSTM)網(wǎng)絡(luò)融合模型,對(duì)于高維海量狀態(tài)監(jiān)測(cè)數(shù)據(jù)的處理獲得了較好的效果。孫世巖等[21]使用擴(kuò)增后的數(shù)據(jù)訓(xùn)練BiLSTM網(wǎng)絡(luò),解決了訓(xùn)練樣本數(shù)量不足的問題,同時(shí)準(zhǔn)確描述了軸承的退化趨勢(shì)。Chen等[22]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)提取監(jiān)測(cè)數(shù)據(jù)的空間特征,從而對(duì)設(shè)備的RUL進(jìn)行準(zhǔn)確的預(yù)測(cè)。盡管LSTM在處理時(shí)序性數(shù)據(jù)時(shí)表現(xiàn)出良好的效果,但面對(duì)長時(shí)間序列時(shí)難以捕捉關(guān)鍵退化信息,從而導(dǎo)致性能退化時(shí)間點(diǎn)的識(shí)別準(zhǔn)確率較低。

為了解決上述問題,本文提出一種基于殘差CNN和注意力BiLSTM網(wǎng)絡(luò)(residual CNN-attentional BiLSTM network, RCNN-ABiLSTM)的RUL預(yù)測(cè)模型。首先,利用CNN從多維傳感器信號(hào)中提取深度特征向量,同時(shí)利用殘差網(wǎng)絡(luò)結(jié)構(gòu)有效解決深層CNN帶來的梯度消失問題;其次,針對(duì)傳感器數(shù)據(jù)的前后序列相關(guān)性,利用BiLSTM學(xué)習(xí)CNN所提空間特征的退化信息,捕獲時(shí)間序列中長距離相關(guān)特征,并借助注意力機(jī)制計(jì)算時(shí)間特征的重要性程度,加強(qiáng)關(guān)鍵時(shí)間特征對(duì)RUL預(yù)測(cè)的表達(dá),從而有效提高模型RUL預(yù)測(cè)準(zhǔn)確度。

1 模型理論

1.1 RCNN

傳統(tǒng)CNN的結(jié)構(gòu)如圖1所示,主要由卷積層、池化層和全連接層組成[23]。卷積層能夠提取輸入數(shù)據(jù)的特征,池化層對(duì)卷積層所提特征按照特定規(guī)則進(jìn)行選擇和過濾,而全連接層一般與輸出層進(jìn)行連接,相當(dāng)于傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的隱藏層,實(shí)現(xiàn)最后的輸出維度變換。模型可以從多維樣本中自適應(yīng)提取空間特征,易于實(shí)現(xiàn)樣本重構(gòu)和特征提取,可以有效獲取性能退化信息[24]。

圖1 CNN結(jié)構(gòu)Fig.1 Structure of CNN

(1)

式中:W1、W2和W3分別為單向殘差模塊3個(gè)卷積層的權(quán)重矩陣;f(·)表示批歸一化(batch normalization, BN)操作和ReLU激活函數(shù)的函數(shù)映射;?為卷積運(yùn)算。則單個(gè)模塊的非線性映射函數(shù)為

(2)

對(duì)式(2)求偏導(dǎo),可得

(3)

圖2 ResNet模塊Fig.2 ResNet module

由式(3)可知,通過構(gòu)建輸入到輸出的直連通道可以有效解決梯度消失的問題。對(duì)比圖2(a)和圖2(b),根據(jù)全壽命周期數(shù)據(jù)集特點(diǎn),單向殘差模塊將經(jīng)典殘差模塊第2個(gè)卷積層的卷積核尺寸由2×2替換為2×1。同時(shí),實(shí)際卷積過程實(shí)現(xiàn)了卷積核的單向移動(dòng),不會(huì)對(duì)時(shí)間序列的前后相關(guān)性進(jìn)行破壞,即對(duì)機(jī)械設(shè)備傳感器數(shù)據(jù)的單一時(shí)間序列進(jìn)行信息融合,不改變數(shù)據(jù)的時(shí)序關(guān)系,進(jìn)而提取與RUL相關(guān)聯(lián)的特征。

1.2 BiLSTM網(wǎng)絡(luò)

RUL預(yù)測(cè)的主要途徑是從機(jī)械設(shè)備傳感器數(shù)據(jù)中學(xué)習(xí)與設(shè)備性能退化的時(shí)空信息,而RNN可以充分利用數(shù)據(jù)的時(shí)間相關(guān)特性對(duì)時(shí)域序列數(shù)據(jù)進(jìn)行處理,然而當(dāng)單一時(shí)序數(shù)據(jù)的長度很大或時(shí)間很短時(shí),RNN會(huì)存在梯度消失、梯度爆炸等問題[27]。

LSTM引入記憶細(xì)胞概念,由輸入門、遺忘門、選擇門和輸出門4個(gè)相互連接的結(jié)構(gòu)組成,通過比較記憶信息和當(dāng)前信息,選擇重要信息,遺忘次要信息,使網(wǎng)絡(luò)獲得更強(qiáng)的記憶能力,能夠緩解長序列RNN訓(xùn)練過程中梯度消失與爆炸的問題,其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 LSTM network structure diagram

其中，ht-1、ht分別為t-1時(shí)刻和t時(shí)刻的隱藏狀態(tài);ct-1、ct分別為t-1時(shí)刻和t時(shí)刻的門控單元狀態(tài);xt為t時(shí)刻的輸入。遺忘門ft負(fù)責(zé)對(duì)上一節(jié)點(diǎn)輸入的信息進(jìn)行選擇性遺棄;輸入門it將記憶信息與當(dāng)前信息進(jìn)行融合,輸入至選擇門gt中;選擇門gt對(duì)融合信息進(jìn)行選擇性記憶;輸出門ot決定當(dāng)前門控單元狀態(tài)對(duì)隱層輸出的影響。當(dāng)前門控單元狀態(tài)ct受上一時(shí)刻門控單元狀態(tài)、遺忘門、輸入門和選擇門共同影響,而記憶單元的輸出由輸出門ot和門控單元狀態(tài)ct共同決定,具體計(jì)算過程如下所示:

(4)

式中:Wf和bf、Wi和bi、Wg和bg以及Wo和bo分別為遺忘門、輸入門、選擇門和輸出門的權(quán)重和偏置矩陣;σ(·)為Sigmoid激活函數(shù),將輸出變換到[0,1]區(qū)間內(nèi);tanh(·)為雙曲正切激活函數(shù),將輸出變換到[-1,1]區(qū)間內(nèi)。

記憶單元或稱門控單元是LSTM網(wǎng)絡(luò)的核心,通過若干記憶單元構(gòu)成前向傳播鏈?zhǔn)浇Y(jié)構(gòu)[16],可以實(shí)現(xiàn)信息的統(tǒng)籌和傳遞。由式(4)可知,記憶單元可以對(duì)信息流進(jìn)行精準(zhǔn)的控制,通過整合所有時(shí)刻內(nèi)部狀態(tài)信息和輸入信息,保證模型訓(xùn)練過程中梯度下降的穩(wěn)定性。為了加深對(duì)原始時(shí)間序列特征提取的層次,進(jìn)一步提高模型輸出的準(zhǔn)確性,將兩個(gè)方向不同的獨(dú)立的LSTM疊加在一起構(gòu)成BiLSTM網(wǎng)絡(luò),具體結(jié)構(gòu)如圖4所示。

圖4 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 BiLSTM network structure diagram

將xt輸入至前向?qū)?從0時(shí)刻到t時(shí)刻正向計(jì)算出向前隱含層的輸出hf;輸入至反向?qū)?從t時(shí)刻到0時(shí)刻反向計(jì)算出向后隱含層的輸出hb。最后,將前向?qū)雍头聪驅(qū)拥妮敵鼋Y(jié)果輸入至全連接層,得到最終輸出h:

h=f(hf,hb)

(5)

式中:f(·)是全連接層的映射函數(shù)。

2 機(jī)械設(shè)備RUL預(yù)測(cè)模型

2.1 預(yù)測(cè)模型概述

在機(jī)械設(shè)備RUL預(yù)測(cè)中,性能退化規(guī)律的重要信息主要存儲(chǔ)于歷史時(shí)間序列中。傳統(tǒng)機(jī)器學(xué)習(xí)方法一般根據(jù)先驗(yàn)知識(shí)從時(shí)間序列中選取與性能退化相關(guān)特征,這種方法會(huì)破壞歷史數(shù)據(jù)的時(shí)序性,導(dǎo)致預(yù)測(cè)精度較低。而RCNN不僅能夠充分挖掘數(shù)據(jù)潛在規(guī)律,自動(dòng)提取重要特征,而且可以改善深層CNN訓(xùn)練過程中梯度消失的問題?；谧⒁饬C(jī)制的BiLSTM網(wǎng)絡(luò)能夠更好地從RCNN所提取特征中學(xué)習(xí)性能退化的規(guī)律,更容易捕獲時(shí)間序列中長距離相關(guān)特征,當(dāng)RUL預(yù)測(cè)中輸入時(shí)間序列過長時(shí),注意力機(jī)制可以通過對(duì)輸入特征賦予不同的權(quán)重,利用有限運(yùn)算資源從大量信息中篩選出關(guān)鍵信息,過濾或弱化其他冗余信息,使模型更加關(guān)注對(duì)性能退化影響大的特征,以此來解決時(shí)間序列過長導(dǎo)致的信息丟失問題。因此,本文提出的RCNN-ABiLSTM機(jī)械設(shè)備RUL預(yù)測(cè)方法,能夠利用融合模型深入挖掘傳感器數(shù)據(jù)中豐富的規(guī)律信息與退化趨勢(shì),提高RUL預(yù)測(cè)的精度。

2.2 RCNN-ABiLSTM結(jié)構(gòu)

本文所設(shè)計(jì)并構(gòu)建的RCNN-ABiLSTM結(jié)構(gòu)如圖5所示。該模型主要由輸入層、特征提取層、時(shí)間序列信息學(xué)習(xí)層以及輸出層組成。將機(jī)械設(shè)備傳感器數(shù)據(jù)輸入至單向殘差模塊中,通過反復(fù)卷積操作加深網(wǎng)絡(luò)深度,將所提多維特征圖輸入至全連接層獲得最終輸出,完成時(shí)間序列深度特征的提取。BiLSTM模塊從所提特征中學(xué)習(xí)機(jī)械設(shè)備隨時(shí)間變化的規(guī)律,注意力模塊通過引入權(quán)值概率來突出注意力集中的時(shí)間段,同時(shí)加強(qiáng)各段之間的聯(lián)系以幫助網(wǎng)絡(luò)捕獲關(guān)鍵時(shí)間序列信息。最后,利用輸出層對(duì)當(dāng)前RUL做出精準(zhǔn)預(yù)測(cè)。

圖5 RCNN-ABiLSTM模型結(jié)構(gòu)圖Fig.5 Structure of RCNN-ABiLSTM model

2.2.1 輸入層

輸入層負(fù)責(zé)將機(jī)械設(shè)備歷史傳感器數(shù)據(jù)輸入至預(yù)測(cè)模型中。記運(yùn)行工況和不同類型傳感器監(jiān)測(cè)數(shù)據(jù)為相關(guān)特征時(shí)間序列矩陣X=(x1,x2,…,xT)=(x1,x2,…,xN)T,展開可表示為

(6)

2.2.2 特征提取層

特征提取層負(fù)責(zé)提取輸入時(shí)間序列的特征。通過構(gòu)建若干單向殘差模塊組成RCNN框架,同時(shí)在模塊中添加最大值池化層,以保留更多的數(shù)據(jù)波動(dòng)信息。經(jīng)過卷積和池化操作后原始數(shù)據(jù)被映射到隱層特征空間,選取ReLU激活函數(shù)進(jìn)行激活,搭建全連接結(jié)構(gòu)將其轉(zhuǎn)換為一維結(jié)構(gòu),并簡化參數(shù)以提高訓(xùn)練速度。輸入為單個(gè)時(shí)間序列,構(gòu)建3層殘差模塊結(jié)構(gòu)如圖6所示,其計(jì)算過程為

R1=F(X?W1+b1)=ReLU (X?W1+b1)

(7)

P1=max (R1)+b2

(8)

R2=F(P1?W2+b3)=ReLU (P1?W2+b3)

(9)

R3=F(R2?W3+b4)=ReLU (R2?W3+b4)

(10)

Ho=Sigmoid (R3×W4+b5)

(11)

圖6 特征提取層結(jié)構(gòu)Fig.6 Feature extraction layer structure

由圖6可知,假設(shè)輸入數(shù)據(jù)的大小為14×1,卷積核的數(shù)目為2,首先經(jīng)過殘差卷積操作1后,變?yōu)榇笮?×13×1的兩個(gè)特征圖;其次經(jīng)過尺寸為2×1的最大值池化操作后,得到2×12×1的輸出;然后經(jīng)過殘差卷積操作2和3后,得到大小為8×10×1的輸出;之后將輸出節(jié)點(diǎn)展開為全連接層,利用激活函數(shù)計(jì)算出特征提取層的最終輸出,從而實(shí)現(xiàn)提取特征降維。

2.2.3 時(shí)間序列信息學(xué)習(xí)層

對(duì)于機(jī)械設(shè)備RUL預(yù)測(cè)任務(wù),作為輸入的傳感器數(shù)據(jù)特征是一段連續(xù)的具有強(qiáng)相關(guān)性的時(shí)間序列,從而要求網(wǎng)絡(luò)具有一定的“記憶功能”,通過學(xué)習(xí)前后信息的差異對(duì)當(dāng)前設(shè)備的RUL進(jìn)行判斷。特征提取層可以從不同角度挖掘數(shù)據(jù)特征,但難以學(xué)習(xí)具有明顯時(shí)間相關(guān)性的序列信息。因此,在特征提取層后添加了BiLSTM模塊和注意力模塊,使得網(wǎng)絡(luò)可以對(duì)時(shí)間序列信息進(jìn)行學(xué)習(xí)。如圖5所示的時(shí)間序列信息學(xué)習(xí)層,將BiLSTM模塊的輸出作為注意力模塊的輸入,解決長時(shí)間序列信息丟失的問題。

BiLSTM模塊:BiLSTM從前后兩個(gè)方向?qū)CNN提取的深度特征進(jìn)行學(xué)習(xí)。如圖5所示,將每個(gè)時(shí)刻t的特征輸入至前向?qū)雍头聪驅(qū)?得到前向輸出hft和后向輸出hbt,最終通過式(5)計(jì)算出BiLSTM模塊的輸出ht,t∈[1,T]。

注意力模塊:記t時(shí)刻內(nèi)剩余壽命標(biāo)簽為Y=(y1,y2,…,yt,…,yT)。首先通過全連接神經(jīng)網(wǎng)絡(luò)計(jì)算ht的特征權(quán)重參數(shù)Wt,用來表示由ht所得目標(biāo)值Y′與Y的相關(guān)性,突出注意力集中的時(shí)間段,然后利用Softmax函數(shù)實(shí)現(xiàn)權(quán)重歸一化,得到所有特征權(quán)重之和為1的權(quán)值概率Pt,最后根據(jù)權(quán)值概率對(duì)輸入ht進(jìn)行加權(quán)求和,計(jì)算出注意力模塊的輸出st。所述計(jì)算過程如下:

Wt=tanh (wht+b)

(12)

(13)

(14)

式中:w為全連接層的權(quán)重系數(shù);b為偏差向量。

2.2.4 輸出層

將注意力模塊的輸出作為輸出層的輸入,通過全連接層計(jì)算出設(shè)備的剩余壽命預(yù)測(cè)值Y′=[y′1,y′2,…,y′t,…,y′T]T,計(jì)算公式可表示為

y′t=Sigmoid (wost+bo)

(15)

式中:y′t為第t時(shí)刻模型的預(yù)測(cè)值;wo為權(quán)重矩陣;bo為偏置系數(shù);激活函數(shù)選擇Sigmoid函數(shù)。

3 驗(yàn)證與分析

3.1 數(shù)據(jù)集介紹

美國航空航天局的C-MAPSS航空發(fā)動(dòng)機(jī)數(shù)據(jù)集[28]是RUL預(yù)測(cè)領(lǐng)域應(yīng)用最為廣泛的公共數(shù)據(jù)集之一,包含了不同故障模式和工作條件下渦扇發(fā)動(dòng)機(jī)從正常運(yùn)行到故障失效的4組傳感器監(jiān)測(cè)數(shù)據(jù),且將21種傳感器作為能夠表征發(fā)動(dòng)機(jī)運(yùn)行狀況的典型指標(biāo)。每組數(shù)據(jù)由訓(xùn)練集、測(cè)試集和RUL標(biāo)簽組成,訓(xùn)練集包含發(fā)動(dòng)機(jī)整個(gè)壽命周期的全部數(shù)據(jù),測(cè)試集只包含測(cè)試發(fā)動(dòng)機(jī)從初始狀態(tài)開始前一部分的數(shù)據(jù),RUL標(biāo)簽是與測(cè)試集相對(duì)應(yīng)的發(fā)動(dòng)機(jī)最后監(jiān)測(cè)時(shí)刻的RUL。其中,各個(gè)數(shù)據(jù)文件中包含不同數(shù)量的發(fā)動(dòng)機(jī),每臺(tái)發(fā)動(dòng)機(jī)帶有不同程度的初始磨損,因此每臺(tái)發(fā)動(dòng)機(jī)監(jiān)測(cè)數(shù)據(jù)的序列長度也不同,4組監(jiān)測(cè)數(shù)據(jù)的具體信息如表1所示。

表1 航空發(fā)動(dòng)機(jī)數(shù)據(jù)集

3.2 驗(yàn)證過程及結(jié)果分析

3.2.1 數(shù)據(jù)預(yù)處理

本文以FD001為例展示驗(yàn)證的具體過程。觀察到數(shù)據(jù)集中setting_3與7個(gè)傳感器數(shù)值無變化,為提高計(jì)算速度,剔除無意義數(shù)據(jù),同時(shí)將運(yùn)行周期也作為輸入特征之一,即可得到17個(gè)輸入特征的數(shù)據(jù)集。其次,原始數(shù)據(jù)含有大量高斯隨機(jī)噪聲,首先使用窗寬為10的濾波函數(shù)對(duì)數(shù)據(jù)進(jìn)行降噪處理,以降低數(shù)據(jù)的波動(dòng)。

由于多維監(jiān)測(cè)數(shù)據(jù)具有不同的量綱,所以在模型構(gòu)建前須進(jìn)行歸一化預(yù)處理。本文選用最小-最大標(biāo)準(zhǔn)化方法將數(shù)據(jù)統(tǒng)一至[0,1]范圍內(nèi),具體公式如下:

(16)

為了利用有限的序列深入挖掘性能退化規(guī)律,同時(shí)將時(shí)間序列轉(zhuǎn)化成BiLSTM網(wǎng)絡(luò)擅長處理的三維輸入格式,采用滑動(dòng)時(shí)間窗分割方法對(duì)歸一化后的數(shù)據(jù)進(jìn)行處理。這樣既可以充分保留相鄰序列之間的時(shí)間相關(guān)性,又可以提高訓(xùn)練集樣本的數(shù)量,使模型具有更高的魯棒性和泛化能力。記發(fā)動(dòng)機(jī)原始時(shí)間序列長度為T,特征維度為N,利用窗寬為S的滑動(dòng)窗沿著時(shí)間序列滑動(dòng),將每滑動(dòng)一個(gè)步長所截取的時(shí)間序列疊加至第3個(gè)維度,形成(T-S,S,N)的三維張量,計(jì)算過程如下:

X1:T-S=x1:1+S⊕x2:2+S⊕…xi:i+S…⊕xT-S:T

(17)

式中:X1:T-S為轉(zhuǎn)換后的三維張量;xi:i+S為從第i個(gè)時(shí)間周期開始長度為S的序列;⊕表示窗口內(nèi)數(shù)據(jù)在第3個(gè)維度的連接,從而形成三維張量。

發(fā)動(dòng)機(jī)在運(yùn)行初期狀態(tài)良好,性能退化量可忽略不計(jì),但到了使用末期,發(fā)動(dòng)機(jī)的性能會(huì)隨著時(shí)間的延長而急劇下降。如果將發(fā)動(dòng)機(jī)性能迅速劣化之前監(jiān)測(cè)數(shù)據(jù)的標(biāo)簽設(shè)置為總運(yùn)行周期減去當(dāng)前運(yùn)行周期數(shù),會(huì)增加剩余壽命預(yù)測(cè)結(jié)果的滯后性。因此,可以認(rèn)為發(fā)動(dòng)機(jī)開始急速退化之前的RUL保持不變,即為訓(xùn)練集的RUL標(biāo)簽設(shè)置閾值,使之成為分段線性函數(shù)。研究表明,將訓(xùn)練集RUL標(biāo)簽突變臨界值設(shè)置為第130個(gè)運(yùn)行周期預(yù)測(cè)效果較好[29],RUL標(biāo)簽設(shè)置結(jié)果如圖7所示。

圖7 RUL標(biāo)簽設(shè)置Fig.7 RUL label setting

3.2.2 超參數(shù)設(shè)置

本模型所涉及的主要超參數(shù)有:網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)率、批尺寸、迭代次數(shù)、Dropout率等。模型超參數(shù)對(duì)模型性能的優(yōu)劣有較大的影響,因此通過調(diào)節(jié)單個(gè)參數(shù)來使得模型預(yù)測(cè)誤差最低,從而獲取最優(yōu)超參數(shù)組合。

同時(shí),為了準(zhǔn)確反映不同超參數(shù)模型在測(cè)試集的預(yù)測(cè)值與真實(shí)值之間的誤差距離,采用均方誤差MSE作為評(píng)價(jià)指標(biāo)來調(diào)節(jié)超參數(shù):

(18)

以批尺寸參數(shù)為例,模型超參數(shù)調(diào)節(jié)過程如圖8所示。由圖8可知,批尺寸為64時(shí)MMSE最小,因此64是模型最合理的批尺寸參數(shù)。其中，MMSE為30次實(shí)驗(yàn)結(jié)果所得MSE的均值。表2是通過30次重復(fù)實(shí)驗(yàn)獲得的最優(yōu)超參數(shù)組合,表中其他超參數(shù)設(shè)置方法均按上述方法進(jìn)行。

圖8 不同批尺寸試驗(yàn)結(jié)果(MMSE為30次試驗(yàn)結(jié)果所得MSE的均值)Fig.8 Different batch size test results (MMSE is the mean of MSE obtained from 30 trials)

表2 最優(yōu)超參數(shù)組合

3.2.3 模型訓(xùn)練與結(jié)果分析

將預(yù)處理后的高維時(shí)間序列輸入RCNN進(jìn)行特征提取,原始數(shù)據(jù)共有17個(gè)特征,經(jīng)過5個(gè)殘差單元和最大值池化操作后數(shù)據(jù)維度降低至7,然后將降維特征輸入到BiLSTM中進(jìn)行時(shí)間信息學(xué)習(xí)。將訓(xùn)練集按照7:1的比例劃分為訓(xùn)練集和驗(yàn)證集,若驗(yàn)證集的誤差在連續(xù)10個(gè)訓(xùn)練時(shí)期內(nèi)沒有下降趨勢(shì)時(shí),為防止模型過擬合,提前停止訓(xùn)練。訓(xùn)練過程中的測(cè)試誤差與訓(xùn)練誤差變化情況如圖9所示,訓(xùn)練與測(cè)試的評(píng)價(jià)指標(biāo)隨著訓(xùn)練時(shí)期數(shù)的遞增而逐漸趨于平穩(wěn)與一致,訓(xùn)練誤差從1 852降低至234,測(cè)試誤差從1 794逐漸減小至263。

圖9 RUL預(yù)測(cè)訓(xùn)練誤差與測(cè)試誤差曲線圖Fig.9 RUL prediction training error and test error curves

將測(cè)試集輸入至訓(xùn)練后的模型中,RUL預(yù)測(cè)結(jié)果如圖10所示。

圖10 FD001測(cè)試集RUL預(yù)測(cè)結(jié)果Fig.10 FD001 test set RUL prediction results

為比較RUL大小對(duì)模型預(yù)測(cè)的影響,將FD001測(cè)試集中所有的發(fā)動(dòng)機(jī)根據(jù)真實(shí)RUL值從大到小進(jìn)行重新排序,結(jié)果如圖11所示。當(dāng)RUL值較大時(shí),發(fā)動(dòng)機(jī)處于健康狀態(tài),表明設(shè)備運(yùn)行狀況良好。由圖11可知,發(fā)動(dòng)機(jī)剛開始運(yùn)行時(shí),RUL預(yù)測(cè)誤差較大,同時(shí)波動(dòng)較為劇烈且表現(xiàn)出明顯的滯后性。但經(jīng)過長時(shí)間運(yùn)行后,預(yù)測(cè)RUL收斂在真實(shí)RUL周圍,預(yù)測(cè)性能顯著增強(qiáng)。因此,設(shè)備歷史信息越充分,性能退化信息越明顯,模型的預(yù)測(cè)誤差越小。

圖11 FD001發(fā)動(dòng)機(jī)重新排序預(yù)測(cè)結(jié)果Fig.11 FD001 engine reordering prediction results

在FD001數(shù)據(jù)集中隨機(jī)選取4個(gè)發(fā)動(dòng)機(jī)的連續(xù)RUL預(yù)測(cè)結(jié)果,如圖12所示。由圖可以看出RCNN-ABiLSTM模型的深層卷積結(jié)構(gòu)能夠有效提取引擎退化的深度特征,即使引擎剛開始運(yùn)轉(zhuǎn)時(shí)歷史數(shù)據(jù)較少,難以預(yù)測(cè)RUL大小,模型預(yù)測(cè)值也較為接近臨界值130。隨著運(yùn)行周期的增加,發(fā)動(dòng)機(jī)的性能退化量逐漸積累,BiLSTM可以學(xué)習(xí)時(shí)間序列前后的時(shí)序關(guān)系,同時(shí)注意力機(jī)制自適應(yīng)選取性能退化關(guān)鍵時(shí)間點(diǎn)。模型通過融合二者在空間和時(shí)間特征學(xué)習(xí)的優(yōu)勢(shì),有效提升較長時(shí)間段的預(yù)測(cè)精度。由圖12可知,在發(fā)動(dòng)機(jī)性能退化中后期,模型能夠較好的擬合真實(shí)性能退化曲線,RUL預(yù)測(cè)結(jié)果愈發(fā)精確且穩(wěn)定性較高。因此,本文所提模型有較強(qiáng)的空間深度特征提取能力和較長時(shí)序特征的記憶能力。

圖12 4臺(tái)發(fā)動(dòng)機(jī)RUL預(yù)測(cè)結(jié)果Fig.12 Four engines RUL prediction results

3.3 模型對(duì)比分析

為了客觀評(píng)估不同模型在測(cè)試集上的準(zhǔn)確度和泛化能力,采用均方根誤差RMSE和評(píng)分函數(shù)Score對(duì)RUL預(yù)測(cè)效果進(jìn)行評(píng)價(jià)[15]。

RMSE用于衡量預(yù)測(cè)值同真實(shí)值之間的偏差,其計(jì)算公式為

(19)

由于發(fā)動(dòng)機(jī)較高的安全性要求,不及時(shí)維修造成的災(zāi)難性后果所引起的成本遠(yuǎn)大于過度維修資源的成本,因此評(píng)分函數(shù)對(duì)高估RUL的情況施加更高的懲罰。Score分?jǐn)?shù)越低,表明模型的預(yù)測(cè)性能越好,計(jì)算公式如下:

(20)

為了驗(yàn)證提出的RCNN-ABiLSTM融合模型進(jìn)行發(fā)動(dòng)機(jī)RUL預(yù)測(cè)的有效性,分別構(gòu)建了支持向量回歸[15]、CNN[15]、LSTM[17]、CNN-LSTM[30]、Autoencoder-BiLSTM[20]作為對(duì)比模型,所得結(jié)果如表3所示。由表3可知,相較于淺層機(jī)器學(xué)習(xí)方法和單層深度學(xué)習(xí)模型,文獻(xiàn)[30]中提出的CNN-LSTM雖然在子集FD003上表現(xiàn)略遜于LSTM,但在復(fù)雜多故障模式條件子集FD002和FD004上預(yù)測(cè)效果更好。文獻(xiàn)[20]中提出的Autoencoder-BiLSTM將自編碼器作為特征提取工具,同時(shí)利用BiLSTM捕捉雙向長程依賴特性,相較于CNN-LSTM誤差,預(yù)測(cè)結(jié)果進(jìn)一步提升,但在FD002和FD004上表現(xiàn)出明顯的預(yù)測(cè)滯后性。RCNN-ABiLSTM考慮到注意力機(jī)制提取長時(shí)間序列關(guān)鍵退化信息的優(yōu)越性,在所有的測(cè)試集上預(yù)測(cè)精度顯著提升。結(jié)果表明,本文所提出的融合模型不僅有效降低了RUL預(yù)測(cè)誤差,而且對(duì)于運(yùn)行條件復(fù)雜和故障模式多變的發(fā)動(dòng)機(jī)傳感器數(shù)據(jù),能夠準(zhǔn)確尋找到退化時(shí)間點(diǎn),提高設(shè)備的使用安全性。

表3 不同預(yù)測(cè)模型對(duì)比結(jié)果

4 結(jié) 論

針對(duì)機(jī)械設(shè)備監(jiān)測(cè)數(shù)據(jù)呈現(xiàn)出非線性、多維度、大規(guī)模等特點(diǎn),關(guān)鍵退化信息容易淹沒在長時(shí)間序列中,本文提出一種基于RCNN與ABiLSTM的機(jī)械設(shè)備RUL預(yù)測(cè)方法,通過CMAPSS數(shù)據(jù)集對(duì)模型進(jìn)行多方面驗(yàn)證與測(cè)試,試驗(yàn)結(jié)果表明:

(1) 設(shè)備歷史信息越充分,性能退化信息越明顯,模型的預(yù)測(cè)誤差越小。

(2) RCNN-ABiLSTM模型通過RCNN模型深度挖掘多維監(jiān)測(cè)數(shù)據(jù)的退化特征,同時(shí)ABiLSTM可以學(xué)習(xí)時(shí)間序列前后的時(shí)序關(guān)系,利用注意力機(jī)制自適應(yīng)選取性能退化關(guān)鍵時(shí)間點(diǎn)。模型通過融合二者在空間和時(shí)間特征學(xué)習(xí)的優(yōu)勢(shì),有效提升較長時(shí)間段的預(yù)測(cè)精度。

(3) 相較于淺層機(jī)器學(xué)習(xí)方法、單層深度學(xué)習(xí)模型和多層深度學(xué)習(xí)模型,利用RCNN-ABiLSTM模型對(duì)運(yùn)行條件復(fù)雜和故障模式多變的多維機(jī)械設(shè)備監(jiān)測(cè)數(shù)據(jù)進(jìn)行處理,能夠準(zhǔn)確尋找到退化時(shí)間點(diǎn),提高設(shè)備的使用安全性。