劉 麗，裴行智，雷雪梅

(1.北京科技大學(xué) 自動(dòng)化學(xué)院，北京 100083；2.北京科技大學(xué) 順德研究生院，廣東 佛山 528399；3.北京科技大學(xué) 信息化建設(shè)與管理辦公室，北京 100083)

0 引言

當(dāng)今工業(yè)規(guī)模隨著社會(huì)進(jìn)步和科技發(fā)展而不斷擴(kuò)大，工業(yè)過(guò)程的復(fù)雜度也隨之不斷提高。系統(tǒng)中的設(shè)備逐漸復(fù)雜化，使得其極易發(fā)生故障，且隨著規(guī)模增大，工業(yè)設(shè)備通常由眾多部件組成，其機(jī)構(gòu)層次多，不同部件之間存在著復(fù)雜的關(guān)系，系統(tǒng)某一處的故障可能會(huì)引發(fā)一系列的連鎖反應(yīng)，這些故障一旦發(fā)生且未能及時(shí)發(fā)現(xiàn)與處理，將帶來(lái)巨大的經(jīng)濟(jì)損失和人員傷害。故障診斷技術(shù)不僅是提高設(shè)備安全性和可靠性的重要手段，還可以節(jié)約設(shè)備整個(gè)生命周期的運(yùn)行維護(hù)成本。然而，目前故障診斷研究主要集中在系統(tǒng)“當(dāng)前”的運(yùn)行狀態(tài)評(píng)價(jià)，屬于“事后維修”，即在系統(tǒng)出現(xiàn)故障后判斷產(chǎn)生故障的位置以及故障的類別。由于故障已經(jīng)產(chǎn)生，極有可能已經(jīng)造成了財(cái)產(chǎn)損失和人員傷害，而“計(jì)劃維修”又經(jīng)常造成過(guò)度維修。實(shí)際的系統(tǒng)維護(hù)更加需要實(shí)時(shí)在線的故障預(yù)測(cè)方法，傳統(tǒng)的故障診斷方法已經(jīng)不能完全適應(yīng)復(fù)雜裝備系統(tǒng)故障診斷需求。因此，將故障消滅在萌芽階段的“預(yù)知維修”成為復(fù)雜裝備系統(tǒng)未來(lái)保障維護(hù)的發(fā)展方向。

故障預(yù)測(cè)與健康管理是保障設(shè)備可靠性和安全性的一項(xiàng)關(guān)鍵技術(shù)[1]。故障預(yù)測(cè)指基于設(shè)備當(dāng)前使用條件，通過(guò)對(duì)裝備狀態(tài)監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析，結(jié)合其結(jié)構(gòu)特性、運(yùn)行條件、環(huán)境參數(shù)以及其歷史的運(yùn)維情況，根據(jù)裝備未來(lái)的使用情況，預(yù)測(cè)其未來(lái)的健康狀況，包括確定未來(lái)可能發(fā)生的故障、判斷故障程度和部位、預(yù)測(cè)故障發(fā)展的趨勢(shì)和剩余使用壽命(Remaining Useful Life，RUL)等。故障預(yù)測(cè)技術(shù)中兩個(gè)最關(guān)鍵的問(wèn)題為“健康狀況評(píng)估”和“剩余使用壽命預(yù)測(cè)”。

隨著人工智能技術(shù)的發(fā)展，數(shù)據(jù)驅(qū)動(dòng)技術(shù)尤其是深度學(xué)習(xí)技術(shù)，在設(shè)備剩余壽命預(yù)測(cè)研究領(lǐng)域越來(lái)越受關(guān)注。數(shù)據(jù)驅(qū)動(dòng)的RUL預(yù)測(cè)方法可以從大量的監(jiān)測(cè)數(shù)據(jù)中學(xué)習(xí)到系統(tǒng)的退化特征，并通過(guò)機(jī)器學(xué)習(xí)或統(tǒng)計(jì)學(xué)技術(shù)建立起RUL預(yù)估模型。傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)方法通常包括3個(gè)步驟：手工設(shè)計(jì)特征、學(xué)習(xí)退化特征和RUL估計(jì)[2]。手工設(shè)計(jì)特征指利用先驗(yàn)知識(shí)或信號(hào)處理技術(shù)，從采集到的監(jiān)測(cè)數(shù)據(jù)中提取敏感的退化特征。SOUALHI等[3]提出利用希爾伯特—黃變換提取振動(dòng)信號(hào)特征的方法；GAO等[4]提出利用短時(shí)傅里葉變換提取信號(hào)，然后將這些特征輸入自回歸、隱馬爾可夫模型和支持向量機(jī)等機(jī)器學(xué)習(xí)模型，學(xué)習(xí)設(shè)備的退化特征，并估計(jì)RUL值;SIKORSKA等[5]提出建立自回歸退化模型;KHELIF等[6]提出一種支持向量回歸預(yù)測(cè)方法。雖然這些方法可以推斷數(shù)據(jù)中的相關(guān)性和因果關(guān)系，但手工設(shè)計(jì)特征仍然需要大量的工作。

與傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)不同，深度學(xué)習(xí)技術(shù)可以利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，從原始數(shù)據(jù)直接映射出輸入到輸出的復(fù)雜函數(shù)，而不完全依賴于手動(dòng)提取特征。深度學(xué)習(xí)技術(shù)因其具有強(qiáng)大的特征表征能力，為RUL預(yù)測(cè)技術(shù)帶來(lái)了新的機(jī)遇，逐漸成為學(xué)術(shù)界和工業(yè)界共同的研究熱點(diǎn)[7]。MA等[8]將稀疏自編碼器(Sparse Autoencoder，SAE)與Logistic回歸相結(jié)合來(lái)預(yù)估RUL值，其中SAE通過(guò)多層堆疊提取深層退化特征，通過(guò)Logistic回歸得到RUL值；宋亞等[9]提出整合自編碼器和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的混合RUL預(yù)測(cè)模型，優(yōu)化渦扇發(fā)動(dòng)機(jī)的剩余壽命預(yù)測(cè)；REN等[10]通過(guò)全連接自編碼器提取軸承退化特征;LIAO等[11]提出一種增強(qiáng)的受限玻爾茨曼機(jī)(Restricted Boltzmann Machine，RBM)來(lái)學(xué)習(xí)退化表示并預(yù)估RUL值;ZHANG等[12]提出一種用于RUL預(yù)測(cè)的RBM集成網(wǎng)絡(luò)，采用多目標(biāo)優(yōu)化算法優(yōu)化多個(gè)DBN網(wǎng)絡(luò)；CHENG等[13]利用固有模態(tài)函數(shù)和希爾伯特變換得到描述齒輪退化的退化能量指標(biāo)(Degradation Energy Indicator，DEI)，并在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)事作為輸入數(shù)據(jù)的標(biāo)簽，最終將DEI引入支持向量機(jī)進(jìn)行RUL估計(jì)；ZHENG等[14]提出利用多層長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)來(lái)預(yù)測(cè)RUL值，并與多層感知器、支持向量機(jī)等方法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明LSTM相比其他算法能獲得更高的RUL預(yù)測(cè)精度；LIU等[15]提出特征注意力機(jī)制直接作用于輸入數(shù)據(jù)，在訓(xùn)練過(guò)程中動(dòng)態(tài)地為更重要地特征賦予更大的注意力權(quán)重，并將特征輸入雙向門控循環(huán)單元(Gated Recurrent Unit， GRU)中提取長(zhǎng)期時(shí)序信息，隨后用卷積神經(jīng)網(wǎng)絡(luò)捕獲局部特征。

大量的數(shù)據(jù)驅(qū)動(dòng)技術(shù)被應(yīng)用到了機(jī)器的健康監(jiān)測(cè)，但現(xiàn)有的故障預(yù)測(cè)技術(shù)依舊存在不足。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)常被用作提取時(shí)序數(shù)據(jù)的特征，其獨(dú)特的機(jī)制雖然能夠有效提取時(shí)序特征，卻也帶來(lái)了計(jì)算復(fù)雜、無(wú)法并行計(jì)算等缺點(diǎn)，在工業(yè)大規(guī)模的實(shí)時(shí)監(jiān)控中，難以達(dá)到其對(duì)實(shí)時(shí)性的要求；卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)雖能夠?qū)崿F(xiàn)大規(guī)模的并行運(yùn)算，但簡(jiǎn)單的卷積網(wǎng)絡(luò)結(jié)構(gòu)難以從長(zhǎng)期的時(shí)序數(shù)據(jù)中有效地提取信息，且傳感器數(shù)據(jù)中包含了大量的冗余信息，這些信息將會(huì)干擾模型對(duì)相關(guān)決策的判斷。

針對(duì)上述問(wèn)題，本文提出以一種新的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——時(shí)間卷積注意力網(wǎng)絡(luò)，來(lái)進(jìn)行RUL預(yù)測(cè)。首先，考慮到CNN和RNN的優(yōu)缺點(diǎn)，本文引用一種簡(jiǎn)單有效的卷積網(wǎng)絡(luò)結(jié)構(gòu)，即時(shí)間卷積神經(jīng)網(wǎng)絡(luò)(Temporal Convolutional Network，TCN)[16]，該網(wǎng)絡(luò)結(jié)構(gòu)在許多序列數(shù)據(jù)建模任務(wù)上超過(guò)了RNN及其變種。此外，為了從多傳感器數(shù)據(jù)中提取重要的退化特征信息，本文引入了通道注意力機(jī)制，通過(guò)對(duì)特征信息加權(quán)，提取重要信息，抑制冗余信息。最終將學(xué)習(xí)到的深層特征通過(guò)線性層進(jìn)行RUL值估計(jì)。在C-MAPSS數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文所提方法能夠有效提升RUL預(yù)測(cè)的精度。

1 時(shí)間卷積注意力網(wǎng)絡(luò)

本文提出的時(shí)間卷積注意力網(wǎng)絡(luò)預(yù)測(cè)方法主要包括數(shù)據(jù)預(yù)處理、滑動(dòng)窗口提取、退化特征學(xué)習(xí)和預(yù)測(cè)剩余壽命值等階段。

1.1 數(shù)據(jù)預(yù)處理

由于不同傳感器數(shù)據(jù)具有不同的量綱，數(shù)據(jù)間的不同量綱會(huì)導(dǎo)致網(wǎng)絡(luò)在進(jìn)行反向傳播時(shí)，梯度下降尋求最優(yōu)解時(shí)的收斂速度變慢，為了減少這種不同量綱帶來(lái)的影響，本文引用歸一化方法對(duì)原始數(shù)據(jù)進(jìn)行處理，消除量綱的影響，將數(shù)據(jù)縮放到[0, 1]的范圍內(nèi)，加速網(wǎng)絡(luò)參數(shù)優(yōu)化收斂速度。歸一化方法如下：

(1)

隨著工業(yè)過(guò)程系統(tǒng)變得越來(lái)越復(fù)雜，設(shè)備中的運(yùn)行條件與運(yùn)行模型愈加復(fù)雜。設(shè)備在不同的工況模式下運(yùn)行，傳感器收集到的數(shù)據(jù)將服從不同的分布，這將會(huì)影響模型預(yù)測(cè)RUL值的效果。如圖1所示為C-MAPSS[17]數(shù)據(jù)集的FD002子數(shù)據(jù)集中某一設(shè)備通過(guò)K-Means聚類得到的運(yùn)行工況的變化過(guò)程，F(xiàn)D002數(shù)據(jù)集共有6種不同的工況模式。由于大多數(shù)據(jù)中并沒有明確標(biāo)注設(shè)備的工況模式，需要采用無(wú)監(jiān)督的聚類方法對(duì)服從不同分布的數(shù)據(jù)進(jìn)行聚類，并對(duì)每一類數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使之服從均值為0，方差為1的分布。標(biāo)準(zhǔn)化方法如下：

(2)

式中：xi表示第i種操作模式；μi和σi分別表示數(shù)據(jù)的均值和方差。

如圖2所示為標(biāo)準(zhǔn)化變化前后傳感器2的數(shù)據(jù)分布變化，可以看出，經(jīng)過(guò)標(biāo)準(zhǔn)化操作，傳感器數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布。如圖3所示為C-MAPSS數(shù)據(jù)集的子數(shù)據(jù)集FD002中的部分設(shè)備傳感器數(shù)據(jù)。圖3a為標(biāo)準(zhǔn)化之前的傳感器數(shù)據(jù)，圖3b為標(biāo)準(zhǔn)化之后的傳感器數(shù)據(jù)，可以看出，由于分布的影響，數(shù)據(jù)中無(wú)法看出明顯的退化特征，而經(jīng)過(guò)標(biāo)準(zhǔn)化之后，消除了數(shù)據(jù)分布變化的影響，數(shù)據(jù)中的退化特征變得更為明顯。

1.2 滑動(dòng)時(shí)間窗處理

對(duì)于時(shí)序數(shù)據(jù)處理問(wèn)題，通常會(huì)采用滑動(dòng)時(shí)間窗口，對(duì)原始多維傳感器序列進(jìn)行時(shí)間窗滑動(dòng)處理，構(gòu)造時(shí)序數(shù)據(jù)樣本。例如，對(duì)經(jīng)過(guò)歸一化和標(biāo)準(zhǔn)化后的K維傳感器數(shù)據(jù)進(jìn)行時(shí)間窗口處理，傳感器數(shù)據(jù)維度為K，時(shí)間窗口長(zhǎng)度為T，時(shí)間窗口每次沿著時(shí)間方向向前滑動(dòng)一個(gè)時(shí)間單位，因此單個(gè)訓(xùn)練樣本為一個(gè)T×K的二維張量，若生成的第一個(gè)時(shí)間序列可以描述為[xi,xi+1,…,xi+T-1]，則生成的下一個(gè)時(shí)間序列為[xi+1,xi+2,…,xi+T]，其中xi=[xi,1,xi,2,…,xi,K]。

(3)

數(shù)據(jù)中的剩余壽命(RUL)標(biāo)簽值都是隨時(shí)間線性下降的，然而設(shè)備的健康程度并不會(huì)隨著時(shí)間線性下降。設(shè)備在運(yùn)行的初期退化特征不明顯，甚至可以忽略不計(jì)，而隨著時(shí)間的推移，退化的特征逐漸明顯，且退化速度會(huì)逐漸加劇，這導(dǎo)致設(shè)備運(yùn)行初期的RUL值難以估計(jì)。RUL作為衡量設(shè)備健康程度的一種參數(shù)，在設(shè)備運(yùn)行初期重要程度相對(duì)較低，因此可以對(duì)剩余壽命值進(jìn)行截?cái)啵瑢⒃O(shè)備運(yùn)行初期的RUL值設(shè)定為一個(gè)常數(shù)閾值，如果早期的RUL值大于這個(gè)閾值，則默認(rèn)該時(shí)間點(diǎn)的標(biāo)簽為閾值常數(shù)的值，為了與其他方法對(duì)比，參考文獻(xiàn)[19]中將這個(gè)常數(shù)閾值設(shè)定為125。

1.3 時(shí)間卷積神經(jīng)網(wǎng)絡(luò)模塊

傳統(tǒng)的時(shí)序預(yù)測(cè)問(wèn)題中常用RNN作為提取時(shí)序特征的基礎(chǔ)模型，然而RNN獨(dú)特的結(jié)構(gòu)在處理長(zhǎng)期時(shí)序數(shù)據(jù)時(shí)，會(huì)出現(xiàn)“長(zhǎng)期依賴”問(wèn)題，即在反向傳播過(guò)程中，由于遵循鏈?zhǔn)椒▌t，無(wú)法從時(shí)序序列數(shù)據(jù)的“后期”提取到關(guān)鍵的信息。為解決此問(wèn)題，研究者們提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memery network,LSTM)與門控循環(huán)網(wǎng)絡(luò)(GRU)等模型。然而這類神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)為串行機(jī)制，即遞進(jìn)處理每一個(gè)時(shí)序數(shù)據(jù)中的數(shù)據(jù)點(diǎn)，因此難以進(jìn)行大規(guī)?？焖俨⑿杏?jì)算。

CNN模型有著參數(shù)共享、稀疏連接等優(yōu)點(diǎn)，由于其具備獨(dú)特的二維結(jié)構(gòu)，常被用作提取圖像數(shù)據(jù)中的特征信息，為了提高模型的泛化性，CNN設(shè)置多個(gè)小尺寸卷積核替代一個(gè)大尺寸卷積核，然而這造成了單層CNN中的小尺寸卷積核僅能從時(shí)序信息中提取短期的時(shí)序特征信息，如果為了提取長(zhǎng)期的時(shí)序信息而增加網(wǎng)絡(luò)層數(shù)，又會(huì)增加網(wǎng)絡(luò)在反向傳播更新參數(shù)時(shí)“梯度消失”的風(fēng)險(xiǎn)。

綜合RNN和CNN的優(yōu)缺點(diǎn)，本文中引入了時(shí)間卷積神經(jīng)網(wǎng)絡(luò)(TCN)。TCN是一種一維卷積網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)主要由擴(kuò)張因果卷積和殘差連接組成，其結(jié)構(gòu)相對(duì)簡(jiǎn)單，但在多個(gè)任務(wù)上精度超越了LSTM和GRU等循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由于TCN中共享卷積核的引入，使得模型能夠進(jìn)行一定規(guī)模的并行計(jì)算，提升了模型計(jì)算的速度。

由于在時(shí)間維度上處理時(shí)序數(shù)據(jù)時(shí)，任意時(shí)刻t的輸出yt應(yīng)當(dāng)僅依賴于當(dāng)前時(shí)刻t及之前的輸入，即實(shí)際處理時(shí)序預(yù)測(cè)問(wèn)題時(shí)，應(yīng)當(dāng)保證模型具有因果性。因此，TCN卷積結(jié)構(gòu)中采用因果卷積在時(shí)間維度上對(duì)卷積運(yùn)算進(jìn)行約束，保證了上一層t時(shí)刻的輸出yt只依賴于下一層傳遞的輸入x0,x1,…,xt，而不依賴于任何的未來(lái)信息xt+1,xt+2,…,xT，解決了存在從未來(lái)到過(guò)去的信息泄漏問(wèn)題。

此外，TCN中還引入了深度殘差網(wǎng)絡(luò)(Residual Network, ResNet)[20]中的殘差連接結(jié)構(gòu)，使網(wǎng)絡(luò)可以跨層傳遞信息，提高了淺層網(wǎng)絡(luò)特征的信息流動(dòng)性，解決了神經(jīng)網(wǎng)絡(luò)中層數(shù)疊加造成的梯度消失問(wèn)題。

目前已有基于TCN網(wǎng)絡(luò)實(shí)現(xiàn)RUL預(yù)測(cè)方法，Ji等[21]利用TCN網(wǎng)絡(luò)實(shí)現(xiàn)RUL預(yù)測(cè);CAO等[22]利用TCN結(jié)構(gòu)提取時(shí)序信息，并利用殘差自注意力機(jī)制處理TCN結(jié)構(gòu)中所提取的信息；YANG等[23]利用經(jīng)驗(yàn)?zāi)B(tài)分解對(duì)傳感器信號(hào)進(jìn)行處理，并通過(guò)TCN網(wǎng)絡(luò)實(shí)現(xiàn)RUL預(yù)測(cè)。

如圖5所示為本文所采用的TCN結(jié)構(gòu)，對(duì)傳統(tǒng)的TCN結(jié)構(gòu)進(jìn)行了調(diào)整。隨著網(wǎng)絡(luò)參數(shù)的更新，網(wǎng)絡(luò)中每一層輸入的分布都在發(fā)生變化，這種數(shù)據(jù)分布的變化稱為內(nèi)部協(xié)變量偏移，因此在每一層擴(kuò)張因果卷積之后添加批標(biāo)準(zhǔn)化層，使得每一層網(wǎng)絡(luò)的輸入都能得到歸一化。在標(biāo)準(zhǔn)化層之后，采用ReLU激活函數(shù)提升模型擬合非線性數(shù)據(jù)的能力，并引入Dropout緩解模型過(guò)擬合的風(fēng)險(xiǎn)。ResNet模型中將原始輸入直接與卷積層的輸出相加，而TCN模型將殘差鏈接替換成了1×1卷積，為了使原始的輸入信息不會(huì)丟失，令卷積層的輸出能夠與殘差塊的原始輸入直接相加，保持初始輸入特征中的恒等映射，為了模型在細(xì)粒度特征中提取出更有用的信息，本文將1×1卷積放置在卷積層后，使得卷積層的輸出與原始輸入具有相同的尺寸。

1.4 通道注意力模塊

現(xiàn)實(shí)情況中，傳感器采集到的時(shí)序信息中包含大量冗余信息，若將冗余信息與重要信息同等對(duì)待，將會(huì)干擾模型提取信息的性能。注意力機(jī)制已成為目前深度學(xué)習(xí)領(lǐng)域的主流方法和研究熱點(diǎn)之一，在圖像識(shí)別、語(yǔ)音識(shí)別和自然語(yǔ)言處理等領(lǐng)域得到廣泛應(yīng)用。它通過(guò)改進(jìn)源語(yǔ)言表達(dá)方式，在解碼中動(dòng)態(tài)選擇源語(yǔ)言相關(guān)信息，從而極大地改善了經(jīng)典Encoder-Decoder框架的不足，能夠關(guān)注數(shù)據(jù)特征中的關(guān)鍵信息，而忽略掉數(shù)據(jù)特征中的冗余信息。

(4)

(5)

將最大池化和平均池化得到的輸出特征ml和al分別置入多層感知器(Multilayer Perceptron，MLP)，MLP中含有一個(gè)線性隱含層，為減少網(wǎng)絡(luò)中的參數(shù)開銷，隱含層的神經(jīng)元數(shù)為k/r，其中r為下降率，k為通道數(shù)。通過(guò)MLP網(wǎng)絡(luò)得到的兩組輸出特征通過(guò)element-wise求和進(jìn)行合并，合并后的輸出通過(guò)hard sigmoid激活函數(shù)進(jìn)行歸一化，最終得到的輸出特征圖與原始輸入進(jìn)行element-wise乘積，得到通道注意力模塊的最終輸出。

本文中所應(yīng)用的通道注意力機(jī)制，通過(guò)最大池化和平均池化在退化特征數(shù)據(jù)中提取不同的信息。最大池化提取每個(gè)通道中的最大值，即每個(gè)通道中信息的“最大反饋”，當(dāng)進(jìn)行梯度反向傳播時(shí)，梯度將會(huì)反饋“相應(yīng)最大”的地方。平均池化計(jì)算了每個(gè)通道中數(shù)據(jù)的平均值，提取了對(duì)所有信息的平均反饋，彌補(bǔ)了最大池化只關(guān)注最重要的信息而完全忽略其他次重要信息的問(wèn)題。因此，通道注意力機(jī)制通過(guò)最大池化和平均池化“突出”重要信息，“抑制”不重要的信息。最終，通過(guò)hard sigmoid激活函數(shù)將輸出特征進(jìn)行歸一化，以此來(lái)表征時(shí)間卷積模塊輸出特征中信息的重要程度。

1.5 TCAN具體建模流程

本文所提出的剩余壽命預(yù)測(cè)方法流程如圖7所示，首先對(duì)原始傳感器數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，挑選退化特征明顯的數(shù)據(jù)、數(shù)據(jù)歸一化和標(biāo)準(zhǔn)化、時(shí)間窗口處理與設(shè)定RUL標(biāo)簽。經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后，構(gòu)建TCAN網(wǎng)絡(luò)模型、初始化模型中的參數(shù)，并利用訓(xùn)練好的數(shù)據(jù)通過(guò)反向傳播更新網(wǎng)絡(luò)參數(shù)。得到訓(xùn)練好的模型時(shí)，便可將模型用于預(yù)測(cè)。

TCAN具體建模流程如下：

(1)特征選擇，選擇退化特征明顯的傳感器數(shù)據(jù)作為原始輸入數(shù)據(jù)。

(2)數(shù)據(jù)規(guī)范化，對(duì)第1步中選擇的原始傳感器數(shù)據(jù)進(jìn)行歸一化，縮放到[0, 1]范圍內(nèi)，然后通過(guò)K-means聚類識(shí)別數(shù)據(jù)中的工況模式，并對(duì)每類數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使之服從均值為0、方差為1的分布，消除不同工況模式對(duì)退化特征的影響。

(3)滑動(dòng)窗口構(gòu)造樣本，對(duì)于規(guī)范化之后的數(shù)據(jù)，利用1.2節(jié)中滑動(dòng)窗口方法提取時(shí)間步長(zhǎng)為Ntw的時(shí)序序列數(shù)據(jù)。然后計(jì)算步長(zhǎng)為Ntw的數(shù)據(jù)的均值和回歸系數(shù)，作為每一組時(shí)序數(shù)據(jù)的額外特征。

(4)設(shè)置RUL標(biāo)簽，設(shè)定RUL標(biāo)簽值的最大閾值Rearly，如果真實(shí)RUL標(biāo)簽值超過(guò)閾值，則實(shí)際RUL值設(shè)定為Rearly。

(5)特征學(xué)習(xí)，如圖8所示，特征學(xué)習(xí)模塊由三層時(shí)間卷積神經(jīng)網(wǎng)絡(luò)模塊和通道注意力模塊疊加組成。其中每一層空洞因果卷積有Fk個(gè)卷積核，每個(gè)卷積核的尺寸為kd，且3個(gè)殘差模塊中空洞因果卷積的擴(kuò)張因子分別為d1，d2和d3。

(6)輸出RUL預(yù)估值，將特征學(xué)習(xí)產(chǎn)生的傳感器數(shù)據(jù)中的二維退化特征張量拼接成一維特征向量，并通過(guò)含有FN1、FN2個(gè)神經(jīng)元，激活函數(shù)為ReLU的全連接層構(gòu)成全饋神經(jīng)網(wǎng)絡(luò)，從一維特征向量中提取信息，并最終通過(guò)一個(gè)神經(jīng)元輸出層輸出RUL預(yù)估值。

(7)訓(xùn)練優(yōu)化網(wǎng)絡(luò)模型，應(yīng)用Xavier正態(tài)分布方法[24]初始化網(wǎng)絡(luò)參數(shù)，得到RUL預(yù)估值之后，用均方誤差(Mean Squared Error，MSE)作為目標(biāo)函數(shù)計(jì)算預(yù)估值RULpred和真實(shí)值RULtrue之間的誤差，并利用Adam優(yōu)化算法[25]更新網(wǎng)絡(luò)中的參數(shù)值。

2 實(shí)驗(yàn)結(jié)果

本文在C-MAPSS數(shù)據(jù)集上進(jìn)行RUL預(yù)測(cè)實(shí)驗(yàn)，并通過(guò)均方根誤差和評(píng)分函數(shù)兩個(gè)評(píng)價(jià)指標(biāo)對(duì)TCAN進(jìn)行性能分析，并與以下方法進(jìn)行比較：相關(guān)向量機(jī)(Relevance Vector Machine，RVM)[26]、集成多目標(biāo)深度置信網(wǎng)絡(luò)(Multi-Objective Deep Belief Network Ensemble，MODBNE)[12]、長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)[19]、雙向LSTM網(wǎng)絡(luò)(Bi-directional LSTM，BiLSTM)[27]、深度半監(jiān)督學(xué)習(xí)(semi-supervised deep architecture)[28]、深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network，DCNN)[19]和有向無(wú)環(huán)圖(Directed Acyclic Graph，DAG)[29]神經(jīng)網(wǎng)絡(luò)。所有實(shí)驗(yàn)通過(guò)Keras 2.4.2實(shí)現(xiàn)，并運(yùn)行于一臺(tái)Intel Core i5-8 300H CPU、16 GB RAM 和 GeForce GTX 1 060 GPU的計(jì)算機(jī)上。為消除偶然性的影響，將所有實(shí)驗(yàn)在相同環(huán)境下進(jìn)行了10次。

2.1 C-MAPSS數(shù)據(jù)集

C-MAPSS數(shù)據(jù)集是一種RUL預(yù)估實(shí)驗(yàn)中常見的數(shù)據(jù)集。該數(shù)據(jù)集為NASA收集的渦扇發(fā)動(dòng)機(jī)模擬退化數(shù)據(jù)，由4個(gè)子數(shù)據(jù)集組成，每個(gè)子集中又包含多個(gè)發(fā)動(dòng)機(jī)的全壽命數(shù)據(jù)。如表1所示，4個(gè)子數(shù)據(jù)集分別為FD001、FD002、FD003和FD004，每個(gè)子數(shù)據(jù)集均由訓(xùn)練集和測(cè)試集組成。每個(gè)數(shù)據(jù)集中都包括26列特征，分別為設(shè)備ID，采樣時(shí)間周期，3個(gè)操作設(shè)置變量和21個(gè)傳感器變量。而21維傳感器數(shù)據(jù)中包含很多常數(shù)數(shù)據(jù)或無(wú)用數(shù)據(jù)，會(huì)對(duì)RUL預(yù)測(cè)產(chǎn)生負(fù)面影響，因此從21維傳感器數(shù)據(jù)中選取14維作為訓(xùn)練的原始數(shù)據(jù)，這14維傳感器數(shù)據(jù)分別為第2、3、4、7、9、11、12、13、14、15、17、20和21號(hào)傳感器。

表1 C-MAPSS數(shù)據(jù)集

2.2 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)模型預(yù)測(cè)精度，本文引用了故障預(yù)測(cè)與健康管理國(guó)際會(huì)議數(shù)據(jù)競(jìng)賽中的兩個(gè)性能評(píng)價(jià)指標(biāo)，即均方根誤差(Root Mean Square Error，RMSE)和評(píng)分函數(shù)(score function)。評(píng)分函數(shù)是一種非對(duì)稱的評(píng)價(jià)指標(biāo)，對(duì)“超前預(yù)測(cè)”和“滯后預(yù)測(cè)”會(huì)有不同程度的懲罰力度，當(dāng)“超前”的程度與“滯后”的程度相同時(shí)，“滯后預(yù)測(cè)”會(huì)得到更高的分?jǐn)?shù)。若RUL預(yù)測(cè)值小于實(shí)際值，則視為“超前預(yù)測(cè)”，反之則視為“滯后預(yù)測(cè)”。由于在設(shè)備的維護(hù)中，“超前維護(hù)”意味著維護(hù)人員會(huì)在設(shè)備實(shí)際出現(xiàn)故障之前就會(huì)去維護(hù)設(shè)備，其可能會(huì)帶來(lái)維護(hù)資源的浪費(fèi)，而“滯后維護(hù)”意味著在出現(xiàn)明顯故障的情況下，設(shè)備仍然運(yùn)行了一段時(shí)間，可能產(chǎn)生經(jīng)濟(jì)上的損失和人員傷害。因此，結(jié)合實(shí)際情況，“滯后維護(hù)”帶來(lái)的損失要高于“超前維護(hù)”，對(duì)于“滯后預(yù)測(cè)”的懲罰力度要大于“超前預(yù)測(cè)”。

均方根誤差定義如下：

(6)

評(píng)分函數(shù)定義如下：

(7)

其中：N為數(shù)據(jù)樣本點(diǎn)總個(gè)數(shù);di=RUL′i-RULi表示預(yù)測(cè)值RUL′i和真實(shí)值RULi之間的差值。

綜上所述，均方根誤差和評(píng)分函數(shù)值越小，則模型預(yù)測(cè)精度越高。

2.3 超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響

超參數(shù)設(shè)置對(duì)實(shí)驗(yàn)結(jié)果具有很大的影響，為了尋找使模型性能較優(yōu)的參數(shù)，通過(guò)控制唯一變量的方式，對(duì)模型中對(duì)預(yù)測(cè)結(jié)果影響較大的參數(shù)進(jìn)行調(diào)優(yōu)。其中時(shí)間窗口長(zhǎng)度、時(shí)間卷積模塊數(shù)和卷積核個(gè)數(shù)對(duì)實(shí)驗(yàn)結(jié)果影響較大，本文分別對(duì)這3個(gè)參數(shù)進(jìn)行了調(diào)參實(shí)驗(yàn)，這些參數(shù)的不同值在FD001子數(shù)據(jù)集上對(duì)預(yù)測(cè)性能的影響分別如表2～4所示?？梢钥吹?，時(shí)間窗口長(zhǎng)度為30、時(shí)間卷積模塊數(shù)為3、卷積核個(gè)數(shù)為32時(shí)，模型的預(yù)測(cè)性能最優(yōu)。用同樣方法在FD002、FD003和FD004數(shù)據(jù)集上測(cè)試時(shí)間窗口長(zhǎng)度參數(shù)，分別為50、30和50時(shí)最優(yōu)。此外，在CNN結(jié)構(gòu)中，通常會(huì)趨向于使用小尺寸卷積核，且擴(kuò)張因果卷積的堆疊可以擴(kuò)大單層神經(jīng)網(wǎng)絡(luò)的感受野，參考文獻(xiàn)[18]，將卷積核的尺寸kd設(shè)置為5，在保證感受野的同時(shí)可以減少模型中的參數(shù)量，為了保證網(wǎng)絡(luò)能夠提取較大的感受野，時(shí)間卷積模塊中的擴(kuò)張因子設(shè)置為遞增的方式。通過(guò)參數(shù)調(diào)優(yōu)及分析，TCAN模型的超參數(shù)設(shè)置如表5所示。

表2 不同時(shí)間窗口長(zhǎng)度對(duì)實(shí)驗(yàn)結(jié)果的影響

表3 不同時(shí)間卷積模塊數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響

表4 不同卷積核個(gè)數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響

表5 網(wǎng)絡(luò)中的超參數(shù)

2.4 實(shí)驗(yàn)結(jié)果與分析

為說(shuō)明注意機(jī)制可以有效提高RUL預(yù)估的精度，將本文提出的帶注意力機(jī)制TCAN方法與未引入注意機(jī)制TCN方法進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果如表6所示。可以看出，在每個(gè)子數(shù)據(jù)集上TCAN的RMSE和Score均低于TCN，表明TCANRUL預(yù)測(cè)的準(zhǔn)確性較高。

表6 TCAN與TCN預(yù)測(cè)結(jié)果對(duì)比

此外，由表6中4個(gè)子數(shù)據(jù)集的結(jié)果對(duì)比可以發(fā)現(xiàn)，F(xiàn)D001和FD003子數(shù)據(jù)集上的RUL預(yù)測(cè)結(jié)果明顯優(yōu)于FD002和FD004，這是由于FD001和FD003兩個(gè)子數(shù)據(jù)集是單工況模式，而FD002和FD004分別采集自6種工況條件下，不同工況對(duì)預(yù)測(cè)結(jié)果的精度產(chǎn)生了一定的影響。因此，F(xiàn)D002和FD004數(shù)據(jù)集上的RUL預(yù)測(cè)難度要高于FD001和FD003。

采用TCAN模型對(duì)FD001子數(shù)據(jù)集的100個(gè)設(shè)備從開始運(yùn)行到出現(xiàn)故障的整個(gè)運(yùn)行過(guò)程的全壽命數(shù)據(jù)做了預(yù)測(cè)，如圖9所示為部分設(shè)備的RUL預(yù)測(cè)結(jié)果。圖9a～圖9d分別為設(shè)備編號(hào)為34、49、81和100的RUL預(yù)測(cè)值。圖中的直線是經(jīng)過(guò)裁剪處理之后的RUL真實(shí)值，其值會(huì)隨著采樣周期的變化而線性減小，圖中曲線為TCAN模型輸出的RUL值?？梢钥闯?，本文所提出TCAN方法的預(yù)測(cè)結(jié)果基本上可以擬合RUL真實(shí)值，但在設(shè)備運(yùn)行的初期誤差高于后期，這是由于設(shè)備在運(yùn)行初期退化特征不明顯，而隨著退化特征的突出，預(yù)測(cè)精度將逐漸提高。

為了進(jìn)一步說(shuō)明TCAN預(yù)測(cè)RUL的有效性，與其他文獻(xiàn)的方法RVM[26]、MODBNE[12]、LSTM[19]、BiLSTM[27]、Semi-supervised[28]、DCNN[19]和DAG[29]等進(jìn)行比較。所有這些方法都在C-MAPSS數(shù)據(jù)集上進(jìn)行了測(cè)試，不同方法預(yù)測(cè)的性能指標(biāo)RMSE和Score如表7所示?？梢钥闯?， TCAN方法在每一個(gè)子數(shù)據(jù)集的RMSE均較低，雖然DAG方法在FD001數(shù)據(jù)集上取得了較低的Score值，但與TCAN差異較小。在4個(gè)子數(shù)據(jù)集上，TCAN模型的RMSE值相較其他方法的RMSE最低值分別降低了2.67%、15.38%、4.49%和14.53%。尤其是在子數(shù)據(jù)集FD002和FD004中，性能提升效果明顯，因此本文所提出的TCAN模型在RUL預(yù)測(cè)方面，尤其是多工況條件下的預(yù)測(cè)效果提升顯著。

表7 TCAN與其他方法預(yù)測(cè)結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文提出一種新的基于注意力機(jī)制的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)的設(shè)備剩余壽命預(yù)估方法。該方法同時(shí)考慮了RNN和CNN中的性能，引入TCN提取傳感器數(shù)據(jù)中的退化特征，并引入通道注意力機(jī)制從每一個(gè)時(shí)間卷積殘差塊中提取重要的退化特征信息。為了驗(yàn)證本文所提出的方法能夠有效提升RUL預(yù)測(cè)精度，在C-MAPSS數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并與其他方法RVM、MODBNE、LSTM、BiLSTM、深度半監(jiān)督學(xué)習(xí)結(jié)構(gòu)、DCNN、DAG等進(jìn)行了對(duì)比分析。結(jié)果表明，TCAN在提取傳感器數(shù)據(jù)退化信息、預(yù)測(cè)RUL，尤其是多工況條件下，RUL預(yù)測(cè)精度較高。

本文中所提方法未考慮RUL預(yù)測(cè)中不確定性問(wèn)題。工業(yè)生產(chǎn)環(huán)境中，存在著諸多的不確定性因素，雖然精確的RUL預(yù)測(cè)能夠得到真實(shí)反映設(shè)備健康狀況的剩余壽命值，但是為了提升預(yù)測(cè)的可靠性，需量化RUL預(yù)測(cè)中的不確定性。當(dāng)前的模型中大多引入貝葉斯神經(jīng)網(wǎng)絡(luò)來(lái)量化不確定性，但會(huì)引入額外參數(shù)，從而增加模型計(jì)算時(shí)間。已有文獻(xiàn)表明引入了Dropout的神經(jīng)網(wǎng)絡(luò)層相當(dāng)于對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行了變分推斷，通過(guò)多次采樣即可得到模型的不確定性，即蒙特卡洛Dropout方法。本文提出的TCAN網(wǎng)絡(luò)結(jié)構(gòu)中引入了Dropout，未來(lái)將進(jìn)一步研究基于蒙特卡洛Dropout 的RUL預(yù)測(cè)的不確定性問(wèn)題。