徐 碩，侯貴生

(山東科技大學(xué) 經(jīng)濟(jì)管理學(xué)院，山東 青島 266590)

0 引言

預(yù)測和健康管理(Prognostic and Health Management，PHM)由于能夠幫助改善系統(tǒng)設(shè)備的健康狀態(tài)，確保系統(tǒng)按照其最優(yōu)的運(yùn)行條件正常工作,近年來在工業(yè)領(lǐng)域被重點(diǎn)關(guān)注[1]。與傳統(tǒng)的設(shè)備故障檢修相比，PHM通過預(yù)測系統(tǒng)的健康狀態(tài)，提前安排維修活動，在保證設(shè)備可靠性的同時降低了維修成本。剩余使用壽命(Remaining Useful Life，RUL)預(yù)測是PHM研究領(lǐng)域中的關(guān)鍵任務(wù)，其目標(biāo)是提供系統(tǒng)設(shè)備健康狀態(tài)的有效信息，并估計(jì)設(shè)備到達(dá)安全操作限制的剩余時間。對于飛機(jī)渦扇發(fā)動機(jī)這類高安全性和高可靠性要求的設(shè)備，PHM是降低設(shè)備維護(hù)成本、確保運(yùn)行安全，從而提升企業(yè)核心競爭力的有效方法。準(zhǔn)確預(yù)測渦扇發(fā)動機(jī)的RUL可以及時采取合適的維修活動(替換、維修)，降低人力、物力成本，提高企業(yè)經(jīng)濟(jì)效益。

目前，預(yù)測方法可以被分為基于模型的預(yù)測方法、基于數(shù)據(jù)的預(yù)測方法與混合預(yù)測方法3類[2]?；谀Ｐ偷念A(yù)測方法是通過建立明確的數(shù)學(xué)模型來分析設(shè)備的退化過程，該方法通常需要精準(zhǔn)、明確的系統(tǒng)退化方面的知識，然而渦扇發(fā)動機(jī)系統(tǒng)非常復(fù)雜，建立精準(zhǔn)的數(shù)學(xué)模型難度太大?；跀?shù)據(jù)的預(yù)測方法通過收集到的設(shè)備運(yùn)行數(shù)據(jù)學(xué)習(xí)設(shè)備退化行為趨勢，提取關(guān)鍵信息，再通過機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)學(xué)習(xí)等方法構(gòu)建設(shè)備運(yùn)行數(shù)據(jù)與RUL之間的映射關(guān)系，更容易處理復(fù)雜建模問題，近年來由于傳感器使用普遍，設(shè)備監(jiān)測數(shù)據(jù)更易獲得，該方法受到越來越多的關(guān)注。BABU等[3]提出新的學(xué)習(xí)結(jié)構(gòu)，通過在多通道傳感器數(shù)據(jù)的時間維度上應(yīng)用卷積層和池化層學(xué)習(xí)原數(shù)據(jù)隱藏特征來提高預(yù)測精度；LI等[4]將深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)結(jié)合時間窗口，通過多個堆疊的卷積層學(xué)習(xí)深層表征來預(yù)測RUL，并通過和其他流行方法相比證明了所提方法的優(yōu)越性。混合預(yù)測方法將前兩種方法結(jié)合，可以克服兩種方法的缺點(diǎn)，然而至今沒有很好地發(fā)展，相關(guān)研究較少。因此，本文選擇基于數(shù)據(jù)的預(yù)測方法。

傳感器數(shù)據(jù)可以視為時序數(shù)據(jù)，在深度學(xué)習(xí)中處理此類數(shù)據(jù)常用的方法是長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)[5]。LSTM通過在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)加入“門”結(jié)構(gòu)而形成長期依賴特征，該方法因在機(jī)器翻譯、語音識別、自然語言處理等領(lǐng)域取得很大成功[6]而被應(yīng)用到RUL預(yù)測中。ZHENG等[7]結(jié)合多層LSTM和標(biāo)準(zhǔn)的前饋網(wǎng)絡(luò)揭示傳感器數(shù)據(jù)的隱藏模式，通過與其他機(jī)器學(xué)習(xí)算法相比證明方法的高效性；MALHOTRA等[8]提出基于自編碼器(Autoencoder，AE)的LSTM模型，從原數(shù)據(jù)中估計(jì)系統(tǒng)的健康指數(shù)，通過重構(gòu)系統(tǒng)時間序列健康信息獲得的重構(gòu)誤差計(jì)算健康索引，據(jù)此估計(jì)系統(tǒng)的RUL，以更好地進(jìn)行預(yù)測；YU等[2]也采用構(gòu)建健康指數(shù)的方式，不同的是在通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(bidirectional recurrent neural network)計(jì)算出健康指數(shù)后，采用曲線相似性匹配的方法估計(jì)系統(tǒng)的RUL；WU等[9]應(yīng)用vanilla LSTM(LSTM的一種變體)解決復(fù)雜工程系統(tǒng)中的RUL估計(jì)問題。另外，動態(tài)差分技術(shù)也被用于從原數(shù)據(jù)中提取新特征。

目前，設(shè)備監(jiān)測數(shù)據(jù)量大，而且由于多種工況和故障模式的影響，增加了數(shù)據(jù)固有的退化復(fù)雜性，使得預(yù)測算法很難直接發(fā)現(xiàn)原始數(shù)據(jù)中的退化趨勢，特征提取是解決該問題的關(guān)鍵。ELLEFSEN等[10]提出一種半監(jiān)督結(jié)構(gòu)預(yù)測RUL，其中作為預(yù)訓(xùn)練模型，受限玻爾茲曼機(jī)(Restricted Boltzmann Machines，RBM)從無標(biāo)簽數(shù)據(jù)中提取退化信息，用多層LSTM與全連接網(wǎng)絡(luò)估計(jì)目標(biāo)RUL，并采用遺傳算法對訓(xùn)練過程中不同數(shù)量的超參數(shù)進(jìn)行優(yōu)化，從而達(dá)到更高的預(yù)測精度。YOON等[11]提出一個半監(jiān)督模型解決有限標(biāo)簽數(shù)據(jù)下的RUL預(yù)測問題，通過基于變分自編碼器(Variational Autoencoder，VAE)非線性映射學(xué)習(xí)原數(shù)據(jù)的隱含特征，進(jìn)行更精準(zhǔn)地預(yù)測；宋亞等[12]首先利用自編碼器對發(fā)動機(jī)數(shù)據(jù)進(jìn)行抽象特征提取，然后借助BLSTM(bidirectional LSTM)捕捉特征雙向時序退化趨勢，從而預(yù)測發(fā)動機(jī)RUL，提高算法預(yù)測精度。

為了提高對監(jiān)測數(shù)據(jù)有效信息的挖掘提取能力，本文提出一種基于VAE-D2GAN的預(yù)訓(xùn)練模型。通過將VAE嵌套為雙判別式對抗式生成網(wǎng)絡(luò)(Dual Discriminator Generative Adversarial Nets，D2GAN)的生成器，形成雙生成模型嵌套結(jié)構(gòu)，新生成的數(shù)據(jù)不僅參與VAE的誤差重構(gòu)訓(xùn)練，還作為生成器的生成數(shù)據(jù)參與D2GAN的誤差重構(gòu)。雙重生成模型的組合使所生成的數(shù)據(jù)更接近原數(shù)據(jù)，能夠保證在生成過程中提取到的中間特征含有更多更重要的原始信息。最后，將提取到的特征傳入多層LSTM預(yù)測模型，以提取其中的時間序列退化信息，揭示與RUL之間的映射關(guān)系。通過與最新研究結(jié)果比較發(fā)現(xiàn)，本文所提模型顯著提高了渦扇發(fā)動機(jī)RUL的預(yù)測精度。

1 問題描述

本文提出新的渦扇發(fā)動機(jī)RUL預(yù)測模型，原始傳感器數(shù)據(jù)在標(biāo)準(zhǔn)化后被直接用作模型輸入數(shù)據(jù)。由于多種工況和故障模式的影響，模型很難直接捕獲數(shù)據(jù)中隱藏的退化趨勢，影響了模型的預(yù)測精度，有必要對數(shù)據(jù)進(jìn)行高質(zhì)量的特征提取工作。商用模塊化航空推進(jìn)系統(tǒng)仿真(Commercial Modular Aero-Propulsion System Simulation，C-MAPSS)是一款模擬大型商用渦扇發(fā)動機(jī)五大旋轉(zhuǎn)部件(風(fēng)機(jī)、低壓壓氣機(jī)、高壓壓氣機(jī)、高壓渦輪、低壓渦輪)在不同工況下的故障及劣化影響的軟件[13]。C-MAPSS數(shù)據(jù)集共有4個子集，每個子集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，包括26個列，即引擎號、操作周期、3個傳感器操作設(shè)置和21個傳感器測量值。3個傳感器操作模式指標(biāo)分別為飛行高度、馬赫數(shù)、節(jié)流解析器角度，它們決定了渦扇發(fā)動機(jī)不同的飛行條件；21種測量值來自21個傳感器。詳細(xì)的傳感器變量描述如表1所示。

表1 傳感器檢測數(shù)據(jù)描述

2 理論方法

2.1 變分自編碼器

自編碼器是提取中間特征的有效方法，其由編碼器和解碼器組成。給定輸入數(shù)據(jù)x，通過編碼器henc(x)進(jìn)行編碼，提取隱藏特征z，然后交由解碼器hdec(z)解碼，得到重構(gòu)數(shù)據(jù)。通過盡可能地最小化重構(gòu)數(shù)據(jù)與原數(shù)據(jù)之間的誤差實(shí)現(xiàn)參數(shù)優(yōu)化，提取原數(shù)據(jù)中的隱藏信息形式為

H(x,x′)=‖x-henc(hdec(x))‖。

(1)

VAE是自編碼器的變體，其根源是貝葉斯推理[14]。VAE繼承了自編碼器的編碼器—解碼器結(jié)構(gòu)，能夠?qū)τ^測值P(z)的潛在分布進(jìn)行建模，并通過引入一組潛在的隨機(jī)變量z生成新的數(shù)據(jù)，將這一過程表示為

(2)

因?yàn)閦為連續(xù)域，積分很難處理，所以將單個數(shù)據(jù)點(diǎn)進(jìn)行邊際對數(shù)似然表示為

logP(x)=DKL(qφ(z|x)‖
pθ(z))+Lvae(φ,θ;x)。

(3)

(4)

第一項(xiàng)通過最小化潛在變量近似后驗(yàn)與先驗(yàn)之間的KL散度，對潛在變量z進(jìn)行正則化；第二項(xiàng)通過最大化從qφ(z|x)采樣得到的對數(shù)似然log (pθ(x|z))來重構(gòu)x。

分布類型的選擇很重要，因?yàn)閂AE根據(jù)先驗(yàn)分布pθ(z)和似然pθ(x|z)對近似后驗(yàn)分布qφ(z|x)進(jìn)行建模。后驗(yàn)分布的典型選擇為高斯分布N(μz,Σz)，先驗(yàn)分布采用標(biāo)準(zhǔn)正態(tài)分布N(0,1)。對于似然性，經(jīng)常將伯努利分布或多元高斯分布分別用于二進(jìn)制或連續(xù)數(shù)據(jù)。

2.2 雙判別式對抗式生成網(wǎng)絡(luò)

D2GAN來源于對抗式生成網(wǎng)絡(luò)(Generative Adversarial Nets，GAN)。GAN[15]的核心思想是由生成器模型和判別器模型形成對抗性損失，生成器用于從隨機(jī)噪聲中生成數(shù)據(jù)，并努力覆蓋真實(shí)的數(shù)據(jù)分布，判別器用于區(qū)分?jǐn)?shù)據(jù)來自真實(shí)數(shù)據(jù)集還是由生成器生成。

生成器G和判別器D形成二元極小極大值博弈，其中G努力學(xué)習(xí)真實(shí)數(shù)據(jù)分布來欺騙D，D被訓(xùn)練來檢測G的輸出是否為真。為了實(shí)現(xiàn)上述目標(biāo)，訓(xùn)練D使log(D(x))最大化，調(diào)整G的參數(shù)使log(l-D(G(z))最小化?？倢箵p失可描述為

(5)

D2GAN為GAN的變體，是一個三元博弈，包括兩個不同的判別器D1，D2和一個生成器G。給定數(shù)據(jù)空間中的樣本x，如果x從真實(shí)數(shù)據(jù)分布pdata中獲取，則D1(x)將獲得高分；如果x從模型分布PG中生成，則D1(x)獲得低分[16]。相反，對于從PG中生成的x，D2(x)返回高分，而從pdata中提取的樣本則給出低分。與GAN不同的是，判別器返回的分?jǐn)?shù)是正實(shí)數(shù)而不是在[0,1]之間的概率。生成器G從噪聲空間映射合成數(shù)據(jù)來欺騙兩個判別器D1，D2，這3個參與者均由神經(jīng)網(wǎng)絡(luò)參數(shù)化，其中D1，D2不共享參數(shù)，如圖1所示。

D1，D2和G三者構(gòu)成三元極小極大值優(yōu)化博弈：

(6)

引入超參數(shù)0<α,β≤1來穩(wěn)定模型的學(xué)習(xí)，并控制KL和反向KL散度對優(yōu)化問題的影響。

3 VAE-D2GAN半監(jiān)督預(yù)測模型

本文提出的半監(jiān)督深度學(xué)習(xí)預(yù)測模型的構(gòu)建思想是，將VAE作為D2GAN的生成器構(gòu)成雙生成模型嵌套結(jié)構(gòu)，使VAE中提取到的中間特征含有更多有用的原始信息；然后將提取到的特征輸入到雙層LSTM，進(jìn)一步提取時序退化信息；最后通過全連接神經(jīng)網(wǎng)絡(luò)(Fully-connected Neural Network，F(xiàn)NN)輸出目標(biāo)RUL。模型的整體框架如圖2所示。

本文所提模型的最大特點(diǎn)是VAE-D2GAN形成的雙生成嵌套預(yù)訓(xùn)練模型，為了突出所提取中間特征的高效性，在監(jiān)督學(xué)習(xí)階段，本文采用最簡單的雙層LSTM進(jìn)一步提取特征中的時序信息，而不是BLSTM。從雙層LSTM得到的時序退化信息被傳入第一層全連接層，為了使模型更好地擬合訓(xùn)練數(shù)據(jù)并加快收斂，選用ReLU[17]作為激活函數(shù)，同時對此全連接層進(jìn)行參數(shù)正則化以減輕過擬合。最后，在第二層全連接層輸出預(yù)測的RUL，由于為最后的輸出層，輸出節(jié)點(diǎn)設(shè)置為1，使預(yù)測RUL與標(biāo)簽RUL的數(shù)量保持相同。

在所提模型的核心結(jié)構(gòu)——預(yù)訓(xùn)練模型中，VAE作為生成器參與到D2GAN的訓(xùn)練中，VAE的生成數(shù)據(jù)不僅參與其本身的誤差重構(gòu)，還要作為D2GAN的生成數(shù)據(jù)來欺騙D2GAN的兩個判別器。通過雙重生成模型嵌套使生成數(shù)據(jù)更接近原數(shù)據(jù)，編碼器可提取到更高質(zhì)量的中間特征，這對后續(xù)預(yù)測至關(guān)重要。預(yù)訓(xùn)練模型的結(jié)構(gòu)如圖3所示。

考慮到輸入數(shù)據(jù)來自于不同的傳感器，在VAE的編碼器部分首先使用4個步長為1的一維卷積核(16×1)提取每個傳感器數(shù)據(jù)內(nèi)在的退化信息，然后通過緊隨其后的三層步長為2的二維卷積核(18×4)提取數(shù)據(jù)樣本中空間相鄰要素之間的關(guān)系。對每個卷積層都用ReLu作為激活函數(shù)，然后通過7層CNN進(jìn)行特征提取。將提取到的特征通過Flatten層轉(zhuǎn)換維度后，送入FNN輸出均值和方差，構(gòu)建正態(tài)分布，用于隨后的解碼器采樣。詳細(xì)的編碼器結(jié)構(gòu)如圖4所示。

編碼器結(jié)構(gòu)對所提取特征的質(zhì)量有重要影響，本文提出的4層一維卷積結(jié)合3層二維卷積的編碼結(jié)構(gòu)通過實(shí)驗(yàn)逐一尋優(yōu)得到，不同結(jié)構(gòu)的特征提取能力不同，預(yù)測精度也不同，實(shí)驗(yàn)結(jié)果如圖5所示，其中RMSE表示均方根誤差。無論減少一維卷積層數(shù)或二維卷積層，都會增大預(yù)測誤差，因?yàn)闇p少卷積層會減弱模型的特征提取能力，降低對原始數(shù)據(jù)有效信息的挖掘程度，從而降低預(yù)測精度。而在7層結(jié)構(gòu)已經(jīng)取得優(yōu)秀預(yù)測結(jié)果的情況下，如果繼續(xù)增加卷積層，則會導(dǎo)致編碼器結(jié)構(gòu)過于復(fù)雜，增加運(yùn)算資源消耗，從而延長訓(xùn)練時間。

為了進(jìn)一步減輕過擬合，在解碼器的第一個卷積層以及監(jiān)督階段中的雙層LSTM和第一層FNN中采用Dropout技術(shù)，通過在訓(xùn)練過程中隨機(jī)丟棄部分神經(jīng)元，相當(dāng)于在多個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練，來提高模型的泛化能力[18]。另外，本文還采用提前終止訓(xùn)練的方法，在訓(xùn)練集上訓(xùn)練模型后，在驗(yàn)證集檢測模型的表現(xiàn)，如果發(fā)現(xiàn)驗(yàn)證集的誤差連續(xù)在多個時期內(nèi)沒有下降，則提前停止訓(xùn)練，并將停止之后的參數(shù)作為神經(jīng)網(wǎng)絡(luò)的最終參數(shù)。

為了加速模型收斂，生成器與判別器中的卷積操作都采用CNN-BatchNorm-ReLu的形式 (除了輸出層)，即在卷積操作之后先進(jìn)行批標(biāo)準(zhǔn)化(Batch normalization，Batchnorm)，再傳入激活函數(shù)。Batchnorm對每一層神經(jīng)網(wǎng)絡(luò)的激活輸入值進(jìn)行規(guī)范，使其保持相同的分布，從而減少梯度消失問題，加快模型訓(xùn)練速度[19]。對權(quán)重初始化采用xavier標(biāo)準(zhǔn)初始化器；無監(jiān)督訓(xùn)練模型中用RMSprop[20]對損失進(jìn)行優(yōu)化，微調(diào)階段采用Adam[21]算法對參數(shù)進(jìn)行優(yōu)化；所有訓(xùn)練過程的初始學(xué)習(xí)率均設(shè)為0.000 2。

整體訓(xùn)練算法如算法1所示。首先訓(xùn)練VAE-D2GAN模型，獲得高質(zhì)量的中間特征，然后通過監(jiān)督學(xué)習(xí)進(jìn)行RUL預(yù)測。

算法1基于VAE-D2GAN的預(yù)測模型訓(xùn)練算法。

輸入：渦扇發(fā)動機(jī)退化監(jiān)測數(shù)據(jù)集。

初始化參數(shù)：時間窗口長度、批尺寸、訓(xùn)練次數(shù)、神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、初始學(xué)習(xí)率(Adam)。

輸出：權(quán)值確定的基于VAE-D2GAN的預(yù)測模型。

訓(xùn)練過程如下：

(1)數(shù)據(jù)選擇及標(biāo)準(zhǔn)化。

(2)滑動窗口準(zhǔn)備數(shù)據(jù)。

(3)當(dāng)VAE-D2GAN 模型訓(xùn)練時期數(shù)小于設(shè)定值時：①將數(shù)據(jù)輸入VAE-D2GAN模型向前傳播獲得輸出x′；②計(jì)算生成誤差(包括生成器誤差和重構(gòu)誤差)；③計(jì)算判別誤差(雙判別器誤差之和)；④應(yīng)用RMSprop分別最小化生成誤差和判別誤差，更新模型權(quán)值。

(4)獲得訓(xùn)練好的VAE-D2GAN模型。

(5)獲得提取到的特征。

(6)當(dāng) LSTM-FNN階段訓(xùn)練時期數(shù)小于設(shè)定值或未達(dá)到EarlyStopping條件時：①將提取到的特征輸入LSTM-FNN向前傳播得輸出預(yù)測值yi；②計(jì)算預(yù)測值與真實(shí)值之間的誤差；③應(yīng)用Adam更新LSTM-FNN的權(quán)值。

(7)獲得訓(xùn)練好的預(yù)測模型。

4 實(shí)驗(yàn)研究

將所提模型在預(yù)測基準(zhǔn)問題(美國國家航空航天局渦扇發(fā)動機(jī)退化問題)上進(jìn)行實(shí)驗(yàn)，并將結(jié)果與最近的研究進(jìn)行比較，以證明模型的高效性。該流行數(shù)據(jù)集是由美國國家航空航天局開發(fā)的C-MAPSS生成的仿真數(shù)據(jù)，其發(fā)動機(jī)模擬器可以在5個旋轉(zhuǎn)組件中的任何一個上模擬故障，并為感測到的發(fā)動機(jī)變量提供輸出響應(yīng)。在該實(shí)驗(yàn)中，4個不同情況的數(shù)據(jù)子集包括3個操作條件指標(biāo)和輸出變量中的21個傳感器測量值，4個不同情況的數(shù)據(jù)子集包括第1章中提到的3個操作條件指標(biāo)和輸出變量中的21個傳感器測量值。

4.1 數(shù)據(jù)集介紹

C-MAPSS數(shù)據(jù)集被廣泛用于在設(shè)備RUL預(yù)測實(shí)驗(yàn)中驗(yàn)證預(yù)測方法的有效性，其4個子集包括不同數(shù)量的渦扇發(fā)動機(jī)，而且每個發(fā)動機(jī)的運(yùn)行周期也不同。為了與所選研究進(jìn)行比較，本文參考文獻(xiàn)[12]，只選取第一個數(shù)據(jù)集FD001來驗(yàn)證模型。FD001訓(xùn)練集中記錄了100臺發(fā)動機(jī)從正常運(yùn)行到發(fā)生故障的過程，測試集樣本中的100個發(fā)動機(jī)在故障發(fā)生前停止運(yùn)行，預(yù)測100個發(fā)動機(jī)的RUL，其中真實(shí)的RUL值已經(jīng)在另一個文件中給出，用于計(jì)算模型預(yù)測精度。

4.2 訓(xùn)練流程

詳細(xì)的訓(xùn)練流程如圖6所示。在傳入模型之前，首先對發(fā)動機(jī)數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)選擇和標(biāo)準(zhǔn)化。在數(shù)據(jù)集FD001的21個傳感器監(jiān)測數(shù)據(jù)中，傳感器1,5,6,10,16,18,19在整個發(fā)動機(jī)運(yùn)行周期中是常數(shù)，意味著這些數(shù)據(jù)對發(fā)動機(jī)RUL預(yù)測的貢獻(xiàn)不大。另外，因?yàn)镕D001服從單一操作條件，所以可以從輸入數(shù)據(jù)中排除3個操作指標(biāo)參數(shù)。然而，為了能使VAE的輸出數(shù)據(jù)與輸入數(shù)據(jù)保持相同的尺寸，需要用一個常數(shù)監(jiān)測數(shù)據(jù)組成16個輸入變量，可以采用任意一個常數(shù)傳感器數(shù)據(jù)，因此本文選擇傳感器19。

因?yàn)楦鱾鞲衅鞣祷氐奈锢硖卣髦挡煌?，所以需要對所選擇的輸入變量進(jìn)行歸一化處理，以消除不同量綱對預(yù)測結(jié)果的影響。本文選擇最小最大值標(biāo)準(zhǔn)化方法，將輸入數(shù)據(jù)規(guī)范到[-1,1]之內(nèi)，具體公式為

(7)

與在單個時間步長采樣的多變量數(shù)據(jù)點(diǎn)相比，時間序列數(shù)據(jù)可以提供更多信息。因此，本文采用滑動窗口策略來有效使用多元時序信息。模型的輸入為二維矩陣[xtw,xf],其中xtw表示滑動窗口的尺寸，xf表示選擇的輸入特征數(shù)。為了在提高數(shù)據(jù)利用率的同時保證VAE生成數(shù)據(jù)的尺寸不變，將滑動窗口尺寸設(shè)為32，即xtw=32；因?yàn)楣策x定16個輸入變量，所以xf=16。為了盡可能利用數(shù)據(jù)，將滑動窗口的步長設(shè)為1。

訓(xùn)練集中并未提供真實(shí)RUL標(biāo)簽，因此本文采用分段線性退化模型為渦扇發(fā)動機(jī)的每個運(yùn)行周期構(gòu)建訓(xùn)練標(biāo)簽，如圖7所示。通常設(shè)備在使用初期正常運(yùn)行，其退化可忽略不計(jì)，將這時的RUL視為常數(shù)。隨著設(shè)備的運(yùn)行，發(fā)動機(jī)開始線性退化，即當(dāng)超過一個臨界值時，RUL開始隨運(yùn)行周期的增加而線性減少。前期研究表明，RUL的設(shè)定主要為115，120，125，130四種，為了更直觀地顯示該超參數(shù)對預(yù)測精度的影響，本文通過實(shí)驗(yàn)逐一尋優(yōu)，結(jié)果如圖8所示。實(shí)驗(yàn)表明，RUL的突變臨界值設(shè)定為120時的預(yù)測精度最高。

將FD001數(shù)據(jù)集經(jīng)過預(yù)處理步驟后獲得的標(biāo)準(zhǔn)化數(shù)據(jù)傳入VAE-D2GAN預(yù)訓(xùn)練模型中提取抽象特征。完成模型預(yù)訓(xùn)練后進(jìn)入微調(diào)階段，通過最小化輸出預(yù)測RUL與標(biāo)簽RUL之間的誤差，反傳更新模型參數(shù)。

為了方便與其他算法進(jìn)行比較，本文選用與文獻(xiàn)[12]相同的評估標(biāo)準(zhǔn)衡量算法的優(yōu)劣，即評分函數(shù)S和均方根誤差RMSE：

(8)

(9)

式中：n為測試集中真實(shí)的RUL標(biāo)簽數(shù)；di=Rpre-Rtrue，Rpre為RUL預(yù)測值，Rtrue為RUL真實(shí)值。提前預(yù)測和延后預(yù)測對RMSE的影響權(quán)重相同，延后預(yù)測對評分函數(shù)的影響權(quán)重大于提前預(yù)測。原因是延遲預(yù)測會因預(yù)測不及時而產(chǎn)生更嚴(yán)重的后果，而提前預(yù)測相對只是增加維修成本。預(yù)測算法的主要目標(biāo)是在評分函數(shù)與RMSE兩者盡可能小的情況下，使預(yù)測誤差di=0。

4.3 模型參數(shù)設(shè)置

在訓(xùn)練時，將FD001數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，其中驗(yàn)證集占總數(shù)據(jù)的15%，剩余的85%屬于訓(xùn)練集。采用小批次方法訓(xùn)練，為了選取最合適的批尺寸，對常用的超參數(shù)(取值為128，256，512，1 024)進(jìn)行逐一實(shí)驗(yàn)，結(jié)果如圖9所示。因?yàn)榕叽缛? 024時效果最好，所以每個批次設(shè)置1 024個滑動窗口樣本，共3 000個批次用于訓(xùn)練模型。另外，由兩個LSTM和兩個FNN層組成的監(jiān)督訓(xùn)練階段中，二者的隱藏節(jié)點(diǎn)數(shù)對RUL預(yù)測精度有重要影響。為了探求合適的參數(shù)(取值為(32，32)，(64，32)，(128，64)，(256，128))，對常用的4種設(shè)置進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果如圖10所示?？梢?，當(dāng)LSTM和FNN的隱藏節(jié)點(diǎn)分別為64和32時，預(yù)測誤差最??；對于Dropout技術(shù)的超參數(shù)p，本文選擇最通用的0.5。監(jiān)督階段的詳細(xì)參數(shù)如表2所示。

表2 監(jiān)督模型參數(shù)

4.4 預(yù)測結(jié)果及比較

模型完成訓(xùn)練后，對預(yù)測準(zhǔn)確性進(jìn)行測試。將測試集輸入模型得到測試結(jié)果如圖11所示?？梢?，預(yù)測的RUL值與實(shí)際的RUL標(biāo)簽相差不大，說明所提模型表現(xiàn)優(yōu)秀。為了更精確地衡量模型預(yù)測表現(xiàn)，分別計(jì)算評分函數(shù)與RMSE。

將本文模型與在相同訓(xùn)練集上測試的算法進(jìn)行誤差比較，結(jié)果如表3所示。通過對比可知，無論RMSE還是評分函數(shù)，本文所提VAE-D2GAN深度學(xué)習(xí)預(yù)測模型的預(yù)測誤差均為最低水平。其中預(yù)測誤差RMSE比之前最優(yōu)的深度CNN[4]降低了8%，評分函數(shù)比之前全部算法中最優(yōu)的Autoencoder-BLSTM[12]降低了15.3%，原因是雙重嵌套生成模型提取到了更高層次的抽象特征，其中包含更多有用的原始數(shù)據(jù)退化信息，為之后的監(jiān)督模型預(yù)測RUL打下了堅(jiān)實(shí)的基礎(chǔ)。本文所提VAE-D2GAN深度學(xué)習(xí)預(yù)測模型的預(yù)測精度高，且無需專家知識和物理建模知識，具有較強(qiáng)的推廣性，可以指導(dǎo)渦扇發(fā)動機(jī)預(yù)測維修活動，能夠在保證安全性和可靠性的同時降低人力物力成本。

表3 不同預(yù)測方法實(shí)驗(yàn)結(jié)果對比

5 結(jié)束語

為了解決渦扇發(fā)動機(jī)數(shù)據(jù)難以提取有效抽象特征的問題，本文提出一種基于D2GAN-VAE的預(yù)訓(xùn)練特征提取模型，模型通過雙重嵌套生成結(jié)構(gòu)使生成的數(shù)據(jù)更接近原數(shù)據(jù)，能夠保證提取到的特征含有更多原始信息，隨后通過微調(diào)階段進(jìn)一步提取時序退化信息來預(yù)測RUL。通過將所構(gòu)建的模型在C-MAPSS數(shù)據(jù)集上測試，并與最近的預(yù)測算法進(jìn)行比較，證明了本文模型可有力保障設(shè)備安全。未來將進(jìn)一步提高模型的穩(wěn)定性，并縮短模型訓(xùn)練時間。