張博瑋 鄭建飛 胡昌華 裴 洪 董 青

對于鋰電池、軸承、航空發(fā)動機(jī)和陀螺儀等復(fù)雜關(guān)鍵設(shè)備,由于受到內(nèi)部應(yīng)力或外界環(huán)境的影響,其設(shè)備的健康狀態(tài)會不可避免的出現(xiàn)退化,最終引發(fā)設(shè)備及所在系統(tǒng)的失效,甚至導(dǎo)致人員和財產(chǎn)的損失[1-2].為切實(shí)掌握設(shè)備的健康性能,保障設(shè)備安全可靠運(yùn)行,預(yù)測與健康管理 (Prognostics and health management,PHM) 技術(shù)[3-4]近年來受到了廣泛關(guān)注.作為PHM 技術(shù)的關(guān)鍵環(huán)節(jié),剩余壽命(Remaining useful life,RUL) 預(yù)測旨在通過分析狀態(tài)監(jiān)測收集的退化數(shù)據(jù),來預(yù)測設(shè)備的剩余壽命.隨著先進(jìn)傳感、物聯(lián)網(wǎng)技術(shù)的進(jìn)步和監(jiān)測工藝的發(fā)展,當(dāng)代設(shè)備復(fù)雜化、自動化以及智能化水平不斷提升,推動數(shù)據(jù)驅(qū)動的剩余壽命預(yù)測技術(shù)進(jìn)入了 “大數(shù)據(jù)”時代.

在工程實(shí)際中,由于機(jī)器故障 (如測量傳感器故障) 或人為因素 (如未記錄) 不可避免地導(dǎo)致部分?jǐn)?shù)據(jù)缺失[5-7].若利用這類不完整數(shù)據(jù)預(yù)測設(shè)備剩余壽命,將面臨難以準(zhǔn)確描述設(shè)備退化規(guī)律的現(xiàn)實(shí)問題,進(jìn)而將影響設(shè)備的健康管理和維修決策.因此,針對缺失數(shù)據(jù)統(tǒng)計特性的多樣性隨機(jī)退化設(shè)備剩余壽命預(yù)測問題得到了大量學(xué)者的關(guān)注.

隨著深度神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺、密度估計、自然語言和語音識別等領(lǐng)域的興起[8],深度生成模型[9]開始應(yīng)用于時間序列的生成,其基本思路是通過捕捉時間序列的分布特征,對時序數(shù)據(jù)進(jìn)行再生成,從而填補(bǔ)數(shù)據(jù).Yoon 等[10]首次提出了一種基于生成式對抗網(wǎng)絡(luò) (Generative adversarial network,GAN) 框架的缺失數(shù)據(jù)輸入方法獲得了較好的填充效果.張晟斐等[11]基于柯爾莫可洛夫—斯米洛夫檢驗(yàn) (Kolmogorov-Smirnov test,K-S test) 檢驗(yàn)的思想,改進(jìn)卷積生成對抗網(wǎng)絡(luò) (Deep convolutional generative adversarial network,DCGAN),獲得了更高精度的生成結(jié)果,但是存在生成器和判別器模式崩潰、難以訓(xùn)練的風(fēng)險.Nazabal 等[12]融合基本的變分自編碼器 (Variational autoencoder,VAE)和高斯過程,利用變分推斷在多維時間序列填充問題上得到了更理想效果.在基于深度學(xué)習(xí)的框架下,現(xiàn)有研究集中在GAN和VAE 的改進(jìn)和優(yōu)化方面.根據(jù)處理極大似然函數(shù)方法的不同,GAN 采用網(wǎng)絡(luò)對抗和訓(xùn)練交替的方式,避免優(yōu)化似然函數(shù),雖然生成精度高但是訓(xùn)練過程困難,VAE 采用似然函數(shù)的變分下界代替真實(shí)的數(shù)據(jù)分布,只能得到真實(shí)數(shù)據(jù)的近似分布.因此,亟需研究一種既能保證模型精度又容易訓(xùn)練的深度生成模型.

近年來,為了克服模型精度和訓(xùn)練速度方面的局限性,可逆網(wǎng)絡(luò)構(gòu)造似然函數(shù)的流模型 (Flowbased model,Flow) 及改進(jìn)模型[13-16]被應(yīng)用于圖像、音頻生成領(lǐng)域效果顯著.其中,非線性獨(dú)立成分估計(Non-linear independent component estimation,NICE) 是首個基于Flow 模型的變體[13].針對完整的一維時序數(shù)據(jù)生成問題,Ge 等[17]提出了一種基于NICE 框架的生成網(wǎng)絡(luò)來模擬配電網(wǎng)絡(luò)的一維日常負(fù)載曲線.相比于GAN 與VAE,NICE 的生成效果能夠更好地捕捉日常負(fù)載曲線的時空相關(guān)性.薛陽等[18]提出了基于NICE 框架的生成網(wǎng)絡(luò)來增強(qiáng)分布式光伏竊電數(shù)據(jù)曲線,通過對比GAN 與VAE的生成效果,NICE 具有準(zhǔn)確的似然估計,生成的樣本更接近真實(shí)數(shù)據(jù)曲線.盡管NICE 面向完整時序數(shù)據(jù)時表現(xiàn)出良好的生成效果,但應(yīng)用于缺失時序數(shù)據(jù)情形下的數(shù)據(jù)生成則鮮見報道.因此,如何利用NICE 挖掘出缺失數(shù)據(jù)的演變規(guī)律,以克服傳統(tǒng)GAN和VAE 所面臨的模型精度較低以及訓(xùn)練速度過慢的難題,是有待進(jìn)一步研究的重要問題.同時,訓(xùn)練過程中如何優(yōu)化NICE 模型參數(shù)是影響生成效果的關(guān)鍵因素,需予以重點(diǎn)考慮.

本文依靠NICE 網(wǎng)絡(luò)的生成優(yōu)勢,提出了一種改進(jìn)NICE 網(wǎng)絡(luò)的缺失數(shù)據(jù)生成方法.該方法充分利用NICE 強(qiáng)大的分布學(xué)習(xí)能力,通過粒子群優(yōu)化(Particle swarm optimization,PSO) 算法,將生成序列與真實(shí)序列之間的分布偏差融入NICE 采樣生成樣本的退火參數(shù)中,在提升訓(xùn)練速度的同時保證生成序列與真實(shí)序列的一致性.在此基礎(chǔ)上,本文利用融合注意力機(jī)制的雙向長短期記憶網(wǎng)絡(luò) (Bidirectional long short term memory with attention,Bi-LSTM-Att),建立了設(shè)備退化趨勢預(yù)測模型進(jìn)行剩余壽命預(yù)測.最后,通過鋰電池的退化數(shù)據(jù),對所提方法生成數(shù)據(jù)和預(yù)測數(shù)據(jù)的可靠性進(jìn)行實(shí)例驗(yàn)證.

1 基于PSO-NICE 的數(shù)據(jù)生成

1.1 流模型

流模型的基本思路是:復(fù)雜數(shù)據(jù)分布一定可以由一系列的轉(zhuǎn)換函數(shù)映射為簡單數(shù)據(jù)分布,如果這些轉(zhuǎn)換函數(shù)是可逆的并且容易求得,那么簡單分布和可逆轉(zhuǎn)換函數(shù)的逆函數(shù)便構(gòu)成一個深度生成模型.

具體地,流模型假設(shè)原始數(shù)據(jù)分布為PX(x),先驗(yàn)隱變量分布為PZ(z) (一般為標(biāo)準(zhǔn)正態(tài)分布),可逆轉(zhuǎn)換函數(shù)為f(x) (z=f(x)),生成轉(zhuǎn)換函數(shù)為g(x)(g(x)=f-1(x)),基于概率分布密度函數(shù)的變量代換法可得:

其中,D是原始數(shù)據(jù)的維度,是可逆轉(zhuǎn)換函數(shù)f(x) 在x處的雅可比行列式 (Jacobian),而更高維度的監(jiān)測數(shù)據(jù)會增加Jacobian 的計算復(fù)雜度,導(dǎo)致模型擬合的負(fù)擔(dān)多于求解可逆函數(shù)的反函數(shù)的過程.因此,流模型除了轉(zhuǎn)換函數(shù)f(x) 可逆易求外,還需確保其Jacobian 易于計算.基于最大對數(shù)似然原理,流模型的訓(xùn)練優(yōu)化目標(biāo)為:

當(dāng)流模型訓(xùn)練過程結(jié)束時,通過采樣概率分布Z～PZ(z)得到隨機(jī)數(shù),其中采樣分布一般為標(biāo)準(zhǔn)正態(tài)分布,然后通過可逆轉(zhuǎn)換函數(shù)的反函數(shù)g(z)=f-1(z)生成新的數(shù)據(jù)分布.從生成模型的出發(fā)點(diǎn)來看,流模型可以提供精確的估計,能夠生成高質(zhì)量的樣本.

NICE 是首個基于流模型的無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)生成模型[13].其優(yōu)勢在于能夠得到精確的對數(shù)似然估計,易于訓(xùn)練,且基于可逆操作無需單獨(dú)構(gòu)建生成網(wǎng)絡(luò),它與訓(xùn)練網(wǎng)絡(luò)共享同一套參數(shù),最后從標(biāo)準(zhǔn)正態(tài)分布中采樣隨機(jī)數(shù)來生成樣本.然而,實(shí)際上對于訓(xùn)練好的NICE 模型,采樣標(biāo)準(zhǔn)差并不一定是1,因?yàn)楦〉姆讲羁梢酝ㄟ^犧牲樣本多樣性增加樣本真實(shí)性,所以理想的采樣標(biāo)準(zhǔn)差一般比1稍小.最終采樣的正態(tài)分布標(biāo)準(zhǔn)差,被稱為退火參數(shù)[19].因此,當(dāng)NICE 深度生成模型處理時間序列樣本時,選擇合適的退火參數(shù)是決定生成樣本精度高的關(guān)鍵性因素.

1.2 PSO-NICE 模型

為了降低NICE 模型生成分布與原始分布的偏差,利用粒子群優(yōu)化 (PSO) 算法快速迭代找到退火參數(shù)全局最優(yōu)解,從而改進(jìn)NICE 反向生成模型.

具體地,PSO-NICE 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.NICE 由多個分塊加性耦合層 (交錯混合方式)和一個尺度壓縮層組成,每一個分塊加性耦合層模擬一個可逆變換函數(shù)f(x),通過交錯混合來連接兩個相鄰的分塊加性耦合層.如圖1 所示,按照向右箭頭的方向?yàn)檎蛴?xùn)練過程,向左箭頭的方向?yàn)榉聪蛏蛇^程.NICE 作為一類無監(jiān)督向量變換模型,能夠確保將輸入數(shù)據(jù)的分布轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布,在反向生成時,從標(biāo)準(zhǔn)正態(tài)分布中采樣隨機(jī)數(shù)來生成樣本,采用PSO 來對退火參數(shù)進(jìn)行優(yōu)化,提升NICE模型的反向生成能力.

以圖1 為例,分別介紹分塊加性耦合層、交錯混合和尺度壓縮層的結(jié)構(gòu)和參數(shù).

圖1 PSO-NICE 網(wǎng)絡(luò)框架圖Fig.1 PSO-NICE network frame diagram

NICE 通過分塊加性耦合層來擬合可逆變換函數(shù)f(x). 具體地,將維度為D的原始數(shù)據(jù)輸入樣本劃分為兩部分x1和x2,不失一般性,將x的各個維度打亂后重新排列,選取x1=x1:d為前d維元素組成的向量,x2=xd+1:D為后 (D-d) 維元素組成的向量,并作如下變換:

其中,Id和Id+1:D分別表示d維單位矩陣和(D-d)維單位矩陣,根據(jù)分塊矩陣的結(jié)構(gòu),由式 (5) 可以得到J(f(x)) 是一個下三角矩陣形式,并且對角線元素全部為1.分塊加性耦合層巧妙的設(shè)計不僅使得變換函數(shù)的逆函數(shù)易于求解,而且它的Jacobian 結(jié)果固定為1.

NICE 通過交叉耦合來連接兩個相鄰的分塊加性耦合層,將分塊加性耦合層1 輸出的兩部分直接交換作為分塊加性耦合層2 的輸入:

由式 (6) 知,分塊加性耦合層的耦合操作只作用在第二部分,第一部分是恒等的變換.交錯混合的操作簡單,即前一個分塊加性耦合層等價變換的向量可以在下一個分塊加性耦合層進(jìn)行非等價變換,可使信息充分融合.

其中,s各元素是要訓(xùn)練優(yōu)化的非負(fù)參數(shù)向量,可識別維度的重要程度 (其大小決定了維度的重要程度),起到壓縮流形的作用.代入上一節(jié)流模型的優(yōu)化目標(biāo)式 (2),NICE 模型的訓(xùn)練優(yōu)化目標(biāo)為:

上述優(yōu)化目標(biāo)即為NICE 模型訓(xùn)練的損失函數(shù),經(jīng)過堆疊多個分塊加性耦合層和一個尺度壓縮層,在流模型的框架下,降低了可逆函數(shù)的反函數(shù)和Jacobian 的計算復(fù)雜度,NICE 完成了網(wǎng)絡(luò)構(gòu)建.

在NICE 網(wǎng)絡(luò)基礎(chǔ)上,PSO 首先初始化一群隨機(jī)粒子 (隨機(jī)解),每個粒子的維度與原始樣本保持一致,退火參數(shù)初始化為1,然后通過迭代找到最優(yōu)解.在每一次的迭代中,粒子通過跟蹤兩個 “極值”(個體最優(yōu)值pbest,群體最優(yōu)值gbest) 實(shí)現(xiàn)更新.PSO 的標(biāo)準(zhǔn)形式如下:

其中,i=1,2,···,N,N是粒子群中粒子的總數(shù),vi是粒子的速度,rand() 是介于 ( 0,1) 之間的隨機(jī)數(shù).vi是粒子當(dāng)前的速度,xi是粒子當(dāng)前的位置,c1和c2是學(xué)習(xí)因子,一般c1=c2.vi的最大值為vmax(通常大于0),如果vi大于vmax,則vi=vmax.

PSO 的優(yōu)化目標(biāo)選擇生成分布與原始分布的推土機(jī) (Earth-mover,EM) 距離,又稱Wasserstein 距離.EM 距離相對KL 散度與JS 散度的優(yōu)勢在于平滑性更好,即使對兩個分布很遠(yuǎn)幾乎無重疊的情況,仍能反映兩個分布的遠(yuǎn)近.該優(yōu)點(diǎn)可保證PSO 迭代過程的初始階段能夠快速收斂.EM 距離越小,表明生成分布與原始分布越接近.EM 距離可表示為:

其中,Π (P1,P2) 是P1和P2分布組合起來的所有可能的聯(lián)合分布的集合.對于每一種可能的聯(lián)合分布γ,可從中采樣 (x,y)～γ得到一個樣本x和y,并計算出該對樣本的距離‖x-y‖,進(jìn)而可計算該聯(lián)合分布γ下,樣本對距離的期望值 E(x,y)-γ[‖x-y‖].在所有可能的聯(lián)合分布中能夠?qū)@個期望值取到的下界即為EM 距離.

綜上,在NICE 反向生成過程引入PSO,優(yōu)化采樣分布的退火參數(shù),可以充分利用流模型的可逆生成模型,增加對生成結(jié)果的反饋,提升網(wǎng)絡(luò)模型的生成效果.

2 基于Attention 的Bi-LSTM 的RUL預(yù)測

雙向長短期記憶網(wǎng)絡(luò) (Bi-LSTM) 通過堆疊前向LSTM 層和后向LSTM 層,來提取序列的深度特征.與單個LSTM 層相比,能夠充分利用監(jiān)測數(shù)據(jù)過去與未來的潛在信息.反映設(shè)備退化信息的長時間序列在輸入Bi-LSTM 網(wǎng)絡(luò)時會通過滑動時間窗處理劃分為時間步Xi對應(yīng)的短序列,而不同時間步的短序列所蘊(yùn)含的設(shè)備退化特征往往不同.

為了捕捉對預(yù)測結(jié)果貢獻(xiàn)度較高的特征,引入注意力機(jī)制 (Attention) 層,將對預(yù)測結(jié)果貢獻(xiàn)度高的特征賦予更高的權(quán)重,貢獻(xiàn)度低的特征賦予較低的權(quán)重,對Bi-LSTM 的提取后的特征進(jìn)行再次融合.

具體地,融合注意力機(jī)制的雙向長短期記憶網(wǎng)絡(luò)Bi-LSTM-Att 結(jié)構(gòu)如圖2 所示,X1,X2,X3,···,Xn為一組輸入隨機(jī)退化的監(jiān)測數(shù)據(jù)經(jīng)過滑動時間窗處理后的短時間序列,前向LSTM 層和后向LSTM 層對輸入的短時間序列進(jìn)行前向和后向的特征提取得到隱藏狀態(tài)yi=[y1,y2,y3,···,yn],Attention 層對提取的特征分配不同的權(quán)重ai=[a1,a2,a3,···,an],最后連接一個全連接層,得到預(yù)測結(jié)果y.Attention 層的計算過程如下:

圖2 Bi-LSTM-Att 網(wǎng)絡(luò)框架圖Fig.2 Bi-LSTM-Att network frame diagram

其中,t anh(·) 為非線性激活函數(shù),其范圍為 (-1,1),Wi和bi分別為隱藏狀態(tài)yi=[y1,y2,y3,···,yn] 的權(quán)值矩陣和偏置矩陣,ai為Attention 層分給不同隱藏狀態(tài)的權(quán)重,y為對所有隱藏狀態(tài)加權(quán)求和后得到的綜合特征.

綜上,在Bi-LSTM 層后引入Attention 層,對不同的退化特征有不同的側(cè)重,可以充分利用每個時間步的隱藏狀態(tài),提取有用信息,提升網(wǎng)絡(luò)模型的預(yù)測效果.

3 基于PSO-NICE 缺失數(shù)據(jù)生成的RUL預(yù)測

基于PSO-NICE和Bi-LSTM-Att 的監(jiān)測缺失數(shù)據(jù)生成和RUL 預(yù)測方法流程如圖3 所示,具體的步驟為:

圖3 缺失數(shù)據(jù)生成和RUL 預(yù)測流程圖Fig.3 Missing data generation and RUL prediction flowchart

1) 樣本各維度歸一化:為了后期深度學(xué)習(xí)模型能夠高效訓(xùn)練、挖掘深層次特征,需要對訓(xùn)練的原始數(shù)據(jù)進(jìn)行必要的預(yù)處理操作,將含有缺失數(shù)據(jù)的監(jiān)測原始退化監(jiān)測數(shù)據(jù)每個樣本的各個維度分別線性歸一化到 ( 0,1) 區(qū)間,得到PSO-NICE 模型的訓(xùn)練樣本,反歸一化是歸一化的逆操作,歸一化與反歸一化公式如下:

其中,Xmax和Xmin為某個維度樣本的極值 (最大值和最小值),i為樣本個數(shù).

2) 搭建NICE 網(wǎng)絡(luò)模型:根據(jù)樣本量的大小,配置NICE 正向訓(xùn)練過程參數(shù).將歸一化后的訓(xùn)練樣本作為模型的輸入,進(jìn)行深度無監(jiān)督學(xué)習(xí).

其中,NICE 網(wǎng)絡(luò)結(jié)構(gòu)模型參數(shù)主要是對分塊加性耦合層的處理,包括分塊加性耦合層的層數(shù),耦合層的數(shù)量及其每一層的神經(jīng)元數(shù)量.一般地,以4 個分塊加性耦合層為基礎(chǔ)建立模型,耦合層一般選擇全連接層.隨著輸入數(shù)據(jù)分布的復(fù)雜度提高,由于交叉耦合的處理方式,分塊加性耦合層的數(shù)量需要以偶數(shù)倍增加.同時,也可以加深耦合層的數(shù)量和增加每層神經(jīng)元的數(shù)量來擬合復(fù)雜數(shù)據(jù)的分布.

3) 搭建PSO 迭代模型:引入一群與訓(xùn)練樣本維度相同的粒子群,對NICE 反向生成過程模型的生成分布效果進(jìn)行迭代優(yōu)化,得到NICE 反向生成過程模型最優(yōu)的退火參數(shù).

其中,粒子的維度即為樣本維度,粒子群的大小應(yīng)不少于2,初始化的位置和最大速度可以根據(jù)優(yōu)化目標(biāo)的經(jīng)驗(yàn)值設(shè)置參數(shù),否則需要更多的迭代次數(shù).最后,通過實(shí)驗(yàn)觀察迭代效果,優(yōu)化目標(biāo)趨于穩(wěn)定時停止訓(xùn)練,選擇保證訓(xùn)練效果的最低迭代次數(shù).

4) 缺失數(shù)據(jù)填補(bǔ):選擇最優(yōu)退火參數(shù)下正態(tài)分布的隨機(jī)數(shù),作為NICE 反向生成過程模型的輸入,將模型生成的全部樣本反歸一化到原始樣本的變化區(qū)間,將與缺失數(shù)據(jù)的時間維度最接近的樣本數(shù)據(jù)作為填補(bǔ)值,與原始數(shù)據(jù)一起組成完整的退化時間序列樣本.

5) 構(gòu)建Bi-LSTM-Att 預(yù)測模型:將填補(bǔ)后的數(shù)據(jù)與歷史數(shù)據(jù)再次線性歸一化,按照Bi-LSTM的輸入格式,進(jìn)行時間滑動窗口處理,作為Bi-LSTMAtt 的輸入.訓(xùn)練調(diào)整Bi-LSTM-Att 預(yù)測模型的結(jié)構(gòu)參數(shù)和訓(xùn)練參數(shù),最后通過迭代預(yù)測得到RUL的預(yù)測值.

4 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的基于PSO 改進(jìn)NICE 的缺失數(shù)據(jù)生成方法和基于Attention 改進(jìn)Bi-LSTM的RUL 預(yù)測方法,本文采用美國馬里蘭大學(xué)先進(jìn)壽命周期工程中心 (Center for Advanced Life Cycle Engineering,Calce) 提供的CS2 類型電池容量退化數(shù)據(jù)集[6],共包含四塊電池退化數(shù)據(jù):CS2_35,CS2_36,CS2_37,CS2_38.這四組電池容量退化的完整曲線如圖4 所示.

圖4 CS2 電池組容量退化軌跡Fig.4 CS2 battery pack capacity degradation trajectory

圖4 中,電池容量可以有效反映電池健康狀況,實(shí)際應(yīng)用中通常采用在一定充放電條件下電池容量衰減到失效閾值時所經(jīng)歷的充放電周期次數(shù)來描述電池的RUL,因此選擇該指標(biāo)進(jìn)行鋰電池RUL 預(yù)測.其中,失效閾值選擇0.5 Ah.鋰離子電池的RUL指從當(dāng)前時刻開始至鋰離子電池容量不能維持設(shè)備正常工作所經(jīng)歷的充放電周期次數(shù).

為確保對比的公正性,本文采用文獻(xiàn)[11] 中DCGAN-KS 模型的缺失數(shù)據(jù)設(shè)置模式.主要體現(xiàn)在缺失機(jī)制與缺失率兩個方面,缺失機(jī)制設(shè)定為完全隨機(jī)缺失 (Missing completely at random,MCAR),即數(shù)據(jù)的缺失概率與缺失變量以及非缺失變量均不相關(guān)[20].不同于MCAR,隨機(jī)缺失 (Missing at random,MAR) 指的是數(shù)據(jù)的缺失不是完全隨機(jī)的,即該類數(shù)據(jù)的缺失依賴于其他完全變量.在實(shí)際生產(chǎn)過程中,由于設(shè)備復(fù)雜和環(huán)境惡劣,大多缺失類型屬于MCAR.不失個體差異性,生成數(shù)據(jù)實(shí)驗(yàn)以CS_37 電池為例.缺失率是在CS2_37數(shù)據(jù)的前850 個充放電循環(huán)基礎(chǔ)上,分別選擇10%、30%、50%和70% 四種模式.本文通過調(diào)用python 的random 庫,選擇缺失率分別為10%,30%,50%和70% 的sample 函數(shù),用于產(chǎn)生生成模型的訓(xùn)練數(shù)據(jù).由CS2_37 構(gòu)造的原始數(shù)據(jù)和訓(xùn)練數(shù)據(jù)如表1 所示.

表1 CS2_37 構(gòu)造的原始數(shù)據(jù)和不同缺失率下的訓(xùn)練數(shù)據(jù)Table 1 Original data constructed by CS2_37 and training data with different missing rates

進(jìn)一步,根據(jù)生成數(shù)據(jù)設(shè)置預(yù)測所需的數(shù)據(jù)集模式,將編號為CS2_35、CS2_36、CS2_38 電池的完整數(shù)據(jù)和CS2_37 截止到600 個循環(huán)周期的容量數(shù)據(jù)作為訓(xùn)練樣本,將CS2_37 的600 個循環(huán)周期之后的406 個循環(huán)周期作為驗(yàn)證樣本來評估預(yù)測性能.由CS2 電池構(gòu)造RUL 預(yù)測的訓(xùn)練樣本和驗(yàn)證樣本如表2 所示.

表2 CS2 數(shù)據(jù)集構(gòu)造RUL 預(yù)測的訓(xùn)練樣本和驗(yàn)證樣本Table 2 CS2 dataset constructs training samples and validation samples for RUL prediction

根據(jù)本文第3 部分所提方法步驟進(jìn)行數(shù)據(jù)生成.將訓(xùn)練數(shù)據(jù)歸一化處理后,依次搭建NICE 網(wǎng)絡(luò)模型和PSO 迭代模型.其中,隨著缺失率的提高,可以適當(dāng)減少 (偶數(shù)個) 分塊加性耦合層的數(shù)量和降低NICE 模型的訓(xùn)練批處理量.粒子的維度為2(充放電循環(huán)維度和容量維度),粒子群大小可以設(shè)置為2,通過多次生成實(shí)驗(yàn)選擇保證訓(xùn)練效果的最低迭代次數(shù)為15.表3 給出了不同缺失率下的PSONICE 模型參數(shù).其中,第二、三、四列為NICE 模型的結(jié)構(gòu)參數(shù),第五、六列為NICE 模型的訓(xùn)練參數(shù),第七、八列為PSO 的訓(xùn)練參數(shù).

表3 不同缺失率下的PSO-NICE 模型參數(shù)Table 3 PSO-NICE model parameters with different missing rates

圖5 展示了70% 缺失率下VAE 模型、GAN模型、NICE 模型和PSO-NICE 模型的生成效果圖.通過對比不難發(fā)現(xiàn),VAE和PSO-NICE 模型生成數(shù)據(jù)相較于GAN和NICE 模型更平滑,而在數(shù)據(jù)分布上,NICE和PSO-NICE 模型對原始數(shù)據(jù)的擬合度更高.總體上,NICE和PSO-NICE 模型兩種方法都可以很好地覆蓋鋰電池容量整個數(shù)據(jù)的退化趨勢和分布特性,且PSO-NICE 模型生成的數(shù)據(jù)更接近真實(shí)分布.

為研究PSO 算法隨機(jī)性優(yōu)化的效果,圖6 繪制了不同缺失率下PSO 迭代次數(shù)的變化.

從圖6 中可以得到,70%和10% 缺失率下的PSO 迭代的優(yōu)化目標(biāo)較快穩(wěn)定,表明缺失率較小或者較大時數(shù)據(jù)的分布屬性較簡單,PSO 的優(yōu)化目標(biāo)更容易收斂.最終,根據(jù)缺失率的大小,PSO-NICE模型生成的數(shù)據(jù)分布與原始數(shù)據(jù)的分布誤差 (EM距離) 均不同程度穩(wěn)定在0.02 以下.

圖6 不同缺失率下PSO 迭代優(yōu)化過程Fig.6 Iterative optimization process of PSO under different missing rates

進(jìn)一步,為了與VAE、GAN 及DCGAN[11]的生成效果對比,表4 通過EM 距離量化不同缺失率下各方法生成樣本與完整樣本的誤差.由表4 可見,在不同缺失率下,本文所提方法得到的EM 距離均小于其它方法.并且隨著缺失率的增大,PSO-NICE模型EM 距離的增幅相對較小,表明其生成分布更接近原始分布.

表4 不同缺失率下各方法生成樣本與完整樣本的EM 距離Table 4 The EM distance between generation sample and the complete sample under different missing rates

根據(jù)PSO-NICE 模型生成的樣本數(shù)據(jù),選擇與缺失值的時間維度最接近的值作為填充值對缺失數(shù)據(jù)填補(bǔ),圖7 分別繪制不同缺失率下的填補(bǔ)效果.

由圖7 可見,在10%和30% 低缺失率的情況下,PSO-NICE 模型對缺失數(shù)據(jù)填補(bǔ)的精確性較高.在50%和70% 高缺失率的情況下,PSO-NICE 模型對缺失數(shù)據(jù)填補(bǔ)的精確性較低,某些結(jié)果與缺失數(shù)據(jù)有較大差距.總體上,不論缺失率高低,PSONICE 模型的填補(bǔ)效果均可以保持與原始數(shù)據(jù)分布的一致性.

圖7 不同缺失率下的填補(bǔ)效果Fig.7 Generation effect under different missing rate

為驗(yàn)證預(yù)測效果,將PSO-NICE 模型填補(bǔ)后的時序數(shù)據(jù)按照表2 構(gòu)造樣本,并且全部時序數(shù)據(jù)要經(jīng)過滑動時間窗處理.具體地,滑動時間窗統(tǒng)一設(shè)置為200,預(yù)測步長為1.針對現(xiàn)有常用預(yù)測網(wǎng)絡(luò)(RNN、GRU、LSTM、Bi-LSTM和Bi-LSTMAtt 等),損失函數(shù)選擇均方誤差 (Mean squared error,MSE),優(yōu)化器選擇Adam,調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練參數(shù)使各個方法達(dá)到最優(yōu),相關(guān)結(jié)果如圖5 所示.

圖5 70%缺失率下不同方法的生成效果Fig.5 The generation effect of different methods under 70% missing rate

表5 分別展示了RNN、GRU、LSTM、Bi-LSTM和Bi-LSTM-Att 等現(xiàn)有常用預(yù)測網(wǎng)絡(luò)的參數(shù).需要注意地是,每次預(yù)測實(shí)驗(yàn)均設(shè)置了隨機(jī)種子,固定預(yù)測結(jié)果.訓(xùn)練好各類網(wǎng)絡(luò)后,首先在0%缺失率 (即不缺失) 情況下,從預(yù)測起始點(diǎn)迭代預(yù)測406 次.預(yù)測效果如圖8 所示.

圖8 0%缺失率下現(xiàn)有常用方法的預(yù)測效果Fig.8 Prediction effect of existing common methods under 0% missing rate

表5 現(xiàn)有常用預(yù)測網(wǎng)絡(luò)的參數(shù)Table 5 Parameters of existing common prediction networks

由圖8 可見,在0% 缺失率下,對比真實(shí)數(shù)據(jù),RNN 網(wǎng)絡(luò)的退化趨勢差距較大,并且預(yù)測結(jié)果滯后,GRU、LSTM和Bi-LSTM 網(wǎng)絡(luò)的預(yù)測退化趨勢較好,但預(yù)測結(jié)果均提前,Bi-LSTM-Att 的預(yù)測結(jié)果最接近原始數(shù)據(jù),且預(yù)測趨勢更吻合.預(yù)測對比實(shí)驗(yàn)說明RNN 網(wǎng)絡(luò)無法捕獲長距離的信息,而LSTM-based 方法具有長記憶性,能夠獲得比GRU更好的預(yù)測效果,增添Attention 層后使得整個預(yù)測網(wǎng)絡(luò)關(guān)注影響退化趨勢的部分重要數(shù)據(jù),增加了預(yù)測網(wǎng)絡(luò)可解釋性.因此,選擇Bi-LSTM-Att 網(wǎng)絡(luò)來進(jìn)行剩余壽命預(yù)測.

為研究不同缺失率下的填補(bǔ)效果對剩余壽命預(yù)測的影響,以10%、30%、50%和70% 四種缺失率為例,圖9 展示了同一Bi-LSTM-Att 網(wǎng)絡(luò)的預(yù)測效果.

圖9 不同缺失率填補(bǔ)后Bi-LSTM-Att 的預(yù)測效果Fig.9 The prediction effect of Bi-LSTM-Att after filling with different missing rates

為了更清晰地量化預(yù)測效果,采用均方根誤差(Root mean square error,RMSE)和決定系數(shù) (Rsquared,R2) 兩個指標(biāo)衡量預(yù)測的準(zhǔn)確性,并將結(jié)果繪制于表6.RMSE是逆向指標(biāo),該值越小越好,而R2是正向指標(biāo),該值越大越好,范圍為 ( 0,1).計算公式如下:其中,yi是各個時刻的真實(shí)值,是各個時刻的預(yù)測值,是各個時刻的均值.

表6 不同預(yù)測方法的效果評估Table 6 Effectiveness evaluation of different forecasting methods

由表6 不難看出,Bi-LSTM-Att 模型的RMSE和R2均小于其他方法,但是運(yùn)行時間較長.此外,隨著缺失率的增加,Bi-LSTM-Att 預(yù)測精度增大幅度較小,再一次表明所提缺失數(shù)據(jù)生成方法能夠高效捕捉時間序列的退化信息的優(yōu)越性.

進(jìn)一步,考慮到樣本的完全隨機(jī)缺失機(jī)制,需要討論其對預(yù)測結(jié)果影響的穩(wěn)定性分析,檢驗(yàn)?zāi)Ｐ偷聂敯粜?具體地,仍然以10%、30%、50%和70%四種缺失率為例,僅僅改變真實(shí)數(shù)據(jù)的缺失位置,再通過PSO-NICE 網(wǎng)絡(luò)和Bi-LSTM-Att 網(wǎng)絡(luò)進(jìn)行缺失數(shù)據(jù)生成填補(bǔ)、剩余壽命預(yù)測任務(wù),重復(fù)試驗(yàn),得到預(yù)測相關(guān)效果如圖10 所示.

同時,為了量化預(yù)測效果,采用RMSE衡量預(yù)測的準(zhǔn)確性,相關(guān)量化結(jié)果如表7 所示.

表7 不同缺失率填補(bǔ)后Bi-LSTM-Att 重復(fù)預(yù)測量化結(jié)果Table 7 Quantification results of Bi-LSTM-Att repeated prediction after imputation with different missing rates

通過對比觀察圖10 不難看出,四種缺失率下,Bi-LSTM-Att 模型重復(fù)實(shí)驗(yàn)95% 的預(yù)測置信區(qū)間均能夠很好地覆蓋真實(shí)數(shù)據(jù),且預(yù)測均值與真實(shí)數(shù)據(jù)擬合程度較高,表明PSO-NICE 模型對缺失數(shù)據(jù)生成的穩(wěn)定性和魯棒性較好.

圖10 四種缺失率填補(bǔ)后Bi-LSTM-Att 重復(fù)預(yù)測效果Fig.10 Bi-LSTM-Att repeated prediction effect after four missing rates imputation

5 結(jié)論

針對缺失數(shù)據(jù)生成模型精度低和訓(xùn)練速度慢的問題,提出一種基于流模型框架的缺失數(shù)據(jù)生成方法,可以獲得較好的生成效果,最后通過鋰電池實(shí)例進(jìn)行驗(yàn)證.工作的主要創(chuàng)新如下:

1) 基于流模型框架,將一維時序缺失數(shù)據(jù)輸入NICE 深度生成模型,通過無監(jiān)督方式學(xué)習(xí)缺失數(shù)據(jù)背后的真實(shí)分布,進(jìn)而對缺失數(shù)據(jù)進(jìn)行充分填補(bǔ),得到完整意義下的時間序列數(shù)據(jù).

2) 基于NICE 深度生成模型,在NICE 反向生成階段,通過引入PSO 算法,迭代優(yōu)化其退火參數(shù),將深度生成模型由無監(jiān)督變成有監(jiān)督,能夠更精準(zhǔn)地學(xué)習(xí)缺失數(shù)據(jù)背后的真實(shí)分布,提升對缺失數(shù)據(jù)填補(bǔ)的精度,得到更完整意義下的時間序列數(shù)據(jù).

本文基于流模型框架,通過建立NICE 模型和PSO-NICE 模型,實(shí)現(xiàn)了對一維時間監(jiān)測序列完全隨機(jī)缺失下系統(tǒng)缺失數(shù)據(jù)的生成及剩余壽命預(yù)測的應(yīng)用.在未來的研究中,將進(jìn)一步考慮現(xiàn)場實(shí)際環(huán)境的復(fù)雜關(guān)系,對不同缺失機(jī)制、多維度時間監(jiān)測序列的缺失數(shù)據(jù)生成和RUL 預(yù)測問題進(jìn)行更深層次的探索和研究.