郭夢(mèng)溪

（福州大學(xué)物理與信息工程學(xué)院，福州350108）

0 引言

隨著人工智能的普及，連接到通信網(wǎng)絡(luò)系統(tǒng)的設(shè)備和監(jiān)視系統(tǒng)的投資也在增加。為了使電力通信系統(tǒng)平穩(wěn)穩(wěn)定地工作，必須對(duì)通信系統(tǒng)設(shè)備進(jìn)行連續(xù)監(jiān)控以預(yù)防突發(fā)事件造成系統(tǒng)宕機(jī)。按照國(guó)網(wǎng)的政策要求，各省及地市級(jí)的電力通信網(wǎng)絡(luò)及設(shè)備需要不斷的升級(jí)改造，隨著通信運(yùn)維人員的工作量不斷增加，給運(yùn)維工作帶來(lái)極大壓力。電力通信網(wǎng)絡(luò)中設(shè)備的報(bào)警數(shù)據(jù)具有數(shù)據(jù)量大，頻閃數(shù)據(jù)多，噪聲數(shù)據(jù)多的等特點(diǎn)?，F(xiàn)有的預(yù)測(cè)更多的基于簡(jiǎn)單的統(tǒng)計(jì)分析，而沒(méi)有考慮與時(shí)間序列相關(guān)因素的影響。為了解決現(xiàn)有方法的缺陷，如何有效地估計(jì)通信設(shè)備的剩余壽命以及如何改進(jìn)設(shè)備故障的預(yù)測(cè)方法已經(jīng)引起了業(yè)界的廣泛關(guān)注。

通常使用的RUL 預(yù)測(cè)的方法主要有基于物理模型和基于數(shù)據(jù)驅(qū)動(dòng)兩類(lèi)[1]?；谖锢砟Ｐ偷姆椒ㄊ切枰顾鶚?gòu)建設(shè)備物理故障失效模型更加可靠，然而越來(lái)越復(fù)雜化、智能化的設(shè)備系統(tǒng)幾乎是不可能建立準(zhǔn)確的物理模型來(lái)描述系統(tǒng)退化失效過(guò)程的。依據(jù)所收集到的大量的并行計(jì)算能力和狀態(tài)監(jiān)控到的數(shù)據(jù)，研制出了數(shù)據(jù)驅(qū)動(dòng)的RUL 預(yù)測(cè)方法。較為常用的剩余壽命預(yù)測(cè)方法大多都是使用淺層模型（支持向量回歸機(jī)、多層感知機(jī)等），特征提取步驟在很大程度上是依賴(lài)于特定領(lǐng)域的知識(shí)和專(zhuān)業(yè)的信號(hào)處理技術(shù)，因?yàn)橛腥斯さ膮⑴c，所以只是能夠提取到一些具體的、可理解的數(shù)據(jù)，不確定性存在的機(jī)率非常大，上述方法在很大程度上也忽略了時(shí)間的影響因素[2]。

本文使用基于時(shí)序關(guān)系的序列模型，提高設(shè)備故障預(yù)測(cè)的準(zhǔn)確率。序列模型的輸入是設(shè)備的歷史告警數(shù)據(jù)，在對(duì)設(shè)備分析中，不僅考慮了設(shè)備的屬性特征，同時(shí)考慮了設(shè)備運(yùn)行告警時(shí)序特征，能夠更加精確的對(duì)設(shè)備狀態(tài)做出判斷。與RNN 對(duì)比，LSTM（Long Short-Term Memory）考慮的前后關(guān)聯(lián)信息更長(zhǎng)，提高了預(yù)測(cè)的準(zhǔn)確性[3]，LSTM 網(wǎng)絡(luò)架構(gòu)在一定的程度上解決了標(biāo)準(zhǔn)傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失以及梯度爆炸的問(wèn)題[4]。但是傳統(tǒng)LSTM 存在著對(duì)深層次抽象特征的提取能力也稍弱于卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]。近兩年來(lái)，為了解決LSTM 模型缺陷，本文結(jié)合LSTM 網(wǎng)絡(luò)與CNN 相關(guān)優(yōu)勢(shì)[6]，結(jié)合電力通信網(wǎng)絡(luò)設(shè)備運(yùn)行特征，提出一種混合預(yù)測(cè)模型，探索一種新的電力通信設(shè)備的剩余使用壽命（Remaining Useful Life，RUL）研究方法。

1 LSTM神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[7]是通過(guò)神經(jīng)元循環(huán)賦值存儲(chǔ)信息的神經(jīng)網(wǎng)絡(luò)，其中每個(gè)神經(jīng)網(wǎng)絡(luò)單元都會(huì)將信息傳入下一個(gè)單元。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1 顯示了典型的RNN 結(jié)構(gòu)，RNN 通常用于處理有序的相關(guān)數(shù)據(jù)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，通常模型中的各層之間是完全相連接的，而各層之間節(jié)點(diǎn)是不連接的。但是普通神經(jīng)網(wǎng)絡(luò)通常是無(wú)法解決一些涉及到時(shí)間序列的問(wèn)題，例如在預(yù)測(cè)一個(gè)句子的上下文可以根據(jù)前文的情況推測(cè)后面的單詞。RNN 是指序列的當(dāng)前輸出與先前的輸出相關(guān)，具體表現(xiàn)是網(wǎng)絡(luò)將記住先前的信息，在網(wǎng)絡(luò)的內(nèi)部狀態(tài)中進(jìn)行保存，并且應(yīng)用在當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再是無(wú)記憶，即隱藏層的輸入不僅包括輸入層的輸出，還包括先前時(shí)間的隱藏層的輸出。從理論上來(lái)講，任何長(zhǎng)度的序列數(shù)據(jù)，RNN 都是能處理的。但實(shí)際上，對(duì)于長(zhǎng)度超過(guò)1000 的序列，預(yù)測(cè)結(jié)果非常糟糕。遞歸神經(jīng)網(wǎng)絡(luò)在處理非常長(zhǎng)的序列時(shí)遇到的最大問(wèn)題是梯度消失和梯度爆炸。針對(duì)這個(gè)問(wèn)題，Hochreiter 等人基于此些問(wèn)題提出的長(zhǎng)期短期記憶網(wǎng)絡(luò)（LSTM）。長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM 是RNN 升級(jí)版本。LSTM 結(jié)構(gòu)在捕獲長(zhǎng)期依賴(lài)性方面要比標(biāo)準(zhǔn)RNN 好得多[8]。在LSTM 中，隱藏層中的每個(gè)傳統(tǒng)節(jié)點(diǎn)都被存儲(chǔ)器單元替換。存儲(chǔ)器單元是LSTM 中最重要的結(jié)構(gòu)，可以避免梯度消失和梯度爆炸。LSTM 單元由存儲(chǔ)器單元和它們包含的門(mén)單元共同組成。乘法輸入門(mén)單元是用來(lái)防止無(wú)關(guān)輸入可能帶來(lái)的負(fù)面影響。輸入流經(jīng)過(guò)輸入門(mén)處理后進(jìn)入存儲(chǔ)器單元，存儲(chǔ)器的輸出流通過(guò)輸出門(mén)到其他LSTM 單元[9]。圖2 給出了LSTM 存儲(chǔ)器單元的內(nèi)部結(jié)構(gòu)。

圖2 LSTM存儲(chǔ)器單元的內(nèi)部結(jié)構(gòu)

在存儲(chǔ)塊結(jié)構(gòu)模塊的遺忘門(mén)由單層神經(jīng)網(wǎng)絡(luò)控制。遺忘門(mén)的使用的激活函數(shù)如式（1）所示：

其中，xt是輸入序列，ht-1是前一個(gè)塊的輸出，t-1是前一個(gè)存儲(chǔ)器單元，如是偏置矢量w表示每個(gè)輸入的單獨(dú)權(quán)重向量σ是邏輯S 形函數(shù)。如果激活輸出包含接近0 的值，遺忘門(mén)將忘記之前輸入的任務(wù)。輸入門(mén)位于新存儲(chǔ)器所在的部分，具有tanh 激活功能和記憶阻滯效應(yīng)，這些功能的實(shí)現(xiàn)方式如式（2）、式（3）所示：

從內(nèi)存單元到網(wǎng)絡(luò)其余部分的唯一輸出來(lái)源于輸出門(mén)，輸出的計(jì)算方法如式（4）、式（5）所示：

2 LSTM算法優(yōu)化

本文提出了一種改進(jìn)策略，即直接將系統(tǒng)監(jiān)測(cè)的設(shè)備運(yùn)行數(shù)據(jù)映射到RUL 值，并提出了一種基于CNN-LSTM 遞歸神經(jīng)網(wǎng)絡(luò)的電力網(wǎng)絡(luò)設(shè)備剩余壽命預(yù)測(cè)方法[10]。

現(xiàn)實(shí)中在面對(duì)較為復(fù)雜的設(shè)備預(yù)測(cè)問(wèn)題時(shí)，只單純的使用網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)算法通常是難以顧及到訓(xùn)練時(shí)長(zhǎng)和準(zhǔn)確性的。因?yàn)樯窠?jīng)元節(jié)點(diǎn)具有獨(dú)特的循環(huán)結(jié)構(gòu)，多層LSTM 網(wǎng)絡(luò)對(duì)于捕獲深層次的抽象特征的能力也比CNN 的能力較低[11]。近年來(lái)，結(jié)合CNN 與LSTM 兩種網(wǎng)絡(luò)的一些特點(diǎn)，在卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)組合結(jié)構(gòu)（即CNN-LSTM）方面，一些學(xué)者一直在不斷的探索，并且在序列問(wèn)題方面取得了不俗的成績(jī)[12]。本文借鑒這一思想，提出一種基于CNNLSTM 網(wǎng)絡(luò)混合模型的直接剩余壽命預(yù)測(cè)方法，將CNN-LSTM 網(wǎng)絡(luò)應(yīng)用于電力通信網(wǎng)設(shè)備的剩余壽命預(yù)測(cè)中[13]。

圖3 是本文所提出CNN-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖，主要是有兩個(gè)部分組成，前面的部分是由很多一維CNN 卷積層堆積形成的，主要是用來(lái)提取深層空間征特的；后面的部分是由多層的LSTM 疊加而成，主要是負(fù)責(zé)RUL 的預(yù)測(cè)和時(shí)間依賴(lài)性特征提取。

CNN-LSTM 網(wǎng)絡(luò)混合模型CNN 部分的輸入是通過(guò)接收二維矩陣形式來(lái)實(shí)現(xiàn)的。本文的訓(xùn)練樣本是通過(guò)采用時(shí)間窗滑動(dòng)的方式而獲得的，把步長(zhǎng)記為1，時(shí)間窗口大小記為Nw傳感器數(shù)據(jù)維度記為Ns則輸入格CNN 部分的輸入式為Nw×Ns。原始數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后，通過(guò)時(shí)序順序，輸入到建造好的模型，對(duì)于此模型來(lái)說(shuō)，無(wú)需過(guò)度應(yīng)用專(zhuān)業(yè)運(yùn)維人員即專(zhuān)業(yè)技能知識(shí)提取特征。

圖3 CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

其次，利用CNN 部分進(jìn)行深度序列特征提取。一維CNN 與二維CNN 是有所不同的，它是在圖像的二維方向（長(zhǎng)度方向和寬度方向）上進(jìn)行滑動(dòng)卷積，而卷積核只是沿著時(shí)間軸進(jìn)行卷積計(jì)算的。一般來(lái)說(shuō)，二維CNN 是緊跟在卷積層后面的池層的。它的主要功能是提取最重要的局部公式，減少模型參數(shù)的數(shù)量。但在本文中，時(shí)間窗的大小設(shè)置在20-25 之間，卷積核的大小設(shè)置在4-6 之間，所以就不需要將池化層放在卷積層的后面。為了保持時(shí)間窗口大小的不變，需要使用零填充來(lái)堆疊多層1D-CNN。該部分輸出格式為Nw×N1D-CNN，可以直接輸入到LSTM 網(wǎng)中。

最后，傳感器序列數(shù)據(jù)中的長(zhǎng)短期時(shí)間依賴(lài)性主要是通過(guò)多疊加層LSTM 網(wǎng)絡(luò)來(lái)提取的。為了防止過(guò)擬合訓(xùn)練樣本集，需要對(duì)每一LSTM 層采用Dropout 正則化技術(shù)，參數(shù)的大小設(shè)置在0.2-0.5 之間。LSTM 層之后需要將特征向量連接到全連接層上，這樣就可以使預(yù)測(cè)RUL 值得到回歸。所有的神經(jīng)網(wǎng)絡(luò)層都是采用ReLU 函數(shù)[14]作為激活函數(shù)的，計(jì)算模型損失需要使用誤差回歸函數(shù)公式，并且根據(jù)誤差利用Adam 算法優(yōu)化網(wǎng)絡(luò)參數(shù)[15]。圖4 為基于CNN-LSTM 網(wǎng)絡(luò)混合模型的RUL 預(yù)測(cè)流程圖。

圖4 基于CNN-LSTM網(wǎng)絡(luò)混合模型的RUL預(yù)測(cè)流程圖

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)選擇

本次實(shí)驗(yàn)選取的數(shù)據(jù)是某省中的電力調(diào)度網(wǎng)系統(tǒng)中2015-2019 年某型號(hào)的服務(wù)器運(yùn)行至失效的數(shù)據(jù)，隨機(jī)選取訓(xùn)練樣本集（180 臺(tái)）和測(cè)試樣本集（36 臺(tái)），記錄生命周期狀態(tài)指標(biāo)數(shù)據(jù)，包括CPU 散熱器風(fēng)扇轉(zhuǎn)速、蜂鳴噪聲次數(shù)、端口故障時(shí)CPU 負(fù)載值、內(nèi)存占有率等運(yùn)行參數(shù)。

在模型訓(xùn)練的過(guò)程中，把時(shí)間窗窗口大小的數(shù)值設(shè)置為25，而選擇訓(xùn)練樣本的數(shù)值大約為4 萬(wàn)個(gè)，這種數(shù)據(jù)的選擇是為了充分的滿足LSTM 模型訓(xùn)練的要求，其中把LSTM 層數(shù)設(shè)置為3。

圖5 為在測(cè)試樣本集中隨機(jī)抽取的兩臺(tái)服務(wù)器RUL 數(shù)據(jù)預(yù)測(cè)結(jié)果。

圖5 部分設(shè)備RUL預(yù)測(cè)結(jié)果

從圖5 測(cè)試集中兩臺(tái)服務(wù)器的RUL 預(yù)測(cè)結(jié)果可以看出，依據(jù)于CNN 改進(jìn)而來(lái)的LSTM 混合神經(jīng)網(wǎng)絡(luò)的壽命預(yù)測(cè)方法可以在歷史時(shí)間窗內(nèi)從多維傳感器序列中自動(dòng)的查找出有效的故障特征，并且能夠?qū)υO(shè)備的RUL 值做出很好的預(yù)測(cè)。因此，它可以用來(lái)跟蹤真實(shí)的RUL 曲線，特別是在服務(wù)器生命周期的中后期，其與真實(shí)值幾乎是重疊的。

3.2 算法對(duì)比

根據(jù)RMSE 定量評(píng)價(jià)指標(biāo)，與其他預(yù)測(cè)算法的結(jié)果進(jìn)行比，我們使用均方根誤差（RMSE）作為指標(biāo)對(duì)數(shù)據(jù)進(jìn)行評(píng)估，RMSE 的計(jì)算如式（6）：

表1 RMSE 指標(biāo)下各預(yù)測(cè)算法對(duì)比結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，CNN-LSTM 的算法精度明顯優(yōu)于其他算法，由于CNN 已經(jīng)成功應(yīng)用到圖像領(lǐng)域中，所以提出了一種以一維CNN 為基礎(chǔ)的剩余壽命預(yù)測(cè)建模方法，與傳統(tǒng)的淺層機(jī)器學(xué)習(xí)方法相比，取得了較好的效果。從以上比較結(jié)果不難看出，當(dāng)訓(xùn)練樣本數(shù)足夠時(shí)，深度學(xué)習(xí)算法與傳統(tǒng)的淺層模型相比，具有很大的優(yōu)越性，而且還具有不需要進(jìn)行人工特征工程、領(lǐng)域?qū)＜医?jīng)驗(yàn)和適用性強(qiáng)等優(yōu)點(diǎn)。特別是對(duì)于電力通信設(shè)備的RUL 預(yù)測(cè)問(wèn)題來(lái)說(shuō)，由于監(jiān)測(cè)傳感器數(shù)據(jù)本身具有固有序列的特性，前后時(shí)間步之間存在著較強(qiáng)的時(shí)間依賴(lài)關(guān)系。而SVR、MLP 等淺層模型，要想表達(dá)出數(shù)據(jù)中蘊(yùn)含的規(guī)律，只能靠人工提取相應(yīng)的時(shí)間特征。兩者比較之后，可以得出這樣的結(jié)論：①CNNLSTM 網(wǎng)絡(luò)在時(shí)序特征提取能力方面具有無(wú)比的優(yōu)勢(shì)；②CNN-LSTM 網(wǎng)絡(luò)能將特征提取和RUL 預(yù)測(cè)兩個(gè)部分完美的整合在一起。因此，CNN-LSTM 網(wǎng)絡(luò)在電力通信設(shè)備剩余壽命預(yù)測(cè)問(wèn)題上具有很大的發(fā)展?jié)摿Α?/p>

4 結(jié)語(yǔ)

根據(jù)電力通信網(wǎng)設(shè)備剩余壽命預(yù)測(cè)問(wèn)題及設(shè)備故障特征，提出了一種改進(jìn)的LSTM 網(wǎng)絡(luò)混合剩余壽命預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，在大量的訓(xùn)練數(shù)據(jù)量情況下，CNN-LSTM 混合預(yù)測(cè)模型算法相較于MLP、SVR淺層機(jī)器學(xué)習(xí)算法，在一定程度上能夠提高預(yù)測(cè)精度，CNN-LSTM 精度略?xún)?yōu)于多層LSTM 混合模型。