吳海洋，陳 鵬，郭 波，蔣春霞，李霽軒，朱鵬宇

(國(guó)網(wǎng)江蘇省電力有限公司信息通信分公司，江蘇 南京 210024)

0 引 言

近年來(lái)，我國(guó)智能電網(wǎng)的覆蓋規(guī)模迅速擴(kuò)展，作為相應(yīng)配套承載的電力通信網(wǎng)絡(luò)也迅速發(fā)展，設(shè)備數(shù)量逐年增多?，F(xiàn)代電力通信網(wǎng)絡(luò)不僅承擔(dān)了電網(wǎng)管理功能，還需要對(duì)關(guān)鍵設(shè)備的運(yùn)行狀態(tài)進(jìn)行記錄和維護(hù)。因此，電力通信網(wǎng)絡(luò)設(shè)備的健康運(yùn)行本身的重要性也與日俱增。傳統(tǒng)的電力通信網(wǎng)絡(luò)設(shè)備維護(hù)仍然基于周期性巡檢或者故障告警等手段[1]，響應(yīng)慢且故障代價(jià)高。而隨時(shí)監(jiān)控設(shè)備運(yùn)行狀態(tài)，通過(guò)運(yùn)維記錄對(duì)可能出現(xiàn)的設(shè)備故障進(jìn)行預(yù)警正逐漸成為電力通信網(wǎng)運(yùn)維的重要手段[2-3]。

雖然在工業(yè)領(lǐng)域?qū)τ谠O(shè)備運(yùn)行狀態(tài)的在線預(yù)測(cè)問(wèn)題已經(jīng)有很多相關(guān)研究[4]，然而對(duì)于電力通信網(wǎng)絡(luò)設(shè)備的狀態(tài)預(yù)測(cè)仍然是一個(gè)挑戰(zhàn)性問(wèn)題。這主要是因?yàn)榇祟愒O(shè)備的相關(guān)數(shù)據(jù)來(lái)源復(fù)雜，不僅包括現(xiàn)場(chǎng)各類傳感器數(shù)據(jù)，還包含了各類網(wǎng)絡(luò)運(yùn)維記錄，且考慮到相關(guān)節(jié)點(diǎn)的數(shù)據(jù)對(duì)于目標(biāo)節(jié)點(diǎn)上設(shè)備狀態(tài)的預(yù)測(cè)同樣有輔助作用，最終所需要考慮的輸入數(shù)據(jù)維度往往很高；而相對(duì)地，數(shù)據(jù)數(shù)量則不是很多，且大部分?jǐn)?shù)據(jù)模式單一。

傳統(tǒng)的基于現(xiàn)場(chǎng)有限數(shù)據(jù)進(jìn)行狀態(tài)預(yù)測(cè)的一些手段[5]，往往依賴于手工的特征設(shè)計(jì)，需要有很具體的技術(shù)經(jīng)驗(yàn)背景，在不同的場(chǎng)景下用途有限。而另一個(gè)思路是在原始數(shù)據(jù)的基礎(chǔ)上首先使用一些數(shù)據(jù)降維手段進(jìn)行預(yù)處理，然后通過(guò)訓(xùn)練支持向量機(jī)[6-7]或者決策樹(shù)[8-9]等回歸預(yù)測(cè)模型實(shí)現(xiàn)狀態(tài)預(yù)警[10]。此類方法的局限性在于，一般的降維手段只能作為預(yù)處理獨(dú)立使用，不能和預(yù)測(cè)模型進(jìn)行端到端的聯(lián)合學(xué)習(xí)，對(duì)于有效信息的挖掘效率受到限制，最終導(dǎo)致性能有限。

針對(duì)這些問(wèn)題，本文提出基于注意力機(jī)制和長(zhǎng)短時(shí)記憶(Long Short-Term Memory, LSTM)模型構(gòu)建端到端的設(shè)備狀態(tài)預(yù)測(cè)框架，對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)上的設(shè)備運(yùn)行狀態(tài)進(jìn)行在線預(yù)測(cè)。作為深度學(xué)習(xí)領(lǐng)域[11]常見(jiàn)的特征提取和序列預(yù)測(cè)手段，注意力機(jī)制和LSTM模型在自然語(yǔ)言處理[12]、視頻內(nèi)容檢測(cè)[13]等場(chǎng)景中都有非常成功的應(yīng)用。本文主要解決將此類需要海量數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜模型應(yīng)用于有限數(shù)據(jù)場(chǎng)景時(shí)的一些具體問(wèn)題。通過(guò)數(shù)據(jù)生成以及分階段訓(xùn)練等手段成功地實(shí)現(xiàn)端到端的模型訓(xùn)練，提升最終的預(yù)測(cè)性能。

1 背景資料

1.1 注意力機(jī)制

注意力機(jī)制[14]可以充分發(fā)掘信號(hào)中的自相關(guān)性，突出信號(hào)中與最終預(yù)測(cè)任務(wù)相關(guān)的部分特征，并降低信號(hào)混淆程度。由于從現(xiàn)場(chǎng)多種數(shù)據(jù)來(lái)源采集的信號(hào)普遍存在信號(hào)源之間的相關(guān)性以及信號(hào)源內(nèi)部通道間的相關(guān)性，因此在傳統(tǒng)注意力機(jī)制的基礎(chǔ)上，本文進(jìn)一步引入通道注意力模塊[15]和傳統(tǒng)的注意力?？鞓?gòu)成的混合注意力模塊，如圖1所示。

圖1 混合注意力模塊

該模塊由通道注意力模塊和傳統(tǒng)注意力模塊串聯(lián)而成，兼具了相關(guān)性提升和信號(hào)降維的作用。給定輸入X∈RS×C，其中S為信號(hào)長(zhǎng)度，C為每組信號(hào)的通道數(shù)，σ為softmax函數(shù)產(chǎn)生的非線性關(guān)系。首先在前半部分通過(guò)一個(gè)通道注意力模塊，將特征與其轉(zhuǎn)置矩陣相乘得到不同通道的自相關(guān)陣，該矩陣通過(guò)一個(gè)softmax函數(shù)后即可作為通道注意力矩陣AC∈RC×C對(duì)原始信號(hào)進(jìn)行加權(quán)。通過(guò)該模塊后，原始特征通道間的相關(guān)性下降，而有用的信息被突出，進(jìn)一步輸入緊隨的降維注意力模塊。

對(duì)于降維注意力模塊而言，其輸入X′∈RS×C被3個(gè)映射矩陣Wk、Wq和Wv投影到一個(gè)低維空間RS×C′上，通過(guò)類似的方法產(chǎn)生自注意力矩陣AS∈RS×S，對(duì)輸入信號(hào)進(jìn)行加權(quán)。降維注意力機(jī)制可以簡(jiǎn)單表達(dá)如下：

(1)

最終得到降維后的輸出Y∈RS×C′。

在該模塊中，僅有3個(gè)需要學(xué)習(xí)的C×C′維參數(shù)矩陣：Wk、Wq和Wv。在第3章的實(shí)驗(yàn)環(huán)節(jié)中可以看到，僅采用少量的參數(shù)就可以將輸入特征的維度大幅降低，實(shí)現(xiàn)狀態(tài)預(yù)測(cè)。

1.2 LSTM模型

長(zhǎng)短時(shí)記憶LSTM模型[16-17]是一種常見(jiàn)的遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，多用于順序信號(hào)的狀態(tài)預(yù)測(cè)[13,18-20]。一個(gè)標(biāo)準(zhǔn)的LSTM單元由4個(gè)門(mén)函數(shù)和一個(gè)記憶細(xì)胞構(gòu)成，分別是輸入門(mén)i、輸入調(diào)制門(mén)g、遺忘門(mén)s、輸出門(mén)o和記憶單元c。給定t時(shí)刻的輸入xt∈RSC′，輸出為zt∈RN，傳遞的隱藏狀態(tài)為ht∈RN，其中N為隱藏單元數(shù)；實(shí)際運(yùn)行時(shí)，注意力單元的輸出Y被拉直以后作為L(zhǎng)STM的輸入使用。如果將內(nèi)部各門(mén)函數(shù)和記憶單元上的非線性激活函數(shù)統(tǒng)一用fλ(·),λ∈{i,g,s,o,c}表示，而輸入輸出分別用xλ和yλ表示，則LSTM的前向計(jì)算可簡(jiǎn)單表示為：

yλ=fλ(Wλxλ),λ∈{i,g,o,s}

(2)

yc=fc(ys⊙ct-1+yi⊙yg)

(3)

zt=ht=yo⊙yc

(4)

其中⊙表示向量點(diǎn)積。對(duì)于LSTM而言，需要學(xué)習(xí)的參數(shù)主要為4個(gè)門(mén)函數(shù)上的線性加權(quán)參數(shù)Wλ，實(shí)際使用中可以通過(guò)標(biāo)準(zhǔn)的時(shí)序反向傳播方法[21]對(duì)模塊進(jìn)行訓(xùn)練。

2 方法設(shè)計(jì)與模型訓(xùn)練

通過(guò)將上述混合注意力機(jī)制和LSTM進(jìn)行串聯(lián)，本文提出如圖2所示的電力通信設(shè)備狀態(tài)預(yù)測(cè)方法。其中從現(xiàn)場(chǎng)各類傳感器以及運(yùn)行記錄中所得到的原始數(shù)據(jù)經(jīng)過(guò)填充到固定長(zhǎng)度以后進(jìn)入預(yù)處理模塊，通過(guò)常見(jiàn)的歸一化以及中心化等處理形成系統(tǒng)輸入。通過(guò)圖1所示的混合注意力模塊后輸入LSTM單元實(shí)現(xiàn)時(shí)序預(yù)測(cè)。最終通過(guò)最后一個(gè)全連接(Fully Connected, FC)層輸出預(yù)測(cè)結(jié)果。

圖2 預(yù)測(cè)系統(tǒng)架構(gòu)

對(duì)于如圖2所示的預(yù)測(cè)模型，如果直接使用常見(jiàn)的反向傳播方法進(jìn)行訓(xùn)練，所面臨的問(wèn)題主要有2個(gè)：首先，可供訓(xùn)練的樣本維數(shù)很高，然而數(shù)量并不充分；其次，大部分訓(xùn)練樣本模式單一，實(shí)際運(yùn)行中通信設(shè)備異常狀態(tài)的出現(xiàn)并不常見(jiàn)。使用這樣的數(shù)據(jù)直接驅(qū)動(dòng)模型學(xué)習(xí)往往會(huì)導(dǎo)致過(guò)擬合，預(yù)測(cè)效果并不好。因此在實(shí)際進(jìn)行模型訓(xùn)練時(shí)，本文采用2階段的方式對(duì)模型進(jìn)行逐步學(xué)習(xí)。

在第1階段，首先通過(guò)可變分自編碼器(Variational Auto-Encoder, VAE)[22]方式對(duì)混合注意力模塊進(jìn)行預(yù)訓(xùn)練，同時(shí)得到一個(gè)生成模塊用于產(chǎn)生同分布的采樣樣本補(bǔ)充進(jìn)入訓(xùn)練樣本庫(kù)。VAE基于傳統(tǒng)的自編碼器提出，其區(qū)別在于在降維后的中間隱層對(duì)表示均值和方差的低維向量添加隨機(jī)噪聲，并保證生成模塊在隨機(jī)噪聲的影響下仍然能夠復(fù)原輸入樣本。本文使用一個(gè)如圖1所示的注意力模塊串聯(lián)一個(gè)三層神經(jīng)網(wǎng)絡(luò)構(gòu)成一個(gè)VAE，保證C維特征在被降維至C′維后再恢復(fù)為C維生成特征。再與訓(xùn)練時(shí)使用生成特征和原始輸入的最小均方誤差作為損失函數(shù)訓(xùn)練VAE。當(dāng)訓(xùn)練完成后，一方面可以得到一個(gè)預(yù)訓(xùn)練完成的注意力模型，另一方面通過(guò)對(duì)原始樣本增加小隨機(jī)噪聲在VAE中生成新樣本補(bǔ)充進(jìn)樣本庫(kù)進(jìn)行下一階段學(xué)習(xí)。在第2階段，對(duì)如圖2所示的完整預(yù)測(cè)模型進(jìn)行端到端訓(xùn)練。在訓(xùn)練時(shí)模型前段的注意力模塊使用第1階段結(jié)果進(jìn)行參數(shù)初始化，與后段LSTM模塊以及FC層進(jìn)行聯(lián)合訓(xùn)練。同時(shí)，將第1階段的生成樣本補(bǔ)充進(jìn)入樣本庫(kù)以后，通過(guò)優(yōu)化傳統(tǒng)的交叉熵?fù)p失[23-24]完成模型訓(xùn)練。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)來(lái)源及算法實(shí)現(xiàn)

實(shí)驗(yàn)部分的數(shù)據(jù)主要由每個(gè)電力通信網(wǎng)絡(luò)節(jié)點(diǎn)上的設(shè)備履歷信息、檢修記錄、缺陷記錄以及傳感器傳回的實(shí)時(shí)監(jiān)測(cè)信息構(gòu)成。同時(shí)作為通信網(wǎng)絡(luò)節(jié)點(diǎn)，其運(yùn)行特征諸如光功率、抖動(dòng)、飄移、誤碼率、誤碼秒以及信噪比等也是判斷其狀態(tài)的重要參數(shù)。

本文實(shí)驗(yàn)中從每個(gè)標(biāo)準(zhǔn)節(jié)點(diǎn)提取一組特征向量，將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上與該節(jié)點(diǎn)最接近的3個(gè)節(jié)點(diǎn)對(duì)應(yīng)的特征向量取出同樣用于當(dāng)前節(jié)點(diǎn)的狀態(tài)預(yù)測(cè)。所有數(shù)據(jù)經(jīng)過(guò)抽取、拉直并對(duì)空位進(jìn)行填充后每個(gè)節(jié)點(diǎn)上得到一組2048維的特征向量，將4組向量輸入圖2所示預(yù)測(cè)模型進(jìn)行狀態(tài)預(yù)測(cè)。

本文采用Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)上述注意力以及LSTM模塊。實(shí)驗(yàn)所用數(shù)據(jù)采集于2年內(nèi)的電力通信網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)，其中2/3作為模型的訓(xùn)練數(shù)據(jù)，其余1/3作為測(cè)試數(shù)據(jù)使用。每組實(shí)驗(yàn)中同樣配置的方法進(jìn)行5次實(shí)驗(yàn)，以檢查隨機(jī)初始化帶來(lái)的模型性能的細(xì)微變化。

3.2 注意力模塊參數(shù)比較

由于注意力模塊的主要作用是將每組2048維的高維特征映射到一個(gè)低維子空間，并突出和預(yù)測(cè)相關(guān)的有效特征，在預(yù)訓(xùn)練階段首先要對(duì)降維后子空間的維數(shù)做一些測(cè)試。過(guò)低的子空間維數(shù)不足以保持足夠的預(yù)測(cè)特征，而過(guò)高的子空間維數(shù)則會(huì)直接影響后續(xù)LSTM模塊的復(fù)雜度。因此實(shí)驗(yàn)部分首先基于VAE訓(xùn)練方法比較了采用不同子空間維數(shù)時(shí)在測(cè)試集上生成的樣本和原始樣本的均方誤差。實(shí)驗(yàn)采用32個(gè)樣本為批次處理大小，在訓(xùn)練集上訓(xùn)練20個(gè)周期，最終比較結(jié)果如表1所示。

表1 注意力模型子空間維數(shù)結(jié)果比較

從表1的比較中可以發(fā)現(xiàn)，子空間維數(shù)在8維以上時(shí)才有可能產(chǎn)生比較有意義的信號(hào)重建，也意味著比較有效的特征信息被完整地保留下來(lái)。而子空間維數(shù)增長(zhǎng)到32維以上時(shí)，平均均方誤差的下降則不明顯，而帶來(lái)的復(fù)雜度提升則比較嚴(yán)重。因此在端到端訓(xùn)練階段，主要考慮8、16和32維這3種維度和LSTM模塊配合使用時(shí)的最終性能。

3.3 聯(lián)合參數(shù)選擇

在端到端訓(xùn)練階段，上面篩選出的注意力模型參數(shù)和LSTM模塊參數(shù)進(jìn)行了聯(lián)合篩選以找出最優(yōu)的模型超參數(shù)。其中LSTM模塊主要需要篩選的參數(shù)有時(shí)間步和隱層單元數(shù)量2個(gè)設(shè)置。表2列出了不同參數(shù)對(duì)應(yīng)的最終預(yù)測(cè)精度，即正確預(yù)測(cè)數(shù)量占總測(cè)試樣本的比例，以及每種配置需要的訓(xùn)練時(shí)間。作為模型效率的參考，此處訓(xùn)練時(shí)間僅為第2階段端到端訓(xùn)練時(shí)間。其中每次實(shí)驗(yàn)同樣采用32個(gè)樣本為批次處理大小，在訓(xùn)練集上訓(xùn)練20個(gè)周期。

從表2的比較中可以看出，子空間維度達(dá)到16維以上，LSTM隱層單元數(shù)達(dá)到8以上，基本上可以得到性能較好的預(yù)測(cè)模型。相應(yīng)地，LSTM時(shí)間步的增加也對(duì)最終的預(yù)測(cè)性能有正向增益。其中子空間維數(shù)為16，時(shí)間步和隱層單元數(shù)分別為10和16時(shí)，可以得到一個(gè)預(yù)測(cè)性能比較理想的模型。繼續(xù)增加相關(guān)模塊的復(fù)雜度，所帶來(lái)的性能提升已不明顯，且會(huì)帶來(lái)細(xì)微的訓(xùn)練時(shí)間增加。

表2 模型超參數(shù)對(duì)最終性能和效率影響的結(jié)果比較

3.4 與相關(guān)方法的比較以及消融測(cè)試

為進(jìn)一步驗(yàn)證所提方法的有效性，基于篩選出的最優(yōu)參數(shù)，本文繼續(xù)將所提模型和一些相關(guān)方法進(jìn)行比較，并就不同的模塊組合進(jìn)行消融測(cè)試。參與比較的方法有：PCA+Logistic回歸(P+L)、PCA+LSTM(P+LSTM)、注意力+Logistic回歸(A+L)、卷積網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)+LSTM(C+LSTM)以及分別進(jìn)行1階段訓(xùn)練和2階段訓(xùn)練的注意力+LSTM(A+LSTM1和A+LSTM2)。本文基于一維卷積層、池化層以及1個(gè)全連接層構(gòu)建了1個(gè)9層CNN，并使用常見(jiàn)的批量標(biāo)準(zhǔn)化和非線性激活層。圖3和表3分別比較了不同方法的查準(zhǔn)率(Precision)、召回值(Recall)和訓(xùn)練時(shí)間。

圖3 不同方法的查準(zhǔn)率和召回值比較

從圖3中可以看出，LSTM模塊對(duì)于時(shí)序信號(hào)預(yù)測(cè)的作用比較明顯，直接使用Logistic回歸難以進(jìn)行有效預(yù)測(cè)，而LSTM也需通過(guò)降維手段配合才能有效工作。在該問(wèn)題中，將降維模塊與LSTM串聯(lián)直接進(jìn)行1階段端到端學(xué)習(xí)得到的模型性能有限，而基于VAE方法的2階段訓(xùn)練則顯著提高了最終性能。另一方面，直接使用CNN等流行的深度學(xué)習(xí)模型在此處的效果并不是十分理想。其原因可能是因?yàn)橥ǔ５木矸e核尺寸有限，對(duì)于局部特征可以進(jìn)行有效捕捉，對(duì)于比較稀疏的輸入信號(hào)而言則無(wú)法直接對(duì)整個(gè)特征進(jìn)行處理，而增大卷積核尺寸進(jìn)行結(jié)構(gòu)改進(jìn)又將使模型復(fù)雜度變得過(guò)高。

表3 不同方法的訓(xùn)練時(shí)長(zhǎng)比較

表3中比較了不同方法訓(xùn)練模型所需要的時(shí)長(zhǎng)。對(duì)于本文所提的注意力+LSTM模型，由于需要采用2階段訓(xùn)練方式進(jìn)行訓(xùn)練，導(dǎo)致訓(xùn)練的總時(shí)長(zhǎng)較長(zhǎng)，然而測(cè)試階段的模型前向效率是基本近似的。

4 結(jié)束語(yǔ)

本文提出了一種基于注意力機(jī)制和LSTM的預(yù)測(cè)模型，著重解決了電力通信設(shè)備狀態(tài)的預(yù)測(cè)問(wèn)題。模型使用端到端的方式進(jìn)行訓(xùn)練，將原始特征數(shù)據(jù)的降維、信息挖掘與最終預(yù)測(cè)整合成一步完成，對(duì)于類似場(chǎng)景中數(shù)據(jù)維度高、特征稀疏以及訓(xùn)練數(shù)據(jù)量不足的問(wèn)題有較好的效果。后續(xù)研究中還將進(jìn)一步優(yōu)化模型復(fù)雜度，以提升方法在線預(yù)測(cè)的時(shí)間效率。