湯 健，侯慧娟，陳洪崗，王劭菁，盛戈皞，江秀臣

（1. 上海交通大學(xué) 電氣工程系，上海 200240；2. 國(guó)網(wǎng)上海市電力公司電力科學(xué)研究院，上海 200437）

0 引言

變壓器的安全穩(wěn)定運(yùn)行關(guān)系著電網(wǎng)能否可靠供電［1］。油浸式電力變壓器在運(yùn)行過程中，會(huì)產(chǎn)生各種低分子烴類等氣體。當(dāng)變壓器出現(xiàn)異常狀態(tài)時(shí)，油中溶解氣體含量及其發(fā)展趨勢(shì)會(huì)發(fā)生相應(yīng)的變化［2］。因此，對(duì)變壓器油中溶解氣體濃度的歷史數(shù)據(jù)［3］進(jìn)行時(shí)間序列建模，可對(duì)其發(fā)展趨勢(shì)進(jìn)行合理的預(yù)測(cè)，進(jìn)而評(píng)估變壓器運(yùn)行狀態(tài)，對(duì)制定變壓器故障預(yù)防性措施具有重要參考意義［4］。

目前，油中溶解氣體濃度預(yù)測(cè)方法可歸納為統(tǒng)計(jì)預(yù)測(cè)方法［5］、組合預(yù)測(cè)方法［6］和人工智能預(yù)測(cè)方法等［7］。其中，統(tǒng)計(jì)預(yù)測(cè)方法包括時(shí)間序列模型和灰色模型，但該方法的擬合函數(shù)單一，精度受時(shí)間序列本身的分布規(guī)律影響較大；組合預(yù)測(cè)方法受權(quán)值選擇的影響較大，且無法挖掘時(shí)序信息間的依賴關(guān)系；人工智能預(yù)測(cè)方法的典型代表有支持向量機(jī)回歸SVR（Support Vector machine Regressive）模型和多層感知機(jī)MLP（MultiLayer Perceptron）模型。然而上述方法割裂了輸入時(shí)序信息間的依賴關(guān)系，因此被適應(yīng)性和穩(wěn)定性更好的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN［8］（Recurrent Neural Network）模型取代。其中長(zhǎng)短期記憶LSTM（Long Short-Term Memory）網(wǎng)絡(luò)［9］以及門控循環(huán)單元GRU［10］（Gate Recurrent Unit）由于引入了門控單元，可以更有效地處理時(shí)間序列中的長(zhǎng)期依賴問題。文獻(xiàn)［11］指出：GRU 相比LSTM 在小規(guī)模任務(wù)上的性能并無降低；同時(shí)由于門控單元數(shù)量的減少，運(yùn)算速度更快。文獻(xiàn)［12］提出了雙向RNN（BI-RNN）模型，分別從前向和后向同時(shí)處理時(shí)序數(shù)據(jù)。上述時(shí)序分析模型都只能對(duì)輸入、輸出定長(zhǎng)的序列進(jìn)行預(yù)測(cè)，文獻(xiàn)［10］和文獻(xiàn)［13］所提出的Seq2Seq（Sequence to Sequence）模型通過引入編碼器-解碼器結(jié)構(gòu)很好地解決了該問題，并提高了對(duì)于未來較長(zhǎng)時(shí)間段預(yù)測(cè)的精度?；赟eq2Seq 模型的注意力機(jī)制算法［15］可增強(qiáng)關(guān)鍵時(shí)間點(diǎn)在預(yù)測(cè)中的表達(dá)。文獻(xiàn)［16］提出的Scheduled Sampling 算法使訓(xùn)練階段解碼器的預(yù)測(cè)輸出有一定概率地取代真實(shí)標(biāo)簽作為下一時(shí)刻的RNN輸入，從而提升測(cè)試時(shí)的預(yù)測(cè)性能。

本文以雙向門控循環(huán)單元（BI-GRU）為基本單元構(gòu)建Seq2Seq 模型，通過雙向多層GRU 結(jié)構(gòu)以及Seq2Seq 模型特殊的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)時(shí)序數(shù)據(jù)間依賴關(guān)系的深度提??；引入注意力機(jī)制和Scheduled Sampling算法，一方面能夠自動(dòng)提取關(guān)鍵時(shí)間節(jié)點(diǎn)對(duì)當(dāng)前值進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)較長(zhǎng)時(shí)間的氣體濃度預(yù)測(cè)；另一方面使模型在訓(xùn)練和測(cè)試時(shí)的解碼器輸入數(shù)據(jù)分布趨于一致，從而提升模型實(shí)際預(yù)測(cè)時(shí)的準(zhǔn)確性和魯棒性。將本文方法應(yīng)用于某500 kV變電站主變壓器在線監(jiān)測(cè)油色譜數(shù)據(jù)的預(yù)測(cè)分析，將9 種特征參量，即氫氣濃度、甲烷濃度、乙烯濃度、乙烷濃度、一氧化碳濃度、二氧化碳濃度、頂層油溫、環(huán)境溫度、總烴濃度的監(jiān)測(cè)數(shù)據(jù)輸入模型進(jìn)行預(yù)測(cè)。結(jié)果表明：進(jìn)行正常狀況下的甲烷氣體濃度預(yù)測(cè)時(shí)，本文方法相比簡(jiǎn)單GRU網(wǎng)絡(luò)以及簡(jiǎn)單Seq2Seq模型具有更低的誤差水平，且預(yù)測(cè)趨勢(shì)更貼合真實(shí)的發(fā)展趨勢(shì)；進(jìn)行異常狀況下的氫氣濃度預(yù)測(cè)時(shí)，本文方法的預(yù)測(cè)精度顯著高于MLP 以及SVR 模型，且與LSTM 方法相比，本文方法能夠提前進(jìn)行準(zhǔn)確預(yù)測(cè)，平均相對(duì)誤差和最大相對(duì)誤差分別減少了0.73%和2.31%。

1 BI-GRU

式中：Wr和br分別為重置門的權(quán)重和偏置；Wz和bz分別為更新門的權(quán)重和偏置；Wd和bd分別為門控單元的權(quán)重和偏置；σ(·)、tanh(·)分別為sigmoid 函數(shù)和雙曲正切激活函數(shù)。

圖1 GRU結(jié)構(gòu)圖Fig.1 Structure diagram of GRU

BI-GRU 克服了單向GRU 僅能處理歷史狀態(tài)信息而無法結(jié)合未來信息的缺陷，通過對(duì)時(shí)間序列同時(shí)進(jìn)行正向和反向計(jì)算加強(qiáng)對(duì)原序信息的提取效果，提高模型輸出結(jié)果的準(zhǔn)確度。BI-GRU 由2 個(gè)GRU組合而成，它們的狀態(tài)共同決定了網(wǎng)絡(luò)輸出。

附錄A圖A1（a）為具有BI-GRU結(jié)構(gòu)的網(wǎng)絡(luò)示意圖。圖中，最下方、最上方的節(jié)點(diǎn)分別代表輸入、輸出；中間為具有BI-GRU結(jié)構(gòu)的3層隱藏層。圖A1（b）為某層具有BI-GRU 結(jié)構(gòu)的按時(shí)間步展開的網(wǎng)絡(luò)示意圖，從下到上依次為該層的輸入、前向GRU 隱藏層、后向GRU 隱藏層和該層的輸出。在反傳過程中共有W1—W6這6組權(quán)重矩陣需要不斷更新數(shù)值，其中W1、W3分別為輸入到前、后向GRU 隱藏層的權(quán)重矩陣；W2、W5分別為前、后向GRU隱藏層間的權(quán)重矩陣；W4、W6分別為前、后向GRU隱藏層到輸出層的權(quán)重矩陣。可以看出，每一時(shí)刻，當(dāng)前單元的輸出由前向GRU和后向GRU共同計(jì)算得到，如式（3）所示。

式中：h′t為t時(shí)刻后向GRU隱藏層的輸出；b、b′和po為偏置；ot為t時(shí)刻神經(jīng)元輸出；f(·)和g(·)為激活函數(shù)，本文分別選取雙曲正切函數(shù)和softmax 函數(shù)，softmax函數(shù)見式（4）。

式中：xd為N維向量x的第d個(gè)元素。

2 Seq2Seq模型

2.1 編碼器-解碼器結(jié)構(gòu)

Seq2Seq 模型通過2 組GRU（本文中所有RNN單元均采用GRU 結(jié)構(gòu)）形成編碼器-解碼器結(jié)構(gòu)。如附錄A 圖A2 所示。圖中，x1—x5組成輸入序列；y1—y3組成輸出序列；左、右組GRU 分別作為編碼器、解碼器，解碼器在初始時(shí)刻接收輸入編碼＜start＞作為開始標(biāo)記，在結(jié)束時(shí)刻則輸出編碼＜stop＞作為結(jié)束標(biāo)記。左組GRU 編碼器對(duì)輸入序列進(jìn)行編碼，將最后時(shí)刻（或全部時(shí)刻）的輸出映射為表征輸入序列信息的特征向量c傳遞給右組GRU 解碼器，如式（5）所示。

式中：U為權(quán)重矩陣；hT為最后時(shí)刻T的編碼器輸出；d(·)為激活函數(shù)，本文選取tanh函數(shù)。

將編碼器最后時(shí)刻的隱藏層狀態(tài)作為解碼器初始隱藏層狀態(tài)，此后解碼器GRU 每一時(shí)刻的隱藏層狀態(tài)都傳入下一時(shí)刻。在每一時(shí)刻，解碼器GRU接收3 組輸入，即特征向量c、上一時(shí)刻解碼GRU 輸出yt-1、上一時(shí)刻解碼GRU 隱層狀態(tài)ht-1，如式（6）所示。

式中：G和V為連接權(quán)重矩陣；bh和p為偏置向量；fs2s（·）和gs2s（·）為激活函數(shù)。

基于上述原理，Seq2Seq模型能夠更有效地發(fā)掘和利用序列之間的時(shí)序關(guān)系，使輸出結(jié)果具有更強(qiáng)的魯棒性。

2.2 注意力機(jī)制

在編碼過程中，時(shí)間序列的每個(gè)輸入時(shí)刻點(diǎn)對(duì)當(dāng)前時(shí)刻預(yù)測(cè)值的貢獻(xiàn)度并不均等，因此引入注意力機(jī)制分配注意力概率分布，提取對(duì)當(dāng)前時(shí)刻預(yù)測(cè)更為重要的輸入信息，提高預(yù)測(cè)的準(zhǔn)確度和長(zhǎng)期預(yù)測(cè)性能的穩(wěn)定性。注意力機(jī)制原理具體分解步驟如下。

1）編碼器編譯輸入信息得到輸出時(shí)間序列{hj}，其中Tx為編碼器序列長(zhǎng)度。

2）解碼器在i時(shí)刻，根據(jù)來自上一時(shí)刻的最頂層隱藏層狀態(tài)輸出si-1，計(jì)算得到編碼器j時(shí)刻的輸出在i時(shí)刻的對(duì)應(yīng)權(quán)重eij，如式（7）所示。

式中：hj為編碼器j時(shí)刻的輸出狀態(tài)；VTa、Wa與Ua為計(jì)算注意力權(quán)重時(shí)全連接層對(duì)應(yīng)的權(quán)重，將在反傳過程中更新數(shù)值。

3）根據(jù)式（8）對(duì)各時(shí)刻權(quán)重eij進(jìn)行歸一化處理，得到編碼器各時(shí)刻輸出對(duì)解碼器在i時(shí)刻的預(yù)測(cè)值的重要程度aij。

4）綜合編碼器所有狀態(tài)信息，與步驟3）的計(jì)算結(jié)果進(jìn)行加權(quán)求和，得到解碼器在i時(shí)刻的特征向量ci，如式（9）所示。

通過注意力機(jī)制得到的特征向量既包含編碼器所有輸出狀態(tài)信息，又蘊(yùn)含解碼器當(dāng)前時(shí)刻的特征時(shí)序注意力關(guān)聯(lián)信息，且每一時(shí)刻互相獨(dú)立。

2.3 Scheduled Sampling算法

在Seq2Seq 模型測(cè)試階段，每一時(shí)刻解碼器GRU 的輸出都會(huì)作為下一時(shí)刻GRU 單元輸入的一部分。而在訓(xùn)練階段，通常采用Teacher Forcing 算法，即將目標(biāo)序列中的真實(shí)標(biāo)簽作為對(duì)應(yīng)編碼器每一步的輸入，以加速模型收斂。此種情況下，模型在訓(xùn)練和測(cè)試階段解碼器輸入數(shù)據(jù)的概率分布并不一致，很大程度上影響了模型預(yù)測(cè)性能。

Scheduled Sampling 算法在訓(xùn)練早期主要使用真實(shí)標(biāo)簽作為編碼器輸入，以引導(dǎo)模型快速過渡到合理狀態(tài)；在訓(xùn)練后期，則更多地使用編碼器的前一步輸出作為下一步的輸入，以解決數(shù)據(jù)分布不一致的問題，對(duì)模型進(jìn)行微調(diào)直至收斂。對(duì)于測(cè)試階段的Seq2Seq 模型而言，一旦輸出序列出現(xiàn)錯(cuò)誤元素，則誤差會(huì)傳遞到后續(xù)元素的輸入步驟，導(dǎo)致后續(xù)元素的生成受到錯(cuò)誤影響，使誤差隨序列生成而不斷累積。而Scheduled Sampling 算法由于在訓(xùn)練階段就有一定概率會(huì)將生成數(shù)據(jù)作為輸入，因此其訓(xùn)練目標(biāo)仍然為最大化生成真實(shí)目標(biāo)序列的概率，從而使模型在實(shí)際測(cè)試時(shí)具有較高的容錯(cuò)性能。

以h表示訓(xùn)練階段的迭代次數(shù)，εh表示選擇真實(shí)標(biāo)簽值作為編碼器輸入的概率，則常用的3 種Scheduled Sampling算法定義方式如式（10）所示。

式中：ε0為限制ε的最小值；k1和C為確定的正數(shù)；k2、k3用于控制衰減幅度，k2∈（0，1］，k3＞1。本文選取線性衰減Scheduled Sampling算法。

3 變壓器油中溶解氣體預(yù)測(cè)模型

3.1 數(shù)據(jù)預(yù)處理

本文對(duì)算例數(shù)據(jù)的預(yù)處理操作分為2 步：①對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作；②以滑動(dòng)窗口的形式構(gòu)建數(shù)據(jù)集樣本。

3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)化

對(duì)9 種監(jiān)測(cè)特征參量按式（11）進(jìn)行歸一化處理，將監(jiān)測(cè)數(shù)據(jù)映射到［0，1］范圍內(nèi)，從而提升模型的收斂速度和精度。

3.1.2 基于滑動(dòng)窗口的數(shù)據(jù)集樣本構(gòu)建

以正常狀態(tài)為例，全部訓(xùn)練樣本共770 例（見第4節(jié)），而Seq2Seq網(wǎng)絡(luò)編碼器時(shí)間步長(zhǎng)為60，解碼器時(shí)間步長(zhǎng)為30，若順次選取，則可用的訓(xùn)練樣本容量?jī)H為8。由于Seq2Seq 模型需要大量訓(xùn)練樣本優(yōu)化網(wǎng)絡(luò)模型，本文提出一種基于滑動(dòng)窗口構(gòu)造樣本的方法，在長(zhǎng)度為Tx的時(shí)間序列上，以L（L=Lx+Ly，其中Lx、Ly分別為編碼器、解碼器的時(shí)間步長(zhǎng)）作為窗口寬度，以1作為滑動(dòng)步長(zhǎng)，共可構(gòu)建Tx-L+1組數(shù)據(jù)樣本，極大豐富了樣本容量，且保持了數(shù)據(jù)集在時(shí)間刻度上的連續(xù)性，可以充分利用數(shù)據(jù)集信息，更好地刻畫時(shí)間序列的時(shí)間依賴關(guān)系，提高模型魯棒性。

利用上述方法將時(shí)間序列X={x1，x2，…，xTx}轉(zhuǎn)化為（Tx-L+1）×L維的矩陣，如式（12）所示。

由于X的每個(gè)元素都是9維向量，因此式（12）實(shí)際上是一個(gè)（Tx-L+1）×L×9 維的張量。其中，前Lx列作為模型輸入數(shù)據(jù)；后Ly列中預(yù)測(cè)特征參量序號(hào)所對(duì)應(yīng)的（Tx-L+1）×L維矩陣為輸入數(shù)據(jù)對(duì)應(yīng)的真實(shí)標(biāo)簽。

3.2 油中溶解氣體預(yù)測(cè)模型

本文建立了以GRU 為基本單元的Seq2Seq 網(wǎng)絡(luò)模型，如附錄A 圖A3 所示。圖中，編碼器采用雙層BI-GRU 單元對(duì)原始輸入時(shí)序數(shù)據(jù)進(jìn)行編碼；由于預(yù)測(cè)結(jié)果具有順次生成的性質(zhì)，因此解碼器采用單向單層GRU 單元輸出預(yù)測(cè)氣體濃度；gt-2、gt-1分別為t-2、t-1時(shí)刻的解碼器輸出，yt-2、yt-1分別為t-2、t-1時(shí)刻的真實(shí)值標(biāo)簽，均有一定概率會(huì)作為t-1、t時(shí)刻的解碼器的實(shí)際輸入。

每個(gè)隱藏層GRU 單元神經(jīng)元個(gè)數(shù)設(shè)置為30，損失函數(shù)采用式（13）所示的平均絕對(duì)誤差L1，迭代次數(shù)為1 000 次。為防止梯度爆炸，采用梯度裁剪策略，閾值設(shè)置為5。為保證模型收斂速率和精度，初始學(xué)習(xí)率設(shè)置為0.001，此后每經(jīng)過50 次迭代學(xué)習(xí)率衰減為之前的80%。

本文模型采用注意力機(jī)制自動(dòng)提取輸入時(shí)間序列的關(guān)鍵時(shí)刻點(diǎn)并分配相應(yīng)權(quán)重，計(jì)算當(dāng)前時(shí)刻對(duì)應(yīng)編碼器輸出的特征向量，并在訓(xùn)練階段采用線性衰減Scheduled Sampling 算法（ε0取0.1，k1和C分別取1和0.0015），以提高模型預(yù)測(cè)的準(zhǔn)確率和穩(wěn)定性。

4 算例分析

為驗(yàn)證本文模型在預(yù)測(cè)變壓器油中溶解氣體濃度時(shí)的有效性，本文以某500 kV 變電站主變壓器在線監(jiān)測(cè)的油色譜數(shù)據(jù)為例，分別選取變壓器不同運(yùn)行狀態(tài)下對(duì)不同參量［17］的預(yù)測(cè)結(jié)果進(jìn)行算例分析。油色譜數(shù)據(jù)的監(jiān)測(cè)周期為1 d，共有氫氣濃度、甲烷濃度、乙烯濃度、乙烷濃度、一氧化碳濃度、二氧化碳濃度、頂層油溫、環(huán)境溫度、總烴濃度9 種特征參量，包含2014 年9 月14 日至2017 年3 月4 日共800 個(gè)時(shí)序樣本點(diǎn)的正常運(yùn)行狀態(tài)數(shù)據(jù)，以及2017 年6 月14日至2018 年10 月27 日共500 個(gè)時(shí)序樣本點(diǎn)的異常運(yùn)行狀態(tài)數(shù)據(jù)，對(duì)2 種數(shù)據(jù)分別進(jìn)行時(shí)長(zhǎng)為30 d 和20 d的預(yù)測(cè)。

在評(píng)估模型性能方面，采用平均相對(duì)誤差δmean和最大相對(duì)誤差δmax作為評(píng)判指標(biāo)，分別如式（14）、（15）所示。

式中：Ty為每例預(yù)測(cè)樣本標(biāo)簽總數(shù)。

δmean可以反映預(yù)測(cè)結(jié)果偏離真實(shí)值的整體情況，δmax可以反映預(yù)測(cè)結(jié)果的穩(wěn)定性能，δmean和δmax越小，說明預(yù)測(cè)結(jié)果越接近真實(shí)值，模型預(yù)測(cè)性能越精確和穩(wěn)定。

4.1 算例1：正常狀態(tài)參量預(yù)測(cè)結(jié)果分析

正常狀態(tài)下變壓器部分狀態(tài)參量監(jiān)測(cè)數(shù)據(jù)如圖2 所示。由圖可見：甲烷濃度穩(wěn)定增長(zhǎng)，年增長(zhǎng)速率約為1.6 μL／L；氫氣和總烴濃度則呈現(xiàn)周期性增長(zhǎng)。

圖2 正常狀態(tài)下變壓器部分狀態(tài)參量監(jiān)測(cè)數(shù)據(jù)Fig.2 Partial state parameter monitoring data of transformer under normal condition

對(duì)于正常狀態(tài)下的變壓器數(shù)據(jù)，選取甲烷作為特征氣體，預(yù)測(cè)步驟如下：

1）對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作；

2）基于9 種特征參量前770 d 的監(jiān)測(cè)數(shù)據(jù)，通過滑動(dòng)窗口方法構(gòu)造訓(xùn)練集數(shù)據(jù)，編碼器時(shí)間步長(zhǎng)取為60，則輸入數(shù)據(jù)維度為711×60×9，解碼器時(shí)間步長(zhǎng)取為30，則輸出數(shù)據(jù)維度為711×30×1，將后30 d的監(jiān)測(cè)數(shù)據(jù)作為測(cè)試集；

3）在訓(xùn)練集上訓(xùn)練模型用前60 d 的9 種參量全部的歷史數(shù)據(jù)預(yù)測(cè)后30 d的甲烷濃度；

4）預(yù)測(cè)后30 d 的甲烷濃度，并與測(cè)試集中的真實(shí)甲烷濃度值比對(duì)以評(píng)估模型性能。

對(duì)氣體進(jìn)行為期1 個(gè)月的濃度預(yù)測(cè)，并評(píng)估不同預(yù)測(cè)時(shí)長(zhǎng)下的效果，為后續(xù)現(xiàn)場(chǎng)監(jiān)測(cè)數(shù)據(jù)提供參考。

本文方法在變壓器正常狀態(tài)下對(duì)甲烷氣體濃度的預(yù)測(cè)結(jié)果在訓(xùn)練集和測(cè)試集上的L1變化如圖3 所示。由圖可見，在訓(xùn)練初始階段，L1快速下降，200次迭代之后下降逐漸趨緩，至1000次迭代完畢可認(rèn)為模型達(dá)到收斂狀態(tài)。

圖3 本文方法的預(yù)測(cè)結(jié)果在訓(xùn)練集和測(cè)試集上的L1曲線Fig.3 L1 curve of prediction results by proposed method on training set and test set

在算例1中，將本文方法與以下3種方法進(jìn)行對(duì)比：①方法A，Scheduled Sampling 算法+單向GRU；②方法B，采用BI-GRU，不采用Scheduled Sampling算法；③方法C，采用單向GRU，不采用Scheduled Sampling算法。

算例1 中，本文模型在測(cè)試集上對(duì)甲烷濃度的預(yù)測(cè)結(jié)果如圖4所示，其與方法A—C的預(yù)測(cè)結(jié)果的對(duì)比如附錄A圖A4（a）所示。

圖4 本文方法在測(cè)試集上的預(yù)測(cè)結(jié)果Fig.4 Prediction result of proposed method on test set

為驗(yàn)證本文方法相比簡(jiǎn)單GRU 模型在多步預(yù)測(cè)時(shí)的性能提升，設(shè)置預(yù)測(cè)時(shí)間為30 d，在測(cè)試集上對(duì)比驗(yàn)證本文方法與以下2種基于簡(jiǎn)單GRU模型的方法：①簡(jiǎn)單GRU 模型一般用于單步預(yù)測(cè)，本算例將每次單步預(yù)測(cè)結(jié)果融入歷史數(shù)據(jù)，構(gòu)造新的時(shí)間輸入序列，以滾動(dòng)單步預(yù)測(cè)的形式實(shí)現(xiàn)多步預(yù)測(cè)，記為方法D；②通過修改網(wǎng)絡(luò)結(jié)構(gòu)，在原輸出層后連接神經(jīng)元個(gè)數(shù)等于預(yù)測(cè)時(shí)間長(zhǎng)度（即30）的全連接層，這也是常用的GRU 模型進(jìn)行多步預(yù)測(cè)的方法，記為方法E。本文方法與方法D、E 的比較結(jié)果如附錄A圖A4（b）所示。

預(yù)測(cè)天數(shù)為7、14、20、30 d 時(shí)，本文方法和5 種對(duì)比方法的平均相對(duì)誤差、最大相對(duì)誤差分別如表1、2所示。

表1 算例1中6種方法的預(yù)測(cè)結(jié)果平均相對(duì)誤差Table 1 Mean relative percentage error of prediction results of six methods in Case 1

表2 算例1中6種方法的預(yù)測(cè)結(jié)果最大相對(duì)誤差Table 2 Maximal relative percentage error of prediction results of six methods in Case 1

由圖A4 及表1、2 可見：本文方法在前15 d 的預(yù)測(cè)結(jié)果與真實(shí)值基本一致，后15 d 兩者在趨勢(shì)上仍保持一致；本文方法的誤差也保持在較低水平，綜合來看其在每一時(shí)間段上的預(yù)測(cè)結(jié)果都具有最低的平均相對(duì)誤差和最大相對(duì)誤差，因此可認(rèn)為與其他方法相比，本文方法具有更高的預(yù)測(cè)精度及更好的魯棒性。

對(duì)比分析本文方法與方法A 以及方法B 與方法C 后可知，由于神經(jīng)元結(jié)構(gòu)由單向變?yōu)殡p向，未來信息的加入實(shí)現(xiàn)了對(duì)數(shù)據(jù)間依賴信息的充分挖掘，因此采用BI-GRU 的網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果誤差遠(yuǎn)低于同條件下采用單向GRU 的網(wǎng)絡(luò)。由圖A4（a）可見：方法A 的預(yù)測(cè)結(jié)果在第7 天之后就出現(xiàn)了嚴(yán)重偏離實(shí)際值的情況；方法C 的預(yù)測(cè)結(jié)果則是一直處于較小幅度的波動(dòng)上升狀態(tài)，無法準(zhǔn)確體現(xiàn)真實(shí)的甲烷氣體濃度的變化趨勢(shì)和幅度。結(jié)合表1、2 可知：在第14天，方法A 的平均相對(duì)誤差達(dá)到了0.60‰，而本文方法的平均相對(duì)誤差僅有0.23‰；在第30 天，方法A的最大相對(duì)誤差為2.68‰，而本文方法的最大相對(duì)誤差僅為0.90‰。結(jié)合表1、2 對(duì)照分析本文方法與方法B 以及方法A 與方法C 可知，采用Scheduled Sampling 算法后，本文方法的平均相對(duì)誤差、最大相對(duì)誤差均得到了一定程度的降低，預(yù)測(cè)性能更好。

在與簡(jiǎn)單GRU模型的預(yù)測(cè)性能比較中，由圖A4（b）可看出，方法D、E 在預(yù)測(cè)初期都有明顯的滯后性，結(jié)合表1、2 可知，方法D、E 的預(yù)測(cè)誤差隨著預(yù)測(cè)時(shí)間的增長(zhǎng)而逐漸擴(kuò)大發(fā)散。

綜合來看，本文方法的平均相對(duì)誤差和最大相對(duì)誤差相比方法C 分別減少了0.39‰和1.29‰，相比方法E 分別由0.86‰和2.91‰減少到0.31‰和0.90‰。本文模型具有更復(fù)雜的神經(jīng)元結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)，并加入了注意力機(jī)制和Scheduled Sampling算法提升模型性能，所以可以充分發(fā)掘時(shí)序信息的依賴關(guān)系，增強(qiáng)關(guān)鍵時(shí)刻點(diǎn)的信息表達(dá)，且可以預(yù)測(cè)氣體濃度發(fā)展趨勢(shì)，具有更好的預(yù)測(cè)效果和穩(wěn)定性能。

變壓器正常狀態(tài)下，本文方法和基于GRU 模型的方法（簡(jiǎn)稱GRU 方法）在測(cè)試集上對(duì)氫氣濃度的預(yù)測(cè)結(jié)果、誤差分別如附錄A圖A5、表3所示?？梢钥闯?，本文方法的預(yù)測(cè)結(jié)果相比GRU 模型的預(yù)測(cè)結(jié)果在趨勢(shì)上與真實(shí)值更吻合，平均相對(duì)誤差和最大相對(duì)誤差分別降低了0.64%和1.6%。

表3 正常狀態(tài)下的氫氣濃度預(yù)測(cè)結(jié)果誤差Table 3 Error of H2 concentration prediction result under normal condition

4.2 算例2：異常狀態(tài)參量預(yù)測(cè)結(jié)果分析

異常狀態(tài)下變壓器部分狀態(tài)參量監(jiān)測(cè)數(shù)據(jù)如圖5 所示。由圖可見：在第1—400 天期間，各參量數(shù)值穩(wěn)定，無明顯異常狀態(tài)；然而從第400 天開始，各參量數(shù)值均出現(xiàn)異常的快速增長(zhǎng)，隨后由于近3 個(gè)月的頂層油溫呈現(xiàn)異常狀態(tài)，部分油中溶解氣體的濃度快速上升，故變電站對(duì)該變壓器進(jìn)行停運(yùn)檢視。該變壓器頂層油溫上升且甲烷、氫氣濃度快速增長(zhǎng)，而其他氣體濃度無顯著增長(zhǎng)，因此判定該變壓器存在低溫過熱潛伏性缺陷。

圖5 異常狀態(tài)下變壓器部分狀態(tài)參量監(jiān)測(cè)數(shù)據(jù)Fig.5 Partial state parameter monitoring data of transformer under abnormal condition

對(duì)于異常狀態(tài)變壓器數(shù)據(jù)，預(yù)測(cè)步驟同算例1。以前480 d的監(jiān)測(cè)數(shù)據(jù)作為訓(xùn)練集樣本，后20 d的監(jiān)測(cè)數(shù)據(jù)作為測(cè)試集，選取氫氣作為特征氣體。由于異常數(shù)據(jù)樣本量較少，因此取編碼器時(shí)間步長(zhǎng)為50，訓(xùn)練時(shí)輸入數(shù)據(jù)維度為431×50×9，解碼器時(shí)間步長(zhǎng)為20，輸出訓(xùn)練數(shù)據(jù)維度為431×20×1，即訓(xùn)練模型用前50 d 的全部9 種參量歷史數(shù)據(jù)預(yù)測(cè)后20 d的氫氣氣體濃度，并在不同預(yù)測(cè)時(shí)間下評(píng)估模型預(yù)測(cè)結(jié)果，以預(yù)測(cè)變壓器缺陷的發(fā)展趨勢(shì)，提前發(fā)現(xiàn)設(shè)備的潛伏性隱患，通過后續(xù)故障診斷工作預(yù)知可能發(fā)生的故障類型，為檢修做好預(yù)警和準(zhǔn)備。

將本文方法與LSTM 網(wǎng)絡(luò)方法、基于MLP 模型的方法（簡(jiǎn)稱MLP 方法）、基于SVR 模型的方法（簡(jiǎn)稱SVR 方法）進(jìn)行比較。其中，LSTM 網(wǎng)絡(luò)方法采用［30，30］的雙隱藏層結(jié)構(gòu)和滾動(dòng)多步預(yù)測(cè)的方法，學(xué)習(xí)率為0.001，訓(xùn)練周期為100 次；MLP 方法采用［20，30，20］的三隱藏層結(jié)構(gòu)，迭代次數(shù)為1000；SVR方法使用徑向基核函數(shù)（RBF），懲罰因子設(shè)置為1 000。4 種方法在測(cè)試集上的氫氣濃度預(yù)測(cè)結(jié)果如附錄A圖A6所示，預(yù)測(cè)結(jié)果誤差如表4、5所示。

由圖A6 和表4、5 可見：MLP 和SVR 方法由于單獨(dú)學(xué)習(xí)輸入時(shí)序點(diǎn)，沒有考慮歷史數(shù)據(jù)之間的關(guān)聯(lián)性，導(dǎo)致預(yù)測(cè)結(jié)果偏離實(shí)際值較多；MLP方法的預(yù)測(cè)結(jié)果與真實(shí)值的吻合度較差，SVR 方法的預(yù)測(cè)結(jié)果在5 d 后趨于定值，明顯不理想，這2 種方法的誤差水平也始終高于本文方法和LSTM網(wǎng)絡(luò)方法。LSTM網(wǎng)絡(luò)方法由于引入了時(shí)間記憶單元，其在短期（7 d）預(yù)測(cè)過程中，平均相對(duì)誤差不超過1%，最大相對(duì)誤差也僅有1.63%。而隨著預(yù)測(cè)時(shí)間跨度的增加，預(yù)測(cè)誤差累積增加，由圖A6 可見其在7 d 之后的預(yù)測(cè)結(jié)果就已出現(xiàn)了較大偏差，第20 天的誤差水平已與MLP 和SVR 方法相當(dāng)。本文方法的平均相對(duì)誤差和最大相對(duì)誤差與LSTM網(wǎng)絡(luò)方法相比分別由1.65%和4.46%減少至0.82%和2.15%。

表4 算例2中不同方法的預(yù)測(cè)結(jié)果的平均相對(duì)誤差Table 4 Mean relative percentage error of prediction results of different methods in Case 2

表5 算例2中不同方法的預(yù)測(cè)結(jié)果的最大相對(duì)誤差Table 5 Maximal relative percentage error of prediction results of different methods in Case 2

本文方法和GRU方法在測(cè)試集上對(duì)其他特征氣體（甲烷、乙烷、乙烯、一氧化碳、二氧化碳）濃度的預(yù)測(cè)結(jié)果誤差如表6所示。由表可見，本文方法對(duì)各類氣體濃度預(yù)測(cè)結(jié)果的平均相對(duì)誤差均在1.5%以內(nèi)，最大相對(duì)誤差均在2.5%以內(nèi)，相比GRU方法具有更優(yōu)異的預(yù)測(cè)結(jié)果。其中由于甲烷濃度在異常狀況下幾乎呈直線增長(zhǎng)（見圖5（b）），因此預(yù)測(cè)結(jié)果較容易判斷，誤差值也較低。綜上所述，本文方法在對(duì)特征氣體濃度預(yù)測(cè)上具有一定的準(zhǔn)確性和合理性。

表6 各特征氣體濃度的預(yù)測(cè)誤差對(duì)比Table 6 Comparison of concentration prediction error for each characteristic gas

本文方法由于Seq2Seq 模型和注意力機(jī)制、Scheduled Sampling 算法的引入，能夠深入理解時(shí)序數(shù)據(jù)間的依賴關(guān)系，較為準(zhǔn)確地預(yù)測(cè)氣體濃度未來發(fā)展?fàn)顩r，可在實(shí)際變壓器狀態(tài)監(jiān)測(cè)中為檢修提供時(shí)間裕量和數(shù)據(jù)支持。

5 結(jié)論

本文提出一種基于BI-GRU 的Seq2Seq 模型用于變壓器油中溶解氣體濃度的預(yù)測(cè)，并引入注意力機(jī)制和Scheduled Sampling算法提升模型預(yù)測(cè)性能。在變壓器正常和異常狀態(tài)下對(duì)各特征氣體的濃度進(jìn)行預(yù)測(cè)，得到以下結(jié)論。

1）由于Seq2Seq 模型和注意力機(jī)制的引入，本文方法能夠進(jìn)行任意輸入、輸出長(zhǎng)度的時(shí)序預(yù)測(cè)，并深入挖掘時(shí)序數(shù)據(jù)間聯(lián)系，提取關(guān)鍵時(shí)間點(diǎn)進(jìn)行較長(zhǎng)時(shí)間的預(yù)測(cè)。

2）BI-GRU 單元的引入可以提升網(wǎng)絡(luò)挖掘時(shí)序信息依賴關(guān)系的能力，Scheduled Sampling 算法使模型在實(shí)際測(cè)試時(shí)具有較高的容錯(cuò)性能，提升模型預(yù)測(cè)精度。

3）變壓器正常運(yùn)行狀態(tài)下的氣體濃度預(yù)測(cè)算例結(jié)果表明，本文方法能夠準(zhǔn)確預(yù)測(cè)氣體濃度的發(fā)展趨勢(shì)，相比簡(jiǎn)單GRU 模型及簡(jiǎn)單Seq2Seq 網(wǎng)絡(luò)誤差更低；變壓器異常狀態(tài)下的氣體濃度預(yù)測(cè)算例結(jié)果表明，本文方法相比傳統(tǒng)MLP 及SVR 方法能夠充分利用時(shí)序關(guān)系，從而提高預(yù)測(cè)性能；相比LSTM 網(wǎng)絡(luò)方法，本文方法能夠提前進(jìn)行準(zhǔn)確預(yù)測(cè)，最大相對(duì)誤差減少了2.31%。

附錄見本刊網(wǎng)絡(luò)版（http：//www.epae.cn）。