樊清川，于 飛，宣 敏

(海軍工程大學(xué)電氣工程學(xué)院，湖北 武漢 430033)

1 引言

目前，變壓器油色譜檢測(cè)技術(shù)已普遍應(yīng)用于變壓器故障檢測(cè)與診斷中。隨著人工智能技術(shù)的不斷發(fā)展，大量的智能診斷方法也被用在了變壓器故障診斷領(lǐng)域。文獻(xiàn)[1]提出一種化學(xué)反應(yīng)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法，視神經(jīng)網(wǎng)絡(luò)訓(xùn)練有效的跳出了局部最優(yōu)解，文獻(xiàn)[2]提出了一種使用粒子群優(yōu)化極限學(xué)習(xí)機(jī)的故障診斷方法，實(shí)現(xiàn)了優(yōu)化特征子集選擇和隱藏節(jié)點(diǎn)數(shù)量從而使極限學(xué)習(xí)機(jī)的運(yùn)行速度更快，文獻(xiàn)[3]提出了一種基于支持向量機(jī)的故障診斷模型，在處理小樣本問(wèn)題時(shí)該模型具有較大的優(yōu)勢(shì)，但核函數(shù)和懲罰因子的選擇決定著診斷精度的高低。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，在處理大量數(shù)據(jù)時(shí)深度學(xué)習(xí)相較于傳統(tǒng)機(jī)器學(xué)習(xí)表現(xiàn)出了更加優(yōu)良的計(jì)算能力，同時(shí)考慮到反映變壓器故障的參數(shù)之間的復(fù)雜關(guān)聯(lián)信息，長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM(Long Short-term memory network)在結(jié)構(gòu)中引入了“記憶”模塊，在進(jìn)行分類計(jì)算的時(shí)候表現(xiàn)出了顯著的優(yōu)勢(shì)，但該網(wǎng)絡(luò)還存在2個(gè)不足之處：一是模型的初始學(xué)習(xí)率難以確定，二是網(wǎng)絡(luò)影藏層神經(jīng)元個(gè)數(shù)難以確定，其中學(xué)習(xí)率決定模型的訓(xùn)練成果，隱藏層神經(jīng)元個(gè)數(shù)決定模型的擬合程度；通常情況這些參數(shù)由經(jīng)驗(yàn)獲得，導(dǎo)致模型精度降低。

為解決上述問(wèn)題，本文提出了一種基于PSO優(yōu)化Bi-LSTM的變壓器故障診斷方法，該方法首先對(duì)Bi-LSTM模型中的兩個(gè)關(guān)鍵參數(shù)(初始學(xué)習(xí)率與網(wǎng)絡(luò)隱藏層個(gè)數(shù))進(jìn)行了迭代尋優(yōu)，接著利用該模型對(duì)變壓器故障進(jìn)行診斷，并與不同的診斷模型進(jìn)行對(duì)比。結(jié)果表明，本文提出的模型具有更加優(yōu)良的診斷效果。

2 變壓器油特征參量的構(gòu)建

在以往的變壓器故障診斷中DGA技術(shù)通過(guò)分析變壓器油中不同氣體的比例判斷變壓器的故障，在業(yè)界有著較高的認(rèn)可度，但存在不同比值對(duì)應(yīng)同一故障導(dǎo)致故障診斷精度較低的情況，因此該技術(shù)難以完全表現(xiàn)變壓器內(nèi)部的復(fù)雜故障特征，本文基于變壓器油中的氫氣(H2)、甲烷(CH4)、乙烷(C2H6)、乙烯(C2H4)、乙炔(C2H2)5種氣體，并加入DGA技術(shù)中三比值法C2H2/C2H4，CH4/H2，C2H4/C2H6三個(gè)特征作為輸入?yún)⒘?。在求取比值時(shí)，若分母為0則將分母設(shè)一個(gè)極小值以避免出現(xiàn)無(wú)效值，本文選取10-6作為極小值。對(duì)每個(gè)樣本計(jì)算對(duì)應(yīng)的序列，就有了8個(gè)特征作為模型的輸入?yún)⒘?，能夠充分利用LSTM網(wǎng)絡(luò)對(duì)復(fù)雜非線性特征強(qiáng)大的提取能力。同時(shí)，與以往的僅輸入單一時(shí)刻的數(shù)據(jù)進(jìn)行故障診斷這種過(guò)于片面的方法不同，Bi-LSTM網(wǎng)絡(luò)需要輸入的是序列數(shù)據(jù)，考慮了數(shù)據(jù)基于時(shí)間先后的影響，模型精度大大提高。

3 變壓器故障診斷框架

3.1 自適應(yīng)粒子群算法

(2)

其中，i∈[1，I]；s∈[1，S]；d∈[1，D]；w為慣性權(quán)重；c1，c2分別為個(gè)體和種群的學(xué)習(xí)因子；r1和r2為區(qū)間[0，1]上均勻分布的隨機(jī)數(shù)，能夠增加隨機(jī)性，避免陷入局部最優(yōu)解。

3.2 LSTM網(wǎng)絡(luò)原理

1997年Hochreiter和Schmidhuber提出了LSTM[8]。LSTM網(wǎng)絡(luò)屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種優(yōu)秀變體，它解決了RNN梯度爆炸或梯度消失的問(wèn)題，可學(xué)習(xí)長(zhǎng)期依賴信息，非常適合對(duì)時(shí)間序列進(jìn)行分類和預(yù)測(cè)[9]。LSTM網(wǎng)絡(luò)引入了門控單元以解決長(zhǎng)序列數(shù)據(jù)長(zhǎng)期依賴問(wèn)題，避免網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)梯度消失或爆炸，以便保留每一循環(huán)單元的不同時(shí)間尺度信息特征[10]。LSTM單元結(jié)構(gòu)圖如圖1所示。

圖1 LSTM的單元結(jié)構(gòu)圖

LSTM網(wǎng)絡(luò)的計(jì)算過(guò)程如下：

1)由遺忘門決定是否保留前一時(shí)刻細(xì)胞的狀態(tài)信息Ct-1。遺忘門輸入前一時(shí)刻的隱藏狀態(tài)ht-1和新輸入的數(shù)據(jù)Xt，輸出遺忘門的值ft

ft=σ(Wf·[ht-1，xt]+bf)

(3)

it=σ(Wi·[ht-1，xt]+bi)

(4)

(5)

ht=ot*tanh(Ct)

(6)

ot=σ(Wo·[ht-1，xt]+bo)

(7)

其中Wf，Wi，Wc，Wo，bf，bi，bc，bo，對(duì)應(yīng)各門的權(quán)重矩陣和偏差，σ表示sigmoid函數(shù)。

3.3 PSO-BiLSTM預(yù)測(cè)模型的診斷框架

通常LSTM只考慮前向的數(shù)據(jù)依賴關(guān)系，只處理了前向的數(shù)據(jù)信息，但為了信息更加的完整，Bi-LSTM[11]網(wǎng)絡(luò)使用一前一后兩個(gè)相反方向的LSTM網(wǎng)絡(luò)將輸入數(shù)據(jù)處理成前后兩個(gè)方向的路徑，將后向的數(shù)據(jù)依賴關(guān)系也考慮了進(jìn)去，然后通過(guò)處理兩個(gè)方向上的數(shù)據(jù)依賴關(guān)系來(lái)決定當(dāng)前輸入，網(wǎng)絡(luò)運(yùn)行過(guò)程如圖2。

事實(shí)證明考慮后向數(shù)據(jù)的依賴關(guān)系后，模型的性能將會(huì)更好，并且由于復(fù)用權(quán)重，該模型在豐富其表達(dá)能力的同時(shí)，并沒(méi)有增加對(duì)數(shù)據(jù)量的要求，降低了欠擬合風(fēng)險(xiǎn)[12]。

圖2 Bi-LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Bi-LSTM網(wǎng)絡(luò)的輸出計(jì)算為

(8)

圖3 基于PSO-Bi-LSTM網(wǎng)絡(luò)的變壓器故障診斷框架

具體步驟如下：

1)將搜集到的變壓器油色譜數(shù)據(jù)，取H2，CH4，C2H6，C2H4，C2H2，以及三比值法所生成的三個(gè)參數(shù)共8個(gè)特征作為模型的輸入。

2)對(duì)樣本數(shù)據(jù)根據(jù)式(9)進(jìn)行最大最小歸一化處理，將數(shù)據(jù)映射到[0，1]之間，接著對(duì)數(shù)據(jù)樣本以9：1的比例進(jìn)行劃分。

(9)

式中：X*為歸一化之后的數(shù)據(jù)；xmin、xmax為分別為樣本的最大值與最小值；x為樣本原始數(shù)據(jù)。

3)初始化模型超參數(shù)，設(shè)置隱藏層個(gè)數(shù)為m、學(xué)習(xí)率r，初始化最大迭代次數(shù)Tmax與種群數(shù)量n。

4)根據(jù)粒子群的初始適應(yīng)度值確定Pbest與Gbest的位置，以式(1)-(2)迭代更新粒子的速度與位置，當(dāng)最優(yōu)值趨于穩(wěn)定或迭代次數(shù)達(dá)到最大時(shí)終止迭代，得到最優(yōu)的m與r參數(shù)。

5)根據(jù)粒子群優(yōu)化的最優(yōu)參數(shù)構(gòu)建PSO-Bi-LSTM模型，對(duì)數(shù)據(jù)樣本進(jìn)行診斷分析。

6)計(jì)算診斷準(zhǔn)確率γaccuracy，公式如式(10)

(10)

4 算例計(jì)算與分析

4.1 樣本選取與模型參數(shù)訓(xùn)練

為驗(yàn)證所提模型的診斷性能，本文使用多個(gè)同型號(hào)220kV變壓器數(shù)據(jù)，為了樣本的完整，取適量未發(fā)生故障時(shí)的變壓器數(shù)據(jù)加入樣本，共計(jì)424組油色譜數(shù)據(jù)，數(shù)據(jù)樣本分布參照表1。

表1 樣本故障類型組成

將數(shù)據(jù)集輸入模型，得到2個(gè)關(guān)鍵參數(shù)的優(yōu)化：神經(jīng)元個(gè)數(shù)m與學(xué)習(xí)率r。PSO優(yōu)化過(guò)程的模型參數(shù)設(shè)置為：種群數(shù)量為20，最大迭代次數(shù)為200，粒子向量維數(shù)D為2，學(xué)習(xí)因子c1和c2為1.5，變異閾值p為0.8。根據(jù)經(jīng)驗(yàn)，當(dāng)慣性權(quán)重w值為0.9到0.4時(shí)，算法性能最佳，這樣迭代初始時(shí)較大的w為搜索提供強(qiáng)大的全局搜索能力，迭代快結(jié)束時(shí)，較小的w為搜索提供更加精確局部搜索能力，粒子位置x取值范圍為[-6，6]，速度v的取值范圍為[-10，10]，適應(yīng)度函數(shù)使用平均絕對(duì)誤差MAE。

隱藏層神經(jīng)元個(gè)數(shù)m與學(xué)習(xí)率r的優(yōu)化結(jié)果如圖4所示：圖4(a)看出粒子適應(yīng)度穩(wěn)定在34，圖4(b)看出最優(yōu)隱藏層個(gè)數(shù)穩(wěn)定在422個(gè)，圖4(c)看出最優(yōu)學(xué)習(xí)率穩(wěn)定在0.0048。

圖4 粒子群優(yōu)化超參數(shù)

4.2 故障診斷對(duì)比

為驗(yàn)證本文模型的診斷效果，選取傳統(tǒng)智能算法BP神經(jīng)網(wǎng)絡(luò)法(BPNN)、支持向量機(jī)(SVM)、極限學(xué)習(xí)機(jī)(ELM)、隨機(jī)森林(Random Forest)、極限梯度提升樹(shù)(extreme gradient boosting，XGBoost)進(jìn)行對(duì)比，根據(jù)經(jīng)驗(yàn)確定各種算法的主要參數(shù)和結(jié)構(gòu)如下：

BP神經(jīng)網(wǎng)絡(luò)選用每層10個(gè)神經(jīng)元的兩隱藏層，傳遞函數(shù)為tansig。SVM的內(nèi)核是徑向基函數(shù)。對(duì)于ELM，設(shè)置隱藏層個(gè)數(shù)為30。對(duì)于隨機(jī)深林法，設(shè)置決策樹(shù)數(shù)量為30，決策樹(shù)最大深度為6。對(duì)于XGBoost，樹(shù)的深度是6，基學(xué)習(xí)器是gbtree，學(xué)習(xí)率是0.1，L2正則化系數(shù)是2，列采樣率是0.7。

對(duì)數(shù)據(jù)進(jìn)行歸一化，將所有樣本作為訓(xùn)練集，以變壓器的每種狀態(tài)特征為單位分別提取30個(gè)樣本作為測(cè)試集，獲得各特征診斷結(jié)果如圖5所示。

圖5 各個(gè)故障特征診斷準(zhǔn)確率分析

由圖5看出，在各個(gè)故障特征的診斷上，本文所提模型的診斷準(zhǔn)確率最高，皆高出其它模型5%以上。

為綜合衡量本文所提模型的優(yōu)越性，根據(jù)1.4節(jié)的建模流程，對(duì)數(shù)據(jù)進(jìn)行歸一化后隨機(jī)取90%的樣本作為訓(xùn)練集，10%的樣本作為測(cè)試集，為了避免數(shù)據(jù)本身造成的誤差，每種模型采用相同的訓(xùn)練集和測(cè)試集進(jìn)行20次實(shí)驗(yàn)，實(shí)際故障與各個(gè)模型診斷結(jié)果對(duì)比如圖6，診斷結(jié)果如表2。

表2 不同模型的診斷準(zhǔn)確率

圖6 不同模型診斷結(jié)果

根據(jù)不同模型對(duì)相同數(shù)據(jù)集的診斷結(jié)果，PSO-Bi-LSTM模型的診斷準(zhǔn)確率高達(dá)92.5%，與傳統(tǒng)算法模型相比有著更高的診斷精度，由此，本文所提的模型能夠很好的判斷變壓器的機(jī)械狀態(tài)。

為進(jìn)一步體現(xiàn)該模型對(duì)復(fù)雜特征的提取能力，僅將5種氣體指標(biāo)作為輸入特征，進(jìn)行20次實(shí)驗(yàn)，不同模型的平均診斷結(jié)果如表3所示。

表3 特征減少后不同模型的診斷準(zhǔn)確率

從實(shí)驗(yàn)結(jié)果可看出，在五種特征指標(biāo)情況下，PSO-Bi-LSTM模型的故障診斷準(zhǔn)確率最高，且當(dāng)特征數(shù)量減少三個(gè)的情況下只有SVM模型的準(zhǔn)確率有所上升，原因在于SVM算法在處理小樣本數(shù)據(jù)集的問(wèn)題時(shí)具有更好的診斷效果，而本文所提模型具有強(qiáng)大的特征提取能力，因此當(dāng)特征數(shù)量減少時(shí)，該模型的診斷準(zhǔn)確率僅下降1.5%，可見(jiàn)本文所提模型的適應(yīng)性極強(qiáng)。

4.3 數(shù)據(jù)診斷的容錯(cuò)性分析

在數(shù)據(jù)采集的過(guò)程中，有時(shí)會(huì)出現(xiàn)漏采樣或誤采樣的情況，為證明在采樣錯(cuò)誤情況下本文所提模型仍具有較高的診斷準(zhǔn)確率，將數(shù)據(jù)集的部分?jǐn)?shù)據(jù)設(shè)置10%的誤采樣點(diǎn)，本文采用數(shù)據(jù)置0的方法來(lái)模擬采樣錯(cuò)誤，故障診斷結(jié)果如表4所示。

表4 數(shù)據(jù)集出現(xiàn)錯(cuò)誤對(duì)模型診斷準(zhǔn)確率的影響

由表4可以看出，在考慮部分?jǐn)?shù)據(jù)集采樣錯(cuò)誤的情況下，本文所提PSO-Bi-LSTM模型的診斷準(zhǔn)確率有所下降，但此時(shí)的下降幅度僅為6.3%，而其它算法的診斷準(zhǔn)確率均有較大幅度的下降，說(shuō)明本文所提模型具有較強(qiáng)的魯棒性。

5 結(jié)論

本文將深度學(xué)習(xí)引入變壓器故障診斷領(lǐng)域，提出了一種基于粒子群優(yōu)化的Bi-LSTM網(wǎng)絡(luò)的變壓器故障診斷方法，不同于傳統(tǒng)僅根據(jù)單一時(shí)刻點(diǎn)數(shù)據(jù)判斷變壓器故障的診斷方法，本文充分考慮變壓器油特征參量序列之間的復(fù)雜關(guān)聯(lián)關(guān)系。結(jié)論如下：

1)本文構(gòu)建的PSO-Bi-LSTM網(wǎng)絡(luò)診斷框架相比于傳統(tǒng)網(wǎng)絡(luò)，精度更高，能夠更加有效的提高變壓器的故障診斷準(zhǔn)確率。

2)使用PSO算法優(yōu)化超參數(shù)的Bi-LSTM網(wǎng)絡(luò)與根據(jù)經(jīng)驗(yàn)設(shè)置超參數(shù)的Bi-LSTM網(wǎng)絡(luò)相比，模型的精度明顯提高，有效避免了人為選擇參數(shù)所帶來(lái)的不利影響。

3)在考慮數(shù)據(jù)采集的過(guò)程中可能出現(xiàn)漏采樣或誤采樣的情況，本文所構(gòu)建的模型仍具有較高的準(zhǔn)確率，說(shuō)明其魯棒性較強(qiáng)。