王 錦，徐 新

西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048

0 引言

變壓器的運(yùn)行狀態(tài)嚴(yán)重影響電能質(zhì)量和系統(tǒng)安全，及時(shí)準(zhǔn)確地診斷其內(nèi)部故障具有現(xiàn)實(shí)意義[1]。

油中溶解氣體法（Dissolved Gas Analysis,DGA）是早期變壓器內(nèi)部故障應(yīng)用最廣泛的方法之一。隨著智能技術(shù)的發(fā)展，很多學(xué)者在DGA 的基礎(chǔ)上用模糊理論、專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行變壓器內(nèi)部故障診斷[2]，取得了顯著的成果。許多學(xué)者[3-5]通過建立不同的網(wǎng)絡(luò)模型，對(duì)變壓器內(nèi)部故障類型實(shí)現(xiàn)分類。訓(xùn)練的數(shù)據(jù)集中變壓器故障樣本數(shù)據(jù)少，正常樣本數(shù)量多，基于神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型是在平衡數(shù)據(jù)的基礎(chǔ)上進(jìn)行研究。大多情況下，變壓器的故障數(shù)據(jù)不易獲取、占比低，導(dǎo)致正常樣本與故障樣本存在嚴(yán)重的不平衡問題，在數(shù)據(jù)集失衡的情況下，網(wǎng)絡(luò)診斷模型誤判率較高[6]。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks,GAN）作為非監(jiān)督式的深度學(xué)習(xí)模式，以盡可能模仿與真實(shí)樣本相同分布的數(shù)據(jù)為目的，具有充分?jǐn)M合數(shù)據(jù)、訓(xùn)練速度快、生成樣本銳利的優(yōu)點(diǎn)[7]。因此，一些學(xué)者采用GAN 對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)充，以獲得盡可能多的故障類型樣本。然而原始GAN 在訓(xùn)練過程中梯度不穩(wěn)定，無法保證生成樣本的質(zhì)量，導(dǎo)致生成樣本不符合真實(shí)樣本分布或不滿足整體分布。

針對(duì)上述問題，文章采用一種變體的生成對(duì)抗網(wǎng)絡(luò)（Wasserstein Generative Adversarial Networks -Gradient Penalty,WGAN-GP）模型重構(gòu)數(shù)據(jù)集，用新的數(shù)據(jù)集訓(xùn)練BP 神經(jīng)網(wǎng)絡(luò)。WGAN-GP 解決了GAN 模型不穩(wěn)定問題，確保了生成樣本的多樣性，改善了WGAN 中為滿足1-Lipschitz 連續(xù)性條件所使用的權(quán)值裁剪約束參數(shù)對(duì)網(wǎng)絡(luò)的影響。仿真結(jié)果表明，利用生成對(duì)抗網(wǎng)絡(luò)樣本增強(qiáng)技術(shù)，重構(gòu)數(shù)據(jù)集能有效提高模型故障分類準(zhǔn)確率，減小BP 神經(jīng)網(wǎng)絡(luò)誤差，具有一定可行性和可靠性。

1 WGAN-GP 基本理論

1.1 GAN

GAN 是一種基于對(duì)抗理論的生成模型，主要由生成器和判別器兩部分組成[8]。訓(xùn)練過程中，生成器G構(gòu)建滿足聯(lián)合高斯分布的映射空間Pr，使得輸入噪聲z擬合真實(shí)樣本從而生成新的樣本分布Pg。判別器將真實(shí)樣本和生成樣本同時(shí)作為輸入，區(qū)別樣本真假，找到使生成器和判別器代價(jià)函數(shù)最小的位置，達(dá)到納什均衡。

GAN 完成對(duì)抗訓(xùn)練的目標(biāo)函數(shù)如下所示，整個(gè)優(yōu)化過程視為最大-最小化問題。

式中：Pr為真實(shí)數(shù)據(jù)概率分布；Pg為生成數(shù)據(jù)概率分布；G(z)表示生成數(shù)據(jù)；D(x)為判別器網(wǎng)絡(luò)輸出。優(yōu)化過程中，判別器的目的是讓優(yōu)化過程取最大值，即真樣本的概率接近于1，假樣本的概率接近于0。生成器的目的是讓優(yōu)化過程取最小值，即真樣本為真的概率趨近于0，假樣本為真的概率趨近于1。要求生成數(shù)據(jù)的判別值對(duì)生成的G(z)數(shù)據(jù)判別為真實(shí)樣本的概率D(x)盡可能小，而要求對(duì)真實(shí)數(shù)據(jù)x判定為真的概率D(x)盡可能大。即logD(x)盡可能小，log {1-D[G(z)]}盡可能大。

1.2 WGAN-GP

GAN 利用KL 散度和JS 散度計(jì)量樣本分布的距離，當(dāng)生成樣本和真實(shí)樣本分布存在明顯差異時(shí)，當(dāng)Pg(x)=0 時(shí)，KL 散度會(huì)趨于無窮大，JS 散度變?yōu)槌?shù)，導(dǎo)致GAN 在訓(xùn)練過程中出現(xiàn)梯度消失現(xiàn)象，不利于生成器學(xué)習(xí)真實(shí)樣本分布，使模型訓(xùn)練停滯不前，出現(xiàn)梯度消失、模型坍塌等現(xiàn)象。因此，在GAN 模型中引入Wasserstein 距離，確保梯度平滑，使真實(shí)數(shù)據(jù)與生成數(shù)據(jù)重疊少或沒有重疊，依然能夠度量二者之間的距離，提供有意義的梯度信息，解決GAN 訓(xùn)練數(shù)據(jù)不穩(wěn)定和模式崩潰的問題。其中Wasserstein 距離的定義如下：

式中：γ∈Π (Pr,Pg)為所有可能組合的聯(lián)合分布（Pr，Pg）集合；x為真實(shí)樣本；y為生成樣本；x-y為真實(shí)樣本與生成樣本間的距離。

雖然WGAN 的訓(xùn)練不需要使判別器和生成器達(dá)到納什平衡，只要判別器訓(xùn)練良好，生成器就能生成真實(shí)樣本，避免梯度爆炸。但WGAN 中采用Lipschitz權(quán)值裁剪限制判別器子網(wǎng)絡(luò)的權(quán)值參數(shù)范圍，使得網(wǎng)絡(luò)參數(shù)十分極端，很大程度上限制了網(wǎng)絡(luò)性能，減弱了神經(jīng)網(wǎng)絡(luò)的擬合能力。而且權(quán)值裁剪的范圍以專家經(jīng)驗(yàn)為主，通過人為確定方式設(shè)定網(wǎng)絡(luò)參數(shù)，容易導(dǎo)致參數(shù)設(shè)置不恰當(dāng)，重新導(dǎo)致梯度爆炸和梯度消失現(xiàn)象。因此，WGAN-GP 引入梯度懲罰（Gradient Penalty,GP）項(xiàng)，改善WGAN 中為滿足1-Lipschitz 連續(xù)性條件所使用的權(quán)值裁剪約束參數(shù)對(duì)網(wǎng)絡(luò)的影響，梯度懲罰定義如下：

式中：λ代表懲罰系數(shù)；χ代表整個(gè)樣本空間分布，即生成樣本和真實(shí)樣本分布總和；?D(x)代表判別器的梯度。

目標(biāo)函數(shù)表達(dá)式如下：

WGAN-GP 保留WGAN 中梯度更新的優(yōu)點(diǎn)，引入梯度懲罰策略改善參數(shù)分布極端的弊端，保證梯度的穩(wěn)定更新，有效地解決了梯度爆炸的問題。因此，WGAN-GP 模型能夠提供有更具意義的梯度信息，穩(wěn)定訓(xùn)練生成器和判別器，提升網(wǎng)絡(luò)性能，輸出最優(yōu)樣本。

2 基于WGAN-GP 的變壓器故障樣本擴(kuò)充模型

2.1 WGAN-GP 故障樣本生成模型設(shè)計(jì)

原始GAN 采用層間全連接的多層感知器，構(gòu)建生成器和判別器，全連接網(wǎng)絡(luò)中存在大量參數(shù)影響訓(xùn)練速度，而基于WGAN-GP 的變壓器故障樣本生成模型中用卷積層代替全連接層，通過卷積核權(quán)值共享的概念減少模型參數(shù)。其主要步驟如下：

（1）人為劃分?jǐn)?shù)據(jù)集，確定少數(shù)類樣本，將其作為WGAN-GP 故障樣本生成模型的訓(xùn)練集；

（2）根據(jù)判別器、生成器、數(shù)據(jù)維度設(shè)置WGANGP 模型參數(shù)；

（3）用不平衡數(shù)據(jù)集訓(xùn)練WGAN-GP 模型，得到訓(xùn)練好的判別器和生成器模型；

（4）給訓(xùn)練好的WGAN-GP 模型一個(gè)隨機(jī)噪聲作為輸入，得到一組新的故障樣本；

（5）通過t-SNE 數(shù)據(jù)降維對(duì)生成樣本進(jìn)行可視化操作，觀察樣本分布情況，判斷生成樣本與真實(shí)樣本是否具有相同分布；

（6）重復(fù)步驟3～步驟5 擴(kuò)充不平衡樣本集，使其與正常類別數(shù)據(jù)數(shù)量相同，解決數(shù)據(jù)集不平衡問題，重構(gòu)數(shù)據(jù)集。

2.2 模型建立與參數(shù)選擇

使用Python Tensorflow 建立故障數(shù)據(jù)生成仿真模型，從公開發(fā)表的文獻(xiàn)中收集數(shù)據(jù)，低能放電、高能放電、中低溫過熱、高溫過熱故障樣本數(shù)量各20 組，正常樣本數(shù)量100 組，其中140 組作為訓(xùn)練集，其余作為測(cè)試集，故障樣本隨機(jī)分布。

通過公式（5）可知，

對(duì)數(shù)據(jù)集中特征氣體（H2、CH4、C2H2、C2H4、C2H6）含量進(jìn)行歸一化處理，避免數(shù)據(jù)量綱不同影響模型訓(xùn)練速度。選擇Leakyrelu 作為WGAN-GP 故障樣本生成模型的激活函數(shù)。輸入數(shù)據(jù)，后判別器的設(shè)計(jì)結(jié)構(gòu)包括3 個(gè)卷積層、2 個(gè)Batch_normalization 層和1 個(gè)全連接層。

此次實(shí)驗(yàn)由于樣本數(shù)量少，為避免實(shí)驗(yàn)過程中出現(xiàn)判別器過度訓(xùn)練，將所有生成樣本均判別為假，設(shè)置每次迭代過程每訓(xùn)練2 次生成器，訓(xùn)練判別器1 次，并且在迭代3 000 次后每100 次輸出一次結(jié)果作為生成樣本，完成樣本擴(kuò)容。

3 結(jié)果分析

樣本擴(kuò)容后，由于每組數(shù)據(jù)都具有5 個(gè)維度信息，從數(shù)字很難判別生成樣本的質(zhì)量，因此利用t分布鄰域嵌入數(shù)據(jù)降維技術(shù)對(duì)高維的故障樣本數(shù)據(jù)進(jìn)行降維可視化處理，通過樣本分布分析判斷生成樣本是否滿足研究要求。

3.1 生成樣本分析

文章以H2、CH4、C2H2、C2H4、C2H6特征氣體作為變壓器的故障特征，利用t-SNE 數(shù)據(jù)降維技術(shù)，通過WGAN-GP 網(wǎng)絡(luò)對(duì)4 類故障數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充，將5 維數(shù)據(jù)映射到2 維空間，對(duì)故障數(shù)據(jù)進(jìn)行聚類和可視化。為保證生成樣本接近原始樣本，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)按照特征量逐列進(jìn)行歸一化操作。并且對(duì)WGAN-GP生成樣本進(jìn)行反歸一化時(shí)，也按照當(dāng)前特征量的最大值和最小值進(jìn)行操作，得到最終的生成樣本。將生成樣本與真實(shí)樣本進(jìn)行數(shù)據(jù)集重組前，同樣先通過t-SNE數(shù)據(jù)降維技術(shù)分析生成樣本與真實(shí)樣本是否具有相似的樣本分布，確保重構(gòu)的數(shù)據(jù)集中生成樣本所具有的故障特征能夠?yàn)楣收戏诸惼鞯挠?xùn)練提供有效信息。各故障類別生成樣本與真實(shí)樣本對(duì)比如圖1～圖4 所示。

圖1 低能放電故障

圖2 高能放電故障

圖3 中低溫過熱故障

圖4 高溫過熱故障

為準(zhǔn)確體現(xiàn)數(shù)據(jù)擴(kuò)充技術(shù)對(duì)故障診斷準(zhǔn)確度的影響，使實(shí)驗(yàn)具有對(duì)比意義。研究在不改變測(cè)試集的前提下僅對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)容，將每種故障類型訓(xùn)練集由15 組擴(kuò)充到80 組，保證重構(gòu)數(shù)據(jù)后故障樣本與正常樣本的訓(xùn)練集數(shù)據(jù)量均為80 組。

由于變壓器油中溶解氣體和故障類型的復(fù)雜關(guān)系，故障數(shù)據(jù)中存在個(gè)別異常數(shù)據(jù)，具體表現(xiàn)為可視化后與樣本中心點(diǎn)距離較遠(yuǎn)。雖然這類樣本對(duì)生成樣本存在一定影響，但WGAN-GP 豐富了生成樣本的多樣性，并未出現(xiàn)生成樣本高度重合現(xiàn)象?？傮w生成樣本較好地模仿了真實(shí)樣本分布，因此重構(gòu)的數(shù)據(jù)集可以滿足分類器學(xué)習(xí)故障特征所需。

3.2 基于BP 神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷

文章采取隨機(jī)劃分?jǐn)?shù)據(jù)集的方式，從180 組中隨機(jī)抽取40 組數(shù)據(jù)作為測(cè)試數(shù)據(jù)，其余140 組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。五種故障特征氣體歸一化后的故障樣本數(shù)據(jù)作為BP 網(wǎng)絡(luò)的輸入，對(duì)應(yīng)的五種變壓器故障類型經(jīng)過編碼后作為模型輸出。根據(jù)變壓器樣本類型和經(jīng)驗(yàn)確定各層神經(jīng)元數(shù)量為5-15-5 的BP 網(wǎng)絡(luò)診斷模型。其中，Sigmoid 函數(shù)作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，加入softmax 層對(duì)網(wǎng)絡(luò)輸出值進(jìn)行轉(zhuǎn)換，網(wǎng)絡(luò)模型的訓(xùn)練目標(biāo)為1×10-5，學(xué)習(xí)率為0.01，最大迭代次數(shù)為500 次。

采用140 組真實(shí)樣本和400 組重構(gòu)數(shù)據(jù)樣本訓(xùn)練BP 神經(jīng)網(wǎng)絡(luò)，不同數(shù)據(jù)集下變壓器故障診斷誤差及診斷結(jié)果如圖5、圖6 所示。

圖5 基于不同數(shù)據(jù)集的BP 神經(jīng)網(wǎng)絡(luò)誤差曲線

圖6 基于不同數(shù)據(jù)集的BP 神經(jīng)網(wǎng)絡(luò)分類結(jié)果

實(shí)驗(yàn)表明，BP 神經(jīng)網(wǎng)絡(luò)具有處理變壓器故障數(shù)據(jù)的能力。然而，數(shù)據(jù)集不平衡問題導(dǎo)致BP 神經(jīng)網(wǎng)絡(luò)無法充分學(xué)習(xí)少數(shù)類樣本的故障特征，導(dǎo)致故障診斷模型的分類準(zhǔn)確度不高，均方誤差大、故障分類的精度較低，無法滿足預(yù)期要求。采用重構(gòu)數(shù)據(jù)集訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，有效減小計(jì)算誤差，提升模型分類準(zhǔn)確率，其均方誤差和準(zhǔn)確率分別為1.848%和80%。結(jié)果表明，WGAN-GP 生成故障數(shù)據(jù)后重構(gòu)的數(shù)據(jù)集能豐富故障特征信息，改善真實(shí)數(shù)據(jù)集不平衡的缺陷，提升故障診斷模型的性能。

4 結(jié)論

針對(duì)變壓器故障數(shù)據(jù)少，樣本數(shù)量不平衡導(dǎo)致神經(jīng)網(wǎng)絡(luò)的故障診斷模型正判率低的問題，文章提出用變體的生成對(duì)抗網(wǎng)絡(luò)WGAN-GP 擴(kuò)充故障樣本平衡數(shù)據(jù)集的方法。采用重構(gòu)數(shù)據(jù)集訓(xùn)練BP 神經(jīng)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的診斷性能。仿真結(jié)果表明，數(shù)據(jù)集不平衡時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)診斷性能的影響較大，驗(yàn)證了WGAN-GP擴(kuò)充變壓器故障數(shù)據(jù)集的可行性。