王 歡，王 昕，張 峰，齊 笑，柴方森，李文鵬

（1.上海電力大學電氣工程學院，上海 200090；2.上海交通大學電工與電子技術(shù)中心，上海 200240；3.國網(wǎng)吉林省電力有限公司四平供電公司，吉林四平 136000）

0 引言

電力變壓器作為電網(wǎng)的重要組成部分，其安全可靠運行對電力系統(tǒng)供電的穩(wěn)定性和可靠性至關(guān)重要。當變壓器發(fā)生故障時，可能會產(chǎn)生不同的聲音信號，這些聲音信號蘊含豐富的狀態(tài)信息，對變壓器故障的有效反映與識別具有重要意義[1-4]。

目前變壓器異常狀態(tài)的聲紋數(shù)據(jù)十分匱乏且不均衡，造成深度學習算法過擬合、泛化能力低、訓練不穩(wěn)定等問題[3]，使得現(xiàn)有方法在小樣本變壓器故障診斷場景下的識別準確率有限[5-9]。為此，有研究采用數(shù)據(jù)增強技術(shù)（Data Augmentation Technology，DAT）[10-11]對小樣本數(shù)據(jù)集進行擴充，并調(diào)整訓練數(shù)據(jù)的類間分布，以提高診斷模型的泛化能力和故障識別準確率。生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）[12-16]相比傳統(tǒng)的數(shù)據(jù)增強方法，如幾何變換法、過采樣技術(shù)[17-18]和Mixup[19]等，能夠生成更高質(zhì)量、更多樣性的合成數(shù)據(jù)，且能夠自適應學習。但傳統(tǒng)GAN 存在梯度消失和模式崩塌的問題，為解決該問題，Martin Arjovsky 等提出的Wasserstein 生成對抗網(wǎng)絡[20]（Wasserstein Generative Adversarial Network，W-GAN），引入了Wasserstein距離[21-22]來替代JS（Jensen-Shannon）散度，以更有效地度量真實數(shù)據(jù)分布和生成數(shù)據(jù)分布之間的距離。然而，盡管該方法在理論上表現(xiàn)出色，但在應用到變壓器的聲紋故障檢測上仍存在一些缺陷：（1）需要針對變壓器故障的每個類別單獨訓練1 個生成器，使得每個生成器專門生成某個特定類別的樣本，對于多類別的變壓器故障診斷而言，操作繁瑣且耗時較長；（2）為了滿足Lipschitz 連續(xù)性約束，W-GAN 規(guī)定所有參數(shù)矩陣的元素限制在某個范圍[-c，c]，但參數(shù)總是取到極限值，同時參數(shù)c也很難確定，選取不好就會引起梯度消失或爆炸，參數(shù)矩陣的結(jié)構(gòu)不穩(wěn)定，以致W-GAN 收斂速度較慢。

本文提出1 種基于梅爾聲譜圖和改進的Wasserstein 生成對抗網(wǎng)絡（Improve Wasserstein Generative Adversarial Network，IW-GAN）的變壓器聲紋故障識別的方法。其中，在W-GAN 基礎(chǔ)上加入條件約束項，使其更好引導多類別樣本生成；同時，提出使用更具表達能力的Transformer 網(wǎng)絡[23-24]作為生成器，設(shè)計滿足Lipschitz 連續(xù)性約束的譜歸一化[25]卷積神經(jīng)網(wǎng)絡（Spectral Normalization-Convolutional Neural Network，SN-CNN）作為判別器。Transformer 生成器的多頭注意力機制使模型擁有更好的表達能力；結(jié)構(gòu)簡潔的SN-CNN 判別器使得圖像生成模型的計算復雜度低，且性能良好。最后采用了多種評價指標評價了在不同的數(shù)據(jù)增強算法和不同的分類算法下變壓器故障診斷的效果，驗證了本文模型的有效性。

1 變壓器聲紋診斷流程

小樣本下基于改進生成對抗網(wǎng)絡的變壓器聲紋故障診斷技術(shù)，其診斷流程分為數(shù)據(jù)預處理及特征提取、故障數(shù)據(jù)增強、診斷模型訓練和診斷效果評價4 個部分。具體流程如圖1 所示。

圖1 變壓器聲紋診斷模型整體流程Fig.1 Overall process of transformer voiceprint diagnosis model

1）在采集到待識別的變壓器聲紋樣本后，將音頻進行預處理，并提取梅爾頻率倒譜系數(shù)（Mel Frequency Cepstral Coefficient，MFCC）[26-27]，沿時間堆疊得到聲譜圖；對原始數(shù)據(jù)集進行劃分，增量樣本與測試樣本的比例為8∶2。

2）對IW-GAN 的判別器D 進行預訓練，以提升其辨別能力，促進生成器G的優(yōu)化；然后將生成器和判別器按5∶1次數(shù)交替訓練，直到達到平衡點。

3）用新生成的變壓器故障樣本對原始訓練樣本擴充后，輸入到不同分類器，如支持向量機（Support Vector Machine，SVM）、長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）中進行識別。

4）采用IS（Inception Score）、FID（Fréchet Inception Distance）、KID（Kernel Inception Distance）評價指標對生成效果進行評價，基于準確率、損失率對不同識別模型分類效果比對分析。

2 MFCC特征提取

MFCC 的計算流程為：

1）預處理，包含預加重、分幀、加窗等。

2）對每一幀的時域信號進行快速傅里葉變換，得到線性頻譜X(k)，如式（1）所示：

式中：x（n）為時域信號；n為時域上的采樣點；k為頻域上的離散頻率點；N為第一幀信號的長度。

3）將X（k）通過梅爾三角濾波器組，變換線性頻率到梅爾頻率，如式（2）所示：

式中：s(m)為第m個梅爾濾波器的輸出；Hm(k)為第m個濾波器參數(shù)。

4）隨后再將得到的梅爾頻率取對數(shù)后進行離散余弦變換（Discrete Cosine Transform，DCT），得到最終的特征參數(shù)MFCC。

式中：b為頻率通道索引；M為梅爾濾波器組的三角濾波器個數(shù)；L為MFCC 的階數(shù)；c（r）為第r維倒譜系數(shù)值；P為s(m)的長度。

3 IW-GAN數(shù)據(jù)增強

3.1 W-GAN的原理

針對變壓器故障聲紋數(shù)據(jù)匱乏，導致后續(xù)故障分類采用的深度學習算法過擬合、泛化能力低、識別準確率有限等問題，常采用數(shù)據(jù)增強算法擴充故障數(shù)據(jù)。但是傳統(tǒng)數(shù)據(jù)增強算法GAN 網(wǎng)絡會出現(xiàn)梯度消失和模式崩潰問題，主要原因在于其使用了KL（Kullback-Leibler）散度和JS 散度來度量2 個分布之間的差異。為了解決這些問題，Wasserstein 生成對抗網(wǎng)絡引入了Wasserstein 距離W(Pdata,Pg)來取代JS 散度，Wasserstein 距離的表達式如式（4）所示：

函數(shù)f由神經(jīng)網(wǎng)絡表示，并通過權(quán)重剪枝限制f中所有參數(shù)不超過確信范圍以確保K的存在。但是，剪枝使得判別器權(quán)重矩陣的結(jié)構(gòu)被破壞，以致WGAN 收斂速度較慢。

W-GAN 的生成器和判別器的損失函數(shù)LG和LD如下：

式中：E(·)為期望；fw(x)為判別器對真實數(shù)據(jù)樣本的評估輸出；fw(G(z))為判器對生成器生成樣本G(z)的評估輸出。

3.2 損失函數(shù)的改進

由于電力變壓器故障的復雜性，故障診斷是一個多分類問題。針對傳統(tǒng)的W-GAN 模型需要對每個故障類別單獨訓練生成器的問題，提出了將故障樣本的類別標簽y作為模型的額外條件變量。這樣做使得模型能夠生成多類故障數(shù)據(jù)，并且顯著提高了生成樣本的效率。結(jié)合類別信息的模型結(jié)構(gòu)如圖2 所示。

圖2 改進的W-GAN模型結(jié)構(gòu)Fig.2 Improved W-GAN model structure

從圖2 可以看出，在生成器中，輸入為隨機變量z與類別標簽y的組合；判別器的輸入是真實故障樣本x和生成G（z）分別與類別標簽y結(jié)合后共同輸入以進行判別，即判別器不僅能判斷生成的梅爾聲譜圖是否真實，還能判斷生成聲譜圖的類別和輸入真實故障聲譜圖的實際類別是否相符。這樣使得模型能夠生成指定類別的變壓器聲紋聲譜圖。

因此IW-GAN 模型的損失函數(shù)如式（6）所示：

3.3 基于Tansformer網(wǎng)絡的生成器

近年來，聊天生成型預訓練變換模型（Chat Generative Pre-trained Transformer，ChatGPT）因其強大的創(chuàng)造性和邏輯思維能力而成為廣受關(guān)注的模型。該模型采用了Transformer 作為底層架構(gòu)，這種模型通過引入自注意力機制，使網(wǎng)絡能夠并行處理輸入序列中的位置信息，更好地理解了輸入序列之間的相互依賴關(guān)系，從而顯著提高了訓練和推理速度。因此。在GAN 中，將Transformer 作為生成器的結(jié)構(gòu)能夠賦予模型更強的表達能力和泛化能力。相對于CNN，Transformer 能夠建立圖像的全局依賴關(guān)系，從而獲取更多的圖像全局信息。為了適應圖像任務，本文模型對傳統(tǒng)結(jié)構(gòu)進行了調(diào)整，去掉了解碼器，僅保留編碼器。

編碼器主要由多頭注意力機制和多層感知機組成。單個的注意力機制，其每個輸入包含3 個不同的向量，分別為Query向量（Q），Key向量（K），Value向量（V）。他們的結(jié)果分別由輸入特征圖X和3 個權(quán)重Wq，Wk，Wv做矩陣乘法得到。

接著通過softmax 函數(shù)計算每個輸入向量的注意力分數(shù)Attention，如式（8）所示：

式中：dk為Q或K的維度，Q和K的維度相等。

多頭注意力機制MltiHead如式（9）所示：

式中：Concat為連接操作；headh為第h個注意力頭的輸出；Wo為權(quán)重矩陣。

3.4 基于SN-CNN的判別器

保證GAN 判別器的訓練穩(wěn)定性，本質(zhì)上是需要判別器的函數(shù)滿足Lipschitz 條件，若判別器仍采用Transformer，其模型函數(shù)不滿足Lipschitz 條件，因此，提出基于譜一化卷積神經(jīng)網(wǎng)絡設(shè)計判別器。W-GAN首次提出了采用權(quán)重裁剪方法來使GAN 的判別器滿足Lipschitz 條件。但是，剪枝使得判別器權(quán)重矩陣的結(jié)構(gòu)被破壞，以致W-GAN 收斂速度較慢。本文設(shè)計SN-CNN 判別器，通過在CNN 中引入譜歸一化層，將每一層網(wǎng)絡的權(quán)重矩陣限制在一個范圍內(nèi)，即通過使參數(shù)矩陣中的每個元素除以其譜范數(shù)，使得Lipschitz 常數(shù)為1。在算法實現(xiàn)中，使用冪迭代法來計算權(quán)重矩陣的奇異值，以減少計算資源的使用。

式中：wa，wa-1分別為第a層和第a-1 層的權(quán)重矩陣；Ha，Ha-1分別為第a層和第a-1 層的海森矩陣；‖·‖2為譜范數(shù)。

σ(ω)為矩陣ω的最大奇異值。對于對角矩陣H，有σ(H)=max(h1,h2,...,ha)，其中h1,h2,...,ha為H的奇異值。因此，式（10）可以寫成：

為了讓f（x）滿足Lipschitz 連續(xù)性約束，需要對其梯度進行歸一化處理，如式（12）所示。

式中：i為神經(jīng)網(wǎng)絡層次。

由式（12）可知，SN-CNN 判別器每層網(wǎng)絡的權(quán)重矩陣的最大奇異值恒等于1，且沒有破壞權(quán)重矩陣的結(jié)構(gòu)。因此，SN-CNN 判別器不僅能夠滿足Lipschitz 條件，還能保持參數(shù)矩陣的穩(wěn)定性，加速訓練，簡化超參數(shù)調(diào)整。

4 算例分析

4.1 實驗方法與頻譜分析

通過實驗評估本文所提變壓器聲紋故障診斷模型的性能，使用信號采集系統(tǒng)采集了220 kV 變壓器正常運行、短路故障和過電壓異常3 種狀態(tài)的聲信號。

將采集后的聲音分割為1 s 的長度并保存為音頻文件，共675 條聲紋切片樣本數(shù)據(jù)。在特征提取MFCC 的預處理階段，首先需要對采集的變壓器音頻分幀，取幀長為30 ms，取幀重疊率為40%；然后對每幀信號加窗，窗函數(shù)選擇漢明窗；本文提取13 維的MFCC 特征向量，對正常運行、短路故障和過電壓運行3 種狀態(tài)下的MFCC 沿時間維度堆疊起來得到二維矩陣并進行可視化分析，結(jié)果如圖3 所示。圖例中數(shù)值的大小對應特征強度和能量的高低。

圖3 不同狀態(tài)下的可視化聲譜圖Fig.3 Visual spectrograms under different states

實驗采用電容式麥克風對某220 kV 變電站主變不同狀態(tài)的聲信號進行采集，麥克風頻率響應范圍為20～20 000 Hz，設(shè)置變壓器聲信號的采樣頻率為8 000 Hz。變壓器的正前方、正后方和右側(cè)分別布置一只麥克風，均距離變壓器表面0.5 m，距離地面1.2 m。

由圖3 可以看出，正常運行、短路故障、過電壓運行3 種狀態(tài)的梅爾聲譜圖顏色分布和明暗存在明顯差異，故可以作為聲紋提取的有效特征。

經(jīng)過預處理和特征提取后，需要對樣本集進行劃分。實驗共采集變壓器聲紋數(shù)據(jù)675 條，為了進行后續(xù)的增量學習研究，首先從變壓器3 種運行狀態(tài)中分別提取80%的樣本作為增量樣本，剩下20%作為測試集。利用IW-GAN 生成的新梅爾聲譜圖對原始數(shù)據(jù)集進行擴充，使得每一類變壓器運行狀態(tài)的總樣本數(shù)達到500，以起到提高數(shù)據(jù)集樣本多樣性的目的。具體的樣本分布如表1 所示。

表1 樣本數(shù)據(jù)具體分布Table 1 Specific distribution of sample data

4.2 IW-GAN網(wǎng)絡結(jié)構(gòu)及參數(shù)設(shè)置

根據(jù)所需生成數(shù)據(jù)和輸入數(shù)據(jù)的規(guī)模，判別器的結(jié)構(gòu)與參數(shù)設(shè)如表2 所示，本實驗采用的生成器具體結(jié)構(gòu)如圖4 所示。

表2 SN-CNN判別器網(wǎng)絡結(jié)構(gòu)Table 2 SN-CNN discriminator network structure

圖4 Transformer生成器網(wǎng)絡結(jié)構(gòu)Fig.4 Transformer generator network structure

如圖4 所示，生成器的輸入是隨機噪聲向量z與類別標簽y相乘組成，輸入向量經(jīng)多層感知機映射形成一段長序列T0，并與位置編碼向量相加，經(jīng)過線性展平后輸入到N1個Transformer 編碼器中。輸出的張量經(jīng)線性展平恢復后，進行Pixel Shuffle上采樣，并重復之前步驟。最后線性展平后，進行1×1 卷積，輸出聲譜圖。其中，Transformer 編碼器由歸一化層、多頭注意力機制層、多層感知機層和Dropout 層組成。取N1=3，N2=2。

如表2 所示，本文使用CNN 作為判別器網(wǎng)絡，由3 個卷積層和1 個全連接層組成。其中，卷積核大小選為3×3，步長為2，激活函數(shù)選擇LeakyRelu，每個卷積層后面都跟1 個譜歸一化層。生成器和判別器的訓練過程中，均采用了Adam 優(yōu)化器，矩估計參數(shù)β1和β2分別設(shè)置為0.5 和0.99。設(shè)置生成器的學習率為0.000 2，批次大小為1 280 判別器的學習率為0.000 15，批次大小為64。

4.3 模型評價和結(jié)果分析

4.3.1 生成圖像質(zhì)量評價和分析

為了對比不同數(shù)據(jù)增強算法對樣本數(shù)據(jù)的生成效果，這里選用SMOTE（Synthetic Minority Oversampling Technique，SMOTE），GAN，W-GAN 和IW-GAN 網(wǎng)絡進行對比。目前比較通用的對GAN 網(wǎng)絡生成樣本質(zhì)量的評價指標有IS，F(xiàn)ID，KID 3 種。

IS 首先使用Inception 模型來評估每張生成圖像的真實性，然后計算生成圖像類別分布的KL 散度，以此作為多樣性的度量。IS 數(shù)值越高表示生成圖像質(zhì)量越好。FID 使用了Inception 模型中抽取的特征向量，并計算了它們之間的Fréchet 距離。FID 的值越低表示生成圖像與真實圖像的分布越接近。KID 使用了核函數(shù)來衡量特征空間中的樣本之間的距離，KID 值越低表示生成圖像質(zhì)量越高。

生成樣本質(zhì)量評估結(jié)果如表3 所示，從表3 可以看出，IW-GAN 模型的IS 值高達8.92，在4 種方法當中最高，而該方法的FID 值和KID 值最低，分別為14.62，0.71。這說明本文提出的IW-GAN 模型在維持樣本相似性同時，有效增強了樣本的多樣性。

表3 生成樣本質(zhì)量評估Table 3 Quality assessment of generative sample

4.3.2 故障識別評價和分析

在適用性分析中，本文分類算法采用了SVM，LSTM 及CNN。不同分類模型在經(jīng)過本文模型進行數(shù)據(jù)擴充后，測試集上對不同故障類型辨識的混淆矩陣如圖5 所示。

圖5 不同分類模型的混淆矩陣Fig.5 Confusion matrices of different classification models

采用不同數(shù)據(jù)生成模型，如SMOTE，GAN 和W-GAN 擴充數(shù)據(jù)后，采用CNN 分類時，模型在測試集上的準確率、損失率隨訓練輪數(shù)的變化情況如圖6 所示。不同模型的準確率對比如表4 所示。

表4 不同模型組合的準確率對比Table 4 Accuracy comparison of different model combinations %

圖6 不同生成模型的準確率和損失率對比Fig.6 Comparison of accuracy and loss rate of different generative models

由圖5，圖6 可以看出，相對于其他數(shù)據(jù)增強模型結(jié)合其他分類算法，采用IW-GAN 數(shù)據(jù)增強后使用CNN 進行分類的模型表現(xiàn)出明顯的識別率提升和損失率降低。

由表4 可知，相較原始數(shù)據(jù)，采用不同的數(shù)據(jù)增強算法擴充樣本后，對不同分類器的變壓器聲紋故障診斷模型的識別率均有不同程度的提升。采用SMOTE 算法時，分類器SVM，LSTM 和CNN 識別準確率相較于原始數(shù)據(jù)分別提升了2.2%，2.4%，2.0%；采用原始W-GAN 算法時，分類器SVM，LSTM 和CNN 識別準確率相較于原始數(shù)據(jù)分別提升了2.9%，3.7%，3.8%；采用本文改進設(shè)計的IWGAN，分類器SVM，LSTM 和CNN 識別準確率相較于原始數(shù)據(jù)分別提升了5.5%，5.5%，6.9%。

本文提出的采用更具表達能力的Transformer網(wǎng)絡作為IW-GAN 的生成器，譜歸一化卷積神經(jīng)網(wǎng)絡（SN-CNN）作為IW-GAN 的判別器，能夠有效對小樣本數(shù)據(jù)進行擴充，進而提升變壓器聲紋故障診斷模型的故障識別能力。

5 結(jié)論

本文針對電力變壓器聲紋故障診斷中因變壓器故障聲紋數(shù)據(jù)匱乏而導致的模型識別故障識別準確率不高、泛化能力低的問題，提出的基于IWGAN 的變壓器聲紋診斷模型，通過實驗和評價系統(tǒng)驗證了本文方法的有效性，得到結(jié)論如下：

1）IW-GAN 能夠?qū)崿F(xiàn)對原始數(shù)據(jù)分布特征的有效學習，相較于傳統(tǒng)數(shù)據(jù)增強算法能夠更穩(wěn)定生成多樣性和高質(zhì)量的樣本。

2）應用本文提出的IW-GAN 數(shù)據(jù)增強后，相較于原始數(shù)據(jù)，不同分類器的識別準確率都得到了提升，且相比于SMOTE 與原始W-GAN，本文方法的提升效果更加顯著。

3）該變壓器聲紋診斷模型可在數(shù)據(jù)匱乏和不均衡的情況下對變壓器在線狀態(tài)進行有效診斷，采用IW-GAN 相較原始數(shù)據(jù)故障識別率提升6.9%。