鄧冉，朱永利，劉雪純，翟羽佳

(新能源電力系統(tǒng)國家重點實驗室(華北電力大學(xué))，河北 保定 071003)

局部放電(partial discharge, PD)是電力設(shè)備絕緣性能降低的重要征兆[1]。不同的放電類型有著不同的放電環(huán)境及發(fā)展趨勢，及時識別放電類型對放電信號的定位及檢修預(yù)防工作具有重要意義[2]。放電信號識別的一般步驟是：特征提取、特征降維和模式識別。常用的特征提取方法有：基于圖譜的統(tǒng)計參數(shù)法[3]、基于信號分析的時頻量法[4]及熵[5]和混沌特征法[6]。這些特征具有較高維度，能充分表征樣本信號。常用的模式識別方法有：支持向量機[7](support vector machine, SVM)、神經(jīng)網(wǎng)絡(luò)[8]和聚類方法[9]。這些方法一般都是使用所有類型樣本訓(xùn)練一個分類器，分類器的輸出即為放電類型。高維特征可充分表征雜質(zhì)樣本，使雜質(zhì)更容易影響監(jiān)督學(xué)習(xí)的分類決策面。故在樣本容量有限的情況下，直接使用高維特征易使分類器過擬合[10-11]，需將所有樣本放在一起降維以保持不同類樣本間的差異性，但降維也會使樣本產(chǎn)生形變，縮小樣本差異度[12]。

上述方法都只能識別典型油紙絕緣結(jié)構(gòu)下的各已知類型。然而電力設(shè)備結(jié)構(gòu)多樣且組件復(fù)雜，各種新材料也逐漸被用于設(shè)備制造業(yè)中，很難保證現(xiàn)有的放電庫中包含所有放電類型。若有新的放電類型出現(xiàn)，則會被誤判為已知類型，污染放電庫[13]。此外實際收集的樣本中也可能包含別的非放電樣本，故對典型油紙絕緣結(jié)構(gòu)放電信號的識別應(yīng)多出一個不屬于已知類型的識別分支，稱為“未知類別樣本”。

有關(guān)未知樣本的識別研究較少。文獻(xiàn)[13]集合了所有樣本的權(quán)值指標(biāo)，并對權(quán)值求取閾值以隔開其中的已知和未知類。文獻(xiàn)[14-15]對支持向量描述 (support vector data description, SVDD)的球體半徑進(jìn)一步劃分以確定閾值。這些方法中的未知類型僅為新類型的放電樣本，但實際中的未知信號有無數(shù)種可能，不能保證所有未知信號降維后都能維持原有差異。

目前未知類的識別領(lǐng)域存在的困難有：①未知類型樣本有眾多可能，具有多變性，其對數(shù)據(jù)集整體降維的形變程度的影響無法預(yù)知，甚至可能影響識別結(jié)果。②未知類型樣本多樣，沒有統(tǒng)一的特征屬性，難以識別。

深度學(xué)習(xí)方法自從提出就頗受學(xué)者青睞，促進(jìn)了眾多領(lǐng)域的發(fā)展。變分自編碼器(variational auto-encoders，VAE)是一種結(jié)合了深度學(xué)習(xí)的數(shù)據(jù)生成模型，其內(nèi)部的損失函數(shù)常采用平均方差(mean square error,MSE)距離。該法較少用于PD信號的識別，僅有文獻(xiàn)[16]利用其隱含層提取PD信號特征，仍未用于PD相關(guān)的數(shù)據(jù)生成。最大類間方差法Otsu是一種經(jīng)典閾值二分算法，具有較好的分割效果和很強的自適應(yīng)性[15]，在圖像分離領(lǐng)域得到了廣泛應(yīng)用。

本文針對未知類型樣本的識別問題提出了L2 -VAE方法。為避免降維的影響，特征提取方面使用信號原始未降維特征。針對高維特征下雜質(zhì)樣本對監(jiān)督學(xué)習(xí)的過擬合問題，分別對每類放電建立VAE無監(jiān)督生成模型；對于高維特征的冗余問題，使用L2正則化方法對VAE神經(jīng)網(wǎng)絡(luò)的各層權(quán)值加以約束，以此避免高維特征的過擬合。此外，本文使用各已知類型放電的VAE模型分別對未知類數(shù)據(jù)進(jìn)行數(shù)據(jù)生成，再選用模型中的MSE損失函數(shù)來度量生成樣本和原未知樣本的差距，并選出最匹配的MSE距離。這樣未知類便會得到較大的MSE距離，實現(xiàn)了未知類在MSE距離屬性上的統(tǒng)一性。同理，已知類會得到較小距離，之后再使用Ostu算法對未知類樣本進(jìn)行判定和分離。為驗證本文所提方法的有效性，分別使用降維后的特征及常規(guī)的SVM方法對典型油紙絕緣結(jié)構(gòu)缺陷放電信號分類，并與本文方法使用結(jié)果進(jìn)行對比。

1 L2-VAE基本原理

1.1 VAE原理

圖1 VAE模型Fig.1 VAE model

在圖1的推斷網(wǎng)絡(luò)中，產(chǎn)生估計后驗分布函數(shù)qΨ(z|x)。使用Kullback-Leibler散度度量它和生成網(wǎng)絡(luò)中的真實后驗分布Pθ(z|x)間的距離[17-18]，該距離即為網(wǎng)絡(luò)的損失函數(shù)，通過最小化損失函數(shù)來優(yōu)化網(wǎng)絡(luò)參數(shù)，即

DKL(Pθ(z|x)‖qΨ(z|x))=

(1)

式中：DKL為Kullback-Leibler散度度量函數(shù)；x、z分別為VAE模型的原始量和隱變量。

經(jīng)變分貝葉斯推理得到簡化的變分下界，即為最終的損失函數(shù)

L(θ,Ψ)=DKL(qΨ(z|x)‖P(z))+

E[-ln(Pθ(x|z))].

(2)

式中：E為z服從分布qΨ(z|x)時函數(shù)的期望值。若qΨ(z|x)最終服從標(biāo)準(zhǔn)正態(tài)分布，則先驗分布P(z)也為標(biāo)準(zhǔn)正態(tài)分布，即

(3)

式中N(0,1)為標(biāo)準(zhǔn)正態(tài)分布。

損失函數(shù)L(x)的第1項為qΨ(z|x)和P(z)的Kullback-Leibler散度，結(jié)合式(3)將其簡化。其中的均值、方差可由推斷網(wǎng)絡(luò)中的神經(jīng)網(wǎng)絡(luò)部分得出，即

(4)

對于損失函數(shù)第2項中的Pθ(x|z)，可以由某種概率密度函數(shù)公式直接計算得到[19]。若Pθ(z|x)為二值函數(shù)伯努利分布，則可化簡為交叉熵形式，即

(5)

若Pθ(z|x)為正態(tài)分布，則可化為MSE損失函數(shù)

(6)

可見，損失函數(shù)的第2項度量的是原始量與生成量的距離。由于放電特征不是二值伯努利分布，本文的VAE模型采用MSE損失函數(shù)。

1.2 L2正則化

正則化是通過最小化特征前的系數(shù)來避免機器學(xué)習(xí)過擬合的一種方法，它能夠弱化非必要特征的影響。L2函數(shù)是可導(dǎo)凸函數(shù)，廣泛用于模型的正則化約束[20]。正則化可作為損失函數(shù)的附加部分，含L2項損失函數(shù)的一般表達(dá)式為

L=L′+L2=(kx-y)2+λ‖k‖2.

(7)

式中：k為x的系數(shù)，kx是對樣本屬性的估計；y是樣本的真實屬性；λ為正則化項的權(quán)重；L2為正則化函數(shù)；L′為損失函數(shù)。

1.3 改進(jìn)VAE

為防止維數(shù)災(zāi)難，引入L2正則化，從而達(dá)到近似自適應(yīng)降維的效果。然而VAE模型由神經(jīng)網(wǎng)絡(luò)構(gòu)成，特征前的系數(shù)k是由眾多激活函數(shù)權(quán)值w經(jīng)某種復(fù)雜關(guān)系映射得來，不能直接得到特征前的系數(shù)。模擬正則化原理可直接對激活函數(shù)權(quán)值w最小化。改進(jìn)的損失函數(shù)為

(8)

式中：LVAE為VAE模型的損失函數(shù)；Lw為神經(jīng)網(wǎng)絡(luò)權(quán)值的正則化函數(shù)。

1.4 L2-VAE識別已知放電類型

不同類型的放電信號具有不同的特征關(guān)系，分別使用L2-VAE生成模型并提取特征函數(shù)關(guān)系，在對樣本匹配時選用MSE距離作為度量方法。設(shè)共有g(shù)類放電樣本，樣本的特征向量可表示為F=[f1f2…fp]。對已知類型(不含未知類)的具體識別步驟如下：

a)用各類放電的訓(xùn)練集樣本訓(xùn)練L2-VAE模型，共得到g個VAE樣本集合{tVAE1,tVAE2,…,tVAEk,…,tVAEg}。

d) 在矩陣D中找到最小距離dmin并記錄其下標(biāo)，假設(shè)dMSEk為dmin，則k為樣本類別。

本文有關(guān)高維的適應(yīng)性處理方法如圖2所示，使用g個無監(jiān)督生成模型避免了直接在高維空間對樣本分類，預(yù)防高維的過擬合現(xiàn)象；通過正則化方法改進(jìn)VAE，可達(dá)到自適應(yīng)降維的效果。

圖2 高維特征處理圖Fig.2 High dimensional feature processing diagram

為了驗證本文的高維處理方法對已知類的識別影響，用監(jiān)督學(xué)習(xí)決策樹分類作為對比，分別采用原始圖譜44維統(tǒng)計特征和主成分分析 (principal component analysis,PCA)降到5維的特征對電暈、板對板、懸浮和多尖對板放電進(jìn)行識別。識別結(jié)果如附錄A表A1，決策樹的最大葉子節(jié)點數(shù)取10。由表A1可知，高維特征下本文方法對放電信號的識別效果遠(yuǎn)優(yōu)于決策樹。這是因為本文方法是針對高維問題而設(shè)計的，決策樹對高維數(shù)據(jù)沒有適應(yīng)能力，直接在高維空間分類會過擬合；降維后2種方法都能夠有效識別各放電類型，這是因為測試集中不含未知類型，對已知類降維不會造成嚴(yán)重的形變。

2 L2-VAE識別未知類型

2.1 Otsu原理

Otsu算法又稱最大類間方差法，由學(xué)者Nobuyuki Otsu于1979年提出，是一種自適應(yīng)閾值分割方法，分割后的2類樣本差別最大。其基本原理是先對樣本所在區(qū)域進(jìn)行等級細(xì)分，共分為L個等級，每個等級的長度為h，再從這些等級中選擇使類間方差最大的等級。設(shè)Pi為在第i等級區(qū)間內(nèi)出現(xiàn)樣本的概率；PA(k)、PB(k)分別為[0,k]、[k+1,L]等級區(qū)間出現(xiàn)樣本的概率；μA(k)、μB(k)分別為[0,k]、[k+1,L]區(qū)間出現(xiàn)樣本的等級均值；δ(k)為以k作為分界等級的類間方差；δ*(k)為最大類間方差；k*為最大類間方差對應(yīng)的分界等級。類間方差的定義如式(9)—(13)[13, 21]，且可得到最優(yōu)的劃分閾值T。

(9)

(10)

μ=PA(k)μA(k)+PB(k)μB(k).

(11)

(12)

(13)

2.2 基于L2-VAE的未知類別樣本的識別方法

本文通過對識別樣本的最小MSE距離集dmin進(jìn)行Otsu閾值劃分來識別樣本類型。MSE損失函數(shù)是優(yōu)化VAE模型的依據(jù)，若樣本屬于某一已知類型，則必定能找到與之匹配的VAE模型，與該模型對應(yīng)的MSE損失函數(shù)的值也較小，從而能夠保證獲得較小的dmin；若樣本屬于未知類型，則會與所有VAE模型匹配失敗，那么即使是dmin也會有較大的值。這使得所有未知類型樣本在MSE距離屬性上得到了統(tǒng)一，且已知類的dmin和未知類的dmin值差距較大。

計算訓(xùn)練樣本和待識別樣本(測試樣本)的dmin集，分別記為dXLmin，dCSmin。設(shè)dXLmin集中的最大值為XLmax；使用Otsu算法對dCSmin劃分，可得劃分閾值T。若dCSmin含有未知類，并假設(shè)dCSmin集中已知類的最小值為d1，最大值為d2，未知類的最小值為d3,理想狀態(tài)下的閾值T在區(qū)間[d2，d3]內(nèi);若dCSmin不含未知類，則T屬于區(qū)間[d1，d2]?；诖?，可由XLmax和T間的關(guān)系實現(xiàn)對有無未知類的判定，并由閾值T分離出未知類型。設(shè)已知類型共有g(shù)類，對未知類的識別流程如圖3所示。此方法使用了全部的高維特征，避免了降維的影響。分類工作在一維空間MSE屬性上進(jìn)行以防止分類器高維過擬合，更有利于未知信號的識別。

圖3 識別流程Fig.3 Identification flowchart

3 實例分析

3.1 實驗數(shù)據(jù)

實驗室構(gòu)造典型油紙絕緣結(jié)構(gòu)下的板對板、電暈、懸浮和多尖對板放電模型如附錄A圖A1。其中懸浮放電為油中懸浮，多尖對板采用的是絕緣紙板。試驗標(biāo)準(zhǔn)為IEC 60270-2000，試驗采用的并聯(lián)測試電路如附錄A圖A2，實際的接線照片如附錄A圖A3，用脈沖電流法標(biāo)定放電量。采用TWPD-2F 局部放電綜合分析儀[13]，每個工頻周期記錄一個放電數(shù)據(jù)，采樣點數(shù)為 400～1 600萬。4種放電類型各生成50組，一共有200組放電數(shù)據(jù)。

3.2 未知樣本識別實例分析

在4種放電類型中各選擇50組。并對放電譜圖提取能夠反映譜圖形狀的11個統(tǒng)計特征[22]。每組放電信號有44維特征。

未知類型樣本可以為任意信號，本文測試集中的未知類型選為新放電類型信號和噪聲信號。在4種放電類型中輪流選取2種作為已知類。以已知類中板對板和電暈為例，在板對板、電暈放電數(shù)據(jù)中各抽取40組作為訓(xùn)練集。另取4種放電各10組，噪聲數(shù)據(jù)30組作為測試集。測試集中的懸浮、多尖對板、噪聲共50組數(shù)據(jù)是未知類型。使用訓(xùn)練集的2種數(shù)據(jù)分別訓(xùn)練出板對板、電暈2個L2-VAE模型，λ取200。分別使用2個模型生成2組新的測試集數(shù)據(jù)和2組新的訓(xùn)練集數(shù)據(jù)。計算生成數(shù)據(jù)和原真實數(shù)據(jù)的MSE距離，并得到dmin集。獲取dXLmin集中的最大值XLmax，用Otsu自適應(yīng)法對測試集dCSmin劃分閾值，依據(jù)本文方法判斷樣本類別。同理得到另外5種模式下的識別結(jié)果，見表1。

表1 測試集識別結(jié)果Tab.1 Identification results of test set %

由表1可知，本文方法能有效地分離未知類型，同時也實現(xiàn)了各已知類型的識別，保證了已知類的識別效率。

為驗證MSE的度量效果，分別選擇MSE、Tanimoto系數(shù)和Person系數(shù)度量高維特征向量的距離。對比“板對板+電暈”模式的識別結(jié)果見表2。

表2 各度量方式識別結(jié)果Tab.2 Identification results of each metric method %

由表2可知,各度量方法對已知類都有較好的識別率，MSE對未知類的識別效果最好。這是因為訓(xùn)練VAE模型時采用的損失函數(shù)是MSE形式， 故后續(xù)的匹配方式選用MSE能夠充分結(jié)合模型優(yōu)勢，利用到模型的訓(xùn)練成果。

為了展現(xiàn)直接使用高維特征對未知類的識別優(yōu)勢，使用PCA算法分別將4種放電數(shù)據(jù)降到二維并以X1、X2表示，如圖4所示。

圖4 局放信號二維特征圖Fig.4 Two-dimensional feature diagram of partial discharge

由圖4可知，若未知類型為放電信號，則降維造成的影響不大。另將30組噪聲數(shù)據(jù)和放電數(shù)據(jù)降到二維，如圖5所示。

由圖5可知，噪聲和板對板放電的分布規(guī)律不同，但二維視角有部分重疊，含有噪聲樣本的降維會使樣本特征集變形，噪聲和板對板放電間的差異度產(chǎn)生嚴(yán)重形變，同時削弱了懸浮和多尖對板放電的差異度。為了展現(xiàn)低維特征對含噪聲的未知類型的識別效果，先將44維特征降到5維，再使用本文方法對5維的樣本集合進(jìn)行識別，對“板對板+電暈”模式的識別結(jié)果見表3。

圖5 局放信號和噪聲二維特征圖Fig.5 Two-dimensional feature diagram of partial discharge and noise

Tab.3 Identification results of post-dimension test sets (including unknown classes)%

由表3可知，由于未知類型中噪聲樣本的影響，降維后的未知類識別率下降，同時嚴(yán)重影響了已知類板對板放電的識別。此外實際中新放電類型不可預(yù)測，降維后不一定能維持各類信號的差異度，有必要使用高維特征實現(xiàn)對信號的充分表達(dá)，低維特征不適合未知類的識別。

為方便展示本文的正則化效果，對板對板放電的40組數(shù)據(jù)另加1個無用特征，該特征在前20組數(shù)據(jù)和后20組數(shù)據(jù)上差異較大，會對板對板放電產(chǎn)生干擾。分別采用VAE和L2-VAE進(jìn)行特征生成，該特征的生成結(jié)果見附錄A表A2。由表A2可知原始VAE生成的特征有較大差異，仍為無用的干擾特征，而L2-VAE生成的特征趨于一致，削弱了該特征的干擾。

SVM分類的“最大間隔”原理使其也具有處理高維特征的能力。為綜合驗證本文方法的識別效果，分別采用文獻(xiàn)[13]中的模糊C均值(fuzzy C-means, FCM)加權(quán)聚類的未知類識別方法和SVM分類算法作為對比，分別對只含已知類和含有未知類的測試集樣本進(jìn)行識別。對“板對板+電暈”模式44維特征的識別結(jié)果見表4，SVM參數(shù)C取1，高斯參數(shù)取0.05。

表4 本文方法和SVM對比Tab.4 Comparison of this method and SVM %

由表4可知：測試集中不含未知類時，SVM和L2-VAE都能準(zhǔn)確識別放電類型，而FCM只能識別板對板放電，它將已知類電暈放電誤判為了未知類，不能對是否含有未知類進(jìn)行判定；測試集中含有未知類時，SVM不能識別未知類，這是因為SVM算法誤將未知類型分為了已知類型。本文所提方法對已知、未知類都有較高的識別率。FCM也能識別各類信號，但效果略遜于本文方法，這是因為FCM在對樣本降維的過程中產(chǎn)生了圖5的噪聲和板對板放電信號重疊的現(xiàn)象。

4 結(jié)論

本文提出了基于L2-VAE的未知類型局部放電識別方法，并得出以下結(jié)論：

a)對各已知類樣本的高維特征建立多個改進(jìn)的L2-VAE生成模型，能夠削弱降維的形變影響，并能在一定程度上抑制維數(shù)災(zāi)難。

b)獲取每例樣本的MSE距離值，利用Otsu自適應(yīng)算法對待識別樣本的最小MSE距離集劃分閾值，以實現(xiàn)未知類的判定。

c)實驗結(jié)果表明，本文方法能夠充分利用樣本特征信息，對典型油紙絕緣結(jié)構(gòu)缺陷下的未知類信號識別效果優(yōu)于SVM和FCM。