朱瑞金，郝東光，胡石峰

（1.西藏農(nóng)牧學(xué)院電氣工程學(xué)院，林芝 860000；2.國(guó)網(wǎng)西藏電力有限公司，林芝 860100）

變壓器是發(fā)電廠和變電所的主要設(shè)備之一。變壓器的運(yùn)行狀態(tài)關(guān)系到整個(gè)電力系統(tǒng)的穩(wěn)定性，倘若其發(fā)生故障會(huì)引發(fā)局部或者大面積停電，造成巨大的經(jīng)濟(jì)損失。因此，對(duì)變壓器故障做出準(zhǔn)確地及時(shí)診斷對(duì)于電力系統(tǒng)的安全運(yùn)行具有重要意義[1]。

變壓器故障診斷主要包括特征提取和模式識(shí)別兩個(gè)步驟。特征提取的質(zhì)量對(duì)于分類準(zhǔn)確率有著至關(guān)重要的作用，已有的方法主要包括三比值法、Rogers比值法、大衛(wèi)三角形法及Dornenburg比值法[2-3]。這些方法是以溶解氣體分析DGA（dis?solved gas analysis）為基礎(chǔ)，通過四則運(yùn)算構(gòu)建人工特征，具有方法簡(jiǎn)單、容易實(shí)現(xiàn)的特點(diǎn)，因而在實(shí)際應(yīng)用中發(fā)揮了重要的作用。然而，這些方法需要依靠專家經(jīng)驗(yàn)選擇特征，特征提取的過程沒有統(tǒng)一的理論依據(jù)，總結(jié)的特征個(gè)數(shù)有限，不具有普適性。模式識(shí)別指的是對(duì)提取的特征進(jìn)行分析以診斷出變壓器的故障類型。傳統(tǒng)的方法主要包括支持向量機(jī)SVM（support vector machine）、貝葉斯網(wǎng)絡(luò)、k近鄰、模糊集理論、多層感知機(jī)MLP（multi-layer per?ceptron）和XGBoost算法[4-7]。其中：SVM處理小樣本數(shù)據(jù)集的速度較快，但由于它的本質(zhì)是一個(gè)二分類器，對(duì)于變壓器故障診斷這種多分類問題，它的準(zhǔn)確率不高；貝葉斯網(wǎng)絡(luò)在使用時(shí)需要預(yù)先設(shè)定先驗(yàn)概率，可能會(huì)由于假設(shè)的先驗(yàn)概率不夠準(zhǔn)確而導(dǎo)致分類的效果不好；MLP雖然有著較強(qiáng)的學(xué)習(xí)能力，但它容易出現(xiàn)過擬合現(xiàn)象，而且特征提取能力有限；XGBoost是一種常用的集成學(xué)習(xí)方法，通過訓(xùn)練多個(gè)分類器提高分類的準(zhǔn)確率，但它的參數(shù)太多，存在著調(diào)參困難的缺陷?？偟膩碚f，雖然這些傳統(tǒng)方法適用于小樣本數(shù)據(jù)集的變壓器故障診斷，但各個(gè)方法的特征提取能力不足、分類的準(zhǔn)確率有待提升。

近年來，深度學(xué)習(xí)發(fā)展迅猛，在國(guó)內(nèi)外都引起了廣泛的關(guān)注，也給變壓器故障診斷帶來了新的研究思路[8]。已有的基于深度學(xué)習(xí)的變壓器故障診斷方法主要包括自動(dòng)編碼器、深度信念網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò)[9-11]。盡管這些深度神經(jīng)網(wǎng)絡(luò)相對(duì)于傳統(tǒng)模式識(shí)別的方法具有更高的診斷準(zhǔn)確率，但它們都需要海量的樣本來訓(xùn)練網(wǎng)絡(luò)，對(duì)于小樣本數(shù)據(jù)集難以奏效。特別的，卷積孿生網(wǎng)絡(luò)CSNN（convolutional Siamese neural network）是一種基于相似性度量的方法，可以對(duì)少量標(biāo)簽樣本進(jìn)行有效的學(xué)習(xí)，從而獲得對(duì)未知樣本的判別能力[12]。目前，CSNN在人臉匹配、簽名驗(yàn)證、語義相似度分析及視覺跟蹤等領(lǐng)域得到了廣泛地應(yīng)用，但在電力系統(tǒng)故障診斷中的應(yīng)用還相對(duì)較少[13-14]。如何根據(jù)變壓器的溶解氣體數(shù)據(jù)特征設(shè)計(jì)出一種具有強(qiáng)大特征提取能力和較高診斷準(zhǔn)確率的網(wǎng)絡(luò)結(jié)構(gòu)有待進(jìn)一步的研究。

針對(duì)已有的變壓器故障診斷方法對(duì)于小樣本數(shù)據(jù)集的準(zhǔn)確率不高的問題，提出了一種小樣本條件下基于CSNN的變壓器故障診斷方法，所提方法的主要優(yōu)勢(shì)在于：

（1）在特征提取環(huán)節(jié)，具有強(qiáng)大特征提取能力的卷積層和池化層被用來構(gòu)建孿生網(wǎng)絡(luò)將原始數(shù)據(jù)映射到低維空間，不僅可以實(shí)現(xiàn)特征的自動(dòng)提取，還能避免人工提取特征的主觀和繁瑣；

（2）在模式識(shí)別環(huán)節(jié)，不同于已有的深度學(xué)習(xí)方法都需要訓(xùn)練一個(gè)分類器（比如，SoftMax），所提的CSNN是在低維空間基于歐式距離進(jìn)行相似度的對(duì)比，從而實(shí)現(xiàn)故障的分類，這給基于深度學(xué)習(xí)的故障診斷提供了新的研究思路；

（3）所提方法只需要通過少量標(biāo)簽樣本就能獲取到多種故障類型的共通特征，并用于預(yù)測(cè)未知樣本的故障類型。在小樣本條件下，所提方法相對(duì)于已有方法具有更高的準(zhǔn)確率。

1 基于CSNN的變壓器故障診斷方法

1.1 CSNN的原理

傳統(tǒng)的分類方法（比如SVM）需要確切的知道每個(gè)樣本屬于哪個(gè)類型。在類型的數(shù)量過多，每個(gè)類型的樣本數(shù)量又相對(duì)較少的情況下，這些方法的準(zhǔn)確率會(huì)大打折扣。出現(xiàn)這種現(xiàn)象的原因是對(duì)于整個(gè)數(shù)據(jù)集來說，每個(gè)類型的樣本數(shù)量太少，用傳統(tǒng)的分類方法難以訓(xùn)練出好的分類器。為了解決小樣本數(shù)據(jù)集的分類問題，有學(xué)者提出了基于相似性度量的CSNN。從數(shù)據(jù)中去學(xué)習(xí)一個(gè)相似性度量，并用這個(gè)學(xué)習(xí)出來的度量去比較和匹配新的未知類別的樣本[15]。

CSNN的結(jié)構(gòu)如圖1所示，CSNN的訓(xùn)練和預(yù)測(cè)過程都需要成對(duì)的變壓器故障樣本（歸一化后的溶解氣體特征序列）作為輸入，通過相同權(quán)重的神經(jīng)網(wǎng)絡(luò)將輸入數(shù)據(jù)映射到低維空間，在低維空間使用簡(jiǎn)單的距離（比如歐式距離）進(jìn)行相似度的對(duì)比。在訓(xùn)練階段，CSNN的目標(biāo)是去最小化來自相同類型的一對(duì)變壓器故障樣本的損失函數(shù)值，并最大化來自不同類型的一對(duì)變壓器故障樣本的損失函數(shù)值。一般的，卷積網(wǎng)絡(luò)的輸出值是GW(X)，其中W是神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，X是輸入的樣本數(shù)據(jù)。訓(xùn)練的目標(biāo)就是優(yōu)化權(quán)重W使得當(dāng)X1和X2屬于不同一個(gè)故障類型的時(shí)候，相似度是一個(gè)較大的值，X1和X2屬于同一個(gè)故障類型的時(shí)候，相似度是一個(gè)較小的值。

圖1CSNN的結(jié)構(gòu)Fig.1 Structure of Siamese network

從圖1可以看出，左右兩邊的網(wǎng)絡(luò)是完全相同的網(wǎng)絡(luò)結(jié)構(gòu)，它們共享相同的權(quán)重W，輸入數(shù)據(jù)為一對(duì)變壓器故障樣本(X1,X2,Y)，其中Y=0表示X1和X2屬于同一個(gè)故障類型，Y=1則表示不是同一個(gè)故障類型。針對(duì)兩個(gè)變壓器故障樣本X1和X2，分別映射到低維空間GW(X1)和GW(X2)。得到的這兩個(gè)輸出結(jié)果將被用于計(jì)算能量函數(shù)EW(X1,X2)，若能量函數(shù)小于閾值，則認(rèn)為輸入的兩個(gè)樣本屬于同類故障。能量函數(shù)的表達(dá)式為

對(duì)比損失（contrastive loss）函數(shù)和輸入樣本、參數(shù)有關(guān)，它的形式為

式中：P為輸入的總樣本數(shù)；i為當(dāng)前樣本的下標(biāo)；LG為兩個(gè)樣本為同類型時(shí)的損失函數(shù)；LI為兩個(gè)樣本為不同故障類型時(shí)的損失函數(shù)；Y為X1和X2是否屬于同一類故障。通過這樣分開設(shè)計(jì)，可以使得最小化損失函數(shù)的時(shí)候，可以減少相同類型故障樣本對(duì)的能量，增加不同類型故障樣本對(duì)的能量。為了實(shí)現(xiàn)這種效果，只需要將LG設(shè)計(jì)成單調(diào)增加，讓LI單調(diào)遞減即可。根據(jù)文獻(xiàn)[12]，設(shè)計(jì)單個(gè)故障樣本的損失函數(shù)為

式中，Q為一個(gè)常量，這個(gè)損失函數(shù)的收斂證明見文獻(xiàn)[12]。

1.2 CSNN的結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural network）具有強(qiáng)大的特征提取能力，在圖像識(shí)別、穩(wěn)定性評(píng)估和模式識(shí)別等領(lǐng)域得到了廣泛地應(yīng)用[16]。因此，卷積神經(jīng)網(wǎng)絡(luò)被用來構(gòu)建孿生網(wǎng)絡(luò)將溶解氣體數(shù)據(jù)映射到低維空間。

卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層及全連接層FC（fully-connected layers）組成。卷積層的主要操作是對(duì)上一層的輸出數(shù)據(jù)進(jìn)行卷積運(yùn)算，并加上偏置向量作為下一層的輸入數(shù)據(jù)，其表達(dá)式為

式中：yi為第i層的輸出數(shù)據(jù)；fi為第i層的激活函數(shù)（這里取線性整流函數(shù)ReLU）；xi為第i層的輸入數(shù)據(jù)；wi為第i層卷積核的權(quán)重；bi為第i層卷積核的偏置向量；*為卷積運(yùn)算符號(hào)。

采樣層對(duì)卷積層輸出的數(shù)據(jù)進(jìn)行下采樣操作，只保留關(guān)鍵的特征以降低數(shù)據(jù)的維度。如圖2所示，池化方式有最大池化和平均池化，其數(shù)學(xué)表達(dá)式為

式中：R為池化的區(qū)域；為最大池化層輸出的數(shù)據(jù)；為平均池化層輸出的數(shù)據(jù)。

池化層的后面一般是平坦層，將池化層輸出的多維數(shù)據(jù)轉(zhuǎn)變成一維向量作為全連接層的輸入數(shù)據(jù)。全連接層輸出的就是低維空間的數(shù)據(jù)，將被用于計(jì)算相似度。其表達(dá)式如下：

對(duì)于小樣本數(shù)據(jù)集，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)過擬合現(xiàn)象。為了緩解這個(gè)問題，在卷積層后面插入“Dropout”層。它的作用是以一定的概率讓神經(jīng)元停止工作，有利于提高模型的泛化能力。

圖2 不同的池化方式Fig.2 Different pooling modes

1.3 CSNN的流程

基于CSNN的變壓器故障診斷過程主要包括4個(gè)步驟，如圖3所示。

（1）特征的選擇。變壓器在正常運(yùn)行時(shí)，固體絕緣和絕緣油都會(huì)被分解并釋放出微量的氣體，主要包括乙炔C2H2、乙烷C2H6、甲烷CH4、氫氣H2、乙烯C2H4、二氧化碳CO2和一氧化碳CO。當(dāng)變壓器發(fā)生絕緣受潮濕、低能發(fā)電和高溫過熱等異?，F(xiàn)象時(shí)，這些氣體含量會(huì)迅速地劇增，大部分溶解在絕緣油中，少部分會(huì)上升到絕緣油的表面進(jìn)入繼電器。通過溶解氣體分析可以為變壓器的故障診斷提供重要依據(jù)。因此，本文以溶解氣體H2、CH4、C2H6、C2H4和C2H2的含量作為原始特征，再加上Rogers比值法構(gòu)建的4個(gè)特征[10]，一共9個(gè)特征，作為CSNN的輸入。

圖3 變壓器故障診斷的流程Fig.3 Flow chart of transformer fault diagnosis

（2）數(shù)據(jù)預(yù)處理。考慮到各個(gè)特征的單位和數(shù)量級(jí)不一樣，如果不對(duì)原始特征進(jìn)行歸一化，在后續(xù)的模型訓(xùn)練過程中可能會(huì)出現(xiàn)準(zhǔn)確率低或者難以收斂的現(xiàn)象。因此，在把數(shù)據(jù)作為CSNN的輸入前，將其映射到[0，1]區(qū)間，其數(shù)學(xué)表達(dá)式為

式中：x、x′分別為歸一化前、后的數(shù)據(jù)；xmin、xmax分別為該特征的最小值和最大值。

（3）CSNN的訓(xùn)練。在模型的訓(xùn)練階段，初始化CSNN的結(jié)構(gòu)和參數(shù)，將標(biāo)簽樣本以成對(duì)的形式輸入到模型中。通過前向傳播，計(jì)算出模型輸出數(shù)據(jù)和預(yù)期目標(biāo)的誤差。判斷模型是否收斂，若收斂則訓(xùn)練結(jié)束，輸出訓(xùn)練好的CSNN用于診斷未知樣本的故障類型。否則，利用誤差反向更新網(wǎng)絡(luò)的權(quán)值和閾值。

（4）未知樣本的故障診斷。在故障診斷階段，將未知樣本和每一個(gè)標(biāo)簽樣本組成樣本對(duì)。將樣本對(duì)作為CSNN的輸入數(shù)據(jù)，若這個(gè)樣本對(duì)的歐式距離小于閾值，則認(rèn)為它們是同類。統(tǒng)計(jì)這個(gè)未知樣本屬于每一類故障的概率，將這個(gè)樣本歸到概率最高的那一類中。

2 算例分析

為了說明CSNN診斷變壓器故障的有效性，采用衡水市和上海市供電公司的實(shí)際數(shù)據(jù)集進(jìn)行仿真驗(yàn)證[17]。經(jīng)過清洗后，數(shù)據(jù)集包括535個(gè)樣本，一共9種狀態(tài)分別是正常、低能放電、高能放電、高溫高熱、低溫過熱、中溫過熱、局部放電、高能放電兼過熱及低能放電兼過熱。訓(xùn)練集占總樣本個(gè)數(shù)的60%，驗(yàn)證集和測(cè)試集各占20%。訓(xùn)練集和驗(yàn)證集用來訓(xùn)練CSNN，測(cè)試集用來分析CSNN的性能。所有方法均在帶有TensorFlow的Spyder平臺(tái)下運(yùn)行。通過對(duì)CSNN的結(jié)構(gòu)和參數(shù)進(jìn)行多次試探，最優(yōu)模型如圖4所示。CSNN的輸入樣本是一對(duì)維度是1×9的溶解氣體特征序列。通過Python自帶的Reshape函數(shù)將向量重構(gòu)成3×3的矩陣作為卷積層的輸入。經(jīng)過多個(gè)卷積層、池化層和全連接層的處理后，輸出1×8的向量用于這對(duì)樣本的計(jì)算歐式距離。模型細(xì)節(jié)如下：兩個(gè)卷積層的卷積核個(gè)數(shù)依次是16和36，卷積核大小都是2×2；最大池化層的池化窗口大小是2×2。卷積層和池化層的激活函數(shù)都是ReLU；在兩個(gè)卷積層后面插入一個(gè)Dropout層以緩解過擬合，Dropout層的概率設(shè)置為0.2；全連接層的神經(jīng)元個(gè)數(shù)是8，激活函數(shù)是ReLU。

圖4 卷積CSNN的結(jié)構(gòu)Fig.4 Structure of convolutional Siamese network

為了分析CSNN的訓(xùn)練狀態(tài)是否穩(wěn)定，圖5展示了損失函數(shù)隨著迭代次數(shù)增加的變化情況。

圖5CSNN的訓(xùn)練過程Fig.5 Training process of Siamese network

顯而易見，驗(yàn)證集和訓(xùn)練集的損失函數(shù)隨著迭代次數(shù)的增加而減小。當(dāng)?shù)螖?shù)大于80時(shí)，CSNN的損失函數(shù)趨于平穩(wěn)不再繼續(xù)下降，這表明該網(wǎng)絡(luò)已經(jīng)收斂。此外，對(duì)比訓(xùn)練集和驗(yàn)證集的損失函數(shù)發(fā)現(xiàn)它們的損失函數(shù)非常接近，這說明網(wǎng)絡(luò)的泛化能力較強(qiáng)，沒有出現(xiàn)過擬合現(xiàn)象。

為了分析CSNN的批尺寸（Batch size）對(duì)于分類準(zhǔn)確率的影響，分別設(shè)置批尺寸為5、10、20、40、60、80、100和120，統(tǒng)計(jì)出測(cè)試集的準(zhǔn)確率如圖6所示。

圖6 不同批尺寸的準(zhǔn)確率Fig.6 Accuracy with different batch sizes

為了分析CSNN的閾值對(duì)于分類準(zhǔn)確率的影響，分別設(shè)置不同閾值，統(tǒng)計(jì)測(cè)試集的準(zhǔn)確率如圖7所示。

圖7 不同閾值的準(zhǔn)確率Fig.7 Accuracy with different thresholds

由圖7可知：（1）當(dāng)閾值比較小的時(shí)候，被CSNN判定成和未知樣本同類的已知樣本個(gè)數(shù)會(huì)很少。若閾值足夠小，這個(gè)未知樣本會(huì)被歸到和它距離最近的那個(gè)樣本所屬的故障類型中。從仿真結(jié)果來看，閾值較小時(shí)，準(zhǔn)確率不高；（2）相對(duì)的，如果閾值很大，被CSNN判定成和未知樣本同類的已知樣本個(gè)數(shù)會(huì)很多。這個(gè)未知樣本很有可能會(huì)被歸到擁有最多樣本的故障類型中，此時(shí)的準(zhǔn)確率很有限。當(dāng)閾值設(shè)定0.3的時(shí)候，模型的分類準(zhǔn)確率達(dá)到最高。

為了驗(yàn)證所提方法的有效性，分別統(tǒng)計(jì)CSNN、基于全連接層的孿生網(wǎng)絡(luò)FSNN（fully connected neural Siamese network）、SVM、XGBoost、MLP及CNN在不同輸入特征下，對(duì)于測(cè)試集的準(zhǔn)確率如表1所示。

表1 不同方法的準(zhǔn)確率Tab.1 Accuracy of different methods%

由表1可知：（1）根據(jù)輸入特征的不同，變壓器故障的診斷準(zhǔn)確率按IEC比值法、Rogers比值法和本文的特征依次提升，這說明這些比值法雖然在包含了原始數(shù)據(jù)大部分信息的前提下，在一定程度上減小了輸入特征的維度，但也損失了部分準(zhǔn)確率；（2）相對(duì)于SVM、XGBoost、MLP和CNN而言，孿生網(wǎng)絡(luò)有著更高的分類準(zhǔn)確率。進(jìn)一步對(duì)比兩個(gè)孿生網(wǎng)絡(luò)的準(zhǔn)確率，發(fā)現(xiàn)利用卷積層和池化層來構(gòu)建孿生網(wǎng)絡(luò)比僅用全連接層構(gòu)建來孿生網(wǎng)絡(luò)會(huì)收獲更高的準(zhǔn)確率，這是因?yàn)榫矸e層比全連接層具有更強(qiáng)大的特征提取能力。

為了進(jìn)一步測(cè)試本文所提CSNN、FSNN、SVM、XGBoost、MLP和CNN在不同數(shù)據(jù)量下的分類準(zhǔn)確率，設(shè)置了4種仿真場(chǎng)景，如表2所示。4種仿真場(chǎng)景統(tǒng)計(jì)出測(cè)試集的準(zhǔn)確率如表3所示。

表2 不同場(chǎng)景的樣本個(gè)數(shù)Tab.2 Numbers of samples in different scenarios

表3 不同場(chǎng)景的準(zhǔn)確率Tab.3 Accuracy in different scenarios%

由表2和表3可知：（1）隨著數(shù)據(jù)集中樣本個(gè)數(shù)的增加，各個(gè)模型能夠?qū)W習(xí)到更多的信息，分類準(zhǔn)確率也就越高。相對(duì)而言，CSNN的準(zhǔn)確率比其他方法的準(zhǔn)確率都高，而且數(shù)據(jù)量越小越明顯，這說明CSNN比其他方法更適合小樣本條件下的變壓器故障診斷；（2）CNN和CSNN都是先利用卷積層和池化層來提取特征，不同的是前者在特征后面接分類器（比如Softmax），后者是利用歐式距離進(jìn)行相似度對(duì)比。CSNN比CNN的準(zhǔn)確率高，這表明相似度對(duì)比法比訓(xùn)練分類器法更加適合小樣本條件下的變壓器故障診斷。

3 結(jié)論

針對(duì)已有的變壓器故障診斷方法對(duì)于小樣本數(shù)據(jù)集的準(zhǔn)確率不高的問題，本文提出了一種小樣本條件下基于CSNN的變壓器故障診斷方法。卷積層和池化層被用來構(gòu)建孿生網(wǎng)絡(luò)將原始數(shù)據(jù)映射到低維空間，并通過歐式距離對(duì)比相似度，從而實(shí)現(xiàn)故障的分類。通過仿真得出的結(jié)論如下。

（1）相比于SVM、XGBoost、MLP和CNN，所提出的CSNN在不同輸入特征的場(chǎng)景下均得到了更高的診斷準(zhǔn)確率。此外，利用卷積層和池化層來構(gòu)建孿生網(wǎng)絡(luò)比僅用全連接層構(gòu)建來孿生網(wǎng)絡(luò)會(huì)得到更高的準(zhǔn)確率。

（2）CSNN相對(duì)比SVM、XGBoost、MLP和CNN，更加適合小樣本條件下的變壓器故障診斷。

（3）通過對(duì)比CSNN和CNN的準(zhǔn)確率，發(fā)現(xiàn)相似度對(duì)比法比訓(xùn)練分類器法更加適合小樣本條件下的變壓器故障診斷。