裴小鄧，羅 林，陳 帥，王 喬

（遼寧石油化工大學(xué)信息與控制工程學(xué)院，遼寧撫順113001）

電力變壓器是電力系統(tǒng)中關(guān)鍵電氣設(shè)備之一，一旦變壓器因故障而停止工作，將會(huì)對(duì)整個(gè)區(qū)域的生產(chǎn)生活造成不可估量的損失。因此，實(shí)時(shí)識(shí)別電力變壓器的運(yùn)行狀態(tài)是非常必要的[1]。電力變壓器在實(shí)際運(yùn)行條件下受電氣應(yīng)力、機(jī)械應(yīng)力和熱壓力等因素的影響，其絕緣材料與變壓器油會(huì)發(fā)生緩慢的化學(xué)變化，進(jìn)而放出CO2、CO 氣體以及生成某些碳?xì)浠衔铮–H4、C2H6等）溶解在油中。當(dāng)變壓器發(fā)生故障時(shí)，將加速這些化學(xué)反應(yīng)的進(jìn)行，所生成的化合物種類及比例與放電、放熱等故障有著密切的聯(lián)系[2]。

基于DGA 的電力變壓器故障診斷方法主要分為傳統(tǒng)診斷方法和人工智能診斷方法。傳統(tǒng)診斷方法主要有特征氣體法和比值法（包括IEC 三比值法、改進(jìn)的IEC 三比值法）。雖然這些方法便于工程應(yīng)用，但是編碼并不完備，對(duì)于某些故障很難找到與之對(duì)應(yīng)的編碼，因此診斷的準(zhǔn)確率較低。人工智能診斷方法主要包括模糊理論[3]、專家系統(tǒng)[4]、神經(jīng)網(wǎng)絡(luò)[5]、支持向量機(jī)[6]等。雖然這些方法取得了較好的應(yīng)用效果，提高了故障識(shí)別率，但同時(shí)存在著一定不足。模糊理論診斷法隸屬函數(shù)難以確定，需要大量的實(shí)際故障數(shù)據(jù)；專家系統(tǒng)診斷法需要大量的專家經(jīng)驗(yàn)，獲取到的經(jīng)驗(yàn)難以表達(dá)，推理能力較弱；神經(jīng)網(wǎng)絡(luò)診斷法存在易陷入局部最優(yōu)、收斂速度慢、泛化能力差等缺點(diǎn)；支持向量機(jī)診斷法在本質(zhì)上屬于二分類問(wèn)題，處理多分類問(wèn)題時(shí)需要經(jīng)歷“一對(duì)一”或“一對(duì)多”等復(fù)雜的過(guò)程，核函數(shù)和正則化參數(shù)選擇困難。

隨著機(jī)器學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)的發(fā)展推動(dòng)了人工智能技術(shù)在變壓器DGA 故障診斷方面的諸多應(yīng)用，如深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）[7]、深度自編碼網(wǎng)絡(luò)(Deep Auto -Encoder Network，DAEN)[8]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[9]。文獻(xiàn)[10]提出了一種基于深度置信網(wǎng)絡(luò)構(gòu)建變壓器故障診斷模型，利用快速歧化算法加快了網(wǎng)絡(luò)收斂速度，在診斷的準(zhǔn)確率上較BPNN 和SVM 有了提升。文獻(xiàn)[11]提出了一種基于貝葉斯正則化深度信念網(wǎng)絡(luò)的電力變壓器故障診斷方法，克服了傳統(tǒng)的DBN 方法在大量無(wú)標(biāo)簽樣本的情況下才能得到較高準(zhǔn)確率的缺點(diǎn)。文獻(xiàn)[12]提出了一種基于深度自編碼網(wǎng)絡(luò)的電力變壓器故障診斷方法，解決了一些樣本數(shù)據(jù)缺少標(biāo)簽的問(wèn)題，但是該方法需要大量的預(yù)訓(xùn)練樣本，在預(yù)訓(xùn)練樣本數(shù)據(jù)較少時(shí)，診斷的效果并不理想。文獻(xiàn)[13]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法，雖然克服了一些淺層機(jī)器學(xué)習(xí)方法存在的問(wèn)題，但是池化類型和網(wǎng)絡(luò)深度的選擇并未說(shuō)明，卷積網(wǎng)絡(luò)強(qiáng)大的特征提取能力并未得到展示。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法，利用卷積層提取特征和池化層強(qiáng)化重要特征的能力來(lái)解決特征提取和過(guò)擬合的問(wèn)題，達(dá)到提高診斷準(zhǔn)確率的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本原理

一個(gè)完整的卷積神經(jīng)網(wǎng)絡(luò)一般是由輸入層、卷積層、池化層、展開層、全連接層、輸出層組成,其中卷積層和池化層是整個(gè)網(wǎng)絡(luò)的核心。

1.1 卷積層

卷積層是通過(guò)使用卷積核對(duì)上一層的部分區(qū)域進(jìn)行卷積運(yùn)算，提取出相應(yīng)的特征信息。卷積層最重要的兩個(gè)特點(diǎn)是稀疏連接和權(quán)值共享，這兩點(diǎn)也是卷積神經(jīng)網(wǎng)絡(luò)和普通的神經(jīng)絡(luò)本質(zhì)上的區(qū)別。稀疏連接和全連接的不同之處在于卷積層中的神經(jīng)元只與上一層的部分神經(jīng)元相連，權(quán)值共享的優(yōu)點(diǎn)在于特征提取時(shí)可以不考慮局部特征的位置，同時(shí)可以有效地減少卷積層網(wǎng)絡(luò)參數(shù)的數(shù)量，從而降低因參數(shù)過(guò)多而發(fā)生過(guò)擬合的幾率。全連接、稀疏連接、權(quán)值共享示意圖如圖1 所示。

圖1 全連接、稀疏連接、權(quán)值共享示意圖

卷積層的輸出結(jié)果為：

1.2 池化層

卷積層提取到的特征在傳入下一層之前，可以對(duì)其進(jìn)行處理，池化是最常用的處理方式。通過(guò)池化層的處理，卷積層提取到的特征維度得到有效的壓縮，可以減少網(wǎng)絡(luò)中參數(shù)的數(shù)量，網(wǎng)絡(luò)的計(jì)算量得到降低，同時(shí)也降低網(wǎng)絡(luò)發(fā)生過(guò)擬合的幾率。池化有最大池化和平均池化兩種方式，最大池化是對(duì)某個(gè)區(qū)域的特征取最大化的操作，可以濾去一些不重要的特征信息。平均池化是對(duì)某個(gè)區(qū)域的特征進(jìn)行平均化的操作，對(duì)一些不重要的特征信息并不像最大池化那樣完全濾去，而是淡化，以此來(lái)強(qiáng)化那些重要的特征信息。由此可見(jiàn)，模型經(jīng)過(guò)池化處理后，其抗干擾能力和穩(wěn)定性都得到加強(qiáng)。

池化層的輸出結(jié)果為：

1.3 Softmax 回歸模型

本文采用Softmax 回歸模型。Softmax 回歸模型是Logistic 回歸模型的推廣,常用于求解多分類問(wèn)題。假設(shè)訓(xùn)練集為{(x(1)，y(1))，(x(2)，y(2))，…，(x(m)，y(m))}，其中x(i)∈Rn+1，y(i)∈{1，2，3，4，…，k}，當(dāng)輸入樣本為x 時(shí)，可由激勵(lì)函數(shù)hθ(x)求出樣本屬于任意類別時(shí)的概率p(y=j|x)。假設(shè)函數(shù)將要輸出一個(gè)k維的向量來(lái)表示k 個(gè)估計(jì)的概率值，這些向量元素之和為1。激勵(lì)函數(shù)可表示為：

式中，θ1,θ2,…,θK∈Rn+1為模型參數(shù)項(xiàng)是對(duì)概率分布進(jìn)行歸一化處理，使所有概率的和等于1。將θ 用一個(gè)K×(n+1)的矩陣可表示為：

接下來(lái)對(duì)Softmax 回歸代價(jià)函數(shù)進(jìn)行分析。代價(jià)函數(shù)J(θ)見(jiàn)式（5）。在式（5）中，1{·}是指示性函數(shù)，運(yùn)算規(guī)則為：1{表達(dá)式的值為真}=1，1{表達(dá)式的值為假}=0。

將樣本x 分類，分為第j 類的概率為：

在實(shí)現(xiàn)softmax 回歸算法時(shí),通過(guò)在式中添加一個(gè)權(quán)重衰減項(xiàng)對(duì)過(guò)大的參數(shù)值進(jìn)行懲罰?；貧w代價(jià)函數(shù)公式將表示為：

增加權(quán)重衰減項(xiàng)后，代價(jià)函數(shù)成為一個(gè)凸函數(shù)，這樣能防止優(yōu)化過(guò)程中陷入局部收斂，得到最優(yōu)解。為對(duì)其進(jìn)行優(yōu)化，需要計(jì)算J(θ)的導(dǎo)數(shù)，其梯度公式為：

式中，?θjJ(θ)為向量，第l 個(gè)元素是J(θ)對(duì)θj第l 個(gè)分量的偏導(dǎo)數(shù)。利用梯度下降法對(duì)代價(jià)函數(shù)J(θ)進(jìn)行最小化。每次迭代過(guò)程中都需要對(duì)參數(shù)進(jìn)行更新。

式中，α 為學(xué)習(xí)率。

2 卷積網(wǎng)絡(luò)診斷模型的搭建

2.1 輸入和輸出向量的選擇

根據(jù)《變壓器油中溶解氣體分析和判斷導(dǎo)則》可知，變壓器發(fā)生故障狀態(tài)時(shí)共有氫氣（H2）、甲烷（CH4）、乙烷（C2H6）、乙烯（C2H4）、乙炔（C2H2）、一氧化碳（CO）、二氧化碳（CO2）七種氣體存在，本文選取其中五種氣體（H2、CH4、C2H6、C2H4、C2H2）作為變壓器故障診斷的輸入特征向量。選取正常N、局部放電PD、低能放電D1、高能放電D2、中低溫過(guò)熱T1、高溫過(guò)熱T2 作為卷積神經(jīng)網(wǎng)絡(luò)的輸出向量。

2.2 數(shù)據(jù)預(yù)處理

本文將每種氣體（共五種）體積與氣體總體積之比作為卷積網(wǎng)絡(luò)診斷模型的輸入，按照式（10）做規(guī)范化處理。

2.3 變壓器故障編碼

對(duì)六種變壓器故障類型進(jìn)行二進(jìn)制編碼，結(jié)果如表1 所示。

2.4 CNN 模型診斷結(jié)構(gòu)圖

卷積神經(jīng)網(wǎng)絡(luò)處理的數(shù)據(jù)一般是m×n 的二維格式，但是本文用于診斷變壓器故障的數(shù)據(jù)是m×1 的一維格式，所以采用一維卷積神經(jīng)網(wǎng)絡(luò)搭建診斷模型。由于數(shù)據(jù)維度小，只搭建了單層和雙層兩種診斷模型。

表1 變壓器故障類型編碼

CNN 模型診斷結(jié)構(gòu)如圖2 所示。輸入層的大小為5×1，因此卷積層C1卷積核的大小有1×1、2×1、3×1、4×1 四種選擇。為了體現(xiàn)卷積層稀疏連接的優(yōu)勢(shì)，C1層只選擇卷積核大小為2×1、3×1、4×1三種進(jìn)行實(shí)驗(yàn)。

圖2 CNN 模型診斷結(jié)構(gòu)

2.4.1 單層卷積診斷模型 當(dāng)卷積層有K 個(gè)大小為m×1(m=2,3,4)的卷積核，可以提取到K 個(gè)大小為(6-m)×1 的特征圖。當(dāng)池化層的大小為2×1，可以得到K 個(gè)大小為的 特征圖，經(jīng)展開后共獲得K(6-m)/2 個(gè)特征。

2.4.2 雙層卷積診斷模型

(a)當(dāng)卷積層C1有K1個(gè)大小為2×1 的卷積核，可以提取到K1個(gè)大小為4×1 的特征圖。當(dāng)池化層P1的大小為2×1，可以得到K1個(gè)大小為2×1 的特征圖。當(dāng)卷積層C2有K2個(gè)大小為2×1 的卷積核，可以提取到K2個(gè)大小為1×1 的特征圖，當(dāng)池化層P2的大小為1×1，可以得到K2個(gè)大小為1×1 的特征圖，經(jīng)展開后共獲得K2個(gè)特征。(b)當(dāng)卷積層C1有K1個(gè)大小為3×1 的卷積核，可以提取到K1個(gè)大小為3×1的特征圖。當(dāng)池化層P1的大小為2×1，可以得到K1個(gè)大小為2×1 的特征圖。當(dāng)卷積層C2有K2個(gè)大小為2×1 的卷積核，可以提取到K2個(gè)大小為1×1 的特征圖。當(dāng)池化層P2的大小為1×1，可以得到K2個(gè)大小為1×1 的特征圖，經(jīng)展開后共獲得K2個(gè)特征。

全連接層的神經(jīng)元個(gè)數(shù)設(shè)為32，卷積層和全連接層的激活函數(shù)為Relu。為防止過(guò)擬合，在全連接層后面使用Dropout 技術(shù)，比率設(shè)為0.2，學(xué)習(xí)率設(shè)為0.000 1，迭代次數(shù)設(shè)為2 500。

3 實(shí)驗(yàn)分析

本文變壓器故障實(shí)驗(yàn)基于python3.7 語(yǔ)言環(huán)境，在操作系統(tǒng)為Windows10 家庭中文版(64 位)、CPU為Intel(R) Core(TM) i5-5200U (2 201 MHz)、內(nèi)存為8 G 聯(lián)想80FA 電腦上完成。

3.1 樣本數(shù)據(jù)的選取

本文從相關(guān)文獻(xiàn)中一共獲取了393 條完整的變壓器DGA 數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。將故障樣本按照7∶3 的比例劃分為訓(xùn)練集和測(cè)試集。訓(xùn)練集和測(cè)試集的分布狀況如表2 所示。

表2 訓(xùn)練集和測(cè)試集的分布情況

3.2 卷積核數(shù)目對(duì)模型性能的影響

為了保證實(shí)驗(yàn)的準(zhǔn)確性，將卷積網(wǎng)絡(luò)其他參數(shù)的設(shè)置保持一致（包括卷積核大小、池化類型的選擇、全連接層單元數(shù)目、學(xué)習(xí)率、Dropout 比率等參數(shù)）。卷積核數(shù)目對(duì)訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率以及訓(xùn)練損失的影響如圖3 所示。

圖3 卷積核數(shù)目對(duì)訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率以及訓(xùn)練損失的影響

從圖3 可以看出，當(dāng)卷積核數(shù)目從1 增加到3時(shí)，訓(xùn)練集準(zhǔn)確率和測(cè)試準(zhǔn)確率不斷提高，卷積核數(shù)目從3 增加到30 時(shí)訓(xùn)練集準(zhǔn)確率和測(cè)試準(zhǔn)確率趨于平穩(wěn)。當(dāng)卷積核數(shù)目從1 增加到4 時(shí)，訓(xùn)練損失大幅減少，卷積核數(shù)目從4 增加到17 時(shí)總體上為下降趨勢(shì)，卷積核數(shù)目從17 增加到30 時(shí)有小幅度變化，總體是趨于平穩(wěn)的。由此可以得出，隨著卷積核數(shù)目的增加，訓(xùn)練集和測(cè)試集的準(zhǔn)確率并不會(huì)一直增大，訓(xùn)練損失也不會(huì)一直減小。為了使訓(xùn)練集和測(cè)試集準(zhǔn)確率高，同時(shí)使訓(xùn)練損失小，卷積核數(shù)目為17 時(shí)最為合適。

3.3 卷積核大小對(duì)模型性能的影響

在卷積核數(shù)目為17、其他參數(shù)保持相同的情況下，選擇卷積核大小為2×1、3×1、4×1 來(lái)測(cè)試卷積核對(duì)模型性能的影響，從訓(xùn)練損失和訓(xùn)練準(zhǔn)確率兩方面來(lái)比較說(shuō)明。不同卷積核的訓(xùn)練損失及訓(xùn)練集準(zhǔn)確率迭代圖如圖4 所示。

圖4 不同卷積核的訓(xùn)練損失及訓(xùn)練集準(zhǔn)確率迭代圖

從圖4 可以看出，當(dāng)卷積核大小為3×1 時(shí)，訓(xùn)練損失最大，訓(xùn)練集準(zhǔn)確率最低；當(dāng)卷積核大小為4×1 時(shí)，訓(xùn)練損失最小，訓(xùn)練準(zhǔn)確率最高。該實(shí)驗(yàn)證明，并不是卷積核越小訓(xùn)練集準(zhǔn)確率越高，訓(xùn)練損失越小。為了使訓(xùn)練集準(zhǔn)確率高同時(shí)訓(xùn)練損失小，卷積核大小為4×1 最為合適。

3.4 池化層對(duì)模型性能的影響

分別測(cè)試最大池化和平均池化對(duì)模型性能的影響，選擇卷積核數(shù)目為17，卷積核大小為4×1，池化層大小為2×1，其他的參數(shù)保持相同。不同池化層下的訓(xùn)練損失、訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率如表3 所示。從表3 可以看出，最大池化的訓(xùn)練集和測(cè)試集準(zhǔn)確率更高，訓(xùn)練損失更小，證明最大池化使模型的診斷性能更為優(yōu)秀。

表3 不同池化層的訓(xùn)練損失、訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率

3.5 學(xué)習(xí)率和Dropout 比率對(duì)診斷結(jié)果的影響

為了優(yōu)化模型性能，測(cè)試學(xué)習(xí)率和Dropout 比率對(duì)變壓器診斷結(jié)果的影響，結(jié)果如圖5 所示。

圖5 學(xué)習(xí)率和Dropout 比率對(duì)變壓器診斷結(jié)果的影響

從圖5 可以看出，當(dāng)Dropout 比率一定時(shí)，診斷的準(zhǔn)確率會(huì)隨著學(xué)習(xí)率的減小而增加。當(dāng)學(xué)習(xí)率為0.100 0、0.010 0、0.001 0 時(shí)，Dropout 比率對(duì)診斷結(jié)果影響較大，當(dāng)學(xué)習(xí)率為0.000 1 時(shí)，Dropout 比率對(duì)于診斷結(jié)果沒(méi)有影響。實(shí)驗(yàn)結(jié)果表明，當(dāng)學(xué)習(xí)率選擇合適時(shí)，模型并不會(huì)發(fā)生過(guò)擬合現(xiàn)象，證明了卷積層的稀疏連接和權(quán)值共享能夠有效地防止過(guò)擬合，同時(shí)也證明了池化層增強(qiáng)了模型的穩(wěn)定性。

3.6 網(wǎng)絡(luò)深度對(duì)模型性能的影響

為了測(cè)試網(wǎng)絡(luò)深度對(duì)模型診斷性能的影響，本實(shí)驗(yàn)將對(duì)單層和雙層（單個(gè)卷積層加上單個(gè)池化層為一層網(wǎng)絡(luò)）卷積診斷模型的性能進(jìn)行對(duì)比。單層模型參數(shù)選擇實(shí)驗(yàn)最佳參數(shù)，即卷積核數(shù)目為17，卷積核大小為4×1，池化層選擇最大池化。雙層模型有2 種方式，單層卷積和雙層卷積診斷模型性能如表4 所示。卷積層中17-4×1 表示卷積核數(shù)目為17，卷積核大小為4×1，池化層中2×1表示池化層大小為2×1，池化類型同樣選擇最大池化。其余的參數(shù)單層和雙層保持一致（從結(jié)構(gòu)上講，雙層是單層網(wǎng)絡(luò)的復(fù)制，僅設(shè)定單層網(wǎng)絡(luò)初始參數(shù)）。從表4 可知，單層和雙層的訓(xùn)練損失、訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率幾乎相同，證明了單層和雙層診斷模型的性能相同，這是由于DGA數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單，受網(wǎng)絡(luò)深度影響較小。

表4 單層卷積和雙層卷積診斷模型性能

3.7 實(shí)驗(yàn)對(duì)比

從混淆矩陣、ROC 曲線、PR 曲線等多個(gè)方面來(lái)比較CNN、SVM、BPNN 模型診斷性能。CNN、BPNN、SVM 的混淆矩陣如圖6 所示。從圖6 可以看出，CNN 模型對(duì)于正常、低能放電、高能放電、中低溫過(guò)熱、高溫過(guò)熱狀態(tài)預(yù)測(cè)上效果較好，局部放電狀態(tài)的預(yù)測(cè)效果一般；BPNN 模型在高能放電、中低溫過(guò)熱、高溫過(guò)熱狀態(tài)的預(yù)測(cè)效果較好，在正常、局部放電、低能放電狀態(tài)的預(yù)測(cè)效果較差；SVM模型在高能放電、中低溫過(guò)熱、高溫過(guò)熱狀態(tài)的預(yù)測(cè)效果較好，在局部放電狀態(tài)的預(yù)測(cè)效果一般，在正常、低能放電狀態(tài)預(yù)測(cè)效果非常差。尤其是低能放電狀態(tài)，SVM 模型預(yù)測(cè)準(zhǔn)確率為0，BPNN 模型預(yù)測(cè)準(zhǔn)確率為50%，而CNN 模型預(yù)測(cè)準(zhǔn)確率為100%。實(shí)驗(yàn)證明了CNN 模型的分類性能要明顯優(yōu)于BPNN 模型和SVM 模型。

圖6 CNN、BPNN、SVM 的混淆矩陣

不同模型的訓(xùn)練集和測(cè)試集準(zhǔn)確率如表5所示。

表5 不同模型的訓(xùn)練集和測(cè)試集準(zhǔn)確率 %

從表5 可以看出，CNN 模型的訓(xùn)練集準(zhǔn)確率和測(cè)試集準(zhǔn)確率都超過(guò)了90%，明顯高于SVM 模型和BPNN 模型，這是由于CNN 模型特征提取能力要比SVM 和BPNN 強(qiáng)。SVM 模型訓(xùn)練集和測(cè)試集的準(zhǔn)確率都不高，說(shuō)明SVM 模型在多分類問(wèn)題上分類能力一般。BPNN 模型雖然訓(xùn)練集準(zhǔn)確率高達(dá)95.636%，但是訓(xùn)練集的準(zhǔn)確率只有85.593%，說(shuō)明BPNN 模型的泛化能力較差，容易發(fā)生過(guò)擬合。

不同模型的ROC 曲線如圖7 所示。從圖7 可以看出，CNN模型ROC 曲線AUC 值高達(dá)0.99，比SVM 模型AUC 值高0.02，比BPNN 模型AUC 值高0.01，AUC 值接近的原因是由于樣本不平衡造成的，AUC 值受樣本數(shù)量影響較大，從混淆矩陣中可以看出BPNN、SVM 模型在高能放電、高溫過(guò)熱狀態(tài)預(yù)測(cè)結(jié)果非常出色，最終導(dǎo)致AUC 值接近。但是，CNN 模型的分類和泛化能力比SVM 和BPNN模型要優(yōu)秀。

圖7 不同模型的ROC 曲線

PR 曲線跟ROC 曲線相比，AUC 的值受樣本不平衡影響較小。不同模型的PR 曲線如圖8 所示。

圖8 不同模型的PR 曲線

從圖8 可以看出，CNN 模型PR 曲線AUC 值高達(dá)0.97，比SVM 模型AUC值高出0.07，比BPNN模型AUC 值高出0.05,證明CNN 模型的泛化和分類能力更為優(yōu)秀。

3.8 特征可視化

CNN 模型診斷準(zhǔn)確率高的原因之一在于它強(qiáng)大的特征提取能力。為了驗(yàn)證CNN 模型強(qiáng)大的特征提取能力，采用t-SNE（t-Distributed Stochastic Neighbor Embeding）技術(shù)，把CNN 模型提取到的高維特征映射成二維特征，并以散點(diǎn)圖的形式可視化出來(lái)。首先把CNN 模型的全連接層提取到的393個(gè)樣本的三十二維特征提取出來(lái)，然后利用t-SNE技術(shù)將393 個(gè)樣本的三十二維特征降為二維并展示出來(lái)。CNN 模型特征可視化如圖9 所示。從圖9 可以看出，相同的類聚集在一起，不同的類有一定的距離，聚類的準(zhǔn)確率在98%以上，說(shuō)明CNN 模型提取到的特征可分性好，證明CNN 模型有著優(yōu)秀的特征提取能力。

圖9 CNN 模型特征可視化

4 結(jié) 論

在變壓器診斷領(lǐng)域，淺層機(jī)器學(xué)習(xí)診斷方法雖然在診斷的精度上較傳統(tǒng)的方法有所提升，但是還存在著一些缺點(diǎn)，為克服這些缺點(diǎn)，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型。通過(guò)混淆矩陣、ROC 曲線、PR 曲線多方面實(shí)驗(yàn)驗(yàn)證，基于卷積神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法跟支持向量機(jī)、BP 神經(jīng)網(wǎng)絡(luò)相比，特征提取和泛化能力更強(qiáng)，診斷的準(zhǔn)確率更高。實(shí)驗(yàn)結(jié)果表明，雙層卷積網(wǎng)絡(luò)模型診斷準(zhǔn)確率不一定比單層的高，卷積核的數(shù)量并不是越多越好，卷積核的尺寸并不是越小越好，因此卷積網(wǎng)絡(luò)的深度、核數(shù)目、核大小要根據(jù)數(shù)據(jù)的實(shí)際情況來(lái)選擇。對(duì)于池化層的大小和全連接層神經(jīng)元數(shù)目的選擇并未討論，這也是下一步研究的重點(diǎn)。