石 鑫 ，朱永利，寧曉光 ，王劉旺，孫 崗 ，陳國強

（1.華北電力大學 控制與計算機工程學院，河北 保定 071003；2.國家電網(wǎng)公司，北京 100031）

0 引言

電力變壓器是電力系統(tǒng)中最重要的設備之一，它的運行狀況直接關系到整個電力系統(tǒng)的安全穩(wěn)定運行，一旦發(fā)生故障必將引起局部甚至大面積的停電，這勢必會造成巨大的經(jīng)濟損失。隨著傳感器技術、微電子技術、計算機技術及應用數(shù)學的高速發(fā)展，對電力變壓器實施在線監(jiān)測已經(jīng)成為可能，而如何利用在線監(jiān)測數(shù)據(jù)進行準確的故障診斷變得尤為重要。

電力變壓器油中溶解氣體分析（DGA）不受外界電場和磁場的影響，易于帶電和在線實現(xiàn)，已經(jīng)成為油浸式變壓器故障診斷的一種有效方法［1-4］，并在此基礎上形成了特征氣體法、三比值法和Rogers法等 傳 統(tǒng) 方 法［5］，以及人工神經(jīng)網(wǎng)絡（ANN）［6-7］法、支持向量機（SVM）［8-9］法和極限學習機（ELM）［10］法等人工智能方法。然而傳統(tǒng)算法存在缺編碼、編碼界限過于絕對等主要缺陷［5］；ANN法存在著收斂速度慢、易產(chǎn)生震蕩、易陷入局部最優(yōu)等問題［6-7］；SVM法本質(zhì)上屬于二分類算法，在多分類問題上存在構(gòu)造學習器及分類效率低的缺點，而且核函數(shù)的選擇和參數(shù)的確定比較困難［8-9］；ELM法訓練速度快，但是穩(wěn)定性比較差［10］。

2006年，Hinton教授提出了深度學習DL（Deep Learning）的思想，開辟了深度學習在學術界和工業(yè)界應用的浪潮［11］。深度自編碼網(wǎng)絡DAEN（Deep Auto-Encoder Network）是深度學習方法的一種，它通過構(gòu)建具有多隱含層的機器學習模型對訓練樣本進行逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類更加容易，最終提升分類的準確性。與人工規(guī)則構(gòu)造特征的方法相比，該方法更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息，是目前國際上機器學習研究的熱點領域［12-16］，但尚未見其應用于變壓器故障診斷方面。

鑒于此，本文首先構(gòu)建了分類深度自編碼網(wǎng)絡模型，并用典型的分類數(shù)據(jù)集對其分類性能進行了分析驗證。然后，結(jié)合電力變壓器在線監(jiān)測油色譜數(shù)據(jù)特征及故障類型，提出了基于分類深度自編碼網(wǎng)絡 CDAEN（Classified Deep Auto-Encoder Network）的變壓器故障診斷新方法。該方法利用工程現(xiàn)場的大量無標簽樣本進行預訓練，優(yōu)化模型參數(shù)，加之少量有標簽樣本進行微調(diào)，可以有效解決變壓器故障分類問題，提高故障診斷準確率。最后，通過工程實例對該方法進行了驗證，并與基于BP神經(jīng)網(wǎng)絡（BPNN）和SVM的故障診斷方法進行了對比分析。

1 深度自編碼網(wǎng)絡

深度自編碼網(wǎng)絡也稱棧式自編碼網(wǎng)絡，它是由多層自編碼器AE（Auto-Encoder）堆疊而成的神經(jīng)網(wǎng)絡，結(jié)構(gòu)上與傳統(tǒng)多層神經(jīng)網(wǎng)絡沒有區(qū)別，訓練時采用逐層訓練的方法，即將前一層的輸出作為下一層的輸入依次訓練，有效解決了傳統(tǒng)神經(jīng)網(wǎng)絡訓練方法不適用于多層網(wǎng)絡訓練的問題，整個深度自編碼網(wǎng)絡的訓練分為預訓練和微調(diào)2個階段。

1.1 預訓練

預訓練的過程實質(zhì)上就是初始化網(wǎng)絡參數(shù)的過程，采用逐層無監(jiān)督特征優(yōu)化算法，需要初始化的網(wǎng)絡參數(shù)是層與層之間的連接權(quán)值及各層神經(jīng)元的偏置值。以1層AE為例，其網(wǎng)絡結(jié)構(gòu)如圖1所示。

1個基本的AE可視為1個3層的神經(jīng)網(wǎng)絡結(jié)構(gòu)，即輸入層、隱含層和輸出層，其中輸出層與輸入層規(guī)模相同。從輸入層到隱含層是編碼過程，從隱含層到輸出層是解碼過程。設f和g分別表示編碼和解碼函數(shù)，則2個過程可分別表示為式（1）和式（2）：

其中，Sf和Sg通常取為sigmoid函數(shù)；W為輸入層與隱含層之間的權(quán)值矩陣，為隱含層與輸出層之間的權(quán)值矩陣，通常取為WT；p和q分別為隱含層和輸出層上的偏置向量。為了下文表示方便，將AE的參數(shù)記為 θ，即 θ=｛W，p，q｝。

圖1 AE結(jié)構(gòu)Fig.1 Structure of AE

假設訓練樣本集 S ＝｛x（1），x（2），…，x（N）｝，預訓練AE的過程實質(zhì)上就是利用S對參數(shù)θ進行訓練的過程。為此，首先需定義1個訓練目標，即解碼后的y應與輸入x盡可能地接近，這種接近程度可以通過重構(gòu)誤差函數(shù) L（x，y）來刻畫，L（x，y）定義為：

基于重構(gòu)誤差函數(shù)，針對訓練數(shù)據(jù)集S，損失函數(shù)如式（4）所示。然后利用梯度下降法對損失函數(shù)進行極小化，就可以得到該層AE參數(shù)θ。

一層AE訓練完成之后，將其隱含層單元的輸出向量作為下一層的輸入，對下一層AE進行訓練，依次迭代，直至最終完成整個深度自編碼網(wǎng)絡的訓練。

1.2 微調(diào)

由上述預訓練過程可知，在訓練各層AE參數(shù)時，會固定其他層參數(shù)保持不變。因此，如果想得到更好的結(jié)果，可以在預訓練完成之后，利用有標簽數(shù)據(jù)集，通過BP算法同時調(diào)整整個深度自編碼網(wǎng)絡的所有層參數(shù)以達到全局最優(yōu)，這個過程即是微調(diào)。預訓練完成之后的微調(diào)會比直接在隨機化的初始權(quán)重上使用BP算法訓練效果要好，因為后者往往易陷入局部最優(yōu)。

2 分類深度自編碼網(wǎng)絡

2.1 分類深度自編碼網(wǎng)絡模型

本文構(gòu)建了分類深度自編碼網(wǎng)絡模型，它的前部由若干層AE堆疊而成，最后增加1層代表期望輸出變量的分類層，框架如圖2所示。這里的分類器通常選用Softmax分類器，它是Logistic分類器在多分類問題上的推廣，在給出分類結(jié)果時還會給出結(jié)果的概率，適用于非線性多分類問題。

圖2 分類深度自編碼網(wǎng)絡模型Fig.2 CDAEN model

分類深度自編碼網(wǎng)絡用于多分類問題時，訓練過程與深度自編碼網(wǎng)絡一樣，分為預訓練和微調(diào)2個階段。預訓練主要是采用無標簽樣本或去標簽樣本作為網(wǎng)絡的輸入，通過BP算法完成前部若干層AE參數(shù)的初始化；微調(diào)則是通過標簽樣本對包括分類層在內(nèi)的整個網(wǎng)絡參數(shù)進行調(diào)整，使得網(wǎng)絡的判別性能達到最優(yōu)。

2.2 分類深度自編碼網(wǎng)絡分類性能測試

采用本文構(gòu)建的深度自編碼網(wǎng)絡對典型分類數(shù)據(jù)集 Iris、Synthetic、Fourclass、Diabetes 進行分類，網(wǎng)絡參數(shù)W、a、b初始化為服從高斯分布的隨機較小數(shù)值，初始學習速率p設為0.1，網(wǎng)絡更新速率系數(shù)設為0.01。

表1給出了分類深度自編碼網(wǎng)絡對不同數(shù)據(jù)集的分類情況。從表1中可以看出，分類深度自編碼網(wǎng)絡對不同數(shù)據(jù)集均具有較高的平均分類正確率，表明分類深度自編碼網(wǎng)絡模型適用于問題的分類。

表1 CDAEN對不同數(shù)據(jù)集分類情況Table 1 Classification by CDAEN for different datasets

3 基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法

3.1 選取樣本數(shù)據(jù)

為避免樣本集偏斜，同時又能保證得到足夠多的樣本，可以選取多個工程現(xiàn)場記錄的相同型號變壓器發(fā)生故障前后較短一段時間內(nèi)的油色譜在線監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)均是無標簽數(shù)據(jù)，包含正常數(shù)據(jù)和故障類或近似故障類數(shù)據(jù)，可以用作預訓練樣本。對于微調(diào)階段所采用的少量標簽樣本，可以通過搜集相同型號故障變壓器測試實驗數(shù)據(jù)獲得。

3.2 選取特征變量

根據(jù)工程現(xiàn)場油色譜在線監(jiān)測數(shù)據(jù)特點，選取H2、CH4、C2H6、C2H4、C2H2這 5 種特征氣體 的 含量值作為分類深度自編碼網(wǎng)絡的輸入。由于油中溶解氣體分析數(shù)據(jù)差異比較大，為了減小輸入數(shù)據(jù)的差值，降低計算誤差，采用式（5）對各氣體含量進行標準化處理，以提高診斷正確率。

其中，為標準化后氣體的含量值（i=H2，CH4，C2H6，C2H4，C2H2）；xo為氣體原始含量值；xmean為訓練集或測試集x中該類氣體含量的均值；xstd為x中該類氣體含量的標準差值。

3.3 變壓器狀態(tài)編碼

變壓器故障診斷是多分類任務，診斷結(jié)果可以分為正常、中低溫過熱、高溫過熱、局部放電、低能放電和高能放電6種類型，下面依次對其進行編碼，如表2所示。

表2 變壓器狀態(tài)編碼Table 2 Status codes of transformer

3.4 基于分類深度自編碼網(wǎng)絡的變壓器故障診斷模型

基于分類深度自編碼網(wǎng)絡的變壓器故障診斷模型見圖3，模型的輸入為油色譜在線監(jiān)測的5種特征氣體含量值（經(jīng)標準化處理），最終經(jīng)頂層Softmax分類器后的輸出為相應樣本分別屬于不同狀態(tài)的概率值，概率值最大的狀態(tài)即為診斷的最終結(jié)果。

圖3 基于CDAEN的變壓器故障診斷模型Fig.3 Transformer fault diagnosis model based on CDAEN

3.5 基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法的實現(xiàn)

基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法實現(xiàn)過程如下：

a.選取樣本數(shù)據(jù)和特征變量，對樣本數(shù)據(jù)進行標準化處理后按一定比例將其分為訓練集和測試集；

b.對變壓器狀態(tài)進行編碼；

c.建立基于分類深度自編碼網(wǎng)絡的變壓器故障診斷模型；

d.初始化變壓器故障診斷分類深度自編碼網(wǎng)絡模型參數(shù)為服從高斯分布的較小隨機數(shù)值；

e.采用訓練集中的無標簽樣本通過BP算法對模型底部AE層進行預訓練；

f.采用訓練集中的標簽樣本通過BP算法對整個網(wǎng)絡進行調(diào)優(yōu)；

g.保存訓練好的網(wǎng)絡，并對其進行測試。

4 工程實例分析

本文選用保定市某變壓器廠多個工程現(xiàn)場實測的同一型號變壓器發(fā)生故障前后某段時間內(nèi)的油色譜在線監(jiān)測數(shù)據(jù)，通過DBSCAN算法對其進行聚類，平衡選取各簇樣本數(shù)據(jù)共1500條作為預訓練集，另用工程現(xiàn)場搜集到的300組相同型號故障變壓器測試實驗數(shù)據(jù)按2∶1比例分別用作微調(diào)集和測試集。對于基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法，網(wǎng)絡參數(shù)W、a、b初始化為服從高斯分布的隨機較小數(shù)值，初始學習速率p設為0.1，網(wǎng)絡更新速率系數(shù)設為0.001，最大迭代次數(shù)為1500次，根據(jù)實測數(shù)據(jù)進行了如下測試。

a.不同AE層數(shù)下的故障診斷情況。

分別測試了AE層數(shù)為0～10時故障診斷平均正確率，結(jié)果如圖4所示。從圖4中可以看出，AE層數(shù)為3層時，故障診斷平均正確率已經(jīng)很高，此后隨著AE層數(shù)增加，正確率增長緩慢。實際訓練時，隨著AE層數(shù)的增加，訓練時間呈線性增長，綜合考慮故障診斷效果和訓練時間2個因素，下文的測試中選取AE層數(shù)為3層。

圖4 不同AE層數(shù)時的故障診斷結(jié)果Fig.4 Results of fault diagnosis for different AE layers

b.不同預訓練集時的故障診斷情況。

分別測試了預訓練集為 100、500、1 000、1 500時故障診斷情況，結(jié)果如表3所示。從表3中可以看出，隨著預訓練集的增大，變壓器故障診斷平均正確率也不斷上升，這表明基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法的預訓練過程是極其重要的，是提高故障診斷正確率的有效保障。

表3 不同預訓練集時的故障診斷結(jié)果Table 3 Results of fault diagnosis for different quantities of pre-training set

對于基于BPNN和SVM的變壓器故障診斷方法，只能采用標簽樣本進行訓練，本文測試了不同訓練集時故障診斷情況，結(jié)果如表4所示。表中，str和rl分別為BPNN最大訓練迭代次數(shù)和學習速率，C和γ分別為SVM規(guī)則化系數(shù)和核函數(shù)參數(shù)，這些參數(shù)的初始值均由實測數(shù)據(jù)經(jīng)大量實驗確定。

表4 不同訓練集時基于BPNN、SVM變壓器故障診斷結(jié)果Table 4 Results of fault diagnosis based on BPNN and SVM，for different quantities of training set

通過表3和表4的故障診斷結(jié)果對比可知，本文提出的基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法和基于BPNN、SVM的故障診斷方法相比，故障診斷正確率更高。測試中，發(fā)現(xiàn)基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法診斷平均正確率會隨著訓練集的增大不斷增高，但增長趨勢逐漸變緩；基于BPNN和SVM方法的診斷平均正確率在訓練集超過200時基本保持不變，不適用于大數(shù)據(jù)量樣本的訓練，可擴展性差。

5 結(jié)論

a.構(gòu)建了分類深度自編碼網(wǎng)絡模型，并對其分類性能進行了分析，典型數(shù)據(jù)集測試表明，分類深度自編碼網(wǎng)絡適用于多分類問題。

b.提出基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法，可以采用無標簽樣本對網(wǎng)絡進行預訓練，克服了BPNN、SVM方法無法利用無標簽樣本訓練的缺點，提高了工程現(xiàn)場無標簽樣本的利用率。

c.工程實例分析表明，基于分類深度自編碼網(wǎng)絡的變壓器故障診斷方法隨著預訓練集增大，故障診斷平均正確率增高，該方法適用于大量樣本的訓練，可擴展性好，與BPNN、SVM方法相比，故障診斷平均正確率更高，可以更好地滿足工程需要。

致 謝

本研究受到國家電網(wǎng)公司浙北—福州特高壓輸變電工程專項研究經(jīng)費資助，特表感謝！

［1］TANG W H，WU Q H.Condition monitoring and assessment of power transformers using computational intelligence［M］.New York，USA：Springer-Verlag Press，2011：97-102.

［2］朱德恒，嚴璋，談克雄，等.電氣設備狀態(tài)監(jiān)測與故障診斷技術［M］. 北京：中國電力出版社，2009：10-25.

［3］尹金良，朱永利，俞國勤.相關向量機及其在變壓器故障診斷中的應用［J］. 電力自動化設備，2012，32（8）：130-134.YIN Jinliang，ZHU Yongli，YU Guoqin. Relevance vector machine and its application in transformer fault diagnosis ［J］.Electric Power Automation Equipment，2012，32（8）：130-134.

［4］趙文清，朱永利，張小奇.應用支持向量機的變壓器故障組合預測［J］. 中國電機工程學報，2008，28（25）：14-19.ZHAO Wenqing，ZHU Yongli，ZHANG Xiaoqi.Combinational forecast for transformer faults based on support vector machine［J］.Proceedings of the CSEE，2008，28（25）：14-19.

［5］王致杰，徐余法，劉三明，等.電力設備狀態(tài)監(jiān)測與故障診斷［M］.上海：上海交通大學出版社，2012：41-53.

［6］徐文，王大忠，周澤存，等.結(jié)合遺傳算法的人工神經(jīng)網(wǎng)絡在電力變壓器故障診斷中的應用［J］. 中國電機工程學報，1997，17（2）：109-112.XU Wen，WANG Dazhong，ZHOU Zecun，et al.Application of artificial neural network combined by genetic algorithm in fault diagnosis of power transformer［J］.Proceedings of the CSEE，1997，17（2）：109-112.

［7］周建華，胡敏強，周鶚.基于共軛梯度方向的CP-BP算法在變壓器油中溶解氣體診斷法中的應用［J］.中國電機工程學報，1999，19（3）：41-45.ZHOU Jianhua，HU Minqiang，ZHOU E.On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］.Proceedings of the CSEE，1999，19（3）：41-45.

［8］肖燕彩，朱衡軍.基于最小二乘支持向量機的電力變壓器故障診斷［J］. 電力自動化設備，2007，27（9）：48-50.XIAO Yancai，ZHU Hengjun.Power transformer fault diagnosis based on least square support vector machine［J］.Electric Power Automation Equipment，2007，27（9）：48-50.

［9］尹金良，劉玲玲.代價敏感相關向量機的研究及其在變壓器故障診斷中的應用［J］. 電力自動化設備，2014，34（5）：111-115.YIN Jinliang，LIU Lingling.CS-RVM and its application in fault diagnosis of power transformers［J］.Electric Power Automation Equipment，2014，34（5）：111-115.

［10］遇炳杰，朱永利.加權(quán)極限學習機在變壓器故障診斷中的應用［J］. 計算機工程與設計，2013，34（12）：4340-4344.YU Bingjie，ZHU Yongli.Transformerfaultdiagnosisusing weighted extreme learning machine ［J］.Computer Engineering and Design，2013，34（12）：4340-4344.

［11］HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks［J］.Science，2006，313（5786）：504-507.

［12］BENGIO Y，LAMBLIN P，POPOVICI D，et al.Greedy layer-wise training of deep networks［J］.Advances in Neural Information Processing Systems，2007，19：153-160.

［13］VINCENT P，LAROCHELLE H，BENGIO Y，etal.Extracting and composing robust features with denosing autoencoders［C］∥Proceedings of the 25th International Conference on Machine Learning.Helsinki，F(xiàn)inland：［s.n.］，2008：1096-1103.

［14］ERHAND，BENGIO Y，COURVILE A，et al.Why does unsupervised pre-training help deep learning？ ［J］.Journal of Machine Learning Research，2010，11：625-660.

［15］RIFAIS，VINCENT P，MULLER X，etal.Contractiveautoencoders：explicit invariance during feature extraction［C］∥Proceedings of the 28th International Conference on Machine Learning.Bellevue，WA，USA：［s.n.］，2011：833-840.

［16］胡昭華，宋耀良.基于Auto-encoder網(wǎng)絡的數(shù)據(jù)降維和重構(gòu)［J］.電子與信息學報，2009，31（5）：1189-1192.HU Zhaohua，SONG Yaoliang.Dimensionalityreduction and reconstruction ofdata based on Auto-encodernetwork ［J］.Jorunal of Electronics&Information Technology，2009，31（5）：1189-1192.