王德文，劉曉建

（華北電力大學 控制與計算機工程學院，河北 保定 071003）

0 引言

電力設備是電力系統(tǒng)的基本組成部分，電力設備故障將直接影響智能電網(wǎng)的安全運行。數(shù)據(jù)挖掘是實現(xiàn)電力設備故障診斷的關鍵技術之一，是分析電力設備運行狀態(tài)的主要方法。為了保證電力設備的安全運行，各種故障診斷方法得到應用。文獻［1］根據(jù)模糊粗糙集算法建立信息決策系統(tǒng)，解決變壓器故障診斷問題。文獻［2］根據(jù)神經(jīng)網(wǎng)絡算法建立了一個針對斷路器的快速智能診斷系統(tǒng)，利用斷路器狀態(tài)特征量進行故障類型的識別。這些方法都是在單機環(huán)境下進行的，在現(xiàn)有的數(shù)據(jù)級別范圍內(nèi)能達到較快的故障診斷速度，但沒有考慮海量數(shù)據(jù)對診斷速度的影響。

智能電網(wǎng)中電力設備狀態(tài)信息數(shù)據(jù)具有分布廣、種類多、數(shù)據(jù)量巨大的特征。隨著智能電網(wǎng)的發(fā)展，電力設備故障診斷速度的提高將會成為智能電網(wǎng)建設的瓶頸。

a.數(shù)據(jù)分布廣。我國現(xiàn)有電網(wǎng)分布在不同地域，電力設備分布點多面廣，造成電力設備狀態(tài)信息數(shù)據(jù)分布廣泛。

b.數(shù)據(jù)種類多。智能電網(wǎng)中電力設備狀態(tài)信息數(shù)據(jù)不但包含電力設備在線狀態(tài)數(shù)據(jù)，而且包含電力設備運行情況記錄數(shù)據(jù)、電力設備故障診斷數(shù)據(jù)、電力設備檢修試驗數(shù)據(jù)、電力設備缺陷信息數(shù)據(jù)等［3］。

c.數(shù)據(jù)量巨大。例如，輸電線路中絕緣子泄漏電流數(shù)據(jù)采樣頻率高，假設10 ms采集一次數(shù)據(jù)，一個桿塔在一個月內(nèi)的數(shù)據(jù)量就達到了2.5億條［4］；智能電網(wǎng)中斷路器數(shù)量較多，斷路器振動信號數(shù)據(jù)采集頻率高，產(chǎn)生的數(shù)據(jù)量巨大［5］。

針對智能電網(wǎng)中電力設備狀態(tài)信息數(shù)據(jù)的特點，需要引入新的快速計算技術以解決傳統(tǒng)故障診斷方法計算能力不足的問題。電力設備并行故障診斷被提出，且在智能電網(wǎng)中具有重要的研究價值。

MapReduce是一個針對大數(shù)據(jù)并行運算的軟件框架，最大的優(yōu)勢在于隱藏繁瑣的底層細節(jié)，簡化并行程序的設計與開發(fā)工作［6-8］。文獻［9］初步設計了電力系統(tǒng)仿真計算云，采用并行計算技術對電力系統(tǒng)中海量電網(wǎng)數(shù)據(jù)進行高效仿真計算。文獻［10］設計了基于MapReduce的MPApriori算法，在Hadoop平臺上實現(xiàn)了對海量WAMS電網(wǎng)數(shù)據(jù)的并行數(shù)據(jù)挖掘，且并行數(shù)據(jù)挖掘效率高于傳統(tǒng)數(shù)據(jù)挖掘平臺。總之，在智能電網(wǎng)中借助MapReduce的高性能的計算能力，能夠使并行故障診斷算法高效地執(zhí)行。

本文提出采用MapReduce技術對智能電網(wǎng)中海量電力設備進行并行故障診斷的方法。以對智能電網(wǎng)中海量變壓器油中溶解氣體分析（DGA）數(shù)據(jù)用樸素貝葉斯算法進行故障診斷為例，給出了基于Map-Reduce的算法并行化過程。最后，通過Hadoop平臺對變壓器進行并行故障診斷實驗，實現(xiàn)了對智能電網(wǎng)中海量電力設備狀態(tài)信息數(shù)據(jù)的快速故障診斷。

1 基于MapReduce的電力設備故障診斷并行化方法

1.1 樸素貝葉斯算法在電力設備故障診斷的應用

基于MapReduce框架的并行故障診斷算法主要為回歸、聚類與分類等算法。目標是對智能電網(wǎng)中變壓器、斷路器、輸電線路等電力設備產(chǎn)生的海量狀態(tài)信息數(shù)據(jù)進行并行故障診斷，解決傳統(tǒng)單機環(huán)境下對海量狀態(tài)數(shù)據(jù)計算能力不足的問題。

本文中智能電網(wǎng)電力設備并行故障診斷以產(chǎn)生的海量變壓器DGA數(shù)據(jù)為例，也可以對智能電網(wǎng)中斷路器狀態(tài)數(shù)據(jù)、輸電線路波形數(shù)據(jù)等海量電力設備狀態(tài)數(shù)據(jù)進行故障診斷。變壓器中應用的故障診斷算法很多，如貝葉斯算法、粗糙集理論算法、支持向量機算法等，其中貝葉斯算法在變壓器故障診斷中應用比較普遍［11-15］。

對變壓器海量DGA數(shù)據(jù)的故障診斷以并行樸素貝葉斯分類算法為例。樸素貝葉斯算法具有方法簡單、準確率高與速度快的優(yōu)勢，雖然原理比較簡單，但是具有很好的實際應用效果。目前，使用樸素貝葉斯分類算法對變壓器進行故障診斷的研究很多是單機情況下進行的，將來智能電網(wǎng)中需要用到并行化的樸素貝葉斯算法對海量狀態(tài)數(shù)據(jù)進行快速故障診斷。

1.2 電力設備故障診斷并行化流程

Hadoop是一個方便對大數(shù)據(jù)集進行計算的分布式平臺，它在集群中通過并行的工作方式加快計算速度。Hadoop集群由負責資源調(diào)度與管理文件目錄結(jié)構(gòu)的NameNode和若干負責管理數(shù)據(jù)存儲的DataNode構(gòu)成。MapReduce是Hadoop的一個子項目，用于大數(shù)據(jù)集的并行計算，可以為電力設備的故障診斷領域提供高效的并行計算能力與簡單、通用的并行算法設計環(huán)境。MapReduce的執(zhí)行流程如圖1所示。

圖1 MapReduce執(zhí)行流程Fig.1 Flowchart of MapReduce execution

MapReduce運行模式可以自動處理數(shù)據(jù)的分割、負載均衡、容錯處理等問題。MapReduce程序設計過程中只需將數(shù)據(jù)并行計算問題分解成許多可并行執(zhí)行的子問題，并設計對應的Map函數(shù)與Reduce函數(shù)，就能將程序運行在分布式系統(tǒng)上。

MapReduce模型中輸入數(shù)據(jù)文件分割成許多相同大小的數(shù)據(jù)片段，并保存在Hadoop集群中不同的存儲節(jié)點。數(shù)據(jù)片段通過執(zhí)行設計的Map函數(shù)，得出運算結(jié)果〈key，value〉，通過排序、合并，將 key 值一樣的運算結(jié)果傳送到相同的Reduce函數(shù)進行數(shù)據(jù)歸并。最后根據(jù)Reduce函數(shù)得到結(jié)果，并將最終計算結(jié)果數(shù)據(jù)保存在分布式集群上。MapReduce模型使許多種計算在此框架下達到相當高的執(zhí)行效率，并且還具有可擴展的特點，對大規(guī)模數(shù)據(jù)的計算優(yōu)勢更加明顯。

1.3 電力設備故障診斷算法并行化過程

以MapReduce為基本的模型，對樸素貝葉斯算法進行并行化操作。以智能電網(wǎng)中海量變壓器DGA數(shù)據(jù)為例對變壓器進行故障診斷。首先對變壓器DGA數(shù)據(jù)進行預處理使其轉(zhuǎn)化成Bayes M/R job讀入數(shù)據(jù)要求的格式，即每一行為1個變壓器DGA數(shù)據(jù)樣本，第1個字符是變壓器故障類別，剩余的是離散化后的DGA數(shù)據(jù)，DGA屬性數(shù)據(jù)之間用空格分開。

利用4個MapReduce作業(yè)類執(zhí)行算法的訓練過程，目標是得出4個值的輸出結(jié)果：計算每個故障類中DGA數(shù)據(jù)屬性特征詞出現(xiàn)的頻率值，計算變壓器故障類中的詞頻反文檔頻率（TFIDF）值，對故障類中的TFIDF值進行求和，計算變壓器各故障類中屬性特征詞出現(xiàn)的概率。其中前一個作業(yè)類的運算結(jié)果數(shù)據(jù)作為后一個作業(yè)類的輸入數(shù)據(jù)。訓練過程結(jié)束后得出貝葉斯分類模型并保存在分布式集群中，并行化的樸素貝葉斯算法處理DGA數(shù)據(jù)訓練集的過程如下。

a.第1個MapReduce過程。Map函數(shù)接收來自訓練文檔的DGA樣本數(shù)據(jù)塊，讀取每個DGA數(shù)據(jù)中的屬性特征詞，計算在每個屬性特征詞在所在故障類中出現(xiàn)的詞頻（TF）值。Reduce函數(shù)統(tǒng)計Map的數(shù)據(jù)結(jié)果，統(tǒng)計出訓練數(shù)據(jù)集中每個變壓器故障類的樣本數(shù)據(jù)總數(shù)、TF值與故障數(shù)據(jù)中出現(xiàn)屬性特征詞的樣本數(shù)據(jù)總數(shù)。

b.第2個MapReduce過程。根據(jù)第1個MapReduce的輸出結(jié)果計算每個變壓器故障類中每個特征屬性的TFIDF值。Map過程計算每個特征屬性的反文檔頻率（IDF）值。Reduce過程根據(jù)TF值乘以IDF值計算每個變壓器故障類中特征屬性的TFIDF結(jié)果，同時計算訓練文檔特征屬性總數(shù)。

c.第3個MapReduce過程。Map函數(shù)調(diào)用每個故障類的樣本數(shù)據(jù)總數(shù)與訓練集DGA數(shù)據(jù)總數(shù)計算各故障類的先驗概率。Reduce函數(shù)進行匯總，計算每個變壓器故障類中所有特征屬性的TFIDF總和，計算變壓器故障類的先驗概率。

d.第4個MapReduce過程。通過計算得到變壓器各故障類中特征屬性出現(xiàn)的概率，最終得出貝葉斯分類模型。

并行化的樸素貝葉斯算法對DGA數(shù)據(jù)測試集的故障診斷過程中，先對變壓器DGA測試集進行預處理，將其組織成Bayes模型輸入文本格式，然后用1個MapReduce過程完成對測試集的故障診斷。Map函數(shù)計算待測試的變壓器DGA數(shù)據(jù)中屬性特征詞出現(xiàn)的次數(shù)，并加載訓練過程得到的貝葉斯分類模型計算出測試集所屬的故障類型。Reduce函數(shù)進行歸并，最終獲得診斷結(jié)果。樸素貝葉斯算法并行化流程圖如圖2所示。

圖2 貝葉斯算法并行化流程圖Fig.2 Flowchart of Bayesian algorithm parallelization

2 實驗過程與測試結(jié)果分析

2.1 實驗環(huán)境

本文在實驗室構(gòu)建了一個電力設備狀態(tài)信息并行故障診斷實驗平臺。實驗環(huán)境由10臺配置相同的普通PC機組成，其中一臺PC機作為NameNode，其他PC機均作為DataNode。每臺PC機CPU均為雙核 Interi5-2400，主頻 3.10 GHz，4.00 GB 內(nèi)存，80 GB硬盤。Hadoop所用版本為0.20.2。

實驗中以額定電壓在220 kV及以下的變壓器作為研究對象。根據(jù)相關文獻和電力公司中有關變壓器的歷史資料收集到具有明確故障的237條變壓器故障數(shù)據(jù)與369條健康狀態(tài)下運行的變壓器數(shù)據(jù)［16-18］。實驗過程經(jīng)過反復多次的測試，取平均值作為最終實驗結(jié)果。

2.2 變壓器故障類型及離散化標準

根據(jù)IEC標準和我國電力行業(yè)標準DL/T722—2000［19］，變壓器故障類型如表1所示，部分變壓器故障數(shù)據(jù)如表2所示（φ表示氣體含量）。

樸素貝葉斯分類算法是一種符號化分析算法，算法中的屬性值都看作定性數(shù)據(jù)，因此需要對變壓器DGA數(shù)據(jù)屬性值進行離散化處理?？紤]到在實際變壓器故障診斷中，不同氣體含量值和氣體間比值，其定量標準差異很大。所以，可行的離散化方法是依據(jù)一定的規(guī)則，對不同屬性值設定閾值進行分段，每一段作為定性數(shù)據(jù)，從而保證變壓器故障診斷順利進行。 根據(jù) DL /T722—2000［19］和相關文獻［20-21］以及專家經(jīng)驗，變壓器DGA數(shù)據(jù)離散化如表3所示。

表1 變壓器故障種類Table 1 Categories of transformer fault

表2 部分變壓器故障樣本Table 2 Partial of transformer fault samples μL /L

表3 DGA數(shù)據(jù)離散化Table 3 Discretization of DGA data μL /L

2.3 樸素貝葉斯算法并行化的驗證

本實驗變壓器DGA樣本數(shù)據(jù)的訓練集與測試集按2∶1隨機劃分，在小規(guī)模DGA數(shù)據(jù)集的情況下，在集群上應用并行化的樸素貝葉斯分類算法對變壓器進行故障診斷，實驗結(jié)果如表4所示。

表4 變壓器故障診斷結(jié)果Table 4 Result of transformer fault diagnosis

如表4所示，依據(jù)文獻［21］，本實驗對存在故障的變壓器的診斷準確率是正常的故障診斷率，在變壓器數(shù)據(jù)樣本充足的情況下診斷正確率會進一步提升。并行化的樸素貝葉斯算法對變壓器DGA數(shù)據(jù)顯示出了預期的診斷效果，并對算法的診斷結(jié)果取得了初步驗證。

2.4 Hadoop集群與單機運行時間對比實驗

本實驗要在Hadoop實驗平臺上模擬對智能電網(wǎng)中海量變壓器在線監(jiān)測DGA數(shù)據(jù)集的故障診斷，必須增大測試集的數(shù)據(jù)規(guī)模。由于條件限制無法得到大規(guī)模測試數(shù)據(jù)，實驗中采取隨機復制已有數(shù)據(jù)集的方法，來得到大規(guī)模的測試數(shù)據(jù)。在實驗中，測試在相同大小DGA數(shù)據(jù)集下樸素貝葉斯算法在Hadoop平臺與單機平臺上的運行時間，實驗結(jié)果如表5所示。

表5 測試時間對比Table 5 Comparison of test time

由表5可見，當測試的變壓器DGA數(shù)據(jù)集規(guī)模較小時，集群的運行時間大于單機運行時間，這是因為算法的執(zhí)行過程中集群計算節(jié)點之間需要信息交互，消耗了一定的時間，而這部分時間占總運行時間的比例較大，導致集群的運行時間大于單機環(huán)境下；當測試數(shù)據(jù)規(guī)模逐漸增加時，集群的計算時間效率越來越高于單機環(huán)境下，體現(xiàn)了Hadoop集群對大數(shù)據(jù)集進行運算的優(yōu)越性。

2.5 集群加速比性能分析

加速比為處理相同數(shù)據(jù)規(guī)模時處理器數(shù)量從p增加為q時集群的加速效果，是評判一個算法并行化效果的重要指標［22］。本實驗主要測試并行化的樸素貝葉斯算法處理不同大小DGA數(shù)據(jù)集時的加速比，結(jié)果如圖3所示。

圖3 加速比測試結(jié)果Fig.3 Result of speedup ratio test

從圖3中可知，并行化的樸素貝葉斯算法的加速比是接近線性的，這是由于相同數(shù)據(jù)規(guī)模下集群規(guī)模越大，算法的計算時間越短。隨著DGA數(shù)據(jù)集規(guī)模的增大，樸素貝葉斯算法加速比性能會越來越好，也說明并行計算方法能夠很好地解決大規(guī)模數(shù)據(jù)情況下計算時間過長的問題。在相同的DGA數(shù)據(jù)規(guī)模下，隨著集群計算節(jié)點規(guī)模的增加，加速比的增長速率逐漸減緩，這是由于集群規(guī)模的擴大導致計算節(jié)點之間通信量增加，減緩了加速比的增長速率。考慮到16 GB大小的DGA數(shù)據(jù)集相對于集群而言并不是很大，集群性能沒有得到全面的體現(xiàn)，圖中曲線并沒有靠近對角線，這再次說明集群更適合大規(guī)模數(shù)據(jù)集。

3 結(jié)論

本文針對傳統(tǒng)電力設備故障診斷算法在對海量狀態(tài)數(shù)據(jù)進行計算時出現(xiàn)的計算能力不足的問題，研究了MapReduce并行計算框架。利用Hadoop/MapReduce平臺給出了樸素貝葉斯算法的并行故障診斷過程，實現(xiàn)了以變壓器為例的電力設備快速并行故障診斷。實驗表明，當變壓器DGA數(shù)據(jù)集達到一定規(guī)模后，Hadoop集群可以對變壓器進行快速并行故障診斷，并顯示出了較好的加速比性能。

目前，本文只是對電力設備的并行故障診斷做了實驗，后期工作將逐步應用到電力設備的故障診斷中，并對現(xiàn)有的診斷方法進行改進，進一步提高故障診斷的速度與精度。