曲朝陽, 熊澤宇， 顏 佳， 辛 鵬， 曲 楠

(1. 東北電力大學信息工程學院， 吉林省 吉林市 132012； 2. 國網(wǎng)吉林省電力有限公司， 吉林 長春 130021； 3. 國網(wǎng)吉林省電力有限公司吉林供電公司， 吉林省 吉林市 132001；4. 江蘇省電力檢修分公司， 江蘇 南京 210008)

基于Spark的電力設備在線監(jiān)測數(shù)據(jù)可視化方法

曲朝陽1, 熊澤宇1， 顏 佳2， 辛 鵬3， 曲 楠4

(1. 東北電力大學信息工程學院， 吉林省 吉林市 132012； 2. 國網(wǎng)吉林省電力有限公司， 吉林 長春 130021； 3. 國網(wǎng)吉林省電力有限公司吉林供電公司， 吉林省 吉林市 132001；4. 江蘇省電力檢修分公司， 江蘇 南京 210008)

大數(shù)據(jù)可視化可以實現(xiàn)海量電力設備在線監(jiān)測數(shù)據(jù)中各種屬性、運行狀態(tài)等電力特征信息的圖形、圖像化直觀呈現(xiàn)，為設備運行狀態(tài)的及時有效監(jiān)控分析提供有力保障。因此，本文提出一種基于Spark的電力設備在線監(jiān)測數(shù)據(jù)可視化方法，為實現(xiàn)大數(shù)據(jù)環(huán)境下的電力設備在線監(jiān)測數(shù)據(jù)的狀態(tài)信息快速提取，在Spark大數(shù)據(jù)計算平臺上，建立了基于設備狀態(tài)評估指標體系與模糊C均值聚類(FCM)的電力設備狀態(tài)信息提取算法。針對數(shù)據(jù)的多維、時序特性，構(gòu)建三維平行散點圖的數(shù)據(jù)可視化展現(xiàn)形式，實現(xiàn)電力設備在線監(jiān)測數(shù)據(jù)信息全貌的可視化展現(xiàn)。將該方法運用于吉林省某風電場的風電機組在線監(jiān)測數(shù)據(jù)集，實驗結(jié)果證明了該方法的有效性。

Spark; 電力大數(shù)據(jù); 信息可視化; 在線監(jiān)測

1 引言

在線監(jiān)測系統(tǒng)是智能電網(wǎng)穩(wěn)定運行的安全監(jiān)控保障之一[1]，其產(chǎn)生的海量狀態(tài)監(jiān)測數(shù)據(jù)連續(xù)、廣泛地反映了電力設備運行狀態(tài)的每一個細節(jié), 是電力大數(shù)據(jù)的重要組成部分[2]。在大數(shù)據(jù)背景下，電力設備狀態(tài)監(jiān)測的重心從傳統(tǒng)的運行故障的實時精確定位與分析向運行狀態(tài)的全景展現(xiàn)與趨勢預測轉(zhuǎn)變[3]，而大數(shù)據(jù)可視化作為信息傳遞的有效方式，可直觀展示電力設備在線監(jiān)測數(shù)據(jù)與運行狀態(tài)變化情況[4]，對狀態(tài)監(jiān)測具有重要意義。

電力設備在線監(jiān)測數(shù)據(jù)可視化屬于大數(shù)據(jù)信息可視化方向[5]，主要存在兩個方面的問題。其一是設備狀態(tài)信息提取的問題，傳統(tǒng)的電力設備狀態(tài)評估方法將神經(jīng)網(wǎng)絡、關聯(lián)規(guī)則綜合分析、層次分析法、模糊理論等數(shù)據(jù)挖掘方法運用于電力設備在線監(jiān)測數(shù)據(jù)[6-9]，并建立設備運行狀態(tài)評估指標體系，實現(xiàn)設備運行狀態(tài)的分析評估與信息獲取，在小規(guī)模數(shù)據(jù)的設備狀態(tài)信息提取上取得了較高的精度。而設備在線監(jiān)測系統(tǒng)積累的數(shù)據(jù)通常在GB、TB級，記錄條數(shù)至少在百萬條以上，通過小規(guī)模樣本設計出的分析方法無法滿足對大規(guī)模的電力設備在線監(jiān)測數(shù)據(jù)進行設備狀態(tài)信息提取的半實時性要求[10]，因此不能直接運用于大數(shù)據(jù)環(huán)境下的電力設備狀態(tài)監(jiān)測數(shù)據(jù)。其二是可視化展現(xiàn)形式的問題，電力設備在線監(jiān)測數(shù)據(jù)屬性種類繁多(如風電機組在線監(jiān)測的數(shù)據(jù)屬性包括風速、有功功率、無功功率、電機轉(zhuǎn)速、相電壓及電流等多個屬性[11])，產(chǎn)生的狀態(tài)監(jiān)測數(shù)據(jù)屬于典型的高維數(shù)據(jù)。目前大數(shù)據(jù)可視化中用于高維數(shù)據(jù)可視化分析展示形式主要有散點圖、投影及平行坐標方法[12,13]，散點圖適合對有限數(shù)目的較為重要的維度進行可視化,通常不適于需要對所有維度同時進行展示的情況；投影及平行坐標方法盡管可以展示多維信息，但是這兩類方法運用于電力設備在線監(jiān)測數(shù)據(jù)上會忽略數(shù)據(jù)固有的時序性，無法展示設備狀態(tài)的變化情況。

針對上述問題，本文提出一種大數(shù)據(jù)環(huán)境下的電力設備狀態(tài)監(jiān)測數(shù)據(jù)可視化方法。首先，設計了基于設備狀態(tài)評估指標體系與模糊C均值聚類(FCM)的電力設備在線監(jiān)測數(shù)據(jù)的設備狀態(tài)信息提取算法，在Spark大數(shù)據(jù)計算平臺上實現(xiàn)了大數(shù)據(jù)環(huán)境下的電力設備運行狀態(tài)信息快速提??；然后，建立了三維平行散點圖的數(shù)據(jù)可視化展現(xiàn)形式，在Spark上完成了將電力設備在線監(jiān)測數(shù)據(jù)與運行狀態(tài)信息映射到三維空間的全方位直觀展示；最后，將本方法運用于吉林省某風電場的119號1.5MW風機在線狀態(tài)監(jiān)測數(shù)據(jù)集的可視化展現(xiàn)，并對該方法的執(zhí)行效率與可視化結(jié)果進行了分析與驗證。

2 基于Spark的電力設備在線監(jiān)測數(shù)據(jù)狀態(tài)信息提取

在信息可視化中，電力設備在線監(jiān)測數(shù)據(jù)集的實質(zhì)是在線監(jiān)測數(shù)據(jù)與其蘊含的設備狀態(tài)信息的集合。由于同類設備運行狀態(tài)信息對應的數(shù)據(jù)元素具有較強的聚集效應，因此采用FCM聚類算法將在線監(jiān)測數(shù)據(jù)集X柔性劃分至設備狀態(tài)類別集C中，并利用已有的設備狀態(tài)評估指標體系確定每個聚類所反映的設備狀態(tài)，最后根據(jù)最大隸屬度原則對聚類結(jié)果進行去模糊化，實現(xiàn)數(shù)據(jù)集X中所有數(shù)據(jù)元素反映的設備狀態(tài)信息的整體提取。

2.1 狀態(tài)信息提取算法

設電力設備狀態(tài)監(jiān)測數(shù)據(jù)集X為：

X={xj,j=1,2,…,m},

xj∈Rs,xj=(xj1,xj2,…,xjs)

式中，m為數(shù)據(jù)集中的元素個數(shù)；xj為數(shù)據(jù)集中的數(shù)據(jù)元素；s為xj的維度；xj1,xj2,…,xjs為xj中的監(jiān)測值。

設備狀態(tài)類別集C為：

C={ci,i=1,2,…,n}

分類ci的聚類中心pci為：

pci=(ci1,ci2,…,cis),pci∈Rs

式中，n為類別集C的分類數(shù)，使用設備狀態(tài)隸屬度uij來確定數(shù)據(jù)集X中各個元素xj所反映的設備狀態(tài)屬于類別集C中的分類ci的程度，則設備狀態(tài)分類隸屬度矩陣U為：

(1)

其約束條件為：

?j=1,2,…,m

(2)

在數(shù)據(jù)集X中，由于各個監(jiān)測量對應的數(shù)量級、量綱及設備狀態(tài)的變化情況不盡相同，因此采用設備狀態(tài)評估中的劣化度對各監(jiān)測值xji進行歸一化處理，歸一化處理后的值為xnor,ji，具體計算如式(3)～式(5)所示。

對越大越優(yōu)型監(jiān)測量：

(3)

式中，α為該監(jiān)測量的告警值；β為該監(jiān)測量的良好值。

對越小越優(yōu)型監(jiān)測量：

(4)

對中間型監(jiān)測量：

(5)

式中，α1、α2為該監(jiān)測量的告警值；β1、β2為該監(jiān)測量的良好值。

在實際的設備狀態(tài)評估中，各個監(jiān)測量對設備運行狀態(tài)的影響程度也不盡相同，而傳統(tǒng)的FCM算法基于歐式距離，并未對該情況加以體現(xiàn)，因此根據(jù)評估指標體系的權(quán)值向量W={wp,p=1,2,…,s}對歐氏距離計算進行加權(quán)處理。歸一化后的數(shù)據(jù)元素xnor,j與分類ci的聚類中心加權(quán)歐氏距離wdij與相應的FCM的目標函數(shù)J可以表示為：

(6)

(7)

根據(jù)聚類準則構(gòu)造如下拉格朗日函數(shù)：

(8)

根據(jù)Kunhn-Tucker定理對式(8)中的所有輸入?yún)⒘壳髮?，可以得出?shù)據(jù)元素xj對聚類ci的隸屬度uij與ci的聚類中心pci的迭代計算公式為：

(9)

(10)

通過迭代，不斷更新設備狀態(tài)隸屬度矩陣與聚類中心，設最終得到的聚類中心集SPfinal為：

SPfinal={pci,i=1,2,…,n},

pci=(ci1,ci2,…,cis),pci∈Rs

(11)

通過式(12)計算各狀態(tài)分類ci的狀態(tài)評估值Vi，以確定聚類對應的設備狀態(tài)(正常、注意、異常、嚴重)：

(12)

根據(jù)隸屬度最大原則確定X中數(shù)據(jù)元素xj所屬的設備狀態(tài)分類，根據(jù)式(13)生成電力設備狀態(tài)信息集ISX，從而完成數(shù)據(jù)集X的設備狀態(tài)信息提取。

ISX={isj,j=1,2,…,s},

isj={xj,ci},i∈{1,2,…,n}

(13)

基于上述核心思想，算法步驟如圖1所示。具體如下：

(1)根據(jù)在線監(jiān)測數(shù)據(jù)類型選取相應的監(jiān)測狀態(tài)評估指標體系，獲取指標層中各個評估指標Ri的權(quán)值wi，得到評估指標體系的權(quán)值向量為W={wp,p=1,2,…,s}。

(2)根據(jù)式(3)～式(5)對初始數(shù)據(jù)集X={xj,j=0,1,…,s}進行歸一化處理，得到處理后的數(shù)據(jù)集Xnor={xnor,j,j=0,1,…,s}。

(3)從X中選取n個初始聚類中心C={ci,i=1,2,…,n}，迭代終止參數(shù)ε，并初始化模糊劃分矩陣U如下：

(14)

(4)依據(jù)式(6)計算X中每個數(shù)據(jù)元素xj與聚類中心的加權(quán)距離wdij，按照式(7)計算目標函數(shù)J的值。

(5)若第I次迭代的目標函數(shù)J(I)的值與前次之差|J(I)-J(I-1)|<ε，則停止迭代，轉(zhuǎn)步驟(6)；否則，依據(jù)式(9)和式(10)更新模糊劃分矩陣U與聚類中心集C，返回步驟(4)。

(6)利用選取評估指標體系計算最終的聚類中心集SPfinal中各個聚類中心pci對應的設備運行狀態(tài)評估值Vi，確定其對應的數(shù)據(jù)分類ci所處的運行狀態(tài)(正常、注意、異常、嚴重)。

(7)根據(jù)最大隸屬度原則對最終得到的設備狀態(tài)隸屬度模糊劃分矩陣U進行去模糊化處理，確定在線監(jiān)測數(shù)據(jù)集X中的各個數(shù)據(jù)元素xj對應的設備狀態(tài)分類，并生成電力設備狀態(tài)信息集ISX。

圖1 電力設備在線監(jiān)測數(shù)據(jù)集的狀態(tài)信息提取步驟Fig. 1 State information extraction steps of electrical power equipment online monitoring data set

2.2 Spark上的電力設備在線監(jiān)測數(shù)據(jù)狀態(tài)信息提取實現(xiàn)

Spark是一個基于內(nèi)存計算的通用大數(shù)據(jù)計算平臺。通過彈性分布式數(shù)據(jù)集(RDD)，Spark將數(shù)據(jù)集的全部或部分緩存在內(nèi)存中，并利用Lineage機制進行容錯，在極大地提升數(shù)據(jù)處理效率的同時，也將MapReduce、Streaming(Spark Streaming)、SQL(Spark SQL)、Machine Learning(MLlib)、Graph Processing(GraphX)等大數(shù)據(jù)處理模型統(tǒng)一到一個平臺下，形成了可以應對任何大數(shù)據(jù)處理場景的Spark Ecosystem，如圖2所示[14]。

圖2 Spark Ecosystem層次結(jié)構(gòu)圖Fig. 2 Hierarchical structure graph of Spark Ecosystem

圖3 基于Spark的電力設備在線監(jiān)測數(shù)據(jù)的狀態(tài)信息提取過程Fig.3 State information extracting process of electrical equipment online monitoring data based on Spark

如圖3所示，基于Spark的電力設備在線監(jiān)測數(shù)據(jù)的狀態(tài)信息提取主要分為三個階段: ①完成Spark大數(shù)據(jù)計算平臺的初始化及電力設備狀態(tài)監(jiān)測數(shù)據(jù)集的RDD構(gòu)建；②建立電力設備在線監(jiān)測數(shù)據(jù)集信息提取的SparkApplication，將其提交至Spark集群上運行，并返回相應的分析結(jié)果(聚類中心集、聚類結(jié)果集、模糊劃分矩陣的SparkRDD)，以實現(xiàn)在線監(jiān)測數(shù)據(jù)信息的快速并行化提??；③利用電力設備狀態(tài)評估指標體系對結(jié)果集中的聚類中心進行分析計算，確定各個聚類表征的設備運行狀態(tài)，構(gòu)建電力設備在線監(jiān)測數(shù)據(jù)的狀態(tài)信息集。

算法的實現(xiàn)過程如下：

(1)利用SparkContext類的textFile方法，根據(jù)存儲路徑(HDFS或是本地文件系統(tǒng)路徑均可)讀取電力設備狀態(tài)監(jiān)測數(shù)據(jù)，根據(jù)文件中的增量建立讀入的電力設備狀態(tài)監(jiān)測數(shù)據(jù)文件的彈性分布式數(shù)據(jù)集RDDeFile，并利用RDD類的cache方法進行數(shù)據(jù)緩存。

(2)使用RDD類的map方法并行執(zhí)行對RDDeFile中的記錄數(shù)據(jù)進行類型轉(zhuǎn)換(JavaRDD轉(zhuǎn)JavaRDD)，根據(jù)式(3)～式(5)的數(shù)據(jù)屬性值歸一化處理，以得到預處理完成的彈性分布式數(shù)據(jù)集RDDparse，并利用RDD類的rdd方法轉(zhuǎn)換為SparkRDD類型進行數(shù)據(jù)緩存。

(3)根據(jù)聚類數(shù)n使用RDD類的takeSample方法隨機選取數(shù)據(jù)集RDDparse中的n個點作為初始聚類中心集Cinit；建立一個n行m列的DenseMatrix類型的模糊劃分矩陣U，根據(jù)式(11)使用Spark中Matrice類的update方法進行初始化；通過SparkContext類的broadcast方法將Cinit、RDDparse及U發(fā)送至Spark集群中的各個worker上。

(4)利用RDD類的mapPartitions方法，根據(jù)式(6)在集群上的每個RDDparse副本的每個Partition上并行計算數(shù)據(jù)元素xnor,j與各個聚類中心ci的加權(quán)距離wdij及目標函數(shù)在每個Partition上的值，通過reduceByKey及collectAsMap方法根據(jù)隸屬度最大原則統(tǒng)計屬于各個聚類的點的個數(shù)，并得到各個聚類ci的目標函數(shù)的值Jci。

(5)對各個聚類的目標函數(shù)值Jci進行求和操作得到整體目標函數(shù)J的值，記為Jcur，若Jcur與前次迭代時目標函數(shù)值Jpre之差的絕對值小于閾值ε，且各個聚類中心pci的歐氏距離變化小于閾值eps，則停止聚類分析并返回聚類結(jié)果彈性分布式數(shù)據(jù)集RDDclustered、聚類中心集SPfinal及模糊劃分矩陣U；否則，利用map方法分別根據(jù)式(9)和式(10)更新狀態(tài)類別集C的聚類中心、模糊劃分矩陣U，返回步驟(4)進行迭代計算。

(6)通過選取的設備狀態(tài)評估體系計算式(12)得到各個聚類中心ci的狀態(tài)評估值Vi，確定其對應的聚類ci的設備運行狀態(tài)。根據(jù)式(13)及聚類結(jié)果集RDDclustered，利用RDD類的map方法并行產(chǎn)生所有信息元素isj，進而將RDDclustered轉(zhuǎn)換為設備狀態(tài)信息集ISX對應的彈性分布式數(shù)據(jù)集RDDIS。最后通過使用SaveAsTextFile方式將RDDIS保存至HDFS中，實現(xiàn)信息集ISX的持久化處理。

3 基于三維平行散點圖與人機交互的數(shù)據(jù)可視化展現(xiàn)

3.1三維平行散點圖可視化原理

本文的三維平行散點圖是二維散點圖在三維空間的自然延伸。其將高維、時序的電力設備狀態(tài)信息集ISX中的信息元素isj映射為一組三維空間中的點pj，點pj的位置由isj中的數(shù)據(jù)元素xj的時間屬性t、屬性編號k及屬性值xjk決定，映射關系F為：

(15)

為展示在ti時刻的設備狀態(tài)，對平行坐標系進行著色加強處理。為數(shù)據(jù)點著色是重要的平行坐標信息反混淆方法。在特定的顏色空間中，每一組數(shù)據(jù)點pj對應的設備狀態(tài)分類ci都有一個(ri,gi,bi)值與其對應，其中，ri、gi、bi分別表示紅綠藍三原色。通過應用不同的顏色空間，使設備狀態(tài)信息集ISX中每一個數(shù)據(jù)元素isj反映的設備運行狀態(tài)類別區(qū)分明顯，從而使用戶更清晰地了解設備運行狀態(tài)的變化規(guī)律。

3.2 Spark上的數(shù)據(jù)展現(xiàn)實現(xiàn)步驟

在Spark大數(shù)據(jù)計算平臺上，通過jzy3d大數(shù)據(jù)可視化類庫，實現(xiàn)了電力設備狀態(tài)監(jiān)測數(shù)據(jù)的可視化展現(xiàn)，實現(xiàn)步驟如下：

(1)使用RDD類的collect方法讀取電力設備在線監(jiān)測數(shù)據(jù)信息提取產(chǎn)生的設備狀態(tài)信息彈性分布式數(shù)據(jù)集RDDIS，生成類型為List的設備狀態(tài)信息元素列表ListIS，其中Vector的結(jié)構(gòu)為{聚類編號N，時間點T，監(jiān)測量x1,…,xs}(其中s為監(jiān)測數(shù)據(jù)集的維度)。

(2)將ListIS中的每個Vector類型的數(shù)據(jù)元素Di分解為聚類編號Ni、數(shù)據(jù)點集Pi，其中Pi的結(jié)構(gòu)為：

pi={pi1,pi2,…,pij,…pis},

pij=(Ti,i,xij)j=1,2,…,s

進而構(gòu)建相應的聚類編號列表ListN、數(shù)據(jù)點集的列表ListP。

(3)為聚類編號列表ListN中每一個聚類編號Ni指定相應著色(ri,gi,bi)，構(gòu)成著色列表Listcolor。

(4)以著色列表Listcolor、數(shù)據(jù)點集列表ListP為輸入數(shù)據(jù)，利用jzy3d的Scatter方法建立三維平行散點圖。

(5)利用ChartLauncher類的instruction方法為建立的三維平行散點圖添加Z軸平移、Z軸拉伸、中心旋轉(zhuǎn)、單個屬性與時間關系的分解展示等人機交互操作，以便于可視化展現(xiàn)結(jié)果的查看，并通過openChart方法進行可視化結(jié)果的展現(xiàn)。

4 實驗結(jié)果與分析

將本方法運用于某風電場的119號1.5MW風電機組在線狀態(tài)監(jiān)測數(shù)據(jù)集，該風機在線監(jiān)測數(shù)據(jù)集包含14個監(jiān)測量，數(shù)據(jù)量為20G(2000萬條數(shù)據(jù))，監(jiān)測量如表1所示。

由于電力大數(shù)據(jù)可視化主要關注數(shù)據(jù)處理的實時性及可視化結(jié)果的直觀性，所以本實驗分別對可視化方法執(zhí)行效率與可視化結(jié)果進行分析。為模擬真實的大數(shù)據(jù)處理環(huán)境，在4臺曙光I620-G10服務器上搭建真實的Spark集群作為實驗環(huán)境，系統(tǒng)配置如表2所示。

表1 風電機組在線監(jiān)測數(shù)據(jù)集屬性表Tab.1 Attribute list of WTGS online monitoring data set

表2 實驗環(huán)境配置Tab.2 Configuration of experiment environment

4.1 設備狀態(tài)信息提取算法的執(zhí)行效率

將本文基于Spark的電力設備狀態(tài)監(jiān)測數(shù)據(jù)的設備狀態(tài)信息提取算法與傳統(tǒng)的基于MapReduce的算法運用于該實驗數(shù)據(jù)集，對處理時間進行對比以說明本文方法在執(zhí)行效率上的優(yōu)越性，結(jié)果如圖4所示。

圖4 基于MapReduce的算法與本文算法的信息提取用時對比Fig. 4 Time consumption of state information extracting between algorithm based on MapReduce and our algorithm

由圖4可以看出，由于Spark是基于內(nèi)存計算的大數(shù)據(jù)處理平臺，除構(gòu)建RDD時的數(shù)據(jù)讀入階段與結(jié)果寫入HDFS的結(jié)果輸出階段，其余時間都不涉及磁盤IO操作，減少了數(shù)據(jù)計算中的磁盤數(shù)據(jù)存取時間，且Spark的基于DAG的任務處理結(jié)構(gòu)比傳統(tǒng)的MapReduce任務處理結(jié)構(gòu)更為高效，所以相比傳統(tǒng)的基于MapReduce的方法在執(zhí)行效率上有了極大提升，減少了約84.6%的數(shù)據(jù)處理時間，滿足了電力大數(shù)據(jù)對歷史數(shù)據(jù)處理的準實時性要求。

可擴展性是按節(jié)點數(shù)成比例增大數(shù)據(jù)規(guī)模時并行算法的執(zhí)行效率。為測試算法的可擴展性，從實驗數(shù)據(jù)中取出5G、10G、15G三個樣本作為測試數(shù)據(jù)集，在Spark的Yarn-Cluster模式下，通過設置num-executors參數(shù)以實現(xiàn)分別在1、2、3個節(jié)點上進行規(guī)模和時效對比實驗，結(jié)果如圖5所示。

圖5 本文方法的可擴展性測試Fig. 5 Expansibility test of our method

由圖5可以看出，雖然由于硬件和平臺運行資源消耗的原因，節(jié)點數(shù)增加時算法性能略微浮動，但這些作業(yè)的運行時間基本保持了相同的水平，這體現(xiàn)出本文并行算法良好的可擴展性。

加速比是數(shù)據(jù)規(guī)模固定、不斷增加節(jié)點數(shù)時并行算法的執(zhí)行效率。理想的加速比是線性的，但由于計算機間通信、任務調(diào)度等開銷，實際的加速比將低于理想情況。測試數(shù)據(jù)集數(shù)據(jù)量為20G時節(jié)點數(shù)及用時如圖6所示。

圖6 本文設備狀態(tài)信息提取算法的加速比測試Fig. 6 Speed-up ratio test of our method

從圖6中的設備狀態(tài)信息提取時間和節(jié)點數(shù)目的關系可以看出，本文基于Spark的設備狀態(tài)信息提取算法在節(jié)點數(shù)目增加時，作業(yè)執(zhí)行用時顯著減少，具有良好的加速作用。

4.2 可視化展現(xiàn)的執(zhí)行效率分析

在執(zhí)行可視化展現(xiàn)時，Spark自動將該作業(yè)分解為本地任務進行調(diào)度處理，不涉及Spark集群中的并行數(shù)據(jù)計算，因此僅對不同數(shù)據(jù)量下的基于三維平行散點圖的可視化展示效率進行分析，結(jié)果如圖7所示。

圖7 Spark上基于三維平行散點圖的可視化展現(xiàn)用時Fig. 7 Time consumption of visualization based on 3-D parallel scatter and Spark

由圖7可以看出，Spark上基于三維平行散點圖的可視化展現(xiàn)的作業(yè)用時隨數(shù)據(jù)量的增加呈線性變化，對2000萬條記錄進行展現(xiàn)的用時26.705s，基本滿足電力大數(shù)據(jù)中歷史數(shù)據(jù)處理的半實時化數(shù)據(jù)處理需求。

4.3 可視化結(jié)果分析

該119號風機的在線監(jiān)測數(shù)據(jù)集的三維平行散點圖可視化結(jié)果與風機有功功率屬性、風速屬性隨時間變化的分解展示結(jié)果分別如圖8(a)、圖8(b)和圖8(c)所示。圖8(a)中屬性的名稱和順序如表1的z1～z12所示，狀態(tài)A代表狀態(tài)評估值為良好，狀態(tài)B為一般，狀態(tài)C為注意，狀態(tài)D為嚴重。圖9為風機變槳角、轉(zhuǎn)速隨時間的變化關系圖。

首先由圖8(c)的風速-時間變化中可以看出，在該時間段內(nèi)該地區(qū)的風速保持在0～15m/s，小于風機的切出風速25m/s，因此不存在實際風速大于切出風速所導致的風機停止捕獲風能的情況。

圖8 可視化結(jié)果Fig. 8 Visualization results

圖9 風機變槳角、轉(zhuǎn)速隨時間的變化關系圖Fig.9 Visualization results of relation between pitch-angle and time and relation between rotate-speed and time

然后從圖8(a)三維平行散點圖的可視化結(jié)果中可以看出，該風機在2月份的運行狀態(tài)可以被分為四類，其中狀態(tài)A所占比例最多，結(jié)合圖8(b)的有功功率-時間變化可以看出，在狀態(tài)A下風機有功功率保持在約100～300kW的范圍，結(jié)合圖8(c)與圖9(a)可知對應的風速及風機變槳角多處于3～10m/s及0°～20°之間，由圖9(b)可知此狀態(tài)下風機轉(zhuǎn)速基本保持為某個恒定值，因此狀態(tài)A代表的是風機正常工作時的轉(zhuǎn)速恒定狀態(tài)，有功功率隨風速的變化而變化。

在狀態(tài)B所代表的狀態(tài)下，風機變槳角基本保持不變或是呈上升趨勢，在變槳角保持不變時風機的轉(zhuǎn)速隨風速變化，表示在有一定風速的情況下風機捕獲最大風能的運行狀態(tài)，即最大風能捕獲區(qū)；在變槳角增加時表示風機在功率極限區(qū)域工作一段時間后進行調(diào)整，增加風機變槳角以控制風機轉(zhuǎn)速及輸出功率的調(diào)整狀態(tài)。

在狀態(tài)C下，由圖8(b)、圖9(a)可知風機變槳角保持在0°附近，風速達到額定風速11.1m/s，輸出功率保持在1000～1500kW，已接近或達到功率極限，由圖9(b)可知此時風機的發(fā)電機轉(zhuǎn)速接近極限值(約1750r/min)，此時應引起工作人員的注意，應查看發(fā)電機軸承、繞組溫度等監(jiān)測量，以保證風電機組的安全穩(wěn)定運行。

在狀態(tài)D下，由圖9(a)和圖9(b)可知，其中絕大多數(shù)情況顯示風機變槳角大于89°，可以看出這是因為風機進入停機或緊急停機狀態(tài)使得風機有功功率為0。其余情況下，狀態(tài)D的分布稀疏且風機變槳角變化極快，可以認為是風機在由停止到起動過程中葉片變槳角調(diào)節(jié)至迎風狀態(tài)或是風機自動解纜所導致。

5 結(jié)論

本文為實現(xiàn)大數(shù)據(jù)環(huán)境下的電力設備在線監(jiān)測數(shù)據(jù)的可視化展示，在Spark大數(shù)據(jù)處理平臺上對電力設備在線監(jiān)測數(shù)據(jù)可視化進行了研究，提出了一種基于Spark的電力設備在線監(jiān)測數(shù)據(jù)可視化方法。該方法通過對電力設備狀態(tài)監(jiān)測數(shù)據(jù)進行FCM與設備狀態(tài)評估指標體系相結(jié)合的設備狀態(tài)信息提取，以獲取設備運行狀態(tài)信息集，并通過三維平行散點圖的形式,進行狀態(tài)變化與監(jiān)測數(shù)據(jù)相結(jié)合的一體化展現(xiàn)。實驗結(jié)果證明，在處理千萬級的電力設備狀態(tài)監(jiān)測數(shù)據(jù)時，該方法在數(shù)據(jù)信息提取上具有良好的可擴展性和加速比，完全可以滿足電力大數(shù)據(jù)處理的半實時性需求，且可視化結(jié)果易于理解，實現(xiàn)了數(shù)據(jù)的全景展示。下一步工作的重點將是對電力大數(shù)據(jù)可視化的人機交互方法進行進一步研究，以便使其能夠更好地應用于電力大數(shù)據(jù)可視化分析和電網(wǎng)管控決策中。

[1] 鄒建明(Zou Jianming).在線監(jiān)測技術(shù)在電網(wǎng)中的應用(Application of on-line monitoring technology on power grid)[J].高電壓技術(shù)(High Voltage Engineering), 2007, 33 (8): 203-206.

[2] 周國亮,宋亞奇,王桂蘭，等(Zhou Guoliang, Song Yaqi, Wang Guilan, et al.).狀態(tài)監(jiān)測大數(shù)據(jù)存儲及聚類劃分研究(Research of condition monitoring big data storage and clustering)[J].電工技術(shù)學報(Transactions of China Electrotechnical Society), 2013, 28 (S2): 337-344.

[3] 彭小圣,鄧迪元,程時杰,等(Peng Xiaosheng, Deng Diyuan, Cheng Shijie, et al.).面向智能電網(wǎng)應用的電力大數(shù)據(jù)關鍵技術(shù)(Key technologies of electric power big data and its application prospects in smart grid)[J]. 中國電機工程學報(Proceedings of the CSEE),2015, 35 (3): 503-511.

[4] 張東霞,苗新,劉麗平,等(Zhang Dongxia, Miao Xin, Liu Liping, et al.).智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究(Research on Development Strategy for Smart Grid Big Data)[J].中國電機工程學報(Proceedings of the CSEE),2014, 35 (S1): 432-437.

[5] 王棟(Wang Dong).大數(shù)據(jù)可視化技術(shù)在電網(wǎng)企業(yè)的應用(Application of big data visualization technique in power grid enterprise)[J].江蘇電機工程(Jiangsu Electrical Engineering),2014, 33 (6):82-84.

[6] 阮羚,謝齊家,高勝友,等(Ruan Ling, Xie Qijia, Gao Shengyou, et al.).人工神經(jīng)網(wǎng)絡和信息融合技術(shù)在變壓器狀態(tài)評估中的應用(Application of artificial neural network and information fusion technology in power transformer condition assessment)[J].高電壓技術(shù)(High Voltage Engineering),2014, 40 (3):822-828.

[7] 李黎,張登,謝龍君,等(Li Li, Zhang Deng, Xie Longjun, et al.).采用關聯(lián)規(guī)則綜合分析和變權(quán)重系數(shù)的電力變壓器狀態(tài)評估方法(A condition assessment method of power transformers based on association rules and variable weight coefficients)[J].中國電機工程學報(Proceedings of the CSEE),2013, 33 (24):152-159, 22.

[8] 梁永亮,李可軍,牛林,等(Liang Yongliang, li Kejun, Niu Lin, et al.).變壓器狀態(tài)評估多層次不確定模型(A multilayer uncertain transformer condition assessment model)[J].電力系統(tǒng)自動化(Automation Electric Power Systems),2013, 37 (22):73-78.

[9] 廖瑞金,王謙,駱思佳,等(Liao Ruijin, Wang Qian, Luo Sijia, et al.).基于模糊綜合評判的電力變壓器運行狀態(tài)評估模型(Condition assessment model for power transformer in service based on fuzzy synthetic evaluation)[J].電力系統(tǒng)自動化(Automation Electric Power Systems),2008, 32 (3):70-75.

[10] 曲朝陽,陳帥,楊帆,等(Qu Zhaoyang, Chen Shuai, Yang Fan, et al.).基于云計算技術(shù)的電力大數(shù)據(jù)預處理屬性約簡方法(An attribute reducing method for electric power big data preprocessing based on cloud computing technology)[J].電力系統(tǒng)自動化(Automation Electric Power Systems), 2014, 38 (8):67-71.

[11] 肖運啟,王昆朋,賀貫舉,等(Xiao Yunqi, Wang Kunpeng, He Guanju, et al.). 基于趨勢預測的大型風電機組運行狀態(tài)模糊綜合評價(Fuzzy comprehensive evaluation for operating condition of large-scale wind turbines based on trend predication)[J].中國電機工程學報(Proceedings of the CSEE),2014, 34 (13):2132-2139.

[12] 任磊,杜一,馬帥,等(Ren Lei, Du Yi, Ma Shuai, et al.). 大數(shù)據(jù)可視分析綜述(Visual analytics towards big data)[J].軟件學報(Journal of Software),2014, 25 (9):1909-1936.

[13] 雷君虎,楊家紅,鐘堅成,等(Lei Junhu, Yang Jiahong, Zhong Jiancheng, et al.).基于PCA和平行坐標的高維數(shù)據(jù)可視化(High-dimensional data visualization based on principal component analysis and parallel coordinate)[J].計算機工程(Computer Engineering),2011, 37 (1):48-50.

[14] 周國亮,朱永利,王桂蘭,等(Zhou Guoliang, Zhu Yongli, Wang Guilan, et al.).實時大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測領域中的應用(Real-time big data processing technology application in the field of state monitoring)[J].電工技術(shù)學報(Transactions of China Electrotechnical Society),2014, 29 (S1):432-437.

Visualization method of electrical equipment online monitoring data based on Spark

QU Zhao-yang1XIONG Ze-yu1YAN Jia2XIN Peng3QU Nan4

(1.School of Information Engineering, Northeast Dianli University, Jilin 132012,China; 2.State Grid Jilin Province Electric Power Supply Company, Changchun 130021, China; 3. Jilin Power Supply Company, State Grid Jilin Province Electric Power Supply Company, Jilin 132001, China; 4.Maintenaue Company of Jiangsu Power Company, Nanjing 210008, China)

With the strengthening of range and quality of the electrical equipment online monitoring in smart grid, the collected data volume in online monitoring is growing exponentially. All the attributes and the operating state in electrical equipment online monitoring data which is of massive amounts can be presented directly by the big data visualization, which can provide powerful guarantee to effective and timely monitoring and analyzing of the operating state. However, the application of the big data visualization to electrical power big data is still in a preliminary stage, and there is still lacking of visualization method of electrical equipment online monitoring data under big data environment. Therefore, a visualization method of the electrical equipment online monitoring data based on Spark is proposed. To realize rapid extraction of electrical equipment state information, the state information extracting algorithm based on FCM and evaluation system is constructed on Spark. For the multi-dimensional and time-serial feature of electrical equipment online monitoring data, the representation based on 3-D parallel scatter is constructed, and the data information of the electrical equipment online monitoring is realized. The method is applied to the WTGS online monitoring data set, and the efficiency of the method is proved by the experiment result.

Spark; electrical power big data; information visualization; online monitoring

2015-12-24

國家自然科學基金項目(51277023)、 吉林省科技計劃重點項目(20130206085SF)、 吉林省科技重點轉(zhuǎn)化項目(20140307008GX)

曲朝陽(1964-), 男, 吉林籍, 教授, 博士生導師, 研究方向為智能電網(wǎng)與電力信息化、 虛擬現(xiàn)實、 網(wǎng)絡技術(shù)等; 熊澤宇(1991-), 男， 江蘇籍， 碩士研究生， 研究方向為電力大數(shù)據(jù)可視化(通信作者)。

TM46

A

1003-3076(2016)11-0072-09