朱昌敏，岳 東

(南京郵電大學(xué) 先進(jìn)技術(shù)研究院，江蘇 南京 210023)

0 引 言

傳統(tǒng)的數(shù)據(jù)異常檢測(cè)方法計(jì)算復(fù)雜，精度低，靈活性差，電力系統(tǒng)中的異常數(shù)據(jù)影響電力系統(tǒng)狀態(tài)估計(jì)結(jié)果的準(zhǔn)確性，而傳統(tǒng)機(jī)器學(xué)習(xí)算法在處理海量高維度多類(lèi)型數(shù)據(jù)時(shí)計(jì)算資源不足，雖然Map-Reduce框架能并行處理數(shù)據(jù)，但在迭代計(jì)算方面性能不足。對(duì)此，文中從電力異常數(shù)據(jù)檢測(cè)與修正方面闡述了電力大數(shù)據(jù)與智能電網(wǎng)的深度融合，基于大數(shù)據(jù)Spark計(jì)算平臺(tái)，提出一種基于Spark的改進(jìn)ISODATA聚類(lèi)算法對(duì)異常數(shù)據(jù)進(jìn)行檢測(cè)。對(duì)某一節(jié)點(diǎn)電力負(fù)荷數(shù)據(jù)提取出日負(fù)荷特征曲線，通過(guò)特征曲線對(duì)比，對(duì)其中異常數(shù)據(jù)進(jìn)行檢測(cè)并修正。以大航杯“智造揚(yáng)中”電力AI大賽提供的揚(yáng)中市高新區(qū)1 000多家企業(yè)的歷史用電量數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，對(duì)該方法的性能進(jìn)行驗(yàn)證[1]。

1 基于Spark改進(jìn)的ISODATA聚類(lèi)算法

1.1 Spark簡(jiǎn)介

Spark是一個(gè)通用的并行計(jì)算框架，其分布式計(jì)算框架的實(shí)現(xiàn)基于MapReduce算法模式，因此擁有Map-Reduce擁有的所有優(yōu)點(diǎn)，并在Hadoop的基礎(chǔ)上對(duì)MapReduce做了大量?jī)?yōu)化：快速處理，易于使用，支持查詢，支持流式計(jì)算，可用性高，豐富的數(shù)據(jù)源支持。

Spark SQL、Spark Streaming、MLLib和GraphX等組件組成了Spark豐富的生態(tài)圈，Spark SQL的即時(shí)查詢、Streaming的流式處理、MLLib的機(jī)器學(xué)習(xí)和GraphX的圖處理，能夠完美集成并提供一站式解決平臺(tái)方案。

引用彈性分布式數(shù)據(jù)集(resilient distributed dataset，RDD)，Spark在集群計(jì)算中可將數(shù)據(jù)集分布式緩存在各節(jié)點(diǎn)內(nèi)存中，省去大量的磁盤(pán)IO操作，大大縮短訪問(wèn)延遲。作為Spark架構(gòu)的核心模塊，RDD能將用戶數(shù)據(jù)存儲(chǔ)在內(nèi)存，并支持顯式緩存(cache)及持久化(persistence)存儲(chǔ)，對(duì)于需要多次迭代使用的數(shù)據(jù)，省去了多次內(nèi)存和磁盤(pán)的IO時(shí)間。RDD創(chuàng)建之后，只支持兩類(lèi)操作：action和transformation。Spark對(duì)RDD是惰性計(jì)算的，只有在行動(dòng)操作(action)時(shí)，才會(huì)真正計(jì)算[2]。

1.2 改進(jìn)的ISODATA算法

傳統(tǒng)ISODATA算法能夠在聚類(lèi)過(guò)程中根據(jù)各個(gè)類(lèi)所包含樣本的實(shí)際情況動(dòng)態(tài)調(diào)整聚類(lèi)中心的數(shù)目[3]。如果某個(gè)類(lèi)中樣本分散程度較大(通過(guò)方差進(jìn)行衡量)并且樣本數(shù)量較大，則對(duì)其進(jìn)行分裂操作；如果某兩個(gè)類(lèi)別靠得較近(通過(guò)聚類(lèi)中心的距離衡量)，則對(duì)它們進(jìn)行合并操作。初始狀態(tài)時(shí)聚類(lèi)數(shù)目和中心選擇的好壞，直接影響聚類(lèi)過(guò)程中所需要的時(shí)間[4]，并很有可能對(duì)聚類(lèi)的效果產(chǎn)生影響。而傳統(tǒng)ISODATA算法在聚類(lèi)前隨機(jī)決定聚類(lèi)數(shù)目和選擇初始聚類(lèi)中心，不僅聚類(lèi)時(shí)間不確定，還會(huì)造成聚類(lèi)結(jié)果的偶然性，導(dǎo)致出現(xiàn)ISODATA算法得到的分類(lèi)結(jié)果不一致的現(xiàn)象。

基于上述問(wèn)題，對(duì)傳統(tǒng)ISODATA聚類(lèi)方法進(jìn)行改進(jìn)，改進(jìn)后的算法能夠在聚類(lèi)算法執(zhí)行前自動(dòng)確定初始簇?cái)?shù)目，并確定簇中心位置。相較傳統(tǒng)ISODATA算法在聚類(lèi)前隨機(jī)決定聚類(lèi)數(shù)目和選擇初始聚類(lèi)中心，改進(jìn)后的ISODATA算法大大縮減了數(shù)據(jù)計(jì)算量，通過(guò)減少迭代次數(shù)優(yōu)化算法執(zhí)行時(shí)間。改進(jìn)ISODATA算法的步驟如下：

(1)計(jì)算各樣本點(diǎn)之間的距離，并將其存儲(chǔ)在一個(gè)矩陣A中，A(i,j)=‖Ii-Ij‖,i,j=1,2,…,N。

(2)根據(jù)第一步生成的距離矩陣A，將每列上的距離數(shù)據(jù)累加求出平均聚類(lèi)距離ad，取R1=ad*(經(jīng)驗(yàn)參數(shù)，一般取0.5～2)，R2=2*R1。

(3)將ad*作為半徑，以每個(gè)樣本點(diǎn)為圓心畫(huà)圓，將圓內(nèi)的數(shù)據(jù)點(diǎn)作為一個(gè)分組。

(4)計(jì)算每組內(nèi)的樣本點(diǎn)數(shù)目，并按樣本數(shù)目降序排列，將第一組的中心點(diǎn)作為第一個(gè)初始聚類(lèi)中心C1，若第二組的中心點(diǎn)與第一個(gè)初始聚類(lèi)中心C1之間的距離大于R2=2*R1，就將其作為第二個(gè)初始聚類(lèi)中心C2，否則繼續(xù)判定下一組，若當(dāng)前組與已確定的聚類(lèi)中心的距離都大于R2，則將當(dāng)前組的中心點(diǎn)作為一個(gè)新聚類(lèi)中心，依照這個(gè)規(guī)則直到?jīng)]有新的聚類(lèi)中心產(chǎn)生。

2 負(fù)荷特征曲線提取

不同的季節(jié)，不同的天氣情況，不同時(shí)間點(diǎn)的用電負(fù)荷曲線都是不同的[5]。不同用戶類(lèi)型的用電規(guī)律也是不同的，如居民用電，企業(yè)用電和商業(yè)用電等。因此文中算法的K取值肯定是大于2的。對(duì)異常數(shù)據(jù)的檢測(cè)，本質(zhì)上就是對(duì)存在異常數(shù)據(jù)的日負(fù)荷曲線的檢測(cè)，將存在異常數(shù)據(jù)的負(fù)荷曲線與正常的負(fù)荷曲線模式分開(kāi)，算法本質(zhì)上是一個(gè)分類(lèi)問(wèn)題[6]。

負(fù)荷曲線定義：將某個(gè)節(jié)點(diǎn)連續(xù)t個(gè)時(shí)間點(diǎn)及對(duì)應(yīng)的負(fù)荷量yt線性擬合的曲線，記為Yt=(y1,y2,…,yt)。異常數(shù)據(jù)即為某個(gè)或多個(gè)時(shí)間點(diǎn)的負(fù)荷值偏離正常值過(guò)多，在負(fù)荷曲線上的表現(xiàn)為突變(突增或突減)。以某一節(jié)點(diǎn)負(fù)荷數(shù)據(jù)為研究對(duì)象，根據(jù)該節(jié)點(diǎn)歷史用電數(shù)據(jù)，通過(guò)聚類(lèi)分析提取出該節(jié)點(diǎn)的日負(fù)荷特征曲線，再利用負(fù)荷曲線兩種特征來(lái)檢測(cè)和辨識(shí)負(fù)荷曲線上是否存在異常數(shù)據(jù)及異常數(shù)據(jù)所在位置。

文中采用改進(jìn)的ISODATA聚類(lèi)算法對(duì)日負(fù)荷曲線進(jìn)行分類(lèi)，實(shí)驗(yàn)時(shí)將正常負(fù)荷曲線Y1和含異常數(shù)據(jù)的負(fù)荷曲線Y2分別進(jìn)行處理，然后將和Y1相似的其他不含異常數(shù)據(jù)的負(fù)荷曲線放到一個(gè)數(shù)據(jù)集中，對(duì)這類(lèi)負(fù)荷曲線進(jìn)行聚類(lèi)，算法最后生成的一條代表這類(lèi)負(fù)荷曲線的不包含異常數(shù)據(jù)的曲線，就是日負(fù)荷特征曲線[7]。日負(fù)荷特征代表這一類(lèi)負(fù)荷曲線的數(shù)值特征和趨勢(shì)特征[8]。

用縱向相似性和橫向相似性來(lái)衡量日負(fù)荷曲線的相似性。縱向相似性是指相鄰時(shí)間段內(nèi)同一時(shí)間點(diǎn)的負(fù)荷量是近似相等的，實(shí)驗(yàn)以兩個(gè)值進(jìn)行衡量：一是待檢測(cè)曲線與日負(fù)荷特征曲線上各采樣點(diǎn)之間距離的最大值；二是待檢測(cè)曲線與日負(fù)荷特征曲線上采樣點(diǎn)的變化率。橫向相似性是指一條曲線相鄰時(shí)間段的負(fù)荷曲線的形狀是相似的，指的是相鄰采樣點(diǎn)的負(fù)荷變化率是相似的。

3 異常數(shù)據(jù)檢測(cè)與處理

利用提取出的日負(fù)荷特征曲線Yt對(duì)待檢測(cè)日負(fù)荷曲線Yd進(jìn)行辨識(shí)[9]，從而確定日負(fù)荷曲線中是否含有異常數(shù)據(jù)。日負(fù)荷曲線擁有橫向相似性和縱向相近性，這兩個(gè)特征可以用來(lái)檢測(cè)負(fù)荷曲線上是否存在異常數(shù)據(jù)。下面分別介紹利用負(fù)荷曲線兩種特征來(lái)檢測(cè)和辨識(shí)負(fù)荷曲線上是否存在異常數(shù)據(jù)及異常數(shù)據(jù)所在位置。

3.1 利用縱向相似性檢測(cè)和辨識(shí)異常數(shù)據(jù)

縱向相似性的檢測(cè)有兩個(gè)參考標(biāo)準(zhǔn)：待檢測(cè)曲線與日負(fù)荷特征曲線上各采樣點(diǎn)之間距離的最大值；待檢測(cè)曲線與日負(fù)荷特征曲線上采樣點(diǎn)的變化率。

首先，假設(shè)Yd表示待檢測(cè)日負(fù)荷曲線，Yt表示日負(fù)荷特征曲線?？紤]待檢測(cè)日負(fù)荷曲線Yd上的第i點(diǎn)，其中i∈{1,2,…,N}，N為采樣點(diǎn)數(shù)；它的負(fù)荷值為Yd(i)，將其與日負(fù)荷特征曲線Yt(i)上第i點(diǎn)對(duì)應(yīng)的負(fù)荷值Xt(i)進(jìn)行比較，計(jì)算待檢測(cè)負(fù)荷曲線Yd與日負(fù)荷特征曲線Yt上第i點(diǎn)的負(fù)荷值Yd(i)、Yt(i)的大小，兩條曲線間的距離D用待檢測(cè)曲線與日負(fù)荷特征曲線上各采樣點(diǎn)之間距離的最大值表示。

D=max{|Yd(i)-Yt(i)|},i=1,2,…,N

(1)

計(jì)算兩條負(fù)荷曲線的負(fù)荷變化率θ(i)，以衡量待檢測(cè)曲線與日負(fù)荷特征曲線上采樣點(diǎn)的變化率。

(2)

然后，統(tǒng)計(jì)歷史上各日第i時(shí)刻的負(fù)荷差值的最大值Dmax和變化率的正常范圍[θmin,θmax]。對(duì)比待檢測(cè)日的第i時(shí)刻的負(fù)荷值與日負(fù)荷特征曲線Yt的距離D是否小于Dmax，且變化率是否在正常范圍[θmin,θmax]內(nèi)，根據(jù)這兩個(gè)條件判斷該負(fù)荷曲線是否為異常負(fù)荷曲線。若不滿足任一條件，則待檢測(cè)曲線為異常曲線，第i時(shí)刻的負(fù)荷值即為異常數(shù)據(jù)。

3.2 利用橫向相似性檢測(cè)和辨識(shí)異常數(shù)據(jù)

橫向相似性指的是相鄰采樣點(diǎn)的負(fù)荷變化率是相似的，在負(fù)荷曲線圖上表現(xiàn)為一條曲線相鄰時(shí)間段的負(fù)荷曲線的形狀是相似的[10]。橫向相似性是以相鄰采樣點(diǎn)的負(fù)荷變化率來(lái)衡量，負(fù)荷特征曲線代表了正常曲線的基本特征，具有很好的橫向相似性即平滑性，這就決定了相鄰時(shí)刻的正常負(fù)荷不可能突變，相鄰時(shí)刻的正常負(fù)荷變化率應(yīng)在某個(gè)范圍內(nèi)，不在正常范圍內(nèi)的負(fù)荷點(diǎn)就是異常數(shù)據(jù)點(diǎn)[11-12]。

判斷正常負(fù)荷變化率的范圍，是依據(jù)檢測(cè)單位的歷史用電負(fù)荷數(shù)據(jù)。針對(duì)實(shí)際情況，統(tǒng)計(jì)該日各采樣點(diǎn)過(guò)去所有的負(fù)荷變化率θ(i)，將歷史負(fù)荷變化率的最小值記為θmin,將歷史負(fù)荷變化率最大值記為θmax。則該日負(fù)荷采樣點(diǎn)的負(fù)荷變化率的正常范圍是[θmin,θmax]。對(duì)比待檢測(cè)日各采樣點(diǎn)的負(fù)荷變化率是否在該范圍內(nèi)，以判斷該點(diǎn)是否為異常數(shù)據(jù)點(diǎn)。若θ(i)?[θmin,θmax]，則待檢測(cè)曲線為異常數(shù)據(jù)曲線，第i時(shí)刻的負(fù)荷值即為異常數(shù)據(jù)點(diǎn)。

當(dāng)根據(jù)日負(fù)荷曲線的橫向相似性和縱向相似性判定待檢測(cè)負(fù)荷曲線Yd上某一個(gè)時(shí)刻點(diǎn)i的數(shù)據(jù)為異常數(shù)據(jù)后，可根據(jù)提取出來(lái)的特征曲線Yt進(jìn)行異常數(shù)據(jù)的修正，根據(jù)異常點(diǎn)前后數(shù)據(jù)的變化率的均值修正異常數(shù)據(jù)。修正公式為：

(3)

若待檢測(cè)曲線Yd的i點(diǎn)至j點(diǎn)為連續(xù)異常數(shù)據(jù)，則對(duì)應(yīng)的修正公式為：

(4)

算法流程如圖1所示。

圖1 算法流程

4 實(shí)驗(yàn)及算例分析

4.1 實(shí)驗(yàn)環(huán)境與內(nèi)容

實(shí)驗(yàn)數(shù)據(jù)采用的是阿里天池大航杯“智造揚(yáng)中”電力AI大賽的比賽數(shù)據(jù)，開(kāi)放揚(yáng)中市高新區(qū)1 000多家企業(yè)的歷史用電量數(shù)據(jù)，主辦方提供2015年1月1日到2016年11月30號(hào)1 454家企業(yè)每日用電量。

實(shí)驗(yàn)環(huán)境：因具體的實(shí)驗(yàn)條件限制，平臺(tái)配置為5個(gè)服務(wù)器節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)16 GB內(nèi)存，Hadoop版本為2.6.4，JDK版本1.7，Spark版本為2.1.1，Scala版本為2.11.8。實(shí)驗(yàn)平臺(tái)在Intellij IDEA開(kāi)發(fā)環(huán)境上進(jìn)行開(kāi)發(fā)實(shí)現(xiàn)，以Hadoop的HDFS存儲(chǔ)數(shù)據(jù)。

經(jīng)數(shù)據(jù)可視化分析，所獲取的測(cè)量數(shù)據(jù)存在異常數(shù)據(jù)，具有偶然性、分布不確定性，且不同性質(zhì)的企業(yè)存在不同的用電模式[13]，實(shí)驗(yàn)主要進(jìn)行以下兩點(diǎn)測(cè)試：基于Spark平臺(tái)ISODATA算法改進(jìn)前后企業(yè)用電類(lèi)型聚類(lèi)分析；基于Spark平臺(tái)ISODATA算法改進(jìn)前后異常數(shù)據(jù)檢測(cè)性能測(cè)試。

4.2 算例分析

4.2.1 企業(yè)用電類(lèi)型聚類(lèi)分析

實(shí)驗(yàn)將傳統(tǒng)的ISODATA算法，改進(jìn)后的ISODATA聚類(lèi)算法和基于Spark的并行ISODATA算法進(jìn)行比較，測(cè)試三種算法對(duì)1 454家企業(yè)某月用電量進(jìn)行聚類(lèi)分析的結(jié)果，如表1所示。

表1 不同算法聚類(lèi)比較

經(jīng)測(cè)試分析，基于Spark改進(jìn)后的ISODATA算法，在算法執(zhí)行時(shí)間和迭代次數(shù)上，都優(yōu)于其他兩種算法。

4.2.2 異常數(shù)據(jù)檢測(cè)

仍以阿里天池大航杯“智造揚(yáng)中”電力AI大賽的比賽數(shù)據(jù)為研究對(duì)象，為了測(cè)試文中方法能否對(duì)連續(xù)多個(gè)異常數(shù)據(jù)進(jìn)行準(zhǔn)確辨識(shí)，選取728號(hào)企業(yè)五周(07.06-08.09)的用電量，將第三周7月21號(hào)，22號(hào)，23號(hào)三天的用電數(shù)據(jù)235，258，270分別增加60%的誤差，變?yōu)?76，413，432。

實(shí)驗(yàn)以該企業(yè)每周的用電量作為一個(gè)數(shù)據(jù)集，五周正常負(fù)荷數(shù)據(jù)及聚類(lèi)得到的負(fù)荷特征曲線如圖2所示。

圖2 728號(hào)企業(yè)五周負(fù)荷曲線及負(fù)荷特征曲線

將728號(hào)企業(yè)五周(07.06-08.09)包含三個(gè)異常數(shù)據(jù)的用電量數(shù)據(jù)集進(jìn)行聚類(lèi)得到新的特征曲線，然后將728號(hào)企業(yè)包含三個(gè)異常數(shù)據(jù)的第三周對(duì)應(yīng)的負(fù)荷曲線與聚類(lèi)得到的新負(fù)荷特征曲線做負(fù)荷變化率計(jì)算。含異常數(shù)據(jù)的負(fù)荷曲線和新構(gòu)建的負(fù)荷特征曲線如圖3所示。

圖3 異常數(shù)據(jù)處理前的負(fù)荷曲線和負(fù)荷特征曲線

通過(guò)計(jì)算這三個(gè)異常數(shù)據(jù)測(cè)試點(diǎn)數(shù)據(jù)負(fù)荷變化率，發(fā)現(xiàn)都不在正常范圍內(nèi)，分別為41.22%，42.56%，41.83%。因此驗(yàn)證了算法用縱向相似性和橫向相似性來(lái)衡量日負(fù)荷曲線的相似性論斷。判定這三個(gè)點(diǎn)為異常數(shù)據(jù)后，使用上述修正公式進(jìn)行修正：

修正后的曲線如圖4所示。

修正后的數(shù)據(jù)與其實(shí)際值的誤差百分比如表2所示。

圖4 修正后負(fù)荷曲線及特征曲線

實(shí)際值異常值修正值誤差率/%235376243.93.78258413260.20.85270432269.30.26

實(shí)驗(yàn)結(jié)果表明，基于Spark的并行ISODATA算法對(duì)同一時(shí)間段的連續(xù)異常數(shù)據(jù)能進(jìn)行準(zhǔn)確檢測(cè)和辨識(shí)，且修正后的數(shù)值誤差率較小，在正常范圍內(nèi)。

5 結(jié)束語(yǔ)

對(duì)傳統(tǒng)ISODATA聚類(lèi)方法進(jìn)行改進(jìn)，改進(jìn)算法能夠在聚類(lèi)算法執(zhí)行前自動(dòng)計(jì)算最佳初始簇?cái)?shù)目，并確定簇中心位置。實(shí)驗(yàn)結(jié)果表明，該方法能有效提高算法聚類(lèi)和異常數(shù)據(jù)檢測(cè)的速度，提高異常數(shù)據(jù)修正的準(zhǔn)確性，基于Spark的并行ISODATA算法對(duì)同一時(shí)間段的連續(xù)異常數(shù)據(jù)能進(jìn)行準(zhǔn)確檢測(cè)和辨識(shí)，且修正后的數(shù)值誤差率較小。未來(lái)電網(wǎng)中單機(jī)環(huán)境必定無(wú)法處理電力系統(tǒng)中的海量數(shù)據(jù)，結(jié)合Hadoop HDFS的分布式存儲(chǔ)，基于Spark的并行化集群，運(yùn)用大數(shù)據(jù)技術(shù)中的高性能挖掘算法，以解決智能電網(wǎng)中海量復(fù)雜數(shù)據(jù)的分析與挖掘的實(shí)際業(yè)務(wù)場(chǎng)景難題。在能源互聯(lián)網(wǎng)和大數(shù)據(jù)的新時(shí)代，依托電力大數(shù)據(jù)的電網(wǎng)將邁進(jìn)全景實(shí)時(shí)的電網(wǎng)時(shí)代，大數(shù)據(jù)將成為電力企業(yè)發(fā)展和進(jìn)步的強(qiáng)力依托工具，大數(shù)據(jù)也因在電力系統(tǒng)中的廣泛使用而得到更廣闊的發(fā)展[14-15]。