李柏新, 雷才嘉, 方兵華, 黃裕春, 賈巍, 馬乙歌

(廣東電網(wǎng)有限責任公司廣州供電局, 廣州 510620)

0 引 言

負荷聚類和用電規(guī)律研究是進行精細化負荷預測的前提,不僅可以依據(jù)不同的用電規(guī)律劃分用戶類型,還可以與實際用戶匹配展開用電特性分析[1]。此外,直接處理海量負荷數(shù)據(jù)不僅耗費計算資源,還會由于原始數(shù)據(jù)中存在干擾和低價值數(shù)據(jù),引發(fā)模型訓練難以收斂、耗時延長、增大預測誤差等問題,有必要針對負荷數(shù)據(jù)提出一種更高效的降維及聚類方法。

目前,主流的聚類算法包括K-means聚類[2]、層次聚類[3]、模糊聚類[4]、譜聚類[5]等。比如,文獻[6]提出了一種針對電力大數(shù)據(jù)的三層過濾機制,在第二層過濾中通過并行計算的多初始聚類中心對原始K-means算法進行了改進,彌補了太過依賴初始聚類中心的缺點;文獻[7]利用Spark的RDD編程模型的可擴展性和分布式功能來實現(xiàn)CURE算法的計算過程的并行化,從而提高了算法的數(shù)據(jù)處理速度,使算法能夠適應數(shù)據(jù)規(guī)模的擴展,并通過算例表明:基于Spark的CURE聚類算法不僅保證了聚類的準確性,而且提高了算法的實時性;文獻[8]根據(jù)數(shù)據(jù)結構的特點,合理地優(yōu)化了譜聚類算法中特征向量的提取過程,避免了傳統(tǒng)方法導致數(shù)據(jù)信息丟失的問題,并以每日負荷數(shù)據(jù)為例對現(xiàn)有融合研究結果進行比較,結果表明該算法具有較高的聚類質量和魯棒性。以上方法均對原始聚類算法進行了改進,并取得了更好的聚類效果,但是對于日負荷數(shù)據(jù)而言,本身具有顯著的變化特征,如果能結合負荷特征指標實現(xiàn)數(shù)據(jù)降維,會極大提升聚類算法的效率。

提出了一種基于“峰谷”時段日負荷指標的數(shù)據(jù)降維及改進分布式K-means聚類算法。首先根據(jù)樣本負荷數(shù)據(jù)的核密度(KDE)分布劃分“峰”、“谷”期,并利用8個典型日負荷指標實現(xiàn)原始負荷數(shù)據(jù)的降維;然后利用熵權法改進的分布式K-means算法進行聚類,與原始K-means算法比較后發(fā)現(xiàn),具有更強的樣本辨識能力,并通過算例證明了文中所提算法的有效性和時效性;最后根據(jù)聚類結果分析每種負荷類型的用電特性,并與實際的負荷類型相匹配,得到4類典型用電規(guī)律的數(shù)據(jù)集,為不同類型負荷的精細預測提供支持。

1 負荷數(shù)據(jù)來源及預處理方法

1.1 負荷數(shù)據(jù)的來源

電力數(shù)據(jù)具有多源異構[9]的特點,而且保密性要求高,開放程度低。因此,獲取海量負荷數(shù)據(jù)首先需要與電力公司配合,并進行脫敏處理。此外,政府和第三方機構大多有專門的數(shù)據(jù)網(wǎng)站和開源數(shù)據(jù)庫,通過搭建API接口可實現(xiàn)數(shù)據(jù)采集。同時,電力用戶側的數(shù)據(jù)比較分散,一般需要訪問企業(yè)、樓宇的相關網(wǎng)站,通過對HTML爬蟲后整理獲得。

總的來說,電力數(shù)據(jù)比較割裂,且各個系統(tǒng)間互聯(lián)性較低,需要結合用戶ID、采集日期DATA等用戶信息標識對獲取的原始數(shù)據(jù)進行融合與處理。

1.2 負荷數(shù)據(jù)的預處理方法

在負荷數(shù)據(jù)采集的過程中,不可避免會由于通信中斷、信號干擾、人工操作失誤等,造成數(shù)據(jù)異常和數(shù)據(jù)缺失等,需要對原始數(shù)據(jù)進行預處理。若單日m個時間節(jié)點負荷數(shù)據(jù)表示為一個樣本,則n條日負荷數(shù)據(jù)組成n×m階的日負荷矩陣L。

(1)處理缺失值

單缺失值:根據(jù)負荷曲線平緩變化的特點,采取前后數(shù)據(jù)均值插補的方法,計算方法如下:

li,j=(li,j-1+li,j+1)/2

(1)

式中l(wèi)i,j為第i天第j個時間節(jié)點的負荷;li,j-1和li,j+1分別為該節(jié)點前、后時刻的負荷數(shù)據(jù);若單個缺失值恰為單日的首、尾節(jié)點位置,則取臨近節(jié)點的值填充。

多個連續(xù)缺失值:由于樣本連續(xù)缺失值數(shù)量直接影響插值結果的偏差,因此文中取較小的閾值(連續(xù)缺失值占比6%)來確保插值結果的準確度。超過閾值時認為該日樣本無效;否則,采用平滑修正法根據(jù)前后數(shù)據(jù)插值,計算公式如下:

(2)

式中 Δt1和T1分別為前向采集開始和截止的節(jié)點數(shù)目;Δt2和T2分別為后向采集開始和截止的節(jié)點數(shù)目。

(2)處理異常值

先計算n條同時刻樣本的均值和方差,從而設置閾值加以判斷,然后根據(jù)前后節(jié)點數(shù)據(jù)進行插值修正,均值和方差計算公式如下:

(3)

(4)

li,j=α·(li,j-1+li,j+1)/2+β·li,j+1

(5)

式中α和β分別為該節(jié)點前、后時刻的負荷數(shù)據(jù)權重,且滿足α+β=1。

(3)數(shù)據(jù)標準化

常用的數(shù)據(jù)標準化方法有三種:Min-Max歸一化方法、Z-score規(guī)范化方法和Max最大值歸一化。其中,Max方法將原始數(shù)據(jù)縮放,可以保留“峰谷”差值信息,其標準化處理方法如下:

(6)

2 基于日負荷指標的負荷數(shù)據(jù)降維

2.1 原始降維方法及指標的局限

主成分分析(PCA)[10]、奇異值分解(SVD)[11]、線性判別分析(LDA)[12]等降維方法雖然能從數(shù)據(jù)自身規(guī)律提煉出更少的特征,為后續(xù)學習器訓練降低難度,并提高了效率,但是降維過程本身也會由于高維矩陣消耗大量的計算資源。對日負荷而言,如果能通過負荷變化特征,用低維日負荷指標代替高維原始負荷數(shù)據(jù),會極大地縮短模型運行時間,提升負荷聚類的效率。

日負荷特征降維需要構造出能體現(xiàn)負荷基本特性和變化規(guī)律的特征指標。現(xiàn)階段,國內外日負荷指標還沒有統(tǒng)一的標準,大概有以下7種:日最大負荷Pmax、日最小負荷Pmin、日平均負荷Pav、日峰谷差ΔP、日峰谷差率α、日最大負荷利用小時數(shù)T、日負荷率β。以上指標雖然能反映日負荷的基本特征,但總體比較粗糙,還需要結合負荷“峰谷”變化規(guī)律構建更加顯著的日負荷特征指標。

2.2 基于KDE模型的顯著日負荷指標構建方法

文獻[13-14]在劃分“峰谷”時具有極大的主觀性,因此如何根據(jù)海量負荷樣本確定典型的“峰谷”時段是建立不同時段負荷特征指標的前提。由于核密度估計(Kernel Density Estimation,KDE)方法不使用有關數(shù)據(jù)分布的先驗知識,并且不對數(shù)據(jù)分布附加任何假設,所以是一種從樣本自身研究數(shù)據(jù)分布概率的方法,適用于從眾多負荷數(shù)據(jù)中挖掘典型的日負荷曲線,劃分“峰谷”時段。

假設某時刻有n個負荷樣本,x1、x2,…,xn為對應的負荷值,則負荷的KDE模型如下:

(7)

式中fh為負荷的概率密度函數(shù);h為帶寬;K為核函數(shù)。其中,帶寬h反映了整個KDE曲線的平坦度:h越大,樣本數(shù)據(jù)點在曲線形狀中的比例越小,使得KDE模型更注重整體變化規(guī)律,曲線越平坦;反之,KDE模型更注重細節(jié),曲線就越波折。

為了確保負荷概率密度函數(shù)fh的連續(xù)性,核函數(shù)K(x)一般為單峰平滑,且關于y軸對稱的非線性函數(shù),滿足以下特性:

(8)

比較常用的核函數(shù)有Uniform函數(shù)、Epanechikov函數(shù)、Gaussian函數(shù)和Quartic函數(shù)。選用Gaussian函數(shù)作為核函數(shù),公式如下:

(9)

比如,當h選用0.5時,負荷概率密度函數(shù)fh可以表示為:

(10)

在KDE曲線上,概率密度最大值對應的負荷值即為該時刻負荷樣本的典型值。針對樣本其它時刻分別進行KDE處理后,便可整合得到典型日負荷曲線,從而進行“峰谷”劃分。

結合全天、峰期、谷期3個時段,對原始7個簡單日負荷指標進行組合變換后,得到表1中的8個顯著特征指標。

表1 日負荷特征指標和計算方法

表1中,Pup-av為峰期的負荷平均值,Pdown-av為谷期的負荷平均值。通過以上8個日負荷指標來表征原始日負荷數(shù)據(jù),便可結合負荷自身變化特征實現(xiàn)多維負荷數(shù)據(jù)的降維。

3 基于熵權法的改進分布式K-means聚類算法

3.1 K-means算法的缺陷

K-means算法是基于劃分的經(jīng)典聚類算法之一,通常歐式距離用作衡量樣本間相似度的指標,在計算效率上具有其它方法無法比擬的優(yōu)勢。數(shù)據(jù)點越近,歐式距離越小,相似度就越大;由此將相似性較高的數(shù)據(jù)對象歸為同一類,而相似性較低的數(shù)據(jù)對象則為不同的類。但是在實際操作過程中,兩類具有不同變化規(guī)律的負荷,如果滿足“互補性”要求,則很容易被錯誤劃分為一類,如圖1所示。

圖1中,Type1和Type2兩種負荷雖然具有截然相反的“互補性”變化規(guī)律,但由于二者到聚類中心的歐式距離相等,兩個樣本自然被錯誤劃分為同一類簇。不難判斷,如果這兩類負荷到該聚類中心的距離均小于Type1和Type2與其它聚類中心的距離,則兩類負荷始終被劃分為一個類簇。因此,基于歐式距離的K-means聚類方法存在局限性。

3.2 改進分布式K-means聚類算法

熵權法是一種客觀賦權法,通過比較各個評價指標自身的信息有序地來判定其權重。某項特征的樣本差異越大,表示狀態(tài)越混亂,該特征在所有特征中所占的權重也越大,樣本間的差異被放大。

假如有n個日負荷數(shù)據(jù)樣本,經(jīng)過負荷指標降維后,每個樣本有m個特征,則組成一個n×m維度的日負荷樣本集Pn×m,則其熵值的計算方法如下:

(11)

(12)

式中j=1、2…m;pij為日負荷樣本集的第i行,第j列數(shù)據(jù);根據(jù)熵值Ej計算結果,得包含m個日負荷特征的信息熵集合為{E|E1,E2,…,En}。當樣本數(shù)據(jù)差異較小時,Ej的值趨近于1。根據(jù)熵權法計算對應特征的權值wj,即:

(13)

由此得到特征指標的權重值矩陣[w1,w2,…,wn],且滿足0

結合如圖2的分布式聚類算法,得到熵權法改進的K-means算法流程如下:

圖2 分布式K-means聚類算法的流程圖

(1)在日負荷特征矩陣Pn×m中參照層次聚類結果選取聚類中心,并將其作為n個輸入,復制m份后分發(fā)給m臺計算機。第i個聚類中心為Ci(i=1、2…k),記為Ci=[ci1,ci2,ci3,…cim];

(2)記Pj=[pj1,pj2,pj3,…,pjm],對Pn×m中所有樣本Pj(j=1、2…n),派發(fā)給各個計算機節(jié)點,依次計算到第i個聚類中心Ci的加權歐氏距離:

(14)

(3)每個節(jié)點單獨運算一次,將n個輸入派發(fā)給c個內核,找出每個Pj對應最小的dist(Pj,Ci),將其劃分到聚類中心Ci所在的類簇;

(4)對每個簇,更新聚類中心Ci;記類簇Ci中樣本數(shù)目為NCi,則其計算公式為:

(15)

(5)重復(3)和(4)的操作,直至新的聚類中心趨于穩(wěn)定,或者該算法的損失函數(shù)式趨于收斂。

(16)

3.3 聚類效果的檢驗指標

(1)聚類有效性檢驗

聚類有效性指標用于度量聚類的效果,主要希望同一簇的樣本彼此之間盡量相似,不同簇之間的樣本盡可能不同。常用的聚類算法的評價指標有:離差平方和(SSE)、卡林斯基-哈拉巴茲指數(shù)(CHI)、輪廓系數(shù)(SIL)、戴維斯-布爾丁指數(shù)(DBI)等。記K為聚類數(shù),則各個聚類效果評價指標的計算方法如下:

SSE指標的計算公式為:

(17)

式中Xi為第i類簇中的樣本數(shù)據(jù);Ci為對應第i類簇的聚類中心。SSE指標值越小,說明聚類效果越好。

CHI指標的計算公式為:

(18)

式中i為當前的類簇;trB(i)為類簇間離差矩陣的跡;trW(i)表示類簇內離差矩陣的跡。CHI指標越大,說明聚類效果越好。

Silhouette指標的計算公式為:

(19)

(20)

式(19)、式(20)中,M為樣本數(shù);a(n)為樣本n到類內其它樣本的平均距離;b(n)為樣本n到類間其它樣本平均距離的最小值。Silhouette指標越大,聚類效果越好。

DBI指標計算公式為:

(21)

(22)

式中d(Xi)為類簇內的平均距離;d(Ck,Cj)為兩個聚類中心的歐氏距離。DBI指標越小,說明聚類效果越好。

(2)聚類時效性檢驗

傳統(tǒng)聚類評價指標只考慮有效性,但是對大數(shù)據(jù)而言,時效性同樣重要,主要涉及到三個部分:基于日負荷指標降維方法的耗時、熵權法指標賦權計算的耗時、K-means聚類算法的耗時。為了驗證本章所提算法在時效上的優(yōu)越性,在控制處理相同負荷數(shù)據(jù)條件下,時效性指標可以表示為:

Ktn=t2n/t2n-1

(23)

式中n=1,2,…,10表示10個數(shù)據(jù)樣本;t2n為指標降維及改進K-means算法的耗時,t2n-1為原始K-means算法的耗時;當0

4 算例分析

選取某市區(qū)供電網(wǎng)格2015年歷史負荷數(shù)據(jù),采集間隔為15 min,共計260 922個日負荷樣本。算例編譯環(huán)境為Anconda,編譯語言為python,分布式計算采用ODPS架構。

4.1 基于KDE的負荷數(shù)據(jù)分布及峰谷時段劃分

根據(jù)全樣本的KDE分布特征,提取對應96節(jié)點的典型負荷數(shù)據(jù),得到日負荷曲線來劃分“峰谷”時段,結果如圖3所示。

全樣本的“峰”、“谷”期的劃分結果為:(1)峰期:08:00～11:30,15:00～23:00;(2)谷期:23:00～08:00、11:30～15:00。

4.2 日負荷指標的降維及權值計算

根據(jù)表1的負荷指標計算方法,提取出每個樣本的8個顯著日負荷特征,與原96節(jié)點數(shù)據(jù)比較,數(shù)據(jù)量減少了91.67%,由此實現(xiàn)原始數(shù)據(jù)的降維。

結合熵權法對降維后的特征進行加權,計算結果如表2所示。

表2 日負荷特征指標的權值表

日負荷特征指標的權重計算結果,將用于改進K-means算法的中歐式距離的加權計算過程,增加算法對不同類型負荷的辨別能力,挖掘新的負荷類型。

4.3 聚類效果分析

(1)聚類有效性分析

算例中聚類數(shù)K取值為2～20,構造以下3個場景,并對每個場景下4個指標(SSE、DBI、Sillouette、CHI)對應的最佳聚類用“ ”進行標記,結果如下:

場景一:預處理前的K-means聚類效果。

圖4中根據(jù)“肘部”法則,場景一的SSE指標曲線“拐點”對應的最佳聚類數(shù)6;DBI和Silluoette指標呈現(xiàn)單一變化趨勢,原則上無法挑選出最佳K值,考慮到畸變數(shù)據(jù)影響,以區(qū)間極小值對應的6為最佳聚類數(shù);CHI指標對應的最佳聚類數(shù)為3。

圖4 場景一的負荷聚類效果

綜合分析,聚類數(shù)取值為K=6,并根據(jù)分類結果得到日負荷樣本的聚類曲線,如圖5所示。

由圖5知,未剔除畸變數(shù)據(jù)的負荷樣本總體上實現(xiàn)了負荷的分類,但在每類負荷中明顯存在“毛刺”現(xiàn)象;且在type2、type4負荷中,紅色聚類中心線沒能體現(xiàn)出10:00～15:00之間存在的“峰”期。

場景二:除畸變后K-means的聚類效果。

如圖6所示,通過式(1)、式(2)缺失值處理,以及式(3)～式(5)異常數(shù)據(jù)處理后,場景二的SSE指標“拐點”對應的K仍為6;DBI指標曲線明顯存在極小值,且對應的K為6;Silluoette和CHI指標也明顯存在極大值,對應的K均為8。以上說明數(shù)據(jù)預處理對提升聚類效果有一定影響,但仍舊未能統(tǒng)一最佳聚類數(shù)。

圖6 場景二的負荷聚類效果

當K=6時,得到日負荷樣本的聚類曲線如圖7所示。

圖7 場景二條件下的負荷聚類結果

由圖7知,與場景一比較,每類負荷中沒有“毛刺”現(xiàn)象,且每一類樣本的變化規(guī)律較為一致,說明通過缺失值彌補和異常值替換后消除了畸變數(shù)據(jù)影響,使得聚類效果有了質的提升。但是,仔細觀察發(fā)現(xiàn),如“→”標記,type1、type2負荷中存在很窄的“間隙”,說明類中樣本仍舊存在細微的差異。

場景三:除畸變后改進K-means的聚類效果。

如圖8所示,場景三的SSE、DBI、Silluoette和CHI指標統(tǒng)一了K值,即最佳聚類數(shù)均為8。說明基于日負荷指標降維和熵權改進的K-means算法顯著提升了聚類效果,能從現(xiàn)有聚類結果中發(fā)現(xiàn)新的類簇。

取K=8得到日負荷樣本的聚類曲線如圖9所示。

圖9 場景三條件下的負荷聚類結果

由圖9知,與場景二比較,場景三多出了兩個聚類簇。其中,type2、type6原屬場景二中同類,區(qū)別在于05:00～18:00時間段最低負荷值,前者在0.1左右,后者基本為0;type3、type8也由場景二中同類分裂而來,兩類負荷在12:00左右的谷值負荷差距明顯,前者為0.8,后者為0.9。因此,場景三的基于日負荷指標降維和改進K-means算法能夠挖掘出負荷樣本間更加細微的差別,從而實行更精細的聚類結果。

對以上三個場景的最佳聚類數(shù)K和聚類效果有效性指標進行統(tǒng)計,結果如表3所示。

表3 不同場景下的聚類效果

由表3分析知,場景三聚類數(shù)最多,能夠將細小差別的類簇進一步劃分,具有更高的類簇辨識能力;從場景一到場景三,SSE和DBI指標的數(shù)值依次減少,說明剔除畸變數(shù)據(jù)、日負荷指標降維及改進K-means聚類方法能夠一定程度上提高聚類效果;Sillouette指標基本不變化,說明該指標在最佳聚類場景下具有很強的穩(wěn)定性;從場景一到場景二,CHI指標顯著減小,說明該指標對畸變數(shù)據(jù)比較敏感。

(2)聚類時效性分析

構造10個不同數(shù)據(jù)量的樣本集,然后記錄各部分的時間。作出時效性指標Ktn隨樣本占比M的變化曲線,探究算法的時效性與數(shù)據(jù)量的關系,如圖10所示。

圖10 時效性指標隨數(shù)據(jù)量變化

由圖10知,Ktn基本分布在[0,1]范圍,且呈現(xiàn)出“1/Mn”型變化規(guī)律,說明基于日負荷指標降維及熵權法改進分布式K-means算法在應對大量負荷數(shù)據(jù)時,可以顯著提升工作效率。

4.5 典型日負荷曲線與用戶特征分析

通過聚類得到的典型負荷,各自具有不同的時序性變化規(guī)律,能夠直接反映出用戶的用電特征,甚至可以對每種典型曲線包含的負荷類型進行初步匹配。8類典型負荷曲線之間既存在差異,又有一定的相似性,大致歸屬以下4種規(guī)律類型,如表4所示。

對每種規(guī)律類型包含的負荷進行以下分析:

(1)第1種規(guī)律類型

全天負荷具有“高低雙峰”的特點,其中白天09:00～14:00為低峰負荷段,晚間20:00～22:00為高峰階段,而凌晨和早間的負荷水平較低。據(jù)此特點分析,type1負荷大致為商場、店鋪等典型商業(yè)負荷,負荷大小與其人流量、營業(yè)及休息時間相適應。

(2)第2種規(guī)律類型

該類具有晚間“單高峰”的特點,在8:00～16:00保持較為平緩的中等負荷水平,在晚間20:00左右達到高峰,至凌晨負荷達到最低水平。據(jù)此分析,type4極有可能為上班族的家庭負荷,白天離家后,冰箱、空氣凈化器等電器繼續(xù)保持工作,直至晚間回家后,做飯、照明、娛樂等活動導致用電增加,在20:00點左右達到用電高峰,23:00休息后負荷又恢復至低水平狀態(tài)。

(3)第3種規(guī)律類型

全天負荷具有極為典型的“U”型變化特征,在白天5:00～17:00之間負荷水平很低,而在晚間及凌晨負荷水平保持較高,且負荷波動較小。據(jù)此知,該大類很可能是公園路燈、公路照明等室外負荷,或者公共場所的室內照明,以及利用分時電價將生產任務更多地轉移到晚間進行的工業(yè)負荷。對照明負荷而言,根據(jù)type2和type6白天負荷最低值是否為0,可以判斷前者主要為室內,后者為室外。

(4)第4種規(guī)律類型

該類型具有顯著的“三峰”特征,09:00～11:00、14:00～17:00、18:00～21:00為三個峰期階段,且峰期負荷差別較小;中午12:00和晚間16:00左右有兩個短時的“谷期”,與吃飯和午休時間基本重合。由此推測,type3、type5、type7、type8為普通上班負荷,該大類應該包含普通工廠、車間、寫字樓、科研教學等場所的商業(yè)、科教,或者工業(yè)負荷等。

通過以上分析,將供電區(qū)域的日負荷數(shù)據(jù)進行聚類后,可以根據(jù)負荷規(guī)律對其屬性進行標記,比如商業(yè)、居住、工業(yè)及科教等,構造同類負荷的數(shù)據(jù)集合,為精細化負荷預測提供高質量數(shù)據(jù)。

5 結束語

基于日負荷指標將原始負荷數(shù)據(jù)進行降維,利用熵權法對分布式K-means算法的距離計算實施加權,提升了聚類算法對高相似度樣本的辨識能力,且具有較高的時效性;通過算例驗證了所提算法的可行性,并對典型負荷的用電特性展開分析。同時,存在以下不足:

(1)畸變數(shù)據(jù)的處理,其假設條件是各節(jié)點負荷值在均值附近隨機正態(tài)分布,從而過濾偏離度較大的數(shù)值,實際上并非完全符合正態(tài)分布規(guī)律,在過濾過程中會損失很多有效樣本;

(2)基于熵權法改進的K-means聚類算法雖然能夠提升辨識能力,劃分更多的類簇,但同時說明其魯棒性較差,容易受小樣本數(shù)據(jù)的影響。