李 鑫，李海明，馬 健

(上海電力大學(xué)計算機科學(xué)與技術(shù)學(xué)院，上海 200000)

1 引言

負荷預(yù)測是智能電網(wǎng)發(fā)展過程中的一項重要任務(wù)。負荷預(yù)測值過高，會造成電力系統(tǒng)能源的浪費；相反，預(yù)測值過低，將給電力系統(tǒng)帶來諸多問題，比如降低系統(tǒng)可靠性，使電能質(zhì)量下降等。準確的負荷預(yù)測對于電力系統(tǒng)調(diào)度和安全、可靠、經(jīng)濟的系統(tǒng)運行至關(guān)重要。現(xiàn)如今隨著可再生能源并入電網(wǎng)、電動汽車的日益普及和配電網(wǎng)負荷需求的時變性，不可避免地增加了系統(tǒng)的復(fù)雜性、不確定性和負荷序列的非平穩(wěn)性，使負荷的準確預(yù)測變得更為困難。

在負荷數(shù)據(jù)預(yù)處理階段，文獻[2][3]對缺失值采用取均值，插值法等，表面上是填充了缺失值，但實際上相當于間接引入了誤差；對異常值直接舍去，可能會忽略某些重要因素，存在一定缺陷。如今智能電表基礎(chǔ)設(shè)施(SMI)在國內(nèi)的不斷發(fā)展和廣泛普及，為推動傳統(tǒng)電力系統(tǒng)向智能電網(wǎng)發(fā)展奠定了基礎(chǔ)。這種大規(guī)模部署所獲取的負荷相關(guān)數(shù)據(jù)較為完善，存在較少的缺失異常值。在此基礎(chǔ)上，文中未對缺失異常值直接進行處理，而是在數(shù)據(jù)歸一化階段解決了這方面的問題。在特征提取方面，文獻[2][4]采用person相關(guān)系數(shù)分析對電力負荷進行特征選擇。但由于電力系統(tǒng)相關(guān)數(shù)據(jù)是多維非線性的。采用線性相關(guān)的Pearson系數(shù)分析并不合適。

電力負荷預(yù)測模型主要有傳統(tǒng)模型和人工智能模型。近些年來，人工智能模型由于對非線性序列具有良好的預(yù)測能力，從而廣泛應(yīng)用于電力系統(tǒng)負荷預(yù)測中。人工智能預(yù)測算法主要有支持向量回歸(SVR)、多層感知機(MLP)、深度學(xué)習(xí)以及集成預(yù)測。文獻[5]考慮了負荷及氣象因素多種特征，并采用PSO-SVM預(yù)測模型。 結(jié)果表明，PSO-SVM具有較好的泛化能力，但隨著輸入特征維度增加，SVM預(yù)測模型訓(xùn)練時間變長，精度有所下降。文獻[6]采用灰色系統(tǒng)與神經(jīng)網(wǎng)絡(luò)組合搭建預(yù)測模型，有效的提高了預(yù)測精度。但神經(jīng)網(wǎng)絡(luò)易于陷入局部最優(yōu)解，存在收斂速度慢的缺點。文獻[7]提出了一種基于深度信念網(wǎng)絡(luò)(DBN)的短期負荷方法，結(jié)果表明此方法能夠較好處理高維、復(fù)雜非線性數(shù)據(jù)，但DBN在計算過程中存在著訓(xùn)練時間較長、容易過擬合的缺點?；谛〔ㄉ窠?jīng)網(wǎng)絡(luò)(WNN)的預(yù)測模型將天氣預(yù)報變量以及歷史負荷數(shù)據(jù)作為輸入特征。在文獻[9]中提出了使用溫度預(yù)測數(shù)據(jù)作為預(yù)測因子。由于電氣負荷與天氣部分相關(guān)，因此合理準確的天氣預(yù)報可以顯著提高預(yù)測準確性?；谔鞖忸A(yù)報的模型需要可靠的互聯(lián)網(wǎng)連接，這在大容量電力系統(tǒng)中通常非?？煽?。

極限學(xué)習(xí)機(ELM)是一個前向傳播的神經(jīng)網(wǎng)絡(luò)，相對于 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，其最大的特點在于再保證一定學(xué)習(xí)精度的前提下，能夠較少一半的運算量，使學(xué)習(xí)速度更快。廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN)是徑向基神經(jīng)網(wǎng)絡(luò)(RBF)的一種。GRNN是利用密度函數(shù)來預(yù)測輸出，具有很強的非線性映射能力，而且收斂速度快。但是，由于GRNN中每個測試數(shù)據(jù)需要與全部訓(xùn)練數(shù)據(jù)進行計算，因此計算復(fù)雜度高。而且因為沒有模型參數(shù)，需要存儲全部的訓(xùn)練數(shù)據(jù)，這就導(dǎo)致空間復(fù)雜度增加。

因此，為提高負荷預(yù)測精度，本文提出提出一種單步負荷預(yù)測的雙層LSTM模型。首先，采用最大信息系數(shù)(MIC)對多源異構(gòu)特征進行選擇。隨機森林和遞歸特征消除(RFE)進行特征選擇。在預(yù)處理過程中采用對含異常值敏感的Robust標準化方法進行處理。最后預(yù)測模型采用單步預(yù)測的雙層LSTM層訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，并得出最終預(yù)測結(jié)果。與其它基準預(yù)測模型做對比，結(jié)果表明本文方法具有更高預(yù)測精度。在可預(yù)測的能源管理應(yīng)用中，尤其是在負荷分布更加不穩(wěn)定的小型微電網(wǎng)中，可以采用3步和24步范圍。最后，在ELM，GRNN和LSTM算法中建立實驗?zāi)Ｐ停栽u估LSTM模型的性能。

2 特征準備與選擇

2.1 數(shù)據(jù)準備

本文以美國德州西部地區(qū)的總荷載為基準。來自同一地區(qū)不同本地數(shù)據(jù)中心的每小時天氣數(shù)據(jù)是從國家可再生能源實驗室(NREL)網(wǎng)站收集的2012-2015年期間的數(shù)據(jù)。

2.2 數(shù)據(jù)提取

最大信息系數(shù)MIC是2011年由David N. Reshef發(fā)表在《Science》上的一篇文章中提出的。它是在互信息(MI)的基礎(chǔ)上發(fā)展而來，互信息用來衡量變量之間的非線性依賴程度。設(shè)

X

，

Y

為隨機變量，則互信息定義為

(1)

其中，

p

(

x

，

y

)為聯(lián)合概率密度函數(shù)，

p

(

x

)和

p

(

y

)為邊緣密度函數(shù)。兩個變量之間互信息越大，則相關(guān)性越強。而

MIC

克服了互信息對連續(xù)變量計算不便的缺點，當擁有足夠的統(tǒng)計樣本時可以捕獲廣泛的關(guān)系，更能體現(xiàn)屬性之間的關(guān)聯(lián)程度。

MIC

計算主要分為三步：

2)對最大互信息值進行歸一化處理，將互信息值轉(zhuǎn)化到(0，1)區(qū)間；

3)選擇不同網(wǎng)格尺度下互信息的最大值作為最終

MIC

值。

MIC

的整體求值公式為

(2)

式中：|

X

|*|

Y

|<

B

表示網(wǎng)格劃分總數(shù)約束條件， 一般小于

B

(

B

為數(shù)據(jù)總量的0

.

6次方)。 不同網(wǎng)格尺度即為給定多種(

m

，

n

)值來進行網(wǎng)格劃分。

MIC

是一種歸一化的最大互信息，具有比互信息更高的準確度。兩個變量之間

MIC

值越大，則其相關(guān)性越強；相反，則相關(guān)性越弱。文中依據(jù)最大信息系數(shù)(

MIC

)選出相關(guān)性強的特征作為預(yù)測模型輸入。輸入的總體特征

F

為

F

=[

A

，

Q

1，

Q

2，…，

D

1，

D

2，…]

(3)

其中，

A

為待預(yù)測負荷所屬日類型，定義

A

=1為工作日，

A

=0為周末或假日；

Q

1，

Q

2，… 表示經(jīng)

MIC

特征選擇后的氣象特征變量，

D

1，

D

2，… 表示日期類型特征變量，下標

i

為對應(yīng)負荷時刻的氣象和日期類型變量，

i

=1，2，3…

.n

，

n

為輸入負荷值個數(shù)。數(shù)據(jù)提取結(jié)果如圖1。

圖1 MIC特征(屬性)提取

2.3 數(shù)據(jù)選擇

隨機森林是機器學(xué)習(xí)中的算法之一。它根據(jù)特征的重要性來選擇特征。使用每個決策樹中的節(jié)點雜質(zhì)來計算特征的重要性。隨機森林中，最終的特征重要性是所有決策樹特征重要性的平均值。而遞歸特征消除(Recursive Feature Elimination)，簡稱RFE。針對哪些特征含有權(quán)重的預(yù)測模型，RFE通過遞歸的方式，不斷減少特征集的規(guī)模來選擇需要的特征。通過選擇性能最差或最好的功能來反復(fù)構(gòu)建任何模型。RFE計算等級和維度，并僅基于等級和維度保留最重要的功能。特征重要性如圖2。

圖2 隨機森林特征重要性

選擇前6個與負荷相關(guān)性強的屬性，并依據(jù)對應(yīng)的權(quán)重值作為預(yù)測模型的輸入。

2.4 數(shù)據(jù)預(yù)處理

負荷數(shù)據(jù)預(yù)處理主要包括缺失異常值處理和歸一化。如將缺失異常值舍去或取均值填充，可能會忽略某些重要信息或摻入噪聲，對預(yù)測結(jié)果造成不良影響。一般歸一化方法是采用去除均值和縮放到單位方差來完成。但異常值通常會以負面方式影響樣本均值/方差。而RobustScaler標準化算法的魯棒性好，可根據(jù)四分位數(shù)、中位數(shù)對每個特征進行獨立的居中和縮放，能更好的的處理離群點，降低異常值對樣本的影響，產(chǎn)生更好的預(yù)測結(jié)果。

3 短期負荷預(yù)測模型

3.1 傳統(tǒng)LSTM算法

LSTM網(wǎng)絡(luò)是通過一種被稱為存儲塊的結(jié)構(gòu)對數(shù)據(jù)進行丟棄或者添加信息。典型的LSTM 神經(jīng)網(wǎng)絡(luò)包括多個層，包括序列輸入層，LSTM層和回歸輸出層。 LSTM層的基本單位稱為存儲塊，存儲塊的內(nèi)部架構(gòu)如圖3。

圖3 LSTM神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)

f

(

τ

)=

σ

(

W

x

(

τ

)+

U

h

(

τ

-1)+

b

)

(9)

i

(

τ

)=

σ

(

W

x

(

τ

)+

U

h

(

τ

-1)+

b

)

(10)

(11)

o

(

τ

)=

σ

(

W

x

(

τ

)+

U

h

(

τ

-1)+

b

)

(12)

(13)

h

(

τ

)=

o

(

τ

)?

φ

(

c

(

τ

))

(14)

使用sigmoid函數(shù)(

σ

)和雙曲正切函數(shù)(

φ

)作為激活函數(shù)。 特殊符號“?”用于表示按元素的乘法。元素函數(shù)

σ

和

φ

定義如下

(15)

(16)

3.2 基于LSTM神經(jīng)網(wǎng)絡(luò)的單步預(yù)測算法

LSTM NN的輸入數(shù)組包含多個矩陣單元。如下準備時間步長(

τ

-1)的輸入矩陣單元：選擇回溯時間點的數(shù)量，即輸入序列長度

M

。

輸入特征序列的方式如下：

過去

M

個時間步的每小時電負荷為

(17)

將過去

M

個時間步長的每小時溫度設(shè)置為

(18)

將過去

M

個時間步的每小時相對濕度設(shè)置為

(19)

將星期特征設(shè)置為

P

∈

R

， 其中

P

∈

N

，1≤

P

≤7。

當今智能電表基礎(chǔ)設(shè)施(SMI)采集的歷史負荷缺失異常值較少，文中在含有少量異常值基礎(chǔ)上，保持負荷及相關(guān)數(shù)據(jù)的原始性，不直接對數(shù)據(jù)做缺失異常值處理，而是在數(shù)據(jù)歸一化階段采用Robust標準化方法來針對離群點做出處理。

最后，歸一化的輸入特征以(10×

M

)輸入矩陣陣列的形式為

(20)

此后，通過堆疊兩個LSTM層來獲得深度學(xué)習(xí)網(wǎng)絡(luò)。 第一個LSTM層按順序接受輸入矩陣陣列，并為每個完整的輸入序列樣本更新M次存儲塊。 第二層LSTM層存儲塊與第一層同步更新。第二層中與序列中最后一個時間步相對應(yīng)的最后更新輸出被發(fā)送到輸出層以生成標量輸出。此輸出是預(yù)測的下一步負荷為

Y

(

τ

-1)={

l

(

τ

)}∈

R

。

3.3 檢測流程

設(shè)計的預(yù)測方法總體流程如圖4。

圖4 改進LSTM流程圖

1)特征選擇與預(yù)處理：對原始數(shù)據(jù)集利用MIC特征選擇技術(shù)選出與歷史負荷相關(guān)性較大的因素，然后進一步利用隨機森林與遞歸特征消除(RFE)選取強相關(guān)性特征，處理過程中采用對含有少量異常值，魯棒性好的Robust標準化方法對數(shù)據(jù)歸一化；

2)將數(shù)據(jù)轉(zhuǎn)化為輸入準備數(shù)據(jù)形式，訓(xùn)練單步預(yù)測的LSTM模型；

3)結(jié)果與評價：最后經(jīng)單步預(yù)測模型輸出最終預(yù)測結(jié)果。根據(jù)負荷需求輸出預(yù)測值和真實值評價指標MAE，RMSE和MAPE對預(yù)測結(jié)果做出評估，并在GRNN和ELM中實現(xiàn)相同的單步預(yù)測算法來對LSTM的預(yù)測模型進行比較。

4 結(jié)果分析

誤差評估指標采用平均絕對誤差(MAE)，平均絕對百分比誤差(MAPE)和歸一化均方根誤差(RMSE)，公式如下：

(21)

(22)

(23)

其中，

n

為預(yù)測點個數(shù)。

訓(xùn)練模型使用2012年至2014年期間的數(shù)據(jù)集進行訓(xùn)練，而2015年的數(shù)據(jù)集用于測試算法。第一和第二個LSTM層分別包含55個神經(jīng)元和50個神經(jīng)元。

預(yù)測模型的性能對輸入序列的長度很敏感。因此，探索了具有不同輸入序列長度，即回溯時間窗口中不同時間步長的算法的性能，以確定最有效的序列長度。18步序列實現(xiàn)了最低的誤差，見表1。因此，使用18步預(yù)測算法來訓(xùn)練和測試所提出的模型。

表1 LSTM單步算法預(yù)測性能

由于每日負荷曲線隨季節(jié)變化，因此，通過不同季節(jié)對模型的預(yù)測準確性進行了研究，結(jié)果見表2。

表2 單步預(yù)測模型對季節(jié)變化的預(yù)測

為了研究季節(jié)性影響，使用移動平均法對每個季節(jié)每個月的實際負荷曲線進行平滑處理，以創(chuàng)建基本負荷曲線(Pb)。從實際負荷輪廓減去基本負荷輪廓，以將波動量化為波動。最后，通過將Pb視為信號，將Pf視為噪聲，來計算信噪比作為揮發(fā)性度量。根據(jù)表2，在夏季出現(xiàn)的最低預(yù)測誤差具有最小的波動性度量如圖5。單步預(yù)測模型的性能如圖6。

圖5 季節(jié)波動對負荷的影響

圖6 單步負荷預(yù)測模型性能

通過在GRNN和ELM中實現(xiàn)相同的算法來對基于LSTM的預(yù)測模型進行基準測試。單步負荷預(yù)測模型通過18步回溯窗口實現(xiàn)。冬季三天的預(yù)測比較如圖7。

圖7 單步負荷預(yù)測模型的比較

下面對不同算法在單步負荷預(yù)測算法上的性能進行了比較見表3。

表3 預(yù)測性能比較

從表3中可知，LSTM網(wǎng)絡(luò)相比其它兩種算法具有優(yōu)越性。

5 結(jié)論

針對智能電網(wǎng)下影響負荷因素眾多、負荷數(shù)據(jù)存在少量缺失異常值和序列非平穩(wěn)性的特點，提出了一種基于最大信息系數(shù)(MIC)與小波分解的雙模型集成的短期負荷預(yù)測模型，并通過真實電網(wǎng)數(shù)據(jù)進行了驗證。得出以下結(jié)論：

1)影響負荷的因素眾多，利用適用于非性數(shù)據(jù)的最大信息系數(shù)MIC選出相關(guān)性大的影響因素，再使用隨機森林并結(jié)合遞歸特征消除(RFE)選取強相關(guān)特征，可提高預(yù)測精度。

2)預(yù)處理過程中，未直接對少量缺失異常值處理，這樣保證了數(shù)據(jù)的原始性。在歸一化時通過對異常值敏感的Robust標準化方法間接對異常值作出處理，解決異常值的問題。

3)選取高維數(shù)據(jù)預(yù)測良好模型LSTM進行改進，改進后的單步預(yù)測LSTM模型，可有效避免了過擬合和梯度消失問題。并且在與其它兩種算法相比，LSTM網(wǎng)絡(luò)生成的模型擁有更強的泛化能力，進一步提升負荷預(yù)測精度，而且在實際應(yīng)用中更具有價值。