丁子涵 施亞華

摘要：電力負(fù)荷數(shù)據(jù)有著明顯的時序依賴關(guān)系。針對電力負(fù)荷的時序依賴特性，提出了一種基于自適應(yīng)深度長短時記憶網(wǎng)絡(luò)模型來進行電力負(fù)荷的預(yù)測。該模型通過深度長短時記憶網(wǎng)絡(luò)有效的提取負(fù)荷序列的時序依賴關(guān)系。另外，該模型輸入的自適應(yīng)度量可以解決幅度變化和趨勢確定的問題，避免了網(wǎng)絡(luò)的過擬合。新的混合輸出機制可以通過相對誤差調(diào)整預(yù)測結(jié)果，使預(yù)測結(jié)果更加準(zhǔn)確。實驗結(jié)果表明，該模型優(yōu)于BP神經(jīng)網(wǎng)絡(luò)、自回歸模型、灰色系統(tǒng)、極限學(xué)習(xí)機模型和K-近鄰模型。自適應(yīng)深度LSTM網(wǎng)絡(luò)為電力負(fù)荷預(yù)測提供了一種新的有效方法。

關(guān)鍵詞：電力負(fù)荷；預(yù)測分析；長短時記憶網(wǎng)絡(luò)；深度學(xué)習(xí)

中圖分類號：TM714 文獻標(biāo)識碼：A 文章編號：1007-9416（2018）08-0095-04

1 引言

電力系統(tǒng)的可靠運營是國民經(jīng)濟各領(lǐng)域發(fā)展的基礎(chǔ)。而電力負(fù)荷預(yù)測是目前只能電網(wǎng)規(guī)劃與生產(chǎn)調(diào)度的重要數(shù)據(jù)依據(jù)，精準(zhǔn)的負(fù)荷預(yù)測已經(jīng)成為智能電網(wǎng)的重要標(biāo)志之一[1]。電力負(fù)荷預(yù)測的核心是預(yù)測算法。電力負(fù)荷預(yù)測是一種典型的時間序列預(yù)測，目前負(fù)荷預(yù)測的主要方法有基于優(yōu)化的數(shù)學(xué)擬合方法，灰色系統(tǒng)理論以及機器學(xué)習(xí)方法[2]。

基于優(yōu)化的數(shù)學(xué)擬合方法以自回歸模型為代表[3-5]，主要有自回歸滑動平均法（Auto-Regressive and Moving Average ARMA）以及累積自回歸滑動平均（Auto-regressive Integrated Moving Average ARIMA）方法。基于回歸的模型算法簡單，但對于數(shù)據(jù)的平穩(wěn)性要求很高，該類方法的負(fù)荷預(yù)測準(zhǔn)確率不夠高。另外，灰色系統(tǒng)理論也被廣泛應(yīng)用與負(fù)荷預(yù)測，灰色理論對于隨機波動不確定性時間序列的建模有優(yōu)勢，因此也比較適宜對負(fù)荷預(yù)測進行建模[6]。但是灰色系統(tǒng)很難實現(xiàn)復(fù)雜場景的時間序列建模，從而導(dǎo)致負(fù)荷預(yù)測精確度不夠。另一類負(fù)荷預(yù)測的方法是基于機器學(xué)習(xí)理論的方法。目前基于機器學(xué)習(xí)的負(fù)荷預(yù)測主要有神經(jīng)網(wǎng)絡(luò)[7-13]、支持向量機以及小波分析等[14-18]。其中由于神經(jīng)網(wǎng)絡(luò)有強大的非線性擬合能力，因此在負(fù)荷預(yù)測方面相對其它方法有優(yōu)勢。但是目前的方法很難提取負(fù)荷時間序列的時序依賴關(guān)系。

近年來，越來多的研究證實了長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）可以很好的提取時間序列的時序依賴關(guān)系[19]，這種特性非常適合負(fù)荷時間序列的分析。然而，由于長短時記憶網(wǎng)絡(luò)缺乏建立模型的系統(tǒng)過程，當(dāng)輸入數(shù)據(jù)與訓(xùn)練數(shù)據(jù)非常不同時，預(yù)測結(jié)果并不總是準(zhǔn)確的，網(wǎng)絡(luò)可能遭受欠擬合或過擬合。為了解決這一問題，本文提出了一種新的機制，采用輸入的自適應(yīng)度量，輸出數(shù)據(jù)由混合機制演變而來。模型的輸入的自適應(yīng)度量能夠適應(yīng)趨勢和振幅的局部變化。網(wǎng)絡(luò)的大部分輸入與歷史數(shù)據(jù)接近，以避免由于訓(xùn)練數(shù)據(jù)和輸入數(shù)據(jù)之間的大差異而導(dǎo)致預(yù)測誤差的急劇增加。在所提出的混合輸出機制中，可以通過相對誤差來調(diào)整預(yù)測結(jié)果，使預(yù)測結(jié)果更加準(zhǔn)確。

2 負(fù)荷預(yù)測模型

2.1 深度長短時記憶網(wǎng)絡(luò)

長短時記憶網(wǎng)絡(luò)（LSTM）包含一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)降男问?。LSTM重復(fù)模塊的內(nèi)部結(jié)構(gòu)如圖1所示，其中每個小圓角矩形代表一層可學(xué)習(xí)參數(shù)的循環(huán)神經(jīng)網(wǎng)絡(luò)；小圓圈代表point-wise操作，這里使用了向量加法和點乘兩種矩陣運算；σ代表sigmoid激活函數(shù)，tanh代表tanh激活函數(shù)，Ct-1代表上一個時刻的狀態(tài)，ht-1代表上一個時刻的輸出，Xt代表當(dāng)前時刻的輸出，Ct代表當(dāng)前時刻的狀態(tài)，ht代表當(dāng)前時刻的輸出。長短期記憶網(wǎng)絡(luò)（LSTM）模型就是由多個這樣的重復(fù)模塊組成。

深層LSTM能增強模型的表達能力，可以將每一個時刻上的重復(fù)模塊復(fù)制多次。每一層的循環(huán)體參數(shù)是一致的，不同層中的參數(shù)不同。圖2展示了深層長短時記憶網(wǎng)絡(luò)的時間步展開結(jié)構(gòu)，每一個圓角矩形代表一個LSTM的重復(fù)模塊結(jié)構(gòu)。

2.2 自適應(yīng)深度長短時記憶網(wǎng)絡(luò)

眾所周知，人工神經(jīng)網(wǎng)絡(luò)可能會出現(xiàn)欠擬合和過擬合的情況（Moody，1992；Geman等人1992；Bartlett，1997）。一個不夠復(fù)雜的網(wǎng)絡(luò)可能無法完全探測到信號，這樣會導(dǎo)致欠擬合。當(dāng)一個模型過于復(fù)雜時，通常會發(fā)生過擬合情況。對于這兩個問題，當(dāng)信號數(shù)據(jù)足夠多并且網(wǎng)絡(luò)足夠復(fù)雜時，過擬合就顯得更為重要。為了避免過擬合的發(fā)生，自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型被提出來。在該模型中，事后的數(shù)據(jù)用于修改人工神經(jīng)網(wǎng)絡(luò)在預(yù)測處理中的輸入數(shù)據(jù)，使輸入數(shù)據(jù)接近于學(xué)習(xí)數(shù)據(jù)。因此，這個算法可以降低過擬合的概率。本文在現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，對時間序列預(yù)測的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型（ADNN）進行了擴展。首先，采用一種策略來初始化輸入數(shù)據(jù)yt，yt-1，yt-2，…，yt-m+1，其中m為輸入節(jié)點數(shù)。該策略采用了與自適應(yīng)的k-近鄰方法相似的自適應(yīng)指標(biāo)。其中數(shù)據(jù)集yt，yt-1，yt-2，…，yt-m+1與這個時間序列中長度相同的其他部分進行了比較。本文的比較度量選擇Minkowski指標(biāo)：

上述方程給出了Yt和Yr的差值，但趨勢和振幅的差異并沒有呈現(xiàn)出來。在時間序列預(yù)測中，趨勢和振幅信息是至關(guān)重要的因素。在這項研究中，為了解決這個問題，引入了自適應(yīng)度量，算法如下：

優(yōu)化問題（2）能夠被Levenberg-Marquardt算法（Press等人.1992）或者其他d≥1的梯度優(yōu)化算法。在這項研究中，d被假定為2并給出了廣泛使用的歐幾里得的度量。最小化λr的參數(shù)平衡了Yt和Yr之間的振幅差。參數(shù)決定了時間序列的走向?？紤]兩個方程：

當(dāng)相應(yīng)的線性系統(tǒng)得到解決時，可以通過分析得到最小化問題的解決方案：

基于這一策略，選擇自適應(yīng)k-近鄰方法。第一個網(wǎng)絡(luò)（稱為主網(wǎng)絡(luò)）的輸入向量可以定義為：

從式（5）中發(fā)現(xiàn)，yt+1的預(yù)測結(jié)果是由bv v=1，2，…，k來計算的，其中Tv為權(quán)重系數(shù)，在實際過程中被設(shè)定為序列相似度。所提出方法的算法步驟如下。

第一步：使用歷史數(shù)據(jù)訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)。在第一個神經(jīng)網(wǎng)絡(luò)中，是輸入訓(xùn)練數(shù)據(jù)，是輸出的訓(xùn)練數(shù)據(jù)。在第二個神經(jīng)網(wǎng)絡(luò)中，和是訓(xùn)練的輸入，相對誤差是訓(xùn)練的輸出。BP算法用于訓(xùn)練這兩個神經(jīng)網(wǎng)絡(luò)。

第二步：比較數(shù)據(jù)集和其他部分的時間序列使用基于方程（3）的歐幾里德空間的自適應(yīng)度量距離。

第三步：選擇K最近鄰分類算法，并獲得基于方程（3）的。根據(jù)公式（4）初始化第網(wǎng)絡(luò)的輸入數(shù)據(jù) 。

第四步：應(yīng)用第一個神經(jīng)網(wǎng)絡(luò)并獲得結(jié)果輸出 。

第五步：應(yīng)用混合機制方程式（5）并獲得的預(yù)測結(jié)果。

3 電力負(fù)荷預(yù)測實例分析

為了驗證本文方法的可靠性，本文采用EUNITE Network的公開數(shù)據(jù)集進行測試。EUNITE Network數(shù)據(jù)集為采樣間隔為30分鐘的真實電力負(fù)荷數(shù)據(jù)。圖3給出了該數(shù)據(jù)集的730天的負(fù)荷數(shù)據(jù)。圖4給出了該數(shù)據(jù)集中截取的50天的單天負(fù)荷數(shù)據(jù)。電力負(fù)荷序列從數(shù)據(jù)特征上有明顯的周期性。數(shù)據(jù)的周期性特性對于序列預(yù)測是一個重要的輔助特性。這種時序依賴關(guān)系為負(fù)荷預(yù)測提供了一種可靠信息。

為了有效利用負(fù)荷數(shù)據(jù)的時序依賴關(guān)系，本文采用了一種自適應(yīng)深度長短時記憶網(wǎng)絡(luò)實現(xiàn)負(fù)荷的預(yù)測。該方法通過LSTM實現(xiàn)時序關(guān)系的提取，利用自適應(yīng)輸入減少網(wǎng)絡(luò)的過擬合。

為了將本文模型與其他方法作比較，本文采用歸一化均方誤差（NMSE）和絕對平均誤差（MAPE）作為誤差準(zhǔn)則。已有的文獻中電力負(fù)荷預(yù)測的正確率通常采用MAPE 作為評價指標(biāo)，本文中為了更加有效的反映算法的可信性采用了NMSE和MAPE兩種指標(biāo)。為了更好的證明本文方法的有效性，將本文的方法與BP神經(jīng)網(wǎng)絡(luò)、自回歸模型（ARMA）、極限學(xué)習(xí)機模型（ELM）以及灰色系統(tǒng)模型（GM（1，1））進行對比。為了反映本文方法對時序關(guān)系建模的優(yōu)勢，本文從兩種尺度實現(xiàn)負(fù)荷預(yù)測：以天為單位和以半小時為單位。以按天負(fù)荷預(yù)測時，BP網(wǎng)絡(luò)以及ELM的輸入也為預(yù)測數(shù)據(jù)的一個星期的數(shù)據(jù)，ARMA的擬合也是基于前一個星期數(shù)據(jù)進行的。

圖5給出了幾種方法按天預(yù)測時的對比圖。從圖5可以看出，本文的方法比其它幾種方法的預(yù)測精度都高，能很好的實現(xiàn)對負(fù)荷的預(yù)測。幾種方法的具體數(shù)值指標(biāo)如表1所示。從表1可以看出，ARMA的效果最差，這是由于回歸的方法是一種線性擬合方式，不能有效的反映數(shù)據(jù)的非線性關(guān)系。雖然BP網(wǎng)絡(luò)和ELM網(wǎng)絡(luò)能夠?qū)崿F(xiàn)非線性擬合，但是不能很好的利用時序信息，因此效果不如本文的方法。

圖6給出按照半小時負(fù)荷預(yù)測的效果對比圖，本文中截取了其中1個周期進行顯示。從仿真可以看出，本文方法的預(yù)測精度要優(yōu)于其它方法。表2給出了幾種方法的具體預(yù)測結(jié)果對比。

通過上述對比試驗可以看出，不論是按天預(yù)測還是按半小時進行預(yù)測，本文方法比其它幾種都具有優(yōu)勢，能夠有效的實現(xiàn)負(fù)荷預(yù)測。

4 結(jié)語

電力負(fù)荷的時間序列有明顯的時序依賴關(guān)系，但是目前的相關(guān)方法很少考慮這種關(guān)系。為了有效利用數(shù)據(jù)的時序依賴關(guān)系，并減少神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過擬合現(xiàn)象，本文提出了一種自適應(yīng)深度長短時記憶網(wǎng)絡(luò)來實現(xiàn)負(fù)荷預(yù)測。該方法通過長短時記憶網(wǎng)絡(luò)實現(xiàn)時序關(guān)系的提取，利用自適應(yīng)輸入操作進一步有效利用歷史數(shù)據(jù)，并減少過擬合的現(xiàn)象，有效提高了模型在負(fù)荷預(yù)測時的準(zhǔn)確率。通過仿真實驗表明本文提出的方法比傳統(tǒng)的BP網(wǎng)絡(luò)、極限學(xué)習(xí)機、自回歸模型以及傳統(tǒng)的灰色系統(tǒng)模型準(zhǔn)確度更高。自適應(yīng)深度LSTM網(wǎng)絡(luò)為電力負(fù)荷預(yù)測提供了一種新的有效方法。

參考文獻

[1]肖白，周潮，穆鋼.空間電力負(fù)荷預(yù)測方法綜述與展望[J].中國電機工程學(xué)報，2013，33（25），78-92.

[2]廖旎煥，胡智宏，馬瑩瑩，等.電力系統(tǒng)短期負(fù)荷預(yù)測方法綜述[J].電力系統(tǒng)保護與控制，2011，39（1）：29-29.

[3]崔和瑞，彭旭.基于ARIMAX模型的夏季短期電力負(fù)荷預(yù)測[J].電力系統(tǒng)保護與控制，2015，43（4）：108-114.

[4]王惠中，劉軻，周佳，等.電力系統(tǒng)短期負(fù)荷預(yù)測建模仿真研究[J].計算機仿真，2016，33（2）：175-179.

[5]吉興全，傅榮榮，文福拴，等.飽和負(fù)荷預(yù)測中的多級聚類分析和改進Logistic模型[J].電力系統(tǒng)及其自動化學(xué)報，2017，29（8）：138-144.

[6]焦?jié)櫤?，蘇辰雋，林碧英，等.基于氣象信息因素修正的灰色短期負(fù)荷預(yù)測模型[J].電網(wǎng)技術(shù)，2013， 37（3）：720-725.

[7]王保義，趙碩，張少敏.基于云計算和極限學(xué)習(xí)機的分布式電力負(fù)荷預(yù)測算法[J].電網(wǎng)技術(shù)，2014，38（2）：526-531.

[8]劉念，張清鑫，劉海濤.基于核函數(shù)極限學(xué)習(xí)機的微電網(wǎng)短期負(fù)荷預(yù)測方法[J].電工技術(shù)學(xué)報，2015，30（8）：218-224.

[9]回立川，于淼，梁芷睿.應(yīng)用近鄰傳播算法改進RBF的短期負(fù)荷預(yù)測[J].電力系統(tǒng)及其自動化學(xué)報，2015，27（1）：69-73.

[10]寧曉光，朱永利.基于增量優(yōu)化極限學(xué)習(xí)機的電力負(fù)荷預(yù)測[J].計算機仿真，2016，33（2）：163-166.

[11]蘇學(xué)能，劉天琪，曹鴻謙，等.基于Hadoop架構(gòu)的多重分布式BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J].中國電機工程學(xué)報，2017，37（17）：4966-4973.

[12]陳亞，李萍.基于神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測仿真研究[J].電氣技術(shù)，2017，18（1）：26-29.

[13]梁智，孫國強，李虎成，等.基于VMD與PSO優(yōu)化深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測[J].電網(wǎng)技術(shù)，2018，42（2）.

[14]王新，孟玲玲.基于EEMD-LSSVM的超短期負(fù)荷預(yù)測[J].電力系統(tǒng)保護與控制，2015（1）：61-66.

[15]王奔，冷北雪，張喜海，等.支持向量機在短期負(fù)荷預(yù)測中的應(yīng)用概況[J].電力系統(tǒng)及其自動化學(xué)報，2011，23（4）：115-121.

[16]肖白，聶鵬，穆鋼，等.基于多級聚類分析和支持向量機的空間負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2015，39（12）：56-61.

[17]李霄，王昕，鄭益慧，等.基于改進最小二乘支持向量機和預(yù)測誤差校正的短期風(fēng)電負(fù)荷預(yù)測[J].電力系統(tǒng)保護與控制，2015，（11）：63-69.

[18]王保義，王冬陽，張少敏.基于Spark和IPPSO_LSSVM的短期分布式電力負(fù)荷預(yù)測算法[J].電力自動化設(shè)備，2016，36（1）：117-122.

[19]Tai K S， Socher R， Manning C D. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks[J]. Computer Science， 2015，5（1）：36.