王激華，仇鈞，方云輝，周蘇洋

(1.國網(wǎng)浙江省電力有限公司寧波供電公司，浙江 寧波 315016；2. 東南大學(xué)，江蘇 南京 211189)

負(fù)荷預(yù)測屬于能量管理系統(tǒng)的重要組成部分，是電力系統(tǒng)經(jīng)濟(jì)調(diào)度的一項(xiàng)重要內(nèi)容[1]。精準(zhǔn)的電網(wǎng)層級負(fù)荷預(yù)測有助于電力部門合理規(guī)劃生產(chǎn)，優(yōu)化運(yùn)行成本，保持電網(wǎng)運(yùn)行的安全穩(wěn)定性，同時(shí)能減少不必要的旋轉(zhuǎn)備用容量，降低發(fā)電成本，提高電網(wǎng)運(yùn)行的經(jīng)濟(jì)性。隨著電力市場的不斷發(fā)展，現(xiàn)貨市場的改革對負(fù)荷預(yù)測精度的要求越來越高。精準(zhǔn)的用戶層級負(fù)荷預(yù)測有助于進(jìn)行能源交易方法設(shè)計(jì)和現(xiàn)貨市場報(bào)價(jià)，以及制訂中長期售電策略等；因此，精準(zhǔn)的負(fù)荷預(yù)測是實(shí)現(xiàn)電力系統(tǒng)管理現(xiàn)代化、售電公司向現(xiàn)貨市場轉(zhuǎn)型的重要基礎(chǔ)[2]。

按預(yù)測時(shí)間的不同，負(fù)荷預(yù)測可以分為超短期、短期和中長期負(fù)荷預(yù)測。通常，短期負(fù)荷預(yù)測會(huì)受各種非線性因素的影響，例如待預(yù)測地區(qū)的氣候條件、社會(huì)活動(dòng)、經(jīng)濟(jì)情況和一些其他非常規(guī)的行為等。隨著人們生活水平的提高，社會(huì)經(jīng)濟(jì)活動(dòng)日益豐富，負(fù)荷波動(dòng)水平明顯增大。此外，隨著智能電網(wǎng)、通信網(wǎng)絡(luò)技術(shù)和傳感器技術(shù)的發(fā)展，電力用戶側(cè)數(shù)據(jù)呈指數(shù)級增長[3]，給傳統(tǒng)負(fù)荷預(yù)測模型的數(shù)據(jù)處理能力及預(yù)測精度帶來巨大壓力。這些不確定性因素使電改背景下更為精確的負(fù)荷預(yù)測成為一項(xiàng)亟需提升的技術(shù)。

為提高短期負(fù)荷預(yù)測的精度，過去數(shù)十年間國內(nèi)外學(xué)者提出了很多預(yù)測方法，大致可分為經(jīng)典預(yù)測算法和現(xiàn)代預(yù)測算法[4]。經(jīng)典預(yù)測算法通常使用早期的統(tǒng)計(jì)分析模型，如趨勢外推法[5-6]、時(shí)間序列法[7-8]、回歸分析法[9-10]等，這些方法對于平穩(wěn)時(shí)間序列負(fù)荷信號有較好的預(yù)測效果，但無法進(jìn)行非線性擬合分析，因此對于非平穩(wěn)時(shí)間序列負(fù)荷信號的預(yù)測效果往往較差。

現(xiàn)代預(yù)測算法通常使用人工智能算法[11]進(jìn)行預(yù)測。文獻(xiàn)[12-14]使用支持向量回歸(support vector machine regression，SVR)模型結(jié)合人工特征提取器構(gòu)建了短期負(fù)荷預(yù)測模型，在國內(nèi)外地區(qū)的負(fù)荷預(yù)測上取得不錯(cuò)的效果；文獻(xiàn)[15]使用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)算法進(jìn)行了不同場景下的短期負(fù)荷預(yù)測，雖然效果較好但存在泛化能力較差的問題；文獻(xiàn)[16-17]分別建立了基于BP神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測模型，并針對上述2種算法的缺點(diǎn)進(jìn)行了優(yōu)化，提高了算法的預(yù)測精度；文獻(xiàn)[18]使用決策樹(decision trees，DT)對未來短期負(fù)荷進(jìn)行概率上的擬合，但存在精度較差的問題；文獻(xiàn)[19-20]分別使用隨機(jī)森林(random forest，RF)算法和迭代決策樹(gradient boosting decision tree，GBDT)算法建立了短期負(fù)荷預(yù)測模型，并使用真實(shí)負(fù)荷數(shù)據(jù)進(jìn)行了有效性驗(yàn)證。上述現(xiàn)有主流負(fù)荷預(yù)測算法在面對數(shù)量較大、隨機(jī)性較強(qiáng)的數(shù)據(jù)時(shí)，泛化能力較差且無法直接處理，需要人工事先挑選特征，造成有效信息的丟失，進(jìn)而導(dǎo)致預(yù)測精度無法滿足智能電網(wǎng)的發(fā)展要求。

為解決上述問題，文獻(xiàn)[21]使用寬度和深度(Wide & Deep)模型對傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)進(jìn)行改進(jìn)，建立了深度學(xué)習(xí)短期負(fù)荷預(yù)測模型，并在此基礎(chǔ)上進(jìn)行了日前臺(tái)區(qū)負(fù)荷預(yù)測,但該方法的預(yù)測精度仍有改進(jìn)空間。本文提出一種完全數(shù)據(jù)驅(qū)動(dòng)型的負(fù)荷預(yù)測方法，該方法基于深度長短期記憶(deep long short-term memory，DLSTM)神經(jīng)網(wǎng)絡(luò)構(gòu)建負(fù)荷預(yù)測模型，使該模型既具備傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的泛化能力，又能深度學(xué)習(xí)、挖掘時(shí)間序列中的信息，避免在過長的離線訓(xùn)練中過早陷入局部最優(yōu)。最后將該方法應(yīng)用于美國新英格蘭地區(qū)的負(fù)荷預(yù)測，并將預(yù)測結(jié)果與現(xiàn)有主流算法進(jìn)行了對比分析。

1 數(shù)據(jù)預(yù)處理

某地區(qū)的電力負(fù)荷通常與當(dāng)?shù)氐淖匀粭l件、社會(huì)活動(dòng)等息息相關(guān),因此負(fù)荷預(yù)測需要充分考慮可能影響用電負(fù)荷的重要因素，例如溫度、濕度、節(jié)假日、工作日、歷史負(fù)荷等，這些因素均可稱為特征變量。

設(shè)所有特征變量的歷史數(shù)據(jù)集為C，則該數(shù)據(jù)集可表示為

C=[C1C2…Ck…Cm]，

(1)

式中Ck為第k(1≤k≤m)維特征變量，m為負(fù)荷預(yù)測所考慮的特征變量維數(shù)。第k維特征變量Ck可進(jìn)一步表示為

(2)

常規(guī)的數(shù)據(jù)驅(qū)動(dòng)型負(fù)荷預(yù)測方法通常受限于自身算法的計(jì)算能力而不考慮時(shí)間維度信息。為提取歷史數(shù)據(jù)中的時(shí)序特征用于負(fù)荷預(yù)測，進(jìn)一步提高短期負(fù)荷預(yù)測的精度，本文采用DLSTM神經(jīng)網(wǎng)絡(luò)對歷史時(shí)間序列數(shù)據(jù)進(jìn)行深入挖掘。

(3)

式中μ和σ分別為特征變量平均值和標(biāo)準(zhǔn)差。

然后對標(biāo)準(zhǔn)化后的歷史時(shí)間序列數(shù)據(jù)使用長度為q的滑動(dòng)窗口進(jìn)行幀格化，作為一個(gè)訓(xùn)練樣本。設(shè)樣本數(shù)據(jù)集為X，則第i個(gè)訓(xùn)練樣本

(4)

式中1

D=[XY].

(5)

2 長短期記憶神經(jīng)網(wǎng)絡(luò)構(gòu)建

長短期記憶(long short-term memory，LSTM)神經(jīng)網(wǎng)絡(luò)屬于深度學(xué)習(xí)算法，是特殊形式的RNN算法，由Hochreiter和Schmidhuber在1997年首次提出，并在近期被Alex Graves進(jìn)行了改良和推廣，主要用于對序列數(shù)據(jù)中的長期依賴信息進(jìn)行學(xué)習(xí)和處理[22-25]。

LSTM神經(jīng)網(wǎng)絡(luò)能提取序列數(shù)據(jù)中的長期依賴信息的關(guān)鍵，在于其網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)中各種類型控制門的靈活使用。LSTM神經(jīng)網(wǎng)絡(luò)常見的控制門包括輸入門、遺忘門和輸出門，其神經(jīng)元典型結(jié)構(gòu)如圖1所示。圖1中：t為時(shí)間點(diǎn)；i(t)為輸入門，主要用于控制當(dāng)前時(shí)刻網(wǎng)絡(luò)的狀態(tài)有多少信息需要保存到內(nèi)部狀態(tài)中；f(t)為遺忘門，主要用于控制過去的狀態(tài)信息有多少需要丟棄；o(t)為輸出門，主要用于控制當(dāng)前時(shí)刻的內(nèi)部狀態(tài)有多少信息需要輸出給外部狀態(tài)；h(t)為當(dāng)前時(shí)刻神經(jīng)元內(nèi)部狀態(tài)；c(t)為當(dāng)前時(shí)刻外部狀態(tài)；x(t)為當(dāng)前時(shí)刻外部輸入；σ為激活層函數(shù)。

圖1 LSTM神經(jīng)元結(jié)構(gòu)Fig.1 Structure of LSTM neuron

通過綜合運(yùn)用這3種控制門，LSTM神經(jīng)網(wǎng)絡(luò)可以控制神經(jīng)網(wǎng)絡(luò)中傳遞信息的保留和丟棄，并控制當(dāng)前時(shí)刻新的狀態(tài)信息有多少需要保存到記憶單元中。相比一般的神經(jīng)網(wǎng)絡(luò)，LSTM神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)跨度相對較長的依賴關(guān)系，而不會(huì)出現(xiàn)梯度消失[26]和梯度爆炸[27]的問題。

為挖掘到更深層次的時(shí)間序列信息，本文將多層LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行順序堆疊，構(gòu)建DLSTM神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中T為1個(gè)數(shù)據(jù)幀的時(shí)間點(diǎn)個(gè)數(shù)。

由圖2可知，在DLSTM神經(jīng)網(wǎng)絡(luò)中，每一層網(wǎng)絡(luò)的隱藏層輸出均作為下一層網(wǎng)絡(luò)的輸入。設(shè)DLSTM神經(jīng)網(wǎng)絡(luò)的層數(shù)為l，則l層DLSTM神經(jīng)網(wǎng)絡(luò)的狀態(tài)更新方式可表示為：

(6)

(7)

(8)

(9)

(10)

式中：W、V、b為網(wǎng)絡(luò)權(quán)重矩陣，下標(biāo)“i、f、o、c”分別對應(yīng)i、f、o門和外部狀態(tài)；?表示內(nèi)積運(yùn)算。

圖2 DLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of DLSTM

3 基于DLSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型構(gòu)建

本文所設(shè)計(jì)的電力負(fù)荷預(yù)測模型由嵌入維、DLSTM神經(jīng)網(wǎng)絡(luò)以及邏輯回歸層順序堆疊而成，其構(gòu)建方法如圖3所示，其中s為迭代次數(shù)，S為算法訓(xùn)練前設(shè)定的迭代總次數(shù)，E(s)為第s次softmax回歸函數(shù)值。

圖3 構(gòu)建負(fù)荷預(yù)測模型的流程Fig.3 Flow chart of building a load forecasting model

負(fù)荷預(yù)測模型搭建完成后，需要使用大量歷史數(shù)據(jù)進(jìn)行離線訓(xùn)練，直至收斂后才能生成可用于實(shí)際負(fù)荷預(yù)測的穩(wěn)定模型。通常離線訓(xùn)練計(jì)算量較大、用時(shí)較長、速度較慢，但訓(xùn)練完成后在線使用時(shí)速度快、用時(shí)短，與使用傳統(tǒng)負(fù)荷預(yù)測算法差別不大。

4 實(shí)驗(yàn)

為驗(yàn)證本文所提出方法的有效性，以美國新英格蘭地區(qū)的負(fù)荷數(shù)據(jù)為例，分別使用DLSTM神經(jīng)網(wǎng)絡(luò)、RNN、ANN、DT對該地區(qū)進(jìn)行負(fù)荷預(yù)測，并對預(yù)測結(jié)果進(jìn)行對比分析。數(shù)據(jù)均來源于New England ISO的公開數(shù)據(jù)集，該數(shù)據(jù)源的詳細(xì)下載鏈接為： https://www.iso-ne.com/isoexpress/web/reports/load-and-demand/-/tree/zone-info。

4.1 實(shí)驗(yàn)設(shè)置

使用新英格蘭地區(qū)2004—2009年的負(fù)荷數(shù)據(jù)作為此次實(shí)驗(yàn)的數(shù)據(jù)集，該數(shù)據(jù)集每小時(shí)采集1次，共有52 608點(diǎn)數(shù)據(jù)。其中，選擇2004—2007年的數(shù)據(jù)作為歷史數(shù)據(jù)集進(jìn)行離線學(xué)習(xí)訓(xùn)練，使用2008—2009年的數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)集。

分別使用DLSTM神經(jīng)網(wǎng)絡(luò)、RNN、ANN、DT預(yù)測1 d內(nèi)24個(gè)點(diǎn)(每小時(shí)1個(gè)點(diǎn))的負(fù)荷，所有方法使用的敏感變量均為溫度、濕度、時(shí)刻、上一周同時(shí)刻負(fù)荷量、前一天同時(shí)刻負(fù)荷量、前一天平均負(fù)荷量。不同的是，DLSTM神經(jīng)網(wǎng)絡(luò)所使用的變量均為時(shí)間序列數(shù)據(jù)，序列長度為1周共168點(diǎn)數(shù)據(jù)。

DLSTM神經(jīng)網(wǎng)絡(luò)設(shè)置為3層，神經(jīng)元個(gè)數(shù)分別為7、50、1，訓(xùn)練算法為adam，dropout系數(shù)設(shè)為0.2。RNN的層數(shù)為3層，神經(jīng)元個(gè)數(shù)分別為7、20、1，ANN的層數(shù)和神經(jīng)元個(gè)數(shù)與RNN相同。值得一提的是，在實(shí)驗(yàn)過程中，當(dāng)RNN和ANN的隱藏層神經(jīng)元設(shè)為與DLSTM神經(jīng)網(wǎng)絡(luò)一樣的50個(gè)時(shí)訓(xùn)練極為緩慢，且無法收斂，在逐步減少神經(jīng)元個(gè)數(shù)情況下才能正常運(yùn)行，故最終設(shè)為20。DT的樹深度設(shè)為“None”。

4.2 實(shí)驗(yàn)指標(biāo)

本文結(jié)合統(tǒng)計(jì)學(xué)誤差分析與實(shí)際調(diào)度運(yùn)行的需要，主要使用均方根誤差(root mean square error，RMSE)、平均絕對誤差(mean absolute error，MAE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)、日峰值平均絕對百分比誤差(daily peak MAPE，DPM)4個(gè)指標(biāo)作為本次實(shí)驗(yàn)結(jié)果評價(jià)指標(biāo)，其量符號分別為ERMS、EMA、EMAP、EDPM。

實(shí)驗(yàn)指標(biāo)的定義如下：

(11)

(12)

(13)

(14)

由上述定義可知：ERMS、EMA、EMAP和EDPM的值越小，表示預(yù)測值與真實(shí)值越吻合，模型越完美；反之則代表預(yù)測值與實(shí)際值差別越大，預(yù)測效果越差。

4.3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提出方法的有效性，分別使用DLSTM神經(jīng)網(wǎng)絡(luò)、RNN、ANN和DT對新英格蘭地區(qū)2008—2009年的日負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測，預(yù)測結(jié)果見表1。

表1 采用不同方法預(yù)測結(jié)果Tab.1 Forecasting results using different methods

首先對預(yù)測結(jié)果進(jìn)行橫向?qū)Ρ确治?。由?可知，使用DLSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，其預(yù)測結(jié)果的ERMS為376.10 MWh，比RNN的431.26 MWh、ANN的461.37 MWh以及DT的517.41 MWh分別低12.79%、18.48%、27.31%。同時(shí)，DLSTM神經(jīng)網(wǎng)絡(luò)的EMA為275.64 MWh，也是4種方法中的最小值。

此外，DLSTM神經(jīng)網(wǎng)絡(luò)的EMAP降至1.66%，低于RNN的2.26%、ANN的2.40%和DT的2.56%。DLSTM神經(jīng)網(wǎng)絡(luò)對日負(fù)荷峰值的預(yù)測也比其他方法更為精準(zhǔn)，EDPM僅有1.58%，分別比RNN、ANN和DT降低21.78%、24.04%和33.05%。

從以上實(shí)驗(yàn)指標(biāo)數(shù)值的橫向?qū)Ρ炔浑y發(fā)現(xiàn)：DLSTM神經(jīng)網(wǎng)絡(luò)、RNN、ANN這3種方法的負(fù)荷預(yù)測結(jié)果要優(yōu)于DT；可從時(shí)間序列數(shù)據(jù)中挖掘特征信息的DLSTM神經(jīng)網(wǎng)絡(luò)和RNN的負(fù)荷預(yù)測結(jié)果優(yōu)于無法處理時(shí)間序列的ANN和DT；采用了深度學(xué)習(xí)架構(gòu)進(jìn)行改進(jìn)的DLSTM神經(jīng)網(wǎng)絡(luò)，其負(fù)荷預(yù)測性能比RNN也有了明顯改進(jìn)。

為了更直觀地對比4種方法的預(yù)測效果，以新英格蘭地區(qū)2009年1月16—23日的日負(fù)荷預(yù)測結(jié)果為例，其預(yù)測值和真實(shí)值的對比以及相關(guān)殘差如圖4、圖5所示。

圖4 日負(fù)荷預(yù)測結(jié)果與真實(shí)值對比(2009年)Fig.4 Comparison of load forecasting results with real values(in 2009)

圖5 日負(fù)荷預(yù)測結(jié)果殘差對比(2009年)Fig.5 Comparison of load forecasting result residuals(in 2009)

由圖4可知，在2009年1月16—23日一周時(shí)間內(nèi)，DLSTM神經(jīng)網(wǎng)絡(luò)的日負(fù)荷預(yù)測曲線與真實(shí)的負(fù)荷曲線最為貼近，幾乎重合；從圖5則可進(jìn)一步發(fā)現(xiàn)DLSTM的殘差也一直在0附近波動(dòng)。4種方法中，DLSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測準(zhǔn)確度和穩(wěn)定度均為最高。

接著再單獨(dú)針對DLSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行縱向?qū)Ρ确治?。DLSTM神經(jīng)網(wǎng)絡(luò)的全部預(yù)測結(jié)果殘差分布如圖6所示。

圖6 DLSTM神經(jīng)網(wǎng)絡(luò)日負(fù)荷預(yù)測結(jié)果殘差分布Fig.6 Residual error distribution of load forecasting results of DLSTM

由圖6可知，DLSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測殘差基本滿足正態(tài)分布，其預(yù)測結(jié)果較為真實(shí)可信。

進(jìn)一步地按日、周分別進(jìn)行相關(guān)殘差統(tǒng)計(jì)分析，得到圖7、圖8所示的箱形圖。

圖7 按日統(tǒng)計(jì)殘差箱形圖Fig.7 Residual box plot by hours

由圖7可知DLSTM神經(jīng)網(wǎng)絡(luò)對該地區(qū)09：00—16：00之間負(fù)荷的預(yù)測異常值較少，結(jié)果較為精確。這與09：00—16：00通常為工作時(shí)間，用電負(fù)荷較為穩(wěn)定有關(guān)。而觀察一天中的負(fù)荷趨勢不難發(fā)現(xiàn)，該地區(qū)13：00—19：00的負(fù)荷通常較大。

圖8 按周統(tǒng)計(jì)殘差箱形圖Fig.8 Residual box plot by weeks

由圖8可知，DLSTM神經(jīng)網(wǎng)絡(luò)對該地區(qū)星期四、星期五的負(fù)荷預(yù)測異常值較多，預(yù)測較為困難。

5 結(jié)束語

為解決傳統(tǒng)的短期電力負(fù)荷預(yù)測方法難以處理大數(shù)據(jù)量和強(qiáng)隨機(jī)性導(dǎo)致精度難以滿足現(xiàn)狀的問題，本文提出了一種完全數(shù)據(jù)驅(qū)動(dòng)的DLSTM神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測方法。為驗(yàn)證該方法的有效性，將該方法與目前常用的幾種方法同時(shí)應(yīng)用于美國新英格蘭地區(qū)的負(fù)荷預(yù)測，并對預(yù)測結(jié)果進(jìn)行了橫向和縱向?qū)Ρ确治?。最終對比結(jié)果表明，本文所提出的方法比目前常用的RNN、ANN和DT具有更高的準(zhǔn)確度和穩(wěn)定度，且能很好地學(xué)習(xí)適應(yīng)不同地區(qū)的電力負(fù)荷特點(diǎn)，具有很強(qiáng)的泛化能力。