李艷波,尹 鐠,陳俊碩,張 鈺,姚博彬,劉維宇

(長安大學 能源與電氣工程學院,西安 710064)

電力負荷預(yù)測的研究始于20世紀60年代,統(tǒng)計方法是最早提出的方法,主要有時間序列法[1]、回歸法[2]和指數(shù)平滑法[3],但這些模型相對簡單,不能滿足非線性時間序列的要求。隨著分布式電源[4]和智能設(shè)備在智能電網(wǎng)環(huán)境中的廣泛應(yīng)用,負荷數(shù)據(jù)規(guī)模急劇增加,呈現(xiàn)出更復(fù)雜的變化規(guī)律和特征[5],神經(jīng)網(wǎng)絡(luò)開始取代傳統(tǒng)方法。Zheng等[6]采用典型的BP神經(jīng)網(wǎng)絡(luò)進行負荷預(yù)測,但BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單,泛化能力差,容易陷入局部最優(yōu),預(yù)測精度不高。為克服這一局限性,研究人員開始嘗試將單個神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合,并取得了一定的成果。Gensler等[7]將自動編碼器和LSTM相結(jié)合對可再生能源發(fā)電廠進行預(yù)測。Han等[8]將具有k均值聚類的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)應(yīng)用于短期預(yù)測。但是簡單的LSTM網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)在長時間序列或多維輸入數(shù)據(jù)面前,仍然存在序列特征信息丟失、數(shù)據(jù)間結(jié)構(gòu)信息紊亂、多維特征挖掘不夠充分等問題。Shi等[9]使用匯集深度遞歸神經(jīng)網(wǎng)絡(luò)(Pooling-based deep recurrent neural network,PDRNN),提出向神經(jīng)網(wǎng)絡(luò)添加更多層可以提高預(yù)測性能。Pan等[10]提出了深度信念網(wǎng)絡(luò)(Deep belief network,DBN)算法,通過使用集成方法和支持向量回歸(Support vector regression,SVR)提高DBN的負荷預(yù)測性能,但DBN在計算過程中存在著訓(xùn)練時間較長、容易過擬合的缺點。

本文基于深度學習方法中經(jīng)典LSTM神經(jīng)網(wǎng)絡(luò)在負荷預(yù)測中的應(yīng)用成果,采用加入注意力機制的雙向LSTM結(jié)構(gòu),并將其與改進的深度殘差網(wǎng)絡(luò)結(jié)合,提出一種混合網(wǎng)絡(luò)模型—殘差A(yù)M-Bi-LSTM預(yù)測模型。通過增加捷徑連接和改變捷徑連接方式,從時間、特征維度和網(wǎng)絡(luò)深度3個方面提升模型的預(yù)測精度和泛化能力。

1 殘差A(yù)M-Bi-LSTM預(yù)測模型

1.1 Bi-LSTM網(wǎng)絡(luò)

一個LSTM單元包括輸入門、遺忘門和輸出門,如圖1所示。這些門結(jié)構(gòu)使LSTM在進行反向傳播時能夠保持更穩(wěn)定的誤差,使神經(jīng)網(wǎng)絡(luò)可以在多個時間步上繼續(xù)學習[11]。

圖2 Bi-LSTM模型結(jié)構(gòu)

(1)

(2)

(3)

1.2 注意力機制

注意力機制[13]源于模仿人類大腦的注意力特性。注意力機制的核心思想是將關(guān)注的重點放在對輸出有重要影響的輸入序列的重要環(huán)節(jié),而較少地關(guān)注輸入序列的其他信息,這樣就可以巧妙、合理地改變對外界信息的注意力,放大所需信息,忽略無關(guān)信息。因此,信息的接收靈敏度和處理速度大大提高。注意力機制的實現(xiàn)過程如圖3所示。

圖3 注意力機制計算過程

1.3 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)[14]是2015年提出的一種具有重要意義的網(wǎng)絡(luò)結(jié)構(gòu)。在神經(jīng)網(wǎng)絡(luò)中,通常通過增加網(wǎng)絡(luò)層數(shù)來提高模型的精度,但受梯度消失與梯度爆炸的影響,深層網(wǎng)絡(luò)的實際表現(xiàn)可能比淺層網(wǎng)絡(luò)更差。深度殘差網(wǎng)絡(luò)中,通過殘差網(wǎng)絡(luò)上的短接路徑,梯度可以在非常深的網(wǎng)絡(luò)中連貫的傳播而不受到過多卷積層梯度的疊加,這從本質(zhì)上避免了梯度消失與梯度爆炸問題。深度殘差網(wǎng)絡(luò)一般通過堆疊多個殘差塊構(gòu)成,殘差塊結(jié)構(gòu)與深度殘差網(wǎng)絡(luò)如圖4(a)、(b)所示。

殘差網(wǎng)絡(luò)的優(yōu)異性能主要得益于它的捷徑連接。利用恒等映射捷徑連接的一個殘差塊的輸出可以用如下公式表示:

xl+1=F(xl,wl)+xl

(4)

式中:xl、xl+1分別為殘差網(wǎng)絡(luò)中第l個殘差塊的輸入和輸出,F為要學習的殘差映射,wl為要學習的權(quán)重參數(shù)。

如果堆疊了K個殘差塊,則結(jié)構(gòu)的正向傳播可以表示為

(5)

式中:x0為殘差網(wǎng)絡(luò)的輸入,xK為第K個殘差塊的輸出,Wi={wi,l|1≤l≤L}為與第i個殘差塊關(guān)聯(lián)的權(quán)重集,L為殘差塊內(nèi)的層數(shù)。式(5)說明了殘差網(wǎng)絡(luò)的前向傳播過程,即數(shù)據(jù)如何從殘差網(wǎng)絡(luò)的淺層1傳遞到深層K的學習過程。誤差的反向傳播可以表示為

(6)

式中:loss為神經(jīng)網(wǎng)絡(luò)的損失函數(shù),“1”為殘差網(wǎng)絡(luò)中的捷徑連接。

Chen等[15]改進了常規(guī)意義上的殘差網(wǎng)絡(luò)架構(gòu),給出了一種新的深度殘差網(wǎng)絡(luò)的變體,并命名為ResNetPlus。如圖4(c)所示,與傳統(tǒng)的殘差網(wǎng)絡(luò)結(jié)構(gòu)不同,模型的每一層由主殘差塊和側(cè)殘差塊兩個殘差塊構(gòu)成。改進的深度殘差網(wǎng)絡(luò)由于加入了更多的殘差塊和捷徑連接,大大提升了網(wǎng)絡(luò)誤差的反向傳播效率。

1.4 殘差A(yù)M-Bi-LSTM負荷預(yù)測模型

殘差A(yù)M-Bi-LSTM組合預(yù)測模型由輸入層、ResNetPlus層和AM-Bi-LSTM層組成。模型使用ResNetPlus層來提取輸入數(shù)據(jù)的隱藏特征,生成特征向量并整合為一個已編碼特征輸入到AM-Bi-LSTM層。最后,通過AM-Bi-LSTM層整合數(shù)據(jù)樣本與數(shù)據(jù)特征,輸出最終預(yù)測值。殘差A(yù)M-Bi-LSTM模型結(jié)構(gòu)如圖5所示。

圖5 殘差A(yù)M-Bi-LSTM模型結(jié)構(gòu)圖

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)集的劃分

本文的測試基于ISO-NE數(shù)據(jù)集。ISO-NE數(shù)據(jù)集對2003—2014年間美國某地區(qū)的4 324 d的每小時負荷數(shù)據(jù)進行了統(tǒng)計,總計103 776條。數(shù)據(jù)集的劃分方式見表1,將2003年5月—2005年12月的每小時負荷數(shù)據(jù)作為訓(xùn)練集,并將其后一年的負荷數(shù)據(jù)作為測試集。

表1 數(shù)據(jù)集劃分方式

2.2 數(shù)據(jù)歸一化

負荷數(shù)據(jù)在模型訓(xùn)練過程中占主要地位,由于負荷數(shù)據(jù)具有很大的數(shù)量級,若不對數(shù)據(jù)進行歸一化處理,模型很難正確收斂到最優(yōu)解。本文采用極值法對收集的電力負荷數(shù)據(jù)及溫度數(shù)據(jù)進行批量歸一化處理,即

(7)

式中:Y′為歸一化后的負荷或溫度數(shù)據(jù),Y為原始負荷或溫度數(shù)據(jù),Ymin為負荷或溫度數(shù)據(jù)中的最小值,Ymax為負荷或溫度數(shù)據(jù)中的最大值。以訓(xùn)練集前10 d數(shù)據(jù)為例,歸一化后的負荷與溫度數(shù)據(jù)曲線如圖6所示。

圖6 歸一化后的負荷與溫度曲線

數(shù)據(jù)經(jīng)歸一化后就可劃分為訓(xùn)練集和測試集并將其輸入到模型中進行訓(xùn)練與預(yù)測,最后還需要對得到的預(yù)測值進行反歸一化[16],即

(8)

2.3 模型的輸入

表2列出了用于預(yù)測第2天第h小時負荷Lh的輸入。

表2 基礎(chǔ)結(jié)構(gòu)模型輸入

3 結(jié)果與分析

3.1 多模型集成策略

本文在模型中應(yīng)用了Snapshot集成方法,在一次模型訓(xùn)練過程中截取4個Snapshot點,如圖7所示。

圖7 Snapshot集成策略

每一個Snapshot點是在適當?shù)牡螖?shù)之后截取的,因此每個Snapshot點的損失程度相似。在獲得所有Snapshot點的模型后,本文對模型的輸出進行平均,并生成最終預(yù)測。

3.2 預(yù)測結(jié)果評價指標

為評價預(yù)測模型的性能,通常選用均方根誤差(RMSE)和平均絕對誤差百分比(MAPE)為評價預(yù)測模型準確率的評價指標[18]。計算公式為:

(9)

(10)

式中:yt為t時刻的實際值,f(x)t為t時刻的預(yù)測值,n為觀測次數(shù)。

3.3 不同網(wǎng)絡(luò)深度的模型預(yù)測結(jié)果對比分析

本文對比測試了不同網(wǎng)絡(luò)深度下常規(guī)LSTM模型[19]和殘差A(yù)M-Bi-LSTM模型的預(yù)測性能,測試結(jié)果見表3。未使用殘差網(wǎng)絡(luò)的常規(guī)LSTM網(wǎng)絡(luò)在層級增大到一定程度時,其預(yù)測誤差表現(xiàn)出了明顯的上升的趨勢,而殘差A(yù)M-Bi-LSTM模型的精度隨著LSTM的層數(shù)增加而不斷提升。圖8顯示了LSTM層數(shù)為16層時兩模型的MAPE曲線。16層的殘差A(yù)M-Bi-LSTM模型的MAPE僅為1.73%,約為具有相同層數(shù)的常規(guī)LSTM網(wǎng)絡(luò)MAPE的1/3,這是因為引入的殘差網(wǎng)絡(luò)在前向傳播時,網(wǎng)絡(luò)中的恒等映射可將輸入信號從任意底層直接傳到高層,一定程度上解決了網(wǎng)絡(luò)退化問題。

表3 不同網(wǎng)絡(luò)深度下模型性能對比

圖8 16層模型性能對比

3.4 多模型預(yù)測結(jié)果對比分析

本文將所提的殘差A(yù)M-Bi-LSTM網(wǎng)絡(luò)模型與目前多種主流深度學習模型的預(yù)測結(jié)果進行對比測試,測試結(jié)果如表4和圖9所示。與單純采用殘差網(wǎng)絡(luò)或AM-Bi-LSTM網(wǎng)絡(luò)相比,本文提出的組合模型在很大程度上減少了系統(tǒng)的學習錯誤,且殘差A(yù)M-Bi-LSTM模型的MAPE僅為傳統(tǒng)LSTM網(wǎng)絡(luò)的1/3。

表4 殘差A(yù)M-Bi-LSTM模型與主流模型性能對比

圖9 不同網(wǎng)絡(luò)模型的預(yù)測誤差對比

3.5 不同模型不同時段的預(yù)測結(jié)果對比分析

本文對比了殘差A(yù)M-Bi-LSTM模型、AM-Bi-LSTM模型和ResNetPlus模型在不同年份的預(yù)測結(jié)果,結(jié)果如圖10所示,進一步驗證了本文所提模型具有較高的預(yù)測精度和泛化能力。

圖10 不同模型在不同年份上的預(yù)測結(jié)果

由圖10可以看出,相較于AM-Bi-LSTM模型和ResNetPlus模型,在3 a的預(yù)測結(jié)果中,殘差A(yù)M-Bi-LSTM模型在預(yù)測精度上均有1.00%左右的提高。在對不同年份的預(yù)測結(jié)果中,殘差A(yù)M-Bi-LSTM網(wǎng)絡(luò)模型的預(yù)測準確率變化較小,說明采用集成方法可以保證模型具有一定的魯棒性。

LSTM模型和殘差A(yù)M-Bi-LSTM模型對不同月份的預(yù)測結(jié)果如圖11所示,預(yù)測曲線如圖12(選取每個季度的第1個月為例)所示。相較于LSTM模型,殘差A(yù)M-Bi-LSTM模型在每個月份上均擁有更低的MAPE且波動更小。

圖12 不同模型不同月份預(yù)測曲線

根據(jù)圖11數(shù)據(jù),12個月內(nèi)LSTM模型的MAPE為4.66%,殘差A(yù)M-Bi-LSTM模型的MAPE為1.79%,將預(yù)測精度的平均值提升了2.87%。另一方面,由于大多數(shù)超參數(shù)沒有在ISO-NE數(shù)據(jù)集上進行調(diào)整,可以得出該模型具有良好的泛化能力。

表5為不同模型在不同季節(jié)下預(yù)測結(jié)果的MAPE對比(在每個季節(jié)最中間的兩星期隨機選取3 d為例),圖13顯示了殘差A(yù)M-Bi-LSTM網(wǎng)絡(luò)模型、AM-Bi-LSTM模型以及ResNetPlus模型在不同季節(jié)上的預(yù)測曲線。

表5 不同模型在不同季節(jié)上的預(yù)測結(jié)果(MAPE)

圖13 不同模型在不同季節(jié)的預(yù)測結(jié)果

從圖13中可以看出,相比于AM-Bi-LSTM和ResNetPlus兩個模型,殘差A(yù)M-Bi-LSTM模型在4個季節(jié)中得到的預(yù)測曲線都是最接近實際負荷值的。以平均絕對百分比誤差MAPE作為主要評價指標,對比3種模型在4個季節(jié)上的平均預(yù)測結(jié)果(見表5),殘差A(yù)M-Bi-LSTM模型的MAPE為1.81%。AM-Bi-LSTM和ResNetPlus模型的MAPE分別為2.86%和2.97%,預(yù)測誤差分別比殘差A(yù)M-Bi-LSTM模型高出1.05%和1.16%。此外,由圖13(b)、(d)可知,ResNetPlus模型的夏季和冬季負荷預(yù)測曲線和真實值有較大的偏差,說明ResNetPlus模型對時間特征的提取較差,而殘差A(yù)M-Bi-LSTM模型的4個季節(jié)的預(yù)測精度沒有較大波動,表明所提模型在不同的季節(jié)中都能較準確地對負荷進行預(yù)測,具有較高的穩(wěn)定性和泛化能力。

4 結(jié) 論

1)本文所提模型結(jié)合了注意力機制、多層改進殘差網(wǎng)絡(luò)和Bi-LSTM網(wǎng)絡(luò),并采用Snapshot集成策略,從深度、特征提取、時間、穩(wěn)定性等多方面提升模型的性能。

2)與LSTM和AM-Bi-LSTM模型相比,所提模型在相同條件下的平均預(yù)測精度分別提升2.87%和1.05%,說明引入改進深度殘差網(wǎng)絡(luò)能有效提高負荷預(yù)測的精度。

3)與ResNetPlus模型相比,所提模型在不同季節(jié)負荷預(yù)測的平均預(yù)測精度提升了1.16%,并且預(yù)測精度不被季節(jié)變化影響,說明所提模型能夠充分提取輸入數(shù)據(jù)的時間特征,有較強的準確率、魯棒性以及泛化能力。