申洪濤,李飛,史輪,孫勝博,楊振寧,楊挺

(1.國網(wǎng)河北省電力有限公司營銷服務中心,石家莊市 050035;2.天津大學電氣自動化與信息工程學院,天津市 300072)

0 引 言

隨著新型電力系統(tǒng)的建設,電網(wǎng)逐步向更加智能化、靈活交互式系統(tǒng)過渡發(fā)展[1]。電力負荷預測在電力系統(tǒng)的部署、規(guī)劃和運行影響重大。精確的短期負荷預測能通過預知用戶用電行為指導電網(wǎng)組合優(yōu)化調度,在維持電力系統(tǒng)的安全與穩(wěn)定運行的同時,還可以減少化石能源發(fā)電成本,減污降碳,并合理引導電力市場及碳市場的運營[2-3]。因此,研究電力短期負荷預測方法,提升預測精度意義重大。

近年來,國內外學者通過不斷的研究,推動了短期負荷預測領域發(fā)展。常用的短期負荷預測方法主要使用負荷歷史數(shù)據(jù),通過對其訓練提取特征,實現(xiàn)下一時期的預測[4-5]。如采用長短時記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡的負荷預測方法[6]、基于經(jīng)驗模態(tài)分解的短期負荷預測方法[7]等。但短期電力負荷受多種因素影響,具有波動性大、隨機性強的特點。尤其是區(qū)域型電力負荷,其包含居民、工業(yè)等多種負荷類型,容易受到溫度、濕度等氣象因素的影響,因此如果能夠將氣象數(shù)據(jù)融合考慮,將能夠進一步提升短期負荷預測的精度[8]。與此同時,電力廣域感知技術的發(fā)展也為獲取區(qū)域氣象多參量數(shù)據(jù)提供了可能[9]。

然而,當高維氣象參量數(shù)據(jù)輸入現(xiàn)有機器學習算法中進行訓練和預測時,由于弱相關維度數(shù)據(jù)的混雜,以及數(shù)據(jù)間線性耦合的影響,往往會導致算法出現(xiàn)過擬合等問題,造成模型失效、預測精度不升反降的弊端[10-11]。針對該問題,本文提出了基于稀疏核主成分分析(sparse kernel principal component analysis,SKPCA)的高維氣象數(shù)據(jù)降維方法,其能夠實現(xiàn)對非線性氣象數(shù)據(jù)的降維,且具有重構主成分可解釋性強的優(yōu)點。首先,將高維氣象數(shù)據(jù)降維過程建模為回歸優(yōu)化型問題,并增加L1范數(shù)和L2范數(shù)組成的彈性網(wǎng)懲罰項以稀疏化回歸問題,進而更新選取貢獻率集中解釋性好的稀疏核主成分進行數(shù)據(jù)降維。

在獲取低維強相關的氣象數(shù)據(jù)基礎上,本文提出了基于卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)和LSTM混合深度神經(jīng)網(wǎng)絡的電力短期負荷預測方法。將網(wǎng)絡的輸入(負荷功率及經(jīng)過SKPCA降維后的氣象數(shù)據(jù))組成圖像,并將其輸入CNN中,通過卷積操作來提取該圖像的空間相關特征;然后由LSTM通過相互連接的隱含層結構以及門結構來提取負荷功率數(shù)據(jù)的時間相關特征,從而全面利用數(shù)據(jù)的時-空相關性特征,提升負荷功率的短期預測精度。最后,本文選用負荷預測公開數(shù)據(jù)集,對所提算法進行了實驗驗證。結果表明,通過SKPCA降維后的氣象數(shù)據(jù)顯著提升了區(qū)域型電力短期負荷預測精度。

1 基于SKPCA的高維氣象數(shù)據(jù)降維方法

如前所述,區(qū)域型電力負荷包含居民、工業(yè)等多種負荷類型,容易受到溫度、濕度等氣象因素的影響。如當環(huán)境溫度或濕度增加時,制冷和除濕設備的電力負荷將會顯著提升。值得注意的是,無論是區(qū)域微氣象觀測,還是從專業(yè)氣象衛(wèi)星或數(shù)據(jù)庫獲取,氣象數(shù)據(jù)往往呈現(xiàn)高維非線性。研究表明,若深度神經(jīng)網(wǎng)絡的輸入為強相關高維,將極易誘發(fā)網(wǎng)絡過擬合,從而降低系統(tǒng)辨識性能[12]。因此本文首先面對短期負荷預測需求,對高維氣象數(shù)據(jù)采用基于稀疏核主成分的方法實現(xiàn)數(shù)據(jù)有效降維。

1.1 基于核主成分分析法的數(shù)據(jù)降維方法

核主成分分析(kernel principal component analysis,KPCA)可以處理多維非線性氣象數(shù)據(jù)[13],降低如溫度、濕度、風速等多維非線性數(shù)據(jù)之間的相關性。假設氣象數(shù)據(jù)的維度為P,每一維的采樣點數(shù)為N,可以將原始氣象數(shù)據(jù)X表示為xi∈N(i=1,2,…,P)。通過非線性映射將原始氣象數(shù)據(jù)xi映射至高維特征空間φ(xi)。此時,KPCA則轉化為對矩陣W進行主成分分析(principal component analysis,PCA)處理。矩陣W的計算公式為:

(1)

為提高計算效率,需要通過W=W-BW-WB+BWB來更新矩陣W(矩陣B中每一個元素都是1/P),從而使φ(x1)、φ(x2)、…、φ(xi)、…、φ(xP)滿足:

(2)

然后,基于奇異值分解或者特征值[14]分解計算矩陣W的特征值λk以及特征向量vk,公式如下:

Wvk=λkvk

(3)

將特征向量vk代入W中:

(4)

考慮到vk在高維特征空間中,故vk可以轉換為φ(xi)的線性組合,滿足:

(5)

式中:aki為φ(xi)轉換為vk的系數(shù)。φ(x)在vk的映射為:

(6)

式中:k(x,xi)等于φ(x)φ(xi),即為φ(x)和φ(xi)的內積。

最終,重構的核主成分及其方差貢獻率為:

X′k=Xvk

(7)

(8)

式中:X′k為第k個核主成分;θk為第k個核主成分的方差貢獻率。

通過設定方差貢獻率閾值θ(一般設定為95%),可以選擇不同數(shù)量的核主成分,從而實現(xiàn)數(shù)據(jù)降維。

1.2 基于稀疏核主成分分析的數(shù)據(jù)降維方法

然而,由公式(7)可知,核主成分是由原始數(shù)據(jù)與特征向量vk相乘得到,但是由于vk中并不存在零值,故以vk為重構系數(shù)的核主成分將與全部維度的原始數(shù)據(jù)都呈現(xiàn)相關性,存在難以解釋的弊端。

為將vk中系數(shù)較小的變量剔除以提高重構主成分的可解釋性,本文在KPCA的基礎上,提出了稀疏核主成分分析(SKPCA)。首先,將氣象數(shù)據(jù)通過KPCA進行處理,并將降維過程,即公式(7),描述為回歸優(yōu)化型問題,并基于最小二乘法建立求解模型;其次,在求解模型中,增加彈性網(wǎng)懲罰以稀疏化回歸系數(shù);最后迭代求取貢獻率集中且解釋性好的稀疏核主成分,并依據(jù)方差貢獻率閾值進行降維。

基于預設的方差貢獻率閾值θ,選擇前K個核主成分,其特征向量為αP×K=[v1,v2,…,vk]。設定原始氣象數(shù)據(jù)簡寫為X,稀疏回歸系數(shù)為βP×K=[β1,β2,…,βk],通過最小二乘法求解稀疏回歸系數(shù)的過程為:

(9)

(10)

式中:λ1和λ2分別為L1范數(shù)和L2范數(shù)的系數(shù)。

設定λ2為常數(shù),通過最小角回歸算法[15]求解公式(10),從而得到稀疏回歸系數(shù)β。考慮到上述算法的結果嚴重依賴KPCA,所以本文對其改進,提出帶彈性網(wǎng)懲罰的稀疏核主成分分析的獨立方法[16-17]。

(11)

式中:λ1,k為第k個L1范數(shù)系數(shù)。值得注意的是,所有K個主成分采用相同的λ2,不同的λ1,k用于懲罰不同核主成分的特征向量。

最終,根據(jù)人為設定的方差貢獻率閾值θ可以選擇對應數(shù)量的稀疏核主成分,從而實現(xiàn)高維氣象數(shù)據(jù)的降維。此外,由于彈性網(wǎng)懲罰項的作用,可以將α中系數(shù)較小的因素剔除,使得稀疏回歸系數(shù)β包含了多個零系數(shù),從而令重構主成分只和某些影響較大的氣象維度相關,如溫度、濕度或氣壓,更容易解釋主成分的構成。

1.3 具體降維步驟

基于SKPCA的數(shù)據(jù)降維方法步驟如下:

1)中心化高維氣象矩陣X,設置方差貢獻率閾值θ(本文設定θ=95%);

2)更新公式(1)中的矩陣W,并求取特征值λk和特征向量vk;

3)根據(jù)θ選取前k個主成分,從而得到特征向量矩陣αP×K;

4)當m=1,…,K,求取稀疏特征向量矩陣βP×K:

(12)

5)通過XΤXβ=UDVT,并更新α=UVT,其中U、D以及V分別為奇異值分解過程中的左奇異向量、奇異值對角矩陣以及右奇異向量;

6)重復步驟4)和5),迭代至α和β收斂,此時重構的稀疏主成分為Xβ。

2 基于CNN-LSTM的負荷預測方法

在獲取低維氣象數(shù)據(jù)的基礎上,將網(wǎng)絡的輸入(負荷功率及經(jīng)過SKPCA降維后的氣象數(shù)據(jù))組成圖像,并通過CNN的卷積操作來提取負荷功率及氣象數(shù)據(jù)的空間相關特征,通過LSTM相互連接的隱含層結構以及門結構來提取時間相關特征,從而提出基于CNN-LSTM混合深度神經(jīng)網(wǎng)絡的電力短期負荷預測方法全面利用數(shù)據(jù)的時-空相關性特征,提升負荷功率的短期預測精度。

2.1 基于CNN的負荷及氣象數(shù)據(jù)空間特征提取模塊

CNN-LSTM模型的輸入為歷史負荷功率和KPCA降維后氣象數(shù)據(jù)。該輸入仍為多維序列,可以將其拼接為圖像,稱為負荷及氣象圖。卷積神經(jīng)網(wǎng)絡(CNN)的特殊結構可以充分挖掘負荷及氣象圖的空間關系,提取跨域數(shù)據(jù)間價值特征,從而提高電力負荷預測的精度。此外,為減少參數(shù)數(shù)量,本文使用leaky整流線性單元(leaky rectified-linear unit,Leaky ReLu)激活函數(shù)來非線性映射神經(jīng)元[18]。CNN包括卷積層、池化層等,其中卷積層負責提取負荷及氣象圖的空間特征。

2.1.1 基于卷積層的空間特征提取

卷積層可以提取負荷及氣象組成圖像的特征,其中卷積核是一個包含系數(shù)矩陣的小窗口,這個窗口在負荷及氣象圖上滑動并進行卷積運算,從而提取到圖像的空間相關特征[19-20]。卷積層的計算公式如下:

(13)

2.1.2 基于池化層的空間特征壓縮

為了壓縮卷積層特征,池化層可以對負荷及氣象序列圖的高維空間相關特征進行下采樣,轉換為CNN層提取的空間相關特征。本文擬采用最大池化方法[21],具體公式為:

(14)

2.2 基于LSTM的時間特征提取模塊及預測

以CNN提取的空間相關特征為輸入,長短時記憶(LSTM)神經(jīng)網(wǎng)絡可以提取負荷及氣象圖的時間相關特征,重點關注于負荷序列本身的趨勢性和周期性。長短時記憶(LSTM)神經(jīng)網(wǎng)絡借鑒了循環(huán)神經(jīng)網(wǎng)絡隱含層相互連接的獨特網(wǎng)絡結構,保證其可以利用之前時刻的時序信息訓練當前時刻的網(wǎng)絡,從而有效地提取負荷及相關數(shù)據(jù)的時間相關特征[22-23]。

設xt為LSTM層的輸入,即CNN層輸出的空間相關特征;ht為LSTM層的輸出,即LSTM層輸出的時間相關特征。考慮氣象空間特征用于短期負荷預測的長短時記憶單元的結構及連接方式,如圖1所示。It、Ft和Ot分別為LSTM單元中輸入門、遺忘門、輸出門的輸出,Ct是細胞狀態(tài)。遺忘門可以挑選出之前時間節(jié)點的有用記憶,輸入門可以提取現(xiàn)在時間節(jié)點的有用信息,輸出門可以整合現(xiàn)在時間節(jié)點信息和細胞狀態(tài)完成輸出[24-25]。具體公式如下:

圖1 適用于短期負荷預測的長短時記憶單元結構及連接方式Fig.1 The structure and connection method of long short-term memory unit suitable for short-term load forecasting

It=δ(Uixt+Wiht-1+bi)

(15)

Ft=δ(Ufxt+Wfht-1+bf)

(16)

Ot=δ(Uoxt+Woht-1+bo)

(17)

(18)

(19)

ht=Otσ(Ct)

(20)

最終,基于CNN和LSTM提取的時-空相關性特征,使用全連接層[26]進行負荷預測,公式如下:

(21)

最后,給出基于SKPCA和CNN-LSTM的短期電力負荷預測算法全流程圖,如圖2所示。

圖2 基于SKPCA和CNN-LSTM的短期電力負荷預測算法全流程圖Fig.2 The overall flowchart of the short-term power load forecasting based on SKPCA and CNN-LSTM

3 實驗及分析

3.1 數(shù)據(jù)集及評價指標

為測試所提出的基于SKPCA降維和混合深度神經(jīng)網(wǎng)絡的電力短期負荷預測方法的性能,采用實際負荷數(shù)據(jù)集進行測試。數(shù)據(jù)來源為于某經(jīng)濟發(fā)達地地區(qū)實際觀測統(tǒng)計數(shù)據(jù),種類共8維:除了負荷功率數(shù)據(jù)(計及該地區(qū)工業(yè)負荷、居民負荷等總用電負荷)之外,還包括了影響負荷短期波動的7種氣象數(shù)據(jù),分別為溫度X1、濕度X2、風速X3、降水量X4、云量X5、SO2濃度X6、和氣壓X7。實驗采集裝置每隔15 min采集一次地區(qū)總負荷以及7維氣象因素,因此本文實驗基于上述數(shù)據(jù)進行該區(qū)域未來15 min的短期負荷預測。

對算法預測精度的評價標準選擇平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)和均方根誤差(root mean square error,RMSE)三個指標[27-28],計算公式分別如下:

(22)

(23)

(24)

3.2 高維氣象數(shù)據(jù)降維實驗及分析

高維氣象數(shù)據(jù)中存在著大量的無關因素,且數(shù)據(jù)間具有嚴重的共線性以及群組效應,影響了負荷預測精度的提升,所以應對氣象因素開展降維操作以提升數(shù)據(jù)質量[29-30]。為體現(xiàn)SKPCA的有效性,選取PCA、KPCA作為對比方法,開展對比實驗。為了保證實驗的合理性,PCA、KPCA和SKPCA都采用了相同的超參數(shù)設置,例如累計方差貢獻率閾值設定為95%;KPCA和SKPCA選擇方差為100的高斯核函數(shù)。最終,PCA、KPCA和SKPCA方差貢獻如圖3、圖4和圖5所示。

圖3 主成分分析的方差貢獻率Fig.3 Variance contribution rate of PCA

圖4 核主成分分析的方差貢獻率Fig.4 Variance contribution rate of KPCA

圖5 稀疏核主成分分析的方差貢獻率Fig.5 Variance contribution rate of SKPCA

由圖3—5可知,PCA、KPCA與SKPCA的第一主成分都是各主成分中方差貢獻率最大的,分別為41.47%、64.56%和66.32%。此外,依據(jù)累計方差貢獻率閾值95%,PCA、KPCA與SKPCA分別將7維氣象因素降低至5、3和2維。對于方差貢獻率過小的主成分應該被剔除,以小于1%為例,PCA、KPCA分別剔除了1個和3個主成分,而SKPCA則有效剔除了4個主成分。綜上所述,SKPCA可以用更少主成分表示較多信息,方差貢獻率更為集中,即降維效果更好。3種方法的細節(jié)如表1、2和3所示,表中PC、KPC以及SKPC分別表示主成分、核主成分以及稀疏核主成分。

表1 主成分系數(shù)及方差貢獻Table 1 Coefficient and variance contribution of PCs

表2 核主成分系數(shù)及方差貢獻Table 2 Coefficient and variance contribution of KPCs

表3 稀疏核主成分系數(shù)及方差貢獻Table 3 Coefficient and variance contribution of SKPCs

進一步通過表1、2和3結果分析可知,PCA和KPCA的系數(shù)并不存在零元素,這意味著經(jīng)過該系數(shù)重構的主成分無法剔除任何一個氣象因素,主成分的可解釋性較差;由于彈性網(wǎng)懲罰的應用,SKPCA可以將較小的系數(shù)精準壓縮至0,從而可以以較小的原始氣象變量來解釋主成分。例如,以第一主成分為例,PCA和KPCA的重構主成分需要7種氣象進行解釋,而SKPCA則將X1、X3、X4和X5系數(shù)壓縮為0,這就表明SKPCA的第一主成分只與濕度X2、SO2濃度X6、和氣壓X7相關,解釋性更好。其中SO2濃度X6與當?shù)毓I(yè)生產(chǎn)排污有密切關系,因此X6與用電負荷呈現(xiàn)強相關。最后,依據(jù)累計方差貢獻率閾值95%,通過SKPCA可以將7維氣象數(shù)據(jù)降低至2維,前2個稀疏核主成分為:

Y1=-0.0165X2+0.8769X6-0.4805X7

(25)

Y2=0.9265X1-0.1688X3-0.3364X4

(26)

3.3 短期負荷預測實驗及分析

3.3.1 降維前負荷預測實驗及分析

進一步,對比分析預測算法的性能。在此,為分析氣象數(shù)據(jù)的重要性以及混合深度學習神經(jīng)網(wǎng)絡對非線性擬合的優(yōu)越性,分別與兩類預測模型進行對比:第一類對比預測模型不考慮氣象,僅以歷史負荷為輸入的反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡以及LSTM神經(jīng)網(wǎng)絡負荷預測算法;第二類對比預測模型是以歷史負荷和未降維氣象為輸入的CNN神經(jīng)網(wǎng)絡、LSTM神經(jīng)網(wǎng)絡以及CNN-LSTM神經(jīng)網(wǎng)絡為基礎的負荷預測算法。5種對比方法的預測結果如表4所示。

表4 不同預測算法結果對比Table 4 Comparison of prediction results of basic models

由表4可知,在第一類不考慮氣象數(shù)據(jù)的對比預測模型中,BP的網(wǎng)絡及神經(jīng)元結構簡單,預測精度波動較大且易于陷入局部最優(yōu),MAE、MAPE和RMSE分別高達727.69 MW、8.11%和946.67 MW;LSTM_1由于其連接的隱含層結構,使其更適合處理負荷功率等時序數(shù)據(jù),預測結果穩(wěn)定且精度有所提升,MAE、MAPE和RMSE分別降低至674.93 MW、7.29%以及816.57%。在第二類模型中,由于增加了氣象輸入,使得模型預測更準確,選取同樣的LSTM算法預測結果對比分析可發(fā)現(xiàn),增加了氣象數(shù)據(jù)的LSTM_2的MAPE較LSTM_1進一步降低了1.50%,這說明了在短期負荷預測中考慮氣象因素的必要性。除此之外,在第二類模型中,CNN-LSTM神經(jīng)網(wǎng)絡的預測精度最高,并且預測結果很穩(wěn)定,模型的MAPE僅為5.31%,相比于CNN以及LSTM_2模型分別提升了15.18%以及8.29%。綜上所述,實驗發(fā)現(xiàn)氣象因素引入有利于提高短期負荷預測的精度,并證明了本文CNN-LSTM模型可以有效提取負荷及氣象數(shù)據(jù)的深度特征,預測精度更高。

3.3.2 降維后負荷預測實驗及分析

進一步通過實驗,驗證使用SKPCA對高維氣象數(shù)據(jù)進行降維的優(yōu)越性。本文又進行了3組對比實驗,分別是對高維氣象數(shù)據(jù)采用PCA、KPCA和SKPCA降維,預測算法都選用本文提出的混合深度學習神經(jīng)網(wǎng)絡算法,并同時與上一節(jié)未降維的CNN-LSTM預測結果對比。實驗中,PCA降維保留4個主成分,KPCA和SKPCA降維保留2個主成分。四種預測模型的預測結果誤差分析如表5所示。四種負荷預測結果和預測誤差分析結果如圖6和圖7所示。

表5 不同預測模型的誤差對比Table 5 Error comparison of different prediction models

圖6 不同降維算法結合CNN-LSTM的負荷預測結果Fig.6 Load forecasting result of different dimensionality reduction algorithms combined with CNN-LSTM

圖7 不同降維算法結合CNN-LSTM的誤差結果Fig.7 Error result of different dimensionality reduction algorithms combined with CNN-LSTM

由實驗結果可知,氣象因素直接輸入建立的CNN-LSTM模型的MAPE為5.31%,而對氣象高維數(shù)據(jù)進行PCA降維處理后模型的MAPE降低至3.96%,說明氣象數(shù)據(jù)之間具有強相關性,降維處理后預測精度得到了顯著提高。經(jīng)過KPCA、SKPCA數(shù)據(jù)處理后預測結果的MAPE進一步降低到了2.22%和1.08%。此外,SKPCA-CNN-LSTM的單點誤差也低于其余對比模型,單點絕對誤差低于1%的預測點占據(jù)總預測點的50%,而CNN-LSTM、PCA-CNN-LSTM以及KPCA-CNN-LSTM分別只有4.16%、8.33%以及37.5%。綜上所述,SKPCA的降維效果更好,可以降低深度學習模型發(fā)生過擬合的風險,從而提高預測精度。

4 結 論

準確的短期電力負荷預測為新型電力系統(tǒng)的調度和供電計劃提供可靠的科學依據(jù),通過預知用電行為可以指導電網(wǎng)優(yōu)化運行,以及引導電力市場及碳市場的運營。本文在現(xiàn)有負荷預測算法的基礎上,增加影響負荷的氣象數(shù)據(jù),提出了基于稀疏核主成分分析(SKPCA)和混合深度神經(jīng)網(wǎng)絡的短期電力負荷預測新方法。本文的結論如下:

1)利用SKPCA降維氣象數(shù)據(jù),避免高維數(shù)據(jù)引發(fā)深度學習預測模型發(fā)生過擬合的風險。相比于PCA和KPCA降維方法,SKPCA降維方法在將7維氣象數(shù)據(jù)壓縮至2維的同時,也將平均絕對百分比誤差分別降低了72.73%以及51.35%,這表明通過SKPCA降維后氣象數(shù)據(jù)顯著提升區(qū)域型電力短期負荷預測精度。

2)以降維后的氣象數(shù)據(jù)及歷史負荷功率時序數(shù)據(jù)為輸入,構建了基于CNN-LSTM的混合深度神經(jīng)網(wǎng)絡負荷預測模型。通過CNN卷積操作來提取負荷功率及氣象數(shù)據(jù)的空間相關特征,以及LSTM相互連接的隱含層結構和門結構來提取負荷功率數(shù)據(jù)的時間相關特征,從而全面利用數(shù)據(jù)的時-空相關性特征,提升負荷功率的短期預測精度。實驗表明,相比于CNN和LSTM預測模型,CNN-LSTM模型的平均絕對誤差分別降低了16.07%以及11.14%,驗證了本文混合深度網(wǎng)絡的優(yōu)越性。

3)最后,本文選用負荷預測公開數(shù)據(jù)集,對所提算法進行了實驗驗證。最終,本文方法(SKPCA-CNN-LSTM)的預測精度達到了98.92%,并且保證了所有預測點的單點絕對誤差低于5%。本文研究為人工智能模型在區(qū)域型短期電力負荷預測中的應用提供了一種新思路。

未來還會開展一些有趣的工作,比如通過遺傳算法等啟發(fā)式算法進行CNN-LSTM模型的超參數(shù)優(yōu)化以及引入額外的電力負荷數(shù)據(jù)集來驗證方法的有效性。