王劍鋒，鄭 劍，王旭東，于建成

（國(guó)網(wǎng)天津市電力公司，天津 300010）

電力系統(tǒng)負(fù)荷的準(zhǔn)確預(yù)測(cè)是實(shí)現(xiàn)高效管理的基礎(chǔ)，為電力企業(yè)運(yùn)行調(diào)度等業(yè)務(wù)的實(shí)施提供支撐[1]。由于電力數(shù)據(jù)日益復(fù)雜，數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)?；谥悄茴A(yù)測(cè)算法的負(fù)荷預(yù)測(cè)具有較高的穩(wěn)定性和預(yù)測(cè)精度，還有較強(qiáng)的復(fù)雜映射、容錯(cuò)及泛化能力，廣泛應(yīng)用于電力負(fù)荷預(yù)測(cè)領(lǐng)域。科研工作者在負(fù)荷預(yù)測(cè)領(lǐng)域的研究獲得諸多突破，支持向量機(jī)SVM（support vector machine）[2]、極限學(xué)習(xí)機(jī)ELM（extreme learning machine）[3]、隨機(jī)森林 RF（random forest）[4]、長(zhǎng)短期記憶LSTM（long short-term memory）網(wǎng)絡(luò)[5]等預(yù)測(cè)算法被廣泛應(yīng)用逐漸完善。文獻(xiàn)[6]提出使用支持向量機(jī)預(yù)測(cè)中期負(fù)荷，但在處理大量時(shí)間序列數(shù)據(jù)時(shí)速度較慢。文獻(xiàn)[7]提出了基于ELM算法的類分布不平衡數(shù)據(jù)處理技術(shù)，依據(jù)訓(xùn)練樣本的重要性分配樣本權(quán)重系數(shù)。文獻(xiàn)[8]提出利用反向傳播BP（back propagation）網(wǎng)絡(luò)進(jìn)行逐項(xiàng)預(yù)測(cè)，最終輸出為對(duì)應(yīng)于預(yù)測(cè)模型的每個(gè)子數(shù)據(jù)輸出的綜合加權(quán)值。

在進(jìn)行負(fù)荷預(yù)測(cè)時(shí)，通常有特征組合和預(yù)測(cè)模型兩個(gè)影響因素，即輸入和模型。上述文獻(xiàn)多側(cè)重于模型，通過構(gòu)建高性能的預(yù)測(cè)模型，以提升負(fù)荷預(yù)測(cè)精度。然而由于模型很難捕捉到復(fù)雜數(shù)據(jù)之間的關(guān)系，需要引入預(yù)處理等技術(shù)提高預(yù)測(cè)性能[9]。深度信念網(wǎng)絡(luò)DBN（deep belief network）及其變種廣泛應(yīng)用于圖像識(shí)別、機(jī)器翻譯和醫(yī)學(xué)診斷等各個(gè)領(lǐng)域，有效地解決了分類、預(yù)測(cè)和決策問題。文獻(xiàn)[10]提出一種基于雙向遞歸神經(jīng)網(wǎng)絡(luò)Bi-RNN（bidirectional recurrent neural network）和DBN的混合模型，該模型采用無監(jiān)督預(yù)訓(xùn)練和監(jiān)督調(diào)整訓(xùn)練方法，在短期電力負(fù)荷預(yù)測(cè)中具有較高的精度。在文獻(xiàn)[11]中，利用Nadam動(dòng)量?jī)?yōu)化算法對(duì)深信度網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲得最佳的DBN參數(shù)。在Keras深度學(xué)習(xí)框架的基礎(chǔ)上，對(duì)DBN結(jié)構(gòu)進(jìn)行了調(diào)整，可獲得最佳的預(yù)測(cè)結(jié)果。

本文提出了一種基于改進(jìn)DBN算法的電力系統(tǒng)負(fù)荷預(yù)測(cè)方法，在充分挖掘歷史負(fù)荷數(shù)據(jù)中的規(guī)律性的基礎(chǔ)上，數(shù)據(jù)特征向量輸入到多個(gè)用于兩層稀疏自編碼神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征融合，利用DBN模型進(jìn)行負(fù)荷預(yù)測(cè)，并進(jìn)行無監(jiān)督訓(xùn)練對(duì)模型進(jìn)行預(yù)訓(xùn)練，最后通過BP算法進(jìn)行微調(diào)到最終的預(yù)測(cè)結(jié)果。本文方法可充分利用歷史負(fù)荷數(shù)據(jù)的規(guī)律性，從而提高預(yù)測(cè)的效率，同時(shí)可充分考慮不同因素的影響，提高其預(yù)測(cè)精度。

1 數(shù)據(jù)的選擇與聚合

短期負(fù)荷預(yù)測(cè)的輸入數(shù)據(jù)涉及多類，如天氣數(shù)據(jù)（溫度、濕度、降水量、風(fēng)速等），日類型數(shù)據(jù)，電量數(shù)據(jù)及電價(jià)信息等，數(shù)據(jù)的選擇與聚合至關(guān)重要。其中氣象因素對(duì)負(fù)荷影響的多日累積效應(yīng)，例如，對(duì)于某日的負(fù)荷而言，連續(xù)三天高溫與當(dāng)日突然高溫，兩種情況對(duì)負(fù)荷的影響會(huì)有明顯差別。同時(shí)氣象是多個(gè)因素產(chǎn)生某種相合效果后才作用于電力負(fù)荷，分析影響時(shí)需要考慮氣象指數(shù)的耦合效果。氣象因素作用于電力負(fù)荷的影響如圖1所示[12]。

圖1 氣象因素作用于電力負(fù)荷的影響Fig.1 Influences of meteorological factors on power load

1.1 數(shù)據(jù)選擇和預(yù)處理

對(duì)于待預(yù)測(cè)日為非節(jié)假日，訓(xùn)練樣本集為該日前一些天非節(jié)假日的數(shù)據(jù)；若為節(jié)假日，利用灰色關(guān)聯(lián)投影技術(shù)獲得預(yù)測(cè)日的相似日，并作為訓(xùn)練樣本集。計(jì)算Y0j與Yij間的關(guān)聯(lián)度公式為

式中：λ為分辨系數(shù)；n為預(yù)測(cè)日的個(gè)數(shù)；m為關(guān)聯(lián)系數(shù)的位置序號(hào)；Y0j為待預(yù)測(cè)日特征向量的第j個(gè)影響因素值；Yij為第i個(gè)樣本的第j個(gè)影響因素值。

各影響因素所占權(quán)重計(jì)算公式為

式中：Wj為第j個(gè)影響因素的權(quán)重值；為第i個(gè)樣本的第j個(gè)因素對(duì)應(yīng)的灰色關(guān)聯(lián)度值。

在上述基礎(chǔ)上進(jìn)行數(shù)據(jù)歸一化處理，目標(biāo)是把有量綱數(shù)據(jù)變?yōu)闊o量綱數(shù)據(jù)，并將數(shù)據(jù)映射到0～1范圍之內(nèi)，以提升預(yù)測(cè)模型的收斂速度。

式中：Xi為樣本數(shù)據(jù)；為Xi的歸一化值；Xmax和Xmin分別為Xi的最大值和最小值。

1.2 數(shù)據(jù)聚合

本文提出采用三層的自編碼神經(jīng)網(wǎng)絡(luò)SNN（self-coding neural network）進(jìn)行，通過近似相同的函數(shù)使目標(biāo)輸出值接近輸入值從而最小化預(yù)期的重建誤差。圖2給出了SNN基本架構(gòu)，該網(wǎng)絡(luò)可以通過激活功能進(jìn)行從前一層到下一層的非線性轉(zhuǎn)換。

圖2 本文所采用的SNN網(wǎng)絡(luò)基本架構(gòu)Fig.2 Basic SNN network architecture adopted in this paper

2 應(yīng)用于負(fù)荷預(yù)測(cè)的改進(jìn)神經(jīng)網(wǎng)絡(luò)模型

2.1 IDBN模型的構(gòu)建

將受限波爾茲曼機(jī)RBM（restricted Boltzmann machine）堆疊形成神經(jīng)網(wǎng)絡(luò)，應(yīng)用RBM訓(xùn)練實(shí)現(xiàn)構(gòu)建神經(jīng)網(wǎng)絡(luò)已被證明是一種快速有效的方法[8]。其中如何建立確切的預(yù)測(cè)模型以及如何恰當(dāng)?shù)赜?xùn)練所建立的預(yù)測(cè)模型是利用深度信念網(wǎng)絡(luò)解決繁雜因素影響下的負(fù)荷預(yù)測(cè)問題的關(guān)鍵。本文所采用的改進(jìn)深度信念網(wǎng)絡(luò)模型如圖3所示，由一個(gè)高斯-伯努利RBM即GB-RBM（Gaussian-Bernoulli RBM）、多個(gè)隨機(jī)單元伯努利RBM即BB-RBM（Bernoulli-Bernoulli RBM）和一個(gè)回歸輸出層構(gòu)成。輸入樣本為x={x1,x2,…,xn}，輸出樣本為y。

圖3 改進(jìn)深度信念網(wǎng)絡(luò)模型Fig.3 Improved DBN model

將GB-RBM作為堆疊組成DBN的第一個(gè)RBM，以便將輸入數(shù)據(jù)中的天氣數(shù)據(jù)和負(fù)荷數(shù)據(jù)等連續(xù)型實(shí)值數(shù)據(jù)有效的轉(zhuǎn)化成二進(jìn)制數(shù)據(jù)。因?yàn)锽B-RBM適用于處理二進(jìn)制數(shù)據(jù)（如黑白圖像或編碼后的文本）的建模過程，所以其他RBM均采用BB-RBM，實(shí)現(xiàn)輸入信息的特征提?。蛔詈蟮腞BM隱藏層和輸出層組成線性回歸網(wǎng)絡(luò)，通過不同類型激活函數(shù)處理得到時(shí)間間隔為15 min，30 min或1 h的電力負(fù)荷時(shí)間序列。

式中，Z為與二進(jìn)制向量(v,h)有關(guān)的配分函數(shù)[6]。

“限制”是指RBM模型的同類節(jié)點(diǎn)之間不存在連接，這代表隱藏層單元（或者可見單元）之間條件獨(dú)立性成立。在BB-RBM中，所有單位都是二進(jìn)制隨機(jī)單元，這意味著輸入數(shù)據(jù)應(yīng)該是二進(jìn)制的，或者在0和1之間的實(shí)數(shù)值表示可見單元活躍或不活躍的概率。

每個(gè)單位的條件概率分布由其接收的輸入的sigmoid函數(shù)給出，即

式中，σ(x)=1/(1+exp(-x))為sigmoid激活函數(shù)。

2.2 基于Gibbs的數(shù)據(jù)采樣

在進(jìn)行短期負(fù)荷預(yù)測(cè)時(shí)，需要將上述模型進(jìn)行訓(xùn)練，調(diào)整參數(shù)θ以擬和給定的訓(xùn)練樣本。本文采用最大似然估計(jì)方法，尋找參數(shù)θ使得訓(xùn)練數(shù)據(jù)x在該情景下概率最大。對(duì)于給定的訓(xùn)練集，訓(xùn)練樣本模型對(duì)數(shù)似然值可以表示為

式中，θ={b、a、W}，D是訓(xùn)練數(shù)據(jù)集。

其梯度可表示為

3 模型預(yù)訓(xùn)練與參數(shù)整定

采用無監(jiān)督學(xué)習(xí)對(duì)DBN進(jìn)行預(yù)訓(xùn)練，同時(shí)為下一步的參數(shù)微調(diào)提供更優(yōu)的參數(shù)基礎(chǔ)。在混合預(yù)訓(xùn)練的過程中，為保障預(yù)測(cè)模型的完整性，需在待訓(xùn)練的RBM上堆疊一層臨時(shí)輸出層。

3.1 無監(jiān)督預(yù)訓(xùn)練

將無監(jiān)督學(xué)習(xí)應(yīng)用到深度信念網(wǎng)絡(luò)中。采用稀疏自動(dòng)編碼器模型作為深度學(xué)習(xí)中數(shù)據(jù)的預(yù)處理工具具有定的代表性。稀疏自動(dòng)編碼器模型為：對(duì)稀疏自編碼參數(shù)進(jìn)行訓(xùn)練，在稀疏自編碼模型中，尋找重構(gòu)數(shù)據(jù)a?使其接近原始數(shù)據(jù)a，即：

3.2 基于BP算法的參數(shù)微調(diào)

在逐層混合預(yù)訓(xùn)練后，本文采用BP算法進(jìn)行全局參數(shù)微調(diào)。BP神經(jīng)網(wǎng)絡(luò)具有很好的信息順向傳輸與誤差反向傳播特點(diǎn)。通過不斷地重復(fù)周期以達(dá)到所期望的誤差，最后經(jīng)過訓(xùn)練得到符合期望的模型。但由于BP神經(jīng)網(wǎng)絡(luò)存在學(xué)習(xí)速度較慢、精度不高等問題，故采用改進(jìn)反向傳播算法收斂速度的措施，即附加沖量項(xiàng)為

為了加速RBM的訓(xùn)練過程，采用對(duì)比散度CD-k算法進(jìn)行無監(jiān)督學(xué)習(xí)。由于CD-k算法中，當(dāng)k=1時(shí)，就能達(dá)到較好的擬合效果（一步吉布斯采樣）。故一般采用CD-1算法。

式中：v*為可視層v的重構(gòu)，根據(jù)v*所得隱藏層為h*；設(shè)學(xué)習(xí)效率為ε，經(jīng)過對(duì)比散度算法對(duì)RBM進(jìn)行訓(xùn)練后，權(quán)重矩陣W、可視層的偏置向量b、隱藏層的偏置向量c。

應(yīng)用誤差反向傳播訓(xùn)練過程，包括計(jì)算每一層的凈輸入和激活值，直到最后一層，然后反向傳播計(jì)算每一層的誤差項(xiàng)，獲得每一層參數(shù)的偏導(dǎo)數(shù)，并更新參數(shù)。具體訓(xùn)練過程如下：

算法：基于隨機(jī)梯度下降的反向傳播求解過程偽代碼輸入：IDBN網(wǎng)絡(luò)參數(shù)L，神經(jīng)元數(shù)量ml，1≤l≤L，設(shè)定訓(xùn)練集D，驗(yàn)證集V，參數(shù) θ ={b、a、W}.1:初始化W，b 2:repeat 3:對(duì)訓(xùn)練集D中的樣本隨重新排序4:for n=1，…，N，do 5: 從訓(xùn)練集D中選取樣本（x，y）；6: 前饋計(jì)算每一層的凈輸入z(l)和激活值a(l)，直到最后一層；7: 反向傳播計(jì)算每一層誤差δ(l)；8: 基于式（16）計(jì)算每一層參數(shù)的導(dǎo)數(shù)9: 基于式（17）更新參數(shù) θ={b、a、W}.10:end 11:IDBN網(wǎng)絡(luò)在驗(yàn)證集V上的錯(cuò)誤率不再下降輸出：W，b

3.3 負(fù)荷預(yù)測(cè)流程

傳統(tǒng)的處理方法一般通過負(fù)荷預(yù)測(cè)模型直接獲得負(fù)荷的預(yù)測(cè)值，本文利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行負(fù)荷預(yù)測(cè)，并進(jìn)行無監(jiān)督訓(xùn)練對(duì)模型進(jìn)行預(yù)訓(xùn)練，獲得短期負(fù)荷預(yù)測(cè)結(jié)果，具體流程如圖4所示。

圖4 基于改進(jìn)DBN的負(fù)荷預(yù)測(cè)流程Fig.4 Load forecasting process based on improved DBN

4 算例分析

負(fù)荷測(cè)試選取中國(guó)某區(qū)域的實(shí)際電力負(fù)荷數(shù)據(jù)，時(shí)間跨度為2018年1月至2019年12月，選取的數(shù)據(jù)包括4組主要的測(cè)量變量：天氣數(shù)據(jù)（溫度，降水量，風(fēng)速和太陽輻射）、日類型數(shù)據(jù)、電量數(shù)據(jù)和分時(shí)電價(jià)數(shù)據(jù)（高峰時(shí)段為7：00—11：00，19：00—23：00；平常時(shí)段為11：00—19：00；低谷時(shí)段為23：00—次日7：00）。從當(dāng)?shù)氐臍庀缶W(wǎng)站采集天氣數(shù)據(jù)，并將同一時(shí)間下的氣象和負(fù)荷數(shù)據(jù)一一對(duì)應(yīng)進(jìn)行匹配。

模型的評(píng)估和比較采用平均絕對(duì)百分比誤差MAPE（mean absolute percentage error）來衡量，由于MAPE的穩(wěn)定性好，可以將其作為多種評(píng)估標(biāo)準(zhǔn)的基準(zhǔn)，即

式中：N為測(cè)量負(fù)荷的樣本數(shù)；yl(k)和y?l(k)分別為第k天的第1小時(shí)的量測(cè)負(fù)荷和預(yù)測(cè)負(fù)荷。

對(duì)構(gòu)建的G-DBN模型進(jìn)行短期電力負(fù)荷預(yù)測(cè)。圖5為G-DBN模型與采用BB-RBM的DBN（BDBN）模型的對(duì)比結(jié)果。兩種模型均進(jìn)行預(yù)訓(xùn)練和BP微調(diào)進(jìn)行模型參數(shù)尋優(yōu)。

圖5 G-DBN與B-DBN的預(yù)測(cè)對(duì)比Fig.5 Comparison of prediction between G-DBN and B-DBN

通過比較可得，G-DBN的預(yù)測(cè)精度更高，BDBN預(yù)測(cè)效果的不穩(wěn)定性是由于BB-RBM在處理實(shí)值數(shù)據(jù)時(shí)易于產(chǎn)生噪聲。

為了進(jìn)一步驗(yàn)證G-DBN的可行性，對(duì)某地區(qū)2020年全年負(fù)荷值按季節(jié)進(jìn)行分別預(yù)測(cè)，得到春、夏、秋、冬4個(gè)季節(jié)場(chǎng)景下的負(fù)荷預(yù)測(cè)值。采用待測(cè)日前十個(gè)月的實(shí)際負(fù)荷數(shù)據(jù)作為訓(xùn)練樣本集和測(cè)試樣本集。選擇常用的人工智能預(yù)測(cè)方法：BP神經(jīng)網(wǎng)絡(luò)、SVM方法和傳統(tǒng)DBN方法（無監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練和S-BP算法微調(diào)）形成對(duì)照。為確保實(shí)驗(yàn)結(jié)果的真實(shí)性，實(shí)驗(yàn)結(jié)果均為執(zhí)行100次得到的平均值。4個(gè)季節(jié)下不同類型預(yù)測(cè)方法的比較如圖6所示。由圖6可知，G-DBN模型預(yù)測(cè)下四季的MAPE為3.59%，小于其他方法。考慮到溫度，光照強(qiáng)度和使用時(shí)間電價(jià)的影響，G-DBN可以更充分地利用多種影響因素和電力負(fù)荷之間的復(fù)雜關(guān)系。

圖6 4個(gè)季節(jié)下的負(fù)荷預(yù)測(cè)方法性能比較Fig.6 Comparison of performance among load forecasting methods in four seasonal scenes

為了驗(yàn)證本文方法的泛化性能，獲取可再生能源發(fā)電出力占比為30%左右、20%左右、10%左右的3個(gè)不同地區(qū)的負(fù)荷作為對(duì)比試驗(yàn)的輸入樣本，并以MAPE作為評(píng)價(jià)指標(biāo)，如圖7所示。由圖7可知，當(dāng)可再生能源出力占比提高時(shí)，各方法的預(yù)測(cè)誤差均會(huì)變大，BP和SVM變化較為明顯，而DBN和GDBN略有變化。原因是隨著可再生能源出力占比提高，電力系統(tǒng)運(yùn)行更加不穩(wěn)定，非線性負(fù)荷曲線更加復(fù)雜，深層網(wǎng)絡(luò)擬合復(fù)雜非線性曲線的優(yōu)勢(shì)更加明顯。

圖7 不同地區(qū)的負(fù)荷預(yù)測(cè)方法性能對(duì)比Fig.7 Comparison of performance among load forecasting methods in different regions

5 結(jié)語

本文提出的改進(jìn)深度信念網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)算法，通過引入高斯-伯努利受限玻爾茲曼機(jī)，改進(jìn)了現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)對(duì)歷史數(shù)據(jù)利用的問題，提高了學(xué)習(xí)效率。仿真結(jié)果顯示，相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，基于改進(jìn)深度信念網(wǎng)絡(luò)算法的電力負(fù)荷預(yù)測(cè)預(yù)測(cè)準(zhǔn)確性得到有效提升。