張建寰,吉 瑩，陳立東

(廈門(mén)大學(xué)航空航天學(xué)院，福建 廈門(mén) 361000)

0 引言

負(fù)荷預(yù)測(cè)作為電力系統(tǒng)調(diào)度的重要組成部分，其預(yù)測(cè)精度或預(yù)測(cè)誤差對(duì)電網(wǎng)后續(xù)運(yùn)行的狀態(tài)評(píng)估、安全性、經(jīng)濟(jì)性等具有重要意義[1-3]。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，目前負(fù)荷預(yù)測(cè)多采用前饋神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等機(jī)器學(xué)習(xí)技術(shù)。但由于其只是停留在淺層的學(xué)習(xí)，難以提取負(fù)荷序列的深層特征，預(yù)測(cè)精度有待進(jìn)一步提升。

深度學(xué)習(xí)負(fù)荷預(yù)測(cè)領(lǐng)域表現(xiàn)出的自適應(yīng)學(xué)習(xí)、感知能力，可以有效解決淺層預(yù)測(cè)模型對(duì)非線性負(fù)荷數(shù)據(jù)和多因素影響的認(rèn)知能力不足，以及人為干擾等問(wèn)題[4-5]。因此，為提高負(fù)荷預(yù)測(cè)的精度，本文將深度學(xué)習(xí)中的幾個(gè)典型模型應(yīng)用到負(fù)荷預(yù)測(cè)中，進(jìn)行短期電力負(fù)荷預(yù)測(cè)，并采用常用的模型評(píng)價(jià)指標(biāo)對(duì)幾種模型的負(fù)荷預(yù)測(cè)進(jìn)行評(píng)估和對(duì)比。

1 電力負(fù)荷預(yù)測(cè)及深度學(xué)習(xí)簡(jiǎn)介

1.1 電力負(fù)荷預(yù)測(cè)現(xiàn)狀

電力系統(tǒng)的負(fù)荷預(yù)測(cè)是根據(jù)電力系統(tǒng)的運(yùn)行特性及其他諸多因素，在滿足一定精度要求下預(yù)測(cè)電力系統(tǒng)未來(lái)某些特定時(shí)刻的負(fù)荷數(shù)據(jù)。由于電能難以大量存儲(chǔ)且用戶端電力需求時(shí)刻變化，這就要求系統(tǒng)發(fā)電量要和負(fù)荷變化時(shí)刻保持動(dòng)態(tài)平衡。由于負(fù)荷預(yù)測(cè)是根據(jù)過(guò)去的數(shù)值來(lái)推測(cè)未來(lái)的數(shù)值，因此負(fù)荷預(yù)測(cè)的研究對(duì)象是一個(gè)不確定、復(fù)雜的隨機(jī)事件，具有不準(zhǔn)確性、條件性、時(shí)間性和多方案性等特點(diǎn)。

電力負(fù)荷預(yù)測(cè)，根據(jù)其預(yù)測(cè)周期，可以分為長(zhǎng)期、中期、短期以及超短期負(fù)荷預(yù)測(cè)。其中，短期負(fù)荷預(yù)測(cè)研究較多，其預(yù)測(cè)目標(biāo)一般是預(yù)測(cè)某個(gè)地區(qū)未來(lái)一天或者一周的用電量數(shù)據(jù)。相較于其他周期的負(fù)荷預(yù)測(cè)，短期負(fù)荷預(yù)測(cè)更具實(shí)際意義，是制定發(fā)電計(jì)劃和提供調(diào)度的重要參考依據(jù)。短期負(fù)荷預(yù)測(cè)的方法有很多，傳統(tǒng)的負(fù)荷預(yù)測(cè)主要方法有：基于時(shí)間序列的自回歸滑動(dòng)平均模型(autoregressive moving average model,ARMA)、灰度預(yù)測(cè)和線性回歸分析法等。這些模型的預(yù)測(cè)結(jié)構(gòu)較為簡(jiǎn)單，應(yīng)用廣泛。但是它們對(duì)序列數(shù)據(jù)平穩(wěn)型要求較高。大多數(shù)情況下，這些模型只是利用歷史負(fù)荷數(shù)據(jù)對(duì)未來(lái)負(fù)荷進(jìn)行預(yù)測(cè)，考慮因素單一，在某些情況下預(yù)測(cè)的精度會(huì)受到很大的影響。

1.2 深度學(xué)習(xí)簡(jiǎn)介

深度學(xué)習(xí)(也稱為深度結(jié)構(gòu)學(xué)習(xí)或逐層學(xué)習(xí))不是特定于任務(wù)的算法，而是作為以數(shù)據(jù)學(xué)習(xí)規(guī)律為代表的、更廣泛的機(jī)器學(xué)習(xí)方法系列的一部分。它的學(xué)習(xí)方式分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。作為機(jī)器學(xué)習(xí)中一個(gè)新的研究領(lǐng)域，它的原理是通過(guò)建立神經(jīng)網(wǎng)絡(luò)模擬人腦來(lái)分析學(xué)習(xí)，并試圖模仿人腦的機(jī)制去解釋事物原理。深度學(xué)習(xí)架構(gòu)，比如深度神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，目前已被廣泛應(yīng)用到計(jì)算機(jī)視覺(jué)、圖像處理、自然語(yǔ)言處理、語(yǔ)音識(shí)別、音頻識(shí)別、社交網(wǎng)絡(luò)過(guò)濾、機(jī)器翻譯、生物信息學(xué)、藥物設(shè)計(jì)和棋盤(pán)游戲程序等領(lǐng)域。機(jī)器學(xué)習(xí)的成果可與人類專家媲美，甚至在某些情況下要優(yōu)于人類專家。

2 三種深度學(xué)習(xí)模型原理

2.1 LSTM神經(jīng)網(wǎng)絡(luò)原理

長(zhǎng)短時(shí)記憶(long-short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)類型，可以學(xué)習(xí)長(zhǎng)期依賴信息。其由Hochreiter &Schmidhuber于1997年提出，近期取得了改良和推廣。典型的RNN結(jié)構(gòu)如圖1所示。RNN神經(jīng)網(wǎng)絡(luò)內(nèi)部節(jié)點(diǎn)定向鏈接成環(huán)。相比于前饋神經(jīng)網(wǎng)絡(luò)，它的本質(zhì)特征是在內(nèi)部的處理單元中既有反饋連接，又有前饋連接。因此，它可以利用結(jié)構(gòu)的記憶功能來(lái)處理任意時(shí)間序列，更適用于不分段的手寫(xiě)識(shí)別或者語(yǔ)音識(shí)別等[6-7]。

圖1 RNN結(jié)構(gòu)圖Fig.1 RNN structure

圖1中：X為RNN神經(jīng)網(wǎng)絡(luò)的輸入；h為隱含層；損失L用來(lái)衡量每個(gè)O與相應(yīng)的訓(xùn)練目標(biāo)y的距離；權(quán)重矩陣U為輸入到隱藏層的權(quán)重；權(quán)重矩陣W為隱藏層到隱藏層的連接權(quán)重；權(quán)重矩陣V為隱藏層到輸出層的權(quán)重矩陣。

RNN神經(jīng)網(wǎng)絡(luò)的局限性在于，隨著時(shí)間間隔的不斷增大，它會(huì)出現(xiàn)梯度消失或梯度爆炸的問(wèn)題，并且其結(jié)構(gòu)很容易依賴于激活函數(shù)和網(wǎng)絡(luò)參數(shù)?；谏鲜鰡?wèn)題，出現(xiàn)了RNN的變體LSTM神經(jīng)網(wǎng)絡(luò)[3]。LSTM典型結(jié)構(gòu)如圖2所示。

圖2 LSTM典型結(jié)構(gòu)圖Fig.2 Typical LSTM structure

圖2中，每條線表示一個(gè)完整的向量，即從一個(gè)節(jié)點(diǎn)的輸出到其他節(jié)點(diǎn)的輸入。

在標(biāo)準(zhǔn)的RNN結(jié)構(gòu)中，其重復(fù)的神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问街话粋€(gè)非常簡(jiǎn)單的結(jié)構(gòu)，如tanh層(如圖1所示)。LSTM擁有一個(gè)不同的內(nèi)部結(jié)構(gòu)。它不是只有單一的神經(jīng)網(wǎng)絡(luò)層，而是有四個(gè)，并且以特殊的方式進(jìn)行交互。根據(jù)圖2所示，可以用以下幾個(gè)公式解釋LSTM循環(huán)模型單個(gè)循環(huán)體的結(jié)構(gòu)。

輸入門(mén)：

it=σ(Wi[ht-1,xt]+b)

(1)

遺忘門(mén)：

ft=σ(Wf[ht-1,xt]+bf)

(2)

候選時(shí)刻記憶單元：

(3)

當(dāng)前時(shí)刻記憶單元：

(4)

輸出門(mén)：

ot=σ(W0[ht-1,xt]+b0)

(5)

輸出：

ht=ottanh(Ct)

(6)

LSTM和RNN都是利用隨時(shí)間反向傳播(back propagation through time,BPTT)、隨機(jī)梯度或者其他算法，優(yōu)化去擬合模型的最佳參數(shù)。由于LSTM更新的狀態(tài)值Ct的表達(dá)式是相加的形式，因此不容易出現(xiàn)狀態(tài)值逐漸接近0的情況，即梯度消失現(xiàn)象。

2.2 GRU神經(jīng)網(wǎng)絡(luò)原理

并非所有的LSTM網(wǎng)絡(luò)結(jié)構(gòu)都如圖2所示。LSTM神經(jīng)網(wǎng)絡(luò)目前包含了很多的變體，其中較流行的一種是變體門(mén)循環(huán)單元(gated recurrent unit,GRU)神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3所示。它既保持了LSTM的效果，又使得結(jié)構(gòu)更為簡(jiǎn)單。LSTM實(shí)現(xiàn)了三個(gè)門(mén)(遺忘門(mén)、輸入門(mén)和輸出門(mén))的計(jì)算，而GRU實(shí)現(xiàn)了更新門(mén)和重置門(mén)的計(jì)算，即圖3中的Zt和γt。

圖3 GRU結(jié)構(gòu)圖Fig.3 GRU structure

GRU的前向傳播方式為：

r1=σ(Wr[ht-1,xt])

(7)

zt=σ(Wz[ht-1,xt])

(8)

(9)

(10)

yt=σ(W0ht)

(11)

2.3 SAE編碼器原理

自編碼器(autoencoder，AE)是構(gòu)建棧式自編碼器(stacked auto-encoder,SAE)模型的基本單元，通過(guò)編碼和解碼兩個(gè)功能去逼近一個(gè)使得輸出接近于輸入的恒等函數(shù)。自編碼器結(jié)構(gòu)如圖4所示。其包含可視層、隱藏層和重構(gòu)可視層，是一個(gè)類似于三層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)[8]。

圖4 自編碼器結(jié)構(gòu)圖Fig.4 AE structure

在編碼階段，將Xi作為特征向量輸入到隱藏層中，通過(guò)式(12)完成特征提取，得出編碼結(jié)果h；然后使用式(13)隱含層輸出結(jié)果進(jìn)行解碼重構(gòu)，輸出解碼結(jié)果y(xi)。

h=f(w1xi+b1)

(12)

y(xi)=g(w2h+b2)

(13)

式(12)、式(13)中，w1和w2分別表示可視層與隱藏層、隱藏層與重構(gòu)可視層的連接權(quán)值矩陣，b1和b2分別表示可視層與隱藏層、隱藏層與重構(gòu)可視層的偏置值矩陣。f()和g()是對(duì)應(yīng)節(jié)點(diǎn)的變換函數(shù)，一般采用sigmoid函數(shù)。單個(gè)自編碼器通過(guò)反向傳播算法訓(xùn)練網(wǎng)絡(luò)，以最小化損失函數(shù)L來(lái)求解滿足逼近條件y(xi)≈xi的參數(shù){w,b}的值。自編碼器損失函數(shù)C可表示為：

(14)

從圖4可以發(fā)現(xiàn)，每個(gè)單元輸入層與輸出層的神經(jīng)元數(shù)量相等。在實(shí)際使用中，SAE是由多個(gè)AE自編碼器疊加起來(lái)的，并且逐個(gè)訓(xùn)練。只不過(guò)從第二個(gè)自編碼器開(kāi)始，其輸入向量就變成了前一個(gè)編碼器的隱藏層。

SAE模型結(jié)構(gòu)如圖5所示。其中，虛線框的結(jié)構(gòu)在SAE堆疊模型結(jié)構(gòu)中不出現(xiàn)。

圖5 SAE模型結(jié)構(gòu)圖Fig.5 SAE model structure

3 負(fù)荷預(yù)測(cè)模型建立

3.1 數(shù)據(jù)預(yù)處理

目前，電網(wǎng)系統(tǒng)系統(tǒng)收集了大量的電量信息，但是仍不可避免地存在數(shù)據(jù)缺失或者數(shù)據(jù)異常的情況[5]。如果這些數(shù)據(jù)不加以處理直接輸入神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，必然會(huì)導(dǎo)致很大的誤差。因此，需要對(duì)缺失的數(shù)據(jù)進(jìn)行填補(bǔ)，并對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別和修正。這就是數(shù)據(jù)預(yù)處理所要做的工作[9-10]。

(1)異常數(shù)據(jù)的識(shí)別和修正處理。

正常情況下，電力負(fù)荷數(shù)據(jù)都是連續(xù)平滑的，相鄰時(shí)刻點(diǎn)的負(fù)荷數(shù)據(jù)值不會(huì)相差太大。如果差距明顯很大，那就可能是異常數(shù)據(jù)。本文中對(duì)異常數(shù)據(jù)采取水平處理方法修正，具體修正方法如下。

如果：

max[|Y(d,t)-Y(d,t-1)|,|(Y(d,t)-

Y(d,t+1)|]>ε(t)

(15)

那么：

(16)

式中：ε為閾值；t為采樣的時(shí)間點(diǎn)。

本文中的數(shù)據(jù)是每隔半小時(shí)的數(shù)據(jù)，因此t的取值范圍為1～48，Y(d,t+1)表示第d天(t+1)時(shí)刻的電力負(fù)荷值。

(2)缺失數(shù)據(jù)的補(bǔ)充。

考慮到負(fù)荷數(shù)據(jù)的周期性，本文對(duì)負(fù)荷數(shù)據(jù)中意外丟失的數(shù)據(jù)作拉格朗日插值法處理。

(3)數(shù)據(jù)樣本歸一化。

歸一化操作的公式為：

(17)

式中:P為預(yù)處理后的輸入樣本矩陣；Pd為歸一化處理后的數(shù)據(jù)矩陣；Pmax為歷時(shí)輸入數(shù)據(jù)中的最大值；Pmin為歷時(shí)輸入數(shù)據(jù)中的最小值。

3.2 建立基于負(fù)荷預(yù)測(cè)的深度學(xué)習(xí)模型

本次試驗(yàn)中，采用的數(shù)據(jù)樣本為某地區(qū)2016年整年的負(fù)荷數(shù)據(jù)，采樣周期為每半小時(shí)一次。將預(yù)處理后的數(shù)據(jù)分別輸入構(gòu)建的LSTM、GRU和SAE模型中。

LSTM和GRU按照正常的RNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由于電腦硬件的限制，在模型的訓(xùn)練中，LSTM 和GRU模型都只設(shè)計(jì)了兩個(gè)隱藏層，SAE模型中構(gòu)建了三個(gè)單獨(dú)的自動(dòng)編碼器。

自編碼器訓(xùn)練的原理如前文所述，就是通過(guò)encode層對(duì)輸入進(jìn)行編碼，即提取特征；然后，用encode層參數(shù)的轉(zhuǎn)置成特征矩陣再加偏置值矩陣，以此重構(gòu)輸入；最后，利用最小化重構(gòu)的輸入和實(shí)際輸入值的損失函數(shù)訓(xùn)練模型參數(shù)。SAE的訓(xùn)練過(guò)程是多個(gè)AE分別訓(xùn)練，第一個(gè)AE訓(xùn)練完以后，其輸出作為第二個(gè)AE的輸入，以此類推。訓(xùn)練完成后，將所有AE的隱藏層連接起來(lái)，就組成了SAE網(wǎng)絡(luò)模型。按照之前各自AE訓(xùn)練好的權(quán)值作為初始化權(quán)值，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)，優(yōu)化全局網(wǎng)絡(luò)參數(shù)。

3.3 預(yù)測(cè)結(jié)果分析

本文采用了平均絕對(duì)誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)、相對(duì)百分誤差絕對(duì)值的平均值(mean absolute percentage error,MAPE)、R平方(R2)和可釋方差得分(explained_variance_score)這五個(gè)指標(biāo),分別對(duì)模型的預(yù)測(cè)結(jié)果進(jìn)行評(píng)估和對(duì)比。

(18)

(19)

(20)

explained_variance_score[y(i),h(x(i)]=

(21)

式中:h(x(i))為網(wǎng)絡(luò)輸出的預(yù)測(cè)值；y(i)為實(shí)際負(fù)荷值。

本文以三種算法模型作為對(duì)比算法，分別將2016年一整年的負(fù)荷數(shù)據(jù)和2015～2016年兩年負(fù)荷數(shù)據(jù)輸入模型，對(duì)比各個(gè)模型的預(yù)測(cè)結(jié)果。編碼實(shí)現(xiàn)基于Python3.6平臺(tái)完成。表1展示了三個(gè)算法模型以2016全年數(shù)據(jù)訓(xùn)練模型的負(fù)荷預(yù)測(cè)指標(biāo)評(píng)估結(jié)果，表2展示了三個(gè)算法模型以2015～2016數(shù)據(jù)訓(xùn)練模型的負(fù)荷預(yù)測(cè)指標(biāo)評(píng)估結(jié)果。

表1 負(fù)荷預(yù)測(cè)指標(biāo)評(píng)估結(jié)果(2016)Tab.1 Evaluation results of load forecasting indicators (2016)

表2 負(fù)荷預(yù)測(cè)指標(biāo)評(píng)估結(jié)果(2015～2016)Tab.2 Evaluation results of load forecasting indicators (2015～2016)

由表1和表2可知，無(wú)論是對(duì)于負(fù)荷的長(zhǎng)期預(yù)測(cè)還是短期預(yù)測(cè)，LSTM預(yù)測(cè)算法各個(gè)指標(biāo)評(píng)價(jià)結(jié)果均優(yōu)于其他預(yù)測(cè)模型。當(dāng)以2016年的負(fù)荷數(shù)據(jù)作為訓(xùn)練樣本時(shí)，LSTM負(fù)荷預(yù)測(cè)的預(yù)測(cè)誤差達(dá)到5.34%；當(dāng)以2015至2016兩年的負(fù)荷數(shù)據(jù)作為訓(xùn)練樣本時(shí)，LSTM負(fù)荷預(yù)測(cè)的誤差可以降低至4.98%。

但由結(jié)果可知，當(dāng)數(shù)據(jù)數(shù)據(jù)類型只有歷史負(fù)荷數(shù)據(jù)時(shí)，三種模型的負(fù)荷預(yù)測(cè)效果都不是很理想，誤差皆超過(guò)3%。其主要原因是影響負(fù)荷的因素有很多，例如節(jié)假日、氣候狀況、溫度等。因此，進(jìn)行負(fù)荷預(yù)測(cè)時(shí)，如果只考慮歷史負(fù)荷數(shù)據(jù)，誤差會(huì)相對(duì)較大。但是通過(guò)以上三個(gè)模型的預(yù)測(cè)結(jié)果評(píng)估對(duì)比可知，LSTM 預(yù)測(cè)模型更適用于負(fù)荷預(yù)測(cè)，并且輸入的歷史負(fù)荷訓(xùn)練數(shù)據(jù)時(shí)間越長(zhǎng)，越有利于提高模型的預(yù)測(cè)準(zhǔn)確度。在下一步工作中，考慮以LSTM模型作為基礎(chǔ)進(jìn)行改進(jìn)，并對(duì)輸入數(shù)據(jù)加入更多的特征(例如溫度、氣候、節(jié)假日等)，以提高負(fù)荷的預(yù)測(cè)精度。

4 結(jié)束語(yǔ)

電力系統(tǒng)的海量負(fù)荷數(shù)據(jù)為電網(wǎng)負(fù)荷的特性分析和高準(zhǔn)確度、復(fù)雜的預(yù)測(cè)模型的奠定了基礎(chǔ)。傳統(tǒng)的負(fù)荷預(yù)測(cè)模型的結(jié)構(gòu)較為簡(jiǎn)單，且考慮因素單一。而前饋神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等機(jī)器學(xué)習(xí)技術(shù)只是停留在淺層的學(xué)習(xí)，難以提取負(fù)荷序列的深層特征，模型的泛化性受到了限制，預(yù)測(cè)精度有待進(jìn)一步提升。因此，本文將深度學(xué)習(xí)算法模型應(yīng)用到負(fù)荷預(yù)測(cè)領(lǐng)域，主要對(duì)比了LSTM、GRU和SAE三種算法的預(yù)測(cè)效果，并通過(guò)對(duì)比預(yù)測(cè)精度來(lái)挖掘較為適合負(fù)荷預(yù)測(cè)的基礎(chǔ)模型。在今后的研究中，會(huì)研究更多影響負(fù)荷預(yù)測(cè)的因素，并將其輸入到神經(jīng)網(wǎng)絡(luò)模型中，以優(yōu)化負(fù)荷預(yù)測(cè)模型的結(jié)構(gòu)、提高預(yù)測(cè)精度；同時(shí)，考慮加入更多的頂層預(yù)訓(xùn)練器，以實(shí)現(xiàn)更精準(zhǔn)的負(fù)荷預(yù)測(cè)。