蔡鑫祥，撖奧洋，周生奇，魏振，張智晟

(1.青島大學 電氣工程學院，山東 青島 266071；2. 國網(wǎng)山東省電力公司青島供電公司，山東 青島 266002)

短期負荷預(yù)測主要是指對未來一個小時至幾天的負荷預(yù)測，對于經(jīng)濟調(diào)度、最優(yōu)潮流以及調(diào)度部門機組的最優(yōu)組合有著重要的作用，而對于當前和未來的電力市場更是有其不可替代性。精確度高的短期負荷預(yù)測在提升經(jīng)濟效益和提高供電質(zhì)量等方面有著非常巨大的影響[1]。

影響短期負荷預(yù)測的因素[2]主要有氣象條件、日期類型等。隨著近年來空調(diào)等調(diào)溫設(shè)備應(yīng)用越來越廣泛，受溫度影響較大的調(diào)溫設(shè)備用電占社會總用電的比例增大，考慮氣象條件能有效提高短期電力負荷的預(yù)測精度。氣象條件包括：每日平均溫度、每日最高溫度、每日最低溫度、降水概率、風速；而對于日期類型，除了節(jié)假日、工作日與周末的區(qū)分，還要考慮其周期性變化規(guī)律。

為了提高預(yù)測精度，尋找更優(yōu)秀的模型與算法是必要的[3]。過去人們在短期負荷預(yù)測方面做了很多研究，有些比較成功，例如目前較為廣泛使用的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)[4]，但是Bengio等人發(fā)現(xiàn)在實際應(yīng)用中訓練RNN會出現(xiàn)梯度問題，即梯度消失和梯度爆炸[5-6]。長短期記憶(long short-term memory，LSTM)模型就是為解決RNN遇到的梯度問題而提出的[7]。LSTM模型能夠有效解決RNN中的梯度問題，但同時也存在訓練時間過長、參數(shù)過多、模型訓練較難、輸入數(shù)據(jù)較少時無法得到足夠優(yōu)秀訓練模型的問題。LSTM模型提出之后學者們又提出了很多變體。有學者提出了在輸入端加入上一時刻記憶細胞狀態(tài)值的特殊LSTM模型，即加入窺視孔的LSTM模型。在此基礎(chǔ)上，本文采用最小窺視孔長短期記憶(min peephole long short-term memory，MP-LSTM)模型，這種模型在保留經(jīng)典LSTM模型優(yōu)點的同時，又具有魯棒性；其另一個特點是有著最少的門控單元(唯一門)，將本來需要分開決定的操作，如遺忘、輸入、輸出進行統(tǒng)一決定，從而優(yōu)化了結(jié)構(gòu)，減少了參數(shù)，且這種模型與經(jīng)典LSTM模型相比，在輸入較少時依然能得到足夠優(yōu)秀的訓練模型[8-9]。在優(yōu)化算法方面，早期研究大多采用模型簡單、預(yù)測速度快的反向傳播(back propagation，BP)算法，但是這種學習算法存在著易于陷入局部最優(yōu)、無法充分考慮輸入數(shù)據(jù)的時間相關(guān)性等問題。本文采用改進粒子群優(yōu)化(particle swarm optimization，PSO)算法作為優(yōu)化算法，其相對于BP算法具有很好的全局尋優(yōu)能力，改善了BP算法易于陷入局部最優(yōu)的狀態(tài)，進而提高了預(yù)測的準確率[10]。

本文首先介紹RNN模型、經(jīng)典LSTM模型與MP-LSTM模型；然后簡要討論PSO算法及其改進方法，并詳細說明改進PSO算法優(yōu)化MP-LSTM模型流程；最后，對各個模型的仿真結(jié)果進行對比分析。

1 模型介紹

1.1 RNN模型

RNN與普通前向神經(jīng)網(wǎng)絡(luò)不同，因為RNN擁有1個可以循環(huán)信息的神經(jīng)元，使得神經(jīng)元細胞上一個時間步的細胞狀態(tài)可以影響當前時間步的輸出，從而有了記憶的可能。經(jīng)典RNN模型如圖1所示，其中：下標t表示當前時刻，t-1表示上一時刻，下同；St為隱藏層狀態(tài)值；xt為輸入；ot為輸出；W為連接上一時刻隱藏層與當前隱藏層之間的權(quán)重矩陣；U為連接輸入層與隱藏層之間的權(quán)重矩陣；V為連接隱藏層和輸出層之間的權(quán)重矩陣。

圖1 經(jīng)典RNN模型Fig.1 Classic RNN model

由圖1可以看出RNN可以對上一時刻隱含層狀態(tài)值進行記憶，并令其影響當前時刻隱含層狀態(tài)值。

RNN網(wǎng)絡(luò)前向計算公式為：

St=tanh(WSt-1+Uxt+b)，

(1)

ot=σ(VSt).

(2)

式中：b為偏置矩陣；σ為sigmoid函數(shù)。激活函數(shù)公式如下：

(3)

(4)

其中對于sigmoid函數(shù)(σ)會出現(xiàn)輸入較大得不到有效輸入的情況，本文通過加入系數(shù)2對其進行了修正。

RNN的本質(zhì)就是通過不停學習得到最優(yōu)權(quán)重矩陣W、U、V和偏移系數(shù)b，最終用所得參數(shù)進行預(yù)測。

1.2 LSTM模型

LSTM模型通過特殊的門控單元(遺忘門、輸入門、輸出門)代替RNN的記憶細胞結(jié)構(gòu)，利用遺忘門判斷上一時刻記憶細胞信息是否對當前時刻記憶細胞有影響，并對上一時刻記憶細胞保留的信息進行刪減；利用輸入門判斷更新信號是否傳遞到當前時刻記憶細胞，并通過激活函數(shù)對記憶細胞狀態(tài)值進行更新；最后通過輸出門輸出記憶細胞的輸出狀態(tài)值。LSTM模型不僅可以有效解決RNN模型無法解決的梯度消失和梯度爆炸問題[11-13]，還能提高模型預(yù)測精度。經(jīng)典LSTM模型如圖2所示，其中ft、it、ot、gt、Ct、ht分別表示遺忘門、輸入門、輸出門、輸入細胞單元狀態(tài)、細胞單元狀態(tài)、輸出值；“*”用于矩陣時代表矩陣對應(yīng)位置元素相乘。

圖2 經(jīng)典LSTM模型Fig.2 Classic LSTM model

LSTM模型前向計算公式如下：

it=σ(Wi[ht-1,xt]+bi)，

(5)

ft=σ(Wf[ht-1,xt]+bf)，

(6)

ot=σ(Wo[ht-1,xt]+bo)，

(7)

gt=tanh(Wg[ht-1,xt]+bg)，

(8)

Ct=ft*Ct-1+it*gt，

(9)

ht=ot*tanh(Ct).

(10)

式(5)—(10)中下標“i、f、o、g”分別對應(yīng)輸入門、遺忘門、輸出門和輸入細胞單元狀態(tài)。

由式(5)—(8)可知：輸入門it主要作用是通過sigmoid函數(shù)判斷當前時刻更新的輸入數(shù)據(jù)有哪些傳送至記憶細胞；遺忘門ft通過sigmoid函數(shù)判斷之前記憶細胞中哪些信息需要刪除；輸入細胞狀態(tài)gt通過tanh函數(shù)構(gòu)建一個當前時刻記憶細胞的候選值，然后與輸入門、遺忘門、上一時刻記憶細胞狀態(tài)值通過式(9)更新當前時刻記憶細胞Ct的值；輸出門ot控制記憶細胞的輸出狀態(tài)值；最終輸出量ht由輸出門和當前時刻記憶細胞狀態(tài)通過式(10)決定。

1.3 MP-LSTM模型

對于LSTM模型，學界提出了很多變體，其中比較流行的變體是由Gers和Schmidhuber于2000年提出的加入窺視孔(peephole)的LSTM模型[14]，這一結(jié)構(gòu)讓記憶細胞狀態(tài)值直接參與到遺忘門、輸入門、輸出門的計算過程中。加入窺視孔的LSTM模型的遺忘門、輸入門、輸出門公式分別為：

it=σ(Wi[ht-1,Ct-1,xt]+bi)，

(11)

ft=σ(Wf[ht-1,Ct-1,xt]+bf)，

(12)

ot=σ(Wo[ht-1,Ct-1,xt]+bo).

(13)

本文采用的MP-LSTM模型是經(jīng)典LSTM模型的一種變體。MP-LSTM模型只有2個網(wǎng)絡(luò)層(1個sigmoid層、1個tanh層)，以及1個門控單元即唯一門。MP-LSTM模型是在窺視孔連接的LSTM模型上變化而來的，因此在輸入中加入了記憶細胞狀態(tài)值。MP-LSTM模型將原來分開決定的對上一時刻信息的遺忘、對輸入信息的更新等，變?yōu)橥瑫r決定，并用遺忘門來代替輸入門和輸出門[15]。該模型具體輸入門、輸出門替換公式分別為：

it=1-ft，

(14)

ot=ft.

(15)

以上公式對任意t時刻均成立。

圖3為MP-LSTM結(jié)構(gòu)圖，其中ut為唯一門。

圖3 MP-LSTM模型Fig.3 MP-LSTM model

MP-LSTM前向計算公式如下：

ut=σ(Wu[ht-1,Ct-1,xt]+bu)，

(16)

gt=tanh(Wg[ht-1,xt]+bg)，

(17)

Ct=ut*Ct-1+(1-ut)*gt，

(18)

ht=ut*tanh(Ct).

(19)

式(16)—(19)中Wu、bu為唯一門的權(quán)重矩陣、偏置矩陣。

與經(jīng)典LSTM模型不同，MP-LSTM的唯一門ut輸入端增加了上一時刻的記憶細胞狀態(tài)值Ct-1。首先利用sigmoid函數(shù)更新唯一門狀態(tài)值ut，通過式(18)得到t時刻記憶細胞狀態(tài)值Ct；最終將得到的Ct與唯一門狀態(tài)值ut通過式(19)決定輸出值。

2 PSO算法優(yōu)化MP-LSTM模型流程

2.1 PSO算法

PSO算法是一種在鳥群覓食行為中學習得到的具有較好全局尋優(yōu)能力的算法[16-21]。

PSO算法的基本迭代公式如下：

vi,d=wvi,d+c1r1(pi,d-yi,d)+

c2r2(pg,d-yi,d)，

(20)

yi,d+1=yi,d+αvi,d.

(21)

式中：yi,d為第d次迭代的第i個粒子的位置；vi,d為第d次迭代的第i個粒子的速度；pi,d為第d次迭代的第i個粒子經(jīng)過的最優(yōu)位置；pg,d為第d次迭代所有粒子中經(jīng)歷過的最優(yōu)位置；w為慣性因子，是非負數(shù)；c1、c2為加速常數(shù)，是非負常數(shù)；r1、r2為[0,1]區(qū)間之內(nèi)變化的均勻隨機數(shù)；α為約束因子，目的是控制速度的權(quán)重。

2.2 改進PSO算法

PSO算法就是利用搜索空間內(nèi)隨機分布的粒子來搜索最優(yōu)的算法。將第1次隨機分布的粒子中效果最好的粒子保持位置不變，而其他粒子按照一定的速度向其移動，這就是第1次搜索。之后的每次迭代，都是保持最優(yōu)的粒子位置不變，而其他粒子向其移動，最終就會形成類似自然界中鳥群聚集在有食物分布地區(qū)的現(xiàn)象，也就是說最終所有粒子位置接近；而最優(yōu)的選擇可以由設(shè)定最大迭代次數(shù)和最小誤差大小來實現(xiàn)，當?shù)螖?shù)達到最大值或者最小誤差小于設(shè)定值，停止優(yōu)化。但是如果所有粒子接近最優(yōu)值和所有粒子一開始分布各處時粒子移動速度一樣的話，會使得算法預(yù)測精度降低，且容易跳過最優(yōu)值點。本文采用慣性權(quán)重法對PSO算法進行改進，慣性因子

(22)

式中：dmax為最大迭代次數(shù)；wmax、wmin分別為慣性因子的最大、最小設(shè)定值。這種慣性權(quán)重法的優(yōu)點在于：在迭代初期粒子位置分布較散，這時慣性因子較大，全局搜索能力較強，利于全局搜索；而到了迭代后期，粒子位置相對接近，這時慣性因子減小，局部搜索能力得到加強，更利于局部搜索。慣性權(quán)重法能在迭代次數(shù)變化時改變慣性因子，使得PSO算法在全局與局部搜索之間找到平衡，從而提升搜索性能，提高預(yù)測精度。

2.3 改進PSO算法優(yōu)化MP-LSTM模型流程

由上述對神經(jīng)網(wǎng)絡(luò)的描述可知，MP-LSTM模型需要訓練的權(quán)值包括更新門權(quán)值Wu、輸入細胞權(quán)值Wg、偏移系數(shù)bu和bg。本文采用改進PSO算法進行優(yōu)化，將MP-LSTM模型各權(quán)值看作空間中搜索粒子的屬性，以最終輸出預(yù)測值與實際值的誤差作為目標函數(shù)，通過迭代得到目標函數(shù)最小值時得到最優(yōu)權(quán)值。

改進PSO算法優(yōu)化MP-LSTM模型流程為：首先對歷史數(shù)據(jù)進行歸一化處理，并對各粒子的速度、位置進行初始化處理；接著利用PSO算法計算各個粒子的初始適應(yīng)度，通過迭代更新粒子的個體最優(yōu)以及全局最優(yōu)位置；當誤差小于設(shè)定值0.01或者到達最大迭代次數(shù)之后結(jié)束訓練，并將此時所得到的粒子位置賦予MP-LSTM模型神經(jīng)網(wǎng)絡(luò)的更新門權(quán)值Wu、輸入細胞權(quán)值Wg、偏移系數(shù)bu和bg；然后將訓練得到的權(quán)值作為預(yù)測模型的權(quán)值，并利用MP-LSTM模型進行預(yù)測；最后，將預(yù)測出的所有數(shù)據(jù)進行反歸一化處理，即可得到最終預(yù)測結(jié)果。

3 算例仿真

3.1 數(shù)據(jù)處理

負荷數(shù)據(jù)取自某地區(qū)電網(wǎng)，每日采集96個負荷數(shù)據(jù)，采樣間隔為15 min。為提高預(yù)測精度，需綜合考慮負荷的多種影響因素。本文考慮的天氣數(shù)據(jù)包括：日最低溫度、日最高溫度、日平均溫度、日氣象因素、日降水概率、日期類型(工作日為1，非工作日為0)。

在將電負荷數(shù)據(jù)與天氣數(shù)據(jù)一同作為MP-LSTM模型輸入之前，因各種數(shù)據(jù)單位不統(tǒng)一，需要先對數(shù)據(jù)進行歸一化處理。歸一化公式為

(23)

式中：z為輸入的真實負荷數(shù)據(jù)；zmax和zmin分別代表同類型輸入數(shù)據(jù)(負荷數(shù)據(jù)、天氣數(shù)據(jù)共7類)的最大值、最小值；Z為歸一化之后的負荷數(shù)據(jù)。

將預(yù)測日t時刻前3天對應(yīng)的t-1時刻、t時刻、t+1時刻的9維負荷數(shù)據(jù)，以及預(yù)測日當天的天氣數(shù)據(jù)共15維數(shù)據(jù)作為MP-LSTM模型的輸入，預(yù)測日t時刻1維數(shù)據(jù)作為模型的輸出。在對預(yù)測日前13天的負荷數(shù)據(jù)構(gòu)成的訓練樣本進行訓練后，對預(yù)測日進行預(yù)測。

3.2 仿真結(jié)果分析

為了驗證MP-LSTM模型的預(yù)測性能，將本文所提出的模型與其他模型進行對比研究。建立4種模型：模型1為使用改進PSO算法優(yōu)化的RNN模型；模型2為使用改進PSO算法優(yōu)化的經(jīng)典LSTM模型；模型3為使用改進PSO算法優(yōu)化的MP-LSTM模型；模型4為使用常規(guī)PSO算法優(yōu)化的MP-LSTM模型。4種模型全部采用1層LSTM結(jié)構(gòu)，每層10個神經(jīng)元。激活函數(shù)一般有sigmoid、tanh、ReLU等，但是實驗表明在神經(jīng)網(wǎng)絡(luò)層數(shù)較少時tanh函數(shù)的效果明顯更好，故本文采用tanh作為激活函數(shù)。PSO算法優(yōu)化參數(shù)設(shè)置為：粒子數(shù)50，最大迭代次數(shù)1 000，學習因子c1、c2取1.496 2，粒子移動速度最大值vmax、最小值vmin分別取0.4、-0.4，慣性權(quán)重的最大值wmax、最小值wmin分別設(shè)為0.95、0.4。為測試新模型的預(yù)測性能，本文采用了平均誤差、最大誤差、均方根誤差來表征預(yù)測誤差。

工作日的預(yù)測結(jié)果如圖4所示，預(yù)測誤差見表1。

圖4 工作日電力負荷預(yù)測結(jié)果Fig.4 Power load forecast results in working days

表1 工作日電力負荷預(yù)測誤差Tab.1 Power load forecast errors in working days

由圖4和表1可以看出，在工作日：模型3的平均誤差、最大誤差相對于模型1分別降低了1.80%、2.48%，相對于模型2分別降低了0.53%、0.97%，相對于模型4分別降低了0.47%、2.41%；模型3的均方根誤差相對于模型1、模型2、模型4分別降低了46.67%、16.37%、21.36%；模型3的預(yù)測值在負荷的波峰和波谷處都能較好地擬合實際負荷值，得到較為理想的預(yù)測結(jié)果。

非工作日的預(yù)測結(jié)果如圖5所示，預(yù)測誤差見表2。

由圖5和表2可以看出，在非工作日：模型3的平均誤差、最大誤差相對于模型1分別降低了2.52%、5.50%，相對于模型2分別降低了0.57%、1.47%，相對于模型4分別降低了0.88%、1.28%；模型3的均方根誤差相對于模型1、模型2、模型4分別降低了60.45%、35.02%、28.45%。但由于本文訓練時間為預(yù)測日之前3天的負荷數(shù)據(jù)，而非工作日之前3天一般都為工作日，所以非工作日的模型精度相對工作日有一定的下降，在高峰期也有一定的偏差；但MP-LSTM模型的最大誤差相對于經(jīng)典LSTM模型和RNN模型有較大降低，體現(xiàn)了MP-LSTM模型的魯棒性，同時也證明了在輸入數(shù)據(jù)較少時MP-LSTM模型能夠比經(jīng)典LSTM模型得到更優(yōu)秀的訓練模型。

圖5 非工作日電力負荷預(yù)測結(jié)果Fig.5 Power load forecast results in non-work days

表2 非工作日電力負荷預(yù)測誤差Tab.2 Power load forecast errors in non-working days

表3為MP-LSTM模型與經(jīng)典LSTM模型的訓練時間及相關(guān)參數(shù)個數(shù)的比較。

表3 模型訓練時間及參數(shù)個數(shù)對比Tab.3 Comparisons of model training time and parameter numbers

由表3可以看出，模型3相較于模型2訓練時間減少了33.65%，訓練參數(shù)減少了40%。MP-LSTM模型相對經(jīng)典LSTM模型不僅能小幅提升預(yù)測精度，還能大幅優(yōu)化預(yù)測模型的訓練過程，減少參數(shù)。

4 結(jié)束語

本文針對經(jīng)典LSTM模型存在的訓練參數(shù)多、訓練困難等問題，采取了一種全新的MP-LSTM模型。這種模型不僅保留了經(jīng)典LSTM模型可以避免梯度消失和梯度爆炸的優(yōu)點，極大減少了訓練參數(shù)，同時還擁有較少的門控單元(唯一門)，模型具有魯棒性。仿真實驗結(jié)果表明，MP-LSTM模型在一定程度上相比經(jīng)典LSTM模型能小幅度提升預(yù)測精度，同時能極大減少訓練時間與訓練參數(shù)。