王康，龔文杰，段曉燕，張智晟

(1.青島大學 電氣工程學院，山東 青島 266071 ;2.國網青島供電公司，山東 青島 266002 )

電力系統(tǒng)短期負荷預測是指對未來數小時至數天的負荷進行預估。由于電能具有無法大量存儲的特點，并且電力需求不是固定不變的，要想實現(xiàn)系統(tǒng)的發(fā)電與電力負荷的動態(tài)平衡，就需要對電力系統(tǒng)進行短期負荷預測。高精度的電力系統(tǒng)短期負荷預測對電力系統(tǒng)的正常運行有著重要的作用，是電力系統(tǒng)制訂發(fā)電及調度計劃的重要依據，對實現(xiàn)電力系統(tǒng)的供求平衡、減少能源浪費具有重要的意義，并直接影響電力系統(tǒng)的后續(xù)工作。準確的電力系統(tǒng)短期負荷預測成為提高電力系統(tǒng)工作效率、降低運營成本的重要環(huán)節(jié)[1]。

電力負荷受多種因素的影響，導致負荷預測的難度增大[2]。近年來，以人工神經網絡為代表的機器學習算法由于其預測精度高、計算能力強的優(yōu)點得到了廣泛關注，其中反向傳播(back propagation，BP)神經網絡由于模型簡單、預測速度快等特點而應用較多；但是BP神經網絡容易陷入局部最優(yōu)解，而且無法考慮數據的時間相關性，使得預測精度下降。國內外許多專家對短期負荷預測模型進行了深入研究，提出了多種預測模型，如文獻[3]提出了一種基于脊波遞歸神經網絡的短期負荷預測模型，在一定程度上提高了預測精度，但是由于網絡數據的增多使得訓練速度下降。文獻[4]提出了一種自編碼器與粒子群優(yōu)化(particle swarm optimization，PSO)算法優(yōu)化卷積神經網絡的短期負荷預測模型，用自編碼器對卷積神經網絡的輸入數據進行處理，通過PSO算法對卷積神經網絡進行優(yōu)化，進而提高了預測精度。文獻[5]提出了一種基于特征提取和廣義回歸神經網絡的混合模型，有效提高了預測的準確性，但是預測過程中無法考慮數據的歷史特征。文獻[6]提出了一種基于PSO算法和循環(huán)神經網絡(recurrent neural networks，RNN)的短期負荷預測方法，克服了RNN中權值初始值隨機性較大的缺點，所提模型有較好的收斂特性，但是沒有解決RNN中容易出現(xiàn)的梯度問題。RNN由于在時間序列預測方面有著十分理想的效果，在近年來得到廣泛關注；但是傳統(tǒng)RNN在處理長時間序列問題時容易出現(xiàn)梯度爆炸、梯度消失的問題，使得預測效果下降。針對RNN中的梯度問題，有學者提出了長短期記憶網絡(long short-term memory，LSTM)[7]和門控循環(huán)單元(gated recurrent unit , GRU)網絡預測模型來解決梯度問題，兩者都是通過對RNN中的循環(huán)單元進行改進從而解決梯度問題。LSTM神經網絡主要通過輸入門、輸出門和遺忘門來實現(xiàn)信息的保留與丟棄。GRU神經網絡是對LSTM神經網絡的改進，將LSTM中的3個門減少到2個，只通過更新門和重置門即可實現(xiàn)對信息的處理，從而減少了訓練時間。本文通過PSO算法優(yōu)化收斂速度較快的GRU神經網絡[8]，與傳統(tǒng)GRU神經網絡相比在解決梯度問題的同時，避免了訓練過程中梯度下降算法容易產生的精度下降問題，進一步降低了預測誤差。通過對某地區(qū)電網負荷數據進行算例分析可以驗證，基于PSO算法優(yōu)化GRU神經網絡的電力系統(tǒng)短期負荷預測模型具有較高的準確度與穩(wěn)定性。

1 GRU神經網絡

1.1 循環(huán)神經網絡

RNN允許不同隱含層循環(huán)單元之間進行信息交換，所以在時間序列預測應用方面效果較為理想[9]。在RNN中，前一時刻隱含層的輸出作為下一時刻輸入的一部分，從而可以保留數據的歷史特征，具有較好的記憶功能[10]，適合對時間序列進行預測。RNN結構如圖1所示。

W—輸入層到隱含層的權值；U—隱含層自身的權值；Wy—隱含層到輸出層的權值。

圖1 RNN結構
Fig.1 RNN structure

RNN由輸入層、隱含層和輸出層組成。在RNN中，隱含層自身的權值U主要實現(xiàn)數據的循環(huán)更新，將上一時刻隱含層的狀態(tài)作為記憶狀態(tài)，然后通過記憶狀態(tài)與當前時刻的數據輸入共同達到預測目的，將RNN按照時間維度展開后結構如圖2所示。

圖2 RNN按時間維度展開結構圖Fig.2 Structure diagram of RNN in time dimension

由圖2可以看出：RNN可以對以前時刻隱含層的狀態(tài)加以記憶并應用于當前時刻的隱含層，即各時刻的隱含層之間是相互連接的，從而可以有效提高預測精度；但是RNN在訓練學習過程中容易出現(xiàn)梯度問題，使得RNN模型的預測穩(wěn)定性有所下降。

1.2 GRU神經網絡模型

GRU神經網絡是為解決RNN中的梯度問題而提出的網絡模型，主要用2個由sigmoid函數和乘法操作組合成的GRU來控制信息的選擇[11]，利用sigmoid函數將記憶狀態(tài)以及當前的輸入數據變換到0到1之間，從而實現(xiàn)數據的記憶與丟棄[12]，GRU的結構如圖3所示。

圖3 GRU結構
Fig.3 GRU structure

圖 3中，rt和zt即為GRU網絡模型的重置門和更新門，設計的這2個“門”可以實現(xiàn)對輸入信息以及上一時刻隱含層狀態(tài)信息的保留和更新[13]，與提出時間較早的LSTM網絡模型相比，GRU網絡模型只需要通過一個更新門即可同時實現(xiàn)對數據的遺忘和記憶[14]，在一定程度上節(jié)省了工作內存，提高了訓練速度。

由圖3可以看出，在GRU神經網絡模型中，當前時刻隱含層狀態(tài)為上一時刻隱含層狀態(tài)與當前隱含層激活狀態(tài)的和[15]，即

(1)

重置門rt和更新門zt為當前時刻輸入數據與上一時刻隱含層狀態(tài)的組合，即：

rt=σ(wrxt+urht-1)；

(2)

zt=σ(wzxt+uzht-1).

(3)

式中：σ為sigmoid函數，可以將rt和zt限制在0和1之間[16]；wr、ur、wz、uz為神經網絡權值。

(4)

nz=wxt+u(rt⊙ht-1).

(5)

式中：⊙表示Hadmard積運算；w、u為GRU神經網絡權值。

ht的更新過程主要由更新門zt完成，zt的值越接近于0，說明當前時刻信息保留的程度越大，歷史信息的遺忘程度越大[18]。與LSTM相比，GRU最大的改進就是可以通過zt以及1-zt同時完成對當前時刻以及歷史時刻的信息的處理，從而節(jié)省了運行空間，加快了訓練速度[19]。

由式(1)得出當前時刻的隱含層狀態(tài)ht以后，即可進一步得到GRU網絡模型的輸出[20]，即

y=σ(wyht).

(6)

式中：y為網絡的輸出；wy為隱含層到輸出層的權值。

2 基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型

由上述對GRU神經網絡的描述可知，wr、wz、ur、uz、w、u、wy都是GRU神經網絡模型需要訓練的權值。傳統(tǒng)的GRU神經網絡采用隨機梯度下降算法來訓練權值，但隨機梯度下降算法在梯度下降過程中容易出現(xiàn)預測精度降低的問題。為提高預測精度，本文采用可以實現(xiàn)全局尋優(yōu)的改進粒子群算法對GRU神經網絡進行優(yōu)化，將GRU神經網絡的權值看作空間中搜索粒子的屬性，以輸出誤差作為目標函數，利用迭代取得最優(yōu)解。

PSO算法是通過對大自然中鳥類覓食行為的模擬而得出的一種具有全局尋優(yōu)能力的優(yōu)化算法[21]，它將全局變量中存在的每一個可能的解都看作一個粒子，而每一個粒子都有自己的運動方向和速度，使所有的粒子都朝著當前的最優(yōu)位置進行移動[22]，通過不斷對粒子中的個體最優(yōu)位置xbest和全局最優(yōu)位置pbest進行更新，即可得到目標函數的最優(yōu)解，從而實現(xiàn)全局尋優(yōu)[23-24]。

將GRU神經網絡的權值即wr，wz，ur，uz，w，u，wy歸結為同一個粒子的屬性，經過多個粒子的共同尋優(yōu)不斷對最優(yōu)粒子進行更新，最終可以得到使得誤差取得最小的粒子值，進而將最優(yōu)粒子的值賦給各權值，即可得到所需權值。訓練過程結束后，利用最優(yōu)權值對預測日負荷進行預測，即可得到所需負荷。

基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型流程如圖4所示。

由圖4可以看出：預測過程首先對輸入的歷史負荷數據進行歸一化處理，然后初始化神經網絡權值以及各粒子速度，計算得出各個粒子的初始適應度，并通過改進粒子群算法對粒子的個體最優(yōu)和全局最優(yōu)位置進行迭代更新；取得最優(yōu)解之后，按照所得權值利用GRU神經網絡對負荷進行預測，將所得結果進行反歸一化處理，最終得到預測結果，達到負荷預測的目的。

圖4 PSO算法優(yōu)化GRU神經網絡負荷預測模型流程圖Fig.4 Flow chart of load forecasting model based on PSO algorithm to optimize GRU neural network

粒子群算法的基本迭代式為：

(7)

xi,k+1=xi,k+vi,k.

(8)

式中：vi,k為第k次迭代時第i個粒子的速度；p為慣性權重；c1，c2為學習因子；r1、r2為0到1之間的隨機數；xbest,k,i為第k次迭代時第i個粒子經歷過的最優(yōu)位置；xi,k為第k次迭代時第i個粒子的位置；pbest,i,k為第k次迭代時全部粒子經歷過的最好位置。

為進一步提高預測效果，用慣性權重法對PSO算法進行改進，所引入的慣性權重

(9)

式中：pmax為慣性權重的最大值；pmin為慣性權重的最小值；e為當前迭代次數；emax為最大迭代次數。

慣性權重越大，粒子群算法的全局搜索能力越強；而慣性權重越小，粒子群算法的局部搜索能力越強。采用慣性權重法改進PSO算法使得慣性權重p隨迭代次數的改變而不斷更新，有助于平衡PSO算法的全局搜索能力和局部搜索能力，使得尋優(yōu)性能得以提升，提高了收斂速度與精度。

3 算例仿真

3.1 數據處理

為檢驗本文所提模型的預測效果，應用所提模型對某地區(qū)電網進行負荷預測，負荷數據來源于某地區(qū)電網。為了提高預測精度，需綜合考慮影響負荷的多種因素，主要包括氣溫因素(最高溫度、最低溫度、平均溫度)和日類型因素(工作日、休息日)。

將歷史負荷數據以及外界的氣溫因素和日類型因素同時作為GRU神經網絡的輸入，導致輸入數據的量綱無法統(tǒng)一。為了解決量綱問題，更準確地表示各因素對負荷的影響程度，首先需要對輸入數據進行歸一化處理，即

(10)

式中：X為歸一化之后的輸入數據；x為真實輸入數據；xmax為同類輸入數據最大值；xmin為同類輸入數據最小值。

訓練數據選擇與預測日相關性最大的前3 d數據，主要包括對應預測日預測時刻t前3 d的第t-1時刻、第t時刻、第t+1時刻的共9維負荷數據。氣溫因素主要包括預測日前3 d以及預測日當天的最高溫度、最低溫度和平均溫度共12維數據；日類型因素主要包括預測日前3 d以及預測日當天的日類型共4維數據。日類型分為工作日和休息日2種，工作日的日類型取值為1，休息日的日類型取值為0。預測模型共計25維輸入變量。

預測過程中，將模型所需的25維訓練數據組成特征矩陣，對PSO算法中的各粒子進行初始化，并將初始粒子賦權值。按照GRU神經網絡對負荷進行預測，將所得結果與實際負荷值進行對比，根據實際負荷值與預測值之間的誤差大小不斷更新粒子的個體最優(yōu)位置與全局最優(yōu)位置，并通過PSO算法的多次迭代得到最優(yōu)權值；然后按照預測數據組成的特征矩陣以及最優(yōu)權值，利用GRU神經網絡進行預測，即可得到所需負荷。

3.2 仿真結果分析

為了驗證本文所提出的基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型(模型2)的預測效果，與傳統(tǒng)的BP神經網絡預測模型(模型1)以及基于隨機梯度下降法的GRU神經網絡模型(模型3)進行對比分析。3個預測模型的神經網絡都采用25-10-1的結構。對于模型1，訓練次數取20 000，訓練的精度誤差為0.01；對于模型2，粒子數取30個，最大迭代次數為700次，學習因子c1取1.795，c2取1.795，速度最大值vmax取0.4，最小值vmin取-0.4，慣性權重由0.9降至0.4，訓練的精度誤差為0.01；對于模型3，訓練次數取8 000，梯度步長取0.001。采用某地區(qū)電網負荷數據進行仿真，每隔15 min取一個負荷點，即1 d內共96個負荷點。由于PSO算法本身特征的影響，模型2需要設置的參數有所增加，但預測結果表明，參數的增加沒有影響到模型2的預測過程。3個預測模型的預測效果對比如圖5所示。

圖5 3個模型預測的負荷曲線Fig.5 Load curves predicted by three models

為了評價所提模型的預測性能，用平均絕對誤差Emape和最大相對誤差Emax來表示預測誤差，其中

(11)

式中：n為負荷點的個數；Yj為第j個負荷點的實際值；yj為第j個負荷點的預測值。

所得預測結果的Emape及Emax越小，說明所提模型的預測效果越好。

表1給出了3種預測模型的誤差對比。

由表1可以看出：與模型1相比，模型2的平均絕對誤差降低了2.18%，最大相對誤差降低了7.45%；與模型3相比，模型2的平均絕對誤差降低了0.9%，最大相對誤差降低了2.08%。由圖5可以看出：模型2和模型3在負荷的波谷處所提模型的擬合程度較好，說明GRU神經網絡在負荷波谷處的預測精度較高，能得到較為理想的預測效果，且預測過程中不會出現(xiàn)RNN中容易出現(xiàn)的梯度消失、梯度爆炸問題。

表1 3種預測模型的誤差對比Tab.1 Error comparison of three prediction models %

為了驗證本文所提出的基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型的預測穩(wěn)定性，采用模型2和模型3分別對該地區(qū)電網進行連續(xù)1周的負荷預測，利用2種模型進行預測所得到的誤差比較見表2。

表2 2種預測模型周預測誤差對比Tab.2 Comparison of weekly prediction errors of two prediction models %

由表2可以看出：模型2在對電力負荷進行連續(xù)1周的預測過程中，對休息日的預測誤差相對于工作日有較大上升，主要原因是休息日的訓練數據相對較少，使得對休息日的預測效果有所下降；模型2在預測精度上與模型3相比，在1周內的預測效果上均有明顯優(yōu)勢，平均絕對誤差的平均值和最大相對誤差的平均值分別降低了0.98%和2.13%，表明利用PSO算法優(yōu)化GRU神經網絡可以有效提高傳統(tǒng)GRU神經網絡的預測精度，避免了傳統(tǒng)GRU神經網絡中的梯度下降算法帶來的精度下降問題，而且所提模型具有較好的預測穩(wěn)定性。

4 結束語

本文針對RNN中容易出現(xiàn)的梯度問題，提出了一種基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型。該模型保留了RNN在時間序列預測中記憶能力強的優(yōu)點，解決了梯度問題，并且PSO算法對傳統(tǒng)GRU神經網絡的改進較好地解決了GRU神經網絡傳統(tǒng)訓練方法中容易出現(xiàn)的精度下降問題。通過對與預測日相關性最大的負荷數據進行歸一化處理，并利用PSO算法可以有效尋找全局最優(yōu)解的特點對GRU神經網絡進行優(yōu)化，經過實際算例分析與仿真可以得出，與BP神經網絡以及傳統(tǒng)的GRU神經網絡相比，基于PSO算法優(yōu)化GRU神經網絡的短期負荷預測模型能達到較高的預測精度。將本文所提模型與傳統(tǒng)GRU神經網絡模型連續(xù)1周內負荷預測的誤差進行對比可以得出，本文所提模型有較高的精確度、穩(wěn)定性和應用價值。