周紅標，王樂，卜峰，應根旺

（淮陰工學院 自動化學院，江蘇 淮安223003）

0 引 言

電力系統(tǒng)短期負荷預測主要是預測未來幾小時、一天或幾天的負荷，對機組優(yōu)化組合、安全調(diào)度、故障檢修和電網(wǎng)商業(yè)化運作具有重要的指導意義。由于電力負荷數(shù)據(jù)主要依賴于生產(chǎn)生活的規(guī)律性變化，并受氣象、節(jié)假日等影響，往往是具有周期性、隨機性等特點的復雜非線性時間序列。傳統(tǒng)的負荷預測完全憑調(diào)度員主觀判斷，后來發(fā)展了時間序列法、回歸分析法［1－2］。隨著人工智能技術的發(fā)展，小波理論、神經(jīng)網(wǎng)絡、支持向量機等智能算法被引入短期電力負荷預測當中［3］。由于線性回歸模型難以擬合非平穩(wěn)負荷時間序列，前饋型BP神經(jīng)網(wǎng)絡又存在訓練耗時長、易陷入局部解等缺陷，一些學者嘗試建立反饋型神經(jīng)網(wǎng)絡預測模型，如Elman、回聲狀態(tài)神經(jīng)網(wǎng)絡等［4］。

回聲狀態(tài)神經(jīng)網(wǎng)絡（Echo State Network，ESN）是Jaeger和Haas于2001年提出的一種新型遞歸神經(jīng)網(wǎng)絡，并于2004年在Science上發(fā)表了相關研究成果［5］。ESN的核心是隱含層內(nèi)大量以完全隨機和稀疏方式互連的神經(jīng)元構成的動態(tài)神經(jīng)元池（Dynamic Neurons Reservoir，DNR）。ESN的輸入、內(nèi)部和遞歸連接權重均在學習之前確定，在整個訓練過程中保持不變，即ESN只需訓練輸出權重，大大簡化了訓練過程；同時，采用凸優(yōu)化學習算法，有效解決了陷入局部最優(yōu)解的問題，引起了越來越多研究者的興趣和重視，已成為時間序列預測領域的研究熱點之一［6］。文獻［7］利用傳統(tǒng)ESN對短期電力負荷進行預測，結(jié)果表明ESN預測效果優(yōu)于前饋神經(jīng)網(wǎng)絡。文獻［8］利用相空間理論構建模塊化回聲狀態(tài)網(wǎng)絡（modular echo state network，MESN）對大客戶實時電力數(shù)據(jù)進行預測，結(jié)果表明MESN的預測效果優(yōu)于RBF、LS-SVM神經(jīng)網(wǎng)絡。文獻［9］利用小波對混沌時間序中的噪聲進行降噪處理，然后建立ESN預測模型，結(jié)果表明所建模型在單步和5步時間序列預測上取得較好精度。文獻［10］采用小波回聲狀態(tài)網(wǎng)（wavelet echo state network，WESN）搭建了北美某電廠的電力負荷預測模型，結(jié)果顯示W(wǎng)ESN在1小時和1天內(nèi)的短期負荷預測上取得較好預測效果。

盡管ESN在許多應用中取得了不錯的效果，但它自身存在難以克服的缺陷，尤其狀態(tài)矩陣的病態(tài)解問題，影響模型的泛化能力和預測精度，這困擾了包括Jaeger在內(nèi)的許多專家學者。針對這一問題，陸續(xù)提出了正則化［11］、嶺回歸［12］、奇異值分解［13］、稀疏貝葉斯［14］等方法（核心思想是引入噪聲項）來解決病態(tài)矩陣問題，但是改善的效果并不明顯，反而增加了算法學習的復雜度。近兩三年，有學者引入因子分析和小波分析，構建因子回聲狀態(tài)網(wǎng)［15］和小波回聲狀態(tài)網(wǎng)［16］對時間序列進行動態(tài)分析，預測效果得到明顯改善。文章考慮小波變換不能對低頻空間繼續(xù)分解的缺陷，而小波包變換具有對高頻和低頻空間同時細分的優(yōu)勢，提出小波包回聲狀態(tài)網(wǎng)模型（wavelet packet echo state network，WPESN），同時，考慮采用粒子群算法優(yōu)化ESN儲備池參數(shù)。PSOWPESN通過小波包分解將時間序列分解成一系列的高頻分量和低頻分量，然后同時輸入到各自PSO優(yōu)化的ESN模型中。這不僅能夠降低問題的學習難度，提高網(wǎng)絡的預測精度，而且更為重要的是能夠通過高頻分量的正則化作用來緩解傳統(tǒng)ESN中普遍存在的病態(tài)解問題。因此，文章以某市61天的電力負荷數(shù)據(jù)為對象，建立PSO-WPESN短期電力負荷預測模型，并通過仿真測試與BP、Elman、傳統(tǒng)ESN等模型比較，驗證了該模型的有效性。

1 回聲狀態(tài)神經(jīng)網(wǎng)絡

回聲狀態(tài)網(wǎng)是一種新型的遞歸神經(jīng)網(wǎng)絡，包括輸入層、動態(tài)神經(jīng)元池和輸出層，其中動態(tài)神經(jīng)元池是網(wǎng)絡結(jié)構的核心，它是由以完全隨機和稀疏方式連接的成百上千個神經(jīng)元構成，這也是網(wǎng)絡具備記憶能力的關鍵。ESN網(wǎng)絡結(jié)構如圖1所示［15－16］。

圖1 回聲狀態(tài)網(wǎng)結(jié)構圖Fig.1 Echo state network structure diagram

設網(wǎng)絡輸入為 u（n）＝［u1（n），…，uK（n）］T，狀態(tài)為 x（n）＝［x1（n），…，xN（n）］T，輸出為 y（n）＝［y1（n），…，yL（n）］T，其中 K為輸入維數(shù)，N為內(nèi)部神經(jīng)元個數(shù)，L為輸出維數(shù)。則：

式中Win，W，Wb分別為輸入、內(nèi)部狀態(tài)、輸出到內(nèi)部狀態(tài)的連接權值矩陣；Wo為內(nèi)部狀態(tài)到輸出的連接權值矩陣；f＝（f1，…，fN）為內(nèi)部神經(jīng)元激活函數(shù)，一般取為sigmoid函數(shù)；fo是輸出函數(shù)，一般取為線性函數(shù)。ESN的Win、W和Wb都是隨機生成的，且一經(jīng)生成在學習過程中就不再改變，在儲備池網(wǎng)絡的訓練過程中只需調(diào)整Wo的值即可［17］。

ESN學習算法如下（令L＝1）：設訓練樣本個數(shù)為 Ns，期望輸出為 Y*＝［d1，…，dNs］T。則有：

式中 X＋＝（XTX）－1X為 X的 Moore＿Penrose逆，X為訓練過程中內(nèi)部神經(jīng)元狀態(tài)序列矩陣。其基本思想是首先通過輸入信號激發(fā)儲備池網(wǎng)絡的狀態(tài)響應信號，即“回聲信號”，然后由“回聲信號”的線性組合逼近期望輸出信號［18］。

2 粒子群優(yōu)化小波包回聲狀態(tài)網(wǎng)

2.1 小波包分解

在多分辨分析小波理論的基礎上，將尺度函數(shù)φ（t）記為 u0（t），小波函數(shù) φ（t）記為 u1（t），于是有二尺度方程：

定義的函數(shù)集合{un（t）}n∈Z稱為由u0（t）＝φ（t）所確定的小波包，其中 h（k）、g（k）是共軛濾波器系數(shù)。

設x（t）為 L2（R）空間函數(shù)，對其離散采樣序列{x（p）}p＝1，2，…，N’，小波包分解算法為：

由式（4）可知，小波包分解過程實質(zhì)就是通過一組低、高通組合的共軛正交濾波器h、g，將信號x（p）分解到不同的頻帶上［19］。

小波包的空間劃分是同時對尺度空間和細節(jié)空間進行再分解，提高了頻率分辨率，克服了小波不能對低頻空間進行分解的局限，能夠獲得更豐富的頻域局部化信息，尤其適合動態(tài)時間序列數(shù)據(jù)的預處理。

2.2 小波包回聲狀態(tài)網(wǎng)

WPESN基本思想是通過小波包分解將時間序列分解成低頻分量和高頻分量，其中低頻分量可以很好地反應時間序列的趨勢信息，而高頻分量可以有效緩解傳統(tǒng)ESN模型中存在的病態(tài)解問題。假設進行小波包三層分解的話，可以得到低頻和高頻總共八個分量，將其輸入到ESN中激發(fā)出狀態(tài)響應信號，最后通過各狀態(tài)響應信號間的線性組合逼近期望輸出。WPESN的網(wǎng)絡結(jié)構如圖2所示。

圖2 WPESN網(wǎng)結(jié)構圖Fig.2 WPESN network structure diagram

2.3 粒子群優(yōu)化小波包回聲狀態(tài)網(wǎng)

從圖2可知，PSO-WPESN的預測步驟可描述如下［16，20］：

Step1：對原始時間序列進行小波包分解，得到高、低頻系數(shù)各e個，然后對各系數(shù)進行重構，得到數(shù)據(jù)集（ESN）i（i＝D1，D2，…，De，C1，C2，…，Ce）；

Step2：對（ESN）i劃分訓練數(shù)據(jù)集和測試數(shù)據(jù)集，并進一步細分輸入和輸出；為避免數(shù)據(jù)過大造成神經(jīng)網(wǎng)絡輸出飽和，對訓練集輸入輸出數(shù)據(jù)、測試集輸入數(shù)據(jù)進行歸一化處理，歸一化公式為：

式中xi和yi分別為原始數(shù)據(jù)和歸一化后數(shù)據(jù)；xmax和xmin分別為數(shù)據(jù)的最大值和最小值；

Step3：對（PSO）i進行參數(shù)設置，如迭代次數(shù)、種群規(guī)模、速度更新參數(shù)等；對（ESN）i預測模型待優(yōu)化參數(shù)包括儲備池神經(jīng)元規(guī)模（N）i，譜半徑（SR）i，稀疏度（SD）i，輸入單元尺度（IS）i、輸入單元位移（ID）i，輸出單元尺度（TS）i，輸出單元位移（TD）i等進行初始值產(chǎn)生和范圍設定。對上述參數(shù)取值進行多次試驗嘗試，以確定適應不同數(shù)據(jù)集的較好參數(shù)；

Step4：根據(jù)（PSO）i中初始值建立 ESN模型，處理（ESN）i的訓練數(shù)據(jù)，計算種群內(nèi)所有粒子適應度，尋找個體極值和群體極值，適應度計算公式為：

Step5：對粒子更新自身的速度和位置，更新公式為：

式中ω為慣性權重；c1和c2為加速度因子；r1和r2為［0，1］區(qū)間的隨機數(shù)；

Step6：個體極值更新。對每個粒子，將其適應度值gbest與個體極值進行比較，若比gbest更優(yōu)，則重新記gbest位置；

Step7：群體極值更新。當前粒子群每個粒子的歷史最優(yōu)位置的適應度值gbest再與粒子群最優(yōu)位置的適應度值 zbest進行比較，若 gbest的位置優(yōu)于zbest，則記 gbest為 zbest；

Step8：重復Step5至Step7，直至滿足迭代次數(shù)，最終得到整個粒子群的最優(yōu)位置pbest；

Step9：根據(jù)（PSO）i得到的最優(yōu)解 pbest建立（ESN）I模型，將（ESN）i數(shù)據(jù)集中訓練集輸入、測試集輸入送入預測模型，得到訓練集和測試集預測輸出反歸一化后的和，反歸一化公式為：

Step10：重復Step2至Step8，完成小波包重構后的個時間序列數(shù)據(jù)的PSO-ESN建模和預測，得到（i＝D1，D2，…，De，C1，C2，…，Xe）；

3 結(jié)果分析

3.1 數(shù)據(jù)來源

文章連續(xù)采集了某市2個月的電力負荷數(shù)據(jù)，每隔15分鐘采樣一次，每天可采集96個點的數(shù)據(jù)，共計5 856點，如圖3所示。

圖3 某市61天負荷數(shù)據(jù)Fig.3 Historical load data

3.2 評價指標

為了評價所建PSO-WPESN模型的有效性，將其與BP、WNN、Elman、傳統(tǒng) ESN等神經(jīng)網(wǎng)絡的預測效果進行對比，并選擇歸一化均方根誤差（Normalized rootmean square error，NRMSE）、均方誤差 （Mean square error，MSE）和平均絕對百分比誤差（Mean absolute percentage error，MAPE）作為判斷預測效果的依據(jù)，計算公式為：

式中 T為預測樣本點的總數(shù)；y（t）為預測值；yd（t）為期望值。

3.3 結(jié)果分析

對61天共采集到的5 856點數(shù)據(jù)，每6天的數(shù)據(jù)作為輸入，第7天的數(shù)據(jù)作為輸出，這樣就得到了55個樣本。前54個樣本作為訓練集，第55個樣本作為測試集（第54天到第60天的數(shù)據(jù)作為測試集輸入，第61天的數(shù)據(jù)為測試集輸出）。首先建立常規(guī)的BP和Elman神經(jīng)網(wǎng)絡觀察預測情況。BP和EL-man預測結(jié)果如圖4所示。

由于每6天有576個點的數(shù)據(jù)，第61天有96個點的數(shù)據(jù)，即輸入為576點，輸出為96點，故建立的網(wǎng)絡結(jié)構為576-n-96。模型隱含層傳遞函數(shù)選用sigmoid函數(shù)，訓練函數(shù)采用traingdx。對n取不同值時的預測誤差進行分析，運行10次求取平均值，BP的n＝8時平均總誤差為4.75×104MW，Elman的n＝55時平均總誤差為3.045×104MW。進一步嘗試改變數(shù)據(jù)序列結(jié)構和擴展BP網(wǎng)絡為雙隱含層，對誤差數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)，平均總誤差都在3 MW～7×104MW之間，誤差比較大，難以滿足電力負荷精準預測的需求。

圖4 BP和Elman預測結(jié)果（每6天預測第7天）Fig.4 Forecasting results based on BP and Elman

對結(jié)果進行分析，多輸出預測精度不高的原因在于網(wǎng)絡結(jié)構過于復雜，泛化能力大幅降低。因此研究改變樣本數(shù)據(jù)構成，嘗試單點輸出預測。對于5 856點數(shù)據(jù)，每10個點作為輸入，緊隨的第11點作為輸出，這樣就得到5 846個樣本。前5 750個樣本作為訓練集，后96個樣本作為測試集，能夠完成第61天的電力負荷逐點預測要求。

由于每個樣本輸入為10個數(shù)據(jù)點，輸出為1個數(shù)據(jù)點，故以下建立的各模型網(wǎng)絡結(jié)構都為10-n-1。對n取不同值時的預測誤差進行分析，運行10次求取平均值，BP的n＝8時平均總誤差為3.126×103MW，Elman的n＝30時平均總誤差為10.121×103MW，WNN的 n＝15時平均總誤差為6.073×103MW。各模型預測精度得到大幅提高，尤其是BP神經(jīng)網(wǎng)絡預測效果最好。預測結(jié)果和誤差百分比如圖5和圖6所示，其中誤差百分比采用的公式為÷y。

圖5 BP、Elman、WNN預測結(jié)果Fig.5 Forecasting results based on BP，Elman and WNN

圖6 BP、Elman、WNN預測誤差百分比Fig.6 Forecasting error percentage of BP，Elman，WNN

進一步，利用文章建立的PSO-WPESN模型對負荷數(shù)據(jù)進行處理，并與 GA-BP、常規(guī) ESN、PSO-ESN等模型相比較。GA-BP中遺傳操作的參數(shù)選取為：種群規(guī)模為20，迭代次數(shù)為20，交叉概率0.2，變異概率0.1。傳統(tǒng)ESN的儲備池節(jié)點數(shù)取為350，譜半徑取為0.65，稀疏度取為0.03，輸入單元尺度取為0.15，輸入單元位移取為0，輸出單元尺度取為17.15，輸出單元位移取為-0.1。PSO-ESN中粒子群參數(shù)選取為：速度更新參數(shù)c1、c2都取為1.3，迭代次數(shù)取為20，種群規(guī)模取為20，個體中儲備池神經(jīng)元個數(shù)、譜半徑、稀疏度、尺度因子（輸入、輸出）、位移因子（輸入、輸出）等依次取10-1 000、0.1-0.9、0.01-1、-2-2（經(jīng)過多次嘗試，輸出尺度因子取為0-50時精度普遍較高）、-1-1。PSO-WPESN中采用db9小波、3層分解，其他參數(shù)設置與上述模型一致。

為了能夠?qū)︻A測結(jié)果進行清晰比較，這里的ESN、PSO-ESN在學習和預測過程中丟棄了數(shù)據(jù)序列的初始10個點。適應度進化情況如圖7所示，可見經(jīng)過PSO優(yōu)化的平均適應度值和最優(yōu)適應度值的進化情況明顯優(yōu)于GA。由于PSO-WPESN是對小波包分解和重構后的8個系數(shù)進行的建模仿真，這里并沒有給出其適應度變化曲線。

圖7 GABP、PSOESN適應度進化情況Fig.7 Fitness of GABP and PSOESN

上述模型的預測結(jié)果如圖8所示，粗略地看，各模型的預測效果都比較好。但是通過第32點的局部放大圖可以看出PSO-WPESN與實際值幾乎重疊，預測效果最好，PSO-ESN其次，而ESN和GA-BP精度較差。圖9所示為第11-25點的局部圖，可以清晰地看到，PSO-WPESN的預測效果要優(yōu)于 GA-BP和ESN，而PSO-ESN效果較差。這是由于PSO-ESN過學習導致輸出矩陣Wo過大，從而造成早期階段的個別點預測精度急劇下降，這種情況從第25個點后才得到有效抑制。

圖8 PSO-WPESN等模型預測結(jié)果Fig.8 Forecasting results based on PSO-WPESN

圖9 第11-25點的預測結(jié)果Fig.9 Forecasting results of 11-25 data points

圖10 PSO-WPESN等模型預測誤差百分比Fig.10 Forecasting error percentage of PSO-WPESN

圖11 第11-25點的預測誤差百分比（取絕對值）Fig.11 Forecasting error percentage of 11-25 data points

上述模型的預測誤差百分比如圖10所示，可以看出，GA-BP模型誤差百分比在-2%～6.5%之間，ESN模型誤差百分比在－2.5%～5.5%之間，PSOESN模型誤差百分比在－2.5%～3%之間，而PSOWPESN模型誤差百分比僅在－0.1%～0.1%之間。圖11顯示的是第11-25點誤差百分比絕對值，可以清晰看到，PSO-WPESN的誤差百分比絕對值要遠小于其他模型。這說明通過采用小波包分解，WPESN能夠有效消除病態(tài)解。可見，正是由于小波包的多分辨率分析特性，通過高、低頻等頻率劃分，降低了模型學習難度，利用高頻分量的正則化作用有效克服了傳統(tǒng)ESN普遍存在的不適定問題，表明了小波包對提高預測精度的可行性。

表1列出了各模型訓練集、測試集的NRMSE、MSE、MAPE和測試集的總誤差以及建模耗時。

表1 各模型預測結(jié)果（取10次平均值）Tab.1 Forecasting results of each model（average of 10 times）

從表1不難看出，PSO-WPESN算法給出了最佳的預測精度，對于訓練集，NRMSE、MSE、MAPE分別為0.001、0.76、0.019，對于測試集，NRMSE、MSE、MAPE分別為0.001、1.08、0.021；測試集總誤差分別為0.07×103MW，預測精度和泛化能力得到明顯提高，當然，由于嵌套PSO優(yōu)化，CPU耗時達到9 766 s。在實際應用中可以通過減少訓練數(shù)據(jù)集規(guī)模以及改變數(shù)據(jù)集生成方式來減少學習時間，以適應電力負荷快速精確的預測需求。

4 結(jié)束語

文章針對前饋BP和遞歸Elman等網(wǎng)絡在時間序列預測中的不足，選用ESN神經(jīng)網(wǎng)絡建立短期電力負荷模型，但經(jīng)典ESN由于解奇異造成病態(tài)矩陣且儲備池參數(shù)難以精確確定，使得網(wǎng)絡的穩(wěn)定性和泛化能力大為降低。因此，采取小波包分解構建局部型小波包ESN神經(jīng)網(wǎng)絡，緩解了病態(tài)解，采取粒子群優(yōu)化ESN儲備池的譜規(guī)模、半徑、稀疏度、尺度和位移等參數(shù)，提高了模型的預測精度?；谒岢龅腜SO-WPESN模型，采用某地區(qū)實測的電力負荷數(shù)據(jù)進行驗證，證明了該模型與 BP、Elman、常規(guī)ESN等相比，具有更高的預測精度。下一步研究工作是協(xié)調(diào)數(shù)據(jù)規(guī)模、學習時間和預測精度三者之間的關系。