王 林，王燕麗，安澤遠

(華中科技大學(xué)管理學(xué)院，湖北 武漢 430074)

1 引言

電力能源是國家經(jīng)濟發(fā)展的重要基礎(chǔ)，電力能源的有效利用程度和消費量是衡量人類生產(chǎn)技術(shù)和生活水平的重要標(biāo)志。2019年，由于受到貿(mào)易摩擦、逆全球化等不利因素導(dǎo)致的經(jīng)濟增速放緩，以及2018年拉動能源需求的一些一次性因素部分緩解，全球用電量增速下降至1.3%，不到上年增速(2.8%)的一半。2020年，大部分國家受到疫情沖擊，全球用電量下降約0.7%。電力需求受諸多相互作用且具有內(nèi)在復(fù)雜性和不規(guī)則性因素影響導(dǎo)致的波動變化，對國家或者地區(qū)的電力能源安全規(guī)劃提出了更高的要求，其中預(yù)測精度是電力需求預(yù)測問題的研究重點。

目前已有許多來自世界各地的研究人員對電力需求預(yù)測進行了相關(guān)研究，主要預(yù)測模型包括統(tǒng)計模型、機器學(xué)習(xí)和混合模型。Sarkodie[1]使用自回歸移動平均模型ARIMA(AutoRegressive Integrated Moving Average model)模型，通過人口和國內(nèi)生產(chǎn)總值來預(yù)測加納的電力需求；Wang等[2]運用卷積積分優(yōu)化的灰色多元模型預(yù)測中國工業(yè)用電能耗；Kialashaki等[3]利用人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)預(yù)測美國的工業(yè)用電需求；Rahman等[4]運用一種新的深度遞歸神經(jīng)網(wǎng)絡(luò)模型預(yù)測商業(yè)和住宅建筑的電力負荷需求；馬煜等[5]通過結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和支持向量回歸的思路，來提取影響電力負荷因素的高維特征。但是，現(xiàn)有能源需求預(yù)測模型普遍存在精度有待提高或者操作較復(fù)雜等問題，因此尋找高效和精確的新型預(yù)測方法成為了研究的焦點。

Jaeger等[6]提出了回聲狀態(tài)網(wǎng)絡(luò)ESN(Echo State Network)。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，ESN使用了動態(tài)遞歸網(wǎng)絡(luò)儲備池，在解決非線性問題時，能夠克服傳統(tǒng)操作存在的計算復(fù)雜、耗時長，以及容易陷入局部最優(yōu)等問題。ESN已被廣泛應(yīng)用于各領(lǐng)域的預(yù)測問題。眾多研究人員還對ESN進行了改進，如張亞麗等[7]采用改進的局部均值分解方法，與回聲狀態(tài)網(wǎng)絡(luò)相結(jié)合，以提高預(yù)測精度；Li等[8]提出了一種基于先驗數(shù)據(jù)的多層儲備池生成算法；Hu等[9]將深度學(xué)習(xí)框架引入基本的ESN中，結(jié)合回聲狀態(tài)網(wǎng)絡(luò)強大的非線性時間序列建模能力和深度學(xué)習(xí)框架的高效學(xué)習(xí)能力，提出了DeepESN，通過多個算例驗證了其性能良好。也有研究人員使用啟發(fā)式算法對ESN進行參數(shù)優(yōu)化，獲得了良好的效果，例如Wang等[10]運用差分進化算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的儲備池關(guān)鍵參數(shù)。本文擬采用改進的群體智能優(yōu)化方法對ESN進行改進。

Eberhart等[11]提出的粒子群優(yōu)化PSO(Particle Swarm Optimization)算法是一種容易實現(xiàn)但性能強大的隨機優(yōu)化技術(shù)，能夠用于解決復(fù)雜的連續(xù)或組合非線性問題。但是，PSO算法自身存在收斂精度低、不穩(wěn)定、容易陷入局部最優(yōu)解等缺點。朱小明等[12]通過對PSO算法進行理論分析，指出算法容易過早收斂的主要原因是種群多樣性的缺失。為此研究人員近年來對PSO算法進行了大量研究，如Zhang等[13]提出了一種基于終端交叉和轉(zhuǎn)向的分布式PSO算法，Rehman等[14]提出了一種改進的量子啟發(fā)式PSO算法。

本文首先引入自適應(yīng)算子對PSO算法進行改進，以提高其探索當(dāng)前空間和開發(fā)未知空間之間的平衡性；同時，采用非線性函數(shù)來構(gòu)建ESN儲備池內(nèi)部狀態(tài)之間的非線性關(guān)系；接著利用改進的粒子群優(yōu)化APSO(Adaptive Particle Swarm Optimization)算法對非線性回聲狀態(tài)網(wǎng)絡(luò)NESN(Nonlinear Echo State Network)的關(guān)鍵參數(shù)進行優(yōu)化，以構(gòu)建APSO-NESN組合預(yù)測模型；最后運用該模型進行能源需求預(yù)測，以期為一個國家或地區(qū)的相關(guān)能源決策提供可靠的輔助支持。本文為ESN在能源需求預(yù)測上的應(yīng)用提供了新的研究思路，為相關(guān)經(jīng)濟活動管理提供了有益的管理借鑒。

2 粒子群優(yōu)化算法及其改進

2.1 粒子群優(yōu)化算法原理

PSO算法是基于群體迭代模式的啟發(fā)式算法，它在搜索過程中通過個體間的交互行為來尋找最優(yōu)值，具有收斂速度快、全局搜索能力強和易于實現(xiàn)等優(yōu)點。

2.2 粒子群優(yōu)化算法的數(shù)學(xué)模型

首先初始化粒子群，規(guī)模為m，在空間坐標(biāo)系連續(xù)的情況下，第i個粒子的當(dāng)前位置為xi=(xi1,xi2,…,xid)，歷史最優(yōu)位置為Pi=(Pi1,Pi2,…,Pid)，當(dāng)前速度為vi=(vi1,vi2,…,vid)。所有粒子中的最好位置可以表示為Pg=(Pg1,Pg2,…,Pgd)。其中,i=1,2,…,m;d為空間維度。

粒子群中每個粒子第j維在t+1時刻的速度更新如式(1)所示：

(1)

其中,c1和c2均為非負的學(xué)習(xí)因子，保證了粒子盡可能往個體最優(yōu)和全局最優(yōu)的地方移動;ω表示慣性權(quán)重,Shi等[15]通過仿真實驗得出，通常情況下ω在[0.9,1.2]。非負常數(shù)c1和c2通常都設(shè)置為2，rand()表示[0,1]的隨機數(shù)。

在更新過程中，通過設(shè)置Vmax來控制速度更新范圍，避免因速度過大而錯過最優(yōu)位置。粒子群中每個粒子第j維在t+1時刻的位置更新如式(2)所示:

(2)

2.3 粒子群優(yōu)化算法的改進

適應(yīng)度計算由式(3)所示:

(3)

其中,yk是利用當(dāng)前粒子的位置信息輸出的預(yù)測值，Wk是已確定的實際值，n表示待比較的y和W的長度。

若輸出的預(yù)測值和實際值偏差很大，該粒子的適應(yīng)度函數(shù)值也會很大，則此時粒子處于一個較差的解空間，粒子需要以一個較大的速度盡快離開該空間，以避免消耗過多的迭代次數(shù)；相反，若一個粒子的適應(yīng)度函數(shù)值很小而更新速度很大，那么可能會導(dǎo)致粒子在較優(yōu)的解空間中不能進行充分的探索。在標(biāo)準(zhǔn)PSO算法中，由于慣性權(quán)重ω和學(xué)習(xí)因子c1、c2是固定的，搜索當(dāng)前最優(yōu)空間和探索新空間這2種操作無法平衡，PSO算法的效率和優(yōu)化能力就會受到影響。

為了解決上述問題，本文引入了自適應(yīng)非線性慣性權(quán)重和學(xué)習(xí)因子。本文將慣性權(quán)重ω的賦值方法由初始設(shè)定改成了如式(4)所示的自適應(yīng)非線性慣性權(quán)重:

(4)

其中,mapetarget表示設(shè)定的目標(biāo)適應(yīng)度，ωstandard表示設(shè)定的初始標(biāo)準(zhǔn)慣性權(quán)重,objvaluezbest表示當(dāng)前粒子群最優(yōu)的適應(yīng)度。

慣性權(quán)重ω由固定值轉(zhuǎn)化為了一個與設(shè)定的慣性權(quán)重、設(shè)定的目標(biāo)適應(yīng)度和當(dāng)前的適應(yīng)度相關(guān)的值。隨著粒子的迭代計算，當(dāng)前粒子群最優(yōu)適應(yīng)度逐漸降低，表示粒子不斷接近最優(yōu)解；而慣性權(quán)重也隨之不斷減小，這使得粒子的更新速度降低，保證了粒子能在較優(yōu)的解空間中進行更為充分的搜索?？梢?，慣性權(quán)重能夠隨著當(dāng)前全局最優(yōu)適應(yīng)度與目標(biāo)適應(yīng)度之間的差距變化發(fā)生相應(yīng)變化，從而平衡了當(dāng)前最優(yōu)空間和新空間的搜索，成為一種“動態(tài)”的學(xué)習(xí)過程，提高了算法效率。

學(xué)習(xí)因子c1和c2的賦值方法由初始設(shè)定改成了如式(5)所示的自適應(yīng)非線性學(xué)習(xí)因子，同樣也是為了獲得“動態(tài)學(xué)習(xí)”能力。

(5)

引入了自適應(yīng)非線性慣性權(quán)重和學(xué)習(xí)因子的PSO算法，本文稱之為自適應(yīng)粒子群優(yōu)化算法——APSO算法。

3 回聲狀態(tài)網(wǎng)絡(luò)及其改進

3.1 標(biāo)準(zhǔn)回聲狀態(tài)網(wǎng)絡(luò)

ESN是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，具有訓(xùn)練過程簡單、收斂速度快和處理非線性問題能力強等優(yōu)點，適合處理非平穩(wěn)的時間序列數(shù)據(jù)。其標(biāo)準(zhǔn)的組成部分為具有K個神經(jīng)元的輸入層、包含N個內(nèi)部神經(jīng)元的儲備池層和具有L個神經(jīng)元的輸出層。標(biāo)準(zhǔn)的ESN結(jié)構(gòu)如圖1所示，圖中黑色實線表示在網(wǎng)絡(luò)初始化時隨機生成但在訓(xùn)練過程中保持不變的連接權(quán)重；灰色虛線表示在ESN中需要訓(xùn)練的儲備池輸出權(quán)重；灰色實線表示輸出層與儲備池的反饋連接。

本文使用最小二乘法LSM(Least Squares Method)來獲得輸出連接權(quán)重。為了使ESN網(wǎng)絡(luò)具有短時記憶功能，必須使動態(tài)儲備池保持1%～5%的稀疏度，且其權(quán)值矩陣W的譜半徑小于1[16]。

Figure 1 Structure of standard ESN圖1 標(biāo)準(zhǔn)ESN結(jié)構(gòu)圖

與此同時，ESN在t時刻的儲備池內(nèi)部狀態(tài)s(t)和輸出o(t)的更新公式分別如式(6)和式(7)所示：

(6)

(7)

其中，f(·)表示儲備池內(nèi)部狀態(tài)的激活函數(shù);fout(·)表示輸出狀態(tài)的激活函數(shù)，本文均選擇了tanh函數(shù)作為激活函數(shù)；儲備池內(nèi)部狀態(tài)s(t)在網(wǎng)絡(luò)中初始化為零向量。

3.2 非線性回聲狀態(tài)網(wǎng)絡(luò)

ESN的特點是具有回聲狀態(tài)屬性的儲備池，其隱藏層神經(jīng)元具有大量、隨機和稀疏組合的特性。標(biāo)準(zhǔn)ESN儲備池內(nèi)部狀態(tài)的關(guān)系是線性的，本文采用非線性函數(shù)來構(gòu)建儲備池內(nèi)部狀態(tài)的非線性關(guān)系，將改進后的ESN稱為非線性回聲狀態(tài)網(wǎng)絡(luò)NESN。NESN的結(jié)構(gòu)如圖2所示，與ESN相比，NESN增加了M=p×q個單元的讀出層,其中，p為NESN儲備池內(nèi)部神經(jīng)元的數(shù)量，q為構(gòu)建儲備池內(nèi)部狀態(tài)之間關(guān)系的非線性函數(shù)的階數(shù)。NESN在使用更少儲備池內(nèi)部神經(jīng)元的情況下，進一步提升了儲備池的非線性動態(tài)存儲能力，進而提高了處理復(fù)雜的非線性問題的能力。

Figure 2 Structure of NESN圖2 NESN結(jié)構(gòu)圖

NESN在t時刻的輸出o(t)的計算公式如式(8)所示，式(9)和式(10)是讀出層內(nèi)部神經(jīng)元，表示它是由儲備池內(nèi)部的神經(jīng)元非線性組合而來。

(8)

(9)

s(t)=[s1(t),s2(t),…，sq(t)]T

(10)

4 組合預(yù)測模型APSO-NESN

4.1 APSO-NESN基本原理

本文將APSO與NESN相結(jié)合，構(gòu)建了一種新的組合預(yù)測模型APSO-NESN，其主要思路是運用APSO算法來對NESN的儲備池稀疏度和譜半徑進行參數(shù)尋優(yōu)，同時優(yōu)化輸出連接權(quán)重的計算方式。與經(jīng)典的ESN相比，該組合預(yù)測模型利用了APSO算法的全局搜索能力來替代傳統(tǒng)的參數(shù)設(shè)定模式，同時該模型還具有NESN所特有的優(yōu)點。實驗結(jié)果表明，本文提出的APSO-NESN組合預(yù)測模型不僅能夠減少儲備池內(nèi)部神經(jīng)元的數(shù)量和計算負荷，還獲得了更好的學(xué)習(xí)能力和更高的運算效率。

4.2 APSO-NESN算法步驟

APSO-NESN主要分為2個階段，在第1個階段中，該組合模型運用APSO算法對NESN的參數(shù)進行尋優(yōu)，APSO算法的決策變量由儲備池稀疏度、譜半徑和輸出連接權(quán)重組成，其適應(yīng)度函數(shù)值為將每個粒子的位置變量xi代入NESN中返回的對應(yīng)預(yù)測誤差值；在第2個階段中，該組合模型將在第1階段中APSO算法獲得的優(yōu)秀個體解碼作為參數(shù)值來初始化NESN，并進行預(yù)測。具體流程如圖3所示，詳細描述如下所示：

(1)讀取數(shù)據(jù)。對輸入數(shù)據(jù)進行歸一化預(yù)處理，并將數(shù)據(jù)劃分為訓(xùn)練集和測試集，訓(xùn)練集用于APSO算法優(yōu)化儲備池稀疏度和譜半徑，以及在線訓(xùn)練得到輸出連接權(quán)重。

(2)NESN參數(shù)設(shè)置及初始化。設(shè)置輸入神經(jīng)元數(shù)量K、儲備池內(nèi)部神經(jīng)元數(shù)量p、輸出神經(jīng)元數(shù)量L和非線性函數(shù)的階數(shù)q等參數(shù)，并初始化除了輸出連接權(quán)重矩陣外的其它連接權(quán)重矩陣，選擇雙曲正切函數(shù)為儲備池內(nèi)部神經(jīng)元激活函數(shù)。

(3)APSO算法參數(shù)設(shè)置及初始化。設(shè)置種群規(guī)模、最大迭代次數(shù)、空間維度、最大和最小速度、標(biāo)準(zhǔn)慣性權(quán)重和目標(biāo)適應(yīng)度等參數(shù)，并生成初始種群，按式(3)計算初始種群中各粒子的適應(yīng)度函數(shù)值，將其最優(yōu)適應(yīng)度值作為初始個體最優(yōu)適應(yīng)度值和全局適應(yīng)度值。本文APSO算法的適應(yīng)度函數(shù)值為將每個粒子的位置變量xi對應(yīng)的參數(shù)值代入NESN模型中進行預(yù)測返回的預(yù)測誤差值。

Figure 3 Flow chart of APSO-NESN algorithm圖3 APSO-NESN算法流程圖

(4)對APSO算法的初始種群進行自適應(yīng)慣性權(quán)重和學(xué)習(xí)因子更新、速度更新與判斷及位置更新操作，以獲得新一代種群；計算種群中各粒子的適應(yīng)度函數(shù)值，對全局最優(yōu)個體的位置和適應(yīng)度進行更新并記錄。重復(fù)操作此步驟直至達到APSO算法的最大迭代次數(shù)，返回全局最優(yōu)個體的位置。

(5)判斷NESN是否達到運行的終止條件(達到設(shè)置的最大運行次數(shù))，如果達到，則停止迭代過程，輸出預(yù)測模型歷史迭代運算中最小的預(yù)測誤差及測試樣本對應(yīng)的預(yù)測值；如果未達到運行的終止條件，則繼續(xù)執(zhí)行下一步。

(6)將APSO算法優(yōu)化得到的全局最優(yōu)個體解碼為NESN對應(yīng)的參數(shù)，并將優(yōu)化得到的儲備池稀疏度、譜半徑和輸出連接權(quán)重代入到NESN中，生成非線性回聲狀態(tài)網(wǎng)絡(luò)；然后輸入測試集進行預(yù)測，計算模型對測試樣本的預(yù)測誤差。

(7)更新NESN模型歷史迭代運算中最小的預(yù)測誤差，并將算法當(dāng)前的迭代計數(shù)增加1，繼續(xù)執(zhí)行第(5)步，判斷算法是否達到終止條件。

5 實例仿真和結(jié)果分析

為了檢驗組合預(yù)測模型APSO-NESN在電力需求預(yù)測上的應(yīng)用效果，本文選擇了2組真實的能源需求數(shù)據(jù)，并綜合運用多種誤差評價指標(biāo)，包括平均絕對百分比誤差MAPE(Mean Absolute Percentage Error)、均方根誤差RMSE(Root Mean Square Error)和平均絕對誤差MAE(Mean Absolute Error)，確保預(yù)測模型效果評價的全面性與客觀性。上述指標(biāo)的計算如式(11)～式(13)所示：

(11)

(12)

(13)

5.1 美國電力需求預(yù)測

5.1.1 實驗數(shù)據(jù)及數(shù)據(jù)集劃分

為了驗證APSO-NESN在電力需求預(yù)測方面的效果，本節(jié)仿真實驗使用的數(shù)據(jù)與文獻[17-19]中的相同。數(shù)據(jù)集的時間跨度為1967年～2009年，共包含了43年的電力需求EEC(Electrical Energy Consumption)、國內(nèi)生產(chǎn)總值GDP(Gross Domestic Produce)、人口POP(PoPulation)、進口額IMP(IMPort)和出口額EXP(EXPort)，如圖4所示。

Figure 4 Electricity demand of USA and its four influencing factors related data from 1967 to 2009圖4 美國1967年～2009年電力需求及其4個影響因素相關(guān)數(shù)據(jù)

5.1.2 參數(shù)設(shè)置與實驗結(jié)果分析

本文仿真實驗是在Matlab R2009b的編程環(huán)境下實現(xiàn)的，在充分考慮了文獻[9-11,20]中的經(jīng)驗和多次實驗后，APSO-NESN、DeepESN和DE-ESN的參數(shù)設(shè)置如表1所示。

模型參數(shù)設(shè)置完成后，將測試樣本作為預(yù)測模型的輸入進行預(yù)測。使用APSO算法優(yōu)化NESN迭代過程的誤差梯度走勢如圖5所示。優(yōu)化得到的儲備池稀疏度SD=0.2953和譜半徑SR=0.812，優(yōu)化結(jié)束后預(yù)測模型得到的測試樣本預(yù)測值與實際值的對比如圖6所示。

Table 1 Parameter settings of APSO-NESN,DeepESN and DE-ESN (USA) 表1 APSO-NESN,DeepESN和DE-ESN 3種優(yōu)化算法的參數(shù)設(shè)置(美國)

Figure 5 Error gradient trend of APSO-NESN (USA)圖5 APSO-NESN誤差梯度走勢圖(美國)

Figure 6 Comparison between predicted value and actual value of APSO-NESN (USA)圖6 APSO-NESN預(yù)測值與實際值對比圖(美國)

APSO-NESN、文獻[9,10]中的模型及其它研究[17 - 19]中的模型的預(yù)測效果對比如表2所示。其中,DeepESN是一種采用堆疊層次結(jié)構(gòu)的ESN新模型[9]，DE-ESN是一種基于ESN的混合預(yù)測模型[10]，這2種模型在類似預(yù)測問題上表現(xiàn)出了良好的綜合性能。故除了APSO-NESN，這2種模型在本文中同樣也被用作對比模型，以期得到客觀的對比數(shù)據(jù)。SFL-QR、IPSO-QR、SFL-ANN來自于文獻[17]，GD-ANN、PSO-ANN、IPSO-ANN來自于文獻[18]，ADE-BPNN來自于文獻[19]，相應(yīng)的預(yù)測結(jié)果都是從文獻[19]中直接獲取的。文獻[17]在運用GDP、POP、IMP和EXP4種社會經(jīng)濟因素對美國電力需求進行預(yù)測的同時，提出了將對電力需求預(yù)測產(chǎn)生積極影響的需求方管理DSM(DemandSideManagement)作為補充因素考慮進來，運用上述4個社會經(jīng)濟因素和DSM作為預(yù)測模型的自變量，將預(yù)測結(jié)果與未考慮DSM情況下的預(yù)測結(jié)果進行比較，如圖2所示。數(shù)據(jù)顯示,對比模型中最低的MAPE為ADE-BPNN的0.34%，而APSO-NESN的MAPE達到了0.31%，效果更好。

Figure 7 Industrial electricity consumption of Guangdong and its eight influencing factors related data from Jan.2016 to Oct.2019圖7 廣東省2016年1月～2019年10月工業(yè)用電量及其8個影響因素相關(guān)數(shù)據(jù)

Table 2 Comparison of MAPE between APSO-NESN and other models (USA)表2 APSO-NESN與其他對比模型的MAPE對比(美國)

5.2 廣東工業(yè)用電消耗量預(yù)測

5.2.1 輸入變量特征選擇與數(shù)據(jù)集劃分

本節(jié)仿真實驗將APSO-NESN用于廣東省月度工業(yè)用電消耗量預(yù)測。數(shù)據(jù)集包含了2016年1月至2019年10月共46個月的工業(yè)用電量IEC(Industrial Electricity Consumption)和影響IEC的8個因素，即出口額Export、進口額Import、工業(yè)出口交貨值IEDV(Industrial Export Delivery Value)、工業(yè)銷售產(chǎn)值ISV(Industrial Sales Value)、工業(yè)增加值IAV(Industrial Addition Value)、工業(yè)生產(chǎn)者購進價格指數(shù)PPI-buy(Industrial Producer Purchase Price Index)、工業(yè)生產(chǎn)者出廠價格指數(shù)PPI-sale(Industrial Producer Price Index)和工業(yè)企業(yè)利潤總額IEP(Industrial Enterprises Profits)，如圖7所示。

研究表明預(yù)測模型的效果受輸入數(shù)據(jù)質(zhì)量影響較大，因此，對輸入變量進行選擇是實現(xiàn)更準(zhǔn)確預(yù)測、更好解釋和確定關(guān)鍵變量進而對問題進行更深入分析的重要步驟。梯度提升決策樹GBDT(Gradient Boosting Decision Tree)是嵌入式變量選擇方法boosting中的一種，屬于基于樹的集成算法，使用決策樹作為學(xué)習(xí)器，對模型性能影響較小，同時模型訓(xùn)練結(jié)束后可以輸出特征的相對重要度，以獲取影響預(yù)測結(jié)果的關(guān)鍵因素。

GBDT衡量特征相對重要度的方式是通過計算所有非葉子節(jié)點在分裂時不純度的減少之和。不純度的減少值表示該節(jié)點此次分裂的收益值，因此節(jié)點分裂時收益越大，其相對重要度越高。本節(jié)仿真實驗中采用的是Friedman[21]提出的GBDT中計算特征相對重要度的方法。GBDT中構(gòu)建的樹都是二叉樹，特征α在單棵樹中的相對重要度計算如式(14)所示，特征α的全局相對重要度通過特征α在單棵樹中相對重要度的平均值來衡量，如式(15)所示:

(14)

(15)

本文實驗中基于GBDT的特征選擇是在Python 3.6的環(huán)境下編程實現(xiàn)的。首先將數(shù)據(jù)集劃分為GBDT模型的訓(xùn)練集、驗證集和測試集，其中訓(xùn)練集有28個樣本，驗證集有8個樣本，測試集有10個樣本。將劃分完成的數(shù)據(jù)集輸入到基于GBDT進行特征選擇的模型中，在訓(xùn)練過程中根據(jù)式(14)和式(15)來計算各個特征的相對重要度，最后輸出特征的相對重要度。

影響IEC的8個因素對應(yīng)的特征的相對重要度及其排序如圖8所示。去掉相對重要度最低的Import，將剩余的7個影響因素及IEC作為新的數(shù)據(jù)集，再次運用GBDT模型對新樣本進行特征選擇，以期對特征變量進行更為有效的選擇，得到的新樣本中7個因素對應(yīng)的特征相對重要度及其排序如圖9所示。本文又去掉了相對重要度最低的PPI-sale，然后將剩余的6個影響因素，即IEP、PPI-buy、Export、IEDV、IAV和ISV作為預(yù)測模型的輸入變量。將2016年1月～2018年12月的36個數(shù)據(jù)設(shè)置為訓(xùn)練集，2019年1月～2019年10月的10個數(shù)據(jù)設(shè)置為測試集。先對所有的數(shù)據(jù)進行歸一化預(yù)處理，使每個變量的取值都在[0,1]。

Figure 8 Relative importance of features based on GBDT (8 features)圖8 基于GBDT的特征相對重要度(8個特征)

Figure 9 Relative importance of features based on GBDT (7 features)圖9 基于GBDT的特征相對重要度(7個特征)

5.2.2 參數(shù)設(shè)置與實驗結(jié)果分析

本節(jié)實驗的運行環(huán)境與5.1節(jié)的相同。ARIMA預(yù)測模型的參數(shù)設(shè)置為ARIMA(1,1,1)。多元線性回歸MLR(Multiple Linear Regression)預(yù)測模型使用的是SPSS軟件中默認的參數(shù)。DeepESN和DE-ESN的參數(shù)設(shè)置中除了調(diào)整輸入神經(jīng)元數(shù)量外，其他參數(shù)設(shè)置均不做改變。APSO-NESN和PSO-NESN參數(shù)設(shè)置如表3所示。

Table 3 Optimization algorithm parameter settings of APSO-NESN and PSO-NESN (Guangdong)表3 APSO-NESN和PSO-NESN優(yōu)化算法參數(shù)設(shè)置(廣東)

參數(shù)設(shè)置完成后，將測試樣本作為預(yù)測模型的輸入進行預(yù)測。APSO和PSO優(yōu)化NESN的迭代過程中誤差梯度走勢分別如圖10和圖11所示;APSO優(yōu)化NESN得到的儲備池稀疏度和譜半徑，優(yōu)化結(jié)束后預(yù)測模型得到的測試樣本預(yù)測值與實際值的對比如圖12所示；PSO優(yōu)化NESN得到的儲備池稀疏度和譜半徑，優(yōu)化結(jié)束后預(yù)測模型得到的測試樣本預(yù)測值與實際值的對比如圖13所示。

Figure 10 Error gradient trend of APSO-NESN (Guangdong)圖10 APSO優(yōu)化NESN誤差梯度走勢圖(廣東)

Figure 11 Error gradient trend of PSO-NESN (Guangdong)圖11 PSO優(yōu)化NESN誤差梯度走勢圖(廣東)

Figure 12 Comparison between predicted value and actual value of APSO-NESN(Guangdong)圖12 APSO-NESN預(yù)測值與實際值對比圖 (廣東)

Figure 13 Comparison between value and actual value of PSO-NESN predicted (Guangdong)圖13 PSO-NESN預(yù)測值與實際值對比圖 (廣東)

APSO-NESN的預(yù)測效果與ARIMA、MLR、ESN、DE-ESN、DeepESN、NESN和PSO-NESN共7種對比模型的預(yù)測效果如表4所示。其中，ARIMA是一種常用的時間序列預(yù)測模型；MLR采用了分段擬合策略，是一種廣為采用的模型；除了DE-ESN和DeepESN，本文還將APSO-NESN中嵌入的ESN、NESN和PSO-NESN作為比較模型來分析所提出模型單個組成部分的影響。實驗結(jié)果顯示，APSO-NESN的MAPE為3.44%、RMSE為13.84、MAE為11.34，較對比模型在3種預(yù)測精度衡量指標(biāo)上均具有明顯優(yōu)勢。APSO-NESN預(yù)測結(jié)果的MAPE比ESN的下降了33.85%，比基本的NESN的下降了32.55%，比PSO-NESN的下降了15.27%，從中可以看出APSO提高了NESN的預(yù)測性能。此外，相比ARIMA和MLR，APSO-NESN的預(yù)測效果有大幅的提升。實驗結(jié)果表明,APSO-NESN在電力需求預(yù)測方面是有效的，可以作為一個具有競爭力的替代方法。

Table 4 Comparison of MAPE between APSO-NESN and other prediction models(Guangdong)表4 APSO-NESN與其他預(yù)測模型結(jié)果及對比(廣東)

6 結(jié)束語

本文首先引入自適應(yīng)算子對標(biāo)準(zhǔn)PSO算法的慣性權(quán)重和學(xué)習(xí)因子進行改進，并采用非線性函數(shù)來構(gòu)建ESN儲備池內(nèi)部狀態(tài)的非線性關(guān)系；然后利用APSO算法對NESN的關(guān)鍵參數(shù)進行優(yōu)化，以構(gòu)建APSO-NESN組合預(yù)測模型，拓展了算法的應(yīng)用領(lǐng)域，為ESN的應(yīng)用提供了新的思路。在實驗中，本文將APSO-NESN用來預(yù)測美國電力需求和廣東工業(yè)用電消耗量。在美國電力需求預(yù)測中，APSO-NESN的MAPE達到了0.31%，優(yōu)于SFL-QR、IPSO-QR、SFL-ANN、IPSO-ANN、GD-ANN、PSO-ANN、ADE-BPNN、DE-ESN和DeepESN預(yù)測模型。在廣東工業(yè)用電消耗量預(yù)測中，APSO-NESN的MAPE為3.44%,RMSE為13.84,MAE為11.34，比ARIMA、MLR、ESN、DE-ESN、DeepESN、NESN和PSO-NESN預(yù)測模型效果更好。實驗結(jié)果表明，引入自適應(yīng)算子和非線性函數(shù)的APSO-NSN組合預(yù)測模型在收斂速度和預(yù)測精度上表現(xiàn)更優(yōu)，驗證了模型的有效性。未來可通過拓展儲備池拓撲結(jié)構(gòu)優(yōu)化的方式來提高APSO-NESN模型的預(yù)測效果，并嘗試使用多種深度學(xué)習(xí)方法(如XGBoost)更有效地選擇適合能源需求預(yù)測的信息。