權(quán) 浩,呂立臻,郭 健,葛軼文,柳 偉
(南京理工大學(xué)自動化學(xué)院,江蘇省南京市 210094)
隨著中國“雙碳”戰(zhàn)略和以新能源為主體的新型電力系統(tǒng)建設(shè)目標(biāo)的提出,未來電力系統(tǒng)將呈現(xiàn)高比例可再生能源和高度電力電子化的“雙高”特征。可再生能源具有波動性和間歇性等不確定性特征,在運(yùn)行和調(diào)度時(shí)存在棄風(fēng)、棄光等問題[1-2]?;诳稍偕茉礆v史出力和外部環(huán)境因素?cái)?shù)據(jù),準(zhǔn)確預(yù)測其出力、有效量化其不確定性對優(yōu)化風(fēng)電、光伏電場運(yùn)行調(diào)度以及保障電力系統(tǒng)安全穩(wěn)定運(yùn)行具有重要意義。
目前,風(fēng)光預(yù)測模型主要分為4 類:物理數(shù)學(xué)模型、統(tǒng)計(jì)模型、人工智能數(shù)據(jù)驅(qū)動模型和混合模型[3]。其中,比較常見的預(yù)測模型有整合滑動平均自回歸模型[4]、神經(jīng)網(wǎng)絡(luò)(neural network,NN)模型[3]、支 持 向 量 回 歸(support vector regression,SVR)模型[5]、深度學(xué)習(xí)模型及其變式[6]等。以上數(shù)據(jù)驅(qū)動模型參數(shù)依賴于數(shù)據(jù),對數(shù)據(jù)的質(zhì)量要求較高,其泛化性能、可解釋性和訓(xùn)練時(shí)間等是研究中主要關(guān)注的問題。
文獻(xiàn)[7]提出的極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)模型具有訓(xùn)練速度快且算法一致性強(qiáng)的優(yōu)點(diǎn)。ELM 本質(zhì)上是一種單隱含層前向人工神經(jīng)網(wǎng)絡(luò),標(biāo)準(zhǔn)前向神經(jīng)網(wǎng)絡(luò)已被證明有著較強(qiáng)的函數(shù)擬合和逼近能力[8-10]。文獻(xiàn)[11-12]研究了當(dāng)隱含層節(jié)點(diǎn)個(gè)數(shù)有限時(shí),多層前向神經(jīng)網(wǎng)絡(luò)的逼近能力。ELM 模型除了被廣泛應(yīng)用于可再生能源預(yù)測領(lǐng)域[13],也被應(yīng)用在可再生能源的聚合序列生成[14]、電力系統(tǒng)頻率安全評估[15]和用戶用電行為分類[16]等方面。
現(xiàn)有研究大多直接采用ELM 實(shí)現(xiàn)電力系統(tǒng)中的具體應(yīng)用,對于ELM 原訓(xùn)練方法、輸出層偏移和自適應(yīng)優(yōu)化等問題改進(jìn)不足。但是原始ELM 模型訓(xùn)練過程具有隨機(jī)性且在矩陣逆運(yùn)算過程中缺少對參數(shù)的微調(diào),導(dǎo)致該模型雖然訓(xùn)練速度較快,但是在精度上有所欠缺。已有研究提出引入智能優(yōu)化算法對ELM 模型的參數(shù)進(jìn)行優(yōu)化。文獻(xiàn)[17]采用粒子群優(yōu)化算法優(yōu)化ELM 輸出權(quán)值,文獻(xiàn)[18]將麻雀優(yōu)化算法應(yīng)用于深度極限學(xué)習(xí)機(jī)中進(jìn)行參數(shù)尋優(yōu),均提高了ELM 模型的預(yù)測性能。已有ELM 模型參數(shù)優(yōu)化以單階段優(yōu)化為主。
與傳統(tǒng)進(jìn)化算法相比,自然進(jìn)化策略(natural evolution strategy,NES)[19-20]是 一 種 利 用 分 布 參 數(shù)上的估計(jì)梯度迭代更新搜索分布的進(jìn)化策略,其引入自然梯度下降替代傳統(tǒng)進(jìn)化算子中的隨機(jī)突變和重組步驟。對概率分布空間進(jìn)行優(yōu)化,改善了常規(guī)梯度中存在的振蕩、過早收斂和尺度不變性問題,使得進(jìn)化方向能夠向更好的個(gè)體適應(yīng)度進(jìn)行。NES在函數(shù)擬合、全局優(yōu)化等方面已有不少研究成果。文獻(xiàn)[21]提出了一種基于NES 的動態(tài)流權(quán)值學(xué)習(xí)框架,該框架通過多模態(tài)數(shù)據(jù)融合進(jìn)行目標(biāo)定位和跟蹤,且不需要顯式計(jì)算Oracle 信息。文獻(xiàn)[22]提出了一種擴(kuò)展的距離加權(quán)指數(shù)NES,適用于具有不確定性的目標(biāo)函數(shù)參數(shù)優(yōu)化問題。文獻(xiàn)[23]提出了一種同時(shí)估計(jì)狀態(tài)空間模型狀態(tài)和參數(shù)的序貫估計(jì)方法,降低了多種模型的均方誤差。
為了提升ELM 模型的預(yù)測精度,與常規(guī)單階段的訓(xùn)練方法不同,本文將其與NES 相結(jié)合,提出了ELM 網(wǎng)絡(luò)參數(shù)兩階段優(yōu)化訓(xùn)練方法及可再生能源功率預(yù)測改進(jìn)模型。在第1 階段,使用ELM 隨機(jī)參數(shù)和廣義矩陣逆運(yùn)算過程訓(xùn)練模型網(wǎng)絡(luò)參數(shù);第2階段在其基礎(chǔ)上引入輸出層偏移,利用NES 繼續(xù)優(yōu)化訓(xùn)練,并進(jìn)一步引入自適應(yīng)因子優(yōu)化收斂速度,用以提高預(yù)測模型精度。
ELM 是一種前向人工神經(jīng)網(wǎng)絡(luò)[7]。前向人工神經(jīng)網(wǎng)絡(luò)能夠從所提供的訓(xùn)練樣本中直接擬合輸入和輸出之間的非線性映射關(guān)系,從而為難以通過傳統(tǒng)數(shù)據(jù)分析方法得到合適解析式的工程問題提供數(shù)學(xué)模型。ELM 網(wǎng)絡(luò)結(jié)構(gòu)見附錄A 圖A1。
ELM 預(yù)測模型作為前饋神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)形式,具有學(xué)習(xí)速度快、效率高等優(yōu)點(diǎn)。在ELM 中,隱含層的連接權(quán)值和偏差是隨機(jī)生成的,輸出層的連接權(quán)值通過矩陣求逆得到。與其他機(jī)器學(xué)習(xí)模型相比,ELM 模型的優(yōu)點(diǎn)在于其無須在反復(fù)的迭代過程中調(diào)整參數(shù),極大地節(jié)省了訓(xùn)練模型所需時(shí)間并具有與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相當(dāng)?shù)念A(yù)測精度。此外,ELM 在網(wǎng)絡(luò)訓(xùn)練可重復(fù)性和穩(wěn)定性方面也具有一定優(yōu)勢,在不同的重復(fù)實(shí)驗(yàn)中保持了良好的穩(wěn)定性。因此,ELM 適合于需要大量模型訓(xùn)練的集合預(yù)測、特征選擇等任務(wù)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比,ELM 模型的缺點(diǎn)在于隨機(jī)和廣義矩陣求逆過程可能會導(dǎo)致模型對訓(xùn)練集依賴性較高,可以通過優(yōu)化算法對模型參數(shù)進(jìn)行第2 階段的優(yōu)化訓(xùn)練。鑒于ELM 的以上優(yōu)點(diǎn),本文選取ELM 作為可再生能源預(yù)測與優(yōu)化模型。算法流程如下[7]。
對于給定的由N個(gè)訓(xùn)練樣本(xj,tj)組成的訓(xùn)練集,其中,xj∈Rl為第j個(gè)訓(xùn)練樣本的輸入向量,具有l(wèi)個(gè)維度方向,tj∈Rm為第j個(gè)訓(xùn)練樣本的目標(biāo)真實(shí)值,具有m個(gè)維度方向,則ELM 數(shù)學(xué)模型如下:
式中:N?為預(yù)測模型隱含層的節(jié)點(diǎn)個(gè)數(shù);g(·)為預(yù)測模型隱含層激活函數(shù);βi∈Rm為預(yù)測模型隱含層第i個(gè)節(jié)點(diǎn)到輸出層的連接權(quán)重;wi∈Rl為模型輸入層到隱含層第i個(gè)節(jié)點(diǎn)的連接權(quán)重;bi為輸入層到隱含層 第i個(gè) 節(jié) 點(diǎn) 的 偏 移 量;t?j∈Rm為 第j個(gè) 訓(xùn) 練 樣 本 的模型輸出值??梢园l(fā)現(xiàn),原始ELM 隱含層到輸出層沒有偏移值設(shè)置。
式(1)和式(2)可整理為:
其具體訓(xùn)練過程如下[7]:
1)確定隱含層節(jié)點(diǎn)數(shù)N?和激活函數(shù)g(·);
2)隨機(jī)產(chǎn)生輸入層到隱含層連接權(quán)重矩陣W和輸入層到隱含層偏移矩陣B;
3)計(jì)算隱含層輸出矩陣H;
4)通過廣義矩陣逆運(yùn)算求得β=H+T,其中H+為矩陣H的Moore-Penrose 廣義逆矩陣。
NES 算法[19]是進(jìn)化策略算法的一類變式算法,與傳統(tǒng)標(biāo)準(zhǔn)進(jìn)化策略算法的主要區(qū)別在于利用分布參數(shù)的估計(jì)梯度來迭代更新搜索分布[20]。其一般過程如下:首先,利用諸如高斯分布等參數(shù)化分布方法在原有初始化基因個(gè)體周圍生成一批突變搜索點(diǎn),并在每個(gè)搜索點(diǎn)處計(jì)算適應(yīng)度函數(shù),通過選擇不同的參數(shù)分布形式,使算法具有自適應(yīng)地捕捉適應(yīng)度函數(shù)局部結(jié)構(gòu)的能力;然后,在這些由隨機(jī)分布所生成的子代樣本中,采用NES 算法計(jì)算參數(shù)的搜索梯度;最后,沿著自然梯度采用一定的數(shù)學(xué)公式更新基因個(gè)體的基因序列,以達(dá)到更加適合的目標(biāo)函數(shù)適應(yīng)度值。通過重復(fù)上述過程可以使得目標(biāo)函數(shù)按自然梯度方向達(dá)到最優(yōu)值。
以本文所采用的多重正態(tài)分布為例,具體算法過程如下[20]:
1)確定NES 算法進(jìn)行搜索的起點(diǎn),即初始化基因X;
2)利用多重正態(tài)分布在初始化基因X周圍生成符合分布的n個(gè)基因樣本,第s個(gè)基因樣本Zs~N(X,σ),其中,σ為多重正態(tài)分布的分布范圍協(xié)方差矩陣;
3)計(jì)算第s個(gè)基因樣本Zs的目標(biāo)函數(shù)適應(yīng)度值f(Zs);
4)計(jì)算將被用于更新基因個(gè)體X基因序列的對數(shù)導(dǎo)數(shù)?Zlogπ(Zs|θ)以及被用于更新σ的對數(shù)導(dǎo)數(shù)
式中:θ為分布函數(shù)π(Zs|θ)的參數(shù);?Z和?σ表示對對數(shù)似然函數(shù)中參數(shù)的各元素進(jìn)行求導(dǎo)。
5)計(jì)算被用于更新基因個(gè)體X基因序列的自然梯度向量?Z J以及被用于更新σ的自然梯度向量?σ J:
6)用?Z J和?σ J分別以同樣的學(xué)習(xí)速率η更新基因個(gè)體X基因序列和σ得到X*和σ*:
7)重復(fù)上述過程直到算法達(dá)到完全收斂或者達(dá)到迭代循環(huán)次數(shù)上限。
基于NES 算法的ELM 網(wǎng)絡(luò)參數(shù)訓(xùn)練優(yōu)化方法的主要流程圖如圖1 所示。
圖1 基于NES 算法的兩階段參數(shù)訓(xùn)練方法流程圖Fig.1 Flow chart of two-stage parameter training method based on NES algorithm
首先,利用可再生能源歷史出力數(shù)據(jù)和外部環(huán)境變量,通過ELM 隨機(jī)過程和廣義逆運(yùn)算求逆過程得到第1 階段的模型參數(shù)。其次,在第1 階段模型參數(shù)的基礎(chǔ)上引入輸出層偏移量,初始值設(shè)置為零。然后,對模型網(wǎng)絡(luò)參數(shù)與預(yù)測目標(biāo)值之間的關(guān)系進(jìn)行數(shù)學(xué)建模,并利用帶有自適應(yīng)因子改進(jìn)的NES 算法進(jìn)行第2 階段的優(yōu)化。最后,通過預(yù)測誤差衡量本文所提優(yōu)化方法的性能。詳細(xì)步驟如下。
1)通過訓(xùn)練集和隨機(jī)過程產(chǎn)生輸入層到隱含層的連接權(quán)重矩陣W'和偏移矩陣B';
2)計(jì)算隱含層輸出矩陣H':
式中:uj為模型輸入向量,j=1,2,…,N;w'i和b'i分別為第1 階段求得的wi和bi。
3)通過廣義矩陣逆運(yùn)算求得輸出權(quán)重β'=H'+T,其中,H'+為矩陣Η'的Moore-Penrose 廣義逆矩陣[7],從而得到第1 階段的模型網(wǎng)絡(luò)參數(shù)W'和B'。
步驟1:在上述第1 階段得到的模型參數(shù)中引入隱含層至輸出層的偏移,組合成第2 階段參數(shù)訓(xùn)練所需的輸入,同時(shí)對其與該模型在訓(xùn)練集上的預(yù)測誤差之間的映射關(guān)系進(jìn)行數(shù)學(xué)建模,其過程如下。
1)將上述第1 階段模型參數(shù)W'、B'和β'的數(shù)據(jù)集合按順序組合成向量形式,視為輸入x1,x2,…,xD,其中,D為第1 階段模型參數(shù)總個(gè)數(shù)。
2)在ELM 模型參數(shù)的基礎(chǔ)上,引入新參數(shù)隱含層到輸出層的偏移基Β'ο,初始值設(shè)置為零,視為xD+1(點(diǎn)預(yù)測模型為單輸出)與原模型參數(shù)一起組合為第2 階段優(yōu)化參數(shù)。
3)將該模型在訓(xùn)練集上的預(yù)測誤差(模型輸出與目標(biāo)值的差)視為第2 階段需優(yōu)化的目標(biāo)函數(shù)f(x1,x2,…,xD+1),其中,f(·)表示預(yù)測模型的輸入向量和預(yù)測誤差之間的映射關(guān)系。
4)將輸入與預(yù)測誤差之間的映射關(guān)系轉(zhuǎn)化為標(biāo)準(zhǔn)的參數(shù)優(yōu)化問題:
步驟2:利用NES 優(yōu)化算法對上述參數(shù)優(yōu)化問題進(jìn)行求解[20]。
1)將第2 階段步驟1 中所得多個(gè)輸入x1,x2,…,xD+1作為初始種群空間。
2)利用多重正態(tài)分布在初始化基因X周圍生成n個(gè)突變基因樣本X?s,其計(jì)算公式如下:
式中:ρ為比率系數(shù);es為服從期望為0、協(xié)方差矩陣為單位矩陣I的正態(tài)分布的噪聲,即es~N(0,I)。
3)計(jì)算第s個(gè)基因樣本X?s的目標(biāo)函數(shù)f(X?s)和其適應(yīng)度值。
4)計(jì)算將被用于更新基因個(gè)體X基因序列的對數(shù)導(dǎo)數(shù)?Zlogπ(X?s|θ)以及被用于更新σ的對數(shù)導(dǎo)數(shù)?σlogπ(X?s|θ):
5)計(jì)算被用于更新基因個(gè)體X基因序列的自然梯度向量?Z J以及被用于更新σ的自然梯度向量?σ J:
式中:λ為自適應(yīng)因子。
7)引入自適應(yīng)因子λ,其數(shù)值由f(X?s)的方差δ決定。當(dāng)方差δ過大時(shí),令λ<1,縮小多重正態(tài)分布分布范圍σ;當(dāng)方差δ過小時(shí),令λ>1,擴(kuò)大多重正態(tài)分布分布范圍σ。
8)重復(fù)1)至7)過程直至達(dá)到設(shè)定好的收斂條件或者循環(huán)上限。
步驟3:計(jì)算測試集預(yù)測目標(biāo)預(yù)測值和誤差。
將步驟 2 中 6)所得優(yōu)化完成的輸入x1,x2,…,xD+1中的前D位數(shù)據(jù)重新組合成優(yōu)化后連接權(quán)重W″、偏移B″和輸出權(quán)重β″的矩陣形式,而xD+1構(gòu)成優(yōu)化后的輸出偏移基B″o,在測試集數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)計(jì)算其預(yù)測目標(biāo)預(yù)測值T?:
式中:H″、β″i、w″i、b″i分別為優(yōu)化后的H、βi、wi、bi。
則 均 方 根 誤 差(root mean squared error,RMSE)可表示為:
式中:Tj和T?j分別為第j個(gè)樣本的目標(biāo)真實(shí)值和預(yù)測值。
為了檢驗(yàn)本文所提基于NES 算法的ELM 模型網(wǎng)絡(luò)參數(shù)兩階段訓(xùn)練優(yōu)化的有效性,分別對光伏和風(fēng)能2 個(gè)案例進(jìn)行驗(yàn)證分析。
支撐光伏研究案例的數(shù)據(jù)收集自澳大利亞昆士蘭大學(xué)圣盧西亞校區(qū),其擁有2.14 MW 的集成光伏發(fā)電裝置。本文所使用的光伏出力數(shù)據(jù)選自2015-03-21 的05:00 至2017-03-21 的18:00,額 定 容 量 約為0.35 MW,原始數(shù)據(jù)分辨率為1 min。同時(shí)期的氣象等外部數(shù)據(jù)包括空氣濕度、太陽輻射強(qiáng)度、風(fēng)速、風(fēng)向和氣溫5 類。本算例預(yù)測短期內(nèi)未來1 h 光伏發(fā)電廠功率出力,將數(shù)據(jù)預(yù)處理為1 h 分辨率并補(bǔ)全丟失的數(shù)據(jù),2 年合計(jì)10 234 組記錄。光伏案例部分?jǐn)?shù)據(jù)展示見附錄A 圖A2。
在實(shí)驗(yàn)開始前,將數(shù)據(jù)集按照2∶1∶1 拆分為訓(xùn)練集、驗(yàn)證集和測試集。第1 部分為訓(xùn)練集,數(shù)量為5 117 h,作用是訓(xùn)練本文所提預(yù)測模型;第2 部分為驗(yàn)證集,數(shù)量為2 558 h,作用是參與本文的模型訓(xùn)練和特征輸入選取過程,通過觀察預(yù)測模型在驗(yàn)證集上的表現(xiàn)調(diào)整模型參數(shù)、優(yōu)化模型結(jié)構(gòu)和預(yù)測結(jié)果;第3 部分為測試集,數(shù)量為2 558 h,作用是測試最終預(yù)測模型精度。本文根據(jù)ELM 預(yù)測模型的特點(diǎn),將模型輸入?yún)?shù)和預(yù)測目標(biāo)(光伏出力)做0-1標(biāo)準(zhǔn)化處理。
支撐風(fēng)能案例研究內(nèi)容的數(shù)據(jù)集來自美國國家可再生能源實(shí)驗(yàn)室(National Renewable Energy Laboratory,NREL)某風(fēng)電場2012 年的風(fēng)電功率和周圍環(huán)境信息數(shù)據(jù),其額定容量為16 MW,NREL內(nèi)部標(biāo)識號為46 620,經(jīng)度坐標(biāo)為-106.398 224°,緯度坐標(biāo)為39.273 796°。風(fēng)能案例部分?jǐn)?shù)據(jù)展示見附錄A 圖A3。
原數(shù)據(jù)集為每5 min 記錄一次的風(fēng)力發(fā)電廠功率出力數(shù)據(jù)以及周圍環(huán)境風(fēng)速、風(fēng)向信息。同光伏案例一樣,為了符合預(yù)測短期內(nèi)未來1 h 風(fēng)力發(fā)電廠功率出力這一目標(biāo),本文將其分辨率處理為1 h,處理完成后的數(shù)據(jù)集長度為8 784 h 且對其進(jìn)行0-1 標(biāo)準(zhǔn)化處理,并按2∶1∶1 的比例拆分?jǐn)?shù)據(jù)集。
ELM 模型預(yù)測精度受激活函數(shù)類型與網(wǎng)絡(luò)結(jié)構(gòu)影響明顯。本文針對預(yù)測對象特點(diǎn),調(diào)研了激活函數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)選擇對ELM 預(yù)測精度的影響。
采用MATLAB 軟件分別對不同激活函數(shù)和隱含層節(jié)點(diǎn)個(gè)數(shù)下的預(yù)測模型進(jìn)行仿真和對比,所調(diào)研的輸入層激活函數(shù)包括S 型函數(shù)、硬閾值函數(shù)和正弦函數(shù)。選取的隱含層節(jié)點(diǎn)變換范圍為10 到1 000(風(fēng)能為200),分度值為10。光伏案例和風(fēng)能案例的比較結(jié)果如圖2 所示。
圖2 不同激活函數(shù)下ELM 預(yù)測模型在驗(yàn)證集上的RMSEFig.2 RMSE of ELM forecasting model on validation set with different activation functions
從圖2(a)可以看出,RMSE 隨著隱含層節(jié)點(diǎn)個(gè)數(shù)的增加,一開始呈現(xiàn)明顯的下降趨勢,然后呈上升趨勢。
從圖2(b)可以看出,正弦函數(shù)的性能隨隱含層節(jié)點(diǎn)數(shù)的增加而急劇波動,誤差最大。采用S 型函數(shù)時(shí)的預(yù)測誤差最小,且隨著隱含層節(jié)點(diǎn)數(shù)的變化較為穩(wěn)定。
綜合2 個(gè)案例來看,當(dāng)隱含層節(jié)點(diǎn)數(shù)小于200時(shí),S 型函數(shù)的RMSE 最小且最穩(wěn)定,比其他2 種激活函數(shù)更適合于本文的預(yù)測任務(wù)。因此,選擇S 型函數(shù)作為本文預(yù)測模型的激活函數(shù)??紤]到提高模型準(zhǔn)確性和減少計(jì)算復(fù)雜度來降低模型預(yù)測時(shí)間,光伏案例選擇的隱含層節(jié)點(diǎn)數(shù)為70,風(fēng)能案例選擇的隱含層節(jié)點(diǎn)數(shù)為100。
從圖3 中光伏案例不同隱含層節(jié)點(diǎn)數(shù)下的訓(xùn)練集和測試集RMSE 可知,隨著隱含層節(jié)點(diǎn)數(shù)的不斷提高,訓(xùn)練集的RMSE 先迅速減少,然后緩慢下降;而驗(yàn)證集的RMSE 在隱含層節(jié)點(diǎn)數(shù)小于70 時(shí)迅速減少,當(dāng)隱含層節(jié)點(diǎn)數(shù)大于70 時(shí),存在較為明顯的上升趨勢,說明大量增加隱含層節(jié)點(diǎn)數(shù)可能會造成過擬合現(xiàn)象,反而不利于驗(yàn)證集的誤差減小。風(fēng)能案例也有類似結(jié)果,本文不再贅述。
圖3 光伏案例中不同隱含層節(jié)點(diǎn)數(shù)下ELM 預(yù)測模型的RMSEFig.3 RMSE of ELM forecasting model with different numbers of hidden nodes in photovoltaic case
1)預(yù)測模型網(wǎng)絡(luò)參數(shù)第1 階段訓(xùn)練
通過上述過程確定ELM 預(yù)測模型的結(jié)構(gòu)參數(shù)后,第1 階段網(wǎng)絡(luò)訓(xùn)練采用網(wǎng)絡(luò)參數(shù)隨機(jī)初始化以及Moore-Penrose 廣義矩陣逆運(yùn)算求解過程等得到預(yù)測模型隱含層連接權(quán)重、隱含層偏移和輸出層連接權(quán)重等參數(shù)。
2)預(yù)測模型網(wǎng)絡(luò)參數(shù)第2 階段訓(xùn)練
本文研究過程中NES 算法參數(shù)設(shè)置學(xué)習(xí)速率為0.1%~1.0%,多重正態(tài)分布分布范圍為0.001。
隨著NES 算法迭代次數(shù)的增加,2 個(gè)案例在驗(yàn)證集上預(yù)測值與真實(shí)值的標(biāo)準(zhǔn)化均方根誤差(nRMSE)變化過程如圖4 所示。
圖4 第2 階段驗(yàn)證集的nRMSE 變化Fig.4 Change of nRMSE on validation set in stage 2
通過圖4 可知,隨著循環(huán)次數(shù)的不斷增加直至達(dá)到設(shè)置的循環(huán)次數(shù)上限,經(jīng)過每次迭代優(yōu)化過程得到的模型網(wǎng)絡(luò)參數(shù)在驗(yàn)證集上的nRMSE 總體呈下降趨勢,且在重復(fù)實(shí)驗(yàn)中均能夠取得較理想的優(yōu)化結(jié)果,這也體現(xiàn)了本文所提兩階段優(yōu)化訓(xùn)練方法的穩(wěn)定性。
在光伏案例中,測試集真實(shí)值優(yōu)化過程中具體的下降幅度為:在驗(yàn)證集上,nRMSE 從優(yōu)化前的0.074 95 下降到優(yōu)化后的0.074 02,預(yù)測誤差減小了1.24%。在風(fēng)能案例中,測試集真實(shí)值優(yōu)化過程中具體的下降幅度為:在驗(yàn)證集上,nRMSE 從優(yōu)化前的0.132 3 下降到優(yōu)化后的0.131 0,預(yù)測誤差減小了0.98%。
從圖5 可以看到,2 個(gè)案例中第2 階段優(yōu)化后的測試集預(yù)測值曲線與第1 階段測試集預(yù)測值曲線相比,都更加貼合測試集真實(shí)值曲線,預(yù)測結(jié)果經(jīng)過第2 階段的優(yōu)化后誤差減小。
圖5 測試集真實(shí)值、第1 階段預(yù)測值和第2 階段預(yù)測值對比Fig.5 Comparison of real values and forecasting values from stage 1 and stage 2 on test set
本文所提基于NES 算法的ELM 兩階段模型參數(shù)優(yōu)化(簡稱為NES-ELM)方法分別與4 個(gè)比對模型開展預(yù)測結(jié)果比較,包括持續(xù)性模型(persistence model,PM)、人工神經(jīng)網(wǎng)絡(luò)(ANN)、SVR 和隨機(jī)森林(RF)。誤差度量指標(biāo)包括RMSE、nRMSE(選用最大值標(biāo)準(zhǔn)化)、平均絕對誤差(MAE)、加權(quán)平均絕對百分比誤差(WMAPE)和平均偏差誤差(MBE)。為了體現(xiàn)兩階段優(yōu)化結(jié)果和單階段優(yōu)化結(jié)果的比較,分 別 給 出 了NES-ELM 第1 階 段(NES-ELMS1)和第2 階段(NES-ELM-S2)的預(yù)測結(jié)果。所提方法與比對模型預(yù)測誤差的比較結(jié)果如表1 所示,各項(xiàng)指標(biāo)的最優(yōu)值均用紅色字體顯示。
表1 本文方法與比對預(yù)測模型在測試集上的誤差比較Table 1 Comparison of errors between proposed method and comparative prediction models on test set
由表1 可以看出:光伏案例和風(fēng)能案例第2 階段預(yù)測精度均優(yōu)于第1 階段,nRMSE 指標(biāo)分別提升了0.99%和0.66%。光伏案例中,本文所提NESELM 方法在各個(gè)誤差衡量指標(biāo)下均優(yōu)于4 個(gè)比對預(yù)測模型。而風(fēng)能案例中就本文所采納的預(yù)測誤差衡量核心指標(biāo)RMSE 和nRMSE 而言,所提方法均優(yōu)于4 個(gè)比對模型,而其他誤差指標(biāo)與最優(yōu)比對模型預(yù)測誤差相當(dāng)。
光伏、風(fēng)電等可再生能源具有明顯的季節(jié)性特點(diǎn),其預(yù)測結(jié)果受不同季節(jié)影響往往有較強(qiáng)的波動性。在上述實(shí)驗(yàn)的基礎(chǔ)上,將2016 年光伏案例和2012 年風(fēng)能案例的數(shù)據(jù)集拆分成4 個(gè)季節(jié),使用本文所提方法對未來1 h 出力進(jìn)行預(yù)測,并且將其與其他預(yù)測模型進(jìn)行對比,比較結(jié)果如表2 和表3 所示,各項(xiàng)指標(biāo)的最優(yōu)值均用紅色字體顯示。
表2 本文方法與比對預(yù)測模型在光伏案例不同季節(jié)測試集誤差比較Table 2 Comparison of errors between proposed method and comparative prediction models on test set of different seasons in photovoltaic case
表3 本文方法與比對預(yù)測模型在風(fēng)能案例不同季節(jié)測試集誤差比較Table 3 Comparison of errors between proposed method and comparative prediction models on test set of different seasons in wind energy case
由表2 可以看出:在光伏案例不同季節(jié)的4 個(gè)測試集中,第2 階段的預(yù)測精度均比第1 階段有所提升,nRMSE 指標(biāo)分別提升了4.44%、1.10%、1.02%和1.53%;與其他模型相比,除MBE 指標(biāo)外,NES-ELM 模型均優(yōu)于其他4 個(gè)比對模型。
由表3 可以看出:在風(fēng)能案例不同季節(jié)的4 個(gè)測試集中,第2 階段的預(yù)測精度均比第1 階段有所提升,nRMSE 指標(biāo)分別提升了0.35%、0.77%、0.85%和0.78%;與其他模型相比,在春季、秋季、冬季數(shù)據(jù)集中,預(yù)測誤差衡量標(biāo)指標(biāo)nRMSE 均優(yōu)于傳統(tǒng)模型。
為了提升ELM 模型對于可再生能源出力的預(yù)測精度,本文提出一種基于NES 算法的可再生能源ELM 預(yù)測模型網(wǎng)絡(luò)參數(shù)兩階段訓(xùn)練優(yōu)化方法。在澳大利亞昆士蘭大學(xué)光伏電站實(shí)際出力數(shù)據(jù)和NREL 的風(fēng)電場數(shù)據(jù)上進(jìn)行預(yù)測和分析。結(jié)果表明,本文所提出的NES-ELM 兩階段預(yù)測模型在2 個(gè)案例中的預(yù)測精度均有所提高。第2 階段預(yù)測精度全部優(yōu)于第1 階段,即nRMSE 誤差有效降低且表現(xiàn)穩(wěn)定。與4 個(gè)比對模型相比,所提出的改進(jìn)模型在減小預(yù)測誤差方面具有優(yōu)勢。同時(shí),對由不同季節(jié)的波動特性數(shù)據(jù)構(gòu)成的數(shù)據(jù)集進(jìn)行了預(yù)測和分析,結(jié)果表明該方法提升了多數(shù)季節(jié)的預(yù)測精度,預(yù)測模型性能較為穩(wěn)定。
后續(xù)可以進(jìn)一步開展NES 算法的參數(shù)變化對模型優(yōu)化和誤差的影響研究。兩階段ELM 模型和NES 算法的應(yīng)用不限于本文的研究內(nèi)容,還可以對ELM 模型的輸出層進(jìn)行拓展,對可再生能源進(jìn)行概率預(yù)測,例如區(qū)間和分位點(diǎn)預(yù)測等。
附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx),掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。