權(quán) 浩，呂立臻，郭 健，葛軼文，柳 偉

（南京理工大學(xué)自動化學(xué)院，江蘇省南京市 210094）

0 引言

隨著中國“雙碳”戰(zhàn)略和以新能源為主體的新型電力系統(tǒng)建設(shè)目標(biāo)的提出，未來電力系統(tǒng)將呈現(xiàn)高比例可再生能源和高度電力電子化的“雙高”特征。可再生能源具有波動性和間歇性等不確定性特征，在運(yùn)行和調(diào)度時(shí)存在棄風(fēng)、棄光等問題［1-2］?；诳稍偕茉礆v史出力和外部環(huán)境因素?cái)?shù)據(jù)，準(zhǔn)確預(yù)測其出力、有效量化其不確定性對優(yōu)化風(fēng)電、光伏電場運(yùn)行調(diào)度以及保障電力系統(tǒng)安全穩(wěn)定運(yùn)行具有重要意義。

目前，風(fēng)光預(yù)測模型主要分為4 類:物理數(shù)學(xué)模型、統(tǒng)計(jì)模型、人工智能數(shù)據(jù)驅(qū)動模型和混合模型［3］。其中，比較常見的預(yù)測模型有整合滑動平均自回歸模型［4］、神經(jīng)網(wǎng)絡(luò)（neural network，NN）模型［3］、支 持 向 量 回 歸（support vector regression，SVR）模型［5］、深度學(xué)習(xí)模型及其變式［6］等。以上數(shù)據(jù)驅(qū)動模型參數(shù)依賴于數(shù)據(jù)，對數(shù)據(jù)的質(zhì)量要求較高，其泛化性能、可解釋性和訓(xùn)練時(shí)間等是研究中主要關(guān)注的問題。

文獻(xiàn)［7］提出的極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）模型具有訓(xùn)練速度快且算法一致性強(qiáng)的優(yōu)點(diǎn)。ELM 本質(zhì)上是一種單隱含層前向人工神經(jīng)網(wǎng)絡(luò)，標(biāo)準(zhǔn)前向神經(jīng)網(wǎng)絡(luò)已被證明有著較強(qiáng)的函數(shù)擬合和逼近能力［8-10］。文獻(xiàn)［11-12］研究了當(dāng)隱含層節(jié)點(diǎn)個(gè)數(shù)有限時(shí)，多層前向神經(jīng)網(wǎng)絡(luò)的逼近能力。ELM 模型除了被廣泛應(yīng)用于可再生能源預(yù)測領(lǐng)域［13］，也被應(yīng)用在可再生能源的聚合序列生成［14］、電力系統(tǒng)頻率安全評估［15］和用戶用電行為分類［16］等方面。

現(xiàn)有研究大多直接采用ELM 實(shí)現(xiàn)電力系統(tǒng)中的具體應(yīng)用，對于ELM 原訓(xùn)練方法、輸出層偏移和自適應(yīng)優(yōu)化等問題改進(jìn)不足。但是原始ELM 模型訓(xùn)練過程具有隨機(jī)性且在矩陣逆運(yùn)算過程中缺少對參數(shù)的微調(diào)，導(dǎo)致該模型雖然訓(xùn)練速度較快，但是在精度上有所欠缺。已有研究提出引入智能優(yōu)化算法對ELM 模型的參數(shù)進(jìn)行優(yōu)化。文獻(xiàn)［17］采用粒子群優(yōu)化算法優(yōu)化ELM 輸出權(quán)值，文獻(xiàn)［18］將麻雀優(yōu)化算法應(yīng)用于深度極限學(xué)習(xí)機(jī)中進(jìn)行參數(shù)尋優(yōu)，均提高了ELM 模型的預(yù)測性能。已有ELM 模型參數(shù)優(yōu)化以單階段優(yōu)化為主。

與傳統(tǒng)進(jìn)化算法相比，自然進(jìn)化策略（natural evolution strategy，NES）［19-20］是 一 種 利 用 分 布 參 數(shù)上的估計(jì)梯度迭代更新搜索分布的進(jìn)化策略，其引入自然梯度下降替代傳統(tǒng)進(jìn)化算子中的隨機(jī)突變和重組步驟。對概率分布空間進(jìn)行優(yōu)化，改善了常規(guī)梯度中存在的振蕩、過早收斂和尺度不變性問題，使得進(jìn)化方向能夠向更好的個(gè)體適應(yīng)度進(jìn)行。NES在函數(shù)擬合、全局優(yōu)化等方面已有不少研究成果。文獻(xiàn)［21］提出了一種基于NES 的動態(tài)流權(quán)值學(xué)習(xí)框架，該框架通過多模態(tài)數(shù)據(jù)融合進(jìn)行目標(biāo)定位和跟蹤，且不需要顯式計(jì)算Oracle 信息。文獻(xiàn)［22］提出了一種擴(kuò)展的距離加權(quán)指數(shù)NES，適用于具有不確定性的目標(biāo)函數(shù)參數(shù)優(yōu)化問題。文獻(xiàn)［23］提出了一種同時(shí)估計(jì)狀態(tài)空間模型狀態(tài)和參數(shù)的序貫估計(jì)方法，降低了多種模型的均方誤差。

為了提升ELM 模型的預(yù)測精度，與常規(guī)單階段的訓(xùn)練方法不同，本文將其與NES 相結(jié)合，提出了ELM 網(wǎng)絡(luò)參數(shù)兩階段優(yōu)化訓(xùn)練方法及可再生能源功率預(yù)測改進(jìn)模型。在第1 階段，使用ELM 隨機(jī)參數(shù)和廣義矩陣逆運(yùn)算過程訓(xùn)練模型網(wǎng)絡(luò)參數(shù)；第2階段在其基礎(chǔ)上引入輸出層偏移，利用NES 繼續(xù)優(yōu)化訓(xùn)練，并進(jìn)一步引入自適應(yīng)因子優(yōu)化收斂速度，用以提高預(yù)測模型精度。

1 基于NES 的ELM 模型網(wǎng)絡(luò)參數(shù)兩階段優(yōu)化方法

1.1 ELM 模型

ELM 是一種前向人工神經(jīng)網(wǎng)絡(luò)［7］。前向人工神經(jīng)網(wǎng)絡(luò)能夠從所提供的訓(xùn)練樣本中直接擬合輸入和輸出之間的非線性映射關(guān)系，從而為難以通過傳統(tǒng)數(shù)據(jù)分析方法得到合適解析式的工程問題提供數(shù)學(xué)模型。ELM 網(wǎng)絡(luò)結(jié)構(gòu)見附錄A 圖A1。

ELM 預(yù)測模型作為前饋神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)形式，具有學(xué)習(xí)速度快、效率高等優(yōu)點(diǎn)。在ELM 中，隱含層的連接權(quán)值和偏差是隨機(jī)生成的，輸出層的連接權(quán)值通過矩陣求逆得到。與其他機(jī)器學(xué)習(xí)模型相比，ELM 模型的優(yōu)點(diǎn)在于其無須在反復(fù)的迭代過程中調(diào)整參數(shù)，極大地節(jié)省了訓(xùn)練模型所需時(shí)間并具有與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相當(dāng)?shù)念A(yù)測精度。此外，ELM 在網(wǎng)絡(luò)訓(xùn)練可重復(fù)性和穩(wěn)定性方面也具有一定優(yōu)勢，在不同的重復(fù)實(shí)驗(yàn)中保持了良好的穩(wěn)定性。因此，ELM 適合于需要大量模型訓(xùn)練的集合預(yù)測、特征選擇等任務(wù)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，ELM 模型的缺點(diǎn)在于隨機(jī)和廣義矩陣求逆過程可能會導(dǎo)致模型對訓(xùn)練集依賴性較高，可以通過優(yōu)化算法對模型參數(shù)進(jìn)行第2 階段的優(yōu)化訓(xùn)練。鑒于ELM 的以上優(yōu)點(diǎn)，本文選取ELM 作為可再生能源預(yù)測與優(yōu)化模型。算法流程如下［7］。

對于給定的由N個(gè)訓(xùn)練樣本(xj，tj)組成的訓(xùn)練集，其中，xj∈Rl為第j個(gè)訓(xùn)練樣本的輸入向量，具有l(wèi)個(gè)維度方向，tj∈Rm為第j個(gè)訓(xùn)練樣本的目標(biāo)真實(shí)值，具有m個(gè)維度方向，則ELM 數(shù)學(xué)模型如下:

式中:N?為預(yù)測模型隱含層的節(jié)點(diǎn)個(gè)數(shù)；g(·)為預(yù)測模型隱含層激活函數(shù)；βi∈Rm為預(yù)測模型隱含層第i個(gè)節(jié)點(diǎn)到輸出層的連接權(quán)重；wi∈Rl為模型輸入層到隱含層第i個(gè)節(jié)點(diǎn)的連接權(quán)重；bi為輸入層到隱含層 第i個(gè) 節(jié) 點(diǎn) 的 偏 移 量；t?j∈Rm為 第j個(gè) 訓(xùn) 練 樣 本 的模型輸出值?？梢园l(fā)現(xiàn)，原始ELM 隱含層到輸出層沒有偏移值設(shè)置。

式（1）和式（2）可整理為:

其具體訓(xùn)練過程如下［7］:

1）確定隱含層節(jié)點(diǎn)數(shù)N?和激活函數(shù)g(·)；

2）隨機(jī)產(chǎn)生輸入層到隱含層連接權(quán)重矩陣W和輸入層到隱含層偏移矩陣B；

3）計(jì)算隱含層輸出矩陣H；

4）通過廣義矩陣逆運(yùn)算求得β=H+T，其中H+為矩陣H的Moore-Penrose 廣義逆矩陣。

1.2 NES 算法

NES 算法［19］是進(jìn)化策略算法的一類變式算法，與傳統(tǒng)標(biāo)準(zhǔn)進(jìn)化策略算法的主要區(qū)別在于利用分布參數(shù)的估計(jì)梯度來迭代更新搜索分布［20］。其一般過程如下:首先，利用諸如高斯分布等參數(shù)化分布方法在原有初始化基因個(gè)體周圍生成一批突變搜索點(diǎn)，并在每個(gè)搜索點(diǎn)處計(jì)算適應(yīng)度函數(shù)，通過選擇不同的參數(shù)分布形式，使算法具有自適應(yīng)地捕捉適應(yīng)度函數(shù)局部結(jié)構(gòu)的能力；然后，在這些由隨機(jī)分布所生成的子代樣本中，采用NES 算法計(jì)算參數(shù)的搜索梯度；最后，沿著自然梯度采用一定的數(shù)學(xué)公式更新基因個(gè)體的基因序列，以達(dá)到更加適合的目標(biāo)函數(shù)適應(yīng)度值。通過重復(fù)上述過程可以使得目標(biāo)函數(shù)按自然梯度方向達(dá)到最優(yōu)值。

以本文所采用的多重正態(tài)分布為例，具體算法過程如下［20］:

1）確定NES 算法進(jìn)行搜索的起點(diǎn)，即初始化基因X；

2）利用多重正態(tài)分布在初始化基因X周圍生成符合分布的n個(gè)基因樣本，第s個(gè)基因樣本Zs～N(X，σ)，其中，σ為多重正態(tài)分布的分布范圍協(xié)方差矩陣；

3）計(jì)算第s個(gè)基因樣本Zs的目標(biāo)函數(shù)適應(yīng)度值f(Zs)；

4）計(jì)算將被用于更新基因個(gè)體X基因序列的對數(shù)導(dǎo)數(shù)?Zlogπ(Zs|θ)以及被用于更新σ的對數(shù)導(dǎo)數(shù)

式中:θ為分布函數(shù)π(Zs|θ)的參數(shù)；?Z和?σ表示對對數(shù)似然函數(shù)中參數(shù)的各元素進(jìn)行求導(dǎo)。

5）計(jì)算被用于更新基因個(gè)體X基因序列的自然梯度向量?Z J以及被用于更新σ的自然梯度向量?σ J:

6）用?Z J和?σ J分別以同樣的學(xué)習(xí)速率η更新基因個(gè)體X基因序列和σ得到X*和σ*:

7）重復(fù)上述過程直到算法達(dá)到完全收斂或者達(dá)到迭代循環(huán)次數(shù)上限。

2 所提方法主要流程

基于NES 算法的ELM 網(wǎng)絡(luò)參數(shù)訓(xùn)練優(yōu)化方法的主要流程圖如圖1 所示。

圖1 基于NES 算法的兩階段參數(shù)訓(xùn)練方法流程圖Fig.1 Flow chart of two-stage parameter training method based on NES algorithm

首先，利用可再生能源歷史出力數(shù)據(jù)和外部環(huán)境變量，通過ELM 隨機(jī)過程和廣義逆運(yùn)算求逆過程得到第1 階段的模型參數(shù)。其次，在第1 階段模型參數(shù)的基礎(chǔ)上引入輸出層偏移量，初始值設(shè)置為零。然后，對模型網(wǎng)絡(luò)參數(shù)與預(yù)測目標(biāo)值之間的關(guān)系進(jìn)行數(shù)學(xué)建模，并利用帶有自適應(yīng)因子改進(jìn)的NES 算法進(jìn)行第2 階段的優(yōu)化。最后，通過預(yù)測誤差衡量本文所提優(yōu)化方法的性能。詳細(xì)步驟如下。

2.1 第1 階段

1）通過訓(xùn)練集和隨機(jī)過程產(chǎn)生輸入層到隱含層的連接權(quán)重矩陣W'和偏移矩陣B'；

2）計(jì)算隱含層輸出矩陣H':

式中:uj為模型輸入向量，j=1，2，…，N；w'i和b'i分別為第1 階段求得的wi和bi。

3）通過廣義矩陣逆運(yùn)算求得輸出權(quán)重β'=H'+T，其中，H'+為矩陣Η'的Moore-Penrose 廣義逆矩陣［7］，從而得到第1 階段的模型網(wǎng)絡(luò)參數(shù)W'和B'。

2.2 第2 階段

步驟1:在上述第1 階段得到的模型參數(shù)中引入隱含層至輸出層的偏移，組合成第2 階段參數(shù)訓(xùn)練所需的輸入，同時(shí)對其與該模型在訓(xùn)練集上的預(yù)測誤差之間的映射關(guān)系進(jìn)行數(shù)學(xué)建模，其過程如下。

1）將上述第1 階段模型參數(shù)W'、B'和β'的數(shù)據(jù)集合按順序組合成向量形式，視為輸入x1，x2，…，xD，其中，D為第1 階段模型參數(shù)總個(gè)數(shù)。

2）在ELM 模型參數(shù)的基礎(chǔ)上，引入新參數(shù)隱含層到輸出層的偏移基Β'ο，初始值設(shè)置為零，視為xD+1（點(diǎn)預(yù)測模型為單輸出）與原模型參數(shù)一起組合為第2 階段優(yōu)化參數(shù)。

3）將該模型在訓(xùn)練集上的預(yù)測誤差（模型輸出與目標(biāo)值的差）視為第2 階段需優(yōu)化的目標(biāo)函數(shù)f(x1，x2，…，xD+1)，其中，f(·)表示預(yù)測模型的輸入向量和預(yù)測誤差之間的映射關(guān)系。

4）將輸入與預(yù)測誤差之間的映射關(guān)系轉(zhuǎn)化為標(biāo)準(zhǔn)的參數(shù)優(yōu)化問題:

步驟2:利用NES 優(yōu)化算法對上述參數(shù)優(yōu)化問題進(jìn)行求解［20］。

1）將第2 階段步驟1 中所得多個(gè)輸入x1，x2，…，xD+1作為初始種群空間。

2）利用多重正態(tài)分布在初始化基因X周圍生成n個(gè)突變基因樣本X?s，其計(jì)算公式如下:

式中:ρ為比率系數(shù)；es為服從期望為0、協(xié)方差矩陣為單位矩陣I的正態(tài)分布的噪聲，即es～N(0，I)。

3）計(jì)算第s個(gè)基因樣本X?s的目標(biāo)函數(shù)f(X?s)和其適應(yīng)度值。

4）計(jì)算將被用于更新基因個(gè)體X基因序列的對數(shù)導(dǎo)數(shù)?Zlogπ(X?s|θ)以及被用于更新σ的對數(shù)導(dǎo)數(shù)?σlogπ(X?s|θ):

5）計(jì)算被用于更新基因個(gè)體X基因序列的自然梯度向量?Z J以及被用于更新σ的自然梯度向量?σ J:

式中:λ為自適應(yīng)因子。

7）引入自適應(yīng)因子λ，其數(shù)值由f(X?s)的方差δ決定。當(dāng)方差δ過大時(shí)，令λ＜1，縮小多重正態(tài)分布分布范圍σ；當(dāng)方差δ過小時(shí)，令λ＞1，擴(kuò)大多重正態(tài)分布分布范圍σ。

8）重復(fù)1）至7）過程直至達(dá)到設(shè)定好的收斂條件或者循環(huán)上限。

步驟3:計(jì)算測試集預(yù)測目標(biāo)預(yù)測值和誤差。

將步驟 2 中 6）所得優(yōu)化完成的輸入x1，x2，…，xD+1中的前D位數(shù)據(jù)重新組合成優(yōu)化后連接權(quán)重W″、偏移B″和輸出權(quán)重β″的矩陣形式，而xD+1構(gòu)成優(yōu)化后的輸出偏移基B″o，在測試集數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)計(jì)算其預(yù)測目標(biāo)預(yù)測值T?:

式中:H″、β″i、w″i、b″i分別為優(yōu)化后的H、βi、wi、bi。

則 均 方 根 誤 差（root mean squared error，RMSE）可表示為:

式中:Tj和T?j分別為第j個(gè)樣本的目標(biāo)真實(shí)值和預(yù)測值。

3 算例分析

3.1 數(shù)據(jù)集介紹

為了檢驗(yàn)本文所提基于NES 算法的ELM 模型網(wǎng)絡(luò)參數(shù)兩階段訓(xùn)練優(yōu)化的有效性，分別對光伏和風(fēng)能2 個(gè)案例進(jìn)行驗(yàn)證分析。

支撐光伏研究案例的數(shù)據(jù)收集自澳大利亞昆士蘭大學(xué)圣盧西亞校區(qū)，其擁有2.14 MW 的集成光伏發(fā)電裝置。本文所使用的光伏出力數(shù)據(jù)選自2015-03-21 的05:00 至2017-03-21 的18:00，額 定 容 量 約為0.35 MW，原始數(shù)據(jù)分辨率為1 min。同時(shí)期的氣象等外部數(shù)據(jù)包括空氣濕度、太陽輻射強(qiáng)度、風(fēng)速、風(fēng)向和氣溫5 類。本算例預(yù)測短期內(nèi)未來1 h 光伏發(fā)電廠功率出力，將數(shù)據(jù)預(yù)處理為1 h 分辨率并補(bǔ)全丟失的數(shù)據(jù)，2 年合計(jì)10 234 組記錄。光伏案例部分?jǐn)?shù)據(jù)展示見附錄A 圖A2。

在實(shí)驗(yàn)開始前，將數(shù)據(jù)集按照2∶1∶1 拆分為訓(xùn)練集、驗(yàn)證集和測試集。第1 部分為訓(xùn)練集，數(shù)量為5 117 h，作用是訓(xùn)練本文所提預(yù)測模型；第2 部分為驗(yàn)證集，數(shù)量為2 558 h，作用是參與本文的模型訓(xùn)練和特征輸入選取過程，通過觀察預(yù)測模型在驗(yàn)證集上的表現(xiàn)調(diào)整模型參數(shù)、優(yōu)化模型結(jié)構(gòu)和預(yù)測結(jié)果；第3 部分為測試集，數(shù)量為2 558 h，作用是測試最終預(yù)測模型精度。本文根據(jù)ELM 預(yù)測模型的特點(diǎn)，將模型輸入?yún)?shù)和預(yù)測目標(biāo)（光伏出力）做0-1標(biāo)準(zhǔn)化處理。

支撐風(fēng)能案例研究內(nèi)容的數(shù)據(jù)集來自美國國家可再生能源實(shí)驗(yàn)室（National Renewable Energy Laboratory，NREL）某風(fēng)電場2012 年的風(fēng)電功率和周圍環(huán)境信息數(shù)據(jù)，其額定容量為16 MW，NREL內(nèi)部標(biāo)識號為46 620，經(jīng)度坐標(biāo)為-106.398 224°，緯度坐標(biāo)為39.273 796°。風(fēng)能案例部分?jǐn)?shù)據(jù)展示見附錄A 圖A3。

原數(shù)據(jù)集為每5 min 記錄一次的風(fēng)力發(fā)電廠功率出力數(shù)據(jù)以及周圍環(huán)境風(fēng)速、風(fēng)向信息。同光伏案例一樣，為了符合預(yù)測短期內(nèi)未來1 h 風(fēng)力發(fā)電廠功率出力這一目標(biāo)，本文將其分辨率處理為1 h，處理完成后的數(shù)據(jù)集長度為8 784 h 且對其進(jìn)行0-1 標(biāo)準(zhǔn)化處理，并按2∶1∶1 的比例拆分?jǐn)?shù)據(jù)集。

3.2 ELM 模型結(jié)構(gòu)參數(shù)選擇

ELM 模型預(yù)測精度受激活函數(shù)類型與網(wǎng)絡(luò)結(jié)構(gòu)影響明顯。本文針對預(yù)測對象特點(diǎn)，調(diào)研了激活函數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)選擇對ELM 預(yù)測精度的影響。

采用MATLAB 軟件分別對不同激活函數(shù)和隱含層節(jié)點(diǎn)個(gè)數(shù)下的預(yù)測模型進(jìn)行仿真和對比，所調(diào)研的輸入層激活函數(shù)包括S 型函數(shù)、硬閾值函數(shù)和正弦函數(shù)。選取的隱含層節(jié)點(diǎn)變換范圍為10 到1 000（風(fēng)能為200），分度值為10。光伏案例和風(fēng)能案例的比較結(jié)果如圖2 所示。

圖2 不同激活函數(shù)下ELM 預(yù)測模型在驗(yàn)證集上的RMSEFig.2 RMSE of ELM forecasting model on validation set with different activation functions

從圖2（a）可以看出，RMSE 隨著隱含層節(jié)點(diǎn)個(gè)數(shù)的增加，一開始呈現(xiàn)明顯的下降趨勢，然后呈上升趨勢。

從圖2（b）可以看出，正弦函數(shù)的性能隨隱含層節(jié)點(diǎn)數(shù)的增加而急劇波動，誤差最大。采用S 型函數(shù)時(shí)的預(yù)測誤差最小，且隨著隱含層節(jié)點(diǎn)數(shù)的變化較為穩(wěn)定。

綜合2 個(gè)案例來看，當(dāng)隱含層節(jié)點(diǎn)數(shù)小于200時(shí)，S 型函數(shù)的RMSE 最小且最穩(wěn)定，比其他2 種激活函數(shù)更適合于本文的預(yù)測任務(wù)。因此，選擇S 型函數(shù)作為本文預(yù)測模型的激活函數(shù)?？紤]到提高模型準(zhǔn)確性和減少計(jì)算復(fù)雜度來降低模型預(yù)測時(shí)間，光伏案例選擇的隱含層節(jié)點(diǎn)數(shù)為70，風(fēng)能案例選擇的隱含層節(jié)點(diǎn)數(shù)為100。

從圖3 中光伏案例不同隱含層節(jié)點(diǎn)數(shù)下的訓(xùn)練集和測試集RMSE 可知，隨著隱含層節(jié)點(diǎn)數(shù)的不斷提高，訓(xùn)練集的RMSE 先迅速減少，然后緩慢下降；而驗(yàn)證集的RMSE 在隱含層節(jié)點(diǎn)數(shù)小于70 時(shí)迅速減少，當(dāng)隱含層節(jié)點(diǎn)數(shù)大于70 時(shí)，存在較為明顯的上升趨勢，說明大量增加隱含層節(jié)點(diǎn)數(shù)可能會造成過擬合現(xiàn)象，反而不利于驗(yàn)證集的誤差減小。風(fēng)能案例也有類似結(jié)果，本文不再贅述。

圖3 光伏案例中不同隱含層節(jié)點(diǎn)數(shù)下ELM 預(yù)測模型的RMSEFig.3 RMSE of ELM forecasting model with different numbers of hidden nodes in photovoltaic case

3.3 基于NES 算法的預(yù)測模型網(wǎng)絡(luò)參數(shù)兩階段訓(xùn)練

1）預(yù)測模型網(wǎng)絡(luò)參數(shù)第1 階段訓(xùn)練

通過上述過程確定ELM 預(yù)測模型的結(jié)構(gòu)參數(shù)后，第1 階段網(wǎng)絡(luò)訓(xùn)練采用網(wǎng)絡(luò)參數(shù)隨機(jī)初始化以及Moore-Penrose 廣義矩陣逆運(yùn)算求解過程等得到預(yù)測模型隱含層連接權(quán)重、隱含層偏移和輸出層連接權(quán)重等參數(shù)。

2）預(yù)測模型網(wǎng)絡(luò)參數(shù)第2 階段訓(xùn)練

本文研究過程中NES 算法參數(shù)設(shè)置學(xué)習(xí)速率為0.1%～1.0%，多重正態(tài)分布分布范圍為0.001。

隨著NES 算法迭代次數(shù)的增加，2 個(gè)案例在驗(yàn)證集上預(yù)測值與真實(shí)值的標(biāo)準(zhǔn)化均方根誤差（nRMSE）變化過程如圖4 所示。

圖4 第2 階段驗(yàn)證集的nRMSE 變化Fig.4 Change of nRMSE on validation set in stage 2

通過圖4 可知，隨著循環(huán)次數(shù)的不斷增加直至達(dá)到設(shè)置的循環(huán)次數(shù)上限，經(jīng)過每次迭代優(yōu)化過程得到的模型網(wǎng)絡(luò)參數(shù)在驗(yàn)證集上的nRMSE 總體呈下降趨勢，且在重復(fù)實(shí)驗(yàn)中均能夠取得較理想的優(yōu)化結(jié)果，這也體現(xiàn)了本文所提兩階段優(yōu)化訓(xùn)練方法的穩(wěn)定性。

在光伏案例中，測試集真實(shí)值優(yōu)化過程中具體的下降幅度為:在驗(yàn)證集上，nRMSE 從優(yōu)化前的0.074 95 下降到優(yōu)化后的0.074 02，預(yù)測誤差減小了1.24%。在風(fēng)能案例中，測試集真實(shí)值優(yōu)化過程中具體的下降幅度為:在驗(yàn)證集上，nRMSE 從優(yōu)化前的0.132 3 下降到優(yōu)化后的0.131 0，預(yù)測誤差減小了0.98%。

從圖5 可以看到，2 個(gè)案例中第2 階段優(yōu)化后的測試集預(yù)測值曲線與第1 階段測試集預(yù)測值曲線相比，都更加貼合測試集真實(shí)值曲線，預(yù)測結(jié)果經(jīng)過第2 階段的優(yōu)化后誤差減小。

圖5 測試集真實(shí)值、第1 階段預(yù)測值和第2 階段預(yù)測值對比Fig.5 Comparison of real values and forecasting values from stage 1 and stage 2 on test set

3.4 誤差對比與結(jié)果分析

本文所提基于NES 算法的ELM 兩階段模型參數(shù)優(yōu)化（簡稱為NES-ELM）方法分別與4 個(gè)比對模型開展預(yù)測結(jié)果比較，包括持續(xù)性模型（persistence model，PM）、人工神經(jīng)網(wǎng)絡(luò)（ANN）、SVR 和隨機(jī)森林（RF）。誤差度量指標(biāo)包括RMSE、nRMSE（選用最大值標(biāo)準(zhǔn)化）、平均絕對誤差（MAE）、加權(quán)平均絕對百分比誤差（WMAPE）和平均偏差誤差（MBE）。為了體現(xiàn)兩階段優(yōu)化結(jié)果和單階段優(yōu)化結(jié)果的比較，分 別 給 出 了NES-ELM 第1 階 段（NES-ELMS1）和第2 階段（NES-ELM-S2）的預(yù)測結(jié)果。所提方法與比對模型預(yù)測誤差的比較結(jié)果如表1 所示，各項(xiàng)指標(biāo)的最優(yōu)值均用紅色字體顯示。

表1 本文方法與比對預(yù)測模型在測試集上的誤差比較Table 1 Comparison of errors between proposed method and comparative prediction models on test set

由表1 可以看出:光伏案例和風(fēng)能案例第2 階段預(yù)測精度均優(yōu)于第1 階段，nRMSE 指標(biāo)分別提升了0.99%和0.66%。光伏案例中，本文所提NESELM 方法在各個(gè)誤差衡量指標(biāo)下均優(yōu)于4 個(gè)比對預(yù)測模型。而風(fēng)能案例中就本文所采納的預(yù)測誤差衡量核心指標(biāo)RMSE 和nRMSE 而言，所提方法均優(yōu)于4 個(gè)比對模型，而其他誤差指標(biāo)與最優(yōu)比對模型預(yù)測誤差相當(dāng)。

光伏、風(fēng)電等可再生能源具有明顯的季節(jié)性特點(diǎn)，其預(yù)測結(jié)果受不同季節(jié)影響往往有較強(qiáng)的波動性。在上述實(shí)驗(yàn)的基礎(chǔ)上，將2016 年光伏案例和2012 年風(fēng)能案例的數(shù)據(jù)集拆分成4 個(gè)季節(jié)，使用本文所提方法對未來1 h 出力進(jìn)行預(yù)測，并且將其與其他預(yù)測模型進(jìn)行對比，比較結(jié)果如表2 和表3 所示，各項(xiàng)指標(biāo)的最優(yōu)值均用紅色字體顯示。

表2 本文方法與比對預(yù)測模型在光伏案例不同季節(jié)測試集誤差比較Table 2 Comparison of errors between proposed method and comparative prediction models on test set of different seasons in photovoltaic case

表3 本文方法與比對預(yù)測模型在風(fēng)能案例不同季節(jié)測試集誤差比較Table 3 Comparison of errors between proposed method and comparative prediction models on test set of different seasons in wind energy case

由表2 可以看出:在光伏案例不同季節(jié)的4 個(gè)測試集中，第2 階段的預(yù)測精度均比第1 階段有所提升，nRMSE 指標(biāo)分別提升了4.44%、1.10%、1.02%和1.53%；與其他模型相比，除MBE 指標(biāo)外，NES-ELM 模型均優(yōu)于其他4 個(gè)比對模型。

由表3 可以看出:在風(fēng)能案例不同季節(jié)的4 個(gè)測試集中，第2 階段的預(yù)測精度均比第1 階段有所提升，nRMSE 指標(biāo)分別提升了0.35%、0.77%、0.85%和0.78%；與其他模型相比，在春季、秋季、冬季數(shù)據(jù)集中，預(yù)測誤差衡量標(biāo)指標(biāo)nRMSE 均優(yōu)于傳統(tǒng)模型。

4 結(jié)語

為了提升ELM 模型對于可再生能源出力的預(yù)測精度，本文提出一種基于NES 算法的可再生能源ELM 預(yù)測模型網(wǎng)絡(luò)參數(shù)兩階段訓(xùn)練優(yōu)化方法。在澳大利亞昆士蘭大學(xué)光伏電站實(shí)際出力數(shù)據(jù)和NREL 的風(fēng)電場數(shù)據(jù)上進(jìn)行預(yù)測和分析。結(jié)果表明，本文所提出的NES-ELM 兩階段預(yù)測模型在2 個(gè)案例中的預(yù)測精度均有所提高。第2 階段預(yù)測精度全部優(yōu)于第1 階段，即nRMSE 誤差有效降低且表現(xiàn)穩(wěn)定。與4 個(gè)比對模型相比，所提出的改進(jìn)模型在減小預(yù)測誤差方面具有優(yōu)勢。同時(shí)，對由不同季節(jié)的波動特性數(shù)據(jù)構(gòu)成的數(shù)據(jù)集進(jìn)行了預(yù)測和分析，結(jié)果表明該方法提升了多數(shù)季節(jié)的預(yù)測精度，預(yù)測模型性能較為穩(wěn)定。

后續(xù)可以進(jìn)一步開展NES 算法的參數(shù)變化對模型優(yōu)化和誤差的影響研究。兩階段ELM 模型和NES 算法的應(yīng)用不限于本文的研究內(nèi)容，還可以對ELM 模型的輸出層進(jìn)行拓展，對可再生能源進(jìn)行概率預(yù)測，例如區(qū)間和分位點(diǎn)預(yù)測等。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。