姚岱偉， 崔雙喜， 戚元星

(新疆大學(xué)電氣工程學(xué)院， 烏魯木齊 830047)

隨著新能源技術(shù)和工業(yè)的進一步發(fā)展，風(fēng)電裝機容量占比越來越大。由于風(fēng)力資源受到氣象條件的制約，其波動性、間歇性等不穩(wěn)定特性對電力系統(tǒng)穩(wěn)定運行和優(yōu)化調(diào)度帶來了巨大的挑戰(zhàn)[1]。精準(zhǔn)的風(fēng)電功率預(yù)測是提高電力系統(tǒng)經(jīng)濟運行效率，減少系統(tǒng)備用容量，保證電網(wǎng)安全穩(wěn)定運行[2]，提高風(fēng)電消納水平，優(yōu)化電力市場的重要方法[3]。

短期風(fēng)電功率預(yù)測方法可分為物理模型、時間序列和人工智能模型。目前研究以人工智能模型為主，可分為神經(jīng)網(wǎng)絡(luò)和統(tǒng)計學(xué)習(xí)模型，具體包括長短期記憶網(wǎng)絡(luò)[4]，高斯過程回歸[5](gaussian process regression，GPR)，最小二乘支持向量機[6](least squares support vector machine，LSSVM),極限梯度提升樹[7]等。為改善模型的預(yù)測性能，已有大量研究對單一模型的結(jié)構(gòu)或參數(shù)進行優(yōu)化，文獻[8]采用遺傳算法優(yōu)化卷積和長短期記憶混合神經(jīng)網(wǎng)絡(luò)；文獻[9]采用緞藍園丁鳥優(yōu)化算法對LSSVM的超參數(shù)進行尋優(yōu)，均獲得了更高的風(fēng)電預(yù)測精度。這種方法改善了原本的模型的弊端，提升了預(yù)測性能，但單一模型呈現(xiàn)的假設(shè)空間有限，難以精確描述潛在的真實假設(shè)。集成預(yù)測不局限于單一模型，而是將多個預(yù)測器組合，協(xié)調(diào)工作共同完成預(yù)測任務(wù)。為訓(xùn)練出具有差異的一測器，一種方法是基于某一學(xué)習(xí)算法，通過設(shè)置不同的數(shù)據(jù)結(jié)構(gòu)或模型參數(shù)生成同質(zhì)的預(yù)測模型，常用方法包括Bagging[10]和Boosting[11]，文獻[12]采用自適應(yīng)提升算法將BP神經(jīng)網(wǎng)絡(luò)集成，通過誤差平方倒數(shù)優(yōu)化BP網(wǎng)絡(luò)的結(jié)合權(quán)重，有效地改善了預(yù)測模型的泛化能力。但同質(zhì)模型基于相近的假設(shè)空間，差異性較小。另一種方法是采用不同的學(xué)習(xí)算法產(chǎn)生異質(zhì)預(yù)測器，研究以結(jié)合策略為主。除了以傳統(tǒng)的簡單平均法和加權(quán)平均法，文獻[13]采用三種異質(zhì)模型預(yù)測風(fēng)電功率，以約束最小二乘回歸(constrained least squares regression，CLS)作為結(jié)合策略，改進預(yù)測精度，雖然每次預(yù)測前對CLS重新訓(xùn)練，但CLS產(chǎn)生的是依然是固定的結(jié)合權(quán)重，難以適應(yīng)風(fēng)電功率的變化特性。以上研究表明，集成預(yù)測模型可有效避免單一模型或方法的弊端，異質(zhì)預(yù)測器可反映多個假設(shè)空間，但需要進一步改進結(jié)合策略。

預(yù)測模型學(xué)習(xí)到的映射關(guān)系依賴給定的訓(xùn)練樣本輸入特征，除了對預(yù)測模型參數(shù)或結(jié)構(gòu)的改善從而提升預(yù)測性能之外，引入關(guān)于數(shù)值天氣預(yù)報(numerical weather prediction，NWP)的特征工程也是改善模型預(yù)測性能的有效手段。目前已有大量研究針對NWP特征選擇與提取。文獻[14-15]采用最大相關(guān)-最小冗余(minimal redundancy maximal relevance，mRMR)提取NWP特征子集，并分析了不同特征子集對預(yù)測精度的影響。文獻[16]采用深度自編碼器對NWP和歷史功率信息降維，該方法具有優(yōu)越的降維和原像重構(gòu)性能。文獻[17]采用核主成分分析挖掘特征信息，避免“維數(shù)災(zāi)”問題，提升了預(yù)測性能。以上研究表明，NWP特征工程可進一步挖掘影響功率的深度信息，不僅減少預(yù)測模型的訓(xùn)練時間，也對預(yù)測性能也有很大的提升，但沒有考慮特征重要性程度的差異對預(yù)測效果的影響，可引入特征權(quán)重進一步優(yōu)化特征空間。

針對上述問題，現(xiàn)提出一種基于NCA特征加權(quán)和Stacking集成學(xué)習(xí)的短期風(fēng)電功率預(yù)測模型。首先利用NCA計算歷史樣本的NWP特征權(quán)重，構(gòu)建加權(quán)輸入特征。然后分別構(gòu)建多組異質(zhì)的預(yù)測器用于預(yù)測風(fēng)電功率。最后，以多個預(yù)測值作為特征輸入，以GPR模型作為結(jié)合器，將風(fēng)電功率預(yù)測值融合，構(gòu)建Stacking集成預(yù)測模型。通過對2014全球能源預(yù)測競賽實際風(fēng)電功率數(shù)據(jù)的預(yù)測分析和比較，驗證該方法的有效性和優(yōu)越性。

1 算法原理

1.1 近鄰成分分析原理

近鄰成分分析[18]同屬于度量學(xué)習(xí)和降維領(lǐng)域，學(xué)習(xí)算法基于隨機K近鄰模型(stochasticK-nearest neighbor，SKNN)，以留一驗證誤差最小作為優(yōu)化目標(biāo)，尋找最優(yōu)特征權(quán)重，其學(xué)習(xí)過程就是降維過程，訓(xùn)練結(jié)果為特征權(quán)重。NCA原理如下。

對于包含n個樣本的訓(xùn)練集：

S={(xi,yi),i=1,2,…，n}

(1)

式(1)中：xi為p維特征向量；yi為輸出值。學(xué)習(xí)目標(biāo)為根據(jù)輸入特征x在給定的樣本集S下預(yù)測輸出值y。假定存在一個隨機回歸模型具有如下特點。

(1)從S中隨機選擇一個樣本Ref(x)作為x的參考點(樣本)。

(2)將x的預(yù)測值設(shè)置為參考點Ref(x)的輸出值。

該方法選擇最近點的輸出作為預(yù)測值，類似于1-NN方法。在NCA算法中所有點都有可能被選作參考點。根據(jù)距離函數(shù)dw，與x的鄰近程度越高被選作的參考點的概率越高，dw計算公式為

(2)

式(2)中：xir和xjr表示第i個和第j個樣本點對應(yīng)第r個特征的數(shù)據(jù)值；wr為第r個特征對應(yīng)的特征權(quán)重。假設(shè)選中xj為參考點的概率滿足：

P[Ref(x)=xj|S]∝k[dw(x,xj)]

(3)

式(3)中：Ref(x)為從樣本集S中選取出x的參考點；k為核函數(shù)或相似性函數(shù)；dw越小則k越大，k的表達式為

(4)

式(4)中：exp表示以自然常數(shù)e為底的指數(shù)函數(shù)；σ為核寬度，用于控制每個點被選中的概率，如果x中所有特征在同一尺度，σ選定為1是合理的，因此在計算前需要對數(shù)據(jù)歸一化。

從S中選取某一點xj作為參考點的概率為

(5)

式(5)中：距離度量dw受特征權(quán)重wr影響，從而間接影響xj被選作參考點的概率。

為調(diào)整模型中特征權(quán)重wr，使用留一法預(yù)測S中xi的輸出值，此時訓(xùn)練集S-i中不包含樣本(xi,yi)，則xj被選作xi參考點的概率為

pij=P[Ref(xi)=xj|S-i]

(6)

(7)

式(7)中：E為期望運算。在此基礎(chǔ)上引入正則項，作為最小化目標(biāo)函數(shù)：

(8)

式(8)中：w為由特征權(quán)重wr構(gòu)成的向量；正則化參數(shù)λ> 0，可以驅(qū)使w中某些特征權(quán)重變?yōu)?。根據(jù)給定的超參數(shù)σ和λ，優(yōu)化任務(wù)為尋找合適的權(quán)重向量w使目標(biāo)函數(shù)最小化：

(9)

該優(yōu)化問題的最終解w元素的大小反映了各個特征的權(quán)重，從而實現(xiàn)特征選擇和加權(quán)的功能。

1.2 Stacking集成預(yù)測原理

集成學(xué)習(xí)是一種模型融合的框架，可以將不同預(yù)測模型融合以改善單一模型的預(yù)測精度或泛化能力[19]，在預(yù)測領(lǐng)域中稱為集成預(yù)測，包含基預(yù)測器和結(jié)合策略兩個重要部分。集成預(yù)測模型中基預(yù)測器應(yīng)具備較好的預(yù)測能力且具有較大的差異性，差異性在于預(yù)測器采用不同的數(shù)據(jù)結(jié)構(gòu)或?qū)W習(xí)算法訓(xùn)練，從不同的空間觀測角度反映NWP特征到風(fēng)電功率的映射關(guān)系。傳統(tǒng)的結(jié)合策略以簡單平均或加權(quán)平均為主，當(dāng)樣本規(guī)模較大時以機器學(xué)習(xí)模型作為結(jié)合策略可以進一步提升模型的預(yù)測性能，作為結(jié)合策略的模型稱為元學(xué)習(xí)器或結(jié)合器，該方法即為Stacking集成預(yù)測。和其他集成方法一樣，Stacking集成預(yù)測模型關(guān)注基預(yù)測器的差異性，而改善預(yù)測性能的任務(wù)由結(jié)合器完成。

在Stacking集成模型中，結(jié)合器同樣需要學(xué)習(xí)產(chǎn)生，訓(xùn)練結(jié)合器的樣本輸入是基預(yù)測器的輸出，輸出對應(yīng)原樣本的輸出。由于基預(yù)測器對原訓(xùn)練集的擬合程度很高，如果直接用基預(yù)測器的訓(xùn)練集產(chǎn)生結(jié)合器的訓(xùn)練集，容易導(dǎo)致最終模型過擬合，即結(jié)合器無法學(xué)習(xí)到結(jié)合策略對應(yīng)的映射關(guān)系。因此一般采用k折交叉驗證或留出法分別訓(xùn)練兩層模型。以留出法為例，按比例將歷史樣本集劃分為訓(xùn)練集和測試集。首先通過訓(xùn)練集訓(xùn)練多個基預(yù)測器，訓(xùn)練完成后，將驗證集樣本的輸入特征輸入基預(yù)測器，預(yù)測值和驗證集的輸出構(gòu)成結(jié)合器的訓(xùn)練樣本。采用留出法的Stacking模型學(xué)習(xí)流程的偽代碼如表1所示。留出法適用于樣本數(shù)量較多的情況。而k折交叉驗證將上述過程遍歷k輪，可得到數(shù)量相同的樣本用于結(jié)合器的訓(xùn)練。但每次遍歷都需要重新訓(xùn)練基預(yù)測器，計算開銷較大，在大規(guī)模的樣本集的預(yù)測任務(wù)中難以適用。

表1 Stacking集成預(yù)測流程

2 短期風(fēng)電功率預(yù)測模型的建立

2.1 集成預(yù)測模型的基預(yù)測器和結(jié)合器

模型輸入特征為預(yù)測時刻的NWP數(shù)據(jù)，來源于氣象部門的預(yù)測，數(shù)據(jù)含有噪聲，基預(yù)測器應(yīng)具有較好的魯棒性。因此選取GPR、SKNN、分類回歸樹(classification and regression tree, CART)、LSSVM和極限學(xué)習(xí)機(extreme learning machine, ELM)作為基預(yù)測器，同時選取GPR作為結(jié)合器。各個模型的原理和特點如下。

(1)SKNN：傳統(tǒng)的KNN模型預(yù)測值根據(jù)確定的K個近鄰的輸出值表示，在SKNN中所有的樣本都可能被選作近鄰，被選中的概率由相似性函數(shù)給出，SKNN的預(yù)測值即為期望值。

(2)GPR：基于貝葉斯框架實現(xiàn)映射函數(shù)從先驗分布到后驗分布的轉(zhuǎn)換，同時也是一種基于核函數(shù)的方法，訓(xùn)練過程就是超參數(shù)尋優(yōu)的過程。

(3)CART：基于樹形結(jié)構(gòu)，通過一系列決策過程實現(xiàn)分類或回歸功能。CART采用二分法簡化決策樹規(guī)模，使用基尼系數(shù)作為劃分變量的標(biāo)準(zhǔn)，生成效率高，魯棒性好。

(4)LSSVM：通過核函數(shù)將原始特征映射至高維空間進行回歸，將SVM訓(xùn)練中的凸優(yōu)化過程轉(zhuǎn)化為求解線性方程組，提高了訓(xùn)練速度。模型的性能對懲罰因子和核參數(shù)較為敏感。

(5)ELM：網(wǎng)絡(luò)結(jié)構(gòu)基于傳統(tǒng)的單隱層神經(jīng)網(wǎng)絡(luò)，輸入層和隱含層的權(quán)值閾值隨機產(chǎn)生，隱含層輸出層的權(quán)值通過線性方程組求解得出，較傳統(tǒng)的BP算法具有訓(xùn)練速度極快、泛化性強等優(yōu)點。

基預(yù)測器SKNN、GPR和LSSVM中含有距離度量結(jié)構(gòu)，采用加權(quán)NWP特征可強化關(guān)鍵特征對距離度量的影響程度，進而改善模型預(yù)測性能。此外，權(quán)重大的特征具有更大的方差和取值范圍，進而具有更大影響程度，因此也選用加權(quán)特征作為CART和ELM的輸入。

采用留出法的方式訓(xùn)練Stacking預(yù)測模型，避免訓(xùn)練時間過長?？紤]到在預(yù)測時刻NWP特征已知，為了使訓(xùn)練出的模型更適用于預(yù)測時刻的情景，采用加權(quán)KNN搜索選取與預(yù)測時刻中樣本相似度最高的一部分樣本作為驗證集，這部分樣本可以訓(xùn)練結(jié)合器使之沿著適應(yīng)預(yù)測時刻樣本的方向修正基預(yù)測器的預(yù)測結(jié)果。

2.2 預(yù)測流程

預(yù)測流程主要包括NWP特征選擇與加權(quán)、訓(xùn)練Stacking集成預(yù)測模型和預(yù)測3個方面。短期風(fēng)電功率集成預(yù)測流程如圖1所示，步驟描述如下。

圖1 風(fēng)電功率預(yù)測流程Fig.1 Flow chart of wind power prediction

步驟1以歷史數(shù)據(jù)的NWP氣象驗證和風(fēng)電功率構(gòu)建歷史樣本集和預(yù)測時刻的輸入特征，并將樣本數(shù)據(jù)歸一化。

步驟2采用NCA計算模型歷史樣本的輸入特征權(quán)重，并對篩選后的特征加權(quán)。

步驟3根據(jù)預(yù)測時刻輸入特征采用加權(quán)KNN算法在歷史樣本中所搜相似樣本，將歷史樣本劃分為訓(xùn)練集和驗證集，訓(xùn)練Stacking集成預(yù)測模型。

步驟4將預(yù)測時刻NWP特征輸入集成預(yù)測模型，得到風(fēng)電功率預(yù)測值。

2.3 預(yù)測評價指標(biāo)

選取標(biāo)準(zhǔn)均方根誤差(ENRMSE)和標(biāo)準(zhǔn)平均相對誤差(ENMAPE)作為衡量預(yù)測精度的評價準(zhǔn)則[20]，計算公式為

(10)

(11)

3 算例分析

基于2014全球能源預(yù)測競賽數(shù)據(jù)進行建模與算例分析。原始數(shù)據(jù)包含10個風(fēng)電場的功率出力，以及同時刻10 m和100 m高的經(jīng)向和緯向風(fēng)速的預(yù)測值，時間分辨率為1 h。數(shù)據(jù)中10個風(fēng)電場的具體位置未被披露，但預(yù)測某一風(fēng)電場功率出力時依然可以考慮場外數(shù)據(jù)[21]。因此選取10個風(fēng)電場，共40組風(fēng)速數(shù)據(jù)作為輸入特征，以3號風(fēng)電場的功率出力作為輸出值，構(gòu)建原始樣本集。考慮到風(fēng)電功率對風(fēng)速更敏感，將原始特征的經(jīng)緯風(fēng)速轉(zhuǎn)換為風(fēng)速和風(fēng)向特征。

選取兩組預(yù)測時段作為測試集，分別為2012年9月7—13日和2013年3月7—13日。每組測試集預(yù)測時刻點數(shù)為168，并將前180日數(shù)據(jù)作為訓(xùn)練集。

3.1 NCA氣象特征加權(quán)及驗證

采用NCA計算預(yù)測時刻NWP特征權(quán)重，原始數(shù)據(jù)采用Z-score歸一化，內(nèi)核寬度σ設(shè)置為1。模型中正則化參數(shù)λ采用貝葉斯優(yōu)化算法尋優(yōu)(圖2)，搜索區(qū)間為(0, 1]，根據(jù)加權(quán)SKNN在訓(xùn)練集的5折交叉驗證的預(yù)測均方誤差作為目標(biāo)函數(shù)，最終λ設(shè)置為0.001 4。經(jīng)計算得到各個特征的權(quán)重分布如圖3所示。

圖2 λ尋優(yōu)過程Fig.2 Optimization process of λ

圖3 特征權(quán)重分布Fig.3 Feature weight distribution

為驗證NCA特征加權(quán)的有效性，選取mRMR、主成分分析(principal component analysis，PCA)，灰色關(guān)聯(lián)分析(grey relation analysis，GRA)進行對比。其中mRMR計算出特征的重要性評分，GRA計算出每個特征和功率的關(guān)聯(lián)度，可根據(jù)指標(biāo)分配相應(yīng)的權(quán)重。PCA是一種特征提取方法，變換后的主成分中已經(jīng)包含了重要性信息，因此PCA選取貢獻度大于95%的前12個主成分作為輸入。將上述加權(quán)特征作為預(yù)測模型SKNN的輸入特征，計算不同方法在第一組驗證集的預(yù)測誤差，預(yù)測誤差如表2所示。

以2012年9月7—13日的預(yù)測時段為例，當(dāng)輸入特征為NCA加權(quán)特征時，預(yù)測誤差最小，其ENRMSE較mRMR降低了3.65%，較GRA降低了3.9%，較PCA降低了4.03%，其ENMAPE同樣優(yōu)于其他特征加權(quán)方法。另一預(yù)測時段具有相同的規(guī)律。說明基于NCA特征加權(quán)可以有效改善模型的預(yù)測性能，提高短期風(fēng)電功率預(yù)測精度，因此在預(yù)測之前引入NWP特征加權(quán)有效可行的。

表2 不同特征加權(quán)方法預(yù)測誤差對比

3.2 預(yù)測結(jié)果對比

在訓(xùn)練之前按照2.2節(jié)中方法劃分訓(xùn)練集和驗證集。為了控制訓(xùn)練集和驗證集的比例規(guī)模，選取每個測試樣本的10個近鄰樣本作為驗證集，最終選取的驗證集占歷史樣本比例約為15%。

模型的超參數(shù)都會對其預(yù)測性能有較大影響，為使最終的預(yù)測效果達到最優(yōu)，需要對超參數(shù)進行尋優(yōu)?；A(yù)測器SKNN預(yù)測過程基于訓(xùn)練樣本，不包含任何參數(shù)。其余模型的超參數(shù)優(yōu)化根據(jù)預(yù)測時段2012年9月7—13日的訓(xùn)練集計算得出，最終確定的超參數(shù)結(jié)果如表3所示，另一預(yù)測時段的預(yù)測模型設(shè)置相同的超參數(shù)。

為驗證Stacking集成方法對預(yù)測性能的改進和合理性，現(xiàn)將其預(yù)測結(jié)果和基預(yù)測器進行對比。兩組預(yù)測時段的風(fēng)電功率預(yù)測曲線和實際曲線如圖4所示，預(yù)測誤差ENRMSE和ENMAPE如表4所示。

以預(yù)測時段2012年9月7—13日為例，從表4可看出，基預(yù)測器中SKNN和GPR預(yù)測精度相當(dāng)，優(yōu)于其他3種預(yù)測器。集成預(yù)測模型將五組預(yù)測結(jié)果融合，ENRMSE和ENMAPE較GPR分別降低了0.66%和0.89%，優(yōu)于單一模型。而另一預(yù)測時段風(fēng)功率較低且較平穩(wěn)，基預(yù)測器均具有較高的預(yù)測精度，集成后預(yù)測誤差ENRMSE和ENMAPE較CART分別降低了1.57%和1.13%，有更顯著的下降。因此，融合多預(yù)測器的Stacking集成模型可顯著提高預(yù)測精度。

表3 各類模型的參數(shù)

表4 不同預(yù)測模型預(yù)測誤差對比

圖4 風(fēng)電功率預(yù)測曲線Fig.4 Curves of wind power prediction

為進一步驗證Stacking集成模型以結(jié)合器GPR作為集成策略的有效性，對不同結(jié)合策略下集成模型的預(yù)測性能進行比較。另選取最小二乘(least squares regression，LSR)回歸，簡單平均法和基于誤差倒數(shù)加權(quán)平均法作為結(jié)合策略。預(yù)測曲線和預(yù)測誤差對比分別如圖5和表5所示。

對比表5各個結(jié)合策略的集成模型可看出，采用簡單平均法作為結(jié)合策略，得到的集成模型預(yù)測誤差接近預(yù)測性能最佳基預(yù)測器。誤差倒數(shù)法根據(jù)基預(yù)測器在驗證集的誤差ENRMSE倒數(shù)分配組合權(quán)重，較簡單平均法預(yù)測性能有所改善，但實際上由于基預(yù)測器的誤差比較接近，導(dǎo)致其分配的權(quán)重大小相當(dāng)，其性能和簡單平均法接近。

相較于傳統(tǒng)的結(jié)合策略，以機器學(xué)習(xí)模型作為結(jié)合策略具有更高的預(yù)測精度。LSR即線性回歸，學(xué)習(xí)能力弱于GPR，但LSR作結(jié)合器依然使集成模型預(yù)測誤差有所降低。在兩組預(yù)測時段ENRMSE比最佳的基預(yù)測器降低了0.37%和0.94%，ENMAPE降低了0.34%和0.27%。而學(xué)習(xí)能力更強的GPR作為結(jié)合器進一步減少預(yù)測誤差，ENRMSE進一步降低了0.29%和0.63%，ENMAPE降低了0.55%和0.89%。說明以學(xué)習(xí)能力更強的GPR作為集成預(yù)測模型的結(jié)合策略是進一步改善集成預(yù)測性能有效方案。

圖5 不同結(jié)合策略風(fēng)電功率預(yù)測結(jié)果對比Fig.5 Comparison of wind power prediction results by different combination methods

表5 不同結(jié)合策略的預(yù)測誤差對比

4 結(jié)論

以提升短期風(fēng)電預(yù)測精度為目標(biāo)，提出一種基于NCA特征加權(quán)和Stacking集成預(yù)測的短期風(fēng)電功率預(yù)測模型。經(jīng)過分析研究，得出以下結(jié)論。

(1)特征權(quán)重可以優(yōu)化特征空間，改進模型預(yù)測性能，NCA特征加權(quán)優(yōu)于其他方法。

(2)集成預(yù)測模型可以避免單一方法預(yù)測性能的局限性，得到比單一模型更高的預(yù)測精度。

(3)相較于簡單平均法和誤差倒數(shù)法，以學(xué)習(xí)能力較強的GPR作為Stacking集成預(yù)測模型的結(jié)合策略可進一步降低預(yù)測誤差，其性能優(yōu)于以LSR作為結(jié)合策略的Stacking集成預(yù)測模型。

預(yù)測模型的差異性是集成預(yù)測的關(guān)鍵，本文選取的輸入特征僅考慮了預(yù)測時刻，未考慮其時序性。如何從多特征類型建立集成預(yù)測模型將是下一步研究的內(nèi)容。