(哈爾濱工業(yè)大學(xué) 自動(dòng)化測(cè)試與控制研究所,哈爾濱 150080)

0 引言

目前，我國(guó)已成為世界上第一大能源消費(fèi)國(guó)，在能源消費(fèi)結(jié)構(gòu)中煤炭占比最大，這使我國(guó)面臨著巨大的環(huán)境壓力，發(fā)展綠色能源顯得尤為重要。我國(guó)的風(fēng)能資源非常豐富，風(fēng)電建設(shè)在我國(guó)的能源發(fā)展格局中有著舉足輕重的地位。但風(fēng)速的不穩(wěn)定性和間歇性使風(fēng)電功率也具有同樣的性質(zhì)，這給風(fēng)電功率注入電網(wǎng)帶來(lái)了巨大的挑戰(zhàn)，直接影響我國(guó)風(fēng)電發(fā)展的進(jìn)程。因此，風(fēng)電功率預(yù)測(cè)一直都是研究的熱門領(lǐng)域[1]。

風(fēng)電功率預(yù)測(cè)方法按照預(yù)測(cè)結(jié)果的形式可以分為確定性預(yù)測(cè)和概率性預(yù)測(cè)。確定性預(yù)測(cè)僅給出預(yù)測(cè)點(diǎn)的信息，不能描繪風(fēng)電功率的不穩(wěn)定性。而概率性預(yù)測(cè)可以提供預(yù)測(cè)點(diǎn)的誤差信息，在應(yīng)用層面，這對(duì)電網(wǎng)運(yùn)行調(diào)度、規(guī)劃和穩(wěn)定性分析有重要作用。

風(fēng)電功率概率性預(yù)測(cè)主要有兩類方法，一是對(duì)現(xiàn)有確定性預(yù)測(cè)模型的誤差進(jìn)行擬合獲得其密度函數(shù)，二是直接對(duì)變量進(jìn)行概率性預(yù)測(cè)[2]。文獻(xiàn)[3]中在ARMA(Autoregressive Moving Average Model)和SVM(Support Vector Machine)兩種確定性預(yù)測(cè)模型的基礎(chǔ)上，實(shí)現(xiàn)了基于分位數(shù)的概率性預(yù)測(cè)方法[3]。文獻(xiàn)[4]中使用了小波閾值去噪和遞歸神經(jīng)網(wǎng)絡(luò)作為風(fēng)速預(yù)測(cè)的子模型，從子模型中獲得方差，然后計(jì)算概率性預(yù)測(cè)的預(yù)測(cè)區(qū)間，其中方差包括了建模和預(yù)測(cè)的不確定性[4]。文獻(xiàn)[5]中提出了一種新的多模型組合概率風(fēng)電預(yù)測(cè)方法，以利用不同預(yù)測(cè)模型的優(yōu)勢(shì)，這些模型提供不同類型的概率密度函數(shù)以提高概率預(yù)測(cè)的性能。基于稀疏貝葉斯學(xué)習(xí)、核密度估計(jì)和β分布擬合3個(gè)概率預(yù)測(cè)模型，用于形成組合模型[5]。本文采用第一種概率性預(yù)測(cè)方法，在LS-SVM(Least Squares Support Vector Machines)確定性預(yù)測(cè)模型的基礎(chǔ)上，應(yīng)用核密度估計(jì)法對(duì)模型的誤差進(jìn)行密度估計(jì)，實(shí)現(xiàn)風(fēng)電功率概率性預(yù)測(cè)。

1 研究方法的基本原理

1.1 LS-SVM的基本原理

支持向量機(jī)(SVM)是一個(gè)十分出色的機(jī)器學(xué)習(xí)算法，它成功的解決了一系列難題，例如高維和局部極小值問(wèn)題等[6]。

為了解決支持向量機(jī)模型在處理大數(shù)據(jù)集時(shí)優(yōu)化困難的問(wèn)題，LS-SVM算法在SVM算法的基礎(chǔ)上稍作改進(jìn)，在優(yōu)化時(shí)引入了誤差的平方項(xiàng)，并用正則化參數(shù)γ來(lái)調(diào)節(jié)對(duì)誤差項(xiàng)的懲罰力度，使不等式約束變成了等式約束，降低了LS-SVM模型計(jì)算的復(fù)雜性。

在LS-SVM中，回歸問(wèn)題對(duì)應(yīng)的優(yōu)化式為：

(1)

其中：ei為估計(jì)誤差，γ為正則化參數(shù)。

約束條件為：

|wTφ(xi)+ξ+ei|<ε

(2)

其中：φ(x)是非線性函數(shù)。

其拉格朗日函數(shù)如下：

L(w,b,e,α)=

(3)

對(duì)拉格朗日函數(shù)各參數(shù)求偏導(dǎo)數(shù)有：

(4)

整理成矩陣形式可得：

(5)

(6)

所得LS-SVM模型預(yù)測(cè)函數(shù)為：

(7)

1.2 核密度估計(jì)法

對(duì)樣本數(shù)據(jù)分析時(shí)，一般用密度函數(shù)和分布函數(shù)來(lái)描述樣本數(shù)據(jù)分布的特點(diǎn)。一些特點(diǎn)類型的樣本數(shù)據(jù)，有足夠的經(jīng)驗(yàn)可以說(shuō)明其數(shù)據(jù)分布的特征，若密度函數(shù)形式已知，可以利用樣本數(shù)據(jù)估計(jì)出密度函數(shù)的具體參數(shù)，這種方法稱為參數(shù)估計(jì)法。但當(dāng)密度函數(shù)形式未知，用參數(shù)估計(jì)法就無(wú)從下手了，這種情況下就可以用非參數(shù)估計(jì)方法對(duì)樣本數(shù)據(jù)的密度函數(shù)進(jìn)行估計(jì)。

非參數(shù)估計(jì)方法不依賴假定的密度函數(shù)形式，可以被用于估計(jì)多種類型數(shù)據(jù)的密度函數(shù)，例如非正態(tài)數(shù)據(jù)、重尾數(shù)據(jù)等[7]?；镜姆菂?shù)估計(jì)方法有直方圖估計(jì)法、核密度估計(jì)法、近鄰估計(jì)法、序列估計(jì)法等。下面簡(jiǎn)要介紹核密度估計(jì)法的基本原理：

假設(shè)有一組一維離散隨機(jī)樣本，其密度函數(shù)f(x)和分布函數(shù)F(x)形式未知，則有：

(8)

其中：h是核密度估計(jì)的帶寬(窗口)。

一個(gè)常用的經(jīng)驗(yàn)布函數(shù)為：

(9)

其中：I(x)為核函數(shù)。

將Fn(x)代入式(8)，則密度函數(shù)的估計(jì)為：

(10)

計(jì)算fn(x)的方差和均值，當(dāng)h→0且nh→∞時(shí)有：方差趨于0，而均值趨于f(x)，說(shuō)明fn(x)對(duì)f(x)的估計(jì)是準(zhǔn)確的。

(11)

其中：u為核函數(shù)寬度。

由公式(9)可知，核密度函數(shù)估計(jì)是一個(gè)加權(quán)和，在進(jìn)行加權(quán)求和時(shí)，對(duì)處于區(qū)間[x-h,x+h]中的樣本點(diǎn)賦予同樣的權(quán)重。這樣的處理實(shí)際上是不合理的，因?yàn)樵诠烙?jì)X在x點(diǎn)處的密度f(wàn)(x)時(shí)，離x越近的樣本點(diǎn)提供的關(guān)于f(x)的信息越多。因此，在定義f(x)的估計(jì)時(shí)，就要對(duì)距離x較近的點(diǎn)賦予較大的權(quán)值，對(duì)距離x較遠(yuǎn)的點(diǎn)賦予較小的權(quán)值，可以選取不同的核函數(shù)來(lái)決定各點(diǎn)的權(quán)值。

2 基于LS-SVM和核密度估計(jì)的預(yù)測(cè)模型

風(fēng)電功率預(yù)測(cè)按照預(yù)測(cè)方法的結(jié)果可以分為確定性預(yù)測(cè)和概率性預(yù)測(cè)。確定性預(yù)測(cè)的主要不足是預(yù)測(cè)結(jié)果中沒(méi)有提供任何關(guān)于預(yù)測(cè)值預(yù)測(cè)誤差的信息，限制了這類方法在實(shí)際中的應(yīng)用。而概率性預(yù)測(cè)則可以為每個(gè)預(yù)測(cè)量提供一個(gè)預(yù)測(cè)區(qū)間，彌補(bǔ)了確定性預(yù)測(cè)的不足。

本文在LS-SVM確定性預(yù)測(cè)模型基礎(chǔ)上，利用核密度估計(jì)方法計(jì)算確定性預(yù)測(cè)模型誤差的分布函數(shù)，實(shí)現(xiàn)了風(fēng)電功率的概率性預(yù)測(cè)，概率性預(yù)測(cè)模型的算法框圖如圖1所示。

圖1 整體算法框架

2.1 基于LS-SVM的確定性預(yù)測(cè)模型

在LS-SVM預(yù)測(cè)模型進(jìn)行時(shí)間序列預(yù)測(cè)之前，需要對(duì)輸入時(shí)間序列進(jìn)行相空間重構(gòu)得到輸入向量。構(gòu)造的輸入向量不僅關(guān)系到模型的復(fù)雜度，而且會(huì)影響到模型的預(yù)測(cè)精度。

重構(gòu)得到的輸入向量并不能直接作為模型的輸入，因?yàn)樵紨?shù)據(jù)的范圍變化較大，有些數(shù)據(jù)可能會(huì)使模型內(nèi)部函數(shù)飽和從而影響模型的預(yù)測(cè)精度，所以輸入向量需要?dú)w一化處理后才能輸入模型。預(yù)測(cè)得到的預(yù)測(cè)值經(jīng)過(guò)反歸一化后，才能得到實(shí)際的預(yù)測(cè)值。

在模型構(gòu)建的過(guò)程中需要選擇核函數(shù)，常見(jiàn)的核函數(shù)有Sigmoid核函數(shù)、多項(xiàng)式核函數(shù)、徑向基RBF(Radial Basis Function)核函數(shù)等[8]。本文選取RBF核函數(shù)。另外，超參數(shù)的選擇也是構(gòu)建模型的重點(diǎn)，需要設(shè)定的超參數(shù)有正則化參數(shù)γ和核函數(shù)參數(shù)σ。γ稱作懲罰因子，決定對(duì)誤差平方項(xiàng)的懲罰力度，關(guān)系到模型的訓(xùn)練誤差和泛化能力。在實(shí)際應(yīng)用中σ和γ的偏大或者偏小都會(huì)引起模型的過(guò)學(xué)習(xí)或欠學(xué)習(xí)現(xiàn)象，因此選擇合理的超參數(shù)非常重要。

本文采用網(wǎng)格搜索法來(lái)確定超參數(shù)，利用此方法可以得到全局范圍內(nèi)的最優(yōu)解[9]。具體步驟如下：

1) 設(shè)定兩個(gè)參數(shù)的選擇范圍和步長(zhǎng)。

2)設(shè)定初始化參數(shù)，移動(dòng)網(wǎng)格交點(diǎn)在每一處交點(diǎn)建立模型，計(jì)算得模型的平均絕對(duì)誤差MAE。

3) 搜索完畢后選取計(jì)算指標(biāo)最優(yōu)的一組參數(shù)作為模型的超參數(shù)。

在模型建立完成之后，需要在訓(xùn)練集上訓(xùn)練模型，得到支持向量alpha和偏移參數(shù)b，構(gòu)造決策函數(shù)，確定風(fēng)電功率確定性預(yù)測(cè)模型。

2.2 基于核密度估計(jì)的概率性預(yù)測(cè)模型

在確定性預(yù)測(cè)的基礎(chǔ)上，通過(guò)對(duì)確定性預(yù)測(cè)模型誤差密度函數(shù)的估計(jì)，應(yīng)用概率論理論可以計(jì)算任意置信度下的置信區(qū)間。

對(duì)不同的風(fēng)電功率區(qū)段，風(fēng)電功率確定性預(yù)測(cè)模型的誤差分布的范圍有明顯區(qū)別。因此，需要將風(fēng)電功率進(jìn)行分區(qū)，對(duì)不同的分區(qū)分別計(jì)算誤差概率密度曲線和各功率區(qū)間的置信區(qū)間[10]，實(shí)現(xiàn)全功率段的概率性預(yù)測(cè)。

假設(shè)風(fēng)電功率值的最大值為Pmax、最小值為Pmin、區(qū)間長(zhǎng)度為ΔP，分區(qū)數(shù)n為：

n=(Pmax-Pmin)/ΔP+1

(12)

初步區(qū)間劃分后，有時(shí)會(huì)出現(xiàn)某些分區(qū)樣本點(diǎn)不足的情況，這樣所得到的誤差密度分布不能準(zhǔn)確地反映誤差的實(shí)際分布情況。這時(shí)需要將相鄰的樣本點(diǎn)較少的區(qū)間合并，直到合并區(qū)間的誤差樣本點(diǎn)達(dá)到數(shù)量要求。

應(yīng)用核密度估計(jì)法計(jì)算各區(qū)間的誤差概率密度函數(shù)：

(13)

其中：ei為L(zhǎng)S-SVM模型預(yù)測(cè)誤差樣本，N為樣本總數(shù)，K(x)為核函數(shù)，h為帶寬。

對(duì)密度函數(shù)積分可得分布函數(shù)，設(shè)定置信度α，使下式成立：

P(xmin

(14)

則[xmin,xmax]為該功率區(qū)間的置信區(qū)間。依次對(duì)每個(gè)功率區(qū)間進(jìn)行以上步驟可得全功率段的置信區(qū)間。最后，將每個(gè)預(yù)測(cè)點(diǎn)的上下限分別于相鄰的點(diǎn)上下限相連即可得到整個(gè)時(shí)段的概率性預(yù)測(cè)結(jié)果[11]。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)自比利時(shí)Elia公司AggregateBelgian風(fēng)電場(chǎng)，其中記錄了該風(fēng)電場(chǎng)2018年2月28日至2018年3月29日期間的共2974個(gè)數(shù)據(jù)點(diǎn)，時(shí)間間隔為15分鐘。

圖2 風(fēng)電功率實(shí)驗(yàn)數(shù)據(jù)

從圖2可以看出，實(shí)驗(yàn)數(shù)據(jù)存在數(shù)據(jù)缺失的情況，表現(xiàn)為數(shù)據(jù)中出現(xiàn)連續(xù)的0值，這些值將會(huì)對(duì)預(yù)測(cè)算法產(chǎn)生影響；因此，在預(yù)測(cè)實(shí)現(xiàn)之前，必須對(duì)這些缺失值進(jìn)行插值處理。將預(yù)處理后的實(shí)驗(yàn)數(shù)據(jù)中的前2000個(gè)作為模型訓(xùn)練數(shù)據(jù)，后974個(gè)作為測(cè)試數(shù)據(jù)。

3.2 基于LS-SVM和核密度的概率性預(yù)測(cè)驗(yàn)證

使用該預(yù)測(cè)模型，對(duì)測(cè)試數(shù)據(jù)中的974個(gè)數(shù)據(jù)點(diǎn)進(jìn)行預(yù)測(cè)，得到974個(gè)誤差樣本。將風(fēng)電功率的范圍等分為4個(gè)區(qū)間，分別為[0,500]、[500,1000]、[1000,1500]、[1500,2000]，對(duì)各區(qū)段的誤差樣本分別求取概率密度函數(shù)，如圖3所示。

圖3 各功率區(qū)間誤差樣本概率密度圖

給定置信度為0.9，則所得各分區(qū)的置信區(qū)間為：

1)功率區(qū)間[0,500]的置信區(qū)間為[-75,75]；

2)功率區(qū)間[500,1000]的置信區(qū)間為[-150,150]；

3)功率區(qū)間[1000,1500]的置信區(qū)間[-125,125]；

4)功率區(qū)間[1500,2000]的置信區(qū)間為[-100,100]。

圖4 概率性預(yù)測(cè)結(jié)果(置信度為0.9)

給定置信度為0.7，則所得各分區(qū)的置信區(qū)間為：

1) 功率區(qū)間[0,500]的置信區(qū)間為[-52.5,52.5]；

2) 功率區(qū)間[500,1000]的置信區(qū)間為[-105,105]；

3) 功率區(qū)間[1000,1500]的置信區(qū)間[-87.5,87.5]；

4) 功率區(qū)間[1500,2000]的置信區(qū)間為[-70,70]。

由圖5可以看出，區(qū)間預(yù)測(cè)中置信度為0.9的結(jié)果中兩條包絡(luò)線完全將實(shí)際功率曲線包在中間，而置信度取0.7時(shí)，則有一點(diǎn)越過(guò)了下包絡(luò)線，這就說(shuō)明合理的選取置信度十分關(guān)鍵。置信度的選擇直接決定預(yù)測(cè)區(qū)間包括真值概率的大小。另外，由于在不同功率區(qū)段預(yù)測(cè)的精度不同，因此可以在不同的功率區(qū)段內(nèi)可以采用不同的置信度，從而提高概率性預(yù)測(cè)的整體性能[11]。

圖5 概率性預(yù)測(cè)結(jié)果(置信度0.7)

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證LS-SVM模型的預(yù)測(cè)精度，采用ARMA模型和BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。

采用AIC(Akaike Information Criterion)準(zhǔn)則[12]確定模型階數(shù)為p=6，q=10。經(jīng)檢驗(yàn)一次差分后，原先不平穩(wěn)的時(shí)間序列變?yōu)槠椒€(wěn)的時(shí)間序列，將差分后的時(shí)間序列代入模型得到的預(yù)測(cè)結(jié)果如圖6所示。

圖6 ARMA預(yù)測(cè)模型的實(shí)驗(yàn)結(jié)果

以上實(shí)驗(yàn)結(jié)果說(shuō)明使用ARMA線性建模方法對(duì)非線性的風(fēng)電功率時(shí)間序列進(jìn)行預(yù)測(cè)的效果不佳。

設(shè)定學(xué)習(xí)次數(shù)為5000，學(xué)習(xí)速率為0.02，訓(xùn)練的誤差精度為0.01，得到的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果[13]如圖7所示。

用LS-SVM模型、BP神經(jīng)網(wǎng)絡(luò)模型[14]和ARMA模型，基于相同時(shí)段的歷史數(shù)據(jù)，預(yù)測(cè)相同的時(shí)段，得出的性能指標(biāo)可以充分地說(shuō)明三者的優(yōu)劣。三者預(yù)測(cè)性能對(duì)比情況如表1所示。

圖7 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的實(shí)驗(yàn)結(jié)果

表1 三種預(yù)測(cè)模型性能對(duì)比

預(yù)測(cè)結(jié)果表明，對(duì)風(fēng)電功率進(jìn)行確定性預(yù)測(cè)時(shí)，LS-SVM模型的預(yù)測(cè)精度優(yōu)于其他兩種模型。因此，在LS-SVM預(yù)測(cè)模型的基礎(chǔ)上進(jìn)行概率性預(yù)測(cè)會(huì)得到更精確的結(jié)果。

4 結(jié)論

應(yīng)用最小二乘支持向量機(jī)和核密度估計(jì)相結(jié)合的方法實(shí)現(xiàn)對(duì)風(fēng)電功率的概率性預(yù)測(cè)。首先利用了最小二乘支持向量機(jī)模型實(shí)現(xiàn)了對(duì)風(fēng)電功率的單步預(yù)測(cè)，在單步預(yù)測(cè)的基礎(chǔ)上利用迭代法實(shí)現(xiàn)了多步預(yù)測(cè)，多步預(yù)測(cè)的平均絕對(duì)誤差為42.6，預(yù)測(cè)效果較好，具有一定的實(shí)用價(jià)值。

但本文的研究方法還存在著一定的不足，首先在輸入向量構(gòu)造方面，本文采用的是經(jīng)驗(yàn)法，選取連續(xù)的13個(gè)點(diǎn)作為輸入向量，這種方法完全基于實(shí)驗(yàn)效果，缺乏量化標(biāo)準(zhǔn)和選取原則，后續(xù)可考慮采用其他方法來(lái)構(gòu)造輸入向量，例如：自相關(guān)分析方法、功率譜分析方法。

使用了非參數(shù)核密度估計(jì)法對(duì)風(fēng)電功率進(jìn)行概率性預(yù)測(cè)，首先對(duì)確定性預(yù)測(cè)模型預(yù)測(cè)誤差進(jìn)行了分布擬合，與傳統(tǒng)的參數(shù)統(tǒng)計(jì)不同的是非參數(shù)統(tǒng)計(jì)不需要事先假設(shè)誤差的分布，模型完全基于數(shù)據(jù)，提高了預(yù)測(cè)結(jié)果的可靠性。但核密度估計(jì)方法的準(zhǔn)確性是以樣本數(shù)據(jù)量為基礎(chǔ)，其進(jìn)行估計(jì)時(shí)需要大量的誤差數(shù)據(jù)，實(shí)驗(yàn)中各區(qū)間的誤差樣本數(shù)量太小，無(wú)法真實(shí)地反映出實(shí)際中誤差的分布情況，這樣對(duì)區(qū)間預(yù)測(cè)的效果會(huì)有一定的影響，文獻(xiàn)[10]中采用Bootstrap方法與核密度估計(jì)相結(jié)合的方法來(lái)解決這一問(wèn)題，利用Bootstrap法對(duì)每個(gè)功率區(qū)間的誤差樣本值進(jìn)行多次重抽樣，產(chǎn)生大量新的誤差樣本，然后在新誤差樣本的基礎(chǔ)上進(jìn)行概率密度的估計(jì)，求各個(gè)功率區(qū)間的置信區(qū)間，這種方法為本文后續(xù)研究提供參考和借鑒。