于曉要 李 娜

(商丘工學(xué)院 河南 商丘 476000)

0 引 言

近年來,風(fēng)能作為清潔能源受到了廣泛關(guān)注,全球風(fēng)電裝機(jī)容量逐年增長。風(fēng)力發(fā)電的穩(wěn)定性和可靠性是需要考慮的關(guān)鍵問題,因此,有必要進(jìn)行風(fēng)電預(yù)測。由于風(fēng)電預(yù)測依賴于大氣氣象學(xué)和風(fēng)速,因此提高風(fēng)速預(yù)測的準(zhǔn)確性能改善風(fēng)電預(yù)測結(jié)果[1]。由于風(fēng)速數(shù)據(jù)具有隨機(jī)性和混沌性,用線性方法預(yù)測相當(dāng)困難[2]。一般預(yù)測時(shí)間長短與預(yù)測準(zhǔn)確性呈負(fù)相關(guān)關(guān)系,根據(jù)預(yù)測時(shí)間可分為超短期、短期和中長期預(yù)測。

風(fēng)速預(yù)測方法主要有持續(xù)性模型、基于氣象參數(shù)預(yù)測、統(tǒng)計(jì)學(xué)方法和基于機(jī)器學(xué)習(xí)的預(yù)測方法等。通常持續(xù)性模型對目標(biāo)函數(shù)作簡單的平滑假設(shè),未來風(fēng)速被認(rèn)為等于預(yù)測時(shí)間內(nèi)的風(fēng)速[3],這是最簡單和最經(jīng)濟(jì)的風(fēng)力預(yù)測方法。當(dāng)預(yù)測時(shí)間范圍延長時(shí),持續(xù)性模型的性能迅速下降,因此,只適用于超短期預(yù)測。數(shù)值天氣預(yù)測(Numerical Weather Prediction,NWP)適用于大規(guī)模地區(qū)長期預(yù)測[4],主要缺點(diǎn)是計(jì)算時(shí)間和復(fù)雜度高,在預(yù)測過程中遇到不可測誤差會導(dǎo)致嚴(yán)重的偏差,短期預(yù)測不可靠。統(tǒng)計(jì)學(xué)方法旨在找出風(fēng)速時(shí)間序列統(tǒng)計(jì)分布規(guī)律和隨機(jī)過程來把握趨勢性非平穩(wěn)變化。統(tǒng)計(jì)模型以各種回歸預(yù)測為主,包括多元線性/非線性回歸、自回歸(Auto Regressive,AR)、自回歸移動(dòng)平均(Auto Regressive Moving Average,ARMA)、自回歸綜合移動(dòng)平均(Auto Regressive Integrated Moving Average,ARIMA)。文獻(xiàn)[5]應(yīng)用多變量ARMA進(jìn)行逐時(shí)風(fēng)速預(yù)測,但由于其中的線性假設(shè),它無法對較長的時(shí)間范圍給出準(zhǔn)確的估計(jì)。文獻(xiàn)[6]充分考慮風(fēng)速自身高低及風(fēng)速變化率對條件方差的影響,提出一種基于ARIMA和廣義自回歸條件異方差模型的風(fēng)速預(yù)測方法,可快速實(shí)現(xiàn)超短期內(nèi)風(fēng)速的點(diǎn)預(yù)測與區(qū)間預(yù)測。

近年來,提出的基于機(jī)器學(xué)習(xí)的短期風(fēng)速預(yù)測方法主要有模糊邏輯[7]、人工神經(jīng)網(wǎng)絡(luò)[8]和支持向量機(jī)(Support Vector Machine,SVM)[9]。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)應(yīng)用廣泛,它能夠捕捉輸入數(shù)據(jù)與預(yù)測風(fēng)速值之間的關(guān)系[8]?，F(xiàn)有研究提出了前饋神經(jīng)網(wǎng)絡(luò)[10]、遞歸神經(jīng)網(wǎng)絡(luò)[11]、徑向基函數(shù)(Radial Basis Function,RBF)神經(jīng)網(wǎng)絡(luò)[12]、自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)[13]和非線性自回歸神經(jīng)網(wǎng)絡(luò)(nonlinear autoregressive networks,NARNN)[14]用于風(fēng)速和風(fēng)力發(fā)電預(yù)測。基于人工神經(jīng)網(wǎng)絡(luò)的預(yù)測方法由于能夠反映輸入輸出變量之間復(fù)雜的非線性關(guān)系,在時(shí)序預(yù)測中得到了廣泛應(yīng)用。人工智能方法可分為淺層和深度學(xué)習(xí)模型。前饋神經(jīng)網(wǎng)絡(luò)等淺層模型利用單隱層來捕獲時(shí)間特征,這種模型無法從數(shù)據(jù)中自動(dòng)學(xué)習(xí)無監(jiān)督的特征。深度學(xué)習(xí)能夠訓(xùn)練多層隱藏計(jì)算單元,具有很高的泛化能力。文獻(xiàn)[15]將深度疊加自動(dòng)編碼器(Stacked Auto-Encoder,SAE)應(yīng)用于短期風(fēng)電預(yù)測。文獻(xiàn)[16]采用深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)進(jìn)行短期風(fēng)場預(yù)測。DBN和SAE可利用無監(jiān)督的數(shù)據(jù)來初始化模型參數(shù)。文獻(xiàn)[17]指出當(dāng)深度網(wǎng)絡(luò)的驗(yàn)證錯(cuò)誤率很小時(shí),即使網(wǎng)絡(luò)容量大、復(fù)雜度高、最小值很小,也能保證網(wǎng)絡(luò)具有很好的泛化能力。

各種回歸方法所作的預(yù)測具有不確定性[12],現(xiàn)有方法通常假設(shè)輸入變量服從伯努利分布,沒有對實(shí)值數(shù)據(jù)建模,為此,本文提出一種新的區(qū)間概率分布學(xué)習(xí)模型(IPDL),基于受限玻爾茲曼機(jī)(Restricted Boltzmann Machines,RBM)[18]和粗糙集理論[19]從底層輸入時(shí)間序列中獲取區(qū)間無監(jiān)督特征。在風(fēng)速時(shí)間序列數(shù)據(jù)集中,通過降低能量函數(shù),同時(shí)增加觀測輸入向量的概率來學(xué)習(xí)概率分布函數(shù)?？梢妼雍碗[藏層的條件概率可以很容易地分解為簡單的因子,計(jì)算量小。此外,為了有效地訓(xùn)練IPDL模型,提出一種基于對比散度和Gibbs抽樣的無監(jiān)督學(xué)習(xí)算法。在此基礎(chǔ)上,提出一種具有實(shí)值輸入向量的區(qū)間深度置信網(wǎng)絡(luò)(IDBN),利用IPDL來獲得風(fēng)場數(shù)據(jù)的概率分布。利用IDBN和FT2IS設(shè)計(jì)一種混合風(fēng)速預(yù)測方法,稱為深度混合(Deep Hybrid,DH)方法,用于未來風(fēng)速值的有監(jiān)督回歸。與基于監(jiān)督回歸的ANN、SVR和模糊系統(tǒng)等人工智能方法不同,特征提取不需要關(guān)于風(fēng)力數(shù)據(jù)的先驗(yàn)知識。此外,仿真結(jié)果表明,該方法能夠準(zhǔn)確地處理輸入數(shù)據(jù)的不確定性。

1 風(fēng)速數(shù)據(jù)分析

風(fēng)速是具有許多波動(dòng)的非線性時(shí)間序列,因此,基于平滑性假設(shè)的方法存在諸多不足。本文基于數(shù)據(jù)驅(qū)動(dòng),從輸入的風(fēng)速數(shù)據(jù)中捕捉統(tǒng)計(jì)特征。文獻(xiàn)[19]應(yīng)用自相關(guān)函數(shù)(Autocorrelation Function,ACF)來獲得不同時(shí)間樣本下風(fēng)速時(shí)間序列的相關(guān)性。由于ACF只能計(jì)算一個(gè)變量與自身的線性相關(guān)性,引入互信息(Mutual Information,MI)處理風(fēng)速數(shù)據(jù)高度非線性。假設(shè)兩個(gè)隨機(jī)變量X、Y,X的熵由H(X)表示,聯(lián)合熵H(X,Y)用于計(jì)算其不確定度。用條件熵H(Y|X)=H(X,Y)-H(X)表示在已知變量X時(shí)Y的不確定度。兩個(gè)隨機(jī)變量之間的MI是一個(gè)非線性函數(shù),用于測量已知一個(gè)變量時(shí),另一變量的信息。MI由I(X,Y)=H(Y)-H(Y|X)計(jì)算。t時(shí)間的風(fēng)速值為v(t),計(jì)算v(t-l+1)和v(t+1)之間的MI作為時(shí)滯。將MI大于閾值0的時(shí)滯對應(yīng)的風(fēng)速數(shù)據(jù)作為算法的輸入集,以突出風(fēng)速時(shí)間序列中的相關(guān)性。

2 區(qū)間概率分布學(xué)習(xí)

2.1 粗糙特征提取

2.2 區(qū)間分布學(xué)習(xí)模型

式中:指數(shù)1≤j≤H和1≤k≤D分別對應(yīng)隱層單元和可見單元。定義聯(lián)合概率分布函數(shù)為:

圖1 含輸入的區(qū)間概率分布學(xué)習(xí)模型結(jié)構(gòu)

2.3 IPDL推論

隱藏向量h給定輸入x的概率為:

(8)

由于隱藏層內(nèi)的節(jié)點(diǎn)是相互獨(dú)立的,所以式(8)的分母可寫成與一個(gè)特定隱藏單元對應(yīng)的單個(gè)表達(dá)式的乘積:

那么,式(8)的條件概率可以改寫為:

其中,給定輸入x和系數(shù)αj的上界隱藏條件概率為:

2.4 IPDL學(xué)習(xí)算法

假設(shè)上下界隱藏單元權(quán)重相同αj=1-βj=0.5,則式(11)-式(12)中條件概率的前饋計(jì)算如下:

利用訓(xùn)練集Dtr={x(t)|1≤t≤T}中的T個(gè)數(shù)據(jù)樣本訓(xùn)練上界和下界參數(shù),無監(jiān)督對數(shù)概率損失函數(shù)為:

式中:J(Dtr)是在數(shù)據(jù)集Dtr上定義的監(jiān)督誤差函數(shù)。為了更新參數(shù)θ,關(guān)于θ的隨機(jī)梯度計(jì)算如下:

圖2 IPDL算法流程

為了采用式(15)調(diào)整IPDL,通過下式對式(15)的期望運(yùn)算進(jìn)行估計(jì):

其中,上界和下界隱藏樣本的計(jì)算方式為:

(19)

式中:II(·)是指示函數(shù)。

3 深度混合風(fēng)速預(yù)測方法

該方法由帶粗糙模式識別的區(qū)間深度置信網(wǎng)絡(luò)和模糊II型推理系統(tǒng)組成。圖3給出了所提DH模型的結(jié)構(gòu)。首先,將基于互信息的特征選擇算法應(yīng)用于歷史風(fēng)速時(shí)序數(shù)據(jù),并選擇與未來數(shù)據(jù)更相關(guān)的時(shí)間滯后作為D維輸入向量〈x1,x2,…,xD〉。為了從風(fēng)速分布中提取非線性特征,提出一種基于實(shí)值輸入變量IPDL生成模型的區(qū)間深度置信網(wǎng)絡(luò)。IDBN包含L個(gè)IPDL,這些IPDL堆疊在一起以提取時(shí)間特征。通過最大化IPDL模型的對數(shù)似然來學(xué)習(xí)這些特征,作為一種無監(jiān)督的方法來初始化多層神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏差。初始化過程也可以看作是一個(gè)正則化過程,隨機(jī)初始化的參數(shù)被移動(dòng)到一個(gè)良好的初始子空間。從IDBN接收到的每個(gè)數(shù)據(jù)樣本的結(jié)果被饋送到高斯隸屬度函數(shù),其區(qū)間標(biāo)準(zhǔn)差將被模糊II型TSK推理系統(tǒng)所使用。采用TSK作為回歸模型,對未來時(shí)間序列值進(jìn)行了擬合。

圖3 L=3的DH算法結(jié)構(gòu)

3.1 深度混合方法的結(jié)構(gòu)

3.1.1無監(jiān)督概率分布學(xué)習(xí)

圖3給出了所提DH模型的結(jié)構(gòu)。首先,利用提出的IPDL模型和TSK模糊系統(tǒng)設(shè)計(jì)了一個(gè)IDBN。與經(jīng)典的DBN相比,為了更準(zhǔn)確地了解實(shí)值風(fēng)力數(shù)據(jù)的概率密度,本文考慮了初始IPDL的實(shí)值輸入單元。IPDL是連續(xù)訓(xùn)練的,無須監(jiān)控,使用原始風(fēng)速時(shí)間序列,無須預(yù)處理。因此,不需要任何先驗(yàn)知識來從時(shí)間序列中提取特征。每個(gè)IPDL使用式(17)-式(19)進(jìn)行訓(xùn)練?？紤]到IDBN中IPDL模型的個(gè)數(shù)為L,網(wǎng)絡(luò)應(yīng)連續(xù)地訓(xùn)練L個(gè)模型。第一個(gè)IPDL的輸入IPDL1是可見的時(shí)間序列數(shù)據(jù)x=〈x1,x2,…,xD〉。該模型從輸入數(shù)據(jù)中學(xué)習(xí)特征。第i個(gè)IPDL接收從其先前訓(xùn)練的IPDLi-1中獲得的特征hi-1。

3.1.2監(jiān)督IDBN調(diào)整

IDBN在第L層之后應(yīng)用線性回歸進(jìn)行微調(diào),期望的預(yù)測輸出作為監(jiān)督信號。初始隸屬度函數(shù)的參數(shù)是通過聚類從IDBN得到的。在此階段采用有監(jiān)督平方誤差損失函數(shù)。

3.1.3FT2IS學(xué)習(xí)和DH微調(diào)

混合預(yù)測器采用端到端的隨機(jī)梯度下降(StochasticGradient Descent,SGD)方法進(jìn)行微調(diào)。由于該網(wǎng)絡(luò)的輸出與IPDL模型的上、下界參數(shù)和FT2IS模型是可微的,因此能以端到端的方式有效地訓(xùn)練整個(gè)系統(tǒng)。圖2中提出的學(xué)習(xí)過程作為參數(shù)的正則化技術(shù),有助于IPDL找到DH的區(qū)間權(quán)重和偏差的精確初始化。與文獻(xiàn)[20]中隨機(jī)初始化的模糊網(wǎng)絡(luò)相比,該框架利用生成的IPDL對模糊系統(tǒng)的隸屬度函數(shù)進(jìn)行最優(yōu)初始化,更準(zhǔn)確地處理了風(fēng)力數(shù)據(jù)的不確定性。

3.2 實(shí)值數(shù)據(jù)的深度置信網(wǎng)絡(luò)

由于對時(shí)間序列信號采用伯努利分布對風(fēng)速預(yù)測不夠準(zhǔn)確。因此,提出實(shí)值輸入向量以更高的估計(jì)精度模擬風(fēng)速分布。所以,新的能量函數(shù)定義為:

式中:σ是高斯可見層的標(biāo)準(zhǔn)偏差向量x=〈x1,x2,…,xD〉。xi的條件概率計(jì)算方法如下:

為了初始化IDBN的權(quán)值和偏差參數(shù),將模型的對數(shù)似然最大化為σi=1,以便于訓(xùn)練過程中應(yīng)用馬爾可夫鏈蒙特卡羅計(jì)算式(15)中的期望值。

3.3 模糊回歸法

式中:*是用作T范數(shù)函數(shù)的乘積算子。第i條規(guī)則的觸發(fā)可以表示為:

通過式(27)計(jì)算回歸輸出:

3.4 監(jiān)督端到端訓(xùn)練

在對IDBN進(jìn)行預(yù)訓(xùn)練后,得到hL向量,并將K-Means算法作為無監(jiān)督聚類方法用于激活hL,以確定高斯隸屬函數(shù)的初始均值。種群數(shù)目被設(shè)置為所考慮的成員函數(shù)的數(shù)目。監(jiān)督誤差函數(shù)為:

式中:T是訓(xùn)練樣本數(shù);Ot是DH輸出;Vt是第t次訓(xùn)練樣本的輸出。EReg是正則化誤差項(xiàng):

式中:0<λ<1是正則化系數(shù)。為了提高SGD的訓(xùn)練速度,特別是實(shí)值IDBN的自由參數(shù),Jsup相對于后續(xù)部分的自由參數(shù)的梯度為:

式中:et=Ot-Vt是第t個(gè)訓(xùn)練樣本的誤差。隸屬函數(shù)的均值和區(qū)間標(biāo)準(zhǔn)差參數(shù)的梯度計(jì)算如下:

式中:M是每個(gè)FT2IS輸入的隸屬函數(shù)數(shù)目,因此,MHL是在所提系統(tǒng)中定義的II類規(guī)則的總數(shù)。為了更新粗糙特征(區(qū)間權(quán)重和IDBN的偏差),關(guān)于每個(gè)粗糙單元的上下限參數(shù)Jsup的偏導(dǎo)數(shù)根據(jù)式(19)類似公式計(jì)算。所提出模型相對于輸入可微,因此,可以端到端地調(diào)整整個(gè)深度網(wǎng)絡(luò)參數(shù)。

4 算例分析

4.1 數(shù)據(jù)集

算例選用了美國國家可再生能源實(shí)驗(yàn)室統(tǒng)計(jì)的某地區(qū)風(fēng)力數(shù)據(jù)集[21]。數(shù)據(jù)集中的風(fēng)速數(shù)據(jù)有3年的風(fēng)速值,連續(xù)歷史樣本之間的間隔為10 min,每年包含52 560個(gè)數(shù)據(jù),有足夠的數(shù)據(jù)可用于訓(xùn)練和測試。DH方法使用離線和在線兩種方式進(jìn)行訓(xùn)練。用TS表示訓(xùn)練集,它包含M個(gè)樣本(i),1≤i≤M;用TT表示測試集,它包含N個(gè)樣本(j),1≤j≤N。首先,模型在TS離線訓(xùn)練,在SGD的每個(gè)訓(xùn)練時(shí)段對TS的每個(gè)樣本使用式(30)-式(31)更新參數(shù)。然后,對模型進(jìn)行在線訓(xùn)練,即模型在N次迭代中逐個(gè)觀察TT中的值。每次迭代時(shí),都會向DH模型提供一個(gè)樣本TT(j),并計(jì)算相應(yīng)誤差。在隨后的迭代中將TT(j+1)輸入到前一模型,其誤差被于式(30)-式(31)更新模型。前兩年數(shù)據(jù)集用于訓(xùn)練,第三年數(shù)據(jù)用于測試;從第二年每個(gè)季度中數(shù)據(jù)集選擇15%用于測試。在連續(xù)三個(gè)訓(xùn)練階段,當(dāng)驗(yàn)證均方根誤差(Root Mean Square Error,RMSE)的相對變化小于5%時(shí),訓(xùn)練停止。圖4給出了第二年高度變化的風(fēng)速時(shí)間序列。Kolmogorov-Smirnov、Anderson-Darling和卡方檢驗(yàn)表明,Weibull概率分布的平均值為7.32 m/s,形狀因子為2.15。

圖4 第二年風(fēng)速值

4.2 輸入變量選擇

圖5給出了滯后l=1到l=100的MI。結(jié)果表明,風(fēng)速測量值之間的相關(guān)性隨著時(shí)滯的增大而減小。選擇τ=0.4的時(shí)間滯后相對應(yīng)的風(fēng)速數(shù)據(jù)作為輸入集,以突出顯示風(fēng)速數(shù)據(jù)之間的相關(guān)性。假設(shè)模型在t時(shí)間預(yù)測未來風(fēng)速值,輸入集是24+23=47維向量〈v(t-23),Δv(t-22),v(t-22),…,v(t)〉,風(fēng)速序列差為Δv(t)=v(t)-v(t-1)。

圖5 第二年數(shù)據(jù)集不同時(shí)差的互信息

4.3 評估標(biāo)準(zhǔn)

采用均方根誤差RMSE和絕對百分比平均誤差(the Mean Absolute Percentage Error,MAPE)對模型進(jìn)行評價(jià),計(jì)算如下:

式中:err(n)=t(n)-o(n)是第n個(gè)樣本的測試誤差,t(n)是目標(biāo)值,o(n)是輸出值。

4.4 算例模擬設(shè)置

提出的DH模型以互信息產(chǎn)生的47維輸入向量作為特征選擇算法。每一層的激活單元的數(shù)目從φ={5,10,15,…,45}中選擇。IDBN可以包含2到5個(gè)IPDL作為混合模型的初始隱藏層。底層迭代次數(shù)是避免過度擬合的重要因素,考慮最多80次迭代來訓(xùn)練模型。此外,當(dāng)驗(yàn)證過程在5個(gè)階段的變化小于等于0.05的閾值時(shí),滿足訓(xùn)練過程的停止準(zhǔn)則。訓(xùn)練率η和動(dòng)量項(xiàng)系數(shù)設(shè)為0.5。L2正則化的權(quán)重衰減參數(shù)λ從集合{0.2,0.3,0.4,0.5,0.6}中選擇。最優(yōu)λ對應(yīng)于訓(xùn)練過程結(jié)束時(shí)的最小驗(yàn)證誤差。

為了確定IDBN的最優(yōu)結(jié)構(gòu)(確定DH算法中L值),對固定集φ進(jìn)行隨機(jī)搜索。根據(jù)100次運(yùn)行的平均驗(yàn)證誤差選擇最優(yōu)模型。圖6給出了隨著IPDL數(shù)量的增加,1 h、10 h和24 h前風(fēng)速預(yù)測的驗(yàn)證RMSE?？梢钥闯?對于提前1 h預(yù)測,具有2個(gè)IPDL的IDBN存在最小誤差。當(dāng)提前預(yù)測時(shí)間延長到10 h,IPDL數(shù)量為3時(shí)誤差最小。隨著預(yù)測復(fù)雜性的增加,IPDL的最優(yōu)數(shù)目也隨之增加。對于提前24 h的預(yù)測,具有4個(gè)IPDL的IDBN具有最小的誤差率。更多的IPDL會導(dǎo)致過度擬合問題,而較少的隱藏層會降低DH的處理能力。

(a) 提前1 h預(yù)測結(jié)果

(b) 提前10 h預(yù)測結(jié)果

(c) 提前24 h預(yù)測結(jié)果圖6 RMSE驗(yàn)證結(jié)果

為了將提出的IPDL與經(jīng)典DBN進(jìn)行多步預(yù)測,訓(xùn)練了一個(gè)帶有Bernoulli-RBM的DBN來代替DH中提出的IDBN模型。如圖6所示,與DBN模型相比,IDBN在驗(yàn)證集誤差更小。而且,DBN結(jié)構(gòu)需要更多的隱藏層。例如,在提前24 h預(yù)測中,Bernoulli-DBN需要5個(gè)生成模型(RBM)才能達(dá)到最優(yōu)解,而所提出的體系結(jié)構(gòu)由4個(gè)IPDL模型組成。因此,利用所提出的區(qū)間分布學(xué)習(xí)方法,可以減少深度置信網(wǎng)絡(luò)的計(jì)算負(fù)擔(dān),同時(shí)獲得更好的精度。FT2IS回歸模型包含4個(gè)輸入變量,對于每個(gè)輸入,有3個(gè)高斯隸屬函數(shù),規(guī)則的數(shù)目是34=81。將3個(gè)聚類的K-Means算法應(yīng)用于IDBN特征,以確定隸屬函數(shù)的初始均值。這些函數(shù)的標(biāo)準(zhǔn)差和自由參數(shù)在[0.01,0.2]中隨機(jī)選取。

4.5 數(shù)值結(jié)果與比較

本文提出的DH方法與持續(xù)性(Persistence,PR)模型[22]在超短期及短期風(fēng)速預(yù)測中進(jìn)行了比較。此外,還將該模型與現(xiàn)有文獻(xiàn)中的單一模型和混合方法進(jìn)行了比較。單一模型應(yīng)用單一回歸架構(gòu)來預(yù)測,為了顯示深度學(xué)習(xí)對風(fēng)數(shù)據(jù)回歸的影響,將基于淺層神經(jīng)網(wǎng)絡(luò)的方法,包括前饋神經(jīng)網(wǎng)絡(luò)FFNN[10]、時(shí)滯神經(jīng)網(wǎng)絡(luò)TDNN[11]和非線性自回歸神經(jīng)網(wǎng)絡(luò)NARNN[12]與本文方法進(jìn)行了比較。此外,將所提模型與當(dāng)前SAE[15]和深度學(xué)習(xí)方法DBN[16]進(jìn)行了比較。

為了提高預(yù)測精度,混合模型采用了多重風(fēng)特征提取和回歸方法。在本文中,將DH模型與混合E-GA-APSO-WNN模型[23]進(jìn)行了比較,該模型應(yīng)用集成經(jīng)驗(yàn)?zāi)Ｊ椒纸?Ensemble Empirical Mode Decomposition,EEMD)來降低風(fēng)速時(shí)序數(shù)據(jù)中的噪聲,以及將遺傳算法(Genetic Algorithm,GA)與粒子群優(yōu)化(Algorithm of Particle Swarm Optimization,APSO)相結(jié)合作為小波神經(jīng)網(wǎng)絡(luò)WNN參數(shù)優(yōu)化方法。并與文獻(xiàn)[24]提出的基于特征選擇和參數(shù)優(yōu)化的混合回溯搜索算法HBSA的混合極值學(xué)習(xí)機(jī)ELM短期風(fēng)速預(yù)測模型進(jìn)行了比較。文獻(xiàn)[24]中提出的ELM-HBSA模型有效地捕捉了風(fēng)速信號的非線性特征,并優(yōu)于ARIMA和SVR兩種預(yù)測模型。

4.5.1深度學(xué)習(xí)與淺層特征學(xué)習(xí)的比較

表1和表2給出了10 min至3 h前風(fēng)速預(yù)測的RMSE和MAPE,并與淺層和深層單模型方法進(jìn)行了比較。RMSE、MAPE一般隨著預(yù)測時(shí)間的延長而增加。PR方法可產(chǎn)生準(zhǔn)確的短期預(yù)測結(jié)果,提前10 min的RMSE為0.625 m/s,提前3 h的RMSE為2.785 m/s。提前10 min預(yù)測的平均相對誤差為10.983,在提前3 h預(yù)測中達(dá)到30.174。因此,將PR不適用于長期預(yù)測。

表1 單一模型不同時(shí)段的RMSE 單位:m/s

表2 單一模型不同時(shí)段的MAPE

與PR相比,FFNN得到了更好的結(jié)果。在提前10 min預(yù)測中,FFNN的RMSE較PR提高了7.04%;對于提前3 h的預(yù)測,提高了24.20%。PR在提前3 h預(yù)測中性能較差是由于該模型只有簡單平滑假設(shè)。TDNN模型和NARNN模型都優(yōu)于FFNN模型,因?yàn)檫@些方法可以在捕獲數(shù)據(jù)的時(shí)間特征的同時(shí)對時(shí)序數(shù)據(jù)的序列屬性進(jìn)行建模。與FFNN相比,TDNN的RMSE和MAPE分別提高了5.80%和8.32%。NARNN的RMSE和MAPE結(jié)果分別比FFNN好12.56%和11.60%。與FFNN和TDNN模型相比,NARNN是最好的淺層神經(jīng)結(jié)構(gòu)。將NARNN與深度網(wǎng)絡(luò)SAE進(jìn)行比較,結(jié)果表明,與NARNN相比,SAE的RMSE和MAPE分別改善了7.23%、17.82%。當(dāng)采用DBN模型時(shí),RMSE和MAPE的改善效果分別提高了8.99%和22.44%。由于具有更多的非線性隱藏層和捕捉輸入分布,使得DBN和SAE具有更好的泛化能力,有助于獲得更精確的風(fēng)速預(yù)測。與文獻(xiàn)[15]中提出的SAE相比,DBN具有更好的準(zhǔn)確性,因?yàn)闊o監(jiān)督特征提取是通過RBM完成的,可以更好地獲得輸入分布。

與DBN和SAE相比,該混合模型得到了更為精確的結(jié)果。與文獻(xiàn)[16]提出的DBN相比,本文模型使RMSE降低了2.7%,MAPE降低了23.90%?；贒BN的混合模型的改進(jìn)在于:(1) 利用所提出的區(qū)間特征和FI2IS進(jìn)行回歸,通過從時(shí)間序列中獲取區(qū)間來處理風(fēng)速數(shù)據(jù)中存在的不確定性;(2) 采用實(shí)值輸入單元,與SAE和DBN相比,具有更高的精度。圖7給出了第三年中72個(gè)樣本的提前3 h預(yù)測的NARNN和DBN預(yù)測結(jié)果與實(shí)際風(fēng)速?？梢钥闯?DBN通過學(xué)習(xí)風(fēng)數(shù)據(jù)概率分布,改進(jìn)了NARNN的結(jié)果。圖8給出了文獻(xiàn)[16]中提出的采用RBM的DBN與本文方法的比較結(jié)果?？梢钥闯?DBN的最大絕對誤差值為0.98 m/s,IDBN模型將此誤差減小到0.43 m/s,產(chǎn)生更準(zhǔn)確的結(jié)果。這是因?yàn)?(1) 所提出的IPDL模型從數(shù)據(jù)中學(xué)習(xí)到一個(gè)區(qū)間隱藏關(guān)系;(2) 與使用二進(jìn)制輸入單元的DBN相比,本文模型采用從實(shí)值數(shù)據(jù)中學(xué)習(xí)的實(shí)值輸入變量。

圖7 第三年某日提前3 h預(yù)測值與實(shí)際風(fēng)速

圖8 第三年某日測試樣本與提前1 h預(yù)測結(jié)果比較

4.5.2混合方法的比較

表3和表4給出了所提DH模型的RMSE和MAPE,以及E-GA-apsown和ELM-HBSA兩種基礎(chǔ)混合方法的結(jié)果。兩種基礎(chǔ)混合方法都采用信號分解來降低噪聲,而DH模型從數(shù)據(jù)中獲取區(qū)間特征,以處理風(fēng)數(shù)據(jù)的不確定性。與ELM-HBSA相比,E-GA-APSO-WNN在提前1 h和3 h預(yù)測中的MAPE分別改善了10.39%和13.61%。DH模型優(yōu)于E-GA-APSO-WNN。對于超短期(提前10 min)的預(yù)測,DH模型相對于E-GA-APSO-WNN的MAPE結(jié)果改善了45.96%,這是由于提出的深度網(wǎng)絡(luò)采用了自動(dòng)無監(jiān)督深度特征提取。在提前3 h預(yù)測中,與ELM-HBSA和E-GA-APSO-WNN相比,DH模型的MAPE分別減少21.19%和8.79%。

表3 混合模型不同時(shí)段的RMSE 單位:m/s

表4 混合模型不同時(shí)段的MAPE

圖9和圖10分別給出了從提前1 h預(yù)測到提前24 h預(yù)測的所有單一模型和混合方法的RMSE和MAPE結(jié)果。與混合方法相比,SAE和DBN在提前1 h到提前7 h預(yù)測中具有較好的精度;但是,對于較大的預(yù)測時(shí)間步長,混合方法在RMSE和MAPE中都有顯著的改進(jìn)。當(dāng)提前預(yù)測時(shí)間超過5 h時(shí),所提DH模型的性能明顯優(yōu)于E-GA-APSO-WNN和ELM-HBSA。

圖9 1 h至24 h預(yù)測的各模型平均RMSE結(jié)果

圖10 1 h至24 h預(yù)測的各模型平均MAPE結(jié)果

4.5.3不確定性對模型性能的影響

為了說明風(fēng)速數(shù)據(jù)不確定性對模型性能的影響,采用兩個(gè)擴(kuò)展的DH模型作為基線,分別為:(1) DHdense采用RBMs代替IPDL模型,為了研究區(qū)間特征學(xué)習(xí)的效果,將本文提出的DH方法與該模型進(jìn)行了比較;(2) DHTypeI采用模糊I型推理系統(tǒng)代替FT2IS回歸模型,本文提出的DH方法與該模型進(jìn)行了比較,研究了從深度網(wǎng)絡(luò)中捕獲區(qū)間II型規(guī)則的效果。在不同不確定性條件下,將基線與DH模型進(jìn)行了比較。根據(jù)文獻(xiàn)[15]對風(fēng)速預(yù)測模型的魯棒性實(shí)驗(yàn),每個(gè)風(fēng)速測試樣本v考慮高斯噪聲Gauss(μ,σ2),μ=0,σ=0.1v。圖11給出了DH、DHdense和DHTypeI每小時(shí)絕對預(yù)測誤差的盒須圖。與DHdense和DHTypeI對應(yīng)的框的最小值、中值和最大值都小于采用DH方法相應(yīng)的值。

圖11 DH、DHdense和DHTypeI每小時(shí)絕對預(yù)測誤差

可以看出,所測數(shù)據(jù)均未出現(xiàn)異常點(diǎn)。提前1 h預(yù)測時(shí),DH每小時(shí)絕對預(yù)測誤差為1.25 m/s、DHdense每小時(shí)絕對預(yù)測誤差為1.11 m/s,DHTypeI每小時(shí)絕對預(yù)測誤差為1.05 m/s。根據(jù)提前1 h預(yù)測結(jié)果可知,DHTypeI的風(fēng)速數(shù)據(jù)不確定性對模型性能的影響較小,整體情況比較穩(wěn)定。提前3 h預(yù)測時(shí),DH每小時(shí)絕對預(yù)測誤差為1.37 m/s、DHdense每小時(shí)絕對預(yù)測誤差為1.31 m/s,DHTypeI每小時(shí)絕對預(yù)測誤差為1.15 m/s。根據(jù)提前3 h預(yù)測結(jié)果可知,DHTypeI的不平衡數(shù)據(jù)較少,整體情況比較穩(wěn)定。

4.5.4IPDL與RBM的比較

為對所提IPDL方法和RBM進(jìn)行比較,定義了兩個(gè)基線:(1) IPDLreg模型包括IPDL和線性回歸模型;(2) RBMreg包括IPDL和線性回歸模型。圖12比較了IPDLreg和RBMreg在測試RMSE方面的性能。如圖6所示,當(dāng)預(yù)測時(shí)間范圍延長時(shí),需要具有更多隱藏層的更復(fù)雜網(wǎng)絡(luò)來獲得高精度;然而,具有太多的層將由于梯度而降低模型性能。在圖12中,IPDLreg在搜索空間的更寬區(qū)域中具有更低的測試RMSE,性能更好,IPDLreg對增加或減少層的數(shù)量不太敏感。但是,RBMreg的性能更多地取決于隱藏層的數(shù)量。此外,與RBMreg相比,IPDLreg的精度更高,這表明了本文方法相對于RBM的優(yōu)越性。

圖12 多時(shí)段IPDLreg與RBMreg的RMSE比較

4.5.5運(yùn)行時(shí)間分析

圖13給出了使用不同下降梯度的DH的離線訓(xùn)練時(shí)間。算例在一個(gè)多GPU計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn),該系統(tǒng)有兩個(gè)NVIDIA GTX980圖形卡和一個(gè)4.2 GHz的四核處理器。可以看出,離線訓(xùn)練時(shí)間隨著時(shí)間范圍的延長而增加,這是因?yàn)殡[藏層的數(shù)量隨著相應(yīng)回歸問題的復(fù)雜性而增加。本文方法適用于短期風(fēng)速預(yù)測。對于時(shí)間范圍小于10 min的預(yù)測,在將模型用于實(shí)際預(yù)測之前,可以使用歷史數(shù)據(jù)離線調(diào)整模型。

圖13 基于不同下降梯度的DH離線訓(xùn)練時(shí)間

5 結(jié) 語

本文提出一種基于深度學(xué)習(xí)、粗糙集理論和模糊集理論的風(fēng)電預(yù)測混合模型。為了從風(fēng)力數(shù)據(jù)的概率分布中學(xué)習(xí)特征,設(shè)計(jì)了一種基于實(shí)值輸入RBM的無監(jiān)督概率分布學(xué)習(xí)模型。將粗糙集理論與深度模型相結(jié)合,設(shè)計(jì)了區(qū)間分布學(xué)習(xí)結(jié)構(gòu)?；谒岢龅姆植紝W(xué)習(xí)模型和模糊II型推理系統(tǒng),進(jìn)一步設(shè)計(jì)了一個(gè)具有上下界參數(shù)估計(jì)的區(qū)間深度置信網(wǎng)絡(luò)。利用所提出的IPDL的特征,將模糊系統(tǒng)應(yīng)用于底層目標(biāo)函數(shù)的有監(jiān)督預(yù)測。由于IPDL和FT2IS的可微性,該模型利用有監(jiān)督的期望輸出信號,端到端的方式訓(xùn)練模型。本文方法采用粗糙集處理噪聲進(jìn)行特征提取,并且結(jié)合模糊推理系統(tǒng)進(jìn)行預(yù)測,仿真結(jié)果表明,與其他方法相比,所提出的IPDL模型及其新的學(xué)習(xí)算法對預(yù)測結(jié)果有了顯著改善,預(yù)測結(jié)果相當(dāng)準(zhǔn)確。此外,在處理數(shù)據(jù)不確定性方面,與RBM算法相比,本文算法由于在IPDL中使用了實(shí)值輸入變量以及區(qū)間上下界參數(shù),能夠獲得變量的深層特征,魯棒性更好。后續(xù)可在具有更高多樣性的時(shí)間序列特征上進(jìn)行研究。