張柯 劉海忠

摘? 要： 由于風(fēng)速序列高度非線性、間歇性和非平穩(wěn)的特點(diǎn)，給預(yù)測帶來了困難，從而影響了可再生能源制造。本文提出基于變分模態(tài)分解（VMD）和Stacking集成學(xué)習(xí)的短期風(fēng)速混合預(yù)測方法。VMD將風(fēng)速序列分解為平穩(wěn)分量，以解決非平穩(wěn)問題；考慮風(fēng)速序列實質(zhì)特征，Stacking的基學(xué)習(xí)器采用LightGBM、LSTM和全連接網(wǎng)絡(luò)（FCN）算法。實驗采用真實風(fēng)速數(shù)據(jù)，VMD-Stacking混合模型的RMSE、MAE和MAPE分別為0.1772、0.1553和8.32%。與其他分解方法或不同的基學(xué)習(xí)器組合相比，VMD-Stacking充分利用時間序列特征和風(fēng)速波動信息，提高了短期風(fēng)速預(yù)測的準(zhǔn)確性和穩(wěn)定性。

關(guān)鍵詞： 短期風(fēng)速； 變分模式分解； LightGBM； LSTM； Stacking

中圖分類號：TM614? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）05-40-05

Research on short-term wind speed prediction based on VMD-Stacking hybrid model

Zhang Ke， Liu Haizhong

（School of Mathematics and Physics， Lanzhou Jiaotong University， Lanzhou， Gansu 730070， China）

Abstract： Due to the highly nonlinear， intermittent and non-stationary characteristics of wind speed series， it is difficult to predict and affects renewable energy production. A hybrid short-term wind speed prediction method based on VMD and Stacking integrated learning is proposed to improve the performance of short-term wind speed prediction. VMD decomposes the wind speed series into stationary components to solve the non-stationary problem. Considering the essential characteristics of wind speed series， LightGBM， LSTM and full connected network （FCN） algorithms are used in the basic learner of Stacking. Using real wind speed data for experiments， the RMSE， MAE and MAPE of the VMD-Stacking hybrid model are 0.1772， 0.1553 and 8.32% respectively. Compared with other decomposition methods or different basic learner combinations， VMD-Stacking makes full use of time series characteristics and wind speed fluctuation information to improve the accuracy and stability of short-term wind speed prediction.

Key words： short-term wind speed; variational mode decomposition （VMD）; LightGBM; LSTM; Stacking

0 引言

能源在人們生活中一直扮演著不可替代的角色?，F(xiàn)在許多國家都在大力發(fā)展可再生能源技術(shù)，以解決傳統(tǒng)能源消耗的問題。許多學(xué)者已將研究重點(diǎn)轉(zhuǎn)向風(fēng)能，常用風(fēng)速預(yù)測構(gòu)建模型主要分為三類：統(tǒng)計模型、人工智能模型和混合預(yù)測模型。其中，統(tǒng)計模型有時間序列分析法、多元線性回歸、卡爾曼濾波法等。但由于風(fēng)速較強(qiáng)的非線性特征，其預(yù)測效果普遍較差。人工智能模型主要包括人工神經(jīng)網(wǎng)絡(luò)[1]、灰色預(yù)測[2]等，具有較強(qiáng)的非線性特征提取能力。然而，神經(jīng)網(wǎng)絡(luò)存在收斂速度慢[3]、對參數(shù)選擇敏感、過擬合等問題，限制了其進(jìn)一步發(fā)展。為了彌補(bǔ)其不足，混合預(yù)測模型被廣泛應(yīng)用。文獻(xiàn)[4]發(fā)現(xiàn)，組合預(yù)測的精度高于任何單個預(yù)測，但這種高精度預(yù)測受單個模型預(yù)測誤差之間的關(guān)系影響。文獻(xiàn)[5]研究了風(fēng)速序列的不同分解方法，如小波分解、經(jīng)驗?zāi)Ｊ椒纸猓‥MD）、變分模式分解（VMD），并比較了他們的有效性。文獻(xiàn)[6]利用EEMD將原始風(fēng)速分解為具有不同頻率和一定規(guī)則的模態(tài)分量。然后將每個分量輸入到遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)中，每個分量的結(jié)果進(jìn)行加和得到最終的預(yù)測結(jié)果。此模型有EEMD計算量大，分量不可控的問題，這往往導(dǎo)致函數(shù)不收斂而使風(fēng)速數(shù)據(jù)的分解效果不佳。文獻(xiàn)[7]結(jié)合了全連接網(wǎng)絡(luò)（FCN）、長短期記憶網(wǎng)絡(luò)（LSTM）和殘差網(wǎng)絡(luò)。通過多種模型的合理組合，取得了較好的預(yù)測結(jié)果。

為了填補(bǔ)上述空白，本文采用具有足夠理論基礎(chǔ)和性能優(yōu)越的VMD分解方法。VMD是一種新的自適應(yīng)時頻分解方法，它對采樣噪聲具有更強(qiáng)的魯棒性。此外，LSTM網(wǎng)絡(luò)可充分利用時間序列數(shù)據(jù)之間的內(nèi)在相關(guān)性，但預(yù)測精度一般[8]。LightGBM模型訓(xùn)練速度快、精度高，支持高效的并行訓(xùn)練[9]，但缺乏對時間序列的整體感知能力。而對于殘差變化較小的時間序列數(shù)據(jù)，F(xiàn)CN做為主流預(yù)測模型，精度更高。因此提出一種基于VMD-Stacking的短期風(fēng)速混合預(yù)測模型。主要創(chuàng)新點(diǎn)包括：①VMD和Stacking的結(jié)合可提高風(fēng)速序列預(yù)測的精度；②Stacking選擇LSTM、LightGBM和FCN作為基學(xué)習(xí)器，不僅可以有效利用時間序列變化趨勢，還可以充分挖掘不同波動水平下的序列信息。從這兩個角度實現(xiàn)風(fēng)速信息的全面提取，以便訓(xùn)練出更優(yōu)越的預(yù)測模型。

1 理論介紹

1.1 變分模態(tài)分解

VMD[11]是一種新的自適應(yīng)數(shù)據(jù)分解方法，根據(jù)各分解分量的中心頻率和帶寬，實現(xiàn)信號的頻域分解和各分量的有效分離。VMD將信號分解，轉(zhuǎn)換為變分模式，并尋找約束變分模型的最優(yōu)解[12]。

對給定的信號序列y（t），VMD假設(shè)它由K個有限帶寬的分量y（t）組成，通過求解約束變分問題來實現(xiàn)信號的分解：

[minuk，wkk=1K?tδt+jπt?uk（t）e-jwkt22s.t.k=1Kuk（t）=f]? ⑴

其中，uk（t）是模態(tài)函數(shù)的輸入信號，uk代表模態(tài)集合{u1，u2，…，uk}，wk為第k個模態(tài)相對應(yīng)的中心頻率；δ（t）為狄利克雷函數(shù)，引入平衡約束參數(shù)α和拉格朗日乘法算子λ（t），以保證重構(gòu)精度和約束條件的嚴(yán)格性，將其變?yōu)榉羌s束優(yōu)化問題：

[Luk，wk，λt=αk=1K?tδt+jπt?uk（t）e-jwkt22]

[+yt-k=1Kuk（t）22+λt，yt-k=1Kuk（t）] ⑵

利用交替方向乘子方法求解式⑵，即對uk、wk和λ（t）進(jìn)行交替迭代，計算步驟見文獻(xiàn)[13]，迭代公式為：

[un+1kw=yw-i≠kuniw+0.5λn（w）1+2α（w-wnk）2]

[wn+1k=0∞wunkw2dw0∞unkw2dw]

[λn+1w=λnw+ρyw-k=1Kun+1k（w）]

其中，ρ是噪聲容忍度，上式不斷更新迭代，直到滿足收斂精度，輸出最終的uk，wk。

1.2 Stacking集成學(xué)習(xí)

Stacking是一種分層融合模型，結(jié)構(gòu)如圖1所示。首先，將原始數(shù)據(jù)劃分為幾個子數(shù)據(jù)集后輸入到第一層的每個基學(xué)習(xí)器中，其預(yù)測結(jié)果輸出作為第二層元學(xué)習(xí)器的輸入進(jìn)行訓(xùn)練，由元學(xué)習(xí)器輸出最終的預(yù)測結(jié)果。Stacking集成學(xué)習(xí)泛化了多個模型的結(jié)果，以提高總體預(yù)測精度[14]。

1.3 基學(xué)習(xí)算法

1.3.1 Lightgbm

LightGBM是一個基于決策樹算法的GBDT推廣框架[15]，該算法的優(yōu)點(diǎn)有訓(xùn)練速度更快、精度更高、支持并行學(xué)習(xí)等。其基本思想是將M個弱回歸樹線性組合成強(qiáng)回歸樹：

[FX=m=1Mfm（x）]? ⑶

其中，[FX]為回歸樹最終的輸出值；[fm（x）]為第m棵弱回歸樹的輸出值。原理是將損失函數(shù)的負(fù)梯度作為當(dāng)前決策樹的殘差近似值，去擬合新的決策樹，即每一次迭代都保留原來的模型，再加入一個新的函數(shù)到模型中，使預(yù)測值不斷逼近真實值。

1.3.2 長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）

LSTM是一種深度學(xué)習(xí)算法[16]，具體結(jié)構(gòu)架構(gòu)見圖2。

每一個LSTM單元擁有一個具有記憶功能的細(xì)胞元組，其在時刻t的狀態(tài)記為ct，LSTM單元通過輸入門、遺忘門和輸出門接收當(dāng)前狀態(tài)xt和上一時刻元組的狀態(tài)ht-1。同時，記憶單元的狀態(tài)ct-1作為內(nèi)部信息將輸入到各個門中。當(dāng)接收輸入信息后，輸入門、遺忘門和輸出門將進(jìn)行內(nèi)部運(yùn)算。輸入門的信號經(jīng)過函數(shù)變換后，與遺忘門處理過的記憶單元狀態(tài)疊加，形成新的記憶單元狀態(tài)ct。最終，ct經(jīng)過函數(shù)運(yùn)算和輸出門的控制形成LSTM單元的輸出ht。各變量之間的計算公式如下：

[it=sigmoidWhi×ht-1+Wxi×xt+Wci×ct-1+bi]

[ft=sigmoidWhf×ht-1+Wxf×xt+Wcf×ct-1+bf]

[ot=sigmoidWho×ht-1+Wxo×xt+Wco×ct-1+bo]

[i=tanhWhg×ht-1+Wxg×xt+bc]

[ct=ft⊙ct-1+it⊙i]

[ht=ot⊙tanhct]

2 模型方法

2.1 VMD-Stacking模型基本信息

VMD-Stacking模型的結(jié)構(gòu)如圖3所示。將風(fēng)速序列F分解為固有模態(tài)函數(shù)，然后將t-1時刻分解后的分量[（IMF1t-11，IMF2t-12，…，IMFnt-1）]分別輸入到LightGBM和FCN以獲得相應(yīng)的預(yù)測結(jié)果。此外[（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1）]輸入到LSTM，并使用每[τ]個相鄰歷史風(fēng)速去預(yù)測t時刻的風(fēng)速。最后，將三個基學(xué)習(xí)器的結(jié)果通過Stacking進(jìn)行融合。

具體訓(xùn)練過程：

⑴ 利用MI理論選擇歷史風(fēng)速序列的最佳預(yù)測步長（[τ]）。

⑵ 將數(shù)據(jù)每[τ]個分為一組，并與下一時刻的風(fēng)速形成訓(xùn)練樣本，即[（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1），F(xiàn)t]，t=τ+1，τ+2，…N，一共有N-τ組。N是訓(xùn)練集中的數(shù)據(jù)數(shù)，下標(biāo)從1開始。

⑶ 進(jìn)行歸一化后，通過VMD分解以獲得相應(yīng)的分量{IMFt-1s}，i=t-τ，t-τ+1，…，t-1，s=1，2…，n，，n是VMD的分解層數(shù)。

⑷ 分解得到的分量分別輸入基學(xué)習(xí)器進(jìn)行訓(xùn)練，{IMFt-1s}用作FCN和LightGBM的輸入，（Ft-τ，…，F(xiàn)t-2，F(xiàn)t-1）作為LSTM的輸入，分別預(yù)測t時刻的結(jié)果作為輸出，然后根據(jù)結(jié)果Ft更新每個模型的參數(shù)。

⑸ 基學(xué)習(xí)器經(jīng)過訓(xùn)練后，每個訓(xùn)練樣本的輸出形成一個三維向量[Ft`，F(xiàn)t``，F(xiàn)t```]，作為第二層元學(xué)習(xí)器的輸入，根據(jù)其輸出，使用反向傳播更新參數(shù)。

2.2 VMD分解

在變分模式分解過程中，當(dāng)K值較小或較大時，很容易產(chǎn)生模態(tài)混疊或過度分解。這里采用觀察中心頻率的方法確定K值，從小到大取預(yù)設(shè)K值，當(dāng)最后一層分量的中心頻率保持相對穩(wěn)定時，認(rèn)為此時K值最佳。見表1，在K=8之后最后一層IMF分量的中心頻率保持相對穩(wěn)定，所以預(yù)設(shè)定K=8。分解結(jié)果如圖4所示。

3 實驗設(shè)置以及結(jié)果分析

3.1 實驗數(shù)據(jù)和評價指標(biāo)

實驗中數(shù)據(jù)來自NOAA（美國海洋與大氣管理局?jǐn)?shù)據(jù)）網(wǎng)站獲取的紐約地區(qū)2019年9月22日至27日的風(fēng)速及相關(guān)的大氣數(shù)據(jù)，共采集22日720個采樣點(diǎn)，間隔為2min，其中90%數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，10%作為測試數(shù)據(jù)。相關(guān)模型在Python3.6環(huán)境下完成編程計算。預(yù)測評價指標(biāo)采用平均相對誤差eMAPE，相對均方誤差eRMSE和平均絕對誤差eMAE，具體如下所示：

[eMAPE=1ni=1nxj-x（i）x（i）×100%]

[eRMSE=1ni=1nxi-y（i）2]

[eMAE=1ni=1nxi-y（i）]

x（i）和y（i）分別表示i時刻的真實值和預(yù)測值；n為樣本數(shù)量。

3.2 集成效果分析

由圖5實驗結(jié)果可知，采用Stacking集成模型的預(yù)測效果優(yōu)于傳統(tǒng)單一基礎(chǔ)模型預(yù)測效果。表2中指標(biāo)數(shù)據(jù)為重復(fù)10次預(yù)測所得到的平均值（表3、表4、表5同理），可知Stacking集成方法比單一模型的最好預(yù)測效果相對提升63.33%，有效結(jié)合了各單一算法優(yōu)勢，減少單一模型泛化性能不佳的風(fēng)險。

3.3 分解去噪對比分析

圖6預(yù)測結(jié)果顯示，使用不同的分解去噪技術(shù)對預(yù)測結(jié)果有較大影響。對比經(jīng)EMD、EEMD、CEEMDAN分解處理的Stacking模型的實驗結(jié)果，在此場景下，VMD對于短期風(fēng)速的分解效果更佳，更為有效降低數(shù)據(jù)的復(fù)雜程度。

3.4 基學(xué)習(xí)器構(gòu)建對比分析

將22日至27日的4320條原始數(shù)據(jù)相鄰時刻風(fēng)速差設(shè)為新的序列G，G服從正態(tài)分布，稱差值在區(qū)間（μ-2σ，μ+2σ）內(nèi)的數(shù)據(jù)為數(shù)據(jù)A，其以外的數(shù)據(jù)稱為數(shù)據(jù)B，它們分別代表風(fēng)速變化幅度較小和較大的數(shù)據(jù)集合。表4為三個基學(xué)習(xí)器分別對A、B數(shù)據(jù)集的實驗誤差，表明對于殘差變化較大的數(shù)據(jù)，LightGBM預(yù)測精度更高；對于殘差變化較小的數(shù)據(jù)，F(xiàn)CN的預(yù)測精度更高，而LSTM對整體數(shù)據(jù)的殘差的正負(fù)號預(yù)測高達(dá)89%，表明其能夠一定程度上捕獲時間序列變化趨勢信息。綜合以上分析可以得出，將三種模型進(jìn)行組合后，可增強(qiáng)模型對長時間序列的感知力，同時充分挖掘不同波動程度下的序列信息。

由表5可知，使用不同的基學(xué)習(xí)器對預(yù)測結(jié)果有較大影響。用SVM算法來進(jìn)行舉例，去替換基學(xué)習(xí)器中任意一個，發(fā)現(xiàn)實驗誤差都會變大。從而驗證對于Stacking基學(xué)習(xí)器選擇的測試結(jié)果，并且剔除掉任何一個，評估性能都會有所下降。

4 結(jié)論

本文研究了一種基于VMD-Stacking集成學(xué)習(xí)的短期風(fēng)速預(yù)測模型，并將模型應(yīng)用于某風(fēng)電場真實數(shù)據(jù)集，驗證模型的預(yù)測精度，主要結(jié)論如下：

⑴ VMD分解可將具有強(qiáng)非線性、非平穩(wěn)性的風(fēng)速時間序列分解為相對穩(wěn)定的數(shù)組IMF分量，可增強(qiáng)時間序列的可預(yù)報性。對比EMD、EEMD和CEEMDAN，VMD實驗結(jié)果的RMSE降低了22.59%至39.97%，對于短期風(fēng)速數(shù)據(jù)具有更好的分解效果。

⑵ Stacking選用的基學(xué)習(xí)器中，LSTM對風(fēng)速變化正負(fù)值的預(yù)測高達(dá)89%，lightgbm在變化浮動較大的數(shù)據(jù)集上RMSE數(shù)值最小（0.4332），而FCN在浮動較小的數(shù)據(jù)集上RMSE數(shù)值最?。?.4789），三者結(jié)合具備更佳的預(yù)測效果。對比于用SVM去替換任意一個基學(xué)習(xí)器，本文模型都具有更為明顯的優(yōu)越效果。

⑶ VMD-Stacking的對短期風(fēng)速預(yù)測誤差指標(biāo)RMSE、MAE、MAPE分別為0.1772、0.1553和8.32%。此模型可準(zhǔn)確地追蹤風(fēng)速變化情況，在預(yù)測短期風(fēng)速變化中表現(xiàn)出更好的預(yù)測度和穩(wěn)定性。

參考文獻(xiàn)（References）：

[1] SINGH P， DWIVEDI P. Integration of new evolutionaryapproach with artificial neural network for solving short term load forecast problem[J]. Applied Energy，2018，217：537-549

[2] 焦?jié)櫤?，蘇辰雋，林碧英，等.基于氣象信息因素修正的灰色短期負(fù)荷預(yù)測模型[J].電網(wǎng)技術(shù)，2013，37（3）：720-725

[3] 孔祥玉，鄭鋒，鄂志君，等.基于深度信念網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2018，42（5）：133-139

[4] BATES J M， GRANGER C W J. The combinationofforecasts[J]. Journal of the Operational Research Society，1969，20（4）：451-468

[5] Qian Z，? Pei Y，? Zareipour H， et al. A review and discussionof decomposition-based hybrid models for wind energy forecasting applications[J]. Applied Energy，2019，235（FEB.1）：939-953

[6] Wang S， Zhang N， Wu L， et al. Wind speed forecastingbased on the hybrid ensemble empirical mode decomposition and GA-BP neural network method[J]. Renewable Energy，2016，94：629-636

[7] 許言路，張建森，吉星，等.基于多模型融合神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測[J].控制工程，2019，26（4）：619-624

[8] 陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測方法[J]. 電力系統(tǒng)自動化，2019，43（8）：131-137

[9] 周挺，楊軍，周強(qiáng)明，等.基于改進(jìn) LightGBM 的電力系統(tǒng)暫態(tài)穩(wěn)定評估方法[J].電網(wǎng)技術(shù)，2019，43（6）：1931-1940

[10] Lu X， Miao F， Xie X， et al. A new method fordisplacement prediction of 'step-like' landslides based on VMD-FOA-SVR model[J]. Environmental earth sciences，2021（80-17）

[11] 羅亦泳，姚宜斌，黃城，等.基于改進(jìn)VMD的變形特征提取與分析[J].武漢大學(xué)學(xué)報·信息科學(xué)版，2020，45（4）：613

[12] Hu H， Zhang J， Li T. A Comparative Study of VMD-Based Hybrid Forecasting Model for Nonstationary Daily Streamflow Time Series[J]. Complexity，2020（2）：1-21

[13] Hamilton N， Ferry M. vmd： Variational Mode Decompo-sition，2017

[14] Zandi O， Zahraie B， Nasseri M， et al. Stacking machinelearning models versus a locally weighted linear model to generate high-resolution monthly precipitation over a topographically complex area[J]. Atmospheric Research，2022，272：106159

[15] Friedman J H. Stochastic gradient boosting[J].Computa-tional Statistics & Data Analysis，2002，38

[16] 張宇帆，艾芊，林琳，等.基于深度長短時記憶網(wǎng)絡(luò)的區(qū)域級超短期負(fù)荷預(yù)測方法[J].電網(wǎng)技術(shù)，2019，43（6）：1884-1891