摘 要：精確的風(fēng)速預(yù)測(cè)對(duì)風(fēng)力發(fā)電具有指導(dǎo)作用，據(jù)此提出一種多維時(shí)間序列下Vision Transformer（ViT）和長短時(shí)記憶網(wǎng)絡(luò)（LSTM）的風(fēng)速預(yù)測(cè)方法，實(shí)現(xiàn)對(duì)風(fēng)速的超前一步和超前多步預(yù)測(cè)。結(jié)合斯皮爾曼系數(shù)（Spearman）和變分模態(tài)分解將風(fēng)速分解為多維時(shí)間序列，多維時(shí)間序列能更好地表征原始風(fēng)速的周期性和波動(dòng)性；采用ViT提取多維時(shí)間序列中的特征以及隱藏信息，在保持ViT模型自注意力機(jī)制優(yōu)勢(shì)的同時(shí)，用LSTM進(jìn)一步建立所提取特征和風(fēng)速之間的關(guān)系，從而提高ViT-LSTM模型的泛化性和預(yù)測(cè)準(zhǔn)確性。使用內(nèi)蒙古某風(fēng)場(chǎng)記錄的數(shù)據(jù)進(jìn)行試驗(yàn)分析，在超前1步、超前6步、超前12步和超前24步預(yù)測(cè)時(shí)，該方法的平均絕對(duì)誤差分別比LSTM模型減少了15.15%、34.41%、68.32%和81.71%，結(jié)果表明該模型在超前多步風(fēng)速預(yù)測(cè)方面具有較好的效果。

關(guān)鍵詞：風(fēng)速；預(yù)測(cè)；長短時(shí)記憶網(wǎng)絡(luò)；變分模態(tài)分解；ViT

中圖分類號(hào)：TM614""""""""""" """"""""""""""""""""""" "文獻(xiàn)標(biāo)志碼：A

0 引 言

為了實(shí)現(xiàn)“雙碳”目標(biāo)，中國大力發(fā)展新能源，推動(dòng)綠色低碳轉(zhuǎn)型［1］。風(fēng)能由于資源豐富、清潔環(huán)保等優(yōu)勢(shì)，在全球能源轉(zhuǎn)型中受到越來越多的重視［2］。然而，風(fēng)力發(fā)電的波動(dòng)性和不穩(wěn)定性成為了制約風(fēng)能開發(fā)利用的一個(gè)瓶頸。對(duì)風(fēng)速進(jìn)行準(zhǔn)確的預(yù)測(cè)，可提高風(fēng)電場(chǎng)的發(fā)電效率，對(duì)風(fēng)場(chǎng)的運(yùn)營調(diào)度，制定更合理的發(fā)電計(jì)劃具有指導(dǎo)作用，同時(shí)還能提高風(fēng)力發(fā)電場(chǎng)的安全性和穩(wěn)定性。

風(fēng)速、風(fēng)功率預(yù)測(cè)從原理角度主要?jiǎng)澐譃槲锢矸椒?、統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法。機(jī)器學(xué)習(xí)分為淺層機(jī)器學(xué)習(xí)和深層機(jī)器學(xué)習(xí)，淺層機(jī)器學(xué)習(xí)以支持向量機(jī)和隨機(jī)森林等為代表，深層機(jī)器學(xué)習(xí)即深度學(xué)習(xí)［3-5］。傳統(tǒng)的機(jī)器學(xué)習(xí)無法滿足海量數(shù)據(jù)的挖掘和計(jì)算，而深度學(xué)習(xí)具有強(qiáng)大的提取深層數(shù)據(jù)特征和非線性建模的能力，因此近年來在風(fēng)速、風(fēng)功率等時(shí)序預(yù)測(cè)領(lǐng)域的應(yīng)用越來越廣泛［6］。文獻(xiàn)［7］應(yīng)用自適應(yīng)噪聲完備經(jīng)驗(yàn)?zāi)B(tài)分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）對(duì)風(fēng)速進(jìn)行二次分解，對(duì)分解后的子序列分別進(jìn)行風(fēng)速預(yù)測(cè)，提出的多步預(yù)測(cè)模型取得了較高的預(yù)測(cè)精度；文獻(xiàn)［8］提出結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）和共享權(quán)重長短期記憶網(wǎng)絡(luò)（shared weight long short-term memory，SWLSTM）的空時(shí)融合模型，充分提取風(fēng)速序列中的空間和時(shí)間信息，對(duì)風(fēng)速進(jìn)行超前1步預(yù)測(cè)，以提高預(yù)測(cè)精度；文獻(xiàn)［9］建立了變分模態(tài)分解和長短時(shí)記憶網(wǎng)絡(luò)的組合模型對(duì)風(fēng)速進(jìn)行超前1步預(yù)測(cè)，結(jié)果證明該模型的預(yù)測(cè)精度優(yōu)于其他多種典型風(fēng)速預(yù)測(cè)模型；文獻(xiàn)［10］提出一種優(yōu)化K-mediods聚類的雙層長短時(shí)記憶網(wǎng)絡(luò)（Bi-directional long short-term memory， BiLSTM）短期風(fēng)速預(yù)測(cè)模型，通過對(duì)風(fēng)速進(jìn)行單步預(yù)測(cè)，驗(yàn)證了模型的準(zhǔn)確性及有效性。

上述幾種神經(jīng)網(wǎng)絡(luò)模型本質(zhì)上都是循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network ，RNN）的變體，在處理時(shí)間序列時(shí)，會(huì)存在長期依賴和記憶力衰減的問題［11］。最新研究表明，Transformer模型能在預(yù)測(cè)時(shí)較好地解決上述問題。文獻(xiàn)［12］結(jié)合集合經(jīng)驗(yàn)?zāi)B(tài)分解（EEMD）和Transformer模型用于風(fēng)速的短期和長期預(yù)測(cè)，能夠準(zhǔn)確預(yù)測(cè)風(fēng)速，在長期預(yù)測(cè)中展示了良好的結(jié)果；文獻(xiàn)［13］提出一種基于卷積Transformer的截?cái)喔咚姑芏染W(wǎng)絡(luò)，試驗(yàn)結(jié)果表明，該模型提供了準(zhǔn)確的確定性風(fēng)速預(yù)報(bào)，同時(shí)還得到可靠的概率風(fēng)速預(yù)報(bào)；文獻(xiàn)［14］采用基于多頭注意力機(jī)制的Transformer神經(jīng)網(wǎng)絡(luò)對(duì)風(fēng)功率進(jìn)行超前多步預(yù)測(cè)，試驗(yàn)結(jié)果表明模型在多步預(yù)測(cè)中表現(xiàn)突出；文獻(xiàn)［15］使用改進(jìn)Transformer對(duì)風(fēng)速進(jìn)行多步預(yù)測(cè)，結(jié)果表明快速傅里葉Transformer（FFTransformer）在多步預(yù)測(cè)中性能優(yōu)于LSTM模型。

經(jīng)研究調(diào)查，目前相關(guān)論文主要集中于對(duì)風(fēng)速的超前1步預(yù)測(cè)，對(duì)于超前多步預(yù)測(cè)的研究尚不成熟。鑒于此，本文提出一種多維時(shí)間序列下ViT和長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）的風(fēng)速多步預(yù)測(cè)模型，該模型能在超前多步預(yù)測(cè)中取得較高的預(yù)測(cè)精度。首先，對(duì)原始風(fēng)速序列進(jìn)行了VMD分解，通過斯皮爾曼相關(guān)系數(shù)確定要分解的風(fēng)速子序列數(shù)量k?；谧宰⒁饬C(jī)制的ViT模型能有效提取多維時(shí)間序列的特征以及隱藏信息，通過捕捉特征之間的動(dòng)態(tài)變化、時(shí)序模式和時(shí)序依賴性，使模型能有效提高風(fēng)速預(yù)測(cè)的精度。使用LSTM層對(duì)提取的多維時(shí)間序列特征進(jìn)行風(fēng)速預(yù)測(cè)，試驗(yàn)結(jié)果表明，所提出的模型對(duì)超前一步預(yù)測(cè)和超前多步預(yù)測(cè)均具有較高的預(yù)測(cè)精度，可證明該方法的有效性。

1 研究方法

1.1 變分模態(tài)分解

變分模態(tài)分解（variational mode decomposition，VMD）是一種適用于非平穩(wěn)非線性信號(hào)分析的分解方法［16］。該方法基于全局優(yōu)化框架，迭代尋找信號(hào)的一組固有模式函數(shù)（IMFs），從而將信號(hào)分解為一系列具有不同時(shí)頻特征的局部振動(dòng)模式。

VMD的核心思想是構(gòu)建和求解變分問題，通過最小化代價(jià)函數(shù)實(shí)現(xiàn)信號(hào)分解。代價(jià)函數(shù)由信號(hào)與其分解后的IMFs之間的歐幾里得距離之和以及一個(gè)正則項(xiàng)構(gòu)成，該正則項(xiàng)旨在保證解的光滑性。通過求解變分問題，可獲得[k]個(gè)模態(tài)函數(shù)分量[uk（t）]以及對(duì)應(yīng)的中心頻率[ωk]，從而將原始信號(hào)分解為多個(gè)局部振動(dòng)模式，具體計(jì)算結(jié)果為：

[un+1k（ω）=f（ω）-i≠kui（ω）+λ（ω）21+2α（ω-ωk）2]"""" （1）

[ωn+1k=0∞ωuk（ω）2dω0∞uk（ω）2dω]"""" （2）

1.2 Vision Transformer

Transformer由編碼器（encoder）和解碼器（decoder）構(gòu)成，是一種基于自注意力機(jī)制的序列模型［17］。該模型主要用于翻譯和文本生成等各種自然語言處理任務(wù)，目前也逐漸被應(yīng)用于時(shí)間序列預(yù)測(cè)。自注意力機(jī)制是對(duì)注意力機(jī)制的進(jìn)一步改進(jìn)，其主要優(yōu)勢(shì)在于減少了對(duì)外部信息的依賴程度，更好地捕捉數(shù)據(jù)內(nèi)部的相關(guān)性［18-19］，其計(jì)算公式為：

[attention（Q， K， V）=softmaxQKTdKV]""""" （3）

式中：[Q]、[K]、[V]——輸入數(shù)據(jù)通過不同的線性變換所得到的向量組成的矩陣；[softmax（·）]——進(jìn)行歸一化的激活函數(shù)；[dK]——[K]的維度。

多頭注意力機(jī)制在自注意力機(jī)制的基礎(chǔ)上引入了多個(gè)注意力頭，每個(gè)頭對(duì)輸入序列進(jìn)行不同的線性變換，從而使模型能夠從不同的角度、不同的空間維度來理解輸入序列，增強(qiáng)了模型的表達(dá)能力和泛化能力。

ViT是一種將Transformer應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的模型［20］。ViT由多個(gè)編碼器堆疊組成，每個(gè)編碼器由一個(gè)多頭自注意力機(jī)制（multi-head self-attention）和一個(gè)全連接前饋網(wǎng)絡(luò)（feedforward neural network）組成，模型結(jié)構(gòu)如圖1所示。編碼器接受輸入序列，通過Embedding層將其轉(zhuǎn)換為一系列隱藏表示，每個(gè)表示都包含有關(guān)該位置的輸入信息和來自其他位置的信息。在多頭自注意力機(jī)制中，模型使用自注意力機(jī)制處理每個(gè)圖塊中的特征，并計(jì)算每個(gè)圖塊與其他圖塊之間的注意力權(quán)重，從而實(shí)現(xiàn)對(duì)圖像中不同區(qū)域之間的依賴關(guān)系的建模。前饋網(wǎng)絡(luò)將注意力權(quán)重應(yīng)用于圖塊特征，從而生成編碼器的輸出。Dense層用于接收編碼器的輸出，實(shí)現(xiàn)對(duì)模型的分類或者預(yù)測(cè)。相比于Transformer，ViT簡化了模型結(jié)構(gòu)，舍棄了解碼器部分，模型更容易訓(xùn)練、擬合。ViT模型完全基于自注意力機(jī)制，可以很好地理解時(shí)序預(yù)測(cè)任務(wù)中的時(shí)空相關(guān)性，將ViT應(yīng)用于風(fēng)速預(yù)測(cè)任務(wù)中具有可行性。

1.3 長短時(shí)記憶網(wǎng)絡(luò)

長短時(shí)記憶網(wǎng)絡(luò)（LSTM）是一種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)［21］，特別擅長處理序列數(shù)據(jù)。LSTM在傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入了3個(gè)門（遺忘門、輸入門、輸出門）來控制信息的流動(dòng)，使其能有效地解決長期依賴問題，模型結(jié)構(gòu)如圖2所示。

遺忘門用來控制記憶單元中哪些信息需要被遺忘，輸入門用來控制哪些信息需要被記憶，輸出門用來控制哪些信息需要被輸出。通過這3個(gè)門的控制，LSTM可保留長期的歷史信息，避免梯度消失和梯度爆炸，提高了序列建模的性能。LSTM 的計(jì)算過程為：

[ft=σWf?ht-1，xt+bf ] （4）

[it=σWi?ht-1，xt+bi]"" （5）

[Ct=tanhWC?ht-1，xt+bC] （6）

[Ct=ft*Ct-1+it*Ct]"" （7）

[ot=σWo?ht-1， xt+bo]"""""" （8）

式中：[ft]、[it]、[Ct]、[ot]——[t]時(shí)刻的遺忘門、輸入門、細(xì)胞狀態(tài)和輸出門；[Wf]、[Wi]、[WC]、[Wo]、[bf]、[bi]、[bC]、[bo]——與輸入[xt]相連接的權(quán)重系數(shù)矩陣和偏置項(xiàng)；[σ]——sigmoid函數(shù)；[ht]——[t]時(shí)刻的隱藏層輸出；[xt]——[t]時(shí)刻的輸入；[Ct]——記憶單元的輸入狀態(tài)；tanh——雙曲正切函數(shù)。

2 風(fēng)速預(yù)測(cè)模型

2.1 模型流程

為提高風(fēng)速預(yù)測(cè)的精度，構(gòu)建多維時(shí)間序列下ViT和LSTM的風(fēng)速多步預(yù)測(cè)模型，模型流程如圖3所示，步驟如下：

1）結(jié)合斯皮爾曼相關(guān)系數(shù)和VMD將風(fēng)速分解為k個(gè)風(fēng)速子序列；

2）分別對(duì)[k]個(gè)風(fēng)速子序列進(jìn)行歸一化處理，用滑動(dòng)時(shí)間窗口的方式創(chuàng)建輸入數(shù)據(jù)集，按7∶2∶1的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

3）將數(shù)據(jù)集輸入到ViT-LSTM模型，ViT通過多頭注意力機(jī)制提取多維時(shí)間序列的特征；LSTM對(duì)ViT提取的時(shí)間序列特征進(jìn)行預(yù)測(cè)，得到風(fēng)速的預(yù)測(cè)結(jié)果。

2.2 評(píng)價(jià)指標(biāo)

采用平均絕對(duì)誤差（mean absolute error，MAE）、均方根誤差（root mean square error，RMSE）和對(duì)稱平均絕對(duì)百分比誤差（symmetric mean absolute percentage error，SMAPE）來度量模型的預(yù)測(cè)效果，評(píng)價(jià)指標(biāo)越小說明模型效果越好。

[eMAE=1Ni=1Nyi-yi]"""""""" （9）

[eRMSE=1Ni=1Nyi-yi2]"""" （10）

[eSMAPE=1Ni=1Nyi-yi（yi+yi）/2×100%]"" （11）

式中：[N]——預(yù)測(cè)點(diǎn)總數(shù)；[yi]和[yi]——第[i]個(gè)風(fēng)速預(yù)測(cè)值和實(shí)際值。

3 算例分析

以內(nèi)蒙古某風(fēng)電場(chǎng)記錄的風(fēng)速數(shù)據(jù)進(jìn)行算例分析，時(shí)間跨度為2013年1月1日—3月31日，數(shù)據(jù)采樣周期為10 min，3個(gè)月記錄的樣本總數(shù)共計(jì)12330個(gè)。所采集的數(shù)據(jù)包括平均風(fēng)速、環(huán)境溫度和平均功率等，使用平均風(fēng)速進(jìn)行試驗(yàn)分析，原始風(fēng)速數(shù)據(jù)樣本如圖4所示。

結(jié)合斯皮爾曼相關(guān)系數(shù)確定最合適的IMF數(shù)量[k]，以避免信號(hào)欠分解或過分解。分別令[k]為3～7，通過計(jì)算分解出的不同IMF與原始風(fēng)速的相關(guān)性系數(shù)，來確定最合適的IMF數(shù)量，結(jié)果如表1所示。斯皮爾曼相關(guān)系數(shù)小于0.1時(shí)，表明兩個(gè)變量之間的相關(guān)性非常弱。當(dāng)[k]大于5時(shí)，存在IMF和風(fēng)速的相關(guān)性小于0.1，認(rèn)為此時(shí)信號(hào)過分解，因此本文采用該方法確定的序列分解數(shù)量[k=5]。懲罰因子[α]、保真度系數(shù) [τ]和收斂停止條件[ε]使用默認(rèn)值。分解后風(fēng)速子序列如圖5所示。

通過觀察圖4和圖5，發(fā)現(xiàn)原始風(fēng)速數(shù)據(jù)呈現(xiàn)出較大的波動(dòng)性，具有復(fù)雜的時(shí)間特征；利用VMD將原始風(fēng)速分解為5個(gè)風(fēng)速子序列，分別為IMF1～I(xiàn)MF5。IMF1為低頻信號(hào)，代表風(fēng)速信號(hào)的基本趨勢(shì)和規(guī)律，可用于分析風(fēng)速信號(hào)的長期變化趨勢(shì)；IMF2～I(xiàn)MF5為高頻信號(hào)，代表風(fēng)速信號(hào)的短期波動(dòng)和噪聲成分，可用于分析風(fēng)速信號(hào)的瞬時(shí)變化和波動(dòng)特征。分解風(fēng)速信號(hào)為低頻和高頻信號(hào)，可更好地理解和分析風(fēng)速信號(hào)的特征和規(guī)律，能有效提高風(fēng)速預(yù)測(cè)的精度。

將VMD分解得到的多維時(shí)間序列作為輸入數(shù)據(jù)，對(duì)數(shù)據(jù)分別進(jìn)行歸一化處理。歸一化能提高深度學(xué)習(xí)模型的訓(xùn)練效果和性能，同時(shí)也有助于增強(qiáng)模型的穩(wěn)定性和泛化能力［22］。把所有數(shù)據(jù)分成3部分進(jìn)行算例試驗(yàn)：70%的數(shù)據(jù)作為訓(xùn)練集，用于訓(xùn)練模型；20%的數(shù)據(jù)作為驗(yàn)證集，用于選擇最優(yōu)參數(shù)的模型；10%的數(shù)據(jù)作為測(cè)試集，用于測(cè)試模型的表現(xiàn)。本文構(gòu)建的ViT-LSTM風(fēng)速預(yù)測(cè)模型如圖3下半部分所示。

ViT模型保留了Transformer模型的編碼器部分，用全連接層取代解碼器部分來實(shí)現(xiàn)模型的分類或回歸，這種設(shè)計(jì)極大地簡化了模型的架構(gòu)，在特定任務(wù)中表現(xiàn)優(yōu)異?？紤]到LSTM能有效地提取時(shí)間序列特征，在時(shí)序任務(wù)中表現(xiàn)出色，因此將LSTM層添加到ViT模型的編碼器后面，以進(jìn)一步處理特征，將這種結(jié)構(gòu)稱為ViT-LSTM模型。

根據(jù)經(jīng)驗(yàn)確定LSTM層數(shù)為1，隱藏層單元數(shù)為 64，學(xué)習(xí)率為0.001。通過網(wǎng)格搜索方法確定ViT部分的最佳超參數(shù)組合，令編碼器層數(shù)的候選值為［2， 4， 6， 8］，注意力頭數(shù)的候選值為［4， 6， 8， 10］，Dropout率的候選值為［0.1， 0.2， 0.3］，生成一個(gè)包含所有可能組合的參數(shù)網(wǎng)格。對(duì)于參數(shù)網(wǎng)格中的每個(gè)超參數(shù)組合，進(jìn)行模型訓(xùn)練和評(píng)估。根據(jù)評(píng)估指標(biāo)的結(jié)果，選擇具有最佳性能的超參數(shù)組合作為最終模型的超參數(shù)設(shè)置。該模型使用的編碼器層數(shù)為4，多頭注意力機(jī)制由8個(gè)注意力頭組成，Dropout率為0.1，激活函數(shù)為GELU。

為驗(yàn)證Spearman-VMD分解的有效性，構(gòu)建4個(gè)對(duì)比模型進(jìn)行試驗(yàn)分析。模型1的輸入數(shù)據(jù)為原始風(fēng)速，模型2的輸入數(shù)據(jù)為經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）分解得到的多維時(shí)間序列數(shù)據(jù)，模型3的輸入數(shù)據(jù)為自適應(yīng)噪聲完備經(jīng)驗(yàn)?zāi)B(tài)分解（CEEMDAN）分解得到的多維時(shí)間序列數(shù)據(jù)，模型4的輸入數(shù)據(jù)為Spearman-VMD分解所得數(shù)據(jù)，分別進(jìn)行超前1步預(yù)測(cè)，預(yù)測(cè)結(jié)果如圖6所示，模型誤差指標(biāo)如表2所示。

由表2可知模型4的RMSE、MAE和SMAPE分別比模型1降低了33.33%、32.81%和27.12%，說明使用本文分解方法對(duì)提高模型精度發(fā)揮了積極的作用；利用EMD和CEEMDAN分解得到的數(shù)據(jù)分別進(jìn)行模型2和模型3分析，試驗(yàn)效果比模型1要差。兩種分解方法分解較大的數(shù)據(jù)集時(shí)會(huì)存在模態(tài)混疊的情況，使分解結(jié)果不夠清晰和可靠；同時(shí)噪聲的存在可能會(huì)導(dǎo)致分解結(jié)果不穩(wěn)定從而使誤差增加，進(jìn)而影響模型2和模型3的預(yù)測(cè)性能。VMD分解方法能有效改善模態(tài)混疊現(xiàn)象和克服噪音的影響，試驗(yàn)證明Spearman-VMD分解的有效性，經(jīng)過該方法分解得到的多維時(shí)間序列能有效提高風(fēng)速預(yù)測(cè)的精度。

為驗(yàn)證ViT-LSTM模型性能，構(gòu)建LSTM、GRU、Transformer和ViT與本文方法Vit-LSTM做對(duì)比試驗(yàn)，分別進(jìn)行超前1步和超前多步風(fēng)速預(yù)測(cè)。對(duì)風(fēng)速進(jìn)行超前1步預(yù)測(cè)，圖7和表3分別展示了不同模型的預(yù)測(cè)結(jié)果和誤差評(píng)價(jià)指標(biāo)。由圖7可看出ViT-LSTM模型風(fēng)速預(yù)測(cè)曲線最貼近真實(shí)風(fēng)速，在超前1步風(fēng)速預(yù)測(cè)時(shí)效果最好。由表3可知，Transformer、LSTM和GRU模型預(yù)測(cè)效果相近，LSTM模型的RMSE為0.66 m/s、MAE為0.53 m/s，SMAPE為13.53%，而Transformer模型的RMSE、MAE、SMAPE分別為0.68 m/s，0.52 m/s和13.13%，說明擅長自然語言處理的Transformer模型同樣適用于風(fēng)速預(yù)測(cè)，且能得到較好的結(jié)果。

相比于Transformer、LSTM和GRU這3個(gè)模型，ViT模型表現(xiàn)出更好的性能，3個(gè)誤差指標(biāo)均得到改善。ViT的RMSE、MAE和SMAPE相比Transformer分別減少7.35%、5.77%和24.07%，結(jié)果表明將ViT模型應(yīng)用于風(fēng)速預(yù)測(cè)是可行的，且能提高預(yù)測(cè)精度。此外，ViT-LSTM模型表現(xiàn)最佳，相對(duì)于ViT模型，其RMSE、MAE和SMAPE分別減少了11.11%、12.24%和16.05%。試驗(yàn)結(jié)果證明LSTM能進(jìn)一步建立所提取特征和風(fēng)速之間的關(guān)系，進(jìn)而提升預(yù)測(cè)精度。

構(gòu)建LSTM、GRU、Transformer、ViT和ViT-LSTM 5種模型對(duì)風(fēng)速分別進(jìn)行超前3步、6步、12步和24步預(yù)測(cè)，預(yù)測(cè)結(jié)果分別如圖8a～圖8d所示。隨著超前預(yù)測(cè)步長的增加，LSTM和GRU模型的預(yù)測(cè)性能迅速下降，出現(xiàn)預(yù)測(cè)結(jié)果發(fā)散和預(yù)測(cè)模型失效的情況，這表明LSTM和GRU等循環(huán)神經(jīng)網(wǎng)

絡(luò)在超前多步風(fēng)速預(yù)測(cè)任務(wù)中表現(xiàn)不佳，無法捕捉到長序列之間的依賴關(guān)系與內(nèi)部特征。相比之下，ViT和ViT-LSTM模型能跟隨真實(shí)風(fēng)速的變化趨勢(shì)，說明自注意力機(jī)制能有效提取長序列之間的特征。

表4和圖9展示了超前多步風(fēng)速預(yù)測(cè)的評(píng)價(jià)指標(biāo)結(jié)果，隨著超前預(yù)測(cè)步長的增加，5種模型的預(yù)測(cè)效果變差。與LSTM等4種模型相比，ViT-LSTM模型在所有超前步長的預(yù)測(cè)中均表現(xiàn)出更好的效果。LSTM和GRU為循環(huán)神經(jīng)網(wǎng)絡(luò)的變體，存在長期依賴和梯度爆炸的問題，在多步預(yù)測(cè)中表現(xiàn)較差。Transformer和ViT模型中的自注意力機(jī)制能夠很好地處理長期依賴和梯度傳播問題，在多步預(yù)測(cè)時(shí)表現(xiàn)優(yōu)于LSTM和GRU。ViT相對(duì)于Transformer簡化了模型結(jié)構(gòu)，提高了模型的擬合性能，預(yù)測(cè)的準(zhǔn)確性比Transformer更高。在ViT的基礎(chǔ)上引入LSTM進(jìn)一步建立所提取特征和風(fēng)速的關(guān)系，能進(jìn)一步提高模型的預(yù)測(cè)準(zhǔn)確性。在超前多步預(yù)測(cè)中，ViT-LSTM模型的MAE和SMAPE值均低于ViT模型，具有更高的準(zhǔn)確性和更小的誤差。試驗(yàn)結(jié)果表明，在風(fēng)速預(yù)測(cè)中，ViT-LSTM模型在超前多步的風(fēng)速預(yù)測(cè)中都具有最高的準(zhǔn)確性，驗(yàn)證了所提模型的有效性。

為驗(yàn)證模型的泛化性，使用美國某風(fēng)場(chǎng)的數(shù)據(jù)進(jìn)行試驗(yàn)驗(yàn)證。時(shí)間跨度為2012年1月1日—3月31日，數(shù)據(jù)采樣周期為10 min，3個(gè)月記錄的樣本總數(shù)共計(jì)13105個(gè)。對(duì)風(fēng)速進(jìn)行超前1步、6步、12步和24步預(yù)測(cè)，預(yù)測(cè)結(jié)果分別如圖10a～圖10d所示，誤差指標(biāo)如表5所示?？煽闯?，在不同步長時(shí)，ViT-LSTM模型預(yù)測(cè)效果均最佳，在超前24步預(yù)測(cè)時(shí)MAE比LSTM、GRU、Transformer和ViT模型分別降低85.12%、84.22%、18.35%、7.29%，試驗(yàn)結(jié)果證明了ViT-LSTM模型應(yīng)用于其他不同地理位置的風(fēng)電場(chǎng)進(jìn)行風(fēng)速預(yù)測(cè)時(shí)，方法依舊可效，體現(xiàn)了模型具有良好的泛化性。

4 結(jié) 論

本文結(jié)合斯皮爾曼相關(guān)系數(shù)和變分模態(tài)分解對(duì)風(fēng)速信號(hào)進(jìn)行分解，得到風(fēng)速的多維時(shí)間序列。首次將ViT模型應(yīng)用到風(fēng)速預(yù)測(cè)中，同時(shí)提出一種多維時(shí)間序列下ViT和LSTM的風(fēng)速多步預(yù)測(cè)模型，通過試驗(yàn)對(duì)比分析得到以下主要結(jié)論：

1）結(jié)合斯皮爾曼系數(shù)和VMD將風(fēng)速分解為多維時(shí)間序列，通過分解使預(yù)測(cè)模型更好地捕捉風(fēng)速序列的周期性和波動(dòng)性。

2）ViT相對(duì)于Transformer簡化了模型結(jié)構(gòu)，提高了模型的擬合性能，將ViT模型應(yīng)用于風(fēng)速預(yù)測(cè)任務(wù)中，預(yù)測(cè)的準(zhǔn)確性比Transformer更高；引入LSTM進(jìn)一步建立所提取特征和風(fēng)速的關(guān)系，在保持ViT自注意力機(jī)制優(yōu)勢(shì)的同時(shí)，利用LSTM的循環(huán)單元對(duì)序列信息進(jìn)行捕捉和處理，進(jìn)而提高了ViT-LSTM模型的泛化性和預(yù)測(cè)準(zhǔn)確度。

3）在超前1步風(fēng)速預(yù)測(cè)時(shí)，ViT-LSTM的精度與LSTM、Transformer等模型相比得到明顯提高，平均絕對(duì)誤差分別減少15.15%和17.65%；在超前多步風(fēng)速預(yù)測(cè)時(shí)，LSTM和GRU存在預(yù)測(cè)發(fā)散的現(xiàn)象，ViT-LSTM能有效跟蹤風(fēng)速，在超前3步、6步、12步和24步時(shí)，該方法的平均絕對(duì)誤差分別比LSTM模型減少30.26%、34.41%、68.32%和81.71%，預(yù)測(cè)誤差顯著降低；ViT-LSTM模型在風(fēng)速預(yù)測(cè)中表現(xiàn)良好，特別是在超前多步預(yù)測(cè)方面，取得了較理想的效果。

ViT-LSTM模型存在參數(shù)過多的問題，對(duì)參數(shù)的優(yōu)化選擇會(huì)導(dǎo)致高計(jì)算成本，且不易找到最佳模型。未來研究的重點(diǎn)是考慮設(shè)計(jì)更加緊湊的注意力機(jī)制，以降低訓(xùn)練時(shí)間和資源消耗。

［參考文獻(xiàn)］

［1］"""""" 秦海巖. 加快發(fā)展新能源， 支撐落實(shí)“雙碳”目標(biāo)［J］. 可持續(xù)發(fā)展經(jīng)濟(jì)導(dǎo)刊， 2021（6）： 23-25.

QIN H Y. Accelerate the development of new energy and support the implementation of the “dual carbon” goals［J］. China sustainability tribune， 2021（6）：23-25.

［2］"""""" 李耀華， 孔力. 發(fā)展太陽能和風(fēng)能發(fā)電技術(shù)加速推進(jìn)我國能源轉(zhuǎn)型［J］. 中國科學(xué)院院刊， 2019， 34（4）： 426-433.

LI Y H， KONG L. Developing solar and wind power generation technology to accelerate China’s energy transformation［J］."" Bulletin"" of"" Chinese"" Academy"" of Sciences， 2019， 34（4）： 426-433.

［3］"""""" 賈凌云， 云斯寧， 趙澤妮， 等. 神經(jīng)網(wǎng)絡(luò)短期光伏發(fā)電預(yù)測(cè)的應(yīng)用研究進(jìn)展［J］. 太陽能學(xué)報(bào)， 2022， 43（12）： 88-97.

JIA L Y， YUN S N， ZHAO Z N， et al. Recent progress of short-term forecasting of photovoltaic generation based on artificial neural networks［J］. Acta energiae solaris sinica， 2022， 43（12）： 88-97.

［4］"""""" 趙澤妮， 云斯寧， 賈凌云， 等. 基于統(tǒng)計(jì)模型的短期風(fēng)能預(yù)測(cè)方法研究進(jìn)展［J］. 太陽能學(xué)報(bào)， 2022， 43（11）： 224-234.

ZHAO Z N， YUN S N， JIA L Y， et al. Recent progress in short-term forecasting of wind energy based on statistical models［J］. Acta energiae solaris sinica， 2022， 43（11）： 224-234.

［5］"""""" 周念成， 廖建權(quán)， 王強(qiáng)鋼， 等. 深度學(xué)習(xí)在智能電網(wǎng)中的應(yīng)用現(xiàn)狀分析與展望［J］. 電力系統(tǒng)自動(dòng)化， 2019， 43（4）： 180-191.

ZHOU N C， LIAO J Q， WANG Q G， et al. Analysis and prospect of deep learning application in smart grid［J］. Automation of electric power systems， 2019， 43（4）： 180-191.

［6］"""""" 冉靖， 張智剛， 梁志峰， 等. 風(fēng)電場(chǎng)風(fēng)速和發(fā)電功率預(yù)測(cè)方法綜述［J］. 數(shù)理統(tǒng)計(jì)與管理， 2020， 39（6）： 1045-1059.

RAN J， ZHANG Z G， LIANG Z F， et al. Review of wind speed and wind power prediction methods［J］. Journal of applied statistics and management， 2020， 39（6）： 1045-1059.

［7］"""""" 向玲， 劉佳寧， 蘇浩， 等. 基于CEEMDAN二次分解和LSTM的風(fēng)速多步預(yù)測(cè)研究［J］. 太陽能學(xué)報(bào)， 2022， 43（8）： 334-339.

XIANG L， LIU J N， SU H， et al. Research on multi-step wind speed forecast based on CEEMDAN secondary decomposition and LSTM［J］. Acta energiae solaris sinica， 2022， 43（8）： 334-339.

［8］"""""" 王華彪， 魯冠軍， 李小勇. 基于卷積和共享權(quán)系數(shù)長短時(shí)記憶網(wǎng)絡(luò)的空時(shí)融合機(jī)制在風(fēng)速預(yù)測(cè)上的應(yīng)用研究［J］. 太陽能學(xué)報(bào)， 2022， 43（11）： 156-165.

WANG H B， LU G J， LI X Y. Research on application of spatio-temporal fusion mechanism based on convolution and shared weight long short-term memory network in wind speed prediction［J］. Acta energiae solaris sinica， 2022， 43（11）： 156-165.

［9］"""""" 王俊， 李霞， 周昔東， 等. 基于VMD和LSTM的超短期風(fēng)速預(yù)測(cè)［J］. 電力系統(tǒng)保護(hù)與控制， 2020， 48（11）： 45-52.

WANG J， LI X， ZHOU X D， et al. Ultra-short-term wind speed prediction based on VMD-LSTM［J］. Power system protection and control， 2020， 48（11）： 45-52.

［10］"""" 潘超， 李潤宇， 蔡國偉， 等. 考慮風(fēng)速屬性約簡聚類的組合預(yù)測(cè)模型［J］. 電網(wǎng)技術(shù)， 2022， 46（4）： 1355-1362.

PAN C， LI R Y， CAI G W， et al. Combined forecasting model considering wind speed attribute reduction and clustering［J］. Power system technology， 2022， 46（4）： 1355-1362.

［11］"""" 周哲韜， 劉路， 宋曉， 等. 基于Transformer模型的滾動(dòng)軸承剩余使用壽命預(yù)測(cè)方法［J］. 北京航空航天大學(xué)學(xué)報(bào)， 2023， 49（2）： 430-443.

ZHOU Z T， LIU L， SONG X， et al. Remaining useful life prediction method of rolling bearing based on Transformer model［J］. Journal of Beijing University of Aeronautics and Astronautics， 2023， 49（2）： 430-443.

［12］"""" WU H J， MENG K， FAN D， et al. Multistep short-term wind speed forecasting using transformer［J］. Energy， 2022， 261： 125231.

［13］"""" WANG Y， XU H H， SONG M M， et al. A convolutional Transformer-based truncated Gaussian density network with data denoising for wind speed forecasting［J］. Applied energy， 2023， 333： 120601.

［14］"""" SUN S L， LIU Y K， LI Q， et al. Short-term multi-step wind power forecasting based on spatio-temporal correlations and transformer neural networks［J］. Energy conversion and management， 2023， 283： 116916.

［15］"""" BENTSEN L ?， WARAKAGODA N D， STENBRO R， et al. Spatio-temporal wind speed forecasting using graph networks and novel Transformer architectures［J］. Applied energy， 2023， 333： 120565.

［16］"""" DRAGOMIRETSKIY K， ZOSSO D. Variational mode decomposition［J］. IEEE transactions on signal processing， 2014， 62（3）： 531-544.

［17］"""" 胡艷麗， 童譚騫， 張嘯宇， 等. 融入自注意力機(jī)制的深度學(xué)習(xí)情感分析方法［J］. 計(jì)算機(jī)科學(xué)， 2022， 49（1）： 252-258.

HU Y L， TONG T Q， ZHANG X Y， et al. Self-attention-based BGRU and CNN for sentiment analysis［J］. Computer science， 2022， 49（1）： 252-258.

［18］"""" XIANG L， LIU J N， YANG X， et al. Ultra-short term wind power prediction applying a novel model named SATCN-LSTM［J］. Energy conversion and management， 2022， 252： 115036.

［19］"""" VASWANI A， SHAZEER N， PARMAR N， et al. Attention"" is"" all"" you"" need［J］." Advances"" in"" neural information processing systems， 2017， 30.

［20］"""" DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： transformers for image recognition at scale［J］. arXiv preprint arXiv：2010.11929， 2020.

［21］"""" HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural computation， 1997， 9（8）：1735-1780.

［22］"""" 劉善峰， 李哲， 陳錦鵬， 等. 基于誤差修正的極端天氣下風(fēng)速預(yù)測(cè)［J］. 南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023， 15（5）： 574-584.

LIU S F， LI Z， CHEN J P， et al. Wind speed prediction in extreme weather based on error correction［J］. Journal of Nanjing University of Information Science amp; Technology （natural science edition）， 2023， 15（5）： 574-584.

MULTI-STEP WIND SPEED FORECASTING BASED ON VIT AND LSTM

Xiang Ling，Chen Jinpeng，F(xiàn)u Xiaomengting，Yao Qingtao

（School of Energy， Power and Mechanical Engineering， North China Electric Power University， Baoding 071003，" China）

Abstract：Accurate and dependable wind speed forecasting plays a guiding role in wind power generation. A novel wind speed forecasting method combined with Vision Transformer （ViT） and long short-term memory （LSTM） is proposed， which is applied in multidimensional time series for achieving one-step ahead and multi-step ahead wind speed forecasting. Firstly， the wind speed is decomposed into multidimensional time series by combining Spearman’s coefficient and variational mode decomposition （VMD） in order to enhance the ability of forecasting model to capture the periodicity and volatility of the wind speed sequence. And then， ViT is used to extract features and hidden information from multi-dimensional time series. Finally， while maintaining the self-attention mechanism advantage of ViT model， the LSTM component is employed to further establish the relationship between extracted features and wind speed. This approach is particularly effective in handling the time-dependent nature of the data and capturing the correlations between variables， so as to improve the generalization and forecasting accuracy of ViT-LSTM model. The experimental analysis is conducted using data recorded from a wind farm in Inner Mongolia. The proposed method achieved a reduction of 15.15%， 34.41%， 68.32%， and 81.71% in mean absolute error compared to the LSTM model at one-step ahead， six-step ahead， twelve-step ahead and twenty-four-step ahead forecasting， which indicates that the proposed model performs well in multi-step wind speed forecasting.

Keywords：wind speed； forecasting； long short-term memory； variational mode decomposition； ViT