摘 要：針對短期風電功率預測特征提取尺度單一問題，設計一種基于多尺度特征提取的Transformer短期風電功率預測模型（MTPNet）。首先，在Transformer構架的基礎上，利用維數(shù)不變嵌入，設計多尺度特征提取網(wǎng)絡挖掘風電功率序列本身時序特征，保證了特征提取時維數(shù)不被破壞；其次，利用融合自注意力機制的長短期記憶網(wǎng)絡挖掘氣象條件與功率之間的全局依賴關系；最后，融合風電功率序列本身時序特征和氣象條件依賴關系，實現(xiàn)短期風電功率預測。實例仿真結果表明，MTPNet模型預測精度得到提升；消融實驗證明了模型各模塊的可靠性和有效性，具有一定的實用價值。

關鍵詞：風電功率預測；Transformer；注意力機制；特征提取；長短期記憶網(wǎng)絡；維數(shù)不變嵌入層

中圖分類號：TM614" " " " " " " " " " " " " " " " 文獻標志碼：A

0 引 言

當代社會正面臨著不斷增長的能源需求和日益嚴重的氣候變化挑戰(zhàn)，可再生能源逐漸成為滿足能源需求和減少碳排放的重要途徑。在眾多可再生能源中，風能因其廣泛分布、清潔環(huán)保的特點而備受關注。近年來，中國風電發(fā)展迅速，實現(xiàn)了風電由“跟跑”向“領跑”的巨大跨越。然而，風能的可變性和不確定性也為電力系統(tǒng)的穩(wěn)定運行和能源市場交易帶來一定挑戰(zhàn)［1］。

短期風電功率預測作為風電大規(guī)模并網(wǎng)的重要環(huán)節(jié)，日益受到學術界和工業(yè)界的重視。功率短期預測的主要目標是通過綜合考慮氣象數(shù)據(jù)、歷史功率數(shù)據(jù)以及其他相關信息，精確預測未來短時間范圍內(nèi)（通常為幾小時到一天）風電場的發(fā)電功率。通過準確預測風電功率，可為電力系統(tǒng)調(diào)度提供參考，從而確保電網(wǎng)的穩(wěn)定性和可靠性。

目前，常見的預測方法大體上可分為物理方法和統(tǒng)計方法兩類。隨著各種人工智能技術的發(fā)展，諸如長短期記憶網(wǎng)絡（long short-term memory， LSTM）［2］、卷積神經(jīng)網(wǎng)絡（convolutional neural networks， CNN）［3］等的機器學習預測模型發(fā)展迅速。但是，傳統(tǒng)單一深度學習模型對隨機性和波動性強風電功率數(shù)據(jù)預測時仍有較大誤差，為減小誤差，許多研究提出組合模型預測思想［4］。組合模型預測通常將單一模型與特征提取、聚類、誤差修正等方法結合，以減小風電隨機波動影響，降低預測的復雜度，進而提高預測精度。文獻［5］提出數(shù)據(jù)-物理混合驅(qū)動的預測方法，將殘差網(wǎng)絡與雙向門控循環(huán)單元融合，通過多項式-線性回歸模型和風電場風速-功率曲線，提升預測精度；文獻［6］采用高斯混合分布算法量化預測誤差的時序規(guī)律，構建基于隱馬爾可夫模型的風速預測誤差修正方法，提升了風速預測精度；文獻［7］利用K均值聚類算法將不同風電場的集群劃分成趨勢相近的子集群，再利用雙向長短時記憶神經(jīng)網(wǎng)絡對各子集群進行風電功率預測。

近年來，機器學習模型，特別是Transforms模型［8-10］，極大地推動了對風電功率時序預測問題的研究，涌現(xiàn)很多基于Transformer模型的預測方法。文獻［11］利用貝葉斯優(yōu)化調(diào)參進行氣象因素多時間尺度下的統(tǒng)計特征、組合特征和類別特征進行特征組合選擇，得到最終的風電功率預測結果；文獻［12］利用時間序列Transformer和自注意力網(wǎng)絡進行時間依賴特征提取，提高了模型預測能力；文獻［13］利用平穩(wěn)化模塊優(yōu)化因果注意力機制挖掘風電數(shù)據(jù)時序依賴，提升數(shù)據(jù)本身的可預測性。

上述特征提取方法僅局限在單一尺度，即在預定一個步長下提取時間依賴特征或?qū)⒃夹蛄蟹譃槎鄠€子序列后提取子序列之間的依賴特征。本文致力于在多尺度下挖掘風電功率時間依賴性和氣象數(shù)據(jù)時序相關性，提出基于多尺度特征提取的Transformer預測網(wǎng)絡，其優(yōu)勢在于其多層編碼-解碼器組結構，每層輸入均為原始序列，并考慮各層之間的依賴關系，避免了單一尺度的預設步長和序列劃分的局限，充分提取數(shù)據(jù)特征用于預測任務，提升預測精度，過程如下：

首先，基于Transformer網(wǎng)絡構架，引入維數(shù)不變嵌入技術，保證在多尺度上對風電時間序列的時間依賴性提取時不破壞數(shù)據(jù)維度，挖掘正確特征；

其次，利用LSTM處理多變量時間序列的優(yōu)勢，融合自注意力機制，對氣象因素與風電功率時序相關性進行特征建模；挖掘二者的時序相關特征；

最后，將兩組特征融合，進行短期風電功率預測。通過風電場實測數(shù)據(jù)測試，驗證了該模型的可靠性和優(yōu)越性。

1 相關理論

1.1 Transformer模型

Transformer模型最初是為處理自然語言而開發(fā)的，并很快在計算機視覺和時序預測方面取得了巨大成功。作為一種基于自注意力機制的神經(jīng)網(wǎng)絡模型，Transformer模型能對序列中的每個元素進行全局建模，并在各元素之間建立聯(lián)系［14-15］。與循環(huán)神經(jīng)網(wǎng)絡模型相比，該模型具有更好的并行性能和更短的訓練時間。

Transformer模型主體如圖1所示，主要包含了多層編碼器和解碼器，每一層都由多個注意力機制模塊和前饋神經(jīng)網(wǎng)絡模塊組成。編碼器用于將輸入序列編碼成一個高維特征向量，解碼器則用于將該向量解碼成目標序列。在Transformer模型中，通常采用殘差連接和歸一化等方法來加速模型收斂和提高模型性能。

Transformer模型改變了傳統(tǒng)CNN網(wǎng)絡模式，整個網(wǎng)絡由注意力機制組成，注意力機制核心為：

[Attention（Q，K，V）=softmaxQKTdkV] （1）

風電功率的隨機性和波動性是影響預測精度的主要因素，本文利用Transfomers模型在全局范圍建模的優(yōu)越性，對短期風電功率時間序列和氣象條件進行特征建模，提取功率序列本身時間依賴性特征以及與多變量氣象條件之間的相關性特征，將提取的特征用于短期風電功率預測。首先，對采集的功率和氣象條件數(shù)據(jù)進行時間和位置編碼，作為模型輸入，然后經(jīng)Transfomers模型的多頭注意力機制，尋找風電功率的相關特征信息。Attention機制[Q]矩陣將特征信息作為輸入向量，即功率序列本身時間依賴特征、氣象數(shù)據(jù)中各變量與功率序列的相關性特征等。[K]矩陣將功率輸出數(shù)據(jù)中的某些特征作為鍵向量，[Q]和[K]一起計算得到注意力向量，最后經(jīng)過Softmax進行權重歸一化后輸出，得到預測結果。

1.2 LSTM模型

LSTM是一種深度學習模型，可用于處理與時間序列相關的預測任務［16-17］。它是一種循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）的變種，旨在解決RNN存在的梯度消失和梯度爆炸等問題。LSTM的主要特點是其能在處理長序列數(shù)據(jù)時更好地捕捉和記憶長期依賴關系，而不喪失短期記憶能力。這使得LSTM在許多序列建模任務中表現(xiàn)出色，包括自然語言處理、語音識別、機器翻譯、時間序列預測等。

LSTM的網(wǎng)絡結構如圖2所示，內(nèi)部結構包括以下組成部分：

1）記憶單元：記憶單元是LSTM的核心部分，用于存儲和維護網(wǎng)絡學到的信息，有助于處理長期依賴關系。

2）輸入門：輸入門控制著新輸入數(shù)據(jù)何時進入記憶單元。其包括一個sigmoid激活函數(shù)（圖2中的[σ]），用于控制輸入的權重，以及一個tanh激活函數(shù)，用于產(chǎn)生新的候選值。這兩部分的輸出通過逐元素相乘，決定了新信息的流入。

3）遺忘門：遺忘門決定哪些信息應該從記憶單元中刪除或遺忘。類似于輸入門，其包括一個sigmoid激活函數(shù)，用于確定要遺忘的信息。遺忘門的輸出與記憶單元相乘，以執(zhí)行遺忘操作。

4）輸出門：輸出門決定什么信息將傳遞到下一個時間步或作為網(wǎng)絡的最終輸出。其包括一個sigmoid激活函數(shù)，用于確定要輸出的信息的權重，以及一個tanh激活函數(shù)，用于生成記憶單元的輸出。

LSTM循環(huán)單元包括細胞狀態(tài)[Ct]和隱藏狀態(tài)[ht]，細胞狀態(tài)是記憶單元的當前狀態(tài)，其在每個時間步都會更新。細胞狀態(tài)更新受到輸入門、遺忘門和候選值的共同影響。隱藏狀態(tài)是LSTM網(wǎng)絡的輸出，它可傳遞到下一個時間步或用于最終的任務，是基于細胞狀態(tài)和輸出門的計算得出。

這些組成部分共同構成LSTM的內(nèi)部結構，通過門控機制和記憶單元，LSTM網(wǎng)絡能有效地處理長序列數(shù)據(jù)并捕捉長期依賴關系。使得它在時間序列特征提取和其他序列建模任務中廣泛應用。

本文利用LSTM網(wǎng)絡處理長序列數(shù)據(jù)的能力捕獲氣象數(shù)據(jù)和功率數(shù)據(jù)之間的多變量相關性，首先，將風速、風向、溫度、氣壓等氣象條件因素和功率序列輸入LSTM網(wǎng)絡，通過記憶門、遺忘門、循環(huán)門機制，控制細胞狀態(tài)中多維氣象因素與風電功率的舍棄量、細胞狀態(tài)添加量和細胞狀態(tài)輸出量，從而在大量的多變量數(shù)據(jù)中提取到有價值的時間特征量作為隱藏狀態(tài)向量。輸出隱藏狀態(tài)向量與原輸入經(jīng)過融合層結合，通過融合層將LSTM學習到的不同特征進行融合，得到更全面、更準確的特征表示，從而得到預測任務在的氣象與風電功率之間的相關性特征輸入。

2 多尺度特征提取的Transforms預測模型

傳統(tǒng)的Transforms預測網(wǎng)絡已在進行時序預測任務時展現(xiàn)出十分強大的能力，但對于時序特征提取方面依然存在不足，導致預測精度不高。對此，本文基于傳統(tǒng)Transformer網(wǎng)絡，提出一種基于多尺度特征提取的Transformer預測網(wǎng)絡（multi-scale transforms prediction network，MTPNet），該模型主要針對在多尺度下挖掘風電功率本身時序特征和氣象數(shù)據(jù)與功率之間的時序相關性，提升預測精度，網(wǎng)絡結構如圖3所示。

MTPNet主要由特征提取和預測兩大模塊組成。提取優(yōu)質(zhì)的數(shù)據(jù)特征是提高短期風電功率預測精度的重要手段，MTPNet網(wǎng)絡的特征提取模塊分為風電功率時間序列本身時間依賴性特征提取和氣象數(shù)據(jù)與風電功率的時序相關性特征提取。風電功率本身時間依賴性特征提取由K層Transformer編碼器-解碼器組實現(xiàn)，將在2.1節(jié)詳細介紹；氣象數(shù)據(jù)與功率的時序相關性特征提取主要由融合自注意力機制的LSTM網(wǎng)絡實現(xiàn)，將在2.2節(jié)詳細介紹。

2.1 多尺度特征提取

為解決單一尺度上提取時間依賴特征的局限性，提出一個多尺度特征提取網(wǎng)絡，其主要目標是在不同的無約束尺度（從細分辨率到粗分辨率）上提取風電功率本身時間依賴性。如圖4所示，網(wǎng)絡主體結構由K層Transforms模型組成，每一層有一對編碼器-解碼器組，每層輸入均為風電功率時間序列，經(jīng)過編碼器-解碼器組提取特征后，由連接層將每層提取的時間依賴性特征連接成一組特征向量，最后經(jīng)一個卷積層將特征向量輸出，用于功率預測。

編碼器和解碼器采用對稱結構，如圖5所示。編碼器采用自下而上的模式，解碼器采用自上而下的模式。在這種模式下，編碼器可逐步從細尺度到粗尺度學習時間序列潛在特征，而解碼器則可在粗尺度下生成細尺度特征。

為避免傳統(tǒng)網(wǎng)絡結構下的嵌入破壞數(shù)據(jù)維度，空間嵌入混亂空間信息，而時間嵌入限制時間尺度，本文引入了維數(shù)不變嵌入層（dimension invariant embedding），主要作用是在提取序列空間和時間特征時保持空間維度和時間維度的完整性。利用1層CNN將數(shù)據(jù)映射到高維特征空間中，過程如下：

1）Conv過程

[Xemb=ConvXi] （2）

式中：[Xemb]——嵌入層的特征映射；Conv——卷積過程，主要目的是提取序列短期的時間依賴性；[Xi]——歷史風電數(shù)據(jù)，MW。

2）Patch過程

生成尺度為[p]的Patch輸入：

[Xemb=PatchXemb，x0，p] （3）

式中：[x0]——補償系數(shù)，[x0=0]；[p]——尺度因子。

如果時間序列的長度不能被尺度[p]整除，則以[x0=0]補充。Patch過程將時間序列劃分為大小為[p]的不重疊的序列，避免了提取空間信息時的混亂。

以第[k]層編碼器為例，DI嵌入輸入[Xdik]為：

[Xdik=DI（Xen，ω）] （4）

式中：[Xen]——輸入的風電功率時間序列；[ω]——補充的補丁大小。

然后，連接層和卷積層將嵌入的輸入與第k-1層編碼器的輸出連接并融合為：

[Xkemb=Xdik， k=1ConvConcat（Xdik+Yk-1enc）， kgt;1] （5）

式中：Conv——內(nèi)核大小為1×1的一層CNN，用于融合并將連接嵌入的特征；Concat——特征維度的連接過程；[Yk-1enc]——第[k-1]層編碼器的輸出。

由于Transformer架構的固有性質(zhì)是順序無關的，為提取輸入的時間依賴性特征，需合并位置信息，因此在輸入嵌入中增加一個學習位置信息嵌入[Wkpos]，則最終編碼器的輸入為：

[Xkemb=Xkemb+Wkpos] （6）

最后利用傳統(tǒng)的縮放點積注意機制，得到第[k]層編碼器的輸出：

[Q，K，V=Linear（Xkemb）] （7）

[Yken=Attention（Q，K，V）+Xdik] （8）

解碼器與式（4）～式（6）所示的編碼器工作流程類似，解碼器的輸入經(jīng)過DI嵌入和連接層和卷積層進行尺度間連接，以獲得解碼器的補丁嵌入，然后在輸入嵌入中加入一個可學習的位置嵌入[Wkpos]，最后得到解碼器輸出。需注意的是，解碼器的尺度間連接遵循自上而下的順序，因此解碼器的輸出特征的過程是從粗尺度向細尺度，那么式（5）更改為：

[Xkemb=Xdik， k=1ConvConcat（Xdik+Yk+1de）， kgt;1] （9）

解碼器輸出的縮放點積注意機制過程為：

[Q，K，V=Linear（Xkemb，Yken）] （10）

[Ykde=Attention（Q，K，V）+Xdik] （11）

2.2 氣象數(shù)據(jù)特征提取網(wǎng)絡

風電功率預測是與風速、風向、溫度、氣壓等氣象條件因素有關的多變量時序預測問題，利用LSTM提取氣象因素多變量時序特征是一種可靠的方法［18］。但在處理過程中，由于多門結構計算復雜，會導致模型訓練時間增加、過擬合嚴重以及部分信息遺忘丟失。Transformer的自注意力機制（self-attention，SA）［19］可同時考慮時間序列的所有位置，提升模型計算速度，捕獲氣象數(shù)據(jù)的全局特征信息。本文將SA與LSTM結合，提出LSTM-SA結構，如圖6所示。利用LSTM對輸入建模，保留原本的時序特征，Transformer自注意力機制提取所有位置的多變量時序特征，輸出特征序列。

在SA前端插入LSTM模塊，LSTM通過內(nèi)部的記憶單元和門控機制，有助于捕捉時間序列中的長期依賴關系和非線性特征。首先，輸入數(shù)據(jù)經(jīng)過單層的LSTM的處理。門單元來控制如何在其細胞狀態(tài)中保留、丟棄或輸出多維氣象因素數(shù)據(jù)，以提取有價值的時間特征，并將其表示為隱狀態(tài)向量。隨后，將LSTM層的輸出隱狀態(tài)向量與原始輸入數(shù)據(jù)進行融合，以綜合不同特征。將綜合后的特征傳遞到自注意力層。在自注意力層中，模型能聚焦于與當前預測任務相關的關鍵特征，減少對與任務無關的環(huán)境因素特征的關注，從而提高了模型的性能和效率。過程如式（12）～式（14）所示。

[Xτl，Hτl=LSTM（Xτ， g（Hτ-1l））] （12）

[Xτl=c（Xτl， Xτ）] （13）

[Xτ=SA（Xτl）] （14）

式中：[Xτl]——LSTM特征建模后的輸出；[Hτl]——記憶單元輸出；[Xτ]——氣象多變量時序數(shù)據(jù)；[Xτl]——綜合后的特征輸出；[Xτ]——SA輸出的重要特征。

式（12）表示LSTM對輸入特征的建模過程，式（13）的c過程代表對LSTM層的輸出隱狀態(tài)向量與原始輸入數(shù)據(jù)的融合過程，式（14）為SA對重要特征的提取過程。

3 實例仿真

3.1 實驗數(shù)據(jù)及評價標準

本文實例數(shù)據(jù)取自中國某風電場的歷史風電功率和當?shù)氐臍庀髷?shù)據(jù)。數(shù)據(jù)集包含風電場2021年整年的風電功率和氣象數(shù)據(jù)，采樣時間間隔為15 min，共35040組數(shù)據(jù)，按9∶1劃分為訓練集和測試集，訓練集用于模型訓練，測試集用于模型預測能力的評估。

本文實驗選用平均絕對誤差（mean absolute error， MAE）、均方根誤差（root mean square error， RMSE）和R2作為模型預測精度的評價標準，其中MAE為誤差絕對值的均值，反映預測誤差大小，值越小越好；RMSE也稱標準誤差，反映預測值與觀測值的偏離程度，值越小越好；R2的值域為［[-1，1]］，反映模型的預測能力，值越接近1，誤差越小，預測能力越高。計算公式分別為：

[RMAE=1ni=1nyi-yi] （15）

[RRMSE=1ni=1nyi-yi2] （16）

[R2=1-i=1nyi-yi2i=1ny-yi2] （17）

式中：[yi]——第[i]個樣本點的預測值，MW；[yi]——第[i]個樣本點的觀測值，MW；[y]——第[n]個樣本點的預測值的均值，MW。

3.2 模型參數(shù)設置

MTPNet模型主要參數(shù)：多尺度特征提取網(wǎng)絡編碼器輸入維度[den_in]和輸出維度[den_out]、解碼器輸入維度[dde_in]和輸出維度[dde_out]、DI嵌入Patch過程的補丁大小[psize]、編碼器-解碼器組數(shù)量K；氣象特征提取LSTM-SA網(wǎng)絡編碼器輸入維度[dxτ]和輸出維度[dxτ]、Transformer網(wǎng)絡的初始學習率l和SA頭數(shù)。本文的實驗參數(shù)設置已經(jīng)過大量實驗驗證，最優(yōu)的參數(shù)設置見表1。

3.3 預測對比實驗

為驗證MTPNet模型的預測能力的優(yōu)越性，選擇常用經(jīng)典預測模型LSTM、BiGRU-attention和傳統(tǒng)Transformer模型進行預測對比實驗，各模型預測步長為20、40和60步，同時考慮到季節(jié)影響，隨機對春季和夏季某一天進行短期風電功率預測實驗。春季和夏季60步預測結果如圖7和圖8所示，其他步長預測結果見附錄圖A1～圖A4。從圖7中的預測曲線可看到，相對而言，MTPNet模型的預測曲線與觀測值曲線的擬合程度更好，總體上各點預測值更接近觀測值，預測能力更好。值得一提的是，對比春季和夏季的預測曲線，盡管季節(jié)導致風電波動性變化，MTPNet模型依然有穩(wěn)定的預測能力。

為更直觀展示各對比模型的預測能力，表2和附錄圖A5給出了不同季節(jié)和步長下，各模型的誤差評價結果。以60步的預測誤差為例，MTPNet模型的MAE誤差為0.7120 MW，RMSE誤差為0.8820 MW。相比于LSTM模型，MAE和RMSE誤差分別減小0.3085和0.4292 MW；相比于BiGRU-attention模型，MAE和RMSE誤差分別減小0.2973和0.4153 MW；相比于Transformer模型，MAE和RMSE誤差分別減小0.2901和0.2468 MW。以上預測誤差結果表明，相比對比的模型而言，預測步長相同的前提下，本文提出的MTPNet模型的預測精度更高。應注意到，相比于對比模型，MTPNet模型的[R]2為0.9960，其值更接近于1，表明MTPNet模型的預測能力更好。由表2還可得出，隨著預測步長的增加，4種模型的MAE和RMSE誤差均有不同程度的增大，相比之下MTPNet模型兩個誤差的增值較小，表明MTPNet模型可適應不同步長下的預測任務，表現(xiàn)出的預測能力也更好。附錄表A1所示的夏季預測評價結果具有上述相同的結論。

3.4 消融實驗

為例驗證MTPNet模型各模塊的有效性，本文對各模塊進行移除，進行3組消融實驗。以春季數(shù)據(jù)集為例，預測步長為40步。

3.4.1 特征提取消融實驗

為驗證特征提取模塊的有效性和重要性，移除特征提取模塊進行一組消融實驗，對比結果如圖9所示，誤差評價如表3所示。其中MTPNet代表本文預測模型，MTPNet*代表移除多尺度特征提取網(wǎng)絡模塊的預測模型，MTPNet**代表移除氣象特征提取網(wǎng)絡模塊的預測模型。

由圖9的預測曲線可知，3種對比模型預測趨勢基本相同，但MTPNet模型的預測曲線與觀測值的擬合程度更高。誤差評價結果顯示：3種模型預測誤差中，MTPNet模型誤差最小，MTPNet*次之，MTPNet**誤差最大。因此，若只提取風電功率本身短期時序特征或只提取氣象特征用于短期風電功率預測，會導致精度降低。相反，若同時考慮風電功率本身短期時序特征和氣象特征，由于用于預測的特征更豐富，預測精度也有所提高。特征提取消融實驗驗證了多尺度特征提取模塊和氣象特征提取模塊的有效性和重要性。

3.4.2 DI嵌入消融實驗

為驗證多尺度特征提取模塊中DI嵌入的有效性，實驗在其他條件不變的前提下，將DI嵌入替換為傳統(tǒng)嵌入，進行一組對比實驗。對比結果如圖10所示，誤差評價如表4所示。其中的MTPNet代表由DI嵌入的模型，MTPNet1代表移除DI嵌入的模型。

由表4可知，移除DI嵌入后的模型預測MAE誤差增大0.4206 MW，RMSE誤差增大0.499 MW。這是因為移除DI嵌入后，時序特征提取過程中嵌入層破壞數(shù)據(jù)維度，導致了空間信息混亂，同時限制了時間尺度。DI嵌入消融實驗驗證了DI嵌入的有效性。

3.4.3 SA消融實驗

為驗證氣象特征提取模塊中自注意力機制（SA）的有效性，實驗在其他條件不變的前提下，移除SA，進行一組對比實驗。對比結果如圖11所示，誤差評價如表5所示。其中的MTPNet代表有SA的模型，MTPNet2代表移除SA的模型。

由表5可知，MTPNet模型由于在氣象特征網(wǎng)絡中加入了SA，預測MAE誤差減小0.4776 MW，RMSE誤差減小0.5545 MW。這是因為SA模塊捕獲全局氣象數(shù)據(jù)關鍵特征，減少對無關的環(huán)境因素特征的關注，進而提升了預測精度。

4 結 論

為提高短期風電功率預測精度，本文針對現(xiàn)有模型特征提取尺度單一的問題，提出基于多變量特征提取的Transformer預測模型。通過風電場實測數(shù)據(jù)設計驗證實驗，結果表明MTPNet網(wǎng)絡在不同季節(jié)的短期風電功率預測能力更優(yōu)越，預測步長為60步時春季和夏季的MAE分別為0.5411和0.1678 MW，RMSE分別為0.7317和0.1989 MW，精度符合短期預測的要求，實驗表明：

1）本文設計的MTPNet網(wǎng)絡能有效提取風電功率本身時序特征和挖掘氣象條件與功率之間的依賴關系，豐富數(shù)據(jù)特征，提高預測的準確性。

2）針對風電功率時序特征提取，本文設計的多尺度特征提取網(wǎng)絡能充分挖掘功率本身的時序特征，而利用維數(shù)不變嵌入（DI嵌入），保證了數(shù)據(jù)維度不被破壞，提高了模型預測能力。

3）利用LSTM-SA網(wǎng)絡能捕獲氣象條件與風電功率之間的全局信息，自注意力機制層能有效融合提取的信息，提升預測準確性。

［參考文獻］

［1］ 趙鐵成， 謝麗蓉， 葉家豪. 基于誤差修正的NNA-ILSTM短期風電功率預測［J］. 智慧電力， 2022， 50（1）： 29-36.

ZHAO T C， XIE L R， YE J H. NNA-ILSTM short term wind power prediction based on error correction［J］. Smart power， 2022， 50（1）： 29-36.

［2］ 史加榮， 趙丹夢， 王琳華， 等. 基于RR-VMD-LSTM的短期風電功率預測［J］. 電力系統(tǒng)保護與控制， 2021， 49（21）： 63-70.

SHI J R， ZHAO D M， WANG L H， et al. Short-term wind power prediction based on RR-VMD-LSTM［J］. Power system protection and control， 2021， 49（21）： 63-70.

［3］ 張浩田， 溫蜜， 李晉國， 等. 數(shù)據(jù)驅(qū)動的時間注意力卷積風電功率預測模型［J］. 太陽能學報， 2022， 43（10）： 167-176.

ZHANG H T， WEN M， LI J G， et al. Data driven time attention convolution wind power prediction model［J］. Acta energiae solaris sinica， 2022， 43（10）： 167-176.

［4］ 楊國清， 劉世林， 王德意， 等. 基于Attention-GRU風速修正和Stacking的短期風電功率預測［J］. 太陽能學報， 2022， 43（12）： 273-281.

YANG G Q， LIU S L， WANG D Y， et al. Short-term wind power forecasting based on Attention-GRU wind speed correction and stacking［J］. Acta energiae solaris sinica， 2022， 43（12）： 273-281.

［5］ 楊茂， 王達， 王小海， 等. 基于數(shù)據(jù)物理混合驅(qū)動的超短期風電功率預測模型［J］. 高電壓技術， 2024， 50（11）： 5132-5141.

YANG M， WANG D， WANG X H， et al. Ultra-short term wind power prediction method based on data physics hybrid driven model［J］. High voltage engineering， 2024， 50（11）： 5132-5141.

［6］ 翟保豫， 張龍， 徐志， 等. 基于WRF模式和風速誤差修正的中期風電功率預測方法［J］. 智慧電力， 2023， 51（7）： 31-38.

ZHAI B Y， ZHANG L， XU Z， et al. Mid-term wind power forecasting based on WRF mode and wind speed error correction［J］. Smart power， 2023， 51（7）： 31-38.

［7］ 楊子民， 彭小圣， 郎建勛， 等. 基于集群動態(tài)劃分與BLSTM深度學習的風電集群短期功率預測［J］. 高電壓技術， 2021， 47（4）： 1195-1203.

YANG Z M， PENG X S， LANG J X， et al. Short-term wind power prediction based on dynamic cluster division and BLSTM deep learning method［J］. High voltage engineering， 2021， 47（4）： 1195-1203.

［8］ KOOHFAR S， WOLDEMARIAM W， KUMAR A. Prediction of electric vehicles charging demand： a transformer-based deep learning approach［J］. Sustainability， 2023， 15（3）： 2105.

［9］ ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［J］. Proceedings of the AAAI conference on artificial intelligence， 2021， 35（12）： 11106-11115.

［10］ WU H X， XU J H， WANG J M， et al. Autoformer： decomposition transformers with auto-correlation for long-term series forecasting［J/OL］. 2021： arXiv：2106.13008. https：//arxiv.org/abs/2106.13008.

［11］ 楊京渝， 羅隆福， 陽同光， 等. 基于氣象特征挖掘和改進深度學習模型的風電功率短期預測［J］. 電力自動化設備， 2023， 43（3）： 110-116.

YANG J Y， LUO L F， YANG T G， et al. Wind power short-term forecasting based on meteorological feature exploring and improved deep learning model［J］. Electric power automation equipment， 2023， 43（3）： 110-116.

［12］ 駱釗， 吳諭侯， 朱家祥， 等. 基于多尺度時間序列塊自編碼Transformer神經(jīng)網(wǎng)絡模型的風電超短期功率預測［J］. 電網(wǎng)技術， 2023， 47（9）： 3527-3537.

LUO Z， WU Y H， ZHU J X， et al. Wind power forecasting based on multi-scale time series block auto-encoder transformer" "neural" "network" "model［J］." "Power" "system technology， 2023， 47（9）： 3527-3537.

［13］ 李練兵， 高國強， 吳偉強， 等. 考慮特征重組與改進Transformer的風電功率短期日前預測方法［J］. 電網(wǎng)技術， 2024， 48（4）： 1466-1480.

LI L B， GAO G Q， WU W Q， et al. Short-term day-ahead wind power prediction considering feature recombination and improved transformer［J］. Power system technology， 2024， 48（4）： 1466-1480.

［14］ WEN Q S， ZHOU T， ZHANG C L， et al. Transformers in time series： a survey［J/OL］. 2022： 2202.07125.https：//arxiv.org/abs/2202.07125v5.

［15］ ZHANG Y F， WU R， DASCALU S M， et al. Multi-scale transformer pyramid networks for multivariate time series forecasting［J/OL］. 2023： 2308.11946.https：//arxiv.org/abs/2308.11946v1

［16］ 張淑清， 楊振寧， 姜安琦， 等. 基于EN-SKPCA降維和FPA優(yōu)化LSTMNN的短期風電功率預測［J］. 太陽能學報， 2022， 43（6）： 204-211.

ZHANG S Q， YANG Z N， JIANG A Q， et al. Short term wind power prediction based on EN-SKPCA dimensionality reduction and FPA optimizing LSTMNN［J］. Acta energiae solaris sinica， 2022， 43（6）： 204-211.

［17］ ZHANG Y Z， XIONG R， HE H W， et al. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries［J］. IEEE transactions on vehicular technology， 2018， 67（7）： 5695-5705.

［18］ 董俊， 劉瑞， 束洪春， 等. 基于BIRCH聚類的L-Transformer分布式光伏短期發(fā)電功率預測［J］. 高電壓技術， 2024， 50（9）： 3883-3893.

DONG J， LIU R， SHU H C， et al. Short-term distributed photovoltaic power generation prediction based on BIRCH clustering" " " and" " " L-Transformer［J］." " " High" " " voltage engineering， 2024， 50（9）： 3883-3893.

［19］ PAN S W， YANG B， WANG S K， et al. Oil well production prediction based on CNN-LSTM model with self-attention mechanism［J］. Energy， 2023， 284： 128701.

SHORT-TERM WIND POWER PREDICTION USING TRANSFORMER WITH MULTI-SCALE FEATURE EXTRACTION

Xu Wu，F(xiàn)an Xinhao，Shen Zhifang，Liu Yang

（School of Electrical Information Engineering， Yunnan Minzu University， Kunming 650500， China）

Abstract：Upon addressing the issue of single-scale feature extraction for short-term wind power forecasting， a Transformer-based model known as “MTPNet” （multi-scale transformer power network） is developed. Firstly， based on the Transformer architecture， dimension-invariant embeddings is employed to design a multi-scale feature extraction network to mine the temporal characteristics within the wind power sequence， to ensure that the feature dimensions remain unchanged during feature extraction. Secondly， long short-term memory （LSTM） network with a fusion self-attention mechanism is used to capture the global dependencies between meteorological conditions and power output. Finally， the temporal characteristics of the wind power sequence and the dependencies on meteorological conditions are integrated to achieve short-term wind power prediction. Simulation results demonstrate that the prediction accuracy of MTPNet model is improved. Further ablation experiments confirm the reliability and effectiveness of each module in the model， highlighting its practical value.

Keywords：wind power forecast； Transformer； attention mechanism； feature extraction； long short-term memory network； dimension invariant embedding

附錄A