摘 要：準(zhǔn)確的短期負(fù)荷預(yù)測對于電力系統(tǒng)的穩(wěn)定運(yùn)行和有效調(diào)度至關(guān)重要。電力負(fù)荷數(shù)據(jù)因存在非線性、非平穩(wěn)性而導(dǎo)致預(yù)測精度低。分解可以降低序列非平穩(wěn)性的影響從而有效地提高預(yù)測精度，但現(xiàn)有分解預(yù)測方法缺乏對分解分量間關(guān)系的捕獲且顯著增加了預(yù)測時間。為此，提出分量感知動態(tài)圖Transformer（component-aware dynamic graph Transformer，CDGT）模型。首先，引入聯(lián)合對立選擇（joint opposite selection，JOS）算子和隨機(jī)擾動改進(jìn)雪消融優(yōu)化算法（snow ablation optimizer，SAO），使用聯(lián)合搜索和隨機(jī)擾動的SAO（jointly searched and stochastic perturbed SAO，JSSAO）對變分模態(tài)分解（variational mode decomposition，VMD）進(jìn)行參數(shù)尋優(yōu)。VMD對原始的負(fù)荷數(shù)據(jù)進(jìn)行分解得到不同頻率的分量序列，然后使用圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）來識別和建模分量之間的復(fù)雜關(guān)系。同時，使用引入頻域指數(shù)滑動平均（exponential moving average，EMA）注意力的Transformer來學(xué)習(xí)分量內(nèi)部的依賴關(guān)系。一次輸出所有分量結(jié)果，線性相加后得到負(fù)荷預(yù)測值。通過兩個公開負(fù)荷數(shù)據(jù)集的實驗表明，CDGT優(yōu)于一系列先進(jìn)的基線以及分解預(yù)測方法，在澳大利亞數(shù)據(jù)集和摩洛哥數(shù)據(jù)集上，MAE分別降低了5.51%～31.08%和15.02%～75.49%。

關(guān)鍵詞： 短期負(fù)荷預(yù)測； 雪消融優(yōu)化算法； 變分模態(tài)分解； GNN關(guān)系建模； 注意力機(jī)制

中圖分類號： TP391 文獻(xiàn)標(biāo)志碼： A 文章編號： 1001-3695（2025）02-008-0381-10

doi： 10.19734/j.issn.1001-3695.2024.07.0231

Short-term power load forecasting based on component-aware

dynamic graph Transformer

Zhu Li¹， Gao Jingkai^1’， Zhu Chunqiang^{2， 3}， Deng Fan¹

（1. School of Computer Science amp; Technology， Xi’an University of Science amp; Technology， Xi ’an 710054， China; 2. School of Computer Science amp; Technology， Xi ’an Jiaotong University， Xi ’an 710049， China; 3. State Grid Shaanxi Electric Power Company Training Center， Xi ’an 710032， China）

Abstract：Accurate short-term load forecasting is vital for power system stability and scheduling， but the nonlinearity and nonstationary of power load data often reduce prediction accuracy. Decomposition can alleviate nonstationary， improving accuracy， yet existing methods struggle to capture relationships between components and increase prediction time. To address this issue， this paper introduced the component-aware dynamic graph Transformer （CDGT） model. It enhanced the snow ablation optimizer （SAO） with a joint opposite selection （JOS） operator and stochastic perturbation， resulting in a jointly searched and stochastic perturbed SAO （JSSAO） for optimizing variational mode decomposition （VMD）. VMD decomposed load data into frequency-based components. GNN modeled relationships between components， while a Transformer with exponential mo-ving average （EMA） attention captured internal dependencies. The model outputted all components in one step， with the final load forecast obtained by summing these components. Experiments on two public datasets show that CDGT outperforms advanced baselines， reducing MAE by 5.51%～31.08% on the Australian dataset and 15.02%～75.49% on the Moroccan dataset.

Key words：short-term load forecasting; snow ablation optimizer; VMD; GNN relationship modeling; attention mechanism

0 引言

精確的電力負(fù)荷預(yù)測是規(guī)劃和運(yùn)行電力系統(tǒng)的關(guān)鍵因素。在現(xiàn)代電力系統(tǒng)中，電力負(fù)荷的波動性和不確定性使得精確預(yù)測成為保障電網(wǎng)安全可靠運(yùn)行的基礎(chǔ)。短期負(fù)荷預(yù)測能夠提供未來幾小時到幾天內(nèi)的電力需求信息，使調(diào)度中心合理安排發(fā)電計劃、優(yōu)化資源配置，并及時應(yīng)對突發(fā)事件。此外，負(fù)荷預(yù)測對電力市場運(yùn)營也至關(guān)重要，有助于合理定價和風(fēng)險管理^［1］。然而，由于電力負(fù)荷序列的非平穩(wěn)性和非線性特征，使得負(fù)荷預(yù)測極具挑戰(zhàn)性。

序列分解算法能夠有效降低原始信號的非平穩(wěn)性，并挖掘出隱藏特征，從而提升對原始序列的預(yù)測性能^［2］。分解后的子序列會變得更加平滑，使得深度學(xué)習(xí)模型更容易捕捉這些子序列內(nèi)部的模式。在眾多序列分解算法中，變分模態(tài)分解（variational mode decomposition，VMD）算法^［3］因其自適應(yīng)性強(qiáng)、抗噪能力好、非遞歸且數(shù)值穩(wěn)定等優(yōu)勢而廣受研究人員青睞。VMD能夠有效地分解復(fù)雜且非線性強(qiáng)的時間序列，生成多個頻率不同且相對平穩(wěn)的子序列，非常適合處理非平穩(wěn)序列。然而，VMD的參數(shù)設(shè)置是基于經(jīng)驗的，例如分解層數(shù)和懲罰因子，這些參數(shù)可能并非最優(yōu)，從而可能影響分解的有效性。元啟發(fā)式優(yōu)化算法（metaheuristic algorithms，MAs）已廣泛應(yīng)用于解決各個科學(xué)領(lǐng)域的眾多復(fù)雜工程問題^［4］?；谌后w智能的算法作為其中的一個分支，通過模擬種群之間的協(xié)作或信息交換，迭代更新以接近最優(yōu)解，最終鎖定全局最優(yōu)解。因此，使用群體智能優(yōu)化算法對VMD進(jìn)行參數(shù)優(yōu)化的方法得到了廣泛應(yīng)用^［5］。Duan等人^［6］利用麻雀搜索算法（sparrow search algorithm，SSA）優(yōu)化VMD中的分解個數(shù)和懲罰因子，提高了電力負(fù)荷的分解效果。雪消融優(yōu)化算法（snow ablation optimizer，SAO）^［7］作為一種新型的基于物理的群體智能算法，表現(xiàn)出良好的性能。然而，其在局部和全局搜索之間仍存在不平衡之處，導(dǎo)致算法的搜索能力不足。因此，本文在此基礎(chǔ)上提出了使用聯(lián)合搜索和隨機(jī)擾動改進(jìn)的JSSAO，通過多種改進(jìn)策略進(jìn)一步提升了算法性能，并將其應(yīng)用于VMD的參數(shù)優(yōu)化，提高了分解效果，降低了負(fù)荷序列波動性和隨機(jī)性對預(yù)測精度的影響。

基于序列分解算法的混合模型的構(gòu)建思路通常為：首先使用選定的分解算法將序列分解為若干分量；然后對每個分量分別使用預(yù)測模型進(jìn)行建模；最后將各個預(yù)測結(jié)果進(jìn)行求和匯總作為最終輸出^［8］。Wang等人^［9］使用VMD將時間序列分離為不同分辨率的平穩(wěn)分量序列，采用改進(jìn)的門控循環(huán)單元（gated recurrent unit，GRU）預(yù)測每個固有模態(tài)函數(shù)（intrinsic mode functions， IMF），通過合并每個分量的預(yù)測結(jié)果得到最終的負(fù)荷預(yù)測。由于這種建模方法需要為每個分量構(gòu)建一個預(yù)測模型，所以計算成本較高。部分研究根據(jù)子序列的復(fù)雜度或相似性進(jìn)行分類，并對每一組序列進(jìn)行求和，形成新的若干序列，以此來降低計算成本^［10］。Li等人^［11］使用自適應(yīng)噪聲完全集合經(jīng)驗?zāi)B(tài)分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）將原始負(fù)荷分解為一系列分量序列，通過樣本熵值（sample entropy，SE）將分量重構(gòu)為波動分量和趨勢分量，并分別對其進(jìn)行預(yù)測，提高了負(fù)荷預(yù)測的準(zhǔn)確性，降低了運(yùn)算規(guī)模。然而，相較于原始模型，這些方法仍然增加了數(shù)倍的計算時間，并且由于分量是單獨輸入模型分別進(jìn)行預(yù)測，所以缺乏對序列間關(guān)系的提取。分解后的各個分量之間可能存在復(fù)雜的非線性關(guān)系，這些關(guān)系無法通過簡單的線性方法或傳統(tǒng)神經(jīng)網(wǎng)絡(luò)捕捉到。因此，本文提出一種基于GNN的分量感知動態(tài)圖的關(guān)系建模方法，該方法不僅能有效建模序列間依賴關(guān)系，并且結(jié)合Transformer可以一次輸出所有分量結(jié)果，極大地減少了計算成本。

基于上述分析，目前電力負(fù)荷預(yù)測任務(wù)中存在兩個難點：a）序列分解算法VMD常用來降低負(fù)荷序列非平穩(wěn)性對預(yù)測的影響，但其分解參數(shù)的確定對于提升分解質(zhì)量至關(guān)重要；b）基于序列分解算法的混合模型通常對每個分量單獨進(jìn)行預(yù)測。然而，這種方法不僅預(yù)測效率低下，且忽視了分量間的潛在聯(lián)系，這可能導(dǎo)致信息丟失和模型性能的下降。

針對以上問題，本文提出了分量感知動態(tài)圖Transformer（CDGT）模型，首先通過JSSAO-VMD對序列形成更有效的分解，然后通過利用注意力機(jī)制以端到端的形式學(xué)習(xí)多個分量序列之間的相關(guān)性，有效地推斷潛在的圖結(jié)構(gòu)，并使用GNN通過圖結(jié)構(gòu)來完成跨序列的不同時間模式的建模。同時采用通道獨立輸入表示，利用Transfomer建模序列內(nèi)部依賴。通過在Transformer 框架內(nèi)融合GNN，有效建模序列間依賴關(guān)系和序列內(nèi)部依賴關(guān)系，提高預(yù)測精度。而且一次輸出所有預(yù)測結(jié)果，線性相加后得到負(fù)荷預(yù)測值，顯著提高了計算效率。CDGT模型的預(yù)測總體流程如圖1所示。

本文的創(chuàng)新與主要貢獻(xiàn)點如下：

a）提出JSSAO-VMD的序列分解算法。使用多種策略增強(qiáng)SAO的局部及全局搜索能力，用于VMD優(yōu)化，增強(qiáng)了分解效果，降低了序列非平穩(wěn)性和非線性對預(yù)測的影響。

b）提出了分量感知動態(tài)圖的序列關(guān)系構(gòu)建方法。該方法使用注意力機(jī)制自動學(xué)習(xí)序列間的依賴關(guān)系圖。然后通過GNN來有效地建模時間序列間的潛在關(guān)系。

c）將通道獨立的思想引入Transformer中，避免無效的特征混合，并結(jié)合指數(shù)滑動平均（exponential moving average，EMA）注意力來更有效地建模序列內(nèi)部依賴。

d）提出一個新的電力負(fù)荷預(yù)測模型 CDGT。實現(xiàn)了負(fù)荷序列分解后各個分量的關(guān)系提取和同時預(yù)測，提升了預(yù)測精度，而且還顯著降低了計算成本。

1 相關(guān)工作

1.1 傳統(tǒng)的負(fù)荷預(yù)測方法

在很長一段時間里，自回歸積分移動平均（autoregressive integrated moving average，ARIMA）^［12］、指數(shù)平滑法（exponential smoothing，ETS）^［13］等傳統(tǒng)的統(tǒng)計模型被廣泛使用。盡管這些方法在統(tǒng)計學(xué)上具有解釋性，但它們的適應(yīng)性較差，且在捕捉非線性關(guān)系方面存在局限。

機(jī)器學(xué)習(xí)方法可以很好地處理非線性數(shù)據(jù)，從而提升了模型的預(yù)測表現(xiàn)。機(jī)器學(xué)習(xí)算法包括支持向量機(jī)（support vector machine，SVM）^［14］、極限梯度提升（extreme gradient boosting，XGBoost）^［15］等。然而，機(jī)器學(xué)習(xí)在提取時間序列數(shù)據(jù)特征方面效率不高，同時泛化能力不足，容易出現(xiàn)過擬合問題，難以取得理想的預(yù)測效果。近年來，深度學(xué)習(xí)因其卓越的數(shù)據(jù)表示能力在負(fù)荷預(yù)測領(lǐng)域備受關(guān)注，許多深度神經(jīng)網(wǎng)絡(luò)在負(fù)荷預(yù)測中得到了廣泛應(yīng)用^［16］。遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）^［17］是為處理序列數(shù)據(jù)而設(shè)計的。Smyl等人^［18］提出配備新型擴(kuò)張循環(huán)單元的多層RNN，通過有效地模擬時間序列中的短期和長期依賴關(guān)系，提高了負(fù)荷預(yù)測的性能。長短期記憶網(wǎng)絡(luò)（long short-term memory network，LSTM）^［19］緩解了RNN的梯度消失和梯度爆炸問題，可以更好地學(xué)習(xí)和保持長時間依賴的信息。GRU^［20］對LSTM內(nèi)部的結(jié)構(gòu)進(jìn)行了簡化， 獲得了更高的計算效率和收斂速度。盡管這些方法可以捕捉時間序列中的非線性和復(fù)雜模式，并實現(xiàn)泛化和信息提取，但它們都未明確考慮序列之間的依賴關(guān)系。

1.2 基于Transformer的負(fù)荷預(yù)測方法

在深度學(xué)習(xí)模型中，Transformer在多個應(yīng)用領(lǐng)域取得了顯著成功^［21］。其注意力機(jī)制能夠自動學(xué)習(xí)序列中元素之間的關(guān)系，因此非常適合序列建模任務(wù)。然而，許多基于Transformer的模型主要關(guān)注時間依賴性，通常通過線性變換將不同序列合并到隱藏的時間嵌入中^{［22，23］}。在這些時間嵌入中，序列間的依賴關(guān)系未被顯式建模，導(dǎo)致信息提取效率不高。并且有研究發(fā)現(xiàn)，這種通道混合嵌入方法會導(dǎo)致快速過擬合，因此，Nie等人^［24］提出了通道獨立的Transformer建模方法。每個通道包含一個單變量時間序列，所有序列共享相同的基于patch的嵌入，從而顯著提升了預(yù)測性能。然而，通道獨立建模缺乏對序列間關(guān)系的建模能力，無法有效利用序列數(shù)據(jù)之間的相互作用和依賴關(guān)系。

1.3 多變量相關(guān)性建模方法

在多變量時間序列數(shù)據(jù)中，每個組成變量的時間序列往往在其趨勢上表現(xiàn)出不同的變化。不同變量之間存在錯綜復(fù)雜的相互作用和相關(guān)性。LSTNet^［25］使用CNN提取序列間的依賴性。MTGNN^［26］利用圖形卷積層來建模序列依賴性。Crossformer^［27］采用變量維度的注意力捕獲序列間的依賴性。通過序列間關(guān)系的建模，提高了時間序列預(yù)測的精度。在深度學(xué)習(xí)方法中，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）已被成功用于關(guān)系建模^［28］。何婷等人^［29］使用時空位置注意力的圖神經(jīng)網(wǎng)絡(luò)，通過有效捕捉交通節(jié)點的空間依賴關(guān)系，提高了預(yù)測的準(zhǔn)確率。使用GNN可以很好地聚合來自相鄰節(jié)點的信息并探索時間序列之間的依賴關(guān)系。

2 JSSAO-VMD分解算法

2.1 變分模態(tài)分解

VMD作為一種非遞歸且自適應(yīng)的信號處理算法，主要用于從信號中分離出一組本征模態(tài)分量。該算法通過迭代過程使每個模態(tài)的頻譜圍繞一個自適應(yīng)調(diào)整的中心頻率緊密集中，有效防止模式混疊，并表現(xiàn)出顯著的抗噪能力。VMD在分析非線性和非平穩(wěn)信號方面尤為有效。其基本原理可以轉(zhuǎn)換為變分問題的求解，構(gòu)造的約束模型如下所示。

min_{{uk，ωk}}∑Kk=1‖?_tδ（t）+jπt×u_k（t）e^－jωkt‖22

s.t. ∑Kk=1u_k（t）=f（1）

其中：u_k表示模態(tài)分量；w_k是中心頻率；?_t為偏導(dǎo)運(yùn)算符；δ（t）為狄拉克函數(shù)。

通過在式（1）中引入拉格朗日乘法算子λ（t）和二次懲罰因子α，轉(zhuǎn)換為非約束變分模型：

L（{u_k}，{ω_k}，λ）=α∑Kk=1‖?_tδ_t+jπt×u_k（t）e^－jωkt‖22+

‖f（t）－∑Kk=1u_k（t）‖22+〈λ（t），f（t）－∑Kk=1u_k（t）〉（2）

通過交替方向乘子法（alternating direction method of multipliers，ADMM）求解式（2），相應(yīng)地更新模態(tài)函數(shù)和中心頻率，公式如下所示。

ⁿ⁺¹_k（ω）=（ω）－∑i≠k_i（ω）+（ω）21+2α（ω－ω_k）²（3）

ωⁿ⁺¹_k=∫^∞₀ω|_k（ω）|²dω∫^∞₀|_k（ω）|²dω（4）

當(dāng)模態(tài)分量滿足以下條件時，ADMM算法收斂，上述迭代過程終止：

∑Kk=1‖ⁿ⁺¹_k－ⁿ_k‖22‖ⁿ_k‖22lt;ε（5）

其中：ε為給定的判定精度。

然而，VMD需要預(yù)先確定信號的分解層數(shù)K和懲罰因子α。選擇合適的K值可以避免信息丟失或過度分解；而適當(dāng)?shù)摩林的軒椭_分離緊鄰的頻率成分，防止模態(tài)間的重疊。因此，確定最佳的參數(shù)組合［K，α］是必要的。為此，本文提出一種基于改進(jìn)SAO算法的自適應(yīng)變分模態(tài)分解方法，用于優(yōu)化 VMD參數(shù)選擇。

2.2 改進(jìn)的雪消融優(yōu)化算法

SAO是一種于2023年提出的新一代全局優(yōu)化算法，基于雪的升華和消融行為。該算法具有強(qiáng)大的尋優(yōu)能力和快速的收斂速度。然而，原始的SAO算法在初期隨機(jī)初始化時會形成分布不均勻的種群，導(dǎo)致種群多樣性下降。隨著迭代次數(shù)的增加，種群質(zhì)量以及算法的全局勘探和局部探索能力不斷減弱，使得算法容易陷入局部最優(yōu)。為此本文在此算法基礎(chǔ)上引入佳點集對種群進(jìn)行初始化，增加初始種群多樣性，并在迭代過程中引入聯(lián)合對立選擇（joint opposite selection，JOS）^［30］算子和隨機(jī)擾動，跳出可能陷入的局部最優(yōu)陷阱，提高VMD的分解效果，其具體優(yōu)化機(jī)制如下：

a）佳點集初始化種群，提升解的初始質(zhì)量。設(shè)G_S是S維歐氏空間的單位立方體，r∈G_S，P_n（k）=（{r^（n）₁·k}，{r^（n）₂·k}，…，{r^（n）_S·k}），其中1≤k≤n，偏差為φ（n）=C（r，ε）n^－1+ε，C（r，ε）是只與r、ε有關(guān)的常數(shù)，則稱P_n（k）為佳點集，r為佳點。取r={2cos（2πk/p），1≤k≤S}，p是滿足（p－3）/2≥S的最小素數(shù)。通過在S維空間的單位立方體中創(chuàng)造一個均勻點集，并將點集映射到個體的初始種群上。

b）全局探索階段。在這一階段，算法采用高斯布朗運(yùn)動來模擬雪或雪消融后的水轉(zhuǎn)變?yōu)檎羝麜r的不規(guī)則運(yùn)動，使搜索代理具有高度分散的特性，從而能夠更好地探索潛在區(qū)域。位置更新公式如下：

其中：Z_i（t）表示第t次迭代期間的第i個個體；BM_i（t）為基于表示布朗運(yùn)動的高斯分布的隨機(jī)數(shù)向量；符號表示逐項乘法；θ₁表示數(shù)字 ［0，1］的隨機(jī)數(shù)；G（t）表示當(dāng)前最優(yōu)解；Elite（t）是從群體中的幾個精英中隨機(jī)選擇的個體；Z（t）表示整個群體的質(zhì)心位置。

c）局部開發(fā)階段。在該階段，主要通過度日法模擬雪融過程，鼓勵搜索代理在當(dāng)前最優(yōu)解附近尋找高質(zhì)量的解決方案。位置更新的公式如下：

其中：θ₂表示［-1，1］隨機(jī)數(shù)；M為度日法融雪模型，其公式為

M=0.35+0.25×e^t/t_max－1e－1×e^－t/t_max（8）

其中：t_max為迭代次數(shù)的上限。

d）雙重種群機(jī)制。在SAO算法中，為了平衡探索和開發(fā)兩個階段，引入了雙種群機(jī)制。算法初始階段，將整個種群隨機(jī)分為兩個相等的子種群，分別負(fù)責(zé)探索和開發(fā)。隨著迭代的推進(jìn)，探索種群的規(guī)模逐漸增加，而開發(fā)種群的規(guī)模相應(yīng)縮小，以達(dá)到解決方案空間的平衡。

e）在探索和開發(fā)的種群位置更新方式中添加隨機(jī)擾動，以平衡種群內(nèi)部的搜索。

其中：rand表示［0，1］的隨機(jī)數(shù)；N_a為探索的種群大?。籒_b為開發(fā)的種群大小。

f）引入聯(lián)合對立選擇算子平衡探索和開發(fā)階段。JOS是一種新的基于對立的學(xué)習(xí)技術(shù)，可以提高SAO在搜索空間中的性能和效率。其結(jié)合了動態(tài)對抗（dynamic opposite，DO）和選擇性領(lǐng)先對抗（selective leading opposition，SLO）。

DO使用隨機(jī)跳轉(zhuǎn)策略（random jump strategy，RJS），通過在搜索空間中動態(tài)且不對稱地移動來擴(kuò)大搜索范圍，從而避免陷入局部最優(yōu)點的陷阱。

X=LB+UB－X（11）

X_r=rand（X）（12）

X_do=X+rand（X_r－X）（13）

其中：X是當(dāng)前位置；X是對立位置；X_r是一個隨機(jī)對立位置；X_do是基于對立位置差異的新位置。

SLO使用斯皮爾曼等級相關(guān)系數(shù)（Spearman’s rank correlation coefficient）來計算所選代理位置與最佳解決方案位置之間的相關(guān)性。如果計算結(jié)果小于零或為負(fù)，則表明符合條件的搜索代理位置是相反的。

dd_j=|x_ibest， j－x_{i， j}|（14）

src=1－6×∑j=1（dd_j）²dd_j×（dd²_j－1）（15）

X_dc=LB_dc+UB_dc－X_dc（16）

其中：dd_j表示每個維度的差分距離；src是斯皮爾曼等級相關(guān)系數(shù)；X_dc是基于SLO的新位置。

圖2顯示了JOS嵌入SAO后的算法流程，其中nFE為當(dāng)前函數(shù)求值的次數(shù)，maxFE為最大函數(shù)求值次數(shù)。

2.3 適應(yīng)度函數(shù)

全局優(yōu)化算法需要依賴適應(yīng)度函數(shù)這一標(biāo)準(zhǔn)來調(diào)整參數(shù)，并以此評估參數(shù)組合的優(yōu)劣。因此，適應(yīng)度函數(shù)的選擇至關(guān)重要。包絡(luò)熵能夠有效度量信號的復(fù)雜度和噪聲，且具有較低的計算復(fù)雜度。因此，采用包絡(luò)熵的極小值作為適應(yīng)度函數(shù)。包絡(luò)熵的計算公式如下：

E_p=－∑mj=1p_j lg p_j（17）

其中：p_j=a（j）/∑mj=1a（j），m為樣本數(shù)；a（j）是IMF分量經(jīng)過希爾伯特變換后得到的包絡(luò)信號。

3 分量感知動態(tài)圖Transformer模型

準(zhǔn)確地預(yù)測多變量時間序列（multivariate time series，MTS）需要精確建模復(fù)雜的模式，包括序列間的依賴關(guān)系和序列內(nèi)的變化。本文對基于時間序列分解的預(yù)測方法進(jìn)行了改進(jìn)，將分解后多分量的時間序列預(yù)測看作是多變量的時間序列預(yù)測，通過結(jié)合GNN的序列間關(guān)系建模能力和Transformer強(qiáng)大的序列內(nèi)建模能力，同時建模分量間的依賴關(guān)系和分量內(nèi)的變化，來提高預(yù)測精度。利用Transformer一次輸出所有分量的預(yù)測結(jié)果來提高預(yù)測效率。

3.1 圖神經(jīng)網(wǎng)絡(luò)

為了更有效地識別和建模序列之間的復(fù)雜關(guān)系，通過圖來表示MTS中的序列間依賴關(guān)系。從圖的角度來看，MTS中的不同序列被視為節(jié)點，序列之間的關(guān)系通過圖鄰接矩陣來描述。將時間序列建模為一個信號集G={V，X，}，節(jié)點集V中包含C組MTS數(shù)據(jù)，其中∈?^C×C是一個加權(quán)鄰接矩陣，通過注意力機(jī)制學(xué)習(xí)得到。本文采用全局token來封裝序列信息^［31］，然后使用GNN通過學(xué)習(xí)到的圖結(jié)構(gòu)來建模序列間的依賴關(guān)系。

3.1.1 動態(tài)圖學(xué)習(xí)

在模型中，鄰接矩陣以端到端的方式進(jìn)行學(xué)習(xí)，并采用注意力機(jī)制自動發(fā)現(xiàn)MTS內(nèi)部的潛在相關(guān)性，具備良好的可解釋性。這種方法允許模型通過數(shù)據(jù)驅(qū)動的方式作用于特定任務(wù)，在無須先驗知識的情況下捕捉跨序列的關(guān)系。通過計算序列間注意力的相似度得分，該方法能夠捕捉不同輸入序列之間的關(guān)聯(lián)信息。通過計算，輸出矩陣作為圖的鄰接權(quán)值矩陣，公式如下：

Q=HW^Q， K=HW^K， =softmaxQK^TD（18）

其中：H∈?^N×D對應(yīng)節(jié)點嵌入；Q和K分別為查詢和鍵的表示，通過線性投影計算得到；D為其隱藏維度大小。

3.1.2 全局消息令牌和圖消息傳遞

為了增強(qiáng)序列信息的交互，對于每個序列，通過預(yù)插入的可學(xué)習(xí)令牌封裝全局的信息。在嵌入的序列X∈?^C×L引入M個token，表示每個序列的聚合信息，得到長度為M+L的有效輸入token序列，通過線性投影和位置嵌入得到最終嵌入X∈?^{C×（M+L）×D}。

在Transformer的編碼器中，在自注意力層后通過迭代地進(jìn)行圖信息傳遞，將所有序列預(yù)嵌入token中的信息G_i←X_{：，i，：}∈?^C×D（i≤M）提取出來，并和學(xué)習(xí)到的圖鄰接矩陣一起傳遞到GNN進(jìn)行圖聚合，將每個序列的信息與相鄰序列的信息融合。然后每個處理后得到的嵌入G^_i都被分派到其原始序列，通過連接產(chǎn)生增強(qiáng)圖嵌入X^。GNN的消息傳遞過程如圖3（a）所示，采用了文獻(xiàn)［26］的圖多跳信息融合形式：

G^_i=∑Dd=0A^dG_iW_d （19）

其中：D表示圖聚合的深度；A是圖拉普拉斯矩陣；i為小于等于M的值。

3.2 Transformer

Transformer利用自注意力機(jī)制來計算序列中每個位置的依賴關(guān)系，可以直接關(guān)注序列中任意位置的依賴關(guān)系，而無須像RNN那樣逐步傳遞信息。這使得它在處理長距離依賴關(guān)系時特別有效。自注意力機(jī)制能夠同時關(guān)注輸入序列的多個部分，使得Transformer能夠捕獲更豐富的上下文信息，從而生成更好的特征表示。結(jié)合通道獨立的輸入表示可以使Transfor-mer更加關(guān)注于序列內(nèi)部依賴關(guān)系的建模。

3.2.1 通道獨立的輸入表示

本文采用通道獨立的建模范式對輸入數(shù)據(jù)進(jìn)行處理，避免輸入變量間無效的特征混合。具體過程如下：

輸入多變量序列（X₁，…，X_L）被拆分為C個單變量序列X^（i）∈?^1×L，其中i=1，…，C，每個拆分出來的單變量序列X^（i）被獨立地輸入到Transformer模型中進(jìn)行處理，每個輸入的單變量序列被視為一個獨立的通道。Transformer通過對權(quán)重進(jìn)行共享可以并行處理通道，通過以下的形式轉(zhuǎn)換可以高效地實現(xiàn)計算：

對于一個輸入張量大小為X∈?^B×C×L的批次數(shù)據(jù)，通過patch操作生成X_patch∈?^B×C×P×N的4D張量，通過重新排列張量形成大小為X_reshaped∈? ^{（B×C）×P×N}的3D張量。然后輸入Transformer中進(jìn)行處理。其中，patch劃分的操作為：設(shè)patch長度為P，步幅即兩個連續(xù)patch之間的非重疊區(qū)域為S。經(jīng)過劃分后，每個時間序列變?yōu)橐粋€長度為P的序列X^（i）_p∈?^P×N，其中N=?（L－P）/S」+2。通過使用patch，輸入令牌的總數(shù)從L減少到大約L/S。因此，注意機(jī)制的內(nèi)存使用量和計算復(fù)雜度降至O（N²/S²）。

3.2.2 編碼器模塊

編碼器部分使用一個普通的Transformer編碼器，通過將輸入X映射到d維的Transformer隱藏維度，并使用一個可學(xué)習(xí)的加性位置編碼來使模型能夠更好地理解輸入序列的順序：

p^（i）_t=sin（w_k·t）

if i=2k

cos（w_k·t）if i=2k+1（20）

其中：頻率w_k=1/（10 000^2k/d）；d代表向量維度數(shù)。

最終得到X_d=W_pX_p+W_pos，其中W_p∈?^d×P為可訓(xùn)練的線性投影，W_pos∈?^d×N代表位置信息。將其輸入到Transformer的編碼器中，經(jīng)過一個多頭自注意力層線性投影到不同的表示子空間，得到查詢向量、鍵向量和值向量Q、K、V。

為了更好地處理序列內(nèi)部短期和長期的多尺度特征，通過采用經(jīng)典的EMA方法，在查詢和鍵token上引入歸納偏差^［22］，每個查詢token能夠?qū)ψ罱逆Itoken獲得更高的關(guān)注分?jǐn)?shù)，從而捕捉到隨時間呈指數(shù)衰減的依賴關(guān)系。這種方法強(qiáng)調(diào)局部依賴并限制遠(yuǎn)程依賴，使得輸出更加穩(wěn)健，并提高了準(zhǔn)確性。具體的方法如下：

Attention（Q，K，V）=softmax（QK^Td）V（21）

其中：Q、K為經(jīng)過EMA處理后的查詢向量和鍵向量的表示。

EMA基于查詢的相對滯后時間來構(gòu)建關(guān)注分?jǐn)?shù)，其計算公式如下所示。

y_t=αx_t+（1－α）y_t－1（22）

其中：x_t代表輸入序列；y_t代表輸出序列；α代表平滑參數(shù)。Wang等人^［32］指出，EMA參數(shù)從固定到可學(xué)習(xí)對性能影響不大，但顯著增加了訓(xùn)練時間。因此，本文采用固定的EMA參數(shù)。

本文在頻域計算EMA，通過將其表示為n個獨立的卷積，可以使用快速傅里葉變換（fast Fourier transform，F(xiàn)FT）高效地計算，對長度為L的回望窗口實現(xiàn)了O（L log L）的復(fù)雜度。頻域EMA注意力的機(jī)制如圖4所示。

經(jīng)過自注意力計算后，通過層歸一化和殘差連接的前饋網(wǎng)絡(luò)進(jìn)行處理得到編碼器層的特征表示。通過線性預(yù)測頭得到預(yù)測的結(jié)果，其過程為：對于編碼器層的輸出Z∈?^B×C×L×d，通過合并后兩個維度形成新的向量Z′∈?^{B×C×（L×d）}，對每一個通道通過全連接的神經(jīng)網(wǎng)絡(luò)應(yīng)用線性變換映射到預(yù)測的目標(biāo)窗口大小H，得到最終輸出結(jié)果的表示Z∈?^B×C×H。Transformer建模過程如圖3（b）所示。

3.2.3 基于信號衰減的損失函數(shù)

在使用簡單均方誤差（mean squared error，MSE）進(jìn)行損失預(yù)測任務(wù)時，不同時間步長的誤差權(quán)重是相等的。然而，由于歷史信息與遠(yuǎn)期觀測值的相關(guān)性通常低于與近期觀測值的相關(guān)性，所以近期損失對模型泛化性能的提升更為顯著。為了緩解對噪聲信息的過擬合問題，引入了一個基于信號衰減的損失函數(shù)^［32］，通過信號衰減來增強(qiáng)模型對近期預(yù)測的關(guān)注能力。其形式為

min_EA1L∑Ll=1l^－1/2‖_t+1－a_t+1‖₁（23）

其中：和a分別代表L步長中每個時間點的預(yù)測值和真實值。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集描述

本文采用了兩個真實的電力負(fù)荷數(shù)據(jù)集進(jìn)行實驗，分別是澳大利亞電價和電力負(fù)荷數(shù)據(jù)集以及摩洛哥得土安市電力負(fù)荷數(shù)據(jù)集。澳大利亞數(shù)據(jù)集的時間為2009年1月1日～2010年12月31日，采樣間隔為0.5 h，共計35 040個負(fù)荷數(shù)據(jù)點。此外，還記錄了該地區(qū)的天氣狀況，包括干球溫度、露點濕度、濕球溫度、濕度和電價信息。摩洛哥數(shù)據(jù)集涵蓋了2017年1月1日～2017年12月30日，采樣間隔為10 min，共計52 416個負(fù)荷數(shù)據(jù)點，同時包含了溫度、濕度、風(fēng)速和擴(kuò)散流的信息。兩個數(shù)據(jù)集的負(fù)荷序列的趨勢曲線如圖5所示。

4.2 實驗設(shè)置和評價指標(biāo)

所有實驗均使用PyTorch進(jìn)行，并在NVIDIA RTX 3080 Ti 12 GB GPU上運(yùn)行。在澳大利亞數(shù)據(jù)集上，預(yù)測長度H=336；在摩洛哥數(shù)據(jù)集上，預(yù)測長度H=720?；乜创翱诙际荓= 96。CDGT模型的全局令牌長度為3，patch長度P=16，步幅S=8，EMA的平滑參數(shù)α=0.5。其他具體實驗參數(shù)如表1所示。

誤差指標(biāo)選用了平均絕對誤差（mean absolute error，MAE）、均方根誤差（root mean squared error，RMSE）和平均絕對百分比誤差（mean absolute percentage error，MAPE）等，從多個角度評估模型的預(yù)測性能。具體計算公式如下：

e_MAE=1N∑Ni=1|y_i－_i|（24）

e_RMSE=1N∑Ni=1（y_i－_i）²（25）

e_MAPE=1N∑Ni=1y_i－_iy_i（26）

其中： y_i和_i分別表示原始數(shù)據(jù)的實際值和預(yù)測值；N為預(yù)測點的數(shù)量。

4.3 數(shù)據(jù)預(yù)處理

將JSSAO-VMD應(yīng)用于電力負(fù)荷數(shù)據(jù)中，JSSAO的種群數(shù)量設(shè)為20，最大迭代次數(shù)為10次，適應(yīng)度函數(shù)為最小包絡(luò)熵，VMD參數(shù)K的尋優(yōu)范圍為［3，10］，α的尋優(yōu)范圍為［1 000，3 000］。經(jīng)過迭代，澳大利亞數(shù)據(jù)集上的優(yōu)化參數(shù)為K=9，α=2 076，摩洛哥數(shù)據(jù)集上的優(yōu)化參數(shù)為K=6，α=1 102。部分分解結(jié)果及其對應(yīng)的譜圖如圖6所示。由圖6可以看出，VMD將復(fù)雜的電力負(fù)荷序列分解為不同中心頻率的模態(tài)分量，降低了負(fù)荷序列的復(fù)雜性和隨機(jī)性。

為了確保更好的訓(xùn)練效果并消除不同量綱的影響，對輸入序列進(jìn)行了標(biāo)準(zhǔn)化處理。這包括去除均值和縮放方差，將所有數(shù)據(jù)歸一化為均值為0、方差為1的分布。為了得到更加合理的預(yù)測結(jié)果，標(biāo)準(zhǔn)化后的數(shù)據(jù)按7∶2∶1的比例分為訓(xùn)練集、測試集和驗證集。

4.4 JSSAO算法性能測試

為了驗證JSSAO算法的優(yōu)越性和合理性，選用了IEEE CEC2017^［33］的部分函數(shù)作為對比的功能測試集，如表2所示。這一函數(shù)集合由一個單峰函數(shù)、一個多峰函數(shù)、兩種混合函數(shù)以及四個組合函數(shù)組成，以全面評估每種算法在不同優(yōu)化問題下的性能。本文選取了天鷹優(yōu)化算法（aquila optimizer，AO）^［34］、鯨魚優(yōu)化算法（whale optimization algorithm，WOA）^［35］、麻雀搜索算法^［6］、哈里斯鷹優(yōu)化算法（harris hawks optimization，HHO）^［36］、算術(shù)優(yōu)化算法（arithmetic optimization algorithm，AOA）^［37］和雪消融優(yōu)化算法^［7］作為對比算法。將所有群智能算法的起始種群大小設(shè)置為30，最大評估次數(shù)設(shè)置為1 000次，函數(shù)維度為10。在此基礎(chǔ)上分別進(jìn)行20次比較實驗，以保證實驗的公平性。所有實驗都是在Intel^? Core^TM i7-12700H CPU @2.30 GHz的Windows 11 64位操作系統(tǒng)下使用MATLAB R2023a軟件完成。

圖7顯示了所選取的七種優(yōu)化算法在8個測試函數(shù)上的收斂曲線，并將迭代后期的收斂曲線進(jìn)行了放大。由圖7可以看出，SAO原始算法在6個函數(shù)上表現(xiàn)出次優(yōu)的性能，體現(xiàn)出不錯的尋優(yōu)能力。而JSSAO在八種測試函數(shù)中的尋優(yōu)結(jié)果均優(yōu)于其他六種算法，在優(yōu)化搜索的后期階段，JSSAO也能更新為更優(yōu)的解決方案。這證明了本文所述改進(jìn)策略的有效性，改進(jìn)后的算法具備較強(qiáng)的全局搜索能力和跳出局部最優(yōu)的能力，并且表現(xiàn)出良好的穩(wěn)定性。

4.5 預(yù)測結(jié)果對比分析

4.5.1 消融實驗分析

為了確定CDGT中不同模塊的影響，本文在澳大利亞數(shù)據(jù)集上進(jìn)行了針對圖分量感知、通道獨立、EMA注意力和信號衰減損失函數(shù)的消融研究。表3列出了一系列消融研究，整體上最好的結(jié)果以粗體顯示。由表3可見，刪除CDGT中的任何一個子模塊都會導(dǎo)致誤差增加，說明每個模塊都有其獨特的影響。圖分量感知和通道獨立的影響尤其顯著，忽略它們會顯著降低預(yù)測精度。具體來說，MAE分別增大了8.75%和5.04%，RMSE分別增大了4.87%和3.90%，MAPE分別增大了10.53%和5.30%。這凸顯了提取分量間關(guān)系和通道獨立處理序列以避免特征無效融合的重要性，其次是EMA注意力和信號衰減的損失函數(shù)。融合所有模塊的CDGT模型取得了最低的誤差指標(biāo)，驗證了模型組件的有效性。

表4列出了CDGT和SCDGT在多個數(shù)據(jù)集上的計算開銷。由表4可見，盡管兩者占用的內(nèi)存差異不大，CDGT的計算時間卻顯著低于SCDGT。具體而言，CDGT在澳大利亞數(shù)據(jù)集上的計算時間減少了81.15%，在摩洛哥數(shù)據(jù)集上減少了79.52%。由此可見，CDGT相較于SCDGT能夠大幅降低計算成本。

為了驗證天氣變量和不同分解方式對預(yù)測效果的影響，本文在澳大利亞數(shù)據(jù)集上采用CDGT模型分別對以下不同處理方式進(jìn)行了對比：僅負(fù)荷序列輸入、分量和天氣變量分別輸入、單個分量分別輸入、分量一起輸入。其中分量為經(jīng)JSSAO-VMD分解得到的序列。圖8展示了分量一起輸入時各分量訓(xùn)練的部分預(yù)測曲線，將這些結(jié)果疊加即可得到最終預(yù)測結(jié)果。各種輸入方式的預(yù)測結(jié)果如表5所示。

從表5可以看出，對比僅使用負(fù)荷序列進(jìn)行預(yù)測，分量單獨輸入和分量感知輸入范式的預(yù)測結(jié)果顯示，負(fù)荷經(jīng)過分解后預(yù)測精度顯著提升，體現(xiàn)了分解預(yù)測的有效性。此外，當(dāng)分解后的分量加入天氣等變量因素后，預(yù)測精度顯著下降，這表明這些分量僅包含了負(fù)荷序列的部分信息。引入天氣變量后，特征融合導(dǎo)致預(yù)測效果變差，這說明分解預(yù)測的方法無法有效利用天氣等輔助信息。

將分解后的分量一起輸入模型，利用分量感知圖構(gòu)建分量間的關(guān)系，不僅提高了預(yù)測精度，而且一次輸出結(jié)果使訓(xùn)練時間大幅減少，驗證了所提出的分量序列感知方法的優(yōu)越性。同時，對比JSSAO-VMD和CEEMDAN分解的分量感知效果，進(jìn)一步驗證了所提出分解方法的有效性。

4.5.2 對比實驗分析

為了驗證本文模型的有效性，本文采用了三個基于Transformer的模型Crossformer^［27］、ETSformer^［22］和FEDformer^［23］，一個基于patch的模型PatchTST^［24］，一個基于MLP的模型LightTS^［38］，以及一個基于GNN和Transformer的模型SageFormer^［31］進(jìn)行對比分析。其中，Crossformer提出了結(jié)合時間維度和變量維度的兩階段注意力，明確對變量間關(guān)系進(jìn)行了建模，ETSformer使用了指數(shù)平滑和頻域注意力，F(xiàn)EDformer引入了周期趨勢項分解和頻域注意力，PatchTST采用了分patch和通道獨立的Transformer建模范式，LightTS使用輕量采樣的MLP網(wǎng)絡(luò)進(jìn)行預(yù)測。SageFormer使用圖結(jié)構(gòu)識別序列之間的復(fù)雜關(guān)系并結(jié)合Transformer進(jìn)行序列建模。這些模型都是廣泛應(yīng)用于時間序列預(yù)測的模型。誤差對比如圖9所示，其中圖9（a）為澳大利亞數(shù)據(jù)集上的誤差對比，圖9（b）為摩洛哥數(shù)據(jù)集上的誤差對比。對雷達(dá)圖進(jìn)行了最小-最大歸一化處理，將各種性能指標(biāo)標(biāo)準(zhǔn)化，以便進(jìn)行直觀比較。

=e－e_mine_max－e_min（27）

其中：e、e_min和e_max分別代表預(yù)測誤差、最小預(yù)測誤差和最大預(yù)測誤差。

在澳大利亞數(shù)據(jù)集進(jìn)行預(yù)測結(jié)果對比，各模型誤差定量評價結(jié)果如表6所示。其中最優(yōu)結(jié)果用加粗表示，次優(yōu)結(jié)果用下畫線表示。由表6可知，CDGT 的 MAE為0.377 GW，RMSE為0.513 GW，MAPE為 4.472%。相較于其他模型，MAE下降了約 5.51%～21.62%，RMSE 下降了約5.00%～17.66%，MAPE下降了約6.13%～22.39%。充分證明了本文模型的有效性。

圖10所示為各個模型的7天短期負(fù)荷預(yù)測值以及真實值，并將局部位置的值放大，以便對預(yù)測結(jié)果進(jìn)行深入分析。由圖10可以看出，所有模型都能反映實際電力負(fù)荷的變化趨勢，然而，與其他模型相比，ETSformer和FEDformer在負(fù)荷變化的波峰和波谷處，由于未能有效捕捉電力負(fù)荷的波動，其預(yù)測精度明顯較低，Crossformer和PatchTST雖然波動較小，但有明顯的滯后性，擬合效果較差。SageFormer雖然能緊貼負(fù)荷波動，但是在負(fù)荷急劇變化的地方存在一定的滯后性。相比之下，本文CDGT能更準(zhǔn)確地捕捉負(fù)荷波動規(guī)律，提高預(yù)測精度。

為了進(jìn)一步驗證CDGT的優(yōu)越性，在澳大利亞數(shù)據(jù)集上與一個基于分解的預(yù)測模型^［9］和兩個基于分解重構(gòu)的預(yù)測模型^{［10，11］}進(jìn)行了對比實驗，各模型的預(yù)測誤差結(jié)果和運(yùn)行時間如表7所示?？梢钥闯觯珻DGT取得了最優(yōu)的預(yù)測效果，相比于其他模型，預(yù)測指標(biāo)MAE下降了16.04%～31.08%，RMSE下降了12.16%～28.53%，MAPE下降了16.98%～30.70%。在運(yùn)行時間上減少了59.65%～88.44%。其中基于分解的預(yù)測模型在預(yù)測指標(biāo)上取得了次優(yōu)，但其運(yùn)行時間卻大大增加，基于分解重構(gòu)的預(yù)測模型雖然預(yù)測時間有所減少，但是預(yù)測誤差卻面臨增大的問題。而本文模型充分利用了分量間的關(guān)系來提高預(yù)測精度，而且做到了各分量結(jié)果的同時輸出，降低了模型的運(yùn)行時間。

在摩洛哥數(shù)據(jù)集上進(jìn)行預(yù)測結(jié)果對比，各模型的預(yù)測誤差如表8所示。實驗結(jié)果表明，本文模型在MAE和RMSE取得了最高的預(yù)測精度，MAPE取得了次優(yōu)，其中MAE為1.075 MW，RMSE為1.697" MW，MAPE為9.055%。相比于其他模型，MAE下降了15.02%～75.49%，RMSE下降了7.42%～63.85%，MAPE下降了15.55%～77.53%。

圖11顯示了各模型5天的短期負(fù)荷預(yù)測結(jié)果對比，由表7和圖11可知，預(yù)測步長翻倍后，各模型的預(yù)測誤差均有較大提高，但本文CDGT模型依然能更好地擬合負(fù)荷曲線走勢，取得了最好的效果，驗證了本文模型的穩(wěn)定性。

5 結(jié)束語

針對電力負(fù)荷數(shù)據(jù)的波動性和非平穩(wěn)性導(dǎo)致預(yù)測精度低，以及分解預(yù)測方法缺乏對分解分量間關(guān)系的建模和預(yù)測效率低的問題，本文提出了一種基于分量感知動態(tài)圖Transformer的短期電力負(fù)荷預(yù)測模型。通過對SAO進(jìn)行多方面改進(jìn)，實現(xiàn)了更優(yōu)的尋優(yōu)效果。使用JSSAO-VMD對負(fù)荷數(shù)據(jù)進(jìn)行分解，生成多個分解分量，降低了負(fù)荷序列的波動性和非平穩(wěn)性對預(yù)測精度的影響。然后，利用注意力機(jī)制自動學(xué)習(xí)分量序列間的信息，并使用GNN建模序列間的關(guān)系，結(jié)合改進(jìn)后的Transformer建模分量序列內(nèi)部的依賴關(guān)系實現(xiàn)同時預(yù)測。實驗結(jié)果表明，所提預(yù)測方法具有較高的精度和良好的魯棒性，并且提高了分解預(yù)測方法的預(yù)測效率。下一步將考慮在Transformer內(nèi)部實現(xiàn)序列間關(guān)系的建模，以降低計算開銷，并加入patch內(nèi)注意力來捕獲局部細(xì)節(jié)，提高電力負(fù)荷預(yù)測精度。

參考文獻(xiàn)：

［1］韓富佳， 王曉輝， 喬驥， 等. 基于人工智能技術(shù)的新型電力系統(tǒng)負(fù)荷預(yù)測研究綜述［J］. 中國電機(jī)工程學(xué)報， 2023， 43（22）： 8569-8592. （Han Fujia， Wang Xiaohui， Qiao Ji， et al. Review on artificial intelligence based load forecasting research for the new-type power system［J］. Proceedings of the CSEE， 2023， 43（22）： 8569-8592.）

［2］Hu Haoxiang， Zheng Bingyang. Short-term electricity load forecasting based on CEEMDAN-FE-BiGRU-Attention model［J］. International Journal of Low-Carbon Technologies， 2024， 19： 988-995.

［3］Dragomiretskiy K， Zosso D. Variational mode decomposition［J］. IEEE Trans on Signal Processing， 2014， 62（3）： 531.

［4］Li Zhihao， Chen Zhongli. Short-term load forecasting based on CEEMDAN-FE-ISSA-LightGBM model［J］. Frontiers in Energy Research， 2023， 11： 1111786.

［5］劉杰， 從蘭美， 夏遠(yuǎn)洋， 等. 基于DBO-VMD和IWOA-BILSTM神經(jīng)網(wǎng)絡(luò)組合模型的短期電力負(fù)荷預(yù)測［J］. 電力系統(tǒng)保護(hù)與控制， 2024， 52（8）： 123-133. （Liu Jie， Cong Lanmei， Xia Yuanyang， et al. Short-term power load prediction based on DBO-VMD and an IWOA-BILSTM neural network combination model［J］. Power System Protection and Control， 2024， 52（8）： 123-133.）

［6］Duan Qinwei， He Xiangzhen， Chao Zhu， et al. Short-term power load forecasting based on sparrow search algorithm-variational mode decomposition and attention-long short-term memory［J］. Internatio-nal Journal of Low-Carbon Technologies， 2024， 19： 1089-1097.

［7］Deng Lingyun， Liu Sanyang. Snow ablation optimizer： a novel metaheuristic technique for numerical optimization and engineering design［J］. Expert Systems with Applications， 2023， 225： 120069.

［8］張潔瑩， 石元博. 基于EEMD-AE-LSTM的生活用電短期負(fù)荷預(yù)測［J］. 計算機(jī)應(yīng)用與軟件， 2024， 41（3）： 70-74， 123. （Zhang Jieying， Shi Yuanbo. Short-term load forecasting of domestic electricity based on EEMD-AE-LSTM［J］. Computer Applications and Software， 2024， 41（3）： 70-74， 123.）

［9］Wang Chunhua， Li Weiqin. A hybrid model of modal decomposition and gated recurrent units for short-term load forecasting［J］. PeerJ Computer Science， 2023， 9： e1514.

［10］邵必林， 紀(jì)丹陽. 基于VMD-SE的電力負(fù)荷分量的多特征短期預(yù)測［J］. 中國電力， 2024， 57（4）： 162-170. （Shao Bilin， Ji Danyang. Multi-feature short-term prediction of power load components based on VMD-SE［J］. Electric Power， 2024， 57（4）： 162-170.）

［11］Li Ke， Huang Wei， Hu Gaoyuan， et al. Ultra-short term power load forecasting based on CEEMDAN-SE and LSTM neural network［J］. Energy and Buildings， 2023， 279： 112666.

［12］王兵， 吳思琪， 方宇. 三支殘差修正的燃?xì)庳?fù)荷預(yù)測 ［J］. 計算機(jī)工程與應(yīng)用， 2022， 58（22）： 291-296. （Wang Bing， Wu Siqi， Fang Yu. Gas load forecasting with three-way residual correction［J］. Computer Engineering and Applications， 2022， 58（22）： 291-296.）

［13］Smyl S， Dudek G， Pe?ka P. Contextually enhanced ES-dRNN with dynamic attention for short-term load forecasting［J］. Neural Networks， 2024， 169： 660-672.

［14］Zhang Sizhe， Liu Jinqi， Wang Jihong. High-resolution load forecasting on multiple time scales using long short-term memory and support vector machine［J］. Energies， 2023， 16（4）： 1806.

［15］谷云東， 劉浩. 基于最優(yōu)特征組合改進(jìn)極限梯度提升的負(fù)荷預(yù)測［J］. 計算機(jī)應(yīng)用研究， 2021， 38（9）： 2767-2772. （Gu Yundong， Liu Hao. Load forecasting based on optimal feature combination improved XGBoost［J］. Application Research of Computers， 2021， 38（9）： 2767-2772.）

［16］Waheed W， Xu Qingshan. Data-driven short term load forecasting with deep neural networks： unlocking insights for sustainable energy management［J］. Electric Power Systems Research， 2024， 232： 110376.

［17］陳文超， 方博為， 代良， 等. 基于堆疊式對抗變分循環(huán)神經(jīng)網(wǎng)絡(luò)的多維時間序列異常檢測［J］. 中國科學(xué)： 信息科學(xué)， 2023， 53（9）： 1750-1767. （Chen Wenchao， Fang Bowei， Dai Liang， et al. Stacked adversarial variational recurrent neural network for anomaly detection of multivariate time series［J］. Science China Information Sciences， 2023， 53（9）： 1750-1767.）

［18］Smyl S， Dudek G， Pe?ka P. ES-dRNN： a hybrid exponential smoo-thing and dilated recurrent neural network model for short-term load forecasting ［J］. IEEE Trans on Neural Networks and Learning Systems， 2024， 35（8）： 11346-11358.

［19］潘世瑤. 基于集成學(xué)習(xí)與智能優(yōu)化算法的LSTM短期電力負(fù)荷預(yù)測［D］. 徐州： 中國礦業(yè)大學(xué)， 2023. （Pan Shiyao. Short-term power load forecasting based on integrated learning and intelligent optimization algorithm in LSTM networks［D］. Xuzhou： China University of Mining and Technology， 2023.）

［20］Hua Guoxiang， Sun Yan， Li Weiwei. Hybrid load prediction model of 5G base station based on time series decomposition and GRU network with parameter optimization［J］. IET Generation， Transmission amp; Distribution， 2024， 18（8）： 1548-1558.

［21］Patwardhan N， Marrone S， Sansone C. Transformers in the real world： a survey on NLP applications［J］. Information， 2023， 14（4）： 242.

［22］Woo G， Liu Chenghao， Sahoo D， et al. ETSformer： exponential smoothing Transformers for time-series forecasting ［EB/OL］. （2022-06-20）. https：//arxiv.org/abs/2202.01381.

［23］Zhou Tian， Ma Ziqing， Wen Qingsong， et al. FEDFormer： frequency enhanced decomposed transformer for long-term series forecasting［C］// Proc of International Conference on Machine Learning. ［S.l.］： PMLR， 2022： 27268-27286.

［24］Nie Yuqi， Nguyen N H， Sinthong P， et al. A time series is worth 64 words： long-term forecasting with Transformers ［EB/OL］. （2023-03-05）. https：//arxiv.org/abs/2211.14730.

［25］Dileo M， Zignani M， Gaito S. Temporal graph learning for dynamic link prediction with text in online social networks［J］. Machine Learning， 2024， 113（4）： 2207-2226.

［26］Wu Zonghan， Pan Shirui， Long Guodong， et al. Connecting the dots： multivariate time series forecasting with graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Know-ledge Discovery amp; Data Mining. New York： ACM Press， 2020： 753-763.

［27］Zhang Yunhao， Yan Junchi. Crossformer： Transformer utilizing cross-dimension dependency for multivariate time series forecasting［C/OL］. Proc of the 11th International Conference on Learning Representations. （2023-02-05）. https：//openreview.net/forum？id=vSVLM2j9eie.

［28］Wang Yufeng， Zhang Bo， Ma Jianhua， et al. Artificial intelligence of things （AIoT） data acquisition based on graph neural networks： a systematical review［J］. Concurrency and Computation： Practice and Experience， 2023， 35（23）： e7827.

［29］何婷， 周艷秋， 辛春花. 基于時空位置關(guān)注圖神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測方法［J］. 計算機(jī)應(yīng)用研究， 2024， 41（10）： 2932-2938. （He Ting， Zhou Yanqiu， Xin Chunhua. Traffic flow prediction method based on spatial temporal position attention graph neural network［J］. Application Research of Computers， 2024， 41（10）： 2932-2938.）

［30］Arini F Y， Chiewchanwattana S， Soomlek C， et al. Joint opposite selection（JOS）： a premiere joint of selective leading opposition and dynamic opposite enhanced Harris’ hawks optimization for solving single-objective problems［J］. Expert Systems with Applications， 2022， 188： 116001.

［31］Zhang Zhenwei， Meng Linghang， Gu Yuantao. SageFormer： series-aware framework for long-term multivariate time series forecasting［J］. IEEE Internet of Things Journal， 2024， 11（10）： 18435-18448.

［32］Wang Xue， Zhou Tian， Wen Qingsong， et al. Card： channel aligned robust blend Transformer for time series forecasting ［EB/OL］. （2024-02-16）. https：//arxiv.org/abs/2305.12095.

［33］Wu Guohua， Mallipeddi R， Suganthan P. Problem definitions and evaluation criteria for the CEC 2017 competition and special session on constrained single objective real-parameter optimization， 201212［R］. Zhengzhou： Zhengzhou University， 2013.

［34］Abualigah L， Yousri D， Abd Elaziz M， et al. Aquila optimizer： a novel meta-heuristic optimization algorithm［J］. Computers amp; Industrial Engineering， 2021， 157： 107250.

［35］Mirjalili S， Lewis A. The whale optimization algorithm［J］. Advances in Engineering Software， 2016， 95： 51-67.

［36］Heidari A A， Mirjalili S， Faris H， et al. Harris hawks optimization： algorithm and applications［J］. Future Generation Computer Systems， 2019， 97： 849-872.

［37］Abualigah L， Diabat A， Mirjalili S， et al. The arithmetic optimization algorithm［J］. Computer Methods in Applied Mechanics and Engineering， 2021， 376： 113609.

［38］Zhang Tianping， Zhang Yizhou， Cao Wei， et al. Less is more： fast multivariate time series forecasting with light sampling-oriented MLP structures ［EB/OL］. （2022-07-04） ［2024-08-25］. https：//arxiv.org/abs/2207. 01186.