王玉林， 戚樂樂

（遼寧工程技術(shù)大學電氣與控制工程學院， 遼寧 葫蘆島 125105）

0 引言

負荷預測的準確性是電力調(diào)度計劃制定的重要依據(jù)，關(guān)系到電力供應的穩(wěn)定性和可靠性[1]。如何對電力系統(tǒng)短期負荷進行精準預測，降低能源損耗并提升經(jīng)濟效益，是目前研究領(lǐng)域的重點[2]。

目前，國內(nèi)外負荷預測方法主要分為三類：傳統(tǒng)預測方法、基于機器學習的方法和基于深度學習的方法。傳統(tǒng)的負荷預測方法主要有指數(shù)平滑、回歸分析和灰色預測等多種模型方法[3]?；跈C器學習的方法以支持向量機[4]（SVM）、BP 神經(jīng)網(wǎng)絡[5]等為代表，這些方法在處理和學習高維、數(shù)據(jù)量大的負荷數(shù)據(jù)時效果較差，預測耗時且精度較低。

近年來，深度學習模型如循環(huán)神經(jīng)網(wǎng)絡（RNN）及其變體[6]，卷積神經(jīng)網(wǎng)絡[7]（CNN）在高維特征學習、時序處理、大規(guī)模并行計算以及強大的泛化能力等方面具有明顯優(yōu)勢，在電力系統(tǒng)負荷預測領(lǐng)域得到廣泛應用。其中，CNN 是一種較為熱門的模型，具有優(yōu)秀的數(shù)據(jù)特征挖掘能力。長短期記憶網(wǎng)絡（LSTM）和門控循環(huán)單元（GRU）是RNN 的變體，LSTM能夠較好地捕捉長期依賴性關(guān)系。GRU 模型構(gòu)造更簡單、參數(shù)更少，在資源受限的情況下更受歡迎。

目前，尚未有將CNN、GRU 和LSTM 算法結(jié)合應用于短期電力負荷預測的研究。對此，本文提出一種基于CNN-GRU-LSTM的混合預測模型，并引入注意力機制[8]，以增強模型對關(guān)鍵特征的關(guān)注度。

1 研究方法

本文通過卷積神經(jīng)網(wǎng)絡的卷積層和池化層，對天氣數(shù)據(jù)和歷史負荷數(shù)據(jù)進行局部特征的提取。然后，利用GRU 元和LSTM對特征序列進行建模，學習和捕捉特征序列中的長期依賴關(guān)系。同時，鑒于GRU 和LSTM在處理長序列時易受長期記憶損失和信息遺忘的影響，本文提出引入注意機制，以增強二者在序列數(shù)據(jù)中建模長期依賴關(guān)系的能力，解決捕捉關(guān)鍵長期依賴信息時精度下降的問題。

1.1 CNN-GRU-LSTM模型原理

該模型首先利用卷積神經(jīng)網(wǎng)絡的卷積層和池化層對時間序列數(shù)據(jù)進行層級性特征提取。經(jīng)卷積、池化操作的數(shù)據(jù)，通過全連接層整合特征，輸入到注意力機制層。第一個注意力機制層用于將全局特征進行調(diào)整，增強重要通道的權(quán)重。其輸出端設(shè)置第二層注意力機制（點乘注意力機制），對序列的每個位置與全連接層輸出權(quán)重進行點乘操作，調(diào)整不同位置的權(quán)重，使模型可以自適應地關(guān)注序列中不同位置的重要信息。經(jīng)過權(quán)重調(diào)整的數(shù)據(jù)進行序列反折疊平鋪，輸入到GRU、LSTM層建模。之后，通過全連接層輸出預測結(jié)果。模型構(gòu)造如圖1 所示。

圖1 CNN-GRU-LSTM-Attention 預測模型

1.2 優(yōu)化選型

本文選用引入兩種注意機制，增強GRU 和LSTM在序列數(shù)據(jù)處理中對長期依賴關(guān)系的建模能力。SE注意力機制（Squeeze-and-Excitation Networks）的核心是在通道維度增加注意力機制，關(guān)鍵操作是Squeeze和Excitation。首先，通過全局平均池化層進行Squeeze操作，將輸入特征的通道維度求平均值，得到一個全局的通道權(quán)重向量。接著，通過兩個全連接層和激活層實現(xiàn)Excitation 操作，學習到通道的重要性權(quán)重。通過Sigmoid 層將這些權(quán)重歸一化到［0，1］的范圍。之后，再引入點乘注意力機制，作用于全連接層的輸出與序列反折疊層的輸入之間，將全連接層的輸出和序列反折疊層的輸入進行點乘操作，從而增強模型對序列中不同位置的信息的關(guān)注。SE 注意力機制的原理圖如圖2 所示。

圖2 SE 注意力機制原理

1.3 數(shù)據(jù)集的選取和預處理方法

本文選取福建省泉州市某地區(qū)2016 年1 月1日—3 月25 日的電力負荷數(shù)據(jù)作為樣本，共8 105 組數(shù)據(jù)，采樣周期為15 min，每天包含96 個采樣點，包括歷史負荷數(shù)據(jù)、溫度、濕度和降雨量。

對于數(shù)據(jù)中出現(xiàn)的缺失值，選用相鄰時間段的平均值來填充。針對電力負荷數(shù)據(jù)集中，不同的特征向量存在量綱的差異。本文采用mapminmax 函數(shù)對原始數(shù)據(jù)進行歸一化[9]，將數(shù)據(jù)映射到［0，1］區(qū)間內(nèi)，去除量綱影響。計算過程如下：

式中：x為原始數(shù)據(jù)；xn為歸一化后的數(shù)據(jù)；xmax為原始數(shù)據(jù)最大值；xmin為原始數(shù)據(jù)最小值。

2 實驗設(shè)計與結(jié)果分析

2.1 實驗設(shè)置

本文選取的8 105 組，訓練集占比95%，即7 700組負荷數(shù)據(jù)作為訓練集，其余為測試集。實驗平臺為Windows11 X64 操作系統(tǒng)、Inter i5-11400 CPU，提出的預測模型使用Matlab 語言編程實現(xiàn)。

CNN 網(wǎng)絡中設(shè)置有2 層卷積層與1 層池化層，其中，第一層卷積層中設(shè)置10 個卷積核，第二層卷積層中設(shè)置64 個卷積核，第一層LSTM層包含100 個隱藏單元，第二層LSTM層包含64 個隱藏單元，GRU層也包含100 個隱藏單元。初始學習率設(shè)置為0.005，學習率衰減周期為25，學習率下降因子為0.2，正則化系數(shù)為0.01，迭代次數(shù)為50。

2.2 預測模型對比

為檢驗最終效果，采用LSTM、CNN-LSTM、CNN-GRU-LSTM網(wǎng)絡模型和本文所用方法分別進行負荷預測，最終預測曲線如圖3 所示。不難看出，本文模型預測精度最高。

圖3 預測結(jié)果對比

為了直觀展現(xiàn)CNN-GRU-LSTM-attention 模型的性能，選用線性回歸對模型在預測任務中的性能表現(xiàn)進行可視化。

由圖4 可知，CNN-GRU-LSTM-attention 模型擬合程度最高，其相關(guān)系數(shù)為0.985 64。CNN-LSTM 以及CNN-GRU-LSTM模型在后期預測效果變差，可能是由于數(shù)據(jù)在后期階段存在更復雜的模式或變化，兩種模型未能有效捕獲這些特征。而本文模型通過引入attention 機制，提高了模型在預測過程中對重要關(guān)系序列的關(guān)注度，整體的預測精度都有了較大提升。

圖4 線性回歸圖

為了進一步驗證模型的性能，本文選用均百分比誤差（MAPE）、均方根誤差（RMSE）和平均絕對誤差（MAE）等誤差評價指標[10]對各個模型進行對比。三種誤差評價指標的表達式為：

式中：n為數(shù)據(jù)集個數(shù)；yi和分別為第i個數(shù)據(jù)的真實值和預測值。其中MAPE、RMSE 和MAE 的值越小，則說明模型預測精度越高。所有預測模型均輸入相同負荷序列數(shù)據(jù)，保證對比試驗的有效性。本文方法與其他3 種模型分別進行時間序列負荷預測，預測誤差結(jié)果如表1 所示。

表1 預測誤差對比

由表1 可知，CNN-GRU-LSTM-attention、CNNGRU-LSTM和CNN-LSTM均提高了預測精度，其中，CNN-GRU-LSTM-attention 的預測精度最高，驗證了本文提出的模型的有效性。

2.3 實驗結(jié)果分析

CNN-GRU-LSTM-attention 模型綜合了多個模型的優(yōu)勢，能夠很好地捕捉電力系統(tǒng)非線性關(guān)系和復雜的負荷變化趨勢，預測精度較高。但需要注意的是，該模型也存在一些局限性。例如，注意力機制的引入會增加模型的計算復雜性和訓練時間，并且參數(shù)的增加使模型存在過擬合風險。此外，模型有多個超參數(shù)，過高或過低的超參數(shù)值都可能導致模型性能下降，這增加了模型調(diào)整難度。

3 結(jié)語

本文針對傳統(tǒng)單一電力負荷預測模型無法完全捕捉復雜電力系統(tǒng)中的變化和非線性關(guān)系，導致預測精度較低的問題，提出了CNN-GRU-LSTM-attention混合模型。通過對比分析實驗驗證，表明本文提出的模型能夠有效處理復雜非線性電力負荷數(shù)據(jù)，具有較高的預測精度，可為復雜電力系統(tǒng)提供準確的負荷預測數(shù)據(jù)，為電力系統(tǒng)的安全穩(wěn)定運行提供有力支持。