王金玉，金宏哲，王海生，張忠偉

（1.東北石油大學(xué)電氣信息工程學(xué)院，大慶 163000；2.慶新油田開發(fā)有限責任公司，大慶 163000）

電力負荷的準確預(yù)測不但有助于電力系統(tǒng)的穩(wěn)定運行，而且還能使資源得到有效利用，創(chuàng)造更多經(jīng)濟價值[1]。

傳統(tǒng)統(tǒng)計方法和機器學(xué)習(xí)方法是目前預(yù)測的兩類主要方法。聚類分析法[2]、主成分分析法[3]和指數(shù)平滑法[4]等是統(tǒng)計方法的典型代表。上述方法對已有數(shù)據(jù)的平穩(wěn)性要求很高，非線性影響較難反映。人工專家系統(tǒng)AES（artificial expert system）[5]和人工神經(jīng)網(wǎng)絡(luò)ANN（artificial neural network）[6]是機器語言學(xué)習(xí)方法的典型代表。雖然非線性問題能被機器語言學(xué)習(xí)方法很好地處理，但是專家系統(tǒng)不具備自學(xué)習(xí)的能力。支持向量機處理大規(guī)模數(shù)據(jù)耗時長，而ANN能解決非線性問題且使預(yù)測精度略有提高。負荷序列具有非線性和動態(tài)變化等特點[7]。人工獲得的特征會影響數(shù)據(jù)的連續(xù)性，構(gòu)造單獨網(wǎng)絡(luò)模型也會影響數(shù)據(jù)預(yù)測的準確性。

目前，深度學(xué)習(xí)在負荷預(yù)測領(lǐng)域的應(yīng)用已成為重要研究方向。典型方法有深度神經(jīng)網(wǎng)絡(luò)DNN（deep neural network）[8]、自編碼器和卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural network）[9]等。文獻[10-11]利用卷積神經(jīng)網(wǎng)絡(luò)獲取輸入樣本數(shù)據(jù)的特征和捕獲數(shù)據(jù)周期性，從而進行數(shù)據(jù)預(yù)測，準確率有所提高，但當數(shù)據(jù)波動比較大和不穩(wěn)定時，單一模型不容易較好地學(xué)習(xí)數(shù)據(jù)的變化。長短期記憶LSTM（long short-term memory）不但能挖掘輸入變量之間的序列相關(guān)性，而且在比較復(fù)雜的序列預(yù)測方面也獲得比較不錯的發(fā)展[12]，但當輸入的序列較長時，該網(wǎng)絡(luò)容易導(dǎo)致序列信息的丟失，使建模所用數(shù)據(jù)間結(jié)構(gòu)的信息出現(xiàn)問題，最終使模型預(yù)測準確度受到影響[13]。Attention機制是數(shù)據(jù)資源分配制度中的一種特殊機制，通過輸入不同特征賦予相應(yīng)的權(quán)重[14]。

群體智能優(yōu)化算法的主要思想是搜索分布在一定范圍內(nèi)解空間的最優(yōu)解[15]。研究人員通過多種智能生物的群體行為，提出了大量的群體智能優(yōu)化算法，包含鯨魚優(yōu)化算法WOA（whale optimization algorithm）和麻雀搜索算法SSA（sparrow search algorithm）等[16]。其中，SSA于2020年被提出，具有實現(xiàn)簡單、易于擴充和自組織性強等優(yōu)點，因此越來越多的研究者開始關(guān)注SSA。但SSA在多目標函數(shù)求最優(yōu)解的過程中，由于種群多樣性不夠豐富，易導(dǎo)致多維函數(shù)的最優(yōu)解精度差，而改進麻雀搜索算法ISSA（improved sparrow search algorithm）利用反向?qū)W習(xí)策略，增加了種群目標多樣性，通過對影響因子進行調(diào)整，從而提高了ISSA求解精度。

本文提出一種含Attention的雙向LSTM（Bi-LSTM-AT）預(yù)測方法。該方法將歷史負荷數(shù)據(jù)作為輸入，通過建模學(xué)習(xí)特征內(nèi)部變化規(guī)律。LSTM隱含狀態(tài)的權(quán)重通過映射加權(quán)和學(xué)習(xí)參數(shù)矩陣賦予相應(yīng)的值。同時，利用ISSA實現(xiàn)Bi-LSTM-AT模型超參數(shù)的優(yōu)化選擇。與其他預(yù)測算法相比，本文提出的預(yù)測模型結(jié)果的平均百分比誤差、均方根誤差和平均絕對誤差均有所下降。

1 深度學(xué)習(xí)模型原理

1.1 Bi-LSTM原理結(jié)構(gòu)

LSTM模型屬于深度循環(huán)神經(jīng)網(wǎng)絡(luò)一種，具有輸入、輸出、遺忘和更新門。這些門的調(diào)節(jié)信息流動，并維持隱藏狀態(tài)[17]，其結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of LSTM network

將t時刻n個數(shù)作為變量輸入LSTM網(wǎng)絡(luò)中，預(yù)測t+1時刻的輸出。ht為時間序列的長期記憶信息，st為序列的短期記憶信息。

LSTM在訓(xùn)練時，通常忽略歷史負荷數(shù)據(jù)的全局信息，并且由于數(shù)據(jù)樣本時間序列過長而導(dǎo)致網(wǎng)絡(luò)遺忘較早學(xué)習(xí)的內(nèi)容。而Bi-LSTM網(wǎng)絡(luò)可以解決上述問題，其結(jié)構(gòu)如圖2所示，主體結(jié)構(gòu)由2個獨立的正反LSTM構(gòu)成，每次的輸出都有兩向LSTM網(wǎng)絡(luò)構(gòu)成。對樣本負荷數(shù)據(jù)進行雙向訓(xùn)練，因此可有效地學(xué)習(xí)更多的時間序列樣本數(shù)據(jù)信息。

圖2 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure Bi-LSTM network

1.2 Attention機制原理結(jié)構(gòu)

Attention是一種特殊概率分配的模式，關(guān)注信息的分配并且重視重要信息的影響，最終達到理想預(yù)測準確率的目的，其機制結(jié)構(gòu)如圖3所示。

圖3 Attention機制結(jié)構(gòu)Fig.3 Structure of Attention mechanism

Bi-LSTM結(jié)合Attention機制，簡稱Bi-LSTM-AT機制，能在長時保留信息的基礎(chǔ)上，自主挖掘?qū)τ诜诸惼鸬疥P(guān)鍵作用的特征值，避免了樣本數(shù)據(jù)中復(fù)雜特征值的過多影響，其結(jié)構(gòu)如圖4所示。

圖4 Bi-LSTM-AT機制結(jié)構(gòu)Fig.4 Structure of Bi-LSTM-AT mechanism

輸入層將樣本數(shù)據(jù)輸送到模型中，通過嵌入層將每個樣本數(shù)據(jù)映射到低維空間。Bi-LSTM層獲取高級的特征值，然后通過注意力機制層生成權(quán)重向量。通過與向量矩陣相乘，確保每一次迭代中數(shù)據(jù)的特征合并為整體特征，最后通過輸出層將特征向量輸出。

1.3 改進麻雀搜索算法

麻雀覓食過程可抽象為在偵查預(yù)警機制下發(fā)現(xiàn)者與加入者模型。在SSA中，模擬麻雀覓食過程獲得優(yōu)化解。按照各自規(guī)則分別進行位置更新，規(guī)則為

在迭代尋優(yōu)的過程中，若意識到危險麻雀占總數(shù)的10%～20%，則對全體麻雀影響為

式中：Q為[0，1]之間的隨機數(shù)；β為步長控制參數(shù)；fi、fg和fw分別為當前麻雀的適應(yīng)度、最佳適應(yīng)度和最差適應(yīng)度；ε為用于避免分母是0的一個常數(shù)。

SSA算法中種群分布不均勻會導(dǎo)致種群質(zhì)量不高，影響SSA的收斂速度，而ISSA采用反向?qū)W習(xí)策略解決了這一問題，同時利用動態(tài)步長調(diào)整策略可以提高算法尋優(yōu)的精度。ISSA算法流程如圖5示。

圖5 ISSA算法流程Fig.5 Flow chart of ISSA

算法簡易流程如下。

步驟1 初始化，定義相關(guān)參數(shù)；

步驟2 將種群分為追隨者和生產(chǎn)者，隨機產(chǎn)生個人身份；

步驟3 根據(jù)目標函數(shù)確定每個個體的適應(yīng)度，保存當前最差和最佳位置；

步驟4 當?shù)玫疆斍案潞蟮奈恢?，如果當前位置?yōu)于原來位置，更新原有位置；

步驟5 計算當前最佳目標函數(shù)fmax，更新最優(yōu)個體和最優(yōu)值；

步驟6 輸出最佳適應(yīng)度和麻雀個體。

2 基于ISSA優(yōu)化Bi-LSTM-Attention模型

2.1 預(yù)測模型敘述

短期電力負荷預(yù)測是電網(wǎng)規(guī)劃和決策的基礎(chǔ)。傳統(tǒng)的機器學(xué)習(xí)方法在處理時間序列時，一般從歷史數(shù)據(jù)中人為選取時間特征值，如選取同一時間負荷的數(shù)值作為特征值的方法。比如傳統(tǒng)的邏輯回歸LR（logistic regression）方法就是一種簡單且應(yīng)用廣泛的分類模型，但是該種方法提取特征時會嚴重影響歷史負荷的時序性和包含的潛在規(guī)律。

LSTM緩解了訓(xùn)練過程中梯度消失或爆炸的問題，但是LSTM因序列過長而導(dǎo)致信息的丟失，而雙向LSTM可以使該問題得到有效解決。注意力機制通過對輸入特征賦予不同的權(quán)重，使模型更容易捕獲序列中長距離互相依賴的特征。但Bi-LSTM-AT模型在預(yù)測過程中，超參數(shù)的確認是專家憑借經(jīng)驗進行設(shè)定的。本文采用粒子群優(yōu)化PSO（particle swarm optimization）和ISSA算法對Bi-LSTM-AT網(wǎng)絡(luò)進行優(yōu)化，通過最優(yōu)適應(yīng)度對應(yīng)的4個超參數(shù)賦值給網(wǎng)絡(luò)，得到誤差較小迭代次數(shù)、學(xué)習(xí)率、第1隱含層和第2隱含層的4個超參數(shù)，解決了超參數(shù)難確定的問題，使最終負荷預(yù)測精度進一步提高。同時將PSO優(yōu)化和ISSA優(yōu)化的網(wǎng)絡(luò)模型進行對比分析，優(yōu)化得到不同超參，證明了ISSA優(yōu)化網(wǎng)絡(luò)模型超參的預(yù)測性能更好。

2.2 預(yù)測模型原理

傳統(tǒng)的統(tǒng)計方法在線性回歸預(yù)測方面具有算法簡單和應(yīng)用廣泛的特點，但短期電力負荷預(yù)測的影響因素較多，如果單一的考慮歷史負荷數(shù)據(jù)的影響，傳統(tǒng)的統(tǒng)計方法很難達到科學(xué)性和廣泛性的預(yù)測效果。

本文在最小化Bi-LSTM-AT網(wǎng)絡(luò)基礎(chǔ)上，以均方差作為適應(yīng)度函數(shù)，分別通過PSO和ISSA算法尋優(yōu)得到一組該網(wǎng)絡(luò)的超參數(shù)，最終使得Bi-LSTMAT的預(yù)測值的誤差最小。

ISSA算法優(yōu)化Bi-LSTM-AT模型分為ISSA部分、Bi-LSTM-AT部分和數(shù)據(jù)部分。其中，Bi-LSTMAT部分根據(jù)ISSA傳入的參數(shù)進行解碼，獲得各隱含層節(jié)點數(shù)、迭代次數(shù)和學(xué)習(xí)率，并且通過數(shù)據(jù)部分輸送的訓(xùn)練集進行網(wǎng)絡(luò)模型訓(xùn)練，最終對測試集樣本進行預(yù)測，得到實際與期望輸出值的誤差均方差。同時將均方差作為適應(yīng)度輸送給ISSA部分。ISSA部分根據(jù)適應(yīng)度進行發(fā)現(xiàn)者、跟隨者和警戒者的移動操作，達到種群與全局最優(yōu)解的迭代更新。通過這種方法，可獲得最終優(yōu)化后的網(wǎng)絡(luò)模型超參數(shù)。ISSA優(yōu)化的整個流程如圖6所示。

圖6 ISSA優(yōu)化Bi-LSTM-AT流程Fig.6 Flow chart of Bi-LSTM-AT model optimized by ISSA

2.3 損失函數(shù)

本文在預(yù)測模型中，損失函數(shù)使用均方誤差函數(shù)，即

本文以短期電力負荷96節(jié)點即n=96預(yù)測為例，在LSTM網(wǎng)絡(luò)模型、Bi-LSTM-AT網(wǎng)絡(luò)模型和ISSA-Bi-LSTM-AT網(wǎng)絡(luò)模型中進行訓(xùn)練與函數(shù)圖像預(yù)測，結(jié)果分別如圖7～圖9所示。

圖7 LSTM損失函數(shù)曲線Fig.7 Curve of LSTM loss function

圖8 Bi-LSTM-AT損失函數(shù)曲線Fig.8 Curve of Bi-LSTM-AT loss function

圖9 ISSA-Bi-LSTM-AT損失函數(shù)曲線Fig.9 Curve of ISSA-Bi-LSTM-AT loss function

3 算例分析

3.1 數(shù)據(jù)預(yù)處理及誤差指標

本文選取中國某地區(qū)的全年短期電力負荷為數(shù)據(jù)樣本，其中包括季節(jié)因素、日期類型和96個時刻的負荷。以第n-1天的96個值與平均溫度、最高溫度、最低溫度、相對濕度和星期類型作為輸入，以第n天的96個時刻的負荷作為輸出，構(gòu)建101輸入96輸出的短期電力負荷預(yù)測模型。

將ISSA優(yōu)化的Bi-LSTM-AT模型與LR模型、BP模型、LSTM網(wǎng)絡(luò)模型、Bi-LSTM-AT網(wǎng)絡(luò)模型和PSO-Bi-LSTM-AT模型進行對比實驗。依據(jù)數(shù)據(jù)本身特點，將以上6種模型的輸入都為相同時間序列的數(shù)據(jù)，從而有效地驗證所提方法的準確性和有效性。

平均百分比誤差MAPE（mean absolute percentage error）表示為

均方根誤差RMSE（root mean squared error）表示為

平均絕對誤差MAE（mean absolute error）表示為

決定系數(shù)R2表示為

MAPE可以衡量預(yù)測結(jié)果的好壞，RMSE和MAE可以衡量預(yù)測精度的指標。預(yù)測中，MAPE、RMSE和MAE越小，預(yù)測精度越高。R2用來判斷模型的好壞，其取值范圍為[0，1]。R2接近于0，表示預(yù)測模型預(yù)測結(jié)果很差；R2接近于1，表示模型預(yù)測結(jié)果很好。

3.2 基于ISSA-Bi-LSTM-AT預(yù)測結(jié)果

通過ISSA優(yōu)化得到的4個超參數(shù)如圖10～圖13所示。由圖10可見，適應(yīng)度這個超參數(shù)隨著算法的優(yōu)化而變化，最終穩(wěn)定為0.056。圖11表示學(xué)習(xí)效率曲線，迭代之后最終穩(wěn)定為0.009 3。由圖12和圖13可見，第1隱含層和第2隱含層節(jié)點數(shù)最終穩(wěn)定為67和84。

圖10 適應(yīng)度曲線Fig.10 Fitness curve

圖11 學(xué)習(xí)率曲線Fig.11 Curve of learning rate

圖12 第1隱含層曲線Fig.12 Curve of first hidden layer

圖13 第2隱含層曲線Fig.13 Curve of second hidden layer

本文選用2016年前364天數(shù)據(jù)的96個數(shù)作為訓(xùn)練集，2016年最后兩天負荷數(shù)據(jù)作為測試集，分別采用BP神經(jīng)網(wǎng)絡(luò)、LSTM模型、Bi-LSTM-AT模型和ISSA-LSTM-AT模型進行負荷預(yù)測，最終預(yù)測曲線如圖14所示。由圖14可見，麻雀搜索算法優(yōu)化后的Bi-LSTM-AT網(wǎng)絡(luò)的短期電力負荷擬合度最高。

圖14 12月30、31日預(yù)測結(jié)果對比Fig.14 Comparison of prediction results on December 30 and 31

3.3 預(yù)測性能對比

為驗證本模型的有效性，以LR預(yù)測方法、BP網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)、Bi-LSTM-AT網(wǎng)絡(luò)和ISSA-Bi-LSTM-AT網(wǎng)絡(luò)模型分別進行時間序列負荷預(yù)測。測試集為2016年電力負荷最后一天和最后一周的數(shù)據(jù)，預(yù)測指標為MAPE、RMSE、MAE和 R2，結(jié)果如表1所示。

表1 負荷預(yù)測精度結(jié)果Tab.1 Results of load prediction accuracy

由表1可分析出，上述6種方法的預(yù)測性能隨著預(yù)測時間的增加而逐漸提高。本文所提ISSABi-LSTM-AT預(yù)測方法提前一天預(yù)測的MAPE為0.45%、RMSE為 0.31%、MAE為 0.22%和 R2為0.998 5。誤差小于PSO優(yōu)化的Bi-LSTM-AT模型（MAPE為0.63%、RMSE為0.45%、MAE為0.31%和R2為0.998 4）。依據(jù)大數(shù)定律，樣本誤差個數(shù)n越大，分母越大，平均值越小，誤差越小，所以隨著預(yù)測天數(shù)的增加預(yù)測精度逐漸提高。與其他本文所應(yīng)用的預(yù)測模型相比，ISSA-Bi-LSTM-AT模型無論1 d還是7 d預(yù)測實驗的預(yù)測結(jié)果更接近實際負荷，預(yù)測準確率更高。

4 結(jié) 論

本文提出了一種基于ISSA優(yōu)化Bi-LSTM-AT的短期電力負荷預(yù)測模型，提高了負荷預(yù)測精度，得到結(jié)論如下：

（1）LSTM網(wǎng)絡(luò)是一種改進的RNN，LSTM中的控制單元會對輸入信息進行判斷，符合的會留下，不符合的會遺忘，因此在一定程度上解決了LSTM長期依賴的問題。采用LSTM網(wǎng)絡(luò)模型進行短期負荷預(yù)測，MAPE、RMSE和MAE誤差指標均有所減小，證明了長短期記憶網(wǎng)絡(luò)在序列預(yù)測領(lǐng)域有很大的應(yīng)用空間。

（2）在Bi-LSTM模型中，引入注意力機制，自主挖掘數(shù)據(jù)之間的關(guān)聯(lián)程度，并且獲得不同特征的貢獻比重程度。對特征權(quán)重進行隨時的更改，從而提高樣本輸入值的短期電力負荷數(shù)據(jù)預(yù)測準確度。

（3）Bi-LSTM-AT模型中，網(wǎng)絡(luò)超參數(shù)選擇困難。本文利用PSO算法和ISSA算法進行優(yōu)化對比分析。以最小化Bi-LSTM-AT期望與實際輸出之間的均方差為適應(yīng)度函數(shù)，即找到一組網(wǎng)絡(luò)超參數(shù)，使得Bi-LSTM-Attention的誤差最小，且相比于LSTM預(yù)測模型和Bi-LSTM-AT預(yù)測模型的預(yù)測精度均有顯著提高。同時相對于PSO優(yōu)化的網(wǎng)絡(luò)模型，優(yōu)化得到不同超參數(shù)，ISSA-Bi-LSTM-AT的預(yù)測性能更好。

后續(xù)還需進行ISSA算法和網(wǎng)絡(luò)模型的優(yōu)化，以提高損失函數(shù)訓(xùn)練集和測試集曲線的擬合度。