吉興全，曾若梅，張玉敏，宋 峰，孫鵬凱，趙國航

基于注意力機制的CNN-LSTM短期電價預(yù)測

吉興全1，曾若梅1，張玉敏1，宋 峰2，孫鵬凱1，趙國航1

(1.山東科技大學(xué)電氣與自動化工程學(xué)院，山東 青島 266590；2.國家電網(wǎng)山東電力公司煙臺供電公司，山東 煙臺 264000)

短期電價預(yù)測結(jié)果的準(zhǔn)確性對存在多元化競爭格局的電力市場具有重要意義。為提高在電價跳躍點和尖峰點的預(yù)測精度及預(yù)測效率，針對多因素融合影響的電價序列與其影響因素間隱含的非線性關(guān)系，提出了一種基于ATT-CNN-LSTM的短期電價預(yù)測方法。首先，采用灰色關(guān)聯(lián)度分析法分析負(fù)荷因素與電價之間的關(guān)聯(lián)程度，篩選出關(guān)聯(lián)度較高的數(shù)據(jù)作為最優(yōu)模型輸入。其次，通過注意力機制(Attention, ATT)自適應(yīng)分配輸入數(shù)據(jù)的權(quán)重，以權(quán)重大小區(qū)分強弱特征數(shù)據(jù)。再利用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks, CNN)對數(shù)據(jù)集進行二次特征提取及降維處理，優(yōu)化輸入長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)中的數(shù)據(jù)，從而提升LSTM網(wǎng)絡(luò)的預(yù)測精度與訓(xùn)練速度。對澳大利亞電力市場的實測數(shù)據(jù)進行算例分析，通過與其他主流算法對比，驗證了所提方法具有更高的預(yù)測精度和計算效率。

注意力機制；卷積神經(jīng)網(wǎng)絡(luò)；長短期記憶神經(jīng)網(wǎng)絡(luò)；電價預(yù)測；灰色關(guān)聯(lián)度分析

0 引言

我國目前已初步形成了電力市場主體的多元化競爭格局，開放了競爭性環(huán)節(jié)電力價格。電價是電力市場的核心，掌握短期電價的變化趨勢可以提高售電主體的收益，用戶可以提前做好生產(chǎn)計劃以降低成本，因此短期電價預(yù)測成為電力市場的焦點。

目前對短期電價的預(yù)測方法可分為兩類，第一類為時間序列法[1]，即利用電價時間序列的相關(guān)性，通過已有樣本建立電價時間序列模型，從而進行樣本外電價預(yù)測的方法[2]。較為經(jīng)典的時間序列模型有累積式自回歸滑動平均(Auto Regressive Integrated Moving Average, ARIMA)模型[3]和廣義自回歸條件異方差(Generalized Auto Regressive Conditional Heteroskedastic, GARCH)模型[4]等。時間序列法具有建模簡單與易于實施的特點[5]。文獻[6]在ARIMA電價預(yù)測模型的基礎(chǔ)上，同時對電價預(yù)測模型的誤差進行預(yù)測，并用預(yù)測的誤差修正電價提高整體預(yù)測精度，但該方法需要不斷增加模型的階數(shù)以達到精度要求。文獻[7]提出一種基于小波變換和非參數(shù)GARCH模型的時間序列電價預(yù)測方法，用小波變換將原始數(shù)據(jù)分解重構(gòu)后用ARIMA建模預(yù)測，再利用非參數(shù)GARCH模型對預(yù)測殘差的隨機波動率建模以修正預(yù)測電價。但此類方法只適用于電價波動小的簡單電力市場，并且無法處理非線性和多變量關(guān)系。第二類為神經(jīng)網(wǎng)絡(luò)法，常用的有BP神經(jīng)網(wǎng)絡(luò)[8]、極限學(xué)習(xí)機[9]、支持向量機[10]及隨機森林[11]等，處理多變量問題是神經(jīng)網(wǎng)絡(luò)法的優(yōu)勢，其不僅可以找出電價序列與電價影響因素的隱式映射關(guān)系，還能降低預(yù)測時間，提高預(yù)測精度。然而傳統(tǒng)單一神經(jīng)網(wǎng)絡(luò)模型如循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)無法處理大數(shù)據(jù)量的數(shù)據(jù)集，易出現(xiàn)梯度消失和梯度爆炸現(xiàn)象，導(dǎo)致預(yù)測精度越來越難以滿足電力市場的要求。因此，如何改進神經(jīng)網(wǎng)絡(luò)模型以提高電價預(yù)測精度成為問題的關(guān)鍵。

為提高神經(jīng)網(wǎng)絡(luò)模型的預(yù)測性能，文獻[12]提出將注意力機制(Attention, ATT)與門控循環(huán)單元(Gate Recurrent Unit, GRU)組合的短期電價預(yù)測模型，注意力機制能改善前饋神經(jīng)網(wǎng)絡(luò)不能處理時序數(shù)據(jù)的缺陷，GRU網(wǎng)絡(luò)雖能提升預(yù)測的速度，但運行結(jié)果不穩(wěn)定。文獻[13]將經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition, EMD)與長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)相結(jié)合，將電價序列提取為周期分量和趨勢分量，用LSTM網(wǎng)絡(luò)分別預(yù)測后，再用支持向量回歸(Support Vector Regression, SVR)疊加預(yù)測序列，生成預(yù)測價格序列。但是對“尖峰”電價等序列異常值處理效果不佳，并且未考慮負(fù)荷量等影響因素。文獻[14]提出基于圖卷積神經(jīng)網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)的時空預(yù)測算法，通過建立描述地域分布的電力市場數(shù)據(jù)并使用圖卷積神經(jīng)網(wǎng)絡(luò)提取所研究區(qū)域和周圍地區(qū)的信息后，將信息構(gòu)成時間序列輸入到LSTM網(wǎng)絡(luò)進行預(yù)測，利用北歐電力交易所運營數(shù)據(jù)進行算例分析，該算法可以有效地融入統(tǒng)一電力市場的地域信息從而提升算法的預(yù)測性能。

電價與負(fù)荷量之間存在一定的相關(guān)性，同時上一時刻的電價與該時刻電價也存在密切關(guān)系。 LSTM網(wǎng)絡(luò)善于發(fā)現(xiàn)和利用長序列數(shù)據(jù)的內(nèi)在規(guī)律，在預(yù)測精度方面具有優(yōu)勢[15]，但是當(dāng)特征量較大時，LSTM的性能會因為過擬合而下降，且所需時間較長，因此不能直接輸入帶有大量特征的電價數(shù)據(jù)，需要先對輸入的時序數(shù)據(jù)進行特征提取[16]。卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks, CNN)對輸入的時序數(shù)據(jù)只能捕捉局部信息，必須通過層疊來獲取全局的聯(lián)系增強視野，而注意力機制可以靈活地捕捉全局與局部的聯(lián)系，補齊CNN的短板?；诖?，本文提出基于注意力機制的CNN-LSTM短期電價預(yù)測模型，以解決傳統(tǒng)電價預(yù)測模型存在的計算效率低、在電價跳躍點與尖峰點預(yù)測精度不高的問題。通過澳大利亞實測數(shù)據(jù)進行仿真分析，驗證了本文預(yù)測模型可有效提高在電價跳躍點和尖峰點的預(yù)測精度及整體預(yù)測效率。

1 方法介紹

CNN具有局部連接、權(quán)重共享等特點，優(yōu)化了輸入LSTM模型的電價序列，但依舊難以解決長序列依賴問題，而加入ATT可以捕捉長序列中的依賴關(guān)系，同時能有效突出影響電價的因素，故本文提出基于ATT的CNN-LSTM短期電價預(yù)測模型。

1.1 ATT

基于ATT的計算步驟如下所述。

1) 對Query和Key進行相似度計算

2) 對相似度進行歸一化

3) 加權(quán)求和

式中，表示權(quán)值。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN的基本結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層以及輸出層構(gòu)成[18]。圖2為卷積神經(jīng)網(wǎng)絡(luò)示意圖，卷積層通過卷積核提取輸入電價時間序列的不同特征。池化層位于卷積層之后，通過池化操作減少卷積層間的連接數(shù)量，對電價時間序列進行降維和二次特征提取，兩者合稱為卷積單元。最后經(jīng)過全連接層匯總所有卷積單元提取的局部特征，并進行分類。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖

CNN能從數(shù)據(jù)中自動學(xué)習(xí)特征，并且具有局部連接、權(quán)值共享、池化操作以及多層結(jié)構(gòu)的特點[19]，大大降低了電價預(yù)測模型的復(fù)雜程度，通過梯度下降的優(yōu)化方法，減少過擬合，有更強的泛化能力。對于某些序列的處理，這種一維卷積神經(jīng)網(wǎng)絡(luò)的效果可以媲美循環(huán)神經(jīng)網(wǎng)絡(luò)，而且計算代價要小很多[20]。卷積層、池化層以及全連接層的計算公式分別為

1.3 LSTM模型

LSTM通過門結(jié)構(gòu)來控制傳輸狀態(tài)，分為遺忘門、選擇記憶門和輸出門，如圖3所示。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

遺忘門決定上一單元狀態(tài)被遺忘的程度，可表示為

選擇記憶門與一個激活函數(shù)控制加入新信息的范圍。利用遺忘門與選擇記憶門輸出的共同作用更新本單元的單元狀態(tài)。

輸出門控制當(dāng)前單元被過濾的程度，可表示為

2 灰色關(guān)聯(lián)度

3 ATT-CNN-LSTM模型設(shè)計

3.1 數(shù)據(jù)歸一化處理

電價和負(fù)荷的量綱不同，數(shù)值差別較大。為了保證不同變量對輸出值的影響力相同，同時保證收斂速度，提升模型精度，對電價與負(fù)荷進行歸一化處理，將其數(shù)值歸算到[-1, 1]。

為了使輸出的電價預(yù)測值具有現(xiàn)實意義，需對輸出數(shù)據(jù)進行反歸一化處理，計算公式為

3.2 模型參數(shù)設(shè)計

ATT-CNN-LSTM預(yù)測模型的參數(shù)設(shè)置為：卷積層數(shù)為1，過濾器數(shù)為16，卷積核的大小為5×5，學(xué)習(xí)率為0.0009，訓(xùn)練輪數(shù)為400，批訓(xùn)練大小為32，優(yōu)化器為Adam[23]。參數(shù)選定方法為網(wǎng)格搜索法。

3.3 評價指標(biāo)選取

本文選取平均絕對誤差(Mean Absolute Error, MAE)與均方根誤差(Root Mean Squared Error, RMSE)作為衡量預(yù)測精度的指標(biāo)。MAE的計算公式為

RMSE的計算公式為

3.4 ATT-CNN-LSTM模型求解

考慮到擴大視野需要疊加多層卷積區(qū)的缺陷，為了彌補CNN只有局部卷積感受視野，本文模型將ATT與CNN結(jié)合，對輸入的時間序列樣本進行一次特征提取后，作為CNN卷積層的輸入，能夠減少CNN計算量的同時加快特征提取的速度。CNN進行二次特征提取后，對輸出的時間序列進行降維處理。由于LSTM網(wǎng)絡(luò)的模型結(jié)構(gòu)相對復(fù)雜，因此輸入長時間序列時，模型訓(xùn)練耗時較長，而將ATT-CNN提取特征并降維后的時間序列輸入到LSTM中，在提升LSTM預(yù)測精度的同時，也可以減少LSTM的運行時間。ATT-CNN-LSTM預(yù)測模型求解的流程如圖4所示。

圖4 ATT-CNN-LSTM模型流程圖

基于ATT-CNN-LSTM短期電價預(yù)測模型的主要步驟如下。

步驟1：相關(guān)性分析。分析影響電價的負(fù)荷和電價因素，確定輸入序列。

步驟2：數(shù)據(jù)預(yù)處理。對輸入的時間序列進行歸一化處理。

步驟3：特征提取。將歸一化后的時間序列用ATT-CNN提取其重要特征。

步驟4：電價預(yù)測。將ATT-CNN處理過的時間序列輸入到LSTM單元進行模型訓(xùn)練。

步驟5：輸出。把預(yù)測出的數(shù)據(jù)反歸一化并輸出結(jié)果。

通過上述步驟，達到提高預(yù)測精度及計算效率的目的。

4 算例分析

本文選取澳大利亞電力市場2010年1月1日至2011年4月13日的實測數(shù)據(jù)作為數(shù)據(jù)集，該數(shù)據(jù)集包括電價和實時負(fù)荷時間序列，每30 min進行一次采樣，剔除掉異常數(shù)據(jù)后共包含20 352個時段[24]。所有實驗均基于Windows10操作系統(tǒng)，軟件為PYTHON，CPU為Inter I7-8700k，3.2 GHz，GPU為Intel GTX-1660TI，并采用GPU進行訓(xùn)練與測試。預(yù)測模型中應(yīng)用的訓(xùn)練集、測試集所選取的具體時段和時段數(shù)如表1所示。

表1 時段表

4.1 電價數(shù)據(jù)特征

電價具有較強的波動性，根據(jù)波動率強弱可將電力市場分為穩(wěn)定市場(如英國市場)、近似穩(wěn)定市場(如新西蘭市場)和不穩(wěn)定市場(如澳大利亞市場)[2]，波動率高的市場電價更難預(yù)測。

電價也具有跳躍和價格尖峰特性。電力市場中常出現(xiàn)價格的非正常跳躍、零電價和價格尖峰，高風(fēng)電滲透率下電源結(jié)構(gòu)復(fù)雜的澳大利亞市場曲線有較多的價格尖峰[25]，如圖5所示。價格跳躍和價格尖峰給電價預(yù)測帶來了巨大的挑戰(zhàn)，現(xiàn)有的方法很難預(yù)測出價格跳躍的準(zhǔn)確時間和跳躍高度[2]。為了體現(xiàn)本文模型在跳躍點、尖峰點的預(yù)測效果，選用波動率高、價格尖峰多的澳大利亞市場實測數(shù)據(jù)進行算例分析。

圖5 澳大利亞市場電價曲線

4.2 數(shù)據(jù)相關(guān)性分析

表2 輸入樣本與電價相關(guān)系數(shù)表

由表2可知，負(fù)荷量與選定時刻電價的相關(guān)系數(shù)在3天前已趨于穩(wěn)定；歷史電價與選定時刻電價的相關(guān)系數(shù)在前5天時已達到0.9以上，其后雖略有波動，但幅度不大。在當(dāng)天前3個時刻的負(fù)荷量與選定時刻電價的相關(guān)系數(shù)都維持在0.8以上，且隨時間逐漸增加，而前兩個時刻的電價與選定時刻電價的相關(guān)系數(shù)接近1。綜上所述，本文使用前3天的負(fù)荷量、前5天的電價、當(dāng)天前3個時刻負(fù)荷量、當(dāng)天前兩個時刻電價以及選定時刻歷史電價作為模型輸入。

4.3 整體預(yù)測效果分析

為了驗證本文所提ATT-CNN-LSTM模型具有更強的學(xué)習(xí)能力，預(yù)測結(jié)果更精準(zhǔn)，分別采用ATT-CNN-LSTM模型、LSTM模型及CNN-LSTM模型對澳大利亞電價進行300 h的電價預(yù)測，并對3種預(yù)測結(jié)果進行對比分析，如圖6所示。

圖6 不同預(yù)測模型的結(jié)果整體對比

由圖6可知，3種預(yù)測模型的預(yù)測值與實際值相比整體趨勢一致，而本文所提ATT-CNN-LSTM模型預(yù)測值更為貼近真實值，LSTM模型預(yù)測值偏離真實值較大。主要原因在于，CNN能從原始輸入序列中進行網(wǎng)絡(luò)學(xué)習(xí)，避免手工提取特征導(dǎo)致誤差積累的缺點；而在CNN前加入ATT環(huán)節(jié)，可優(yōu)先提取重要信息，優(yōu)化輸入LSTM網(wǎng)絡(luò)的數(shù)據(jù)，因此ATT-CNN-LSTM網(wǎng)絡(luò)中能更有效地提取輸入電價、負(fù)荷量時間序列的特征，使預(yù)測精度提升。

為進一步展現(xiàn)本文所提ATT-CNN-LSTM模型在整體預(yù)測精度上的優(yōu)越性，表3列出了3種模型的MAE與RMSE。

表3 不同預(yù)測模型的評價指標(biāo)對比

由表3可見，ATT-CNN-LSTM模型的MAE分別比LSTM模型和CNN-LSTM模型減少27%和6%；RMSE分別比LSTM模型和CNN-LSTM模型減少19%和6%。這是因為ATT可捕捉長序列中的依賴關(guān)系，彌補了傳統(tǒng)LSTM模型的不足，因此對于長輸入序列，ATT-CNN-LSTM的預(yù)測精度相比于傳統(tǒng)LSTM預(yù)測模型與CNN-LSTM預(yù)測模型更高，評價指標(biāo)更佳。說明了該算法具有良好的精確性。

4.4 電價跳躍點與尖峰點分析

為進一步證明本文所提預(yù)測模型在電價跳躍點與尖峰點處的優(yōu)越性，選取33個跳躍跨度大、突變速度快的典型電價跳躍點與尖峰點時刻進行展示。ATT-CNN-LSTM模型、CNN-LSTM模型與真實值擬合效果如圖7所示。

圖7 兩種預(yù)測模型典型電價跳躍點、尖峰點對比圖

由圖7可知，權(quán)重的大小與特征是否明顯呈正相關(guān)的特性，故ATT在重要特征點分配更大的權(quán)重，使得ATT-CNN-LSTM模型預(yù)測結(jié)果在每一個典型電價跳躍點和尖峰點的預(yù)測電價與真實電價幾乎吻合，而CNN-LSTM模型預(yù)測結(jié)果在典型電價跳躍點、尖峰點處的值與真實值的偏差較大。

表4列出了兩種算法的MAE與RMSE。由表4可見，ATT-CNN-LSTM預(yù)測模型在電價尖峰點和跳躍點處的MAE與RMSE分別比CNN-LSTM預(yù)測模型降低了0.3032和0.2674。因為ATT在電價尖峰點與跳躍點上分配的權(quán)重更大，故ATT-CNN-LSTM預(yù)測模型在電價跳躍點和尖峰點表現(xiàn)出良好性能。

表4 典型電價跳躍點、尖峰點的評價指標(biāo)對比

4.5 計算效率分析

為了驗證本模型在計算效率方面的優(yōu)勢，分別記錄了3種預(yù)測模型預(yù)測10次300時段所需的平均時間，如表5所示。

由表5可知，在預(yù)測數(shù)量相同的情況下，ATT- CNN-LSTM預(yù)測模型的平均運行時間比CNN-LSTM與LSTM模型分別減少了0.34 s與0.48 s。這是因為ATT與CNN相結(jié)合后，在提取時序數(shù)據(jù)的特征上會更有效率，同時ATT的每一步計算不依賴于上一步的計算結(jié)果，可以與CNN一樣并行處理，故ATT-CNN-LSTM預(yù)測模型的計算效率高于其他模型。

表5 不同預(yù)測模型平均運行時間對比

5 結(jié)論

為解決傳統(tǒng)電價預(yù)測模型在電價跳躍點和尖峰點預(yù)測精度低，同時存在計算效率低的問題，本文提出一種基于注意力機制的CNN-LSTM短期電價預(yù)測方法。通過澳大利亞電力市場的算例分析可得出以下結(jié)論。

ATT-CNN-LSTM預(yù)測模型相比CNN-LSTM和LSTM預(yù)測模型，不僅能提高整體預(yù)測結(jié)果的精度，而且能提高電價跳躍點和尖峰點的預(yù)測精度，同時在計算效率上有所提升。因此，驗證了本文所提模型在提高短期電價預(yù)測精度與計算效率上的有效性。

目前我國正在大力構(gòu)建以新能源為主體的新型電力系統(tǒng)，新能源發(fā)電具有波動大的特點，給短期電價預(yù)測帶來挑戰(zhàn)。本文暫未考慮發(fā)電側(cè)的影響，將光伏、風(fēng)力等新能源發(fā)電作為短期電價預(yù)測的影響因素是下一步工作的重點。

[1] 武偉, 劉希玉, 楊怡, 等. 時間序列分析方法及ARMA, GARCH兩種常用模型[J]. 計算機技術(shù)與發(fā)展, 2010, 20(1): 247-249, 253.

WU Wei, LIU Xiyu, YANG Yi, et al. Analysis method of time array and two model of ARMA and GARCH[J]. Computer Technology and Development, 2010, 20(1): 247-249, 253.

[2] 張顯, 王錫凡. 短期電價預(yù)測綜述[J]. 電力系統(tǒng)自動化, 2006, 30(3): 92-101.

ZHANG Xian, WANG Xifan. Review of the short-term electricity price forecasting[J]. Automation of Electric Power Systems, 2006, 30(3): 92-100.

[3] AMINI M H, KARGARIAN A, KARABASOGLU O. ARIMA-based decoupled time series forecasting of electric vehicle charging demand for stochastic power system operation[J]. Electric Power Systems Research, 2016, 140: 378-390.

[4] LI Qi, CHEN Huaping, ZHU Fukang. Robust estimation for Poisson integer-valued GARCH models using a new hybrid loss[J]. Journal of Systems Science & Complexity, 2021, 34(4): 1578-1596.

[5] 熊高峰, 韓鵬, 聶坤凱. 時間序列分解在短期電價分析與預(yù)測中的應(yīng)用[J]. 電力系統(tǒng)及其自動化學(xué)報, 2011, 23(3): 95-100.

XIONG Gaofeng, HAN Peng, NIE Kunkai. Application of time series decomposition to short term electricity price analysis and forecasting[J]. Proceedings of the CSU-EPSA, 2011, 23(3): 95-100.

[6] 周明, 嚴(yán)正, 倪以信, 等. 含誤差預(yù)測校正的ARIMA電價預(yù)測新方法[J]. 中國電機工程學(xué)報, 2004, 24(12): 67-72.

ZHOU Ming, YAN Zheng, NI Yixin, et al. A novel ARIMA approach on electricity price forecasting with the improvement of predicted error[J]. Proceedings of the CSEE, 2004, 24(12): 67-72.

[7] 鄧佳佳, 黃元生, 宋高峰. 基于非參數(shù)GARCH的時間序列模型在日前電價預(yù)測中的應(yīng)用[J]. 電網(wǎng)技術(shù), 2012, 36(4): 190-196.

DENG Jiajia, HUANG Yuansheng, SONG Gaofeng. Day-ahead electricity price forecasting using time series model based on nonparametric generalized auto regressive conditional heteroskedasticity[J]. Power System Technology, 2012, 36(4): 190-196.

[8] SZKUTA B R, SANABRIA L A, DILLON T S. Electricity price short-term forecasting using artificial neural networks[J]. IEEE Transactions on Power Systems, 1999, 14(3): 851-857.

[9] 靳果, 朱清智, 孟陽, 等. 基于多層極限學(xué)習(xí)機的電能質(zhì)量擾動多標(biāo)簽分類算法[J]. 電力系統(tǒng)保護與控制, 2020, 48(8): 96-105.

JIN Guo, ZHU Qingzhi, MENG Yang, et al. Power quality disturbances multi-label classification algorithm based on a multi-layer extreme learning machine[J]. Power System Protection and Control, 2020, 48(8): 96-105.

[10] HOU K, SHAO G, WANG H, et alResearch on practical power system stability analysis algorithm based on modified SVM[J]. Protection and Control of Modern Power Systems, 2018, 3(2): 119-125.

[11] 魏勤, 陳仕軍, 黃煒斌, 等. 利用隨機森林回歸的現(xiàn)貨市場出清價格預(yù)測方法[J]. 中國電機工程學(xué)報, 2021, 41(4): 1360-1367.

WEI Qin, CHEN Shijun, HUANG Weibin, et al. Forecasting method of clearing price in spot market by random forest regression[J]. Proceedings of the CSEE, 2021, 41(4): 1360-1367.

[12] 謝謙, 董立紅, 厙向陽. 基于Attention-GRU的短期電價預(yù)測[J]. 電力系統(tǒng)保護與控制, 2020, 48(23): 154-160.

XIE Qian, DONG Lihong, SHE Xiangyang. Short-term electricity price forecasting based on Attention-GRU[J]. Power System Protection and Control, 2020, 48(23): 154-160.

[13] 勾玄, 肖先勇. 基于經(jīng)驗?zāi)Ｊ椒纸馀cLSTM神經(jīng)網(wǎng)絡(luò)的短期電價預(yù)測模型[J]. 西安理工大學(xué)學(xué)報, 2020, 36(1): 129-134.

GOU Xuan, XIAO Xianyong. Short-term electricity price forecasting model based on empirical mode decomposition and LSTM neural network[J]. Journal of Xi’an University of Technology, 2020, 36(1): 129-134.

[14] 韓升科, 胡飛虎, 陳之騰. 基于GCN-LSTM的日前市場邊際電價預(yù)測[J]. 中國電機工程學(xué)報, 2021, 41(6): 1-12.

HAN Shengke, HU Feihu, CHEN Zhiteng. Day ahead market marginal price forecasting based on GCN-LSTM[J]. Proceedings of the CSEE, 2021, 41(6): 1-12.

[15] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521: 436-444.

[16] LI W, BECKER D M. Day-ahead electricity price prediction applying hybrid models of LSTM-based deep learning methods and feature selection algorithms under consideration of market coupling[J]. Energy, 2021, 237.

[17] 李明揚, 孔芳. 融入自注意力機制的社交媒體命名實體識別[J]. 清華大學(xué)學(xué)報(自然科學(xué)版), 2019, 59(6): 461-467.

LI Mingyang, KONG Fang. Social media named entity recognition incorporating self-attention mechanisms[J]. Journal of Tsinghua University (Science and Technology), 2019, 59(6): 461-467.

[18] 王維博, 張斌, 曾文入, 等. 基于特征融合一維卷積神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動分類[J]. 電力系統(tǒng)保護與控制, 2020, 48(6): 53-60.

WANG Weibo, ZHANG Bin, ZENG Wenru, et al. Power quality disturbance classification of one-dimensional convolutional neural networks based on feature fusion[J]. Power System Protection and Control, 2020, 48(6): 53-60.

[19] TENG Hui, HASSAN A S. Construction and drug evaluation based on convolutional neural network system optimized by grey correlation analysis[J]. Computational Intelligence and Neuroscience, 2021: 1-9.

[20] 劉忠, 陳星宇, 鄒淑云, 等. 計及碳排放的風(fēng)-光-抽水蓄能系統(tǒng)容量優(yōu)化配置方法[J]. 電力系統(tǒng)自動化, 2021, 45(22): 9-18.

LIU Zhong, CHEN Xingyu, ZOU Shuyun, et al. Optimal capacity configuration method for wind-photovoltaic- pumped-storage system considering carbon emission[J]. Automation of Electric Power Systems, 2021, 45(22): 9-18.

[21] 梁濤, 楊改文, 董玉蘭. 基于灰色關(guān)聯(lián)度的變權(quán)組合模型的齒輪箱溫度故障預(yù)測[J]. 太陽能學(xué)報, 2020, 41(12): 199-207.

LIANG Tao, YANG Gaiwen, DONG Yulan. Gearbox temperature fault prediction based on variable weight combination model based on gray correlation[J]. Acta Energiae Solaris Sinica, 2020, 41(12): 199-207.

[22] 王浩, 王艷, 紀(jì)志成. 基于SAIGM-KELM的短期風(fēng)電功率預(yù)測[J]. 電力系統(tǒng)保護與控制, 2020, 48(18): 78-87.

WANG Hao, WANG Yan, JI Zhicheng. Short-term wind power forecasting based on SAIGM-KELM[J]. Power System Protection and Control, 2020, 48(18): 78-87.

[23] CHANG Zihan, ZHANG Yang, CHEN Wenbo. Electricity price prediction based on hybrid model of Adam optimized LSTM neural network and wavelet transform[J]. Energy, 2019, 187.

[24] RODRIGEZ C, ANDERS G. Energy price forecasting in the Ontario competitive power system market[J]. IEEE Transactions on Power Systems, 2004, 19(1): 366-374.

[25] 李軍徽, 馮喜超, 嚴(yán)干貴, 等. 高風(fēng)電滲透率下的電力系統(tǒng)調(diào)頻研究綜述[J]. 電力系統(tǒng)保護與控制, 2018, 46(2): 163-170.

LI Junhui, FENG Xichao, YAN Gangui, et al. Survey on frequency regulation technology in high wind penetration power system[J]. Power System Protection and Control, 2018, 46(2): 163-170.

[26] HU A S, LIE T T, GOOI H B. Load forecast for customers under real time pricing systems[C] // International Conference on Electric Utility Deregulation and Restructuring and Power Technologies, April 4-7, 2000, London, UK: 538-543.

CNN-LSTM short-term electricity price prediction based on an attention mechanism

JI Xingquan1, ZENG Ruomei1, ZHANG Yumin1, SONG Feng2, SUN Pengkai1, ZHAO Guohang1

(1. College of Electrical Engineering and Automation, Shandong University of Science and Technology, Qingdao 266590, China;2. Yantai Power Supply Company, State Grid Shandong Electric Power Company, Yantai 264000, China)

The accuracy of short-term electricity price forecasts is of great significance to the electricity market with a diversified competitive landscape. To improve prediction accuracy and efficiency at the jump and peak points of electricity price, a short-term electricity price prediction method based on ATT-CNN-LSTM is proposed for the implied nonlinear relationship between the electricity price series influenced by the fusion of multiple direct and influencing factors. First, the grey correlation degree analysis method is used to analyze the correlation degree between load factors and electricity prices, and the data with a higher correlation degree is selected as the optimal model input. Secondly, the weight of the input data is adaptively allocated through the attention mechanism (ATT), and the strong and weak feature data are distinguished by the weights. Then, a convolution neural network (CNN) is used to perform secondary feature extraction and dimensionality reduction of the data set to optimize the data input into the long short-term memory (LSTM) network, thereby improving the prediction accuracy and training speed of the LSTM network. The actual measurement data of the Australian electricity market is used for a case study, and the comparison with other mainstream algorithms verifies that the proposed method has higher prediction accuracy and computational efficiency.

attention mechanism; convolutional neural network; long-short term memory neural network; electricity price forecast;grey relation analysis

10.19783/j.cnki.pspc.211472

國家自然科學(xué)基金青年項目資助(52107111)；山東省自然科學(xué)基金青年項目資助(ZR2021QE117)；青島西海岸新區(qū)2020年科技項目資助(源頭創(chuàng)新專項)(2020-92)

This work is supported by the Youth Fund of National Natural Science Foundation of China (No. 52107111).

2021-11-01；

2022-04-18

吉興全(1970—)，男，博士，教授，研究方向為配電網(wǎng)優(yōu)化、狀態(tài)估計和故障診斷；E-mail: xqji@sdust.edu.cn

曾若梅(1997—)，女，碩士研究生，研究方向為智能算法在電力系統(tǒng)中的應(yīng)用；E-mail: suzuln@163.com

張玉敏(1986—)，女，通信作者，博士，講師，研究方向為電力系統(tǒng)經(jīng)濟運行、優(yōu)化調(diào)度和電力市場。E-mail: zhangyumin@mail.sdu.cn

(編輯 許 威)