劉海峰 王艷如

摘? 要：基于組合預(yù)測方法的研究思路，在LSTM神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入強(qiáng)化學(xué)習(xí)思想，采用簡化的Inception網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)造成隱藏狀態(tài)矩陣，實(shí)現(xiàn)LSTM網(wǎng)絡(luò)的改進(jìn)與優(yōu)化，并據(jù)此構(gòu)建短期電力負(fù)荷預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，與DBN、RBF等網(wǎng)絡(luò)模型相比，基于強(qiáng)化學(xué)習(xí)的改進(jìn)LSTM網(wǎng)絡(luò)模型可更好地捕捉依賴信息，具有更高的短期負(fù)荷預(yù)測準(zhǔn)確性。

關(guān)鍵詞：短期電力負(fù)荷;深度學(xué)習(xí)網(wǎng)絡(luò);LSTM網(wǎng)絡(luò);強(qiáng)化學(xué)習(xí)

中圖分類號：TP18? ? ? ?文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）23-0040-04

Research on Short-term Power Load Forecasting Algorithm Based on LSTM

LIU Haifeng1， WANG Yanru2

（1.Big Data Center of State Grid Corporation of China， Beijing 100053， China; 2.Beijing Fibrlink Communications Co.， Ltd.， State Grid Information & Telecommunication Group Co.， Ltd.， Beijing 100052， China）

Abstract： Based on the research idea of combined forecasting method， on the basis of LSTM neural network， the reinforcement learning idea is introduced， the simplified Inception network structure is adopted to construct a hidden state matrix， so as to improve and optimize the LSTM network， and a short-term power load forecasting model is constructed based on it. The experimental results show that compared with DBN， RBF and other network models， the improved LSTM network model based on reinforcement learning can better capture the dependency information and has higher accuracy of short-term load forecasting.

Keywords： short-term power load; deep learning network; LSTM network; reinforcement learning

0? 引? 言

電力工業(yè)是國民經(jīng)濟(jì)的命脈，對我國經(jīng)濟(jì)建設(shè)、社會穩(wěn)定、國家安全和生活質(zhì)量都具有非常重要的作用。電力負(fù)荷是指在一段時刻內(nèi)，用電設(shè)備的電功率總和，是電力協(xié)調(diào)調(diào)度的關(guān)鍵。若能準(zhǔn)確預(yù)測電力負(fù)荷，將對輔助電力系統(tǒng)協(xié)調(diào)調(diào)度有著非常重要的意義。

電力負(fù)荷預(yù)測利用歷史用電數(shù)據(jù)，預(yù)測未來一段時間的負(fù)荷情況。由于電力負(fù)荷預(yù)測受諸多因素影響，為了提高預(yù)測精度，就需深入研究與創(chuàng)新電力負(fù)荷預(yù)測方法。短期負(fù)荷預(yù)測的研究，也從回歸分析[1]、時間序列[2]、指數(shù)平滑[3]等單一經(jīng)典預(yù)測方法，向灰色預(yù)測[4]、人工神經(jīng)網(wǎng)絡(luò)[5]、LSTM（Long Short-Term Memory，長短期記憶神經(jīng)網(wǎng)絡(luò)）[6]、模糊預(yù)測、小波分析等組合現(xiàn)代預(yù)測方法發(fā)展。在本文的研究中，也主要基于組合預(yù)測方法的研究思路，通過強(qiáng)化學(xué)習(xí)對LSTM算法的改進(jìn)優(yōu)化，對改進(jìn)后LSTM網(wǎng)絡(luò)在短期電力負(fù)荷預(yù)測中的應(yīng)用進(jìn)行研究。

1? LSTM網(wǎng)絡(luò)概述

1.1? LSTM技術(shù)基礎(chǔ)

前饋神經(jīng)網(wǎng)絡(luò)的輸出只依賴當(dāng)前輸入，但是在文本、視頻、語音等時序數(shù)據(jù)中，時序數(shù)據(jù)長度并不固定，前饋神經(jīng)網(wǎng)絡(luò)的輸入輸出維數(shù)不能任意更改，因此難以適應(yīng)這類型時序數(shù)據(jù)的處理。短期電力負(fù)荷預(yù)測的輸入與輸出均為時間序列，其本質(zhì)仍是基于先前元素的序列預(yù)測問題，為此需要采用與前饋神經(jīng)網(wǎng)絡(luò)不同的方法，進(jìn)行短期電力負(fù)荷預(yù)測。

循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶功能，可提升網(wǎng)絡(luò)性能。與前饋神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)具備可同時接受自身信息與其他神經(jīng)元信息的神經(jīng)元，更貼合生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在文本等序列數(shù)據(jù)分析中有廣泛應(yīng)用。循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)隨時間反向傳播，錯誤信息前傳遞學(xué)習(xí)，建立長時間間隔的狀態(tài)間依賴，支持序列數(shù)據(jù)的分析處理。但隨著網(wǎng)絡(luò)層數(shù)增多與時間加長，循環(huán)神經(jīng)網(wǎng)絡(luò)容易因梯度消失或爆炸問題，導(dǎo)致只能學(xué)習(xí)短距離依賴，無法解決長距離依賴問題。為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)的長程依賴問題，在循環(huán)神經(jīng)網(wǎng)絡(luò)上添加門控機(jī)制，實(shí)現(xiàn)調(diào)度信息積累速度控制，這類方法被稱之為基于門控的循環(huán)神經(jīng)網(wǎng)絡(luò)，例如LSTM長短期記憶網(wǎng)絡(luò)。

LSTM是一種基于RNN的改進(jìn)模型，通過引入門和單元的概念，解決長距離依賴問題，具有比RNN更強(qiáng)的適應(yīng)性。LSTM網(wǎng)絡(luò)的單元結(jié)構(gòu)如圖1所示。

每個神經(jīng)單元內(nèi)部結(jié)構(gòu)如圖2所示。

每個LSTM神經(jīng)單元都包含遺忘門、輸入門和輸出門三個門控結(jié)構(gòu)，以控制數(shù)據(jù)有信息的換地。其中，遺忘門負(fù)責(zé)丟棄和保留上一個時刻的有效信息在CtCt內(nèi)，輸入門將當(dāng)前時刻有效信息存放在Ct內(nèi)，輸出門決定神經(jīng)單元輸出中Ct的信息。

1.2? LSTM網(wǎng)絡(luò)分析

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，LSTM網(wǎng)絡(luò)具有更強(qiáng)的自適應(yīng)學(xué)習(xí)能力，對復(fù)雜樣本數(shù)據(jù)有更好的擬合效果。LSTM網(wǎng)絡(luò)通過門控結(jié)構(gòu)，有效避免了時間增加所導(dǎo)致的梯度消失的問題，且由于采用了三個輸入值與兩個輸入值的當(dāng)前時刻記憶單元，因此模型也具有更好的泛化能力。

但是，在LSTM網(wǎng)絡(luò)在實(shí)際應(yīng)用中也存在一些缺陷。例如，LSTM網(wǎng)絡(luò)采用梯度下降法進(jìn)行權(quán)值更新，導(dǎo)致模型的收斂速度較慢，容易出現(xiàn)梯度發(fā)散問題，使更容易陷入局部極小值，且沒有科學(xué)的方法，確定模型的隱含層節(jié)點(diǎn)數(shù)量、學(xué)習(xí)率與迭代等參數(shù)。

2? 預(yù)測模型的設(shè)計(jì)

強(qiáng)化學(xué)習(xí)通過樣本與環(huán)境的不斷交互，提供延遲的反饋獎勵。強(qiáng)化學(xué)習(xí)的算法基本可分為時序差分學(xué)習(xí)、動態(tài)規(guī)劃等基于值函數(shù)的方法和策略梯度函數(shù)兩類方法。其中，基于值函數(shù)的方法，因?yàn)橹岛瘮?shù)在更新過程中的改變較大，其收斂性受到影響;基于策略函數(shù)的方法，在更新時具有更強(qiáng)的穩(wěn)定性，但采樣難度大，容易收斂到局部最優(yōu)解，基于強(qiáng)化學(xué)習(xí)的LSTM模型結(jié)構(gòu)設(shè)計(jì)如圖3所示。

第一層為輸入層，將歷史負(fù)荷數(shù)據(jù)X=[x1，x2，… ，xt]T輸入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練;

第二層為LSTM層，結(jié)合強(qiáng)化學(xué)習(xí)，構(gòu)建隱藏狀態(tài)矩陣H，動態(tài)學(xué)習(xí)網(wǎng)絡(luò)輸入負(fù)荷數(shù)據(jù)中的長期依賴;

第三層為Inception網(wǎng)絡(luò)層，通過一系列并行的一維卷積分支，處理與分析輸入負(fù)荷數(shù)據(jù)，并將處理與分析結(jié)果合并為張量;

第四層為全連接輸出層，由于預(yù)測結(jié)果輸出個數(shù)匹配的神經(jīng)元構(gòu)成，輸出結(jié)果為電力負(fù)荷預(yù)測結(jié)果輸出矩陣L。

在本文所研究的基于強(qiáng)化學(xué)習(xí)的LSTM網(wǎng)絡(luò)模型中，借鑒動態(tài)跳躍LSTM[57]在語言處理方面對序列數(shù)據(jù)處理的優(yōu)勢，通過強(qiáng)化學(xué)習(xí)選擇最優(yōu)依賴，以學(xué)習(xí)電力負(fù)荷的周期性特征，改進(jìn)的LSTM模型結(jié)構(gòu)如圖4所示。

在如圖4所示的改進(jìn)型LSTM模型中，在t-1時刻的隱藏狀態(tài)發(fā)生變化，細(xì)胞候選狀態(tài)ct-k與ct-1間、隱藏狀態(tài)ht-k與ht-1間根據(jù)預(yù)測效果選擇最優(yōu)依賴。

采用改進(jìn)LSTM模型作為Inception節(jié)點(diǎn)輸入模塊的改進(jìn)短期電力負(fù)荷預(yù)測模型如圖5所示。

設(shè)計(jì)與改進(jìn)的短期電力負(fù)荷預(yù)測模型，其核心為策略梯度代理，在時間步長t中，代理與環(huán)境st交互將決定LSTM單元的動作，基于當(dāng)前選擇的模型性能為更新代理參數(shù)的獎勵。代理的環(huán)境、動作與獎勵三個關(guān)鍵點(diǎn)的介紹為：

（1）環(huán)境。由當(dāng)前輸入xt與前狀態(tài)ht-1形成的環(huán)境表示如式（1）所示：

St=xt⊕ht-1? ? ? （1）

（2）動作。根據(jù)環(huán)境St確定對后續(xù)LSTM單元影響最佳的狀態(tài)，構(gòu)建一個保留最近K狀態(tài)，最大尺寸為K的狀態(tài)集合SK，采用如式（2）、式（3）所示的多項(xiàng)式分布πK（h|St）對狀態(tài)集合SK中的最優(yōu)狀態(tài)進(jìn)行采樣。

（2）

（3）

其中，softmax（）用戶將向量變換為概率分布P，MLP（）為多層感知器將環(huán)境St變換為K維向量，pi為概率分布P第i個元素。

（3）獎勵。獎勵函數(shù)選擇一系列最佳跳過動作，進(jìn)行預(yù)測模型學(xué)習(xí)與訓(xùn)練，選擇最佳跳過達(dá)到提升短期電力負(fù)荷預(yù)測模型性能的目的，算法中的獎勵函數(shù)設(shè)計(jì)如式（4）所示。

（4）

基于改進(jìn)LSTM模型的短期電力負(fù)荷預(yù)測模型采用簡化的Inception網(wǎng)絡(luò)結(jié)構(gòu)，采用基于時間步長向量，構(gòu)造隱藏狀態(tài)矩陣，生成一組優(yōu)化的特征。因此，雖然當(dāng)前狀態(tài)為不正確隱藏狀態(tài)向量，在通過1-D初始模塊，和級聯(lián)濾波器隱藏狀態(tài)向量后，輸出未來短期的預(yù)測結(jié)果。

3? 預(yù)測模型的實(shí)驗(yàn)

3.1? 實(shí)驗(yàn)數(shù)據(jù)

此次實(shí)驗(yàn)使用的是新英格蘭2004年3月至2014年12月間，以小時為單位的電網(wǎng)總負(fù)荷，總計(jì)103 000項(xiàng)數(shù)據(jù)。

實(shí)驗(yàn)程序底層采用Tensorflow框架，基于Keras深度鏈接庫，實(shí)驗(yàn)結(jié)果采用平均絕對百分比誤差（Mean Absolute Percentage Error， MAPE）作為實(shí)驗(yàn)效果的評價(jià)。

（5）

其中，ti為負(fù)荷值，為預(yù)測值，m為樣本數(shù)，MAPE值越小，表明預(yù)測值相對偏離程度越低，模型的預(yù)測精度越高。

3.2? 實(shí)驗(yàn)實(shí)施與結(jié)果分析

本次實(shí)驗(yàn)用數(shù)據(jù)總計(jì)約10萬項(xiàng)，按照8：2的比例，隨機(jī)將實(shí)驗(yàn)數(shù)據(jù)劃分為模型訓(xùn)練集和模型測試集。其中，訓(xùn)練集中數(shù)據(jù)用于短期負(fù)荷預(yù)測模型的學(xué)習(xí)與訓(xùn)練，測試集中數(shù)據(jù)中數(shù)據(jù)用于短期負(fù)荷預(yù)測模型的測試與驗(yàn)證。經(jīng)過多次試驗(yàn)，確定模型結(jié)構(gòu)的參數(shù)設(shè)置如表1所示。

為了增強(qiáng)實(shí)驗(yàn)的可對比性，采用RBF徑向基神經(jīng)網(wǎng)絡(luò)、DBN深度信念網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7所示。

如圖7所示，與DBN、RBF等深度學(xué)習(xí)模型相比，本文所研究的改進(jìn)LSTM網(wǎng)絡(luò)模型，通過引入強(qiáng)度學(xué)習(xí)，更好的捕捉長期依賴信息，具有更高的預(yù)測性能。

4? 結(jié)? 論

采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，深度分析與挖掘電力負(fù)荷歷史數(shù)據(jù)，構(gòu)建短期電力負(fù)荷預(yù)測模型，預(yù)測未來一段時間的電力負(fù)荷。本文研究基于LSTM網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測方法，通過引入強(qiáng)化學(xué)習(xí)思想，與LSTM網(wǎng)絡(luò)的時序特征結(jié)合，有效提高了LSMT網(wǎng)絡(luò)模型的預(yù)測性能。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展與完善，傳統(tǒng)與預(yù)測模式結(jié)合的方法有待更進(jìn)一步的研究與完善，通過各種模型與算法優(yōu)勢的組合，提高負(fù)荷預(yù)測精度，更好地推動開展電力系統(tǒng)高相關(guān)領(lǐng)域工作。

參考文獻(xiàn)：

[1] 廖旎煥，胡智宏，馬瑩瑩等.電力系統(tǒng)短期負(fù)荷預(yù)測方法綜述 [J].電力系統(tǒng)保護(hù)與控制，2011，39（1）：147-152.

[2] 夏博，楊超，李沖.電力系統(tǒng)短期負(fù)荷預(yù)測方法研究綜述 [J].電力大數(shù)據(jù)，2018，21（7）：22-28.

[3] 張文哲，陳剛.電力市場下負(fù)荷預(yù)測綜述 [J].渝西學(xué)院學(xué)報(bào)（自然科學(xué)版），2003（3）：71-74.

[4] 黎華盛，王宇，黎軍.基于灰色理論的GM（1，1）模型對配電網(wǎng)進(jìn)行中長期負(fù)荷預(yù)測 [J].通訊世界，2017（18）：218-219.

[5] 張靜，石鑫.基于改進(jìn)MOPSO-BP算法的短期電力負(fù)荷預(yù)測研究 [J].電力學(xué)報(bào)，2019，34（6）：556-563.

[6] 張旭東，錢仲文，沈思琪，等.一種基于LSTM與LGBM的電力負(fù)荷預(yù)測算法 [J].系統(tǒng)工程，2019，37（1）：152-158.

作者簡介：劉海峰（1983.04—），男，漢族，陜西榆林人，工程師，碩士研究生，研究方向：電力大數(shù)據(jù)開發(fā)及研究;王艷如（1987.09—），男，漢族，山東成武人，工程師，碩士研究生，研究方向：用電負(fù)荷預(yù)測及應(yīng)用。