葛夫勇 雷景生

摘要：為了解決預(yù)測模型無法充分挖掘特征等問題，提出一種基于CNN-GRU SA混合模型的短期電力負(fù)荷預(yù)測方法。通過CNN模型提取輸入數(shù)據(jù)的向量特征，利用雙層GRU模型學(xué)習(xí)輸入特征，掌握其特征規(guī)律，Self-attention機(jī)制充分挖掘輸入的特征信息，最后預(yù)測出負(fù)荷值。實(shí)驗(yàn)采用英格蘭公開數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明，相較于CNN-GRU、GRU和CNN基線模型，該模型的預(yù)測精度更高，證明了該方法的有效性。

關(guān)鍵詞：電力負(fù)荷預(yù)測;CNN;GRU;Self-attention

中圖分類號(hào)：TM715? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? 文章編號(hào)：2096-4706（2021）07-0150-05

Research on Short Term Electric Load Forecasting Based on CNN-GRU SA Model

GE Fuyong，LEI Jingsheng

（Shanghai University of Electric Power，Shanghai? 200090，China）

Abstract：In order to solve the problem that the forecasting model can not fully mine features，a short term electric load forecasting method based on CNN-GRU SA hybrid model is proposed. The vector features of input data are extracted by CNN model，and the double layer GRU model is used to learn the input features and master the feature rules. The Self-attention mechanism fully mines the input feature information，and finally predicts the load value. The experiment is based on England? public data set，and the results show that compared with the CNN-GRU，GRU and CNN baseline models，the prediction accuracy of this model is higher，which proves the effectiveness of this method.

Keywords：electric load forecasting;CNN;GRU;Self-attention

收稿日期：2021-03-06

0? 引? 言

近年來，隨著智能電網(wǎng)、微電網(wǎng)等新興電網(wǎng)的出現(xiàn)，人們對(duì)用電質(zhì)量的要求不斷提高。電力負(fù)荷精準(zhǔn)預(yù)測對(duì)提升用電質(zhì)量具有舉足輕重的作用。如何選擇一種負(fù)荷預(yù)測精準(zhǔn)度高的模型，成為一個(gè)重要課題，因此，筆者將深度學(xué)習(xí)方法應(yīng)用于負(fù)荷預(yù)測中，以提高電力負(fù)荷預(yù)測的精準(zhǔn)度。

電力負(fù)荷預(yù)測按照預(yù)測時(shí)間長短可分為短期、中期和長期，其中短期是預(yù)測未來一個(gè)小時(shí)的電力負(fù)荷值，中期是預(yù)測未來一個(gè)月的電力負(fù)荷值，長期是預(yù)測未來一年或更長時(shí)間的電力負(fù)荷值[1]。電力負(fù)荷預(yù)測是一個(gè)時(shí)間序列問題，由單變量或多變量要素組成[2]。如果僅將歷史電力負(fù)荷數(shù)據(jù)用作預(yù)測模型的輸入，則稱為單變量預(yù)測。在多變量預(yù)測中，其他因素也輸入預(yù)測模型中。這些因素本身可以是不同的時(shí)間序列，例如天氣屬性（溫度或濕度）、鄰近區(qū)域的負(fù)載數(shù)據(jù)、電力價(jià)格，甚至是經(jīng)濟(jì)數(shù)據(jù)（國內(nèi)生產(chǎn)總值（GDP））。就迄今為止所實(shí)施的大多數(shù)電力負(fù)荷預(yù)測模型而言，基本上采用多變量預(yù)測。

電力負(fù)荷預(yù)測方法大致分為三種，即傳統(tǒng)的統(tǒng)計(jì)方法、基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法[3]。傳統(tǒng)的統(tǒng)計(jì)方法是以時(shí)間序列為重復(fù)的固有模式，通過捕獲這些模式，可以預(yù)測未來電力負(fù)荷的變化趨勢。其中包括指數(shù)平滑法：最早通過采用單變量數(shù)據(jù)進(jìn)行預(yù)測的方法之一。預(yù)測結(jié)果是過去觀測結(jié)果的加權(quán)總和，隨著觀測結(jié)果的增大，加權(quán)值會(huì)以指數(shù)形式變小。自回歸綜合移動(dòng)平均模型（ARIMA）：一個(gè)比指數(shù)平滑更復(fù)雜的模型，它可以通過遞歸方式以預(yù)測值作為模型的輸入來進(jìn)行多步預(yù)測。但隨著預(yù)測步驟的增多，ARIMA的效果急劇下滑。這些統(tǒng)計(jì)方法對(duì)數(shù)據(jù)質(zhì)量具有較高的要求，對(duì)于受較多因素影響的數(shù)據(jù)表現(xiàn)為預(yù)測效果差、精度低?；跈C(jī)器學(xué)習(xí)預(yù)測方法所涉及的開發(fā)模型，僅僅是通過用戶提供的數(shù)據(jù)進(jìn)行學(xué)習(xí)。與統(tǒng)計(jì)方法不同，輸入輸出映射不一定是預(yù)定義的。在訓(xùn)練過程中學(xué)習(xí)其方法。例如多重線性回歸模型（Multiple Linear Regression，MLR）、支持矢量回歸（Support Vector Regression，SVR）[4]等。機(jī)器學(xué)習(xí)模型多為淺層模型，很難更深層次地去挖掘數(shù)據(jù)特征，又存在人為干擾問題，誤差較大，預(yù)測精度較差。近年來，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域取得較好的成果，因此，這也成為負(fù)荷預(yù)測領(lǐng)域最新研究的方向，其中應(yīng)用較多的深度學(xué)習(xí)算法有人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）等[5]，CNN特別設(shè)計(jì)用于圖像、文本分類任務(wù)中，其中網(wǎng)絡(luò)接受二維數(shù)據(jù)。CNN用于時(shí)間序列分析，時(shí)間序列是一維數(shù)據(jù)。CNN具有權(quán)值共享和內(nèi)部連接的特點(diǎn)，在非線性問題上有較好的性能。RNN可以解決負(fù)荷預(yù)測時(shí)序問題，具有長期依賴性。GRU（Gated Recurrent Unit）是RNN的改進(jìn)模型，解決了RNN梯度爆炸和消失問 題。文獻(xiàn)[6]為更好地挖掘數(shù)據(jù)中時(shí)序特征的聯(lián)系，提高負(fù)荷預(yù)測的精度，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和門控循環(huán)單元混合神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測方法，實(shí)驗(yàn)證明了該方法的有效性。深度學(xué)習(xí)算法中，Self-Attention機(jī)制屬于Transformer的主要功能單元[7]，Self-Attention機(jī)制會(huì)產(chǎn)生一個(gè)向量，該向量在其鄰近向量上加權(quán)求和，其中權(quán)重是由數(shù)據(jù)之間關(guān)系決定的。

通過以上研究，本文提出一種基于CNN-GRU SA的短期電力負(fù)荷預(yù)測混合模型，利用CNN有效提取負(fù)荷數(shù)據(jù)的內(nèi)部相鄰高維特征，輸入到雙層GRU模型中，GRU動(dòng)態(tài)提取特征規(guī)律，最后Self-Attention機(jī)制將輸入的特征向量合理地進(jìn)行權(quán)重分配，更好地挖掘數(shù)據(jù)之間的聯(lián)系，精準(zhǔn)預(yù)測出負(fù)荷值，實(shí)驗(yàn)表明，相較于其他的基線模型，該模型的負(fù)荷預(yù)測效果更好。

1? CNN-GRU SA混合模型

1.1? 卷積神經(jīng)網(wǎng)絡(luò)模型

CNN是深度學(xué)習(xí)領(lǐng)域的典型算法模型，其優(yōu)點(diǎn)是局部連接和共享權(quán)值，可以高效提取數(shù)據(jù)特征，其結(jié)構(gòu)一般是由卷積層、池化層和完全連接層組成。其中的關(guān)鍵部分是卷積層，卷積層中大小各異的卷積核可以提取輸入數(shù)據(jù)不同的相鄰特征關(guān)系。其卷積層具有權(quán)值共享的功能，這可使權(quán)值的數(shù)量減少，降低提取輸入數(shù)據(jù)特征的難度，使特征提取更加高效[8]。在卷積層之后，池化層運(yùn)用掃描采樣對(duì)所獲取的特征圖進(jìn)行建模，并將其轉(zhuǎn)換為隱藏層和存儲(chǔ)單元之間更為抽象的特征。池化層在降低數(shù)據(jù)維度的情況下，減少模型參數(shù)。最后通過全連接層將之前所有特征向量連接起來，一般采用ReLU函數(shù)來激活全連接層。其結(jié)構(gòu)如圖1所示。

1.2? GRU模型

RNN易產(chǎn)生梯度爆炸和消失的問題。梯度爆炸是循環(huán)神經(jīng)網(wǎng)絡(luò)所存在的一個(gè)問題，其中“長期”時(shí)序分量梯度的增長是“短期”時(shí)序分量梯度增長的幾倍。GRU和LSTM（Long Short Term Memory Network）是改進(jìn)后的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）類型。與CNN不同，RNN具有向后連接的特點(diǎn)，以反饋方式極大地影響模型的精度，這些問題皆可由LSTM模型予以解決。在RNN的高級(jí)體系結(jié)構(gòu)中，是為了解決時(shí)序特征中長期依賴問題而采用的。LSTM的內(nèi)部由單元塊構(gòu)成。單元狀態(tài)和隱藏狀態(tài)從一個(gè)單元塊傳輸?shù)搅硪粋€(gè)單元塊，而內(nèi)存塊用于表達(dá)記憶門狀態(tài)。LSTM架構(gòu)包括三個(gè)門：輸入門、遺忘門和輸出門[9]，而GRU只有兩個(gè)門：重置門和更新門。更新門用于檢查較早的單元內(nèi)存以保持當(dāng)前時(shí)間步的活動(dòng)狀態(tài)，重置門用于將下一個(gè)單元格的輸入序列與前面單元格的內(nèi)存組合在一起。然而，LSTM在某些方面有所不同，首先，GRU單元由兩個(gè)門組成，用以替代LSTM的三個(gè)門[10]。其次，將LSTM中的輸入門和遺忘門合并為更新門，并直接應(yīng)用于隱藏狀態(tài)的復(fù)位門中。GRU結(jié)構(gòu)如圖2所示。其中，×為矩陣乘積，σ為激活函數(shù)sigmod，?為激活函數(shù)tanh。

圖中輸入是xt，上一時(shí)刻狀態(tài)變量為ht-1，實(shí)時(shí)狀態(tài)變量為ht， 為實(shí)時(shí)候選集狀態(tài)。GRU單元的數(shù)學(xué)表達(dá)方程為：

rt=σ[Wr·（ht-1，xt）]? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

Zt=σ[Wz·（ht-1，xt）]? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

=?[·（rt·ht-1，xt）]? ? ? ? ? ? ? ? ? ? ? ? （3）

ht=（I-zt）·ht-1+zt·? ? ? ? ? ? ? ? ? ? ? ? ? （4）

其中，單位矩陣是I，Wr、Wz、 為GRU的各個(gè)權(quán)重參數(shù)。

1.3? Self-Attention模型

在傳統(tǒng)編碼器-解碼器網(wǎng)絡(luò)中，當(dāng)輸入序列很長時(shí)，很難獲得全部重要信息。注意機(jī)制打破了傳統(tǒng)編碼器-解碼器結(jié)構(gòu)的限制，使解碼器僅依賴于具有固定長度的矢量。注意機(jī)制是用以獲取相關(guān)信息的一種有效方法。一方面，它允許解碼器在解碼過程中的每一步查詢最相關(guān)的信息;另一方面，它大大縮短了信息流的距離。解碼器可以通過一步操作獲得任何時(shí)刻所需的所有信息。這些優(yōu)點(diǎn)的存在，使得注意機(jī)制已廣泛應(yīng)用于各種模型。Vaswani等人提出了Transformer模型[7]，它摒棄了使用循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)作為編碼器和解碼器的傳統(tǒng)方法，完全利用注意機(jī)制在不同的網(wǎng)絡(luò)層之間傳輸信息，稱為自我注意機(jī)制，在自然語言領(lǐng)域取得了良好的效果。

自我注意機(jī)制是用以計(jì)算相關(guān)性的一種方法。其結(jié)構(gòu)圖如圖3所示?？梢岳斫鉃閷⒚麨镼uery的矩陣作為查詢對(duì)象，將名為Key的矩陣作為匹配對(duì)象，將名為Value的矩陣作為目標(biāo)。

查詢（Q）、鍵（K）和權(quán)值（V）可以從式（5）、式（6）和式（7）中獲得，它們是訓(xùn)練過程中的重要權(quán)值矩陣。首先，計(jì)算輸入向量的查詢與其他輸入向量（包括其本身）鍵值之間的相似度，將其作為權(quán)重。然后取一個(gè)加權(quán)平均值（包括其本身），得到自我注意輸出向量?？傊?，將輸入序列的每個(gè)向量與其他向量進(jìn)行加權(quán)平均，融合所有的輸入信息生成新的向量，增強(qiáng)原始序列信息的表達(dá)。因此，自我注意力的輸出序列是輸入本身，但通過計(jì)算每個(gè)輸入向量與其他輸入向量之間的關(guān)系，可以增強(qiáng)原始信息的表達(dá)。此外，自我注意機(jī)制為了保持輸入信息空間特征向量之間的聯(lián)系，通過每個(gè)自我注意機(jī)制以線性組合的方式獲得最終輸出。

Q=X·WQ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

K=X·WK? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

V=X·WV? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

自我注意機(jī)制中各個(gè)輸入序列之間的關(guān)聯(lián)度是通過以下步驟實(shí)現(xiàn)的。首先，通過點(diǎn)乘計(jì)算查詢與鍵的相似度，通過softmax函數(shù)獲得權(quán)值。然后，將權(quán)重加權(quán)到該值，得到自我注意的輸出向量。與注意機(jī)制略有不同，自我注意機(jī)制在計(jì)算時(shí)有一個(gè)附加的比例因子，當(dāng)內(nèi)部產(chǎn)品過大時(shí)可以避免重疊。通常，鍵的維度作為值。自我注意機(jī)制中計(jì)算方法可通過式（8）來表示[11]：

Attention（Q，K，V）=soft max（）·V? ? ? （8）

1.4? CNN-GRU SA混合模型

基于CNN-GRU SA混合模型的負(fù)荷預(yù)測框架如圖4所示，其包含輸入層、CNN、GRU、Self-attention和輸出層。將之前的多變量一維數(shù)據(jù)輸入到CNN中。本文所用的CNN模型是選擇一個(gè)卷積層和一個(gè)池化層為一組，選取兩組進(jìn)行特征提取，這樣可以充分提取歷史時(shí)間序列中的特征，并通過池化層得到最大特征向量。進(jìn)行兩組卷積和池化操作提取的特征更徹底，將提取出的最大特征向量輸入到連接層進(jìn)行權(quán)值分配，以獲取更優(yōu)的數(shù)據(jù)特征。GRU對(duì)CNN輸出的特征進(jìn)行迭代學(xué)習(xí)，更好地學(xué)習(xí)特征內(nèi)部規(guī)律，獲取特征之間的長期依賴關(guān)系，并能減少訓(xùn)練時(shí)間，由于負(fù)荷數(shù)據(jù)為時(shí)間序列，其數(shù)據(jù)序列距離過長，GRU模型在學(xué)習(xí)訓(xùn)練過程中也會(huì)造成部分信息丟失，不能全面學(xué)習(xí)整個(gè)時(shí)間序列數(shù)據(jù)，以致降低預(yù)測精準(zhǔn)度。Self-attention模型輸出序列是輸入本身，通過計(jì)算每個(gè)輸入向量與其他輸入向量之間的關(guān)系，分配不同的權(quán)重因子，由于不是按照時(shí)間序列去計(jì)算，因此可以通過不同位置信息進(jìn)行學(xué)習(xí)。在長距離依賴上，由于Self-attention是每個(gè)數(shù)據(jù)都要計(jì)算attention，不管他們之間的距離有多長，最大的路徑長度也都只有1，因此可以捕獲長距離依賴關(guān)系。因此，基于CNN-GRU SA電力負(fù)荷預(yù)測模型，通過多個(gè)模型的融合，對(duì)歷史數(shù)據(jù)進(jìn)行全面深入的挖掘，以獲得更好的負(fù)荷預(yù)測效果。

2? 實(shí)驗(yàn)與結(jié)果分析

2.1? 實(shí)驗(yàn)數(shù)據(jù)集與預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)來自ISO-NE上進(jìn)行了區(qū)域/系統(tǒng)級(jí)負(fù)載預(yù)測案例研究的負(fù)荷數(shù)據(jù)集。ISO-NE是一個(gè)獨(dú)立的區(qū)域輸電組織（RTO），服務(wù)于新英格蘭六個(gè)州，本實(shí)驗(yàn)選用新英格蘭某一個(gè)州2014年1月1日至2015年12月31日2年內(nèi)的負(fù)荷數(shù)據(jù)，一天采集24個(gè)負(fù)荷點(diǎn)。其中抽取歷史數(shù)據(jù)中的日期、溫度以及負(fù)荷值作為實(shí)驗(yàn)數(shù)據(jù)，按8：2的比例將其劃分為訓(xùn)練集和測試集。

數(shù)據(jù)集中缺失的數(shù)據(jù)用之前相同日期的數(shù)據(jù)來代替，數(shù)據(jù)異常問題可通過水平和垂直處理法進(jìn)行修正，從而使預(yù)測結(jié)果更加精準(zhǔn)。由于數(shù)據(jù)集中的數(shù)據(jù)單位不同，無法進(jìn)行同一量綱處理，因此對(duì)數(shù)據(jù)進(jìn)行歸一化處理：

xn=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

其中，x為歷史負(fù)荷數(shù)據(jù)，xmax為歷史負(fù)荷數(shù)據(jù)最大值，xmin為歷史負(fù)荷數(shù)據(jù)最小值。將數(shù)據(jù)值歸一到[0，1]中。

2.2? 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

本實(shí)驗(yàn)采用平均絕對(duì)誤差（Mean Absolute Error，MAE）、平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）和均方根誤差（Root Mean Square Error，RMSE）為實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)，計(jì)算公式為：

MAE=? ? ? ? ? ? ? ? ? ? ? ? ? （10）

MAPE=? ? ? ? ? ? ? ? ? ? ? ? （11）

RMSE=? ? ? ? ? ? ? ? ? ? （12）

其中，為預(yù)測值，yi為真實(shí)值，MAE利用預(yù)測值和真實(shí)值的絕對(duì)平均值去判斷，MAE、MAPE是判斷模型預(yù)測的好壞，RMSE是判斷模型預(yù)測的精度，這些判斷指標(biāo)值越小越好。

2.3? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)環(huán)境配置如表1所示。

2.4? 模型介紹和預(yù)測結(jié)果分析

本文所選的基線模型為CNN、GRU和CNN-GRU混合模型，其中，CNN選擇兩層卷積層和池化層，卷積深度為32和64，卷積核的尺寸為2×2×2×32與2×2×2×64，卷積步長為1，激活函數(shù)為ReLU。GRU的神經(jīng)單位數(shù)量為64、32。

表2是選取測試集中三個(gè)月的預(yù)測誤差結(jié)果，不同月份的預(yù)測精度因受本月氣候、節(jié)假日等因素的影響也會(huì)有所不同，由表2可知CNN-GRU SA模型MAE最低為75.33、最高為76.31;MAPE最低為0.026 3，最高為0.031 2;RMSE最低為94.11，最高為97.78。CNN-GRU SA模型MAE、MAPE、RMSE誤差指標(biāo)較其他模型更低，預(yù)測更加準(zhǔn)確。其中Self-attention機(jī)制具有更長期依賴和不按順序進(jìn)行權(quán)重因子分配的特點(diǎn)，對(duì)提升CNN-GRU SA模型的精度起到關(guān)鍵作用。

為了更加直觀地了解各模型短期預(yù)測值與真實(shí)值之間的差別情況，選取新英格蘭某州2015年10月中某兩天的數(shù)據(jù)為研究對(duì)象，以小時(shí)為單位，對(duì)48個(gè)預(yù)測點(diǎn)進(jìn)行對(duì)比，如圖5所示，一天中1：00～6：00為負(fù)荷低谷期，16：00～22：00為負(fù)荷高峰期，這兩個(gè)階段，負(fù)荷變化幅度較大，各模型在此時(shí)的預(yù)測精度相較于其他時(shí)間段的精度要低一些，其中CNN-GRU SA模型在這兩個(gè)時(shí)刻的預(yù)測值更接近真實(shí)值，比其他模型更精準(zhǔn)，其中CNN模型的預(yù)測精度最差。其他時(shí)刻CNN-GRU SA模型的預(yù)測值也更靠近真實(shí)值，通過觀察48小時(shí)負(fù)荷預(yù)測曲線，可以看出本文提出的CNN-GRU SA模型的預(yù)測值相較于其他模型的預(yù)測值，整體上更加平穩(wěn)，更靠近真實(shí)值。

表3是由圖5計(jì)算出來的預(yù)測結(jié)果，由表3可知，CNN-GRU SA模型MAE值為75.23、MAPE值為0.023 4、RMSE值為91.68，較CNN-CRU基線模型分別降低了8.89、0.004和5.49;較GRU基線模型分別降低了10.86、0.008 1和21;較CNN基線模型分別降低了16.24、0.015 6和30.36，可以看出在48小時(shí)實(shí)驗(yàn)數(shù)據(jù)負(fù)荷預(yù)測中，CNN-GRU SA模型各個(gè)預(yù)測誤差指標(biāo)都比其他模型小，預(yù)測精度更高。

3? 結(jié)? 論

本文提出一種基于CNN-GRU SA混合模型的負(fù)荷短期預(yù)測方法，采用英格蘭某州公開的數(shù)據(jù)集，其中包含負(fù)荷、日期和氣候數(shù)據(jù)，先通過改進(jìn)后的CNN模型進(jìn)行特征提取，雙層GRU對(duì)輸入特征做進(jìn)一步的特征提取，最后通過Self-attention機(jī)制對(duì)GRU輸出的特征按不同權(quán)重進(jìn)行配置，并根據(jù)順序序列進(jìn)行計(jì)算，充分提取出不同位置的重要信息，獲得更長期依賴的特征，最后預(yù)測出更接近真實(shí)數(shù)據(jù)的負(fù)荷值。實(shí)驗(yàn)結(jié)果表明，本文提出的CNN-GRU SA模型較其他基線模型的預(yù)測誤差更小，預(yù)測精度更好。接下來的工作是研究Self-attention機(jī)制，改進(jìn)或結(jié)合其他模型，對(duì)公開數(shù)據(jù)集進(jìn)行測試，以開發(fā)出預(yù)測效果更好的負(fù)荷預(yù)測模型。

參考文獻(xiàn)：

[1] 洪發(fā).基于深度學(xué)習(xí)的短期電力負(fù)荷預(yù)測方法 [D].廣州：廣東工業(yè)大學(xué)，2020.

[2] 王文卿.基于卷積神經(jīng)網(wǎng)絡(luò)的電力系統(tǒng)短期負(fù)荷預(yù)測研究 [D].青島：青島大學(xué)，2020.

[3] 康重慶，夏清，張伯明.電力系統(tǒng)負(fù)荷預(yù)測研究綜述與發(fā)展方向的探討 [J].電力系統(tǒng)自動(dòng)化，2004（17）：1-11.

[4] 翟永杰，王靜嫻，周黎輝.基于模糊支持向量機(jī)的電力系統(tǒng)中期負(fù)荷預(yù)測 [J].華北電力大學(xué)學(xué)報(bào)（自然科學(xué)版），2008（2）：70-73.

[5] 姚棟方，吳瀛，羅磊，等.基于深度學(xué)習(xí)的短期電力負(fù)荷預(yù)測 [J].國外電子測量技術(shù)，2020，39（1）：44-48.

[6] 姚程文，楊蘋，劉澤健.基于CNN-GRU混合神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測方法 [J].電網(wǎng)技術(shù)，2020，44（9）：3416-3424.

[7] VASWANI A，NOAM S，PARMAR N，et al. Attention is all you need [C]//NIPS17：Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook：Curran Associates，2017：6000-6010.

[8] 陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測方法 [J].電力系統(tǒng)自動(dòng)化，2019，43（8）：131-137.

[9] 王永志，劉博，李鈺.一種基于LSTM神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測方法 [J].實(shí)驗(yàn)室研究與探索，2020，39（5）：41-45.

[10] 鄧帶雨，李堅(jiān)，張真源，等.基于EEMD-GRU-MLR的短期電力負(fù)荷預(yù)測 [J].電網(wǎng)技術(shù)，2020，44（2）：593-602.

[11] 閆雄，段躍興，張澤華.采用自注意力機(jī)制和CNN融合的實(shí)體關(guān)系抽取 [J].計(jì)算機(jī)工程與科學(xué)，2020，42（11）：2059-2066.

作者簡介：葛夫勇（1994—），男，漢族，江蘇徐州人，碩士研究生在讀，研究方向：電力大數(shù)據(jù);雷景生（1966—），男，漢族，陜西韓城人，教授，博士，研究方向：人工智能、電力大數(shù)據(jù)。