李靜茹，姚方

(山西大學(xué) 電力與建筑學(xué)院，山西 太原 030013)

0 引 言

能源是社會(huì)發(fā)展及經(jīng)濟(jì)增長(zhǎng)的主要驅(qū)動(dòng)力，傳統(tǒng)的化石能源不再符合綠色發(fā)展的需要，因此可再生能源不斷興起。風(fēng)能作為近年來(lái)發(fā)展最快的能源之一，已在世界范圍內(nèi)得到了廣泛關(guān)注。但是，由于自然因素的影響，風(fēng)力發(fā)電的隨機(jī)性和波動(dòng)性較為明顯[1]。當(dāng)大量風(fēng)電注入電網(wǎng)時(shí)，將會(huì)打破功率平衡，給電力系統(tǒng)帶來(lái)了諸多挑戰(zhàn)，因此有必要對(duì)風(fēng)電的輸出功率進(jìn)行準(zhǔn)確預(yù)測(cè)。

風(fēng)電功率預(yù)測(cè)包括物理方法和統(tǒng)計(jì)方法[2]。物理方法建模復(fù)雜，存在成本較高的問題[3]，而統(tǒng)計(jì)方法依賴于大量的歷史數(shù)據(jù)，主要包括灰色預(yù)測(cè)法[4]和自回歸移動(dòng)平均[5]等時(shí)序預(yù)測(cè)法和人工神經(jīng)網(wǎng)絡(luò)[6]等人工智能法。當(dāng)前的預(yù)測(cè)模型正在由機(jī)器學(xué)習(xí)向深度學(xué)習(xí)轉(zhuǎn)移[7]，長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)作為一種常見的深度學(xué)習(xí)算法已被應(yīng)用到風(fēng)電功率預(yù)測(cè)中[8]，它善于處理長(zhǎng)序列數(shù)據(jù)，能夠自動(dòng)學(xué)習(xí)到輸入數(shù)據(jù)之間的關(guān)系。文獻(xiàn)[9]首先用Pearson相關(guān)系數(shù)選擇出對(duì)風(fēng)電功率影響較大的因素作為模型的輸入，然后利用LSTM網(wǎng)絡(luò)對(duì)多變量時(shí)間序列建模，有效地減小了模型的復(fù)雜度，提高了預(yù)測(cè)準(zhǔn)確度。文獻(xiàn)[10]提出了一種利用LSTM網(wǎng)絡(luò)滾動(dòng)預(yù)測(cè)的方法，每15 min更新一次數(shù)據(jù)集，實(shí)現(xiàn)網(wǎng)絡(luò)的滾動(dòng)更新，有效地提高了預(yù)測(cè)精度。

本文提出了一種引入注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)和LSTM復(fù)合預(yù)測(cè)模型。首先應(yīng)用CNN對(duì)輸入數(shù)據(jù)進(jìn)行卷積處理，增強(qiáng)輸入與輸出之間的相關(guān)性；然后通過LSTM網(wǎng)絡(luò)對(duì)時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)，并將注意力機(jī)制添加到LSTM輸出中；最后將訓(xùn)練好的網(wǎng)絡(luò)預(yù)測(cè)風(fēng)電出力。試驗(yàn)結(jié)果表明本文所提方法可以有效地提高預(yù)測(cè)精度。

1 深度學(xué)習(xí)模型原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[11]是一種包含卷積處理的深度神經(jīng)網(wǎng)絡(luò)，它的主要特點(diǎn)是參數(shù)共享、稀疏連接和池化操作，其獨(dú)特的結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)所占的內(nèi)存，并減少過擬合的風(fēng)險(xiǎn)。卷積神經(jīng)網(wǎng)絡(luò)具有提取特征的能力，其中一維卷積作為一種神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，它可以從時(shí)間序列數(shù)據(jù)中提取特征輸入。

CNN的結(jié)構(gòu)主要包括兩部分，第一部分是卷積層，在這一層中，卷積核與前一層的局部區(qū)域連接并進(jìn)行卷積計(jì)算，提取前一層的主要特征，計(jì)算公式如式(1)所示。

(1)

第二部分是池化層，為了減少網(wǎng)絡(luò)模型的參數(shù)和復(fù)雜度，可以使用池化操作進(jìn)行降采樣，在這里選擇最大池化，計(jì)算公式如式(2)所示。

(2)

1.2 長(zhǎng)短期記憶網(wǎng)絡(luò)

長(zhǎng)短期記憶網(wǎng)絡(luò)由循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)演變而來(lái)，RNN顯著的特點(diǎn)是能夠利用歷史信息處理序列問題，一個(gè)典型的RNN結(jié)構(gòu)具有輸入層、隱藏層和輸出層。輸入層負(fù)責(zé)接收向量，然后將其傳遞給隱藏層，最后在輸出層輸出結(jié)果。但RNN網(wǎng)絡(luò)無(wú)法很好地處理長(zhǎng)距離依賴問題，因此有學(xué)者對(duì)它作出了改進(jìn)，產(chǎn)生了長(zhǎng)短期記憶網(wǎng)絡(luò)，其單元塊的結(jié)構(gòu)如圖1所示。

圖1 LSTM單元塊

圖1中：ht-1、Ct-1為上一時(shí)刻的輸出和單元狀態(tài)；Xt為當(dāng)前時(shí)刻的輸入；ht、Ct為當(dāng)前時(shí)刻的輸出和單元狀態(tài)。

除了循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層狀態(tài)外，它還有一個(gè)額外的狀態(tài)C來(lái)處理記憶單元的長(zhǎng)期依賴關(guān)系，LSTM使用門機(jī)制來(lái)控制單元狀態(tài)C，包括輸入門i、遺忘門f和輸出門o，LSTM的單元狀態(tài)與三個(gè)門的關(guān)系用式(3)～式(8)表示。

it=σ(Wiht-1+Uixt+bi)

(3)

ft=σ(Wfht-1+Ufxt+bf)

(4)

ot=σ(Woht-1+Uoxt+bo)

(5)

(6)

(7)

ht=ot×tanh(Ct)

(8)

式中：W為神經(jīng)元的權(quán)重；b為神經(jīng)元的偏差；σ為sigmoid函數(shù)。

LSTM通過其獨(dú)特的門機(jī)制能夠保留數(shù)據(jù)的重要特征，確保了梯度長(zhǎng)時(shí)間不會(huì)消失，因此它有著很強(qiáng)的時(shí)序數(shù)據(jù)學(xué)習(xí)能力和信息選擇能力，能夠?qū)r(shí)間序列數(shù)據(jù)做出準(zhǔn)確的預(yù)測(cè)。

1.3 注意力模型

近年來(lái)，注意力模型(attention model，AM)被廣泛應(yīng)用在深度學(xué)習(xí)任務(wù)中，當(dāng)大量信息輸入到神經(jīng)網(wǎng)絡(luò)時(shí)，不同輸入對(duì)輸出的影響不同，為了提高神經(jīng)網(wǎng)絡(luò)的計(jì)算效率，將更多的計(jì)算能力分配給重要的輸入信息，引入了注意力機(jī)制，其結(jié)構(gòu)如圖2所示。

圖2 注意力模型

注意力機(jī)制的計(jì)算可分為兩步：一是為所有的輸入信息計(jì)算相應(yīng)的權(quán)重系數(shù)；二是根據(jù)權(quán)重系數(shù)計(jì)算輸入信息的加權(quán)平均。計(jì)算公式如式(9)、式(10)所示。

(9)

(10)

式中：xi為輸入向量；q為查詢向量；s(x)為得分函數(shù)，得分的依據(jù)是xi與q的相關(guān)程度；ai為注意力分布；ε為輸入值和注意力分布的加權(quán)平均值。

2 模型設(shè)計(jì)

2.1 數(shù)據(jù)預(yù)處理

網(wǎng)絡(luò)模型在進(jìn)行訓(xùn)練之前，需要預(yù)處理原始數(shù)據(jù)。具體方法如下。

(1) 數(shù)據(jù)歸一化：原始數(shù)據(jù)在輸入網(wǎng)絡(luò)之前需進(jìn)行歸一化處理，本文選擇min-max標(biāo)準(zhǔn)化將結(jié)果映射到0～1之間，計(jì)算公式如式(11)所示。

(11)

(2) 數(shù)據(jù)分類處理：按時(shí)間把原始數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中80%用于訓(xùn)練，剩下20%用于測(cè)試。

2.2 風(fēng)電功率預(yù)測(cè)模型設(shè)計(jì)

采用CNN_LSTM_AM模型進(jìn)行風(fēng)電預(yù)測(cè)，模型結(jié)構(gòu)如圖3所示。首先將經(jīng)過預(yù)處理的數(shù)據(jù)輸入網(wǎng)絡(luò)，通過CNN對(duì)序列數(shù)據(jù)進(jìn)行特征提取，經(jīng)卷積、池化處理后，通過一個(gè)全連接(FC)層轉(zhuǎn)換為一維數(shù)據(jù)，輸入LSTM網(wǎng)絡(luò)中，其中卷積核的大小為1，激活函數(shù)采用relu函數(shù)。LSTM層用于處理長(zhǎng)序列數(shù)據(jù)，本文選擇的LSTM結(jié)構(gòu)為2個(gè)隱層，隱層的單元數(shù)目為64，激活函數(shù)選擇relu，并在LSTM網(wǎng)絡(luò)后引入Attention模塊，計(jì)算權(quán)重，最終通過全

連接層輸出結(jié)果。Attention模塊可以自動(dòng)地學(xué)習(xí)和判斷不同特征的重要程度，并根據(jù)重要性關(guān)系來(lái)分配權(quán)重，增強(qiáng)了LSTM模型對(duì)長(zhǎng)輸入序列的預(yù)測(cè)能力，有效地提高了預(yù)測(cè)的精度。

2.3 預(yù)測(cè)效果評(píng)估

為了驗(yàn)證本文所提模型的準(zhǔn)確性，選擇均方根誤差(eRMSE)與平均絕對(duì)誤差(eMAE)作為模型的誤差評(píng)價(jià)指標(biāo)，計(jì)算公式如下所示。

(12)

(13)

3 試驗(yàn)分析

本文選取某地區(qū)2019年7月1日到2019年9月30日的實(shí)測(cè)風(fēng)力發(fā)電數(shù)據(jù)進(jìn)行試驗(yàn)驗(yàn)證，共計(jì)8 832個(gè)數(shù)據(jù)點(diǎn)，采樣時(shí)間間隔為15 min。模型采用adam優(yōu)化器，訓(xùn)練時(shí)損失函數(shù)選擇eMAE函數(shù)，批次大小為256，迭代次數(shù)為200，進(jìn)行15 min時(shí)間尺度的預(yù)測(cè)，圖4為預(yù)測(cè)結(jié)果，圖中橫軸為采樣點(diǎn)數(shù)，縱軸為風(fēng)電功率數(shù)據(jù)歸一值。

圖4 CNN_LSTM_AM模型的預(yù)測(cè)結(jié)果

為了進(jìn)一步評(píng)估本文模型的預(yù)測(cè)能力，在相同的歷史數(shù)據(jù)下采用CNN和CNN_LSTM進(jìn)行比較，圖5為預(yù)測(cè)對(duì)比圖，橫軸選取了測(cè)試集中的100個(gè)數(shù)據(jù)點(diǎn)。可以看出，CNN_LSTM_AM模型的

圖5 預(yù)測(cè)對(duì)比圖

預(yù)測(cè)結(jié)果與真實(shí)值更加接近，相較于其他深度學(xué)習(xí)模型預(yù)測(cè)效果更好。

表1為不同模型進(jìn)行15 min預(yù)測(cè)的誤差值。從表1可以看出，本文模型的預(yù)測(cè)誤差低于其他模型，預(yù)測(cè)性能更加優(yōu)越，可以對(duì)未來(lái)數(shù)據(jù)進(jìn)行精確的超短期預(yù)測(cè)。

表1 不同模型預(yù)測(cè)誤差 單位： %

4 結(jié)束語(yǔ)

本文在大量研究的基礎(chǔ)上，提出了一種基于注意力機(jī)制的CNN和LSTM復(fù)合風(fēng)電預(yù)測(cè)模型，該框架可以為后續(xù)的風(fēng)能預(yù)報(bào)工作提供有效的幫助。在理論知識(shí)的基礎(chǔ)上，進(jìn)行了詳細(xì)的試驗(yàn)。結(jié)果表明，基于CNN_LSTM_AM的方法比CNN_LSTM、CNN方法具有更好的預(yù)測(cè)性能，該模型可以明顯地提高風(fēng)電預(yù)測(cè)的精度。