胡 欣，馮 杰，徐先峰，王世鑫

(長安大學(xué)電子與控制工程學(xué)院，陜西 西安 710064)

0 引言

隨著我國電力市場化改革的深入發(fā)展以及新能源的逐漸應(yīng)用，不僅電力行業(yè)對負(fù)荷預(yù)測的精度要求越來越高，而且在負(fù)荷數(shù)據(jù)不斷豐富的情況下，剔除冗余因素以提取出關(guān)鍵因素也給負(fù)荷預(yù)測帶來了一定的挑戰(zhàn)[1]。因此，在選擇科學(xué)、合理的負(fù)荷預(yù)測方法的同時(shí)，全面分析研究各因素之間的聯(lián)系，對于提高負(fù)荷預(yù)測精度至關(guān)重要。

歷史負(fù)荷數(shù)據(jù)通常蘊(yùn)含著自身特性及其相關(guān)變化規(guī)律。深入挖掘剖析歷史信息，并將其延伸至預(yù)測未來趨勢，是電力負(fù)荷預(yù)測領(lǐng)域的常用數(shù)據(jù)基礎(chǔ)之一。文獻(xiàn)[2]利用聚類算法和門控循環(huán)單元網(wǎng)絡(luò)，提高預(yù)測性能。文獻(xiàn)[3]提出基于K近鄰的深度學(xué)習(xí)方法。文獻(xiàn)[4]提出了一種基于長短期記憶(long short-term memory,LSTM)網(wǎng)絡(luò)和極速梯度提升方法的組合預(yù)測模型，均改善了預(yù)測準(zhǔn)確性。文獻(xiàn)[5]結(jié)合了評價(jià)指標(biāo)和優(yōu)化算法，實(shí)現(xiàn)了負(fù)荷預(yù)測。文獻(xiàn)[6]提出了由單一乘性神經(jīng)元模型、粒子群優(yōu)化算法和非線性濾波器組成的混合方法。上述基于歷史負(fù)荷數(shù)據(jù)預(yù)測只是考慮到歷史負(fù)荷的變化規(guī)律對未來用電量的影響，沒有涉及其他外在因素的作用。但是隨著電力行業(yè)的不斷發(fā)展，越來越多的學(xué)者也考慮到其他外在因素對負(fù)荷預(yù)測產(chǎn)生的影響。文獻(xiàn)[7]和文獻(xiàn)[8]同時(shí)考慮了歷史負(fù)荷數(shù)據(jù)和氣象因素，利用LSTM實(shí)現(xiàn)負(fù)荷預(yù)測。文獻(xiàn)[9]結(jié)合了電價(jià)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)和LSTM相結(jié)合的預(yù)測模型。文獻(xiàn)[10]在歷史負(fù)荷數(shù)據(jù)基礎(chǔ)上，考慮了氣象和季節(jié)因素兩方面，提出基于電力負(fù)荷因子的深度聚類神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[11]針對溫度、日期以及歷史數(shù)據(jù)，提出了注意力機(jī)制的多層門控循環(huán)單元網(wǎng)絡(luò)進(jìn)行多步預(yù)測。

從上述文獻(xiàn)可以看出，大多數(shù)研究只是針對歷史負(fù)荷數(shù)據(jù)或者人為主觀指定外在因素來實(shí)現(xiàn)負(fù)荷預(yù)測。但是在日新月異的電力行業(yè)中，采集的負(fù)荷數(shù)據(jù)越來越豐富，使得對電力負(fù)荷預(yù)測產(chǎn)生影響的因素不僅局限于歷史數(shù)據(jù)或者氣象因素等，還包括其他一些外在因素，比如電價(jià)、溫度等；各因素對負(fù)荷變化的作用或大或小，如果僅憑主觀指定某一因素作為輔助輸入數(shù)據(jù)，則無法充分挖掘出外在因素對真實(shí)負(fù)荷的潛在信息。因此，本文在考慮涉及電價(jià)、氣象等諸多因素的基礎(chǔ)上，基于特征選擇能尋找最優(yōu)子集的優(yōu)勢，遴選出與真實(shí)負(fù)荷相關(guān)性較高的關(guān)鍵因素，并且利用注意力機(jī)制根據(jù)不同影響因素的不同信息，以減少不相關(guān)信息干擾的功能，給予重要因素更高的權(quán)重，從而搭建基于注意力機(jī)制的長短期記憶網(wǎng)絡(luò)預(yù)測模型。

1 基于特征選擇的LSTM-Attention預(yù)測模型

負(fù)荷預(yù)測領(lǐng)域中的特征選擇本質(zhì)上就是從原始的n個負(fù)荷測試樣本數(shù)據(jù)選擇m(m

本文結(jié)合RFE、注意力機(jī)制(Attention)和LSTM的特點(diǎn)，利用RFE自動計(jì)算得出的待測歷史負(fù)荷數(shù)據(jù)與其他負(fù)荷影響因素之間的重要性關(guān)系，構(gòu)造新的輸入負(fù)荷數(shù)據(jù)集；將其在不斷循環(huán)調(diào)整輸入因素個數(shù)的試驗(yàn)過程中，依次引入LSTM中得到輸出值，并通過Attention分配權(quán)重實(shí)現(xiàn)最終的預(yù)測結(jié)果，從而完成預(yù)測性能指標(biāo)評價(jià)。

基于特征選擇的LSTM-Attention預(yù)測流程如圖1所示。

圖1 基于特征選擇的LSTM-Attention預(yù)測流程圖Fig.1 Flowchart of LSTM-Attention prediction based on feature selection

1.1 基于RFE的關(guān)鍵因素遴選模塊

RFE主要用于評價(jià)特征變量的重要性。首先，針對初始負(fù)荷特征數(shù)據(jù)集，通過循環(huán)迭代的方式，根據(jù)系數(shù)選出與真實(shí)負(fù)荷相關(guān)性高的特征(即影響因素)。然后，在剩余的特征上重復(fù)這個過程，以此逐漸消除相關(guān)性不強(qiáng)的特征，直至達(dá)到所需的特征數(shù)量。在迭代過程中，特征被刪除的順序就是特征的最后排序。這樣能夠有效去除冗余的特征變量。RFE具體執(zhí)行步驟如下。

①初始的負(fù)荷特征集為所有可以使用的特征，需對其進(jìn)行標(biāo)準(zhǔn)化處理。

(1)

式中：Y*為標(biāo)準(zhǔn)化處理后的負(fù)荷數(shù)據(jù)；Y為負(fù)荷數(shù)據(jù)序列；Ymax為序列Y中的最大值；Ymin為序列Y中的最小值。

②使用當(dāng)前特征集進(jìn)行建模，計(jì)算每個負(fù)荷特征的重要性，通過循環(huán)迭代的方式，根據(jù)系數(shù)選出與真實(shí)負(fù)荷相關(guān)性高的特征(影響因素)；然后，在剩余的特征上重復(fù)這個過程，以此逐漸消除相關(guān)性不強(qiáng)的特征，直到最終得到所需的特征數(shù)量。

③刪除最不重要的一個(或多個)特征，更新特征集。

④跳轉(zhuǎn)到步驟②，直到完成所有特征的重要性評級。

1.2 LSTM-Attention電力負(fù)荷預(yù)測模型

在電力負(fù)荷預(yù)測模型學(xué)習(xí)訓(xùn)練過程中，當(dāng)外在影響因素輸入越多，模型預(yù)測性能會更好，也能夠保存更多的有用負(fù)荷信息。但是這樣容易復(fù)雜化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，引起模型學(xué)習(xí)速度緩慢的問題。因此，為了讓相關(guān)性小的因素減少對真實(shí)負(fù)荷的影響度，本文利用注意力機(jī)制對輸入的13種外在影響因素?cái)?shù)據(jù)Xi(i=1,2,...,13)進(jìn)行動態(tài)加權(quán)的處理方式，以降低與真實(shí)負(fù)荷相關(guān)性較低的影響因素的權(quán)重，著重關(guān)注相關(guān)性高的因素。

以此為基礎(chǔ)，本文搭建了基于LSTM-Attention的預(yù)測模型，得到最終預(yù)測結(jié)果Y，以實(shí)現(xiàn)高精度的電力負(fù)荷預(yù)測。

LSTM-Attention模型結(jié)構(gòu)如圖2所示。

圖2 LSTM-Attention模型結(jié)構(gòu)圖Fig.2 LSTM-Attention model structure diagram

如今，注意力機(jī)制已成為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的重要組成部分，并且在自然語言處理、統(tǒng)計(jì)學(xué)習(xí)、語音翻譯和計(jì)算機(jī)視覺等領(lǐng)域具有大量的應(yīng)用。注意力機(jī)制源自人類的視覺直覺。人類視覺快速掃描圖像全局選擇性地關(guān)注一部分目標(biāo)區(qū)域，即所謂的關(guān)注焦點(diǎn)，在抑制其他無用信息的同時(shí)，更多地關(guān)注目標(biāo)的重要信息。注意力機(jī)制[11]可以根據(jù)輸入數(shù)據(jù)的不同特征動態(tài)調(diào)整重視程度的一種學(xué)習(xí)機(jī)制：對于輸出結(jié)果的重要信息，給予更高的權(quán)重；同時(shí)，減少不相關(guān)信息的干擾。因此，該模型可以更好地學(xué)習(xí)有效信息。在引入注意力機(jī)制的LSTM模型的實(shí)現(xiàn)過程中，將參與負(fù)荷預(yù)測試驗(yàn)的一系列歷史數(shù)據(jù)X看作是由尋址操作中的存儲內(nèi)容數(shù)據(jù)的地址Key和該數(shù)據(jù)對應(yīng)的注意力值Value組成的，則通過計(jì)算給定元素和各個Key的相似性或者相關(guān)性，可得到每個Key對應(yīng)Value的權(quán)重系數(shù)，再對Value進(jìn)行加權(quán)求和，即可得到最終的注意力數(shù)值。注意力qi的計(jì)算式如式(2)所示。

(2)

式中：vi為注意力機(jī)制中第i個數(shù)據(jù)的注意力值；ai為vi的權(quán)值系數(shù)。

ai的具體計(jì)算方法如式(3)所示。

(3)

式中：Si為第i個數(shù)據(jù)的余弦相似性。

(4)

式中：Ki為輸入負(fù)荷信息第i個數(shù)據(jù)對應(yīng)的地址。

LSTM改善了循環(huán)神經(jīng)網(wǎng)絡(luò)可能會引起梯度消失或爆炸的問題，能夠存儲較長時(shí)間的信息，并且可以使模型獲得更好的預(yù)測效果[13]。

LSTM模型結(jié)構(gòu)如圖3所示。

圖3 LSTM模型結(jié)構(gòu)圖Fig.3 LSTM model structure diagram

①遺忘門。根據(jù)當(dāng)前的輸入負(fù)荷信息xt和(t-1)時(shí)刻負(fù)荷信息的輸出ht-1，共同確定LSTM需要剔除(t-1)時(shí)刻負(fù)荷狀態(tài)信息冗余的部分。

ft=σ{Wf·[ht-1,xt]+bf}

(5)

式中：ft為遺忘門；σ為Sigmod函數(shù)；Wf為遺忘門的連接權(quán)重矩陣；bf為遺忘門的偏置項(xiàng)；·為矩陣相乘。

it=σ{Wi·[ht-1,xt]+bi}

(6)

(7)

(8)

③輸出門。決定將被用作當(dāng)前狀態(tài)的輸出狀態(tài)ht。ht-1和xt先通過Sigmod激活函數(shù)得到ot，以控制負(fù)荷預(yù)測輸出；接著利用tanh函數(shù)將Ct值變換至[-1,1]之間；最后將變化結(jié)果與ot相乘，得到新的負(fù)荷預(yù)測狀態(tài)ht。

ot=σ{Wo·[ht-1,xt]+bo}

(9)

ht=ot·tanh(Ct)

(10)

式中：ot為輸出門；Wo為輸出門的連接權(quán)重矩陣；bo為輸出門的偏置項(xiàng)。

2 LSTM-Attention預(yù)測模型分析

2.1 數(shù)據(jù)集分析

為驗(yàn)證本文算法的有效性，利用新英格蘭地區(qū)電力負(fù)荷數(shù)據(jù)集進(jìn)行試驗(yàn)分析。數(shù)據(jù)集包括2014年共365天的負(fù)荷數(shù)據(jù)。同時(shí)，考慮了日前競標(biāo)負(fù)荷、真實(shí)負(fù)荷、電價(jià)溫度、濕度等13個負(fù)荷影響因素，并每隔一小時(shí)采集一次數(shù)據(jù)，共得到8 760個數(shù)據(jù)樣本。本文選取真實(shí)負(fù)荷為待測負(fù)荷因素，其余因素為輔助影響因素。在試驗(yàn)時(shí)，選擇2014年9月1日到11月30日共2 184條數(shù)據(jù)作為訓(xùn)練集、12月1日和12月2日兩天共48條數(shù)據(jù)作為測試集。

新英格蘭地區(qū)數(shù)據(jù)集說明如表1所示。

表1 新英格蘭地區(qū)數(shù)據(jù)集說明Tab.1 New England regional data set description

表1中采集時(shí)所涉及的因素首先考慮到了新英格蘭所處的地理位置情況。由于該地區(qū)靠近大西洋，容易受近海的寒流影響，導(dǎo)致其每年降水量和降雪量較大，尤其第四季度的寒冷天氣，加劇了人們的供熱需求，故溫度和濕度的數(shù)據(jù)采集必不可少。其次，新英格蘭的電力市場管制比較放松，市場參與成員可以通過競拍購買或者發(fā)售一定的輸電權(quán)，也可以在二手市場中進(jìn)行自由交易[14]。這期間，一旦競爭激烈，電價(jià)隨時(shí)可能因各種原因產(chǎn)生波動。而且電力市場會因用戶的需求高峰期而帶來價(jià)格的劇烈上漲，對該地區(qū)的用電量也會產(chǎn)生不小的影響。由此可見，在對該地區(qū)進(jìn)行負(fù)荷預(yù)測的過程中不能忽視電價(jià)對負(fù)荷的影響。為了更全面地考慮上述因素對歷史負(fù)荷數(shù)據(jù)的影響，本文采用RFE對各負(fù)荷影響因素?cái)?shù)據(jù)進(jìn)行重要性排序，結(jié)合LSTM的長時(shí)記憶功能，以及注意力機(jī)制的權(quán)重分配優(yōu)勢，實(shí)現(xiàn)多因素電力負(fù)荷預(yù)測，為預(yù)測電力需求變化趨勢提供理論依據(jù)。

2.2 關(guān)鍵因素分析

RFE評價(jià)得出了13個影響因素對真實(shí)負(fù)荷的重要性排序。部分RFE排序結(jié)果的對應(yīng)因素如表2所示。排序中的K值表示每次試驗(yàn)包含關(guān)鍵性因素的個數(shù)。

表2 部分RFE排序結(jié)果的對應(yīng)因素Tab.2 Corresponding factors of partial RFE ranking results

根據(jù)試驗(yàn)最終選擇的關(guān)鍵因素，分析原因除了文中2.1節(jié)提到的采集電價(jià)因素原因之外，還與競標(biāo)負(fù)荷及電力行業(yè)各部門的利益密切相關(guān)。如果真實(shí)負(fù)荷最終小于競標(biāo)負(fù)荷，被市場統(tǒng)籌調(diào)度的可能性會很小，造成電能資源浪費(fèi)；反之則會影響電網(wǎng)穩(wěn)定，不利于電力市場的運(yùn)行調(diào)度。而且，競標(biāo)負(fù)荷往往是根據(jù)歷史負(fù)荷數(shù)據(jù)的變化規(guī)律確定的。另外，阻塞電價(jià)通常會對電力負(fù)荷造成影響。當(dāng)阻塞區(qū)內(nèi)出現(xiàn)電量相對稀缺時(shí),由于電力市場一般不是競爭市場,發(fā)電公司為獲得高額利潤，使用保留部分可調(diào)度發(fā)電容量或采用報(bào)高價(jià)等策略，以實(shí)現(xiàn)其市場勢力。同時(shí)，溫度、濕度也會造成一定的影響，主要體現(xiàn)在特定時(shí)間段內(nèi)對電器的過渡使用造成負(fù)荷的波動。因此，試驗(yàn)結(jié)果所選擇的關(guān)鍵因素較符合實(shí)際情況。

2.3 評價(jià)指標(biāo)

為了評價(jià)文章提到的模型預(yù)測效果，本文選擇了均方根誤差(root mean square error，RMSE)和平均絕對誤差(mean absolute error，MAE)這2個性能指標(biāo)作為負(fù)荷預(yù)測的評價(jià)指標(biāo)。這2個指標(biāo)的計(jì)算如式(11)和式(12)所示。

(11)

(12)

2.4 超參數(shù)設(shè)置

本次試驗(yàn)中，LSTM模型采用自適應(yīng)矩估計(jì)(adaptive moment estimation,Adam)優(yōu)化算法，根據(jù)前一小時(shí)歷史負(fù)荷數(shù)據(jù)，結(jié)合特征選擇算法遴選的其他負(fù)荷影響因素，預(yù)測下一小時(shí)通過計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)，為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)學(xué)習(xí)率。經(jīng)過多次超參數(shù)試驗(yàn)，最終確定的部分超參設(shè)置如下：隱藏層神經(jīng)元數(shù)量為50個；步長為100;批大小為72個;學(xué)習(xí)率為0.01。

3 試驗(yàn)結(jié)果分析

3.1 試驗(yàn)結(jié)果

經(jīng)過試驗(yàn)仿真，RFE-LSTM-Attention預(yù)測曲線如圖4所示。

圖4 RFE-LSTM-Attention預(yù)測曲線圖Fig.4 RFE-LSTM-Attention prediction curves

圖4中：實(shí)線表示真實(shí)值；虛線表示預(yù)測值。此時(shí)，遞歸特征選擇算法選出的關(guān)鍵因素個數(shù)為3，即真實(shí)負(fù)荷、日前阻塞電價(jià)以及日前競標(biāo)負(fù)荷時(shí)，預(yù)測效果最佳。從圖4中也可以看出，預(yù)測值與真實(shí)值具有較高的擬合程度。

3.2 對比試驗(yàn)

為了驗(yàn)證使用的方法有效性，本試驗(yàn)計(jì)算了模型的RMSE和MAE，選取了僅使用歷史負(fù)荷數(shù)據(jù)時(shí)的K-近鄰(K-nearest neighbor,KNN)、LSTM、支持向量機(jī)(support vector machine,SVM)、LSTM結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、LSTM-Attention以及RFE-LSTM作為對照試驗(yàn)。對比算法試驗(yàn)結(jié)果如表3所示。從表3中可以看出，RFE-LSTM-Attention的RMSE和MAE更小。與SVM相比，RFE-LSTM-Attention的RMSE和MAE分別降低了14.283和6.507。而且與適合處理長序列數(shù)據(jù)的LSTM相比，RFE-LSTM-Attention預(yù)測性能相對更優(yōu)。

表3 對比算法試驗(yàn)結(jié)果Tab.3 Experimental result of comparison algorithm

4 結(jié)論

為了進(jìn)一步提高電力負(fù)荷預(yù)測精度，本文提出了RFE-LSTM-Attention的電力負(fù)荷預(yù)測模型。在新英格蘭地區(qū)的原始數(shù)據(jù)集的基礎(chǔ)上，以遴選關(guān)鍵因素為切入點(diǎn)，利用RFE按照重要性自動排序關(guān)鍵因素，從而生成新的數(shù)據(jù)集?；贏ttention分配權(quán)重的優(yōu)勢，搭建了LSTM-Attention電力負(fù)荷預(yù)測模型，并進(jìn)行了仿真試驗(yàn)。從預(yù)測結(jié)果可以看出，RFE-LSTM-Attention提高了整體預(yù)測精度。與其他單一算法、組合算法對比，RFE-LSTM-Attention的誤差最小，具有良好的預(yù)測性能。