王國(guó)娟，冷建偉

(天津理工大學(xué) 電氣電子工程學(xué)院， 天津 300384)

0 引 言

電力負(fù)荷預(yù)測(cè)在電力系統(tǒng)安全經(jīng)濟(jì)運(yùn)行方面發(fā)揮了不可替代的作用，為了保障供給用戶的電能質(zhì)量的可靠性和達(dá)到降低供電成本的目的，短期電力負(fù)荷研究十分關(guān)鍵。目前，短期電力負(fù)荷預(yù)測(cè)的常見(jiàn)方法主要有人工神經(jīng)網(wǎng)絡(luò)法(ANN)、支持向量機(jī)法(SVM)、模糊理論法等。盡管對(duì)電力負(fù)荷進(jìn)行預(yù)測(cè)的方法很多，但伴隨著研究的深入，各種方法的局限性也逐漸被發(fā)現(xiàn)。因此很多學(xué)者提出采用組合預(yù)測(cè)模型將單一算法取長(zhǎng)補(bǔ)短，進(jìn)行融合，預(yù)測(cè)效果更佳。如在一定時(shí)期內(nèi)，負(fù)荷序列會(huì)隨影響因素而發(fā)生波動(dòng)，文獻(xiàn)[1]提出了一種基于BP神經(jīng)網(wǎng)絡(luò)和灰色理論模型的短期電力負(fù)荷預(yù)測(cè)模型，灰色理論預(yù)測(cè)模型預(yù)測(cè)平穩(wěn)序列，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)非平穩(wěn)序列，充分發(fā)揮兩個(gè)模型的優(yōu)勢(shì)，提高了預(yù)測(cè)精度；文獻(xiàn)[2]提出將特征選擇與優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的組合模型，提升了預(yù)測(cè)效果。組合預(yù)測(cè)模型中還有一種串聯(lián)模型，一般從原始序列入手，先對(duì)原始負(fù)荷序列進(jìn)行信號(hào)處理，得到多個(gè)子序列，對(duì)其分別建模，疊加預(yù)測(cè)結(jié)果。

常用的信號(hào)處理方法有小波變換、傅里葉變換、經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)等。文獻(xiàn)[3]提出了一種基于氣象成分分解的短期負(fù)荷預(yù)測(cè)模型，優(yōu)化了模型輸入。文獻(xiàn)[4]提出了一種基于VMD和PSO優(yōu)化深度信念網(wǎng)絡(luò)的模型，改善了分解效果。由于EMD分解后易出現(xiàn)模態(tài)混疊現(xiàn)象且高頻分量包含大量噪聲，文獻(xiàn)[5]提出了CEEMDAN算法,通過(guò)在分解的每一階段添加自適應(yīng)的白噪聲來(lái)改善這一問(wèn)題，但是若不能同預(yù)測(cè)模型有效匹配，不僅會(huì)增加計(jì)算量，也不能完全消除模態(tài)混疊現(xiàn)象，具有一定的局限性。文獻(xiàn)[6-7]提出了ESMD分解法將EMD算法中外部包絡(luò)線插值法替換為直接插值法，并從信號(hào)特征入手，將最優(yōu)自適應(yīng)全局曲線概念引入到模型中，自適應(yīng)地進(jìn)行時(shí)頻分解，以此來(lái)獲得各模態(tài)函數(shù)的最優(yōu)分解次數(shù)，時(shí)間序列的趨勢(shì)變化和波動(dòng)特征更加明顯。針對(duì)在信號(hào)分解過(guò)程中會(huì)產(chǎn)生一系列特征相似的IMF分量的問(wèn)題，文獻(xiàn)[8]提出了基于樣本熵的IMF分量重構(gòu)方法。但是，樣本熵具有處理短時(shí)間序列會(huì)產(chǎn)生不準(zhǔn)確估計(jì)的局限性，因此，文章提出運(yùn)用排列熵(PE)解決這一問(wèn)題。

文章以深度學(xué)習(xí)思想為基礎(chǔ)的深度置信網(wǎng)絡(luò)(DBN)作為預(yù)測(cè)模型，在傳統(tǒng)模型預(yù)訓(xùn)練階段通常使用一個(gè)全局統(tǒng)一的學(xué)習(xí)率，但這個(gè)參數(shù)并不一定適用于所有參數(shù)的調(diào)整速率，考慮主要由對(duì)比散度(CD)算法來(lái)進(jìn)行預(yù)訓(xùn)練，因此文獻(xiàn)[9-10]提出將CD算法改進(jìn)為以連續(xù)兩次狀態(tài)采樣的變化趨勢(shì)為依據(jù)的可以自適應(yīng)地調(diào)整學(xué)習(xí)率大小的算法，來(lái)提升DBN的訓(xùn)練效率。

文章綜合了ESMD-PE方法和自適應(yīng)學(xué)習(xí)率優(yōu)化的DBN模型的優(yōu)點(diǎn)，建立的ESMD-PE-ADBN 模型可以提升預(yù)測(cè)結(jié)果的可靠性。

1 ESMD-PE方法基本原理

1.1 ESMD算法

ESMD 方法通常由兩部分組成:第一部分是將負(fù)荷序列分解為一系列IMF分量，得到一條最優(yōu)全局自適應(yīng)均線；第二部分是時(shí)-頻分析，對(duì)固有模態(tài)的瞬時(shí)頻率運(yùn)用直接插值法進(jìn)行計(jì)算，分析各時(shí)間尺度上的頻率改變，確定發(fā)生突變的時(shí)間。ESMD方法分解過(guò)程如下:

(1)標(biāo)出序列的全部極值點(diǎn)，記作Ei(1≤i≤n)；

(2)將所有相鄰的極點(diǎn)用線段相連并依次將線段中點(diǎn)記為Fi(1≤i≤n-1)，并在左右兩端增補(bǔ)邊界中點(diǎn)Fn和F0；

(3)利用n+1個(gè)中點(diǎn)構(gòu)建p條內(nèi)插曲線L1，L2，……，Lp(p=1，2，……，),并計(jì)算它們的均值：

L*=(L1+L2+……+LP)/p

(1)

(4)令X-L*，反復(fù)進(jìn)行上述3個(gè)步驟或當(dāng)篩選次數(shù)能夠取到最大值K，直到|L*|≤ε(ε為允許誤差)，可得首個(gè)模態(tài)分量IMF1；

(5)對(duì)余下序列X-IMF1重復(fù)上述4個(gè)步驟，當(dāng)剩余序列R僅剩一定數(shù)量的極點(diǎn)，可得經(jīng)驗(yàn)?zāi)MF2，IMF3，…;

(6)修改限定區(qū)間[Kmax，Kmin]內(nèi)的最大篩選次數(shù)K值，反復(fù)進(jìn)行上述 5個(gè)步驟。然后計(jì)算方差比率σ/σ0，并繪制其隨K的變化圖，找出σ/σ0最小值對(duì)應(yīng)的K0，以K0為限制條件再重復(fù)上述5個(gè)步驟，最后將剩余項(xiàng)R作為序列X的自適應(yīng)全局均線。

經(jīng)過(guò)上述分解，可用X=∑IMFi+R表示原始的時(shí)間序列X，即運(yùn)用ESMD算法將時(shí)間序列X分解成了一個(gè)剩余變量和一系列經(jīng)驗(yàn)?zāi)B(tài)分量。

在分時(shí)-頻分析中，由于原本的希爾伯特變換將本來(lái)離散的信號(hào)轉(zhuǎn)換成解析函數(shù)處理，這種方式難免要受數(shù)學(xué)概念的制約。對(duì)離散數(shù)據(jù)，其分析過(guò)程中要保留其離散特性，所以針對(duì)數(shù)據(jù)提出了“直接插值法”，既能體現(xiàn)頻率時(shí)變特性觀察到模態(tài)函數(shù)的振幅，也能夠獲得總體能量的波動(dòng)。直接插值法基本思路如下:

(1)找到極值點(diǎn)中的每?jī)蓚€(gè)相鄰極值點(diǎn)，計(jì)算兩個(gè)點(diǎn)間的時(shí)間差；

(2)這些時(shí)間段可被看作局部周期并賦值于中點(diǎn)，繪制時(shí)間-周期對(duì)應(yīng)點(diǎn)圖；

(3)局部頻率可通過(guò)這些局部周期值取倒數(shù)得到，光滑的時(shí)間-頻率變化曲線可通過(guò)再做三次樣條插值得到。

1.2 排列熵(PE)

針對(duì)ESMD分解產(chǎn)生的IMF分量中部分存在復(fù)雜度相近的情況，文章采用排列熵(Permutation Entropy，PE)對(duì)各IMF分量的復(fù)雜程度進(jìn)行熵值計(jì)算，將熵值相似序列進(jìn)行重構(gòu)，可提高模型預(yù)測(cè)速度，提升整體模型魯棒性。將時(shí)間序列{Xi，i=1，2，…，N}重構(gòu)可得得矩陣：

(2)

式中j=1，2，…，K；嵌入維數(shù)由m表示；重構(gòu)向量數(shù)目由K表示；時(shí)間延遲由τ表示。

重構(gòu)向量由矩陣中的行代表，比較數(shù)值大小，將重構(gòu)分量按照升序重新排列，列可用j1，j2，…，jm表示。

如果重構(gòu)分量中兩元素的值相同，則根據(jù)元素所在的列j1，j2的大小確定順序。因此重構(gòu)后X(i)得到矩陣S(l)=(j1，j2，…，jm)。

式中l(wèi)=1，2，…，K，且K≤m!，m個(gè)不同的符號(hào)[j1,j2,…,jm]共有m!種不同的排列，S(l)為m!種符號(hào)序列之一。如果每個(gè)符號(hào)序列出現(xiàn)的概率分別為P1，P2，…，Pk，則時(shí)間序列X(i)的PE定義為：

(3)

PE值的計(jì)算可以將序列X(i)的復(fù)雜程度量化，通過(guò)對(duì)比各模態(tài)熵值的大小來(lái)對(duì)比各自的復(fù)雜程度。PE對(duì)各IMF分量復(fù)雜程度的體現(xiàn)，為之后 IMF分量的重構(gòu)以及建模的簡(jiǎn)化提供了理論依據(jù)。

2 自適應(yīng)深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)由Geoffrey Hinton 在2006年提出，學(xué)習(xí)過(guò)程主要分為兩個(gè)階段：第一階段為預(yù)訓(xùn)練階段，通常采用CD算法對(duì)全部RBM進(jìn)行無(wú)監(jiān)督訓(xùn)練；第二階段為微調(diào)階段，將網(wǎng)絡(luò)展開(kāi)為一個(gè)前向型網(wǎng)絡(luò)，然后對(duì)整個(gè)網(wǎng)絡(luò)權(quán)值進(jìn)行有監(jiān)督的微調(diào)，運(yùn)用的是誤差反傳方法[11]。

2.1 無(wú)監(jiān)督訓(xùn)練

RBM是 DBN 網(wǎng)絡(luò)的基本組成，多個(gè) RBM 堆疊起來(lái)可以構(gòu)成一個(gè)DBN模型。RBM由顯層和隱層2層神經(jīng)元構(gòu)成，層間的連接彼此對(duì)稱，且相同層內(nèi)無(wú)連接。RBM的基本結(jié)構(gòu)如圖1所示。

圖1 RBM結(jié)構(gòu)模型

RBM 的訓(xùn)練方法通常采用 CD 算法。一個(gè) RBM中，隱含層狀態(tài)由h表示，顯層狀態(tài)由v表示。模型參數(shù)θ={ωR，a，b}給定，可用E(v，h；θ)表示聯(lián)合概率分布P(v，h；θ)：

(4)

式中Z=∑v，he-E(v，h；θ)為歸一化因子。

RBM能量函數(shù)可定義為：

(5)

其中顯隱層間的連接權(quán)值由w表示，可見(jiàn)層偏置由a表示；隱藏層偏置由b表示。顯隱層間的條件激活概率概率為:

(6)

(7)

若訓(xùn)練樣本個(gè)數(shù)為T，式(8)表示參數(shù)θ的最優(yōu)值：

(8)

在 RBM訓(xùn)練的過(guò)程中，倘若樣本數(shù)據(jù)量很大，為了使采集到的樣本符合目標(biāo)分布，在訓(xùn)練RBM的時(shí)候采用傳統(tǒng)方法，則訓(xùn)練速度將會(huì)十分緩慢。因此Hinton 教授提出了CD 算法用于 RBM 的訓(xùn)練抽樣。此后，CD 算法成了訓(xùn)練 RBM的標(biāo)準(zhǔn)抽樣方法。該算法利用利用式(6)、式(7)計(jì)算顯元和隱元被激活的概率并帶入 RBM 模型進(jìn)行參數(shù)更新。

2.2 自適應(yīng)學(xué)習(xí)率

在RBM 的快速學(xué)習(xí)過(guò)程中，通常采用對(duì)比散度算法(Contrastive Divergence，CD)。CD算法會(huì)對(duì)所有構(gòu)成DBN結(jié)構(gòu)的RBM逐個(gè)進(jìn)行無(wú)監(jiān)督訓(xùn)練。各參數(shù)的更新準(zhǔn)則如下：

Wij=Wij+η(data-recon)

(9)

ai=ai+η(data-recon)

(10)

bj=bj+η(data-recon)

(11)

式中η為DBN的學(xué)習(xí)率; <*>data為數(shù)據(jù)分布期望;<*>recon為重構(gòu)后的模型分布期望; <*>data-<*>recon為二者的散度差; data為狀態(tài)hj和狀態(tài)vi同時(shí)被激活的期望; recon為在狀態(tài)hj和狀態(tài)vi時(shí)把重建的數(shù)據(jù)呈現(xiàn)給可見(jiàn)單元時(shí)對(duì)應(yīng)的期望。

為了提高DBN模型的收斂速度，在RBM訓(xùn)練的過(guò)程中，可以根據(jù)CD算法中參數(shù)每次迭代方向的異同得到一個(gè)第i個(gè)顯單元狀態(tài)和第j個(gè)隱單元狀態(tài)時(shí)的自適應(yīng)學(xué)習(xí)率ηij，將傳統(tǒng)DBN中的全局學(xué)習(xí)率η替換為一個(gè)能夠動(dòng)態(tài)變化的學(xué)習(xí)率。

(12)

(13)

2.3 深度信念網(wǎng)絡(luò)結(jié)構(gòu)

DBN預(yù)測(cè)模型的結(jié)構(gòu)如圖2所示，可見(jiàn)層是用來(lái)接受輸入信號(hào)，隱藏層用來(lái)提取特征，RBM通過(guò)無(wú)監(jiān)督學(xué)習(xí)自動(dòng)找到研究問(wèn)題的最佳特征；DBN的最后一層一般采用BP網(wǎng)絡(luò)，接收RBM的輸出特征向量作為該層的輸入，反向傳播網(wǎng)絡(luò)對(duì)整個(gè)模型進(jìn)行參數(shù)調(diào)整。

3 ESMD-PE-ADBN組合預(yù)測(cè)模型

由于經(jīng)濟(jì)、氣象、日期等因素的不同對(duì)電力負(fù)荷值造成的影響也不盡相同，但是人類生產(chǎn)生活的周期性使得用電負(fù)荷也具備一定的規(guī)律性。為了準(zhǔn)確分析負(fù)荷的變化規(guī)律，文章提出了一種基于ESMD-PE方法和自適應(yīng)深度信念網(wǎng)絡(luò)的組合模型,如圖3所示。首先對(duì)短期負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理，其次通過(guò)ESMD方法將短期負(fù)荷序列分解為若干模態(tài)分量并進(jìn)行統(tǒng)計(jì)分析，采用排列熵重構(gòu)得到新分量；針對(duì)DBN模型存在著自適應(yīng)能力差的問(wèn)題，在短期電力負(fù)荷預(yù)測(cè)過(guò)程中提出了一種能夠自適應(yīng)調(diào)整學(xué)習(xí)速率的DBN網(wǎng)絡(luò)預(yù)測(cè)模型-ADBN網(wǎng)絡(luò)(Adaptive Deep Belief Networks)，該模型采用一種自適應(yīng)學(xué)習(xí)率尋優(yōu)策略來(lái)求得最優(yōu)學(xué)習(xí)率，避免了固定經(jīng)驗(yàn)式的學(xué)習(xí)率，能夠從收斂速度和預(yù)測(cè)精度兩方面提高DBN模型的預(yù)測(cè)效果。

4 算例分析

4.1 數(shù)據(jù)來(lái)源及預(yù)處理

選用第九屆電工數(shù)學(xué)建模競(jìng)賽數(shù)據(jù)2014年6月18日～2014年8月16日每天的整點(diǎn)時(shí)刻的電力負(fù)荷數(shù)據(jù)為數(shù)據(jù)集，建立BP、DBN、ESMD-PE-DBN及ESMD-PE-ADBN用戶負(fù)荷預(yù)測(cè)模型，對(duì)2014年8月17日整點(diǎn)負(fù)荷進(jìn)行預(yù)測(cè)，并對(duì)比不同模型的預(yù)測(cè)精度，以驗(yàn)證文章模型有效性。仿真軟件為MATLAB R2014a。

在選擇輸入變量時(shí)，需考慮影響因素與輸出變量間的相關(guān)性，可通過(guò)歸一化處理消除物理量綱的不同，公式如下：

(14)

4.2 原始負(fù)荷序列的分解重構(gòu)

經(jīng)ESMD算法分解用戶時(shí)間負(fù)荷序列得到的結(jié)果，由圖4可見(jiàn)，原始負(fù)荷序列被分解為IMF1、IMF2、IMF3、IMF4、IMF5共5個(gè)模態(tài)函數(shù)和一個(gè)余量序列R。

圖4 ESMD分解結(jié)果

為了減少建模重復(fù)工作，文章采用排列熵計(jì)算各模態(tài)函數(shù)排列熵值并根據(jù)熵值大小對(duì)各模態(tài)函數(shù)進(jìn)行重構(gòu)處理。經(jīng)試驗(yàn)，延遲時(shí)間τ=1，嵌入維數(shù)m=4 時(shí)各IMF分量熵值變化明顯，圖5為各序列熵值分布。

圖5 各IMF分量排列熵值

隨著各子序列頻率的降低，排列熵值呈現(xiàn)逐漸減小的趨勢(shì)，且部分相鄰子序列的熵值相差不大，由圖5可知IMF3與IMF4，IMF5與R熵值近似，因此為了減少計(jì)算規(guī)模，對(duì)相鄰排列熵值相差較小的IMF進(jìn)行疊加，結(jié)果如表1所示，重構(gòu)后的子序列如圖6所示。

表1 各分量重組結(jié)果

圖6 IMF分量重構(gòu)結(jié)果

序列 1計(jì)算后平均周期為8.34 h，反映出一天當(dāng)中人們工作時(shí)間和非工作時(shí)間用電規(guī)律的不同，該序列具有一定的波動(dòng)性和隨機(jī)性；序列2平均周期為24.7 h，該序列反映了以天為單位的用電量的變化；序列3體現(xiàn)出了比較明顯的規(guī)律性，且大致的波動(dòng)周期為一周;序列4波動(dòng)較平緩，體現(xiàn)了整體序列的變化趨勢(shì)走向，可以將其看作趨勢(shì)分量。

4.3 確定輸入

分別對(duì)各模態(tài)函數(shù)建立DBN預(yù)測(cè)模型。除了日期類型之外，為了確定其余對(duì)文章負(fù)荷序列產(chǎn)生主要影響的因素作為輸入，對(duì)濕度、溫度、降雨量同重構(gòu)后的四個(gè)IMF分量進(jìn)行了Pearson相關(guān)性分析，其中日平均溫度對(duì)序列影響最大。因此，預(yù)測(cè)模型輸入也包含了日平均溫度和日期類型信息，具體如表2所示，其中字母t和字母d表示d天t時(shí)的負(fù)荷值，日期類型由Dtype表示，1～7代表周一～周日，日平均溫度由T(d)表示。

表2 各重構(gòu)分量輸入選擇

4.4 評(píng)價(jià)指標(biāo)

文章的預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)選用RMSE(均方根誤差)和MAPE(平均絕對(duì)百分比誤差)，定義如下:

(15)

(16)

4.5 實(shí)驗(yàn)結(jié)果分析

文章使用BP、DBN模型直接對(duì)原始負(fù)荷序列進(jìn)行預(yù)測(cè)，BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)為15-28-1；DBN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)為15-28-15-1，其中RBM 學(xué)習(xí)率設(shè)置為0.1，迭代850次；之后采用 ESMD-PE方法對(duì)電力負(fù)荷數(shù)據(jù)進(jìn)行分解重構(gòu)，形成了四個(gè)特征互異的子序列，之后再加上溫度、日期類型影響因素，對(duì)各子序列分別構(gòu)造ESMD-PE-DBN、ESMD-PE-ADBN模型并進(jìn)行相應(yīng)模型訓(xùn)練，模型結(jié)構(gòu)參數(shù)依次為9-21-15-1、9-15-8-1、8-13-5-1、12-25-20-1，最終疊加預(yù)測(cè)結(jié)果同原始負(fù)荷曲線進(jìn)行比較。

為了體現(xiàn)自適應(yīng)學(xué)習(xí)率對(duì)模型預(yù)測(cè)性能的影響，將固定學(xué)習(xí)率的DBN模型和ADBN模型的預(yù)測(cè)效果進(jìn)行對(duì)比，其中ADBN模型的增量系數(shù)a和減量系數(shù)b分別為1.4和0.7，各模型的節(jié)點(diǎn)數(shù)和隱藏層相同，對(duì)比結(jié)果如表3所示，結(jié)果表明ADBN模型的收斂速度更快，預(yù)測(cè)準(zhǔn)確率也更高。

由圖7、表4可以看出，DBN模型的各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于BP預(yù)測(cè)模型，MAPE值和RMSE值分別降低29.63%和18.84%，主要是因?yàn)镈BN模型克服了BP 神經(jīng)網(wǎng)絡(luò)隱含層只有一層，對(duì)訓(xùn)練樣本的特征學(xué)習(xí)不準(zhǔn)確、泛化性不高以及出現(xiàn)局部最優(yōu)解的問(wèn)題。ESMD-PE-DBN模型預(yù)測(cè)效果相較于DBN模型其MAPE值和RMSE值比單一DBN模型分別降低了17.11%和21.80%，相對(duì)于單一BP、DBN模型，其降低了原始序列的復(fù)雜程度，優(yōu)化了模型輸入。ESMD-PE-ADBN模型相對(duì)于ESMD-PE-DBN模型其MAPE值和RMSE值分別降低了18.25%和16.02%，主要是因?yàn)樽赃m應(yīng)學(xué)習(xí)率對(duì)DBN模型預(yù)測(cè)精度及收斂速度的改善。

圖7 各模型預(yù)測(cè)結(jié)果

表4 各預(yù)測(cè)模型誤差對(duì)比

5 結(jié)束語(yǔ)

通過(guò)對(duì)短期負(fù)荷預(yù)測(cè)領(lǐng)域的學(xué)習(xí)研究，文章提出了一種ESMD-PE-ADBN組合預(yù)測(cè)模型并進(jìn)行了算例分析，結(jié)論如下：

(1)提出了一種ESMD-PE-ADBN新型組合預(yù)測(cè)模型，融合了各算法的優(yōu)點(diǎn)，預(yù)測(cè)效果更優(yōu)；

(2)ESMD方法以EMD方法為基礎(chǔ)，可以自適應(yīng)地完成時(shí)頻分解，得到的模態(tài)分量能夠更準(zhǔn)確地呈現(xiàn)時(shí)間序列的趨勢(shì)變化和波動(dòng)特征，使計(jì)算方法變得簡(jiǎn)單，分解效果更好。排列熵(PE)方法能夠重構(gòu)特征相似的子序列，優(yōu)化預(yù)測(cè)模型輸入；

(3)將短期電力負(fù)荷預(yù)測(cè)同深度學(xué)習(xí)結(jié)合，并將自適應(yīng)率引入到深度置信念網(wǎng)絡(luò)中，改善了DBN模型中學(xué)習(xí)率參數(shù)存在難以確定的問(wèn)題，既增強(qiáng)了收斂速度又提高了模型預(yù)測(cè)精度。