郭 晨，李雪瑞，韓照洋，付學(xué)謙

（中國農(nóng)業(yè)大學(xué) 信息與電氣工程學(xué)院，北京 100083）

0 引言

近年來，電力市場建設(shè)取得重大進(jìn)展。電價(jià)是電力市場的重要因素，可以確保市場的穩(wěn)定運(yùn)行，對電價(jià)的預(yù)測也逐漸成為學(xué)者們關(guān)注的焦點(diǎn)。電價(jià)是電力市場的關(guān)鍵影響因素，每個(gè)參與者都基于電價(jià)進(jìn)行電力交易。因此，提高電價(jià)預(yù)測的精度對于電力市場中每個(gè)參與者而言都十分重要。因此，亟需對電價(jià)預(yù)測問題開展進(jìn)一步的研究。

當(dāng)下國內(nèi)外電價(jià)預(yù)測方法有很多，具體歸類如下。

文獻(xiàn)［1］提出在現(xiàn)有電價(jià)預(yù)測模型上，對電價(jià)殘差序列建立時(shí)間序列模型，并采用整合移動平均自回歸模型（autoregressive integrated moving average model，ARIMA）降低預(yù)測誤差。時(shí)間序列組合模型簡單，通俗易懂，計(jì)算速度快，缺點(diǎn)是預(yù)測的精度較低。

鑒于時(shí)間序列組合模型預(yù)測精度不高，一些研究人員開始采用神經(jīng)網(wǎng)絡(luò)的的方法進(jìn)行電價(jià)預(yù)測。文獻(xiàn)［2］提出了一種卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，進(jìn)行日前電價(jià)預(yù)測；文獻(xiàn)［3］設(shè)計(jì)了一種先采用集合經(jīng)驗(yàn)?zāi)B(tài)分解（ensemble empirical mode decomposition，EEMD）方法，將歷史電價(jià)分解后，再使用小波神經(jīng)網(wǎng)絡(luò)對電價(jià)進(jìn)行預(yù)測的方法；為了提高預(yù)測精度，文獻(xiàn)［4］設(shè)計(jì)了一種將小波變換與矢量函數(shù)結(jié)合起來的新型神經(jīng)網(wǎng)絡(luò)模型，來進(jìn)行電價(jià)預(yù)測。

有研究提出將以上兩種模型結(jié)合起來。文獻(xiàn)［5］在時(shí)間序列的基礎(chǔ)上，采用回歸神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行電價(jià)預(yù)測；文獻(xiàn)［6］提出基于EEMD，支持向量機(jī)（support vector machine，SVM）和自回歸滑動平均模型（autoregressive moving average model，ARMA）的組合預(yù)測模型，但這些組合模型的精確度仍有待提高。

為進(jìn)一步提高預(yù)測精確度，本文采用深度信念網(wǎng)絡(luò)（deep belief network，DBN）［7］的預(yù)測模型來進(jìn)行日前電價(jià)的預(yù)測。電價(jià)具有時(shí)間序列特征［8］，深度信念網(wǎng)絡(luò)可以更好地捕捉電價(jià)波動的時(shí)序特征。將小波變換與DBN組合在一起，小波變換將原始電價(jià)信號進(jìn)行分解，再通過分層預(yù)訓(xùn)練為所有參數(shù)提供良好的初值，然后通過監(jiān)督微調(diào)過程搜索最優(yōu)值。相比其他單層神經(jīng)網(wǎng)絡(luò)，在相同的數(shù)據(jù)輸入下，本文提出深度信念網(wǎng)絡(luò)訓(xùn)練過程分層，迭代次數(shù)多，預(yù)測精確度更高［9］。

1 深度信念網(wǎng)絡(luò)模型

前文介紹了幾種傳統(tǒng)的電價(jià)預(yù)測模型，接下來介紹本文所采用的深度信念網(wǎng)絡(luò)。DBN 主要應(yīng)用在特征學(xué)習(xí)、數(shù)據(jù)分類和生成數(shù)據(jù)等方面。DBN主要是使用受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）作為構(gòu)建模塊的無監(jiān)督學(xué)習(xí)子部分，外加一個(gè)用于預(yù)測的邏輯回歸層。

1.1 受限玻爾茲曼機(jī)

波爾茲曼機(jī)（Boltzmann machine，BM）是神經(jīng)網(wǎng)絡(luò)的一種。BM 是兩層神經(jīng)元結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，由顯元構(gòu)成的顯層（visible layer，VL），主要用于輸入需要被訓(xùn)練的數(shù)據(jù)。由隱元構(gòu)成的隱層（hidden layer，HL），主要用來檢測特征。波爾茲曼機(jī)結(jié)構(gòu)圖［10］如圖1（a）所示。

BM 有很強(qiáng)的特征學(xué)習(xí)能力，但由于其訓(xùn)練和學(xué)習(xí)需要較長的時(shí)間。為優(yōu)化其耗時(shí)長的缺點(diǎn)，Sejnowski在BM的基礎(chǔ)上提出了RBM。

RBM 和BM 的區(qū)別是，在RBM 中，同一層的神經(jīng)元是互不相連的，不同層的神經(jīng)元是雙向完全連接的。這樣連接的優(yōu)點(diǎn)是，每層神經(jīng)元的個(gè)數(shù)是互不相關(guān)的。RBM同層之間沒有連接，可以減少信息傳遞的過程，因此可以縮短求解的時(shí)間。

RBM的信息可以雙向流動，相當(dāng)于增加了訓(xùn)練的迭代次數(shù)，保證了預(yù)測模型的準(zhǔn)確性。這會使預(yù)測的精度不會下降太多。RBM結(jié)構(gòu)圖［10］如圖1（b）所示。

圖1 結(jié)構(gòu)圖Fig.1 Structure diagram

RBM 通過能量函數(shù)體現(xiàn)從顯層到隱層的概率分布，給定顯元vi、隱元hj、其連接權(quán)重wi,j以及vi的偏移量ai、hj的的偏移量bj，其能量函數(shù)E(v,h)可以定義為

采用能量函數(shù)的方式來定義顯層和隱層的概率分布

式中：Z為分布函數(shù)的歸一化常數(shù)。

W表示的是每個(gè)隱元與顯元間的權(quán)重［10］

式中：wi,j為從第i個(gè)顯元到第j個(gè)隱元的權(quán)重值；M為顯元的個(gè)數(shù)；N為隱元的個(gè)數(shù)。

因此，可以推導(dǎo)出每個(gè)顯元和隱元的條件分布概率［10］

1.2 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)是由多個(gè)RBM 分層堆疊而成，DBN的訓(xùn)練過程包括預(yù)訓(xùn)練和微調(diào)兩部分。

DBN 訓(xùn)練過程包括分層預(yù)訓(xùn)練和微調(diào)。分層預(yù)訓(xùn)練為所有參數(shù)提供初始值，而微調(diào)根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)探索最優(yōu)值。深度信念網(wǎng)絡(luò)預(yù)訓(xùn)練過程見圖2［11］。

圖2 DBN預(yù)訓(xùn)練過程Fig.2 DBN pre-training process

逐層的訓(xùn)練過程如下：①最下次的RBM 采用原始輸入數(shù)據(jù)進(jìn)行充分訓(xùn)練；②固定第一個(gè)RBM的權(quán)重和偏移量，將底部RBM 抽取的特征作為頂部RBM 的輸入；然后，可以將這兩個(gè)隱藏層視為一個(gè)新的RBM，并以相同的方式進(jìn)行訓(xùn)練；③第2 個(gè)RBM 進(jìn)行充分訓(xùn)練后，將其堆在第一個(gè)RBM的上方，重復(fù)這個(gè)過程訓(xùn)練以盡可能多的RBM 層；④重復(fù)以上3 個(gè)步驟任意多次；⑤最后，在最頂層添加一個(gè)標(biāo)準(zhǔn)預(yù)測因子，即邏輯回歸，預(yù)測因子的訓(xùn)練稱為微調(diào)過程，它旨在略微調(diào)整整個(gè)網(wǎng)絡(luò)中的參數(shù)。

2 DBN的微調(diào)過程

2.1 小波分解

原始的電價(jià)中含有很多非線性和非平穩(wěn)的因素，這些因素是導(dǎo)致預(yù)測電價(jià)精度降低的原因之一。因此，我們需要利用小波變換將歷史數(shù)據(jù)分解為多個(gè)頻率，以使數(shù)據(jù)在方差和離群值方面有更好的性能。

小波變換可以采用離散形式以提高效率。小波變換的離散形式如下所示［9］

式中：φ為母波；m、n為決定φ縮放和平移參數(shù)的兩個(gè)整數(shù)變量；t為離散時(shí)間的指標(biāo)；T為信號f(t)的長度。

本文采用的是一種基于Mallat的快速離散小波變換的算法。該算法由分解濾波器和重構(gòu)濾波器組成。因此，基于Mallat 算法的多級分解過程可以將歷史電價(jià)數(shù)據(jù)分解為一個(gè)近似值（An）和多個(gè)細(xì)小值（Dn），如圖3所示［9］。

圖3 多級分解過程Fig.3 Multi-level decomposition process

2.2 基于DBN的分層預(yù)訓(xùn)練

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)非常容易陷入局部最優(yōu)的問題。當(dāng)神經(jīng)網(wǎng)絡(luò)為深層網(wǎng)絡(luò)時(shí)，因?yàn)樾枰獌?yōu)化的參數(shù)更多，這個(gè)問題將會變得更加突出。處理局部最優(yōu)問題的辦法就是盡可能將參數(shù)初始化。

DBN 在解決以上問題中有較好的方式。DBN訓(xùn)練過程包括分層預(yù)訓(xùn)練和微調(diào)。分層預(yù)訓(xùn)練為所有參數(shù)提供初始值，而微調(diào)根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)探索最優(yōu)值。

每次預(yù)先訓(xùn)練一個(gè)獨(dú)立的RBM，就可以得到相關(guān)的參數(shù)a、b、W。訓(xùn)練前的過程是通過對RBM目標(biāo)函數(shù)進(jìn)行隨機(jī)梯度上升來實(shí)現(xiàn)的，即P( )v的對數(shù)似然。這里，P(v)是可見向量在所有隱藏單元上的概率［11］

因此，目標(biāo)函數(shù)的形式如下

式中：θ∈{a,b,W}和S是訓(xùn)練數(shù)據(jù)集。

根據(jù)貝葉斯統(tǒng)計(jì)理論，通過隨機(jī)梯度上升算法使目標(biāo)函數(shù)（10）最大化，生成穩(wěn)定且初始狀態(tài)良好的RBM。梯度上升算法表明，RBM 中的參數(shù)a、b、W是根據(jù)目標(biāo)函數(shù)L的導(dǎo)數(shù)進(jìn)行更新的，如下所示［9］

式中：EP、EP^分別為原始數(shù)據(jù)驅(qū)動和重構(gòu)數(shù)據(jù)驅(qū)動概率。

使用訓(xùn)練數(shù)據(jù)集上的式（5）和式（6）可以很容易地計(jì)算式（10）至式（12）的EP[ ]。然而，式（10）至式（12）中第2 項(xiàng)的計(jì)算過程要復(fù)雜得多，因?yàn)镈BN系統(tǒng)學(xué)習(xí)的是分布P^ 的期望值。一種可行的策略是在可見單元的任何隨機(jī)狀態(tài)上應(yīng)用交替吉布斯采樣，直到滿足某種收斂準(zhǔn)則，如k步。因此，對P^的期望可以通過分析來估計(jì)。然而，抽樣策略非常耗時(shí)，因此很少在現(xiàn)實(shí)生活中執(zhí)行。作為補(bǔ)救措施，提出一種稱為對比發(fā)散（contrastive divergence，CD）的快速學(xué)習(xí)方法。該方法采用兩種方法來加快采樣過程。一種是用訓(xùn)練樣本初始化馬爾可夫鏈，另一種是只經(jīng)過吉布斯采樣k步后獲取樣本，稱為CD-k。實(shí)驗(yàn)結(jié)果表明，即使k=1，CD 也能很好地進(jìn)行模型識別。

本研究采用CD-1對EP^的期望值進(jìn)行估計(jì)，因此參數(shù)a、b、W的更新規(guī)則可由式（10）至式（12）推導(dǎo)［9］

式中：上標(biāo)t為時(shí)間步長；η為學(xué)習(xí)率，在本研究中取0.9。

2.3 監(jiān)督微調(diào)過程

通過研究發(fā)現(xiàn)，當(dāng)RBM 的層數(shù)為4 時(shí)［12］，預(yù)測的精度最高。如2.2 節(jié)所述，DBN 中的每層神經(jīng)元的個(gè)數(shù)都是基于分層預(yù)訓(xùn)練方法進(jìn)行適當(dāng)初始化的。這些參數(shù)需要在有監(jiān)督的情況下進(jìn)行微調(diào)，直到DBN的損失函數(shù)達(dá)到最小值。基于BP算法的有效性，本文采用BP算法來處理這類任務(wù)。

在監(jiān)督微調(diào)過程中，BP 算法根據(jù)一定的周期，采用自上而下的工作方式。一個(gè)工作周期意味著一次性更新所有的參數(shù)，這將減少預(yù)測的誤差。下一步，通過訓(xùn)練集對這些誤差進(jìn)行反向傳播，然后將DBN參數(shù)重新調(diào)整到最優(yōu)狀態(tài)。因此，在重復(fù)一定的BP周期之后，可以得到最優(yōu)的DBN參數(shù)，這就意味著完成了深度信念網(wǎng)絡(luò)的訓(xùn)練過程。

3 算例

3.1 實(shí)驗(yàn)數(shù)據(jù)描述

為了驗(yàn)證本文所提出預(yù)測模型的優(yōu)越性，現(xiàn)用美國PJM電力市場真實(shí)數(shù)據(jù)［13］進(jìn)行仿真預(yù)測。其中選 取2018 年10 月1 日 至11 月30 日共61 天歷史電價(jià)數(shù)據(jù)預(yù)測2018年12月1日的電價(jià)，以h為采樣周期，將前40天共960 h的樣本數(shù)據(jù)作為訓(xùn)練樣本，將后21 天共504 h 的樣本數(shù)據(jù)作為預(yù)測集。本文在matlab 仿真平臺輸入歷史電價(jià)數(shù)據(jù)，此數(shù)據(jù)規(guī)模在精度基本達(dá)到要求的前提下能夠避免仿真過程耗時(shí)過長，經(jīng)過訓(xùn)練得出樣本特征，通過504 h的樣本集預(yù)測得到1 天的電價(jià)預(yù)測結(jié)果，通過與實(shí)際電價(jià)數(shù)據(jù)對比驗(yàn)證本文提出模型預(yù)測電價(jià)的有效性，并通過與EEMD，GA-SVM，ARMA 組合模型、GA-SVM組合模型、ARMA-GARCH 組合模型等組合電價(jià)預(yù)測模型的預(yù)測結(jié)果對比說明本文預(yù)測模型的精確度。各種模型預(yù)測結(jié)果見表1。

表1 美國PJM電力市場12月1日各種模型預(yù)測結(jié)果

3.2 仿真結(jié)果

通過在matlab 仿真平臺輸入歷史電價(jià)數(shù)據(jù)，得到美國PJM 電力市場2018 年12 月1 日預(yù)測電價(jià)的仿真結(jié)果如下。

DBN各層神經(jīng)元個(gè)數(shù)如表2所示。

表2 DBN各層神經(jīng)元個(gè)數(shù)Table 2 Number of neurons in each layer of DBN

本文的預(yù)測電價(jià)數(shù)據(jù)與美國PJM 電力市場2018 年12 月1 日的真實(shí)電價(jià)對比如圖4 所示。玻爾茲曼機(jī)模型的預(yù)測數(shù)據(jù)與真實(shí)電價(jià)的對比如圖5 所示。

圖4 DBN預(yù)測的電價(jià)與真實(shí)電價(jià)Fig.4 DBN forecasted electricity price and real electricity price

圖5 玻爾茲曼機(jī)預(yù)測的電價(jià)與真實(shí)電價(jià)Fig.5 The electricity price predicted by the Boltzmann machine and the real electricity price

DBN 預(yù)測模型和玻爾茲曼機(jī)預(yù)測模型的誤差對比如表3所示。

表3 DBN預(yù)測模型和玻爾茲曼機(jī)預(yù)測模型的誤差對比Table 3 Error comparison between DBN prediction model and Boltzmann machine prediction model

RBM的信息可以雙向流動，相當(dāng)于增加了訓(xùn)練的迭代次數(shù)，保證了預(yù)測模型的準(zhǔn)確性。通過DBN預(yù)測模型和BM 預(yù)測模型的誤差對比，我們可以看出采用DBN預(yù)測模型的平均誤差比BM預(yù)測模型的平均誤差更低。因此，采用RBM 預(yù)測電價(jià)，預(yù)測精度并不會下降，反而略有上升。

其他模型的預(yù)測數(shù)據(jù)與真實(shí)電價(jià)的對比如圖6所示。

圖6 各預(yù)測模型預(yù)測電價(jià)與真實(shí)電價(jià)Fig.6 Forecasted electricity price and real electricity price of each prediction model

為進(jìn)一步說明各個(gè)模型的預(yù)測效果，將各模型的預(yù)測誤差放在同一圖中進(jìn)行比較，如圖7所示。

圖7 各預(yù)測模型的誤差對比Fig.7 Error comparison of each prediction model

各預(yù)測模型的平均誤差對比如表4所示。

表4 各預(yù)測模型的平均誤差對比Table 4 Comparison of the average error of each prediction model

通過圖7和表4可以看出，采用DBN進(jìn)行電價(jià)預(yù)測，相比單層神經(jīng)網(wǎng)絡(luò)的電價(jià)預(yù)測精確度更高，可以為實(shí)際電價(jià)預(yù)測提供一種有效的方法。

4 結(jié)束語

本文提出一種基于深度信念網(wǎng)絡(luò)的電價(jià)預(yù)測模型。采用美國PJM電力市場的真實(shí)數(shù)據(jù)進(jìn)行仿真預(yù)測，并與其他神經(jīng)網(wǎng)絡(luò)的預(yù)測模型進(jìn)行比較。得出以下結(jié)論：本文采用的深度信念網(wǎng)絡(luò)模型的預(yù)測精度更高，使用深度信念網(wǎng)絡(luò)可以為我國售電公司進(jìn)行電價(jià)預(yù)測提供一種有效的方法。D