呂秋霞，孫 亮，車延華，于全喜

（1.東方電子股份有限公司技術(shù)中心，山東 煙臺 264000；2.煙臺職業(yè)學(xué)院信息工程系，山東 煙臺 264670）

0 引言

廣州大學(xué)城配電網(wǎng)的用戶類型比較復(fù)雜，主要包括高校、商業(yè)中心、醫(yī)院和小型普通工業(yè)等。由于用戶內(nèi)部用電設(shè)備繁多，電表年久失修、電表數(shù)據(jù)讀取錯(cuò)誤或者無法上送等問題，導(dǎo)致各個(gè)變電站統(tǒng)計(jì)的配電網(wǎng)負(fù)荷數(shù)據(jù)不完整。在當(dāng)今大數(shù)據(jù)時(shí)代，數(shù)據(jù)信息至關(guān)重要，通過對海量配電網(wǎng)數(shù)據(jù)進(jìn)行挖掘分析，可進(jìn)一步推動(dòng)數(shù)字化電網(wǎng)［1-2］的發(fā)展，所以對缺失數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)測至關(guān)重要。

隨著人工智能技術(shù)在電力系統(tǒng)的廣泛應(yīng)用，智能電網(wǎng)［3-4］成為新一代電網(wǎng)技術(shù)發(fā)展的必然趨勢。機(jī)器學(xué)習(xí)算法作為人工智能的核心驅(qū)動(dòng)，在電網(wǎng)數(shù)據(jù)預(yù)測中的應(yīng)用也日漸成熟。國內(nèi)外很多學(xué)者針對數(shù)據(jù)預(yù)測展開一系列的研究，并提出很多適用于電力數(shù)據(jù)預(yù)測的機(jī)器學(xué)習(xí)算法。文獻(xiàn)［5］利用改進(jìn)粒子群算法對Elman 模型的權(quán)值以及反饋因子進(jìn)行優(yōu)化訓(xùn)練，提高數(shù)據(jù)預(yù)測精度、模型泛化能力和系統(tǒng)實(shí)時(shí)數(shù)據(jù)準(zhǔn)確性。文獻(xiàn)［6］利用遞歸神經(jīng)網(wǎng)絡(luò)模型在時(shí)間序列預(yù)測上的獨(dú)特優(yōu)勢，并結(jié)合受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）模型的無監(jiān)督學(xué)習(xí)能力，進(jìn)行電力數(shù)據(jù)預(yù)測，提高了短期電力負(fù)荷數(shù)據(jù)預(yù)測的準(zhǔn)確性。文獻(xiàn)［7-10］都采用改進(jìn)和優(yōu)化的長短期記憶網(wǎng)絡(luò)（Long Short-term Memory，LSTM）算法進(jìn)行電力負(fù)荷預(yù)測，LSTM 在時(shí)序?qū)W習(xí)方面具有良好的性能，所以在具有周期性的電力負(fù)荷預(yù)測方面能極大提升預(yù)測精度。文獻(xiàn)［11］提出一種改進(jìn)的反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)，能夠自適應(yīng)調(diào)整學(xué)習(xí)率，對樣本數(shù)據(jù)進(jìn)行批處理訓(xùn)練，提高了改進(jìn)算法的收斂速度和預(yù)測精度。文獻(xiàn)［12］結(jié)合隨機(jī)森林算法，對支持向量機(jī)（Support Vector Machine，SVM）和BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行對比研究，發(fā)現(xiàn)隨機(jī)森林算法在電力系統(tǒng)小時(shí)負(fù)荷預(yù)測方面有較好的精度。文獻(xiàn)［13］提出一種模糊信息?；С窒蛄繖C(jī)預(yù)測算法，實(shí)現(xiàn)了電力負(fù)荷數(shù)據(jù)的點(diǎn)預(yù)測和區(qū)間預(yù)測，對電網(wǎng)調(diào)度工作有一定意義。文獻(xiàn)［14］結(jié)合RBM 的無監(jiān)督學(xué)習(xí)和遞歸神經(jīng)網(wǎng)絡(luò)，對電力負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測訓(xùn)練，較其他網(wǎng)絡(luò)獲得了更高的準(zhǔn)確性。

國內(nèi)配電網(wǎng)自動(dòng)化當(dāng)前正處于起步階段，還有諸多問題亟待解決，如采集數(shù)據(jù)不完整、數(shù)據(jù)來源多且難以整合等。上述問題導(dǎo)致配電網(wǎng)負(fù)荷預(yù)測難度較大。深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）是無監(jiān)督學(xué)習(xí)模型，相對傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)，其收斂速度更快，預(yù)測精度更高。提出基于DBN 的負(fù)荷預(yù)測算法，結(jié)合粒子群的快速尋優(yōu)能力，實(shí)現(xiàn)了已缺失電力數(shù)據(jù)的快速準(zhǔn)確預(yù)測。

1 深度置信網(wǎng)絡(luò)

1.1 受限玻爾茲曼機(jī)

DBN［15］是由一定數(shù)目的RBM［16］堆疊而成，每一個(gè)RBM 模型都是由一個(gè)隨機(jī)的隱含層和可見層組合而成，其中，模型的隱含層和可見層的各個(gè)單元之間保持全連接，單獨(dú)的隱含層和可見層的層內(nèi)無連接，RBM 模型擁有強(qiáng)大的數(shù)據(jù)無監(jiān)督學(xué)習(xí)能力，其結(jié)構(gòu)如圖1 所示。

圖1 RBM結(jié)構(gòu)Fig.1 Model structure of RBM

RBM 用v表示可見層，h表示隱含層，則系統(tǒng)的能量方程為

式中：vi為可見層單元i的狀態(tài)；hj為隱含層單元j的狀態(tài)；ai為可見層單元i的偏置；bj為隱含層單元j的偏置；m可見層所有單元的數(shù)目；n為隱含層所有單元的數(shù)目；wij為可見層各個(gè)單元i和隱含層各個(gè)單元j之間的連接權(quán)值；θ為所有參數(shù)的集合{ai,bj,wij}。

給定狀態(tài)的聯(lián)合概率分布為

式中：Z(θ)為配分函數(shù)，表示為Z(θ)=∑v∑he-E(v, h|θ)。

由于RBM 可見層的各個(gè)單元和隱含層的各個(gè)單元之間保持相互獨(dú)立，所以其條件概率分布為：

RBM 采用無監(jiān)督貪婪訓(xùn)練算法［17］進(jìn)行參數(shù)訓(xùn)練，訓(xùn)練目標(biāo)為最大化模型的對數(shù)似然函數(shù)，lgP(v|θ)。通過對似然函數(shù)求偏導(dǎo)數(shù)，結(jié)合吉布斯采樣可以得到ai，bj和wij參數(shù)的更新迭代公式如下：

式中：〈·〉data為模型分布的數(shù)學(xué)期望值；〈·〉recon為模型進(jìn)一步重構(gòu)之后的分布數(shù)學(xué)期望值；ε為學(xué)習(xí)率。

1.2 深度置信網(wǎng)絡(luò)

DBN 由兩個(gè)以上的RBM 堆疊而成，模型第一層的隱含層將作為下一層的RBM 的可視層，其模型如圖2 所示。DBN 采用貪婪逐層訓(xùn)練算法完成模型自底端到頂端的認(rèn)知和生成過程，再通過最頂端的經(jīng)典BP 神經(jīng)網(wǎng)絡(luò)的反饋學(xué)習(xí)，完成自頂端到底端的反向傳播訓(xùn)練和權(quán)值微調(diào)。

圖2 DBN模型結(jié)構(gòu)Fig.2 Model structure of DBN

2 基于DBN的電力負(fù)荷預(yù)測

2.1 訓(xùn)練模型及學(xué)習(xí)算法

文中采用的時(shí)間序列預(yù)測模型［18-20］是基于DBN的神經(jīng)網(wǎng)絡(luò)算法。模型使用由多個(gè)RBM 堆疊在一起而成的DBN 算法對初始權(quán)值和閾值進(jìn)行前向無監(jiān)督學(xué)習(xí)，通過貪婪逐層訓(xùn)練算法對訓(xùn)練模型的各個(gè)初始參數(shù)進(jìn)行迭代優(yōu)化，再通過經(jīng)典的反饋學(xué)習(xí)對模型參數(shù)進(jìn)行微調(diào)，從而使訓(xùn)練結(jié)果收斂到最優(yōu)。模型訓(xùn)練流程如圖3 所示。

圖3 DBN模型訓(xùn)練流程Fig.3 The flow chart of DBN training model

根據(jù)負(fù)荷數(shù)據(jù)的時(shí)序化特點(diǎn)，將實(shí)驗(yàn)數(shù)據(jù)作為一組時(shí)序數(shù)據(jù)進(jìn)行模型訓(xùn)練。假設(shè)算法模型在t時(shí)刻第i*個(gè)輸入變量為x*i，第i*個(gè)輸出變量yi*=x(t)，其中，x（t）表示當(dāng)前t時(shí)刻的時(shí)序值，即用該時(shí)刻的值作為輸出，前t個(gè)時(shí)刻的值作為輸入進(jìn)行預(yù)測，即

預(yù)測模型具體訓(xùn)練步驟如下。

第一步：對原始電力負(fù)荷數(shù)據(jù)進(jìn)行分析處理，采用標(biāo)準(zhǔn)分?jǐn)?shù)公式將數(shù)據(jù)歸一化到［0，1］區(qū)間，如式（9）所示。歸一化后的數(shù)據(jù)在一定程度上能夠加快模型收斂速度，提高模型精度。

式中：x*為歸一化處理之后的數(shù)據(jù)；x為原始實(shí)驗(yàn)數(shù)據(jù)；為每個(gè)元素為原始數(shù)據(jù)均值的向量；σ為原始實(shí)驗(yàn)數(shù)據(jù)的標(biāo)準(zhǔn)差。

第二步：采用由多個(gè)RBM 模型堆疊而成的DBN 模型進(jìn)行數(shù)據(jù)訓(xùn)練，設(shè)置隱含層個(gè)數(shù)n，以及反向傳播訓(xùn)練時(shí)BP 神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率εbp和動(dòng)量因子α，并給出DBN 訓(xùn)練次數(shù)和反向傳播算法訓(xùn)練次數(shù)，退出模型迭代的條件是達(dá)到最大迭代次數(shù)或期望誤差。

第三步：DBN 模型采取貪婪逐層訓(xùn)練算法，完成訓(xùn)練模型的無監(jiān)督學(xué)習(xí)過程，由于吉布斯采樣的效率隨著采樣步數(shù)的增大而降低，因此文中采用由 Hinton 提出的對比散度（Contrastive Divergence，CD）［21］算法來進(jìn)行參數(shù)快速估計(jì)。CD算法通過一步采樣的方式就可以得到足夠好的訓(xùn)練模型參數(shù)。

基于模型的對稱結(jié)構(gòu)以及獨(dú)立性，通過可見層的初始狀態(tài)v0得到其激活概率P(h|v0)以及隱含層的初始狀態(tài)h0。經(jīng)過一步吉布斯采樣，如圖4 所示，根據(jù)模型的初始狀態(tài)可以得到v1，h1。具體采樣流程如下。

圖4 吉布斯采樣Fig.4 Diagram of Gibbs sampling

模型隱含層的神經(jīng)元之間采用Sigmoid 函數(shù)作為激勵(lì)函數(shù)來對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，處理的函數(shù)公式為

由此可以得到可見層和隱含層在開啟狀態(tài)時(shí)的激活概率分布：

最后可以按照式（5）—式（7）和式（13）—式（15）更新模型的各個(gè)訓(xùn)練參數(shù)為：

式中：k為迭代次數(shù)。

2.2 基于粒子群優(yōu)化的預(yù)測模型

式中：ω為模型權(quán)值；c1和c2為學(xué)習(xí)因子常數(shù)；r1和r2為區(qū)間［0，1］內(nèi)的隨機(jī)數(shù)；d為粒子的個(gè)數(shù)；k為迭代次數(shù)。

基于PSO 算法特點(diǎn)，對DBN 無監(jiān)督訓(xùn)練后的模型參數(shù)進(jìn)一步優(yōu)化，提出了PSO-DBN 模型。該模型PSO 初始粒子群位置采用DBN 訓(xùn)練好的參數(shù)，然后PSO 對模型的回歸訓(xùn)練層進(jìn)行迭代優(yōu)化訓(xùn)練，訓(xùn)練參數(shù)分別為第一層的連接權(quán)值w1和偏置θ1，以及第二層的連接權(quán)值w2和偏置θ2，訓(xùn)練參數(shù)的更新公式為：

式中：k為迭代次數(shù)；s1為DBN 第一層的單元個(gè)數(shù)；s2為DBN 第二層的單元個(gè)數(shù)。

PSO-DBN 模型訓(xùn)練流程如圖5。

圖5 PSO-DBN模型訓(xùn)練流程Fig.5 Flow chart of PSO-DBN training model

第一步：對模型輸入?yún)?shù)進(jìn)行歸一化處理；

第二步：給出粒子群優(yōu)化算法的迭代次數(shù)和種群個(gè)數(shù)，算法的權(quán)值和學(xué)習(xí)因子按照經(jīng)驗(yàn)設(shè)置初始值，確定模型隱含層的神經(jīng)元個(gè)數(shù)；

第三步：按照第2.1 節(jié)給出的DBN 模型進(jìn)行無監(jiān)督訓(xùn)練；

第四步：使用粒子群優(yōu)化算法對無監(jiān)督訓(xùn)練好的模型參數(shù)進(jìn)行優(yōu)化更新，從而得到全局最優(yōu)解。模型約束條件為預(yù)設(shè)的迭代次數(shù)和期望誤差。

模型的目標(biāo)函數(shù)為

3 實(shí)驗(yàn)仿真

3.1 數(shù)據(jù)分析

對項(xiàng)目獲取的配電網(wǎng)負(fù)荷數(shù)據(jù)進(jìn)行建模分析，主要針對配電網(wǎng)負(fù)荷檢測值的歷史值進(jìn)行模型訓(xùn)練和預(yù)測。由于變電站不同設(shè)備各個(gè)點(diǎn)之間的數(shù)據(jù)存在差異性，為了使預(yù)測模型對變電站的不同點(diǎn)數(shù)據(jù)具有普適性，選取數(shù)據(jù)庫中一個(gè)點(diǎn)的量測數(shù)據(jù)作為實(shí)驗(yàn)對象，且對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行歸一化處理，提高訓(xùn)練模型的訓(xùn)練速度和模型精度。

圖6 繪制了100 天該點(diǎn)的負(fù)荷值變化曲線。進(jìn)行預(yù)測時(shí)，選擇前7 個(gè)時(shí)刻的值作為輸入變量進(jìn)行預(yù)測，即xi=[x(t-7),x(t-6),…,x(t-2),x(t-1)]作為t時(shí)刻的輸入變量，輸出變量表達(dá)式為yi=x(t)，即用該時(shí)刻的值作為輸出。

圖6 負(fù)荷變化曲線Fig.6 Load variation curves

3.2 仿真結(jié)果

分別設(shè)置粒子群優(yōu)化算法的迭代最大數(shù)和種群個(gè)數(shù)為500 和30，權(quán)值ω為0.9，學(xué)習(xí)因子c1和c2為1.494 45。DBN 的學(xué)習(xí)率ε為0.000 1，動(dòng)量因子α為0.09，隱含層個(gè)數(shù)n為20，DBN 訓(xùn)練次數(shù)為1 000 次。

將PSO-DBN 模型、DBN 模型與BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的數(shù)據(jù)仿真結(jié)果進(jìn)行對比。為了更好地評價(jià)預(yù)測模型在電力負(fù)荷預(yù)測方面的預(yù)測精度，采用均方根誤差（Root Mean Square Error，RMSE）以及平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）兩個(gè)指標(biāo)，對實(shí)驗(yàn)結(jié)果的準(zhǔn)確性進(jìn)行分析，具體指標(biāo)計(jì)算為：

式中：xe為真實(shí)數(shù)據(jù)為預(yù)測數(shù)據(jù)；ne為數(shù)據(jù)總數(shù)。

文中提出兩種預(yù)測模型與BP 神經(jīng)網(wǎng)絡(luò)模型的仿真對比結(jié)果如表1 所示。

表1 仿真結(jié)果Table 1 Simulation results

圖7 給出三種模型的收斂曲線。結(jié)合表1 的仿真結(jié)果和三種模型的時(shí)間復(fù)雜度可知，PSO-DBN 模型在電力負(fù)荷預(yù)測方面有較好的預(yù)測結(jié)果且收斂速度較快。

圖7 三種模型的收斂曲線Fig.7 Convergence curves of three model

4 結(jié)束語

大學(xué)城配電網(wǎng)負(fù)荷數(shù)據(jù)的完整性對于廣州大學(xué)城的用電統(tǒng)計(jì)分析和高級應(yīng)用正常運(yùn)行具有非常重要的意義。提出一種基于粒子群優(yōu)化算法的DBN預(yù)測模型，對缺失負(fù)荷數(shù)據(jù)進(jìn)行時(shí)間序列預(yù)測。結(jié)合DBN 自身的無監(jiān)督學(xué)習(xí)能力和PSO 的全局搜索能力，提高了預(yù)測模型的精度和收斂速度，在廣州大學(xué)城項(xiàng)目中的配電網(wǎng)負(fù)荷預(yù)測方面具有很好的現(xiàn)實(shí)意義。