譚 嘉， 李知藝， 楊 歡， 趙榮祥， 鞠 平, 2

(1. 浙江大學(xué) 電氣工程學(xué)院，杭州 310007；2. 河海大學(xué) 能源與電氣學(xué)院，南京 211100)

為加快推進(jìn)我國(guó)“碳達(dá)峰、碳中和”的目標(biāo)進(jìn)程，構(gòu)建以新能源為主體的新型電力系統(tǒng)是必由之路.隨著新能源裝機(jī)容量跨越式增長(zhǎng)[1]，分布式新能源、儲(chǔ)能、電動(dòng)汽車等新元素在配電網(wǎng)層面涌現(xiàn)，豐富了負(fù)荷內(nèi)涵，改變了負(fù)荷特性[2].相比傳統(tǒng)負(fù)荷，集成了這些新元素的配電網(wǎng)負(fù)荷具有更大的波動(dòng)性和隨機(jī)性，這將為配電網(wǎng)功率實(shí)時(shí)平衡帶來(lái)巨大的挑戰(zhàn).

用電負(fù)荷預(yù)測(cè)(不包含網(wǎng)損)是保障電網(wǎng)安全和經(jīng)濟(jì)運(yùn)行的基本前提之一[3].智能電表、傳感器等設(shè)備的廣泛使用使得配電網(wǎng)積累了海量的、來(lái)源多樣的歷史負(fù)荷數(shù)據(jù)，為數(shù)據(jù)驅(qū)動(dòng)的負(fù)荷預(yù)測(cè)技術(shù)奠定了必要的數(shù)據(jù)基礎(chǔ)[4].目前，負(fù)荷預(yù)測(cè)的方法主要有數(shù)學(xué)統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法[5].數(shù)學(xué)統(tǒng)計(jì)方法主要包括回歸分析法[6]、卡爾曼濾波法[7]、時(shí)間序列分析法[8]等.這類方法主要采用線性分析的思路，因此在處理負(fù)荷與其他因素(比如天氣)非線性關(guān)系時(shí)具有一定的局限性，預(yù)測(cè)效果一般.從20世紀(jì)80年代起，支持向量機(jī)[9]、人工神經(jīng)網(wǎng)絡(luò)[10]等機(jī)器學(xué)習(xí)方法取得了長(zhǎng)足發(fā)展，但這些方法在數(shù)據(jù)樣本較多時(shí)普遍存在無(wú)法收斂的問(wèn)題[11].近年來(lái)，以長(zhǎng)短期記憶(Long Short-Term Memory, LSTM)神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法解決了時(shí)間序列的長(zhǎng)期依賴問(wèn)題，在負(fù)荷預(yù)測(cè)應(yīng)用上取得了不錯(cuò)的效果.除了研究傳統(tǒng)的單一對(duì)象負(fù)荷預(yù)測(cè)以外，部分學(xué)者同樣致力于研究如何提高包含多個(gè)對(duì)象的負(fù)荷預(yù)測(cè)準(zhǔn)確度[12-16].尤其在不同電壓層級(jí)的待預(yù)測(cè)對(duì)象具有層級(jí)化結(jié)構(gòu)的情形下.例如，220 kV高壓輸電變電站采集負(fù)荷與110 kV次級(jí)輸電變電站采集負(fù)荷.針對(duì)層級(jí)化負(fù)荷結(jié)構(gòu)，通常需要在不同層級(jí)分別進(jìn)行負(fù)荷預(yù)測(cè)，從而形成完整的多層負(fù)荷預(yù)測(cè)結(jié)果.然而，該研究面臨的主要挑戰(zhàn)是如何保證產(chǎn)生的預(yù)測(cè)結(jié)果既在數(shù)學(xué)上滿足單負(fù)荷預(yù)測(cè)準(zhǔn)確度，又在物理上符合不同層級(jí)負(fù)荷之間的關(guān)聯(lián)規(guī)律.具體來(lái)說(shuō)，呈現(xiàn)層級(jí)化結(jié)構(gòu)的上層負(fù)荷與下層負(fù)荷具有聚合一致性，即下層所有相關(guān)節(jié)點(diǎn)的負(fù)荷預(yù)測(cè)值之和應(yīng)等于上層節(jié)點(diǎn)的負(fù)荷預(yù)測(cè)值，這樣才能保證電力調(diào)控、負(fù)荷控制等決策的實(shí)現(xiàn)效果.而由于各層負(fù)荷功率在峰值大小、測(cè)量精度等方面存在差異，現(xiàn)階段各層獨(dú)立預(yù)測(cè)的結(jié)果難以達(dá)到聚合一致性.傳統(tǒng)的方法(如自下而上和自上而下方法)由于忽略了負(fù)荷預(yù)測(cè)偏差隨層級(jí)結(jié)構(gòu)的疊加性，難以協(xié)同提升各層級(jí)負(fù)荷的預(yù)測(cè)準(zhǔn)確度.文獻(xiàn)[17]將跨層級(jí)負(fù)荷預(yù)測(cè)建模為最優(yōu)廣義最小二乘法回歸問(wèn)題，然后通過(guò)梯度下降法求解，以改善底層負(fù)荷的預(yù)測(cè)結(jié)果，進(jìn)而自下而上按層級(jí)結(jié)構(gòu)累加匯總得到上層的負(fù)荷預(yù)測(cè).文獻(xiàn)[18]采用機(jī)器學(xué)習(xí)中的極端梯度提升機(jī)(XGBoost)和隨機(jī)森林算法先對(duì)所有層級(jí)負(fù)荷分別進(jìn)行預(yù)測(cè)，然后建立新的機(jī)器學(xué)習(xí)模型，將先前得到的底層和上層預(yù)測(cè)結(jié)果作為輸入，并把修正后的底層負(fù)荷預(yù)測(cè)結(jié)果作為輸出.

理論上，多層負(fù)荷協(xié)同預(yù)測(cè)可以看作一個(gè)以各層負(fù)荷預(yù)測(cè)總誤差最小為目標(biāo)，以聚合一致性為約束條件的分布式優(yōu)化問(wèn)題.以機(jī)器學(xué)習(xí)問(wèn)題為例，分布式優(yōu)化算法主要有分布式梯度下降算法、二階優(yōu)化算法、鄰近梯度算法、坐標(biāo)下降算法和交替方向乘子算法(Alternating Direction Method of Multipliers，ADMM)等，每種算法各有優(yōu)劣[19].其中，交替方向乘子法[20]因融合對(duì)偶分解和拉格朗日乘子法優(yōu)點(diǎn)，在解決分布式優(yōu)化問(wèn)題時(shí)收斂性好，魯棒性強(qiáng)，受到研究學(xué)者的關(guān)注.因此，本文選用ADMM算法作為求解多層負(fù)荷協(xié)同預(yù)測(cè)問(wèn)題的算法框架.另外，由于底層負(fù)荷數(shù)據(jù)來(lái)源多，同步性差，難以在不同供電區(qū)域之間實(shí)時(shí)共享，即負(fù)荷量測(cè)和預(yù)測(cè)數(shù)據(jù)以孤島的形式呈現(xiàn)，亟需一種新的框架來(lái)打破數(shù)據(jù)孤島.聯(lián)邦學(xué)習(xí)因?yàn)槟芙鉀Q數(shù)據(jù)孤島問(wèn)題而受到研究學(xué)者的廣泛關(guān)注[21]，其于2016年由谷歌首次提出，并實(shí)現(xiàn)了數(shù)萬(wàn)臺(tái)移動(dòng)設(shè)備在終端數(shù)據(jù)不共享的情況下通過(guò)本地更新模型來(lái)完成學(xué)習(xí)任務(wù)[22].由于聯(lián)邦學(xué)習(xí)解決的問(wèn)題與本文面臨的供電區(qū)域數(shù)據(jù)孤島問(wèn)題相似，故考慮采用聯(lián)邦學(xué)習(xí)的架構(gòu)實(shí)現(xiàn)多層負(fù)荷協(xié)同預(yù)測(cè)模型的分布式訓(xùn)練.

鑒于上述分析，本文提出一種基于分布式優(yōu)化思想的配電網(wǎng)負(fù)荷多層協(xié)同預(yù)測(cè)算法，旨在通過(guò)多個(gè)深度學(xué)習(xí)模型的分布式聯(lián)邦訓(xùn)練，提升所有層級(jí)負(fù)荷的整體預(yù)測(cè)準(zhǔn)確度.算例結(jié)果表明，與傳統(tǒng)方法相比，本文方法在整體預(yù)測(cè)準(zhǔn)確度上有明顯的提升.

1 基于ADMM算法的多層負(fù)荷協(xié)同預(yù)測(cè)模型

1.1 模型構(gòu)建方法

配電網(wǎng)多層級(jí)負(fù)荷預(yù)測(cè)以2級(jí)和3級(jí)負(fù)荷為主[23].例如，“220 kV高壓輸電變電站-110 kV次級(jí)輸電變電站-10 kV中壓配變”屬于3級(jí)負(fù)荷預(yù)測(cè)問(wèn)題，“220 kV高壓輸電變電站采集負(fù)荷-110 kV次級(jí)輸電變電站采集負(fù)荷”等問(wèn)題屬于2級(jí)負(fù)荷預(yù)測(cè)問(wèn)題.由于3級(jí)負(fù)荷層級(jí)結(jié)構(gòu)具有現(xiàn)實(shí)普遍性且兼具理論研究難度，故本文以3級(jí)負(fù)荷層級(jí)結(jié)構(gòu)為例，介紹基于ADMM算法的多層負(fù)荷協(xié)同預(yù)測(cè)模型.

圖1 3級(jí)負(fù)荷層級(jí)結(jié)構(gòu)Fig.1 Three-level load hierarchical structure

基于上述分析，搭建n個(gè)負(fù)荷預(yù)測(cè)模型，分別對(duì)應(yīng)n個(gè)底層供電區(qū)域.首先考慮底層區(qū)域的預(yù)測(cè)準(zhǔn)確度，則整體的負(fù)荷預(yù)測(cè)目標(biāo)函數(shù)定義為

(1)

將底層供電區(qū)域的負(fù)荷預(yù)測(cè)結(jié)果逐級(jí)聚合，得到除L1以外的全部節(jié)點(diǎn)預(yù)測(cè)值.需注意的是，要使得所有上層節(jié)點(diǎn)負(fù)荷預(yù)測(cè)誤差最小，僅考慮L2各節(jié)點(diǎn)負(fù)荷預(yù)測(cè)約束條件是不夠的.例如，當(dāng)?shù)玫降腖2節(jié)點(diǎn)預(yù)測(cè)值均偏小，在聚合計(jì)算頂層負(fù)荷預(yù)測(cè)結(jié)果時(shí)，誤差的疊加會(huì)導(dǎo)致頂層負(fù)荷預(yù)測(cè)誤差更大.因此，同時(shí)考慮頂層節(jié)點(diǎn)的預(yù)測(cè)約束條件也很有必要.綜上，結(jié)合負(fù)荷實(shí)際值，構(gòu)造h+1個(gè)等式約束：

(2)

經(jīng)過(guò)分析，本文把一個(gè)3級(jí)負(fù)荷預(yù)測(cè)問(wèn)題描述成具有h+1個(gè)等式約束的n分塊優(yōu)化問(wèn)題，然后采用ADMM算法求解.

1.2 分解協(xié)調(diào)方法

ADMM是一種求解分布式優(yōu)化問(wèn)題的算法，其通過(guò)分解協(xié)調(diào)過(guò)程，將大的全局問(wèn)題分解為多個(gè)較小的局部子問(wèn)題，并通過(guò)協(xié)調(diào)子問(wèn)題的解來(lái)得到全局問(wèn)題的解.在處理復(fù)雜的優(yōu)化問(wèn)題時(shí)，ADMM算法具有較快的收斂速度，能得到更高質(zhì)量的解，且在解決具有加和約束的優(yōu)化問(wèn)題上具有獨(dú)特優(yōu)勢(shì)，適用于求解本文的約束優(yōu)化問(wèn)題[25].因此，對(duì)于本文1.1節(jié)所構(gòu)建的具有等式約束的n分塊優(yōu)化問(wèn)題，采用ADMM算法求解.

具體地，對(duì)于如式(1)、(2)所示的優(yōu)化問(wèn)題，采用ADMM算法引入對(duì)偶變量，根據(jù)拉格朗日乘子法，得到增廣拉格朗日函數(shù)：

(3)

式中：[θ1θ2…θn]是n個(gè)模型的待優(yōu)化參數(shù)；λ為拉格朗日乘子；ψ為求取向量所有元素均值的函數(shù)；ρ為懲罰因子.對(duì)每個(gè)等式約束，都引入一個(gè)拉格朗日乘子λj，因此式(3)中λ共含有h+1項(xiàng).

由于ADMM算法在更新單個(gè)模型參數(shù)時(shí)需固定其余模型，故對(duì)于正在更新的模型來(lái)說(shuō)，Lρ(θ,λ)損失函數(shù)中其余模型預(yù)測(cè)的均方誤差項(xiàng)可視為常數(shù)項(xiàng).為簡(jiǎn)化求解過(guò)程，當(dāng)更新某個(gè)模型參數(shù)時(shí)，刪去損失函數(shù)中與該模型不存在耦合關(guān)系的“常數(shù)項(xiàng)”，均方誤差項(xiàng)只含該模型預(yù)測(cè)的單個(gè)供電區(qū)域誤差.同理，聚合負(fù)荷的誤差項(xiàng)也只包含與該模型耦合的上層節(jié)點(diǎn)誤差.

基于上述分析，得到求解式(3)的ADMM迭代過(guò)程如下，按順序交替執(zhí)行每個(gè)步驟：

2 LSTM-ADMM多層負(fù)荷協(xié)同預(yù)測(cè)模型

2.1 基于聯(lián)邦學(xué)習(xí)架構(gòu)的模型訓(xùn)練流程

考慮到底層負(fù)荷的數(shù)據(jù)孤島問(wèn)題，采用聯(lián)邦學(xué)習(xí)的架構(gòu)進(jìn)行模型的交替訓(xùn)練和通信.

聯(lián)邦學(xué)習(xí)目標(biāo)是在保證數(shù)據(jù)隱私和不共享數(shù)據(jù)的情況下完成用戶客戶端的聯(lián)合建模.聯(lián)邦學(xué)習(xí)根據(jù)是否需要第三方服務(wù)器分為兩種，分別是客戶端-服務(wù)器架構(gòu)[26]和對(duì)等網(wǎng)絡(luò)架構(gòu)[27].前者是讓多個(gè)客戶端利用本地?cái)?shù)據(jù)訓(xùn)練本地模型，通過(guò)中央服務(wù)器聚合各個(gè)客戶端的模型參數(shù)并更新全局模型，然后將全局模型參數(shù)下發(fā)給各個(gè)客戶端，繼續(xù)用本地?cái)?shù)據(jù)更新模型，直到全局模型收斂為止.后者在訓(xùn)練過(guò)程中，不需要第三方服務(wù)器，客戶端之間可以直接通信.為了降低通信開(kāi)銷，選擇對(duì)等網(wǎng)絡(luò)架構(gòu)來(lái)對(duì)n個(gè)底層供電區(qū)域進(jìn)行聯(lián)邦訓(xùn)練.

多層負(fù)荷協(xié)同預(yù)測(cè)模型的聯(lián)邦學(xué)習(xí)架構(gòu)如圖2所示.在第k+1次迭代過(guò)程中，對(duì)n個(gè)模型按順序依次進(jìn)行更新.當(dāng)更新第i個(gè)模型時(shí)，前i-1個(gè)模型已完成第k+1次更新，因此輸出值固定為第k+1次迭代的值；第i+1～n個(gè)模型由于還未進(jìn)行第k+1次更新，輸出值固定為第k次迭代的值.圖2中的①、②、③表示更新第i個(gè)模型的一系列執(zhí)行步驟，其中步驟①表示各模型根據(jù)輸入特征得到輸出值，步驟②表示模型i同步接收這n-1個(gè)模型的輸出值并構(gòu)造損失函數(shù)，步驟③則指采用梯度下降法更新本地模型參數(shù).緊接著采用同樣方法更新第i+1,i+2, …,n個(gè)模型的參數(shù)，完成后進(jìn)入第k+2次迭代，繼續(xù)聯(lián)邦訓(xùn)練，直到迭代次數(shù)達(dá)到設(shè)定值，算法迭代結(jié)束.

圖2 多層負(fù)荷協(xié)同預(yù)測(cè)模型的聯(lián)邦學(xué)習(xí)架構(gòu)Fig.2 Federated learning structure of multi-level load collaborative forecasting model

2.2 LSTM網(wǎng)絡(luò)與輸入/輸出特征構(gòu)建

多層負(fù)荷預(yù)測(cè)模型的性能不僅與整體模型架構(gòu)有關(guān)，還與單個(gè)供電區(qū)域負(fù)荷模型的預(yù)測(cè)性能息息相關(guān).目前，應(yīng)用于負(fù)荷預(yù)測(cè)研究且取得不錯(cuò)效果的深度學(xué)習(xí)算法有門控循環(huán)網(wǎng)絡(luò)(GRU)、深度殘差網(wǎng)絡(luò)(ResNet)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、LSTM以及幾種算法的組合模型，這些模型都可應(yīng)用于本文提出的基于ADMM算法的多層負(fù)荷協(xié)同預(yù)測(cè)方法中.而且在具體的研究過(guò)程中，n個(gè)供電區(qū)域負(fù)荷模型可選取相同模型，也可以是異構(gòu)模型.為使本文所提方法極具說(shuō)服力，采用最具代表性的LSTM神經(jīng)網(wǎng)絡(luò)作為供電區(qū)域負(fù)荷預(yù)測(cè)的基礎(chǔ)模型.

LSTM網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，通過(guò)引入遺忘門、輸入門和輸出門，并通過(guò)遺忘機(jī)制和保存機(jī)制剔除某些不重要信息，保留有用信息并存入神經(jīng)元信息中[28].LSTM結(jié)構(gòu)如圖3所示，其特殊結(jié)構(gòu)使得它有利于解決長(zhǎng)時(shí)間序列對(duì)歷史數(shù)據(jù)長(zhǎng)期依賴的問(wèn)題，并且可以顯著改善訓(xùn)練過(guò)程中梯度消失及梯度爆炸問(wèn)題[29].LSTM內(nèi)部計(jì)算過(guò)程如下：

圖3 LSTM結(jié)構(gòu)Fig.3 Structure of LSTM

遺忘門：

ft=σ(Whfht-1+Wxfxt+bf)

(4)

輸入門：

it=σ(Whiht-1+Wxixt+bi)

(5)

(6)

(7)

輸出門：

ot=σ(Whoht-1+Wxoxt+bo)

(8)

ht=ot⊙tanhct

(9)

確定LSTM網(wǎng)絡(luò)的輸入和輸出特征是使模型獲得優(yōu)異性能的關(guān)鍵.其中輸入特征通常是影響負(fù)荷變化的屬性信息，例如氣象因素、季節(jié)信息、日期信息(星期)等[30].同時(shí)考慮到負(fù)荷數(shù)據(jù)具有周期性，待預(yù)測(cè)日當(dāng)天的負(fù)荷與前一周的負(fù)荷以及14日前同一時(shí)刻的負(fù)荷有很大相關(guān)性.因此本文LSTM網(wǎng)絡(luò)的輸入特征包括歷史負(fù)荷、溫度、月份和星期，且所有的輸入特征串聯(lián)成向量作為模型的單個(gè)特征，輸出特征即為待預(yù)測(cè)日當(dāng)天的實(shí)際負(fù)荷數(shù)據(jù).另外，LSTM網(wǎng)絡(luò)采用典型結(jié)構(gòu)，即1個(gè)輸入層、多個(gè)隱藏層和1個(gè)輸出層的結(jié)構(gòu)[31].前一層的輸出作為后一層的輸入，最后通過(guò)全連接層輸出得到負(fù)荷預(yù)測(cè)值.

2.3 多層負(fù)荷協(xié)同預(yù)測(cè)算法流程

基于分布式優(yōu)化思想的多層負(fù)荷協(xié)同預(yù)測(cè)算法訓(xùn)練步驟如下.

步驟1搭建n個(gè)LSTM模型，各模型在本地獨(dú)立預(yù)訓(xùn)練L次.

步驟2將1.2節(jié)構(gòu)造的增廣拉格朗日函數(shù)作為模型損失函數(shù)，采用梯度下降法并結(jié)合聯(lián)邦學(xué)習(xí)架構(gòu)，按照ADMM迭代順序交替訓(xùn)練各模型，并更新拉格朗日乘子.

步驟3通過(guò)不斷迭代訓(xùn)練各模型參數(shù)，最終模型學(xué)習(xí)到相應(yīng)供電區(qū)域的負(fù)荷變化規(guī)律以及上下級(jí)負(fù)荷的聚合一致性.訓(xùn)練結(jié)束，保存各模型參數(shù).

步驟4將測(cè)試集樣本中底層區(qū)域的輸入特征分別輸入訓(xùn)練好的模型中，輸出得到L1各區(qū)域的負(fù)荷預(yù)測(cè)結(jié)果：

L1:f1(θ1;x1),f2(θ2;x2), …,fn(θn;xn)

步驟5將L1負(fù)荷預(yù)測(cè)結(jié)果逐級(jí)聚合，得到L2與L3全部節(jié)點(diǎn)預(yù)測(cè)結(jié)果：

其中第1個(gè)訓(xùn)練步驟，各LSTM模型在本地獨(dú)立預(yù)訓(xùn)練L次，是為了使各模型達(dá)到預(yù)測(cè)準(zhǔn)確度較高的初始狀態(tài)，在此基礎(chǔ)上進(jìn)行聯(lián)邦訓(xùn)練可以減少迭代次數(shù).不僅如此，在準(zhǔn)確的初始狀態(tài)下，基于ADMM算法優(yōu)化調(diào)整各模型能進(jìn)一步提高整個(gè)層級(jí)結(jié)構(gòu)的負(fù)荷預(yù)測(cè)準(zhǔn)確度.

3 算例分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與平臺(tái)

本文所用數(shù)據(jù)來(lái)源于2017年全球能源預(yù)測(cè)競(jìng)賽[32]，由獨(dú)立系統(tǒng)運(yùn)營(yíng)商新英格蘭(ISONE)發(fā)布，該數(shù)據(jù)集包含3層負(fù)荷，底層包含8個(gè)區(qū)域.選擇馬薩諸塞州(MASS)的東南部(Southeastern MASS, SEMA)、中西部(Western and Central MASS, WCMA)、東北部(Northeastern MASS, NEMA)和佛蒙特州(VT)這4個(gè)底層區(qū)域的負(fù)荷數(shù)據(jù)等比縮小，構(gòu)造配電網(wǎng)3級(jí)負(fù)荷層級(jí)結(jié)構(gòu).其中L2的MASS負(fù)荷數(shù)據(jù)是SEMA、WCMA、NEMA 3個(gè)區(qū)域負(fù)荷數(shù)據(jù)的總和，L2的VT負(fù)荷數(shù)據(jù)與L1對(duì)應(yīng)的VT區(qū)域負(fù)荷數(shù)據(jù)相同，構(gòu)造的3級(jí)負(fù)荷層級(jí)結(jié)構(gòu)如圖4所示.使用數(shù)據(jù)包括從2013年1月1日至2016年12月31日的負(fù)荷數(shù)據(jù)、干球溫度、露點(diǎn)溫度和對(duì)應(yīng)的月份與星期，數(shù)據(jù)分辨率都為1 h.在構(gòu)造數(shù)據(jù)集時(shí)，對(duì)于底層區(qū)域，選取待預(yù)測(cè)日前1，2，3，4，5，6，7，14日的負(fù)荷數(shù)據(jù)以及當(dāng)天干球溫度、露點(diǎn)溫度、當(dāng)天對(duì)應(yīng)的月份、星期作為輸入特征(共242個(gè)數(shù)據(jù))，待預(yù)測(cè)日當(dāng)天的實(shí)際負(fù)荷數(shù)據(jù)作為模型輸出特征.對(duì)于L2和L3的區(qū)域，將待預(yù)測(cè)日當(dāng)天的實(shí)際負(fù)荷數(shù)據(jù)作為標(biāo)簽.數(shù)據(jù)預(yù)處理時(shí)，輸入特征、輸出特征和標(biāo)簽數(shù)據(jù)按照區(qū)域的不同，分別進(jìn)行歸一化.以上構(gòu)造的全部輸入、輸出特征和標(biāo)簽數(shù)據(jù)共同構(gòu)成聯(lián)邦預(yù)測(cè)模型的數(shù)據(jù)樣本，按照8∶2的比例劃分訓(xùn)練集和測(cè)試集.本文的模型構(gòu)建及訓(xùn)練均在Python編程環(huán)境下的PyTorch深度學(xué)習(xí)框架下進(jìn)行，使用硬件平臺(tái)為Intel Core i5 CPU和 NVDIA GTX 1660 GPU.

圖4 ISONE負(fù)荷數(shù)據(jù)層級(jí)結(jié)構(gòu)Fig.4 Hierarchical structure of ISONE load data

3.2 模型超參數(shù)設(shè)置

為實(shí)現(xiàn)多客戶端的聯(lián)邦訓(xùn)練，共搭建4個(gè)LSTM模型，每個(gè)模型結(jié)構(gòu)和超參數(shù)的選擇都相同.經(jīng)過(guò)多次試驗(yàn)，最終確定LSTM模型由1個(gè)輸入層、4個(gè)隱藏層和1個(gè)輸出層構(gòu)成，其中隱藏層神經(jīng)元個(gè)數(shù)都為100.輸出層是一個(gè)線性的全連接層，將輸出數(shù)據(jù)特征限制為24，即待預(yù)測(cè)日當(dāng)天24個(gè)時(shí)刻的負(fù)荷值.

此外，采用Adam優(yōu)化算法更新模型參數(shù)，并將學(xué)習(xí)率設(shè)置為10-3.多次試驗(yàn)表明，模型預(yù)訓(xùn)練迭代次數(shù)為200時(shí)，底層負(fù)荷的預(yù)測(cè)誤差已小于3%，達(dá)到了較準(zhǔn)確的初始狀態(tài)，因此確定預(yù)訓(xùn)練迭代次數(shù)為200，聯(lián)邦訓(xùn)練迭代次數(shù)設(shè)為500，批處理數(shù)為128，拉格朗日乘子λ初始值設(shè)為0.1，懲罰因子ρ設(shè)為0.1.

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

選取平均絕對(duì)百分比誤差(Mean Absolute Percentage Error, MAPE)、均方根誤差(Root Mean Square Error, RMSE)和平均精度[33](Mean Accuracy, MA)作為預(yù)測(cè)結(jié)果的評(píng)價(jià)指標(biāo)：

(10)

(11)

MA=1-MAPE

(12)

3.4 實(shí)驗(yàn)結(jié)果分析

在對(duì)比實(shí)驗(yàn)中，將本文方法與各層獨(dú)立預(yù)測(cè)以及自下而上的傳統(tǒng)方法進(jìn)行比較，對(duì)測(cè)試集的數(shù)據(jù)進(jìn)行24 h的短期負(fù)荷預(yù)測(cè)，得到MAPE、RMSE、MA這3種指標(biāo)的實(shí)驗(yàn)結(jié)果分別如表1～3所示.各層獨(dú)立預(yù)測(cè)方法分別對(duì)每個(gè)區(qū)域負(fù)荷采用單個(gè)LSTM模型進(jìn)行預(yù)測(cè)，忽略了上下級(jí)負(fù)荷聚合一致性的約束，該方法作為實(shí)驗(yàn)的基礎(chǔ)對(duì)照方案.自下而上的傳統(tǒng)方法用LSTM模型得到底層區(qū)域的負(fù)荷預(yù)測(cè)，再按層級(jí)結(jié)構(gòu)累加匯總成上層的負(fù)荷預(yù)測(cè)，以下簡(jiǎn)稱傳統(tǒng)方法.同時(shí)，為了體現(xiàn)本文方法選取LSTM作為基礎(chǔ)模型的優(yōu)越性，將LSTM替換為人工神經(jīng)網(wǎng)絡(luò)(ANN)和線性回歸方法，對(duì)比3種模型在本文方法下的預(yù)測(cè)效果.表1～3中，將各列指標(biāo)最優(yōu)的數(shù)據(jù)加粗，以突出預(yù)測(cè)性能最佳的方法.另外，表中分別用“√”、“×”表示是否考慮聚合一致性.從表中可以看出，結(jié)合LSTM的本文方法獲得的負(fù)荷預(yù)測(cè)結(jié)果不僅滿足了上下級(jí)負(fù)荷聚合一致性的約束條件，而且顯著提高了預(yù)測(cè)精度.

表1 不同方法的負(fù)荷預(yù)測(cè)MAPE比較

表2 不同方法的負(fù)荷預(yù)測(cè)RMSE比較

表3 不同方法的負(fù)荷預(yù)測(cè)MA比較

具體來(lái)說(shuō)，首先對(duì)比均采用LSTM的獨(dú)立預(yù)測(cè)方法、傳統(tǒng)方法以及本文方法.與傳統(tǒng)方法相比，本文方法對(duì)每層負(fù)荷預(yù)測(cè)的誤差(MAPE，RMSE)都更小、平均精度(MA)都更高.隨著層級(jí)的增加，MAPE逐層遞減，L3的MAPE低至1.03%，是采用傳統(tǒng)方法獲得的同一層級(jí)MAPE的1/3.對(duì)比均方根誤差，本文方法獲得的RMSE在絕對(duì)數(shù)值上顯著小于傳統(tǒng)方法，前者的RMSE平均值是后者平均值的0.38，可見(jiàn)本文方法預(yù)測(cè)效果顯著突出.對(duì)比兩種方法在整個(gè)層級(jí)結(jié)構(gòu)的平均精度，本文方法的MA高達(dá)98.54%，同樣優(yōu)于傳統(tǒng)方法.將本文方法與獨(dú)立預(yù)測(cè)方法進(jìn)行對(duì)比，不難發(fā)現(xiàn)，本文方法獲得的預(yù)測(cè)結(jié)果不僅滿足上下級(jí)負(fù)荷的聚合一致性，在預(yù)測(cè)精度上更是優(yōu)于獨(dú)立預(yù)測(cè)方法.這主要得益于ADMM算法在模型聯(lián)邦訓(xùn)練過(guò)程中融入了難以顯式建模的區(qū)域負(fù)荷間的相關(guān)性以及負(fù)荷的聚合一致性，在模型交替訓(xùn)練過(guò)程中不斷修正原始負(fù)荷預(yù)測(cè)數(shù)據(jù)，因而得到精準(zhǔn)的負(fù)荷預(yù)測(cè)結(jié)果.綜上可以說(shuō)明，本文的ADMM算法在預(yù)測(cè)效果上全面優(yōu)于各層獨(dú)立預(yù)測(cè)方法和傳統(tǒng)方法，可作為電網(wǎng)統(tǒng)一各個(gè)層級(jí)的負(fù)荷預(yù)測(cè)結(jié)果的有效方法之一.此外，對(duì)比LSTM、ANN和線性回歸方法，不難發(fā)現(xiàn)，在本文方法的框架下，采用LSTM基礎(chǔ)模型獲得了最高的預(yù)測(cè)精度.這說(shuō)明本文方法的預(yù)測(cè)效果依賴于所選取的基礎(chǔ)模型，而LSTM作為深度學(xué)習(xí)算法的代表性模型，相比機(jī)器學(xué)習(xí)方法和數(shù)學(xué)統(tǒng)計(jì)方法體現(xiàn)出了明顯的優(yōu)勢(shì).

為驗(yàn)證結(jié)合LSTM的本文方法所訓(xùn)練的模型已達(dá)到穩(wěn)定，繪制訓(xùn)練過(guò)程中平均絕對(duì)百分比誤差隨迭代次數(shù)的變化曲線，如圖5所示.圖中分別展示了3個(gè)層級(jí)的MAPE，其中L1、L2、L3分別選取SEMA、MASS和ISONE數(shù)據(jù)作為代表.可以看出，當(dāng)?shù)螖?shù)達(dá)到500次時(shí)，各層的MAPE已趨于最小值并在最小值附近輕微振蕩，說(shuō)明模型已達(dá)到收斂.

圖5 MAPE變化曲線Fig.5 Variation curves of MAPE

另外，繪制5種方法的負(fù)荷預(yù)測(cè)曲線，如圖6所示，預(yù)測(cè)數(shù)據(jù)選取測(cè)試集中連續(xù)的5天，數(shù)據(jù)分辨率為1 h，圖中L為負(fù)荷.可以看出，結(jié)合LSTM的本文方法得到的負(fù)荷預(yù)測(cè)曲線誤差最小，對(duì)于每一層級(jí)的數(shù)據(jù)都最好地?cái)M合了實(shí)際負(fù)荷的變化曲線.而結(jié)合線性回歸的本文方法預(yù)測(cè)誤差最明顯，這說(shuō)明數(shù)學(xué)統(tǒng)計(jì)方法在預(yù)測(cè)效果上已逐漸被機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法所超越.當(dāng)僅關(guān)注獨(dú)立預(yù)測(cè)方法、傳統(tǒng)方法和本文方法(LSTM)時(shí)，對(duì)于L2和L3的數(shù)據(jù)，傳統(tǒng)方法的誤差最大，這主要是由于隨著層級(jí)結(jié)構(gòu)的增加，下層負(fù)荷預(yù)測(cè)誤差會(huì)在上層負(fù)荷疊加.對(duì)于各層數(shù)據(jù)，本文方法(LSTM)的負(fù)荷預(yù)測(cè)曲線都比各層獨(dú)立預(yù)測(cè)得到的曲線更貼近實(shí)際值，這進(jìn)一步佐證了本文方法預(yù)測(cè)準(zhǔn)確度比獨(dú)立預(yù)測(cè)方法還要高，大大提升了各層級(jí)負(fù)荷預(yù)測(cè)準(zhǔn)確度.

圖6 三級(jí)負(fù)荷層級(jí)結(jié)構(gòu)的預(yù)測(cè)結(jié)果Fig.6 Forecast results of three-level load hierarchical structure

4 結(jié)語(yǔ)

本文提出了一種融合ADMM與LSTM算法優(yōu)勢(shì)的多層負(fù)荷協(xié)同預(yù)測(cè)方法，其在滿足負(fù)荷預(yù)測(cè)數(shù)據(jù)自下而上聚合一致性的同時(shí)，顯著提升了所有層級(jí)負(fù)荷的整體預(yù)測(cè)準(zhǔn)確度.采用的深度學(xué)習(xí)算法依靠純數(shù)據(jù)驅(qū)動(dòng)，無(wú)需任何顯式的建模，就能學(xué)習(xí)負(fù)荷的變化規(guī)律.同時(shí)，在負(fù)荷聚合一致性的約束下使用ADMM算法，使得模型的訓(xùn)練過(guò)程融入了負(fù)荷數(shù)據(jù)間的相關(guān)性以及負(fù)荷聚合一致性，進(jìn)而達(dá)到提升負(fù)荷預(yù)測(cè)準(zhǔn)確度的目的.算例結(jié)果表明，該方法具有突出的預(yù)測(cè)效果，可以幫助電網(wǎng)更好地協(xié)調(diào)各個(gè)層級(jí)的負(fù)荷預(yù)測(cè)結(jié)果.然而，本文未考慮節(jié)假日等假期因素對(duì)負(fù)荷預(yù)測(cè)的影響，在后續(xù)研究中，可在本文基礎(chǔ)上進(jìn)一步增加節(jié)假日的輸入特征，也可以考慮電價(jià)、濕度、降水量等其它特征，通過(guò)關(guān)鍵影響因素關(guān)聯(lián)分析確定最佳的輸入特征集，進(jìn)一步提高負(fù)荷預(yù)測(cè)準(zhǔn)確度.