趙洪山 吳雨晨 溫開云 孫承妍 薛 陽(yáng)

基于時(shí)空注意力機(jī)制的臺(tái)區(qū)多用戶短期負(fù)荷預(yù)測(cè)

趙洪山1吳雨晨1溫開云1孫承妍1薛 陽(yáng)2

（1.河北省分布式儲(chǔ)能與微網(wǎng)重點(diǎn)實(shí)驗(yàn)室（華北電力大學(xué)） 保定 071003 2. 中國(guó)電力科學(xué)研究院有限公司 北京 100180）

針對(duì)在低壓臺(tái)區(qū)海量高波動(dòng)用戶負(fù)荷預(yù)測(cè)場(chǎng)景下，傳統(tǒng)探索單個(gè)用戶時(shí)間特征的負(fù)荷預(yù)測(cè)方法存在無(wú)法學(xué)習(xí)用戶之間的空間相關(guān)性、無(wú)法實(shí)現(xiàn)多用戶共同預(yù)測(cè)的問(wèn)題，該文提出一種基于時(shí)空注意力機(jī)制的Transformer負(fù)荷預(yù)測(cè)模型（STformer），提供精準(zhǔn)的臺(tái)區(qū)多用戶短期負(fù)荷預(yù)測(cè)。首先，改進(jìn)傳統(tǒng)Transformer模型，嵌入序列分解模塊、自相關(guān)計(jì)算模塊和空間注意力模塊。其中，序列分解模塊可以將波動(dòng)較大的用戶負(fù)荷曲線分解為相對(duì)平穩(wěn)的多個(gè)子序列，有助于更好地提取負(fù)荷曲線的時(shí)間依賴性和周期因子；自相關(guān)計(jì)算是一種改進(jìn)的注意力機(jī)制，可以挖掘多個(gè)歷史同時(shí)期子序列的時(shí)間相關(guān)性；空間注意力機(jī)制可以提取臺(tái)區(qū)多用戶之間的動(dòng)態(tài)空間相關(guān)性。然后，利用蒙特卡洛隨機(jī)失活方法（MC dropout）將STformer拓展到臺(tái)區(qū)多用戶負(fù)荷概率預(yù)測(cè)。最后，采用真實(shí)臺(tái)區(qū)多用戶負(fù)荷數(shù)據(jù)集進(jìn)行驗(yàn)證，與多種負(fù)荷預(yù)測(cè)模型進(jìn)行對(duì)比，證明STformer模型可有效提高短期多用戶負(fù)荷點(diǎn)預(yù)測(cè)和概率預(yù)測(cè)的精確性和魯棒性。

多用戶負(fù)荷預(yù)測(cè) 時(shí)空相關(guān)性 Transformer模型

0 引言

在“碳達(dá)峰·碳中和”目標(biāo)的指導(dǎo)下，大量用戶側(cè)分布式電源從低壓配電臺(tái)區(qū)入網(wǎng)，加劇了能源消耗模式的波動(dòng)性和不確定性[1]。面對(duì)高波動(dòng)的負(fù)荷曲線，在未來(lái)幾分鐘或幾小時(shí)內(nèi)對(duì)低壓臺(tái)區(qū)單個(gè)用戶進(jìn)行準(zhǔn)確且高效的短期電力負(fù)荷預(yù)測(cè)對(duì)需求側(cè)響應(yīng)、可再生能源消納具有重要價(jià)值[2-3]。此外，智能電表等裝置在用戶側(cè)的廣泛使用一方面為電力企業(yè)分析臺(tái)區(qū)用戶用電行為之間的關(guān)聯(lián)提供了數(shù)據(jù)基礎(chǔ)[4]；另一方面也帶來(lái)了海量用戶的負(fù)荷預(yù)測(cè)需求[5]，這意味著傳統(tǒng)僅針對(duì)單個(gè)對(duì)象的預(yù)測(cè)方法無(wú)法滿足海量用戶的新形勢(shì)。因此，需要一個(gè)針對(duì)多用戶的負(fù)荷預(yù)測(cè)模型，方便、高效、精確地完成海量用戶的點(diǎn)預(yù)測(cè)和概率預(yù)測(cè)任務(wù)。

目前，一方面由于用戶級(jí)數(shù)據(jù)的缺乏；另一方面由于系統(tǒng)級(jí)負(fù)荷序列更為平穩(wěn)，周期性規(guī)律較強(qiáng)，導(dǎo)致負(fù)荷預(yù)測(cè)的研究主要集中在系統(tǒng)級(jí)，即針對(duì)臺(tái)區(qū)的總負(fù)荷進(jìn)行預(yù)測(cè)。經(jīng)典機(jī)器學(xué)習(xí)方法如多元線性回歸（Logistic Regression, LR）[6-7]、支持向量機(jī)（Support Vector Regression, SVR）[8-10]、隨機(jī)森林[11]、前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network, FNN）等都在系統(tǒng)級(jí)負(fù)荷預(yù)測(cè)領(lǐng)域證明了其有效性。然而，由于用戶用電行為具有主觀性和隨機(jī)性，易受氣象條件、市場(chǎng)電價(jià)等因素影響，與系統(tǒng)級(jí)負(fù)荷相比，用戶級(jí)負(fù)荷往往更不規(guī)則，波動(dòng)性更大。因此，提供精準(zhǔn)的用戶級(jí)負(fù)荷預(yù)測(cè)仍然為一項(xiàng)極大的挑戰(zhàn)。

隨著智能電表等設(shè)備的發(fā)展，學(xué)者們將目光越來(lái)越聚焦于用戶側(cè)。近年來(lái)，深度學(xué)習(xí)模型在負(fù)荷預(yù)測(cè)領(lǐng)域受到廣泛關(guān)注，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）[12-14]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）[15-17]、Transformer等模型進(jìn)一步提升了負(fù)荷預(yù)測(cè)模型的性能和精準(zhǔn)度?，F(xiàn)有的用戶負(fù)荷預(yù)測(cè)方法大多是針對(duì)單個(gè)用戶的時(shí)間序列使用深度學(xué)習(xí)模型進(jìn)行預(yù)測(cè)，例如，文獻(xiàn)[18]以向量自回歸模型、高斯過(guò)程回歸模型和長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short Term Memory network, LSTM）異構(gòu)模型為基礎(chǔ)模型，基于權(quán)重系數(shù)進(jìn)行組合預(yù)測(cè)。文獻(xiàn)[19]利用氣象及環(huán)境信息預(yù)測(cè)單個(gè)用戶的負(fù)荷信息，采用CNN提取特征并輸入RNN中進(jìn)行預(yù)測(cè)。文獻(xiàn)[20]通過(guò)特征工程框架，使用基于機(jī)器學(xué)習(xí)的增強(qiáng)方法提高單個(gè)住宅短期負(fù)荷預(yù)測(cè)的準(zhǔn)確性。然而，上述方法都是對(duì)單個(gè)用戶的時(shí)間特征進(jìn)行建模而忽略了多用戶間的空間相關(guān)性。同一區(qū)域內(nèi)的用戶共享著相同的地理空間、氣象條件、節(jié)假日信息、電價(jià)政策等綜合因素，用戶用電行為之間往往會(huì)存在一定的時(shí)空相關(guān)性。若能充分挖掘這種時(shí)空相關(guān)性，將對(duì)短期用戶負(fù)荷的建模產(chǎn)生極為積極的意義。

目前已有少量文獻(xiàn)對(duì)考慮時(shí)空相關(guān)性的用戶負(fù)荷預(yù)測(cè)進(jìn)行了初步的探索。時(shí)空電力負(fù)荷預(yù)測(cè)傾向于使用所有用戶的信息來(lái)訓(xùn)練模型，通過(guò)提取不同用戶單元之間的潛在依賴關(guān)系來(lái)提高整體預(yù)測(cè)精度，不同用戶間的潛在依賴關(guān)系在一定程度上也反映了外因的影響，這樣能在缺少外部數(shù)據(jù)的情況下得到比較精確的預(yù)測(cè)結(jié)果。例如，文獻(xiàn)[21]提出一種基于CNN和LSTM的混合模型，融合多個(gè)用戶之間的長(zhǎng)期變化趨勢(shì)和短期負(fù)荷相似性；文獻(xiàn)[22-23]提出一種基于圖神經(jīng)網(wǎng)絡(luò)（Graph WaveNet, GWN）的短期居民負(fù)荷預(yù)測(cè)方法，利用“圖學(xué)習(xí)”的方法描述用戶負(fù)荷的時(shí)空相關(guān)性。上述方法在面對(duì)多用戶負(fù)荷預(yù)測(cè)時(shí)都取得了相比于傳統(tǒng)方法更為優(yōu)秀的效果。然而，應(yīng)當(dāng)注意到已有的時(shí)空方法只能提供確定性預(yù)測(cè)，無(wú)法提供概率預(yù)測(cè)。概率預(yù)測(cè)以預(yù)測(cè)區(qū)間、概率密度函數(shù)等形式呈現(xiàn)，可以幫助運(yùn)營(yíng)商制定基于風(fēng)險(xiǎn)的決策。近年來(lái)，面對(duì)電網(wǎng)高比例滲透新能源帶來(lái)的不確定性，概率預(yù)測(cè)在市場(chǎng)交易、運(yùn)行調(diào)度等環(huán)節(jié)發(fā)揮著越來(lái)越大的作用。

Transformer模型[24]是一種完全基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)，其直接輸出預(yù)測(cè)長(zhǎng)度的預(yù)測(cè)序列，允許對(duì)序列進(jìn)行相關(guān)性建模而不考慮它們之間的距離，因此適用于臺(tái)區(qū)多用戶負(fù)荷預(yù)測(cè)問(wèn)題。但是，標(biāo)準(zhǔn)的Transformer模型無(wú)法捕捉序列之間的空間相關(guān)性，無(wú)法處理高波動(dòng)性序列，所以需要對(duì)標(biāo)準(zhǔn)Transformer模型作一定的修改。

針對(duì)上述問(wèn)題，本文首先提出一種基于時(shí)空注意力機(jī)制的Transformer負(fù)荷預(yù)測(cè)模型（Spatial-Temprol Transformer, STformer）。通過(guò)改進(jìn)標(biāo)準(zhǔn)的Transformer自注意力機(jī)制，為每個(gè)編碼器和解碼器嵌入三種模塊：序列分解模塊、自相關(guān)計(jì)算模塊和空間注意力模塊，有效提取高波動(dòng)性居民用戶之間的動(dòng)態(tài)時(shí)空依賴關(guān)系。然后，利用蒙特卡洛隨機(jī)失活方法（MC dropout）將STformer拓展到概率預(yù)測(cè)領(lǐng)域。該方法不需要對(duì)STformer進(jìn)行額外修改，但使得STformer具備了同時(shí)輸出點(diǎn)預(yù)測(cè)和概率預(yù)測(cè)結(jié)果的能力。概率預(yù)測(cè)提供的不確定性信息可以幫助電力運(yùn)營(yíng)商作出基于風(fēng)險(xiǎn)的決策。

1 STformer網(wǎng)絡(luò)架構(gòu)

針對(duì)臺(tái)區(qū)多用戶負(fù)荷預(yù)測(cè)時(shí)空依賴關(guān)系復(fù)雜的問(wèn)題，提出一種新的預(yù)測(cè)方法——基于時(shí)空注意力機(jī)制的Transformer（STformer），模型架構(gòu)如圖1所示。

模型設(shè)計(jì)遵循編碼器-解碼器結(jié)構(gòu)。編碼器/解碼器包含序列分解模塊、自相關(guān)模塊和空間注意力模塊，目的是進(jìn)行過(guò)去/未來(lái)的周期信息建模和空間信息建模。此外，解碼器還可累積趨勢(shì)分量，進(jìn)行趨勢(shì)信息的建模。具體措施如下：

圖1 STformer模型架構(gòu)

1）打破序列分解的預(yù)處理慣例，并將其改造為模型的基本內(nèi)部塊，賦予模型復(fù)雜時(shí)間序列的漸進(jìn)分解能力。一方面可以將受新能源接入影響波動(dòng)較大的用戶負(fù)荷曲線分解為相對(duì)平穩(wěn)的多個(gè)子序列；另一方面解決了未來(lái)預(yù)測(cè)負(fù)荷以及中間隱藏變量難以分解的問(wèn)題，有利于消除干擾信息，細(xì)化預(yù)測(cè)結(jié)果。

2）設(shè)計(jì)基于序列周期性的自相關(guān)機(jī)制，使用快速傅里葉變換（Fast Fourier Transform, FFT）代替矩陣乘法，降低輸入數(shù)據(jù)帶來(lái)的大計(jì)算量。

3）利用池化、卷積等操作設(shè)計(jì)空間注意力模塊，挖掘與利用多用戶負(fù)荷之間的復(fù)雜空間關(guān)系。

1.1 編碼器和解碼器

1.1.1 編碼器

編碼器的輸入enc由用戶負(fù)荷序列in和時(shí)間編碼結(jié)果經(jīng)過(guò)數(shù)值嵌入后相加得到。其中，數(shù)值嵌入操作是為方便后續(xù)的殘差連接及模型堆疊，將數(shù)據(jù)由維的輸入空間投影到model維的模型空間以對(duì)齊模型的數(shù)據(jù)維度。編碼器側(cè)重于周期性分量的建模和空間信息建模，經(jīng)過(guò)序列分解得到的趨勢(shì)分量被丟棄。編碼器的輸出包含過(guò)去的周期性信息和空間信息，將作為交叉信息輸入解碼器中幫助解碼器完善預(yù)測(cè)結(jié)果。

1.1.2 解碼器

解碼器分為兩部分，上半部分用于周期信息建模的堆積式自動(dòng)相關(guān)機(jī)制和空間相關(guān)性的提??；下半部分用于趨勢(shì)信息的積累。解碼器的輸入為des和det兩個(gè)序列。des和det的前半部分為in后半部分進(jìn)行分解后所得到的周期分量ens和趨勢(shì)分量ent。des和det的后半部分分別為長(zhǎng)度為pre的0占位符和平均值占位符和。des和det變換到model維度再分別和model維度的時(shí)間信息相加作為解碼器的兩個(gè)輸入。每個(gè)解碼器層包含內(nèi)部的自相關(guān)可以細(xì)化預(yù)測(cè)中的周期性信息，編碼器-解碼器自相關(guān)有助于利用過(guò)去的周期性信息，空間注意力模塊可以提取空間相關(guān)性。同時(shí)，解碼器還從中間的隱藏變量中提取潛在的趨勢(shì)，使STformer能夠逐步細(xì)化趨勢(shì)預(yù)測(cè)。

1.2 序列分解模塊

如圖1所示，序列分解模塊被集成到框架的內(nèi)部，而不是在數(shù)據(jù)預(yù)處理過(guò)程中應(yīng)用時(shí)間序列分解。這種漸進(jìn)分解的結(jié)構(gòu)可以分解歷史數(shù)據(jù)、未來(lái)數(shù)據(jù)和中間隱藏變量，并且捕捉趨勢(shì)部分和季節(jié)部分潛在的未來(lái)交互。這種分解模塊通過(guò)移動(dòng)平均的方法實(shí)現(xiàn)，先通過(guò)一個(gè)平均池化層得到趨勢(shì)部分，再減去趨勢(shì)部分得到季節(jié)部分。對(duì)時(shí)間序列進(jìn)行分解可以表示為

式中，t和s分別為趨勢(shì)部分和季節(jié)部分，t,s∈R×d；AvgPool(·)為平均池化，等價(jià)于對(duì)序列進(jìn)行滑動(dòng)平均；Padding(·)為對(duì)輸入進(jìn)行填充，以確保輸入輸出序列長(zhǎng)度一致。整個(gè)分解過(guò)程可以表示為

式中，SeriesDelomp(·)為序列分解過(guò)程。

1.3 空間注意力模塊

空間注意力模塊如圖2所示，由卷積操作和空間注意力操作兩部分構(gòu)成。首先使用卷積操作對(duì)時(shí)序分解后的季節(jié)性部分進(jìn)行深層次特征挖掘；然后對(duì)挖掘的特征作空間注意力操作?？臻g注意力操作可以定位空間中有效的信息并進(jìn)行特征加權(quán)，學(xué)習(xí)重要的空間特征。

圖2 空間注意力模塊

式中，*代表卷積運(yùn)算；為用到的個(gè)卷積濾波器。

然后，將原始特征中的空間信息變換到另一個(gè)空間中并保留關(guān)鍵信息，計(jì)算式為

1.4 自相關(guān)機(jī)制

自相關(guān)機(jī)制首先通過(guò)計(jì)算序列自相關(guān)來(lái)發(fā)現(xiàn)基于周期的相關(guān)性，然后通過(guò)時(shí)間延遲聚合來(lái)聚合相似的子序列。自相關(guān)機(jī)制如圖3所示，利用快速傅里葉變換計(jì)算自相關(guān)系數(shù)()，它反映了時(shí)間延遲的相似性。再根據(jù)選定的延遲將相似的子過(guò)程滾動(dòng)到相同的指數(shù)，并通過(guò)()進(jìn)行聚合。

圖3 自相關(guān)機(jī)制

1.4.1 傅里葉簡(jiǎn)化自相關(guān)計(jì)算

自相關(guān)的概念來(lái)自信號(hào)分析，表示的是同一個(gè)時(shí)間序列在任意兩個(gè)不同時(shí)刻的取值之間的相關(guān)程度。本文采用維納-辛欽定理簡(jiǎn)化了自相關(guān)的運(yùn)算。維納-辛欽定理在傅里葉光學(xué)領(lǐng)域被提出，它指出任意一個(gè)均值為常數(shù)的廣義平穩(wěn)隨機(jī)過(guò)程的功率譜密度是其自相關(guān)函數(shù)的傅里葉變換。這種自相關(guān)的高效計(jì)算可以實(shí)現(xiàn)(log2)的復(fù)雜度，其中為序列長(zhǎng)度。對(duì)于序列分解塊分解出的周期分量s，先經(jīng)過(guò)投影得到查詢向量被查詢信息與其他信息的相關(guān)性向量被查詢信息向量，自相關(guān)系數(shù)()簡(jiǎn)化計(jì)算過(guò)程為

1.4.2 時(shí)間延遲聚合

圖4 時(shí)間延遲聚合

2 基于蒙特卡洛隨機(jī)失活的概率預(yù)測(cè)

捕捉模型中的不確定性是實(shí)現(xiàn)時(shí)間序列的概率預(yù)測(cè)的一種方法[26]。貝葉斯概率理論是解釋模型不確定性的有效工具，但它通常需要高昂的計(jì)算成本，因此選擇使用基于神經(jīng)網(wǎng)絡(luò)的MC dropout方法近似貝葉斯理論[27]降低計(jì)算成本。具體過(guò)程如下：

給定一組個(gè)觀測(cè)值={1,2,…,x}和預(yù)測(cè)值={1,2,…,y}，設(shè)f(·)為參數(shù)為的神經(jīng)網(wǎng)絡(luò)。貝葉斯推斷旨在找到模型參數(shù)后驗(yàn)分布(|,)。當(dāng)測(cè)試樣本*輸入訓(xùn)練模型時(shí)，通過(guò)計(jì)算邊緣化后驗(yàn)分布獲得預(yù)測(cè)值的概率分布為

式中，*為測(cè)試集的輸出。

預(yù)測(cè)分布的方差量化了預(yù)測(cè)不確定性，其可以使用總方差定律進(jìn)一步分解為

其中

此時(shí)，根據(jù)式（8），式（7）可以近似為

3 仿真驗(yàn)證

本文使用來(lái)自東南某省真實(shí)的臺(tái)區(qū)用戶負(fù)荷數(shù)據(jù)驗(yàn)證提出模型的有效性。為了檢測(cè)模型在不同數(shù)據(jù)集上的泛化性能，分別對(duì)A、B兩個(gè)居民臺(tái)區(qū)的數(shù)據(jù)集建立預(yù)測(cè)模型。每個(gè)臺(tái)區(qū)的數(shù)據(jù)集中包括多條用戶的歷史負(fù)荷信息和日期信息，對(duì)同一臺(tái)區(qū)的多用戶之間采用基于時(shí)空注意力機(jī)制的方法進(jìn)行聯(lián)合預(yù)測(cè)。兩個(gè)臺(tái)區(qū)分別有131個(gè)用戶和138個(gè)用戶，采樣周期為1 h，時(shí)間跨度為2021年4月1日至2022年3月31日。首先每次從中選取10%作為測(cè)試集，相當(dāng)于十折交叉驗(yàn)證；然后取剩下的80%作為訓(xùn)練集和10%作為驗(yàn)證集，每次隨機(jī)劃分訓(xùn)練集和驗(yàn)證集。

3.1 數(shù)據(jù)讀取和數(shù)據(jù)預(yù)處理

本文數(shù)據(jù)是個(gè)用戶一年的負(fù)荷數(shù)據(jù)和對(duì)應(yīng)的日期數(shù)據(jù)。先進(jìn)行數(shù)據(jù)預(yù)處理，將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并且將負(fù)荷數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。此外還將時(shí)間信息解析為4列數(shù)據(jù)（包括一天中的第幾個(gè)小時(shí)、一星期中的第幾天、一個(gè)月中的第幾個(gè)星期、節(jié)假日），數(shù)據(jù)范圍為(0,1)。

3.2 評(píng)價(jià)指標(biāo)與模型配置

針對(duì)點(diǎn)預(yù)測(cè)和概率預(yù)測(cè)選擇不同的評(píng)價(jià)指標(biāo)在測(cè)試集上衡量模型的預(yù)測(cè)性能，是交叉驗(yàn)證的平均。

1）點(diǎn)預(yù)測(cè)

使用平均絕對(duì)百分比誤差（Mean Absolute Percentage Error, MAPE）、平均絕對(duì)誤差（Mean Absolute Error, MAE）作為度量來(lái)計(jì)算模型的預(yù)測(cè)誤差，計(jì)算公式分別為

為了比較在單個(gè)用戶上的預(yù)測(cè)效果，計(jì)算每個(gè)用戶的MAPE和MAE的平均值，分別記作Avgr. MAPE和Avgr.MAE；為了比較在總體用戶上的預(yù)測(cè)效果，計(jì)算所有用戶的總預(yù)測(cè)值與總真實(shí)的MAPE和MAE，分別記作Aggr.MAPE和Aggr.MAPE。

2）概率預(yù)測(cè)

使用彈球損失（Pinball）和Winkler來(lái)量化MC dropout短期用戶負(fù)荷概率預(yù)測(cè)性能，Pinball和Winkler都可以綜合評(píng)估概率預(yù)測(cè)的區(qū)間可靠性和區(qū)間寬度。Pinball表達(dá)式為

式中，L和U分別為預(yù)測(cè)區(qū)間（Prediction Interval, PI）的下限和上限；為區(qū)間寬度，=U-L。

本文選擇了兩個(gè)機(jī)器學(xué)習(xí)模型——支持向量回歸（Support Vector Regression, SVR）、線性回歸（Linear Regression, LR）和五個(gè)深度學(xué)習(xí)模型——FNN、LSTM、卷積門控循環(huán)單元（Convolutional Neural Network-Gate Recurrent Unit, CNN-GRU）、GWN、Transformer與所提出的模型進(jìn)行比較。上述網(wǎng)絡(luò)模型中，F(xiàn)NN模型的隱藏層數(shù)為3，隱藏層神經(jīng)元個(gè)數(shù)分別設(shè)置為40、40、20；SVR模型的核函數(shù)采用徑向基函數(shù)，懲罰參數(shù)為5；LSTM模型隱藏層神經(jīng)元個(gè)數(shù)為512，使用Adam優(yōu)化器來(lái)訓(xùn)練，

初始學(xué)習(xí)率為0.001；CNN-GRU模型的卷積層數(shù)為3，GRU層數(shù)為1，全連通層數(shù)為1，卷積核大小為(2, 1)；GWN模型的層數(shù)為8，其膨脹因子為1、2、1、2、1、2、1、2；Transformer及其改進(jìn)算法的主要超參數(shù)見(jiàn)表1。所有程序在配置RTX A5000顯卡、16核 Intel(R) Xeon(R) Platinum 8350C CPU的計(jì)算機(jī)上利用python實(shí)現(xiàn)。

表1 STformer主要參數(shù)

Tab.1 Main parameters used in STformer

3.3 提前1 h點(diǎn)預(yù)測(cè)結(jié)果

3.3.1 臺(tái)區(qū)單個(gè)用戶的預(yù)測(cè)效果

表2列出了不同模型在兩個(gè)臺(tái)區(qū)預(yù)測(cè)結(jié)果的Avgr.MAPE、Avgr.MAE，圖6a和圖6c列出了不同模型在每個(gè)具體用戶上的MAPE值。由表2可以看出，在A臺(tái)區(qū)和B臺(tái)區(qū)中預(yù)測(cè)效果最差的三個(gè)模型是FNN、SVR、LR，這是因?yàn)樗鼈儾簧朴谔崛≥斎胼敵鲋g的復(fù)雜映射關(guān)系。相比之下，LSTM和CNN-GRU的預(yù)測(cè)效果優(yōu)于上述三個(gè)算法。這主要?dú)w功于LSTM網(wǎng)絡(luò)模型能較好地提取負(fù)荷序列的時(shí)間特征；CNN-GRU可以通過(guò)CNN捕捉空間特征，而GRU可以在CNN的基礎(chǔ)上進(jìn)一步捕捉負(fù)荷序列的時(shí)間變化規(guī)律。本文提出的STformer模型通過(guò)時(shí)間注意力機(jī)制提取用戶的時(shí)間變化規(guī)律，通過(guò)空間注意力機(jī)制提取多個(gè)用戶之間的空間依賴性，最終STformer在所有的場(chǎng)景下都取得了最好的預(yù)測(cè)結(jié)果。具體來(lái)說(shuō)，與FNN、SVR、LR、LSTM、CNN-GRU、GWN、Transformer相比，本文所提出的方法在A臺(tái)區(qū)15個(gè)用戶上得到的Avgr.MAPE分別減少了22.38%、24.10%、25.25%、22.38%、22.51%、20.29%、16.54%；對(duì)B臺(tái)區(qū)15個(gè)用戶的預(yù)測(cè)結(jié)果得到的Avgr.MAPE分別減少了24.92%、31.08%、32.18%、20.90%、27.7%、8.71%、6.95%。這體現(xiàn)了STformer模型在多用戶短期負(fù)荷預(yù)測(cè)方面的準(zhǔn)確度，說(shuō)明在實(shí)際工程應(yīng)用中該模型可以為決策者提供可靠的預(yù)測(cè)結(jié)果。

表2 提前1h點(diǎn)預(yù)測(cè)性能

Tab.2 Point forecasting performance summary 1 h ahead

由圖6a和圖6c可以看出，盡管在每個(gè)用戶上，預(yù)測(cè)結(jié)果的MAPE有一定波動(dòng)，但是本文提出的模型在每個(gè)用戶的預(yù)測(cè)準(zhǔn)確度均優(yōu)于其他對(duì)比方法。說(shuō)明本文提出的方法可以有效地提取多個(gè)用戶之間的空間相關(guān)性，并利用這種空間信息提高每個(gè)用戶的預(yù)測(cè)準(zhǔn)確度。

3.3.2 臺(tái)區(qū)用戶總負(fù)荷的預(yù)測(cè)效果

本節(jié)評(píng)估了模型在預(yù)測(cè)總負(fù)荷（同一臺(tái)區(qū)所有用戶的總功率）方面的性能。圖6b和圖6d繪制了采用不同算法時(shí)，A、B兩個(gè)臺(tái)區(qū)1 h前負(fù)荷的預(yù)測(cè)結(jié)果和真實(shí)曲線，此處使用了兩天的預(yù)測(cè)結(jié)果進(jìn)行展示?？梢钥吹?，STformer的總負(fù)荷預(yù)測(cè)值更接近真實(shí)值。例如，圖6b中[10, 15]、[35, 40]的時(shí)間步長(zhǎng)間隔直觀地證明了STformer在總負(fù)荷預(yù)測(cè)中的性能優(yōu)于其他模型。從圖6d也可以看出，該模型總體上對(duì)實(shí)際負(fù)荷曲線的擬合度更高，特別是在上升沿中。綜合來(lái)看，STformer在總負(fù)荷預(yù)測(cè)中的性能優(yōu)于其他模型。此外，表2中STformer模型在總負(fù)荷預(yù)測(cè)結(jié)果的Aggr.MAPE和Aggr.MAE始終優(yōu)于其他對(duì)比模型。這說(shuō)明所提出的STformer模型不僅可以為臺(tái)區(qū)單個(gè)用戶提供精準(zhǔn)的負(fù)荷預(yù)測(cè)結(jié)果，而且可以為臺(tái)區(qū)總負(fù)荷預(yù)測(cè)提供優(yōu)秀的預(yù)測(cè)結(jié)果。

3.4 提前1 h概率預(yù)測(cè)結(jié)果

使用A、B兩個(gè)臺(tái)區(qū)2021—2022年的負(fù)荷數(shù)據(jù)來(lái)驗(yàn)證基于MC dropout方法的短期多用戶負(fù)荷概率預(yù)測(cè)的有效性。隨機(jī)失活比=0.1被添加到所有的dropout層，式（8）由模型迭代500次估計(jì)（=100），的估計(jì)值為0.81。

為了量化MC dropout在解決短期負(fù)荷概率預(yù)測(cè)上的性能，采用Pinball、50%預(yù)測(cè)區(qū)間的Winkler評(píng)分、90%預(yù)測(cè)區(qū)間的Winkler評(píng)分來(lái)評(píng)估所提出的方法的覆蓋率和間隔寬度。在A、B兩個(gè)臺(tái)區(qū)的負(fù)荷數(shù)據(jù)集上實(shí)現(xiàn)STformer模型，并將結(jié)果與分位數(shù)回歸神經(jīng)網(wǎng)絡(luò)（Quantile Regression Neural Network, QRNN）[28]和稀疏高斯過(guò)程回歸（Sparse Gaussian Process Regression, SGPR）[29]進(jìn)行比較。其中，QRNN是一種基于神經(jīng)網(wǎng)絡(luò)的分位數(shù)回歸方法，其做法是將標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)L1損失函數(shù)替換為Pinball損失函數(shù)；SGPR在傳統(tǒng)的高斯過(guò)程基礎(chǔ)上增加了誘導(dǎo)點(diǎn)機(jī)制，可以有效地緩解高斯過(guò)程的計(jì)算負(fù)擔(dān)。提前1 h概率預(yù)測(cè)評(píng)價(jià)指標(biāo)見(jiàn)表3。從表3中可以看出，與現(xiàn)有方法相比，所提出的具有MC dropout的STformer模型在Pinball和兩個(gè)Winkler分?jǐn)?shù)上表現(xiàn)更好，可提供更好的概率預(yù)測(cè)結(jié)果。通過(guò)對(duì)具有MC dropout的神經(jīng)網(wǎng)絡(luò)進(jìn)行抽樣，可以得出結(jié)論，所提出的具有MC dropout的STformer模型能很好地捕捉短期負(fù)荷預(yù)測(cè)任務(wù)的不確定性。

表3 提前1 h概率預(yù)測(cè)評(píng)價(jià)指標(biāo)

Tab.3 Comparison of probabilistic prediction indexes 1 h ahead

圖6顯示了A、B兩個(gè)臺(tái)區(qū)的兩個(gè)用戶1 h前負(fù)荷預(yù)測(cè)的五天預(yù)測(cè)值、真實(shí)值、95%預(yù)測(cè)區(qū)間、80%預(yù)測(cè)區(qū)間和70%預(yù)測(cè)區(qū)間。結(jié)果表明，所提出的具有MC dropout的STformer模型的預(yù)測(cè)區(qū)間對(duì)真實(shí)值具有可靠的覆蓋率，并且提供了較窄的預(yù)測(cè)區(qū)間，尤其是在一些波峰和波谷的地方，這對(duì)電力系統(tǒng)的穩(wěn)定運(yùn)行至關(guān)重要。

圖6 提前1 h概率預(yù)測(cè)結(jié)果

3.5 日前負(fù)荷預(yù)測(cè)效果

為了證明本文所提出的模型在多步預(yù)測(cè)上的性能，本文進(jìn)行了日前負(fù)荷預(yù)測(cè)，預(yù)測(cè)結(jié)果和概率預(yù)測(cè)評(píng)價(jià)指標(biāo)分別見(jiàn)表4和表5。表4中的MPE為平均相對(duì)誤差，即日前負(fù)荷預(yù)測(cè)MAPE的平均值；MAXE為日前負(fù)荷預(yù)測(cè)MAPE的最大值[30]。前綴Aggr代表臺(tái)區(qū)總負(fù)荷的評(píng)估指標(biāo)，Avgr代表單個(gè)用戶負(fù)荷的評(píng)估指標(biāo)。從表4和表5可以看出，本文所提出的模型在日前負(fù)荷點(diǎn)預(yù)測(cè)和概率預(yù)測(cè)上都取得了最好的效果。

表4 日前負(fù)荷點(diǎn)預(yù)測(cè)性能

Tab.4 Point forecasting performance summary one day ahead

表5 日前負(fù)荷概率預(yù)測(cè)評(píng)價(jià)指標(biāo)

Tab.5 Comparison of probabilistic forecasting indexes one day ahead

3.6 不同模塊對(duì)實(shí)驗(yàn)結(jié)果的影響

本文還通過(guò)消融實(shí)驗(yàn)比較了不同模塊對(duì)實(shí)驗(yàn)效果的影響。分別利用完整的STformer、刪除空間注意力模塊的STformer、刪除自相關(guān)模塊的STformer、刪除時(shí)間序列分解模塊的STformer進(jìn)行了提前1 h負(fù)荷預(yù)測(cè)。隨機(jī)選擇A臺(tái)區(qū)的三個(gè)用戶進(jìn)行MAE和MAPE計(jì)算，四個(gè)模型之間的比較結(jié)果如圖7所示。

從圖7中可以發(fā)現(xiàn)：①刪除任何一個(gè)模塊都會(huì)導(dǎo)致模型性能下降，說(shuō)明每一個(gè)模塊都有助于預(yù)測(cè)準(zhǔn)確度和模型魯棒性的提高；②與其他模型相比，刪除空間注意力模塊的STformer性能下降幅度最大，這說(shuō)明空間注意力模塊所提供的空間信息在模型中起重要作用，空間信息也可以降低過(guò)擬合問(wèn)題的風(fēng)險(xiǎn)，從而提高模型預(yù)測(cè)的準(zhǔn)確性；③刪除自相關(guān)模塊的STformer和刪除序列分解模塊的STformer的性能優(yōu)于刪除空間注意力模塊的STformer，但相較于完整的STformer準(zhǔn)確性仍然有所下降。自相關(guān)機(jī)制使得模型可以從歷史數(shù)據(jù)中學(xué)到負(fù)荷行為信息，時(shí)序分解塊本身也可以細(xì)化預(yù)測(cè)結(jié)果，這都對(duì)未來(lái)序列預(yù)測(cè)起到了正面作用。

圖7 不同模型的效果

本文還驗(yàn)證了FFT的加入給模型推理速度帶來(lái)的變化。將基于自相關(guān)的模型和基于自我注意的模型在訓(xùn)練階段的內(nèi)存和運(yùn)行時(shí)間進(jìn)行比較，結(jié)果見(jiàn)表6。針對(duì)內(nèi)存效率，在STformer中將自相關(guān)模塊替換為自注意力，并記錄內(nèi)存。針對(duì)運(yùn)行時(shí)間，本文將自相關(guān)和自注意力機(jī)制執(zhí)行103次以獲得每步的執(zhí)行時(shí)間?？梢钥闯?，自相關(guān)模型的傅里葉變換方法降低了計(jì)算復(fù)雜度，從而提高了模型的計(jì)算速度。主要原因是在傳統(tǒng)自注意力機(jī)制計(jì)算中，計(jì)算相似度的操作是一個(gè)關(guān)于的矩陣乘法操作，計(jì)算復(fù)雜度為(3)。然而，F(xiàn)FT可以將矩陣乘法的計(jì)算復(fù)雜度降為(log2)，因此利用FFT改進(jìn)后的自注意力機(jī)制，即自相關(guān)機(jī)制，可以加快模型的計(jì)算速度。

表6 模型效率分析

Tab.6 Model efficiency analysis

4 結(jié)論

面向臺(tái)區(qū)多用戶的短期負(fù)荷預(yù)測(cè)問(wèn)題，本文提出一種基于時(shí)空注意力機(jī)制的Transformer模型，通過(guò)在Transformer模型的編碼器和解碼器中嵌入時(shí)序分解模塊、空間注意力模塊、自相關(guān)計(jì)算模塊，使其具有捕捉動(dòng)態(tài)時(shí)空相關(guān)性的能力。其中，時(shí)序分解模塊可以簡(jiǎn)化時(shí)間模式；空間注意力模塊可以用來(lái)獲取多個(gè)用戶之間的動(dòng)態(tài)空間相關(guān)性；自相關(guān)計(jì)算可以挖掘多個(gè)歷史同時(shí)期子序列的時(shí)間相關(guān)性。本文還利用MC dropout方法將STformer拓展到臺(tái)區(qū)多用戶的負(fù)荷概率預(yù)測(cè)。與其他模型相比，該模型提高了海量用戶負(fù)荷和總負(fù)荷的點(diǎn)預(yù)測(cè)精度，也提高了海量用戶負(fù)荷的概率預(yù)測(cè)精度。

[1] 張勇軍, 羿應(yīng)棋, 李立浧, 等. 雙碳目標(biāo)驅(qū)動(dòng)的新型低壓配電系統(tǒng)技術(shù)展望[J]. 電力系統(tǒng)自動(dòng)化, 2022, 46(22): 1-12. Zhang Yongjun, Yi Yingqi, Li Licheng, et al. Prospect of new low-voltage distribution system technology driven by carbon emission peak and carbon neutrality targets[J]. Automation of Electric Power Systems, 2022, 46(22): 1-12.

[2] van der Meer D W, Munkhammar J, Widén J. Probabilistic forecasting of solar power, electricity consumption and net load: investigating the effect of seasons, aggregation and penetration on prediction intervals[J]. Solar Energy, 2018, 171: 397-413.

[3] 康重慶, 夏清, 張伯明. 電力系統(tǒng)負(fù)荷預(yù)測(cè)研究綜述與發(fā)展方向的探討[J]. 電力系統(tǒng)自動(dòng)化, 2004, 28(17): 1-11. Kang Chongqing, Xia Qing, Zhang Boming. Review of power system load forecasting and its development[J]. Automation of Electric Power Systems, 2004, 28(17): 1-11.

[4] Wang Yi, Chen Qixin, Hong Tao, et al. Review of smart meter data analytics: applications, methodologies, and challenges[J]. IEEE Transactions on Smart Grid, 2019, 10(3): 3125-3148.

[5] Fekri M N, Grolinger K, Mir S. Distributed load forecasting using smart meter data: federated learning with recurrent neural networks[J]. International Journal of Electrical Power & Energy Systems, 2022, 137: 107669.

[6] 朱天怡, 艾芊, 賀興, 等. 基于數(shù)據(jù)驅(qū)動(dòng)的用電行為分析方法及應(yīng)用綜述[J]. 電網(wǎng)技術(shù), 2020, 44(9): 3497-3507. Zhu Tianyi, Ai Qian, He Xing, et al. An overview of data-driven electricity consumption behavior analysis method and application[J]. Power System Technology, 2020, 44(9): 3497-3507.

[7] 陳錦鵬, 胡志堅(jiān), 陳緯楠, 等. 二次模態(tài)分解組合DBiLSTM-MLR的綜合能源系統(tǒng)負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(13): 85-94. Chen Jinpeng, Hu Zhijian, Chen Weinan, et al. Load prediction of integrated energy system based on combination of quadratic modal decomposition and deep bidirectional long short-term memory and multiple linear regression[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.

[8] 趙登福, 龐文晨, 張講社, 等. 基于貝葉斯理論和在線學(xué)習(xí)支持向量機(jī)的短期負(fù)荷預(yù)測(cè)[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2005, 25(13): 8-13. Zhao Dengfu, Pang Wenchen, Zhang Jiangshe, et al. Based on Bayesian theory and online learning SVM for short term load forecasting[J]. Proceedings of the CSEE, 2005, 25(13): 8-13.

[9] Lee J, Cho Y. National-scale electricity peak load forecasting: traditional, machine learning, or hybrid model?[J]. Energy, 2022, 239: 122366.

[10] 高亞靜, 孫永健, 楊文海, 等. 基于新型人體舒適度的氣象敏感負(fù)荷短期預(yù)測(cè)研究[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2017, 37(7): 1946-1955. Gao Yajing, Sun Yongjian, Yang Wenhai, et al. Weather-sensitive load’s short-term forecasting research based on new human body amenity indicator[J]. Proceedings of the CSEE, 2017, 37(7): 1946-1955.

[11] 吳瀟雨, 和敬涵, 張沛, 等. 基于灰色投影改進(jìn)隨機(jī)森林算法的電力系統(tǒng)短期負(fù)荷預(yù)測(cè)[J]. 電力系統(tǒng)自動(dòng)化, 2015, 39(12): 50-55. Wu Xiaoyu, He Jinghan, Zhang Pei, et al. Power system short-term load forecasting based on improved random forest with grey relation projection[J]. Automation of Electric Power Systems, 2015, 39(12): 50-55.

[12] 王琛, 王穎, 鄭濤, 等. 基于ResNet-LSTM網(wǎng)絡(luò)和注意力機(jī)制的綜合能源系統(tǒng)多元負(fù)荷預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(7): 1789-1799. Wang Chen, Wang Ying, Zheng Tao, et al. Multi-energy load forecasting in integrated energy system based on ResNet-LSTM network and attention mechanism[J]. Transactions of China Electrotechnical Society, 2022, 37(7): 1789-1799.

[13] Tang Xianlun, Dai Yuyan, Wang Ting, et al. Short-term power load forecasting based on multi-layer bidirectional recurrent neural network[J]. IET Generation, Transmission & Distribution, 2019, 13(17): 3847-3854.

[14] 王增平, 趙兵, 紀(jì)維佳, 等. 基于GRU-NN模型的短期負(fù)荷預(yù)測(cè)方法[J]. 電力系統(tǒng)自動(dòng)化, 2019, 43(5): 53-58. Wang Zengping, Zhao Bing, Ji Weijia, et al. Short-term load forecasting method based on GRU-NN model[J]. Automation of Electric Power Systems, 2019, 43(5): 53-58.

[15] 張昆明, 蔡珊珊, 章天晗, 等. 考慮多維時(shí)域特征的行業(yè)中長(zhǎng)期負(fù)荷預(yù)測(cè)方法[J]. 電力系統(tǒng)自動(dòng)化, 2023, 47(20): 104-114. Zhang Kunming, Cai Shanshan, Zhang Tianhan, et al. Medium-and long-term industry load forecasting method considering multi-dimensional temporal features[J]. Automation of Electric Power Systems, 2023, 47(20): 104-114.

[16] 趙洋, 王瀚墨, 康麗, 等. 基于時(shí)間卷積網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2022, 37(5): 1242-1251. Zhao Yang, Wang Hanmo, Kang Li, et al. Temporal convolution network-based short-term electrical load forecasting[J]. Transactions of China Electrotechnical Society, 2022, 37(5): 1242-1251.

[17] Jalali S M J, Ahmadian S, Khosravi A, et al. A novel evolutionary-based deep convolutional neural network model for intelligent load forecasting[J]. IEEE Transactions on Industrial Informatics, 2021, 17(12): 8243-8253.

[18] Yu Yang, Fan Jinfu, Wang Zhongjie, et al. A dynamic ensemble method for residential short-term load forecasting[J]. Alexandria Engineering Journal, 2023, 63: 75-88.

[19] Sajjad M, Ahmad Khan Z, Ullah A, et al. A novel CNN-GRU-based hybrid approach for short-term residential load forecasting[J]. IEEE Access, 2020, 8: 143759-143768.

[20] Forootani A, Rastegar M, Sami A. Short-term individual residential load forecasting using an enhanced machine learning-based approach based on a feature engineering framework: a comparative study with deep learning methods[J]. Electric Power Systems Research, 2022, 210: 108119.

[21] Jiang Lianjie, Wang Xinli, Li Wei, et al. Hybrid multitask multi-information fusion deep learning for household short-term load forecasting[J]. IEEE Transactions on Smart Grid, 2021, 12(6): 5362-5372.

[22] 董雷, 陳振平, 韓富佳, 等. 基于圖卷積神經(jīng)網(wǎng)絡(luò)與K-means聚類的居民用戶集群短期負(fù)荷預(yù)測(cè)[J]. 電網(wǎng)技術(shù), 2023, 47(10): 4291-4301. Dong Lei, Chen Zhenping, Han Fujia, et al. Short-term load forecasting of residential user groups based on graph convolutional neural network and K-means clustering[J]. Power System Technology, 2023, 47(10): 4291-4301.

[23] 張鵬飛, 胡博, 何金松, 等. 基于時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的短期空間負(fù)荷預(yù)測(cè)方法[J]. 電力系統(tǒng)自動(dòng)化, 2023, 47(13): 78-85. Zhang Pengfei, Hu Bo, He Jinsong, et al. Short-term spatial load forecasting method based on spatio-temporal graph convolutional network[J]. Automation of Electric Power Systems, 2023, 47(13): 78-85.

[24] 李云松，張智晟. 考慮綜合需求響應(yīng)的Trans-GNN綜合能源系統(tǒng)多元負(fù)荷短期預(yù)測(cè)[J/OL]. 電工技術(shù)學(xué)報(bào), 2023: 1-11. https://doi.org/10.19595/j.cnki. 1000-6753.tces.231267. Li Yunsong，Zhang Zhisheng. Trans-GNN based multi load short-term forecasting of integrated energy system considering integrated demand response [J/OL]. Transactions of China Electrotechnical Society, 2023: 1-11. https://doi.org/10.19595/j.cnki. 1000-6753.tces. 231267.

[25] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Proceedings Part Ⅶof Computer Vision-ECCV 2018, Munich, Germany, 2018: 3-19.

[26] Zhu Lingxue, Laptev N. Deep and confident prediction for time series at Uber[C]//2017 IEEE International Conference on Data Mining Workshops (ICDMW), New Orleans, LA, USA, 2017: 103-110.

[27] Gal Y, Ghahramani Z. Dropout as a Bayesian approximation: representing model uncertainty in deep learning[C]//ICML'16: Proceedings of the 33rd International Conference on International Conference onMachine Learning, New York, NY, USA, 2016: 1050-1059.

[28] Zhang Wenjie, Quan Hao, Srinivasan D. An improved quantile regression neural network for probabilistic load forecasting[J]. IEEE Transactions on Smart Grid, 2019, 10(4): 4425-4434.

[29] Wen Honglin, Ma Jinghuan, Gu Jie, et al. Sparse variational Gaussian process based day-ahead pro-babilistic wind power forecasting[J]. IEEE Transactions on Sustainable Energy, 2022, 13(2): 957-970.

[30] 儲(chǔ)晨陽(yáng), 秦川, 鞠平, 等. 基于優(yōu)化稀疏編碼的超短期負(fù)荷滾動(dòng)多步預(yù)測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(19): 4050-4059. Chu Chenyang, Qin Chuan, Ju Ping, et al. Multi-step rolling ultra-short-term load forecasting based on the optimized sparse coding[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4050-4059.

Short-Term Load Forecasting for Multiple Customers in A Station Area Based on Spatial-Temporal Attention Mechanism

Zhao Hongshan1Wu Yuchen1Wen Kaiyun1Sun Chengyan1Xue Yang2

（1. Key Laboratory of Distributed Energy Storage and Microgrid of Hebei Province North China Electric Power University Baoding 071003 China 2. China Electric Power Research Institute Beijing 100085 China）

With a large number of customer-side distributed power sources entering the network from low-voltage distribution stations and the widespread use of devices such as smart meters on the customer side, a load forecasting model for multiple users is needed to facilitate point forecasting and probabilistic tasks for a large number of users efficiently and accurately. Traditional methods of customer load forecasting model the temporal characteristics of individual customers and are unable to learn the problems of spatial correlation between customers and the inability to achieve forecasts for multiple customers. Customers in the same region share the same geographic space, weather conditions, holiday information, tariff policies, and other comprehensive factors, and there is often a certain amount of spatial and temporal correlation between customers' electricity consumption behavior. If this spatial-temporal correlation can be fully explored, it will have extremely positive implications for modeling short-term customer loads. A small body of literature has already explored the initial exploration of customer load forecasting, taking spatial-temporal correlation into account. However, the existing spatio-temporal methods can only provide deterministic forecasts, not probabilistic ones. To address these issues, this paper proposes a multi-customer short-term load forecasting model for station areas. Learning spatial-temporal correlation information from historical load data can perform accurate multi-user short-term load point forecasts and probabilistic forecasts for station areas.

Firstly, three modules are embedded for each encoder and decoder by improving the standard Transformer self-attention mechanism: sequence decomposition module, autocorrelation calculation module, and spatial attention module to effectively extract the dynamic spatio-temporal dependencies among highly volatile residential users. Among them, the sequence decomposition module can decompose highly volatile subscriber load curves into relatively smooth multiple sub-series, which helps to extract better the time dependence and period factor of load curves; the autocorrelation calculation is an improved attention mechanism that can mine the time dependence of multiple historical contemporaneous sub-series; and the spatial attention mechanism can extract the dynamic spatial support among multiple users in a station area. The STformer model is then extended to the field of probabilistic forecasting using a Monte Carlo stochastic deactivation method (MC dropout). This method does not require additional modifications to STformer but allows STformer to output both point prediction and probabilistic prediction results. Finally, the STformer model with MC dropout is used to forecast the station customer load, and both point and probabilistic forecasts are output.

In this paper, the model's validity is verified using one-hour-ahead load forecasting and day-ahead load forecasting using accurate station customer load data from a province in the southeast. The proposed STformer model has a MAPE of 4.44% for each user and 2.21% for the total load in station area A. The probabilistic forecast evaluation index pinball is 0.370 1; the average relative error MPE for each user and 3.25% for the total load in station area A is 6.21%. is 3.25%, and the probabilistic forecast assessment index pinball is 0.594 2. This paper also compares the effects of different modules on the experimental results through ablation experiments. This paper also verifies the change in model inference speed brought about by the addition of FFT, comparing the running memory and time of the autocorrelation-based model with that of the self-attentive-based model during the training phase.

The following conclusions can be drawn from the simulation analysis: (1) Compared with other baselines, the STformer model proposed in this paper extracts the temporal variation pattern of users through the temporal attention mechanism and the spatial dependency between multiple users through the spatial attention mechanism, which ultimately achieves the best prediction results in all scenarios. (2) Each module of STformer contributes to the improvement of prediction accuracy and model robustness. The spatial attention module has the greatest impact on the prediction accuracy of STformer, and the Fourier transform method of the autocorrelated model reduces the computational complexity and thus accelerates the computational speed of the model. (3) The prediction intervals of the proposed STformer model with MC dropout have reliable coverage of the true values and provide narrower prediction intervals, especially at some peaks and troughs, which are critical for the temperature operation of power systems.

Multi-customers load forecasting, spatial-temporal correlation, Transformer model

10.19595/j.cnki.1000-6753.tces.230110

TM743

國(guó)家電網(wǎng)公司總部科技項(xiàng)目“基于智能量測(cè)的低壓高滲透率分布式光伏接入可測(cè)可控技術(shù)研究”（5700-202255222A-1-1-ZN）資助。

2023-02-01

2023-07-02

趙洪山 男，1965年生，教授，博士生導(dǎo)師，研究方向?yàn)殡娏ο到y(tǒng)動(dòng)態(tài)分析與控制、電力負(fù)荷預(yù)測(cè)等。E-mail：zhaohshcn@126.com

吳雨晨 女，1998年生，碩士研究生，研究方向負(fù)荷預(yù)測(cè)和人工智能技術(shù)。E-mail：wyc@ncepu.edu.cn（通信作者）

（編輯 李 冰）