周思思，李 勇，郭釔秀，喬學(xué)博，梅玉杰，鄧 威

（1.湖南大學(xué)電氣與信息工程學(xué)院，湖南省 長(zhǎng)沙市 410082；2.南方電網(wǎng)科學(xué)研究院有限責(zé)任公司，廣東省 廣州市 510663；3.國(guó)網(wǎng)湖南省電力有限公司電力科學(xué)研究院，湖南省 長(zhǎng)沙市 410007）

0 引言

超短期負(fù)荷預(yù)測(cè)是指對(duì)未來(lái)5 min 到1 h 的電力負(fù)荷大小進(jìn)行預(yù)測(cè)，精確的超短期負(fù)荷預(yù)測(cè)是電網(wǎng)實(shí)時(shí)調(diào)度和安全預(yù)警的基礎(chǔ)，對(duì)于電網(wǎng)的安全穩(wěn)定和經(jīng)濟(jì)運(yùn)行具有重要支撐作用。臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)以臺(tái)區(qū)配電變壓器負(fù)荷為預(yù)測(cè)對(duì)象，預(yù)測(cè)結(jié)果有助于提前預(yù)警臺(tái)區(qū)配電變壓器的安全運(yùn)行狀態(tài)，辨識(shí)配電網(wǎng)薄弱環(huán)節(jié)［1-3］。

現(xiàn)有的負(fù)荷預(yù)測(cè)方法可分為統(tǒng)計(jì)學(xué)方法和機(jī)器學(xué)習(xí)方法兩大類［4］。常見的統(tǒng)計(jì)學(xué)方法有時(shí)間序列分析法［5-6］和回歸分析法［7-8］，這類方法原理簡(jiǎn)單、計(jì)算速度快，但非線性擬合能力差，對(duì)負(fù)荷數(shù)據(jù)要求高。機(jī)器學(xué)習(xí)算法因其能捕捉復(fù)雜的非線性關(guān)系，成為當(dāng)前的研究熱點(diǎn)。在電力大數(shù)據(jù)背景下，傳統(tǒng)的機(jī)器學(xué)習(xí)算法［9-12］缺少對(duì)時(shí)序數(shù)據(jù)時(shí)間相關(guān)性的考慮，對(duì)于處理具有多特征輸入或長(zhǎng)期依賴關(guān)系的大規(guī)模負(fù)荷數(shù)據(jù)仍較困難［13-14］。深度學(xué)習(xí)是近年來(lái)興起的機(jī)器學(xué)習(xí)算法，典型方法有以長(zhǎng)短期記憶網(wǎng)絡(luò)［15］、門控循環(huán)單元［16］為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)［17］，深度置信網(wǎng)絡(luò)［18］以及圖神經(jīng)網(wǎng)絡(luò)［4］。然而，單一的神經(jīng)網(wǎng)絡(luò)模型無(wú)差別對(duì)待輸入特征及其時(shí)序差異，制約了負(fù)荷預(yù)測(cè)精度的提高。

除了在預(yù)測(cè)模型上的創(chuàng)新，部分負(fù)荷預(yù)測(cè)研究也著重于挖掘負(fù)荷的規(guī)律性，關(guān)注于利用分解算法將負(fù)荷序列分解為多個(gè)分量序列，把高度非線性的非平穩(wěn)負(fù)荷序列預(yù)測(cè)問(wèn)題轉(zhuǎn)化為多個(gè)相對(duì)平穩(wěn)的負(fù)荷序列預(yù)測(cè)問(wèn)題。常用的負(fù)荷分解方法有傅里葉分解［19-20］、小波變換［21］以及模態(tài)分解［7，22-24］。負(fù)荷特征分量從復(fù)雜的負(fù)荷序列中提取了關(guān)鍵的規(guī)律信息，然而，上述研究均將分解得到的負(fù)荷特征分量序列作為預(yù)測(cè)對(duì)象，尚未有研究將分解得到的負(fù)荷特征分量作為預(yù)測(cè)模型的輸入特征。

配電網(wǎng)超短期負(fù)荷預(yù)測(cè)的預(yù)測(cè)對(duì)象大多是系統(tǒng)級(jí)負(fù)荷，較少關(guān)注以臺(tái)區(qū)為單位的負(fù)荷預(yù)測(cè)。在超短期負(fù)荷預(yù)測(cè)模型選擇方面，已有研究由采用統(tǒng)計(jì)學(xué)模型［1，25-28］逐步發(fā)展為采用深度學(xué)習(xí)模型［2，15，29-32］進(jìn)行預(yù)測(cè)。部分研究也關(guān)注于負(fù)荷序列分解方法［31，33-35］，挖掘負(fù)荷的內(nèi)蘊(yùn)規(guī)律。由于臺(tái)區(qū)負(fù)荷量測(cè)數(shù)據(jù)與外部特征數(shù)據(jù)間存在粒度不匹配的問(wèn)題，即在外部特征數(shù)據(jù)的相鄰兩個(gè)采集點(diǎn)所在的時(shí)間范圍內(nèi)，多個(gè)負(fù)荷數(shù)據(jù)采集點(diǎn)僅對(duì)應(yīng)一個(gè)外部特征數(shù)據(jù)采集點(diǎn)。因此，無(wú)法直接挖掘粗粒度外部特征與細(xì)粒度負(fù)荷變化規(guī)律的相關(guān)性。此外，相較于系統(tǒng)級(jí)負(fù)荷，臺(tái)區(qū)負(fù)荷具有數(shù)量級(jí)小、波動(dòng)性大、隨機(jī)性高的特點(diǎn)，加大了超短期負(fù)荷預(yù)測(cè)的難度。

為進(jìn)一步提高臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)精度，本文提出一種基于Prophet 和雙重多頭自注意力（dual multi-head self-attention，DMHSA）-時(shí)間卷積網(wǎng)絡(luò)（temporal convolutional network，TCN）的臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)框架，從輸入特征構(gòu)建和預(yù)測(cè)模型優(yōu)化兩個(gè)角度實(shí)現(xiàn)對(duì)臺(tái)區(qū)負(fù)荷的全面挖掘預(yù)測(cè)。在輸入特征構(gòu)建方面，挖掘負(fù)荷的內(nèi)蘊(yùn)規(guī)律性，提取多時(shí)間尺度時(shí)序特征作為負(fù)荷預(yù)測(cè)模型的輸入特征，可有效避免引入氣象因素等外部特征造成的輸入數(shù)據(jù)粒度不匹配問(wèn)題。在預(yù)測(cè)模型優(yōu)化方面，特征多頭自注意力（feature multi-head self-attention,FMHSA）機(jī)制量化輸入特征變量間的關(guān)聯(lián)關(guān)系，時(shí)序多頭自注意力（temporal multi-head self-attention,TMHSA）機(jī)制捕獲時(shí)序信息的依賴關(guān)系，從而增強(qiáng)重要特征變量與關(guān)鍵時(shí)間步的信息表達(dá)。引入的DMHSA機(jī)制有效地解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無(wú)差別對(duì)待輸入特征和時(shí)間步的問(wèn)題。

1 基于Prophet 和DMHSA-TCN 的臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)框架

本文所提基于Prophet 和DMHSA-TCN 的臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)框架如圖1 所示，預(yù)測(cè)對(duì)象為臺(tái)區(qū)視在功率，具體步驟如下。

圖1 基于Prophet 和DMHSA-TCN 的超短期負(fù)荷預(yù)測(cè)框架Fig.1 Ultra-short-term load forecasting framework based on Prophet and DMHSA-TCN

1）采用線性插值法填補(bǔ)臺(tái)區(qū)負(fù)荷量測(cè)數(shù)據(jù)中的缺失值，并根據(jù)有功、無(wú)功功率量測(cè)數(shù)據(jù)計(jì)算臺(tái)區(qū)視在功率值。

2）采用Prophet 提取臺(tái)區(qū)視在功率序列中隱含的多時(shí)間尺度時(shí)序特征，包括趨勢(shì)特征、星期特征、日特征和節(jié)假日特征。

3）基于最大信息系數(shù)（maximum information coefficient，MIC），量化視在功率與電力、時(shí)序特征之間的相關(guān)性，選擇強(qiáng)相關(guān)性特征作為預(yù)測(cè)模型的輸入特征。

4）對(duì)輸入特征進(jìn)行最大-最小歸一化處理，采用滑動(dòng)窗口的方式構(gòu)建輸入特征矩陣與對(duì)應(yīng)的輸出，形成輸入-輸出對(duì)數(shù)據(jù)集，并劃分訓(xùn)練集與測(cè)試集。

5）將訓(xùn)練集輸入DMHSA-TCN 模型中進(jìn)行訓(xùn)練，優(yōu)化模型參數(shù)。將測(cè)試集輸入訓(xùn)練完成的DMHSA-TCN 模型，得到視在功率預(yù)測(cè)值?；谝曉诠β收鎸?shí)值與預(yù)測(cè)值，計(jì)算相關(guān)預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)。

2 基于Prophet 的預(yù)測(cè)模型輸入特征提取

2.1 Prophet 時(shí)序特征提取

Prophet 是由Taylor 等人開發(fā)的一款集成時(shí)間序列分解和預(yù)測(cè)功能的時(shí)序分析工具，其基本框架見附錄A 圖A1。Prophet 通過(guò)擬合歷史時(shí)序數(shù)據(jù)的變化規(guī)律，將原始時(shí)間序列分解為趨勢(shì)、周期、節(jié)假日和誤差分量。同時(shí)，Prophet 還能對(duì)趨勢(shì)、周期、節(jié)假日分量進(jìn)行預(yù)測(cè)，通過(guò)整合分量預(yù)測(cè)結(jié)果，從而得到原始時(shí)間序列的預(yù)測(cè)值。目前，Prophet 在時(shí)間序列分解［36］和時(shí)間序列預(yù)測(cè)［37-38］方面已有廣泛的應(yīng)用，本文使用Prophet 的時(shí)序分解功能。不同于傳統(tǒng)的趨勢(shì)-周期時(shí)序分解模型［39-40］，Prophet 能實(shí)現(xiàn)快速迭代優(yōu)化，提取時(shí)間序列中的多種周期性和節(jié)假日效應(yīng)，具有出色的靈活性和魯棒性。

臺(tái)區(qū)負(fù)荷是復(fù)雜的時(shí)間序列，在不同時(shí)間尺度上會(huì)呈現(xiàn)不同的周期性規(guī)律，在節(jié)假日等特殊狀況下還可能會(huì)出現(xiàn)破壞趨勢(shì)與周期性規(guī)律的波動(dòng)性。因此，本文采用Prophet 自動(dòng)檢測(cè)臺(tái)區(qū)負(fù)荷數(shù)據(jù)的趨勢(shì)變化、周期變化和節(jié)假日效應(yīng)，為負(fù)荷預(yù)測(cè)模型的輸入提供更具規(guī)律性的特征樣本，降低數(shù)據(jù)復(fù)雜度，提升負(fù)荷用電特點(diǎn)的可解釋性。對(duì)于任意臺(tái)區(qū)負(fù)荷序列L(t)，Prophet 可將其分解為多種規(guī)律項(xiàng)和誤差項(xiàng)的組合，具體如式（1）所示。

式中：g(t)為趨勢(shì)項(xiàng)，用于擬合負(fù)荷序列中的趨勢(shì)變化；s(t)為周期項(xiàng)，表征負(fù)荷序列中的周期性變化（如年、月、星期、日周期性）；h(t)為節(jié)假日項(xiàng)，反映不規(guī)律節(jié)假日效應(yīng)的影響；εt為誤差項(xiàng)，表示模型無(wú)法容納的特異性變化，一般認(rèn)為服從高斯分布。

在Prophet 中，趨勢(shì)項(xiàng)g(t)有兩種擬合模型，分別為基于線性回歸的分段模型和基于邏輯回歸的飽和增長(zhǎng)模型。本文選用基于線性回歸的分段模型擬合臺(tái)區(qū)負(fù)荷的趨勢(shì)變化規(guī)律，其表達(dá)式如下：

式中：k為臺(tái)區(qū)負(fù)荷的基本增長(zhǎng)率；δ為負(fù)荷增長(zhǎng)率調(diào)整向量；α(t)為指示函數(shù)；θj(t)為α(t)在第j個(gè)突變點(diǎn)處的取值；sj(j=1，2，…，S)為臺(tái)區(qū)負(fù)荷序列中第j個(gè)突變點(diǎn)所在時(shí)刻；M為偏移量參數(shù)；γ為突變點(diǎn)處的平滑處理偏移量；臺(tái)區(qū)負(fù)荷在t時(shí)刻的增長(zhǎng)率即為k+αT(t)δ。因此，Prophet 分解得到的趨勢(shì)項(xiàng)考慮了臺(tái)區(qū)負(fù)荷序列突變?cè)斐傻脑鲩L(zhǎng)率變化。

對(duì)于周期項(xiàng)s(t)，Prophet 采用傅里葉級(jí)數(shù)來(lái)擬合臺(tái)區(qū)負(fù)荷序列中的多種周期性，其表達(dá)式如下：

式中：P為周期，以天為單位；β為平滑系數(shù)aγ和bγ的集合，其滿足正態(tài)分布；N為平滑系數(shù)aγ或bγ的個(gè)數(shù)；γ為平滑系數(shù)的序號(hào)。

對(duì)于節(jié)假日項(xiàng)h(t)，Prophet 假設(shè)節(jié)假日中每一天都是相互獨(dú)立的，其表達(dá)式如下：

式中：Z(t)為回歸矩陣；Dl為第l個(gè)節(jié)假日過(guò)去和未來(lái)日期的集合，l=1，2，…，L，共有L天；κ為節(jié)假日對(duì)應(yīng)的先驗(yàn)變化參數(shù)，滿足正態(tài)分布；v為節(jié)假日的影響力，v越大，表示該節(jié)假日的影響力越大。本文中使用的Prophet 參數(shù)均為默認(rèn)參數(shù)。

考慮到現(xiàn)有預(yù)測(cè)方法中使用的外部特征如氣象數(shù)據(jù)的粒度低于負(fù)荷數(shù)據(jù)的粒度，且由于臺(tái)區(qū)氣象數(shù)據(jù)量測(cè)裝置不齊備或者出現(xiàn)故障等原因，氣象數(shù)據(jù)中存在大量的缺失值，上述兩種情況均需采取相應(yīng)的填充方法使不同粒度的數(shù)據(jù)相匹配。為解決上述問(wèn)題，考慮到外部因素對(duì)負(fù)荷的影響本就隱含在負(fù)荷自身變化規(guī)律之中，本文充分利用臺(tái)區(qū)負(fù)荷量測(cè)數(shù)據(jù)，包括臺(tái)區(qū)有功功率Pt和無(wú)功功率Qt，根據(jù)式（9）計(jì)算相應(yīng)的視在功率St，采用Prophet 提取臺(tái)區(qū)視在功率序列中多時(shí)間尺度時(shí)序特征，包括趨勢(shì)特征、星期特征、日特征以及節(jié)假日特征。

圖2 為1 號(hào)臺(tái)區(qū)的時(shí)序特征提取結(jié)果，從原始負(fù)荷曲線St可以看出，該臺(tái)區(qū)負(fù)荷波動(dòng)較大，隨機(jī)性較強(qiáng)。趨勢(shì)特征分量曲線Tt反映該臺(tái)區(qū)2021 年6 月至8 月的負(fù)荷整體呈波動(dòng)上升趨勢(shì)，在8 月上旬末達(dá)到峰值，這是由于夏季空調(diào)負(fù)荷增大引起的。節(jié)假日特征分量曲線Ht反映了節(jié)假日對(duì)該臺(tái)區(qū)負(fù)荷的影響。相較于趨勢(shì)特征分量，節(jié)假日特征分量的值較小，說(shuō)明端午節(jié)（2021 年6 月12 日至14 日）對(duì)該臺(tái)區(qū)的影響較小。星期特征分量曲線Wt反映該臺(tái)區(qū)的星期用電特性。日特征分量曲線Dt反映該臺(tái)區(qū)的日用電特性，在06：00 和14：00 時(shí)刻左右達(dá)到一天中的用電高峰。相較于日特征分量，星期特征分量值較小，反映了此臺(tái)區(qū)沒(méi)有明顯的星期周期性。值得注意的是，除趨勢(shì)特征以外的其他特征分量值均有正負(fù)值出現(xiàn)，其正負(fù)值反映了其他特征分量基于趨勢(shì)特征的變化量，從而使總特征分量值逼近原始負(fù)荷值。2 號(hào)、3 號(hào)、4 號(hào)臺(tái)區(qū)的時(shí)序提取結(jié)果分別見附錄A 圖A2、圖A3 和圖A4。綜合分析4 個(gè)臺(tái)區(qū)的時(shí)序提取結(jié)果可得，4 種時(shí)序特征在一定程度上反映臺(tái)區(qū)負(fù)荷在不同時(shí)間尺度上的變化規(guī)律，因此，本文將其作為待選的預(yù)測(cè)模型輸入特征。

圖2 1 號(hào)臺(tái)區(qū)時(shí)序特征提取結(jié)果Fig.2 Temporal feature extraction results of transformer area 1

2.2 相關(guān)性分析

為量化特征分量序列與視在功率序列的相關(guān)程度，本文采用MIC 作為相關(guān)性分析方法，選擇強(qiáng)相關(guān)特征作為預(yù)測(cè)模型的輸入。MIC 能衡量?jī)蓚€(gè)變量間的線性和非線性相關(guān)性，克服了互信息對(duì)連續(xù)變量計(jì)算不便的缺點(diǎn)，具有公平性和廣泛性。MIC值越接近1，表示兩個(gè)變量間的關(guān)聯(lián)性越強(qiáng)，MIC 的計(jì)算公式見附錄A 式（A1）。本文選擇0.3 為MIC的閾值，即認(rèn)為MIC 取值范圍小于0.3 時(shí)為弱相關(guān)，大于0.3 時(shí)為強(qiáng)相關(guān)［41-42］。

本文待選的輸入特征包括視在功率、電力特征（有功功率、無(wú)功功率）和時(shí)序特征（趨勢(shì)特征、星期特征、日特征、節(jié)假日特征）。臺(tái)區(qū)視在功率與其他6 個(gè)特征的相關(guān)性分析結(jié)果如附錄A 表A1 所示。對(duì)于1 號(hào)和3 號(hào)臺(tái)區(qū)，采用MIC 篩選出的強(qiáng)相關(guān)特征為有功功率、無(wú)功功率、趨勢(shì)特征和日特征。對(duì)于2 號(hào)和4 號(hào)臺(tái)區(qū)，采用MIC 篩選出的強(qiáng)相關(guān)特征為有功功率、無(wú)功功率和趨勢(shì)特征。在4 個(gè)臺(tái)區(qū)中，電力特征均為強(qiáng)相關(guān)特征。對(duì)于時(shí)序特征，趨勢(shì)特征在4 個(gè)臺(tái)區(qū)上均為強(qiáng)相關(guān)特征；星期特征和節(jié)假日特征均為弱相關(guān)特征，因?yàn)橄噍^于原始負(fù)荷值和趨勢(shì)特征分量，這兩種特征分量值較小，反映出的特征規(guī)律并不明顯；日特征在1 號(hào)和3 號(hào)臺(tái)區(qū)上為強(qiáng)相關(guān)特征，在2 號(hào)和4 號(hào)臺(tái)區(qū)上為弱相關(guān)特征，這是由于1 號(hào)和3 號(hào)臺(tái)區(qū)的日特征分量值相較于原始負(fù)荷值和趨勢(shì)特征分量較大，而2 號(hào)和4 號(hào)臺(tái)區(qū)的日特征分量值相較于原始負(fù)荷值和趨勢(shì)特征分量較小造成的。

3 基于DMHSA-TCN 的負(fù)荷預(yù)測(cè)模型

本文所提DMHSA-TCN 負(fù)荷預(yù)測(cè)模型以TCN為基礎(chǔ)模型，用以捕捉負(fù)荷和特征變量序列中的長(zhǎng)期依賴關(guān)系。為提高TCN 的負(fù)荷預(yù)測(cè)精度，引入DMHSA 機(jī)制。在輸入側(cè)，引入FMHSA 機(jī)制多方面挖掘負(fù)荷與電力、時(shí)序特征變量的內(nèi)在相關(guān)性，聚焦重要特征變量的影響。在輸出側(cè)，引入TMHSA機(jī)制多方面挖掘不同時(shí)間步間的內(nèi)在相關(guān)性，突出關(guān)鍵時(shí)間步上的信息表達(dá)，在TCN 的基礎(chǔ)上捕獲更為靈活的長(zhǎng)期依賴關(guān)系。

3.1 TCN 模型

TCN 是一種融合擴(kuò)張因果卷積（dilated causal convolution，DCC）和殘差連接（residual connection，RC）的神經(jīng)網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)架構(gòu)如附錄A 圖A5 所示，由輸入層、多個(gè)殘差塊和輸出層堆疊構(gòu)成。

因果卷積可有效避免傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中由于卷積運(yùn)算導(dǎo)致的未來(lái)信息泄露問(wèn)題，其結(jié)構(gòu)如附錄A 圖A6 所示。DCC 在因果卷積的基礎(chǔ)上，通過(guò)增加過(guò)濾器大小K和擴(kuò)張系數(shù)d，從而接受更廣泛的輸入信息，增大感受野。此外，DCC 中每層網(wǎng)絡(luò)采用相同大小的過(guò)濾器，從而實(shí)現(xiàn)并行化計(jì)算處理，提高計(jì)算效率。DCC 的結(jié)構(gòu)如附錄A 圖A7 所示，具體的計(jì)算公式為［43］：

式中：f(·)為過(guò)濾器函數(shù)；xT-di為從T時(shí)刻向過(guò)去平移di時(shí)刻對(duì)應(yīng)的輸入值。

除了調(diào)整上述過(guò)濾器大小和擴(kuò)張系數(shù)，TCN 中還能通過(guò)增加層數(shù)來(lái)增大感受野。然而，層數(shù)過(guò)多的深度網(wǎng)絡(luò)模型在訓(xùn)練時(shí)不穩(wěn)定，易出現(xiàn)梯度消失現(xiàn)象。TCN 中的RC 結(jié)構(gòu)允許上一層的誤差直接傳入下一層，能有效解決此問(wèn)題。RC 由兩個(gè)分支組成，第1 個(gè)分支對(duì)輸入做變換，第2 個(gè)分支對(duì)輸入做1×1 卷積處理，兩個(gè)分支的輸出結(jié)果相加，作為RC的最終輸出。RC 的具體計(jì)算公式為：

式中：δ(·)為激活函數(shù)；G(·)表示DCC、權(quán)重規(guī)范化、激活函數(shù)、隨機(jī)失活4 個(gè)部分的變換；Xh-1為殘差塊h-1 的輸出；Xh為殘差塊h的輸出。其中，激活函數(shù)采用具有良好收斂性的ReLU 函數(shù)，隨機(jī)失活層用于正則化，防止深度網(wǎng)絡(luò)出現(xiàn)過(guò)擬合問(wèn)題。

綜上，DCC 能并行捕捉臺(tái)區(qū)負(fù)荷和特征變量序列中的長(zhǎng)期依賴關(guān)系，RC 結(jié)構(gòu)又能有效避免在負(fù)荷預(yù)測(cè)過(guò)程中出現(xiàn)梯度消失問(wèn)題。此外，相較于循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，TCN 的參數(shù)更少、訓(xùn)練難度更低，需要的數(shù)據(jù)規(guī)模更?。?4］。因此，本文采用TCN 為基礎(chǔ)的負(fù)荷預(yù)測(cè)模型。

令輸入的視在功率、強(qiáng)相關(guān)性電力特征變量以及時(shí)序特征變量構(gòu)建大小為k×n的負(fù)荷特征矩陣X，共有k(1 ≤k≤7)個(gè)特征，滑動(dòng)窗口的寬度為n(n≥1)。X可表示為：

式中：xm=[xm1，xm2，…，xmn](1 ≤m≤k)為輸入特征m在n個(gè)時(shí)刻下的矩陣；xt=[x1t，x2t，…，xkt]T(1 ≤t≤n)為t時(shí)刻下k個(gè)輸入特征的矩陣。

附錄A 圖A8 所示為本文采用的TCN 結(jié)構(gòu)，將負(fù)荷特征矩陣X輸入TCN 中，通過(guò)2 個(gè)殘差塊［45］計(jì)算，即可得到負(fù)荷預(yù)測(cè)輸出Y，計(jì)算如下：

式中：X1為殘差塊1 的輸出；X2為殘差塊2 的輸出，即為負(fù)荷預(yù)測(cè)值；δ(·) 為激活函數(shù)；ym=[ym1，ym2，…，ymn](1 ≤m≤k)為輸出特征m在n個(gè)時(shí)刻下的矩陣；yt=[y1t，y2t，…，ykt]T(1 ≤t≤n)為t時(shí)刻下k個(gè)輸出特征的矩陣。

3.2 多頭自注意力機(jī)制

TCN 能捕捉臺(tái)區(qū)負(fù)荷與特征變量序列中的長(zhǎng)期依賴關(guān)系，然而其忽略了輸入信息中包含的特征差異和時(shí)序差異，在一定程度上會(huì)對(duì)臺(tái)區(qū)負(fù)荷預(yù)測(cè)精度帶來(lái)不利的影響。注意力機(jī)制是一種模擬人腦注意力的資源分配機(jī)制，可自適應(yīng)為輸入信息分配權(quán)重，實(shí)現(xiàn)以高權(quán)重聚焦重要信息，低權(quán)重忽略不相關(guān)信息［46-47］。

自注意力機(jī)制是一種特殊的注意力機(jī)制，也稱內(nèi)注意力，能表征輸入序列內(nèi)部不同位置間的相關(guān)性并分配權(quán)重。如附錄A 圖A9 所示，多頭自注意力對(duì)多組自注意力的并行計(jì)算結(jié)果進(jìn)行拼接，捕捉多種相關(guān)性，從而獲得更全面的依賴關(guān)系［48］。

3.2.1 基于FMHSA-TCN 的負(fù)荷預(yù)測(cè)模型

為了得到負(fù)荷特征滑窗矩陣中多種輸入特征變量間的關(guān)聯(lián)關(guān)系，采用FMHSA 機(jī)制量化權(quán)重，其結(jié)構(gòu)如附錄A 圖A10 所示。將負(fù)荷特征矩陣X輸入FMHSA 層中，得到FMHSA 權(quán)重αm，計(jì)算如下：

式中：Qm為查詢矩陣；Km為鍵矩陣；Vm為值矩陣；WQm、WKm、WVm分別為將負(fù)荷特征滑窗矩陣X轉(zhuǎn)換為查詢、鍵、值矩陣對(duì)應(yīng)的轉(zhuǎn)換矩陣；MH(·)為多頭自注意力函數(shù)，具體計(jì)算原理見附錄A 式（A2）—式（A7）。

對(duì)負(fù)荷特征矩陣X賦權(quán)Dm，可得到負(fù)荷特征加權(quán)矩陣X′，其表達(dá)式如下：

式中：Dm為以αm中各元素為特征值的對(duì)角矩陣，即Dm=diag(α1，α2，…，αk)∈Rk×k。

將特征自注意力層的輸出X′輸入TCN 中，通過(guò)兩個(gè)殘差塊計(jì)算，再通過(guò)扁平層將TCN 層的輸出矩陣一維化，即可得到負(fù)荷預(yù)測(cè)輸出Y′。

式中：上標(biāo)“′”表示采用FMHSA-TCN 負(fù)荷預(yù)測(cè)模型對(duì)應(yīng)的變量，F(xiàn)MHSA-TCN 負(fù)荷預(yù)測(cè)模型中考慮了多種輸入特征變量間的差異。

3.2.2 基于TMHSA-TCN 的負(fù)荷預(yù)測(cè)模型

為了得到TCN 層輸出矩陣Y中多個(gè)時(shí)間步間的依賴關(guān)系，采用TMHSA 機(jī)制量化權(quán)重，其結(jié)構(gòu)如附錄A 圖A11 所示。

將TCN 的輸出Y輸入TMHSA 層中，得到TMHSA 權(quán)重λt，計(jì)算如下：

式中：Qt為查詢矩陣；Kt為鍵矩陣；Vt為值矩陣；WQt、WKt、WVt分別為將TCN 的輸出矩陣Y轉(zhuǎn)換為查詢、鍵、值矩陣對(duì)應(yīng)的轉(zhuǎn)換矩陣。

按照吸收液和閃爍液的不同配比，配制10個(gè)本底樣品，在同一臺(tái)液閃譜儀中測(cè)量后，分別向本底樣品中加入1mL的標(biāo)準(zhǔn)源，記錄源重，然后放入同一臺(tái)液閃譜儀中再次測(cè)量。

對(duì)TCN 的輸出Y賦權(quán)Dt，即可得到時(shí)間步加權(quán)矩陣，計(jì)算如下：

式中：Dt為以λt中各元素為特征值的對(duì)角矩陣，即Dt=diag(λ1，λ2，…，λn)∈Rn×n。

相比于直接使用TCN，TMHSA-TCN 負(fù)荷預(yù)測(cè)模型中考慮了多個(gè)時(shí)間步間的差異。

3.3 DMHSA-TCN 預(yù)測(cè)模型

通過(guò)將上述特征和TMHSA 機(jī)制引入TCN中，組合FMHSA-TCN 和TMHSA-TCN 負(fù)荷預(yù)測(cè)模型，本文所提DMHSA-TCN 負(fù)荷預(yù)測(cè)模型結(jié)構(gòu)如圖3 所示，主要包括輸入層、FMHSA 層、TCN 層、TMHSA 層、扁平層和全連接層。

具體預(yù)測(cè)流程為：首先，將由臺(tái)區(qū)視在功率、電力特征、時(shí)序特征構(gòu)成的負(fù)荷特征矩陣X輸入FMHSA 層中，量化臺(tái)區(qū)視在功率與電力、時(shí)序特征間的關(guān)聯(lián)性，為不同的輸入特征賦權(quán)，獲得特征加權(quán)矩陣X′；然后，將特征加權(quán)矩陣X′輸入TCN 層中，捕獲加權(quán)特征間的長(zhǎng)期依賴關(guān)系，獲得輸出矩陣X″；在此基礎(chǔ)上，將TCN 層的輸出矩陣X″輸入TMHSA 層中，挖掘不同時(shí)間步間的內(nèi)在相關(guān)性，為不同的時(shí)間步賦權(quán)，獲得時(shí)間步加權(quán)矩陣X?。最后，通過(guò)扁平層將多維時(shí)間步加權(quán)矩陣X?壓縮為一維矩陣X4，通過(guò)全連接層綜合上述各層信息，輸出視在功率預(yù)測(cè)值，計(jì)算如下：

式中：WD∈Rkn×1為全連接層權(quán)重。

4 算例分析

4.1 算例概況

4.2 數(shù)據(jù)預(yù)處理

為保證預(yù)測(cè)模型的訓(xùn)練效果，本文采用線性插值法填補(bǔ)原始負(fù)荷數(shù)據(jù)中的缺失值。若原始負(fù)荷數(shù)據(jù)中出現(xiàn)單點(diǎn)缺點(diǎn)值（僅某一時(shí)刻的值缺失），使用前一時(shí)刻和后一時(shí)刻的數(shù)據(jù)平均值代替此時(shí)刻的缺失數(shù)據(jù)；若原始負(fù)荷數(shù)據(jù)中出現(xiàn)連續(xù)缺失值，對(duì)于每一時(shí)刻的缺失值，使用與該時(shí)刻相距最近、非缺失的兩個(gè)歷史相同時(shí)刻的負(fù)荷平均值來(lái)代替。為消除不同輸入特征中存在的量綱差異，采用式（30）對(duì)數(shù)據(jù)進(jìn)行最大-最小歸一化。

式中：x和x*∈[0，1]分別為歸一化前、后的值；xmax和xmin分別為原始數(shù)據(jù)中的最大、最小值。

采用滑動(dòng)窗口的方式構(gòu)建預(yù)測(cè)模型的輸入和輸出，即輸入為指定滑動(dòng)窗口寬度的特征矩陣，輸出為某一時(shí)刻的視在功率，滑動(dòng)窗口的滑動(dòng)步長(zhǎng)為1。劃分所構(gòu)建輸入-輸出對(duì)中的80%為訓(xùn)練集，用于訓(xùn)練預(yù)測(cè)模型；20%用作測(cè)試集，用于評(píng)估預(yù)測(cè)模型性能。值得說(shuō)明的是，若臺(tái)區(qū)的供電范圍發(fā)生變化，通過(guò)選擇滑動(dòng)窗口的初始時(shí)刻，即可過(guò)濾掉臺(tái)區(qū)在原供電范圍下的歷史數(shù)據(jù)，不會(huì)影響后續(xù)的預(yù)測(cè)工作。

4.3 模型參數(shù)與評(píng)價(jià)指標(biāo)

綜合考慮預(yù)測(cè)精度和計(jì)算時(shí)間，預(yù)測(cè)模型的訓(xùn)練批尺寸設(shè)為16，迭代次數(shù)為500，模型中各層參數(shù)設(shè)置見附錄A 表A2。采用Nadam 優(yōu)化算法對(duì)預(yù)測(cè)模型其他參數(shù)進(jìn)行尋優(yōu)，學(xué)習(xí)率為0.001。Nadam 算法由Adam 算法和Nesterov 加速梯度算法結(jié)合，給予學(xué)習(xí)率一定的約束，提高預(yù)測(cè)模型的自適應(yīng)性［49］。預(yù)測(cè)模型的損失函數(shù)使用均方誤差（MSE）LMSE函數(shù)，其計(jì)算公式如下：

式中：S為樣本個(gè)數(shù)；ys為樣本s的負(fù)荷實(shí)際值；y^s為負(fù)荷預(yù)測(cè)值。

為多方位評(píng)估模型的預(yù)測(cè)能力，本文采用擬合優(yōu)度R2、均方根誤差（RMSE）eRMSE、平均絕對(duì)誤差（MAE）eMAE、對(duì)稱平均絕對(duì)百分比誤差（symmetric mean absolute percent error，SMAPE）eSMAPE這4 種評(píng)價(jià)指標(biāo)，其計(jì)算公式如下：

4.4 滑窗寬度對(duì)模型性能的影響

滑動(dòng)窗口寬度決定了用多長(zhǎng)時(shí)間范圍的歷史特征數(shù)據(jù)進(jìn)行預(yù)測(cè)，對(duì)預(yù)測(cè)精度和效率有一定的影響。相同樣本數(shù)量下，滑動(dòng)窗口寬度過(guò)短會(huì)導(dǎo)致輸入包含的特征信息過(guò)少而遺漏關(guān)鍵信息，不利于預(yù)測(cè)模型的學(xué)習(xí)和訓(xùn)練；然而，滑動(dòng)窗口寬度過(guò)長(zhǎng)會(huì)導(dǎo)致用于模型訓(xùn)練的輸入數(shù)據(jù)量增加，模型的訓(xùn)練時(shí)間變長(zhǎng)、復(fù)雜度變高。為選擇最優(yōu)的滑動(dòng)窗口寬度，本文為預(yù)測(cè)模型設(shè)置不同的滑窗寬度W=1，2，4，8，16，32（單位滑窗寬度為15 min），輸入特征僅為視在功率，在4 個(gè)臺(tái)區(qū)上的整體預(yù)測(cè)誤差見附錄A 圖A12，計(jì)算時(shí)間見表A3?？紤]到不同臺(tái)區(qū)視在功率間的數(shù)值差異，采用eSMAPE衡量預(yù)測(cè)精度，采用計(jì)算時(shí)間衡量預(yù)測(cè)效率。

從附錄A 圖A12 可以看出，當(dāng)滑窗寬度為4 時(shí)，即使用待預(yù)測(cè)時(shí)刻前1 h 的歷史特征作為預(yù)測(cè)模型輸入，4 個(gè)臺(tái)區(qū)上的整體預(yù)測(cè)誤差數(shù)值最小。從表A3 可以看出，預(yù)測(cè)模型的計(jì)算時(shí)間隨滑窗寬度的增大而增加。綜合考慮預(yù)測(cè)精度和預(yù)測(cè)效率，本文選擇的滑窗寬度為4，相比于滑窗寬度為1 的預(yù)測(cè)模型，其以犧牲10.503%的時(shí)間換取低31.658%的預(yù)測(cè)誤差；相比于滑窗寬度為2 的預(yù)測(cè)模型，其以犧牲5.294%的時(shí)間換取低25.390%的預(yù)測(cè)誤差；相比于滑窗寬度為8、16、32 的預(yù)測(cè)模型，其在預(yù)測(cè)精度和效率上均具有優(yōu)勢(shì)。

4.5 特征選擇對(duì)模型性能的影響

為探究輸入特征對(duì)模型預(yù)測(cè)精度的影響，本文設(shè)置4 種預(yù)測(cè)模型輸入特征選擇方案，如附錄A 表A4 所示。設(shè)輸入特征為X=[x1，x2，…，xk]，其中x1為視在功率，x2為有功功率，x3為無(wú)功功率，x4為趨勢(shì)特征變量，x5為星期特征變量，x6為日特征變量，x7為節(jié)假日特征變量。結(jié)合相關(guān)性分析結(jié)果，各臺(tái)區(qū)在方案1 下選擇的輸入特征均為x1，在方案2 下選擇的輸入特征均為x1至x3，在方案3 下選擇的輸入特征均為x1至x7，在方案4 下選擇的輸入特征如附錄A 表A5 所示。

采用上述4 種特征選擇方案為預(yù)測(cè)模型篩選的輸入特征，在4 個(gè)臺(tái)區(qū)上的整體預(yù)測(cè)誤差如附錄A圖A13 所示。采取方案1 選擇的特征，即僅使用視在功率作為預(yù)測(cè)模型的輸入，在4 個(gè)臺(tái)區(qū)上的平均誤差最大，為5.589%。采取方案2 選擇的特征，即使用視在功率和全部電力特征作為預(yù)測(cè)模型的輸入，在4 個(gè)臺(tái)區(qū)上的平均誤差為4.436%，相比于方案1，預(yù)測(cè)誤差降低了20.630%，驗(yàn)證了本文使用電力特征的有效性。采取方案3 選擇的特征，即使用視在功率和全部電力、時(shí)序特征作為預(yù)測(cè)模型的輸入，在4 個(gè)臺(tái)區(qū)上的平均誤差為4.048%，相比于方案2，誤差降低了8.747%，驗(yàn)證了本文使用Prophet提取得到的時(shí)序特征的有效性。

采用方案4 選擇的特征作為預(yù)測(cè)模型的輸入，在4 個(gè)臺(tái)區(qū)上的平均預(yù)測(cè)誤差最小，為3.674%。相較于選擇全部電力、時(shí)序特征的方案3，預(yù)測(cè)誤差降低了9.239%，驗(yàn)證了本文使用MIC 相關(guān)性分析方法篩選輸入特征的有效性。

4.6 消融實(shí)驗(yàn)

為驗(yàn)證本文所提預(yù)測(cè)模型DMHSA-TCN 中各部分的有效性，對(duì)該模型進(jìn)行消融實(shí)驗(yàn)，設(shè)置的4 種對(duì)比模型分別為TCN、FMHSA-TCN、TMHSATCN 和DMHSA-TCN。 其中，TCN、FMHSATCN、TMHSA-TCN 的結(jié)構(gòu)分別在附錄A 圖A8、圖A10、圖A11 的基礎(chǔ)上添加全連接層為模型的最后一層，輸出預(yù)測(cè)結(jié)果。

為選擇最優(yōu)的多頭自注意力頭數(shù)，考慮到預(yù)測(cè)模型的復(fù)雜度，DMHSA-TCN 的FMHSA 層和TMHSA 層設(shè)置不同的注意力頭數(shù)，注意力頭數(shù)的選擇范圍為[1，5]。不同特征、時(shí)序注意力頭數(shù)組合下4 個(gè)臺(tái)區(qū)的整體預(yù)測(cè)誤差如附錄A 表A6 所示。當(dāng)FMHSA 頭數(shù)為3、TMHSA 頭數(shù)為2 時(shí)，預(yù)測(cè)誤差最小，與未使用多頭自注意力時(shí)的預(yù)測(cè)誤差相比減小64.859%。值得注意的是，并非所有使用特征/TMHSA 的預(yù)測(cè)模型都比使用單頭自注意力的預(yù)測(cè)模型的預(yù)測(cè)效果好，使用前需對(duì)比選擇。

在消融實(shí)驗(yàn)中，本文使用的DMHSA-TCN 預(yù)測(cè)模型中的特征/TMHSA 頭數(shù)分別為3 和2，F(xiàn)MHSA-TCN 預(yù)測(cè)模型中的FMHSA 頭數(shù)為3，TMHSA 頭數(shù)為2。附錄A 圖A14 為對(duì)比模型在4 個(gè)臺(tái)區(qū)測(cè)試集中最后一天的負(fù)荷真實(shí)值與預(yù)測(cè)值的曲線圖，表1 為各模型在測(cè)試集上的預(yù)測(cè)誤差。

從4 個(gè)臺(tái)區(qū)的整體預(yù)測(cè)結(jié)果中可以看出，F(xiàn)MHSA-TCN 和TMHSA-TCN 的預(yù)測(cè)精度均高于TCN。相較于TCN，F(xiàn)MHSA-TCN 的預(yù)測(cè)擬合優(yōu)度平均提升了13.773%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了50.014%、57.002% 與60.084%；TMHSA-TCN 的預(yù)測(cè)擬合優(yōu)度平均提升了14.352%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了50.373%、59.532% 與 64.018%，表明了引用FMHSA 和TMHSA 可以有效提升臺(tái)區(qū)負(fù)荷預(yù)測(cè)擬合優(yōu)度與精度。

其中，DMHSA-TCN 在所有臺(tái)區(qū)的預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)中表現(xiàn)最優(yōu)。 相較于FMHSA-TCN，DMHSA-TCN 的預(yù)測(cè)擬合優(yōu)度平均提升了2.182%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了23.112%、21.596% 與25.799%。相較于TMHSATCN，DMHSA-TCN 的預(yù)測(cè)擬合優(yōu)度平均提升了1.654%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了23.154%、18.375% 與 18.399%。 結(jié)果驗(yàn)證了DMHSA-TCN 中FMHSA 和TMHSA 組合的有效性。相較于單獨(dú)使用特征或TMHSA，組合使用給預(yù)測(cè)模型性能帶來(lái)的提升效果更大。

4.7 多種預(yù)測(cè)模型對(duì)比

為進(jìn)一步說(shuō)明本文所提模型在臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)中的優(yōu)勢(shì)，選擇兩種傳統(tǒng)機(jī)器學(xué)習(xí)模型支持向量機(jī)（SVM）、極限梯度提升（XGBOOST）和4 種深度學(xué)習(xí)模型長(zhǎng)短期記憶網(wǎng)絡(luò)（下文簡(jiǎn)稱LSTM）、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（下文簡(jiǎn)稱BiLSTM）以及添加特征、時(shí)序雙重多頭自注意力的DMHSA-LSTM、DMHSA-BiLSTM 作為對(duì)比模型。其中，SVM、XGBOOST、LSTM 和BiLSTM 的具體參數(shù)設(shè)置如附錄A 表A7 所示。DMHSA-LSTM 和DMHSABiLSTM 中LSTM 層、BiLSTM 層與LSTM 和BiLSTM 單獨(dú)模型具有相同的參數(shù)設(shè)置，添加的FMHSA 頭數(shù)為3，TMHSA 頭數(shù)為2。所有對(duì)比模型的迭代次數(shù)、訓(xùn)練批尺寸、優(yōu)化算法、損失函數(shù)等其他參數(shù)設(shè)置均與DMHSA-TCN 相同。

圖4 為各模型在測(cè)試集中最后一天的負(fù)荷真實(shí)值與預(yù)測(cè)值的曲線圖，表2 為各模型在測(cè)試集上的預(yù)測(cè)誤差。相比于兩種傳統(tǒng)機(jī)器學(xué)習(xí)模型，DMHSA-TCN 在預(yù)測(cè)精度方面具有優(yōu)勢(shì)。具體地，相比于SVM，DMHSA-TCN 在4 個(gè)臺(tái)區(qū)上的預(yù)測(cè)擬合優(yōu)度平均提升了18.724%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了 63.986%、70.541% 與74.353%。相比于XGBOOST，DMHSA-TCN 在4 個(gè)臺(tái)區(qū)上的預(yù)測(cè)擬合優(yōu)度平均提升了13.780%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了58.281%、64.103% 與69.127%。值得說(shuō)明的是，DMHSATCN 在計(jì)算時(shí)間上與傳統(tǒng)機(jī)器學(xué)習(xí)模型相比并沒(méi)有優(yōu)勢(shì)。因此，在某些不過(guò)分注重預(yù)測(cè)精度的場(chǎng)景下，仍可考慮使用傳統(tǒng)機(jī)器學(xué)習(xí)模型進(jìn)行負(fù)荷預(yù)測(cè)，而本文所提DMHSA-TCN 預(yù)測(cè)模型更關(guān)注于預(yù)測(cè)精度的提高。

表2 不同模型的預(yù)測(cè)誤差Table 2 Forecasting errors of different models

圖4 不同模型的預(yù)測(cè)結(jié)果Fig.4 Forecasting results of different models

相比于4 種深度學(xué)習(xí)模型，DMHSA-TCN 在預(yù)測(cè)精度和預(yù)測(cè)效率兩方面均具有優(yōu)勢(shì)。具體地，相比于LSTM，DMHSA-TCN 預(yù)測(cè)擬合優(yōu)度平均提升了14.120%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了60.292%、65.578%與69.956%，計(jì)算時(shí)間減少4.309%。相比于BiLSTM，DMHSA-TCN 預(yù)測(cè)擬合優(yōu)度平均提升了13.895%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了60.186%、65.772% 與69.527%，計(jì)算時(shí)間減少38.954%。相比于DMHSA-LSTM，DMHSA-TCN 預(yù)測(cè)擬合優(yōu)度平均提升了2.658%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了19.098%、27.389%與37.056%，計(jì)算時(shí)間減少13.569%。相比于DMHSA-BiLSTM，DMHSA-TCN 預(yù)測(cè)擬合優(yōu)度平均提升了0.670%，預(yù)測(cè)誤差eRMSE、eMAE與eSMAPE平均降低了15.224%、20.587% 與26.792%，計(jì)算時(shí)間減少47.609%。

基于上述分析可得，本文所提DMHSA-TCN預(yù)測(cè)模型的預(yù)測(cè)能力強(qiáng)于DMHSA-LSTM 和DMHSA-BiLSTM，說(shuō)明TCN 和雙重多頭自注意力的組合優(yōu)于LSTM、BiLSTM 和雙重多頭自注意力的組合。這是因?yàn)橄啾扔谘h(huán)神經(jīng)網(wǎng)絡(luò)LSTM 和BiLSTM，TCN 能實(shí)現(xiàn)并行計(jì)算，且能避免出現(xiàn)梯度消失問(wèn)題，能更好地挖掘負(fù)荷與特征序列間存在的依賴關(guān)系。此外，DMHSA-LSTM 和DMHSABiLSTM 的預(yù)測(cè)能力強(qiáng)于LSTM 和BiLSTM，同時(shí)也驗(yàn)證了特征、時(shí)序雙重自注意力的有效性。

附錄A 圖A15（a）所示為1 號(hào)臺(tái)區(qū)測(cè)試集中的一個(gè)輸入樣本數(shù)據(jù)，特征維度為5，包括視在功率、有功功率、無(wú)功功率、趨勢(shì)特征和日特征，時(shí)間步維度為4，即時(shí)間范圍為1 h。附錄A 圖A15（b）所示為FMHSA 層的輸出，可以看出多頭自注意力機(jī)制為負(fù)荷特征輸入矩陣中不同的特征賦予了不同的權(quán)重。附錄A 圖A15（c）所示為TCN 層的輸出，可以看出TCN 挖掘負(fù)荷特征間隱含的長(zhǎng)期依賴關(guān)系，篩選重要特征。附錄A 圖A15（d）所示為TMHSA 層的輸出，可以看出多頭自注意力機(jī)制為TCN 層輸出矩陣中不同的時(shí)間步賦予了不同的權(quán)重。本文所使用的特征/時(shí)序雙重多頭注意力機(jī)制，從特征和時(shí)間步兩個(gè)維度為負(fù)荷特征矩陣賦權(quán)，以突出關(guān)鍵信息的影響，提高TCN 的預(yù)測(cè)性能。

5 結(jié)語(yǔ)

本文提出一種面向配電網(wǎng)超短期負(fù)荷預(yù)測(cè)的DMHSA-TCN 混合模型，有效提高了臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)精度，相關(guān)結(jié)論如下：

1）充分利用臺(tái)區(qū)負(fù)荷量測(cè)數(shù)據(jù)，采用Prophet 提取負(fù)荷序列中的時(shí)序特征，挖掘臺(tái)區(qū)不同時(shí)間尺度上的用電特性。將提取得到的強(qiáng)相關(guān)時(shí)序特征作為所提預(yù)測(cè)模型的輸入特征，有利于預(yù)測(cè)模型的學(xué)習(xí)與訓(xùn)練。

2）DMHSA-TCN 預(yù)測(cè)模型由TCN、FMHSA、TMHSA 三大主要部分構(gòu)成。雙重多頭自注意力能夠挖掘多個(gè)輸入特征、多個(gè)時(shí)間步之間的內(nèi)部關(guān)聯(lián)性并賦以相應(yīng)權(quán)重，提高TCN 時(shí)序預(yù)測(cè)能力。消融實(shí)驗(yàn)結(jié)果驗(yàn)證了DMHSA-TCN 預(yù)測(cè)模型通過(guò)設(shè)定合理的注意力層與注意力頭數(shù)，能有效提升臺(tái)區(qū)負(fù)荷預(yù)測(cè)效果。

3）與傳統(tǒng)機(jī)器學(xué)習(xí)預(yù)測(cè)模型相比，所提DMHSA-TCN 預(yù)測(cè)模型具有更高的預(yù)測(cè)精度；與深度學(xué)習(xí)預(yù)測(cè)模型相比較，所提DMHSA-TCN 預(yù)測(cè)模型在臺(tái)區(qū)超短期負(fù)荷預(yù)測(cè)精度和預(yù)測(cè)效率上均具有一定的優(yōu)勢(shì)。

本文在4 個(gè)不同用電特性的典型臺(tái)區(qū)上驗(yàn)證了所提預(yù)測(cè)框架的有效性，后續(xù)可以研究臺(tái)區(qū)聚類方法，進(jìn)行多時(shí)間尺度預(yù)測(cè)工作，進(jìn)一步提高預(yù)測(cè)模型的通用性。在此基礎(chǔ)上，可開展臺(tái)區(qū)配電變壓器重過(guò)載預(yù)警工作。

附錄見本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。