doi：10.11835/j.issn.1000-582X.2023.201

摘要：為了挖掘負(fù)荷預(yù)測(cè)中不同輸入特征的重要性，有效處理負(fù)荷數(shù)據(jù)中的線性成分和非線性成分，提高負(fù)荷預(yù)測(cè)的精度，提出一種基于TabNet和長(zhǎng)期和短期時(shí)間序列網(wǎng)絡(luò)（long and short-term temporal networks，LSTNet）的組合負(fù)荷預(yù)測(cè)模型。通過(guò)引入自監(jiān)督預(yù)訓(xùn)練來(lái)提高TabNet的預(yù)測(cè)精度，通過(guò)訓(xùn)練得到輸入特征的全局重要性和預(yù)測(cè)結(jié)果，然后把重要性高的特征輸入到LSTNet訓(xùn)練得出預(yù)測(cè)結(jié)果，最后通過(guò)方差-協(xié)方差組合方法得出TabNet-LSTNet模型的預(yù)測(cè)結(jié)果。通過(guò)仿真分析，與傳統(tǒng)的長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）、極端梯度提升機(jī)（extreme gradient boost，Xgboost）、輕量級(jí)梯度提升機(jī)（lignt gradient boosting machine，Lightgbm）和其他組合模型相比較，TabNet-LSTNet模型具有更高的精度。

關(guān)鍵詞：負(fù)荷預(yù)測(cè)；特征重要性；TabNet；自監(jiān)督預(yù)訓(xùn)練；LSTNet

中圖分類號(hào)：TM715文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1000-582X（2024）09-129-12

Multi-featured short-term load forecasting based on TabNet-LSTNet

WU Wenhui1，HE Jiafeng1，CAI Gaoyan2，LUO Dehan1

（1.School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，P.R.China;

2.Guangdong Haodi Innovation Technology Co.，Ltd.，F(xiàn)oshan，Guangdong 528200，P.R.China）

Abstract：To explore the importance of different input features in load forecasting，effectively handle the linear and nonlinear components in load data，and improve the accuracy of load prediction，a combined load prediction model based on TabNet and LSTNet（long and short-term temporal networks）is proposed in this paper.First，the prediction accuracy of TabNet is improved by introducing self-supervised pre-training，and then the global importance of the input features and the prediction results are obtained by training.Next，the features with high importance are input to LSTNet，which is trained to obtain the prediction results.Finally，the prediction results of the combined model are derived using the variance-covariance combination method.Simulation analysis shows that the proposed combined model has higher accuracy compared with traditional LSTM（long and short-term memeory），Xgboost（extreme gradient boost），Lightgbm（lignt gradient boosting machine）and other combined models.

Keywords：load forecasting;feature importance;TabNet;self-supervised pre-training;LSTNet

短期負(fù)荷預(yù)測(cè)是電力系統(tǒng)運(yùn)行和規(guī)劃的基礎(chǔ)。準(zhǔn)確的負(fù)荷預(yù)測(cè)可以保證電力系統(tǒng)安全可靠地運(yùn)行、降低發(fā)電成本和提高經(jīng)濟(jì)效益[1-2]。隨著國(guó)家提出“碳中和、碳達(dá)峰”的目標(biāo)，負(fù)荷預(yù)測(cè)對(duì)促進(jìn)電力供需平衡、構(gòu)建以新能源為主體的電力系統(tǒng)具有重要的意義[3]。

在現(xiàn)代社會(huì)中，短期負(fù)荷預(yù)測(cè)受多種外部因素的相互影響，如時(shí)間因素、氣候因素、用戶因素和歷史負(fù)荷因素等[4]。短期負(fù)荷預(yù)測(cè)的核心問(wèn)題是如何提高輸入數(shù)據(jù)的質(zhì)量和預(yù)測(cè)模型的水平。

根據(jù)方法類型，短期負(fù)荷預(yù)測(cè)算法可以分為數(shù)學(xué)算法、人工智能算法和組合預(yù)測(cè)算法3大類。基于數(shù)學(xué)算法的負(fù)荷預(yù)測(cè)模型有線性回歸[5]、指數(shù)平滑[6]和累計(jì)自回歸滑動(dòng)平均[7]等，這類算法只適用于簡(jiǎn)單平滑的時(shí)間序列。由于負(fù)荷數(shù)據(jù)具有非平穩(wěn)特性，數(shù)學(xué)算法模型太簡(jiǎn)單，不能有效地處理這些特征信息。人工智能技術(shù)正在蓬勃發(fā)展，已有研究將人工智能算法應(yīng)用到負(fù)荷預(yù)測(cè)中[8]?；谌斯ぶ悄艿呢?fù)荷預(yù)測(cè)算法主要有隨機(jī)森林（random forest，RF）[9]、極端學(xué)習(xí)機(jī)（extreme learning machine，ELM）[10]、支持向量回歸（support vector regression，SVR）[11]和長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）[12]等。這些算法可以有效地從時(shí)間序列中提取特征，并提供輸入和輸出之間的有效連接。Huang等[11]采用SVR解決了反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型收斂速度慢、對(duì)樣本的依賴性高和泛化能力較弱的缺點(diǎn)。但基于SVR的預(yù)測(cè)模型的應(yīng)用很有限，難以處理大規(guī)模的訓(xùn)練樣本和優(yōu)化超參數(shù)。Kim等[12]提出了不同的基于LSTM的深度學(xué)習(xí)預(yù)測(cè)框架來(lái)預(yù)測(cè)住宅負(fù)荷趨勢(shì)，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型中的梯度消失和梯度爆炸問(wèn)題。但當(dāng)輸入數(shù)據(jù)有非線性特征時(shí)，模型的預(yù)測(cè)性能會(huì)下降。

為了進(jìn)一步提高預(yù)測(cè)精度，許多學(xué)者提出了混合預(yù)測(cè)模型。這種方法通過(guò)將多種算法應(yīng)用于數(shù)據(jù)輸入和預(yù)測(cè)模型，利用每種算法和預(yù)測(cè)模型的特點(diǎn)和優(yōu)勢(shì)，滿足短期負(fù)荷預(yù)測(cè)對(duì)精度的需求。

陸繼翔等[13]構(gòu)建了基于CNN-LSTM的混合神經(jīng)網(wǎng)絡(luò)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）提取符合的多特征向量，并經(jīng)由LSTM實(shí)現(xiàn)負(fù)荷預(yù)測(cè)，提高了預(yù)測(cè)精度。孫超等[14]基于雙層X(jué)gboost算法考慮多特征影響進(jìn)行超短期電力負(fù)荷預(yù)測(cè)，以第1層篩選出的特征集和負(fù)荷作為負(fù)荷預(yù)測(cè)層的輸入變量，改善了單層模型在特征篩選和特征間相關(guān)性挖掘等方面存在的不足。該研究沒(méi)有進(jìn)一步挖掘不同時(shí)刻下輸入特征的重要性，導(dǎo)致極端情況下預(yù)測(cè)精度欠佳。陳緯楠等[15]基于LSTM和Lightgbm組合模型進(jìn)行短期負(fù)荷預(yù)測(cè)，通過(guò)結(jié)合時(shí)序特征和非連續(xù)特征提高對(duì)時(shí)間序列的感知能力。但是該組合模型無(wú)法有效獲取負(fù)荷序列中的長(zhǎng)期周期性和短期非線性信息。

通過(guò)以上研究發(fā)現(xiàn)，Xgboost和Lightgbm等基于梯度提升決策樹（gradient boosting decision tree，GBDT）的算法未能有效地挖掘出不同時(shí)刻輸入特征的重要性。因?yàn)樵诓煌瑫r(shí)刻，每個(gè)特征對(duì)負(fù)荷變化的影響是不同的，特征的重要性會(huì)隨著時(shí)間發(fā)生改變；例如，溫度在一天中的不同時(shí)刻對(duì)用電量的影響是有差異的，溫度的重要性隨之改變。TabNet模型是Arik等[16]提出的基于順序注意力機(jī)制的可解釋表格學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它在保留深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）端到端和表征學(xué)習(xí)的基礎(chǔ)上，還具有數(shù)模型的可解釋性和稀疏特征選擇等優(yōu)點(diǎn)。傳統(tǒng)的LSTM模型無(wú)法有效挖掘負(fù)荷數(shù)據(jù)的周期性和短期非線性規(guī)律，而LSTNet[17]能使用不同的時(shí)間間隔對(duì)長(zhǎng)期和短期數(shù)據(jù)特征進(jìn)行信息提取，能夠有效地記住多元時(shí)間序列的長(zhǎng)期趨勢(shì)和短期變化。筆者利用TabNet模型的順序注意力機(jī)制實(shí)現(xiàn)特征選擇，并通過(guò)引入自監(jiān)督預(yù)訓(xùn)練來(lái)讓不同的樣本選擇不同的特征，獲取輸入特征的局部重要性和全局重要性。綜合考慮時(shí)間因素、氣象因素和歷史負(fù)荷因素對(duì)短期負(fù)荷預(yù)測(cè)的影響，通過(guò)TabNet-LSTNet模型結(jié)合兩種模型的優(yōu)點(diǎn)，既能有效處理負(fù)荷數(shù)據(jù)中的類別特征和非連續(xù)特征，又能挖掘長(zhǎng)期負(fù)荷序列中的內(nèi)在關(guān)系，提高預(yù)測(cè)的精度，促進(jìn)現(xiàn)代電力系統(tǒng)安全穩(wěn)定地運(yùn)行。

1基于TabNet的負(fù)荷預(yù)測(cè)模型

1.1 TabNet模型原理

TabNet模型經(jīng)由多個(gè)決策步驟的子模塊構(gòu)成，每個(gè)決策步驟的輸入數(shù)據(jù)為相同的B×D特征矩陣；B是批處理量大小，D是特征的維度。負(fù)荷特征數(shù)據(jù)通常包括類別數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)，TabNet能直接使用原始數(shù)據(jù)，將類別特征映射為數(shù)字特征。圖1顯示了TabNet的編碼器結(jié)構(gòu)，主要由特征轉(zhuǎn)換器、注意力機(jī)制轉(zhuǎn)換器和屏蔽層組成。在特征轉(zhuǎn)換器進(jìn)行特征計(jì)算后，注意力機(jī)制轉(zhuǎn)換器會(huì)輸出下一個(gè)決策步驟的特征，最后通過(guò)全連接層（fully connected layer，F(xiàn)C）輸出預(yù)測(cè)結(jié)果，并且通過(guò)屏蔽層得到特征的重要性。

注意力機(jī)制轉(zhuǎn)換器的結(jié)構(gòu)如圖2所示。屏蔽層通過(guò)注意力機(jī)制轉(zhuǎn)換器的輸出結(jié)果來(lái)進(jìn)行特征選擇，為

式中：a[i]代表輸入特征；hi表示全連接層和批標(biāo)準(zhǔn)化（batch normalization，BN）層的結(jié)合，hi的作用是實(shí)現(xiàn)特征的線性組合；P[i]為圖2中的先驗(yàn)量表，表示特征在之前決策步驟的重要性；Sparsemax層使得特征選擇更加稀疏；M[i]為屏蔽層矩陣；Lsparese表示M[i]的稀疏性，Lsparese越小，M[i]越稀疏。

特征轉(zhuǎn)換器主要由全連接層，批標(biāo)準(zhǔn)化層和門控線性單元（gated linear unit，GLU）層構(gòu)成。如圖3所示，該結(jié)構(gòu)前半部分的參數(shù)共享，這意味著它們?cè)谒胁襟E上都是共同訓(xùn)練的，實(shí)現(xiàn)特征的共性計(jì)算；后半部分的參數(shù)不共享，而是在每個(gè)步驟上分別訓(xùn)練，用于計(jì)算特征的特性。這種結(jié)構(gòu)使得模型具有更高的魯棒性。

圖4為TabNet的解碼器結(jié)構(gòu)，每一個(gè)決策步驟都由一個(gè)特征轉(zhuǎn)換器組成。編碼表示為編碼器中沒(méi)有經(jīng)過(guò)全連接層的加和向量，經(jīng)過(guò)若干個(gè)步驟的加和得到重構(gòu)的特征。

1.2 TabNet負(fù)荷預(yù)測(cè)模型的自監(jiān)督預(yù)訓(xùn)練

自監(jiān)督學(xué)習(xí)主要從大量的無(wú)監(jiān)督數(shù)據(jù)中挖掘監(jiān)督信息，并通過(guò)構(gòu)建的監(jiān)督信息對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而為下游任務(wù)學(xué)習(xí)提供有價(jià)值的信息。自監(jiān)督預(yù)訓(xùn)練可以將參數(shù)約束在一個(gè)合適的空間中，使得預(yù)訓(xùn)練的模型能從特征空間中更合適的區(qū)域開始訓(xùn)練。

同一樣本的不同特征是相關(guān)的，所以自監(jiān)督學(xué)習(xí)時(shí)先屏蔽一些特征，如圖5所示，通過(guò)上文提到的編碼器-解碼器結(jié)構(gòu)來(lái)預(yù)測(cè)被屏蔽的特征。用這種方法訓(xùn)練的編碼器模型可以有效地描述樣本的特征。

1.3 TabNet負(fù)荷預(yù)測(cè)模型構(gòu)建

選取待預(yù)測(cè)時(shí)刻的溫度、濕度、降雨量、月份信息、小時(shí)信息、季度信息、工作日信息、是否月初和月末，以及前一天對(duì)應(yīng)時(shí)刻的歷史負(fù)荷值作為模型的輸入數(shù)據(jù)，輸出為待預(yù)測(cè)時(shí)刻的負(fù)荷值。然后利用訓(xùn)練好的模型對(duì)單個(gè)時(shí)刻分別進(jìn)行預(yù)測(cè)。圖6為TabNet進(jìn)行負(fù)荷預(yù)測(cè)的過(guò)程。

表1為TabNet模型參數(shù)設(shè)置，Nd為決策預(yù)測(cè)層的寬度，Na為注意力嵌入層的寬度，N_steps為決策步數(shù)；這3個(gè)參數(shù)決定了模型的大小，減小這3個(gè)參數(shù)能夠避免模型出現(xiàn)過(guò)擬合，同時(shí)不會(huì)顯著降低預(yù)測(cè)精度，通過(guò)網(wǎng)格搜索找出模型的最優(yōu)參數(shù)。

2基于LSTNet的負(fù)荷預(yù)測(cè)模型

2.1 LSTNet模型原理

LSTNet模型[17]的結(jié)構(gòu)如圖7所示。

LSTNet模型使用由卷積神經(jīng)網(wǎng)絡(luò)組成的卷積層來(lái)捕捉短期特征和負(fù)荷變量的短期相關(guān)性，由長(zhǎng)短期記憶網(wǎng)絡(luò)組成的循環(huán)層和循環(huán)跳躍層捕捉長(zhǎng)期特征和負(fù)荷變量的長(zhǎng)期相關(guān)性，自適應(yīng)回歸部分由自回歸模型組成，以提高模型的魯棒性。

首先，數(shù)據(jù)輸入到卷積層，用于提取歷史負(fù)荷數(shù)據(jù)和變量之間的短期相關(guān)性。卷積層由多個(gè)濾波器組成，第k個(gè)濾波器由輸入矩陣X運(yùn)算得到，表達(dá)式定義為

hk=ReLU（Wk*X+bk），（3）

式中：*為卷積運(yùn)算；ReLU為激活函數(shù)；Wk為權(quán)重矩陣；bk為偏置向量。卷積層的輸出矩陣大小為N×T；N為濾波器的數(shù)量；T為向量的長(zhǎng)度。

卷積層的輸出作為循環(huán)層和循環(huán)跳躍層的輸入變量。為了解決梯度消失問(wèn)題，循環(huán)層和循環(huán)跳躍層均由LSTM組成。循環(huán)層使用激活函數(shù)更新隱藏狀態(tài)。在t時(shí)刻，循環(huán)層的狀態(tài)計(jì)算如下。

rt=σ（x t Wxr+ht-1 Whr+br），

ut=σ（xt Wxu+ht-1 Whu+bu），

ct=ReLU（xt Wxc+rt?（ht-1 Whc）+b c），

ht=（1-ut）?ht-1+ut?ct。

式中：?表示元素之間相乘；σ表示Sigmod函數(shù)；rt為L(zhǎng)STM的遺忘門；ut為更新門；ht為隱藏層輸出。

LSTM無(wú)法捕獲非常長(zhǎng)期的相關(guān)性，添加了循環(huán)跳躍層來(lái)解決該問(wèn)題。這是一個(gè)具有時(shí)間跳躍功能的循環(huán)結(jié)構(gòu)，它擴(kuò)展了輸入序列的時(shí)間范圍，簡(jiǎn)化了優(yōu)化步驟。具體來(lái)說(shuō)，在相鄰時(shí)段中，在當(dāng)前隱藏單元和相鄰時(shí)間段的隱藏單元之間添加跳過(guò)連接。更新過(guò)程可以表示為

rt=σ（x t Wxr+ht-p Whr+br），

c ut=（xt Wxu+ht-p hu+bu，）

式中，p為跳過(guò)的隱藏單元數(shù)。

跳過(guò)的隱藏單元數(shù)需要作為超參數(shù)預(yù)先設(shè)置，這不利于提取時(shí)間序列中的非季節(jié)性特征，因?yàn)殡S著時(shí)間推移，周期長(zhǎng)度也會(huì)相應(yīng)地改變。為了解決這一問(wèn)題，采用注意力機(jī)制來(lái)關(guān)注時(shí)間序列中重要性高的特征，為

αt=AttnScore（HtR，hRt-1），（12）

式中：αt為t時(shí)刻下的注意力權(quán)重；AttnScore為一些相似的函數(shù)，如點(diǎn)積、余弦；HtR=[h t（R）-q，…，h t（R）-1]為L(zhǎng)STM中的隱藏狀態(tài)的堆疊矩陣。時(shí)間注意力層的最終輸出為

h t（D）=W[ct;hRt-1]+b，（13）

式中，h t（D）為加權(quán)向量ct和隱藏狀態(tài)ht（R）-1的串聯(lián)。

通過(guò)全連接層結(jié)合循環(huán)層和循環(huán)跳躍層的輸出結(jié)果。卷積層、循環(huán)層和循環(huán)跳躍層組合成一個(gè)具有非線性特性的神經(jīng)網(wǎng)絡(luò)。然而，在實(shí)際的負(fù)荷數(shù)據(jù)中，負(fù)荷數(shù)據(jù)通常在峰值附近不斷變化，因此會(huì)影響預(yù)測(cè)結(jié)果。為了解決峰值不敏感的問(wèn)題，在LSTNet中，使用自回歸模型作為線性分量，形成自適應(yīng)回歸模塊。自回歸模型表示如下：

h t，（L）i=Σk（q）01 w k（a）ry t-k，i+bar。（14）

式中：ht，（L）i為AR模型的輸出；w k（a）r和bar為模型參數(shù)；qa為輸入矩陣的大小。

最后，將神經(jīng)網(wǎng)絡(luò)和自回歸的結(jié)果結(jié)合起來(lái)，輸出最終的預(yù)測(cè)值Y（?）t。

Y（?）t=σ（h t（D）+ht（L））。（15）

2.2 LSTNet負(fù)荷預(yù)測(cè)模型構(gòu)建

表2為L(zhǎng)STNet模型參數(shù)。歷史負(fù)荷能夠明顯反映負(fù)荷的變化規(guī)律，因此，需要把歷史負(fù)荷值作為短期負(fù)荷預(yù)測(cè)模型的輸入特征。歷史負(fù)荷值選取過(guò)多或過(guò)少都會(huì)影響模型的預(yù)測(cè)精度，文中時(shí)間窗口設(shè)置為4，即選取過(guò)去4個(gè)時(shí)刻的負(fù)荷值作為模型的輸入；由于負(fù)荷數(shù)據(jù)還具有明顯的日周期性，把跳過(guò)單元數(shù)設(shè)置為24，即選取前一天同一時(shí)刻的負(fù)荷值也作為模型的輸入變量，同時(shí)獲取負(fù)荷數(shù)據(jù)的短期關(guān)系和長(zhǎng)期關(guān)系。AR窗口尺寸設(shè)置為7，即選取過(guò)去7個(gè)時(shí)刻的負(fù)荷值進(jìn)行線性回歸，以此來(lái)解決負(fù)荷數(shù)據(jù)在峰值處不敏感的問(wèn)題。

3 TabNet-LSTNet負(fù)荷預(yù)測(cè)模型

3.1輸入特征選擇

負(fù)荷值由許多因素共同決定，因此，有效地提取和選擇輸入特征是提高模型性能的重要手段。表3為所選用的輸入特征，通過(guò)TabNet的順序注意力機(jī)制來(lái)實(shí)現(xiàn)特征選擇。

圖8顯示了每個(gè)特征的局部重要性，TabNet在第1個(gè)和第3個(gè)決策步驟之間進(jìn)行特征選擇，顏色越亮表示特征在這個(gè)決策步驟中被賦予更大的權(quán)重。

圖9顯示了特征的全局重要性，最高溫度、平均溫度、歷史負(fù)荷值占比較大，而最低溫度、相對(duì)濕度、降雨量占比最小，所有特征的重要性相加等于1。因此，把重要性較低的2、4、5號(hào)特征刪除，其余特征用作

3.2組合預(yù)測(cè)模型

在經(jīng)過(guò)TabNet模型篩選特征后，通過(guò)滑動(dòng)窗口構(gòu)建LSTNet模型的輸入數(shù)據(jù)，采用單步預(yù)測(cè)的方式預(yù)測(cè)當(dāng)前負(fù)荷值。

通過(guò)TabNet和LSTNet分別得到預(yù)測(cè)結(jié)果后，采用方差-協(xié)方差組合預(yù)測(cè)法[18-19]確定2個(gè)模型的權(quán)重系數(shù)。假設(shè)2個(gè)模型的預(yù)測(cè)值分別為y 1和y2，預(yù)測(cè)值和真實(shí)值誤差分別為e 1和e2，方差分別為σ1和σ2，組合預(yù)測(cè)結(jié)果為

式中：y c為組合預(yù)測(cè)結(jié)果；e c為組合預(yù)測(cè)誤差；Var（ec）為組合預(yù)測(cè)方差；w 1和w2分別為2個(gè)模型的權(quán)重系數(shù)。

為了求出合適的權(quán)重系數(shù)，Var（ec）取值應(yīng)最小，可通過(guò)拉格朗日乘子法求出w 1和w2的最小值，如式（20）所示。最后，得出組合預(yù)測(cè)結(jié)果y c。圖10為組合預(yù)測(cè)過(guò)程。

4實(shí)驗(yàn)結(jié)果與分析

4.1實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

選取中國(guó)廣東省佛山市某地區(qū)2015年1月1日至2016年12月31日每小時(shí)的電力負(fù)荷數(shù)據(jù)、對(duì)應(yīng)的氣象數(shù)據(jù)和日期相關(guān)數(shù)據(jù)，每天采集24個(gè)點(diǎn)，一共17 544條數(shù)據(jù)；按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。為了驗(yàn)證組合模型的有效性，從測(cè)試集中再劃分，前50%的數(shù)據(jù)用于計(jì)算真實(shí)值和預(yù)測(cè)值的誤差，為后50%的數(shù)據(jù)提供組合依據(jù)，再用這些數(shù)據(jù)驗(yàn)證模型的預(yù)測(cè)精度。

為了避免缺失數(shù)據(jù)對(duì)負(fù)荷預(yù)測(cè)的不利影響，并考慮負(fù)荷數(shù)據(jù)的隨機(jī)性和特殊性[20]，實(shí)驗(yàn)復(fù)制了前一天同時(shí)觀測(cè)到的數(shù)據(jù)，以填補(bǔ)缺失值。為了提高預(yù)測(cè)的精度和收斂速度，對(duì)輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行歸一化處理：

式中：x（?）（i）為歸一化后的值；xmax和xmin分別為原始樣本數(shù)據(jù)的最大值和最小值。

4.2評(píng)價(jià)指標(biāo)

采用平均絕對(duì)百分比誤差RMAPE（mean absolute percentage error，MAPE）、平均絕對(duì)誤差RMAE（mean absolute error，MAE）和均方根誤差RRMSE（root mean square error，RMSE）3個(gè)指標(biāo)來(lái)評(píng)價(jià)模型的預(yù)測(cè)能力。

RMAPE是實(shí)際負(fù)荷值和預(yù)測(cè)負(fù)荷值的絕對(duì)誤差之和除以實(shí)際值的平均值，是評(píng)估預(yù)測(cè)模型可靠性的最常用指標(biāo)。RMAE和RRMSE用于測(cè)量預(yù)測(cè)負(fù)荷值的總體偏差，它與電力負(fù)荷具有相同的單位，使評(píng)估模型的預(yù)測(cè)能力變得方便和直接。RMAPE、RMAE和RRMSE的定義如下：

式中：n為預(yù)測(cè)樣本數(shù)；yi和y c分別為i時(shí)刻的真實(shí)負(fù)荷值和預(yù)測(cè)負(fù)荷值。

4.3消融實(shí)驗(yàn)

為了驗(yàn)證所提的自監(jiān)督預(yù)訓(xùn)練和特征篩選的優(yōu)越性進(jìn)行了消融實(shí)驗(yàn)。通過(guò)表4的消融實(shí)驗(yàn)誤差可知，TabNet經(jīng)過(guò)自監(jiān)督預(yù)訓(xùn)練后，RMAPE、RRMSE和RMAE分別降低了0.47%、41.20 MW、36.02 MW，證明自監(jiān)督預(yù)訓(xùn)練能夠讓模型更有效地學(xué)習(xí)樣本的特征，深入挖掘了不同時(shí)刻下輸入特征的重要性，提高模型的性能；LSTNet經(jīng)過(guò)特征篩選后，RMAPE、RMAE和RRMSE分別降低了0.37%、43.90 MW、35.59 MW，說(shuō)明特征篩選讓模型只關(guān)注重要性高的特征，避免了不相關(guān)特征的干擾，有效地提升了預(yù)測(cè)性能。

4.4預(yù)測(cè)結(jié)果對(duì)比分析

為了驗(yàn)證所提出方法的可靠性和有效性，將實(shí)驗(yàn)結(jié)果與其他模型的預(yù)測(cè)結(jié)果進(jìn)行比較。由表5可知，LSTNet模型比傳統(tǒng)的LSTM網(wǎng)絡(luò)預(yù)測(cè)效果有所提升，RMAPE、RRMSE和RMAE分別下降了1.64%、162.88 MW和113.03 MW；相對(duì)于Xgboost、Lightgbm、Catboost這些GBDT模型，TabNet的預(yù)測(cè)能力也有顯著提升，RMAPE為1.37%，在所有單一模型中效果最好，說(shuō)明TabNet模型能更好地表征負(fù)荷數(shù)據(jù)。

由圖11（a）可知，在單一模型中，TabNet模型和LSTNet模型能更好地?cái)M合負(fù)荷曲線。在組合模型中，采用GBDT模型中效果較好的Catboost和LSTNet組合，分別與文獻(xiàn)[13]中的CNN-LSTM模型、文獻(xiàn)[15]中的Lightgbm-LSTM和文中所提出的TabNet-LSTNet模型相比較，TabNet-LSTNet模型的3項(xiàng)指標(biāo)均為最小，分別為1.19%、105.29 MW和78.94 MW；由圖11（b）可知，在負(fù)荷波動(dòng)較大的峰谷和峰底附近，TabNet-LSTNet模型比其他組合模型更好地?cái)M合負(fù)荷曲線，說(shuō)明所提出模型能夠充分挖pMJ9RWXoSqDLf8fSpt8ad0HTlRW4cIuENN81Np2PMiU=掘負(fù)荷數(shù)據(jù)規(guī)律和時(shí)序信息。

圖12為文中組合模型與單一模型各時(shí)刻的預(yù)測(cè)誤差對(duì)比，與單一的TabNet模型和LSTNet模型相比，TabNet-LSTNet模型的預(yù)測(cè)誤差波動(dòng)更小。在隨機(jī)性和波動(dòng)性較強(qiáng)的情況下，組合模型有效地降低整體預(yù)測(cè)誤差，提高了預(yù)測(cè)性能。

表6為TabNet-LSTNet模型和單一模型一天的預(yù)測(cè)結(jié)果對(duì)比，組合模型的預(yù)測(cè)誤差最小，RMAPE、RRMSE和RMAE分別為0.62%、56.33 MW和42.31 MW。該模型充分學(xué)習(xí)了負(fù)荷序列中的依賴關(guān)系，能讓供電部門更好地安排日調(diào)度計(jì)劃，提高經(jīng)濟(jì)效益和安全保障。

5結(jié)束語(yǔ)

為了滿足供電部門對(duì)負(fù)荷預(yù)測(cè)高精度的要求，提出了一種基于TabNet-LSTNet的短期負(fù)荷預(yù)測(cè)模型。通過(guò)實(shí)驗(yàn)分析，得出以下結(jié)論。

1）TabNet對(duì)影響負(fù)荷預(yù)測(cè)的特征具有良好的解釋性，能夠挖掘出每個(gè)特征的局部重要性和全局重要性。

2）LSTNet有效地處理時(shí)間序列中的線性特征和非線性特征，與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，能夠獲取相當(dāng)長(zhǎng)時(shí)間的相關(guān)信息和短期非線性變化規(guī)律。

3）TabNet-LSTNet模型結(jié)合2種方法的優(yōu)點(diǎn)，有效地降低了誤差指標(biāo)，提高了模型的整體預(yù)測(cè)性能，為電力系統(tǒng)的穩(wěn)定運(yùn)行提供更有力的保障。

在未來(lái)的研究中，可將負(fù)荷預(yù)測(cè)應(yīng)用到多個(gè)具體的行業(yè)，例如商業(yè)用電、民用用電、工業(yè)用電等，挖掘出每個(gè)行業(yè)數(shù)據(jù)特征的規(guī)律，提高全行業(yè)的負(fù)荷預(yù)測(cè)準(zhǔn)確率。

參考文獻(xiàn)

［1］焦筱悛，徐青山.電力系統(tǒng)單用戶超短期負(fù)荷預(yù)測(cè)算法研究[J].電測(cè)與儀表，2020，57（1）：30-35，48.

Jiao X Q，Xu Q S.A new ultra-short-term load forecasting algorithm for single user in power system[J].Electrical Measurement&Instrumentation，2020，57（1）：30-35，48.（in Chinese）

［2］Wang Y Y，Sun S F，Chen X，et al.Short-term load forecasting of industrial customers based on SVMD and XGBoost[J].International Journal of Electrical Power&Energy Systems，2021，129：106830.

［3］López J C，Rider M J，Wu Q W.Parsimonious short-term load forecasting for optimal operation planning of electrical distribution systems[J].IEEE Transactions on Power Systems，2019，34（2）：1427-1437.

［4］Massaoudi M，Refaat S S，Chihi I，et al.A novel stacked generalization ensemble-based hybrid LGBM-XGB-MLP model for Short-Term Load Forecasting[J].Energy，2021，214：118874.

［5］Fang J L，Xing Y，F(xiàn)u Y，et al.Rural power system load forecast based on principal component analysis[J].Journal of Northeast Agricultural University（English Edition），2015，22（2）：67-72.

［6］Ji P R，Xiong D，Wang P，et al.A study on exponential smoothing model for load forecasting[C]//2012 Asia-Pacific Power and Energy Engineering Conference，Shanghai，China.IEEE，2012：1-4.

［7］Zhu X H，Shen M.Based on the ARIMA model with grey theory for short term load forecasting model[C]//2012 International Conference on Systems and Informatics（ICSAI2012），Yantai，China.IEEE，2012：564-567.

［8］徐晴，周超，趙雙雙，等.基于機(jī)器學(xué)習(xí)的短期電力負(fù)荷預(yù)測(cè)方法研究[J].電測(cè)與儀表，2019，56（23）：70-75.

Xu Q，Zhou C，Zhao S S，et al.Research on short-term power load forecasting method based on machine learning[J].Electrical Measurement&Instrumentation，2019，56（23）：70-75.（in Chinese）

［9］蔣敏，顧東健，孔軍，等.基于在線序列極限支持向量回歸的短期負(fù)荷預(yù)測(cè)模型[J].電網(wǎng)技術(shù)，2018，42（7）：2240-2247.

Jiang M，Gu D J，Kong J，et al.Short-term load forecasting model based on online sequential extreme support vector regression[J].Power System Technology，2018，42（7）：2240-2247.（in Chinese）

［10］Ertugrul?F.Forecasting electricity load by a novel recurrent extreme learning machines approach[J].International Journal of Electrical Power&Energy Systems，2016，78：429-435.

［11］Huang N T，Lu G B，Xu D G.A permutation importance-based feature selection method for short-term electricity load forecasting using random forest[J].Energies，2016，9（10）：767.

［12］Kim Y，Son H G，Kim S.Short term electricity load forecasting for institutional buildings[J].Energy Reports，2019，5：1270-1280.

［13］陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)自動(dòng)化，2019，43（8）：131-137.

Lu J X，Zhang Q P，Yang Z H，et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J].Automation of Electric Power Systems，2019，43（8）：131-137.（in Chinese）

［14］孫超，呂奇，朱思曈，等.基于雙層X(jué)GBoost算法考慮多特征影響的超短期電力負(fù)荷預(yù)測(cè)[J].高電壓技術(shù)，2021，47（8）：2885-2898.

Sun C，LüQ，Zhu S T，et al.Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features[J].High Voltage Engineering，2021，47（8）：2885-2898.（in Chinese）

［15］陳緯楠，胡志堅(jiān)，岳菁鵬，等.基于長(zhǎng)短期記憶網(wǎng)絡(luò)和LightGBM組合模型的短期負(fù)荷預(yù)測(cè)[J].電力系統(tǒng)自動(dòng)化，2021，45（4）：91-97.

Chen W N，Hu Z J，Yue J P，et al.Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine[J].Automation of Electric Power Systems，2021，45（4）：91-97.（in Chinese）

［16］Arik S?，Pfister T.TabNet：attentive interpretable tabular learning[J].Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（8）：6679-6687.

［17］Lai G K，Chang W C，Yang Y M，et al.Modeling long-and short-term temporal patterns with deep neural networks[EB/OL].2017：arXiv：1703.07015.http：//arxiv.org/abs/1703.07015.

［18］朱國(guó)森.基于Stacking與Prophet組合模型的短期電力負(fù)荷預(yù)測(cè)[D].淮南：安徽理工大學(xué)，2021.

Zhu G S.Short-term power load forecasting based on the combined model of stacking and prophet[D].Huainan：Anhui University of Science&Technology，2021.（in Chinese）

［19］唐祥玲，王平，李思岑，等.基于方差-協(xié)方差組合預(yù)測(cè)的中長(zhǎng)期電力負(fù)荷預(yù)測(cè)研究[J].電氣技術(shù)，2015（1）：15-18.

Tang X L，Wang P，Li S C，et al.Research on medium and long-term electric load forecasting based on variance-covariance combined model[J].Electrical Engineering，2015（1）：15-18.（in Chinese）

［20］Wang Y Y，Chen J，Chen X Q，et al.Short-term load forecasting for industrial customers based on TCN-LightGBM[J].IEEE Transactions on Power Systems，2021，36（3）：1984-1997.

（編輯呂建斌）