歐陽福蓮，王 俊，周杭霞

基于改進(jìn)遷移學(xué)習(xí)和多尺度CNN-BiLSTM-Attention的短期電力負(fù)荷預(yù)測方法

歐陽福蓮，王 俊，周杭霞

(中國計(jì)量大學(xué)信息工程學(xué)院，浙江 杭州 310018)

針對(duì)目標(biāo)域負(fù)荷數(shù)據(jù)樣本不足導(dǎo)致模型訓(xùn)練不充分從而預(yù)測精度不高的問題，提出一種改進(jìn)的分層級(jí)遷移學(xué)習(xí)策略結(jié)合多尺度CNN-BiLSTM-Attention模型的短期電力負(fù)荷預(yù)測方法。設(shè)計(jì)串并行相疊加的多尺度CNN作為特征提取器，把提取到的特征作為輸入傳遞到兩層BiLSTM結(jié)構(gòu)進(jìn)行進(jìn)一步的學(xué)習(xí)，引入注意力機(jī)制調(diào)節(jié)捕獲的信息向量權(quán)重。按照基礎(chǔ)模型的結(jié)構(gòu)劃分層級(jí)，將源域數(shù)據(jù)按照擬合優(yōu)度值的高低輸入至模型進(jìn)行分層級(jí)的遷移學(xué)習(xí)訓(xùn)練，保留每一層最優(yōu)的訓(xùn)練權(quán)重，之后使用目標(biāo)域數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)得到最終的預(yù)測模型。經(jīng)實(shí)驗(yàn)證明，所提出的多尺度CNN-BiLSTM-Attention模型能有效提高負(fù)荷預(yù)測精度，在負(fù)荷數(shù)據(jù)樣本不足時(shí)，改進(jìn)的分層遷移學(xué)習(xí)策略相比于直接遷移學(xué)習(xí)能有效降低預(yù)測誤差。以目標(biāo)域6個(gè)月數(shù)據(jù)為例，MAPE指標(biāo)降低13.31%，MAE指標(biāo)降低15.16%，RMSE指標(biāo)降低14.37%。

負(fù)荷預(yù)測；卷積神經(jīng)網(wǎng)絡(luò)；雙向長短期記憶網(wǎng)絡(luò)；注意力機(jī)制；遷移學(xué)習(xí)

0 引言

電力負(fù)荷預(yù)測作為電力系統(tǒng)調(diào)度的基礎(chǔ)，準(zhǔn)確的預(yù)測對(duì)電力系統(tǒng)的運(yùn)行規(guī)劃有重要的指導(dǎo)意義[1]。國內(nèi)外學(xué)者對(duì)短期電力負(fù)荷預(yù)測進(jìn)行了大量的研究。以自回歸移動(dòng)平均模型[2]為代表的線性方法簡單可行，但電力負(fù)荷容易受到氣象、時(shí)令、節(jié)假日等多種因素的影響[3]，線性方法對(duì)于短期電力負(fù)荷預(yù)測中的非線性因素的影響難以評(píng)估，預(yù)測精度得不到保證。應(yīng)用于短期負(fù)荷預(yù)測領(lǐng)域常用的機(jī)器學(xué)習(xí)模型有隨機(jī)森林算法[4]、支持向量回歸(support vector regression, SVR)[5]、極限梯度提升機(jī)(extreme gradient boosting, XGBoost)[6]和極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)[7]等，這些方法在處理非線性問題上展現(xiàn)出較大的優(yōu)勢，但是仍然存在數(shù)據(jù)相關(guān)性處理困難、特征維度多、數(shù)據(jù)規(guī)模大和處理速度慢的問題[8]。隨著深度學(xué)習(xí)的不斷發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)[9]和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)及其改進(jìn)方法(如長短期記憶(long short-term memory, LSTM)[10-12])為代表的神經(jīng)網(wǎng)絡(luò)模型在短期負(fù)荷預(yù)測領(lǐng)域取得了良好的預(yù)測效果。但是基于單鏈結(jié)構(gòu)的LSTM僅能學(xué)習(xí)正向時(shí)序關(guān)系，BiLSTM(Bi-directional LSTM)[13-14]優(yōu)化了LSTM神經(jīng)網(wǎng)絡(luò)對(duì)歷史數(shù)據(jù)的全局信息學(xué)習(xí)不充分和忽略了前后時(shí)間的關(guān)聯(lián)性的問題，其雙向的結(jié)構(gòu)使其可以學(xué)習(xí)序列正向和逆向的時(shí)序關(guān)系。文獻(xiàn)[15]驗(yàn)證了在預(yù)測準(zhǔn)確度上BiLSTM優(yōu)于LSTM。為了克服單一模型在電力負(fù)荷預(yù)測精度上的不足，組合模型利用不同基礎(chǔ)模型對(duì)不同特征處理能力的優(yōu)勢來提高整體的模型性能，得到了廣泛的應(yīng)用[16-17]。文獻(xiàn)[18]將CNN與BiLSTM組合，結(jié)果表明在預(yù)測誤差方面優(yōu)于LSTM、BiLSTM和CNN-LSTM，是目前預(yù)測精度最高的方案。注意力機(jī)制是針對(duì)編碼器-解碼器結(jié)構(gòu)存在信息丟失等問題提出的改進(jìn)機(jī)制[19-20]。文獻(xiàn)[21-22]在CNN- LSTM網(wǎng)絡(luò)上附加注意力機(jī)制用于特征選取。

現(xiàn)有的短期負(fù)荷預(yù)測研究方法主要利用了負(fù)荷數(shù)據(jù)的歷史數(shù)據(jù)而不考慮其他負(fù)荷數(shù)據(jù)的有效信息，并且需要在大量的數(shù)據(jù)樣本下進(jìn)行實(shí)驗(yàn)，對(duì)于數(shù)據(jù)樣本不足的情形，進(jìn)行準(zhǔn)確的負(fù)荷預(yù)測依然存在困難。目前針對(duì)小樣本數(shù)據(jù)的預(yù)測方法主要有遷移學(xué)習(xí)方法，傳統(tǒng)的遷移學(xué)習(xí)方法將數(shù)據(jù)整體遷移，沒有考慮負(fù)荷數(shù)據(jù)不均衡的特點(diǎn)，數(shù)據(jù)局部特征學(xué)習(xí)不夠充分，預(yù)測準(zhǔn)確率仍然得不到保證。本文針對(duì)電力負(fù)荷數(shù)據(jù)樣本不足導(dǎo)致模型訓(xùn)練不充分從而預(yù)測精度不高的情形，提出一種融合分層級(jí)遷移學(xué)習(xí)和多尺度CNN-BiLSTM-Attention網(wǎng)絡(luò)模型的短期電力負(fù)荷預(yù)測方法。多尺度CNN將不同大小的卷積核串行疊加和并行拼接對(duì)特征進(jìn)行有效學(xué)習(xí)，與兩層BiLSTM相連改善了單層BiLSTM在負(fù)荷預(yù)測空間特征上提取不充分的問題，結(jié)合注意力機(jī)制，融合分層級(jí)的遷移學(xué)習(xí)算法解決了預(yù)測精度不高的問題。以美國典型氣象年不同區(qū)域的負(fù)荷數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，證明了本文方法的有效性。

1 基礎(chǔ)模型構(gòu)建

本文提出的基礎(chǔ)預(yù)測模型結(jié)構(gòu)包括輸入層、多尺度CNN層、兩個(gè)BiLSTM層和Attention層，之后通過全連接層(Dense)將結(jié)果映射到一維進(jìn)行輸出。模型結(jié)構(gòu)圖如圖1所示。

圖1 多尺度CNN-BiLSTM-Attention基礎(chǔ)模型結(jié)構(gòu)圖

圖1中：U表示卷積操作；表示滑動(dòng)窗口大??；表示特征數(shù)目；Concatenate表示特征拼接操作；Dense表示全連接網(wǎng)絡(luò)；1—8表示基礎(chǔ)模型進(jìn)行分層遷移學(xué)習(xí)時(shí)劃分的層級(jí)。

1.1 輸入層

將預(yù)處理后的負(fù)荷數(shù)據(jù)、日期數(shù)據(jù)、節(jié)假日以及時(shí)令信息輸入基礎(chǔ)模型中，采用每個(gè)時(shí)間步滑動(dòng)窗口大小的外部特征和負(fù)荷值作為輸入，時(shí)間步滑動(dòng)窗口大小為，通道數(shù)為，在時(shí)刻具體的輸入如式(1)、式(2)所示。

1.2 多尺度CNN層

本文基礎(chǔ)模型中的多尺度CNN層使用不同尺寸的卷積核從不同跨度的時(shí)序鄰域內(nèi)提取特征，大尺寸鄰域內(nèi)每項(xiàng)數(shù)值產(chǎn)生的影響更小，輸入數(shù)據(jù)中的波動(dòng)以及噪點(diǎn)對(duì)輸出特征的影響更弱，但是也容易產(chǎn)生平滑過度的問題。與之相對(duì)，小尺度卷積核可以更好地保留輸入數(shù)據(jù)中的信息，但也更容易受到噪聲的干擾。因此使用不同大小的卷積單元來提取不同時(shí)序尺度的特征，使用串行疊加和并行拼接的方式完成特征融合并輸出多維特征。本文使用的時(shí)序特征提取單元的卷積核大小為1、3、5、7，其中Kernel=1的卷積核用來進(jìn)行數(shù)據(jù)升維。多尺度CNN層的運(yùn)算可以表示為式(3)—式(7)所示。

1.3 BiLSTM層

在周期性數(shù)據(jù)中，表現(xiàn)出以周負(fù)荷的消耗為單位呈現(xiàn)極大相關(guān)性，以日負(fù)荷的消耗為單位呈現(xiàn)較大相關(guān)性的特點(diǎn)。使用BiLSTM對(duì)負(fù)荷數(shù)據(jù)進(jìn)行周期特征提取，利用BiLSTM網(wǎng)絡(luò)分別計(jì)算前向傳播狀態(tài)和反向傳播狀態(tài)，計(jì)算過程如式(8)—式(10)。

1.4 Attention層

時(shí)間序列輸入較長時(shí)，容易出現(xiàn)信息丟失的問題，使用Attention機(jī)制調(diào)整注意力系數(shù)以提高模型整體的記憶能力。具體的過程如下。

(11)

2) 賦予各歷史狀態(tài)對(duì)應(yīng)的注意力權(quán)重，加權(quán)平均得到經(jīng)注意力機(jī)制優(yōu)化的輸出結(jié)果，如式(13)所示。

1.5 輸出層

在Attention層之后連接一個(gè)激活函數(shù)為sigmoid的全連接層將數(shù)據(jù)轉(zhuǎn)化成一維，得到最終的輸出。

2 分層級(jí)遷移學(xué)習(xí)

遷移學(xué)習(xí)把知識(shí)從一個(gè)或多個(gè)源域遷移到另一個(gè)目標(biāo)域，利用已知某領(lǐng)域的知識(shí)求解不同但相關(guān)領(lǐng)域的問題[23]，已經(jīng)在故障診斷等多個(gè)領(lǐng)域得到應(yīng)用[24]。遷移學(xué)習(xí)無需訓(xùn)練數(shù)據(jù)，和測試數(shù)據(jù)保持獨(dú)立同分布，因此對(duì)目標(biāo)域的訓(xùn)練不需要從頭開始，加快了訓(xùn)練速度。本文改進(jìn)的分層級(jí)遷移學(xué)習(xí)過程概括如下。

1) 源域數(shù)據(jù)劃分。對(duì)源域數(shù)據(jù)按照擬合優(yōu)度從低到高排序劃分為組，取決于基礎(chǔ)模型的層數(shù)，在本文中= 8。

2) 分層遷移學(xué)習(xí)。將排好序的源域數(shù)據(jù)輸入多尺度CNN-BiLSTM-Attention模型的不同層級(jí)進(jìn)行分層遷移學(xué)習(xí)，每組數(shù)據(jù)依次輸入模型的不同層進(jìn)行訓(xùn)練，采用合適的凍結(jié)策略，得到目標(biāo)域負(fù)荷最終的預(yù)訓(xùn)練權(quán)重。

3) 模型微調(diào)。固定凍結(jié)層參數(shù)，采用目標(biāo)域數(shù)據(jù)對(duì)非凍結(jié)層參數(shù)進(jìn)行微調(diào)。

2.1 源域數(shù)據(jù)劃分

為尋找源域與目標(biāo)域數(shù)據(jù)更加相似的數(shù)據(jù)，先對(duì)源域的數(shù)據(jù)進(jìn)行擬合優(yōu)度劃分。目標(biāo)域數(shù)據(jù)經(jīng)過滑動(dòng)窗口輸入到多尺度CNN-BiLSTM-Attention模型(基礎(chǔ)模型)中進(jìn)行訓(xùn)練，得到一個(gè)初始預(yù)測模型；之后，源域數(shù)據(jù)也通過滑動(dòng)窗口輸入到該初始預(yù)測模型中，每一個(gè)時(shí)間序列滑動(dòng)窗口均可得到一個(gè)預(yù)測結(jié)果，該預(yù)測結(jié)果的優(yōu)劣程度用擬合優(yōu)度(2)衡量；將源域數(shù)據(jù)中擬合優(yōu)度小于特定值的數(shù)據(jù)剔除，認(rèn)為其與目標(biāo)域數(shù)據(jù)擬合程度不高；剩余數(shù)據(jù)按照擬合優(yōu)度高低劃分區(qū)間后按照區(qū)間排序。源域數(shù)據(jù)的劃分過程如圖2所示，圖中表示基礎(chǔ)模型。

圖2 源域數(shù)據(jù)的劃分過程

2.2 分層級(jí)遷移學(xué)習(xí)

改進(jìn)的分層遷移學(xué)習(xí)策略實(shí)現(xiàn)過程： Input:源域數(shù)據(jù)X，目標(biāo)域數(shù)據(jù)Y，驗(yàn)證集數(shù)據(jù)T，基礎(chǔ)模型M。 Output:Wend // 基礎(chǔ)模型經(jīng)過預(yù)訓(xùn)練后最終的輸出權(quán)重 /*步驟1. 獲得基礎(chǔ)權(quán)重并對(duì)源域數(shù)據(jù)進(jìn)行劃分*/1: W0 ← Train model M with data Y; /*使用目標(biāo)域數(shù)據(jù)在基礎(chǔ)模型上訓(xùn)練，獲得初始權(quán)重W0*/2: R2(X,M(W0)) ← Test X with M(W0); /*M(W0)表示加載了初始權(quán)重的模型M, R2(X,M(W0))為數(shù)據(jù)X在模型M(W0)訓(xùn)練得到R2；3: {X1, X2, …, XL} ← DividedX ; /*將數(shù)據(jù)X劃分為L組，每組根據(jù)R2值的大小排序*/ /*步驟2 分層遷移學(xué)習(xí)*/4: i = 0; /*i表示當(dāng)前層5: whilei < L /*L表示總層數(shù)6: i+= 1;7: Load Wi-1; /*加載上一層的權(quán)重，其中Wi代表第i層遷移學(xué)習(xí)得到的權(quán)重8: Unfreeze Fi; /*解凍當(dāng)前層，其中Fi代表凍結(jié)第i層9: Wtmp← Train model M with data Xi; /*使用第i組數(shù)據(jù)訓(xùn)練模型，獲得權(quán)重Wtmp*/10: if Loss(T, M(Wtmp)) <= Loss(T, M(Wi-1)) /*比較當(dāng)前層和上一層在驗(yàn)證集上的損失值，如果損失值下降，執(zhí)行下一步操作*/11: Wi = Wtmp; /*保存此時(shí)的臨時(shí)最優(yōu)權(quán)重*/12: j = i;13: whilej > 1 /*若當(dāng)前層非第一層*/14: Unfreeze Fj-1; /*解凍上一層*/15: Wtmp1← Train model M with data Xj ;/*此時(shí)的模型M為解凍當(dāng)前層和上一層的結(jié)構(gòu)*/16: if Loss(T, M(Wtmp1)) <= Loss(T, M(Wi))17: Wi = Wtmp1; /*則此時(shí)的Wi即為當(dāng)前層的最優(yōu)權(quán)重*/18 j-= 1;19 continue;/*重復(fù)以上步驟找到每層的最優(yōu)權(quán)重*/20: else /*如果預(yù)測誤差沒有下降*/21: Wtmp← Train model M with data Xi-1; /*使用上一層數(shù)據(jù)訓(xùn)練模型M22: if Loss(T, M(Wtmp)) <= Loss(T, M(Wi-1))23: Wi = Wtmp;/*保存最優(yōu)權(quán)重*/24: else25: Wi = Wi-1;26: continue;

2.3 模型微調(diào)

最后一層遷移學(xué)習(xí)完成后，使用目標(biāo)域的訓(xùn)練集對(duì)預(yù)訓(xùn)練模型進(jìn)行部分參數(shù)微調(diào)，凍結(jié)除最后的全連接層之外的所有層，并對(duì)全連接層的權(quán)重進(jìn)行初始化，給定一個(gè)較小的學(xué)習(xí)率，只需要訓(xùn)練修改部分網(wǎng)絡(luò)參數(shù)，而不需要訓(xùn)練整個(gè)網(wǎng)絡(luò)。

3 算例分析

3.1 數(shù)據(jù)集描述與處理

本文的數(shù)據(jù)是從Open Energy Data Initiative (OEDI)(https://data.openei.org/submissions/153)網(wǎng)站上獲取的美國各州一年的負(fù)荷數(shù)據(jù)。選用9個(gè)城市不同醫(yī)院設(shè)施的用電負(fù)荷數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，其中8個(gè)不同區(qū)域的醫(yī)院設(shè)施用電負(fù)荷數(shù)據(jù)作為源域數(shù)據(jù)，剩余一個(gè)區(qū)域用電負(fù)荷數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)。數(shù)據(jù)粒度為每小時(shí)1個(gè)點(diǎn)，源域合計(jì)8×8760條數(shù)據(jù)，目標(biāo)域12個(gè)月共8760條數(shù)據(jù)，訓(xùn)練集、測試集和驗(yàn)證集按照10:1:1劃分。使用模擬的缺失數(shù)據(jù)分別為目標(biāo)域1/4、2/4、3/4的數(shù)據(jù)量樣本，驗(yàn)證集和測試集與數(shù)據(jù)充足時(shí)相同，訓(xùn)練集為除去驗(yàn)證集和測試集之后的剩余數(shù)據(jù)。數(shù)據(jù)集的具體劃分示意圖如圖3所示。

圖3 數(shù)據(jù)集劃分示意圖

由于選用的數(shù)據(jù)集的電力負(fù)荷數(shù)值在500~ 1500 kWh內(nèi)波動(dòng)，數(shù)值跨度大，不利于模型的訓(xùn)練，為了消除不同特征數(shù)據(jù)量綱的影響，先對(duì)數(shù)據(jù)進(jìn)行最小最大歸一化處理，目標(biāo)域負(fù)荷數(shù)據(jù)分布情況如圖4所示。

圖4 數(shù)據(jù)分布情況

圖4上圖為數(shù)據(jù)整體分布情況，下圖為截取的部分夏令時(shí)(左)和冬令時(shí)(右)的負(fù)荷分布，包含了7個(gè)波峰，依次對(duì)應(yīng)周一至周日的負(fù)荷情況。由圖4可知，電力負(fù)荷在夏令時(shí)波動(dòng)比較規(guī)律，冬令時(shí)負(fù)荷的峰谷值波動(dòng)較大。總體上負(fù)荷表現(xiàn)以周為單位的周期性變化，其中周一至周五的日負(fù)荷值較高，波動(dòng)有序，周六相比工作日負(fù)荷值要低，周日比周六又更低；其中，若某天為重大活動(dòng)或節(jié)假日，當(dāng)天的負(fù)荷值更低。由此總結(jié)出7個(gè)特征：節(jié)假日、非節(jié)假日、工作日、周六、周日、夏令時(shí)、冬令時(shí)。為方便模型計(jì)算，將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)，對(duì)數(shù)據(jù)集的上述特征進(jìn)行標(biāo)簽編碼，各非數(shù)值特征編碼如表1所示。

表1 特征編碼

3.2 評(píng)價(jià)指標(biāo)選取

本研究使用平均絕對(duì)誤差(mean absolute error, MAE)、平均絕對(duì)百分比誤差(mean absolute percentage error, MAPE)、均方根誤差(root mean square error, RMSE)三個(gè)指標(biāo)對(duì)本文的實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。評(píng)價(jià)指標(biāo)計(jì)算公式如式(15)—式(17)所示。

3.3 模型參數(shù)設(shè)置

在模型的訓(xùn)練和預(yù)測過程中涉及許多超參數(shù)，超參數(shù)的設(shè)置影響著最終的預(yù)測結(jié)果，經(jīng)過多次預(yù)訓(xùn)練和優(yōu)化調(diào)整，各項(xiàng)參數(shù)設(shè)置如表2所示。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1預(yù)訓(xùn)練模型性能

為了更好地驗(yàn)證本文提出的多尺度CNN- BiLSTM-Attention神經(jīng)網(wǎng)絡(luò)模型的性能，選取了在負(fù)荷預(yù)測中應(yīng)用較為廣泛的ARIMA、LSTM、CNN-LSTM、CNN-GRU、BiLSTM-LSTM、SVR、XGBoost、ELM模型作為對(duì)比模型。各模型預(yù)測誤差對(duì)比結(jié)果如表3所示。

表2 參數(shù)設(shè)置

表3 不同模型預(yù)測誤差對(duì)比結(jié)果

由表3的預(yù)測結(jié)果進(jìn)一步分析可知，ARIMA模型是一個(gè)統(tǒng)計(jì)模型，對(duì)于負(fù)荷數(shù)據(jù)的非線性規(guī)律難以捕捉，預(yù)測誤差較大；以ELM、SVR為代表的機(jī)器學(xué)習(xí)模型相比于統(tǒng)計(jì)模型，在預(yù)測精度上有一定的提升，其中，XGBoost模型作為集成模型采用boosting的思想，預(yù)測性能表現(xiàn)較好；深度學(xué)習(xí)模型中，LSTM單向的循環(huán)網(wǎng)絡(luò)不能充分捕獲長時(shí)間序列的有效信息，預(yù)測效果不理想；組合模型均能不同程度地改善上述問題，相較于單模型預(yù)測誤差下降明顯。本文模型充分結(jié)合了多尺度CNN、BiLSTM和注意力機(jī)制的優(yōu)勢，在三個(gè)評(píng)價(jià)指標(biāo)上均表現(xiàn)最優(yōu)。

為了證明本文提出模型中的每一模塊的重要性，針對(duì)本文模型的各個(gè)模塊進(jìn)行消融實(shí)驗(yàn)，為了控制變量保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，只去除或者改變單個(gè)模塊，其余內(nèi)部參數(shù)保持一致。消融研究實(shí)驗(yàn)說明如下：

1) NoAttention表示不使用注意力機(jī)制模塊；

2) Linked表示不同尺度CNN采用串行方式連接；

3) Parallel表示不同尺度CNN采用并行方式連接；

4) 單層BiLSTM表示只使用一層BiLSTM；

5) 三層BiLSTM表示使用了三層BiLSTM。

消融實(shí)驗(yàn)的對(duì)比結(jié)果如表4所示。

表4 消融研究實(shí)驗(yàn)對(duì)比結(jié)果

從表4中的預(yù)測誤差結(jié)果可以看出，本文提出的模型在MAPE、MAE和RMSE值上優(yōu)于其他對(duì)比模型，進(jìn)一步分析，主要原因在于以下幾方面。

1) 多尺度CNN采用不同尺寸的卷積核提取特征，然后采用串行疊加和并行拼接的方式完成特征融合得到多尺度鄰域特征，從而輸出的特征中既包含平滑后的特征，也保存了原始輸入的特征。在模型訓(xùn)練過程中，后續(xù)的網(wǎng)絡(luò)結(jié)構(gòu)可以學(xué)習(xí)分析這兩種特征，從而在一定程度上實(shí)現(xiàn)了平滑輸入數(shù)據(jù)，并且避免信息丟失。

2) CNN與BiLSTM組合模型合理利用了CNN提取數(shù)據(jù)局部特征以及BiLSTM隱藏層權(quán)重反向傳播逐步優(yōu)化訓(xùn)練權(quán)重的優(yōu)勢，充分考慮了特征的影響和數(shù)據(jù)的時(shí)序變化。

3) BiLSTM的雙向結(jié)構(gòu)使其可以學(xué)習(xí)序列正向和逆向的時(shí)序關(guān)系，對(duì)歷史負(fù)荷數(shù)據(jù)的全局信息進(jìn)行進(jìn)一步的學(xué)習(xí)，其兩層的BiLSTM結(jié)構(gòu)彌補(bǔ)了BiLSTM空間信息提取不足的缺陷，避免了不必要的時(shí)序信息的丟失。

4) Attention機(jī)制的引入可以有效地對(duì)存在關(guān)聯(lián)性的時(shí)間序列長距離數(shù)據(jù)特征進(jìn)行挖掘，對(duì)于長序列數(shù)據(jù)和多維輸入特征數(shù)據(jù)引入注意力機(jī)制可以提升模型的特征發(fā)掘能力。

3.4.2分層級(jí)遷移學(xué)習(xí)性能

采用多尺度CNN-BiLSTM-Attention作為基礎(chǔ)模型，根據(jù)基礎(chǔ)模型結(jié)構(gòu)劃分為8層，每一層遷移學(xué)習(xí)均保留當(dāng)前層的最優(yōu)權(quán)重，最后使用目標(biāo)域的負(fù)荷數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行參數(shù)微調(diào)。以目標(biāo)域6個(gè)月數(shù)據(jù)為例，不同遷移層數(shù)的預(yù)測誤差及使用目標(biāo)域數(shù)據(jù)進(jìn)行微調(diào)后的預(yù)測誤差如圖5所示。

圖5 不同遷移層數(shù)的預(yù)測誤差

由圖5可知，隨著分層遷移層數(shù)的不斷增加，每一層遷移學(xué)習(xí)在測試集上的預(yù)測誤差均有所下降，下降幅度逐漸平緩，遷移至第8層后，預(yù)測誤差趨于一個(gè)較小值，證明了本文方法分層遷移的有效性。然而，使用目標(biāo)域少量數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)后，預(yù)測誤差反而有小幅度的增加，這是由于源域數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)時(shí)使用的驗(yàn)證集和目標(biāo)域訓(xùn)練基礎(chǔ)模型時(shí)相同，并且本文選取的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)樣本較為相似，所以在模型進(jìn)行微調(diào)時(shí)，使用的目標(biāo)域數(shù)據(jù)相較于預(yù)訓(xùn)練模型的質(zhì)量較差，微調(diào)后的預(yù)測誤差反而增大。在遷移學(xué)習(xí)至第8層時(shí)，預(yù)測誤差在各項(xiàng)評(píng)價(jià)指標(biāo)下均處于一個(gè)最優(yōu)值，故本文選取預(yù)訓(xùn)練模型第8層遷移學(xué)習(xí)保存的最優(yōu)輸出權(quán)重作為最終的權(quán)重。

為了證明本文提出的分層遷移學(xué)習(xí)策略能夠改善小樣本數(shù)據(jù)情況下的預(yù)測誤差，分別使用目標(biāo)域3個(gè)月、6個(gè)月、9個(gè)月的數(shù)據(jù)量樣本，采用以下訓(xùn)練策略進(jìn)行對(duì)比實(shí)驗(yàn)，預(yù)測誤差對(duì)比如表5所示。

1) 不遷移：不進(jìn)行遷移學(xué)習(xí)，直接進(jìn)行訓(xùn)練并預(yù)測；

2) 直接遷移：采用傳統(tǒng)遷移學(xué)習(xí)進(jìn)行訓(xùn)練并預(yù)測；

3) 分層遷移：采用本文提出的分層遷移學(xué)習(xí)策略進(jìn)行訓(xùn)練并預(yù)測。

表5展示了在不同數(shù)據(jù)量下的預(yù)測結(jié)果，通過對(duì)比不同訓(xùn)練策略下的預(yù)測誤差，本文提出的分層遷移學(xué)習(xí)策略在3個(gè)指標(biāo)下的表現(xiàn)均最優(yōu)。以目標(biāo)域6個(gè)月數(shù)據(jù)為例，相比于直接遷移學(xué)習(xí)，MAPE指標(biāo)降低13.31%，MAE指標(biāo)降低15.16%，RMSE指標(biāo)降低14.37%。3種不同訓(xùn)練策略的預(yù)測曲線對(duì)比如圖6所示。

表5 不同訓(xùn)練策略預(yù)測結(jié)果對(duì)比

圖6 預(yù)測曲線對(duì)比圖

從圖6可以看出，本文方法與真實(shí)值有最佳的擬合效果，在只有少量訓(xùn)練樣本情況下，直接進(jìn)行初始網(wǎng)絡(luò)的訓(xùn)練，效果并不理想；采用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練，在預(yù)訓(xùn)練模型基礎(chǔ)上，再次采用目標(biāo)域的數(shù)據(jù)進(jìn)行訓(xùn)練，可大幅提升模型收斂的速度，在缺少負(fù)荷數(shù)據(jù)樣本的區(qū)域建模中，遷移學(xué)習(xí)具備非常明顯的優(yōu)勢。此外，本文提出的分層遷移學(xué)習(xí)在此基礎(chǔ)上進(jìn)一步優(yōu)化，通過尋找源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的相似數(shù)據(jù)，不同相似程度的數(shù)據(jù)輸入到基礎(chǔ)模型的不同層級(jí)分別訓(xùn)練，學(xué)習(xí)到的負(fù)荷周期信息更加豐富，降低了預(yù)測誤差。

3.4.3多步預(yù)測性能

上述實(shí)驗(yàn)均為單步預(yù)測，為了進(jìn)一步驗(yàn)證方法的有效性，在3個(gè)數(shù)據(jù)量上保持?jǐn)?shù)據(jù)集的劃分比例不變，改變模型輸入的滑動(dòng)窗口大小和輸出長度，對(duì)負(fù)荷數(shù)據(jù)進(jìn)行多步預(yù)測。設(shè)定多步預(yù)測為預(yù)測未來24個(gè)時(shí)間步的負(fù)荷值，即固定輸出長度= 24，然后對(duì)進(jìn)行集中調(diào)優(yōu)。保持其余參數(shù)不變，預(yù)設(shè)置為{24,48,72,96,120,144,168}。經(jīng)過實(shí)驗(yàn)分析對(duì)比，的大小設(shè)置為120時(shí)預(yù)測效果最佳。因此，在本文的多步預(yù)測模型中，滑動(dòng)窗口大小= 120，輸出長度= 24，即利用過去5天(5 ×24 = 120)的負(fù)荷數(shù)據(jù)預(yù)測后24個(gè)時(shí)間步的負(fù)荷值。多步預(yù)測的輸出形式如式(18)所示。

表6 不同訓(xùn)練策略預(yù)測誤差結(jié)果對(duì)比

4 結(jié)論

本文針對(duì)電力負(fù)荷數(shù)據(jù)樣本不足導(dǎo)致模型訓(xùn)練不充分從而預(yù)測精度不高的問題提出了一種融合分層級(jí)遷移學(xué)習(xí)和多尺度CNN-BiLSTM-Attention的短期電力負(fù)荷預(yù)測方法。經(jīng)過實(shí)驗(yàn)分析，可以得出如下結(jié)論：

1) 多尺度CNN-BiLSTM-Attention模型使用不同大小的卷積核通過串行疊加和并行拼接的方式對(duì)特征進(jìn)行充分學(xué)習(xí)，利用CNN在提取數(shù)據(jù)局部特征和BiLSTM在學(xué)習(xí)時(shí)間依賴關(guān)系上的優(yōu)勢，并結(jié)合注意力機(jī)制在處理高噪聲、非平穩(wěn)和非線性數(shù)據(jù)上表現(xiàn)出優(yōu)良的性能。

2) 實(shí)驗(yàn)對(duì)比了在負(fù)荷預(yù)測中應(yīng)用較為廣泛的ARIMA、LSTM、CNN-LSTM、CNN-GRU、BiLSTM- LSTM、SVR、XGBoost、ELM模型，本文提出的多尺度CNN-BiLSTM-Attention模型取得了較高的精度。

3) 采用分層遷移學(xué)習(xí)對(duì)比不同數(shù)據(jù)量樣本下的實(shí)驗(yàn)結(jié)果，以目標(biāo)域6個(gè)月數(shù)據(jù)為例，相比于直接遷移學(xué)習(xí)，MAPE指標(biāo)降低13.31%，MAE指標(biāo)降低15.16%，RMSE指標(biāo)降低14.37%。在單步預(yù)測和多步預(yù)測上，本文方法均擁有更好的預(yù)測效果，證明了改進(jìn)的分層遷移學(xué)習(xí)方法能夠有效改善數(shù)據(jù)樣本不足時(shí)預(yù)測精度不高的情況。

本實(shí)驗(yàn)僅在公開的數(shù)據(jù)集上隨機(jī)選取了9個(gè)區(qū)域的負(fù)荷數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在未來的工作中，會(huì)進(jìn)一步將分層遷移學(xué)習(xí)策略細(xì)化，對(duì)不同類型不同領(lǐng)域的數(shù)據(jù)進(jìn)行分析驗(yàn)證，增強(qiáng)分層遷移學(xué)習(xí)策略的適用范圍。

[1] 范士雄, 李立新, 王松巖, 等. 人工智能技術(shù)在電網(wǎng)調(diào)控中的應(yīng)用研究[J]. 電網(wǎng)技術(shù), 2020, 44(2): 401-411.

FAN Shixiong, LI Lixin, WANG Songyan, et al. Application analysis and exploration of artificial intelligence technology in power grid dispatch and control[J]. Power System Technology, 2020, 44(2): 401-411.

[2] WU F, CATTANI C, SONG W Q, et al. Fractional ARIMA with an improved cuckoo search optimization for the efficient short-term power load forecasting[J]. AEJ- Alexandria Engineering Journal, 2020, 59(5): 3111-3118.

[3] WANG Y, ZHANG N, CHEN X, et al. A short-term residential load forecasting model based on LSTM recurrent neural network considering weather features[J]. Energies, 2021, 14(10).

[4] 李焱, 賈雅君, 李磊, 等. 基于隨機(jī)森林算法的短期電力負(fù)荷預(yù)測[J]. 電力系統(tǒng)保護(hù)與控制, 2020, 48(21): 117-124.

LI Yan, JIA Yajun, LI Lei, et al. Short term power load forecasting based on a stochastic forest algorithm[J]. Power System Protection and Control, 2020, 48(21): 117-124.

[5] WU J R, WANG G W, TIAN Y C, et al. Support vector regression with asymmetric loss for optimal electric load forecasting[J]. Energy, 2021, 223.

[6] 姜建, 劉海瓊, 李衡, 等. 基于XGBoost的配電網(wǎng)線路峰值負(fù)荷預(yù)測方法[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(16): 119-127.

JIANG Jian, LIU Haiqiong, LI Heng, et al. Peak load forecasting method of distribution network lines based on XGBoost[J]. Power System Protection and Control, 2021, 49(16): 119-127.

[7] 侯慧, 王晴, 趙波, 等. 關(guān)鍵信息缺失下基于相空間重構(gòu)及機(jī)器學(xué)習(xí)的電力負(fù)荷預(yù)測[J]. 電力系統(tǒng)保護(hù)與控制, 2022, 50(4): 75-82.

HOU Hui, WANG Qing, ZHAO Bo, et al. Power load forecasting without key information based on phase space reconstruction and machine learning[J]. Power System Protection and Control, 2022, 50(4): 75-82.

[8] HU Y, QU BY, WANG J, et al. Short-term load forecasting using multimodal evolutionary algorithm and random vector functional link network based ensemble learning[J]. Applied Energy, 2021, 285.

[9] KIM J, MOON J, HWANG E, et al. Recurrent inception convolution neural network for multi short-term load forecasting[J]. Energy and Buildings, 2019, 194: 328-341.

[10] WEN Lulu, ZHOU Kaile, YANG Shanlin, et al. Optimal load dispatch of community microgrid with deep learning based solar power and load forecasting[J]. Energy, 2019, 171: 1053-1065.

[11] 李丹, 張遠(yuǎn)航, 楊保華, 等. 基于約束并行LSTM分位數(shù)回歸的短期電力負(fù)荷概率預(yù)測方法[J]. 電網(wǎng)技術(shù), 2021, 45(4): 1356-1364.

LI Dan, ZHANG Yuanhang, YANG Baohua, et al. Short time power load probabilistic forecasting based on constrained parallel-LSTM neural network quantile regression mode[J]. Power System Technology, 2021, 45(4): 1356-1364.

[12] 王凌云, 林躍涵, 童華敏, 等. 基于改進(jìn)Apriori關(guān)聯(lián)分析及MFOLSTM算法的短期負(fù)荷預(yù)測[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(20): 74-81.

WANG Lingyun, LIN Yuehan, TONG Huamin, et al. Short-term load forecasting based on improved Apriori correlation analysis and an MFOLSTM algorithm[J]. Power System Protection and Control, 2021, 49(20): 74-81.

[13] 楊龍, 吳紅斌, 丁明, 等. 新能源電網(wǎng)中考慮特征選擇的Bi-LSTM網(wǎng)絡(luò)短期負(fù)荷預(yù)測[J]. 電力系統(tǒng)自動(dòng)化, 2021, 45(3): 166-173.

YANG Long, WU Hongbin, DING Ming, et al. Short- term load forecasting in renewable energy grid based on bi-directional long short-term memory network considering feature selection[J]. Automation of Electric Power Systems, 2021, 45(3): 166-173.

[14] YANG M, WANG J. Adaptability of financial timeseries prediction based on BiLSTM[J]. Procedia Computer Science, 2022, 199: 18-25.

[15] SIAMI-NAMINI S, TAVAKOLI N, NAMIN A S. The performance of LSTM and BiLSTM in forecasting time series[C] // IEEE International Conference on Big Data (Big Data), December 9-12, 2019, Los Angeles, CA, USA: 3285-3292.

[16] VEERAMSETTY V, REDDY KR, SANTHOSH M, et al. Short-term electric power load forecasting using random forest and gated recurrent unit[J]. Electrical Engineering, 2022, 104(1): 307-329.

[17] RIBEIRO MHD, COELHO LD. Ensemble approach based on bagging, boosting, and stacking for short-term prediction in agribusiness time series[J]. Applied Soft Computing, 2020, 86.

[18] 朱凌建, 荀子涵, 王裕鑫, 等. 基于CNN-BiLSTM的短期電力負(fù)荷預(yù)測[J]. 電網(wǎng)技術(shù), 2021, 45(11): 4532-4539.

ZHU Lingjian, XUN Zihan, WANG Yuxin, et al. Short-term power load forecasting based on CNN-BiLSTM[J]. Power System Technology, 2021, 45(11): 4532-4539.

[19] JIN X B, ZHENG W Z, KONG J L, et al. Deep-learning forecasting method for electric power load via attention- based encoder-decoder with Bayesian optimization[J]. Energies, 2021, 14(6).

[20] SUTSKEVER I, VINYALS O, Le Q V. Sequence to sequence learning with neural networks[C] // 28th Annual Conference on Neural Information Processing Systems, December 8-13, 2014: 3104-3112.

[21] 魏健, 趙紅濤, 劉敦楠, 等. 基于注意力機(jī)制的CNN-LSTM 短期電力負(fù)荷預(yù)測方法[J]. 華北電力大學(xué)學(xué)報(bào), 2021, 48(1): 42-47.

WEI Jian, ZHAO Hongtao, LIU Dunnan, et al. Short-term power load forecasting method by attention-based CNN- LSTM[J]. Journal of North China Electric Power University, 2021, 48(1): 42-47.

[22] 任建吉, 位慧慧, 鄒卓霖, 等. 基于CNN-BiLSTM- Attention的超短期電力負(fù)荷預(yù)測[J]. 電力系統(tǒng)保護(hù)與控制, 2022, 50(8): 108-116.

REN Jianji, WEI Huihui, ZOU Zhuolin, et al. Ultra-short- term power load forecasting based on CNN-BiLSTM- Attention[J]. Power System Protection and Control, 2022, 50(8): 108-116.

[23] WANG Weiping, WANG Zhaorong, ZHOU Zhanfan, et al. Anomaly detection of industrial control systems based on transfer learning[J]. Tsinghua Science and Technology, 2021, 26(6): 821-832.

[24] KUMAR P, HATI A S. Transfer learning-based deep CNN model for multiple faults detection in SCIM[J]. Neural Computing and Applications, 2021, 33: 15851-15862.

Short-term power load forecasting method based on improved hierarchical transfer learning and multi-scale CNN-BiLSTM-Attention

OUYANG Fulian, WANG Jun, ZHOU Hangxia

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Insufficient power load data samples in the target domain result in inadequate model training and low prediction accuracy. Thus an improved hierarchical transfer learning strategy combined with a multi-scale CNN-BiLSTM-Attention model is proposed for short-term power load forecasting. A multi-scale CNN superimposed, linked and in parallel is designed as a feature extractor, and the features are then passed as input to two BiLSTM structures for further learning. Then an attention mechanism is introduced to adjust the weight of the captured information vector. This paper divides the layers according to the structure of the basic model, and inputs the source data into the model according to the level of the goodness-of-fit value to perform hierarchical transfer learning training. It then retains the optimal training weight of each layer, and uses the target domain data to carry out model training and obtain the final predictive model after fine-tuning. Experiments show that the proposed multi-scale CNN-BiLSTM-Attention model can effectively improve the accuracy of load prediction. When the load data samples are insufficient, the improved hierarchical transfer learning strategy can effectively reduce the prediction error compared with traditional transfer learning. Taking six months of data in the target domain as an example, compared with traditional transfer learning, the MAPE is reduced by 13.31%, MAE is reduced by 15.16%, and RMSE is reduced by 14.37%.

power load forecasting; CNN; BiLSTM; attention mechanism; transfer learning

10.19783/j.cnki.pspc.220422

浙江省基礎(chǔ)公益研究計(jì)劃項(xiàng)目資助(LGG22E070003)

This work is supported by the Basic Public Welfare Research Program of Zhejiang Province (No. LGG22E070003).

2022-03-26；

2022-06-02

歐陽福蓮(1998—)，女，碩士研究生，研究方向?yàn)橹悄茈娋W(wǎng)、深度學(xué)習(xí)；E-mail: P20030854058@cjlu.edu.cn

王 俊(1998—)，男，碩士研究生，研究方向?yàn)闀r(shí)間序列分析、智能算法；E-mail: S20030812009@cjlu.edu.cn

周杭霞(1963—)，女，通信作者，教授，碩士生導(dǎo)師，研究方向?yàn)橹腔勰茉?、模式識(shí)別與數(shù)據(jù)挖掘。E-mail: zhx@ cjlu.edu.cn

(編輯 魏小麗)