周 末，金 敏

(湖南大學(xué) 信息科學(xué)與工程學(xué)院，長(zhǎng)沙410084)

多算法多模型與在線第二次學(xué)習(xí)結(jié)合的短期電力負(fù)荷預(yù)測(cè)方法

周 末，金 敏*

(湖南大學(xué) 信息科學(xué)與工程學(xué)院，長(zhǎng)沙410084)

為了提高短期電力負(fù)荷預(yù)測(cè)精度，首次提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測(cè)方法。首先,利用互信息方法和統(tǒng)計(jì)方法對(duì)輸入變量進(jìn)行選擇; 然后, 通過Bootstrap方法對(duì)數(shù)據(jù)集進(jìn)行多樣性采樣，利用多個(gè)不同的人工智能算法和機(jī)器學(xué)習(xí)算法訓(xùn)練得到多個(gè)差異化較大的異構(gòu)預(yù)測(cè)模型; 最后,用每個(gè)待預(yù)測(cè)時(shí)刻最近一段時(shí)間的實(shí)際負(fù)荷值、第一次學(xué)習(xí)生成的多異構(gòu)預(yù)測(cè)模型的負(fù)荷預(yù)測(cè)值構(gòu)成新訓(xùn)練數(shù)據(jù)集，對(duì)新訓(xùn)練數(shù)據(jù)集進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測(cè)結(jié)果。對(duì)中國(guó)廣州市負(fù)荷進(jìn)行預(yù)測(cè)研究，與最優(yōu)單模型、單算法多模型和多算法單模型相比，在每日總負(fù)荷預(yù)測(cè)中，全年平均絕對(duì)百分誤差(MAPE)分別下降了21.07%、7.64%和5.00%，在每日峰值負(fù)荷預(yù)測(cè)中，全年MAPE分別下降了16.02%、7.60%和13.14%。實(shí)驗(yàn)結(jié)果表明，推薦方法有效地提高了負(fù)荷預(yù)測(cè)精度，有利于智能電網(wǎng)實(shí)現(xiàn)節(jié)能降耗、調(diào)度精細(xì)化管理和電網(wǎng)安全預(yù)警。

短期電力負(fù)荷預(yù)測(cè)；多樣性采樣；異構(gòu)模型；多算法多模型；在線第二次學(xué)習(xí)

0 引言

電力負(fù)荷預(yù)測(cè)是智能電網(wǎng)建設(shè)的基本環(huán)節(jié)之一，精準(zhǔn)、時(shí)效的負(fù)荷預(yù)測(cè)是智能電網(wǎng)實(shí)現(xiàn)節(jié)能降耗、調(diào)度精細(xì)化管理和電網(wǎng)安全預(yù)警的基礎(chǔ)。由于影響電力負(fù)荷變化的因素呈現(xiàn)出較高的隨機(jī)性，使得電力負(fù)荷的變化也具有較高的隨機(jī)性，加大了預(yù)測(cè)的難度。已有電力負(fù)荷預(yù)測(cè)模型總體分為經(jīng)典預(yù)測(cè)模型、人工智能預(yù)測(cè)模型和機(jī)器學(xué)習(xí)預(yù)測(cè)模型。經(jīng)典預(yù)測(cè)模型主要有回歸分析法[1]、時(shí)間序列法[2]等，經(jīng)典預(yù)測(cè)模型是一種簡(jiǎn)單的線性方法，模型結(jié)構(gòu)簡(jiǎn)單，預(yù)測(cè)速度快，但對(duì)于電力負(fù)荷非線性變化問題預(yù)測(cè)精度不高。人工智能預(yù)測(cè)模型主要是神經(jīng)網(wǎng)絡(luò)[3-6]，例如反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)、極限學(xué)習(xí)機(jī)等。神經(jīng)網(wǎng)絡(luò)算法具有很強(qiáng)的非線性擬合能力和自學(xué)習(xí)能力，但大部分網(wǎng)絡(luò)結(jié)構(gòu)需要經(jīng)驗(yàn)進(jìn)行確定；雖然極限學(xué)習(xí)機(jī)能夠解決網(wǎng)絡(luò)結(jié)構(gòu)的問題，但極限學(xué)習(xí)機(jī)不穩(wěn)定。機(jī)器學(xué)習(xí)預(yù)測(cè)模型主要有支持向量機(jī)(Support Vector Machine, SVM)[7]、最小二乘支持向量機(jī)(Least Square Support Vector Machine, LSSVM)[8-10]、隨機(jī)森林(Random Forest, RF)[11-12]和GBRT(Gradient Boosting Regression Tree)[11,13]等。LSSVM是標(biāo)準(zhǔn)SVM的一種擴(kuò)展，克服了標(biāo)準(zhǔn)SVM的缺點(diǎn)，降低了計(jì)算復(fù)雜度，提高了求解速度，在負(fù)荷增長(zhǎng)較大時(shí)預(yù)測(cè)效果依然較好，但LSSVM對(duì)異常值的魯棒性不夠好，且模型訓(xùn)練參數(shù)需要通過尋優(yōu)的方法獲得，增加了訓(xùn)練時(shí)間和難度；隨機(jī)森林和GBRT這兩種算法本質(zhì)是樹型算法，克服了LSSVM的缺點(diǎn)，對(duì)異常值的魯棒性好，模型訓(xùn)練所需參數(shù)少，預(yù)測(cè)精度較高，GBRT算法在迭代過程中可能出現(xiàn)過擬合問題，用RF算法去學(xué)習(xí)一個(gè)回歸模型，將模型的預(yù)測(cè)輸出初始化GBRT(initialized GBRT, iGBRT)[14]，可以有效避免過擬合問題，且訓(xùn)練效率更高，預(yù)測(cè)性能相比RF和GBRT有所提升，但樹型算法在負(fù)荷增長(zhǎng)較大時(shí)預(yù)測(cè)精度不高。

任何一種預(yù)測(cè)模型都有其特定的適用范圍。在模型訓(xùn)練時(shí)，單模型方法可能出現(xiàn)過擬合、泛化能力受限，在模型預(yù)測(cè)時(shí)，每個(gè)單模型在相同的時(shí)間點(diǎn)上預(yù)測(cè)效果不一樣，預(yù)測(cè)精度仍有提升空間，為了進(jìn)一步減小預(yù)測(cè)誤差，多個(gè)領(lǐng)域?qū)Χ嗄Ｐ图煞椒ㄟM(jìn)行了研究，如圖像識(shí)別、醫(yī)療診斷等[15-17]。目前訓(xùn)練多模型的方法主要分為兩種: 一種是針對(duì)單個(gè)算法，通過數(shù)據(jù)集采樣多樣性、設(shè)置不同模型參數(shù)、選取不同輸入變量等方式，生成多個(gè)模型[18-20]，這種方法較好地解決了單模型可能出現(xiàn)過擬合、泛化能力受限等問題，但該方法局限于單一算法，無法解決單個(gè)算法適用范圍受限的問題; 另一種是針對(duì)多個(gè)算法，每個(gè)算法生成一個(gè)模型[21-23]，多個(gè)算法優(yōu)勢(shì)互補(bǔ)克服了單個(gè)算法適用范圍受限的缺點(diǎn)，但每個(gè)算法采用的依然是單一模型，容易造成過擬合、泛化能力不強(qiáng)等問題。在多模型融合方法中，應(yīng)用廣泛的是簡(jiǎn)單平均方法和加權(quán)平均方法，但這些都是一種線性的融合方法，電力負(fù)荷變化具有非線性特性，利用線性加權(quán)融合仍有一定的缺陷。

針對(duì)上述問題，本文提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測(cè)方法，通過Bootstrap方法進(jìn)行多樣性采樣，利用LSSVM、iGBRT和BP算法訓(xùn)練得到多個(gè)差異化較大的預(yù)測(cè)模型，將待預(yù)測(cè)時(shí)刻最近一段時(shí)間的負(fù)荷預(yù)測(cè)值與實(shí)際值構(gòu)成融合矩陣，使用LSSVM算法對(duì)融合矩陣進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測(cè)結(jié)果。本文將該方法應(yīng)用在電力系統(tǒng)城市每日總負(fù)荷和每日峰值負(fù)荷預(yù)測(cè)中，通過實(shí)驗(yàn)研究探索數(shù)據(jù)集的選取、多模型構(gòu)建、在線第二次學(xué)習(xí)，分析比較不同模型的預(yù)測(cè)性能。

1 多算法多模型與在線第二次學(xué)習(xí)

1.1 LSSVM

LSSVM是標(biāo)準(zhǔn)支持向量機(jī)的一種擴(kuò)展，克服了標(biāo)準(zhǔn)支持向量機(jī)的缺點(diǎn)，優(yōu)化指標(biāo)采用平方項(xiàng)，并用等式約束代替標(biāo)準(zhǔn)支持向量機(jī)的不等式約束，即將二次規(guī)劃問題轉(zhuǎn)化為線性方程組求解，降低了計(jì)算復(fù)雜性，提高了求解速度，在預(yù)測(cè)性能方面表現(xiàn)較強(qiáng)[24]。

F(x)=ωT·φ(x)+b

(1)

其中:ω為權(quán)值向量，b是閾值，φ(x)是從輸入空間到高維特征空間的非線性映射。LSSVM優(yōu)化目標(biāo)為:

(2)

s.t.yi=ωT·φ(xi)+b+ei,i=1,2,…,N

根據(jù)Karush-Kuhn-Tucker (KKT)最優(yōu)條件和Lagrange方法來解此優(yōu)化問題可得LSSVM的回歸模型：

(3)

對(duì)于非線性回歸，使用一個(gè)非線性映射φ(x)將數(shù)據(jù)映射到一個(gè)高維特征空間，再在高維特征空間中進(jìn)行線性回歸，其關(guān)鍵問題是核函數(shù)的選取，目前常用的核函數(shù)有多項(xiàng)式核函數(shù)、Sigmoid核函數(shù)和徑向基核函數(shù)(Radial Basis Function, RBF)，其中RBF中只有1個(gè)參數(shù)調(diào)節(jié)，且有很好的性能，在本文中選用RBF作為核函數(shù)：

K(x,xi)=exp (-‖x-xi‖2/2σ2)

(4)

因此，在訓(xùn)練LSSVM時(shí)有兩個(gè)參數(shù)需要調(diào)節(jié)：一個(gè)是核函數(shù)參數(shù)σ，一個(gè)是正規(guī)化參數(shù)C。

1.2 初始化GBRT

GBRT算法在迭代過程中需要對(duì)縮減參數(shù)和迭代輪數(shù)進(jìn)行權(quán)衡：當(dāng)縮減參數(shù)很大時(shí)，迭代輪數(shù)很小，模型容易出現(xiàn)過擬合，預(yù)測(cè)精度不高；當(dāng)縮減參數(shù)很小時(shí)，為了降低過擬合，提高預(yù)測(cè)精度，迭代輪數(shù)就必須增大。本文對(duì)縮減參數(shù)和迭代輪數(shù)進(jìn)行權(quán)衡，將RF作為一個(gè)低成本、對(duì)參數(shù)選擇不敏感和不容易過擬合的算法去學(xué)習(xí)一個(gè)回歸模型，將模型的預(yù)測(cè)輸出初始化GBRT(iGBRT)，使GBRT的迭代起始點(diǎn)接近迭代終點(diǎn)，即使縮減參數(shù)比較小，也能使用較小的迭代輪數(shù)達(dá)到全局最優(yōu)，使GBRT有效避免過擬合問題，且訓(xùn)練效率更高，預(yù)測(cè)性能相比RF和GBRT更好。

(5)

其中:H(x;αm,βm) 為一個(gè)簡(jiǎn)單的參數(shù)函數(shù)，稱為基函數(shù)，本文中是CART樹。α、β是決策樹的參數(shù)，M為基函數(shù)的個(gè)數(shù)。

在訓(xùn)練過程中，根據(jù)式(6)不斷得到新的回歸樹：

(6)

得到一個(gè)新的回歸樹之后，就更新整個(gè)模型：

Fm(x)=Fm-1(x)+νH(x;αm,βm)

(7)

其中:ν是縮減參數(shù)，避免損失函數(shù)下降過快，防止過擬合。當(dāng)m=0時(shí)，F(xiàn)0(x)是所有訓(xùn)練樣本輸出值的均值。本文選擇的損失函數(shù)是ψ(y,F)=(y-F)2/2。

1.3 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的主要特點(diǎn)是信號(hào)前向傳遞，誤差反向傳播[27]。在前向傳遞中，輸入信號(hào)從輸入層經(jīng)隱含層逐層處理，直至輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根據(jù)預(yù)測(cè)誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出不斷逼近期望輸出。

1.4 算法流程

本文提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測(cè)方法，通過Bootstrap方法進(jìn)行多樣性采樣，利用LSSVM、iGBRT和BP算法訓(xùn)練得到多個(gè)差異化較大的預(yù)測(cè)模型，將待預(yù)測(cè)

時(shí)刻最近一段時(shí)間的負(fù)荷預(yù)測(cè)值與實(shí)際值構(gòu)成融合矩陣，使用LSSVM算法對(duì)融合矩陣進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測(cè)結(jié)果。

該方法的具體步驟如下所示，主要分為四步：

第一步 數(shù)據(jù)集選取。影響電力負(fù)荷變化的因素眾多，總體分為社會(huì)因素和自然因素。社會(huì)因素，包括經(jīng)濟(jì)增長(zhǎng)規(guī)模、工業(yè)用戶類型與數(shù)量、星期類型和節(jié)假日等，其中經(jīng)濟(jì)增長(zhǎng)規(guī)模、工業(yè)用戶類型與數(shù)量，其短期數(shù)據(jù)一般暫未公開,無法獲取，而星期類型和節(jié)假日，可以通過日歷和政府網(wǎng)站獲得其公開數(shù)據(jù)。自然因素，典型的包括溫度、濕度、氣壓、風(fēng)速、降雨量等氣象因素，可以從氣象科學(xué)數(shù)據(jù)網(wǎng)站獲得其公開數(shù)。為追溯電力負(fù)荷變化源頭、揭示電力負(fù)荷變化的內(nèi)在規(guī)律和趨勢(shì)，本文在數(shù)據(jù)集選取方面，不僅選用電力系統(tǒng)領(lǐng)域的電力負(fù)荷歷史數(shù)據(jù)，而且選用來源于非電力系統(tǒng)領(lǐng)域的多種負(fù)荷變化影響因素的可得數(shù)據(jù)，包括星期類型數(shù)據(jù)、節(jié)假日數(shù)據(jù)和氣象數(shù)據(jù)(包括溫度、氣壓、濕度、風(fēng)速等)，并且采用互信息和統(tǒng)計(jì)信息衡量這些數(shù)據(jù)與負(fù)荷變化間關(guān)聯(lián)關(guān)系的強(qiáng)弱以篩選出特征值。

互信息是一種信息度量，表示一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量的信息量，度量?jī)勺兞恐g的相關(guān)性[28-29]。本文采用互信息對(duì)氣象特征值進(jìn)行選取，剔除噪聲變量，降低模型訓(xùn)練的規(guī)模及計(jì)算復(fù)雜度, 提高模型預(yù)測(cè)性能。在互信息標(biāo)準(zhǔn)中，兩個(gè)隨機(jī)變量X和Y的統(tǒng)計(jì)依存關(guān)系用互信息來度量：

(8)

其中：I(X,Y)代表變量X和Y的互信息，互信息越大，表示兩變量之間的相關(guān)性越大。

得到互信息之后，選擇前N個(gè)互信息最大的氣象特征值Wj(j=1,2,…,N)作為部分特征值；通過對(duì)不同星期類型WTi和節(jié)假日Hi電力負(fù)荷使用情況進(jìn)行統(tǒng)計(jì)，分析出相關(guān)規(guī)律，構(gòu)造特征值。對(duì)于第i時(shí)刻，其前M時(shí)刻的歷史負(fù)荷Yi-k(k=1,2,…,M)對(duì)負(fù)荷預(yù)測(cè)也有影響，將WTi、Hi、Wj與Yi-k作為全部特征值與實(shí)際負(fù)荷Yi(i=1,2,…,n，n代表總樣本數(shù))構(gòu)成數(shù)據(jù)集：

D=[WTi,Hi,Wi1,Wi2,…,WiN,Yi,i-M,Yi,i-M+1,…,Yi,i-1,Yi];i=1,2,…,n

第二步 構(gòu)建多模型。為了有效降低單模型可能出現(xiàn)的過擬合，增強(qiáng)模型泛化能力，增加模型多樣性，提高預(yù)測(cè)精度，使多個(gè)算法優(yōu)勢(shì)互補(bǔ)，通過Bootstrap方法，使用采樣率μ對(duì)數(shù)據(jù)集D進(jìn)行m1、m2和m3次可重復(fù)采樣，利用LSSVM算法訓(xùn)練m1個(gè)模型L1,L2,…,Lm1，iGBRT算法訓(xùn)練m2個(gè)模型G1,G2,…,Gm2和BP算法訓(xùn)練m3個(gè)模型B1,B2,…,Bm3，得到Multi-model。

Bootstrap方法稱為自助法，它是一種有放回的抽樣方法，是一種用小樣本估計(jì)總體值的非參數(shù)統(tǒng)計(jì)方法。已經(jīng)證明，在初始樣本足夠大的情況下，Bootstrap抽樣能夠無偏地接近總體的分布。其核心思想和基本步驟是：1)設(shè)定抽樣比例，即從原始樣本中按照指定的比例抽取樣本；2)設(shè)定樣本集個(gè)數(shù)N，即重復(fù)上述N次，得到N個(gè)樣本集。

第三步 在線第二次學(xué)習(xí)。利用Multi-model對(duì)待預(yù)測(cè)時(shí)刻前K時(shí)刻負(fù)荷進(jìn)行預(yù)測(cè)，將負(fù)荷預(yù)測(cè)值作為融合矩陣的特征值，與負(fù)荷實(shí)際值Y構(gòu)成融合矩陣：

因?yàn)殡娏ω?fù)荷變化具有非線性特性，融合矩陣較小。LSSVM 是基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在小樣本和非線性情況下，使用LSSVM算法對(duì)融合矩陣進(jìn)行學(xué)習(xí)，仍然能保證較好的泛化能力。學(xué)習(xí)完成后得到?jīng)Q策模型。

第四步 最終預(yù)測(cè)。通過第一步得到的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，第二步訓(xùn)練得到的Multi-model，以及第三步二次學(xué)習(xí)得到的決策模型，最后一步將待預(yù)測(cè)時(shí)刻的Multi-model的電力負(fù)荷預(yù)測(cè)值和實(shí)際值構(gòu)成預(yù)測(cè)樣本，輸入到融合模型進(jìn)行預(yù)測(cè)，得到最終預(yù)測(cè)結(jié)果。

2 實(shí)驗(yàn)研究

本文實(shí)驗(yàn)研究的環(huán)境包括處理器：Inter Core 2 Duo E7500，內(nèi)存： 4 GB，主頻：2.94 GHz，操作系統(tǒng)：Windows 7。

2.1 特征值選取

實(shí)驗(yàn)所用的數(shù)據(jù)集包括歷史負(fù)荷數(shù)據(jù)、氣象數(shù)據(jù)、星期類型數(shù)據(jù)和節(jié)假日數(shù)據(jù)，其中歷史負(fù)荷數(shù)據(jù)是廣東省廣州市近3年的數(shù)據(jù)，每15 min采集一次；氣象數(shù)據(jù)來自于中國(guó)氣象科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)；星期數(shù)據(jù)和節(jié)假日數(shù)據(jù)通過日歷和政府網(wǎng)站獲得。氣象包括溫度、濕度、氣壓、風(fēng)速、降雨量等因素，但不同的因素對(duì)電力負(fù)荷變化影響程度或強(qiáng)或弱，因此需要對(duì)氣象因素進(jìn)行選取。根據(jù)式(8)計(jì)算，圖1(a)是氣象候選特征值與每日總負(fù)荷之間的互信息，圖1(b)是氣象候選特征值與每日峰值負(fù)荷之間的互信息，圖中已對(duì)互信息值進(jìn)行了降序排列。

圖1 氣象候選特征值與每日負(fù)荷之間的互信息Fig. 1 Mutual information between weather candidate feature and daily load

圖1表明，每個(gè)氣象特征值對(duì)負(fù)荷的影響程度不一樣，本文選擇0.3作為閾值，選擇圖1(a)中前7個(gè)作為每日總負(fù)荷預(yù)測(cè)氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓、日最高本站氣壓、平均本站氣壓、日最低本站氣壓；選擇圖1(b)中前5個(gè)作為每日峰值負(fù)荷預(yù)測(cè)氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓。

圖2(a)是兩年工作日、雙休日和節(jié)假日平均每日總負(fù)荷，圖2(b)是兩年工作日、雙休日和節(jié)假日平均每日峰值負(fù)荷。圖2表明，工作日負(fù)荷是最高的，且工作日負(fù)荷大小接近，雙休日負(fù)荷較低，節(jié)假日負(fù)荷是最低的。在本文中，將星期類型用1、0標(biāo)志表示，1代表工作日，0代表雙休日；節(jié)假日用1、0標(biāo)志表示，1代表節(jié)假日，0代表非節(jié)假日。用選擇的氣象特征值、星期特征值、節(jié)假日特征值和待預(yù)測(cè)日前7天的歷史負(fù)荷值構(gòu)成數(shù)據(jù)集全部特征值，預(yù)測(cè)值分別是每日總負(fù)荷和每日峰值負(fù)荷。

圖2 兩年工作日、雙休日和節(jié)假日平均每日負(fù)荷Fig. 2 Average daily load for each working day, weekend and holiday of two years

2.2 模型評(píng)估指標(biāo)

針對(duì)電力負(fù)荷預(yù)測(cè)系統(tǒng)性能評(píng)估的方法有很多，其中平均絕對(duì)百分誤差(Mean Absolute Percentage Error, MAPE)是使用最多的方法，因此本文選擇MAPE作為評(píng)估指標(biāo)：

(9)

2.3 預(yù)測(cè)性能研究

在單模型方法研究中，為了獲得更高預(yù)測(cè)精度，單模型訓(xùn)練集選擇每個(gè)預(yù)測(cè)時(shí)刻之前所有數(shù)據(jù)，測(cè)試集是第3年數(shù)據(jù)；在多模型方法研究中，多模型訓(xùn)練集是前兩年數(shù)據(jù)，測(cè)試集是第3年數(shù)據(jù)，在進(jìn)行第2次學(xué)習(xí)時(shí)，新訓(xùn)練數(shù)據(jù)集由待預(yù)測(cè)日前k=60d的原星期類型和節(jié)假日特征值、氣象特征值、歷史負(fù)荷特征值、負(fù)荷預(yù)測(cè)值和實(shí)際值構(gòu)成。LSSVM中核函數(shù)參數(shù)σ和正規(guī)化參數(shù)C采用十字交叉驗(yàn)證和網(wǎng)格搜索進(jìn)行參數(shù)尋優(yōu)；iGBRT中的RF算法樹數(shù)目為500，GBRT算法樹總數(shù)為30，學(xué)習(xí)速率為ν=0.1，基學(xué)習(xí)器為CART；BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)為20。構(gòu)建單算法多模型和多算法多模型時(shí)，采樣率μ=0.7，訓(xùn)練數(shù)據(jù)集個(gè)數(shù)m1=10，m2=10，m3=10；構(gòu)建多算法單模型時(shí)，采樣率μ=1，訓(xùn)練數(shù)據(jù)集個(gè)數(shù)m1=1，m2=1，m3=1。

案例1 本實(shí)驗(yàn)對(duì)LSSVM、iGBRT和BP單模型以及本文預(yù)測(cè)模型預(yù)測(cè)性能進(jìn)行研究。表1是不同模型全年負(fù)荷預(yù)測(cè)誤差。

表1預(yù)測(cè)結(jié)果表明，本文方法與最優(yōu)單模型LSSVM相比，在每日總負(fù)荷預(yù)測(cè)中，MAPE減少了21.07%；在每日峰值負(fù)荷預(yù)測(cè)中，MAPE減少了16.02%，這說明本文方法比單模型泛化能力更強(qiáng)，預(yù)測(cè)精度更高。

表1 本文方法與單模型全年負(fù)荷預(yù)測(cè)誤差對(duì)比 %Tab. 1 Forecasting errors of the proposed model and single-models for a one-year period %

表2給出了4種方法的運(yùn)行時(shí)間，其中總體運(yùn)行時(shí)間為離線運(yùn)行時(shí)間和在線運(yùn)行時(shí)間之和。對(duì)本文方法而言，離線運(yùn)行時(shí)間用于多模型離線訓(xùn)練，在線運(yùn)行時(shí)間用于在線第二次學(xué)習(xí)和在線預(yù)測(cè)。從表2中可以看出，本文方法總體運(yùn)行時(shí)間較長(zhǎng)，主要是因?yàn)槎嗄Ｐ碗x線訓(xùn)練階段消耗時(shí)間長(zhǎng)，為225.767 s，在線第二次學(xué)習(xí)和在線預(yù)測(cè)階段消耗11.136 s。在實(shí)驗(yàn)中，多模型的離線訓(xùn)練只進(jìn)行一次，因此系統(tǒng)的實(shí)際運(yùn)行時(shí)間就是在線運(yùn)行時(shí)間(用于在線第二次學(xué)習(xí)和在線預(yù)測(cè))，考慮本文的實(shí)驗(yàn)環(huán)境，11.136 s的時(shí)間開銷完全可以滿足實(shí)際預(yù)測(cè)系統(tǒng)的應(yīng)用需求。

表2 本文方法與單模型方法運(yùn)行時(shí)間對(duì)比 sTab. 2 Runtime comparsion of the proposed method and single-modles s

圖3是7月每日總負(fù)荷和每日峰值負(fù)荷實(shí)際曲線、預(yù)測(cè)曲線和預(yù)測(cè)誤差曲線。圖3誤差曲線表明，BP誤差曲線存在較大的誤差點(diǎn)，這說明單算法單模型存在過擬合問題，采用多樣性采樣可以避免單模型過擬合問題；LSSVM、iGBRT和BP單模型在相同時(shí)間點(diǎn)上預(yù)測(cè)效果有差別，且都有各自預(yù)測(cè)最好的時(shí)間點(diǎn)，而在大部分預(yù)測(cè)時(shí)間點(diǎn)上，本文方法預(yù)測(cè)值比單模型預(yù)測(cè)值更接近實(shí)際負(fù)荷值，這說明本文方法綜合利用了多個(gè)算法的優(yōu)點(diǎn)、解決了單個(gè)算法適用范圍受限的問題，泛化能力更強(qiáng)。從圖3負(fù)荷曲線可知單模型大部分預(yù)測(cè)值都低于負(fù)荷實(shí)際值，這說明對(duì)于負(fù)荷存在的增長(zhǎng)率問題，單模型沒有很好地學(xué)習(xí)到，泛化能力受限。

案例2 本實(shí)驗(yàn)對(duì)不同融合方法預(yù)測(cè)性能進(jìn)行研究。將本文在線第二次學(xué)習(xí)方法與文獻(xiàn)[14]中推薦的偏最小二乘法(Partial Least Squares, PLS)方法進(jìn)行對(duì)比。在線第二次學(xué)習(xí)和PLS集成所用到的訓(xùn)練數(shù)據(jù)集是每個(gè)待預(yù)測(cè)時(shí)刻最近一段時(shí)間的Multi-model負(fù)荷預(yù)測(cè)值及實(shí)際值構(gòu)成訓(xùn)練數(shù)據(jù)集D1，D1_PLS是PLS方法對(duì)D1數(shù)據(jù)集進(jìn)行多模型集成，D1_LSSVM是LSSVM對(duì)D1數(shù)據(jù)集進(jìn)行第二次學(xué)習(xí)。表3是不同融合方法全年負(fù)荷預(yù)測(cè)誤差。

表3 不同融合方法全年負(fù)荷預(yù)測(cè)誤差 %Tab. 3 Forecasting errors of different combination methods for a one-year period %

表3預(yù)測(cè)結(jié)果表明，D1_LSSVM進(jìn)行多模型二次學(xué)習(xí)的預(yù)測(cè)精度明顯高于D1_PLS加權(quán)平均方法，這說明對(duì)于電力負(fù)荷變化具有非線性特性，采用非線性融合方法比線性加權(quán)融合方法學(xué)習(xí)得更好。

圖3 七月負(fù)荷實(shí)際曲線、預(yù)測(cè)曲線及預(yù)測(cè)誤差曲線Fig. 3 Actual load, forecasting load, and forecasting errors for July

案例3 本實(shí)驗(yàn)對(duì)單算法多模型、多算法單模型方法預(yù)測(cè)性能進(jìn)行研究。單算法多模型由LSSVM、iGBRT和BP算法分別采用Bootstrap方法進(jìn)行重復(fù)采樣，每個(gè)算法訓(xùn)練5個(gè)模型構(gòu)建；多算法單模型由LSSVM、iGBRT和BP算法進(jìn)行兩兩組合和全部組合的方式構(gòu)建，每個(gè)算法訓(xùn)練1個(gè)模型。表4是不同多模型全年負(fù)荷預(yù)測(cè)誤差，所有多模型都使用案例2中D1_LSSVM進(jìn)行在線第二次學(xué)習(xí)。

由表4可知，在每日總負(fù)荷預(yù)測(cè)中，3種多模型方法中各自最優(yōu)的模型是LSSVM_iGBRT、Multi_LSSVM和本文方法；在每日峰值負(fù)荷預(yù)測(cè)中，3種多模型方法中各自最優(yōu)的模型是BP_LSSVM、Multi_LSSVM和本文方法。在每日總負(fù)荷預(yù)測(cè)中，本文方法相比LSSVM_iGBRT和Multi_LSSVM方法，全年平均MAPE減少了5.00%和7.64%，在每日峰值負(fù)荷預(yù)測(cè)中，本文方法相比BP _LSSVM和Multi_LSSVM方法，全年平均MAPE減少了13.14%和7.60%。在每日總負(fù)荷預(yù)測(cè)中，LSSVM_iBGRT在多算法單模型中全年平均預(yù)測(cè)精度最高，在每日峰值負(fù)荷預(yù)測(cè)中， Multi_LSSVM和Multi_ BP在單算法多模型中全年平均預(yù)測(cè)模式下，表現(xiàn)的預(yù)測(cè)性能不同。而多算法多模型方法在全年平均預(yù)測(cè)精度上都是最高的，這說明本文方法比單算法多模型和多算法單模型方法預(yù)測(cè)精度更高，說明多算法多模型方法將多個(gè)算法優(yōu)勢(shì)互補(bǔ)克服了單算法多模型中單個(gè)算法適用范圍受限的缺點(diǎn)，也提高了多算法單模型泛化能力，應(yīng)用更加自由。

表4 本文方法與多算法單模型、單算法多模型全年負(fù)荷預(yù)測(cè)誤差 %Tab. 4 Forecasting errors of the proposed model, multi-algorithm & single- models and single-algorithm & multi-models for a one-year period %

表5顯示了多模型方法的運(yùn)行時(shí)間，從表5中可以看出，多模型方法總體運(yùn)行時(shí)間都比較長(zhǎng)，主要是因?yàn)槎嗄Ｐ碗x線訓(xùn)練階段消耗時(shí)間長(zhǎng)。綜合考慮負(fù)荷預(yù)測(cè)精度和實(shí)驗(yàn)環(huán)境，與其他多模型方法相比，本文方法依然是較優(yōu)的方法。

表5 本文方法與單算法多模型、多算法單模型運(yùn)行時(shí)間對(duì)比 sTab. 5 Runtime comparision of the proposed method, multi-algorithm & multi-models and multi-algorithm & single-models s

3 結(jié)語

本文首次提出多算法多模型與在線第2次學(xué)習(xí)結(jié)合的預(yù)測(cè)方法。對(duì)廣東省廣州市近3年每日總負(fù)荷和每日峰值負(fù)荷進(jìn)行預(yù)測(cè)研究，實(shí)驗(yàn)結(jié)果為，本文預(yù)測(cè)方法與最優(yōu)單模型、最優(yōu)多算法單模型和最優(yōu)單算法多模型相比，在每日總負(fù)荷預(yù)測(cè)中，全年MAPE減少了21.07%、5.00%和7.64%，在每日峰值負(fù)荷預(yù)測(cè)中，全年MAPE減少了16.02%、13.14%和7.60%。實(shí)驗(yàn)結(jié)果表明：通過利用氣象數(shù)據(jù)、星期類型數(shù)據(jù)、節(jié)假日數(shù)據(jù)和負(fù)荷數(shù)據(jù)更好地揭示了負(fù)荷變化的內(nèi)在規(guī)律和趨勢(shì); 對(duì)訓(xùn)練集進(jìn)行多樣性采樣，克服了單模型過擬合問題，泛化能力增強(qiáng)，使多個(gè)算法優(yōu)勢(shì)互補(bǔ)，解決單個(gè)算法適用范圍受限的問題； 采用在線第二次學(xué)習(xí)方法，解決了電力負(fù)荷存在的增長(zhǎng)率和近因效應(yīng)問題。

本文提出的預(yù)測(cè)方法不局限于電力負(fù)荷預(yù)測(cè)領(lǐng)域，對(duì)于交通流量預(yù)測(cè)、電價(jià)預(yù)測(cè)等領(lǐng)域，本文方法同樣適用，只是在構(gòu)建多算法多模型時(shí)，需要針對(duì)各個(gè)領(lǐng)域數(shù)據(jù)集的不同特點(diǎn)選擇不同的算法。

References)

[1] DUDEK G. Pattern-based local linear regression models for short-term load forecasting [J]. Electric Power Systems Research, 2016, 130: 139-147.

[2] CHO M Y, HWANG J C, CHEN C S. Customer short term load forecasting by using ARIMA transfer function model [C]// Proceedings of the 1995 International Conference on Energy Management and Power Delivery. Piscataway, NJ: IEEE, 1995: 317-322.

[3] LI S, WANG P, GOEL L. Short-term load forecasting by wavelet transform and evolutionary extreme learning machine[J]. Electric Power Systems Research, 2015, 122: 96-103.

[4] XIAO Z, YE S J, ZHONG B, et al. BP neural network with rough set for short term load forecasting [J]. Expert Systems with Applications, 2009, 36(1): 273-279.

[5] 師彪,李郁俠,于新花,等.改進(jìn)粒子群 —— BP神經(jīng)網(wǎng)絡(luò)模型的短期電力負(fù)荷預(yù)測(cè)[J]. 計(jì)算機(jī)應(yīng)用,2009,29(4):1036-1039. (SHI B, LI Y X, YU X H, et al. Short-term load forecast based on modified particle swarm optimizer and back propagation neural network model [J]. Journal of Computer Applications, 2009, 29(4): 1036-1039.)

[6] 郎坤,張明媛,袁永博.基于迭代誤差補(bǔ)償?shù)暮藰O端學(xué)習(xí)機(jī)模型在短期電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用,2015,35(7):2083-2087. (LANG K, ZHANG M Y, YUAN Y B. Application of extreme learning machine with kernels model based on iterative error correction in short term electricity load forecasting [J]. Journal of Computer Applications, 2015, 35(7): 2083-2087.)

[7] 吳倩紅,高軍,侯廣松,等.實(shí)現(xiàn)影響因素多源異構(gòu)融合的短期負(fù)荷預(yù)測(cè)支持向量機(jī)算法[J]. 電力系統(tǒng)自動(dòng)化,2016,40(15):67-72. (WU Q H, GAO J, HOU G S, et al. Short-term load forecasting support vector machine algorithm based on multi-source heterogeneous fusion of load factors[J]. Automation of Electric Power Systems, 2016, 40(15): 67-72.)

[8] CHEN Y H, HONG W C, SHEN W, et al. Electric load forecasting based on a least squares support vector machine with fuzzy time series and global harmony search algorithm[J]. Energies, 2016, 9(2): 7-82.

[9] LIN W M, TU C S, YANG R F, et al. Particle swarm optimisation aided least-square support vector machine for load forecast with spikes [J]. IET Generation, Transmission & Distribution, 2016, 10(5): 1145-1153.

[10] 胡時(shí)雨,羅滇生,陽霜,等.基于多變量LS-SVM和模糊循環(huán)推理系統(tǒng)的負(fù)荷預(yù)測(cè)[J]. 計(jì)算機(jī)應(yīng)用,2015,35(2):595-600. (HU S Y, LUO D S, YANG S, et al. Load forecasting based on multi-variable LS-SVM and fuzzy recursive inference system [J]. Journal of Computer Applications, 2015, 35(2): 595-600.)

[11] PAPADOPOULOS S, KARAKATSANIS I. Short-term electricity load forecasting using time series and ensemble learning methods [C]// Proceedings of the 2015 IEEE Power and Energy Conference at Illinois. Piscataway: IEEE, 2015: 1-6.

[12] WU X Y, HE J H, YIP T, et al. A two-stage random forest method for short-term load forecasting [C]// Proceedings of the 2016 IEEE Power and Energy Society General Meeting. Piscataway, NJ: IEEE, 2016: 1-5.

[13] TAIEB S B, HYNDMAN R J. A gradient boosting approach to the Kaggle load forecasting competition [J]. International Journal of Forecasting, 2014, 30(2): 382-394.

[14] MOHAN A, CHEN Z, WEINBERGER K. Web-search ranking with initialized gradient boosted regression trees[C]// Proceedings of the 2010 International Conference on Yahoo! Learning to Rank Challenge. Haifa, Israel: JMLR, 2010, 14: 77-89.

[15] LI N, JIANG Y, ZHOU Z H. Multi-label selective ensemble[C]// Proceedings of the 12th International Workshop on Multiple Classifier Systems. Berlin: Springer, 2015: 76-88.

[16] ZHOU Z H, WU J X, TANG W. Ensembling neural networks: many could be better than all [J]. Artificial Intelligence, 2002, 137(1): 239-263.

[17] WANG B, CHIANG H D. ELITE: ensemble of optimal input-pruned neural networks using TRUST-TECH [J]. IEEE Transactions on Neural Networks, 2011, 22(1): 96-109.

[18] LI S, GOEL L, WANG P. An ensemble approach for short-term load forecasting by extreme learning machine[J]. Applied Energy, 2016, 170: 22-29.

[19] CHEN L G, CHIANG H D, DONG N, et al. Group-based chaos genetic algorithm and non-linear ensemble of neural networks for short-term load forecasting [J]. IET Generation Transmission & Distribution, 2016, 10(6): 1440-1447.

[20] RIBEIRO G T, GRITTI M C, AYALA H V H, et al. Short-term load forecasting using wavenet ensemble approaches [C]// Proceedings of the 2016 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 2016: 727-734.

[21] SIWEK K, OSOWSKI S, SZUPILUK R. Ensemble neural network approach for accurate load forecasting in a power system [J]. International Journal of Applied Mathematics & Computer Science, 2009, 19(2): 303-315.

[23] DUDEK G. Heterogeneous ensembles for short-term electricity demand forecasting [C]// Proceedings of the 2016 17th International Scientific Conference on Electric Power Engineering. Piscataway, NJ: IEEE, 2016: 1-6.

[24] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300.

[25] BREIMAN L. Random forests [J]. Machine Learning, 2001, 45(1): 5-32.

[26] FRIEDMAN J H. Greedy function approximation: a gradient boosting machine [J]. The Annals of Statistics, 2001, 29(5): 1189-1232.

[27] HECHTNIELSEN R. Theory of the back propagation neural network[C]// Proceedings of the 1989 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 1989: 593-605.

[28] GUILLEN A, HERRERA L J, RUBIO G, et al. New method for instance or prototype selection using mutual information in time series prediction [J]. Neurocomputing, 2010, 73(10): 2030-2038.

[29] BONNLANDER B V, WEIGEND A S. Selecting input variables using mutual information and nonparametric density estimation[EB/OL].[2016- 11- 20].http://pdfs.semanticscholar.org/0cbb/68b53c3a079545790e1e97e9f14bb4d613a9.pdf.

This work is partially supported by the National Natural Science Foundation of China (61374172), the National Scientific and Technological Achievement Transformation Project of China (201255).

ZHOUMo, born in 1990, M. S. candidate. His research interests include artificial intelligence, power load forecasting.

JINMin, born in 1973, Ph. D., professor. Her research interests include embedded system, artificial intelligence, big data, industry 4.0, power load forecasting.

Short-termpowerloadforecastingmethodcombiningwithmulti-algorithm&multi-modelandonlinesecondlearning

ZHOU Mo, JIN Min*

(CollegeofComputerScienceandElectronicEngineering,HunanUniversity,ChangshaHunan410084,China)

In order to improve the forecasting accuracy of the short-term power load, a forecasting method combining multi-algorithm & multi-model and online second learning was newly proposed. First, the input variables were selected by using mutual information and statistical information and a dataset was constructed. Then, multiple training sets were generated by performing diverse sampling with bootstrap on the original training set. Multiple models were obtained using different artificial intelligence and machine-learning algorithms. Finally, the offline second-learning method was improved. A new training set was generated using the actual load, and the multi-model forecasts for recent period within the forecasted time, which is trained by online second learning to obtain the final forecasting results. The load in Guangzhou, China was studied. Compared to the optimal single-model, single-algorithm & multi-model and multi-algorithm & single-model, Mean Absolute Percentage Error (MAPE) of the proposed model was reduced by 21.07%, 7.64% and 5.00%, respectively, in the daily total load forecasting, and by 16.02%, 7.60%, and 13.14%, respectively, in the daily peak load forecasting. The experimental results show that the proposed method can improve the prediction accuracy of the power load, reduce costs, implement optimal scheduling management, and ensure security with early warnings in smart grids.

short-term power load forecasting; diversity sampling; heterogeneous model; multi-algorithm and multi-model; online second learning

2017- 05- 08;

2017- 06- 16。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61374172);國(guó)家科技成果轉(zhuǎn)化項(xiàng)目(201255)。

周末(1990—)，男，湖北漢川人，碩士研究生，主要研究方向：人工智能、電力負(fù)荷預(yù)測(cè)； 金敏(1973—)，女，湖南岳陽人，教授，博士，主要研究方向：嵌入式系統(tǒng)、人工智能、大數(shù)據(jù)、工業(yè)4.0、電力負(fù)荷預(yù)測(cè)。

1001- 9081(2017)11- 3317- 06

10.11772/j.issn.1001- 9081.2017.11.3317

(*通信作者電子郵箱jinmin@hnu.edu.cn)

TP391.9

A