徐宇頌,鄒山花,盧先領(lǐng)
(1.江南大學(xué) “輕工過程先進(jìn)控制”教育部重點(diǎn)實(shí)驗(yàn)室,江蘇 無錫 214122;2.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫 214122;3.江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)建設(shè)實(shí)驗(yàn)室,江蘇 無錫 214100)
負(fù)荷預(yù)測為電網(wǎng)安全穩(wěn)定運(yùn)行提供了可靠的依據(jù)[1]。目前負(fù)荷預(yù)測方法主要劃分為統(tǒng)計學(xué)預(yù)測[2-5]和機(jī)器學(xué)習(xí)預(yù)測[6-13]。統(tǒng)計學(xué)預(yù)測方法如自回歸移動平均模型[2-3]、時間序列分析[4-5]等,方法簡單、預(yù)測速度快,但難以根據(jù)非線性因素構(gòu)建理想數(shù)學(xué)模型。在機(jī)器學(xué)習(xí)預(yù)測方法中,人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)具有較好的非線性擬合能力,但容易陷入局部最優(yōu)[6-8]。長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)能較好把握時間相關(guān)性的數(shù)據(jù),但對于輸入數(shù)據(jù)要求較高[9-11]。支持向量回歸(support vector regression,SVR)具有性能優(yōu)良、唯一全局最優(yōu)解、特征輸入不挑剔等優(yōu)點(diǎn)[12-13]。文獻(xiàn)[12]分別采用反向傳播神經(jīng)網(wǎng)絡(luò)、徑向基功能神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)(general regression neural network,GRNN)和SVR預(yù)測某居民住宅區(qū)年電力負(fù)荷。SVR模型存在“核函數(shù)選擇”的問題[14-15]。文獻(xiàn)[16]提出“多核組合模型”思路,并驗(yàn)證了最優(yōu)組合模型預(yù)測效果優(yōu)于單核模型,但僅將單核模型依據(jù)誤差的倒數(shù)進(jìn)行線性組合,效果未達(dá)到全局最優(yōu)。
短期電力負(fù)荷預(yù)測方法一般會忽視特征選擇的重要性,其往往根據(jù)經(jīng)驗(yàn)選擇特征或者使用單一標(biāo)準(zhǔn)進(jìn)行特征選擇,這將造成如下問題。(1)各地用電情況差異性大,受經(jīng)驗(yàn)局限,缺乏可量化比較的選擇標(biāo)準(zhǔn),易遺漏重要特征;(2)單一標(biāo)準(zhǔn)未必適配所有類型的特征選擇,獲取的“高相關(guān)”特征不僅可信度存疑,還存在特征間“高冗余”問題;(3)常用方法不能有效確定模型維度,導(dǎo)致模型復(fù)雜度偏高或偏低,影響后續(xù)預(yù)測工作。
本文提出基于特征選擇和組合模型的短期電力負(fù)荷預(yù)測方法,對未來24小時電力負(fù)荷進(jìn)行預(yù)測。首先使用分類選擇和貝葉斯信息量準(zhǔn)則(Bayesian information criterion,BIC)確定最優(yōu)特征向量及其維度。然后采用不同核函數(shù)建立單核遞 歸 支 持 向 量 回 歸 模 型( recursive support vector regression,RSVR),進(jìn)行遞歸預(yù)測。接著運(yùn)用各單核模型的訓(xùn)練輸出構(gòu)建淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行模型組合。最后結(jié)合實(shí)際案例進(jìn)行驗(yàn)證,說明了本文方法具有較高的預(yù)測精度與魯棒性。
本文將特征向量分為外部因素特征向量與延遲負(fù)荷特征向量,使用斯皮爾曼相關(guān)系數(shù)(Spearman's rank-order correlation coefficient,SROCC)與最大相關(guān)最小冗余算法(max-relevance and min-redundancy,mRMR)進(jìn)行類內(nèi)選擇,解決選擇標(biāo)準(zhǔn)單一問題。采用貝葉斯信息量準(zhǔn)則確定最優(yōu)特征向量的維度,在保證預(yù)測精確度的前提下降低模型的復(fù)雜度。
斯皮爾曼相關(guān)系數(shù)是非參數(shù)指標(biāo),計算采用的數(shù)據(jù)是“秩”。當(dāng)某外部因素是影響電力負(fù)荷變化的主要特征時,值接近于1,反之接近于0。本文選擇大于等于0.4的相關(guān)特征向量以構(gòu)造外部因素特征向量E。斯皮爾曼相關(guān)系數(shù)表達(dá)式為
式中: ρ 為2組向量間的斯皮爾曼相關(guān)系數(shù);n為樣本個數(shù);Ri、Si分別為2組向量的第i個參數(shù);、分別為2組向量的平均等級。
相關(guān)系數(shù)大小與相關(guān)程度對應(yīng)關(guān)系如表1所示。
表1 系數(shù)的對應(yīng)關(guān)系Table 1 Corresponding relationship of coefficient
考慮到預(yù)測日內(nèi)所有時刻負(fù)荷數(shù)據(jù)均未知,且電力負(fù)荷存在一定周期性。設(shè)初始延遲負(fù)荷特征向量為L,t時刻前d小時的負(fù)荷向量為yt?d。延遲負(fù)荷特征向量與負(fù)荷向量的關(guān)系是非線性。特征向量間存在嚴(yán)重的冗余現(xiàn)象。在進(jìn)行類內(nèi)選擇時,不僅要選取“高相關(guān)”,也要做到“低冗余”,mRMR算法最為合適。mRMR算法是利用互信息技術(shù)保證特征向量高相關(guān)、低冗余的重要工具[17]?;バ畔⑦\(yùn)算表達(dá)式為
式中:I(l,y)為延遲負(fù)荷特征向量l和負(fù)荷向量y的互信息值;p(l,y)為向量l和向量y的聯(lián)合概率分布函數(shù);p(l)、p(y)分別為向量l和向量y的概率分布。
算法步驟如下。(1)將L中的向量l與y進(jìn)行互信息運(yùn)算;(2)選擇取值最大者存入候選延遲負(fù)荷特征向量J作為首項(xiàng);(3)在剩余向量中進(jìn)行綜合運(yùn)算,將值最大者存入J;(4)重復(fù)上述步驟直至J的維度達(dá)到設(shè)定值Q,輸出J。
綜合運(yùn)算表達(dá)式為式中:li為第i個已存入J的延遲負(fù)荷向量;lj為第j個還未存入J的向量;q為J的維度;為延遲負(fù)荷特征向量與負(fù)荷向量的相關(guān)度;為延遲負(fù)荷特征向量間的冗余度。
分類選擇后,獲取綜合特征向量F={E,J}。訓(xùn)練模型時,如果模型維度過大,會導(dǎo)致過擬合、計算資源浪費(fèi)等問題,反之容易欠擬合。BIC是確定模型維度的有效方法,能規(guī)避過擬合的風(fēng)險[18]。BIC運(yùn)算表達(dá)式為
式中:VBIC為模型的BIC值;m為特征維度;nv為驗(yàn)證集樣本個數(shù);yi為負(fù)荷向量驗(yàn)證集中第i個實(shí)際值;為第i個預(yù)測值。
電力負(fù)荷是非線性復(fù)雜時間序列,即使各單核模型預(yù)測性能都優(yōu)良,在模型組合時也會存在精度提升不顯著的可能。淺層神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力可以自行優(yōu)化組合結(jié)構(gòu),從而提升預(yù)測準(zhǔn)確度。同時神經(jīng)網(wǎng)絡(luò)的容錯性將提升總體模型的魯棒性[21]。
淺層神經(jīng)網(wǎng)絡(luò)一般由輸入層、單隱義層、輸出層構(gòu)成,神經(jīng)網(wǎng)絡(luò)中不同層的值通過權(quán)值運(yùn)算、激活函數(shù)傳遞給后面的層。神經(jīng)網(wǎng)絡(luò)運(yùn)算表達(dá)式為
式中:a1、a2與 σ1、 σ2分別為隱義層和輸出層的輸出向量和激活函數(shù);w1、w2與b1、b2分別為隱義層和輸出層的權(quán)值向量和閾值向量;z1、z2分別為通過對應(yīng)激活函數(shù)后的輸入層和隱義層的輸出向量;O為含有3個單核模型預(yù)測輸出結(jié)果o1、o2、o3的輸入向量。
在訓(xùn)練過程中,使用反向傳播和Levenberg-Marquardt優(yōu)化算法[22]對網(wǎng)絡(luò)參數(shù)更新尋優(yōu)。該優(yōu)化算法是介于牛頓法與梯度下降法之間的1種非線性最小化方法,對于過參數(shù)化問題不敏感,能夠有效處理冗余參數(shù)問題,使損失函數(shù)陷入局部極小值的機(jī)會大大減少[23]。損失函數(shù)使用的是均方誤差(mean square error,MSE)。MSE 與平均絕對百分比誤差(mean absolute percentage error,MAPE)作為估量各模型預(yù)測精度的評價標(biāo)準(zhǔn)。其運(yùn)算表達(dá)式為
式中:EMSE、EMAPE分別為模型的預(yù)測均方誤差和平均絕對百分比誤差;T為總時刻數(shù);yt為時刻t的電力負(fù)荷真實(shí)值;y?t為t時刻的電力負(fù)荷預(yù)測值。
從氣象網(wǎng)站上取馬來西亞柔佛州某幾日所有整點(diǎn)時刻的氣象信息,包括紫外線指數(shù)、晴雨情況、風(fēng)速等。利用斯皮爾曼相關(guān)系數(shù)剔除低相關(guān)的特征向量,得到外部因素特征向量E。節(jié)假日數(shù)據(jù)以天為單位,與負(fù)荷向量數(shù)據(jù)粒度不統(tǒng)一,故取日平均負(fù)荷量進(jìn)行相關(guān)性運(yùn)算。外部因素特征向量E如表2所示。
表2 特征向量ETable 2 Feature vectorE
接著使用mRMR算法篩選初始延遲負(fù)荷特征向量L,得到候選延遲負(fù)荷特征向量J,初始維度Q設(shè)定為50。將向量E與向量J相并得到綜合特征向量F。隨后利用3折交叉驗(yàn)證法劃分驗(yàn)證集并使用線性核SVR求得向量F前m個維度的平均BIC值,如圖1所示。
圖1 最優(yōu)特征向量Fm維度與BIC、MAPE關(guān)系Fig.1 Relationship between the dimension of the optimal feature vectorFmand BIC, MAPE
由圖1可知,BIC值在m=33時達(dá)到最小,之后有所上升,而MAPE值在m=23后平穩(wěn)下降,其無法得出最佳模型維度。綜上,BIC比MAPE更適合作為模型維度選擇準(zhǔn)則。
以最小BIC值確定最優(yōu)特征向量Fm及其維度m=33。Fm中外部因素特征分別為紫外線、溫度、濕度、風(fēng)速、整點(diǎn)時刻、日類型、休假信息。延遲負(fù)荷特征分別為待預(yù)測日前168、25、128、144、48、167、72、110、120、26、82、166、96、47、145、159、143、33、73、134、49、165、71、97、153、27個小時的負(fù)荷特征向量。
以往特征選擇方法分為2類:經(jīng)驗(yàn)特征選擇和單一標(biāo)準(zhǔn)特征選擇。在本次對比實(shí)驗(yàn)中,前者直接選擇溫濕度、前3日的延遲負(fù)荷、前1周的延遲負(fù)荷作為輸入特征向量。后者選擇最大互信息系數(shù)(maximal information coefficient,MIC)作為選擇標(biāo)準(zhǔn)。MIC常用于衡量2個隨機(jī)變量之間的非線性關(guān)系,不限定于特定的函數(shù)類型,符合普適性和公正性的要求[24]。使用3折交叉驗(yàn)證法分別求出3類特征選擇方法的模型BIC值和MAPE值,數(shù)據(jù)如表3所示。
表3 各特征選擇方法的驗(yàn)證集誤差Table 3 The errors of validation set by different feature selection methods
從表3中可以看出,本文所提出的分類特征選擇方法的性能優(yōu)于其他方法。相比于MIC單一標(biāo)準(zhǔn)特征選擇,它較好解決了特征向量間冗余、模型維度難以確定等問題。相對于經(jīng)驗(yàn)特征選擇,它不會遺漏重要屬性特征。例如風(fēng)速作為重要天氣因素,能夠改變體感溫度從而間接影響用戶用電行為[25]。
通過分類特征選擇方法獲取最優(yōu)特征向量Fm后,本文使用不同的核函數(shù)訓(xùn)練單核RSVR模型并進(jìn)行遞歸預(yù)測,預(yù)測結(jié)果如表4所示。
表4 單核RSVR的預(yù)測誤差Table 4 The forecasting errors of RSVR models based on different single-kernel
從表4中可以看出,在3個不同的單核模型中,高斯核RSVR模型的預(yù)測性能最優(yōu),線性核函數(shù)次之,S型核函數(shù)最差。以高斯核模型為例,不采用遞歸預(yù)測時,測試集MSE為1.553 5 GW,MAPE為2.481 9%。采用遞歸預(yù)測后,MSE降為0.474 6 GW,MAPE 降為 1.077 1%,可知引入前一時刻電力負(fù)荷數(shù)據(jù)然后進(jìn)行遞歸預(yù)測的方法可以提升預(yù)測精度。此外,使用MIC特征選擇方法或經(jīng)驗(yàn)特征選擇方法的高斯核模型的預(yù)測性能較差。結(jié)合表3~4可以看出,使用分類特征選擇方法可以有效降低模型預(yù)測誤差。
本文構(gòu)建淺層神經(jīng)網(wǎng)絡(luò)對模型進(jìn)行組合,記為3核遞歸支持向量回歸-神經(jīng)網(wǎng)絡(luò)(recursivesupport vector regression-neural network,RSVR-NN)組合模型。該神經(jīng)網(wǎng)絡(luò)依據(jù)單核模型的訓(xùn)練輸出建立網(wǎng)絡(luò)結(jié)構(gòu),然后將單核模型的預(yù)測輸出作為自己的預(yù)測輸入,神經(jīng)網(wǎng)絡(luò)的輸出值為最終預(yù)測值。
本文在保證同一最優(yōu)特征向量Fm的前提下,選擇多個主流模型進(jìn)行對比實(shí)驗(yàn),預(yù)測性能對比情況如表5所示。
表5 對比實(shí)驗(yàn)Table 5 Comparative experiments
本文按照文獻(xiàn)[16]對它提出的方案模型進(jìn)行還原。單核RSVR模型預(yù)測輸出根據(jù)一定比例進(jìn)行線性組合,對應(yīng)比例為各模型訓(xùn)練集均方誤差的倒數(shù),記為3核RSVR線性組合模型,預(yù)測結(jié)果測試集 MSE 為 0.452 5 GW,MAPE 為 1.003 1%。
從表4~5中可以看出,單核RSVR最優(yōu)模型預(yù)測結(jié)果測試集 MSE為 0.474 6 GW,MAPE為1.077 1%,線性組合模型相比于單核模型性能有所提升,但是提升幅度不大,主要原因是模型根據(jù)誤差倒數(shù)法線性組合的組合方式不一定最優(yōu)。而神經(jīng)網(wǎng)絡(luò)具有優(yōu)秀的自學(xué)習(xí)能力并且具有一定的容錯性,組合方式更優(yōu),所以3核RSVR-NN組合模型能夠取得較優(yōu)的預(yù)測性能與魯棒性,其測試集MSE為0.227 6 GW,測試集MAPE為0.774 1%。繪制2個組合模型的負(fù)荷預(yù)測曲線,如圖2所示。
圖2 預(yù)測結(jié)果對比Fig.2 Comparison of forecasting results
從圖2可以看出,2種組合方式都能對電力負(fù)荷進(jìn)行較好的預(yù)測,3核RSVR-NN組合模型更勝一籌。尤其是在09:00—12:00及14:00—16:00,它比3核RSVR線性組合模型更貼合負(fù)荷實(shí)際曲線,預(yù)測效果更好。
本文針對特征選擇和多核SVR線性組合問題提出了解決優(yōu)化方案,不僅使模型特征選擇的方法更嚴(yán)謹(jǐn),能夠得到高相關(guān)低冗余的特征向量,同時保證較低的模型復(fù)雜度,還使用可以進(jìn)行自學(xué)習(xí)的淺層神經(jīng)網(wǎng)絡(luò)作為單核RSVR模型的組合工具,從而替代了采用誤差倒數(shù)法的線性組合方式。整個模型并非各類算法的盲目堆砌。通過實(shí)驗(yàn)對比,3核RSVR-NN組合模型預(yù)測性能不僅優(yōu)于單核模型與其他機(jī)器算法模型,也優(yōu)于3核RSVR線性組合模型。
在后續(xù)的研究工作中,可嘗試多個“混合核函數(shù)”SVR模型組合或者將SVR與其他機(jī)器學(xué)習(xí)算法進(jìn)行組合,進(jìn)一步提升整體負(fù)荷預(yù)測效果。