徐宇頌，鄒山花，盧先領(lǐng)

(1.江南大學(xué) “輕工過程先進(jìn)控制”教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122；2.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫 214122；3.江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 無錫 214100)

0 引言

負(fù)荷預(yù)測為電網(wǎng)安全穩(wěn)定運(yùn)行提供了可靠的依據(jù)[1]。目前負(fù)荷預(yù)測方法主要劃分為統(tǒng)計學(xué)預(yù)測[2-5]和機(jī)器學(xué)習(xí)預(yù)測[6-13]。統(tǒng)計學(xué)預(yù)測方法如自回歸移動平均模型[2-3]、時間序列分析[4-5]等，方法簡單、預(yù)測速度快，但難以根據(jù)非線性因素構(gòu)建理想數(shù)學(xué)模型。在機(jī)器學(xué)習(xí)預(yù)測方法中，人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）具有較好的非線性擬合能力，但容易陷入局部最優(yōu)[6-8]。長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）能較好把握時間相關(guān)性的數(shù)據(jù)，但對于輸入數(shù)據(jù)要求較高[9-11]。支持向量回歸（support vector regression，SVR）具有性能優(yōu)良、唯一全局最優(yōu)解、特征輸入不挑剔等優(yōu)點(diǎn)[12-13]。文獻(xiàn)[12]分別采用反向傳播神經(jīng)網(wǎng)絡(luò)、徑向基功能神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)（general regression neural network，GRNN）和SVR預(yù)測某居民住宅區(qū)年電力負(fù)荷。SVR模型存在“核函數(shù)選擇”的問題[14-15]。文獻(xiàn)[16]提出“多核組合模型”思路，并驗(yàn)證了最優(yōu)組合模型預(yù)測效果優(yōu)于單核模型，但僅將單核模型依據(jù)誤差的倒數(shù)進(jìn)行線性組合，效果未達(dá)到全局最優(yōu)。

短期電力負(fù)荷預(yù)測方法一般會忽視特征選擇的重要性，其往往根據(jù)經(jīng)驗(yàn)選擇特征或者使用單一標(biāo)準(zhǔn)進(jìn)行特征選擇，這將造成如下問題。（1）各地用電情況差異性大，受經(jīng)驗(yàn)局限，缺乏可量化比較的選擇標(biāo)準(zhǔn)，易遺漏重要特征；（2）單一標(biāo)準(zhǔn)未必適配所有類型的特征選擇，獲取的“高相關(guān)”特征不僅可信度存疑，還存在特征間“高冗余”問題；（3）常用方法不能有效確定模型維度，導(dǎo)致模型復(fù)雜度偏高或偏低，影響后續(xù)預(yù)測工作。

本文提出基于特征選擇和組合模型的短期電力負(fù)荷預(yù)測方法，對未來24小時電力負(fù)荷進(jìn)行預(yù)測。首先使用分類選擇和貝葉斯信息量準(zhǔn)則（Bayesian information criterion，BIC）確定最優(yōu)特征向量及其維度。然后采用不同核函數(shù)建立單核遞 歸 支 持 向 量 回 歸 模 型（ recursive support vector regression，RSVR），進(jìn)行遞歸預(yù)測。接著運(yùn)用各單核模型的訓(xùn)練輸出構(gòu)建淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行模型組合。最后結(jié)合實(shí)際案例進(jìn)行驗(yàn)證，說明了本文方法具有較高的預(yù)測精度與魯棒性。

1 分類特征選擇方法

本文將特征向量分為外部因素特征向量與延遲負(fù)荷特征向量，使用斯皮爾曼相關(guān)系數(shù)（Spearman's rank-order correlation coefficient，SROCC）與最大相關(guān)最小冗余算法（max-relevance and min-redundancy，mRMR）進(jìn)行類內(nèi)選擇，解決選擇標(biāo)準(zhǔn)單一問題。采用貝葉斯信息量準(zhǔn)則確定最優(yōu)特征向量的維度，在保證預(yù)測精確度的前提下降低模型的復(fù)雜度。

1.1 斯皮爾曼相關(guān)系數(shù)

斯皮爾曼相關(guān)系數(shù)是非參數(shù)指標(biāo)，計算采用的數(shù)據(jù)是“秩”。當(dāng)某外部因素是影響電力負(fù)荷變化的主要特征時，值接近于1，反之接近于0。本文選擇大于等于0.4的相關(guān)特征向量以構(gòu)造外部因素特征向量E。斯皮爾曼相關(guān)系數(shù)表達(dá)式為

式中： ρ 為2組向量間的斯皮爾曼相關(guān)系數(shù)；n為樣本個數(shù)；Ri、Si分別為2組向量的第i個參數(shù)；、分別為2組向量的平均等級。

相關(guān)系數(shù)大小與相關(guān)程度對應(yīng)關(guān)系如表1所示。

表1 系數(shù)的對應(yīng)關(guān)系Table 1 Corresponding relationship of coefficient

1.2 mRMR算法

考慮到預(yù)測日內(nèi)所有時刻負(fù)荷數(shù)據(jù)均未知，且電力負(fù)荷存在一定周期性。設(shè)初始延遲負(fù)荷特征向量為L，t時刻前d小時的負(fù)荷向量為yt?d。延遲負(fù)荷特征向量與負(fù)荷向量的關(guān)系是非線性。特征向量間存在嚴(yán)重的冗余現(xiàn)象。在進(jìn)行類內(nèi)選擇時，不僅要選取“高相關(guān)”，也要做到“低冗余”，mRMR算法最為合適。mRMR算法是利用互信息技術(shù)保證特征向量高相關(guān)、低冗余的重要工具[17]?；バ畔⑦\(yùn)算表達(dá)式為

式中：I(l,y)為延遲負(fù)荷特征向量l和負(fù)荷向量y的互信息值；p(l,y)為向量l和向量y的聯(lián)合概率分布函數(shù)；p(l)、p(y)分別為向量l和向量y的概率分布。

算法步驟如下。（1）將L中的向量l與y進(jìn)行互信息運(yùn)算；（2）選擇取值最大者存入候選延遲負(fù)荷特征向量J作為首項(xiàng)；（3）在剩余向量中進(jìn)行綜合運(yùn)算，將值最大者存入J；（4）重復(fù)上述步驟直至J的維度達(dá)到設(shè)定值Q，輸出J。

綜合運(yùn)算表達(dá)式為式中：li為第i個已存入J的延遲負(fù)荷向量；lj為第j個還未存入J的向量；q為J的維度；為延遲負(fù)荷特征向量與負(fù)荷向量的相關(guān)度；為延遲負(fù)荷特征向量間的冗余度。

1.3 貝葉斯信息量準(zhǔn)則

分類選擇后，獲取綜合特征向量F={E,J}。訓(xùn)練模型時，如果模型維度過大，會導(dǎo)致過擬合、計算資源浪費(fèi)等問題，反之容易欠擬合。BIC是確定模型維度的有效方法，能規(guī)避過擬合的風(fēng)險[18]。BIC運(yùn)算表達(dá)式為

式中：VBIC為模型的BIC值；m為特征維度；nv為驗(yàn)證集樣本個數(shù)；yi為負(fù)荷向量驗(yàn)證集中第i個實(shí)際值；為第i個預(yù)測值。

2 組合模型

2.1 支持向量回歸與遞歸預(yù)測

2.2 模型組合與淺層神經(jīng)網(wǎng)絡(luò)

電力負(fù)荷是非線性復(fù)雜時間序列，即使各單核模型預(yù)測性能都優(yōu)良，在模型組合時也會存在精度提升不顯著的可能。淺層神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力可以自行優(yōu)化組合結(jié)構(gòu)，從而提升預(yù)測準(zhǔn)確度。同時神經(jīng)網(wǎng)絡(luò)的容錯性將提升總體模型的魯棒性[21]。

淺層神經(jīng)網(wǎng)絡(luò)一般由輸入層、單隱義層、輸出層構(gòu)成，神經(jīng)網(wǎng)絡(luò)中不同層的值通過權(quán)值運(yùn)算、激活函數(shù)傳遞給后面的層。神經(jīng)網(wǎng)絡(luò)運(yùn)算表達(dá)式為

式中：a1、a2與 σ1、 σ2分別為隱義層和輸出層的輸出向量和激活函數(shù)；w1、w2與b1、b2分別為隱義層和輸出層的權(quán)值向量和閾值向量；z1、z2分別為通過對應(yīng)激活函數(shù)后的輸入層和隱義層的輸出向量；O為含有3個單核模型預(yù)測輸出結(jié)果o1、o2、o3的輸入向量。

在訓(xùn)練過程中，使用反向傳播和Levenberg-Marquardt優(yōu)化算法[22]對網(wǎng)絡(luò)參數(shù)更新尋優(yōu)。該優(yōu)化算法是介于牛頓法與梯度下降法之間的1種非線性最小化方法，對于過參數(shù)化問題不敏感，能夠有效處理冗余參數(shù)問題，使損失函數(shù)陷入局部極小值的機(jī)會大大減少[23]。損失函數(shù)使用的是均方誤差（mean square error，MSE）。MSE 與平均絕對百分比誤差（mean absolute percentage error，MAPE）作為估量各模型預(yù)測精度的評價標(biāo)準(zhǔn)。其運(yùn)算表達(dá)式為

式中：EMSE、EMAPE分別為模型的預(yù)測均方誤差和平均絕對百分比誤差；T為總時刻數(shù)；yt為時刻t的電力負(fù)荷真實(shí)值；y?t為t時刻的電力負(fù)荷預(yù)測值。

3 實(shí)例分析及仿真實(shí)驗(yàn)對比

3.1 分類特征選擇

從氣象網(wǎng)站上取馬來西亞柔佛州某幾日所有整點(diǎn)時刻的氣象信息，包括紫外線指數(shù)、晴雨情況、風(fēng)速等。利用斯皮爾曼相關(guān)系數(shù)剔除低相關(guān)的特征向量，得到外部因素特征向量E。節(jié)假日數(shù)據(jù)以天為單位，與負(fù)荷向量數(shù)據(jù)粒度不統(tǒng)一，故取日平均負(fù)荷量進(jìn)行相關(guān)性運(yùn)算。外部因素特征向量E如表2所示。

表2 特征向量ETable 2 Feature vectorE

接著使用mRMR算法篩選初始延遲負(fù)荷特征向量L，得到候選延遲負(fù)荷特征向量J，初始維度Q設(shè)定為50。將向量E與向量J相并得到綜合特征向量F。隨后利用3折交叉驗(yàn)證法劃分驗(yàn)證集并使用線性核SVR求得向量F前m個維度的平均BIC值，如圖1所示。

圖1 最優(yōu)特征向量Fm維度與BIC、MAPE關(guān)系Fig.1 Relationship between the dimension of the optimal feature vectorFmand BIC, MAPE

由圖1可知，BIC值在m=33時達(dá)到最小，之后有所上升，而MAPE值在m=23后平穩(wěn)下降，其無法得出最佳模型維度。綜上，BIC比MAPE更適合作為模型維度選擇準(zhǔn)則。

以最小BIC值確定最優(yōu)特征向量Fm及其維度m=33。Fm中外部因素特征分別為紫外線、溫度、濕度、風(fēng)速、整點(diǎn)時刻、日類型、休假信息。延遲負(fù)荷特征分別為待預(yù)測日前168、25、128、144、48、167、72、110、120、26、82、166、96、47、145、159、143、33、73、134、49、165、71、97、153、27個小時的負(fù)荷特征向量。

以往特征選擇方法分為2類：經(jīng)驗(yàn)特征選擇和單一標(biāo)準(zhǔn)特征選擇。在本次對比實(shí)驗(yàn)中，前者直接選擇溫濕度、前3日的延遲負(fù)荷、前1周的延遲負(fù)荷作為輸入特征向量。后者選擇最大互信息系數(shù)（maximal information coefficient，MIC）作為選擇標(biāo)準(zhǔn)。MIC常用于衡量2個隨機(jī)變量之間的非線性關(guān)系，不限定于特定的函數(shù)類型，符合普適性和公正性的要求[24]。使用3折交叉驗(yàn)證法分別求出3類特征選擇方法的模型BIC值和MAPE值，數(shù)據(jù)如表3所示。

表3 各特征選擇方法的驗(yàn)證集誤差Table 3 The errors of validation set by different feature selection methods

從表3中可以看出，本文所提出的分類特征選擇方法的性能優(yōu)于其他方法。相比于MIC單一標(biāo)準(zhǔn)特征選擇，它較好解決了特征向量間冗余、模型維度難以確定等問題。相對于經(jīng)驗(yàn)特征選擇，它不會遺漏重要屬性特征。例如風(fēng)速作為重要天氣因素，能夠改變體感溫度從而間接影響用戶用電行為[25]。

3.2 單核RSVR模型建立

通過分類特征選擇方法獲取最優(yōu)特征向量Fm后，本文使用不同的核函數(shù)訓(xùn)練單核RSVR模型并進(jìn)行遞歸預(yù)測，預(yù)測結(jié)果如表4所示。

表4 單核RSVR的預(yù)測誤差Table 4 The forecasting errors of RSVR models based on different single-kernel

從表4中可以看出，在3個不同的單核模型中，高斯核RSVR模型的預(yù)測性能最優(yōu)，線性核函數(shù)次之，S型核函數(shù)最差。以高斯核模型為例，不采用遞歸預(yù)測時，測試集MSE為1.553 5 GW，MAPE為2.481 9%。采用遞歸預(yù)測后，MSE降為0.474 6 GW，MAPE 降為 1.077 1%，可知引入前一時刻電力負(fù)荷數(shù)據(jù)然后進(jìn)行遞歸預(yù)測的方法可以提升預(yù)測精度。此外，使用MIC特征選擇方法或經(jīng)驗(yàn)特征選擇方法的高斯核模型的預(yù)測性能較差。結(jié)合表3～4可以看出，使用分類特征選擇方法可以有效降低模型預(yù)測誤差。

3.3 模型組合與對比實(shí)驗(yàn)

本文構(gòu)建淺層神經(jīng)網(wǎng)絡(luò)對模型進(jìn)行組合，記為3核遞歸支持向量回歸-神經(jīng)網(wǎng)絡(luò)（recursivesupport vector regression-neural network，RSVR-NN）組合模型。該神經(jīng)網(wǎng)絡(luò)依據(jù)單核模型的訓(xùn)練輸出建立網(wǎng)絡(luò)結(jié)構(gòu)，然后將單核模型的預(yù)測輸出作為自己的預(yù)測輸入，神經(jīng)網(wǎng)絡(luò)的輸出值為最終預(yù)測值。

本文在保證同一最優(yōu)特征向量Fm的前提下，選擇多個主流模型進(jìn)行對比實(shí)驗(yàn)，預(yù)測性能對比情況如表5所示。

表5 對比實(shí)驗(yàn)Table 5 Comparative experiments

本文按照文獻(xiàn)[16]對它提出的方案模型進(jìn)行還原。單核RSVR模型預(yù)測輸出根據(jù)一定比例進(jìn)行線性組合，對應(yīng)比例為各模型訓(xùn)練集均方誤差的倒數(shù)，記為3核RSVR線性組合模型，預(yù)測結(jié)果測試集 MSE 為 0.452 5 GW，MAPE 為 1.003 1%。

從表4～5中可以看出，單核RSVR最優(yōu)模型預(yù)測結(jié)果測試集 MSE為 0.474 6 GW，MAPE為1.077 1%，線性組合模型相比于單核模型性能有所提升，但是提升幅度不大，主要原因是模型根據(jù)誤差倒數(shù)法線性組合的組合方式不一定最優(yōu)。而神經(jīng)網(wǎng)絡(luò)具有優(yōu)秀的自學(xué)習(xí)能力并且具有一定的容錯性，組合方式更優(yōu)，所以3核RSVR-NN組合模型能夠取得較優(yōu)的預(yù)測性能與魯棒性，其測試集MSE為0.227 6 GW，測試集MAPE為0.774 1%。繪制2個組合模型的負(fù)荷預(yù)測曲線，如圖2所示。

圖2 預(yù)測結(jié)果對比Fig.2 Comparison of forecasting results

從圖2可以看出，2種組合方式都能對電力負(fù)荷進(jìn)行較好的預(yù)測，3核RSVR-NN組合模型更勝一籌。尤其是在09:00—12:00及14:00—16:00，它比3核RSVR線性組合模型更貼合負(fù)荷實(shí)際曲線，預(yù)測效果更好。

4 結(jié)語

本文針對特征選擇和多核SVR線性組合問題提出了解決優(yōu)化方案，不僅使模型特征選擇的方法更嚴(yán)謹(jǐn)，能夠得到高相關(guān)低冗余的特征向量，同時保證較低的模型復(fù)雜度，還使用可以進(jìn)行自學(xué)習(xí)的淺層神經(jīng)網(wǎng)絡(luò)作為單核RSVR模型的組合工具，從而替代了采用誤差倒數(shù)法的線性組合方式。整個模型并非各類算法的盲目堆砌。通過實(shí)驗(yàn)對比，3核RSVR-NN組合模型預(yù)測性能不僅優(yōu)于單核模型與其他機(jī)器算法模型，也優(yōu)于3核RSVR線性組合模型。

在后續(xù)的研究工作中，可嘗試多個“混合核函數(shù)”SVR模型組合或者將SVR與其他機(jī)器學(xué)習(xí)算法進(jìn)行組合，進(jìn)一步提升整體負(fù)荷預(yù)測效果。