張斌儒,唐玉萍,胡 蓉

(四川文理學(xué)院數(shù)學(xué)學(xué)院,四川達(dá)州635000)

基于相關(guān)向量機(jī)模型的用電需求預(yù)測(cè)研究
——以北京為例

張斌儒,唐玉萍,胡 蓉

(四川文理學(xué)院數(shù)學(xué)學(xué)院,四川達(dá)州635000)

用電需求的科學(xué)預(yù)測(cè)在能源系統(tǒng)的運(yùn)行、管理與決策中起著重要的作用.針對(duì)用電需求的非線性特征及傳統(tǒng)預(yù)測(cè)技術(shù)的缺陷,引入相關(guān)向量機(jī)構(gòu)建預(yù)測(cè)模型對(duì)北京用電量進(jìn)行預(yù)測(cè).實(shí)證結(jié)果表明,與基準(zhǔn)模型相比,所引入方法能有效提高模型預(yù)測(cè)精度,預(yù)測(cè)結(jié)果可為相關(guān)部門(mén)的決策制定提供必要的參考.

相關(guān)向量機(jī);用電需求;支持向量回歸;預(yù)測(cè)精度

0 引言

電力對(duì)國(guó)民經(jīng)濟(jì)的發(fā)展有著非常重要的影響,對(duì)用電量需求預(yù)測(cè)的精確性能促進(jìn)能源等管理部門(mén)的科學(xué)決策,避免不必要的資源浪費(fèi).然而,已有文獻(xiàn)預(yù)測(cè)集中在以日度或周度為頻率的短期預(yù)測(cè).[1]從管理角度看,更長(zhǎng)時(shí)域的預(yù)測(cè)仍具有重要的現(xiàn)實(shí)意義.由于受經(jīng)濟(jì)發(fā)展的不平衡性等因素的影響,用電需求常表現(xiàn)出明顯的非線性特征,傳統(tǒng)的線性預(yù)測(cè)技術(shù)無(wú)法對(duì)其充分的擬合.因此,有必要開(kāi)發(fā)新的預(yù)測(cè)技術(shù)以更好的模擬用電量需求的特征.

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANN)具備良好的非線性預(yù)測(cè)能力,該技術(shù)已被成功應(yīng)用于短期電力需求預(yù)測(cè).[2－3]研究表明,相對(duì)于基準(zhǔn)模型,ANN能有效提高預(yù)測(cè)精度.然而,該方法易陷入局部最優(yōu)、要求數(shù)據(jù)樣本容量較大以及訓(xùn)練過(guò)程較為復(fù)雜.[4]支持向量回歸(support vector regression,SVR)算法能有效克服ANN的缺陷.[5]比如,應(yīng)劍烈等(2007)提出改進(jìn)的SVR對(duì)電力系統(tǒng)短期負(fù)荷進(jìn)行預(yù)測(cè).[6]研究表明與ANN等方法相比,SVR具有良好的泛化能力,能夠有效解決小樣本非線性預(yù)測(cè)問(wèn)題.但SVR的自由參數(shù)對(duì)預(yù)測(cè)精度影響較大,沒(méi)有統(tǒng)一的方法對(duì)其參數(shù)進(jìn)行優(yōu)化;SVR的核函數(shù)必須滿足Mercer’s條件以及訓(xùn)練過(guò)程較為復(fù)雜等.[5]

為克服SVR模型的局限,Tipping(2001, 2004)分別提出相關(guān)向量機(jī)(Relevance Vector Machine,RVM)及其改進(jìn)的算法,[7－8]該算法的訓(xùn)練是在貝葉斯框架下進(jìn)行,在先驗(yàn)參數(shù)的結(jié)構(gòu)下基于主動(dòng)相關(guān)決策理論來(lái)移除不相關(guān)的點(diǎn),以保證獲得稀疏化的模型.RVM的優(yōu)點(diǎn)是能得到概率輸出,訓(xùn)練過(guò)程簡(jiǎn)單,所選核函數(shù)不必滿足Mercer條件,而且不需要太多的樣本數(shù)據(jù)構(gòu)造模型.該算法在電力預(yù)測(cè)領(lǐng)域應(yīng)用較少,劉遵雄等(2004)利用RVM對(duì)電力負(fù)荷進(jìn)行了實(shí)證研究,[9]取得了較好的預(yù)測(cè)效果,但在用電需求方面的預(yù)測(cè)效力仍需進(jìn)一步檢驗(yàn).

利用2010年1月至2017年2月北京用電量數(shù)據(jù),引入RVM模型對(duì)北京月度用電量進(jìn)行為期12個(gè)月的預(yù)測(cè),SVR以及ANN作為基準(zhǔn)模型用于預(yù)測(cè)對(duì)比.

1 預(yù)測(cè)方法構(gòu)建

1.1 相關(guān)向量機(jī)算法原理

RVM是Tipping在2001年提出的一種稀疏概率模型,[7－8]其基本原理概括如下:

其中w＝[w0,w1,...,wN]Τ表示權(quán)重向量, ε為服從均值為零,方差為σ2的高斯分布,方差由數(shù)據(jù)進(jìn)行估計(jì).Φ為N×(N＋1)矩陣且Φnm＝K(xn,xm－1)表示核函數(shù),Φn1＝1.從(1)式可以看出,模型的輸出可以表示為非線性函數(shù)的加權(quán)組合,且核函數(shù)不必滿足Mercer條件.因此,數(shù)據(jù)集t＝(t1,t2,...,tN)Τ的似然函數(shù)可以表示為:

若不對(duì)權(quán)值進(jìn)行約束,直接求解(2)式可能會(huì)導(dǎo)致模型過(guò)度學(xué)習(xí)問(wèn)題.因此,根據(jù)稀疏貝葉斯方法對(duì)w定義為均值為0的高斯先驗(yàn)分布:

其中,α＝[α0,...,αN]Τ為包含N＋1個(gè)超參數(shù)的超參數(shù)向量,而每個(gè)獨(dú)立超參數(shù)控制權(quán)參數(shù)的先驗(yàn)分布,從而導(dǎo)致RVM預(yù)測(cè)模型的稀疏性.

利用貝葉斯原理求出未知權(quán)參數(shù)向量w的后驗(yàn)分布:

其中,∑＝(σ－2ΦΤΦ＋A)－1和μ＝σ－2∑ΦΤt分別表示后驗(yàn)權(quán)重協(xié)方差矩陣和后驗(yàn)均值,A＝diag(α0,...,αN).

最優(yōu)估計(jì)值αMP可以通過(guò)構(gòu)造如下極大似然估計(jì)的對(duì)數(shù)形式進(jìn)行估計(jì):

然后,最優(yōu)估計(jì)值μMP可以通過(guò)μ＝σ－2∑ ΦΤt獲得.最終,預(yù)測(cè)輸出表達(dá)式為:y＝ΦμMP.

在整個(gè)優(yōu)化算法中,μMP中包含大多數(shù)零元素,而μMP用于對(duì)權(quán)重向量的估計(jì).因此,與SVR算法的支持向量類(lèi)似,被估計(jì)的權(quán)重向量中的非零元素被當(dāng)作相關(guān)向量用于模型的預(yù)測(cè).[7－9]在預(yù)測(cè)表達(dá)式中,核函數(shù)需要用戶自行確定.

1.2 混合核函數(shù)的構(gòu)造與自由參數(shù)的優(yōu)化

由于RVM模型的核函數(shù)不必滿足Mercer定理,因此對(duì)其選擇相對(duì)自由.而混合核函數(shù)的本質(zhì)是將若干個(gè)核函數(shù)進(jìn)行線性組合從而聚合并且反映不同的核函數(shù)的特征性質(zhì).本文將利用高斯徑向基函數(shù)(RBF)以及多項(xiàng)式函數(shù)進(jìn)行線性組合以構(gòu)造RVM類(lèi)預(yù)測(cè)模型的混合核函數(shù):

其中,參數(shù)η∈[0,1]為核函數(shù)的權(quán)重系數(shù).在SVR算法中給定RBF核函數(shù),有三個(gè)自由參數(shù)(和核寬度)需要優(yōu)化,實(shí)質(zhì)上是求解一個(gè)三維優(yōu)化問(wèn)題.而RVM算法中有兩個(gè)參數(shù)δ和η需要優(yōu)化,蝙蝠算法(Bat Algorithm,AB)在對(duì)模型參數(shù)優(yōu)化中表現(xiàn)出實(shí)用性和優(yōu)異性能,[10]能有效避免PSO以及GA等傳統(tǒng)優(yōu)化算法的缺陷,故本文采用BA對(duì)所有預(yù)測(cè)模型的自由參數(shù)進(jìn)行優(yōu)化選擇.

1.3 預(yù)測(cè)程序

根據(jù)RVM以及BA優(yōu)化算法原理,[10]具體預(yù)測(cè)程序概括如下:

步驟1:預(yù)設(shè)參數(shù).在利用BA進(jìn)行參數(shù)優(yōu)化前,需對(duì)該算法本身的一些參數(shù)進(jìn)行預(yù)設(shè).本文運(yùn)用Taguchi法(Ghani,2004)對(duì)BA的參數(shù)進(jìn)行設(shè)置.[11]

步驟2:初始化參數(shù).為了得到最優(yōu)的RVM參數(shù)集,需對(duì)蝙蝠種群進(jìn)行初始化,因?yàn)棣?和超參數(shù)α通過(guò)迭代進(jìn)行計(jì)算,這里也需事對(duì)其初始值設(shè)置.具體而言,RVM的兩個(gè)參數(shù)(δ和η)需要通過(guò)BA進(jìn)行優(yōu)化,因此實(shí)質(zhì)上是求解一個(gè)二維優(yōu)化問(wèn)題.

步驟3:產(chǎn)生新解.蝙蝠將依據(jù)自身所處的位置以及速度迭代進(jìn)行計(jì)算以獲取最優(yōu)的參數(shù).

步驟4:評(píng)估適應(yīng)度.本文采用均方誤差(Mean Square Error,MSE)作為適應(yīng)度函數(shù)以評(píng)估模型的預(yù)測(cè)性能.MSE旨在度量預(yù)測(cè)值與實(shí)際值之間的偏離程度,該值越小,意味著模型預(yù)測(cè)精度越高.

步驟5:停止準(zhǔn)則.步驟3與4循環(huán)迭代進(jìn)行,直到進(jìn)化代數(shù)達(dá)到用戶規(guī)定的值為止,并且在該點(diǎn)適應(yīng)度函數(shù)曲線收斂.此時(shí)得到最優(yōu)的RVM參數(shù)集.

步驟6:獲得模型的最優(yōu)參數(shù)集后,在訓(xùn)練集上訓(xùn)練得到RVM模型,然后在測(cè)試集上進(jìn)行預(yù)測(cè)實(shí)驗(yàn)得到預(yù)測(cè)值.

2 實(shí)證檢驗(yàn)

2.1 數(shù)據(jù)描述與模型輸入集構(gòu)造

作為應(yīng)用,本文以北京為例,對(duì)其月度用電需求進(jìn)行預(yù)測(cè).用電量月度數(shù)據(jù)來(lái)源于金融數(shù)據(jù)庫(kù)萬(wàn)得(Wind)資訊,數(shù)據(jù)收集的時(shí)間跨度為2010年1月至2017年2月.

北京是全國(guó)的政治與文化中心,用電量需求增長(zhǎng)較快且波動(dòng)明顯,是一個(gè)復(fù)雜的非線性系統(tǒng),且受季節(jié)性的影響較大,在每年的7、8月份以及12月到次年的1月出現(xiàn)用電量高峰.因此,本文引入季節(jié)性虛擬變量D以進(jìn)行季節(jié)調(diào)整,當(dāng)某月為用電高峰期時(shí),取值為1,否則為零.由于受經(jīng)濟(jì)一體化以及區(qū)位因素的影響,天津與北京用電需求時(shí)間序列之間具有相似的波動(dòng)特征.交叉相關(guān)分析結(jié)果顯示,北京用電量(yt)與自身12階滯后變量(yt－12)之間的最大相關(guān)系數(shù)為0.9089且顯著,與天津用電量(x)的滯后12期時(shí)間序列(xt－12)之間的最大相關(guān)系數(shù)為0.8470且顯著,因此,它們均被選為預(yù)測(cè)變量.

圖1 各個(gè)變量趨勢(shì)圖

圖1直觀展示了北京用電需求與自身滯后觀測(cè)以及天津用電需求之間的趨勢(shì),可以看出三個(gè)變量之間具有一致的波動(dòng)特征和趨勢(shì)性.因此,本文認(rèn)為所選預(yù)測(cè)變量對(duì)北京用電需求具有很好的預(yù)測(cè)作用.

根據(jù)以上分析,將RVM模型的輸入集表示為:{yt－12,xt－12,D},輸出變量為用電需求yt.基于滯后階數(shù)進(jìn)行對(duì)齊后的實(shí)驗(yàn)數(shù)據(jù)集共74個(gè)數(shù)據(jù)點(diǎn).將實(shí)驗(yàn)數(shù)據(jù)分成訓(xùn)練集(前62個(gè)月)與檢驗(yàn)集(后12個(gè)點(diǎn))兩部分分別用于訓(xùn)練模型和預(yù)測(cè)檢驗(yàn).

2.2 結(jié)果與討論

平均絕對(duì)百分比誤差(Mean Absolute Percentage Error,MAPE)、均方根誤差(Root Mean Square Error,RMSE)和相關(guān)系數(shù)三個(gè)統(tǒng)計(jì)指標(biāo)被用于預(yù)測(cè)性能度量,MAPE和RMSE衡量預(yù)測(cè)值與實(shí)際值之間的偏離程度,該值越小表明預(yù)測(cè)性能越強(qiáng),而R度量實(shí)際值與預(yù)測(cè)值之間的相關(guān)程度,該值越接近1表明模型擬合程度越高.

預(yù)測(cè)之前,需在訓(xùn)練集上獲得最優(yōu)參數(shù)以構(gòu)造預(yù)測(cè)模型.對(duì)RVM模型,核寬度σ和權(quán)重系數(shù)η需要設(shè)置,本文采用BA對(duì)其進(jìn)行優(yōu)化,目標(biāo)是使得適應(yīng)度函數(shù)(均方誤差)值最小.對(duì)SVR模型,仍然使用該優(yōu)化算法對(duì)其參數(shù)進(jìn)行優(yōu)化.RVM的最優(yōu)核寬度σ＝0.770,η＝0.446,相關(guān)向量占訓(xùn)練樣本的比例為15.1%.SVR的三個(gè)最優(yōu)參數(shù)為:C＝28.34,ε＝0.09,σ＝2.07,支持向量占比則為76.2%.可以看出,RVM能提供更稀疏的解.ANN模型的基本結(jié)構(gòu)為:隱藏層數(shù)為1,輸入層節(jié)點(diǎn)為數(shù)目為3,輸出層節(jié)點(diǎn)數(shù)為1.預(yù)測(cè)結(jié)果見(jiàn)表1,其中加黑字體表示與實(shí)際值偏離最小的預(yù)測(cè)值.

表1 不同模型預(yù)測(cè)結(jié)果對(duì)比

表1顯示3個(gè)模型中RVM預(yù)測(cè)結(jié)果最好,最佳預(yù)測(cè)值為6個(gè),而SVR為4個(gè),ANN表現(xiàn)最差,預(yù)測(cè)最佳值僅占1個(gè)月.圖2更為直觀的呈現(xiàn)了三個(gè)預(yù)測(cè)模型的預(yù)測(cè)曲線,可以看出本文所引入的RVM模型具有更強(qiáng)的擬合能力,SVR也具有較強(qiáng)的非線性擬合效果,而ANN的預(yù)測(cè)曲線偏離最大.

基于預(yù)測(cè)結(jié)果的三個(gè)統(tǒng)計(jì)指標(biāo)值見(jiàn)表2.該表顯示,整體而言,對(duì)于三個(gè)統(tǒng)計(jì)指標(biāo),訓(xùn)練集上的值要優(yōu)于測(cè)試集上的值.具體而言,在測(cè)試集上RVM與SVR的值明顯優(yōu)于ANN模型,但RVM表現(xiàn)最好;MAPE和RMSE值意味著RVM的預(yù)測(cè)值與實(shí)際值之間的偏離最小,R值暗示所引入模型的擬合值與實(shí)際值之間具有最大相關(guān)性.因?yàn)镾VR具有良好的小樣本非線性預(yù)測(cè)能力,其預(yù)測(cè)性能僅次于RVM模型,而由于ANN對(duì)樣本容量要求較高,因而預(yù)測(cè)效果相對(duì)較差.最后,運(yùn)用paired－t檢驗(yàn)對(duì)三個(gè)模型的預(yù)測(cè)誤差(相對(duì)誤差)進(jìn)行顯著性檢驗(yàn),結(jié)果顯示RVM與SVR之間的預(yù)測(cè)精度沒(méi)有顯著性差異,但與ANN之間在5%水平具有顯著性差異,這進(jìn)一步驗(yàn)證了所引入預(yù)測(cè)方法的有效性.

圖2 不同模型預(yù)測(cè)曲線對(duì)比

表2 各個(gè)模型在訓(xùn)練集與測(cè)試集上的性能指標(biāo)值對(duì)比

3 結(jié)論與展望

準(zhǔn)確預(yù)測(cè)用電量需求對(duì)能源體系的科學(xué)決策至關(guān)重要.針對(duì)傳統(tǒng)預(yù)測(cè)技術(shù)不適用于小樣本非線性預(yù)測(cè)系統(tǒng),本文引入RVM模型對(duì)北京用電量進(jìn)行了預(yù)測(cè).實(shí)證結(jié)果顯示,與基準(zhǔn)模型SVR以及ANN相比,RVM預(yù)測(cè)精度最高,證實(shí)了RVM為一種有效的預(yù)測(cè)工具.

相對(duì)于基準(zhǔn)模型,RVM算法訓(xùn)練過(guò)程簡(jiǎn)單,適合于小樣本非線性預(yù)測(cè)問(wèn)題.SVM預(yù)測(cè)效果也較為理想,但受限于模型自由參數(shù)的選擇,使得訓(xùn)練過(guò)程較為復(fù)雜.而ANN對(duì)數(shù)據(jù)樣本容量要求較高,訓(xùn)練時(shí)間較長(zhǎng),容易出現(xiàn)過(guò)擬合等現(xiàn)象,這使得預(yù)測(cè)效果相對(duì)較差.本文預(yù)測(cè)方法可擴(kuò)展到其它社會(huì)經(jīng)濟(jì)預(yù)測(cè)領(lǐng)域,比如,可考慮將該方法應(yīng)用于四川省九寨溝景區(qū)并對(duì)其游客流量進(jìn)行預(yù)測(cè)研究.

研究所引入模型的預(yù)測(cè)結(jié)果可為能源體系的運(yùn)行與管理提供必要的參考.探索更具預(yù)測(cè)能力的影響因素作為模型的輸入集以進(jìn)一步提高模型預(yù)測(cè)精度是將來(lái)努力的方向.

[1]McDonald,J R.The forecasting of growth of demand for electrical energy[M].In Modern Power System Planning.Wang X,McDonald JR(eds),McGraw－Hill Book Company:New York,1994:43.

[2]Abdel－Aal,R E.Short－term hourly load forecasting using abductive networks[J].IEEE Transactions on Power Systems,2004(1):164－173.

[3]Darbellay,G A.,Slama M.Forecasting the short－term demand for electricity:Do neural networks stand a better chance[J].International Journal of Forecasting,2000(1):71－83.

[4]Suykens,J A K.Nonlinear modelling and support vector machines[J].In:Proceedings of IEEE Instrumentation and Measurement Technology Confer－ence,2001(2－3):287－294.

[5]Vapnik,V.The nature of statistical learning theory[M].New York:Springer,1995:37－40.

[6]應(yīng)劍烈,華國(guó)棟,劉耀年.基于v－SVR的短期電力負(fù)荷預(yù)測(cè)[J].東北電力大學(xué)學(xué)報(bào),2007(2):43－48.

[7]Tipping M E.Sparse Bayesian learning and the relevance vector machine[J].Mach.Learn.Res.,2001(2):211－244.

[8]Tipping M E.Bayesian inference:An introduction to principles and practice in machine learning[J].Lectures Notes in Computer Science,2004(1):41－62.

[9]劉遵雄,張德運(yùn),孫欽東,徐 征.基于相關(guān)向量機(jī)的電力負(fù)荷中期預(yù)測(cè)[J].西安交通大學(xué)學(xué)報(bào),2004(10):1005－1008.

[10]Zhang B R.,et al.A novel hybrid model for tourist volume forecasting incorporating search engine data[J].Asia Pacific Journal of Tourism Research,2017(3):245－254.

[11]Ghani J.,Choudhury I.,Hassan,H.Application of Taguchi method in the optimization of end milling parameters[J].Journal of Materials Processing Technology,2004(1):84－92.

[責(zé)任編輯 范 藻]

Forecasting Electricity Consumption Demand Based on Relevance Vector Machine: The Case Study of Beijing

ZHANG Binru,TANGYuping,HU Rong
(Mathematics School of Sichuan University of Arts and Sciences,Dazhou Sichuan 635000,China)

Scientific electricity consumption demand forecast plays an important role in the operation,management and decision－making of energy system.In view of the nonlinearity in the electricity consumption demand and some deficiencies of traditional forecast techniques,this study introduce relevance vector machine(RVM)and develop forecastmodel to predict consumption demand in Beijing.With the empirical analysis results suggesting that RVM can effectively improve the prediction accuracy compared to its counterparts including SVR and ANN models.Forecasted results can be referenced by the decision－making of relevant departments.

relevance vectormachine;electricity consumption demand;support vector regression;prediction accuracy

TM715

A

1674－5248(2017)05－0010－05

2017－04－17

四川省教育廳一般項(xiàng)目(17ZB0375);國(guó)家自然科學(xué)基金項(xiàng)目(71373023)

張斌儒(1980—),男,四川南江人.講師,博士研究生,主要從事數(shù)量經(jīng)濟(jì)及旅游經(jīng)濟(jì)研究.