張俊瑋 史文彬 歐家祥 丁 超

（1.貴州電網(wǎng)有限責(zé)任公司電力科學(xué)研究院 貴陽 550002）（2.上海電力學(xué)院 上海 200090）

1 引言

邊際電價［1］不僅僅是聯(lián)系電力市場中三大實體即發(fā)電企業(yè)、電力市場監(jiān)管者、用電方的經(jīng)濟(jì)紐帶，也是影響發(fā)電企業(yè)、用電方經(jīng)濟(jì)利益的重要因子［2］。

傳統(tǒng)的電價預(yù)測算法［3］大致有基于人工神經(jīng)網(wǎng)絡(luò)的短期電價預(yù)測，基于回歸分析法的短期電價預(yù)測，基于時間序列法的短期電價預(yù)測以及基于數(shù)學(xué)仿真法的短期電價預(yù)測。單一的預(yù)測算法存在泛化能力差，容易陷入局部最小值點等缺點。相對單一的預(yù)測算法，基于AdaBoost［4］的集成學(xué)習(xí)算法把決策樹（C4.5［5］和CART［6］）和神經(jīng)網(wǎng)絡(luò)（線性神經(jīng)網(wǎng)絡(luò)［7］和BP神經(jīng)網(wǎng)絡(luò)［8］）兩組學(xué)習(xí)器的學(xué)習(xí)結(jié)果進(jìn)行兩兩組合，這幾種集成學(xué)習(xí)［9］算法比單一預(yù)測算法擁有更顯著的泛化能力［10］。本文首先對數(shù)據(jù)進(jìn)行了預(yù)處理：缺失值處理、異常值處理、數(shù)據(jù)變換，然后采用基于AdaBoost的集成學(xué)習(xí)算法對訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，得到回歸模型，采用測試數(shù)據(jù)集在回歸模型上進(jìn)行預(yù)測?；贏daBoost的短期邊際電價預(yù)測集成學(xué)習(xí)算法給每個子樣本集中樣本分配初始權(quán)重，并在訓(xùn)練過程中不斷調(diào)整樣本權(quán)重，考慮到了樣本之間的差異性。經(jīng)實驗數(shù)據(jù)分析，Ada?Boost算法在短期邊際電價的預(yù)測中擁有較高的精確度。

2 預(yù)測模型

2.1 C4.5算法

C4.5決策樹使用信息增益率［11］來選擇節(jié)點屬性，C4.5既能夠處理離散型屬性［12］也能夠處理連續(xù)型屬性。C4.5的缺點是在構(gòu)造樹的過程中，需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，導(dǎo)致算法的效率比較低。

2.2 CART算法

CART（Classification And Regression Tree）算法即分類回歸樹算法，是決策樹的一種實現(xiàn)。CART采用一種二分遞歸分割技術(shù)［13］，把當(dāng)前樣本劃分為兩個子樣本，這樣生成非葉節(jié)點時就都會有兩個分支，所以CART算法生成的決策樹是結(jié)構(gòu)簡介的二叉樹［14］。

2.3 線性神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元模型。線性神經(jīng)網(wǎng)絡(luò)［15］是最簡單的一種神經(jīng)元網(wǎng)絡(luò)，有一個或者多個線性神經(jīng)元構(gòu)成。線性神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)是線性函數(shù)［16］，在收斂精度和速度上相比于感知器有了很大改進(jìn)，但是由于其線性運算規(guī)則的局限性，只能解決線性可分的問題［17］。圖1是線性神經(jīng)網(wǎng)絡(luò)的一個簡單模型。

圖1 線性神經(jīng)網(wǎng)絡(luò)的一個簡單模型

2.4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型

BP神經(jīng)網(wǎng)絡(luò)運用后向反饋（Back Propaga?tion）。其網(wǎng)絡(luò)絡(luò)結(jié)構(gòu)包括輸入層、隱含層、輸出層3層，如圖2所示。由圖2可清楚地看到BP網(wǎng)絡(luò)目標(biāo)信號和網(wǎng)絡(luò)輸出之間誤差?s的反向傳播。

單一的BP神經(jīng)網(wǎng)絡(luò)存在一些問題：算法的學(xué)習(xí)收斂速度慢；易陷入局部最優(yōu)值；隱含層節(jié)點數(shù)的選取往往憑借經(jīng)驗，進(jìn)一步影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)；網(wǎng)絡(luò)參數(shù)（權(quán)值、闕值）確定一般未能達(dá)到最佳。

圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3 AdaBoost算法

AdaBoost是adaptive boosting的縮寫，運行機(jī)制如下：給初始樣本訓(xùn)練集中每個樣本賦予一個權(quán)重，一開始這些權(quán)重都相等，這些權(quán)重構(gòu)成了向量D。先用初始訓(xùn)練集訓(xùn)練出一個基學(xué)習(xí)器，根據(jù)這個訓(xùn)練出的基學(xué)習(xí)器的表現(xiàn)對訓(xùn)練樣本集進(jìn)行調(diào)整，增加錯樣本的權(quán)重減少正確樣本的權(quán)重，使先前訓(xùn)練過程中的錯訓(xùn)練樣本在后續(xù)訓(xùn)練中受到更多的關(guān)注，然后使用調(diào)整后的樣本分布來訓(xùn)練下一個基學(xué)習(xí)器。重復(fù)進(jìn)行上面的過程，直到基學(xué)習(xí)器的數(shù)目達(dá)到預(yù)定的值T，最后將這T個基學(xué)習(xí)器進(jìn)行加權(quán)融合，產(chǎn)生一個最后結(jié)果的學(xué)習(xí)器。

3.1 AdaBoost基礎(chǔ)模型

本文采用了一種基于AdaBoost算法框架的集成學(xué)習(xí)算法來對短期邊際電價進(jìn)行預(yù)測。在該算法中，有四個基學(xué)習(xí)器：C4.5決策樹、CART決策樹、線性神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)。

決策樹是一個自上而下生成的過程，每個內(nèi)部節(jié)點都各自擁有對應(yīng)這一條分枝解答方案，這個解答方案中包括了該節(jié)點的屬性和判斷規(guī)則。最后每個葉節(jié)點都會對應(yīng)一個分類。一條由根節(jié)點到葉節(jié)點的路徑可以解釋出某一個分類的形成規(guī)則，所以使用決策樹可以很容易地生成規(guī)則，規(guī)則很容易解讀。神經(jīng)網(wǎng)絡(luò)是“向后傳播分類法”。一個神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元分為輸入和輸出兩種功能，其中每個連接都與一個權(quán)重相關(guān)聯(lián)。神經(jīng)網(wǎng)絡(luò)是以分類樹的形式創(chuàng)建層次聚類。有別于決策樹，神經(jīng)網(wǎng)絡(luò)的聚類方法將每個數(shù)據(jù)簇描述為一個樣本。樣本充當(dāng)了簇的“原型”，這里不一定是對應(yīng)一個特定的數(shù)據(jù)實例或者對象。神經(jīng)網(wǎng)絡(luò)的分類樹不同于決策樹。它的每個節(jié)點應(yīng)對一個概念，包含了該概念的概率描述，匯總分類在該節(jié)點下的對象。由于以上的對比，所以AdaBoost的弱學(xué)器選擇了差異較為對稱的決策樹和神經(jīng)網(wǎng)絡(luò)。因為預(yù)測模型的結(jié)果是連續(xù)形數(shù)據(jù)所以決策樹選用了C4.5和CART算法。

四種基學(xué)習(xí)器進(jìn)行兩兩組合分別產(chǎn)生：

1）基于C4.5和線性神經(jīng)網(wǎng)絡(luò)的AdaBoost算法；

2）基于C4.5和線性神經(jīng)網(wǎng)絡(luò)的AdaBoost算法；

3）基于CART和BP神經(jīng)網(wǎng)絡(luò)的AdaBoost算法；

4）基于CART和BP神經(jīng)網(wǎng)絡(luò)的AdaBoost算法。

基于AdaBoost的短期邊際電價預(yù)測模型流程圖如圖3所示。

圖3 基于AdaBoost的短期邊際電價預(yù)測模型流程圖

3.2 訓(xùn)練流程

使用訓(xùn)練數(shù)據(jù)集對基于AdaBoost的集成學(xué)習(xí)算法來進(jìn)行訓(xùn)練的過程如下：

1）根據(jù)季節(jié)的不同將原始樣本集拆分為2個訓(xùn)練樣本集，同時初始化每個樣本集中單個樣本的權(quán)重。初始化公式為

式中，i為某個樣本；n為該樣本所屬樣本集的樣本容量。

2）分別針對這兩個樣本集每個樣本集構(gòu)建一個基學(xué)習(xí)算法，本文選擇的四個基學(xué)習(xí)算法分別是C4.5決策樹，CART決策樹，線性神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)，每種預(yù)測模型分別從決策樹和神經(jīng)網(wǎng)絡(luò)中各選擇一種。由于算法的功能相似，可以將每個算法用公式描述為

式中，wi為第i個樣本集中樣本權(quán)重分布向量。

3）用選擇的兩個基算法分別對兩個訓(xùn)練集進(jìn)行訓(xùn)練，生成了兩個子模型。對生成的子模型利用測試數(shù)據(jù)及來計算誤差進(jìn)行評估。誤差函數(shù)的數(shù)學(xué)描述為

式中，yi為實際值；nj為樣本集的樣本容量。

4）根據(jù)式（3）中計算出的結(jié)果Ej重新計算各個基算法的權(quán)重，各基算法的權(quán)重重新分配的計算公式如下：

如果迭代沒有達(dá)到一定的次數(shù)即迭代的最大上限或者沒有滿足驗證條件：

式中，ξ為誤差的期望值。那么調(diào)整各子訓(xùn)練中每個樣本的權(quán)重，并返回步驟3）。否則，退出整個流程。調(diào)整公式為

其中，Kj是歸一化系數(shù)，用于使W'i服從正態(tài)分布。

3.3 預(yù)測流程

首先對數(shù)據(jù)進(jìn)行了處理，在預(yù)測的過程中使用測試數(shù)據(jù)集，通過使用訓(xùn)練樣本集訓(xùn)練好的基于AdaBoost的邊際電價預(yù)測模型來預(yù)測未來1天48點的邊際電價。同樣地，預(yù)測樣本中的溫度輸入使用未來NWP數(shù)值天氣預(yù)報數(shù)據(jù)來替代預(yù)測日的實際溫度數(shù)值，而預(yù)測日系統(tǒng)負(fù)荷也由電力市場中的預(yù)測負(fù)荷來替代實際系統(tǒng)負(fù)荷，這種機(jī)制會產(chǎn)生一定誤差。

4 算例實證分析與模型檢驗

4.1 數(shù)據(jù)預(yù)處理

電價數(shù)據(jù)一般情況下都是比較平穩(wěn)的。對邊際電價影響較大的因子有當(dāng)天的系統(tǒng)負(fù)荷、近期歷史電價、氣候變化、季節(jié)變化、節(jié)假日政治活動等。在節(jié)假日，由于系統(tǒng)的負(fù)荷與平常日有明顯的差異性，為了簡化模型，節(jié)假日因素的影響可以通過當(dāng)日系統(tǒng)負(fù)荷值的整體水平體現(xiàn)。最終選擇的影響因素為歷史邊際電價、負(fù)荷和溫度。本文使用美國電力市場的歷史數(shù)據(jù)，數(shù)據(jù)的采集頻率是0.5h。本文主要選取三大類屬性一共17個分量：負(fù)荷類屬性、歷史邊際電價屬性和溫度屬性。

由于溫度在一定范圍內(nèi)變化對邊際電價的影響是相似的，所以處理溫度屬性時，可以對溫度進(jìn)行分段處理。短期邊際電價預(yù)測結(jié)果的評價指標(biāo)使用平均絕對百分比誤差（mean absolute percent?age error，MAPE），其數(shù)學(xué)計算公式為

式中Yt為預(yù)測值；yt為真實值；n為預(yù)測點的個數(shù)。

在短期邊際電價預(yù)測中，MAPE值的大小與預(yù)測準(zhǔn)確的成正比，MAPE值越大，預(yù)測越準(zhǔn)確。

4.2 AdaBoost的短期邊際電價預(yù)測

基于AdaBoost的短期邊際電價預(yù)測模型的核心部分是兩類權(quán)重的調(diào)整：子訓(xùn)練集中各樣本的權(quán)重和使用的各基學(xué)習(xí)算法的權(quán)重，該算法集成了決策樹（C4.5、CART）和神經(jīng)網(wǎng)絡(luò)（線性神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)），每一AdaBoost算法中包含決策樹和神經(jīng)網(wǎng)絡(luò)中的一種。

表2 四種AdaBoost模型訓(xùn)練參數(shù)

表2是四種不同AdaBoost模型的訓(xùn)練參數(shù)，現(xiàn)將輸入數(shù)據(jù)分別輸入到參數(shù)設(shè)定好的的四種模型中，計算模型的輸出值并對其進(jìn)行適當(dāng)處理。

圖4 不同AdaBoost預(yù)測模型的計算結(jié)果對比

圖4 是四種基于不同基學(xué)習(xí)器的AdaBoost算法分別對8月20號的邊際電價進(jìn)行了預(yù)測，通過對預(yù)測結(jié)果進(jìn)行比較分析來評估基于AdaBoost的短期邊際電價預(yù)測模型的性能，可以看出四種算法預(yù)測的趨勢與實際值趨勢契合度很高。

基于CART的AdaBoost預(yù)測模型在前期比基于C4.5的預(yù)測模型要穩(wěn)定。基于學(xué)習(xí)器CART在做回歸預(yù)測上要優(yōu)于C4.5，具有較好的泛化性?；诰€性神經(jīng)網(wǎng)絡(luò)的AdaBoost預(yù)測模型在中后期有較大的波動，更容易陷入局部最優(yōu)，而基于BP的AdaBoost預(yù)測模型在后期擬合精度較高，總體來說基于CART和BP的AdaBoost學(xué)習(xí)算法的預(yù)測誤差最小。

在這C4.5、CART、線性神經(jīng)網(wǎng)絡(luò)和BP幾種基學(xué)習(xí)器中，BP神經(jīng)網(wǎng)絡(luò)的表現(xiàn)都要比前三種優(yōu)秀。為了進(jìn)行充分比較，實驗使用相對誤差最小的預(yù)測模型（基于CART和BP的AdaBoost模型）與BP神經(jīng)網(wǎng)絡(luò)、標(biāo)準(zhǔn)支持向量機(jī)分別對8月20日的邊際電價再次進(jìn)行了預(yù)測，通過對預(yù)測結(jié)果進(jìn)行比較分析來評估基于AdaBoost的短期邊際電價預(yù)測模型的性能。其中，SVM采用了高斯核函數(shù)：

表3 實驗中各模型訓(xùn)練參數(shù)

表3是各模型的訓(xùn)練參數(shù)，現(xiàn)將輸入數(shù)據(jù)分別輸入到參數(shù)設(shè)定好的的三種模型中，計算模型的輸出值并對其進(jìn)行適當(dāng)處理。

圖5 三種預(yù)測模型與實際值的對比

圖5 是實際值與采用基于CART和BP的Ada?Boost算法與BP神經(jīng)網(wǎng)絡(luò)和SVM算法分別進(jìn)行的8月20日48點短期邊際電價預(yù)測結(jié)果的對比圖?？梢钥闯鋈N算法預(yù)測的趨勢與實際值趨勢契合度很高。BP神經(jīng)網(wǎng)絡(luò)的誤差相對更大，在特別是在峰值電價的預(yù)測區(qū)域更加明顯，基于CART和BP的AdaBoost學(xué)習(xí)算法的預(yù)測誤差最小。結(jié)果從實證上說明了AdaBoost能夠很好地在基學(xué)習(xí)器預(yù)測結(jié)果的基礎(chǔ)上通過權(quán)重調(diào)整進(jìn)行有效的優(yōu)化，使得預(yù)測的最終結(jié)果更加接近實際值。

圖6 三種算法的平均絕對百分比誤差

圖6 對比了三種算法的在預(yù)測的48點每一個點上的絕對誤差百分比，從圖中能更加直觀地看到三種算法在48點預(yù)測值的誤差百分比曲線。BP神經(jīng)網(wǎng)絡(luò)在大部分預(yù)測點上的誤差都要明顯高于另外兩個算法。SVM算法的預(yù)測結(jié)果誤差百分比介于兩者之間，而且SVM算法主要是因為個別點的誤差過大導(dǎo)致了算法泛化能力低。而本文提出的基于AdaBoost的集成學(xué)習(xí)算法基本上在每個點的絕對誤差百分比都小于5%，波動相對較小，說明這種集成學(xué)習(xí)算法具有更高的泛化能力。

以上的實驗結(jié)果說明：

1）在一天的48點邊際電價值中，某些時刻電價變化比較劇烈，這種現(xiàn)象也說明了影響電價變化的因素眾多，電價預(yù)測的難度比較大；

2）SVM算法和BP神經(jīng)網(wǎng)絡(luò)受到經(jīng)驗性訓(xùn)練參數(shù)設(shè)置的影響，預(yù)測的精度相對較低，而且出現(xiàn)個別點的誤差明顯偏大，泛化能力較弱。

3）常用的兩種預(yù)測算法在預(yù)測過程誤差普遍比基于AdaBoost的集成學(xué)習(xí)算法要大，泛化能力不如集成學(xué)習(xí)算法。集成學(xué)習(xí)的強(qiáng)泛化能力在誤差計算上體現(xiàn)在誤差受整體誤差的影響比較大且整體誤差比較穩(wěn)定。

5 結(jié)語

本文將提出一種基于AdaBoost的短期邊際電價預(yù)測集成學(xué)習(xí)算法并通過實驗論證了模型的可用性。最后通過實驗分析了AdaBoost算法在短期邊際電價預(yù)測中的表現(xiàn)，主要評價指標(biāo)為平均絕對百分比誤差，橫向?qū)Ρ攘瞬捎貌煌鶎W(xué)習(xí)器的Ada?Boost算法的性能，基于CART和BP的AdaBoost模型要優(yōu)于其他三種模型。縱向?qū)Ρ攘思蓪W(xué)習(xí)算法和SVM算法以及單一BP神經(jīng)網(wǎng)絡(luò)算法預(yù)測結(jié)果的精確度，驗證了集成學(xué)習(xí)能夠提高預(yù)測準(zhǔn)確度，并且提升算法的泛化能力。

相對于傳統(tǒng)的短期負(fù)荷預(yù)測模型，神經(jīng)網(wǎng)絡(luò)在做回歸預(yù)測上擬合能力強(qiáng)，但容易陷于局部最優(yōu)，不具備較強(qiáng)的泛化能力，決策樹擁有較強(qiáng)的泛化能力，但是在單個場景的預(yù)測精度不如神經(jīng)網(wǎng)絡(luò)。本文基于AdaBoost模型的短期邊際電價集合了決策樹泛化能力強(qiáng)和神經(jīng)網(wǎng)絡(luò)擬合能力強(qiáng)的優(yōu)勢，通過決策樹先學(xué)習(xí)樣本，再通過神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)決策樹錯誤樣本，從而達(dá)到同時提高預(yù)測模型泛化能力和擬合精度的目的。