王華勇，楊 超，唐 華

(貴州大學(xué)電氣工程學(xué)院，貴州 貴陽(yáng) 550025)

0 引言

我國(guó)經(jīng)濟(jì)正處于高速發(fā)展階段，負(fù)荷預(yù)測(cè)在電力系統(tǒng)規(guī)劃以及電網(wǎng)可靠、經(jīng)濟(jì)運(yùn)行過(guò)程中發(fā)揮著至關(guān)重要的作用。對(duì)于電網(wǎng)調(diào)度機(jī)構(gòu)而言，負(fù)荷預(yù)測(cè)對(duì)于發(fā)(供)電計(jì)劃的制定、電網(wǎng)的供需平衡以及電力市場(chǎng)的平穩(wěn)運(yùn)行具有十分重要的意義。因此，需要提高負(fù)荷預(yù)測(cè)的精度，進(jìn)而提高電力設(shè)備的利用率、降低電網(wǎng)運(yùn)行風(fēng)險(xiǎn)。由于科學(xué)技術(shù)的進(jìn)步，相應(yīng)的負(fù)荷預(yù)測(cè)理論與技術(shù)得到了飛速的發(fā)展，理論研究逐步深入[1-2]。

近年來(lái)，電力負(fù)荷預(yù)測(cè)理論以及方法不斷出現(xiàn)。人工神經(jīng)網(wǎng)絡(luò)[3]、粒子群算法[4]、小波去噪和決策樹(shù)[5]、支持向量機(jī)[6-7]、時(shí)間序列[8-9]、數(shù)據(jù)挖掘[10]、回歸分析[11-12]、決策樹(shù)和專家系統(tǒng)、模糊理論等方法，為負(fù)荷預(yù)測(cè)提供了理論基礎(chǔ)。但是目前已有的一些方法仍存在較大的局限性。例如：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，因?qū)W習(xí)不足導(dǎo)致的過(guò)擬合現(xiàn)象時(shí)有發(fā)生，且算法收斂速度較慢、較易陷入局部最優(yōu)；時(shí)間序列法的電力負(fù)荷短期預(yù)測(cè)，對(duì)歷史數(shù)據(jù)的準(zhǔn)確性要求較高。隨著時(shí)代的發(fā)展，對(duì)于負(fù)荷的需求越來(lái)越個(gè)性化，但是目前已有的預(yù)測(cè)算法在預(yù)測(cè)速度和預(yù)測(cè)精度上還無(wú)法滿足要求。小數(shù)據(jù)的預(yù)測(cè)采用局部加權(quán)線性回歸，速度快、誤差小。但是當(dāng)數(shù)據(jù)增多時(shí)，這種方法需要為每個(gè)測(cè)試點(diǎn)尋找近鄰，會(huì)加劇運(yùn)算量，造成單機(jī)運(yùn)算時(shí)間成倍增加。因此，如何處理數(shù)據(jù)量大規(guī)模增加時(shí)，預(yù)測(cè)時(shí)間過(guò)長(zhǎng)、預(yù)測(cè)精度不夠的問(wèn)題就顯得尤為重要。

本文以貴州省某區(qū)縣的數(shù)據(jù)為基礎(chǔ)，將基于LightGBM的梯度提升決策樹(shù)(gradient boosting decison tree，GBDT)算法模型運(yùn)用到短期電力負(fù)荷預(yù)測(cè)的研究中。該方法首先需要對(duì)所采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選、分類和整理，然后整理相應(yīng)的特征值，最后對(duì)預(yù)測(cè)數(shù)據(jù)進(jìn)行驗(yàn)證。

1 基于LightGBM改進(jìn)的GBDT

梯度提升決策樹(shù)算法最早是由斯坦福大學(xué)教授Friedman于2001年提出的一種迭代決策樹(shù)算法。該算法利用最速下降法，將損失函數(shù)的負(fù)梯度在當(dāng)前模型的值作為殘差的近似值，然后用殘差近似值擬合出一個(gè)回歸樹(shù)。該算法的決策過(guò)程涉及眾多決策樹(shù)，將所有樹(shù)運(yùn)行得到的結(jié)論進(jìn)行累加進(jìn)而得到最終的結(jié)果。

GBDT算法進(jìn)行訓(xùn)練模型時(shí),不能使用類似于mini-batch的方法，而是需要對(duì)樣本進(jìn)行無(wú)數(shù)次的遍歷。如果想要提高訓(xùn)練的速度，就必須提前把樣本數(shù)據(jù)加載到內(nèi)存中；但這樣會(huì)造成可以輸入的樣本數(shù)據(jù)受限于內(nèi)存的大小。如果想要訓(xùn)練更多的樣本，就必須采用外存版本的決策樹(shù)算法。然而在I/O數(shù)量眾多的情況下，算法運(yùn)行速度仍相對(duì)較慢。為了使GBDT能夠更加高效地使用更多的樣本，學(xué)者開(kāi)始考慮引入分布式GBDT。但是相對(duì)于分布式GBDT，LightGBM更具優(yōu)越性。

1.1 LightGBM簡(jiǎn)介

LightGBM是一個(gè)梯度提升框架，它采用了以學(xué)習(xí)算法為基礎(chǔ)的決策樹(shù)。該框架訓(xùn)練效率更快、使用內(nèi)存更低、準(zhǔn)確率更高。除此之外，它還支持并行學(xué)習(xí)，可以處理規(guī)模龐大的數(shù)據(jù)。

LightGBM是基于兩個(gè)目標(biāo)設(shè)計(jì)的：針對(duì)單個(gè)機(jī)器，力爭(zhēng)在不犧牲數(shù)據(jù)處理速度的前提下，盡可能多地使用數(shù)據(jù)；多機(jī)并行時(shí)，最大限度地減少通信時(shí)間，降低其帶來(lái)的損失，并在計(jì)算上實(shí)現(xiàn)線性加速。

LightGBM采用了histogram決策樹(shù)算法,將樣本中連續(xù)的浮點(diǎn)特征值離散化成K個(gè)整數(shù)，同時(shí)構(gòu)造一個(gè)寬度為K的直方圖。遍歷時(shí)，將離散化后的值作為索引在直方圖中累計(jì)統(tǒng)計(jì)量，然后根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點(diǎn)。這樣可以有效地降低內(nèi)存消耗，同時(shí)達(dá)到降低時(shí)間復(fù)雜度的目的。

LightGBM采用了一種更為高效的葉子生長(zhǎng)策略，即帶深度限制的按葉子生長(zhǎng)策略(Leaf-wise)。該策略在分裂前會(huì)遍歷所有葉子，然后找到分裂增益最大的葉子進(jìn)行分裂，并往復(fù)循環(huán)。在相同的分裂次數(shù)下，Leaf-wise能夠得到更好的精度。同時(shí)，在Leaf-wise中添加了防止過(guò)擬合的最大深度限制。其生長(zhǎng)策略如圖1所示。圖1中：白點(diǎn)表示分裂增益最大的葉子；黑點(diǎn)表示分裂增益不是最大的葉子。

圖1 Leaf-wise葉子生長(zhǎng)策略圖

LightGBM的另一個(gè)優(yōu)化是histogram作差加速。一般情況下，構(gòu)造一個(gè)葉子的直方圖，而且父親節(jié)點(diǎn)和兄弟節(jié)點(diǎn)直方圖的寬度都為K，因此作差過(guò)程中僅需要計(jì)算K次，從而在運(yùn)行速度上得到了很大的提升。

除此之外，LightGBM直接支持類別特征，不需要額外的0/1展開(kāi)。

1.2 改進(jìn)后的GBDT算法流程

(1)對(duì)所有的特征進(jìn)行分桶歸一化。

(2)計(jì)算初始梯度值gm(xi)。

(1)

式中：fm-1(x)設(shè)置為0或隨機(jī)值。

(3)建立樹(shù),直到葉子數(shù)目限制或是所有葉子不能分割。

①計(jì)算直方圖。

式中：hij=(cij,lij)。

②從直方圖中獲得分裂收益，選取最佳分裂特征G、分裂閾值I。

(2)

(3)

③建立根節(jié)點(diǎn)。

s=arg max(Gi) 1≤i≤m

(4)

Node=(s,GS,IS)

(5)

④根據(jù)最佳分裂特征分裂閾值，將樣本切分。

(4)更新樹(shù)的梯度值gm(xi)。

(5)重復(fù)步驟(3)和步驟(4)，直到所有的樹(shù)都建成。

1.3 特征分析

與傳統(tǒng)的GBDT方法相比，本文方法具有分布式運(yùn)行、更快的訓(xùn)練效率、更低的內(nèi)存使用、更好的準(zhǔn)確率等特點(diǎn)。

2 負(fù)荷預(yù)測(cè)試驗(yàn)及結(jié)果分析

2.1 預(yù)測(cè)誤差分析

誤差產(chǎn)生的原因有很多：①數(shù)學(xué)模型的簡(jiǎn)化和忽略各種因素之間的關(guān)系；②歷史數(shù)據(jù)不夠完整；③參數(shù)選取不當(dāng)造成誤差。

2.2 基礎(chǔ)數(shù)據(jù)

本文所采集的數(shù)據(jù)為某省某縣負(fù)荷數(shù)據(jù)以及氣象數(shù)據(jù)，訓(xùn)練采用2015年7月1日至2015年8月18日的用電數(shù)據(jù)，共一千多組，并在此基礎(chǔ)上預(yù)測(cè)2015年8月19日的電力負(fù)荷。在負(fù)荷預(yù)測(cè)中同時(shí)又考慮到溫度、濕度、是否是工作日、上一小時(shí)最大負(fù)荷等特征值對(duì)電力負(fù)荷的影響。

訓(xùn)練所采用的用電數(shù)據(jù)類型為夏季典型日負(fù)荷，負(fù)荷曲線如圖2所示。

圖2 夏季典型日負(fù)荷曲線

由圖2可以看出，負(fù)荷在5點(diǎn)左右達(dá)到全天最低值，然后負(fù)荷開(kāi)始向上攀升到9點(diǎn)左右后，負(fù)荷緩慢上升到11點(diǎn)左右；隨后開(kāi)始下降到13點(diǎn)左右到達(dá)一個(gè)低谷，并在緩慢上升到21點(diǎn)左右達(dá)到峰值后下降。由此可見(jiàn)，該曲線在中午和晚上各出現(xiàn)一次峰值。

3 結(jié)果分析

通過(guò)對(duì)改進(jìn)前后的GBDT算法進(jìn)行訓(xùn)練，可以得到如圖3所示的日負(fù)荷預(yù)測(cè)對(duì)比曲線。

圖3 日負(fù)荷預(yù)測(cè)對(duì)比曲線

從圖3可以看出：在3點(diǎn)到6點(diǎn)這一時(shí)間段，未改進(jìn)的算法預(yù)測(cè)值略優(yōu)于改進(jìn)后的算法；在6點(diǎn)到9點(diǎn)這一時(shí)間段，兩者的預(yù)測(cè)值精度都比較好；但是9點(diǎn)以后，可以很明顯地看出改進(jìn)算法預(yù)測(cè)精度的優(yōu)勢(shì)。此外，改進(jìn)算法的運(yùn)行時(shí)間為13.12 s，傳統(tǒng)算法的運(yùn)行時(shí)間為14.28 s。因此，相較于傳統(tǒng)算法，改進(jìn)算法的運(yùn)行速度得到了提高。

4 結(jié)束語(yǔ)

在采用histogram決策樹(shù)算法和帶深度限制的按葉子生長(zhǎng)策略的基礎(chǔ)上，運(yùn)用LightGBM梯度提升框架對(duì)GBDT算法進(jìn)行了改進(jìn)，將其應(yīng)用于短期負(fù)荷預(yù)測(cè)。然后，對(duì)一千多組的數(shù)據(jù)進(jìn)行了訓(xùn)練，得到了 GBDT算法以及基于LightGBM改進(jìn)的GBDT算法的負(fù)荷預(yù)測(cè)值。對(duì)兩者的負(fù)荷預(yù)測(cè)值的對(duì)比分析表明，相較于未改進(jìn)的GBDT算法，改進(jìn)后的算法在預(yù)測(cè)精度和運(yùn)行速度上都有了相應(yīng)的提高。訓(xùn)練結(jié)果表明，所提方法不僅可以提升計(jì)算效率，還可以提升負(fù)荷預(yù)測(cè)精度。除此之外，基于LightGBM的改進(jìn)GBDT算法在數(shù)據(jù)挖掘領(lǐng)域也有良好的應(yīng)用前景。