趙俊梅， 張利平， 劉 丹， 任一峰

(中北大學(xué) 電氣與控制工程學(xué)院， 山西 太原 030051)

0 引 言

隨著物聯(lián)網(wǎng)、 大數(shù)據(jù)、 機(jī)器學(xué)習(xí)、 云計(jì)算等新型技術(shù)與電力系統(tǒng)的交叉融合， 可以更好地保障電力系統(tǒng)的安全運(yùn)行、 資源優(yōu)化配置、 產(chǎn)業(yè)和能源結(jié)構(gòu)優(yōu)化、 電力用戶需求響應(yīng). 電力大數(shù)據(jù)的合理分析和精準(zhǔn)預(yù)測(cè)對(duì)于電網(wǎng)系統(tǒng)的安全性、 經(jīng)濟(jì)性、 環(huán)保性、 穩(wěn)定性和預(yù)見(jiàn)性具有非常重要而深遠(yuǎn)的意義. 電力大數(shù)據(jù)預(yù)測(cè)是電力行業(yè)研究的重要課題之一， 通過(guò)對(duì)海量的電力歷史數(shù)據(jù)進(jìn)行探索和分析， 不斷尋找巨大數(shù)據(jù)變化和各種因素之間的內(nèi)在規(guī)律， 可對(duì)未來(lái)進(jìn)行預(yù)測(cè)和估計(jì). 科學(xué)合理的數(shù)據(jù)分析和準(zhǔn)確預(yù)測(cè)， 對(duì)于電力行業(yè)的發(fā)展戰(zhàn)略、 運(yùn)營(yíng)穩(wěn)步提升、 資源能源配置、 用戶用電行為等均具有重要作用.

聚焦電力大數(shù)據(jù)分析和價(jià)值挖掘， 可以強(qiáng)化“電力看經(jīng)濟(jì)”“電力看環(huán)保”“電力看智慧”等社會(huì)服務(wù)能力， 助力國(guó)家遏制高耗能、 高排放、 低水平項(xiàng)目盲目發(fā)展， 朝著節(jié)約用電、 高效用電、 綠色用電的方向發(fā)展. 功率因數(shù)是電力系統(tǒng)中交流電路的重要參數(shù)之一， 它是衡量電氣設(shè)備效率高低的重要標(biāo)準(zhǔn)和電力系統(tǒng)是否經(jīng)濟(jì)運(yùn)行的重要指標(biāo). 隨著光伏、 風(fēng)電等新能源并網(wǎng)， 也給功率因數(shù)帶來(lái)了影響. 文獻(xiàn)[1-2]研究了光伏和風(fēng)電對(duì)功率因數(shù)的影響. 文獻(xiàn)[3]對(duì)無(wú)功負(fù)荷進(jìn)行了分析和預(yù)測(cè). 文獻(xiàn)[4]研究了光伏發(fā)電的不確定性， 對(duì)電網(wǎng)質(zhì)量帶來(lái)的影響進(jìn)行了分析. 文獻(xiàn)[5]介紹了風(fēng)電的間歇性和隨機(jī)性， 給電網(wǎng)安全管理帶來(lái)了挑戰(zhàn). 文獻(xiàn)[6]利用回歸模型預(yù)測(cè)功率因數(shù)， 重點(diǎn)針對(duì)電價(jià)的影響. 本文利用機(jī)器學(xué)習(xí)算法對(duì)發(fā)電廠的功率因數(shù)等數(shù)據(jù)進(jìn)行回歸分析和科學(xué)預(yù)測(cè)， 進(jìn)而提高能源利用率.

1 支持向量機(jī)回歸

支持向量機(jī)回歸(Support Vector Machine Regression， SVMR)算法可以歸結(jié)為求解一個(gè)凸二次規(guī)劃問(wèn)題， 理論上將獲得全局最優(yōu)解， 算法非常巧妙地解決了維數(shù)問(wèn)題， 算法的復(fù)雜度與樣本維數(shù)沒(méi)有關(guān)系， 它是根據(jù)訓(xùn)練樣本數(shù)據(jù)構(gòu)造回歸函數(shù)， 無(wú)需熟知回歸函數(shù)結(jié)構(gòu)的先驗(yàn)信息， 便可保證回歸有較好的推廣能力. 部分回歸問(wèn)題無(wú)法使用線性模型進(jìn)行充分描述， 可利用拉格朗日對(duì)偶公式擴(kuò)展到非線性函數(shù)[7-8]. 利用式(1)查找非線性回歸需要的最小化系數(shù)

(1)

滿足約束條件

式中：C為懲罰因子， 一般為正.

預(yù)測(cè)函數(shù)為

(2)

式中：b為偏差量.

Karush-Kuhn-Tucker (KKT)互補(bǔ)條件為

?n：αn(ε+ξn-yn+f(xn))=0,

?n：ξn(C-αn)=0,

(3)

2 高斯過(guò)程回歸

高斯過(guò)程是正態(tài)隨機(jī)過(guò)程， 是一種基于貝葉斯理論和統(tǒng)計(jì)學(xué)習(xí)理論的核學(xué)習(xí)機(jī)， 其模型是非參數(shù)的基于核的概率模型[9].

訓(xùn)練集為T(mén)={(xi,yi)；i=1,2,…,n}, 式中xi∈Rd，yi∈R. 線性模型如下

y=xTβ+ε，ε=N(0,σ2),

(4)

式中：β為系數(shù)；ε為服從均值為0、 方差為σ2的噪聲.

高斯過(guò)程回歸(Gaussian Process Regression， GPR)是一組隨機(jī)變量， 任意二者之間具有聯(lián)合高斯分布[10]， 潛在變量f(xi),i=1,2,…,n， 如果f(xi),x∈Rd， 則潛在變量f(x1)，f(x2),…，f(xn)是聯(lián)合高斯分布.響應(yīng)變量可以創(chuàng)建以下模型

(5)

式中：h(x)為基函數(shù)；β為基函數(shù)系數(shù).

由于高斯過(guò)程回歸模型是一個(gè)概率模型， 故存在一個(gè)潛在變量對(duì)應(yīng)一個(gè)觀察值， 進(jìn)而使高斯過(guò)程回歸為非參數(shù)模型.

模型相當(dāng)于

P(y|f,X)～N(y|Hβ+f,σ2I),

(6)

3 CART決策回歸樹(shù)算法

分類與回歸樹(shù)(Classification and Regression Tree， CART)算法是通過(guò)由測(cè)試變量和目標(biāo)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集的循環(huán)分析而形成二叉樹(shù)的結(jié)構(gòu)[11]. 由CART算法生成一棵深度的決策樹(shù)， 利用貪心策略來(lái)搜索近似最優(yōu)均方誤差[12]. 節(jié)點(diǎn)分割的主要步驟如下：

3) 接著按照升序?qū)︻A(yù)測(cè)值xi進(jìn)行排序.分類回歸預(yù)測(cè)器的每個(gè)元素都是分裂候選、 切割點(diǎn).算法記錄與未分裂集合TU中的缺失值相對(duì)應(yīng)的所有索引.

4) 通過(guò)最大化所有分裂候選的均方誤差的減少來(lái)確定使用xi分裂節(jié)點(diǎn)t的最佳方式.決策樹(shù)將節(jié)點(diǎn)t中的觀察結(jié)果分成左右兩個(gè)子節(jié)點(diǎn).

5) 在最大化均方誤差減少的切割點(diǎn)分割預(yù)測(cè)變量.

回歸樹(shù)通過(guò)使用均方誤差(MSE)對(duì)葉子進(jìn)行修剪， 算法合并來(lái)自相同父節(jié)點(diǎn)的葉子， 此父節(jié)點(diǎn)的MSE最多是其兩個(gè)子節(jié)點(diǎn)的MSE之和. 回歸樹(shù)拆分當(dāng)前層的所有節(jié)點(diǎn)， 然后統(tǒng)計(jì)分支節(jié)點(diǎn)的數(shù)量.

4 超參數(shù)優(yōu)化

在機(jī)器學(xué)習(xí)選擇模型的過(guò)程中， 需要通過(guò)靈活調(diào)整超參數(shù)進(jìn)而改變模型復(fù)雜度， 挑選出其中最優(yōu)的超參數(shù)組合， 使模型具有更好的學(xué)習(xí)效果和性能.

超參數(shù)優(yōu)化(Hyperparameter Optimization， HO)可大大提高模型在獨(dú)立數(shù)據(jù)集上的優(yōu)勢(shì)和性能， 通過(guò)超參數(shù)的不同組合， 最終最小化模型均方誤差. 一般使用交叉驗(yàn)證來(lái)評(píng)估不同超參數(shù)下的模型泛化性能， 故常常采用超參數(shù)空間中交叉驗(yàn)證值最優(yōu)的超參數(shù)作為最優(yōu)超參數(shù)， 模型構(gòu)建的參數(shù)一般都可以采用此方式進(jìn)行優(yōu)化[13]. 通常， 選取最小化五倍交叉驗(yàn)證. 但是， 在優(yōu)化過(guò)程中， 通過(guò)超參數(shù)優(yōu)化需要防止過(guò)度擬合.

支持向量機(jī)回歸可以對(duì)核函數(shù)、 框約束、 內(nèi)核規(guī)模等參數(shù)進(jìn)行優(yōu)化. 核函數(shù)決定在訓(xùn)練SVM之前應(yīng)用于數(shù)據(jù)的非線性變換， 一般可以選擇高斯或者徑向基函數(shù). 框約束控制著對(duì)具有較大殘差的觀測(cè)值施加的懲罰， 約束值越大模型更靈活. 反之， 約束值越小， 模型越剛性， 對(duì)過(guò)度擬合越不敏感. 內(nèi)核規(guī)?？梢钥刂坪税l(fā)生顯著變化的預(yù)測(cè)因子的比例， 較小的內(nèi)核規(guī)模提供了更靈活的模型. 高斯過(guò)程回歸可以對(duì)基函數(shù)、 核函數(shù)、 內(nèi)核規(guī)模、 Sigma等參數(shù)進(jìn)行優(yōu)化. 基函數(shù)指定高斯過(guò)程回歸模型的先驗(yàn)均值函數(shù)的具體形式， 一般可以選擇零、 常數(shù)、 線性. 而核函數(shù)是將響應(yīng)中的相關(guān)性確定為預(yù)測(cè)值之間距離的函數(shù)， 一般是平方指數(shù)、 Matern 5/2、 Matern 3/2和指數(shù)等. Sigma用于設(shè)定觀測(cè)噪聲標(biāo)準(zhǔn)差的初始值. 回歸樹(shù)主要對(duì)最小葉子尺寸參數(shù)進(jìn)行優(yōu)化. 最小葉大小設(shè)定是用于計(jì)算每個(gè)葉節(jié)點(diǎn)響應(yīng)的最小訓(xùn)練樣本數(shù).

5 仿真分析

下面列出實(shí)際仿真實(shí)驗(yàn)的幾種主要情況. 支持向量機(jī)回歸采取內(nèi)核比例分別為sqrt(p)/4和sqrt(p)的高斯核的兩種情況，p為預(yù)測(cè)變量的數(shù)量， 核函數(shù)均為高斯函數(shù)， 核尺寸分別為4.3和1.7. 高斯過(guò)程回歸采取核函數(shù)分別為高斯回歸指數(shù)、 Mastern 5/2的兩種情況， 基函數(shù)設(shè)置為常量， Sigma設(shè)置為自動(dòng)模式. 若回歸樹(shù)CART樹(shù)最小葉子大小為4， 則認(rèn)為是精細(xì)樹(shù)， 若最小葉子大小為12， 則認(rèn)為是中等樹(shù). 下面利用這些回歸算法對(duì)電力數(shù)據(jù)進(jìn)行回歸分析， 主要從RMSE、R2、 MSE、 MAE、 Time角度進(jìn)行比較分析. RMSE為均方根誤差；R2為擬合系數(shù)， 定義為R2=1-SSE/SST， SSE和SST分別為殘差平方和、 總平方和； MSE 為均方誤差； MAE為平均絕對(duì)誤差； Time為運(yùn)行時(shí)間.

SVMR1和 SVMR2分別為兩種高斯核的結(jié)果， GPR1和GPR2分別為兩種高斯過(guò)程回歸的結(jié)果， CART1和CART2分別為回歸樹(shù)的結(jié)果. 具體結(jié)果如表 1 所示， 通過(guò)觀察幾種誤差、 擬合系數(shù)和運(yùn)行時(shí)間的參數(shù)， SVM的R2最小， GPR的運(yùn)行時(shí)間比較長(zhǎng)， CART的誤差較小， 故可以看出CART1也就是精細(xì)樹(shù)的回歸結(jié)果最好.

表 1 三種機(jī)器學(xué)習(xí)算法的回歸結(jié)果Tab.1 Regression results of three machine learning algorithms

本文針對(duì)3種回歸算法通過(guò)超參數(shù)優(yōu)化比較和分析其回歸效果. 支持向量機(jī)的優(yōu)化器為貝葉斯優(yōu)化時(shí)， 核函數(shù)為線性， 框約束和核尺寸為自動(dòng)模式. 優(yōu)化的超參數(shù)中框約束為 0.002 06， 核函數(shù)為三次， Epsilon值為0.011 3. 優(yōu)化后的超參數(shù)中框約束為 0.001 09， Epsilon值為 0.000 029 2. 高斯過(guò)程回歸優(yōu)化器為貝葉斯優(yōu)化， 基函數(shù)為常量， 核函數(shù)為各向同性指數(shù). 優(yōu)化后的超參數(shù)中基函數(shù)為零， Sigma值為0.055 5. 回歸樹(shù)優(yōu)化器為貝葉斯優(yōu)化， 可以設(shè)置最小葉子大小為1. 優(yōu)化后的最小葉大小為5. 3個(gè)算法的超參數(shù)優(yōu)化迭代次數(shù)均設(shè)置為30， 綜合誤差回歸樹(shù)最小， 運(yùn)行時(shí)間回歸樹(shù)最快， 綜合回歸效果回歸樹(shù)較好.

同時(shí)， 為了尋找回歸樹(shù)最優(yōu)的優(yōu)化器， 先將回歸樹(shù)優(yōu)化器調(diào)整為網(wǎng)格搜索， 設(shè)置最小葉子大小為5， 網(wǎng)格分區(qū)數(shù)量為10， 優(yōu)化后最小葉大小為6， 運(yùn)行時(shí)間只有4 s多， 誤差更小. 再把優(yōu)化器調(diào)整為隨機(jī)搜索時(shí)， 設(shè)置最小葉子大小為6， 迭代次數(shù)為30， 優(yōu)化后最小葉大小為5， 但是相對(duì)網(wǎng)格搜索迭代次數(shù)多了不少， 運(yùn)行時(shí)間也增加到12 s多.

SVMRHO 和GPRHO分布為支持向量機(jī)回歸超參數(shù)優(yōu)化和高斯過(guò)程超參數(shù)優(yōu)化的結(jié)果. CARTHO1 、 CARTHO2、 CARTHO3分別為回歸樹(shù)貝葉斯優(yōu)化、 網(wǎng)格搜索、 隨機(jī)搜索的優(yōu)化結(jié)果. 5種超參數(shù)優(yōu)化的仿真結(jié)果誤差及運(yùn)行時(shí)間如表 2 所示. 綜合考慮擬合系數(shù)、 誤差大小和運(yùn)行時(shí)間， 基于網(wǎng)格搜索優(yōu)化器的回歸樹(shù)的效果最好， 故最終選用其作為對(duì)驗(yàn)證集數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn).

表 2 三種機(jī)器學(xué)習(xí)算法經(jīng)超參數(shù)優(yōu)化的結(jié)果Tab.2 Hyperparametric optimization results of three machine learning algorithms

為了驗(yàn)證回歸模型的預(yù)測(cè)性能， 通過(guò)驗(yàn)證數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證測(cè)試. 選取5天的功率因數(shù)進(jìn)行比較和分析. 表 3 列出5天真實(shí)數(shù)據(jù)和回歸模型預(yù)測(cè)數(shù)據(jù)及二者之間的差值.

表 3 5天真實(shí)和預(yù)測(cè)功率因數(shù)及誤差的情況表Tab.3 5-day actual and predicted power factors and errors

圖 1 是優(yōu)化器為網(wǎng)格搜索的回歸樹(shù)的超參數(shù)優(yōu)化后的響應(yīng)圖， 它顯示了響應(yīng)和記錄編號(hào)的關(guān)系， 也可以反應(yīng)真實(shí)值和預(yù)測(cè)值之間的關(guān)系. 圖 2 是優(yōu)化器為網(wǎng)格搜索的回歸樹(shù)的超參數(shù)優(yōu)化后的最小MSE圖. 圖中可以看到最佳點(diǎn)超參數(shù)和最小誤差超參數(shù)， 每個(gè)黑色點(diǎn)對(duì)應(yīng)于由優(yōu)化過(guò)程計(jì)算的最小MSE的估計(jì)值. 通過(guò)分析， 優(yōu)化器為網(wǎng)格搜索的回歸樹(shù)的回歸效果良好.

圖 1 回歸樹(shù)的響應(yīng)圖Fig.1 Response graph of regression tree

圖 2 回歸樹(shù)的最小MSE圖Fig.2 Minimum MSE graph of regression tree

6 結(jié) 論

機(jī)器學(xué)習(xí)的成熟和發(fā)展為電力大數(shù)據(jù)的分析提供了豐富的算法. 通過(guò)機(jī)器學(xué)習(xí)算法對(duì)電力數(shù)據(jù)進(jìn)行科學(xué)分析和深入研究， 可以發(fā)現(xiàn)、 尋找和探究數(shù)據(jù)之間的相關(guān)性、 規(guī)律性， 并創(chuàng)建和訓(xùn)練模型， 做出合理的預(yù)測(cè)和估計(jì)， 最終保障電力系統(tǒng)節(jié)能管理和綠色持續(xù)發(fā)展. 回歸分析是機(jī)器學(xué)習(xí)中的經(jīng)典算法之一， 本文介紹了支持向量機(jī)回歸、 高斯過(guò)程回歸、 回歸樹(shù)CART 3種算法的基本原理， 并利用算法對(duì)某電廠的電力數(shù)據(jù)進(jìn)行分析和比較. 同時(shí)， 還利用不同超參數(shù)優(yōu)化算法對(duì)3種算法進(jìn)行優(yōu)化. 通過(guò)比較均方根誤差、 擬合系數(shù)、 均方誤差、 平均絕對(duì)誤差、 運(yùn)行時(shí)間等5個(gè)指標(biāo)， 獲得最優(yōu)回歸模型， 對(duì)實(shí)際電力數(shù)據(jù)進(jìn)行了驗(yàn)證. 通過(guò)不同參數(shù)的多次仿真實(shí)驗(yàn)， 比較和分析了回歸算法的優(yōu)劣點(diǎn)， 證明了CART回歸模型尤其是網(wǎng)格搜索優(yōu)化后的效果較好， 并對(duì)今后的電力大數(shù)據(jù)預(yù)測(cè)和估計(jì)具有一定的現(xiàn)實(shí)意義.