張曉穎，段金鳳，吳 琦

(長(zhǎng)春大學(xué) 理學(xué)院，長(zhǎng)春 130022)

作為電力系統(tǒng)的一項(xiàng)重大創(chuàng)新，智能電網(wǎng)方便了電力系統(tǒng)的管理，在很大程度上提升了電力系統(tǒng)的服務(wù)質(zhì)量。為了向用戶提供源源不斷、質(zhì)量合格的電能，要求電力系統(tǒng)具有很高的穩(wěn)定性和可靠性[1-2]。

圖1 智能電網(wǎng)穩(wěn)定性預(yù)測(cè)研究方案流程圖

目前，針對(duì)智能電網(wǎng)穩(wěn)定性預(yù)測(cè)的相關(guān)研究較少。VERMA等[3]介紹了智能電網(wǎng)的規(guī)劃和運(yùn)行范圍隨著人工神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方法的引入逐步擴(kuò)大。文中提供了一些智能電網(wǎng)組件相關(guān)的工作調(diào)查。GüNEL等[4]展示了ML方法在提取和分析智能電網(wǎng)等現(xiàn)代工業(yè)系統(tǒng)設(shè)計(jì)特征方面的優(yōu)勢(shì)。討論了最大似然算法，并簡(jiǎn)要研究了智能電網(wǎng)的應(yīng)用。HOSSAIN等[5]對(duì)通過(guò)智能電網(wǎng)的出現(xiàn)引入的電力電網(wǎng)新技術(shù)進(jìn)行了全面研究。其中，物聯(lián)網(wǎng)集成智能電網(wǎng)系統(tǒng)可以提供高效的負(fù)荷預(yù)測(cè)和數(shù)據(jù)采集技術(shù)，具有成本效益。YOU 等[6]介紹了與傳統(tǒng)方法相比，機(jī)器學(xué)習(xí)算法在節(jié)省模型開發(fā)和數(shù)值計(jì)算時(shí)間上對(duì)于智能電網(wǎng)穩(wěn)定性的預(yù)測(cè)有效。ANKIT GHOSH等[7]基于人工智能技術(shù)，通過(guò)使用部分先進(jìn)的最大似然算法，預(yù)測(cè)智能電網(wǎng)的穩(wěn)定性，對(duì)其結(jié)果進(jìn)行了比較。其使用的增強(qiáng)ML算法已被實(shí)施用來(lái)預(yù)測(cè)智能電網(wǎng)的穩(wěn)定性。

由于電力數(shù)據(jù)龐大且涉及的算法參數(shù)較多，目前簡(jiǎn)單的機(jī)器學(xué)習(xí)模型并不能滿足智能電網(wǎng)系統(tǒng)準(zhǔn)確預(yù)測(cè)的需要。因此，本研究提出基于深度學(xué)習(xí)算法的智能電網(wǎng)穩(wěn)定性的預(yù)測(cè)模型，多次迭代并使用多種優(yōu)化器，通過(guò)仿真驗(yàn)證，與經(jīng)典機(jī)器學(xué)習(xí)算法等進(jìn)行效果和性能比較如圖1所示。本研究數(shù)據(jù)來(lái)源于加州大學(xué)歐文分校(UCI)公開收集的智能電網(wǎng)數(shù)據(jù)庫(kù)。

圖2 4節(jié)點(diǎn)電網(wǎng)星形網(wǎng)絡(luò)結(jié)構(gòu)圖

文章的結(jié)構(gòu)如下：(1)獲取加州大學(xué)歐文分校(UCI)公開收集的智能電網(wǎng)數(shù)據(jù)集；(2)進(jìn)行數(shù)據(jù)預(yù)處理；(3)進(jìn)行特征工程，確定所給的特征是否合適，降低過(guò)擬合風(fēng)險(xiǎn)；(4)利用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法進(jìn)行建模求解與模型對(duì)比。

描述數(shù)據(jù)集的詳細(xì)論文見ARZAMASOV等[8]，作者研究了智能電網(wǎng)絡(luò)的不穩(wěn)定性。數(shù)據(jù)為4節(jié)點(diǎn)的星形網(wǎng)絡(luò)，如圖 2 所示。數(shù)據(jù)集所考慮的3個(gè)維度是:反應(yīng)時(shí)間(τ)、功率平衡(P)和價(jià)格彈性系數(shù)(γ)。

1 數(shù)據(jù)處理和特征工程

(1)

預(yù)處理后，繪制數(shù)據(jù)分布圖，進(jìn)行數(shù)據(jù)的可視化。

數(shù)據(jù)集中給定特征數(shù)為12，但仍需要進(jìn)行特征篩選確定所給的特征是否合適。本研究選擇過(guò)濾法與嵌入法結(jié)合的方式，進(jìn)行特征選擇。過(guò)濾法主要使用相關(guān)系數(shù)法，嵌入法使用隨機(jī)森林算法判斷特征重要性。如圖 4 、圖5所示，隨機(jī)森林重要程度較高的變量，在基于過(guò)濾法的特征選擇中相關(guān)系數(shù)也較高。其中，發(fā)電商的反應(yīng)時(shí)間(tau1)影響權(quán)重最大，電力消費(fèi)者的反應(yīng)時(shí)間(tau2-tau4)、消費(fèi)者的伽瑪系數(shù)(g3-g4)影響權(quán)重較大。

圖4 特征相關(guān)系數(shù)可視化

圖5 隨機(jī)森林法特征的重要程度

2 模型構(gòu)建與結(jié)果對(duì)比

2.1 模型評(píng)價(jià)指標(biāo)

對(duì)于分類問(wèn)題，模型評(píng)價(jià)指標(biāo)主要有準(zhǔn)確率(Accuracy)、精密度(Precision)、召回率(Recall)、F-score和ROC-AUC曲線。同時(shí)，考慮到模型性能，模型運(yùn)行耗時(shí)也作為評(píng)價(jià)指標(biāo)。

2.2 BP神經(jīng)網(wǎng)絡(luò)算法

BP算法是利用輸出層的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，逐層迭代，修正每層的網(wǎng)絡(luò)權(quán)值，直到誤差滿足要求[9]。

本研究采用BP 神經(jīng)網(wǎng)絡(luò)模型，各層參數(shù)如表 1 所示，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。選取Relu函數(shù)作為隱含層的轉(zhuǎn)移函數(shù)，選取Sigmoid函數(shù)作為輸出層的轉(zhuǎn)移函數(shù)。確定BP神經(jīng)網(wǎng)絡(luò)模型中參數(shù)batch_size為12，損失函數(shù)使用的交叉熵為binary_crossentropy，dropout值為0.2。

表1 BP神經(jīng)網(wǎng)絡(luò)各層參數(shù)表

圖6 智能電網(wǎng)穩(wěn)定性預(yù)測(cè)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖7 智能電網(wǎng)穩(wěn)定性CNN預(yù)測(cè)模型框架

2.3 卷積神經(jīng)網(wǎng)絡(luò)算法

卷積神經(jīng)網(wǎng)絡(luò)(CNN)[11]是一類具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)卷積層和頂端的全連通層組成，同時(shí)也包括權(quán)重和池化層(pooling layer)。卷積層(convolutional layer)是卷積神經(jīng)網(wǎng)絡(luò)的核心層，該層的主要功能是提取輸入矩陣的特征。池化層通常會(huì)在卷積層之后得到維度很大的特征，將特征切成幾個(gè)區(qū)域，取其最大值或平均值，得到新的、維度較小的特征。全連接層(fully-connected layer)把所有局部特征結(jié)合變成全局特征，用來(lái)計(jì)算最后每一類的得分。

對(duì)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化后輸入數(shù)據(jù)。卷積層的激活函數(shù)為Relu， 提高了模型的非線性表達(dá)能力，由于是二分類問(wèn)題，輸出層采用Sigmoid函數(shù)，同時(shí)為了防止模型過(guò)擬合，設(shè)置dropout值為0.3，batch_size值為12，損失函數(shù)為交叉熵。利用Keras框架構(gòu)建CNN模型，詳細(xì)模型參數(shù)如下：

表2 BP神經(jīng)網(wǎng)絡(luò)各層參數(shù)表

2.4 深度學(xué)習(xí)優(yōu)化算法

隨機(jī)梯度下降算法(SGD)[12]是深度學(xué)習(xí)中最基礎(chǔ)、最典型的優(yōu)化算法，在所有的n個(gè)樣本中隨機(jī)抽取m(m≤n)個(gè)小批量樣本，這m個(gè)樣本是獨(dú)立同分布的。將這m個(gè)樣本梯度的平均值作為算法的搜索方向。

AdaGrad算法[13]的學(xué)習(xí)速率是自動(dòng)變化的，即算法在整個(gè)迭代過(guò)程中自動(dòng)地調(diào)整學(xué)習(xí)率。首先給出初始學(xué)習(xí)率η，并用該學(xué)習(xí)率與歷史梯度的平方根的比值作為當(dāng)前迭代的學(xué)習(xí)率。而AdaGrad 算法將歷史梯度的平方根作為分母，會(huì)導(dǎo)致學(xué)習(xí)率逐漸減小至零，導(dǎo)致算法提前終止，因此便有了RMSProp算法。

RMSProp算法[14]的分母不再采用歷史梯度的平方根，而是采用歷史梯度的指數(shù)衰減平均，即算法初始迭代點(diǎn)處的梯度所占權(quán)重很小，越靠后的迭代點(diǎn)處的梯度所占的權(quán)重越大。這樣可以丟掉比較靠前的點(diǎn)處的梯度，從而加速算法收斂。AdaGrad 算法和 RMSProp 算法都是基于梯度L2范數(shù)的優(yōu)化算法?；趧?dòng)量的優(yōu)化算法和基于L2范數(shù)的優(yōu)化算法各有優(yōu)缺點(diǎn)，將兩者的優(yōu)勢(shì)結(jié)合起來(lái)，產(chǎn)生的新算法為Adam算法。

Adam算法[15]將具有經(jīng)典動(dòng)量思想的RMSProp 算法和L2范數(shù)的思想相結(jié)合。具有易于實(shí)現(xiàn)、計(jì)算高效、存儲(chǔ)要求低等優(yōu)勢(shì)。Adam算法只需要計(jì)算損失函數(shù)的一階梯度，不同的參數(shù)具有不同的學(xué)習(xí)率，這些學(xué)習(xí)率是算法 Adam根據(jù)參數(shù)梯度的一階和二階矩估計(jì)自動(dòng)選取的。

圖8 BP模型不同優(yōu)化器損失值(左)、準(zhǔn)確率(右)和迭代次數(shù)的關(guān)系

2.5 模型結(jié)果與對(duì)比

對(duì)BP神經(jīng)網(wǎng)絡(luò)回歸預(yù)測(cè)模型的參數(shù)進(jìn)行優(yōu)化。主要采用SGD、Adam、AdaGrad、RMSprop4種優(yōu)化算法進(jìn)行參數(shù)優(yōu)化，模型的預(yù)測(cè)效果如圖8所示。 隨著迭代次數(shù)的增加， 4種優(yōu)化算法的損失函數(shù)都逐漸下降， 且 AdaGrad算法的損失函數(shù)始終低于其他3種算法。 迭代70算法次后的準(zhǔn)確度：AdaGrad≈Adam>SGD>RMSprop，并且隨著迭代次數(shù)的增加，準(zhǔn)確度不斷提高。因此，最終選用Adam算法進(jìn)行優(yōu)化。

在CNN模型中也對(duì)比了Adam、RMSprop、SGD和Adagrad4種優(yōu)化器對(duì)CNN模型影響，效果如圖9所示。SGD和Adagrad兩種優(yōu)化器在epoch為80之前并不能達(dá)到一個(gè)收斂的程度，說(shuō)明SGD和Adagrad兩種優(yōu)化器在此數(shù)據(jù)集上不適用于CNN模型，Adam在模型迭代40次的時(shí)候準(zhǔn)確率就高于RMSprop， 因此在CNN模型中使用Adam優(yōu)化器。

圖9 CNN模型不同優(yōu)化器損失值(左)、準(zhǔn)確率(右)和迭代次數(shù)的關(guān)系

接下來(lái)，基于定量分析對(duì)多種模型預(yù)測(cè)能力，采用Acc、Precision、Recall、F1、Auc、Time等多種評(píng)價(jià)指標(biāo)定量分析經(jīng)典機(jī)器學(xué)習(xí)算法與深度學(xué)習(xí)算法的預(yù)測(cè)能力。在眾多機(jī)器學(xué)習(xí)算法中取效果前3的模型，分別為支持向量機(jī)、隨機(jī)森林、XGB。深度學(xué)習(xí)模型包括BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)如表 3 所示。

表3 各模型預(yù)測(cè)精度和性能的比較

(1)SVM模型預(yù)測(cè)精度較高(Acc=0.977 919)，但其對(duì)如何確定核函數(shù)比較敏感。在相同內(nèi)存下，高時(shí)間成本(Time=50.493 627 s)也是SVM的一個(gè)問(wèn)題。(2)隨機(jī)森林算法采用了集成算法，準(zhǔn)確性較高(Acc=0.946 201)。但決策樹個(gè)數(shù)較多時(shí)，訓(xùn)練的時(shí)間空間較大，可解釋性差，屬于黑盒模型；在噪音比較大的情況下，容易出現(xiàn)過(guò)擬合現(xiàn)象。(3)XGB模型預(yù)測(cè)精度高(Acc=0.951 713)，在相對(duì)少的調(diào)參時(shí)間情況下，預(yù)測(cè)的準(zhǔn)確率也比較高。但由于弱學(xué)習(xí)器之間存在依賴關(guān)系，難以并行訓(xùn)練數(shù)據(jù)。同時(shí)數(shù)據(jù)維度較高時(shí)會(huì)加大算法的計(jì)算復(fù)雜度。(4)BPNN模型迭代70次的運(yùn)行時(shí)間較少，只需要6.304 808 s，預(yù)測(cè)精度相對(duì)較低(Acc=0.910 833)。且BP神經(jīng)網(wǎng)絡(luò)每次都需要更新數(shù)量較多的閾值和權(quán)值，從而導(dǎo)致收斂速度過(guò)慢。同時(shí)BP算法是一種速度較快的梯度下降算法，容易陷入局部最小值的問(wèn)題。可能并不能得到問(wèn)題的真正解。

CNN模型具有極高的預(yù)測(cè)精度，在迭代70次后，精度Acc為0.979 000。且CNN模型迭代70次后的耗時(shí)僅為28.398 703 s，僅略低于隨機(jī)森林。CNN模型共享卷積核，更易處理高維數(shù)據(jù)，有利于智能電網(wǎng)消費(fèi)者端的擴(kuò)展。卷積層可以自動(dòng)進(jìn)行特征提取，對(duì)實(shí)時(shí)化的智能電網(wǎng)系統(tǒng)預(yù)測(cè)有實(shí)際意義。CNN在最優(yōu)優(yōu)化算法下的預(yù)測(cè)結(jié)果如圖10所示。

圖10 最優(yōu)優(yōu)化器下CNN預(yù)測(cè)模型的效果

3 結(jié)論

本研究基于數(shù)據(jù)挖掘和深度學(xué)習(xí)算法探究預(yù)測(cè)智能電網(wǎng)穩(wěn)定性的方法。深度學(xué)習(xí)CNN模型其預(yù)測(cè)性能明顯優(yōu)于其他預(yù)測(cè)模型，Acc、Auc都比較高，且Precision和Recall表現(xiàn)良好。綜合模型預(yù)測(cè)和定量分析的結(jié)果，CNN模型要遠(yuǎn)高于其他機(jī)器學(xué)習(xí)預(yù)測(cè)模型，因此可以選擇使用Adam優(yōu)化器的CNN模型作為智能電網(wǎng)穩(wěn)定性模型。下一步可以將其推廣到有更多電力消費(fèi)者的實(shí)時(shí)智能電網(wǎng)系統(tǒng)中，隨著逐步加強(qiáng)預(yù)測(cè)系統(tǒng)的可靠性，對(duì)實(shí)現(xiàn)高效配電具有重要意義。