周尚珺璽，馬立新

( 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

基于入侵雜草優(yōu)化算法的支持向量機(jī)負(fù)荷預(yù)測(cè)

周尚珺璽，馬立新

( 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

針對(duì)支持向量機(jī)(Support Vector Machine, SVM)預(yù)測(cè)方法中的參數(shù)選取主要依靠經(jīng)驗(yàn)試算實(shí)驗(yàn)比對(duì)的方法導(dǎo)致難以快速選擇合適參數(shù)從而影響負(fù)荷預(yù)測(cè)精度的問(wèn)題，研究了將入侵雜草優(yōu)化算法(Invasive Weed Optimization，IWO)與支持向量機(jī)算法相結(jié)合的改進(jìn)算法。提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對(duì)懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取，將自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，從而實(shí)現(xiàn)支持向量機(jī)自動(dòng)尋優(yōu)。用某市的歷史負(fù)荷及相關(guān)天氣等信息數(shù)據(jù)，通過(guò)仿真實(shí)驗(yàn)證明了IWO-SVM算法用于短期負(fù)荷預(yù)測(cè)的可行性，以及IWO算法對(duì)改善SVM的參數(shù)選擇的有效性。平均預(yù)測(cè)誤差在3%以?xún)?nèi)，滿(mǎn)足行業(yè)要求。

短期負(fù)荷預(yù)測(cè)；支持向量機(jī)；入侵雜草優(yōu)化

0 引言

電力系統(tǒng)短期負(fù)荷預(yù)測(cè)是維護(hù)電網(wǎng)經(jīng)濟(jì)、穩(wěn)定運(yùn)行的基礎(chǔ)，是制訂供電計(jì)劃、調(diào)度計(jì)劃和交易計(jì)劃的重要依據(jù)，基于人工智能技術(shù)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和模糊系統(tǒng)預(yù)測(cè)模型是目前研究較為廣泛的負(fù)荷預(yù)測(cè)模型，但對(duì)改善這類(lèi)模型的泛化能力方面理論進(jìn)展較慢，因此很多學(xué)者開(kāi)始對(duì)具有更好泛化能力的預(yù)測(cè)技術(shù)進(jìn)行研究。

由 Vanpik 在1995年提出的建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上發(fā)展出的支持向量機(jī)方法，它在解決小樣本、非線(xiàn)性、高維數(shù)模式識(shí)別等實(shí)際問(wèn)題中有許多優(yōu)勢(shì)。支持向量機(jī)方法是根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以獲得最好的泛化能力。近年來(lái)基于支持向量機(jī)的負(fù)荷預(yù)測(cè)方法被重點(diǎn)關(guān)注，文獻(xiàn)[1]全面總結(jié)了支持向量機(jī)在短期負(fù)荷預(yù)測(cè)中的應(yīng)用情況，對(duì)比了常用的人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法，從原理上證明了支持向量機(jī)方法的優(yōu)越性。

在對(duì)支持向量機(jī)預(yù)測(cè)方法的研究中發(fā)現(xiàn)，該方法的預(yù)測(cè)性能主要依賴(lài)于模型中的參數(shù)選擇，而目前對(duì)于模型中的參數(shù)選擇主要依靠經(jīng)驗(yàn)或通過(guò)大量實(shí)驗(yàn)比對(duì)給定，文獻(xiàn)[2]提出的參數(shù)選取方法大多采用交叉驗(yàn)證(Cross Validation, CV)的方法或憑借經(jīng)驗(yàn)給出，總體上具有一定的盲目性，不容易找到函數(shù)全局最優(yōu)值，達(dá)不到預(yù)期的精度和滿(mǎn)意的效果。因此為了提高支持向量機(jī)方法的預(yù)測(cè)性能，其參數(shù)選擇及優(yōu)化成為了研究的新方向，文獻(xiàn)[3]介紹了支持向量機(jī)模型的傳統(tǒng)參數(shù)選取方法及優(yōu)化方法，并在此基礎(chǔ)上提出了基于高斯核函數(shù)的參數(shù)選取及優(yōu)化方法，避免了基于交叉檢驗(yàn)的試探法的盲目性，提高了建模效率。文獻(xiàn)[4-6]分別提出了基于粒子群、遺傳算法優(yōu)化算法的模型參數(shù)選擇方法，克服了傳統(tǒng)參數(shù)選擇的缺點(diǎn)，較大地提高了支持向量機(jī)的尋優(yōu)能力，但粒子群容易陷入局部最優(yōu)解，遺傳算法收斂速度較慢等問(wèn)題都有待改進(jìn)。

本文針對(duì)SVM傳統(tǒng)的參數(shù)選取方法效率較低、影響性能等缺陷，將入侵雜草算法用于支持向量機(jī)參數(shù)的選取，提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對(duì)懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取。入侵雜草算法收斂速度大于粒子群、遺傳算法等，采用子父代競(jìng)爭(zhēng)排斥機(jī)制，避免早熟與陷入局部最優(yōu)解，該方法將入侵雜草算法自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，提高了支持向量機(jī)預(yù)測(cè)精度，為優(yōu)化支持向量機(jī)參數(shù)提供了一種新方法。

1 回歸支持向量機(jī)

支持向量機(jī)是基于SRM和VC維理論的一種訓(xùn)練機(jī)器學(xué)習(xí)的算法，其核心包括：(1)通過(guò)非線(xiàn)性映射，將低維空間中線(xiàn)性不可分的樣本映射到高維空間中[7]，該空間中存在能將樣本的非線(xiàn)性特征進(jìn)行分割的超平面；(2)基于架構(gòu)風(fēng)險(xiǎn)最小化原則，尋找一個(gè)最優(yōu)超平面，使得該超平面到不同類(lèi)的數(shù)據(jù)點(diǎn)的間隔最大。

支持向量機(jī)回歸理論是建立在支持向量機(jī)分類(lèi)問(wèn)題的基礎(chǔ)上的，通過(guò)引入不敏感損失函數(shù)ε，將支持向量機(jī)分類(lèi)理論中的結(jié)果推廣，使其用于函數(shù)回歸。

設(shè)有訓(xùn)練樣本：{xi,di},(i=1,...,n,xi∈Rn,di∈R)。x是輸入向量，d是期望值，采用回歸函數(shù)：

式中：φ(x)是從輸入空間映射到高為特征空間的非線(xiàn)性函數(shù)。

系數(shù)w,b由最小化下式來(lái)估計(jì)：

(1)

(2)

此時(shí)最小化問(wèn)題為：

(3)

約束條件為：

(4)

由于特征空間維數(shù)較高，甚至到無(wú)窮維，所以直接求解并不現(xiàn)實(shí)，回歸支持向量機(jī)通過(guò)建立核函數(shù)k(xi,xj)來(lái)解決維數(shù)災(zāi)難。

(5)

(6)

對(duì)拉格朗日函數(shù)式求偏導(dǎo)可解得：

(7)

將w表達(dá)式代入得：

(8)

根據(jù)KKT條件，在最優(yōu)處滿(mǎn)足拉格朗日乘子與約束式的乘積為零，故有：

(9)

求解可得：

(10)

用支持向量便可求解出b的值，求解出回歸函數(shù)。

2 入侵雜草優(yōu)化算法

2.1 雜草特性

大自然中雜草是以細(xì)胞繁殖生成種子，通過(guò)風(fēng)、水及動(dòng)物等形式攜帶種子隨機(jī)的散布在田地內(nèi)，田地里的資源分別被每個(gè)種子獨(dú)立的使用，并找到合適自己生長(zhǎng)的機(jī)會(huì)空間。由于雜草的生長(zhǎng)和繁殖受土地的肥沃營(yíng)養(yǎng)程度、雜草的聚集密度和雜草群對(duì)環(huán)境適應(yīng)性的影響，在雜草繁殖進(jìn)化的過(guò)程中，能更好適應(yīng)周?chē)h(huán)境的種子會(huì)使用更多的土地資源和營(yíng)養(yǎng)，并能更好更快的成長(zhǎng)，結(jié)籽(種子)更多，不能很好地適應(yīng)環(huán)境的種子，在長(zhǎng)成為植株后結(jié)籽(種子)較少，因而植株群落對(duì)環(huán)境的適應(yīng)性的提高能夠讓植株的生存能力更頑強(qiáng)，存活的時(shí)間更長(zhǎng)。植株的自然繁殖進(jìn)化選擇方式多種多樣，r選擇和k選擇尤為重要，r選擇即是從植物群落中挑選出生命力旺盛、適應(yīng)性強(qiáng)、成長(zhǎng)快速、枯萎塊、競(jìng)爭(zhēng)力極強(qiáng)的植物，并讓它們擁有占據(jù)更多的新領(lǐng)地和新環(huán)境；k選擇即是選擇生長(zhǎng)和繁殖緩慢、堅(jiān)韌性強(qiáng)、并讓其去占據(jù)有限的環(huán)境和資源營(yíng)養(yǎng)空間。r選擇就是IWO算法的全局搜索方式，k選擇就是IWO算法的局部搜索方式。

2.2 入侵雜草基本理論

入侵雜草優(yōu)化算法是2006年由Mehrabian和Lucas提出的模擬大自然野草繁殖進(jìn)化的一種隨機(jī)搜索仿生學(xué)優(yōu)化算法。該算法具有收斂性好、魯棒性強(qiáng)、結(jié)構(gòu)簡(jiǎn)單、易于編程實(shí)現(xiàn)等優(yōu)點(diǎn)。

該算法以適應(yīng)度為基準(zhǔn)的繁殖機(jī)制，繁殖過(guò)程中按自然界的繁殖法則，給予不可行的個(gè)體生存和繁殖的機(jī)會(huì)以保留更多有用信息；該算法采用正態(tài)分布的擴(kuò)散機(jī)制，同時(shí)進(jìn)行全局搜索和局部搜索，使其具有一定深度同時(shí)也不失廣度，并能根據(jù)迭代次數(shù)不同對(duì)二者強(qiáng)度進(jìn)行調(diào)節(jié)，同時(shí)采用子父代競(jìng)爭(zhēng)排斥機(jī)制，最大限度保留有用信息，避免早熟和陷入局部最優(yōu)[8-9]，算法基本步驟：

第一步：種群初始化。確定種群初始化數(shù)量N0和最大種群規(guī)模Nmax、最大迭代次數(shù)itermax等基本參數(shù)。

第二步：生長(zhǎng)繁殖。 每個(gè)雜草種子根據(jù)式中適應(yīng)度(繁殖能力)產(chǎn)生種子，父代雜草產(chǎn)生的種子個(gè)數(shù)與母體雜草的適應(yīng)度成正比，適應(yīng)度越好，種子繁殖數(shù)越多：

(11)

式中：f為當(dāng)前雜草的適應(yīng)度值；fmax及fmin分別是當(dāng)前種群中雜草的最大及最小適應(yīng)度值；smax及smin分別代表一個(gè)雜草能產(chǎn)生的最大及最小種子的數(shù)量。

第三步：空間分布。 以父代為均值，子代個(gè)體以σ為標(biāo)準(zhǔn)差正態(tài)分布擴(kuò)散在父代個(gè)體周?chē)?。迭代過(guò)程中，每一代的標(biāo)準(zhǔn)差按如下規(guī)律進(jìn)行變化：

(12)

式中：iter為當(dāng)前進(jìn)化的迭代次數(shù)；itermax為最大進(jìn)化迭代次數(shù)；σcur為當(dāng)前的標(biāo)準(zhǔn)差；σinit和σfinal分別是標(biāo)準(zhǔn)差的初始值和最終值；n為非線(xiàn)性調(diào)和因子。該式對(duì)于iter是遞減的，確定了雜草算法前期是全局搜索為重、后期以局部搜索為重的基本特性。

第四步：競(jìng)爭(zhēng)淘汰。 經(jīng)過(guò)數(shù)代的繁殖后，產(chǎn)生的后代雜草和種子數(shù)目將達(dá)到預(yù)先設(shè)定的最大種群數(shù)目，然后將父代和子代一起進(jìn)行排列，按適應(yīng)值大小進(jìn)行優(yōu)勝劣汰。

第五步：重復(fù)步驟直至滿(mǎn)足設(shè)定的最優(yōu)解條件或達(dá)到最大迭代次數(shù)。

3 入侵雜草-支持向量機(jī)模型

入侵雜草-支持向量機(jī)是使用入侵雜草優(yōu)化算法求解支持向量機(jī)的參數(shù)，解決選擇支持向量機(jī)參數(shù)選擇沒(méi)有理論依據(jù)可循的問(wèn)題，提高支持向量機(jī)的學(xué)習(xí)和推廣能力。用入侵雜草優(yōu)化算法優(yōu)化支持向量機(jī)的核心思想是：將參數(shù)選擇問(wèn)題視為雜草種群在給定空間的全局搜索問(wèn)題，入侵雜草優(yōu)化算法將支持向量機(jī)的參數(shù)(C,σ)看作是雜草和種子的適應(yīng)度值，將測(cè)試樣本集的平均誤差作為算法結(jié)束的判斷條件，實(shí)現(xiàn)支持向量機(jī)參數(shù)的自動(dòng)優(yōu)化選取。具體的算法流程圖如圖1所示。

圖1 入侵雜草-支持向量機(jī)算法步驟

4 算例分析

4.1 輸入樣本選取

文獻(xiàn)[10]對(duì)電力負(fù)荷周期性的分析可知，預(yù)測(cè)日前1周及前幾天同一時(shí)刻的負(fù)荷數(shù)據(jù)與待預(yù)測(cè)時(shí)刻的負(fù)荷關(guān)聯(lián)度較高,而天氣因素中溫度對(duì)短期負(fù)荷的影響最大，因此，將預(yù)測(cè)日前一周與前一日的鄰近時(shí)刻負(fù)荷數(shù)據(jù)、溫度數(shù)據(jù)及相關(guān)日類(lèi)型作為參考影響因子，將其作為輸入對(duì)算法進(jìn)行學(xué)習(xí)，可得到更準(zhǔn)確地預(yù)測(cè)結(jié)果。

為預(yù)測(cè)1天從0點(diǎn)到23點(diǎn)的實(shí)際負(fù)荷，分別建立如下的單點(diǎn)負(fù)荷預(yù)測(cè)模型，支持向量機(jī)模型輸入量共16個(gè)，具體選擇如表1所示。

表1 支持向量機(jī)模型輸入量

其中，d代表待預(yù)測(cè)日，d-1、d-7分別代表待預(yù)測(cè)日前一天和前一周；L(d-7,t)代表d天t時(shí)刻的歷史負(fù)荷值；Tmax(d)、Tmin(d)、Tavg(d)分別表示d天最高溫度、最低溫度、平均溫度；D(d)代表d天日類(lèi)型。

輸出量L(d,t)為d日t時(shí)刻的負(fù)荷預(yù)測(cè)值。把預(yù)測(cè)日前30 d相應(yīng)的歷史負(fù)荷數(shù)據(jù)、氣象信息和日類(lèi)型因子作為訓(xùn)練樣本。

4.2 模型參數(shù)選擇

支持向量機(jī)核函數(shù)選擇RBF函數(shù)，雜草入侵優(yōu)化算法中種群初始化數(shù)量：20個(gè)；最大種群規(guī)模：30個(gè)；最大迭代次數(shù)：150次；生成種子數(shù)量上下限：20-0個(gè)；非線(xiàn)性指數(shù)：3；問(wèn)題維數(shù)：2；標(biāo)準(zhǔn)差初始值：1；標(biāo)準(zhǔn)差最終值：0.001。

4.3 算例結(jié)果

采用SVM與IWO-SVM 2種算法，以MATLAB作為仿真平臺(tái)，以某市2012年7月1日到2012年8月31日每天24點(diǎn)的負(fù)荷數(shù)據(jù)、當(dāng)?shù)貧庀笠蛩丶皩?duì)應(yīng)的日類(lèi)型作為實(shí)驗(yàn)數(shù)據(jù)，分別對(duì)2012年8月25日至31日進(jìn)行了次日24點(diǎn)的負(fù)荷預(yù)測(cè)。

對(duì)于單日24點(diǎn)負(fù)荷預(yù)測(cè)情況選取8月29日為例進(jìn)行分析，實(shí)際負(fù)荷曲線(xiàn)與采用SVM方法建立模型的擬合曲線(xiàn)的對(duì)比如圖2所示。

圖2 SVM算法負(fù)荷曲線(xiàn)對(duì)比

其中，帶圓圈標(biāo)記的曲線(xiàn)代表真實(shí)負(fù)荷，帶三角標(biāo)記的曲線(xiàn)表示SVM預(yù)測(cè)結(jié)果曲線(xiàn)。誤差曲線(xiàn)如圖3所示。

圖3 SVM預(yù)測(cè)誤差曲線(xiàn)

由圖2、圖3可看出，采用SVM算法的預(yù)測(cè)結(jié)果整體走勢(shì)基本與真實(shí)值相吻合，最小相對(duì)誤差為0.06%，最大相對(duì)誤差為5.67%，24點(diǎn)平均相對(duì)誤差為 2.375%。

采用IWO-SVM模型進(jìn)行的單日24點(diǎn)負(fù)荷預(yù)測(cè)情況如表2。

表2 8月27日24點(diǎn)負(fù)荷預(yù)測(cè)

續(xù)表2

由表2中數(shù)據(jù)可看出，采用IWO-SVM算法的預(yù)測(cè)結(jié)果與真實(shí)值非常接近，最小相對(duì)誤差為0.469%，且預(yù)測(cè)誤差超過(guò)3%的點(diǎn)只有2個(gè)，最大相對(duì)誤差為3.416%，24點(diǎn)平均相對(duì)誤差為1.701%，比SVM算法的精度和穩(wěn)定性都更好。

采用2種方法對(duì)1周7天的負(fù)荷進(jìn)行了預(yù)測(cè)，每天的平均誤差結(jié)果如表3所示。

表3 SVM與IWO-SWM算法預(yù)測(cè)誤差

由表3可知，SVM和IWO-SVM算法預(yù)測(cè)的準(zhǔn)確度均達(dá)到97%，滿(mǎn)足調(diào)度部門(mén)對(duì)于日負(fù)荷預(yù)測(cè)準(zhǔn)確率的要求，也說(shuō)明了2種算法在實(shí)際應(yīng)用中的可行性。比較SVM 與IWO-SVM 2種方法的實(shí)驗(yàn)結(jié)果：SVM的預(yù)測(cè)結(jié)果不夠穩(wěn)定。而IWO-SVM的預(yù)測(cè)結(jié)果誤差相對(duì)穩(wěn)定且預(yù)測(cè)誤差更小。實(shí)驗(yàn)結(jié)果表明：IWO-SVM模型的預(yù)測(cè)較SVM方法有更高的準(zhǔn)確度，證明了IWO尋優(yōu)算法優(yōu)化SVM的參數(shù)選擇的可行性。

5 結(jié)論

本文針對(duì)SVM傳統(tǒng)的參數(shù)選取主要依靠經(jīng)驗(yàn)試算實(shí)驗(yàn)比對(duì)的方法導(dǎo)致難以快速選擇合適參數(shù)從而影響負(fù)荷預(yù)測(cè)精度的問(wèn)題，研究了將入侵雜草優(yōu)化算法與支持向量機(jī)相結(jié)合的改進(jìn)算法。提出控制誤差ε的取值，采用入侵雜草尋優(yōu)算法對(duì)懲罰參數(shù)C和核函數(shù)參數(shù)σ進(jìn)行優(yōu)化選取，將自動(dòng)尋優(yōu)的結(jié)果賦給支持向量機(jī)，實(shí)現(xiàn)支持向量機(jī)自動(dòng)尋優(yōu)。通過(guò)MATLAB仿真實(shí)驗(yàn)，算例結(jié)果表明，入侵雜草算法提高了支持向量機(jī)預(yù)測(cè)精度，有效優(yōu)化了模型參數(shù)，提高模型預(yù)測(cè)性能。

[1]王奔，冷北雪，張喜海，等.支持向量機(jī)在短期負(fù)荷預(yù)測(cè)中的應(yīng)用概況[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2011，23(4)：115-121.

[2]張倩, 楊耀權(quán). 基于支持向量機(jī)核函數(shù)的研究[J]. 電力科學(xué)與工程，2012，28(5)：42-45.

[3]謝宏，魏江平，劉鶴立.短期負(fù)荷預(yù)測(cè)中支持向量機(jī)模型的參數(shù)選取和優(yōu)化方法[J].中國(guó)電機(jī)工程學(xué)報(bào)，2006，26(22)：17-22.

[4]谷文成，柴寶仁，滕艷平.基于粒子群優(yōu)化算法的支持向量機(jī)研究[J].北京理工大學(xué)學(xué)報(bào)，2014，34(7)：705-709.

[5]王瓊瑤，何友全，彭小玲.基于改進(jìn)遺傳算法的支持向量機(jī)參數(shù)優(yōu)化方法[J].計(jì)算機(jī)與現(xiàn)代化，2015(3)：33-36.

[6]郭克友，郭曉麗，王藝偉，等.SVM參數(shù)優(yōu)化方法分析與決策[J].計(jì)算機(jī)測(cè)量與控制，2016，24(6)：255-259.

[7]曾繁耀，黃昭榮.短期電網(wǎng)負(fù)荷預(yù)測(cè)方法研究[J].自動(dòng)化與儀器儀表，2016(8)：84-86.

[8]周金虎. 基于入侵雜草算法的數(shù)據(jù)挖掘聚類(lèi)算法研究[D].蘭州：蘭州理工大學(xué)，2014.

[9]左旭坤，蘇守寶.多子群入侵雜草優(yōu)化算法研究及應(yīng)用[J].計(jì)算機(jī)工程，2014，40(2)：184-188.

[10]馬立新，李淵.日最大負(fù)荷特性分析及預(yù)測(cè)方法[J]. 電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2014，26(10):31-34.

Load Forecasting Based on Support Vector Machine Optimize by Invasive Weed Optimization

ZHOU Shangjunxi， MA Lixin

( School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China)

Aiming at the problem of the support vector machine(SVM) parameter selection methods rely mainly on the experience calculation and its low efficiency defects, a new method, invasive weed optimization(IWO) algorithm, combining with SVM, is proposed. By controlling the value of error and using IWO algorithm to optimize the punish parameters and kernel parameters, the model is constructed. As the relevant historical load data, weather data and other information of city of Jiangsu Province used as the simulation data, the simulation results prove the feasibility of the SVM algorithm for short-term load forecasting and the effectiveness of the IWO algorithm for improving the parameters of SVM. The experimental results show that the prediction accuracy of this method can meet the industry requirements, with the average error less than 3%.

load forecasting; support vector machine; invasive weed optimization algorithm

10.3969/j.ISSN.1672-0792.2017.02.006

2016-09-13。

上海張江國(guó)家自主創(chuàng)新重點(diǎn)資助項(xiàng)目(201310-PI-B2-008)。

TM715

A

1672-0792(2017)02-0035-06

周尚珺璽(1992-)，女，碩士研究生，研究方向?yàn)殡娏ω?fù)荷預(yù)測(cè)及電力營(yíng)銷(xiāo)。

馬立新(1960-)，男，教授，主要從事電力系統(tǒng)分析與優(yōu)化運(yùn)行，智能電網(wǎng)與智能科學(xué)，電氣設(shè)備狀態(tài)監(jiān)測(cè)與診斷方法，電能質(zhì)量監(jiān)控與能效測(cè)評(píng)技術(shù)，風(fēng)光發(fā)電智能控制系統(tǒng)方面的研究。