張 蘭

(1.西北工業(yè)大學(xué) 理學(xué)院,陜西 西安 710129;2.西安航空職業(yè)技術(shù)學(xué)院 基礎(chǔ)課部, 陜西 西安 710089)

?

·數(shù)理科學(xué)·

改進(jìn)量子粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)模型負(fù)荷預(yù)測(cè)

張 蘭1,2

(1.西北工業(yè)大學(xué) 理學(xué)院,陜西 西安 710129;2.西安航空職業(yè)技術(shù)學(xué)院 基礎(chǔ)課部, 陜西 西安 710089)

提出一種基于Levy飛行的量子粒子群優(yōu)化算法并用于小波神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,該算法采用基于Levy分布的飛行策略擴(kuò)大粒子的搜索空間,使粒子易于逃離局部最優(yōu)點(diǎn)。該算法克服了傳統(tǒng)算法在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中易于陷入局部最優(yōu)、收斂速度慢等缺點(diǎn),提高了神經(jīng)網(wǎng)絡(luò)的泛化能力。最后將改進(jìn)的量子粒子群優(yōu)化算法訓(xùn)練小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于電力系統(tǒng)負(fù)荷預(yù)測(cè)的模型,仿真結(jié)果表明改進(jìn)的量子粒子群優(yōu)化算法在神經(jīng)網(wǎng)絡(luò)訓(xùn)練上具有更高的預(yù)測(cè)精度。

Levy飛行;量子粒子群;神經(jīng)網(wǎng)絡(luò);負(fù)荷預(yù)測(cè)

負(fù)荷預(yù)測(cè)是一個(gè)復(fù)雜的問(wèn)題,其預(yù)測(cè)的準(zhǔn)確性將影響到電力生產(chǎn)和電網(wǎng)安全運(yùn)行等方面[1]。而影響負(fù)荷預(yù)測(cè)的常見(jiàn)因素如天氣等經(jīng)常具有隨機(jī)性,使得預(yù)測(cè)模型呈現(xiàn)很大的非線性,因此負(fù)荷預(yù)測(cè)的技術(shù)就顯得非常重要。傳統(tǒng)的預(yù)測(cè)方法如線性回歸、專家系統(tǒng)、模糊控制等算法的效果常常無(wú)法滿足實(shí)際需要[2]。

神經(jīng)網(wǎng)絡(luò)強(qiáng)大的自主學(xué)習(xí)能力和良好的非線性映射能力使其廣泛應(yīng)用于負(fù)荷預(yù)測(cè)、故障診斷和系統(tǒng)辨識(shí)等方面[3]。然而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí),具有學(xué)習(xí)效率低下、容易陷入局部極小值等缺點(diǎn)。近年來(lái)，許多學(xué)者致力研究于神經(jīng)網(wǎng)絡(luò)性能的提高,如Zhang等人[4]提出了小波神經(jīng)網(wǎng)絡(luò)(wavelet neural network, WNN),該算法是將小波變換理論和神經(jīng)網(wǎng)絡(luò)相結(jié)合,兼有了小波變換的局部化性質(zhì)和神經(jīng)網(wǎng)絡(luò)的自主學(xué)習(xí)能力,所以具有較好的逼近能力。目前，小波神經(jīng)網(wǎng)絡(luò)在模型預(yù)測(cè)、系統(tǒng)辨識(shí)、故障診斷等領(lǐng)域取得了一些成果[5-6],然而其泛化能力一直是學(xué)術(shù)界的難點(diǎn)。

隨著計(jì)算技術(shù)的快速發(fā)展,智能優(yōu)化算法開(kāi)始廣泛應(yīng)用于復(fù)雜工程領(lǐng)域的計(jì)算。粒子群優(yōu)化算法(particle swarm optimization,PSO)[7]是由Kennedy和Eberhart在1994年提出的,該算法是通過(guò)模擬鳥(niǎo)群覓食行為來(lái)進(jìn)行函數(shù)尋優(yōu),且具有參數(shù)少、魯棒性高等優(yōu)點(diǎn)。因此,采用PSO算法訓(xùn)練WNN模型能夠更好的發(fā)揮神經(jīng)網(wǎng)絡(luò)的泛化能力。然而PSO算法在收斂后期粒子易失去多樣性,出現(xiàn)早熟、陷入局部極小值點(diǎn)等缺點(diǎn)。孫俊等[8-9]從量子系統(tǒng)出發(fā)提出一種量子粒子群優(yōu)化算法(quantum behaved particle swarm optimization,QPSO),該算法中粒子具有更高的隨機(jī)性,也就意味著QPSO算法比傳統(tǒng)的PSO算法具有更好的全局搜索能力。在QPSO-WNN 模型進(jìn)行負(fù)荷預(yù)測(cè)方面,文獻(xiàn)[10]進(jìn)行了探索,也取得了較好的預(yù)測(cè)效果,但是在迭代后期,由于粒子對(duì)前期運(yùn)動(dòng)軌跡的記憶,限定了種群的搜索空間,使得預(yù)測(cè)結(jié)果不是十分理想,因此,可以對(duì)QPSO算法進(jìn)行改進(jìn)以提高算法的收斂性能和精度。比如,文獻(xiàn)[11]提出了對(duì)平均最優(yōu)位置加權(quán)的量子粒子群優(yōu)化,提高了算法的收斂速度;Coelho等[12]提出了采用Gauss變異算子修正QPSO并應(yīng)用于求解PID控制問(wèn)題,修正后的算法增強(qiáng)了全局搜索能力;Peng等[13]利用Levy分布對(duì)QPSO算法中的全局最優(yōu)值進(jìn)行變異,Levy分布的尾翼相比于高斯分布和柯西分布更寬,因此具有更好的擾動(dòng)能力,從而增加了粒子跳出局部最優(yōu)的能力。

本文借鑒文獻(xiàn)[13]中的Levy分布,對(duì)QPSO算法進(jìn)行改進(jìn),將基于Levy分布的Levy飛行策略應(yīng)用于QPSO中,讓粒子在更大的解空間中進(jìn)行搜索,使粒子更容易跳出局部最優(yōu)點(diǎn),而且收斂速度和性能都有所提高。最后將改進(jìn)的QPSO算法進(jìn)行小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練,并將其應(yīng)用于電力系統(tǒng)的負(fù)荷預(yù)測(cè)中。對(duì)實(shí)際算例的仿真分析,驗(yàn)證了該算法具有更高的預(yù)測(cè)精度。

1 QPSO算法及其改進(jìn)

1.1 QPSO算法

粒子群算法是一種基于群體的隨機(jī)優(yōu)化技術(shù),是對(duì)鳥(niǎo)類的群體聚集行為進(jìn)行仿真研究啟發(fā)而得到的。PSO算法將每個(gè)可能產(chǎn)生的解表述為一個(gè)粒子,所有粒子在搜索空間中以一定速度飛行,粒子的運(yùn)動(dòng)軌跡用每個(gè)粒子的位置和速度來(lái)描述。但是,粒子在尋優(yōu)中隨機(jī)性不高,導(dǎo)致容易收斂到局部最優(yōu)點(diǎn)。2004年孫俊等人在量子系統(tǒng)中提出了一種量子粒子群優(yōu)化算法,該算法中的粒子具有量子行為,其運(yùn)動(dòng)狀態(tài)是由波函數(shù)來(lái)確定,粒子在量子δ勢(shì)阱的基礎(chǔ)上不斷的靠近局部吸引點(diǎn)pi(t),粒子在空間某位置的概率由薛定諤方程確定。因此采用蒙特卡洛模擬得到粒子的運(yùn)動(dòng)軌跡用如下方程確定:

(1)

其中,xi(t)為個(gè)體當(dāng)前最優(yōu)位置,u為[0, 1]之間的均勻分布隨機(jī)數(shù),±是由u的大小決定的,當(dāng)u>0.5時(shí),取+號(hào),其他情況取-號(hào);局部吸引點(diǎn)pi(t)由式(2)確定:

(2)

l為勢(shì)阱長(zhǎng)度，由式(3)確定:

li(t)=2β|mbesti-xi(t)|。

(3)

(4)

其中:N為種群數(shù),因此,QPSO算法中粒子的進(jìn)化方程最終為如下式子:

xi(t+1)=

(5)

1.2 Levy飛行原理

Levy飛行是一種隨機(jī)過(guò)程,行走的步長(zhǎng)服從Levy分布,它符合自然界的大部分生物的搜索行為,在進(jìn)行大規(guī)模搜索尋優(yōu)時(shí), 它可以進(jìn)行多數(shù)粒子的短距離局部搜索和少數(shù)粒子的長(zhǎng)距離全局搜索 不僅能擴(kuò)大種群的搜索空間,同時(shí)也能提高全局搜索性能,因次,一些學(xué)者在優(yōu)化算法中引入Levy飛行策略并取得了較好的性能[14-17]。

Levy飛行的步長(zhǎng)服從Levy 分布,其概率密度函數(shù)通常以如下形式出現(xiàn)

(6)

一般都是對(duì)其進(jìn)行簡(jiǎn)化和傅里葉變換,得到冪指數(shù)形式的概率密度函數(shù)如下所示：

Levy～μ=t-λ;1<λ<3。

(7)

其中:λ為冪指數(shù),式(7)服從Levy分布式是一個(gè)帶有寬尾的概率分布，在程序計(jì)算L(λ)時(shí),通常采用Mantegna提出的模擬Levy飛行步長(zhǎng)的計(jì)算公式[18]：

(8)

(9)

通過(guò)式(8)、(9)就可以計(jì)算出Levy飛行步長(zhǎng)L(λ)。

1.3 改進(jìn)的QPSO算法

在QPSO算法中,隨著粒子迭代次數(shù)的增加,種群的多樣性減少,相似的粒子會(huì)大大縮減種群的搜索空間,粒子陷入局部最優(yōu)后很難跳出來(lái)。采用Levy飛行策略進(jìn)行搜索可以擴(kuò)大粒子搜索空間,因此,Richer等人[19]最早在PSO算法中對(duì)于個(gè)體最優(yōu)引入了Levy分布,提高了搜索效率。本文在前述文獻(xiàn)的基礎(chǔ)上采用Levy飛行策略對(duì)QPSO算法進(jìn)行改進(jìn),利用Levy飛行獨(dú)特的隨機(jī)游走機(jī)制進(jìn)行搜索,以期擴(kuò)大粒子的搜索空間,并增加了種群的多樣性。基于該策略的改進(jìn)算法中需要將原算法中的式(5)更新為

(10)

其中：L(λ)中取λ=2。本文將采用Levy飛行搜索的QPSO算法,記為L(zhǎng)QPSO。

2 LQPSO算法訓(xùn)練WNN

2.1 小波神經(jīng)網(wǎng)絡(luò)概述

WNN是用小波函數(shù)替代神經(jīng)網(wǎng)絡(luò)的激活函數(shù)而得到,具有小波變換和神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn),它有很強(qiáng)的自主學(xué)習(xí)能力、函數(shù)逼近能力和較快的學(xué)習(xí)速度。三層的小波神經(jīng)網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

圖1 小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 The structure of WNN

其中xi(i=1,2,…,N)為輸入層,隱藏層激活函數(shù)采用小波基函數(shù),文中取Morlet為基函數(shù);y(x)為WNN的輸出,wi(i=1,2,…,N)為輸入層與隱藏層的神經(jīng)元間的權(quán)值,ui為隱藏層與輸出層的神經(jīng)元間的權(quán)值。

2.2 LQPSO算法訓(xùn)練WNN

QPSO-WNN網(wǎng)絡(luò)訓(xùn)練的本質(zhì)就是網(wǎng)絡(luò)的權(quán)重和閥值不斷調(diào)整的過(guò)程。QPSO用于WNN訓(xùn)練時(shí),網(wǎng)絡(luò)的權(quán)重和閾值由粒子的位置向量xi代表,粒子的最佳適應(yīng)度函數(shù)用網(wǎng)絡(luò)訓(xùn)練的均方誤差來(lái)表示:

(11)

LQPSO算法訓(xùn)練WNN的步驟:

Step1 確定WNN模型結(jié)構(gòu):輸入層,隱含層,輸出層的數(shù)目；

Step2 初始化:確定粒子數(shù)N=30,粒子維數(shù)20,最大迭代代數(shù)Tmax=200, 最佳精度g;

Step3 通過(guò)公式(11)評(píng)價(jià)每個(gè)粒子i對(duì)訓(xùn)練樣本的適應(yīng)度;

Step4 通過(guò)公式(2),(4),(10)計(jì)算粒子i經(jīng)Levy飛行后的達(dá)到的最佳位置pbesti,以及當(dāng)前最佳適應(yīng)度值,并將其與全局最優(yōu)位置gbesti的最佳適應(yīng)度值進(jìn)行對(duì)比,若較好,則用其替換全局最優(yōu)位置,并記錄當(dāng)前適應(yīng)度值;

Step5 判斷是否達(dá)到最大迭代次數(shù),否則返回步驟2;

Step6 不斷更新粒子,確定最佳網(wǎng)絡(luò)參數(shù);

Step7 輸入訓(xùn)練參數(shù),進(jìn)行WNN模型的負(fù)荷預(yù)測(cè);

Step8 反復(fù)訓(xùn)練,直到達(dá)到滿意的預(yù)測(cè)精度。

3 LQPSO-WNN模型用于負(fù)荷預(yù)測(cè)仿真

3.1 數(shù)據(jù)來(lái)源和模型結(jié)構(gòu)

本實(shí)驗(yàn)所用數(shù)據(jù)來(lái)源于網(wǎng)站:http://www.ferc.gov/market-oversight/mkt-electric/overview.asp中某城市的負(fù)荷數(shù)據(jù)。由于負(fù)荷數(shù)據(jù)具有很大的隨機(jī)性,原則上,選取歷史負(fù)荷數(shù)據(jù)越多,負(fù)荷預(yù)測(cè)的精確度就會(huì)越高。因此,在實(shí)際應(yīng)用中,常常選擇具有代表性的數(shù)據(jù),并對(duì)數(shù)據(jù)做預(yù)處理。一般的處理方法有數(shù)據(jù)的歸一化,使其位于[0,1]之間;對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行剔除;對(duì)缺失數(shù)據(jù)進(jìn)行前后兩個(gè)數(shù)據(jù)取平均值。在負(fù)荷預(yù)測(cè)中,負(fù)荷的數(shù)據(jù)主要受歷史數(shù)據(jù)和天氣的影響,另外,工作日和周末的負(fù)荷模式差異比較大。因此應(yīng)該將負(fù)荷數(shù)據(jù)在工作日和周末的獨(dú)立預(yù)測(cè)。QPSO-WNN網(wǎng)絡(luò)模型如表1。

3.2 LQPSO-WNN 預(yù)測(cè)結(jié)果及分析

本實(shí)驗(yàn)在MATLAB-R2013a上進(jìn)行,實(shí)驗(yàn)結(jié)果采用絕對(duì)誤差(absolute percentage error,APE)和平均絕對(duì)誤差(mean absolute percentage error,MAPE)作為檢驗(yàn)預(yù)測(cè)的負(fù)荷值和實(shí)際的負(fù)荷值之間差異的標(biāo)準(zhǔn)。

(12)

(13)

其中,Ai代表實(shí)際的負(fù)荷值,Pi代表預(yù)測(cè)的負(fù)荷值,n代表小時(shí)數(shù)。

表1 采用的網(wǎng)絡(luò)結(jié)構(gòu)模型

本文任意選中其中一天24小時(shí)整點(diǎn)的數(shù)據(jù)作為檢驗(yàn)網(wǎng)絡(luò)的泛化能力,分別采用QPSO-WNN和LQPSO-WNN用于負(fù)荷預(yù)測(cè),并將得到的預(yù)測(cè)值與實(shí)際的電力負(fù)荷值作比較,得到預(yù)測(cè)結(jié)果分別如圖2和圖3所示,橫坐標(biāo)為時(shí)間,縱坐標(biāo)為負(fù)荷值。

圖2 LQPSO-WNN預(yù)測(cè)結(jié)果Fig.2 The result of improved QPSO-WNN

圖3 QPSO-WNN預(yù)測(cè)結(jié)果Fig.3 The result of QPSO-WNN

分析比較可知,用LQPSO-WNN方法的負(fù)荷預(yù)測(cè)值和實(shí)際值的擬合度相對(duì)較高。兩種模型的絕對(duì)誤差A(yù)PE比較如表2,由表2可知,未改進(jìn)的QPSO-WNN模型的最大絕對(duì)誤差達(dá)到12.452 6%,而改進(jìn)之后的最大絕對(duì)誤差為5.281 1%。改進(jìn)后的模型降低了負(fù)荷預(yù)測(cè)的絕對(duì)誤差。由表3可知QPSO-WNN模型MAPE為3.031 2%,而LQPSO-WNN模型的MAPE為2.381 5%。由此可以看出LQPSO-WNN模型提高了預(yù)測(cè)精度。另外,在表3中可以發(fā)現(xiàn)改進(jìn)的模型迭代時(shí)間更短,計(jì)算效率更高。因此,本文提出的算法在進(jìn)行負(fù)荷預(yù)測(cè)時(shí)具有優(yōu)越性和高效性。

表2 兩種網(wǎng)絡(luò)結(jié)構(gòu)模型的絕對(duì)誤差(APE)對(duì)比

Tab.2 Comparisons of APE between two network structures adopted

時(shí)間QPSO-WNN/%LQPSO-WNN/%111.14723.814722.54500.0998312.45262.999941.00032.999951.97973.000061.46231.122673.00002.910283.00001.102991.12261.1102100.88960.1117112.99995.2811123.74303.0001133.84621.0861143.00003.0000155.58402.9993161.57641.5576172.23890.0404183.00003.0001190.62813.0000200.54690.5469210.85060.8506220.23912.8564234.73614.7361240.76513.5889

表3 兩種網(wǎng)絡(luò)結(jié)構(gòu)模型的迭代時(shí)間和預(yù)測(cè)誤差(MAPE)的對(duì)比

Tab.3 Comparisons of iteration time and MAPE between two network structures adopted

模型結(jié)構(gòu)迭代時(shí)間MAPE/%QPSO-WNN1943.0312LQPSO-WNN1572.3815

4 總 結(jié)

本文首先對(duì)QPSO算法進(jìn)行改進(jìn),提出了基于Levy飛行的LQPSO算法,該算法采用Levy飛行搜索來(lái)更新粒子位置,擴(kuò)大了粒子的搜索空間,使搜索效率最大化,從而避免粒子陷入局部最優(yōu)點(diǎn),提高了全局搜索性能和速度,并將LQPSO算法進(jìn)行訓(xùn)練WNN模型。最后將訓(xùn)練好的LQPSO-WNN模型應(yīng)用于電力系統(tǒng)的負(fù)荷預(yù)測(cè)仿真試驗(yàn),負(fù)荷預(yù)測(cè)結(jié)果表明LQPSO算法在WNN的訓(xùn)練中不僅具有較快的收斂速度,而且還提高了負(fù)荷預(yù)測(cè)的精度。

[1] 康重慶,夏清,劉梅.電力系統(tǒng)負(fù)荷預(yù)測(cè)[M].北京:中國(guó)電力出版社,2007:3-5.

[2] MOGHRAM I, RAHMAN S. Analysis and evaluation of five short-term load forecasting techniques [J]. Proceedings of the IEEE Transaction on Power Systems, 1989,4(4):1484-1491.

[3] 梁艷春,聶義勇.從科學(xué)方法論看人工神經(jīng)網(wǎng)絡(luò)研究的發(fā)展[J].吉林大學(xué)學(xué)報(bào)(信息科學(xué)版), 2001,20 (1):59-62.

[4] ZHANG Q. BENVENISTE. A wavelet networks [J]. IEEE Transactions of Neural Networks, 1992, 3(6):889-898.

[5] ZHANG Q. Using wavelet network in non parametric estimation [J].IEEE Transactions on Neural Networks, 1997, 8(2): 227-236.

[6] SZU H, TELFER B, KADAMBE S. Neural network adaptive wavelets for signal representation and classification[J]. Optical Engineering, 1992, 36(9):1907-1916.

[7] KENNEDY J, EBERHART R C. Particle swarm optimization[C]. Proceedings of the 1995 IEEE International Conference on Neutral Networks. Piscataway, NJ: IEEE Press, 1995: 1942-1948.

[8] SUN J, FENG B, XU W.B. Particle swarm optimization with particle having quantum behavior [C].Proceedings of Congress on Evolutionary Computation, Portland, USA：IEEE Press, 2004,1: 325-331.

[9] SUN J, XU W B, FENG B. Adaptive parameter control for quantum behaved particle Swarm optimization on individual level [C].Proceedings of IEEE International Conference on Systems, Man And Cybernetics, Piscataway：IEEE Press, 2005:3049-3054.

[10] TIAN S, LIU T J. Short term load forecasting based on FBFNN and QPSO[J]. Power and Energy Conference, 2009, 4:1-4.

[11] XI M L, SUN J, XU W B. An improved quantum behaved particle swarm optimization with weighted mean best position[J]. Applied Mathematics and Computation,2008,11: 751-759.

[12] COELHO L S, NEDJAH N, MOURELLE L M. Gaussian quantum behaved particle swarm optimization applied to fuzzy PID controller design[J]. Computational Intelligence, 2008,201:1-15.

[13] PENG Y M, XIANG Y, ZHONG Y B. Quantum-behaved particle swarm optimization algorithm with levy mutated global best position[J]. Fourth International Conference on Intelligent Control And Information Processing, 2013,7:529-534.

[14] LIU C P, YE C M. Bat algorithm with the characteristics of Levy flights [J]. CAAI Transactions On Intelligent Systems, 2013, 8(1): 240-246.

[15] 劉曉勇.帶有Levy flight機(jī)制的引力搜素算法[J].計(jì)算機(jī)科學(xué)與探索,2014,8(10)1239-1245.

[16] 朱曉恩,郝欣,夏順仁.基于Levy flight的特征選擇算法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2013,47(4):638-643.

[17] 嚴(yán)小飛,葉東毅.基于Levy飛行的改進(jìn)菌群覓食算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(3): 124-132.

[18] 張前圖,房立清, 趙玉龍. 具有Levy飛行特征的雙子群果蠅優(yōu)化算法[J]. 計(jì)算機(jī)應(yīng)用,2015,35(5):1348-1352.

[19] RICHER T J, BLACKWELL R A. The Levy particle swarm[J].IEEE Congress on Evolutionary Computation,2006,7:808-815.

(編 輯 亢小玉)

Applying improved quantum behaved particle swarm optimization used for neural networks model to load forecasting

ZHANG Lan1,2

(1.School of Natural and Applied Sciences, Northwestern Polytechnical University, Xi′an 710129, China;2.Department of Basic, Xi′an Aeronautical Polytechnic Institute, Xi′an 710089， China)

An improved quantum particle swarm optimization algorithm based on Levy flight is proposed, which is applied to the training phase of the wavelet neural network. The flight strategy based on Levy distribution is adopted to expand the search space of particles, making it easy for the particle to escape from the local optimum. The improved quantum behaved particle swarm optimization free from some disadvantages of the conventional neural networks training process, such as being likely to run into local minimum points and slow convergence speed, enhances the generation ability of traditional neural network. Finally, the improved quantum behaved particle swarm optimization is used for the training of wavelet neural network of load forecasting model in the power system. The simulation results show that the proposed algorithm enjoys high forecasting precision.

Levy flight; quantum behaved particle swarm; neuron network; load forecasting

2015-05-11

國(guó)家自然科學(xué)基金資助項(xiàng)目(11471262);陜西省教育廳科研計(jì)劃基金資助項(xiàng)目(15JK1381)

張?zhí)m，女，陜西西安人，博士生，從事優(yōu)化算法研究。

TP183; TM 743

A

10.16152/j.cnki.xdxbzr.2016-05-004