林麗娜，魏德志，2

(1.集美大學 誠毅學院， 福建 廈門 361021; 2.福州大學 經(jīng)濟與管理學院，福州 350108)

?

EP-RBF神經(jīng)網(wǎng)絡(luò)在時間序列預(yù)測中的應(yīng)用

林麗娜1，魏德志1，2

(1.集美大學 誠毅學院， 福建 廈門 361021; 2.福州大學 經(jīng)濟與管理學院，福州 350108)

為了提高RBF神經(jīng)網(wǎng)絡(luò)預(yù)測的準確率，提出了一種基于EM聚類算法和改進的PSO算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的混合算法(EP-RBF)。首先，采用EM聚類算法獲得初始網(wǎng)絡(luò)結(jié)構(gòu)，并改進RBF神經(jīng)網(wǎng)絡(luò)的徑向基函數(shù)；然后引入非線性慣性權(quán)重和分段變異算子改進PSO算法，增強算法的全局和局部搜索能力，利用改進的PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的基寬向量、中心矢量、網(wǎng)絡(luò)權(quán)值等參數(shù)，提高逼近精度；最后對典型的混沌系統(tǒng)進行驗證。結(jié)果表明：該混合算法能更好地逼近非線性函數(shù)，提高預(yù)測準確率。

徑向基函數(shù)；神經(jīng)網(wǎng)絡(luò)；粒子群算法；混沌系統(tǒng)；時間序列

混沌系統(tǒng)具有亂序、無規(guī)則、隨機、對初始條件依賴等特點，它是研究演化過程的一種科學系統(tǒng)。對混沌系統(tǒng)的研究已經(jīng)在各行各業(yè)得到了廣泛的應(yīng)用。混沌系統(tǒng)時間序列是毫無規(guī)律的，要從長期來進行預(yù)測非常困難，但在看似無規(guī)律的背后，通過對非線性系統(tǒng)的研究可以在短期對它進行預(yù)測。用于混沌時間序列預(yù)測的方法有神經(jīng)網(wǎng)絡(luò)[1-3]、支持向量機[4-5]、誤差補償[5-6]、相空間重構(gòu)[7-8]、混合模型[9-10]等。支持向量機是一種有關(guān)統(tǒng)計學的模型算法，通過對非線性函數(shù)的逼近可以獲得很好的效果，但是算法的參數(shù)選擇過于依賴人工。

人工神經(jīng)網(wǎng)絡(luò)通過足夠時間的訓練，對時間序列的預(yù)測可以達到很好的精度。RBF網(wǎng)絡(luò)和其他網(wǎng)絡(luò)相比，具有拓撲結(jié)構(gòu)簡單、學習快速高效的特點，是前向網(wǎng)絡(luò)的一種主要結(jié)構(gòu)，被廣泛應(yīng)用于實時自適應(yīng)系統(tǒng)。該網(wǎng)絡(luò)經(jīng)過證明只要節(jié)點數(shù)足夠多，可以以任何精度逼近單值函數(shù)，因此得到了廣泛應(yīng)用。RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于預(yù)測的難點主要是本身網(wǎng)絡(luò)結(jié)構(gòu)的確定和相關(guān)參數(shù)的優(yōu)化，目前還沒有一種方法可以解決這個問題。文獻[6]提出一種進化算法改進RBF網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，實驗結(jié)果表明泛化能力得到了提高。文獻[7]采用極大熵學習算法改進混沌系統(tǒng)，改善網(wǎng)絡(luò)的學習和回歸能力。文獻[8]在確定網(wǎng)絡(luò)隱含層中心過程中采用了聚類方式，提高網(wǎng)絡(luò)訓練速度。文獻[9]提出一種主動控制思想，將系統(tǒng)分解為受控和自由子系統(tǒng)，試驗結(jié)果表明該方法能抑制抖振，不受外界干擾。文獻[10]為了克服RBF網(wǎng)絡(luò)容易收斂于局部極值的缺點，采用PSO算法進行優(yōu)化，從而提高逼近的精度。

以上改進方法在一定程度上取得了不錯的效果，文獻[6-7，10]主要從優(yōu)化網(wǎng)絡(luò)參數(shù)角度進行改進，文獻[8]主要從初始化網(wǎng)絡(luò)結(jié)構(gòu)、確定隱含層角度進行改進，但是隨著混沌理論的發(fā)展，并不能滿足實際系統(tǒng)要求的高精確度，而且，網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)優(yōu)化還有待于進一步提高。因此，本文為了提高預(yù)測的精確度，分別從前期初始化網(wǎng)絡(luò)結(jié)構(gòu)和后期優(yōu)化網(wǎng)絡(luò)參數(shù)兩個角度進行。首先在前期無監(jiān)督學習中采用EM算法獲得網(wǎng)絡(luò)結(jié)構(gòu)的隱含層的中心點，并改進徑向基函數(shù)；然后在后期有監(jiān)督學習中，采用改進PSO進化算法，根據(jù)誤差不斷對網(wǎng)絡(luò)參數(shù)進行優(yōu)化得到相關(guān)網(wǎng)絡(luò)參數(shù)；最后經(jīng)過混沌時間序列的實驗驗證，證明EP-RBF方法有較高預(yù)測準確性。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)是一種三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)：第一層是輸入層，第二層是隱含層，第三層是輸出層。第一層節(jié)點個數(shù)通過輸入向量x的維數(shù)來計算；第二層的節(jié)點數(shù)根據(jù)訓練數(shù)據(jù)點的個數(shù)決定，同時和輸入層進行連接；第三層的節(jié)點數(shù)等于輸出數(shù)據(jù)的維數(shù)。假設(shè)有n個訓練樣本，則RBF網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)輸入Xn=[xn1,xn2,…,xnm]，實際輸出為Yk=?yk1,yk2,…,ykj」，那么從輸入到輸出的函數(shù)映射如式(1)所示。

(1)

(2)

式(1)中：n為輸入樣本的個數(shù)；J為輸出單元的個數(shù)；I為隱含層的節(jié)點數(shù)；Xi=[xi1,xi2,…,xim]為基函數(shù)的中心；θj為網(wǎng)絡(luò)閾值；ωij為網(wǎng)絡(luò)連接權(quán)值。式(2)中：基函數(shù)φ采用高斯函數(shù)，σ為基寬向量。RBF網(wǎng)絡(luò)的精度主要由中心節(jié)點、基寬向量、閾值、網(wǎng)絡(luò)值等參數(shù)決定，通過對網(wǎng)絡(luò)參數(shù)進行優(yōu)化，可以提高網(wǎng)絡(luò)的逼近性能。

2 EM聚類算法結(jié)合高斯模型改進徑向基函數(shù)

(3)

(4)

最大似然估計算法簡稱EM算法，是一種以統(tǒng)計學為基礎(chǔ)、能抗噪音干擾、具有魯棒性的聚類算法，可以快速有效地計算出式(4)的中心值ui和方差Σi，具體實現(xiàn)過程描述如下。

2) 假設(shè)算法已經(jīng)循環(huán)迭代k次，k大于0，根據(jù)式(5)計算樣本Xn屬于各個聚類中心的概率值。

(5)

3) 根據(jù)式(6)～(8)計算更新基本參數(shù)λ0。

(6)

(7)

(8)

4) 根據(jù)式(9)計算最大對數(shù)似然估計Ek。如果|Ek-Ek+1|≤ε，其中ε為接近0的自定義值，則算法循環(huán)迭代終止，否則程序跳至步驟2)繼續(xù)循環(huán)計算。

(9)

5) 求出最終中心值ui和方差Σi計算的結(jié)果，代入式(4)隱含層徑向基函數(shù)進行求解。

整個算法的核心思想是利用EM算法得到聚類模型的中心值ui和方差Σi，并且把結(jié)果直接應(yīng)用到改進隱含層徑向基函數(shù)ψ(Xn,ui)中，減少了聚類計算的次數(shù)，根據(jù)樣本的概率值來進行數(shù)據(jù)對象的分割計算，抗噪音干擾性強，可以進行高維空間計算，算法初始化容易并且收斂快速。

3 改進的PSO算法

PSO算法是一種進化算法，主要根據(jù)鳥類捕食行為來進行尋優(yōu)設(shè)計?？臻g中的每個解通過粒子來表示，最優(yōu)解根據(jù)粒子在空間中的運動不斷進行位置和速度的調(diào)整來獲得。算法的基本思想如下：假設(shè)搜索空間為m維，空間有n個粒子，這些粒子組成對應(yīng)的種群X，則Xn=[xn1,xn2,…,xnm]代表第n個粒子在m維空間的位置；Vn=[Vn1,Vn2,…,Vnm]代表第n個粒子的速度；Pn=[Pn1,Pn2,…,Pnm]代表個體極值；Pg=[Pg1,Pg2,…,Pgm]代表全局極值。算法在每次搜索過程中，粒子通過式(10)和(11)修改自身的位置和速度，不斷在空間進行搜索，直到得到最優(yōu)解。

(10)

(11)

PSO算法具有容易收斂、簡單易操作等特點，但是存在著收斂早熟、有一定誤差以及不容易進行全局尋最優(yōu)等缺點。通過引入非線性權(quán)重和變異算子，對PSO算法進行修改，解決算法種群多樣性不足的缺點。

3.1 非線性權(quán)重

慣性權(quán)重ω代表的是當前粒子速度和一代粒子的速度的相似性。Shi.Y提出了線性遞減慣性權(quán)重來提高算法的搜索能力，具體見式(12)。為了解決線性遞減慣性權(quán)重不能很好處理非線性的問題，本文對式(12)進行改進，提出了一種非線性權(quán)重，具體見式(13)。

ω(k)=ωstart-(ωstart-ωend)(kmax-k)/kmax

(12)

(13)

取值ωstart=0.9，ωend=0.4，從圖2中根據(jù)式(12)和(13)，描述出了權(quán)重ω迭代不斷變化的整個過程。通過式(13)計算的結(jié)果顯示變化過程更加平滑穩(wěn)定，主要原因在于算法開始時，權(quán)重取較大的值有利于進行全局計算和查找，在算法后期權(quán)重取較小的值對局部計算和搜索有利，從而可以加快整個算法的搜索速度，更快地進行收斂。

圖2 慣性權(quán)重ω變化過程

3.2 分段變異算子

目前部分學者把遺傳算法中的變異操作引入PSO算法進行改進，主要是根據(jù)一定的概率在粒子更新的時候進行變異操作。粒子作為粒子群的一部分在粒子群不斷迭代運算過程中，粒子的狀態(tài)也不斷改變，傳統(tǒng)的變異操作在這方面的考慮有待提高。本文提出一種分段變異算子，在算法迭代初期對適應(yīng)度較低的粒子進行變異，把該粒子的位置更新為適應(yīng)度高粒子的平均值；在后期為了防止算法的早熟現(xiàn)象出現(xiàn)預(yù)設(shè)一個閾值，讓個體和全局極值在一定范圍內(nèi)進行隨機變化，具體隨機變化的操作見式(14)。

(14)

隨機變化的基本思想為：如果大于閾值，按照式(14)進行更新，否則按照式(10)進行更新計算。通過以上利用算子進行分段的變異操作，粒子群在迭代計算中產(chǎn)生更多的多樣性，拓展了種群的空間搜索能力，防止出現(xiàn)收斂過早的現(xiàn)象，可更好地得到全局最優(yōu)解。

4 EP-RBF混合算法

混合算法首先利用了EM聚類算法對RBF結(jié)構(gòu)進行改進，然后利用PSO優(yōu)化相關(guān)結(jié)構(gòu)的參數(shù)，最終算法能夠有效提高逼近精度，更好地解決非線性系統(tǒng)預(yù)測的問題。算法具體流程見圖3。

圖3 EP-RBF混合算法流程

算法具體步驟如下：

1) 給定神經(jīng)網(wǎng)絡(luò)的訓練數(shù)據(jù)集，包含輸入和輸出樣本集；

2) 利用EM聚類算法確定RBF神經(jīng)網(wǎng)絡(luò)的中心值ui和方差Σi，并確定徑向基函數(shù)；

3) 對網(wǎng)絡(luò)的隱含層中心值、方差、閾值、權(quán)值參數(shù)進行實數(shù)編碼，隨機產(chǎn)生粒子種群，同時初始化PSO參數(shù)；

4) 更新迭代新粒子的速度和位置；

5) 確定PSO算法的適應(yīng)度函數(shù)，采用輸出值的均方根誤差公式作為適應(yīng)度的計算公式，具體見式(15)。根據(jù)誤差適應(yīng)度函數(shù)計算結(jié)果對個體和群體極值進行更新。

(15)

6) 判斷是否符合算法結(jié)束條件，如果不符合，轉(zhuǎn)至步驟4)，如果符合，得到一組最優(yōu)的網(wǎng)絡(luò)參數(shù)。

7) RBF網(wǎng)絡(luò)算法進行實驗數(shù)據(jù)訓練預(yù)測，得到預(yù)測結(jié)果。

5 實驗

5.1 實驗條件

本文的實驗仿真環(huán)境為Matlab2010b，通過神經(jīng)網(wǎng)絡(luò)工具箱編寫RBF、PSO-RBF、EP-RBF三種神經(jīng)網(wǎng)絡(luò)預(yù)測算法。對表1中經(jīng)典非線性混沌系統(tǒng)時間序列進行預(yù)測實驗，并和參考文獻中的其他預(yù)測算法進行誤差指標對比。

表1 Lorenz非線性混沌系統(tǒng)

(15)

(16)

(17)

(18)

5.2 實驗結(jié)果

將混沌系統(tǒng)產(chǎn)生的3 000個x分量的時間序列數(shù)據(jù)分成兩種數(shù)據(jù)樣本，分別是訓練和預(yù)測。其中前2 000個數(shù)據(jù)作為訓練樣本，后1 000個數(shù)據(jù)作為預(yù)測樣本。表2給出了混合算法和其他算法在誤差Rmse、Perr和Smape的比較結(jié)果。

表2 不同模型算法對Lorenz系統(tǒng)預(yù)測誤差

從表2中可以看出：不同模型算法在誤差指標RMSE、Perr、Smape中的表現(xiàn)情況，本文算法相比其他模型算法的誤差指標提高了一個數(shù)量級左右，得到較好的效果。

6 結(jié)束語

本文提出了一種基于EM算法和改進的PSO算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的混合算法EP-RBF。通過利用EM算法和智能算法的優(yōu)點，提高了對混沌系統(tǒng)的預(yù)測精度。對Lorenz混沌系統(tǒng)的實驗結(jié)果表明，本文模型算法能精確模擬混沌系統(tǒng)的時間序列，適用于混沌系統(tǒng)，適用范圍廣。同時，在和其他模型算法的比較實驗中，本文模型算法在精確度上有較大的提升，達到了一個數(shù)量級。

[1] 趙永平,王康康.具有增加刪除機制的正則化極端學習機的混沌時間序列預(yù)測[J].物理學報,2013,62(24):82-89.

[2] 張學清,梁軍.基于EEMD-近似熵和儲備池的風電功率混沌時間序列預(yù)測模型[J].物理學報,2013,62(5):76-85.

[3] 龍文.基于混合進化算法的RBF神經(jīng)網(wǎng)絡(luò)時間序列預(yù)測[J].控制與決策,2012,27(8):1265-1268.

[4] 郭會軍,劉丁,趙光宙.受擾統(tǒng)一混沌系統(tǒng)基于RBF網(wǎng)絡(luò)的主動滑?？刂芠J].物理學報,2011,60(1):104-110.

[5] 肖本賢,王曉偉,劉一福.MPSO-RBF優(yōu)化策略在鍋爐過熱系統(tǒng)辨識中的仿真研究[J].系統(tǒng)仿真學報,2007,19(6):1382-1385.

[6] 趙永平.過濾窗最小二乘支持向量機的混沌時間序列預(yù)測[J].物理學報,2013,62(12):113-121.

[7] 黃敏,胡學鋼.基于支持向量機的網(wǎng)絡(luò)輿情混沌預(yù)測[J].計算機工程與應(yīng)用,2013,49(24):130-134.

[8] 張金良,譚忠富.混沌時間序列的混合預(yù)測方法[J].系統(tǒng)工程理論與實踐,2013,33(3):763-769.

[9] 唐舟進.基于迭代誤差補償?shù)幕煦鐣r間序列最小二乘支持向量機預(yù)測算法[J].物理學報,2014,63(5):78-87.

[10]AMJADY N,KEYNIA F.Day-ahead price forecasting of electricity markets by a mixed model and hybrid forecast method[J].International Journal of Electrical Power & Energy Systems,2008,30(9):533-546.

(責任編輯 楊黎麗)

The Application of EP-RBF Neural Networks in the Prediction of Time Series

LIN Li-na1, WEI De-zhi1，2

(1.Chengyi College, Jimei University, Xiamen 361021,China;2.School of Economics and Management, Fuzhou University, Fuzhou 350108, China)

A hybrid algorithm (EP-RBF), which was optimized by the EM clustering and improved PSO,was proposed in order to improve the prediction accuracy of RBF neural network. Firstly, the network structure was initialized by EM clustering algorithm, and the radial basis function of RBF neural network was improved. Then the nonlinear inertia weight and sectional mutation operator were introduced to improve the PSO in order to improve theglobal and local search ability, and the base width vector, center vector, network weights and other parameters of the RBF neural net work was optimized by the improved PSO in order to improve the accuracy of approximation. Finally, the several typical chaotic systems were verified to show that the hybrid algorithm can approach the nonlinear function better and improve the accuracy of prediction.

radial basis function;neural network;particle swarm optimization algorithm;chaotic system;time series

2016-03-18 基金項目：國家自然科學基金資助項目 (71271056)；福建省教育廳資助項目(C13001，JA14368)

林麗娜(1984—)，女，碩士,講師，主要從事網(wǎng)絡(luò)安全與網(wǎng)絡(luò)輿情研究，E-mail:linda_839@126.com；魏德志(1982—)，男，副教授，博士研究生，主要從事網(wǎng)絡(luò)安全與網(wǎng)絡(luò)輿情研究。

林麗娜，魏德志.EP-RBF神經(jīng)網(wǎng)絡(luò)在時間序列預(yù)測中的應(yīng)用[J].重慶理工大學學報(自然科學)，2016(11):121-126.

format：LIN Li-na,WEI De-zhi.The Application of EP-RBF Neural Networks in the Prediction of Time Series [J].Journal of Chongqing University of Technology(Natural Science)，2016(11):121-126.

10.3969/j.issn.1674-8425(z).2016.11.020

TP393

A

1674-8425(2016)11-0121-06