李 彬，李貽斌

(1. 山東大學(xué)控制科學(xué)與工程學(xué)院，濟(jì)南 250061；2. 山東輕工業(yè)學(xué)院數(shù)理學(xué)院，濟(jì)南 250353)

混沌系統(tǒng)是一個(gè)確定的非線性動(dòng)態(tài)系統(tǒng)，由這種系統(tǒng)產(chǎn)生的混沌信號(hào)對(duì)初始條件比較敏感，難以長(zhǎng)期預(yù)測(cè)．混沌理論和混沌信號(hào)的處理是現(xiàn)階段的一個(gè)熱點(diǎn)研究問(wèn)題，混沌時(shí)間序列(混沌信號(hào))是對(duì)一個(gè)混沌系統(tǒng)采樣得到的單變量時(shí)間序列．為了更好地研究混沌系統(tǒng)，如何對(duì)這種高度復(fù)雜，強(qiáng)非線性的混沌信號(hào)進(jìn)行建模和預(yù)測(cè)，是當(dāng)前的一個(gè)難點(diǎn)和熱點(diǎn)問(wèn)題．

神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)驅(qū)動(dòng)的結(jié)構(gòu)和算法，具有逼近任意非線性函數(shù)的能力，可以映射出數(shù)據(jù)之間的非線性關(guān)系．從而使得神經(jīng)網(wǎng)絡(luò)成為混沌時(shí)間序列預(yù)測(cè)的一個(gè)強(qiáng)有力的工具．文獻(xiàn)[1-3]中，分別探討了徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)、BP(back propagation)神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)等對(duì)混沌時(shí)間序列問(wèn)題的預(yù)測(cè)．現(xiàn)存的這些方法存在很多缺點(diǎn)，一般算法比較復(fù)雜，均為批處理學(xué)習(xí)算法，不能進(jìn)行實(shí)時(shí)的在線學(xué)習(xí)，很多參數(shù)需要人工調(diào)整，預(yù)測(cè)精度不高，收斂速度慢或容易陷入局部極小點(diǎn)，算法運(yùn)行的時(shí)間較長(zhǎng)等．

2006 年，Huang 等[4]提出了一類性能優(yōu)良的單隱層前向神經(jīng)網(wǎng)絡(luò)(single-hidden layer feed forward neural networks，SLFNs)學(xué)習(xí)算法，稱為極端學(xué)習(xí)機(jī)(extreme learning machine，ELM)學(xué)習(xí)算法，與一般的BP 神經(jīng)網(wǎng)絡(luò)、RBF 神經(jīng)網(wǎng)絡(luò)相比，性能較好．該算法可以隨機(jī)地選擇網(wǎng)絡(luò)中隱層神經(jīng)元個(gè)數(shù)和類型，構(gòu)造不同的學(xué)習(xí)算法，且在隨機(jī)選擇輸入層權(quán)值和隱層神經(jīng)元偏差(閾值)前提下，可以解析獲得隱層輸出權(quán)值，該方法具有許多優(yōu)良的特性，如學(xué)習(xí)速度快，泛化能力好等．ELM 學(xué)習(xí)算法和理論[4-6]經(jīng)過(guò)許多學(xué)者的努力，已在函數(shù)逼近、模式分類、系統(tǒng)辨識(shí)等方面得到廣泛應(yīng)用．本文將ELM 學(xué)習(xí)算法用于混沌時(shí)間序列預(yù)測(cè)，擴(kuò)展了這種算法的應(yīng)用范圍．仿真結(jié)果表明，ELM 學(xué)習(xí)算法所處理的混沌時(shí)間序列，預(yù)測(cè)精度較高，學(xué)習(xí)速度較快．并且針對(duì)同一問(wèn)題，在網(wǎng)絡(luò)復(fù)雜度相同的前提下，選擇不同的激活函數(shù)，ELM 學(xué)習(xí)算法性能差異較大，即ELM 學(xué)習(xí)算法激活函數(shù)的選擇具有問(wèn)題依賴性．

1 ELM學(xué)習(xí)算法簡(jiǎn)介

式中：G(w i,bi,x)為與輸入x對(duì)應(yīng)的第i個(gè)隱層神經(jīng)元的輸出；βi=[βi1,βi2,···,βim]T為第i個(gè)隱層神經(jīng)元與輸出神經(jīng)元之間的連接權(quán)向量．

當(dāng)激活函數(shù)g(x)為加性神經(jīng)元時(shí)，第i 個(gè)隱層神經(jīng)元的輸出為

當(dāng)激活函數(shù)g(x)為RBF 神經(jīng)元時(shí)，其相應(yīng)的輸出為

式中：wi和bi分別為第i 個(gè)徑向基函數(shù)的中心和影響因子(寬度)；R+是一個(gè)正實(shí)數(shù)集合．

對(duì)于 N 個(gè)任意輸入樣本(xj,tj)，其中，給定個(gè)隱層神經(jīng)元和激活函數(shù)G(wi,bi,x)，則存在βi，wi和bi，使得SLFNs 能夠以零誤差逼近這N 個(gè)樣本點(diǎn)，即

式(4)可以寫成矩陣形式為

式中：H是該神經(jīng)網(wǎng)絡(luò)的隱層輸出矩陣，H的第i列是關(guān)于輸入x1,x2,…,xN的第i 個(gè)隱層神經(jīng)元的輸出．

對(duì)于單隱層前向神經(jīng)網(wǎng)絡(luò)，ELM 學(xué)習(xí)算法對(duì)于任意無(wú)限可微的激活函數(shù)都是可用的[4-5]，從而拓展了前向神經(jīng)網(wǎng)絡(luò)激活函數(shù)的選擇空間．與傳統(tǒng)的函數(shù)逼近理論不同，ELM 學(xué)習(xí)算法的輸入層權(quán)值w i和隱層的偏差bi可以隨機(jī)選擇[4]．從而，對(duì)于前向神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，無(wú)需對(duì)輸入層權(quán)值和隱層偏差進(jìn)行調(diào)整，一旦這些參數(shù)隨機(jī)確定以后，隱層輸出矩陣H在網(wǎng)絡(luò)開(kāi)始訓(xùn)練時(shí)，保持不變．從而，SLFNs 的訓(xùn)練過(guò)程，等價(jià)于尋找線性系統(tǒng)H β=T的最小二乘解，如果隱層神經(jīng)元的個(gè)數(shù)和網(wǎng)絡(luò)的輸入樣本個(gè)數(shù)N 相同，即=N，當(dāng)輸入層權(quán)值和隱層偏差隨機(jī)確定以后，矩陣H是可逆方陣，則該SLFNs 能夠以零誤差逼近訓(xùn)練樣本．但是，在大多數(shù)情況下?N，矩陣H不是方陣，從而不存在使得=Hβ=T．但是可以求這個(gè)線性系統(tǒng)的最小范數(shù)最小二乘解：=H+T，其中H +為矩陣H的Moore-Penrose 廣義逆．

步驟1隨機(jī)設(shè)定輸入層權(quán)值wi和偏差bi，i=1,…，,．

步驟 2計(jì)算隱層輸出矩陣H．

步驟3計(jì)算輸出層權(quán)值β：=H +T，其中T=

2 計(jì)算機(jī)仿真與結(jié)果分析

本文用Box and Jenkins gas furnace data[7]和Mackey-Glass[8]混沌時(shí)間序列預(yù)測(cè)問(wèn)題來(lái)進(jìn)行計(jì)算機(jī)仿真．ELM 學(xué)習(xí)算法的隱層神經(jīng)元個(gè)數(shù)和激活函數(shù)類型，根據(jù)所處理的問(wèn)題進(jìn)行選取，以期得到較好的逼近誤差和泛化能力．本文所有結(jié)果都是在Matlab 7.0 環(huán)境下，CPU 為1.7,GHz 的奔騰Ⅳ機(jī)器上運(yùn)行得到的，為了使算法更有說(shuō)服力，表中的結(jié)果為10 次仿真結(jié)果的平均值，算法性能用均方根誤差衡量．

在Box and Jenkins gas furnace data 基準(zhǔn)問(wèn)題中，原始數(shù)據(jù)點(diǎn)個(gè)數(shù)為296 個(gè)，其中u(t)為輸入氣體流速，y (t )為輸出CO2濃度，用{y(t? 1),y (t? 2),y(t?3),y(t? 4),u(t? 1)，u(t? 2)，u(t? 3)，u(t? 4)，u(t?5),u(t? 6)}時(shí)刻的值來(lái)預(yù)測(cè) y (t )時(shí)刻的值．這里取的有效數(shù)據(jù)點(diǎn)個(gè)數(shù)為290 個(gè)，前200 個(gè)為訓(xùn)練樣本，后90個(gè)作為測(cè)試樣本．

Mackey-Glass 微分延遲方程被認(rèn)為是一個(gè)混沌時(shí)間序列基準(zhǔn)問(wèn)題．它由下面的微分延遲方程產(chǎn)生，

式中：a= 0.2；b= 0.1；τ= 17．用微分延遲方程生成的Mackey-Glass 時(shí)間序列個(gè)數(shù)為4,500，其中的前4,000 數(shù)據(jù)用來(lái)訓(xùn)練網(wǎng)絡(luò)，后500 個(gè)作為網(wǎng)絡(luò)的測(cè)試數(shù)據(jù)，來(lái)測(cè)試網(wǎng)絡(luò)的泛化能力．

在同一激活函數(shù)下，神經(jīng)網(wǎng)絡(luò)中隱層激活函數(shù)個(gè)數(shù)越多，逼近能力越好，但是有可能出現(xiàn)過(guò)擬合現(xiàn)象，使得神經(jīng)網(wǎng)絡(luò)的泛化能力降低．因此，為了獲得較好的網(wǎng)絡(luò)性能，必須適當(dāng)?shù)剡x擇合適的隱層神經(jīng)元個(gè)數(shù)．為了使得ELM 學(xué)習(xí)算法有比較好的性能，在Box and Jenkins gas furnace data 和Mackey-Glass 混沌時(shí)間序列預(yù)測(cè)中，隱層神經(jīng)元個(gè)數(shù)分別為15和200．

如表1 所示，對(duì)于Box and Jenkins gas furnace data 基準(zhǔn)問(wèn)題，在相同的網(wǎng)絡(luò)復(fù)雜度(隱層神經(jīng)元個(gè)數(shù)相同)前提下，線性(linear)激活函數(shù)性能表現(xiàn)良好，和其他激活函數(shù)相比，其訓(xùn)練誤差和測(cè)試誤差都較小，2 種誤差的標(biāo)準(zhǔn)偏差為0，網(wǎng)絡(luò)的穩(wěn)定性較好．而對(duì)于Mackey-Glass 混沌時(shí)間序列問(wèn)題來(lái)說(shuō)，當(dāng)激活函數(shù)為sigmoid時(shí)，網(wǎng)絡(luò)的性能表現(xiàn)較好．仿真結(jié)果表明對(duì)于相同的網(wǎng)絡(luò)復(fù)雜度，選擇不同的激活函數(shù)，同樣的問(wèn)題性能表現(xiàn)有很大的不同，即ELM 學(xué)習(xí)算法中激活函數(shù)的選擇具有問(wèn)題依賴性．因此，在同樣網(wǎng)絡(luò)復(fù)雜度前提下，根據(jù)實(shí)際問(wèn)題選擇不同的激活函數(shù)對(duì)設(shè)計(jì)高性能的ELM 前向神經(jīng)網(wǎng)絡(luò)是重要的．

表1 不同激活函數(shù)條件下ELM學(xué)習(xí)算法關(guān)于混沌時(shí)間序列預(yù)測(cè)問(wèn)題的性能比較Tab.1 Performance comparison of ELM learning algorithm with different activation functions for chaotic time series prediction problems

圖1和圖2 分別為2個(gè)混沌時(shí)間序列問(wèn)題的預(yù)測(cè)曲線，從圖上可以看出，在適當(dāng)?shù)倪x擇激活函數(shù)類型和隱層神經(jīng)元個(gè)數(shù)前提下，ELM 學(xué)習(xí)算法比較適合處理復(fù)雜的混沌時(shí)間序列預(yù)測(cè)問(wèn)題，能嚴(yán)格地跟蹤擬合這些高度復(fù)雜、強(qiáng)非線性曲線．

圖1 ELM 學(xué)習(xí)算法關(guān)于Box and Jenkins 煤氣爐混沌時(shí)間序列預(yù)測(cè)問(wèn)題的預(yù)測(cè)曲線(線性激活函數(shù))Fig.1 Prediction curve of ELM learning algorithm for Fig.1 Box and Jenkins gas furnace chaotic time series Fig.1 prediction problems (linear activation function)

圖2 ELM學(xué)習(xí)算法關(guān)于Mackey-Glass混沌時(shí)間序列預(yù)測(cè)問(wèn)題的預(yù)測(cè)曲線(sigmoid 激活函數(shù))Fig.2 Prediction curve of ELM learning algorithm for Fig.2 Mackey-Glass chaotic time series prediction pro-Fig.2 blems(sigmoid activation function)

為了更好地體現(xiàn)ELM 學(xué)習(xí)算法的優(yōu)良性能，本文比較了ELM 和資源分配網(wǎng)絡(luò)(resource allocating network，RAN)[9]徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．除期望輸出誤差取值為0.001 之外，RAN 學(xué)習(xí)算法的其他參數(shù)選取和文獻(xiàn)[8]一樣．從表2 可以看出，在相同的網(wǎng)絡(luò)復(fù)雜度前提下，和RAN 學(xué)習(xí)算法相比，ELM 學(xué)習(xí)算法的訓(xùn)練時(shí)間、訓(xùn)練誤差和測(cè)試誤差都較小，更適合于混沌時(shí)間序列問(wèn)題的預(yù)測(cè)．

表2 ELM和RAN學(xué)習(xí)算法在混沌時(shí)間序列預(yù)測(cè)問(wèn)題的性能比較Tab.2 Performance comparison of ELM and RAN learning algorithms for chaotic time series prediction problems

3 結(jié) 語(yǔ)

本文將ELM 學(xué)習(xí)算法應(yīng)用于混沌時(shí)間序列預(yù)測(cè)，與其他方法不同，ELM 學(xué)習(xí)方法在隨機(jī)選擇輸入層權(quán)值和隱層偏差的前提下，可以解析獲得隱層輸出權(quán)值，算法簡(jiǎn)單，執(zhí)行速度很快．與RAN 學(xué)習(xí)算法相比，仿真表明對(duì)于混沌時(shí)間序列預(yù)測(cè)問(wèn)題，ELM 學(xué)習(xí)算法具有較好的性能．同時(shí)也說(shuō)明了對(duì)于同樣的問(wèn)題，ELM 學(xué)習(xí)算法中，選擇不同激活函數(shù)，性能表現(xiàn)差異明顯，即ELM 激活函數(shù)的選擇具有問(wèn)題依賴性．針對(duì)不同問(wèn)題，激活函數(shù)的選擇一般有2 種方式：一種是把從所處理問(wèn)題中提取的先驗(yàn)知識(shí)耦合進(jìn)神經(jīng)網(wǎng)絡(luò)算法當(dāng)中[10]；另一種是選擇激活函數(shù)自適應(yīng)可調(diào)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法．因此，根據(jù)實(shí)際問(wèn)題選擇不同的神經(jīng)網(wǎng)絡(luò)激活函數(shù)對(duì)設(shè)計(jì)高性能的極端學(xué)習(xí)機(jī)前向神經(jīng)網(wǎng)絡(luò)是重要的，也為將來(lái)設(shè)計(jì)激活函數(shù)自適應(yīng)可調(diào)的ELM學(xué)習(xí)算法提供了一定的理論基礎(chǔ)．

［1］李冬梅，王正歐. 基于RBF 神經(jīng)網(wǎng)絡(luò)的混沌時(shí)間序列預(yù)測(cè)[J]. 模式識(shí)別與人工智能，2001，14(2)：231-234.Li Dongmei，Wang Zheng’ou. Prediction of chaotic time series based on RBF neural networks[J].Pattern Recognition and Artificial Intelligence，2001，14(2)：231-234(in Chinese).

［2］郁俊莉. 基于混沌時(shí)間序列的非線性動(dòng)態(tài)系統(tǒng)神經(jīng)網(wǎng)絡(luò)建模與預(yù)測(cè)[J]. 武漢大學(xué)學(xué)報(bào)：理學(xué)版，2005，51(3)：286-290.Yu Junli. Modeling and forecasting of the nonlinear dynamic system neural network based on the chaotic time series[J].Journal of Wuhan University：Natural Science Edition，2005，51(3)：286-290(in Chinese).

［3］Maguire L P，Roche B，McGinnity T M，et al. Predicting a chaotic time series using a fuzzy neural network[J].Information Sciences，1998，112(1/2/3/4)：125-136.

［4］Huang G B，Zhu Q Y，Siew C K. Extreme learning machine ： Theory and applications[J].Neurocomputing，2006，70(1/2/3)：489-501.

［5］Huang G B，Siew C K. Extreme learning machine with randomly assigned RBF kernels[J].International Journal of Information Technology，2005，11(1)：16-24.

［6］Li M B，Er M J. Nonlinear system identification using extreme learning machine[C]//Ninth International Conference on Control，Automation，Robotics and Visio.Singapore，2006：1-4.

［7］Rojas I，Gonzalez J，Canas A，et al. Short-term prediction of chaotic time series by using RBF network with regression weights[J].International Journal of Neural Systems，2000，10(5)：353-364.

［8］李 彬，賴曉平. 改進(jìn)的GGAP-RBF 算法及其在函數(shù)逼近中的應(yīng)用[J]. 模式識(shí)別與人工智能，2007，20(2)：230-235.Li Bin，Lai Xiaoping. An improved GGAP-RBF algorithm and its application to function approximation[J].Pattern Recognition and Artificial Intelligence，2007，20(2)：230-235(in Chinese).

［9］Platt J. A resource-allocating network for function interpolation neural computation[J].Neural Computation，1991，3(2)：213-225.

［10］韓 飛. 基于先驗(yàn)信息編碼的約束學(xué)習(xí)算法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)自動(dòng)化系，2006.Han Fei. A Study of Constrained Learning Algorithms Encoding the a Priori Information of Problem[D].Hefei：Department of Automation，University of Science and Technology of China，2006(in Chinese).