沈力華 陳吉紅 曾志剛 金健?

1)(華中科技大學機械科學與工程學院,武漢 430074)

2)(華中科技大學自動化學院,武漢 430074)

1 引 言

混沌是發(fā)生在自然界確定系統(tǒng)中貌似不規(guī)則、類似隨機的運動[1?3].從實際系統(tǒng)中獲得的具有混沌特性的時間序列種類和數(shù)量越來越多,如大氣環(huán)流、氣溫、降雨量、太陽黑子、黃河流量等[4?6].近年來,針對混沌時間序列的預測與分析已成為當今科學研究領(lǐng)域的一個研究熱點[7?9].由于神經(jīng)網(wǎng)絡(luò)和支持向量機較強的非線性逼近能力,其已被廣泛應用于混沌時間序列建模預測中,如:多層感知器[10]、回聲狀態(tài)網(wǎng)絡(luò)[11]、正則化回聲狀態(tài)網(wǎng)絡(luò)(RESN)[12]及魯棒回聲狀態(tài)網(wǎng)絡(luò)[4]、模糊神經(jīng)網(wǎng)絡(luò)[13]、極端學習機[14]、貝葉斯極端學習機(BELM)[15]、支持向量極端學習機(SVELM)[16]、遞歸預測器神經(jīng)網(wǎng)絡(luò)(RPNN)[17]等,都在混沌時間序列的預測中取得了快速的發(fā)展.

上述方法中,極端學習機由于其具有結(jié)構(gòu)簡單、學習效率高且能得到全局最優(yōu)解等優(yōu)點而得到廣泛應用.極端學習機隨機初始化輸入權(quán)值,在訓練過程中只調(diào)整輸出權(quán)值,從而可以得到全局最優(yōu)解,且具有更快的收斂速度,克服了梯度消失等缺點.由于上述優(yōu)點,近年來針對極端學習機的改進算法得到了快速的發(fā)展,如:有學者提出多核極端學習機(MKELM),以充分表達被學習數(shù)據(jù)集的信息[5,18],基于智能優(yōu)化算法的極端學習機[19]通過優(yōu)化核參數(shù)及模型其他全局參數(shù)來提升算法的預測性能,基于在線學習的極端學習機[20]以及面向深度學習的極端學習機[21].

極端學習機通過將輸入變量映射到高維空間,使數(shù)據(jù)在高維空間中具有線性特性,再對高維空間中的數(shù)據(jù)進行處理.目前,極端學習機最常采用的訓練方法為偽逆法.偽逆法雖然簡單易于實現(xiàn),但其在實際應用中容易產(chǎn)生病態(tài)解,即出現(xiàn)輸出權(quán)值很大的情況,導致模型的泛化能力很弱.為解決病態(tài)解問題,文獻[22]提出正則化極端學習機(RELM),在極端學習機優(yōu)化目標函數(shù)中引入正則項,通過選取合適的正則化參數(shù),提高模型泛化性能,避免了病態(tài)解問題.但是正則化參數(shù)的確定往往采用交叉驗證方法,而交叉驗證方法計算量較大且非常耗時.BELM不需要采用交叉驗證方法便可自動實現(xiàn)模型參數(shù)的估計,同時能夠提供模型參數(shù)的概率預測,進而得到預測的置信區(qū)間.但BELM假設(shè)模型輸出似然函數(shù)為高斯分布,這一假設(shè)使得模型對于含有異常點的時間序列非常敏感,當訓練數(shù)據(jù)中含有異常點時,模型預測精度會受到很大影響.而在實際應用中,由于數(shù)據(jù)受多種噪聲共同影響,數(shù)據(jù)中往往存在異常點.因此,建立一種對噪聲和異常點不敏感的魯棒極端學習機(Robust-ELM)預測模型在實際應用中具有重要意義.

采用重尾分布的模型輸出似然函數(shù),使模型對異常點具有較強的魯棒性,高斯混合分布作為一種近似Student-t分布,對異常點仍具有魯棒性[23].以單變量分布為例,在不含有和含有異常點兩種情況下,高斯分布以及高斯混合分布的概率密度曲線如圖1和圖2所示.取自高斯分布的300個整數(shù)點的直方圖分布,及其基于高斯分布和高斯混合分布的最大似然估計曲線如圖1所示.將26個異常點加入到上述數(shù)據(jù)集中產(chǎn)生的相應直方圖分布及基于不同分布的最大似然估計曲線如圖2所示.從圖2可以看出,高斯分布對異常點非常敏感,而高斯混合分布具有較強的魯棒性,不易受異常點的影響.因此,本文采用高斯混合分布作為模型輸出似然函數(shù).

圖1 無異常點時不同分布概率密度曲線Fig.1.Probability density curves of different distribution without outliers.

將高斯混合分布作為模型輸出似然函數(shù),使得模型輸出邊緣似然函數(shù)變成難以解析處理的形式,因此,引入變分近似推理對模型參數(shù)進行估計,實現(xiàn)模型的訓練,從而得到一種Robust-ELM.所提模型不但具有極端學習機的非線性逼近能力和BELM自動學習模型參數(shù)的能力,同時對異常點具有較強的魯棒性.與統(tǒng)計物理學采用的方法相似,本文同樣采用概率統(tǒng)計的方法來實現(xiàn)物理量的分析.在含有噪聲和異常點的情況下,將所提模型應用于大氣環(huán)流模擬模型方程Lorenz序列、Rossler序列以及太陽黑子混沌時間序列等物理量的預測中,通過仿真實驗分析,證明了所提模型對于解決含有噪聲和異常點的時間序列物理量預測問題,具有一定的價值和意義.

圖2 含異常點時不同分布概率密度曲線Fig.2.Probability density curves of different distribution with outliers.

2 極端學習機

2.1 極端學習機預測模型

極端學習機是一種單隱層前饋神經(jīng)網(wǎng)絡(luò),它由三層結(jié)構(gòu)組成,分別為輸入層、隱層及輸出層,其結(jié)構(gòu)如圖3所示.其中,輸入層和中間層、中間層和輸出層分別由輸入權(quán)值和輸出權(quán)值連接,輸入權(quán)值隨機產(chǎn)生,在網(wǎng)絡(luò)學習過程中不進行調(diào)整.極端學習機通過隱層將輸入變量映射到高維空間,使輸入變量在高維空間中具有線性特性,再通過學習輸出權(quán)值,對高維空間狀態(tài)進行線性表示,最終逼近輸出變量.

對于任意給定的N個不同樣本(xi,ti),其中為樣本輸入,ti為樣本目標輸出,為樣本目標輸出變量,設(shè)隱層節(jié)點個數(shù)為n,隱層激活函數(shù)為g(x),一般為sigmoid函數(shù).圖3極端學習機輸入輸出公式如下:

式中,oj為預測輸出;為第i個隱層節(jié)點與輸入層節(jié)點之間的連接權(quán)值,在網(wǎng)絡(luò)訓練之前隨機產(chǎn)生;為第i個隱層節(jié)點與輸出節(jié)點間的連接權(quán)值;表示點積運算.當有樣本輸入到網(wǎng)絡(luò)中時,采用激活函數(shù)和連接權(quán)值逼近N個樣本的目標值,則可得到下式:

式中,

其中,

當HHT或HTH非奇異時,輸出權(quán)值w通過下式求取,

H?表示H的偽逆,當rank(H)=N時,H?=HT(HHT)?1; 當rank(H)= n 時,H?=(HTH)?1HT.當HHT或HTH奇異時,可通過奇異值分解法求得w.

圖3 極端學習機結(jié)構(gòu)Fig.3.Structure of extreme learning machine.

在實際應用中偽逆法容易產(chǎn)生病態(tài)解,即出現(xiàn)輸出權(quán)值很大的情況,導致模型的泛化能力很弱.解決上述問題的正則化方法在網(wǎng)絡(luò)優(yōu)化目標函數(shù)中引入正則項,通過最小化如下目標函數(shù)求得網(wǎng)絡(luò)權(quán)值w:

通過將問題轉(zhuǎn)化為拉格朗日對偶優(yōu)化問題,得到的網(wǎng)絡(luò)輸出權(quán)值為

其中I為n×n的單位矩陣,C為正則化參數(shù).正則化參數(shù)C的確定通常采用交叉驗證的方法,計算量較大,且不易得到最優(yōu)值.

2.2 BELM

BELM可以通過自動遞歸求得輸出權(quán)值,不需要采用交叉驗證方法確定正則化參數(shù),同時能避免偽逆法容易產(chǎn)生病態(tài)解的問題.該方法假設(shè)學習誤差獨立且服從零均值高斯分布,即訓練數(shù)據(jù)似然函數(shù)服從如下高斯分布:

網(wǎng)絡(luò)輸出權(quán)值的先驗分布設(shè)為

w的相應后驗分布同樣為高斯分布,其均值和方差矩陣分別為mN和SN:

通過證據(jù)近似法確定β和α的值,計算公式如下:

其中,λi為βHTH的特征值.首先初始化參數(shù)β和α,再利用初始化后的β和α計算mN和SN,如(9)式所示,再利用估計的mN和SN,按照(10)和(11)式重新計算β和α的值,如此重復計算直到算法收斂.

3 Robust-ELM

上述基于貝葉斯回歸的極端學習機,實現(xiàn)了網(wǎng)絡(luò)參數(shù)的自動學習,不需要通過交叉驗證確定正則化參數(shù),但是貝葉斯回歸假設(shè)網(wǎng)絡(luò)學習誤差獨立且服從零均值高斯分布,該模型對異常點不具有魯棒性,當數(shù)據(jù)中存在異常點時,會使得模型的預測精度受到很大影響,因此本文在貝葉斯學習框架下,提出一種具有魯棒性的極端學習機預測模型.

3.1 Robust-ELM推理與參數(shù)估計

Robust-ELM將訓練樣本輸出似然函數(shù)設(shè)置為高斯混合分布,如(13)式所示.高斯混合分布也是一種重尾分布,它是Student-t分布的一種近似形式,具有對異常點不敏感的特性,對于任意一個訓練樣本,具體形式如下:

其中p1(T)如(7)式所示,p0(T)如下:

對于所有訓練樣本輸出似然函數(shù)可寫成

其中,hk為H的行向量,隱變量z的概率分布為

不同于BELM,在Robust-ELM中,將w的先驗概率分布設(shè)置為

式中,αh和wh分別為α和w的第h個元素,極端學習機隱層節(jié)點數(shù).先驗分布的設(shè)置類似于相關(guān)向量機中將α設(shè)置為由不同值組成的對角陣,而非一個標量,使得模型輸出權(quán)值具有稀疏解,提高了模型的泛化性能[24].

模型輸出的邊緣似然函數(shù)可表示為

由于(18)式是難以解析處理的,因此采用變分法近似推理,得到隱變量z和網(wǎng)絡(luò)輸出權(quán)值w的后驗概率分布.利用變分推理方法[25],求得網(wǎng)絡(luò)輸出權(quán)值w的近似后驗概率分布為高斯分布,其協(xié)方差矩陣和均值分別為Σ和μ.

其中,Ez(zk)為zk關(guān)于分布z的期望,

隱變量z的概率分布為

式中,

其中,

為更快速地更新各參數(shù)值[25],參數(shù)更新公式如下:

其中,μh和Σhh分別為μ和Σ的第h個元素.

3.2 Robust-ELM實現(xiàn)步驟

Robust-ELM預測模型首先將輸入變量映射到高維空間,進行魯棒貝葉斯推理,再利用變分近似推理法求得網(wǎng)絡(luò)輸出權(quán)值w.

模型具體實現(xiàn)過程如下.

第一步,隨機初始化極端學習機輸入權(quán)值矩陣win,并選擇適當?shù)碾[層節(jié)點數(shù)n,得到高維序列矩陣H.

第二步,將極端學習機輸出矩陣w作為待估參數(shù),設(shè)其先驗概率分布為(17)式,極端學習機輸出似然函數(shù)為(15)式,隱變量z的概率分布為(16)式.

第三步,基于變分推理方法,對Robust-ELM網(wǎng)絡(luò)輸出權(quán)值進行估計:

1) 初始化αh(h=1,2,···,r),β,β0,η及qzk(zk),初始化后,將以下步驟2和步驟3執(zhí)行υ1次,υ1為主更新次數(shù);

2)采用上述初始化后的各參數(shù)值,利用(19)式計算協(xié)方差矩陣Σ,再利用求得的Σ ,通過(20)式計算均值μ,獲得μ后再繼續(xù)利用計算協(xié)方差矩陣Σ,如此循環(huán)υ0次,υ0為子更新次數(shù);

3)利用(27),(29)和(30)式實現(xiàn)參數(shù)αh,β及η的更新,參數(shù)更新法收斂.

第四步,將第三步估計得到的μ作為Robust-ELM網(wǎng)絡(luò)的輸出權(quán)值w,當有新樣本需要預測時,將新樣本通過第一步極端學習機隱層映射到高維空間,并利用(2)式得到其預測值.

上述實現(xiàn)步驟可通過圖4表示.

圖4 Robust-ELM實現(xiàn)流程Fig.4.Implementing flow of Robust-ELM.

4 仿真實驗

為驗證所提模型的有效性,將其應用于加入噪聲和異常點的大氣環(huán)流模擬模型Lorenz混沌時間序列預測、Rossler混沌時間序列和太陽黑子時間序列預測中,并采用均方根誤差(root mean square error,RMSE)定量評價所提模型的性能,其中oi為第i個樣本的預測值,ti為第i個樣本的實際值.

為驗證所提Robust-ELM的有效性,在三組仿真實驗中,通過向時間序列加入不同比例的噪聲和異常點來進行仿真實驗.加入噪聲和異常點的方式分為6種:方式A為只加入數(shù)量為訓練樣本1%的10倍異常點,不加入高斯噪聲;方式B為只加入10%水平的高斯噪聲,不加入異常點;方式C為加入10%水平的高斯噪聲和訓練樣本2%數(shù)量的10倍異常點;方式D為加入20%水平的高斯噪聲和訓練樣本5%數(shù)量的20倍異常點;方式E為加入30%水平的高斯噪聲和訓練樣本8%數(shù)量的30倍異常點;方式F為加入40%水平的高斯噪聲和訓練樣本10%數(shù)量的40倍異常點.具體加入噪聲和異常點的方式為:在訓練數(shù)據(jù)集的目標變量中加入一定水平的高斯噪聲,并隨機選擇一定比例的訓練樣本,再將選擇到的訓練樣本原值通過相應比例的放大以加入異常點.以加入方式D為例;加入20%水平的高斯噪聲和5%的20倍異常點是指加入20%水平的高斯噪聲的同時,再從訓練樣本中隨機選擇Noutlier(Noutlier為訓練樣本總數(shù)乘以5%經(jīng)四舍五入后取整)個樣本,將這Noutlier個樣本的值放大20倍.

將Lorenz,Rossler和太陽黑子-黃河流量時間序列加入噪聲和異常點后,將其與RELM[21],RESN[12],BELM[15],SVELM[16],MKELM[18]和基于改進微粒群算法的核極端學習機(APSOKELM)[19]等方法的預測結(jié)果進行比較.并選取訓練集20%的數(shù)據(jù)作為驗證集,以確定各模型的全局最優(yōu)參數(shù)值.在三組仿真實驗中,Robust-ELM方法的主要參數(shù)設(shè)置如表1所列.

表1 Robust-ELM模型的主要參數(shù)設(shè)置Table 1.Parameters setting of Robust-ELM.

4.1 Lorenz混沌時間序列仿真分析

Lorenz系統(tǒng)是美國氣象學家Lorenz模擬大氣環(huán)流模型建立的三元一階常微分方程組[2],Lorenz混沌方程如下

隨機選擇初始值,舍棄瞬態(tài)后產(chǎn)生訓練集和測試集,將得到具有混沌特性的時間序列.為使得相關(guān)算法在同等條件下進行比較,將初始值設(shè)置為a=10,b=8/3,c=28,x(0)=y(0)=z(0)=1.0.利用四階Runge-Kutta法產(chǎn)生2500組混沌時間序列.將x(t),y(t),z(t)作為輸入序列,x(t+1)作為待預測序列,選擇前1800組作為訓練樣本,后700組作為測試樣本,Lorenz時間序列如圖5所示.

圖5 Lorenz混沌時間序列(a)Lorenz-x(t)時間序列;(b)Lorenz-y(t)時間序列;(c)Lorenz-z(t)時間序列Fig.5.Lorenz chaotic time series:(a)Lorenz-x(t)time series;(b)Lorenz-y(t)time series;(c)Lorenz-z(t)time series.

表2 含不同比例噪聲和異常點的各模型預測誤差(Lorenz序列)Table 2.Prediction errors of different models for data with different ratios of noise and outliers(Lorenz time series).

加入不同比例的噪聲和異常點后各模型的預測誤差如表2所列.從表2可以看出,當數(shù)據(jù)中包含異常點時,各模型預測精度都受到一定的影響,與SVELM和Robust-ELM相比,RELM,RESN,MKELM,APSO-KELM和BELM受異常點的影響更大.主要是因為SVELM通過松弛因子能夠減小一部分噪聲和異常點的影響,而Robust-ELM通過采用高斯混合分布作為模型輸出似然函數(shù),提高了模型的魯棒性,從而獲得了更高的預測精度.

以方式D為例,將訓練數(shù)據(jù)集中的目標輸出序列中加入20%水平的高斯噪聲和5%(90個)的20倍異常點.加入噪聲和異常點后的Robust-ELM預測曲線和相應的預測誤差曲線如圖6所示,從圖6可以看出,即使加入了大量噪聲和異常點,所提模型仍具有較高的預測精度.

圖6 含噪聲和異常點的Lorenz序列x(t)預測結(jié)果(a)Robust-ELM預測Lorenz-x(t)曲線;(b)Robust-ELM預測誤差曲線Fig.6.Prediction results of Lorenz series x(t)with noise and outliers:(a)Prediction curves of Robust-ELM for Lorenz-x(t)time series;(b)prediction error of Robust-ELM for Lorenz-x(t)time series.

4.2 Rossler混沌時間序列仿真分析

為更進一步的比較各算法的預測性能,另一組實驗為Rossler混沌時間序列的仿真分析,Rossler時間序列方程如下所示:

同樣利用四階Runge-Kutta法產(chǎn)生4000組混沌時間序列.將x(t),y(t),z(t)作為輸入序列,x(t+1)作為待預測序列,選擇前2000組作為訓練樣本,后2000組作為測試樣本.為驗證模型的有效性,同樣采用6種方式加入不同水平的噪聲和不同比例的異常點,加入噪聲和異常點后不同模型的預測結(jié)果如表3所列.

從表3可以看出,采用方式B僅加入10%水平的高斯噪聲時,APSO-KELM取得了最好的預測結(jié)果,主要是因為APSO-KELM通過改進的微粒群算法對核參數(shù)及其他全局參數(shù)進行優(yōu)化,使得模型的預測精度有了較大提升,但當模型中加入異常點或同時加入異常點和噪聲時,其預測精度受到了很大的影響,而所提模型只在方式B下預測精度僅次于APSO-KELM,在其他5種加入噪聲和異常點的方式下,所提模型的預測結(jié)果都優(yōu)于其他方法.從表3也可以看出,所提模型對高斯噪聲和異常點均有較好的抗干擾能力,而對于異常點的抗干擾能力相對更強.以方式E為例,將訓練數(shù)據(jù)集中的目標輸出序列中加入30%水平的高斯噪聲和8%(160個)的30倍異常點.加入噪聲和異常點后的Robust-ELM預測曲線和相應的預測誤差曲線如圖7所示,從圖中可以看出,即使加入了大量噪聲和異常點,所提模型仍能較好地預測該時間序列值.

表3 含不同比例噪聲和異常點的各模型預測誤差(Rossler序列)Table 3.Prediction errors of different models for data with different ratios of noise and outliers(Rossler time series).

圖7 含噪聲和異常點的Rossler序列x(t)預測結(jié)果(a)Robust-ELM預測Rossler-x(t)曲線;(b)Robust-ELM預測誤差曲線Fig.7.Prediction results of Rossler series x(t)with noise and outliers:(a)Prediction curves of Robust-ELM for Rossler-x(t)time series;(b)prediction error of Robust-ELM for Rossler-x(t)time series.

4.3 太陽黑子-黃河徑流混沌時間序列仿真分析

為進一步驗證所提模型的有效性,將其應用于太陽黑子和黃河徑流二元混沌時間序列預測中,輸入變量為太陽黑子和黃河徑流量,待預測變量為下一年太陽黑子.選擇樣本區(qū)間為1700年至2003年太陽黑子和黃河徑流量混沌時間序列.經(jīng)相空間重構(gòu)后,產(chǎn)生299組數(shù)據(jù),選擇前200組作為訓練樣本,后99組作為測試樣本.

將訓練數(shù)據(jù)集中的目標輸出序列中加入異常點和噪聲前后的太陽黑子時間序列如圖8所示.

圖8 含異常點和噪聲的太陽黑子混沌時間序列Fig.8.Sunspot chaotic time series with outliers and noise.

表4 含異常點和噪聲數(shù)據(jù)的不同模型預測誤差(太陽黑子序列)Table 4.Prediction errors of different models for data with outliers and noise(Sunspot time series).

加入不同比例異常點和噪聲后各模型預測誤差如表4所列.從表4可以看出,當加入大量噪聲和異常點后,RELM,RESN,BELM和MKELM的預測精度受到了嚴重的影響,所提模型相比于其他方法仍具有更高的預測精度.從表4也可以看出加入噪聲和異常點后所提模型預測值只產(chǎn)生了微小波動,具有較強的魯棒性,能較好地描繪太陽黑子-黃河流量時間序列的動力學特性.

4.4 算法計算復雜度和收斂性分析

極端學習機模型對隱層狀態(tài)矩陣HN×n直接求偽逆,計算復雜度為O(n2N+n3),其中N為訓練樣本數(shù),n為極端學習機隱層節(jié)點數(shù).所提Robust-ELM模型主更新次數(shù)為υ1,子更新次數(shù)為υ0,根據(jù)算法實現(xiàn)程序,執(zhí)行υ1次迭代的時間復雜度為O(υ1υ0(Nn+Nn2+Nn3)), 括號中的Nn+Nn2+Nn3為執(zhí)行一次子更新需要的向量與矩陣以及向量與向量相乘所需的總步數(shù).

在實際應用中,訓練樣本數(shù)N一般大于隱層節(jié)點數(shù)n,因此,即使ELM時間復雜度與Robust-ELM均可表示為O(N),但在實際應用中,由于隱層節(jié)點數(shù)n的作用,Robust-ELM運行效率通常低于ELM.但在時間復雜度均為O(N)的情況下,Robust-ELM從算法的魯棒性方面對已有算法進行改進和優(yōu)化.其采用高斯混合分布作為模型輸出似然函數(shù),得到一種對異常點和噪聲更具魯棒性的預測模型.同時在三組仿真實驗中,通過向時間序列加入不同比例的噪聲和異常點來進行仿真實驗分析,可看出Robust-ELM的預測性能遠優(yōu)于極端學習機,具有較強的魯棒性.且在實際應用中,時間序列往往受到噪聲和異常點的影響,因此,提高預測模型的魯棒性,減小噪聲和異常點對模型的影響對于提高模型預測精度具有重要的意義.

本文基于貝葉斯框架提出Robust-ELM,首先通過將輸入樣本映射到高維空間中,并將極端學習機的輸出權(quán)值作為待估計參數(shù),將具有重尾分布特性的高斯混合分布作為模型輸出似然函數(shù),再采用變分方法實現(xiàn)模型參數(shù)的估計.所提方法本質(zhì)是基于變分貝葉斯推理估計模型參數(shù),獲得模型參數(shù)的后驗概率分布.因此,其收斂性與變分貝葉斯估計相同,變分貝葉斯估計的收斂性在文獻[26]中得到了詳細的證明,詳細的證明過程見文獻[26]的附錄A至附錄F.與期望最大化迭代算法相似,所提方法采用設(shè)定閾值的方法確定最大迭代次數(shù).在模型訓練過程中,若當前次訓練誤差比上一次迭代時的訓練誤差之差小于該閾值時,說明算法已收斂.在三組仿真實驗中,Lorenz序列的最大主更新次數(shù)為6,子更新次數(shù)為6;Rossler序列的最大主更新次數(shù)為7,子更新次數(shù)為5;太陽黑子序列的最大主更新次數(shù)為8,子新次數(shù)為6.以Lorenz序列為例,選擇有代表性的方式D(加入20%水平的高斯噪聲和訓練樣本5%數(shù)量的20倍異常點)、方式E(加入30%水平的高斯噪聲和訓練樣本8%數(shù)量的30倍異常點)、方式F(加入40%水平的高斯噪聲和訓練樣本10%數(shù)量的40倍異常點)向時間序列中加入噪聲和異常點.在以上三種情況下,Robust-ELM算法的收斂曲線如圖9所示,從圖中可以看出,當主更新次數(shù)為4,即總的迭代次數(shù)為24次時,算法均已收斂,對于Lorenz序列的其他加入噪聲和異常點的方式以及Rossler和太陽黑子序列情況,算法收斂情況類似.

圖9 以Lorenz序列為例,Robust-ELM收斂曲線Fig.9.Convergence curves of Robust-ELM for Lorenz chaotic time series.

5 結(jié) 論

本文在貝葉斯框架下提出Robust-ELM預測模型,所提模型不但具備了基于貝葉斯學習方法的模型參數(shù)自動學習能力,避免了交叉驗證選取正則化參數(shù)過程,同時所提模型將混合高斯模型作為極端學習機輸出似然函數(shù),提高了模型的魯棒性,且由于學習得到的輸出權(quán)值具有稀疏性,提高了模型的泛化能力和預測精度.通過將所提模型應用于含有噪聲和異常點的大氣環(huán)流模型方程、Rossler混沌時間序列以及太陽黑子時間序列的預測中,證明了所提模型對于解決含有噪聲和異常點的時間序列物理量預測問題,具有一定的實際應用價值.

[1]Xiu C B,Xu M 2010 Acta Phys.Sin.59 7650(in Chinese)[修春波,徐勐 2010物理學報 59 7650]

[2]Han M,Xu M L 2013 Acta Phys.Sin.62 120510(in Chinese)[韓敏,許美玲 2013物理學報62 120510]

[3]Zhang J S,Xiao X C 2000 Acta Phys.Sin.49 403(in Chinese)[張家樹,肖先賜 2000物理學報 49 403]

[4]Li D C,Han M,Wang J 2012 IEEE Trans.Neural Netw.Learn.Syst.23 787

[5]Wang X Y,Han M 2015 Acta Phys.Sin.64 070504(in Chinese)[王新迎,韓敏 2015物理學報64 070504]

[6]Li R G,Zhang H L,Fan W H,Wang Y 2015 Acta Phys.Sin.64 200506(in Chinese)[李瑞國,張宏立,范文慧,王雅2015物理學報64 200506]

[7]Chandra R,Ong Y S,Goh C K 2017 Neurocomputing 243 21

[8]Politi A 2017 Phys.Rev.Lett.118 144101

[9]Ye B,Chen J,Ju C 2017 Comput.Nonlin.Scien.Num.Simul.44 284

[10]Koskela T,Lehtokangas M,Saarinen J,Kask K 1996 Proceedings of the World Congress on Neural Networks(San Diego:INNS Press)p491

[11]Jaeger H,Haas H 2004 Science 304 78

[12]Dutoit X,Schrauwen B,van Campenhout J 2009 Neurocomputing 72 1534

[13]Ma Q L,Zheng Q L,Peng H,Tan J W 2009 Acta Phys.Sin.58 1410(in Chinese)[馬千里,鄭啟倫,彭宏,覃姜維2009物理學報58 1410]

[14]Huang G B,Zhu Q Y,Siew C K 2006 Neurocomputing 70 489

[15]Soria-Olivas E,Gomez-Sanchis J,Martin J D 2011 IEEE Trans.Neural Netw.22 505

[16]Huang G B,Wang D H,Lan Y 2011 Int.J.Mach.Learn.Cybern.2 107

[17]Han M,Xi J,Xu S 2004 IEEE Trans.Sig.Proc.52 3409

[18]Liu X,Wang L,Huang G B 2015 Neurocomputing 149 253

[19]Lu H,Du B,Liu J 2017 Memet.Comput.9 121

[20]Wang X,Han M 2015 Engin.Appl.Artif.Intell.40 28

[21]Tang J,Deng C,Huang G B 2016 IEEE Trans.Neural Netw.Learn.Syst.27 809

[22]Huang G B,Zhou H,Ding X 2012 IEEE Trans.Syst.Man Cybern.B 42 513

[23]Tipping M E,Lawrence N D 2005 Neurocomputing 69 123

[24]Tipping M E 2001 J.Mach.Learn.Res.1 211

[25]Faul A C,Tipping M E 2001 International Conference on Arti ficial Neural Networks Vienna,Austria,August 21–25,2001 p95

[26]Wang B,Titterington D M 2006 Bayes.Analys.1 625