李志剛，高媛媛，孫曉川

(華北理工大學(xué)，河北 唐山 063200)

1 引言

混沌時間序列廣泛存在于氣象系統(tǒng)、天文系統(tǒng)、水文系統(tǒng)等復(fù)雜的自然系統(tǒng)中[1]。這些系統(tǒng)隨時間的演變呈現(xiàn)出非線性、非周期性且伴有噪聲的混沌特性。如何預(yù)測演變出混沌時間序列的變化規(guī)律是一項(xiàng)具有挑戰(zhàn)性的研究課題[2-4]。

當(dāng)前，機(jī)器學(xué)習(xí)成為預(yù)測混沌時間序列的主流方法，特別是人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Net-work， ANN)。其中，遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network， RNN)[5]憑借其記憶的特性，表現(xiàn)出良好的非線性逼近能力。但它訓(xùn)練算法復(fù)雜、網(wǎng)絡(luò)結(jié)構(gòu)難以確定，導(dǎo)致計算負(fù)擔(dān)過重且容易陷入局部最優(yōu)，極大地影響了它的預(yù)測能力。

為解決以上問題，Jaeger 教授在 2001 年提出回聲狀態(tài)網(wǎng)絡(luò)(Echo State Networks， ESN)[6]，它的核心為隨機(jī)產(chǎn)生且稀疏連接的儲備池。ESN的學(xué)習(xí)過程簡單，只需訓(xùn)練輸出權(quán)值，呈現(xiàn)出計算量小且精度高的優(yōu)勢，成功應(yīng)用于網(wǎng)絡(luò)流量預(yù)測、模式識別、圖像處理、事件檢測等領(lǐng)域[7-8]。眾所周知，ESN在構(gòu)建網(wǎng)絡(luò)時產(chǎn)生了眾多參數(shù)，如譜半徑、輸入尺度、稀疏度、儲備池規(guī)模等。由于它們在初始化中隨機(jī)產(chǎn)生，使得網(wǎng)絡(luò)適應(yīng)性和穩(wěn)定性降低，影響網(wǎng)絡(luò)的泛化性能，特別是輸入權(quán)值、儲備池內(nèi)部權(quán)值和反饋權(quán)值的隨機(jī)初始化對網(wǎng)絡(luò)性能影響較大。

針對ESN的輸入權(quán)值、儲備池內(nèi)部權(quán)值和反饋權(quán)值的參數(shù)選擇問題，大量的優(yōu)化算法被研究[9-14]。粒子群優(yōu)化算法(Particle Swarm Optimization， PSO)[15]憑借其較強(qiáng)的全局搜索能力和較高的計算精度，被廣泛用于優(yōu)化ESN參數(shù)。其中Wang等[16]采用二進(jìn)制PSO算法優(yōu)化輸出權(quán)值來替代ESN的訓(xùn)練，提高了ESN的預(yù)測精度，但卻忽略了模型的復(fù)雜度，影響模型的預(yù)測效率。然而，Chouikhi等[17]采用PSO算法對儲備池規(guī)模和連通性進(jìn)行單一參數(shù)和組合參數(shù)的優(yōu)化，在模型復(fù)雜度和預(yù)測精度中權(quán)衡出最優(yōu)的模型。盡管上述這些做法不同程度上彌補(bǔ)了ESN的預(yù)測能力，但優(yōu)化參數(shù)的特征較多會導(dǎo)致網(wǎng)絡(luò)隨機(jī)性的喪失和預(yù)測速度的降低，選擇適當(dāng)?shù)奶卣髯蛹莾?yōu)化參數(shù)任務(wù)中非常重要的工作。針對以上問題，Chouikhi等[18]用粒子群優(yōu)化算法來優(yōu)化部分輸入權(quán)值、儲備池內(nèi)部權(quán)值和反饋權(quán)值并在多個時間序列中得到了驗(yàn)證。這樣既保留了網(wǎng)絡(luò)的隨機(jī)性，又降低了模型復(fù)雜度，并且提高了預(yù)測精度。但由于粒子群優(yōu)化算法存在參數(shù)較多、收斂速度慢、容易陷入局部最優(yōu)解等問題，降低了它的收斂效率。

為了有效處理全局優(yōu)化，探尋簡單而高效的優(yōu)化算法，提高ESN的預(yù)測效率，R. Rao等[19]提出了教與學(xué)優(yōu)化 (Teaching-learning-based Optimization， TLBO)，它是一種基于種群的求解非線性連續(xù)問題的隨機(jī)方法，它的靈感來自于一個典型班級的教學(xué)過程。具有參數(shù)少，簡單易行，收斂速度快，穩(wěn)定性強(qiáng)，計算精度高，全局搜索能力強(qiáng)等優(yōu)勢，可以有效地彌補(bǔ)PSO的不足[20]。

鑒于此，本文對ESN的參數(shù)選擇問題展開了研究，具體是指利用TLBO算法來優(yōu)化ESN中初始化且固定不變的輸入權(quán)值、儲備池內(nèi)部權(quán)值和輸出權(quán)值，以提高ESN的預(yù)測性能。同時，為了降低優(yōu)化模型的復(fù)雜度，減少訓(xùn)練時間，并保留以上參數(shù)的隨機(jī)性，本文采取部分優(yōu)化的方式來獲得最優(yōu)復(fù)雜度模型結(jié)構(gòu)，保留優(yōu)化參數(shù)的隨機(jī)性，以獲得一種具有最優(yōu)復(fù)雜度和隨機(jī)性的高效預(yù)測模型TLBO-ESN。進(jìn)一步，將其與相關(guān)PSO優(yōu)化方法作對比并采取Mackey-Glass和Lorenz混沌時間序列驗(yàn)證模型的有效性。

2 教與學(xué)優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)

本文提出的TLBO-ESN是用TLBO來自適應(yīng)選擇局部的輸入權(quán)值、儲備池內(nèi)部權(quán)值和輸出權(quán)值參數(shù)，不僅保留了網(wǎng)絡(luò)的部分隨機(jī)性，并且提高了模型的預(yù)測性能。

2.1 TLBO-ESN的網(wǎng)絡(luò)結(jié)構(gòu)

具有參數(shù)自適應(yīng)性和隨機(jī)性的TLBO-ESN模型結(jié)構(gòu)如圖1所示。將教與學(xué)優(yōu)化的Win，W和Wfb用紅色箭頭表示，具有隨機(jī)性的原始Win，W和Wfb用黑色箭頭表示，使TLBO-ESN成為一種簡單而高效的遞歸神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)ESN相似，儲備池內(nèi)部的神經(jīng)元采用隨機(jī)產(chǎn)生并稀疏連接的方式，增強(qiáng)了模型的非線性映射能力。

圖1 教與學(xué)優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的更新方程如下

x(t+1)=f(Winu(t+1)+Wx(t)+Wfby(t))

(1)

y(t+1)=fout(Woutx(t+1)+Winoutu(t+1))

(2)

其中，u(t)，x(t)，y(t)分別表示輸入層，儲備池和輸出層在t時刻的狀態(tài)。f和fout為儲備池和輸出層的激活函數(shù)，它們可以是線性函數(shù)，也可以是非線性函數(shù)，常見的有Tanh，Sigmoid等。將Winout和Wout定義為輸出權(quán)值矩陣R，R需要在訓(xùn)練中更新

R=pinv(M)*yt

(3)

其中M是儲備池內(nèi)部神經(jīng)元的狀態(tài)矩陣，pinv(M)是M的偽逆矩陣，yt是輸出層神經(jīng)元狀態(tài)矩陣。所以，求解輸出權(quán)值矩陣R就轉(zhuǎn)化為了簡單的線性問題。

2.2 教與學(xué)優(yōu)化策略

首先，選取部分Win，W，Wfb作為待優(yōu)化對象partWeight

partWeight=αψin+βψ+γψfb

(4)

其中ψin，ψ和ψfb是Win，W，Wfb中的非零元素，參數(shù)α，β，γ是設(shè)定的參數(shù)，范圍[0，1]。

適應(yīng)值函數(shù)也稱“目標(biāo)函數(shù)”，用來評價優(yōu)化對象的優(yōu)劣，本文采用均方根誤差(Root Mean Squared Error， RMSE)作為適應(yīng)度函數(shù)

(5)

其中，N為輸出樣本大小，yt(t)為t時刻的期望輸出，y(t)為t時刻的實(shí)際輸出。

將待優(yōu)化對象partWeight賦值給NP個學(xué)生，組成班級S=x1，x2，…，xNP，令迭代次數(shù)為G，班級中的每個學(xué)員的位置為xi(i=1， 2，…，NP)，根據(jù)適應(yīng)度函數(shù)RMSE，每位學(xué)員有成績Xi(i=1， 2，…，NP)，通過優(yōu)化輸出成績最佳的xi(i=1， 2，…，NP)。

優(yōu)化分為兩個階段：教師階段和學(xué)生階段。

在教師階段，將整個班級中成績最佳的當(dāng)作教師xteacher， 教師通過式(6)傳授經(jīng)驗(yàn)給學(xué)生來提高整個班級的成績

(6)

其中，xiold和xinew分別表示第i個學(xué)員學(xué)習(xí)前和學(xué)習(xí)后的位置，mean是所有學(xué)員的平均位置；還有兩個關(guān)鍵的參數(shù)，即教學(xué)因子TFi=round[1+rand(0，1)]和學(xué)習(xí)步長ri=rand(0，1)， 因?yàn)槊總€學(xué)生的學(xué)習(xí)能力不同，因此教學(xué)因子TFi和學(xué)習(xí)步長ri應(yīng)針對不同學(xué)生進(jìn)行設(shè)定，使算法具有特異性。

在學(xué)習(xí)階段，學(xué)生通過互動交流學(xué)習(xí)，進(jìn)一步提高自己的成績。每個學(xué)員xi(i=1，2，…，NP)在班級中隨機(jī)選取一個學(xué)習(xí)對象xj(j≠i)，xi通過式(7)分析自己和xj的差異進(jìn)行學(xué)習(xí)調(diào)整：

(7)

其中ri=rand(0，1) 表示第i個學(xué)員的學(xué)習(xí)步長。

2.3 訓(xùn)練步驟

與傳統(tǒng)的ESN訓(xùn)練不同，TLBO-ESN在訓(xùn)練前需將部分Win，W，Wfb進(jìn)行迭代尋優(yōu)，用優(yōu)化好的Win，W，Wfb參與傳統(tǒng)的ESN訓(xùn)練。TLBO-ESN的訓(xùn)練步驟如下所示。

算法：TLBO-ESN的訓(xùn)練

1)初始化ESN的參數(shù)；初始化partWeight；

2)xi( i=1：NP )=partWeight；

3)NP=8， G=50；

4)while G < 50 do

5)Xi( 1 ：NP)=RMSE；

6)xteacher=適應(yīng)值最佳的xi；

7) 教師階段：

8) for i=1： NP do

9)xinew=xiold+ri× (xteacher-TFi×mean) ；

10) end for

11) 更新學(xué)生成績；

12) 學(xué)生階段：

13) 隨機(jī)選取xj( j≠i )；

14) for i=1： NP do

15)ifXi

16) xi new=xi old+ri× (xi-xj)；

17) else

18) xi new=xiold+ri× (xj-xi)；

19) end if

20) end for

21) 更新學(xué)生成績；

22)end while

23)partWeight=xi( i=1：NP )；

24)將partWeight加入到網(wǎng)絡(luò)中；

25)根據(jù)式(1) (2)更新網(wǎng)絡(luò)狀態(tài)；

26)根據(jù)式(5)求訓(xùn)練誤差；

27)根據(jù)式(3)求輸出權(quán)值R。

3 實(shí)驗(yàn)分析

本文考慮了Mackey-Glass和Lorenz混沌時間序列數(shù)據(jù)集，選取PSO-ESN、RandWPSO-ESN、LinWPSO-ESN、LnCPSO-ESN、AsyLnCPSO-ESN來評估TLBO-ESN的有效性和優(yōu)越性。

表1 模型的參數(shù)配置

表1給出了Mackey-Glass和Lorenz基準(zhǔn)下模型的參數(shù)配置，這些參數(shù)通過網(wǎng)格搜索法確定。

為了得到較好的預(yù)測結(jié)果，使用500個數(shù)據(jù)樣本作為訓(xùn)練集，500個用于測試。為了避免某些參數(shù)隨機(jī)初始化對網(wǎng)絡(luò)性能的影響，將算法重新執(zhí)行5次后取平均值作為最后的結(jié)果。

本實(shí)驗(yàn)分別從預(yù)測精度、收斂速度和穩(wěn)定性三個方面來度量教與學(xué)優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)模型的整體性能。其中，預(yù)測精度通過測試誤差RMSE即式(5)作為評價標(biāo)準(zhǔn)，收斂速度用訓(xùn)練時間評估，穩(wěn)定性以極差(Range， R)和平均絕對偏差(Mean Absolute Deviation， MAD)為準(zhǔn)。

3.1 數(shù)據(jù)描述和度量標(biāo)準(zhǔn)

Mackey-Glass時間序列

具有延時特性的Mackey-Glass混沌時間序列的動力學(xué)方程為

(8)

其中，通常取a=0.2，b=0.1，c=10，參數(shù)τ為延時因子，決定混沌程度。當(dāng)τ>16.8時系統(tǒng)出現(xiàn)混沌特性，τ的值越大混沌性越強(qiáng)。本實(shí)驗(yàn)τ取17。

Lorenz時間序列

Lorenz引力是描述流體在熱表面和冷表面之間運(yùn)動的一組微分方程，描述公式如下：

(9)

其中，當(dāng)參數(shù)α=10， r=28， b=8/3時，系統(tǒng)出現(xiàn)混沌特性。

3.2 性能分析

為了更加準(zhǔn)確的評估模型的性能，本實(shí)驗(yàn)分別討論了在譜半徑和儲備池規(guī)模參數(shù)的動態(tài)變化下各個模型的性能。圖2和圖3給出了各模型在執(zhí)行Mackey-Glass和Lorenz時間序列預(yù)測任務(wù)的性能對比。其中譜半徑的變化范圍為(0，1)，儲備池規(guī)模的變化范圍為(50，100)。從圖中可以直觀地看出，在測試誤差相同的變化范圍內(nèi)，TLBO-ESN的變化波動最小，可見它對儲備池規(guī)模和譜半徑的敏感度最低。

圖2 Mackey-Glass序列下模型的誤差對比

圖3 Lorenz序列下模型的誤差對比

表2 模型的性能對比

表2給出了不同儲備池規(guī)模和譜半徑設(shè)置下各評估模型的最優(yōu)預(yù)測性能。顯然，無論是Mackey-Glass時間序列還是Lorenz時間序列，TLBO-ESN的測試誤差均小于其它模型，并且訓(xùn)練時間最短，模型的復(fù)雜度最低，預(yù)測效率最高，因此TLBO-ESN的測試性能最佳。

為了進(jìn)一步討論模型的穩(wěn)定性，在統(tǒng)一模型的配置下(表1)，對每個模型分別做100次實(shí)驗(yàn)，統(tǒng)計各模型測試誤差的變化情況。

表3 模型的穩(wěn)定性對比

表3給出了不同模型在執(zhí)行預(yù)測任務(wù)中測試誤差的極差(Range， R)和平均絕對偏差(Mean Absolute Deviation， MAD)。極差表示測試誤差的波動范圍，平均絕對偏差表示測試誤差的離散程度?？梢钥闯鲈趫?zhí)行Mackey-Glass和Lorenz的預(yù)測任務(wù)中，TLBO-ESN測試誤差的極差和平均絕對偏差最小，因此它的測試誤差變化范圍和離散程度最小，模型的穩(wěn)定性最強(qiáng)。

為了進(jìn)一步討論模型的收斂能力，在統(tǒng)一參數(shù)配置下(表2)，本實(shí)驗(yàn)總結(jié)了各模型在執(zhí)行預(yù)測任務(wù)中適應(yīng)值隨迭代次數(shù)的變化，其中適應(yīng)值由式(5)求出。

圖4 模型的收斂性對比

圖4給出了各模型在執(zhí)行Mackey-Glass和Lorenz混沌時間序列預(yù)測任務(wù)下的收斂性能對比，描繪了不同算法在迭代過程中適應(yīng)度變化趨勢?？梢钥闯鯰LBO-ESN都是最快達(dá)到收斂且適應(yīng)度值最小。因此TLBO-ESN的收斂速度最快，收斂效率最高，收斂性能最強(qiáng)。

4 結(jié)束語

本文在儲備池計算框架下，利用教與學(xué)優(yōu)化算法來選擇回聲狀態(tài)網(wǎng)絡(luò)的部分Win，W和Wfb以適應(yīng)于不同混沌時間序列的動力學(xué)特性， 提高了預(yù)測精度，保留了網(wǎng)絡(luò)的隨機(jī)特性，仿真結(jié)果表明，在執(zhí)行混沌時間序列任務(wù)中，本文所提出的模型比其它預(yù)測模型具有較高的預(yù)測精度和較強(qiáng)的收斂性能，并且保留了模型的隨機(jī)性。本實(shí)驗(yàn)將豐富儲備池計算優(yōu)化研究的內(nèi)涵，對于推動其應(yīng)用于預(yù)測混沌時間序列具有重要意義。通過與五種粒子群優(yōu)化算法的對比實(shí)驗(yàn)表明，TLBO-ESN的性能最佳，模型具有較好的預(yù)測精度、收斂速度和穩(wěn)定性。下一步研究的主要內(nèi)容是對于模型預(yù)測多種時間序列問題的性能。