張晉雁，陶宏才

(西南交通大學信息科學與技術(shù)學院，四川成都611756)

0 引言

回聲狀態(tài)網(wǎng)絡(luò)(echo state network，ESN)由 Jaeger[1]于2001年提出，在模型構(gòu)建與學習算法方面較傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)有較大差別，其相應(yīng)的學習算法為遞歸神經(jīng)網(wǎng)絡(luò)的研究開啟了新紀元?；芈暊顟B(tài)網(wǎng)絡(luò)采用“儲備池”代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)中的隱層。儲備池由大量稀疏連接的神經(jīng)元組成，并將輸入信號從低維空間映射到高維空間，唯一需要訓(xùn)練的參數(shù)即為輸出權(quán)值矩陣[2]。這些特點大大簡化了回聲狀態(tài)網(wǎng)絡(luò)的訓(xùn)練算法和求解過程。

回聲狀態(tài)網(wǎng)絡(luò)在時間序列預(yù)測[3－4]、非線性系統(tǒng)識別[5]、圖像檢測[6]等領(lǐng)域有廣泛應(yīng)用。針對不同應(yīng)用領(lǐng)域?qū)芈暊顟B(tài)網(wǎng)絡(luò)的優(yōu)化改進算法研究也日益倍增，研究方向主要針對儲備池的優(yōu)化。標準回聲狀態(tài)網(wǎng)絡(luò)的儲備池是隨機生成的，但是這并不代表隨機生成的即為最優(yōu)儲備池。所以，針對不同的應(yīng)用問題，提出不同的儲備池優(yōu)化方法。文獻[7]提出一種最簡儲備池回聲狀態(tài)網(wǎng)絡(luò)，構(gòu)造出僅包含單個節(jié)點的儲備池網(wǎng)絡(luò)，簡化儲備池的拓撲結(jié)構(gòu)。韓敏等[8]提出一種多儲備池回聲狀態(tài)網(wǎng)絡(luò)，構(gòu)建出一種多儲備池ESN層次結(jié)構(gòu)模型，每一層的核心組成是ESN，ESN的核心組成又是儲備池，由此形成的多儲備池ESN具有強大的非線性系統(tǒng)建模能力。文獻[9]將小波神經(jīng)元引入回聲狀態(tài)網(wǎng)絡(luò)，并利用粒子群優(yōu)化算法對儲備池參數(shù)進行優(yōu)化。

羅熊等[10]總結(jié)了回聲狀態(tài)網(wǎng)絡(luò)的研究進展，主要介紹回聲狀態(tài)網(wǎng)絡(luò)儲備池的改進方向、ESN的研究熱點以及未來研究方向。文中將從目前回聲狀態(tài)網(wǎng)絡(luò)中比較典型的改進算法、回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用、在典型應(yīng)用領(lǐng)域回聲狀態(tài)網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型對比以及回聲狀態(tài)網(wǎng)絡(luò)未來的改進與研究方向等方面來系統(tǒng)、全面地總結(jié)回聲狀態(tài)網(wǎng)絡(luò)，以期引起學者更廣泛的關(guān)注和深入的研究。

1 回聲狀態(tài)網(wǎng)絡(luò)原理

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

回聲狀態(tài)網(wǎng)絡(luò)是一種典型的3層遞歸神經(jīng)網(wǎng)絡(luò)，由輸入層、儲備池、輸出層組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)圖

回聲狀態(tài)網(wǎng)絡(luò)的基本方程如下:

其中，u(n)=(u1(n)，u2(n)，…，uK(n))T和y(n)=(y1(n)，y2(n)，…，yL(n))T分別表示K個輸入單元和L個輸出單元，x(n)=(x1(n)，x2(n)，…，xN(n))T表示儲備池N個內(nèi)部神經(jīng)元的狀態(tài)，Win為輸入單元與儲備池內(nèi)部連接權(quán)值矩陣，W為儲備池內(nèi)部神經(jīng)元連接權(quán)值矩陣，Wout為儲備池與輸出單元連接權(quán)值矩陣，Wback為輸出單元與儲備池的連接權(quán)值矩陣。f和fout分別為儲備池單元和輸出單元的激活函數(shù)。

在回聲狀態(tài)網(wǎng)絡(luò)中，Win、W、Wback是預(yù)先生成并且在訓(xùn)練過程中保持不變，Wout是唯一需要訓(xùn)練的權(quán)值矩陣。由于儲備池中的神經(jīng)元是稀疏連接的，所以其內(nèi)部連接數(shù)遠小于N2，W一般保持1%～5%的稀疏連接。

1.2 主要參數(shù)

儲備池是回聲狀態(tài)網(wǎng)絡(luò)的核心組成部分，所以回聲狀態(tài)網(wǎng)絡(luò)性能的好壞與儲備池主要的參數(shù)選擇有很大關(guān)系。儲備池的主要參數(shù)包括[11]:儲備池規(guī)模N、儲備池譜半徑SR、儲備池稀疏程度SD和儲備池輸入單元尺度IS。

1.2.1 儲備池規(guī)模N

儲備池中神經(jīng)元的個數(shù)決定了儲備池的規(guī)模，N即為儲備池中神經(jīng)元的個數(shù)，通常是幾十到上千。N值越大，預(yù)測的精度越高，但同時也會導(dǎo)致訓(xùn)練效率低下，且容易出現(xiàn)過擬合現(xiàn)象。

1.2.2 儲備池譜半徑SR

SR是儲備池內(nèi)部連接權(quán)值矩陣W最大特征值的絕對值，是影響儲備池記憶能力的主要因素。一般情況下，當SR＜1時，ESN才有回聲狀態(tài)性質(zhì)。

1.2.3 儲備池稀疏程度SD

SD指儲備池中神經(jīng)元的連接情況，表示儲備池中相互連接的神經(jīng)元占所有神經(jīng)元總數(shù)的比例。在回聲狀態(tài)網(wǎng)絡(luò)中，只有部分神經(jīng)元相互連接。SD通常的取值為1%～5%。

1.2.4 儲備池輸入單元尺度IS

IS是輸入連接至儲備池之前需要相乘的一個尺度因子。輸入信號一般不會直接送入儲備池，通過與尺度因子相乘，可以將輸入信號變換至神經(jīng)元激活函數(shù)相應(yīng)的范圍內(nèi)。

1.3 學習過程

回聲狀態(tài)網(wǎng)絡(luò)唯一需要訓(xùn)練的就是輸出連接權(quán)值矩陣Wout。在網(wǎng)絡(luò)訓(xùn)練之前，假設(shè)已有一些學習樣本{(u(1)，d(1))，…，(u(T)，d(T))}，樣本數(shù)據(jù)也稱教師數(shù)據(jù)，u(k)、d(k)(k=1，2，…，T)分別表示樣本輸入與樣本輸出(期望輸出)。訓(xùn)練過程如下:

1.3.1 樣本訓(xùn)練

設(shè)在t=0時刻，內(nèi)部狀態(tài)向量x(0)=0。在tk(k=1，2，…，T)時刻，依次將樣本輸入與樣本輸出注入到網(wǎng)絡(luò)輸入單元和輸出單元，通過式(1)不斷更新整個網(wǎng)絡(luò)的內(nèi)部狀態(tài)。由于儲備池受初始因素的干擾，所以不從第一步開始收集內(nèi)部狀態(tài)和期望輸出。假設(shè)從tm(m＜T)時刻開始，系統(tǒng)達到穩(wěn)定狀態(tài)，不再被初始狀態(tài)干擾。所以，從tm時刻開始，收集內(nèi)部狀態(tài)和期望輸出，以每個時刻的狀態(tài)向量x(n)為行形成矩陣B，其對應(yīng)的樣本輸出d(n)經(jīng)tanh－1(d)后構(gòu)成矩陣M。

1.3.2 輸出權(quán)值計算Wout

因訓(xùn)練的目的是使系統(tǒng)輸出y(n)盡可能逼近期望輸出d(n)，即

故最終可將問題轉(zhuǎn)化為最優(yōu)問題，利用矩陣求解得:(Wout)T=B－1M。將求得的輸出權(quán)值矩陣置入到回聲狀態(tài)網(wǎng)絡(luò)，至此，回聲狀態(tài)網(wǎng)絡(luò)學習完畢。

2 回聲狀態(tài)網(wǎng)絡(luò)改進算法

盡管從不同的角度對回聲狀態(tài)網(wǎng)絡(luò)的研究取得了一些進步，但仍處于初始階段，還有很多理論和實際問題有待深入研究[12]。目前，已有的對回聲狀態(tài)網(wǎng)絡(luò)的改進主要從儲備池內(nèi)部結(jié)構(gòu)、網(wǎng)絡(luò)拓撲結(jié)構(gòu)以及儲備池參數(shù)等方面進行。

2.1 基于儲備池內(nèi)部結(jié)構(gòu)的改進

文獻[13－17]均采是對儲備池內(nèi)部神經(jīng)元的優(yōu)化。其中，泄漏積分型回聲狀態(tài)網(wǎng)絡(luò)(Leaky ESN)是一種比較常用的優(yōu)化方法，Leaky ESN的網(wǎng)絡(luò)結(jié)構(gòu)和ESN結(jié)構(gòu)相同。泄漏積分型ESN的內(nèi)部網(wǎng)絡(luò)狀態(tài)方程及輸出方程分別為:

式(4)中，α表示泄漏率，控制前一時刻內(nèi)部神經(jīng)元的保持程度。α越小，則較上一時刻內(nèi)部神經(jīng)元狀態(tài)變化越慢，從而網(wǎng)絡(luò)的短期記憶能力越強。與式(1)對比可見，Leaky ESN較ESN多了參數(shù)(1－α)x(n)，當α=1時，即為ESN，故Leaky ESN是ESN的改進模型。

文獻[16]將Leaky ESN方法用于實際化工過程的軟測量動態(tài)建模中，并給出嶺回歸離線算法和遞推最小二乘在線學習算法，通過實驗對比，證明Leaky ESN較ESN具有更高的計算精度和預(yù)測性能。

2.2 基于拓撲結(jié)構(gòu)的改進

文獻[17－20]均是對回聲狀態(tài)網(wǎng)絡(luò)拓撲結(jié)構(gòu)的改進，通過引入其他網(wǎng)絡(luò)拓撲結(jié)構(gòu)，提高ESN的預(yù)測精度。文獻[18]將規(guī)則網(wǎng)絡(luò)、小世界網(wǎng)絡(luò)和無尺度網(wǎng)絡(luò)引入回聲狀態(tài)網(wǎng)絡(luò)，實驗結(jié)果表明，具有小世界網(wǎng)絡(luò)結(jié)構(gòu)的ESN表現(xiàn)出更好的計算性能，但典型的ESN穩(wěn)定性較好。

文獻[17]提出一種改進的小世界網(wǎng)絡(luò)，并將其引入Leaky ESN。傳統(tǒng)的NW(Newman－Watts)模型小世界網(wǎng)絡(luò)中，根據(jù)隨機數(shù)是否小于加邊概率p判斷非鄰近節(jié)點是否相連，并用0、1分別表示不相連和相連的連接權(quán)值。文獻[17]利用加邊概率p直接表示2個節(jié)點之間的連接權(quán)值，建立加邊概率與節(jié)點間距離的函數(shù)關(guān)系:p=α×e(－β×d)。其中，加邊概率p取值范圍為[0，1]，d表示節(jié)點間的歐氏距離，α表示調(diào)節(jié)距離靈敏度，β表示調(diào)整網(wǎng)絡(luò)的整體密度。最后將改進小世界網(wǎng)絡(luò)的動態(tài)鄰接矩陣作為Leaky ESN的儲備池稀疏連接矩陣，對Leaky ESN進行訓(xùn)練，避免了連接權(quán)值矩陣的隨機性。實驗表明，采用改進的小世界網(wǎng)絡(luò)，并將其用于Leaky ESN，比傳統(tǒng)的Leaky ESN具有更好的預(yù)測精度和更快的誤差收斂速度。

2.3 基于回聲狀態(tài)網(wǎng)絡(luò)參數(shù)的改進

文獻[21－25]主要對回聲狀態(tài)網(wǎng)絡(luò)的參數(shù)進行優(yōu)化，如:輸出權(quán)值矩陣、儲備池規(guī)模、儲備池譜半徑、儲備池稀疏程度、儲備池輸入單元尺度等。

文獻[25]提出一種基于遺傳算法(GA)儲備池參數(shù)的方法，利用遺傳算法的全局搜索能力，在較短時間內(nèi)搜索到全局最優(yōu)解，進而對網(wǎng)絡(luò)流量進行預(yù)測。

首先，ESN參數(shù)編碼與GA參數(shù)設(shè)置，并隨機產(chǎn)生一組儲備池參數(shù)的值;然后，通過ESN對網(wǎng)絡(luò)流量進行預(yù)測，通過個體適應(yīng)度函數(shù)fitness(i)=RMSE(i)=衡量參數(shù)的優(yōu)劣;最后，利用遺傳算法對參數(shù)尋優(yōu)直至找到最優(yōu)解。實驗表明，GA優(yōu)化的ESN網(wǎng)絡(luò)流量預(yù)測方法具有更高的預(yù)測精度和更小的預(yù)測誤差。

3 回聲狀態(tài)網(wǎng)絡(luò)的應(yīng)用

ESN較傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)遞歸算法有訓(xùn)練算法簡單、計算方便等優(yōu)點，而且克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)普遍存在的訓(xùn)練易陷入局部極小值等缺點，一經(jīng)提出，就得到了許多學者的關(guān)注。目前，ESN算法的應(yīng)用已經(jīng)涉及到時間序列預(yù)測、非線性系統(tǒng)預(yù)測與控制、語音處理、圖像識別等領(lǐng)域。

文獻[23]將一種基于貝葉斯回歸的回聲狀態(tài)網(wǎng)絡(luò)應(yīng)用于小型水電站的短期電力預(yù)測，克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中存在的病態(tài)解降低模型泛化能力的缺陷，通過與基于最小二乘法的前饋神經(jīng)網(wǎng)絡(luò)對比，證明模型的優(yōu)越性。文獻[26]將回聲狀態(tài)網(wǎng)絡(luò)運用于特定區(qū)域的話務(wù)量的預(yù)測，并且在模型中加入外源變量，所謂外源變量即為該移動網(wǎng)絡(luò)區(qū)域包含的其他有效信息，并將其送入輸入網(wǎng)絡(luò)中，提高了預(yù)測結(jié)果的準確性。文獻[27]提出一種多層的回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，用于預(yù)測特定時刻的電力負荷。模型可預(yù)測一天24小時每個整點時刻的電力負荷，使預(yù)測結(jié)果更加精準且符合實際應(yīng)用的要求。文獻[28]運用回聲狀態(tài)網(wǎng)絡(luò)設(shè)計了動態(tài)控制器，將其用于機器人的軌跡跟蹤控制中。實驗表明，ESN網(wǎng)絡(luò)較BP網(wǎng)絡(luò)的控制精度更高，證明ESN方法在機器人動力學控制中的可行性和有效性。文獻[29]針對污水處理過程的非線性、大時變等特點，提出一種基于回聲狀態(tài)網(wǎng)絡(luò)的多變量自適應(yīng)預(yù)測控制策略，實現(xiàn)了優(yōu)化控制。在文獻[30]中，將回聲狀態(tài)網(wǎng)絡(luò)運用于語音信號的處理，進而通過語音信號來進行情感識別。文獻[6]將回聲狀態(tài)網(wǎng)絡(luò)用于圖像邊緣檢測，用ESN對圖像的統(tǒng)計向量進行邊緣檢測，可直接判斷邊緣點，并增強抗噪性，較傳統(tǒng)的圖像邊緣檢測方法具有更好的抗噪性。

4 回聲狀態(tài)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)模型對比

回聲狀態(tài)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)和支持向量機(SVM)等都是在時間序列預(yù)測方面應(yīng)用比較廣泛的網(wǎng)絡(luò)模型。在預(yù)測問題中，不同的算法有不同的優(yōu)缺點[31－33]。文中對幾種模型進行比較，得出表1所示的結(jié)果。

表1 ESN與BP神經(jīng)網(wǎng)絡(luò)、SVM比較

由表1可見，從復(fù)雜度、性能和適用范圍來看，ESN較BP神經(jīng)網(wǎng)絡(luò)和SVM都有較大優(yōu)勢，這將有利于其解決更多領(lǐng)域的復(fù)雜問題。

5 結(jié)束語

回聲狀態(tài)網(wǎng)絡(luò)作為一種新型的遞歸神經(jīng)網(wǎng)絡(luò)，在保持傳統(tǒng)神經(jīng)網(wǎng)絡(luò)動態(tài)特性的同時簡化了訓(xùn)練算法，目前已被應(yīng)用在很多領(lǐng)域。不過，回聲狀態(tài)網(wǎng)絡(luò)仍然存在一些不足。例如輸入權(quán)值矩陣、儲備池內(nèi)神經(jīng)元連接權(quán)值矩陣以及輸出單元與儲備池連接矩陣等都是隨機值，而隨機生成的并不意味著最優(yōu)，這可以通過尋找最優(yōu)儲備池對它進行優(yōu)化。還有，目前對儲備池參數(shù)的選取仍是通過經(jīng)驗取值或者實驗去驗證取值是否合理，不一定能夠取到最優(yōu)值，存在一定的局限性。因此，儲備池參數(shù)的最優(yōu)值也是將來研究的重點方向。此外，將儲備池內(nèi)部結(jié)構(gòu)、網(wǎng)絡(luò)拓撲結(jié)構(gòu)和參數(shù)相結(jié)合進行改進，也是研究的另一個方向。但是，如果將多種改進結(jié)合，有可能使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，此時就應(yīng)該尋找復(fù)雜結(jié)構(gòu)與實際優(yōu)化效果的平衡點。

總之，系統(tǒng)地總結(jié)回聲狀態(tài)網(wǎng)絡(luò)的研究現(xiàn)狀，發(fā)現(xiàn)目前所存在的不足，有助于促進ESN的進一步完善與發(fā)展，也將拓展其應(yīng)用領(lǐng)域，以期可以解決更多的實際問題。

[1] Jaeger H.The echo state approach to analyzing and training recurrent neural networks[R].German National Research Center for Information Technology，2001.

[2] Jaeger H.Adaptive Nonlinear System Identification with Echo State Networks[J].Nips，2003:609－616.

[3] Herbert J，Harald H.Harnessing nonlinearity:predicting chaotic systems and saving energy in wireless communication[J].Science，2004，304(5667):78－80.

[4] Ongenae F，Looy S V，Verstraeten D，et al.Time series classification for the prediction of dialysis in critically ill patients using echo state networks[J].Engineering Applications of Artificial Intelligence，2013，26(3):984－996.

[5] Han S I，Lee J M.Fuzzy Echo State Neural Networks and Funnel Dynamic Surface Control for Prescribed Performance of a Nonlinear Dynamic System[J].IEEE Transactions on Industrial E－lectronics，2014，61(2):1099－1112.

[6] 裴承丹.回聲狀態(tài)網(wǎng)絡(luò)及其在圖像邊緣檢測中的應(yīng)用[J].計算機工程與應(yīng)用，2009，44(19):172－174.

[7] 馬濤.最簡儲備池回聲狀態(tài)網(wǎng)絡(luò)及其應(yīng)用研究[D].蘭州:蘭州大學，2013.

[8] 韓敏，穆大蕓.基于貝葉斯回歸的多核回聲狀態(tài)網(wǎng)絡(luò)研究[J].控制與決策，2010，25(4):531－534.

[9] 王瑟.基于改進的回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測[D].南京:南京工業(yè)大學，2006.

[10] 羅熊，黎江，孫增圻.回聲狀態(tài)網(wǎng)絡(luò)的研究進展[J].北京科技大學學報，2012，34(2):217－222.

[11] Jaeger H.Tutorial on training recurrent neural networks，covering BPPT，RTRL，EKF and the echo state network approach[R].Bremen，German National Research Center for InformationTechnology.2002.

[12] 王建民.基于回聲狀態(tài)網(wǎng)絡(luò)的非線性時間序列預(yù)測方法研究[D].哈爾濱:哈爾濱工業(yè)大學，2011.

[13] Jaeger H，Luko?evicius M，Dan P，et al.2007 Special Issue:Optimization and applications of echo state networks with leaky－integrator neurons[J].Neural Networks，2007，20(3):335－352.

[14] Lun S X，Yao X S，Qi H Y，et al.A novel model of leaky integrator echo state network for time－ series prediction [J].Neuro computing，2015，159(C):58－66.

[15] Ayyagari S S D P，Jones R D，Weddell S J.EEG－based event detection using optimized echo state networks with leaky integrator neurons[C]//International Conference of the IEEE Engineering in Medicine＆ Biology Society.Conf Proc IEEE Eng Med Biol Soc，2014:5856－5859.

[16] 李軍，岳文琦.基于泄漏積分型回聲狀態(tài)網(wǎng)絡(luò)的軟測量動態(tài)建模方法及應(yīng)用[J].化工學報，2014，65(10):4004－4014.

[17] 倫淑嫻，林健，姚顯雙.基于小世界回聲狀態(tài)網(wǎng)的時間序列預(yù)測[J].自動化學報，2015，41(9):1669－1679.

[18] 王娟.回聲狀態(tài)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)研究[D].重慶:重慶大學，2013.

[19] NajibiE，RostamiH. SCESN，SPESN，SWESN:Three recurrent neural echo state networks with clustered reservoirs for prediction of nonlinear and chaotic time series[J].Applied Intelligence，2015，43(2):460－472.

[20] 李丁園，劉富，喬俊飛.一種基于腦網(wǎng)絡(luò)的分層模塊化回聲狀態(tài)網(wǎng)絡(luò)[J].機械工程學報，2015，51(22):128－134.

[21] Han M，Xu M.Predicting Multivariate Time Series Using Subspace Echo State Network [J].Neural Processing Letters，2013，41(2):201－209.

[22] 劉長年.基于螢火蟲優(yōu)化算法的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測控制研究[D].蘭州:蘭州大學，2014.

[23] Li G，Li B J，Yu X G，et al.Echo State Network with Bayesian Regularization for Forecasting Short－Term Power Production of Small Hydropower Plants[J].Energies，2015，8:12228－12241.

[24] Wang H，Yan X.Optimizing the echo state network with a binary particle swarm optimization algorithm [J].Knowledge－Based Systems，2015，86:182－193.

[25] 田中大，高憲文，李樹江，等.遺傳算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].計算機研究與發(fā)展，2015，52(5):1137－1145.

[26] Bianchi F M，Scardapane S，Uncini A，et al.Prediction of telephone calls load using Echo State Network with exogenous variables [J].Neural Networks，2015，71(C):204－213.

[27] Deihimi A，Showkati H.Application of echo state networks in short－term electric load forecasting[J].Energy，2012，39(1):327–340.

[28] 杜佩君.ESN網(wǎng)絡(luò)在機器人軌跡跟蹤控制中的應(yīng)用[J].自動化儀表，2013，34(6):4－8.

[29] 王莉莉.基于ESN的污水處理過程優(yōu)化控制方法研究[D].北京:北京工業(yè)大學，2014.

[30] Trentin E，Scherer S，Schwenker F.Emotion recognition from speech signals via a probabilistic echo－state network [J].Pattern Recognition Letters，2014，66(C):4－12.

[31] 韓敏.基于儲備池的非線性系統(tǒng)預(yù)測理論與分析方法[M].北京:中國水利水電出版社，2011.

[32] 邱仕坦.基于CS－SVM的網(wǎng)絡(luò)熱點話題變化趨勢預(yù)測[J].福州大學學報:自然科學版，2014，42(3):381－386.

[33] 顧亞祥，丁世飛.支持向量機研究進展[J].計算機科學，2011，38(2):14－17.