向昌盛，周子英

（湖南農(nóng)業(yè)大學(xué)a.東方科技學(xué)院；b.資源環(huán)境學(xué)院，長(zhǎng)沙 410128）

0 引言

混沌時(shí)間序列預(yù)測(cè)是建立在Takens[1]提出的嵌入定理和相空間重構(gòu)理論基礎(chǔ)上的，其目的是試圖在高維相空間中恢復(fù)混沌吸引子。傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法，比如自回歸、移動(dòng)平均以及自回歸移動(dòng)平均的方法都屬于線(xiàn)性的方法。而基于Takens的理論，人們已提出了許多預(yù)測(cè)混沌時(shí)間序列的非線(xiàn)性預(yù)測(cè)方法[2]?；谏窠?jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法是其中重要的一種[3]，并取得了較好的結(jié)果。但由于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)過(guò)于復(fù)雜且難以選擇，需要估計(jì)的參數(shù)相對(duì)于較少的數(shù)據(jù)樣本顯得太多，導(dǎo)致所得到的神經(jīng)網(wǎng)絡(luò)模型相對(duì)于數(shù)據(jù)容易產(chǎn)生過(guò)擬合，即泛化能力不夠，從而使預(yù)測(cè)精度不高，在實(shí)際應(yīng)用中受到了限制[4]。

支持向量機(jī)（SVM）[5～8]是一種上世紀(jì)90年代中期發(fā)展起來(lái)的基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，是繼神經(jīng)網(wǎng)絡(luò)研究之后機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)，它具有嚴(yán)格的數(shù)學(xué)基礎(chǔ)，通過(guò)尋求結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理來(lái)提高泛化能力，較好地解決了小樣本、非線(xiàn)性、高維數(shù)和局部極小點(diǎn)等實(shí)際問(wèn)題；與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，解決了在神經(jīng)網(wǎng)絡(luò)中無(wú)法避免的局部極小值問(wèn)題，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)需要經(jīng)驗(yàn)試湊的方法。

本文擬根據(jù)某市場(chǎng)需求的歷史數(shù)據(jù)，先估計(jì)最優(yōu)嵌入維數(shù)m和時(shí)延參數(shù)τ,重構(gòu)混沌時(shí)間序列的相空間來(lái)近似原系統(tǒng)狀態(tài)空間；然后利用支持向量機(jī)方法擬合系統(tǒng)演化的軌道,建立混沌時(shí)間序列的預(yù)測(cè)模型；同時(shí)與傳統(tǒng)的時(shí)間序列測(cè)試方法進(jìn)行比較。

1 混沌時(shí)間序列相空間重構(gòu)

混沌預(yù)測(cè)的基礎(chǔ)是狀態(tài)空間的重構(gòu)理論，假設(shè)觀(guān)測(cè)到的混沌時(shí)間序列為{x(t)}，t=1，2，…，N；嵌入維數(shù)為 m；時(shí)間延遲為τ，則重構(gòu)相空間為：

根據(jù) Takens定理，對(duì)合適的嵌入維數(shù) m及時(shí)間延遲τ，重構(gòu)相空間在嵌入空間中的“軌線(xiàn)”，在微分同胚意義下與原系統(tǒng)是動(dòng)力學(xué)等價(jià)的，這樣進(jìn)行相空間重構(gòu)時(shí)，需要選擇兩個(gè)重要參數(shù)—延遲時(shí)間τ和嵌入維數(shù)m。對(duì)于無(wú)限長(zhǎng)、無(wú)噪聲數(shù)據(jù)序列，延遲時(shí)間τ的選取理論上沒(méi)有限制，而嵌入維數(shù)m可以選擇充分的大。實(shí)際中，由于數(shù)據(jù)長(zhǎng)度有限并可能帶噪，τ和m的選擇對(duì)相空間的重構(gòu)質(zhì)量就尤其重要。

目前對(duì)于τ的估值，有自相關(guān)法 、互信息量法，對(duì)m的估值有假近鄰法等，這些方法基于τ與m互不相關(guān)的觀(guān)點(diǎn)，對(duì) τ或m單獨(dú)進(jìn)行估值，文獻(xiàn)[9]利用關(guān)系式wτ=（m-1）τ將 τ和m與延遲時(shí)間窗wτ聯(lián)系起來(lái)，并給出了估計(jì)延遲時(shí)間窗wτ的方法。文獻(xiàn)[10]的C-C方法利用關(guān)聯(lián)積分同時(shí)優(yōu)化出延遲時(shí)間τ和延遲時(shí)間窗wτ，該方法易操作、計(jì)算量小，從而在估計(jì)延遲時(shí)間τ和延遲時(shí)間窗wτ方面具有獨(dú)特優(yōu)點(diǎn)。本文采用C-C法選擇τ，嵌入維數(shù)m的選取采用關(guān)聯(lián)指數(shù)飽和法中常用的G-P算法[11]。

2 支持向量機(jī)的回歸預(yù)測(cè)模型

回歸預(yù)測(cè)又稱(chēng)函數(shù)估計(jì)，要解決的問(wèn)題是：xi為預(yù)報(bào)因子值，yi為預(yù)報(bào)對(duì)象值，根據(jù)給定的樣本數(shù)據(jù)集{(xi,yi)，i=1,2,…，k}，尋求一個(gè)反映樣本數(shù)據(jù)的最優(yōu)函數(shù)關(guān)系y=f(x)，如果所得函數(shù)關(guān)系是線(xiàn)性的，則稱(chēng)線(xiàn)性回歸；否則為非線(xiàn)性回歸。

2.1 支持向量機(jī)原理[7,12]

給定訓(xùn)練數(shù)據(jù) X={(x1,y1),(x2,y2),…，（xl,yl）}?Rn×R，其中 xi為輸入向量,yi是xi對(duì)應(yīng)的輸值,l為樣本個(gè)數(shù),支持向量回歸的基本思想就是通過(guò)一個(gè)非線(xiàn)性映射Φ將數(shù)據(jù)xi映射到高維特征空間F,并在這個(gè)空間進(jìn)行線(xiàn)性回歸,即

式中ω為超平面的權(quán)值向量,b為偏置項(xiàng)。支持向量回歸實(shí)際上就是在下述約束條件:

式中 ξi、為松弛變量，分別表示在誤差 ε約束下（|yiωTΦ(xi)+b|）的訓(xùn)練誤差的上限和下限；ε為Vapnik-ε不敏感代價(jià)函數(shù)所定義的誤差。常數(shù)C＞0,它控制對(duì)超出誤差ε的樣本的懲罰程度。ε不敏感損失函數(shù)為：

為了解這樣一個(gè)優(yōu)化問(wèn)題,引入拉格朗日函數(shù):

則,非線(xiàn)性的回歸問(wèn)題可以通過(guò)解式(3)的對(duì)偶問(wèn)題來(lái)求解,即

式中核函數(shù)K(xi,xj)=Φ(xi)TΦ(xj)描述了高維特征空間的內(nèi)積,可以在滿(mǎn)足Mercer條件的情況下選取。求解后得到αi和,代入式(7),并由式(2)得到回歸函數(shù):

從約束條件式(3)可以看出,希望將所有的數(shù)據(jù)xi都放入|yi-[ωTΦ(xi)+b]|＜ε 中,如果 xi不在其中,則存在誤差，可以通過(guò)最小化目標(biāo)函數(shù)來(lái)完成。支持向量機(jī)回歸通過(guò)優(yōu)化式(8)避免了數(shù)據(jù)的欠擬合和過(guò)擬合,因此支持向量機(jī)是一個(gè)更為通用和靈活的解決回歸問(wèn)題的工具。

2.2 核函數(shù)的選取

對(duì)于具體的問(wèn)題，如何選擇最合適的核，一直是困擾研究者的一個(gè)難點(diǎn)。針對(duì)此問(wèn)題本文依次采用5種常用核函數(shù)對(duì)訓(xùn)練集以10點(diǎn)叉預(yù)測(cè)并計(jì)算MSE值，取MSE最小者為最優(yōu)核函數(shù)，最常用的核函數(shù)有：

線(xiàn)性核函數(shù)： k(xi，xj)=xixj

多項(xiàng)式核函數(shù)：k(xi,xj)=(xixj+1)d

徑向基核函數(shù)：k(xi,xj)=exp(-γ||xi-xj||2)sigmoid核函數(shù)：k(xi,xj)=tanh[b(xixj)+c]

2.3 參數(shù)的識(shí)別

對(duì)于具體的問(wèn)題，如何對(duì)參數(shù)C、g和核函數(shù)參數(shù)σ的辨識(shí)的辨識(shí)是支持向量機(jī)應(yīng)用研究的熱點(diǎn)，也是一個(gè)難點(diǎn)。本文采用LIBSVM2.8程序，原始變量svmscale規(guī)格化后以留一法gridregression.py尋優(yōu)，自動(dòng)搜索最優(yōu)核函數(shù)參數(shù)C、p和g，以5個(gè)常用核函數(shù)中MSE最小者為最優(yōu)核函數(shù)建模預(yù)測(cè)。

2.4 支持向量機(jī)軟件LIBSVM介紹及算法實(shí)現(xiàn)

本文選擇由臺(tái)灣大學(xué)林智仁(LinChih-Jen)教授等開(kāi)發(fā)設(shè)計(jì)的一個(gè)簡(jiǎn)單、易于使用和快速有效的軟件包—LIBSVM，它可以解決分類(lèi)問(wèn)題(包括 C-SVC、nu-SVC)、回歸問(wèn)題(包括epsilon-SVR、nu-SVR)以及分布估計(jì)(one-class-SVM)等問(wèn)題，提供了線(xiàn)性、多項(xiàng)式、徑向基和sigmoid等四種常用的核函數(shù)供選擇，可以有效地解決多類(lèi)問(wèn)題、交叉驗(yàn)證選擇參數(shù)、對(duì)不平衡樣本加權(quán)、多類(lèi)問(wèn)題的概率估計(jì)等。該軟件包可免費(fèi)通過(guò) 作 者 的 主 頁(yè) 獲 得 ：http://www.csie.ntu.edu.tw/～cjlin/libsvm/index.html[13]。本文在WINDOWS平臺(tái)下自編C++程序調(diào)用Python2.5版本及支持Python接口的LIBSVM2.83程序包。

3 支持向量機(jī)模型在市場(chǎng)需求中的應(yīng)用

3.1 數(shù)據(jù)

某公司經(jīng)銷(xiāo)某種產(chǎn)品，為了作好下一年的銷(xiāo)售工作，該公司統(tǒng)計(jì)1991.7～2006.6每個(gè)月的實(shí)際銷(xiāo)售量(單位:千件)[14]，見(jiàn)表1。

3.2 相空間重構(gòu)

3.2.1 延遲時(shí)間確定

采用C-C法計(jì)算延遲時(shí)間τ，首次通過(guò)零點(diǎn)時(shí)的τ為延遲時(shí)間。從圖1中可以看出，ΔS(m，t)，ΔS(t)的第一個(gè)近似極小值是4，S(t)的第一個(gè)近似零點(diǎn)也是4，既可以確定延遲時(shí)τ=4 作為時(shí)間序列{x1，x2，…，x180}的延遲時(shí)間[14]。

表1 月銷(xiāo)售量表

圖1 時(shí)間序列{x1,x2,…,x18}的延遲時(shí)間

圖2 時(shí)間序列的嵌入維數(shù)

3.2.2 確定嵌入維數(shù)

嵌入維數(shù)的選取采用關(guān)聯(lián)指數(shù)飽和法中常用的G-P算法，利用C-C法選取得到的延遲時(shí)間4。取嵌入為數(shù)m=2，3，…，對(duì)于每一個(gè)m，按照G-P算法，經(jīng)計(jì)算取得一系列關(guān)于log(r)與logC(r)的值，并作出關(guān)系圖2。從圖2中可以看出，隨著相空間嵌入維數(shù)的增加，當(dāng)m=10時(shí)，吸引子的關(guān)聯(lián)維數(shù)不再隨著 m的增加而增加，關(guān)聯(lián)維數(shù)D(m)=2.7632達(dá)到飽和，說(shuō)明該銷(xiāo)售量時(shí)間序列具有混沌性質(zhì)，則選擇此時(shí)對(duì)應(yīng)的維數(shù)m=10為最佳相空間嵌入維數(shù)[14]。

3.2.3 時(shí)間序列系統(tǒng)混沌特性識(shí)別

混沌識(shí)別的方法分為定性的相圖法、功率譜法和定量的飽和關(guān)聯(lián)維數(shù)法、Lyapunov指數(shù)法等。根據(jù)前面的飽和關(guān)聯(lián)維數(shù)法計(jì)算得到飽和關(guān)聯(lián)維數(shù)D(m)=2.7632，說(shuō)明該銷(xiāo)售量時(shí)間序列具有混沌特性。

混沌系統(tǒng)運(yùn)動(dòng)的基本特點(diǎn)是對(duì)初值條件極為敏感，初始狀態(tài)的微小不確定性將會(huì)迅速地按指數(shù)速度擴(kuò)大，這種軌跡收斂或發(fā)散的速度，稱(chēng)為L(zhǎng)yapunov指數(shù)K。對(duì)一維系統(tǒng)來(lái)說(shuō)，當(dāng)K＜0時(shí)，系統(tǒng)具有穩(wěn)定的不動(dòng)點(diǎn);當(dāng)K=0時(shí)，系統(tǒng)出現(xiàn)周期現(xiàn)象;當(dāng)K＞0時(shí)，系統(tǒng)出現(xiàn)混沌性質(zhì)。確定Lyapunov指數(shù)的方法較多，主要有Wolf方法、Jacobian法、p-范數(shù)法和小數(shù)據(jù)量法等。本文運(yùn)用改進(jìn)小數(shù)據(jù)量法[15]計(jì)算得到銷(xiāo)售量時(shí)間序列的最大Lyapunov指數(shù)為0.0021956，指數(shù)大于零，進(jìn)一步說(shuō)明，該序列具有混沌性質(zhì)，因此上述的混沌時(shí)間序列的支持向量機(jī)預(yù)測(cè)模型可以對(duì)銷(xiāo)售量時(shí)間序列進(jìn)行預(yù)測(cè)。

3.3 混沌時(shí)間序列的預(yù)測(cè)

3.3.1 模型的建立與評(píng)價(jià)

根據(jù)τ=4，m=10重構(gòu)相空間后的銷(xiāo)售量時(shí)間序列為144個(gè)，由重構(gòu)相空間嵌入相點(diǎn)構(gòu)成訓(xùn)練樣本集，得到用于向量學(xué)習(xí)的樣本為：

前140個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),后4個(gè)數(shù)據(jù)作為檢驗(yàn)數(shù)據(jù),由重構(gòu)相空間嵌入相點(diǎn)構(gòu)成訓(xùn)練樣本集,根據(jù)這 144個(gè)點(diǎn)在相空間的軌跡，用支持向量機(jī)進(jìn)行尋優(yōu)，構(gòu)造出一個(gè)最優(yōu)模型，并根據(jù)此模型對(duì)銷(xiāo)售量的走向進(jìn)行預(yù)測(cè)。模型采用交叉驗(yàn)證法試檢驗(yàn)本文方法的預(yù)測(cè)性能，以MSE作為預(yù)測(cè)性能優(yōu)劣評(píng)價(jià)指標(biāo):

式中，yi為真值為預(yù)測(cè)值。

3.3.2 參比模型

參比模型包括加權(quán)零階局域法、加權(quán)一階局域法、指數(shù)平滑法（α=0.5）、指數(shù)平滑法（α=0.9）、神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)集的延遲時(shí)間和嵌入維都都相同的，在預(yù)測(cè)第i樣本時(shí)，取前i-1個(gè)樣本值合建模，以擬合MSE最小亞模型預(yù)測(cè)值作為該樣本時(shí)間序列趨勢(shì)分析最終預(yù)測(cè)結(jié)果（見(jiàn)表3）。

3.3.3 結(jié)果與分析

表3 混沌時(shí)間序列法的預(yù)測(cè)結(jié)果

由表4可以看出，支持向量機(jī)明顯要小于其它傳統(tǒng)方法的誤差；表3表明，支持向量機(jī)的計(jì)算精度也優(yōu)于傳統(tǒng)方法。因此運(yùn)用混沌時(shí)間序列方法對(duì)經(jīng)濟(jì)預(yù)測(cè)不僅是可行的,而且結(jié)果較好。

表4 各種預(yù)測(cè)方法的誤差比較

4 結(jié)論

本文將基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)和相空間重構(gòu)應(yīng)用到市場(chǎng)銷(xiāo)售量研究中，在計(jì)算機(jī)上程序化實(shí)現(xiàn)?；谙嗫臻g重構(gòu)的支持向量機(jī)融合了時(shí)間序列分析和回歸分析，具有基于結(jié)構(gòu)風(fēng)險(xiǎn)最小，非線(xiàn)性，避免過(guò)擬合、維數(shù)災(zāi)和局極小，泛化推廣能力優(yōu)異，基于MSE最小自動(dòng)選擇核函數(shù)、基于gridregression.py自動(dòng)搜索確定最優(yōu)核函數(shù)參數(shù)，操作較ANN相對(duì)簡(jiǎn)便等許多優(yōu)點(diǎn)。實(shí)例驗(yàn)證表明本文的方法預(yù)測(cè)精度高，在經(jīng)濟(jì)學(xué)等領(lǐng)域有廣泛應(yīng)用前景。

[1]Taken S.F.Detecting Strange Attractors in Turbulence[J].Lecture Notes in Mathematics,1981,898.

[2]ZHANG Jias Hu,LI Heng Chao,Xiao Xian Ci.ADCT Domain Quadratic Predictor for Real-time Prediction of Continuous Chaotic Signal[J].Acta Physical Sinica,2004,53(3).

[3]Maguire L.P.,Roche B.,Mcginnity T.M.Predicting a Chaotic Time Series Using a Fuzzy Neural Network[J].Information Sciences,1998,112.

[4]Smola A J,Schoelkopf B.A Tutorial on Support Vector Regression[J].Statistics and Computing,2004,14.

[5]Vapnik V.The Nature of StatisticalLearning Theory[M].New York:Springer,1995.

[6]Burges C.A Tutorial on Support Vector Machines for Pattern Recognition[J].Data Mining and Knowledge Discovery,1998,2(2).

[7]Francis E.H.Tay,Lijuan Cao.Application of Support Vector Machines in Financial Time Series Forecasting[J].The International Journal of Management Science,2001,29.

[8]Dug Hun Hong,Chang Hai Wang.Support Vector Fuzzy Regression Machines[J].Fuzzy Sets and Systems,2003,138.

[9]H.S.Kim,R.Eykholt,J.D.Salas.Nonlinear Dynamics,Delay Timesand Embedding Windows[J].Physica D,1999,127.

[10]Kim H S,Eykholt R.,Salas J D.Nonlinear Dynamics,Delay Times,and Embedding Windows[J].Physica D,1999，127.

[11]Gra Ssb Er Ger P.Procaccia I Measuring the Strangeness of Strange Attractors[J].Physica D,1983,(9).

[12]Hsu C W,Chang C C,Lin C J.A Practical Guide to Support Vector Classification[R].Technical Report,Department of Computer Science and Information Engineering,National Taiwan University,2003.

[13]Chih-Chung Chang,Chih-Jen Lin.LIBSVM:A Library for Support Vector Machines[EB/OL].Software available at http://www.csie.ntu.edu.tw/～cjlin/libsvm，2001.

[14]Zhaoyanyan.Study on Method of Chaotic Time Series Forecast and Its Application in Market Requirement[D].Liaoning Technical University,2006.

[15]LU Yu,CHEN Yu-Hong,HE Guo-Guang.The Computing of Maximum Lyapunov Exponent in Traffic Flow Applying the Improved Small-data Method[J].Systems Engineering-Theory&Practice,2007,(1).