陳佳 鄭恩讓 賀永寧

摘 ?要： 利用最小二乘支持向量機(jī)的對稱性約束條件挖掘混沌時間序列的對稱性，分析混沌系統(tǒng)固有的對稱特性，提出一種對稱性最小二乘支持向量機(jī)的混沌時間序列預(yù)測方法。該方法將混沌系統(tǒng)的對稱性作為先驗知識嵌入預(yù)測模型，Lorenz系統(tǒng)的仿真結(jié)果表明該方法不僅能夠精確地預(yù)測混沌時間序列，而且擴(kuò)展了混沌系統(tǒng)的預(yù)測空間，這一結(jié)論預(yù)示著最小二乘支持向量機(jī)是一種研究混沌時間序列的有效方法。

關(guān)鍵詞： 混沌時間序列預(yù)測; 支持向量機(jī); 最小二乘法; 對稱性分析; 混沌系統(tǒng); Lorenz 系統(tǒng)

中圖分類號： TN911.1?34 ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）15?0109?04

Chaotic time series prediction based on symmetry of LS support vector machines

CHEN Jia1， ZHENG Enrang1， HE Yongning2

（1.Shannxi University of Science and Technology， Xian 710046， China;

2. Xian Jiaotong University， Xian ，710049， China）

Abstact：The symmetry of the chaotic time series is mined and the inherent symmetry characteristic of the chaotic system is analyzed by means of symmetry constraints of least square support vector machines.，The forecasting method of chaotic time series using the least square support vector machines with symmetry is proposed， which takes the symmetry of chaotic system as priori knowledge to embed it into the prediction model. The simulation result of Lorenz system shows that the proposed method can predict the chaotic time series accurately， and expand the forecast room of the chaotic system. This conclusion implies that the least square support vector machine is an effective tool to study chaotic time series.

Keywords：chaotic times series prediction; support vector machine; least square method; symmetry analysis; chaotic system ;Lorenz system

0 ?引 ?言

近年來，對非線性系統(tǒng)尤其是混沌時間序列預(yù)測已經(jīng)成為非常重要的研究方向之一，并已在地質(zhì)科學(xué)、水文預(yù)報、軍事科學(xué)、空間科學(xué)、氣象預(yù)報、工業(yè)自動化、信號處理等領(lǐng)域中得到了廣泛的應(yīng)用。在混沌時間序列分析中建立一個基于訓(xùn)練集學(xué)習(xí)，并能夠準(zhǔn)確預(yù)測未來數(shù)據(jù)的非線性“黑盒子”預(yù)測模型是一項具有挑戰(zhàn)性的任務(wù)[1?7]。通常時間序列模型基于已有[t]時刻的數(shù)據(jù)，而最終評估模型的數(shù)據(jù)仿真驗證是從[t+1]時刻開始?；煦缦到y(tǒng)吸引子的局部不穩(wěn)定性導(dǎo)致時間序列不僅呈現(xiàn)出非線性行為特性，而且也呈現(xiàn)大范圍的突變，因此，混沌系統(tǒng)產(chǎn)生時間序列的本質(zhì)決定了混沌時間序列的預(yù)測是一項非常困難的工作。如果混沌時間序列建模時充分利用其固有的某些特征如對稱性，則混沌時間序列的模型精度和建模能力將進(jìn)一步提升[8?12]。

本文挖掘混沌時間序列的對稱性，利用最小二乘支持向量機(jī)（Least Squares Support Vector Machines，LS?SVM）的對稱性約束條件，分析混沌系統(tǒng)固有的對稱特性，提出一種對稱性最小二乘支持向量機(jī)的混沌時間序列預(yù)測方法，將對稱性作為混沌系統(tǒng)的先驗信息應(yīng)用到混沌時間序列建模中，并以Lorenz系統(tǒng)為例對對稱性最小二乘支持向量機(jī)的混沌時間序列預(yù)測方法進(jìn)行驗證，仿真結(jié)果表明該預(yù)測方法不僅提高了混沌時間序列建模的精度，而且擴(kuò)展了混沌模型的預(yù)測空間。

1 ?最小二乘支持向量機(jī)的對稱性分析

若時間序列數(shù)據(jù)樣本集為[{xk，yk}Nk=1]，[xk∈Rm]，[yk∈R]，則支持向量機(jī)的擬合函數(shù)形式為[13]：

式中：[ω]為權(quán)向量;[b]為偏差;[?（x）]為把輸入空間映射到一個高維特征空間中的非線性映射函數(shù);[ek]為假定服從零均值，某一固定偏差分布。因為[?（x）]可用核函數(shù)代替，而核函數(shù)可用原空間函數(shù)實現(xiàn)，因而無需知道其具體形式。LS?SVM是基于正則化理論對經(jīng)典支持向量機(jī)的改進(jìn)[14]，這樣在很大程度上簡化了支持向量機(jī)的求解，也是支持向量機(jī)在二次損失函數(shù)下的一種形式，并用等式約束條件替代支持向量機(jī)的不等式約束條件，通過求解一系列線性方程組來替代傳統(tǒng)支持向量回歸中的二次型規(guī)劃問題，這在實際應(yīng)用中表現(xiàn)出運算簡捷、收斂快和精度高的優(yōu)點。擬合函數(shù)中最優(yōu)權(quán)向量[ω]和偏差[b]可通過最小化擬合誤差的平方和及正則化項組成的目標(biāo)函數(shù)獲得：

式中：正實數(shù)[γ]是調(diào)節(jié)常數(shù)，這樣可在訓(xùn)練誤差和模型復(fù)雜度間取折衷以便使所求函數(shù)具有好的泛化能力，且[γ]值越大，模型預(yù)測誤差越小;[s]取值1或-1，依賴于對稱類型。第一個約束條件為LS?SVM的標(biāo)準(zhǔn)約束條件，第二個約束條件是通過賦值[s]取值1或-1，賦予非線性映射函數(shù)[?（x）]的奇偶特性。如果核函數(shù)滿足[k（xk，-xi）= k（-xk，xi）]，因為[ω]維數(shù)可能為無限值故難以最小化式（2），但可在對偶空間上求取[ω]，建立Lagrangian方程：

式（8）為等效的容納非線性特性的對稱核函數(shù)。需要強(qiáng)調(diào)的是，式（8）與式（7）中矩陣的維數(shù)并沒有發(fā)生改變，因此第二個限制條件并沒有增加問題求解的難度，僅僅是把新問題轉(zhuǎn)化成了核函數(shù)。分析式（8），不難發(fā)現(xiàn)高斯核函數(shù)、小波核函數(shù)等均可以組成對稱核函數(shù)[15]。

2 ?混沌系統(tǒng)的對稱性分析

許多混沌系統(tǒng)具有對稱性導(dǎo)致其混沌吸引子也具有某種對稱性，混沌系統(tǒng)的對稱吸引子特性已經(jīng)被多位學(xué)者深入研究，典型的對稱混沌系統(tǒng)如[Z4]對稱因子混沌系統(tǒng)，[λ=]0.16，[μ=]0.74，時間步長為0.01時，20 000個數(shù)據(jù)點的[（x，y）]和[（x，ω）]映射關(guān)系分別如圖1a），圖1b）所示，該混沌系統(tǒng)的映射關(guān)系無論是[（x，y）]還是[（x，ω）]均具有對稱性;100 000 000個數(shù)據(jù)點的[（x，y）]映射關(guān)系如圖1c）所示，不難發(fā)現(xiàn)隨著數(shù)據(jù)點的大量增加混沌系統(tǒng)仍然呈現(xiàn)對稱性。

圖1 ?[λ=]0.16，[μ=]0.74，時間步長為0.01的映射關(guān)系圖

3 ?預(yù)測實例

實踐研究表明，基于LS?SVM對稱性的混沌時間序列預(yù)測方法由于其將混沌時間序列的對稱性作為先驗知識，因而在復(fù)雜非線性建模中具有更加獨特的優(yōu)越性。對初始狀態(tài)極其敏感是混沌時間序列的顯著特征之一，導(dǎo)致混沌時間序列預(yù)測非常困難。但是實驗結(jié)果表明，LS?SVM能夠在一定時間內(nèi)比較精確地預(yù)測未來混沌時間序列。為衡量預(yù)測模型的精確性，采用相對誤差：

假定初始條件[x0=5]，[y0=5]，[z0=15]，利用四階五級Runge?Kutta算法求解Lorenz系統(tǒng)的數(shù)值解，取采樣間隔時間為0.05 s，相空間如圖2a）所示，不難看出，Lorenz系統(tǒng)的[x?y?z]相空間圖呈現(xiàn)明顯的對稱性。關(guān)于[x]的時間序列如圖2b）所示，其時間序列具有復(fù)雜的非線性混沌特征，而且時間序列呈現(xiàn)高度的自相關(guān)性，直接建立其預(yù)測模型存在很大的困難。

利用前[N=]200個時間序列作為訓(xùn)練集（如圖3所示），取嵌入維數(shù)[m]為3、延遲時間[τ]為2，在[{γ，α，s}=]{30，2.5，-1}時進(jìn)行訓(xùn)練建立預(yù)測模型。

為了驗證模型的準(zhǔn)確性，對將來的200個數(shù)據(jù)點進(jìn)行驗證，所建混沌時間序列預(yù)測模型的預(yù)測值與混沌時間序列實際值的比較曲線如圖4所示，實線為實際混沌時間序列，點為預(yù)測值，不難看出基于LS?SVM的對稱性，將混沌系統(tǒng)的對稱性作為先驗知識嵌入預(yù)測模型中能夠進(jìn)一步更加精確地預(yù)測未來的混沌時間序列。

圖2 ?Lorenz混沌時間序列

圖3 ?Lorenz時間序列訓(xùn)練數(shù)據(jù)

圖4 ?預(yù)測值與實際值比較曲線

為了進(jìn)一步比較預(yù)測性能，預(yù)測值與實測值的預(yù)測誤差曲線如圖5所示，除個別點外大部分預(yù)測誤差小于0.5，RMSE誤差為0.025 1，這個預(yù)測精度對于介于隨機(jī)和規(guī)律之間的混沌時間序列預(yù)測來說是非常高的。

圖5 ?預(yù)測誤差曲線

利用預(yù)測的時間序列重構(gòu)的曲線如圖6所示。不難看出該模型的預(yù)測值與系統(tǒng)的實際值吻合得比較好，這說明該方法能夠從無序和復(fù)雜中產(chǎn)生出有序和規(guī)律的系統(tǒng)挖掘混沌時間序列的對稱性等有序行為，并能夠精確預(yù)測其未來的混沌時間序列。

圖6 ?預(yù)測的時間序列重構(gòu)曲線

4 ?結(jié) ?語

本文利用最小二乘支持向量機(jī)的對稱性約束條件挖掘混沌時間序列的對稱性，分析了混沌系統(tǒng)固有的對稱特性，提出一種對稱性最小二乘支持向量機(jī)的混沌時間序列預(yù)測方法，以Lorenz系統(tǒng)為例對對稱性最小二乘支持向量機(jī)的混沌時間序列預(yù)測方法進(jìn)行驗證，仿真結(jié)果表明該預(yù)測方法不僅提高了混沌時間序列建模的精度，而且擴(kuò)展了模型的預(yù)測空間。

參考文獻(xiàn)

[1] WEIGEND A S， GERSHENFELD N A. Time series prediction forecasting the future and understanding the past [M]. New Jersey： Addison?Wesley， 1993.

[2] 陳佳，鄭恩讓，崔萬照，等.基于小波支持向量回歸的電力系統(tǒng)負(fù)荷預(yù)測[J].現(xiàn)代電子技術(shù)，2009，32（16）：135?139.

CHEN Jia， ZHENG Enrang， CUI Wanzhao， et al. Power load foresting based on wavelet support vector regression [J]. Modern electronics technique， 2009， 32（16）： 135?139.

[3] CUI Wanzhao， ZHU Changchun， BAO Wenxing， et al. Prediction of the chaotic time series using support vector machines [J]. Acta physica sinica， 2004， 53（10）： 3303?3310.

[4] CUI Wanzhao， ZHU Changchun， BAO Wenxing， et al. Prediction of the chaotic time series using support vector machines for fuzzy rule?based modeling [J]. Acta physica sinica， 2005， 54（7）： 3009?3018.

[5] SHEN Lihua， CHEN Jihong， ZENG Zhigang， et al. Chaotic time series prediction based on robust extreme learning machine[J]. Acta physica sinica， 2018， 67（3）： 030501.

[6] 顧兆軍，李冰，劉濤. 基于PSO?Elman模型的網(wǎng)絡(luò)流量預(yù)測[J].現(xiàn)代電子技術(shù)，2019，42（1）：82?86.

GU Zhaojun， LI Bing， LIU Tao. Network traffic prediction based on PSO?Elman model [J]. Modern electronics technique， 2019， 42（1）： 82?86.

[7] 姜嬌嬌，郭俊，楊淑瑩. 基于粒子濾波的混沌時間序列局域多步預(yù)測[J].現(xiàn)代電子技術(shù)，2018，41（1）：43?46.

JIANG Jiaojiao， GUO Jun， YANG Shuying. Particle filtering based local multi?step prediction for chaotic time series [J]. Modern electronics technique， 2018， 41（1）： 43?46.

[8] AGUIRRE L A， LOPES R， AMARAL G， et al. Constraining the topology of neural networks to ensure dynamics with symmetry properties [J]. Physical Review E， 2004， 69： 026701.

[9] YU Jinjiang， ZHANG Mingxuan， XU Haibo. Nonlinear dyna?mics and control of symmetric chaotic systems [J]. Acta physica sinica， 2004， 53（11）： 3701?3705.

[10] ABREU S， ASTON P ， MELBOURNE I. Symmetric chaos in a local codimension two bifurcation with the symmetry group of a square [J]. SIAM journal on. applied dynamical systems， 2005， 4（1）： 32?52.

[11] KING G P， STEWART I N. Symmetric chaos， in nonlinear equations in the applied sciences [M]. New York： Academic Press， 1991： 257?315.

[12] FIELD MJ.， Lectures on bifurcations， dynamics and symmetry [M]. Harlow： Longman， 1996.

[13] VAPNIK V N. The nature of statistical learning theory [M]. New York： Springer， 1995.

[14] SUYKENS J A K， VAN GESTEL T， DE BRABANTER J， et al. Least squares support vector machines [M]. Singapore： World Scientific， 2002.

[15] STEWART I. The Lorenz attractor exists [J]. Nature， 2000， 406： 948?949.

[16] FELLMAN J. Transfer policies with discontinuous Lorenz curves [J]. Journal of mathematical finance， 2016， 6： 28?33.