雷 苗 彭 宇彭喜元

(哈爾濱工業(yè)大學電氣工程及自動化學院 哈爾濱 150080)

1 引言

電力、水利，自動化等實際工程領域里，例如風電功率時間序列[1]，河流徑流量[2]，以及間歇式反應釜釜溫[3]等時間序列都具有混沌特性?；煦鐣r間序列預測研究包括兩個方面：一是改進預測模型；另一個是改進前端的特征提取算法。在模型改進方面，文獻[4]采用Jaeger提出的回聲狀態(tài)機制，改進了貝葉斯框架。文獻[5]在遞歸最小二乘支持向量機算法上，引入了局部模糊推理機制。文獻[6]采用合作微分進化算法(cooperative coevolution)，改進了Elman遞歸神經網(wǎng)絡。然而模型改進后，一般都訓練繁瑣，算法復雜度增加。在特征提取改進方面，文獻[7]采用誤差補償?shù)姆绞?，把殘差視為一種廣義的特征。文獻[1]采用集成經驗模態(tài)分解算法和近似熵分析，將風電功率時間序列提取出一系列復雜度差異明顯的風電子特征。文獻[8]采用ARIMA模型，從混沌時間序列中提取出近似線性特征。然而，文獻[9]也指出文獻[8]的這類提取算法里，有兩個假設前提存在問題：一是線性部分和非線性部分被默認為是加和關系未必合理；二是線性模型未必能將線性部分從原始序列中提取徹底。

本文針對文獻[9]指出的線性與非線性特征算法存在的問題，利用平移不變小波算法，把線性部分與非線性部分的加和關系推廣到函數(shù)關系，并在解析意義下，給出一種新穎的虛擬特征表達。

本文剩余部分結構安排如下：第2節(jié)介紹混沌序列預測基礎知識；第3節(jié)介紹面向混沌時間序列預測的虛擬特征提取算法；第4節(jié)介紹仿真和實驗；第5節(jié)總結全文。

2 面向混沌預測的特征提取相關知識

2.1 面向混沌預測的虛擬特征提取算法框架

下面先給出面向混沌預測的虛擬特征提取算法框架，如圖1所示。

圖1 面向混沌預測的虛擬特征提取框架

圖1所示的框架分為3個部分。第1部分是混沌相空間重構理論。虛線框中的第2部分是本文提出的虛擬特征提取算法。第3部分，采用Elman預測實驗來評估本文特征提取算法的有效性。

2.2 混沌相空間重構與直接多步預測

對于混沌時間序列Y，根據(jù)文獻[10]的推導可得，存在一個映射滿足：

后文實驗部分將采用Elman網(wǎng)絡直接多步預測的結果，驗證本文提出的虛擬特征提取算法。

2.3 Elman遞歸神經網(wǎng)絡

Elman網(wǎng)絡是一種典型的遞歸神經網(wǎng)絡，由于較為常見和自身良好的動態(tài)特性，已被廣泛用于混沌時間序列的預測。具體Elman網(wǎng)絡結構、訓練過程等詳見文獻[11]。

3 面向混沌序列預測的虛擬特征提取算法

3.1 算法基本思想

文獻[8]假設時間序列Y由線性特征L和非線性特征N兩部分以加和關系構成，即

精確的線性特征Lt無法獲得，文獻[8]等采用ARIMA模型的預測值來近似線性特征，從而et即為ARIMA的剩余部分。文獻[8]又采用神經網(wǎng)絡模型對et進行預測，理想的映射關系如下：

但文獻[9]指出，此線性與非線性特征提取算法里，有兩個假設前提存在問題：一是線性部分和非線性部分被默認為是加和關系未必合理；二是線性模型未必能將線性部分從原始序列中提取徹底。

針對以上兩個問題，本文首先將線性、非線性特征與原時間序列Y的關系推廣到函數(shù)關系，即

而后，對于線性和非線性特征，本文并不試圖在預測過程中給出Lt和Nt顯式的數(shù)值結果；而只保留它們與預測輸出之間的映射關系，僅僅是把Lt和Nt視為用于預測時間序列Y的過渡特征。本文把這樣的Lt和Nt定義為虛擬過渡特征，后文簡記為虛擬特征(virtual feature)。事實上，虛擬特征本質就是可移植于神經網(wǎng)絡非線性輸入端的過渡特征向量。

3.2 虛擬特征提取兩子部分

3.2.1 平移不變小波變換 小波分析以其良好的時頻局部化特性和多分辨分析能力，被廣泛應用于各種信號及圖像處理研究中。

平移不變小波變換(shift invariant wavelet transform)被成功應用于各類時間序列預測問題[12]。文獻[13]驗證了不同形式的平移不變小波變換的等價性，文獻[14]將它們統(tǒng)一命名為平移不變小波。

文獻[15]給出了平移不變小波正、逆變換，以實現(xiàn)序列Y的多分辨分析， 得到Y的重構公式為

3.2.2 虛擬線性與非線性特征表達 如前所述，由原混沌序列Y經平移不變小波分解后得到若干光滑和細節(jié)子層。

聯(lián)合式(2)可得

其中，g為非線性映射函數(shù)。本文采用Elman神經網(wǎng)絡實現(xiàn)，假設Elman神經網(wǎng)絡實際的預測值為?ty，則總的預測結果為

3.3 面向預測的虛擬特征提取算法步驟

下面給出面向預測的虛擬特征提取算法步驟。

步驟 1 確定混沌時間序列Y的嵌入維數(shù)m和嵌入延遲τ，進行相空間重構；

步驟 2 采用式(3)進行平移不變小波變換，獲取若干個光滑和細節(jié)子層；

步驟 3 根據(jù)式(7)，采用Elman神經網(wǎng)絡，對特征提取后的信息進行直接多步預測。

4 仿真實驗和結果分析

本文采用兩類典型的混沌數(shù)據(jù)，仿真和實測混沌數(shù)據(jù)，驗證本文提出的虛擬特征提取算法的有效性。具體為Mackey-Glass系統(tǒng)仿真數(shù)據(jù)，以及美國密西西比河某監(jiān)測站實測徑流流量數(shù)據(jù)。

選取均方誤差MSE (Mean Square Error)和規(guī)范化均方誤差 NMSE (Normalized Mean Square Error)作為預測精度評價標準，將本文提出的虛擬特征提取算法用于預測實驗，與Elman直接預測等其它4種預測方法進行對比。為預測值，為其對應真值，，其中M為測試數(shù)據(jù)點對數(shù)。定義：

5種預測方法均采用直接多步預測的結果進行比對。實驗中，取直接多步預測的步數(shù)k =6。

4.1 仿真數(shù)據(jù)結果

Mackey-Glass預測是研究混沌時間序列預測的標桿問題。Mackey-Glass序列由式(10)微分方程產生：

實驗中，取微分方程參數(shù)a=0.2, b=0.1, c=10,，同時取定初值，采樣間隔，用四階Runge-Kutta法解微分方程，可得混沌時間序列Y，如圖2所示。

Mackey-Glass虛擬特征提取和預測實驗中，取嵌入維數(shù)m=4，嵌入延遲5τ=。同時從Y中取500點對訓練，500點對預測。

圖2 Mackey-Glass混沌時間序列

圖3給出Mackey-Glass的各個平移不變小波光滑和細節(jié)子層。選取Haar小波基，分解層數(shù)為2層。其中Y為原混沌時間序列，D1～D2為第1至第2個細節(jié)子層，S2為光滑子層。

圖4給出本文算法應用于直接多步預測實驗，預測值和真實值的對比圖。

表1給出本文算法以及Elman直接預測等5種方法的預測精度指標。由表1可知，本文算法在Mackey-Glass混沌時間序列預測上，相對于其它4種方法中表現(xiàn)最好的Elman直接預測算法，MSE,NMSE分別降低50%和50%。

圖3 Mackey-Glass序列平移不變小波光滑和細節(jié)子層

4.2 實測數(shù)據(jù)結果

為了進一步驗證本文算法的有效性，下面選取2008年1月1日至2012年9月30日，美國密西西比河某監(jiān)測站實測徑流流量數(shù)據(jù)進行實驗驗證。文獻[2]引證了密西西比河實測流量數(shù)據(jù)具有混沌特征。本文選取500點對用于訓練，500點對用于預測。實驗中取嵌入維數(shù)m=2, 嵌入延遲1τ=。

Elman直接預測以及本文算法兩種不同方法預測的誤差結果如圖5所示。

由圖5可知，虛線加號代表的Elman直接預測誤差較大；實線圓圈代表的本文方法誤差較小。

表1 Mackey-Glass預測誤差對比

圖4 Mackey-Glass虛擬特征提取多步預測結果

圖5 Mississippi混沌時間序列預測誤差對比

由表2可知，本文算法在美國密西西比河某監(jiān)測站實測徑流流量數(shù)據(jù)預測上，相對于其它4種方法中表現(xiàn)最好的小波分解加Elman模型，MSE, NMSE也分別降低36%和35%。從而也驗證了本文算法在實測Mississippi混沌數(shù)據(jù)上的有效性。

表2 Mississippi預測誤差對比

5 結束語

針對混沌時間序列預測需求，本文把線性部分與非線性部分的加和關系推廣到函數(shù)關系。然后，利用平移不變小波細節(jié)和光滑子層信息，給出了一種新穎的虛擬特征表達。

采用經典的Mackey-Glass仿真數(shù)據(jù)，以及美國密西西比河實測徑流流量數(shù)據(jù)實驗表明，本文提出的虛擬特征提取算法較Elman直接預測等其它4種方法，預測誤差降低，預測精度提高。

然而，本文方法主要是利用了平移不變小波的多分辨特性和解相關特性，提取出初始子層信息。整個特征提取過程，對混沌時間序列的背景信息和先驗知識考慮較少。如何利用電力、水利、自動化等實際工程領域實測混沌時間序列的背景信息反饋回小波基函數(shù)的設計，提高特征提取的針對性，是本文需要深入研究的問題。

[1] 張學清, 梁軍. 基于EEMD-近似熵和儲備池的風電功率混沌時間序列預測模型[J]. 物理學報, 2013, 62(5):050505-1-050505-10.Zhang Xue-qing and Liang Jun. Chaotic time series prediction model of wind power based on ensemble empirical mode decomposition-approximate entropy and reservoir[J].Acta Physica Sinica, 2013, 62(5): 050505-1-050505-10.

[2] Kourafalou V H and Androulidakis Y S. Influence of mississippi river induced circulation on the deepwater horizon oil spill transport[J]. Journal of Geophysical Research: Oceans,2013, 118(8): 3823-3842.

[3] 宋彤, 李菡. 基于小波回聲狀態(tài)網(wǎng)絡的混沌時間序列預測[J].物理學報, 2012, 61(8): 90-96.Song Tong and Li Han. Chaotic time series prediction based on wavelet echo state network[J]. Acta Physica Sinica, 2012,61(8): 90-96.

[4] Li D, Han M, and Wang J. Chaotic time series prediction based on a novel robust echo state network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012,23(5): 787-799.

[5] Miranian A and Abdollahzade M. Developing a local least-squares support vector machines-based neuro-fuzzy model for nonlinear and chaotic time series prediction[J].IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(2): 207-218.

[6] Rohitash C and Zhang M J. Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J]. Neurocomputing, 2012, 86(1): 116-123.

[7] 韓敏, 許美玲. 一種基于誤差補償?shù)亩嘣煦鐣r間序列混合預測模型[J]. 物理學報, 2013, 62(12): 120510-1-120510-7.Han Min and Xu Mei-ling. A hybrid prediction model of multivariate chaotic time series based on error correction[J].Acta Physica Sinica, 2013, 62(12): 120510-1-120510-7.

[8] Zhang G P. Time series forecasting using a hybrid ARIMA and neural network model[J]. Neurocomputing, 2003, 50(1):159-175.

[9] Taskaya T and Casey M C. A comparative study of autoregressive neural network hybrids[J]. Neural Networks,2005, 18(5): 781-789.

[10] Han M, Xi J H, Xu S G, et al.. Prediction of chaotic time series based on the recurrent predictor neural network[J].IEEE Transactions on Signal Processing, 2004, 52(12):3409-3416.

[11] Muhammad A F and Saeed Z. Chaotic time series prediction with residual analysis method using hybrid Elman NARX neural networks[J]. Neurocomputing, 2010, 73(13):2540-2553.

[12] Peng Yu and Lei Miao. Multiresolution analysis and forecasting of mobile communication traffic[J]. Chinese Journal of Electronics, 2013, 22(2): 373-376.

[13] 潘泉, 孟晉麗, 張磊, 等. 小波濾波方法及應用[J]. 電子與信息學報, 2007, 29(1): 236-242.Pan Quan, Meng Jin-li, Zhang Lei, et al.. Wavelet filtering method and its application[J]. Journal of Electronics ＆amp;Information Technology, 2007, 29(1): 236-242.

[14] Berkner K and Wells R O. Smoothness estimates for soft-threshold denoising via translation-invariant wavelet transforms[J]. Applied and Computational Harmonic Analysis,2002, 12(1): 1-24.

[15] Mondal D and Percival D B. Wavelet variance analysis for random fields on a regular lattice[J]. IEEE Transactions on Image Processing, 2012, 21(2): 537-549.