劉修恒，呂　鑫，戚榮志，劉　璇，馬鴻旭

（河海大學計算機與信息學院 江蘇 南京　211100）

基于小波和過程神經(jīng)網(wǎng)絡的時間序列預測模型

劉修恒，呂鑫，戚榮志，劉璇，馬鴻旭

（河海大學計算機與信息學院 江蘇 南京211100）

提出基于過程神經(jīng)網(wǎng)絡和自回歸模型的組合預測方案。首先，采用二進正交小波變換對原始時間序列分解和重構，分離出原始序列中的高頻部分和低頻部分；然后對低頻部分構建過程神經(jīng)網(wǎng)絡模型，對低頻部分采用自回歸模型；最后將兩種模型的預測值疊加，得到原序列的預測值。

小波分解；非平穩(wěn)時間序列；過程神經(jīng)網(wǎng)絡；自回歸；預測

在現(xiàn)實生活中，非平穩(wěn)和非線性的時間序列隨處可見，我們并不清楚動力系統(tǒng)變量是如何相互作用的，也不清楚它們?nèi)绾沃湎到y(tǒng)的演化的，但這些變量的時頻性是不相同的。模型的好壞對于動力學系統(tǒng)影響巨大，因為它有著重要的理論意義和很大的應用情景。

現(xiàn)如今，世界各地的專家和學者對時間序列的預測和辨識從不同方面進行研究。對于傳統(tǒng)基于統(tǒng)計學的方法，其方法與結(jié)論的性能取決于樣本的數(shù)量，然而實際情況中，樣本的數(shù)量往往是有限的，這就使得傳統(tǒng)基于統(tǒng)計學的方法無法取得很多的效果。由于強大的函數(shù)逼近能力與學習能力，人工神經(jīng)網(wǎng)絡較多地應用到時間序列預測中，但是因為輸入的同步瞬時性的特點，因此人工神經(jīng)網(wǎng)絡對于序列中真實存在的時間累積效應難以表達。過程神經(jīng)網(wǎng)絡，由于其在傳統(tǒng)人工神經(jīng)網(wǎng)絡的基礎之上增加了一個時間聚合運算算子，因此過程神經(jīng)網(wǎng)絡可以充分體現(xiàn)序列中的時間累積效應。

如何提取原始序列中的低頻和高頻信息并建立模型和序列中的時間累積效應如何表達是有趨向性均值的非平穩(wěn)時間序列預測的重要問題。二進正交小波對這種時間序列有著較好的適應性[2，8-9]，對低頻的分離作用及有著較好應用能力的過程神經(jīng)網(wǎng)絡，為了解決這類預測問題，文中提出基于小波變換的過程神經(jīng)網(wǎng)絡和自回歸的組合預測模型。

1　預測原理及方法

1.1過程神經(jīng)網(wǎng)絡

過程神經(jīng)網(wǎng)絡，其在網(wǎng)絡結(jié)構上與傳統(tǒng)人工神經(jīng)網(wǎng)絡類似，時變函數(shù)是兩種網(wǎng)絡的區(qū)別。由于在傳統(tǒng)神經(jīng)網(wǎng)絡的基礎上多了時間聚合算子，因此過程神經(jīng)網(wǎng)絡能充分體現(xiàn)原始序列中實際存在的時間累積效應。

1.1.1過程神經(jīng)元

聚合、激勵、加權組成了過程神經(jīng)元，圖1是其結(jié)構圖。對于過程神經(jīng)元來說，其輸入和權皆為時變函數(shù)，這就使得其不僅有空間上的聚合，還有對時間的聚合。

圖1　過程神經(jīng)元Fig.1　Process neural

1.1.2過程神經(jīng)網(wǎng)絡拓撲結(jié)構

圖2為具有一個隱層的過程神經(jīng)網(wǎng)絡的結(jié)構圖。其中隱層是有過程神經(jīng)元組成。

圖2　3層過程神經(jīng)元網(wǎng)絡Fig.2　Three layer process neural networks

網(wǎng)絡輸出：

其中，wij（t）是第一層（輸入層）的第i個神經(jīng)元到第二層（隱層）的第j個神經(jīng)元的權函數(shù)，vj是第二層（隱層）第j個神經(jīng)元到第三層（輸出層）神經(jīng)元的連接權，τ、θj分別是輸出層和隱層的閾值，f（·）、g（·）分別是隱層、輸入層的激勵函數(shù)，[0，T]為采樣間隔。取，g（x）=x，τ=0，網(wǎng)絡輸出變?yōu)?/p>

1.1.3時變函數(shù)的展開

過程神經(jīng)網(wǎng)絡權值及輸入皆為時序函數(shù)，取正交基函數(shù)為{d1（t），d2（t），…，dL（t）}，此正交基可以為小波基函數(shù)，三角基函數(shù)等.將時變函數(shù)輸入和權按照一定的精度要求在此選擇的正交基上進行有限展開，得到，，有

則輸出變?yōu)?/p>

取樣本：X（t）={x1（t），x2（t），…，xn（t），d}，則其誤差函數(shù)：因此運算得到了簡化，其中參數(shù)、vj、θj都是定量值，并且以上參數(shù)是輸出y和誤差函數(shù)E的自變量。

1.2二進正交小波變換的Mallat算法

1.2.1分解算法

若將設為10原始信號，則由小波變換的Mallat分解算法，有：

其中:G和H分別為高通濾波器和低通濾波器；1j和hj為原始信號在分辨率2-j下的低頻信息和高頻信息；最大的層數(shù)為J。最終原始信號分解為h1，h1，h3，…，hJ和1J。

因為該小波分解采用二抽取的形式，使得每次的分解，信號的長度就會減少一半，但是最后的輸出長度和原始信號長度一致，而且信號長度的減少對于預測來說是不精確的，因此需要采用小波重構算法進行重構。

1.2.2重構算法

通過上一步，使得誤差函數(shù)公式中的時序變化量沒有了，

其中:H*和G*是對偶算子；j=J-1，J-2，….，0。

對小波Mallat分解后的信號利用式（4）重構采，這樣信號個數(shù)可以增加。對h1，h2，h3，…，hJ和1J分別進行重構，得到H1，H2，H3，…，HJ和LJ，有

其中:H1:{h1，1，h1，2，…}，…，HJ:{h1，1，h1，2，…}為重構高頻信號；LJ:{1J，1，1J，2，…}為重構低頻信號。

1.3基于Mallat算法的PNN-AR預測方法

采用二進正交小波變換對原始時間序列分解和重構，分離出原始序列中的高頻部分和低頻部分；然后對低頻部分構建過程神經(jīng)網(wǎng)絡模型，對低頻部分采用自回歸模型；最后將兩種模型的預測值疊加，得到原序列的預測值。預測模型框架如圖3所示。

圖3　基于Mallat算法的Process-AR預測框架Fig.3　Process-AR prediction framework based on Mallat algorithm

令Xt:{X1，X2，…}為原始時間序列，對其進行小波Mallat分解以及對各層分解信號進行重構，得到

其中:H1:{h1，1，h1，2，…}，…，HN:{hN，1，hN，2，…}為重構高頻信號；LN:{1N，1，1N，2，…}為重構低頻信號。有：

若已知{ti|i≤M}時刻的Xi值，用其來預測k步以后的值，則需要解XM+k，即

由于H1，H1，H3…HN可近似被當成平穩(wěn)的時間序列，可分別對其建立 AR（p）模型，并對h1，M+k，h2，M+k，…，hh，M+k進行預測。其預測步驟如下：

1）對Hj建立自回歸模型AR（p），根據(jù)已有的h*j，M+k的值對模型的參數(shù)進行估計，其中，1≤j≤N，i≤M；

2）檢驗上述模型的適用性；

3）利用適用性最好的AR（p）進行預測，得到hj，M+k的預測值

由于低頻信號LN具有長期趨勢和非線性的特點，可以利用過程神經(jīng)網(wǎng)絡對低頻信號進行建立預測模型。根據(jù)上述過程神經(jīng)網(wǎng)絡原理，其具體步驟如下:

1）對網(wǎng)絡的層數(shù)、各層神經(jīng)元的個數(shù)進行設定，即確定網(wǎng)絡的物理結(jié)構；

2）對網(wǎng)絡各層的激勵函數(shù)進行確定；

3）根據(jù)時間序列數(shù)據(jù)的特點選擇一個合適的正交基函數(shù)θj，1=1，2，…，L，同時設定其個數(shù)；

4）根據(jù)選定的正交基函數(shù)展開所有樣本

5）給網(wǎng)絡參數(shù)ε、s=0、θj賦于初始值（i=1，2，…，n；j=1，2，…，m；1=1，2，…，L）

6）對誤差精度ε、最大迭代次數(shù)M，累積迭代次數(shù)s=0，學習速率初始值η進行指定

7）對所有樣本都按照如下步驟進行操作：

①取樣本集中的樣本1=1，2，…，L，從而可以得到該樣本內(nèi)元素Li（t），i=1，2，…，n在正交基函數(shù)上的展開系數(shù)a1i，1= 1，2，…，L；

②利用式（1）、（2）計算輸出y以及誤差函數(shù)E的值；

8）當E<ε或s>M時轉(zhuǎn)9），否則轉(zhuǎn)7）。

9）輸出學習結(jié)果，結(jié)束。

2　預測實例

水文數(shù)據(jù)是一種用于判別和比較預測方法以及具有趨向性特點的非平穩(wěn)的時間序列，如圖4所示。利用六合水庫的日水位數(shù)據(jù)來對文中提出的預測模型進行驗證，并將其與單純的過程神經(jīng)網(wǎng)絡模型比較。首先對原始序列利用db4小波進行2層分解與重構，然后使用PNN-AR（過程神經(jīng)網(wǎng)絡和AR組合模型）進行預測。利用均方誤差（Relative error）和平均相對誤差（Mean relative error）兩個性能指標來對預測模型的性能進行評價。

六合水庫日水位預測，選取六合水庫1995年之后的共4018條日水位數(shù)據(jù)來驗證預測模型。原始時間序列如圖4所示。

圖4　原始時間序列Fig.4　The original time series

圖5　重構后高頻和低頻信號Fig.5　The reconstructed high frequency and low frequency signal

前3978條水位數(shù)據(jù)被選取作為訓練數(shù)據(jù)，后40條水位數(shù)據(jù)被用作測試數(shù)據(jù)。PNN-AR模型、過程神經(jīng)網(wǎng)絡模型以及BP神經(jīng)網(wǎng)絡模型的預測結(jié)果如圖6所示，其中過程神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構均為輸入層節(jié)點為10，隱層節(jié)點為6，輸出節(jié)點為1。實驗結(jié)果如圖6和表1所示。

圖6　預測結(jié)果對比Fig.6　The results of prediction

表1　誤差對比Tab.1　Error comparison

從圖6和表1可以得出：PNN-AR的預測精度優(yōu)于過程神經(jīng)網(wǎng)絡的預測精度，從而說明該方法比單獨使用過程神經(jīng)網(wǎng)絡泛化能力較強，預測效果較好，能充分擬合低頻和高頻信息。

3　結(jié)束語

文中將小波變換[9-11]和過程神經(jīng)網(wǎng)絡應用于非平穩(wěn)時間序列的預測。首先根據(jù)趨向性非平穩(wěn)時間序列具有的非線性、波動性和確定性等3個特性，采用二進正交小波變換對原始時間序列分解和重構，分離出原始序列中的高頻部分和低頻部分；然后利用對平穩(wěn)時間序列具有較好預測能力的統(tǒng)計推斷建模，并結(jié)合過程神經(jīng)網(wǎng)絡，實現(xiàn)對均值具有非平穩(wěn)特性的時間序列的精確預測。實驗表明，該方法是這類非平穩(wěn)時間序列的有效預測方法，對進一步解決實際工程問題具有良好的應用前景。

[1]熊沈蜀，周兆英.神經(jīng)網(wǎng)絡在動力學系統(tǒng)建模中的理論研究[J].清華大學學報:自然科學版，1998（8）:26-31.

[2]張坤，郁湧，李彤.基于小波和神經(jīng)網(wǎng)絡相結(jié)合的股票價格模型[J].計算機工程與設計，2009（23）:5496-5498.

[3]Zhang G P，Qi M.Neural Network Forecasting for Seasonal and Trend Time Series[J].European J of Operational Research，2005，160（2）:501-514.

[4]何新貴，梁久禎.過程神經(jīng)網(wǎng)絡的若干理論問題[J].中國工程科學，2000，2（12）:40-44.

[5]許少華，何新貴.基于函數(shù)正交基展開的過程神經(jīng)網(wǎng)絡學習算法[J].計算機學報，2004，27（5）:645-650.

[6]何新貴，許少華.輸入輸出均為時變函數(shù)的過程神經(jīng)網(wǎng)絡及應用[J].軟件學報，2003，14（4）:164-169.

[7]許少華，何新貴，李盼池.一類用于連續(xù)過程逼近的過程神經(jīng)元網(wǎng)絡及其應用[J].信息與控制，2004，33（1）:116-119.

[8]張晗，王霞.基于小波分解的網(wǎng)絡流量時間序列建模與預測[J].計算機應用研究，2012（8）:3134-3136.

[9]李欣.小波變換和模糊凸集投影相結(jié)合的圖像復原方法研究[J].電子設計工程，2015（18）：182-184.

[10]郜憲錦.基于小波變換的MSK信號碼速率盲估計[J].電子科技，2015（5）:140-142.

[11]趙德明.小波變換和曲波變換的圖像邊緣檢測新算法[J].科技創(chuàng)新與應用，2015（13）:53.

Time series prediction model based on wavelet and process neural network

LIU Xiu-heng，LV Xin，QI Rong-zhi，LIU Xuan，MA Hong-xu
（College of Computer and Information，Hohai University，Nanjing 211100，China）

A time series prediction method based on AR and process neural network PPN-AR was proposed.By Binary orthogonal wavelet transform，the non-stationary time series were decomposed into a low frequency signal and several high frequency signals.The low frequency was predicted with process neural network，and the high frequency signals were predicted with auto-regression models.The prediction result of the original time series was the superimposition of the respective prediction.

mallat decomposition；non-stationary time series；process neural network；autoregressive；prediction

TN-9

A

1674－6236（2016）01-0009-03

2015-09-10稿件編號：201509079

國家自然科學基金面上項目 （61272543）；國家科技支撐計劃 （2013BAB06B04）；中國華能集團公司總部科技項目（HNKJ13-H17-04）；江蘇省自然科學基金（BK20130852）；江蘇省博士后科研資助計劃（1401001C）

劉修恒（1992—），男，安徽阜陽人，碩士研究生。研究方向：數(shù)據(jù)挖掘。