單　毅　楊建偉　王新志

1　南京信息工程大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，南京市寧六路219號，210044 2　南京信息工程大學(xué)遙感學(xué)院，南京市寧六路219號，210044

基于在線回聲狀態(tài)網(wǎng)絡(luò)的變形數(shù)據(jù)預(yù)測分析

單毅1楊建偉1王新志2

1南京信息工程大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，南京市寧六路219號，210044 2南京信息工程大學(xué)遙感學(xué)院，南京市寧六路219號，210044

摘要：結(jié)合Kalman濾波與回聲狀態(tài)網(wǎng)絡(luò)，將在線回聲狀態(tài)網(wǎng)絡(luò)算法應(yīng)用于變形數(shù)據(jù)預(yù)測?；芈暊顟B(tài)網(wǎng)絡(luò)的輸出權(quán)值通過Kalman濾波訓(xùn)練，直接對網(wǎng)絡(luò)的輸出權(quán)值進(jìn)行在線更新，克服了傳統(tǒng)遞歸網(wǎng)絡(luò)需要收集大量樣本后才能進(jìn)行擬合預(yù)測的缺陷，同時也保證了預(yù)測精度。實(shí)例計(jì)算驗(yàn)證了該方法的有效性。

關(guān)鍵詞：在線學(xué)習(xí)；變形觀測數(shù)據(jù)；回聲狀態(tài)網(wǎng)絡(luò)；Kalman濾波

神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的自適應(yīng)性和聯(lián)想記憶能力，廣泛應(yīng)用于變形數(shù)據(jù)的建模預(yù)測[1-4]?；芈暊顟B(tài)網(wǎng)絡(luò)(ESN)是近年來興起的一種非線性映射能力很強(qiáng)的神經(jīng)網(wǎng)絡(luò)，其采用求偽逆的訓(xùn)練方法，可避免基于梯度下降算法的一些缺陷[5-6]。目前包括ESN在內(nèi)的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大多采用離線學(xué)習(xí)方式，在大量樣本提交后才會調(diào)整網(wǎng)絡(luò)參數(shù)。然而變形數(shù)據(jù)在某些情況下不容易觀測得到，導(dǎo)致沒有足夠的觀測值供離線學(xué)習(xí)[1]，且離線學(xué)習(xí)需要占用大量的計(jì)算資源，不能實(shí)時調(diào)節(jié)相關(guān)參數(shù)[7]。此時，需要一種在線預(yù)測方法，在相對節(jié)省存儲空間的前提下，對快時變的變形數(shù)據(jù)作出準(zhǔn)確預(yù)報(bào)。Kalman濾波是一種在線預(yù)測算法，但其限制條件苛刻，要求系統(tǒng)模型精確且系統(tǒng)誤差模型和觀測誤差模型已知[8]， 這在實(shí)際應(yīng)用中很難滿足。基于此，韓敏等[7]提出一種在線ESN。本文將這種在線ESN應(yīng)用于變形數(shù)據(jù)的預(yù)測，采用Kalman濾波實(shí)時更新ESN的輸出權(quán)值。相比基于求逆或者梯度下降的離線訓(xùn)練方式，該算法訓(xùn)練效率高，能動態(tài)調(diào)整網(wǎng)絡(luò)權(quán)值，從而提高網(wǎng)絡(luò)在線預(yù)測性能。對淮南市潘一東礦的地表沉降數(shù)據(jù)進(jìn)行測試，實(shí)驗(yàn)結(jié)果證明了該算法的有效性。

1在線回聲狀態(tài)網(wǎng)絡(luò)預(yù)測算法

1.1回聲狀態(tài)網(wǎng)絡(luò)

ESN是一種新型遞歸網(wǎng)絡(luò)[5-6]，包含輸入層、輸出層和儲備池3個部分，各部分通過連接權(quán)值連接，其結(jié)構(gòu)如圖1所示。在n時刻向網(wǎng)絡(luò)輸入樣本u(n)后，形成如下動態(tài)遞歸系統(tǒng)：

(1)

式中，Win是輸入層與儲備池的連接權(quán)值矩陣，W是儲備池內(nèi)部神經(jīng)元之間的連接權(quán)值矩陣，Win和W都在訓(xùn)練前隨機(jī)產(chǎn)生于(-1，1)之間并且之后不再變動。在離線學(xué)習(xí)的情況下，儲備池與輸出層之間的連接權(quán)值Wout需要根據(jù)求偽逆的方法得出[6]，這可能占用大量的存儲空間和計(jì)算資源。本文使用在線ESN進(jìn)行變形數(shù)據(jù)的實(shí)時預(yù)測。

圖1　回聲狀態(tài)網(wǎng)絡(luò)基本結(jié)構(gòu)圖Fig.1　The structure of ESN

1.2基于Kalman濾波法的ESN輸出權(quán)值訓(xùn)練

韓敏等[7]提出用Kalman濾波訓(xùn)練ESN的在線ESN算法，將ESN的狀態(tài)空間轉(zhuǎn)化為Kalman濾波的形式，即把輸出權(quán)值Wout視為Kalman濾波狀態(tài)值，根據(jù)ESN輸出權(quán)值的變化特性，將狀態(tài)轉(zhuǎn)移矩陣設(shè)置為單位矩陣，則狀態(tài)轉(zhuǎn)移方程為：

(2)

(3)

(4)

(5)

式中，R(k)、Q(k)分別為測量噪聲和過程噪聲的協(xié)方差矩陣，K(k)為Kalman濾波增益，A(k)是對增益矩陣的調(diào)整：

(6)

(7)

(8)

綜上,可利用式(2)～(8)在線更新ESN的輸出權(quán)值，并計(jì)算網(wǎng)絡(luò)輸出。

2工程實(shí)例分析

2.1工程概況與精度檢驗(yàn)指標(biāo)

潘一東礦位于淮南市北部，為掌握采礦期間地表沉降狀況，對采礦區(qū)域地表布設(shè)CORS自動化監(jiān)測系統(tǒng)。系統(tǒng)由1個基準(zhǔn)站和6個監(jiān)測站組成，采樣間隔為30s，利用3G和無線網(wǎng)橋?qū)?shù)據(jù)實(shí)時傳回?cái)?shù)據(jù)中心。以6號監(jiān)測站1個月數(shù)據(jù)為例進(jìn)行分析，采用均方誤差(MSE)評判預(yù)測模型的精度：

(9)

2.2實(shí)驗(yàn)驗(yàn)證及分析

在線ESN算法流程見圖2。

圖2　預(yù)測模型流程Fig.2　The flow chart of model predicting

創(chuàng)建網(wǎng)絡(luò)后，設(shè)置輸入層和輸出層神經(jīng)元個數(shù)為1，儲備池神經(jīng)元個數(shù)為600，W(儲備池內(nèi)部連接權(quán)值矩陣)譜半徑小于1。

收集變形監(jiān)測點(diǎn)1個月的原始監(jiān)測數(shù)據(jù)，測量單位為m。在監(jiān)測過程中發(fā)現(xiàn)，數(shù)據(jù)的整數(shù)部分沒有變化，而小數(shù)部分變化劇烈，并呈現(xiàn)很強(qiáng)的非線性特征。從預(yù)測精度出發(fā)，將小數(shù)部分的變化作為重點(diǎn)研究對象。監(jiān)測數(shù)據(jù)有x、y(水平)、z(高)3個維度方向，本文僅選z方向數(shù)據(jù)為例。由于該沉降數(shù)據(jù)變化范圍在cm級且非線性特征較強(qiáng)，現(xiàn)有的算法模型很難將全部變形情況精確地預(yù)測出來[9-10]。根據(jù)該組數(shù)據(jù)的特點(diǎn)，設(shè)定其噪聲誤差服從均值為0、方差為0.001 m的高斯分布[11]，初始誤差方差設(shè)定為0.001，狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣都設(shè)定為單位陣。

針對同一天的變形數(shù)據(jù)，分別使用在線ESN(圖3)和Kalman濾波預(yù)測(圖4)。從圖3可以看出，由于在線ESN可以依據(jù)數(shù)據(jù)的實(shí)時變化作出預(yù)測，預(yù)測結(jié)果不易被異常點(diǎn)(圖中第303個數(shù)據(jù))干擾，較適合于短期預(yù)測。在線ESN的預(yù)測基本上遵循數(shù)據(jù)的變化情況，雖然在細(xì)節(jié)上不完全符合真實(shí)的振幅，但變化的方向基本吻合。圖4中，Kalman濾波雖然也預(yù)測出了大致的變化趨勢，但是沒有描繪出變化細(xì)節(jié)。選用離線BP網(wǎng)絡(luò)作為比較對象，使用同一天前600個觀測數(shù)據(jù)作為訓(xùn)練集，預(yù)測后200個數(shù)據(jù)的變化情況，結(jié)果見圖5?？梢钥闯觯珺P網(wǎng)絡(luò)雖然有時預(yù)測效果不錯，但存在預(yù)測不穩(wěn)定的情形，有時預(yù)測曲線的變化甚至與真實(shí)數(shù)據(jù)變化情況相反。

圖3　在線ESN預(yù)測數(shù)據(jù)與實(shí)際數(shù)據(jù)對比Fig.3　Comparison between the predicted data by online-ESN and the actual data

圖4　Kalman濾波預(yù)測數(shù)據(jù)與實(shí)際數(shù)據(jù)對比Fig.4　Comparison between the predicted data by Kalman fliter and the actual data

圖5　BP網(wǎng)絡(luò)預(yù)測數(shù)據(jù)與實(shí)際數(shù)據(jù)對比Fig.5　Comparison between the predicted data by BP and the actual data

計(jì)算3種算法對20 d數(shù)據(jù)的預(yù)測均方誤差，結(jié)果見表1。從表1看出, 由于對數(shù)據(jù)作了預(yù)處理，使得該類型數(shù)據(jù)具有一定的平穩(wěn)性，所以3種算法在預(yù)測此類型變形數(shù)據(jù)時效果都較好。然而，BP網(wǎng)絡(luò)需要在預(yù)測前收集大量數(shù)據(jù)，在靈活性方面較差。在線ESN的預(yù)測精度幾乎比Kalman濾波高一倍，且無需事先知道模型的狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣。

表1　3種算法20 d預(yù)測精度比較

3結(jié)語

本文將在線ESN用于沉降變形數(shù)據(jù)的預(yù)測，并以淮南市潘一東煤礦某月的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。結(jié)果表明，采用在線ESN更加適合于不確定性很強(qiáng)并且變化范圍有限的變形系統(tǒng)，其不需要記憶很多的訓(xùn)練樣本，更具靈活性和便易性，預(yù)測精度與離線學(xué)習(xí)的BP網(wǎng)絡(luò)相當(dāng)。

參考文獻(xiàn)

[1]盛守照，王道波，黃向華.限定記憶的前向神經(jīng)網(wǎng)絡(luò)在線學(xué)習(xí)算法研究[J]. 控制與決策，2005, 20(3)：304-307(Sheng Shouzhao，Wang Daobo，Huang Xianghua. Online Learning Algorithm for Feed Forward Neural Networks with Moving Range[J].Control and Decision,2005, 20(3)：304-307)

[2]朱玉，趙卿，梅艷.混沌免疫優(yōu)化RBF網(wǎng)絡(luò)在動態(tài)變形預(yù)測中的應(yīng)用[J].大地測量與地球動力學(xué),2012，32(5)：53-57(Zhu Yu，Zhao Qing，Mei Yan. Prediction of Dynamic Deformation Based on Chaotic Immune Optimization Algorithm RBF Nueral Network[J]. Journal of Geodesy and Geodynamics,2012，32(5)：53-57)

[3]潘國榮，谷川.GMDH神經(jīng)網(wǎng)絡(luò)算法在變形預(yù)測中的應(yīng)用[J].大地測量與地球動力學(xué)，2008，28(3)：55-58(Pan Guorong,Gu Chuan. GMDH NN Algorithm and Its Application in Deformation Forecasting[J].Journal of Geodesy and Geodynamics,2008，28(3):55-58)

[4]彭祥國, 王堅(jiān), 孫麗紅. BP網(wǎng)絡(luò)最佳維數(shù)建模法在變形時序預(yù)測中的應(yīng)用[J]. 大地測量與地球動力學(xué), 2009, 29(6):113-117(Peng Xiangguo，Wang Jian,Sun Lihong. Application of Optimal Dimension Modeling for BP Network in Pridiction of Time Series of Derormation[J].Journal of Geodesy and Geodynamics， 2009， 29(6)：113-117)

[5]Jaeger H. The Echo State Approach to Analysing and Training Recurrent Neural Network[R].Fraunhofer，2001

[6]Jaeger H. Short Term Memory in Echo State Network[R]. Fraunhofer，2002

[7]韓敏，王亞楠. 基于Kalman 濾波的儲備池多元時間序列在線預(yù)報(bào)器[J].自動化學(xué)報(bào),2010, 36(1)：169-173(Han Min，Wang Ya’nan. Multivariate Time Series Online Predictor with Kalman Filter Trained Reservoir[J].Acta Automatica Sinica,2010, 36(1)：169-173)

[8]符拯，王書滿，劉丙杰.自適應(yīng)卡爾曼濾波的最新進(jìn)展[J].戰(zhàn)術(shù)導(dǎo)彈技術(shù),2009(6)：62-66(Fu Zheng，Wang Shuman，Liu Bingjie. An Overview of the Development of Adaptive Kalman Filtering[J]. Tactical Missile Technology，2009(6)：62-66)

[9]涂克楠，高飛，黃芳偉.時間序列預(yù)測法在大壩變形監(jiān)測數(shù)據(jù)處理中的應(yīng)用[J].水科學(xué)與工程技術(shù),2008(3)：65-67(Tu Ke’nan, Gao Fei, Huang Fangwei. The Application Time Series Forecasting Method in Data Processing of Dam Deformation Monitoring[J].Water sciences and Engineering Technology,2008(3)：65-67)

[10]張勇，田林亞，馬丙浩，等.卡爾曼濾波在GPS 精密單點(diǎn)定位中的應(yīng)用研究[J].測繪通報(bào),2013(7)：8-11(Zhang Yong,Tian Linya,Ma Binghao,et al.Research on the Application of Kalman Filtering in GPS Precise Point Positioning[J].Bulletin of Surveying and Mapping,2013(7)：8-11)

[11]王新志，陳偉，祝明坤. 樣本數(shù)據(jù)歸一化方式對基于神經(jīng)網(wǎng)絡(luò)的GPS高程轉(zhuǎn)換的影響[J].測繪科學(xué),2013, 38(6):162-165(Wang Xinzhi,Chen Wei,Zhu Mingkun. Influence of Sample Data Normalization Ways on GPS Elevation Transforming Based on Neural Network[J]. Geomatics Science, 2013，38(6)：162-165)

Foundation support:National Natural Science Foundation of China, No.61572015.

About the first author:SHAN Yi, postgraduate, majors in pattern recognition and neural network, E-mail：15556530753@163.com.

Analysis and Prediction of Deformation Data Based on Online Echo State Network

SHANYi1YANGJianwei1WANGXinzhi2

1School of Mathematics and Statistics，Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China 2School of Remote Sensing， Nanjing University of Information Science and Technology，219 Ningliu Road, Nanjing 210044, China

Abstract:A new kind of on-line predictor is constructed by combining Kalman filtering with the echo state network. The method of Kalman filtering is applied to the echo state network output weights training, directly on-line updating the network output weights, overcoming the defects in traditional recurrent neural network(RNN) which is needed to collect a large number of samples.The examples demonstrate the effectiveness of the proposed method.

Key words:on-line learning; observation of deformation data; echo state network; Kalman filtering

收稿日期：2015-06-25

第一作者簡介：單毅，碩士生，主要研究方向?yàn)槟Ｊ阶R別與神經(jīng)網(wǎng)絡(luò)，E-mail：15556530753@163.com。

DOI：10.14075/j.jgg.2016.07.013

文章編號：1671-5942(2016)07-0617-03

中圖分類號：P258

文獻(xiàn)標(biāo)識碼：A

項(xiàng)目來源：國家自然科學(xué)基金(61572015)。