余 蘭,岳建平

(河海大學(xué)地球科學(xué)與工程學(xué)院,江蘇南京 211100)

改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型應(yīng)用研究

余 蘭,岳建平

(河海大學(xué)地球科學(xué)與工程學(xué)院,江蘇南京 211100)

針對BP小波神經(jīng)網(wǎng)絡(luò)模型易陷入局部極小和收斂速度慢等問題,結(jié)合Morlet小波函數(shù)、訓(xùn)練樣本數(shù)量進(jìn)行權(quán)值和閾值設(shè)置,引進(jìn)隱含層飽和度并構(gòu)建新的誤差函數(shù),以此提高模型收斂速度和預(yù)測效果。從模型精度、后驗差比值和訓(xùn)練次數(shù)這三個指標(biāo)進(jìn)行對比分析。結(jié)果表明,改進(jìn)的模型預(yù)測效果更滿意。

沉陷預(yù)測;小波神經(jīng)網(wǎng)絡(luò);模型精度;后驗差比值;訓(xùn)練次數(shù)

由于開采煤炭給礦區(qū)和周旁地表造成裂縫、塌陷、滑坡等地質(zhì)災(zāi)害,同時對經(jīng)濟建設(shè)和人民生命財產(chǎn)安全產(chǎn)生不可估量的影響。因此,進(jìn)行開采沉降監(jiān)測和預(yù)報顯得很有現(xiàn)實意義。

對此,近年來,國內(nèi)外學(xué)者進(jìn)行了大量的研究,如時間序列分析法、灰色理論、Kalman濾波、神經(jīng)網(wǎng)絡(luò)等[1]。時間序列分析法只分析時間影響因素,不分析外界影響因素,若外界因素改變,會使得偏差很明顯。灰色模型在序列數(shù)據(jù)迅速改變時,得到的參數(shù)值的滯后誤差會偏大,使得模型偏差較大。Kalman濾波需要建立精確的數(shù)學(xué)模型,并具有噪聲因子的概率性質(zhì),計算精度低,且易發(fā)散失效。神經(jīng)網(wǎng)絡(luò)不需精確的數(shù)學(xué)模型,只需無誤的學(xué)習(xí)樣本,過量的噪聲樣本必會使學(xué)習(xí)結(jié)果出錯,以致神經(jīng)網(wǎng)絡(luò)無效。針對上述問題,建立了改進(jìn)模型,將改進(jìn)的小波分析方法和神經(jīng)網(wǎng)絡(luò)理論進(jìn)行有機結(jié)合,突顯小波變換獨有的時頻局域化和神經(jīng)網(wǎng)絡(luò)超強的自學(xué)習(xí)能力,進(jìn)而提高模型精度和預(yù)測效果[2]。

1 BP小波神經(jīng)網(wǎng)絡(luò)模型的建模過程

建立的改進(jìn)模型是將小波變換獨有的時頻局域化特性和神經(jīng)網(wǎng)絡(luò)超強的自學(xué)習(xí)能力進(jìn)行嵌套結(jié)合,該網(wǎng)絡(luò)是對權(quán)值訓(xùn)練的非線性可微函數(shù)的多層前向網(wǎng)絡(luò),其算法基于誤差反向傳播[3,4]。

1.1 BP小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

三層神經(jīng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)含輸入層、隱含層和輸出層,其結(jié)構(gòu)如圖1所示。在該網(wǎng)絡(luò)中,用小波函數(shù)替代隱含層函數(shù),用小波基函數(shù)的尺度和平移參數(shù)替代輸入層和隱含層之間的權(quán)值和閾值[5,6]。

圖1 BP神經(jīng)網(wǎng)絡(luò)模型Fig.1 BP neural network model

圖1中xi為輸入層的輸入因子;yj為輸出層的輸出因子;g1(·)為隱含層傳遞函數(shù);g2(·)為輸出層傳遞函數(shù);vik為輸入層與隱含層的相應(yīng)節(jié)點間連接權(quán)值;wkj為隱含層與輸出層的相應(yīng)節(jié)點間連接權(quán)值。下標(biāo)i、j、k分別表示輸入層、輸出層和隱含

1.2 BP小波神經(jīng)網(wǎng)絡(luò)誤差函數(shù)

在此網(wǎng)絡(luò)中共輸入P個訓(xùn)練樣本,用x1,x2,…,xp表示,若輸入第p個樣本后,得到的輸出為構(gòu)建平方型誤差函數(shù),第p個樣本誤差Ep的計算公式為

于是,全部訓(xùn)練樣本全局誤差為

1.3 隱含層和輸出層權(quán)值設(shè)置

(1)輸出層權(quán)值 對輸出層權(quán)值wjk用累計誤差BP算法調(diào)整,可減小全局誤差E,即

其中:η為學(xué)習(xí)率,取0～1之間的數(shù)為輸出層傳遞函數(shù)的偏微分;Sj為第j個神經(jīng)元凈輸入值。

(2)隱含層權(quán)值 隱含層權(quán)值為

因小波函數(shù)的定義域內(nèi)有大量導(dǎo)數(shù)等于零的點,且在這些導(dǎo)數(shù)等于零的點的兩側(cè)導(dǎo)數(shù)有正有負(fù),使該網(wǎng)絡(luò)的訓(xùn)練速度受到影響,且使訓(xùn)練陷入局部最小[7]。

2 改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)初始參數(shù)的選擇方法

因神經(jīng)網(wǎng)絡(luò)的逼近和收斂能力與初始參數(shù)的選擇有關(guān),于是結(jié)合小波類型、時頻參數(shù)和訓(xùn)練樣本數(shù)量設(shè)置初始參數(shù),達(dá)到小波神經(jīng)網(wǎng)絡(luò)的逼近和收斂能力的提高[8,9]。選用的小波函數(shù)為Morlet,其表達(dá)式為

(1)設(shè)置輸入層到隱含層權(quán)值wki

①wki初始值為隨機產(chǎn)生在[－1,1]區(qū)間上的均勻分布隨機數(shù);

②對wki逐一歸一化:

③乘以和隱含層節(jié)點數(shù)l、輸入層節(jié)點數(shù)n以及傳遞函數(shù)相關(guān)聯(lián)的因子:

其中:d為傳遞函數(shù)相關(guān)聯(lián)的因子,通過多次學(xué)習(xí)和實踐可知Morlet小波比較合適的值為2.3～2.6[7]。

④建立與學(xué)習(xí)樣本關(guān)系。設(shè)在輸入層第i個神經(jīng)元中樣本最大值是ximax,最小值是ximin,于是有:

經(jīng)過上述4步后得出輸入層與隱含層間初始權(quán)值wki。

(2)設(shè)置隱含層神經(jīng)元閾值θk

①θk初始值為隨機產(chǎn)生在[－1,1]區(qū)間上均勻分布的隨機數(shù);

②乘以和隱含層節(jié)點數(shù)l、輸入層節(jié)點數(shù)n以及傳遞函數(shù)相關(guān)聯(lián)的因子:

③建立學(xué)習(xí)樣本以及wki關(guān)系:

(3)小波伸縮平移參數(shù)的設(shè)置 假設(shè)小波時域中心為t?,半徑為Δt,則小波伸縮系區(qū)域在時域中區(qū)間為[b＋at?－aΔt,b＋at?＋aΔt]。

為讓小波伸縮系包含在全部輸入向量范疇內(nèi),必須設(shè)置伸縮平移參數(shù),其表達(dá)式為

由式(11)可解得

再基于小波時頻參數(shù)的定義,計算出Morlet小波的時域中心t?＝0,半徑Δt＝0.707 1。對于隱含層與輸出層間初始權(quán)值和閾值為均勻分布在[－1, 1]上的隨機數(shù),輸出層多數(shù)情況下為線性神經(jīng)元。

2.2 網(wǎng)絡(luò)學(xué)習(xí)方法

誤差函數(shù)通過標(biāo)準(zhǔn)的BP算法只計算了輸出層實際與期望輸出之差的平方和,沒有將隱含層神經(jīng)元考慮。因為隱含層神經(jīng)元處在飽和狀態(tài)下,就不再進(jìn)行網(wǎng)絡(luò)學(xué)習(xí),從而使得BP算法陷進(jìn)局部極小。針對此問題,通過引進(jìn)隱含層飽和度以此構(gòu)建新的誤差函數(shù),仍進(jìn)行梯度下降法計算,使得實際和期望輸出相近,從而使隱含層飽和度降低,并解決局部極小問題[10,11]。

新的誤差函數(shù)為

其中:P為全部輸入樣本數(shù);xp為第p個樣本輸入向量;tp為期望輸出;yp為實際輸出;Op為隱含層實際輸出;ζ為隱含層飽和度比例因子。通過引進(jìn)隱層飽和度到新誤差函數(shù)中,可同步使得EA、EB極小,以防隱含層和輸出層神經(jīng)元達(dá)到飽和。此外,EB對EA還具有雙重控制作用,當(dāng)EA較大時,可使EB達(dá)到極小,EB可以適當(dāng)減弱隱層飽和度陷入局部極小,當(dāng)EA較小時,可減小ζ或者增大N(N必須是偶數(shù)),從而減弱EB對網(wǎng)絡(luò)的影響,可以有效避免訓(xùn)練振蕩,使BP算法收斂速度加快。

3 實例分析

為研究某礦區(qū)沉陷發(fā)展趨勢,選取觀測斷面某個監(jiān)測點17期監(jiān)測數(shù)據(jù),利用前12期實測數(shù)據(jù)xi(i＝1,2,…,12)作為訓(xùn)練樣本,分為6組,(xi,xi＋1,…,xi＋6)為第i組,每組中前6個值作為輸入節(jié)點的輸入,后一個作為輸出節(jié)點的目標(biāo)值。利用BP小波神經(jīng)網(wǎng)絡(luò)、改進(jìn)后的BP小波神經(jīng)網(wǎng)絡(luò),對后5期累計沉降量進(jìn)行預(yù)測,并和實測值對比分析。

該監(jiān)測點建模后的預(yù)測結(jié)果如表1所列。從后驗差比值、模型精度和訓(xùn)練次數(shù)指標(biāo)分析改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越性。改進(jìn)后的模型后驗差比值為0.2,明顯小于BP小波神經(jīng)網(wǎng)絡(luò)模型后驗差比值0.9,即改進(jìn)模型的殘差方差更小,預(yù)測值和實測值相比較不離散。改進(jìn)的模型精度為7.5,與BP小波神經(jīng)網(wǎng)絡(luò)模型精度24.4相比,得到明顯的提高。改進(jìn)模型訓(xùn)練次數(shù)為752,與BP小波神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練次數(shù)1 273相比,收斂速度明顯加快。

表1 監(jiān)測點預(yù)測結(jié)果Table 1 Predicting result in monitoring spot mm

監(jiān)測點預(yù)測誤差曲線見圖2。由圖2可以看出用“bd-”標(biāo)志的改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)擬合誤差比用“k?-”標(biāo)志的BP小波神經(jīng)網(wǎng)絡(luò)擬合誤差小很多,改進(jìn)模型預(yù)測誤差減小且波動不大。預(yù)測結(jié)果見圖3。圖3中用“r?-”標(biāo)志的為改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)模型的預(yù)測累積沉降量,相對于用“b×-”標(biāo)志的BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測累積沉降量,更逼近于用“gd-”標(biāo)志的實測累積沉降量,從而表明改進(jìn)后的BP小波神經(jīng)網(wǎng)絡(luò)模型預(yù)測效果更好。

該實例表明對初始參數(shù)和網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn),提高了模型的預(yù)測精度,并加快了模型的收斂速度,能很好的在其他工程沉降預(yù)測中得到推廣應(yīng)用。

4 結(jié)論

針對BP小波神經(jīng)網(wǎng)絡(luò)模型易陷入局部極小和收斂速度慢的問題,結(jié)合Morlet小波函數(shù)、訓(xùn)練樣本數(shù)量進(jìn)行了權(quán)值和閾值的設(shè)置,并引進(jìn)隱含層飽和度構(gòu)建新的誤差函數(shù),建立改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)模型。將改進(jìn)模型應(yīng)用于礦區(qū)單個監(jiān)測點預(yù)測中,運用模型精度、后驗差比值和訓(xùn)練次數(shù)指標(biāo)進(jìn)行對比分析。結(jié)果表明,改進(jìn)后的模型收斂速度快,預(yù)測效果更好。

圖2 監(jiān)測點預(yù)測誤差曲線Fig.2 Predicting error curve of monitoring spot

圖3 預(yù)測結(jié)果比較Fig.3 Comparison of predicting result

[1] 王雪英.基于BP神經(jīng)網(wǎng)絡(luò)的山區(qū)開采沉陷預(yù)計[D].太原:太原理工大學(xué),2010.

[2] 魏建.小波人工神經(jīng)網(wǎng)絡(luò)在建筑沉降預(yù)測中的應(yīng)用研究[D].北京:北京交通大學(xué),2013.

[3] 關(guān)順,王振偉,張黎.改進(jìn)遺傳神經(jīng)網(wǎng)絡(luò)對露天礦邊坡位移預(yù)測[J].遼寧工程技術(shù)大學(xué)學(xué)報:自然科學(xué)版,2015,34(5):619-621.

[4] 楊雪超,何彩平.基于BP人工神經(jīng)網(wǎng)絡(luò)的路基壓實度預(yù)測模型研究[J].甘肅科學(xué)學(xué)報,2011,23(3):133-135.

[5] 鄧勇,張冠宇,李宗春,等.遺傳小波神經(jīng)網(wǎng)絡(luò)在變形預(yù)報中的應(yīng)用[J].測繪科學(xué),2012,37(5):184-185.

[6] 潘玉明,鄧永紅,張全柱.小波神經(jīng)網(wǎng)絡(luò)模型的確定性預(yù)測及應(yīng)用[J].計算機應(yīng)用,2013,33(4):1 001-1 004.

[7] 蔡東健,岳建平,成微,等.基于遺傳算法的小波神經(jīng)網(wǎng)絡(luò)模型及其在地面沉降監(jiān)控中的應(yīng)用[J].測繪通報,2010,56(8): 34-35.

[8] 岳榮花.小波神經(jīng)網(wǎng)絡(luò)在沉降預(yù)測中的應(yīng)用研究[D].南京:河海大學(xué),2007.

[9] 趙學(xué)智,鄒春華,陳統(tǒng)堅,等.小波神經(jīng)網(wǎng)絡(luò)的參數(shù)初始化研究[J].華南理工大學(xué)學(xué)報:自然科學(xué)版,2003,47(2):77-79.

[10] Zhang Qinghua,Benveniste Albert.Wavelet Networks[J].IEEE,Trans on Neural Networks,1992,3(6):889-898.

[11] 胡上尉,孫瓊蓀,劉佳璐,等.基于修改誤差函數(shù)新的BP學(xué)習(xí)算法[J].系統(tǒng)仿真學(xué)報,2007,19(19):4 592-4 593.

The Applied Research About Improved BP Wavelet Neural Network Prediction Model

Yu Lan,Yue Jianping
(School of Earth Sciences and Engineering,Hohai University,Nanjing211100,China)

Aiming at the problem often faced with by BP Wavelet neural network model that local is minimum and rate of convergence is slow and combining with that Morlet Wavelet function and training sample number are set weight and threshold value,hidden layer saturability is used to build new error function so that the model rate of convergence and predicting effect can be improved.By comparing model precision,a posterior difference ratio and training frequency,the result shows that the result of improved model is satisfactory.

Sink prediction;Wavelet neural network;Model precision;A posterior difference ratio;Training frequency

P224.2

:A

:1004-0366(2016)05-0038-04

Yu Lan,Yue Jianping.The Applied Research About Improved BP Wavelet Neural Network Prediction Model[J].Journal of Gansu Sciences,2016,28(5):38-41.[余蘭,岳建平.改進(jìn)的BP小波神經(jīng)網(wǎng)絡(luò)預(yù)測模型應(yīng)用研究[J].甘肅科學(xué)學(xué)報,2016,28(5):38-41.]

10.16468/j.cnkii.ssn1004-0366.2016.05.010.層各節(jié)點;l、m、n分別表示隱含層、輸出層和輸入層各節(jié)點的數(shù)量。

2015-09-28;

:2015-10-27.

余蘭(1992-),女,安徽安慶人,碩士,研究方向為變形監(jiān)測數(shù)據(jù)處理.E-mail:hohaiyulan＠163.com.