鄧 宇 田考聰

小波神經(jīng)網(wǎng)絡(luò)

小波分析〔1－3〕(wavelet analysis)是為了克服傅里葉變換的不足而產(chǎn)生的，它能有效地提取信號(hào)的局部信息，具有良好的時(shí)頻域局部化功能，享有“數(shù)學(xué)顯微鏡”的美名。人工神經(jīng)網(wǎng)絡(luò)〔4－5〕(ANN)具有自組織學(xué)習(xí)、自適應(yīng)和容錯(cuò)性等優(yōu)點(diǎn)，是一類通用函數(shù)逼近器，已被廣泛用于非線性系統(tǒng)的建模優(yōu)化，但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)往往存在參數(shù)選擇易陷入局部最小、收斂速度慢、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)具有一定的盲目性等缺點(diǎn)，因此將小波變換與神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)相結(jié)合而產(chǎn)生了小波神經(jīng)網(wǎng)絡(luò)〔6－7〕(wavelet neural network，WNN)。

按照小波分析與人工神經(jīng)網(wǎng)絡(luò)的結(jié)合方式，小波神經(jīng)網(wǎng)絡(luò)通?？梢苑譃閮深悺?〕:一種是輔助式結(jié)合，也稱為松散型結(jié)合方式;另一種是嵌套式結(jié)合，也即緊致型結(jié)合方式。

所謂輔助式結(jié)合，即將小波分析作為神經(jīng)網(wǎng)絡(luò)的前置預(yù)處理手段，為神經(jīng)網(wǎng)絡(luò)提供輸入特征向量，然后再用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，該方法將原始信號(hào)的不同頻率成分分別用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練，產(chǎn)生輸出，這樣就避免了不同頻率成分的信號(hào)混雜在一起而增加了網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的難度(容錯(cuò)能力)，可以取得比較好的效果。

小波分析與神經(jīng)網(wǎng)絡(luò)的嵌套式結(jié)合，是目前大量研究小波神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)中廣泛采用的一種結(jié)構(gòu)形式，嵌套式小波神經(jīng)網(wǎng)絡(luò)與一般的前饋型神經(jīng)網(wǎng)絡(luò)(如BP神經(jīng)網(wǎng)絡(luò))一樣，其網(wǎng)絡(luò)結(jié)構(gòu)并沒有什么本質(zhì)的區(qū)別，它也采用監(jiān)督式學(xué)習(xí)方式，其基本思想是由Zhang Qinghua 和 Benveniste〔9〕于1992 年正式提出的，即用小波基函數(shù)來代替常規(guī)神經(jīng)網(wǎng)絡(luò)的隱含層激勵(lì)函數(shù)，同時(shí)相應(yīng)的輸入層到隱含層的權(quán)值及閾值分別由小波基函數(shù)的尺度參數(shù)和平移參數(shù)來代替，其結(jié)構(gòu)如圖1所示。

圖1 嵌套式小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文利用飲用水源水水質(zhì)參數(shù)數(shù)據(jù)，分別針對(duì)小波分析與人工神經(jīng)網(wǎng)絡(luò)的兩種不同結(jié)合方式，建立各自的水質(zhì)參數(shù)預(yù)測(cè)模型，以探討兩種不同結(jié)合方式的小波神經(jīng)網(wǎng)絡(luò)在飲用水源水水質(zhì)參數(shù)數(shù)據(jù)上的預(yù)測(cè)效果。

應(yīng)用研究

1．研究數(shù)據(jù)

選用重慶市某主城區(qū)以嘉陵江為水源的飲用水源水2001～2005年高錳酸鹽指數(shù)月平均濃度作為研究對(duì)象。選用2001～2004全年及2005年前6個(gè)月高錳酸鹽指數(shù)月平均濃度作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，通過建立小波神經(jīng)網(wǎng)絡(luò)水質(zhì)參數(shù)預(yù)測(cè)模型，來預(yù)測(cè)2005年后6個(gè)月的高錳酸鹽指數(shù)平均濃度值。研究數(shù)據(jù)如表1所示。我們將此數(shù)據(jù)看成一個(gè)以時(shí)間點(diǎn)為橫軸的單一時(shí)間序列。

2．樣本設(shè)計(jì)

設(shè)時(shí)間序列 x={xi|xi∈R，i=1，2，…，l}，對(duì)于單一時(shí)間序列，我們可以通過序列前N個(gè)時(shí)刻的值預(yù)測(cè)后M個(gè)時(shí)刻的值，可以采用序列的N個(gè)數(shù)據(jù)為滑動(dòng)窗，并將其映射為M個(gè)值，這M個(gè)值代表在該窗之后的M個(gè)時(shí)刻上的預(yù)測(cè)值。這樣就把數(shù)據(jù)分為K個(gè)長(zhǎng)度為N+M的有一定重疊的數(shù)據(jù)段，每個(gè)數(shù)據(jù)段可以看成是一個(gè)樣本，這樣可得到K=L－(N+M)+1個(gè)樣本?？梢詫⒚總€(gè)樣本的前N個(gè)值作為網(wǎng)絡(luò)的輸入，后M個(gè)值作為網(wǎng)絡(luò)的輸出，通過學(xué)習(xí)使該網(wǎng)絡(luò)實(shí)現(xiàn)從輸入空間RN到輸出空間RM的映射，從而達(dá)到時(shí)間序列預(yù)測(cè)的目的。

表1 2001～2005年重慶某區(qū)飲用水高猛酸鹽每月監(jiān)測(cè)數(shù)據(jù)

本文選取滑動(dòng)窗的大小N=4，輸出M=1，由此可得到56個(gè)樣本，取前50組數(shù)據(jù)作為訓(xùn)練集，最后6組數(shù)據(jù)為預(yù)測(cè)集。預(yù)測(cè)之前，首先要對(duì)數(shù)據(jù)進(jìn)行歸一化處理，使其落入相應(yīng)的理想?yún)^(qū)間，使網(wǎng)絡(luò)在進(jìn)行網(wǎng)絡(luò)參數(shù)調(diào)整時(shí)，調(diào)整幅度大，從而加速網(wǎng)絡(luò)的收斂進(jìn)程。最后通過反歸一化處理，得到最終預(yù)測(cè)值。

3．輔助式小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

目前在眾多的神經(jīng)網(wǎng)絡(luò)類型中，BP神經(jīng)網(wǎng)絡(luò)為研究最多且應(yīng)用最為廣泛，因此選用BP神經(jīng)網(wǎng)絡(luò)為輔助式小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型骨架，實(shí)現(xiàn)從輸入空間R4到輸出空間R1的映射。

小波分析時(shí)，選擇合適的小波函數(shù)對(duì)模型的預(yù)測(cè)精度及泛化能力非常重要，也是關(guān)鍵步驟，但目前尚無實(shí)質(zhì)性的理論指導(dǎo)。而對(duì)于最大分解尺度的選擇，在一定預(yù)測(cè)精度要求下，分解尺度既不能太小也不能太大，若尺度選得太小，則不能有效地將原信號(hào)中具有不同頻率特征的分量分離出來，也就無法得知原序列各頻段詳細(xì)信息，無法體現(xiàn)小波變換的優(yōu)越性，尺度過大則需要用較多的模型對(duì)分解后的各個(gè)分量進(jìn)行預(yù)測(cè)，各個(gè)預(yù)測(cè)模型都會(huì)引入一定的誤差，從而導(dǎo)致最終預(yù)測(cè)誤差變大。針對(duì)本文研究數(shù)據(jù)，筆者在參考大量文獻(xiàn)資料〔10－13〕后，最終選用db3小波基進(jìn)行2層小波分解，分解后得到的低頻信號(hào)和各高頻信號(hào)及信號(hào)重構(gòu)如圖2所示。

圖2中，s表示原始信號(hào)，即2001～2005年高錳酸鹽指數(shù)月平均濃度，ca2表示進(jìn)行2層小波分解后得到的低頻概貌分量，可見ca2基本反映出原信號(hào)的峰值及變化趨勢(shì)，為原信號(hào)的趨勢(shì)成分。cd1和cd2為分解后得到的高頻信號(hào)，其中cd1隨機(jī)波動(dòng)，為原信號(hào)的隨機(jī)成分，而cd2基本上呈周期性的波動(dòng)，為原信號(hào)的周期成分或者說季節(jié)成分;我們將cd1與cd2對(duì)比可知，從數(shù)值上講，cd1比cd2波動(dòng)幅度大，變化也較劇烈些，這也就是說，原序列s的隨機(jī)變化強(qiáng)于季節(jié)因素對(duì)其的影響，而對(duì)于隨機(jī)成分，預(yù)測(cè)精度再高的模型也很難掌握其變化發(fā)展趨勢(shì)，因此將研究數(shù)據(jù)不同頻率成分分量混雜在一起進(jìn)行預(yù)測(cè)，其效果勢(shì)必不會(huì)理想。s1為分解后的重構(gòu)信號(hào)，由圖可知:重構(gòu)信號(hào)與原信號(hào)相比基本沒有什么差別。原信號(hào)的分解關(guān)系為:s=ca2+cd1+cd2，重構(gòu)則為分解的逆過程。原信號(hào)與重構(gòu)信號(hào)的誤差平方根為7.2786×10－12，這說明采用本文所說的分解重構(gòu)關(guān)系是切實(shí)可行的。

圖2 小波分析數(shù)值變化曲線

研究數(shù)據(jù)經(jīng)小波分析后，然后用BP神經(jīng)網(wǎng)絡(luò)分別對(duì)各分量數(shù)據(jù)進(jìn)行模擬預(yù)測(cè)，最后把各分量數(shù)據(jù)的預(yù)測(cè)結(jié)果進(jìn)行重構(gòu)而得到最終預(yù)測(cè)結(jié)果。

4．輔助式與嵌套式相結(jié)合的小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

原始數(shù)據(jù)經(jīng)小波分析可知，研究數(shù)據(jù)包含較大的隨機(jī)成分，而隨機(jī)成分會(huì)影響模型對(duì)數(shù)據(jù)的預(yù)測(cè)效果，因此，考慮到隨機(jī)成分對(duì)模型預(yù)測(cè)效果的影響，我們基于輔助式小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與嵌套式小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合的思想，把輔助式小波神經(jīng)網(wǎng)絡(luò)與嵌套式小波神經(jīng)網(wǎng)絡(luò)都融合在模型的建立過程中，即先對(duì)原序列進(jìn)行小波分析，提取不同成分的分量，然后對(duì)不同分量分別用嵌套式小波神經(jīng)網(wǎng)絡(luò)(我們稱之為子小波神經(jīng)網(wǎng)絡(luò))進(jìn)行學(xué)習(xí)訓(xùn)練，將不同分量的預(yù)測(cè)輸出結(jié)果再進(jìn)行信號(hào)重構(gòu)，得到最終的預(yù)測(cè)值。

原始數(shù)據(jù)經(jīng)小波分析后，各分量的子小波神經(jīng)網(wǎng)絡(luò)均選為三層網(wǎng)絡(luò)結(jié)構(gòu)，其中輸入層只負(fù)責(zé)將各分量數(shù)據(jù)提供給網(wǎng)絡(luò)，不參與計(jì)算。隱含層激勵(lì)函數(shù)選擇墨西哥帽，原因在于墨西哥帽函數(shù)在［－1，0］區(qū)間為單調(diào)遞增函數(shù)，其導(dǎo)函數(shù)在該區(qū)間內(nèi)恒大于零，且導(dǎo)數(shù)值較大，在該區(qū)間內(nèi)，墨西哥帽函數(shù)具有常規(guī)S型函數(shù)的曲線特征，因而我們只需把各子小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)初始化為［－1，0］區(qū)間均勻分布的隨機(jī)數(shù)，同時(shí)各分量的樣本數(shù)據(jù)也歸一化為該區(qū)間，這樣就使得各子小波神經(jīng)網(wǎng)絡(luò)在運(yùn)用改進(jìn)BP算法進(jìn)行網(wǎng)絡(luò)參數(shù)的調(diào)整時(shí)，獲得較大的導(dǎo)數(shù)值，從而網(wǎng)絡(luò)參數(shù)調(diào)整幅度大，加速網(wǎng)絡(luò)的收斂進(jìn)程。而輸出層采用線性激勵(lì)函數(shù)，即把隱含層輸出結(jié)果通過網(wǎng)絡(luò)輸出層線性加權(quán)到網(wǎng)絡(luò)輸出空間。本文最終確定的各子小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

表2 各子小波神經(jīng)網(wǎng)絡(luò)最終結(jié)構(gòu)

研究數(shù)據(jù)經(jīng)小波分析提取各分量后，我們采用如表2所示的網(wǎng)絡(luò)結(jié)構(gòu)建立各自分量的子小波神經(jīng)網(wǎng)絡(luò)，經(jīng)學(xué)習(xí)訓(xùn)練預(yù)測(cè)后，再把各子小波神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行小波重構(gòu)，而得到最終預(yù)測(cè)值。

5．預(yù)測(cè)結(jié)果與分析

本文采用Matlab 7.1軟件編程建立模型求解。分別用輔助式小波神經(jīng)網(wǎng)絡(luò)、輔助式與嵌套式相結(jié)合的小波神經(jīng)網(wǎng)絡(luò)對(duì)研究數(shù)據(jù)進(jìn)行預(yù)測(cè)。采用均方根誤差(RMSE)以及平均絕對(duì)百分比誤差(MAPE)來評(píng)價(jià)模型最終預(yù)測(cè)效果，結(jié)果如表3所示。圖3為兩預(yù)測(cè)模型的最終預(yù)測(cè)值與實(shí)測(cè)值的對(duì)比圖。

表3 各模型預(yù)測(cè)比較結(jié)果

圖3 兩個(gè)模型預(yù)測(cè)值與實(shí)測(cè)值的對(duì)比

表3與圖3中，WNN1表示輔助式小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，WNN2表示輔助式與嵌套式相結(jié)合的小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，其中圖3中，后6個(gè)時(shí)間點(diǎn)為預(yù)測(cè)樣本，由圖和表可知，WNN1與WNN2對(duì)研究數(shù)據(jù)的預(yù)測(cè)模型效果，表現(xiàn)在 RMSE和 MAPE較小，其中WNN2的預(yù)測(cè)效果優(yōu)于WNN1。實(shí)例說明，小波神經(jīng)網(wǎng)絡(luò)對(duì)研究數(shù)據(jù)預(yù)測(cè)效果較好，具有很強(qiáng)的學(xué)習(xí)逼近能力、泛化能力，將其用于水質(zhì)參數(shù)預(yù)測(cè)、及總體水質(zhì)評(píng)價(jià)具有很大的實(shí)際應(yīng)用價(jià)值。

結(jié)論與討論

本文應(yīng)用小波神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)飲用水源水水質(zhì)參數(shù)，提出了輔助式與嵌套式相結(jié)合的小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，由于小波神經(jīng)網(wǎng)絡(luò)既具有時(shí)頻域局部化功能，又具有自組織、自學(xué)習(xí)能力，其對(duì)研究數(shù)據(jù)的學(xué)習(xí)逼近能力、泛化能力強(qiáng)，因而取得了較好的預(yù)測(cè)效果。但在應(yīng)用小波神經(jīng)網(wǎng)絡(luò)方法建模時(shí)，應(yīng)注意以下幾個(gè)方面:

1．在樣本的預(yù)處理即樣本設(shè)計(jì)時(shí)，應(yīng)考慮滑動(dòng)窗大小的選取，不同的滑動(dòng)窗大小會(huì)影響最終的預(yù)測(cè)精度，一般應(yīng)選擇多組不同滑動(dòng)窗大小，分別建模預(yù)測(cè)，然后選擇其預(yù)測(cè)精度最好者。

2．輔助式小波神經(jīng)網(wǎng)絡(luò)中小波分析母函數(shù)的選取，針對(duì)具體信號(hào)，選擇合適的小波母數(shù)是小波分析的關(guān)鍵步驟。確定小波函數(shù)質(zhì)量的依據(jù)主要有:函數(shù)的支撐長(zhǎng)度、對(duì)稱性、函數(shù)的消失矩陣階數(shù)及正則性等等，一般情況下，如果我們希望得到數(shù)據(jù)信號(hào)的一個(gè)主要的長(zhǎng)期的發(fā)展趨勢(shì)而并不要求對(duì)信號(hào)進(jìn)行短期的精確預(yù)測(cè)時(shí)，可選用具有正則性的小波函數(shù);相反如果我們期望得出精確的預(yù)測(cè)結(jié)果，就應(yīng)選擇具有良好緊支性的小波函數(shù)。

3．嵌套式小波神經(jīng)網(wǎng)絡(luò)中隱含層小波激勵(lì)函數(shù)的選取，選擇不同的小波激勵(lì)函數(shù)對(duì)網(wǎng)絡(luò)的收斂速度影響很大，但目前尚無統(tǒng)一理論指導(dǎo)，本文根據(jù)改進(jìn)BP學(xué)習(xí)算法的基本思想，結(jié)合不同小波母函數(shù)的曲線特征，選擇墨西哥帽小波母函數(shù)作為隱含層激勵(lì)函數(shù)，并由此得出網(wǎng)絡(luò)初始參數(shù)及樣本數(shù)據(jù)的理想?yún)^(qū)間。

4．此外，在運(yùn)用神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)飲用水源水水質(zhì)參數(shù)變化趨勢(shì)時(shí)，最好應(yīng)先對(duì)原數(shù)據(jù)進(jìn)行時(shí)間序列分析、小波分析等，以分析序列不同成分，如趨勢(shì)成分、循環(huán)成分、隨機(jī)成分等，從而確定原數(shù)據(jù)序列平穩(wěn)性等特點(diǎn)，而往往對(duì)于隨機(jī)成分而言，其預(yù)測(cè)效果是不十分理想的。后在此基礎(chǔ)上，再運(yùn)用神經(jīng)網(wǎng)絡(luò)方法建立模型預(yù)測(cè)。

1．費(fèi)佩燕，劉曙光．小波分析應(yīng)用的進(jìn)展與展望．紡織高校基礎(chǔ)科學(xué)學(xué)報(bào)，2001，14(1):72-78．

2．Daubechies I．Ten lectures on wavelet．Philadelphia．PA:SIAM Press，1988．

3．張德干，郝先臣，徐凌宇，等．基于小波理論的數(shù)據(jù)挖掘方法研究．小型微型計(jì)算機(jī)系統(tǒng)，2001，22(8):946-949．

4．周利鋒，高爾生，等．人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用．現(xiàn)代預(yù)防醫(yī)學(xué)，1998，25(3):272-274．

5．任宏．人工神經(jīng)網(wǎng)絡(luò)及其在預(yù)防醫(yī)學(xué)領(lǐng)域的應(yīng)用．上海預(yù)防醫(yī)學(xué)雜志，2003，15(1):22-24．

6．薛桂先．神經(jīng)網(wǎng)絡(luò)方法在黃河來水預(yù)測(cè)中的應(yīng)用．《農(nóng)業(yè)網(wǎng)絡(luò)信息》研究與開發(fā)，2006，5:36-38．

7．匡芳君，等．基于小波神經(jīng)網(wǎng)絡(luò)的人力資源評(píng)估模型．微計(jì)算機(jī)應(yīng)用，2008，29(1):24-28．

8．蔣霖，李向民等．多小波神經(jīng)網(wǎng)絡(luò)在變形預(yù)測(cè)中的應(yīng)用．山西建筑，2008，34(1):13-14．

9．Zhang Qinghua，Benveniste A．Wavelet networks ．IEEE transactions NN，1992，3(6):889-898．

10．葛哲學(xué)．小波分析理論與MATLAB R2007實(shí)現(xiàn)．北京:電子工業(yè)出版社，2006:31-40．

11．周偉．桂林，周林．MATLAB小波分析高級(jí)技術(shù)．西安:西安電子科技人學(xué)出版社，2006:51-63．

12．朱玲．基于小波分析的BP神經(jīng)網(wǎng)絡(luò)在西湖富營(yíng)養(yǎng)化趨勢(shì)預(yù)測(cè)中的應(yīng)用．浙江:浙江大學(xué)，2007．

13．蔣曉輝劉呂明．基于小波分析的徑向基神經(jīng)網(wǎng)絡(luò)年徑流量預(yù)測(cè)．應(yīng)用科學(xué)學(xué)報(bào)，2004，22(3):411-414．