左東廣，周 帥，張欣豫

(第二炮兵工程大學一系，西安 710025)

小波分析是20世紀80年代中期發(fā)展起來的一門新的數(shù)學理論和方法，是時間―頻率分析領(lǐng)域的一種新技術(shù)。小波分析的基本思想類似于傅里葉變換，用信號在一簇基函數(shù)張成的空間上的投影表征該函數(shù)。神經(jīng)網(wǎng)絡(luò)起源于20世紀40年代，是由大量的、簡單的處理單元(神經(jīng)元)廣泛地互相連接形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學系統(tǒng)［1］。由于小波變換能夠反映信號的時頻局部特性和聚焦特性，而神經(jīng)網(wǎng)絡(luò)在信號處理方面具有自學習、自適應(yīng)、魯棒性、容錯性等能力。如何把二者的優(yōu)勢結(jié)合起來一直是人們所關(guān)心的問題，而小波神經(jīng)網(wǎng)絡(luò)就是小波分析和神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。

1 小波神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

小波變換被公認為傅里葉發(fā)展史上一個新的里程碑，它克服了傅立葉分析不能作局部分析的缺點，是傅立葉分析劃時代發(fā)展的結(jié)果［2］。隨著小波理論日益成熟，其應(yīng)用領(lǐng)域也變得十分的廣泛，特別是在信號處理、數(shù)值計算、模式識別、圖像處理、語音分析、量子物理、生物醫(yī)學工程、計算機視覺、故障診斷及眾多非線性領(lǐng)域等，小波變換都在不斷的發(fā)展之中。

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)學的研究基礎(chǔ)上發(fā)展起來的一種模仿人腦信息處理機制的網(wǎng)絡(luò)系統(tǒng)，它具有自組織、自學習和極強的非線性處理能力，能夠完成學習、記憶、識別和推理等功能［3］。神經(jīng)網(wǎng)絡(luò)的崛起，對認知和智力本質(zhì)的基礎(chǔ)研究乃至計算機產(chǎn)業(yè)都產(chǎn)生了空前的刺激和極大的推動作用。

目前小波分析與神經(jīng)網(wǎng)絡(luò)主要有兩種結(jié)合方式［4］:一種是“松散型”，如圖1所示，即先用小波分析對信號進行預(yù)處理，然后再送入神經(jīng)網(wǎng)絡(luò)處理;另一種是“緊致型”，如圖2所示，即小波神經(jīng)網(wǎng)絡(luò)(Wavelet Neural Network)或小波網(wǎng)絡(luò)，它是結(jié)合小波變換理論與神經(jīng)網(wǎng)絡(luò)的思想而構(gòu)造的一種新的神經(jīng)網(wǎng)路模型。其方法是將神經(jīng)網(wǎng)絡(luò)隱含層中神經(jīng)元的傳遞激發(fā)函數(shù)用小波函數(shù)來代替，充分繼承了小波變換良好的時頻局部化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學習功能的特點，被廣泛運用于信號處理、數(shù)據(jù)壓縮、模式識別和故障診斷等領(lǐng)域。“緊致型”小波神經(jīng)網(wǎng)絡(luò)具有更好的數(shù)據(jù)處理能力，是小波神經(jīng)網(wǎng)絡(luò)的研究方向。在圖2中，有輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有m(m=1，2，…，M)個神經(jīng)元，隱含層有k(k=1，2，…，K)個神經(jīng)元，輸出層有 n(n=1，2，…，N)個神經(jīng)元。

根據(jù)基函數(shù)gk(x)和學習參數(shù)的不同，圖2中小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分如下三種形式［5］:

1)連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)。這是小波最初被提出采用的一種形式。令圖2中基函數(shù)為

則網(wǎng)絡(luò)輸出為

2)由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò)。由于不考慮正交性，小波函數(shù)的選取有很大自由度。令圖2中的基函數(shù)為

則網(wǎng)絡(luò)輸出為

根據(jù)函數(shù)f的時頻特性確定j，k的取值范圍后，網(wǎng)絡(luò)的可調(diào)參數(shù)只有權(quán)值，其與輸出呈線性關(guān)系，可通過最小二乘法或其他優(yōu)化法修正權(quán)值，使網(wǎng)絡(luò)能充分逼近f(x)。

這種形式的網(wǎng)絡(luò)雖然基函數(shù)選取靈活，但由于框架可以是線性相關(guān)的，使得網(wǎng)絡(luò)函數(shù)的個數(shù)有可能存在冗余，對過于龐大的網(wǎng)絡(luò)需考慮優(yōu)化結(jié)構(gòu)算法。

3)基于多分辨分析的正交基小波網(wǎng)絡(luò)。網(wǎng)絡(luò)隱節(jié)點由小波節(jié)點Ψ和尺度函數(shù)節(jié)點φ構(gòu)成，網(wǎng)絡(luò)輸出為

當尺度L足夠大時，忽略上式右端第二項表示的小波細節(jié)分量，這種形式的小波網(wǎng)絡(luò)的主要依據(jù)是Daubechies的緊支撐正交小波及Mallat的多分辨分析理論［6］。

盡管正交小波網(wǎng)絡(luò)在理論上研究較為方便，但正交基函數(shù)的構(gòu)造復(fù)雜，不如一般的基于框架的小波網(wǎng)絡(luò)實用。

2 小波神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法

小波神經(jīng)網(wǎng)絡(luò)最早是由法國著名的信息科學機構(gòu)IRISA的Zhang Qinghua［7］等人1992年提出來的，是在小波分析的基礎(chǔ)上提出的一種多層前饋模型網(wǎng)絡(luò)，可以使網(wǎng)絡(luò)從根本上避免局部最優(yōu)并且加快了收斂速度，具有很強的學習和泛化能力。小波神經(jīng)網(wǎng)絡(luò)是用非線性小波基取代通常的非線性sigmoid函數(shù)，其信號表述是通過將所選取的小波基進行線性疊加來表現(xiàn)的［8］。

3)對于預(yù)制光纜長度較短的工程應(yīng)用，由于預(yù)制光纜長度可精準控制，推薦采用雙端預(yù)制光纜；對于控制室與場地端(含二次預(yù)制艙及智能控制柜)間的預(yù)制光纜，由于控制室端熔接環(huán)境好，推薦采用單端預(yù)制光纜；對于場地端間的預(yù)制光纜，由于雙端均不具備良好熔接環(huán)境的預(yù)制光纜，建議采用雙端預(yù)制光纜。

設(shè)小波神經(jīng)網(wǎng)絡(luò)有m個輸入節(jié)點、N個輸出節(jié)點、n個隱層節(jié)點。網(wǎng)絡(luò)的輸入和輸出數(shù)據(jù)分別用向量X和Y來表示，即:

若設(shè)xk為輸入層的第k個輸入樣本，yi為輸出層的第i個輸出值，wij為聯(lián)接輸出層節(jié)點i和隱含層節(jié)點j的權(quán)值，wjk為連接隱含層節(jié)點j和輸入層節(jié)點k的權(quán)值。令wi0是第j個輸出層節(jié)點閾值，wj0是第j個隱含層節(jié)點閾值(相應(yīng)的輸入x0=－1)，aj為第j個隱含層節(jié)點的伸縮因子，bj為第j個隱含層節(jié)點的平移因子，則小波神經(jīng)網(wǎng)絡(luò)模型［9］為

給定樣本集 { (xi，yi)}，i=1，2，…，N 后，網(wǎng)絡(luò)的權(quán)值被調(diào)整，使如下的誤差目標函數(shù)達到最小

式中:di為網(wǎng)絡(luò)的輸出向量;W為網(wǎng)絡(luò)中所有權(quán)值組成的權(quán)向量，W∈Rt。網(wǎng)絡(luò)的學習可以歸結(jié)為如下的無約束最優(yōu)化問題:

小波神經(jīng)網(wǎng)絡(luò)采用梯度法，即最快下降法來求解該問題，那么小波網(wǎng)絡(luò)的權(quán)值的調(diào)整規(guī)則處理過程分為兩個階段:一是從網(wǎng)絡(luò)的輸入層開始逐層向前計算，根據(jù)輸入樣本計算各層的輸出，最終求出網(wǎng)絡(luò)輸出層的輸出，這是前向傳播過程;二是對權(quán)值的修正，從網(wǎng)絡(luò)的輸出層開始逐層向后進行計算和修正，這是反向傳播過程。兩個過程反復(fù)交替，直到收斂為止。通過不斷修正權(quán)值W，使E(W)達到最小值。

則由以上式子可以計算得到下列偏導(dǎo)數(shù):

在網(wǎng)絡(luò)權(quán)值的調(diào)整過程中，往往是在學習的初始階段，學習步長選擇大一些，以使學習速度加快;當接近最佳點時，學習速率選擇小一些，否則連接權(quán)值將產(chǎn)生振蕩而難以收斂。學習步長調(diào)整的一般規(guī)則是:在連續(xù)迭代幾步過程中，若新誤差大于舊誤差，則學習速率減小;若新誤差小于舊誤差，則增大學習步長。

3 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

3.1 小波函數(shù)的選擇

小波的選擇具有相對的靈活性，對不同的數(shù)據(jù)信號，則需要選擇恰當?shù)男〔ㄗ鳛榉纸饣?。小波變換不像傅里葉變換是由正弦函數(shù)唯一決定的，小波基可以有很多種，不同的小波適合不同的信號。

1)Mexican hat和Morlet小波基沒有尺度函數(shù)，是非正交小波基。其優(yōu)點是函數(shù)對稱且表達式清楚簡單，缺點是無法對分解后的信號進行重構(gòu)。采用Morlet小波(r通常取值為1.75)構(gòu)造的小波網(wǎng)絡(luò)已經(jīng)被用于各種領(lǐng)域。

2)Daubechies是一種具有緊支撐的正交小波，隨著N的增加，dbN小波的時域支撐長度變長;矩陣階數(shù)增加;特征正則性增加，幅頻特性也越接近理想。當選取N值越大的高階db小波時，其構(gòu)成可近似看成一個理想的低通濾波器和理想的帶通濾波器，且具有能量無損性。

通常在信號的近似和估計作用中，小波函數(shù)選擇應(yīng)與信號的特征匹配，應(yīng)考慮小波的波形、支撐大小和消失矩陣的數(shù)目。連續(xù)小波基函數(shù)都在有效支撐區(qū)域之外快速衰減。有效支撐區(qū)域越長，頻率分辨率越好;有效支撐區(qū)域越短，時間分辨率越好。如果進行時頻分析，則要選擇光滑的連續(xù)小波，因為時域越光滑的基函數(shù)，在頻域的局部化特性越好。如果進行信號檢測，則應(yīng)盡量選擇與信號波形相近似［10］的小波。

3.2 隱含層節(jié)點的選取

隱含層節(jié)點的作用是從樣本中提取并存儲其內(nèi)在規(guī)律，每個隱含層節(jié)點有若干個權(quán)值，而每個權(quán)值都是增強網(wǎng)絡(luò)映射能力的參數(shù)。隱含層節(jié)點數(shù)量太少，網(wǎng)絡(luò)從樣本中獲取信息的能力就差，不足以概括和體現(xiàn)訓(xùn)練集中的樣本規(guī)律;隱含層節(jié)點數(shù)量太多，又可能把樣本中非規(guī)律性的內(nèi)容也會牢記，從而出現(xiàn)所謂的“過擬合”問題，反而降低了網(wǎng)絡(luò)的泛化能力。此外，隱含層節(jié)點數(shù)過多會增加神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間。

4 仿真與結(jié)果分析

采用指數(shù)函數(shù)驗證小波神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)擬合能力，自變量范圍為［－5，5］，采樣間隔為0.1，共101個樣本點，其中前70個樣本點作為訓(xùn)練樣本，后31個樣本點作為檢驗樣本。小波神經(jīng)網(wǎng)絡(luò)采用“緊致型”結(jié)構(gòu)，將神經(jīng)網(wǎng)絡(luò)隱含層中的神經(jīng)元傳遞函數(shù)用小波函數(shù)來代替，采用通常用于信號分類的小波基函數(shù)Morlet小波函數(shù)(r通常取值為1.75)作為網(wǎng)絡(luò)隱含層的激勵函數(shù)，即:

式中，t為函數(shù)的輸入，其小波函數(shù)的圖形如圖3。

圖3 Morlet小波函數(shù)

經(jīng)過Matlab編程仿真得到的指數(shù)函數(shù)的逼近結(jié)果如圖4。從預(yù)測結(jié)果來看，小波神經(jīng)網(wǎng)絡(luò)具有擬合能力較強，計算速度較快，精度高等優(yōu)點，具有廣泛的應(yīng)用前景，但是該算法還存在著網(wǎng)絡(luò)權(quán)值、尺度因子和平移因子的初值選取困難等缺點，這有待于進一步的研究。

圖4 小波神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果

5 結(jié)束語

小波神經(jīng)網(wǎng)絡(luò)是小波分析和神經(jīng)網(wǎng)絡(luò)理論相結(jié)合的產(chǎn)物，繼承了小波變換良好的時頻局部化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學習功能的特點，它最初應(yīng)用于函數(shù)逼近和語音識別，隨后應(yīng)用領(lǐng)域逐漸推廣到非參數(shù)估計、天氣預(yù)報、多屬性決策、故障診斷與檢測、系統(tǒng)辨識、數(shù)據(jù)壓縮等。雖然小波分析理論和神經(jīng)網(wǎng)絡(luò)理論為小波網(wǎng)絡(luò)的研究應(yīng)用提供了堅實的理論基礎(chǔ)，但小波網(wǎng)絡(luò)的理論研究畢竟剛剛起步，迄今還存在許很大的發(fā)展空間。

［1］ 董長虹.matlab神經(jīng)網(wǎng)絡(luò)與應(yīng)用［M］.北京:國防工業(yè)出版社，2007.

［2］ 張紅英，吳斌.小波神經(jīng)網(wǎng)絡(luò)的研究及其展望［J］.西南工學院學報，2002(1):8－10.

［3］ 王永慶.人工智能原理與方法［M］.西安:西安交通大學出版社，1998.

［4］ 虞和濟.基于神經(jīng)網(wǎng)絡(luò)的智能診斷［M］.北京:冶金工業(yè)出版社，2000.

［5］ 李洋.小波過程神經(jīng)網(wǎng)絡(luò)相關(guān)理論及其應(yīng)用研究［D］.哈爾濱:哈爾濱工業(yè)大學，2008.

［6］ 秦前清，楊宗凱.實用小波分析［M］.西安:西安電子科技大學出版社，1998.

［7］ Zhang Qinghua，Bmvenlste A.Wavelet networks［J］.IEEE Trans.On Nellml Networks.1992，3(6):889 －898.

［8］ 王鴻斌，陳惠明.一種小波神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法［J］.忻州師范學院學報，2006(2):40－42.

［9］ 許慧，申東日.一種用于非線性函數(shù)逼近的小波神經(jīng)網(wǎng)絡(luò)［J］.自動化與儀器儀表，2003(6):4－6.

［10］侯木舟.基于構(gòu)造型前饋神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近與應(yīng)用［D］.長沙:中南大學，2009.

［11］高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例［M］.北京:機械工業(yè)出版社，2003.

(責任編輯周江川)