摘要:提出一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)模型，將徑向基輸出權(quán)值改為權(quán)函數(shù)，采用高次函數(shù)取代線性加權(quán)#65377;給出網(wǎng)絡(luò)學(xué)習(xí)方法，并通過(guò)仿真分析研究隱單元寬度#65380;權(quán)函數(shù)冪次等參數(shù)的選取對(duì)網(wǎng)絡(luò)逼近精度以及訓(xùn)練時(shí)間的影響#65377;結(jié)果表明，和傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)具有良好的逼近能力和較快的計(jì)算速度，在系統(tǒng)辨識(shí)和控制中具有廣闊的應(yīng)用前景#65377;

關(guān)鍵詞:RBF神經(jīng)網(wǎng)絡(luò);訓(xùn)練方法;函數(shù)逼近

中圖分類(lèi)號(hào):TP183文獻(xiàn)標(biāo)識(shí)碼:A

1引言

RBF神經(jīng)網(wǎng)絡(luò)是近幾年提出的一種新型的前向網(wǎng)絡(luò)#65377;與應(yīng)用廣泛的BP網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)不僅具有在任意精度下逼近任意非線性映射的能力，而且可以達(dá)到最佳逼近精度[1][2]#65377;RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上具有輸出-權(quán)值線性關(guān)系，訓(xùn)練速度快，這些優(yōu)點(diǎn)給RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用奠定了良好的基礎(chǔ)#65377;但是，由于RBF神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種局部網(wǎng)絡(luò)，要得到良好的逼近性能，一般要增加隱節(jié)點(diǎn)數(shù)目，這無(wú)疑是以犧牲網(wǎng)絡(luò)的計(jì)算速度作為代價(jià)#65377;本文提出了一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)模型，將徑向基輸出權(quán)值改為權(quán)函數(shù)，采用高次函數(shù)取代了線性加權(quán)，從而大大改善了網(wǎng)絡(luò)性能#65377;

2廣義RBF神經(jīng)網(wǎng)絡(luò)模型

不失一般性，考慮多輸入單輸出歸一化形式的廣義模糊RBF神經(jīng)網(wǎng)絡(luò)，廣義RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示#65377;網(wǎng)絡(luò)共分四層#65377;定義以下參數(shù):式中，Ψk為徑向基函數(shù)，一般取高斯函數(shù)#65377;

第二層:對(duì)基函數(shù)輸出值進(jìn)行加權(quán)#65377;

第三層:歸一化處理#65377;

第四層:計(jì)算總輸出#65377;

當(dāng)fk(x)時(shí)，其作用類(lèi)似于常規(guī)RBF神經(jīng)網(wǎng)絡(luò)的輸出層權(quán)值#65377;隨著fk(x)的不同，輸出將不單純是各基函數(shù)節(jié)點(diǎn)輸出的超平面，也可能是超曲面#65377;與一般的RBF神經(jīng)網(wǎng)絡(luò)比較，這種結(jié)構(gòu)主要是將徑向基輸出權(quán)值改為權(quán)函數(shù)，可采用高次函數(shù)取代線性加權(quán)，從而改善網(wǎng)絡(luò)性能#65377;詳細(xì)的分析見(jiàn)后文的實(shí)例仿真#65377;

如果基函數(shù)具有相同的指數(shù)和寬度，也就是說(shuō)當(dāng)lk1=lk2=…=lkn=2且σk1=σk2=…=σkn=σk時(shí)，廣義RBF神經(jīng)網(wǎng)絡(luò)退化為常規(guī)的RBF神經(jīng)網(wǎng)絡(luò)，可見(jiàn)常規(guī)的RBF神經(jīng)網(wǎng)絡(luò)是廣義RBF神經(jīng)網(wǎng)絡(luò)的特例#65377;計(jì)算技術(shù)與自動(dòng)化2007年3月第26卷第1期黨開(kāi)放等:一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練方法

3廣義RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

廣義RBF神經(jīng)網(wǎng)絡(luò)比單純的RBF神經(jīng)網(wǎng)絡(luò)具有更多的參數(shù)，其學(xué)習(xí)相對(duì)來(lái)說(shuō)就會(huì)更為復(fù)雜#65377;總的說(shuō)來(lái)，學(xué)習(xí)方法有兩種:第1種方法是全調(diào)節(jié)的，類(lèi)似于BP網(wǎng)絡(luò)的反向遞推，也就是說(shuō)按照使得代價(jià)函數(shù)(通常取誤差平方和)最小的原則，調(diào)整所有的參數(shù)，本質(zhì)上是一個(gè)非線性?xún)?yōu)化問(wèn)題#65377;第2種方法，采用模糊聚類(lèi)和專(zhuān)家知識(shí)預(yù)先優(yōu)化網(wǎng)絡(luò)前幾層的參數(shù)，包括隱節(jié)點(diǎn)數(shù)目N#65380;中心向量Ck#65380;寬度σk，指數(shù)lk等，而以最小二乘方法在線優(yōu)化fk(x)，k=1，2，…，N#65377;第一種方法收斂速度慢，可能存在局部極值，只能夠離線進(jìn)行，可以應(yīng)用于模式識(shí)別等領(lǐng)域;第二種方法計(jì)算量小，可以在線調(diào)節(jié)，適合于控制系統(tǒng)等對(duì)于實(shí)時(shí)性要求高的場(chǎng)合，但是一般需要系統(tǒng)的專(zhuān)家知識(shí)#65377;本文介紹第2種方法#65377;

廣義RBF神經(jīng)網(wǎng)絡(luò)按照如下步驟進(jìn)行學(xué)習(xí):

1) 確定合適的網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)#65377;增加網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)目，可以提高網(wǎng)絡(luò)逼近精度，但同時(shí)增加了網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間#65377;一般初始時(shí)選取比較少的網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)目#65377;

2) 根據(jù)網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)選取合理的φk(x)參數(shù)，包括中心參數(shù)ck和寬度參數(shù)σk#65377;

3) 取vk=1，確定fk(x)的參數(shù)#65377;在下文中，給出了2維輸入網(wǎng)絡(luò)fk(x)參數(shù)的計(jì)算方法，多維參數(shù)的推導(dǎo)類(lèi)似#65377;

4) 考核誤差，如果小于設(shè)定誤差，則訓(xùn)練結(jié)束;否則回到1) 增加網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)目，重復(fù)上 述步驟#65377;

在以上步驟中，最關(guān)鍵的是網(wǎng)絡(luò)輸出層權(quán)函數(shù)參數(shù)的調(diào)整，下文著重討論#65377;

4廣義RBF神經(jīng)網(wǎng)絡(luò)輸出層權(quán)函數(shù)參數(shù)的調(diào)整

以x為二維向量(x1，x2)的情況進(jìn)行分析#65377;

權(quán)值調(diào)整的目的是使得網(wǎng)絡(luò)的輸出能夠滿(mǎn)足誤差平方和

最小，即E=min，下面分為三種情況進(jìn)行討論#65377;

a.fk(x)為常數(shù)項(xiàng)的情況

此時(shí)，fk(x)=wk，相應(yīng)的誤差平方和為

對(duì)權(quán)值求偏導(dǎo)數(shù)，可以得到以下N元一次方程組

b.fk(x)為網(wǎng)絡(luò)輸入1次冪函數(shù)的情況

此時(shí)，fk(x)=wk0+wk1x1+w k2，x2，相應(yīng)的誤差平方和為

若使上式最小，可以得到以下3N組方程

c.fk(x為網(wǎng)絡(luò)輸入2次冪函數(shù)的情況

此時(shí)，，相應(yīng)的誤差平方和為

推導(dǎo)過(guò)程與前類(lèi)似，此處從略#65377;

由以上可以看出，fk(x)取為網(wǎng)絡(luò)輸入的高 次多項(xiàng)式，使得網(wǎng)絡(luò)具有更加優(yōu)良的 逼近性能的同時(shí)，保留了輸出層權(quán)值的線性性質(zhì)，從而可以采用最小二乘等方法優(yōu)化權(quán)值#65377;

5參數(shù)選取對(duì)網(wǎng)絡(luò)性能的影響

取期望函數(shù)為yd=sin(πx1)cos(πx2)x1∈[-1，1]，x2∈[-1，1](15)考查廣義RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力#65377;1) φk(x)函數(shù)參數(shù)σ對(duì)仿真結(jié)果的影響設(shè)φk(x)中心在參數(shù)空間內(nèi)均勻分布#65377;由于參數(shù)空間的范圍相同(都為2)，且訓(xùn)練點(diǎn)取n2個(gè)(n=2，3，4)，因此φk(x)中心的間隔在區(qū)間[x1，x2]也都相同，為Δx=2/(n-1)#65377;記相對(duì)寬度為ne，則有ne=σ/Δx#65377;圖2給出了ne對(duì)系統(tǒng)輸出誤差的影響曲線，誤差都采用441組非訓(xùn)練點(diǎn)進(jìn)行計(jì)算#65377;從圖中可以看出ne取值范圍為0.6~1.8(即σ取0.6Δx~1.8Δx)時(shí)，網(wǎng)絡(luò)輸出誤差比較小#65377;

2)fk(x)冪次對(duì)仿真結(jié)果的影響

圖3為采用隱節(jié)點(diǎn)數(shù)目為9的網(wǎng)絡(luò)，121組訓(xùn)練數(shù)據(jù)，φk(x)函數(shù)中心均勻分布，σ=1.2時(shí)得到的網(wǎng)絡(luò)輸出 曲面和誤差曲面，其中誤差曲面采用441組非訓(xùn)練點(diǎn)計(jì)算#65377;從圖中可以看出，在網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)目相同的情況下，隨著fk(x)冪次的升高，網(wǎng)絡(luò)的逼近性能越好#65377;

圖2參數(shù)σ對(duì)誤差的影響

表1為采用不同冪次和不同隱節(jié)點(diǎn)數(shù)目時(shí)的網(wǎng)絡(luò)訓(xùn)練時(shí)間和網(wǎng)絡(luò)輸出誤差對(duì)比#65377;網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)為N，網(wǎng)絡(luò)訓(xùn)練時(shí)間復(fù)雜度為O(N3)#65377;從表中可以看出，在隱節(jié)點(diǎn)數(shù)目相同時(shí)，隨fk(x)冪次的增高，訓(xùn)練時(shí)間略有增加#65377;在fk(x)為2次冪函數(shù)時(shí)，網(wǎng)絡(luò)取9個(gè)隱節(jié)點(diǎn)時(shí)的網(wǎng)絡(luò)輸出誤差和fk(x)為1次冪函數(shù)時(shí)，網(wǎng)絡(luò)取16個(gè)隱節(jié)點(diǎn)時(shí)的網(wǎng)絡(luò)輸出誤差以及fk(x)為0次冪函數(shù)時(shí)，網(wǎng)絡(luò)取64個(gè)隱節(jié)點(diǎn)時(shí)的網(wǎng)絡(luò)輸出誤差相當(dāng)，但是計(jì)算時(shí)間大大減少#65377;可見(jiàn)，提高fk(x)冪次，可減少網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù)，縮短網(wǎng)絡(luò)訓(xùn)練時(shí)間#65377;表1不同冪次和隱節(jié)點(diǎn)數(shù)時(shí)的網(wǎng)絡(luò)輸出誤差冪次隱節(jié)點(diǎn)數(shù)目計(jì)算時(shí)間(ms)

6結(jié)論

在傳統(tǒng)RBF神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，提出了一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)#65377;通過(guò)采用權(quán)函數(shù)代替權(quán)值，可以采用較少的隱節(jié)點(diǎn)數(shù)目達(dá)到同樣甚至更高的逼近精度，因此具有更快的計(jì)算速度#65377;同傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)表現(xiàn)出了良好的逼近性能，在系統(tǒng)辨識(shí)和控制中具有廣闊的應(yīng)用前景#65377;

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。