蒙西,喬俊飛,李文靜
(1. 北京工業(yè)大學(xué) 信息學(xué)部,北京 100124; 2. 北京工業(yè)大學(xué) 計算智能與智能系統(tǒng)北京市重點實驗室,北京 100124)
徑向基函數(shù)(radial basis function,RBF)神經(jīng)網(wǎng)絡(luò)是一種模擬生物神經(jīng)元局部響應(yīng)特性的前饋神經(jīng)網(wǎng)絡(luò),因其結(jié)構(gòu)簡單且具有良好的非線性映射能力而被廣泛用于多個領(lǐng)域[1-6]。RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建的核心問題在于結(jié)構(gòu)設(shè)計[7]。早期隱含層結(jié)構(gòu)的確定多采用經(jīng)驗試湊法,但此類方法很難在保證神經(jīng)網(wǎng)絡(luò)精度的前提下得到一個緊湊的網(wǎng)絡(luò)結(jié)構(gòu)。因此,許多學(xué)者針對RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計問題展開了大量研究。
聚類算法常被用來確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),如 K-Means、Fuzzy C-Means (FCM)[8-10]等,該類算法能根據(jù)各聚類中心之間的距離確定隱含層神經(jīng)元的徑向作用范圍,但卻無法確定隱含層神經(jīng)元的個數(shù),會影響神經(jīng)網(wǎng)絡(luò)的泛化能力。因此,根據(jù)研究對象自適應(yīng)設(shè)計RBF神經(jīng)網(wǎng)絡(luò)中隱含層神經(jīng)元的個數(shù),提高網(wǎng)絡(luò)性能已成為當(dāng)前RBF神經(jīng)網(wǎng)絡(luò)研究的一個熱點。Platt[11]首次提出了一種結(jié)構(gòu)自適應(yīng)調(diào)整的RBF神經(jīng)網(wǎng)絡(luò)——資源分配網(wǎng)絡(luò)(resource allocation network,RAN),該網(wǎng)絡(luò)能根據(jù)待處理任務(wù)動態(tài)增加RBF神經(jīng)元,但容易導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)過大的問題。在RAN的基礎(chǔ)上,Yingwei等構(gòu)建了最小資源神經(jīng)網(wǎng)絡(luò)(minimal resource allocation network,MRAN)[12]。在自適應(yīng)增加隱含層神經(jīng)元的同時,MRAN能通過刪減策略去除冗余神經(jīng)元,但該網(wǎng)絡(luò)收斂速度較慢。Huang等[13]提出了一種增長修剪型RBF神經(jīng)網(wǎng)絡(luò)(growing and pruning RBF,GAPRBF),該網(wǎng)絡(luò)基于神經(jīng)元的顯著性構(gòu)建隱含層結(jié)構(gòu)。文獻(xiàn)[14]中構(gòu)建了一種自組織RBF 神經(jīng)網(wǎng)絡(luò)(self-organizing RBF,SORBF),SORBF 網(wǎng)絡(luò)基于RBF神經(jīng)元徑向作用范圍對隱含層結(jié)構(gòu)進(jìn)行自適應(yīng)增刪。GAP-RBF網(wǎng)絡(luò)和SORBF網(wǎng)絡(luò)中涉及的算法參數(shù)較多,對算法最優(yōu)參數(shù)的尋求會影響網(wǎng)絡(luò)的性能。Wilamowski等[15]基于誤差補(bǔ)償算法來構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)(error-correction RBF,ErrCor-RBF),實驗表明該方法能獲得較精簡的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),但該網(wǎng)絡(luò)仍然需要通過大量的迭代尋求最優(yōu)結(jié)構(gòu)。
鑒于以上存在的問題,結(jié)合RBF神經(jīng)元激活函數(shù)本身的特性,本文對一種快速密度聚類算法進(jìn)行了相應(yīng)的改進(jìn),然后將其用于RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計中。同時,針對傳統(tǒng)梯度下降、算法收斂較慢且易陷入局部極小的問題,結(jié)合結(jié)構(gòu)設(shè)計中確定的初始參數(shù),選用改進(jìn)的二階梯度算法來訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò),提高了網(wǎng)絡(luò)的收斂速度和泛化能力。最后,通過兩個基準(zhǔn)仿真實驗驗證,提出的基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)(fast density clustering RBF, FDC-RBF),能夠以緊湊的網(wǎng)絡(luò)結(jié)構(gòu)和較快的收斂速度獲取較好的非線性映射能力。
RBF神經(jīng)網(wǎng)絡(luò)是一種典型的前饋型神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示(L個輸入神經(jīng)元,J個隱含層神經(jīng)元,M個輸出層神經(jīng)元)。隱含層激活函數(shù)為徑向基函數(shù),常選用標(biāo)準(zhǔn)的高斯函數(shù),即
其中: x =[x1x2···xL]T為 網(wǎng)絡(luò)輸入向量, cj為第j個神經(jīng)元的中心向量, σj為第j個神經(jīng)元的徑向作用范圍。輸出層第m個神經(jīng)元的輸出 ym為
式中: wjm為 第 j個隱層神經(jīng)元到第m個輸出神經(jīng)元的連接權(quán)值。
圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Structure of the RBF neural network
RBF神經(jīng)網(wǎng)絡(luò)的設(shè)計包括結(jié)構(gòu)構(gòu)建和參數(shù)訓(xùn)練兩部分。文中采用改進(jìn)的快速密度聚類算法確定網(wǎng)絡(luò)初始結(jié)構(gòu)和初始參數(shù),在此基礎(chǔ)上,用一種改進(jìn)的二階梯度算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
聚類分析是基于相似度將樣本劃分成若干類別,目前大多數(shù)聚類算法普遍存在兩點不足:需要提前確定聚類的類別數(shù);需要通過大量迭代來尋求最優(yōu)聚類結(jié)果。
針對以上問題,Alex等[16]提出了一種快速密度聚類算法,該算法無需提前確定聚類類別數(shù),通過尋找局部密度峰值作為聚類中心從而實現(xiàn)對數(shù)據(jù)樣本的快速聚類。
快速密度聚類算法的核心思想在于聚類中心被其他密度值較小的點緊緊包圍,且遠(yuǎn)離其他密度值較大的點。在聚類中心的尋找過程中,對于任一數(shù)據(jù)點i,需計算兩個值:每個點的局部密度值 ρi和該點到其他密度值較大點的最小距離 δi。數(shù)據(jù)點i的局部密度值計算公式為
式中:當(dāng) x <0 時 , χ (x)=1; 當(dāng) x ≥0 時 , χ (x)=0;dc為需要提前設(shè)定的截斷距離。
數(shù)據(jù)點i到其他密度值較大點的最小距離 δi計算公式為
選出局部密度值較大和到其他點距離較小的點作為聚類中心,其他非中心數(shù)據(jù)樣本依次分配到距離其最近且密度值較大的聚類中心所在類,由此完成整個聚類過程。
可見,該算法的聚類過程是一步完成的無需通過多次迭代來尋求最優(yōu)結(jié)果。但其仍然存在兩點不足:聚類前需要獲取整個數(shù)據(jù)樣本,因而不利于實現(xiàn)在線聚類;聚類的效果受到截斷距離dc的影響。
針對以上問題,結(jié)合高斯函數(shù)的特性,對該算法進(jìn)行了一定的改進(jìn),并將其運用于RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計中。
類似于快速密度聚類算法,本文通過尋找局部密度值較大的點作為隱含層神經(jīng)元中心,進(jìn)而確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。針對快速密度聚類算法需要預(yù)先知道所有的數(shù)據(jù)樣本且聚類效果受到截斷距離影響的問題,本文做出相應(yīng)的改進(jìn)。
1) 由于RBF神經(jīng)元的激活函數(shù)為高斯函數(shù),引入隱含層神經(jīng)元活性評價指標(biāo)如下:
式中: A Cij為第j個隱含層神經(jīng)元被第i個樣本激活后的活性,AC值越大,神經(jīng)元的活性越強(qiáng);V為神經(jīng)元活性閾值,以保證隱含層神經(jīng)元的活性足夠大。輸入向量、中心向量、徑向作用范圍需要滿足以下關(guān)系:
即輸入向量與隱含層神經(jīng)元的中心向量間的距離需要滿足以下關(guān)系:
式中神經(jīng)元活性閾值V根據(jù)實驗進(jìn)行取值。因此截斷距離與神經(jīng)元的徑向作用范圍以及神經(jīng)元的活性相關(guān)。
2) 為了實現(xiàn)在線聚類,本文在確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時,訓(xùn)練樣本依次進(jìn)入神經(jīng)網(wǎng)絡(luò)對結(jié)構(gòu)進(jìn)行調(diào)整:增加一個隱含層神經(jīng)元或?qū)σ延械碾[含層神經(jīng)元進(jìn)行調(diào)整。
文中隱含層結(jié)構(gòu)設(shè)計的核心思想在于:判斷當(dāng)前樣本在激活其最近隱含層神經(jīng)元時是否能保證該神經(jīng)元具有足夠的活性。如果能保證其活性則能歸入當(dāng)前隱含層神經(jīng)元所在類,反之則不能;其次,通過密度比較,將密度較大的點作為隱含層神經(jīng)元。
因此文中基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計可以分為兩種情況:神經(jīng)元增長機(jī)制;神經(jīng)元調(diào)節(jié)機(jī)制。
設(shè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本是由P個輸入輸出對(x,yd)組 成,其中,x 為 L維輸入向量, yd為相對應(yīng)的M維期望輸出。初始時刻,網(wǎng)絡(luò)隱含層的神經(jīng)元個數(shù)為0。
①神經(jīng)元增長機(jī)制
把第一個數(shù)據(jù)樣本作為第一個隱含層神經(jīng)元中心,同時設(shè)定相應(yīng)的徑向作用范圍和輸出權(quán)值。
在k時刻,假設(shè)已經(jīng)存在j個隱含層神經(jīng)元,當(dāng)?shù)趉個數(shù)據(jù)樣本進(jìn)入網(wǎng)絡(luò)時,找到距離當(dāng)前樣本最近的隱含層神經(jīng)元kmin:
在k時刻,若 D ≤σkmin,則認(rèn)為當(dāng)前網(wǎng)絡(luò)能夠?qū)π聵颖具M(jìn)行學(xué)習(xí),比較當(dāng)前樣本與該隱含層神經(jīng)元的局部密度值,選出密度值較大的點作為新的隱含層神經(jīng)元,數(shù)據(jù)點i的局部密度計算公式為
式中: xj是 ci作用范圍內(nèi)所包括的樣本點;di是該數(shù)據(jù)點的局部作用范圍。
從式(16)可以看出,若一個數(shù)據(jù)點的局部密度值越大,代表該點附近聚集的樣本點越多;同理,,隱含層神經(jīng)元密度越大,則代表該神經(jīng)元激活的樣本數(shù)越多。
將當(dāng)前輸入樣本點k的局部密度值與隱含層神經(jīng)元kmin的局部密度值進(jìn)行比較:
若 Pk>Pkmin,則當(dāng)前輸入樣本替換已有的隱含層神經(jīng)元,成為新的隱含層神經(jīng)元,初始參數(shù)設(shè)置為式中: xkmin表示第kmin個隱含層神經(jīng)元激活的所有樣本; nkmin表示激活的樣本數(shù)量。
反之,若 Pj≤Pkmin,則已有的隱含層神經(jīng)元不變,只需調(diào)整該神經(jīng)元的徑向作用范圍以及到輸出層的連接權(quán)值,見式(18)~(19)。
由此,可以得到FDC-RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計算法如下:
1)初始時刻,隱含層神經(jīng)元個數(shù)為0。
2)當(dāng)?shù)?個樣本進(jìn)入網(wǎng)絡(luò)后,將其作為第1個隱含層神經(jīng)元,并按照式(8)~(10)對其中心、徑向作用范圍和連接權(quán)值進(jìn)行設(shè)置。
3)當(dāng)?shù)趉個樣本進(jìn)入網(wǎng)絡(luò)后,計算其與當(dāng)前所有隱含層神經(jīng)元的距離,找出與第k個樣本距離最近的隱含層神經(jīng)元kmin。
4)判斷輸入樣本是否能保證第kmin個神經(jīng)元的活性,若不能保證則為網(wǎng)絡(luò)新增加一個隱含層神經(jīng)元,并按照式(13)~(15)賦予初始參數(shù),然后轉(zhuǎn)向6);否則,執(zhí)行下一步。
5)若能保證神經(jīng)元活性,則比較當(dāng)前樣本與最近隱含層神經(jīng)元的局部密度值,選出密度值較大的點作為新的隱含層神經(jīng)元,按照式(17)~(19)對中心、徑向作用范圍和權(quán)值進(jìn)行更新,轉(zhuǎn)向6)。
6)若所有的樣本比較完畢,則神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定;否則,k=k+1,轉(zhuǎn)向 3)。
該算法將快速密度聚類的思想用于RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中,并結(jié)合高斯函數(shù)特性進(jìn)行相應(yīng)改進(jìn),使網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)。同時,結(jié)構(gòu)構(gòu)建過程中設(shè)定的較優(yōu)的初始參數(shù)又能提高網(wǎng)絡(luò)的收斂速度。
確定網(wǎng)絡(luò)結(jié)構(gòu)后,需要對網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。本文用一種改進(jìn)的二階算法對RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練,提高了網(wǎng)絡(luò)的收斂速度和泛化能力。傳統(tǒng)的LM算法更新規(guī)則如式(20)所示[17]:
式中:Δ指所有需要調(diào)整的參數(shù)(中心向量、徑向作用范圍、連接權(quán)值);J為雅克比矩陣;e為誤差向量;I是單位矩陣;μ為學(xué)習(xí)率參數(shù)。
誤差向量計算公式為
式中:P是樣本數(shù)量,M是輸出向量維數(shù), ydpm和ypm分別是第p個樣本進(jìn)入時第m個輸出神經(jīng)元對應(yīng)的期望輸出和實際輸出。
雅克比矩陣計算公式為
式中N是算法中所有參數(shù)的個數(shù)。
由式(23)可以看出,在LM算法的執(zhí)行過程中,雅克比矩陣的計算與訓(xùn)練樣本數(shù)量、參數(shù)個數(shù)以及輸出向量的維數(shù)都有關(guān)。當(dāng)樣本數(shù)量過多時,則會影響算法的收斂速度。
針對以上問題,本文用一種改進(jìn)的二階算法對RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練,提高了神經(jīng)網(wǎng)絡(luò)的收斂速度。改進(jìn)二階算法的更新規(guī)則為[18]
為了克服傳統(tǒng)LM算法中存在的不足,減小存儲空間,提高收斂速度,將類海森矩陣的計算轉(zhuǎn)化為P×M個子矩陣的和,如式(25)、(26)所示:
同樣,將梯度向量的計算也轉(zhuǎn)化為P×M個子向量的和:
這樣,對類海森矩陣和梯度向量的計算就轉(zhuǎn)化為對雅克比分量的計算:
聯(lián)立式(1)、(2)、(24),對雅克比分量中每個參數(shù)的偏微分計算如下:
訓(xùn)練過程中,學(xué)習(xí)率參數(shù)μ隨著誤差的變化自適應(yīng)調(diào)整。如果后一時刻的誤差小于前一時刻的誤差,則μ值減小,并保留當(dāng)前訓(xùn)練后的各參數(shù)值;反之,則μ值增大,各參數(shù)值恢復(fù)到調(diào)整前的值。
文中選用非線性函數(shù)逼近和非線性動態(tài)系統(tǒng)辨識兩個基準(zhǔn)實驗對FDC-RBF網(wǎng)絡(luò)進(jìn)行仿真驗證,并與其他算法進(jìn)行了對比。
選取的典型非線性函數(shù)sinE為
式中 0 ≤x≤2。非線性函數(shù)sinE經(jīng)常被用來檢驗RBF神經(jīng)網(wǎng)絡(luò)的性能。
隨機(jī)選取200個樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,200個樣本進(jìn)行測試,訓(xùn)練的期望均方誤差(mean square error,MSE)設(shè)為0.01,神經(jīng)元活性閾值V設(shè)為0.55。用改進(jìn)的二階算法訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)測試效果如圖2所示,隱含層神經(jīng)元數(shù)的變化如圖3所示,二階算法學(xué)習(xí)性能曲線如圖4所示。此外,為了驗證不同的學(xué)習(xí)算法對神經(jīng)網(wǎng)絡(luò)性能的影響,在RBF網(wǎng)絡(luò)初始結(jié)構(gòu)確定后,又用梯度下降法對該網(wǎng)絡(luò)進(jìn)行了訓(xùn)練,學(xué)習(xí)性能曲線如圖5所示。
由圖2可以看出,訓(xùn)練后的FDC-RBF網(wǎng)絡(luò)能夠較好地擬合sinE曲線。從圖4和圖5的對比可以看出,梯度下降算法需要在第45步左右才能完全收斂,而改進(jìn)的二階算法在第13步就已完全收斂。由此可以看出,當(dāng)用改進(jìn)的二階算法訓(xùn)練該網(wǎng)絡(luò)時,收斂速度大大提高了。
圖2 函數(shù)逼近效果圖Fig. 2 Results of the function approximation problem
圖3 隱含層神經(jīng)元變化曲線Fig. 3 Structure construction process of the FDC-RBF network
圖4 二階算法學(xué)習(xí)性能曲線Fig. 4 Performance curve of the second-order learning algorithm
圖5 梯度下降學(xué)習(xí)性能曲線Fig. 5 Performance curve of the gradient descent algorithm
同時,為了顯示FDC-RBF網(wǎng)絡(luò)的優(yōu)良性,本文將其與 DFNN[19]、GAP-RBF[13]、SORBF[14]、ART-RBF[20]進(jìn)行了對比,如表1所示。結(jié)果顯示,與DFNN、GAP-RBF、SORBF相比,基于本文提出的算法設(shè)計的網(wǎng)絡(luò)隱含層神經(jīng)元個數(shù)要少于以上網(wǎng)絡(luò),結(jié)構(gòu)要更為精簡;同時,與其他4種網(wǎng)絡(luò)相比,F(xiàn)DC-RBF網(wǎng)絡(luò)收斂速度更快,訓(xùn)練時間更短;此外,從測試誤差的對比可以看出,F(xiàn)DC-RBF網(wǎng)絡(luò)的測試誤差也要小于其他算法。因此可以得出,F(xiàn)DC-RBF神經(jīng)網(wǎng)絡(luò)在逼近該非線性函數(shù)時,網(wǎng)絡(luò)結(jié)構(gòu)較其他算法更為精簡,收斂速度更快,泛化能力更好。
表1 函數(shù)逼近實驗結(jié)果對比Table 1 Performance comparison for the function approximation problem
非線性動態(tài)系統(tǒng)辨識常被用來驗證所設(shè)計的神經(jīng)網(wǎng)絡(luò)的性能,文中的非線性系統(tǒng)由式(34)表示:
式中: u (t)=sin(2πt/25),t∈ [1,400],y(0)=0,y(1)=0。選取100個點作為訓(xùn)練樣本,其中 t ∈[1,100],另外選取100個點作為測試樣本,其中 t ∈[301,400],訓(xùn)練的期望均方誤差MSE設(shè)為0.01,神經(jīng)元活性閾值V設(shè)為0.33。FDC-RBF網(wǎng)絡(luò)的辨識結(jié)果如圖6所示,其中用改進(jìn)的二階算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能曲線如圖7所示,隱含層神經(jīng)元個數(shù)的變化如圖8所示。
圖6 系統(tǒng)辨識結(jié)果Fig. 6 Results of the system identification problem
圖7 二階算法學(xué)習(xí)性能曲線Fig. 7 Performance curve of the second-order learning algorithm
圖8 隱含層神經(jīng)元變化曲線Fig. 8 Structure construction process of the FDC-RBF network
由圖6可以看出,F(xiàn)DC-RBF網(wǎng)絡(luò)能夠較好地辨識該非線性系統(tǒng)。同時,從圖7的學(xué)習(xí)性能曲線變化可以看到,訓(xùn)練過程中,當(dāng)?shù)降?步后網(wǎng)絡(luò)完全收斂,由此可以看出,所設(shè)計網(wǎng)絡(luò)的收斂速度非??臁?/p>
此外,本文還將FDC-RBF網(wǎng)絡(luò)的非線性系統(tǒng)辨識結(jié)果與其他算法進(jìn)行了對比,結(jié)果如表2所示。
表2 系統(tǒng)辨識實驗結(jié)果對比Table 2 Performance comparison for the dynamic system identification problem
從對比結(jié)果可以看出,與其他網(wǎng)絡(luò)相比,F(xiàn)DCRBF網(wǎng)絡(luò)的訓(xùn)練時間要優(yōu)于其他網(wǎng)絡(luò)。同時,即使在期望的訓(xùn)練誤差設(shè)為0.01的情況下,測試誤差仍然能達(dá)到0.009 6,由此可以看到,該網(wǎng)絡(luò)的辨識效果要好于其他網(wǎng)絡(luò)。雖然隱含層神經(jīng)元個數(shù)要多于SORBF和ART-RBF,但網(wǎng)絡(luò)結(jié)構(gòu)卻仍然要比GAP-RBF與DFNN精簡。由此可以得出,在用FDC-RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性動態(tài)系統(tǒng)辨識時,能夠在保證結(jié)構(gòu)精簡的前提下用較快的時間達(dá)到最好的泛化能力。
針對RBF網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計問題,本文將快速密度聚類算法進(jìn)行了相應(yīng)改進(jìn),在保證神經(jīng)元活性的前提下通過尋找局部密度值較大的點來確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);同時,基于結(jié)構(gòu)設(shè)計所確定的初始參數(shù),用改進(jìn)的二階梯度算法對所設(shè)計的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;最后,通過非線性函數(shù)逼近和非線性系統(tǒng)辨識兩個基準(zhǔn)實驗進(jìn)行仿真驗證得到以下結(jié)論:
1)文中提出的RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計算法不依賴于全部的訓(xùn)練樣本,能夠根據(jù)實際任務(wù)自適應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu);
2)通過保證神經(jīng)元活性和尋求密度最大的點作為隱含層神經(jīng)元,最終獲得的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)精簡且泛化能力好;
3)結(jié)合結(jié)構(gòu)設(shè)計中所確定的初始參數(shù),用改進(jìn)的二階梯度算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),大大提高了收斂速度,縮短了訓(xùn)練時間。
盡管FDC-RBF網(wǎng)絡(luò)在非線性函數(shù)逼近和非線性系統(tǒng)動態(tài)辨識中取得了較好的效果,但其解決實際問題的能力還有待進(jìn)一步驗證。