黃朝輝， 聞輝， 車艷

( 莆田學(xué)院 信息工程學(xué)院， 福建 莆田 351100 )

0 引言

徑向基函數(shù)(RBF)網(wǎng)絡(luò)因其結(jié)構(gòu)簡單、穩(wěn)定性強(qiáng)的優(yōu)點(diǎn)，目前被廣泛應(yīng)用于工業(yè)診斷、圖像分類以及語音識別等領(lǐng)域中.傳統(tǒng)的優(yōu)化RBF網(wǎng)絡(luò)的算法包括k均值聚類(KMRBF)[1]、模糊C均值聚類(FCRBF)[2]和正交前向選擇[3]，這些算法需要預(yù)先固定RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的個(gè)數(shù)；但是固定隱節(jié)點(diǎn)的個(gè)數(shù)往往使得網(wǎng)絡(luò)結(jié)構(gòu)與實(shí)際問題不匹配，致使網(wǎng)絡(luò)泛化性能下降.為了改善網(wǎng)絡(luò)結(jié)構(gòu)與實(shí)際問題不匹配的問題，一些基于序?qū)W習(xí)的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法被相繼提出.例如：文獻(xiàn)[4]提出了一種最小資源分配網(wǎng)絡(luò)(MRAN)模型，該模型通過統(tǒng)計(jì)鄰近樣本之間的相關(guān)性影響來刪除部分冗余的隱節(jié)點(diǎn)，但該方法未能考慮樣本空間的整體分布.文獻(xiàn)[5]提出了一種基于序列增加和裁剪的RBF網(wǎng)絡(luò)(GAP -RBF)模型，該模型通過度量RBF隱節(jié)點(diǎn)的重要性來規(guī)劃學(xué)習(xí)策略，但該算法需設(shè)定樣本服從統(tǒng)一分布.文獻(xiàn)[6]在 GAP -RBF的基礎(chǔ)上提出了一種泛化的 GAP -RBF (GGAP -RBF)模型，該模型雖然克服了 GAP -RBF 中樣本需服從統(tǒng)一分布的問題，但是網(wǎng)絡(luò)訓(xùn)練階段的參數(shù)選取過于復(fù)雜.文獻(xiàn)[7-8]提出了一種基于敏感度分析的RBF網(wǎng)絡(luò)模型，該模型通過分析隱節(jié)點(diǎn)對整個(gè)網(wǎng)絡(luò)的影響來動態(tài)調(diào)整RBF網(wǎng)絡(luò)結(jié)構(gòu).上述文獻(xiàn)研究的模型雖然可以建立自適應(yīng)的RBF網(wǎng)絡(luò)結(jié)構(gòu)，但未能從整體上考慮不同樣本之間的關(guān)聯(lián)信息，因此網(wǎng)絡(luò)的泛化性能會受到不同程度的影響.為此，本文提出一種基于勢函數(shù)聚類的改進(jìn)RBF網(wǎng)絡(luò)算法，并通過雙月人工數(shù)據(jù)集[9]以及UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫[10]中的Blood Transfusion、Diabetes與Image Segmentation 3個(gè)基準(zhǔn)數(shù)據(jù)集驗(yàn)證本文算法的有效性.

1 RBF網(wǎng)絡(luò)算法原理

RBF網(wǎng)絡(luò)由輸入層、隱藏層和輸出層3個(gè)模式層組成，其中輸入層和隱藏層各節(jié)點(diǎn)的連接權(quán)值為1. 網(wǎng)絡(luò)隱節(jié)點(diǎn)通常使用高斯核函數(shù)來實(shí)現(xiàn)對輸入向量的映射.對于輸入向量x∈Rh， 其經(jīng)過隱節(jié)點(diǎn)的核映射后的輸出可表示為

k=1,2,…,K.

(1)

其中μk(μk∈Rh)和σk分別為網(wǎng)絡(luò)第k個(gè)隱節(jié)點(diǎn)的中心和核寬，K為RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的個(gè)數(shù).

RBF網(wǎng)絡(luò)的輸出可表示為

(2)

其中ωk為第k個(gè)隱節(jié)點(diǎn)與輸出層對應(yīng)節(jié)點(diǎn)之間的連接權(quán)值.

2 基于勢函數(shù)聚類的改進(jìn)RBF網(wǎng)絡(luò)算法的實(shí)現(xiàn)

由于勢函數(shù)可以度量樣本空間中的兩個(gè)不同向量隨距離的變化情況，因此本文提出基于勢函數(shù)聚類的改進(jìn)RBF網(wǎng)絡(luò)學(xué)習(xí)算法，即通過對樣本空間的學(xué)習(xí)來增量生成不同的隱節(jié)點(diǎn)，以此實(shí)現(xiàn)對樣本空間不同區(qū)域的有效覆蓋.設(shè)x1和x2為樣本空間的兩個(gè)向量，γ(x1,x2)為由這兩個(gè)樣本建立的勢函數(shù).γ(x1,x2)的表達(dá)式為

(3)

其中：T為常數(shù)，用以控制勢函數(shù)隨距離變化的衰減速度；d(x1,x2)為x1,x2之間的距離.

(4)

(5)

(6)

式中k為在RBF網(wǎng)絡(luò)隱藏層中生成的高斯核個(gè)數(shù).將高斯核寬σ與μk相結(jié)合，即可建立一個(gè)對應(yīng)的高斯核用以實(shí)現(xiàn)對樣本空間某個(gè)局部區(qū)域的有效覆蓋.

q=1,2,…,Ni,q≠u.

(7)

3 實(shí)驗(yàn)及分析

為了驗(yàn)證本文所提算法的性能，將本文所提算法與4種典型的優(yōu)化RBF網(wǎng)絡(luò)算法(KMRBF、FCRBF、MRAN、GAP -RBF)進(jìn)行實(shí)驗(yàn)對比.表1為不同分類數(shù)據(jù)集的信息.圖3為雙月人工數(shù)據(jù)集的結(jié)構(gòu)圖，圖3中r=10,ω=6,d=-6.實(shí)驗(yàn)中各數(shù)據(jù)集中的樣本全部歸一化到[-1,1]范圍內(nèi).將實(shí)驗(yàn)參數(shù)T和δ設(shè)置為T=1，δ=0.01,σ的取值為0.1～0.6.實(shí)驗(yàn)運(yùn)行環(huán)境為Intel(R) Core (TM) i5-7500， 3.4 GHZ CPU， 8 G RAM， MATLAB 2013.

表1 不同分類數(shù)據(jù)集的信息

3.1 雙月數(shù)據(jù)集下本文算法的學(xué)習(xí)效果

圖4為訓(xùn)練集樣本數(shù)為500且 核寬參數(shù)取不同值時(shí)的本文算法的學(xué)習(xí)效果.圖4中每一個(gè)圓圈表示本文所建立的高斯核對樣本空間的一次覆蓋，且每一個(gè)圓圈都生成一個(gè)RBF網(wǎng)絡(luò)隱節(jié)點(diǎn).由圖4可以看出，樣本空間的覆蓋區(qū)域隨核寬參數(shù)的增加而增大，所生成的網(wǎng)絡(luò)隱節(jié)點(diǎn)的個(gè)數(shù)及中心參數(shù)也隨之改變，這表明本文所提算法具有良好的自適應(yīng)性，可應(yīng)用于復(fù)雜數(shù)據(jù)分類下的RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)個(gè)數(shù)以及參數(shù)估計(jì).

3.2 雙月數(shù)據(jù)集下不同算法的性能對比

圖5為雙月數(shù)據(jù)集下不同算法的性能.從圖5(a)可以看出，隨著訓(xùn)練樣本個(gè)數(shù)的增加，本文算法生成的隱節(jié)點(diǎn)個(gè)數(shù)明顯少于MRAN和GAP -RBF算法，但多于KMRBF算法.雖然本文算法生成的隱節(jié)點(diǎn)個(gè)數(shù)多于KMRBF算法，但因本文算法的隱節(jié)點(diǎn)個(gè)數(shù)是自動生成的，而KMRBF算法的隱節(jié)點(diǎn)個(gè)數(shù)需經(jīng)過多次實(shí)驗(yàn)和手動設(shè)定才能實(shí)現(xiàn)，因此本文算法對樣本空間具有更好地適應(yīng)性.需要說明的是，在本實(shí)驗(yàn)中當(dāng)FCRBF算法與KMRBF算法的隱節(jié)點(diǎn)個(gè)數(shù)相同時(shí)，F(xiàn)CRBF算法可以獲取相對更高的分類精度，因此在圖5(a)中未給出FCRBF算法.從圖5(b)中可以看出，本文算法的分類精度優(yōu)于KMRBF、FCRBF、GAP -RBF和MRAN算法，尤其是在訓(xùn)練樣本個(gè)數(shù)為200～500時(shí)，本文算法的分類精度相對更高.

3.3 基準(zhǔn)數(shù)據(jù)集下不同算法的性能對比

在UCI基準(zhǔn)數(shù)據(jù)集下，本文算法與其他4種算法的性能對比見表2—表4.由表2—表4可以看出：本文算法的測試精度均優(yōu)于其他4種算法.在隱節(jié)點(diǎn)個(gè)數(shù)方面，本文算法優(yōu)于GAP -RBF算法和MRAN算法，但低于KMRBF算法和FCRBF算法.在Blood Transfusion基準(zhǔn)數(shù)據(jù)集下，本文算法的訓(xùn)練時(shí)間優(yōu)于GAP -RBF和MRAN算法，但略低于KMRBF和FCRBF算法；在Diabetes和Image Segmentation基準(zhǔn)數(shù)據(jù)集下，本文算法的訓(xùn)練時(shí)間均優(yōu)于其他4種算法.

表2 Blood Transfusion基準(zhǔn)數(shù)據(jù)集下不同算法的性能

表3 Diabetes基準(zhǔn)數(shù)據(jù)集下不同算法的性能

表4 Image Segmentation基準(zhǔn)數(shù)據(jù)集下不同算法的性能

4 結(jié)論

研究表明，本文所提出的基于勢函數(shù)聚類的改進(jìn)RBF網(wǎng)絡(luò)算法可有效利用樣本空間的分布信息，并據(jù)此自動確定RBF隱節(jié)點(diǎn)的個(gè)數(shù)及參數(shù).本文算法的分類精度優(yōu)于KMRBF、FCRBF、GAP -RBF、MRAN 4種算法.與KMRBF和FCRBF算法相比，本文算法可以有效克服RRF網(wǎng)絡(luò)結(jié)構(gòu)需手動調(diào)整的問題；在Diabetes和Image Segmentation基準(zhǔn)數(shù)據(jù)集上，本文算法的訓(xùn)練時(shí)間均優(yōu)于上述4種算法；與 GAP -RBF 和MRAN算法相比，本文算法所得的網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，訓(xùn)練時(shí)間也相對更優(yōu).本文研究結(jié)果為優(yōu)化RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)核參數(shù)提供了新的思路.本文在研究中未能考慮核寬的動態(tài)調(diào)整情況，因此在今后的研究中我們將引入核寬覆蓋因子，建立樣本空間的局部優(yōu)化覆蓋，以完善本文模型.