丁 碩,常曉恒,巫慶輝
(渤海大學工學院,遼寧錦州,121013)
反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Networks, BPNN)存在收斂速度慢、訓練時間長、目標函數(shù)易陷入局部最小值等缺點。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function Neural Networks, RBFNN) 是一種局部逼近的神經(jīng)網(wǎng)絡(luò),由于RBFNN 的激活函數(shù)采用徑向?qū)ΨQ的核函數(shù),當輸入樣本傳輸?shù)诫[含層單元空間時,這組核函數(shù)構(gòu)成了輸入樣本的一組基,當輸入信號靠近核函數(shù)的中央范圍時,隱含層節(jié)點將產(chǎn)生較大的輸出,所以RBFNN 具有學習速度快、逼近精度高的優(yōu)點,能較好地克服標準BPNN 的訓練時間長及計算復(fù)雜度高等缺點。本文基于RBFNN 和標準BPNN 的分別構(gòu)建了分類模型,通過仿真實驗,對2 個模型的分類性能進行對比。仿真結(jié)果表明,在對二維數(shù)據(jù)進行模式分類時,基于RBFNN 的分類模型更具優(yōu)勢,更適合于解決模式分類問題。
RBFNN 由輸入層、隱含層和輸出層組成的三層前向網(wǎng)絡(luò)。輸入層由信號源節(jié)點組成;隱含層神經(jīng)元采用徑向基函數(shù)作為變換函數(shù),徑向基函數(shù)常用高斯函數(shù),設(shè)Xp為輸入樣本,為歐式范數(shù),c 為高斯函數(shù)的中心, 為高斯函數(shù)的方差,則網(wǎng)絡(luò)的輸出如式(1)所示,其中wij為隱含層到輸出層的連接權(quán)值,h 為隱含層神經(jīng)元數(shù)目,yj為與輸入樣本對應(yīng)的第j個輸出神經(jīng)元的實際輸出?;瘮?shù)的方差如式(2)所示,其中d 為樣本的期望輸出值。
BPNN 是一種單向傳播的多層前向網(wǎng)絡(luò),BPNN 通過對輸入節(jié)點與隱層節(jié)點間的網(wǎng)絡(luò)權(quán)值wij、隱層節(jié)點與輸出節(jié)點間的網(wǎng)絡(luò)權(quán)值Tli及閾值 的調(diào)整,使誤差函數(shù)沿梯度方向下降。設(shè)BPNN 的輸入節(jié)點為xj、隱層節(jié)點為yi、輸出節(jié)點為Ol、輸出節(jié)點的期望輸出為tl,則BPNN 隱層節(jié)點的輸出計算方法如式(3)所示,輸出節(jié)點的計算方法如式(4)所示。
利用RBFNN 和標準BPNN 分類模型對圖1 所示的30 個樣本二維向量的模式進行分類。在對樣本二維向量的模式進行分類實驗時,首先對向量的模式進行編碼,即網(wǎng)絡(luò)的輸出分別用一組二進制代碼來表示對應(yīng)向量的模式,本文分別用(0 0 0 0 1)表示第1 類模式;(0 0 0 1 0)表示第2 類模式;(0 0 1 0 0)表示第3 類模式;(0 1 0 0 0)表示第4 類模式;(1 0 0 0 0)表示第5 類模式。本文選用高斯函數(shù)作為RBFNN 隱含層神經(jīng)元的徑向基函數(shù);RBFNN 的中心在輸入樣本中隨機選取,參數(shù)C 由相鄰樣本數(shù)據(jù)的最大距離確定,經(jīng)過反復(fù)實驗,最終確定當C=0.035 時,網(wǎng)絡(luò)分類性能最好。對于標準BPNN而言,可以確定網(wǎng)絡(luò)輸入層為30 個神經(jīng)元,輸出層有5 個神經(jīng)元;訓練函數(shù)采用traingd;隱含層神經(jīng)元數(shù)為25 時,可以滿足分類要求,學習率為0.1;最大訓練次數(shù)設(shè)為30000;目標精度設(shè)為0.001。
圖1 樣本向量與測試向量分布
在目標精度設(shè)置為0.001、訓練樣本數(shù)目相等的條件下,標準BPNN 分類模型需要23507 步才能達到目標精度,均方誤差為0.000999971,勉強達到目標精度要求;RBFNN分類模型只需要28 步就可以達到目標精度,均方誤差僅為0.000515480,遠遠高于目標精度要求??梢缘贸鼋Y(jié)論,對于訓練樣本集而言,只要訓練步數(shù)設(shè)置足夠大,2 種分類模型都能在預(yù)設(shè)的訓練步數(shù)范圍內(nèi)完成對訓練樣本的模式分類任務(wù),但相比之下,RBFNN 的收斂時間明顯比標準BPNN 少,均方誤差也遠小于標準BPNN,即RBFNN 分類模型對于訓練樣本分類的準確性和分類精度更高,收斂速度更快。
利用2 種分類模型對5 個不同類別向量作為測試向量進行分類。如圖1 所示,(5.18,6.00) 屬于第1 類,(5.14,5.69) 屬于第2 類,(5.37,5.75) 屬于第3 類,(5.56,5.96) 屬于第4 類,(5.36,6.02)屬于第5 類。RBFNN 和標準BPNN 對測試樣本的分類結(jié)果如表1 所示,可以看出,標準BPNN 分類模型的最大絕對誤差為-0.3427,RBFNN 分類模型的最大絕對誤差僅為-0.0968??梢缘贸鼋Y(jié)論,對于測試樣本集而言,RBFNN的分類結(jié)果更為精確,分類性能更優(yōu);標準BPNN 的分類結(jié)果誤差較大,分類性能較差。
本文分別構(gòu)建了RBFNN 與標準BPNN 分類模型,并對輸入的二維向量模式進行分類實驗。仿真結(jié)果表明:只要訓練步數(shù)設(shè)置足夠大,RBFNN 和標準BPNN 都能對訓練樣本和測試樣本實現(xiàn)正確分類,但標準BPNN 訓練時間較長,并且要經(jīng)過多次訓練才能得到較好結(jié)果,而RBFNN 訓練時間很短,分類精度也明顯高于標準BPNN, 分類性能明顯優(yōu)于標準BPNN。
表1 RBFNN 和標準BPNN 對測試樣本的分類結(jié)果對比
[1] 余妹蘭,匡芳君.BP 神經(jīng)網(wǎng)絡(luò)學習算法的改進及應(yīng)用[J]. 沈陽農(nóng)業(yè)大學學報,2011,42 (3) :382-384.
[2] 丁碩,巫慶輝.基于改進BP 神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近性能對比研究[J].計算機與現(xiàn)代化, 2012,(11):10-13
[3] 丁碩,常曉恒,巫慶輝.基于Gaussian 型RBF 神經(jīng)網(wǎng)絡(luò)的一元函數(shù)逼近性能研究[J].渤海大學學報(自然科學版), 2013,34(3):300-304
[4] 劉永,張立毅.BP 和RBF 神經(jīng)網(wǎng)絡(luò)的實現(xiàn)及其性能比較[J]. 電子測量技術(shù),2007,30(4):77-80
[5] DING Shuo,CHANG Xiao-heng,WU Qing-hui.Fault Diagnosis of Induction Motors Based on RBF Neural Network [J].Applied Mechanics and Materials,2014. (462-463):85-88
[6] 劉天舒.BP 神經(jīng)網(wǎng)絡(luò)的改進研究及應(yīng)用[D].哈爾濱:東北林業(yè)大學, 2011.