金丹丹, 聞輝
( 1.莆田學院 護理學院,福建 莆田 351100;2.莆田學院 信息工程學院,福建 莆田 351100 )
目前,神經(jīng)網(wǎng)絡已經(jīng)被廣泛應用于醫(yī)學診斷過程中,其中反向傳播(BP)神經(jīng)網(wǎng)絡和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡是醫(yī)學診斷過程中最為常用的兩種網(wǎng)絡模型.BP神經(jīng)網(wǎng)絡的隱節(jié)點核函數(shù)一般采用統(tǒng)一的sigmoid核對輸入樣本進行映射,該方法雖然具有良好的泛化性能,但存在收斂速度慢和容易陷入局部最小的缺點.目前優(yōu)化BP神經(jīng)網(wǎng)絡的方法主要有基于全局優(yōu)化的初始化權值[1]、自適應調(diào)整學習速率[2]、增加動量項[3]、修正誤差代價函數(shù)[4]以及動態(tài)調(diào)整網(wǎng)絡結構[5]等,這些方法雖然在一定程度上改善了BP神經(jīng)網(wǎng)絡的不足,但對于較復雜的非線性問題其效果仍十分有限.RBF網(wǎng)絡隱節(jié)點核函數(shù)一般采用高斯核對輸入樣本進行映射,具有良好的局部響應特性.RBF網(wǎng)絡的優(yōu)化過程主要包括隱層核參數(shù)的優(yōu)化以及線性輸出權值的優(yōu)化,其實現(xiàn)過程可以分為兩個階段:一是先將原始樣本通過隱層高斯核的映射,以此改善樣本的可分性;二是通過優(yōu)化線性超平面來完成模式分類.目前優(yōu)化RBF神經(jīng)網(wǎng)絡典型的方法有k-均值聚類[6]、模糊c均值聚類[7-8]、敏感度分析[9]、勢函數(shù)優(yōu)化[10]等,但這些方法在優(yōu)化復雜的非線性問題時,往往會加大RBF網(wǎng)絡線性輸出權值優(yōu)化的負擔,進而影響網(wǎng)絡的性能.為此,本文針對醫(yī)學診斷數(shù)據(jù)集的特點(樣本量少、特征復雜),提出了一種將RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡相融合的HRBF-BP算法,并利用UCI機器學習數(shù)據(jù)庫[11]中的3個基準醫(yī)學診斷數(shù)據(jù)集(Heart Disease、Diabetes、Breast Cancer)驗證了本文算法的有效性.
HRBF-BP模型的構建原理為:首先將原始樣本輸入到RBF隱層中不同參數(shù)下高斯核函數(shù)的映射中,以此提取原始樣本在不同空間區(qū)域中的局部特征,從而形成新的特征向量;然后利用RBF隱層所級聯(lián)的BP網(wǎng)絡來完成特征空間中樣本的有效分類.相對于BP網(wǎng)絡,HRBF-BP改善了輸入樣本的可分性,因此可以加快網(wǎng)絡的權值收斂速度,減少陷入局部最小的風險;相對于RBF網(wǎng)絡,HRBF-BP將原有連接RBF網(wǎng)絡隱層與輸出層的線性權值連接更改為非線性的BP網(wǎng)絡,因此其對復雜問題具有更強的適應能力.因此,HRBF-BP可以將RBF網(wǎng)絡隱節(jié)點處的局部非線性映射能力與BP網(wǎng)絡的全局非線性分類能力有效地結合起來,從而有效改善單一結構RBF神經(jīng)網(wǎng)絡及BP神經(jīng)網(wǎng)絡的不足.
圖1 HRBF-BP網(wǎng)絡模型圖
圖1為本文所構建的HRBF-BP神經(jīng)網(wǎng)絡模型.該模型由輸入層、RBF隱藏層、BP隱藏層以及輸出層4個部分組成,其中RBF隱藏層由一組不同參數(shù)的高斯核函數(shù)組成.設RBF隱藏層中高斯核的個數(shù)為K,當輸入的樣本為x時,通過隱藏層的高斯核的映射可表示為:
j=1,2,…,K.
(1)
gj(x)=2·φj(x)-1.
(2)
在HRBF-BP網(wǎng)絡中,BP隱藏層由RBF隱層到RBF輸出層之間的各層節(jié)點組成.由于BP隱藏層的sigmoid函數(shù)為雙曲正切函數(shù),因此第l個BP隱藏層中的節(jié)點j的輸出信號可表示為:
(3)
其中a和b為常數(shù).
圖2 HRBF-BP網(wǎng)絡學習算法
HRBF-BP網(wǎng)絡算法的實現(xiàn)分為兩個階段:一是優(yōu)化RBF網(wǎng)絡隱節(jié)點處各高斯核的參數(shù),二是優(yōu)化BP網(wǎng)絡中各層的權值.圖2為HRBF-BP網(wǎng)絡算法的具體實現(xiàn)過程.圖2中,BP網(wǎng)絡的整體均方誤差的計算公式為:
其中dj為HRBF-BP網(wǎng)絡的目標輸出,oj為網(wǎng)絡的實際輸出,c為輸出節(jié)點的個數(shù).
BP網(wǎng)絡的反向計算即為局域梯度的更新過程,可表示為:
BP網(wǎng)絡中第l層權值的更新過程為
其中m為迭代步長,η為學習率.
為了驗證本文算法的性能,利用UCI機器學習數(shù)據(jù)庫中的3個不同的醫(yī)學數(shù)據(jù)(見表1)對本文算法、SGBP算法、KMRBF算法、PFRBF算法的性能進行實驗對比.實驗中:各數(shù)據(jù)樣本全部歸一化到[-1,1];RBF隱藏層中的核個數(shù)根據(jù)樣本空間的分布進行調(diào)整(手動);分別設定BP隱層的層數(shù)為1層和2層,隱藏層節(jié)點的個數(shù)設置為2~9,網(wǎng)絡學習率η采用模擬退火算法進行迭代調(diào)整,sigmoid核參數(shù)取a=1.716,b=0.667.實驗運行環(huán)境為Intel(R) Core(TM) i5-7500,3.4 GHZ CPU,8 G RAM,MATLAB 2013,每個實驗重復10次.
表1 不同分類數(shù)據(jù)集的信息
表1中,HD數(shù)據(jù)集用于診斷303個患者是否患有心臟病.Diabetes數(shù)據(jù)集用于診斷患者是否患有糖尿病,BC數(shù)據(jù)集用于診斷患者是否患有乳腺癌.
在基準醫(yī)學數(shù)據(jù)集下,本文算法與其他算法的性能對比結果見表2—表4.由表2—表4可以看出:本文算法在學習過程中雖然比KMRBF和PFRBF算法略增加了一些訓練時間,但其訓練精度和測試精度均優(yōu)于其他算法,這表明本文算法對訓練樣本空間具有更好的學習效果.另外,由表2—表4還可以看出,在本文算法中2個BP隱藏層數(shù)所需的訓練時間明顯少于1個BP隱藏層數(shù)所需的訓練時間,且訓練精度和測試精度也得到進一步提高.
表2 HD醫(yī)學數(shù)據(jù)集下不同算法的性能
表3 Diabetes醫(yī)學數(shù)據(jù)集下不同算法的性能
表4 BC醫(yī)學數(shù)據(jù)集下不同算法的性能
圖3 RBF隱藏層節(jié)點個數(shù)變化時HRBF-BP與KMRBF算法的分類性能
以Diabetes醫(yī)學數(shù)據(jù)集為例進行參數(shù)分析.首先固定BP隱藏層層數(shù)和BP隱層節(jié)點個數(shù),然后通過調(diào)節(jié)RBF隱層節(jié)點個數(shù)來對比HRBF-BP網(wǎng)絡和KMRBF算法的性能,結果如圖3所示.由圖3可以看出,當RBF隱層節(jié)點個數(shù)為16~30,RBF隱層節(jié)點個數(shù)為14~30時,其所對應的KMRBF算法和HRBF-BP算法的網(wǎng)絡分類精度雖均可維持在一個穩(wěn)定的精度范圍內(nèi),但HRBF-BP的網(wǎng)絡分類精度顯著優(yōu)于KMRBF算法.該結果進一步表明,HRBF-BP網(wǎng)絡比KMRBF算法具有更好的學習能力.
在Diabetes醫(yī)學數(shù)據(jù)集中,不同的RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù)對HRBF-BP算法性能的影響見表5.由表5可以看出,HRBF-BP算法的訓練精度和測試精度相對較為穩(wěn)定,且均優(yōu)于KMRBF算法.這表明,HRBF-BP算法能夠有效降低對參數(shù)(RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù))選擇的依賴.
表5 不同參數(shù)下HRBF-BP算法的性能
研究表明,本文提出的HRBF-BP算法可將RBF網(wǎng)絡穩(wěn)定性好與BP網(wǎng)絡泛化能力強的優(yōu)點融合在一起,且其訓練精度和分類精度均優(yōu)于SGBP、KMRBF、PFRBF算法;因此,本文算法可有效改善單一RBF網(wǎng)絡及BP網(wǎng)絡的分類性能和提高網(wǎng)絡學習的性能.在研究中,本文的訓練樣本采用的是批學習方式,未能考慮序列樣本的學習方式,因此在今后的研究中我們將引入基于序列樣本的HRBF-BP算法,以完善本文算法.