張艷霞，陳丹琪，韓瑩，劉道華

(1.防災(zāi)科技學(xué)院 災(zāi)害信息工程系,北京 101601； 2. 信陽(yáng)師范學(xué)院 計(jì)算機(jī)與信息技術(shù)學(xué)院，河南 信陽(yáng) 464000)

1 徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

標(biāo)準(zhǔn)的徑向基神經(jīng)網(wǎng)絡(luò)模型有3層結(jié)構(gòu)組成，分別為輸入層、隱層和輸出層，輸入層神經(jīng)元的個(gè)數(shù)同輸入樣本點(diǎn)維數(shù)相同，即輸入層對(duì)應(yīng)著N維輸入矢量x=[x1x2…xN]，隱層由K個(gè)神經(jīng)元組成，其與輸入層神經(jīng)元全相連，其是通過(guò)隱層的激活函數(shù)將線性輸入空間映射到非線性隱層空間，每一個(gè)隱層神經(jīng)元的激活函數(shù)有高斯型函數(shù)、多二次型函數(shù)、逆多二次型函數(shù)、薄板樣條函數(shù)組成，常取高斯型基函數(shù)[9-12]。

(1)

(2)

式中:h=[h1h2…h(huán)K]為隱層的輸出矢量，wij為隱層的第j個(gè)神經(jīng)元與輸出層的第i個(gè)神經(jīng)元的連接權(quán)。

2 變基寬靈敏度分析的RBF代理模型

2.1 變基寬的靈敏度分析

(3)

(4)

式中：N是輸入樣本x的維數(shù)，K是隱層神經(jīng)元基寬數(shù)，也是隱層神經(jīng)元個(gè)數(shù)。

基于文獻(xiàn)[14]提出的計(jì)算靈敏度方法，對(duì)于第i個(gè)神經(jīng)元在擾動(dòng)Δx下產(chǎn)生的偏差Si被定義為

(5)

故采用這種擾動(dòng)遞歸計(jì)算方法，在第K次遞歸過(guò)程中，假設(shè)徑向基隱層神經(jīng)元的第K-1個(gè)基寬已經(jīng)被確定，即σi將被確定，因此對(duì)于第j個(gè)輸出神經(jīng)元的靈敏度被定義為E[(Δyj)2]，即

(6)

式(6)經(jīng)展開(kāi)得

(7)

2.2 基寬靈敏度分析的RBF模型關(guān)鍵參數(shù)的獲取

由于靈敏度分析能確定徑向基關(guān)鍵參數(shù)的微小變化對(duì)整個(gè)徑向基構(gòu)成的影響，但這種分析不能確定RBF模型的具體參數(shù)值，故采用靈敏度分析過(guò)程中的矩陣信息并應(yīng)用正交分解方法確定RBF的各具體參數(shù)。假設(shè)Y=[y1y2…yL]T，L為訓(xùn)練樣本數(shù)，yi(i=1,2,…,L)表示第i個(gè)輸出神經(jīng)元，依據(jù)式(2)有

Y=HW=(QA)W

(8)

式中：Y、H、W分別為L(zhǎng)×M、L×L、L×M維矩陣，徑向基各個(gè)隱層神經(jīng)元基寬的確定可通過(guò)矩陣H的關(guān)鍵列分解得到，而H能被分解為QA，其中矩陣Q為L(zhǎng)×L維陣并具有正交列[q1q2…qL]，A是一個(gè)L×L維上三角陣，具體的H、A陣表示為

在H陣分解過(guò)程中，只有一個(gè)列能被正交化，且在第K次分解時(shí)，一個(gè)正交列能夠被先前第K-1次正交列得到，具體的相關(guān)分解式為

(9)

通過(guò)式(9)計(jì)算矩陣H的各次迭代的正交列，并能通過(guò)RBF靈敏度分析對(duì)各正交列進(jìn)行排序。

假設(shè)S(K)(σi)表示為在第K次迭代過(guò)程中前K-1個(gè)RBF寬度與該σi相關(guān)的qi值，且1≤i≤L。并將式(3)以及式(7)中的相關(guān)連接權(quán)用式(10)代替。

(10)

然后計(jì)算徑向基神經(jīng)網(wǎng)絡(luò)K個(gè)隱層各個(gè)徑向基基寬的靈敏度值，并設(shè)Q(K)為第K次迭代的正交矩陣的值，而Q(K)被排序?yàn)?/p>

‖S(K)(c1)‖≥‖S(K)(c2)‖≥…‖S(K)(cL)‖

(11)

對(duì)采用RBF靈敏度分析獲得各個(gè)基寬的排序值，最終獲得RBF的關(guān)鍵基寬，從而獲得RBF整個(gè)結(jié)構(gòu)的參數(shù)值。

2.3 基寬靈敏度分析的RBF代理模型構(gòu)建算法

通過(guò)靈敏度分析及正交變換陣即可獲得徑向基基寬，即具體代理模型的結(jié)構(gòu)參數(shù)，具體算法描述為：

1)通過(guò)L個(gè)訓(xùn)練樣本數(shù)據(jù)點(diǎn)信息構(gòu)建3層RBF網(wǎng)絡(luò)初始結(jié)構(gòu)，并對(duì)該網(wǎng)絡(luò)結(jié)構(gòu)的所有參數(shù)進(jìn)行初始化，包括構(gòu)建矩陣H、K個(gè)隱層節(jié)點(diǎn)、每個(gè)隱層徑向基函數(shù)中心、基寬以及隱層與輸出層的所有連接權(quán)wij的初始化。

2)依據(jù)靈敏度分析式(7)計(jì)算H中的每一列值，并將該列最大靈敏度值賦給Q(1)，然后計(jì)算該訓(xùn)練樣本的輸出值與樣本的期望值的差值E(1)，此時(shí)設(shè)置K=2。

3)依據(jù)式(9)計(jì)算正交陣H中的剩余Q(K-1)列。

5)判斷E(K)-E(K-1)≤δ,δ為事先設(shè)定的常數(shù)值，如果該式成立，則轉(zhuǎn)7)；否則轉(zhuǎn)6)。

6)計(jì)數(shù)器K=K+1，并轉(zhuǎn)3)。

7) 輸出矩陣Q(K)中的第K列值，即為該徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的所有隱層神經(jīng)元的高斯基基寬。

3 實(shí)例測(cè)試

(12)

式中：fe(x(i))、f(x(i))分別為模型的真實(shí)值、代理模型獲得的輸出值。

F1:f(x,y)=

100≤x,y≤100

F2:f(x,y)=

-3≤x≤3,-2≤y≤2

在實(shí)驗(yàn)過(guò)程中，采用Intel(R) Core(TM) i3-2120, 3.30GHz CPU，并在MATLAB7.0編程環(huán)境下實(shí)驗(yàn)，且參數(shù)δ=0.45。表1、2為試驗(yàn)對(duì)比結(jié)果。

表1 訓(xùn)練時(shí)間對(duì)比

表2 標(biāo)準(zhǔn)差對(duì)比

由表1、表2中可知，在相同的訓(xùn)練樣本點(diǎn)數(shù)時(shí)，采用本文方法所需要的訓(xùn)練時(shí)間都比采用固定基寬方法需要的時(shí)間長(zhǎng)，這主要是由于采用該方法時(shí)，各個(gè)隱層徑向基基寬在每一次訓(xùn)練過(guò)程中均需要進(jìn)行靈敏度分析，且需要正交矩陣相關(guān)列的計(jì)算以及連接權(quán)值的調(diào)整，但從獲得的代理模型精度上來(lái)看，不管采用樣本數(shù)多少，本文所提方法獲得模型的標(biāo)準(zhǔn)差均遠(yuǎn)小于采用固定基寬方法，前者精度比后者精度高一個(gè)數(shù)量級(jí)。從樣本點(diǎn)數(shù)多少來(lái)對(duì)比模型的精度，樣本點(diǎn)數(shù)足夠大并不能提高模型精度，也就是訓(xùn)練樣本點(diǎn)取合適足夠數(shù)即可，無(wú)需采集大樣本數(shù)據(jù)進(jìn)行徑向基網(wǎng)絡(luò)的訓(xùn)練，該結(jié)果也可從2種模型的對(duì)比圖(如圖1～6所示)反映出，其中圖1、2和3分別為函數(shù)F1在樣本點(diǎn)R為80、200、500情況下獲得的模型圖，圖4、5和6分別為函數(shù)F2在樣本點(diǎn)R為80、200、500情況下獲得的模型圖。

圖1 測(cè)試函數(shù)F1在數(shù)據(jù)樣本點(diǎn)為80時(shí)獲得的模型Fig.1 The obtained model for the testing function F1(R=80)

圖2 測(cè)試函數(shù)F1在數(shù)據(jù)樣本點(diǎn)為200時(shí)獲得的模型Fig.2 The obtained model for the testing function F1(R=200)

圖3 測(cè)試函數(shù)F1在數(shù)據(jù)樣本點(diǎn)為500時(shí)獲得的模型 圖4 測(cè)試函數(shù)F2在數(shù)據(jù)樣本點(diǎn)為80時(shí)獲得的模型Fig.3 The obtained model for the testing function F1(R=500) Fig.4 The obtained model for the testing function F2(R=80)

圖5 測(cè)試函數(shù)F2在數(shù)據(jù)樣本點(diǎn)為200時(shí)獲得的模型 圖6 測(cè)試函數(shù)F2在數(shù)據(jù)樣本點(diǎn)為500時(shí)獲得的模型Fig.5 The obtained model for the testing function F2(R=200) Fig.6 The obtained model for the testing function F2(R=500)

4 結(jié)束語(yǔ)

合適的徑向基基寬能提高代理模型的近似精度，本文通過(guò)對(duì)徑向基基寬的靈敏度分析，并對(duì)正交矩陣的最大列求解，從而獲得隱層各神經(jīng)元的高斯徑向基基寬，最終獲得徑向基神經(jīng)網(wǎng)絡(luò)代理模型結(jié)構(gòu)。采用具體的兩測(cè)試函數(shù)進(jìn)行驗(yàn)證，證實(shí)了這種基寬靈敏度分析的徑向基代理模型比采用傳統(tǒng)的固定基寬的代理模型具有更高的模型近似精度。同時(shí)在實(shí)驗(yàn)過(guò)程中，也獲得采用該方法在構(gòu)建穩(wěn)定的代理模型時(shí)并不需要太多的訓(xùn)練樣本點(diǎn)。為提高代理模型的近似精度，該文只是采用對(duì)基寬的靈敏度分析，在以后的工作中有待進(jìn)一步驗(yàn)證，在基寬靈敏度分析的基礎(chǔ)上，同時(shí)進(jìn)行中心靈敏度分析，這樣也許能更進(jìn)一步提高代理模型的精度。

參考文獻(xiàn):

[1]MANOLIS W, NICOLAS T, STEFANOS K. Intelligent initialization of resource allocating RBF networks[J]. Neural Networks, 2005(18): 117-122.

[2]WEI Z, KATIE S, NAN S. Genomic signatures characterize leukocyte infiltration in myositis muscles[J]. BMC Medical Genomics, 2012(5): 1-53.

[3]FRANCESCO P, MASSIMILIANO R, SIMONE R. Numerical and experimental characterization of a novel modular passive micromixer[J]. Biomedical Microdevices, 2012, 14(5): 849-862.

[4]張健，李為吉.飛機(jī)多學(xué)科設(shè)計(jì)優(yōu)化中的近似方法分析[J]. 航空計(jì)算技術(shù), 2005, 35(3): 5-8.

ZHANG Jian, LI Weiji. Approximation methods analysis in multidisciplinary design optimization[J]. Aeronautical Computer Technique, 2005, 35(3): 5-8.

[5]趙磊，賈振紅，覃錫忠，等. 基于k均值和量子遺傳算法的RBF網(wǎng)絡(luò)優(yōu)化[J]. 計(jì)算機(jī)工程, 2011, 37(10): 152-153

ZHAO Lei, JIA Zhenhong, QIN Xizhong, et al. RBF network optimization based on k-means and quantum genetic algorithm[J]. Computer Engineering, 2011, 37(10): 152-153.

[6]李樂(lè)慶，康寶生. 基于RBF的散亂點(diǎn)曲面重構(gòu)[J].西北大學(xué)學(xué)報(bào), 2011, 41(2): 221-225.

LI Leqing, KANG Baosheng. RBF-based surface reconstruction from scattered data[J]. Journal of Northwest University, 2011, 41(2): 221-225.

[7]MARINARO M, SCARPETTA S. On-line learning in RBF neural networks:a stochastic approach[J]. Neural Networks, 2000(13): 719-729.

[8]張占南. 基于RBF神經(jīng)網(wǎng)絡(luò)的γ能譜分析[D]. 大連： 遼寧師范大學(xué)， 2011: 43-58.

ZHANG Zhannan. The analysis ofγspectrum by RBF network[D]. Dalian：Liaoning Normal University, 2011: 43-58.

[9]DAVID C, CHEN X W. Radial basis function neural networks for nonlinear fisher discrimination and neyman-pearson classification[J]. Neural Networks, 2003(16): 529-535.

[10]NAM M D, THANH T C. Numerical solution of differential equations using multiquadric radial basis function networks[J]. Neural Networks, 2001(14): 185-199.

[11]劉道華,張禮濤.基于正交最小二乘法的徑向基神經(jīng)網(wǎng)絡(luò)模型[J].信陽(yáng)師范學(xué)院學(xué)報(bào), 2013, 26(3): 428-431.

LIU Daohua,ZHANG Litao. Radial basis function neural network model based on orthogonal least squares[J]. Journal of Xinyang Normal University, 2013, 26(3): 428-431.

[12]KON M A, PLASKOTA L. Information complexity of neural networks[J]. Neural Networks, 2000(13): 365-375.

[13]SHI D, YEUNG D S, GAO J. Sensitivity analysis applied to the construction of radial basis function networks[J]. Neural Networks, 2005(18): 951-957.

[14]ZENG X, YEUNG D S. A quantified sensitivity measure for multilayer perceptron to input perturbation[J]. Neural Computation, 2003(15):183-212.