盛國敏，莊 健

(安徽工業(yè)大學商學院，安徽馬鞍山243032)

基于廣義逆矩陣的多層徑向基函數(shù)網(wǎng)絡遺傳算法

盛國敏，莊 健

(安徽工業(yè)大學商學院，安徽馬鞍山243032)

為了解決以往正則最小二乘法求權重向量時遇到的矩陣接近奇異而無法求逆的問題，采用廣義逆矩陣的方法求多層徑向基函數(shù)網(wǎng)絡中各層的權重向量，并將這種方法引至多層徑向基函數(shù)網(wǎng)絡的遺傳算法中。采用實函數(shù)逼近，混沌時間序列建模與預測等仿真實驗對算法進行驗證。結果表明，采用廣義逆矩陣的方法要比正則最小二乘法在逼近精度上高1至2個數(shù)量級。

多層徑向基函數(shù)網(wǎng)絡；遺傳算法；廣義逆矩陣；實函數(shù)逼近；混沌時間序列

聚類算法經(jīng)歷了從單層徑向基函數(shù)網(wǎng)絡[1]向多層徑向基函數(shù)（RBF）網(wǎng)絡[2]，并由最初的采用多層徑向基函數(shù)網(wǎng)絡的聚類法[2-4]發(fā)展到了采用多層徑向基函數(shù)網(wǎng)絡的遺傳算法[5]，進一步發(fā)展為復合多層RBF網(wǎng)絡[6]的發(fā)展歷程，仿真實驗表明，多層RBF網(wǎng)絡逼近實函數(shù)的能力很強，將其用于混沌時間序列[7]的建模與預測中，可取得良好的效果，將其用于偏微分方程的無網(wǎng)格法[8-9]和求解期權定價值[10-12]可獲得高精度的數(shù)值解。然而，多層RBF網(wǎng)絡的諸算法均存在數(shù)值計算問題，即逆矩陣的計算遇到矩陣接近奇異而難以求逆的問題。這使得網(wǎng)絡的學習速度變慢，權向量誤差大，逼近實數(shù)精度的提高受到限制。為解決問題，本文嘗試使用廣義逆矩陣[13]代替普通逆矩陣求最小二乘解，并將其引入多層RBF網(wǎng)絡的遺傳算法。

1 多層徑向基函數(shù)網(wǎng)絡原理

單層RBF網(wǎng)絡學習速度快，具有一定的實函數(shù)逼近能力，但是其擬合函數(shù)的精度有限。多層RBF網(wǎng)絡的提出進一步提高RBF網(wǎng)絡的實函數(shù)逼近能力,基本思想：用第2層RBF網(wǎng)絡去擬合第1層網(wǎng)絡的擬合殘差函數(shù)，然后再用第3層網(wǎng)絡RBF網(wǎng)絡去擬合第2層網(wǎng)絡的擬合殘差函數(shù)，如此進行下去，后一層網(wǎng)絡擬合前一層的擬合誤差，就得到一個高精度的多層徑向函數(shù)網(wǎng)絡。

設第1層RBF網(wǎng)絡為

取最小值，式中w1為權重的向量表達形式。記

這是第1層網(wǎng)絡在xi處的輸出值與期望值yi的擬合殘差。第2層RBF網(wǎng)絡為

式中各參數(shù)的含義和第1層類同。核函數(shù)中心和寬度系數(shù)的取值也使第2層的廣義交叉率G最小，權重則使

最小，其中w2為權重的向量表達形式。于是可得一個更精確的模型

如此進行下去，用后一層徑向基函數(shù)網(wǎng)絡去擬合前一層網(wǎng)絡的擬合殘差，便得到一個多層RBF網(wǎng)絡

根據(jù)適當?shù)呐袆e準則，可以決定增加到幾層最為適合。

2 多層徑向基函數(shù)網(wǎng)絡的遺傳算法

采用自適應遺傳算法訓練多層RBF網(wǎng)絡，具體如下。

1)對RBF網(wǎng)絡的進行遺傳編碼 采用實數(shù)編碼的方法，設第k層網(wǎng)絡核函數(shù)的個數(shù)為nk,每個核函數(shù)的輸入維數(shù)為m。此時，每個個體用(m+1)×nk維的向量來表示，向量的前m×nk個分量表示RBF網(wǎng)絡的中心，后nk個分量表示中心所對應的寬度系數(shù)。

2)選取適應度函數(shù) 為了既能得到最大限度的高逼近精度，又不出現(xiàn)過擬合現(xiàn)象，每個個體的適應度函數(shù)可以選取為RBF網(wǎng)絡的廣義交叉率的倒數(shù)，即對第i個個體，其適應度為

3)選擇操作 首先根據(jù)每一代種群的個體的適應度的大小，得到最優(yōu)個體和最劣個體，用最優(yōu)個體替換最劣個體，直接復制給下一代，不參加交叉和變異的過程。剩下的種群個體通過賭輪盤法進行篩選，然后進行交叉和變異操作。

4)交叉和變異 記交叉概率為pc，變異概率pm，其自適應計算方法如下：

其中：a=0.9；b=0.1，c=0.6，d=0.001；fmax表示群體中最大適應度值；favg表示每一代群體的平均適應度值；f′表示要交叉的兩個個體中較大的適應度值；f表示要變異個體的適應度值。

5)權重的計算 采用正則最小二乘法，

這里，λ為求權重時的正則最小二乘法的參數(shù)。當λ=0時，w即為普通最小二乘解。對第1層網(wǎng)絡對第i層網(wǎng)絡對第k層網(wǎng)絡

6)RBF網(wǎng)絡層數(shù)的確定 設第m層的廣義交叉率為第m+1層則為如果

則停止加層，網(wǎng)絡層數(shù)為m。

3 廣義逆矩陣法在多層徑向基函數(shù)網(wǎng)絡遺傳算法中應用

在大多數(shù)情況下，由于式(12)中BTB接近奇異，使得計算逆矩陣很困難，勉強得到的數(shù)值解精度很差，從而使整個網(wǎng)絡的精度大大下降，為解決這一問題，采用廣義逆矩陣求最小二乘法[8]。設A為m×n類數(shù)矩陣，A的廣義逆矩陣[9]X滿足下面4個條件，即，

X常記為A+。于是，線性模型

的最小二乘估計β^為

將式(20)用于RBF網(wǎng)絡，并采用最小二乘法，得到

這里B由式(13)給出，再給出本文使用的廣義逆矩陣的一個迭代算法，取初始值

其中λ1(ATA)為ATA的最大特征值，迭代公式

4 仿真實驗

遺傳算法的參數(shù)為：進化的代數(shù)為100，種群的規(guī)模為200，學習參數(shù)為a=0.9,b=0.1,c=0.6,d=0.001。根據(jù)G決定層數(shù)確定層數(shù)，控制參數(shù)為0.05。

4.1 實驗一

考慮函數(shù)

隨機生成400個在(0,1)上服從均勻分布的樣本。200個樣本用于訓練，其余200個用于檢驗。網(wǎng)絡構造為：第1層RBF網(wǎng)絡取10個徑向基函數(shù)，第2層取20個，第3層以后取30個。

表1給出了預測結果以及采用基于正則最小二乘法的遺傳算法訓練得到的網(wǎng)絡的學習誤差和預測誤差。由表1可見基于廣義逆矩陣的遺傳算法的精度要比基于正則最小二乘法的遺傳算法高約1個數(shù)量級。

表1 多層RBF網(wǎng)絡的訓練與預測結果Tab.1 Training and prediction results of multilayer RBF network

4.2 實驗二

考慮函數(shù)

生成3 200個服從在(0,1)上均勻分布的樣本，其中1 600個作為訓練用樣本，其余1 600個用于檢驗。網(wǎng)絡構造為：第1層RBF網(wǎng)絡取40個徑向基函數(shù)，第2層以后取80個。

表2給出了預測結果以及采用基于正則最小二乘法遺傳算法訓練得到的網(wǎng)絡學習誤差和預測誤差。由表2可見基于廣義逆矩陣的遺傳算法精度要比基于正則最小二乘法的遺傳算法高約2個數(shù)量級。

表2 多層RBF網(wǎng)絡的訓練與預測結果Tab.2 Training and prediction results of multilayer RBF network

4.2 實驗三

考慮Logistic模型

其中R是參數(shù)，取R=3.7。取初始值x0=0.27。共產(chǎn)生700個時間序列樣本，前600個用于學習，后100個用于檢驗預測效果。前700個中，前650個用于學習，后50個用于計算可預測步長。網(wǎng)絡構造為：第1層RBF網(wǎng)絡取80個徑向基函數(shù)，第2層以后取120個，嵌入維數(shù)取p=7。

表3給出了一步預測結果以及采用基于正則最小二乘法遺傳算法訓練而得到的網(wǎng)絡學習誤差和一步預測誤差。由表3可見基于廣義逆矩陣的遺傳算法精度要比基于正則最小二乘法的遺傳算法高約1個數(shù)量級。

表3 多層RBF網(wǎng)絡的訓練和一步預測結果Tab.3 Training and one step prediction results of multilayer RBF network

表4給出了多步預測的可預測步長和預測精度以及基于正則最小二乘法遺傳算法訓練而得到的網(wǎng)絡可預測步長和預測精度?？梢娫谕瑯拥恼`差容許范圍內(nèi),基于廣義逆矩陣的遺傳算法的可預測步長要比基于正則最小二乘法的遺傳算法長許多。

表4 多層RBF網(wǎng)絡的多步預測結果Tab.4 Multi-step prediction results of multilayer RBF network

4.4 實驗四

考慮Mackey_Glass混沌時間序列，它由如下Mackey Glass方程所產(chǎn)生

τ為時滯參數(shù)。這里取a=0.2,b=0.1,c=10,τ=30,x0=1.2。產(chǎn)生800個時間序列的樣本，前700個作為學習用樣本，后100個作為預測用樣本。

在Mackey Glass方程中有一個線性項，由于高斯函數(shù)為峰狀函數(shù)，因此RBF網(wǎng)絡在擬合線性項的時候精度不高，如果僅僅使用高斯函數(shù)，模型的逼近精度不高，預測效果不好。為此在第1層網(wǎng)絡中加上了線性項，其具體形式為

網(wǎng)絡構造為第1層RBF網(wǎng)絡取80個徑向基函數(shù)，第2層以后取120個，嵌入維數(shù)取p=6。學習用樣本的前650個用于訓練，后50個用于計算可預測步長。

表5給出了一步預測結果及采用基于正則最小二乘法遺傳算法訓練而得到的網(wǎng)絡學習精度和一步預測精度。由表5可見基于廣義逆矩陣遺傳算法的精度要比基于正則最小二乘法遺傳算法高約1到2個數(shù)量級。

表5 多層RBF網(wǎng)絡的訓練和一步預測結果Tab.5 Training and one step prediction results of multilayer RBF network

表6給出了多步預測的可預測步長和預測精度，以及由基于正則最小二乘法遺傳算法訓練而得到的網(wǎng)絡可預測步長和預測精度?？梢娫谕瑯拥恼`差容許范圍內(nèi),基于廣義逆矩陣的遺傳算法的可預測步長要比基于正則最小二乘法的遺傳算法長許多。

表6 多層RBF網(wǎng)絡的多步預測結果Tab.6 Multi-step prediction results of multilayer RBF network

5 結 論

用廣義逆矩陣計算多層RBF網(wǎng)絡的每層權連接，仿真實驗表明，采用廣義逆矩陣遺傳算法得到的權重其精度大大提高,網(wǎng)絡的后一層能更好地擬合前一層的擬合誤差,整個網(wǎng)絡的實函數(shù)逼近能力就這樣大大提高。將這個方法用于混沌時間序列的建模與預測得到了良好的效果。

[1]MOODYJ,DARKEN C.Fast learning in networks of locally-tuned processing units[J].Neural Computation,1989,1(2):281-294.

[2]ZHANG J,JIANG H F,WU R L.Multi layer RBF network for real functions approximation and nonlinear regression[C/CD]// Scientific Research Publishing.Proceedings of 2011 International Symposium on Statistics&Management Science.Chongqing: Scientific Research Publishing,2011.

[3]吳瑞柳.多層徑向基函數(shù)網(wǎng)絡的聚類學習方法及應用[D].馬鞍山：安徽工業(yè)大學，2011.

[4]李建.多層徑向基函數(shù)網(wǎng)格的算法改進及其應用[D].馬鞍山：安徽工業(yè)大學，2013.

[5]盛飛.多層RBF網(wǎng)絡的自適應遺傳算法及其在實函數(shù)逼近中的應用[J].安徽工業(yè)大學學報(自然科學版)，2013,30(2):192-196.

[6]徐光魯.復合多層徑向基函數(shù)網(wǎng)絡及其在偏微分方程中的應用[J].安徽工業(yè)大學學報(自然科學版)，2015,32(1):76-80.

[7]余健，郭平.基于RBF網(wǎng)絡的金融時間序列預測[J].湖南工程學院學報(自然科學版)，2007,17(4):44-48.

[8]LIU G R,GU YT.無網(wǎng)格法理論及程序設計[M].王建明，周學軍，譯.濟南：山東大學出版社，2007:259-264.

[9]張雄，劉巖.無網(wǎng)格法[M].北京：清華大學出版社，2004:95-175.

[10]侯木舟，周耀瓊.二叉樹期權定價方法的一種新推廣[J].數(shù)學理論與應用，2006,26(3):111-115.

[11]牟曠凝.蒙特卡洛方法和擬蒙特卡洛方法在期權定價中應用的比較研究[J].科學技術與工程，2010,10(8):1925-1929.

[12]蹇明，宜娜，張春曉.期權定價模型的五點式混合差分方法[J].經(jīng)濟數(shù)學，2011,28(4):66-70.

[13]王宋桂，楊振海.廣義逆矩陣及其應用[M].北京：北京工業(yè)大學出版社，1996.

責任編輯：丁吉海

GeneticAlgorithm for Multilayer Radial Basis Function Networks Based on Generalized Inverse Matrix

SHENG Guomin,ZHUANG Jian
(School of Business,Anhui University of Technology,Ma'anshan 243032,China)

In order to solve the problem that maxtrice are nearly singular when using regular least squares method, a method of generalized inverse matrix was employed to obtain the weight vectors of each layer in the multilayer radial basis function network,which was introduced to the genetic algorithm for training multilayer radial basis function networks.By using real function approximation,chaotic time series modeling and forecasting simulation experiments,the algorithm was verified.The results show that the generalized inverse matrix method is much more better than regular least squares method on the approximation precision,which can be up to a 1 to 2 orders of magnitude.

multilayer radial basis function networks;genetic algorithm;generalized inverse matrix;real function approximation;chaos sequence

TP 389.1

：A

10.3969/j.issn.1671-7872.2016.04.015

1671-7872(2016)04-0390-06

2015-07-29

盛國敏(1989-)，男，安徽天長人，碩士，助教，研究方向為機器學習。

莊健(1957-)，男，上海市人，博士，研究員，研究方向為機器學習。