邢永康，石楊，牟超

重慶大學(xué) 計算機學(xué)院，重慶 400030

多元切比雪夫神經(jīng)網(wǎng)絡(luò)及其快速權(quán)值確定算法

邢永康，石楊，牟超

重慶大學(xué) 計算機學(xué)院，重慶 400030

1 引言

人工神經(jīng)網(wǎng)絡(luò)目前發(fā)展很快，鑒于多層感知器（Multilayer Perceptron，MLP）神經(jīng)網(wǎng)絡(luò)后向傳播（Back Propagation，BP）算法的不足，文獻(xiàn)[1]基于函數(shù)逼近理論提出了一種全新結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)——切比雪夫神經(jīng)網(wǎng)絡(luò)。切比雪夫神經(jīng)網(wǎng)絡(luò)是一個擁有單隱藏層的神經(jīng)網(wǎng)絡(luò)，目前已經(jīng)證明，切比雪夫神經(jīng)網(wǎng)絡(luò)擁有強大的表示能力[2-3]，相比多層感知器神經(jīng)網(wǎng)絡(luò)，其收斂速度更快，計算復(fù)雜度也較低，而且具有良好的泛化性[4-6]。

目前切比雪夫神經(jīng)網(wǎng)絡(luò)的收斂算法主要為一元函數(shù)下的收斂算法，較為廣泛使用的是梯度下降算法[6]。該算法存在有速度過慢，不能很好的收斂，步長不能直接確定等問題。很多學(xué)者對該問題進(jìn)行研究。文獻(xiàn)[7]提出了權(quán)值的直接確定法，但需要進(jìn)行高階的矩陣求逆工作；文獻(xiàn)[8]提出使用三次樣條插值方法重構(gòu)輸入樣本，使其適合于切比雪夫多項式，但復(fù)雜度依舊較高；另外，當(dāng)前較為流行的SVM由于需要求解線性方程組[9]，同樣需要花費較多的時間。

實際應(yīng)用中，很多問題都是建立在多元函數(shù)基礎(chǔ)上的，需要把該網(wǎng)絡(luò)推廣到多元函數(shù)下，擴(kuò)大適用范圍，另外需要尋找一種有效的方法，快速確定切比雪夫神經(jīng)網(wǎng)絡(luò)的權(quán)值。據(jù)此，提出了多元函數(shù)下的切比雪夫神經(jīng)網(wǎng)絡(luò)模型，并在切比雪夫多項式的正交性的基礎(chǔ)上給出了多元函數(shù)下切比雪夫神經(jīng)網(wǎng)絡(luò)的快速權(quán)值算法。該算法需要使用切比雪夫多項式的零點，而在很多問題當(dāng)中，切比雪夫多項式的零點不適合或者不方便求得，為了使算法更具有普遍性，在仿真實驗中采用正交多項式重構(gòu)輸入樣本，達(dá)到使用切比雪夫正交性質(zhì)的要求。實驗結(jié)果表明，本文的神經(jīng)網(wǎng)絡(luò)模型可以很好地擬合多元函數(shù)，并且在計算速度上相對于傳統(tǒng)算法有較大的提高。

2 一元切比雪夫神經(jīng)網(wǎng)絡(luò)

2.1 一元切比雪夫神經(jīng)網(wǎng)絡(luò)的概念

傳統(tǒng)的MLP神經(jīng)網(wǎng)絡(luò)通常采用BP算法，采用該算法的MLP神經(jīng)網(wǎng)絡(luò)被稱為BP神經(jīng)網(wǎng)絡(luò)，但是基于BP算法的MLP神經(jīng)網(wǎng)絡(luò)存在著緩慢收斂與局部最小值等缺點。切比雪夫神經(jīng)網(wǎng)絡(luò)模型與MLP神經(jīng)網(wǎng)絡(luò)模型完全不同，其結(jié)構(gòu)如圖1所示。

圖1 一元切比雪夫神經(jīng)網(wǎng)絡(luò)

圖1中，xr為輸入值，yr為對應(yīng)的輸出值，相應(yīng)的函數(shù)為yr=f(xr)(r=1，2，…，n)；Ti為構(gòu)成隱含層的切比雪夫k次多項式，Ck為對應(yīng)Tk的權(quán)值，由函數(shù)逼近理論可知，f(xr)可以通過采用已知的基函數(shù)來進(jìn)行線性擬合，文中，采用的是已知的切比雪夫多項式來進(jìn)行線性擬合，即尋找一個多項式Qm(xr)：

使Qm(xr)能夠有效地逼近yr=f(xr)。

切比雪夫神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)來自于切比雪夫多項式以及最小平方逼近概念，下面給出切比雪夫多項式的定義。

定義1n次切比雪夫遞推多項式定義為：

由式（2）得到定義2的多項式組。

定義2遞推關(guān)系下的切比雪夫多項式組：

由函數(shù)逼近性質(zhì)可知，只需計算出Tk所對應(yīng)的Ck，即可對未知函數(shù)進(jìn)行有效逼近，該多項式組的收斂性質(zhì)由下面的最小平方收斂定理所保證，令

則ε為多項式逼近與目標(biāo)函數(shù)的誤差。由最小平方逼近的概念，只需使每個樣本點上誤差函數(shù)的第二范數(shù)平方之和最小，即使

最小，其中E被稱為逼近函數(shù)在xr上的誤差平方和。

下面的定理給出了最小平方逼近的存在且唯一的理論依據(jù)，它保證了切比雪夫神經(jīng)網(wǎng)絡(luò)的逼近能力。

顯然，不同階切比雪夫多項式之間線性無關(guān)，滿足定理1，即在最小平方逼近下Ci存在且唯一。

即Ct(m+1)=Ct(m)-ΔCt。其中，η為學(xué)習(xí)步長，一個較小的學(xué)習(xí)步長可以保證收斂而不至于越過最小值，但相應(yīng)的會使計算量大為增加。

2.2 一元切比雪夫神經(jīng)網(wǎng)絡(luò)的快速算法

在介紹切比雪夫神經(jīng)網(wǎng)絡(luò)快速權(quán)值確定算法前，需要先給出切比雪夫多項式的一個重要性質(zhì)：正交性。一般來說，切比雪夫的正交性分為兩種：連續(xù)狀態(tài)下的正交性與離散狀態(tài)下的正交性。以下是針對離散的點上切比雪夫的正交性定理。

定理2（切比雪夫多項式正交定理）

任意兩個相異的切比雪夫多項式Tr(x)及Ts(x)(r,s≤n)在Tn+1(x)的零點集

這說明，只要在零點集上，就可以利用切比雪夫多項式的正交性，極大地改善計算復(fù)雜度。

由公式（6），若使E取到最小值，需要滿足以下條件：

由定理2的正交性，可得：

式（11）為一元函數(shù)下切比雪夫神經(jīng)網(wǎng)絡(luò)權(quán)值的直接確定公式，顯然，由于正交性的使用，計算被大為簡化，并且保證了權(quán)值為全局最優(yōu)。

3 多元切比雪夫神經(jīng)網(wǎng)絡(luò)

3.1 多元切比雪夫神經(jīng)網(wǎng)絡(luò)的定義

在一元切比雪夫神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與理論基礎(chǔ)上，將其推廣到多元函數(shù)下，其中輸入為n維向量x1,x2,…,xn，需要逼近的目標(biāo)函數(shù)為，要求是尋找一個多項式：

其中，k1k2…kn分別為n個不同的數(shù)，每個數(shù)的取值都是從0開始，且上界不一定相同。T1，T2，…，Tn分別表示不同的切比雪夫多項式，每個切比雪夫多項式從0次開始，上界由m確定。

以二元函數(shù)為例，輸入為xr和yr，需要逼近的未知函數(shù)為f(xr，yr)，用于擬合xr的切比雪夫多項式有m項，用于擬合yr的切比雪夫多項式有n項，則切比雪夫神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，如圖2所示。

圖2 二元函數(shù)切比雪夫神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

下面是多元切比雪夫神經(jīng)網(wǎng)絡(luò)的梯度下降迭代算法，在多元函數(shù)下，由最小平方逼近理論構(gòu)造誤差函數(shù)為：

該誤差函數(shù)的第二范數(shù)平方和為：

顯然，Ct1t2…tn(m+1)=Ct1t2…tn(m)-ΔCt1t2…tn，其中η為學(xué)習(xí)步長。

可以看到，隨著輸入函數(shù)未知量的增加，該權(quán)值計算變得相當(dāng)復(fù)雜，復(fù)雜度呈指數(shù)級的上升。這說明，在面對多元輸入函數(shù)時，普通的梯度下降迭代算法不再適用于切比雪夫神經(jīng)網(wǎng)絡(luò)。

3.2 多元切比雪夫神經(jīng)網(wǎng)絡(luò)的快速權(quán)值確定算法

首先對定理2進(jìn)行推廣，由于多元切比雪夫神經(jīng)網(wǎng)絡(luò)針對每個元均維持一組切比雪夫多項式組，且彼此之間互相獨立，所以得定理3。

定理3任意兩個相異的切比雪夫多項式Tr(x)及Ts(xn) (r，s≤n)在Tn+1(xn)的零點集

其中，n表示第n個元，依據(jù)定理3，在每個元的零點集上，可以利用切比雪夫多項式的正交性快速確定權(quán)值。

式（19）即為多元函數(shù)下切比雪夫神經(jīng)網(wǎng)絡(luò)的權(quán)值快速計算法。

4 仿真實驗

4.1 樣本點的預(yù)處理

由式（7）可知，切比雪夫多項式的零點集是有條件的，如何將隨機選取的點集一一對應(yīng)到切比雪夫多項式零點集是需要考慮的重要問題，這里采用函數(shù)逼近的另一種方法，將切比雪夫神經(jīng)網(wǎng)絡(luò)擴(kuò)展為兩個獨立的部分，如圖3所示。

圖3 正交多項式組與切比雪夫神經(jīng)網(wǎng)絡(luò)

4.2 實驗及結(jié)果分析

為進(jìn)行對比，基于BP算法的切比雪夫神經(jīng)網(wǎng)絡(luò)步長取0.001，最高擬合次數(shù)為20 000次，基于BP算法的MLP神經(jīng)網(wǎng)絡(luò)的步長為0.01，隱含層節(jié)點數(shù)目為32個，為單隱含層神經(jīng)網(wǎng)絡(luò)，訓(xùn)練精度均為0.001。從表1可以看出，本文算法在多元函數(shù)下，其時間性仍然優(yōu)于傳統(tǒng)算法。

表1 不同輸入時本文算法與傳統(tǒng)算法的時間性對比

表2是這幾種算法的誤差在x=5，y=10訓(xùn)練樣本上的訓(xùn)練結(jié)果與需要擬合函數(shù)誤差的絕對值和。可以看出，本文算法在多元函數(shù)下誤差依舊較低，這說明，本文算法可以良好地回憶起訓(xùn)練內(nèi)容。

表2 本文算法與其他算法的誤差對比

由于基于BP算法的切比雪夫神經(jīng)網(wǎng)絡(luò)在計算復(fù)雜度上同基于BP算法的MLP神經(jīng)網(wǎng)絡(luò)一樣，其計算復(fù)雜度對于需要更新的權(quán)值數(shù)目而言是多項式級的。但是同樣，該切比雪夫神經(jīng)網(wǎng)絡(luò)也繼承了基于BP算法的MLP神經(jīng)網(wǎng)絡(luò)的缺點，BP算法對于梯度是即時計算的[10]，且步長往往需要通過經(jīng)驗來判斷。另外，從計算時間上來講，這種算法并沒有一個明確的值，不能在訓(xùn)練之前就得出相應(yīng)的時間代價。

本文所使用的樣本預(yù)處理方法基于正交化理論，雖然相對于傳統(tǒng)的切比雪夫神經(jīng)網(wǎng)絡(luò)算法，增加了一部分正交多項式的計算，但其計算復(fù)雜度有限，且計算規(guī)模可以在計算前判定。而且在切比雪夫神經(jīng)網(wǎng)絡(luò)部分，完全是多項式計算，因此其計算速度遠(yuǎn)高于傳統(tǒng)算法。

5 結(jié)束語

切比雪夫神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛，本文將其由一元函數(shù)推廣到多元函數(shù)下，進(jìn)一步增加了切比雪夫神經(jīng)網(wǎng)絡(luò)的適用范圍。同時為了克服基于BP算法的切比雪夫神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法收斂速度慢的缺點，提出了一種新的方法改善切比雪夫神經(jīng)網(wǎng)絡(luò)的權(quán)值計算速度。仿真實驗表明，改進(jìn)后的切比雪夫神經(jīng)網(wǎng)絡(luò)模型在保證原有精度的情況下，其計算速度比傳統(tǒng)算法有著明顯的優(yōu)勢。

[1]Namatame A，Ueda N.Pattern classification with Chebyshev neural networks[J].International Journal of Neural Networks，1992，3：23-31.

[2]Purwar S，Kar I N，Jha A N.On-line system identification of complex systems using Chebyshev[J].Neural Networks Applied Soft Computing，2007，7：364-372.

[3]Akritas P，Antoniou I，Ivanov V V.Identification and prediction of discrete chaotic maps applying a Chebyshev neural network chaos[J].Solitons and Fractals，2000，11：337-344.

[4]張代遠(yuǎn).基于分布式并行計算的神經(jīng)網(wǎng)絡(luò)算法[J].系統(tǒng)工程與電子技術(shù)，2010，32（2）：386-391.

[5]Shailc F A，Purwar S，Pratap B.Real-time implementation of Chebyshev neural network observer for twin rotor control system[J].Expert Systems with Applications，2011，38：13043-13049.

[6]Lee T T，Jeng J T.The Chebyshev-polynomials-based unified model neural networks for function approximation[J].IEEE Transactions on Systems Man and Cybernetics：Part B Cybernetics，1998，28（6）.

[7]張雨濃，李巍，蔡炳煌，等.切比雪夫正交基神經(jīng)網(wǎng)絡(luò)的權(quán)值直接確定法[J].計算機仿真，2009，26（1）：157-161.

[8]張代遠(yuǎn).基于廣義Чeбышeв多項式的新型神經(jīng)網(wǎng)絡(luò)算法[J].系統(tǒng)工程與電子技術(shù)，2008，30（11）：2274-2279.

[9]Cortes C，Vapnic V.Support vector networks[J].Machine Learning，1995，20：273-297.

[10]Haykin S.Neural networks and learning machines[M].北京：機械工業(yè)出版社，2009.

XING Yongkang,SHI Yang,MOU Chao

College of Computer Science,Chongqing University,Chongqing 400030,China

Compared with the traditional multi-layer perceptron model,Chebyshev neural network has fast convergence,low complexity and generalization ability advantages.However,the one variable Chebyshev neural network to solve multivariate problems in the practical application is great limitations.For this problem,the paper extends and proposes multivariate Chebyshev neural network model and gives fast weight determination algorithm which base on Chebyshev polynomials orthogonal. The simulation results show that compared to traditional multi-layer perceptron neural network,the method has obvious advantages in the calculation accuracy and computing speed.

neural networks;Chebyshev polynomial;multivariate function;quick calculation of the weights

與傳統(tǒng)的多層感知器模型相比，切比雪夫神經(jīng)網(wǎng)絡(luò)具有收斂速度快，復(fù)雜度低，泛化能力強等優(yōu)點，但是，其研究最為廣泛的一元切比雪夫神經(jīng)網(wǎng)絡(luò)在解決實際應(yīng)用中的多元問題時存在著很大局限。鑒于此，對一元切比雪夫神經(jīng)網(wǎng)絡(luò)進(jìn)行擴(kuò)展，提出了多元切比雪夫神經(jīng)網(wǎng)絡(luò)模型，并在切比雪夫多項式正交性的基礎(chǔ)上給出了快速權(quán)值確定算法。仿真實驗證明，相對于傳統(tǒng)多層感知器神經(jīng)網(wǎng)絡(luò)，該方法在計算精度和計算速度等方面都存在明顯優(yōu)勢。

神經(jīng)網(wǎng)絡(luò)；切比雪夫多項式；多元函數(shù)；權(quán)值快速計算

A

TP183

10.3778/j.issn.1002-8331.1204-0250

XING Yongkang,SHI Yang,MOU Chao.Multivariate Chebyshev neural network and quick learning algorithm.Computer Engineering and Applications,2013,49（13）：36-39.

國家自然科學(xué)青年基金（No.60403009）；中央高?；究蒲袠I(yè)務(wù)費資助（No.CDJZR10180021）。

邢永康（1971—），男，博士，副教授，研究領(lǐng)域為人工智能，分布式系統(tǒng)，軟件工程；石楊（1988—），男，碩士研究生；牟超（1989—），男，碩士研究生。E-mail：shiyang0830@126.com

2012-04-16

2012-06-14

1002-8331（2013）13-0036-04

CNKI出版日期：2012-08-06http://www.cnki.net/kcms/detail/11.2127.TP.20120806.1438.007.html