楊少明，王雅琳，王美蘊(yùn)，何海明，李勇剛

(中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙 410083)

激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

楊少明，王雅琳*，王美蘊(yùn)，何海明，李勇剛

(中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙 410083)

提出了一種激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元函數(shù)不固定，通常是任何線性無(wú)關(guān)的基函數(shù)的線性組合，通過(guò)調(diào)整神經(jīng)元中基函數(shù)的系數(shù)即可達(dá)到網(wǎng)絡(luò)學(xué)習(xí)的目的。為了結(jié)構(gòu)優(yōu)化方便，將神經(jīng)元輸出的多維空間映射為一維空間后輸入給下層神經(jīng)元。根據(jù)網(wǎng)絡(luò)的特點(diǎn)，提出了兩種無(wú)需迭代的網(wǎng)絡(luò)參數(shù)快速學(xué)習(xí)算法實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練。通過(guò)3個(gè)實(shí)例進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明所設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的逼近能力強(qiáng)，參數(shù)學(xué)習(xí)速度極快。

神經(jīng)網(wǎng)絡(luò);激勵(lì)函數(shù);快速學(xué)習(xí)方法

神經(jīng)網(wǎng)絡(luò)尤其是BP神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)簡(jiǎn)單、并行處理能力強(qiáng)、非線性逼近能力好等特點(diǎn)，已經(jīng)廣泛應(yīng)用于各種領(lǐng)域。但是，BP算法是采用非線性規(guī)劃的快速下降法，即沿著誤差函數(shù)的負(fù)梯度方向修改權(quán)值，因此存在學(xué)習(xí)效率低、收斂速度過(guò)慢和容易陷入局部最優(yōu)等問(wèn)題。針對(duì)BP神經(jīng)網(wǎng)絡(luò)算法的缺陷，許多研究人員在學(xué)習(xí)率的改進(jìn)［1-3］;網(wǎng)絡(luò)初始權(quán)值選取的改進(jìn)［4-5］;網(wǎng)絡(luò)模型結(jié)構(gòu)的優(yōu)化［6-8］;進(jìn)化算法優(yōu)化網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)［9-11］以及其他方面［12-16］做了大量的研究工作。

泛函網(wǎng)絡(luò)［17-18］是Enrique Castillo于1998年提出的一種網(wǎng)絡(luò)，是對(duì)標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的推廣。泛函網(wǎng)絡(luò)是基于泛函方程的，并且是一種參數(shù)化建模方法。泛函網(wǎng)絡(luò)的建立需要根據(jù)專業(yè)領(lǐng)域的知識(shí)去衍生各種泛函方程，從而對(duì)泛函網(wǎng)絡(luò)的模型進(jìn)行有根據(jù)的假設(shè)。泛函網(wǎng)絡(luò)處理的是一般泛函模型，神經(jīng)元之間無(wú)權(quán)值連接，神經(jīng)元函數(shù)可以是多元的，通常是給定基函數(shù)簇的線性組合，且神經(jīng)元函數(shù)不是固定的，是可學(xué)習(xí)的。泛函網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于線性與非線性回歸、非線性系統(tǒng)辨識(shí)、微分、差分方程的求解等問(wèn)題。泛函網(wǎng)絡(luò)不僅可以解決神經(jīng)網(wǎng)絡(luò)可以解決的問(wèn)題，還能處理神經(jīng)網(wǎng)絡(luò)無(wú)法解決的問(wèn)題，泛函網(wǎng)絡(luò)在某些方面是優(yōu)于神經(jīng)網(wǎng)絡(luò)的［18］。

泛函網(wǎng)絡(luò)在黑箱建模時(shí)，與神經(jīng)網(wǎng)絡(luò)一樣，存在著網(wǎng)絡(luò)結(jié)構(gòu)確定困難的問(wèn)題。在絕大部分情況下，初始給定的網(wǎng)絡(luò)結(jié)構(gòu)都不是最合理的，需要在網(wǎng)絡(luò)完全學(xué)習(xí)或是部分學(xué)習(xí)之后優(yōu)化網(wǎng)絡(luò)的結(jié)構(gòu)。如果網(wǎng)絡(luò)結(jié)構(gòu)有冗余或者是達(dá)不到預(yù)期的精度，那么在結(jié)構(gòu)優(yōu)化時(shí)需要根據(jù)網(wǎng)絡(luò)的學(xué)習(xí)情況適度刪減或者增加神經(jīng)元的個(gè)數(shù)等。對(duì)于一般的泛函網(wǎng)絡(luò)而言，其神經(jīng)元函數(shù)的輸入?yún)?shù)是一個(gè)多維向量，這就表明，它的網(wǎng)絡(luò)結(jié)構(gòu)在刪減時(shí)勢(shì)必會(huì)出現(xiàn)一些不可避免的問(wèn)題。如上一層神經(jīng)元的刪除，會(huì)直接影響下一層神經(jīng)元的輸入向量的維數(shù)，造成與神經(jīng)元函數(shù)不匹配，給網(wǎng)絡(luò)運(yùn)行造成困難。

針對(duì)這個(gè)問(wèn)題，文中提出了一種激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò))，把泛函神經(jīng)元輸出的多維空間映射至一維空間后輸入給下一層的神經(jīng)元，并采用帶偏置的線性組合形式表示這種映射關(guān)系。針對(duì)新設(shè)計(jì)的網(wǎng)絡(luò)，文中給出了兩種網(wǎng)絡(luò)參數(shù)學(xué)習(xí)算法，并通過(guò)實(shí)例驗(yàn)證了網(wǎng)絡(luò)的可行性與有效性。其中，學(xué)習(xí)算法二引用黃廣斌等［14］提出的極限學(xué)習(xí)機(jī)(ELM)算法［13-16］，不同的是，ELM算法中隱層激勵(lì)函數(shù)單一固定，而文中提出的可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱層激勵(lì)函數(shù)的種類和數(shù)量都不固定，可學(xué)習(xí)調(diào)整。經(jīng)實(shí)驗(yàn)仿真，所提網(wǎng)絡(luò)與ELM相比學(xué)習(xí)速度相近，擬合效果更好。

1 激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

1.1 神經(jīng)元模型

激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元函數(shù)是任意線性無(wú)關(guān)的基函數(shù)簇的線性組合，每個(gè)神經(jīng)元的輸入都是上一層網(wǎng)絡(luò)神經(jīng)元(或者輸入節(jié)點(diǎn))所有輸出的線性累加和，每個(gè)神經(jīng)元(或者輸入節(jié)點(diǎn))的輸出都是下一層神經(jīng)元的輸入(或者是網(wǎng)絡(luò)模型的輸出)。其神經(jīng)元模型如圖1所示。

X=［x1，x2，…，xn］是神經(jīng)元的輸入，y是神經(jīng)元的輸出:

神經(jīng)元函數(shù)f可以是任意非線性相關(guān)基函數(shù)的線性組合:

其中，ω和β為隨機(jī)選擇的神經(jīng)元參數(shù)，無(wú)需調(diào)整; {φ1，φ2，…，φm}為任意的基函數(shù)簇，如三角函數(shù)簇{sin(x)，sin(2x)，sin(3x)，…}，對(duì)數(shù)函數(shù)簇{ln|x|+1，ln|x|+2，ln|x|+3，…}，多項(xiàng)式函數(shù)簇{1，x，x2，x3，…}等，也可以是混合函數(shù)簇，如{sin(x)，cos(x)，ex，ln(|x|+1)，sinh(x)，…}。通常是根據(jù)實(shí)際問(wèn)題選擇合適的函數(shù)簇，并在網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程中，根據(jù)學(xué)習(xí)情況，不斷進(jìn)行調(diào)整。ai(i= 1，2，…，m)為網(wǎng)絡(luò)的參數(shù)，主要是通過(guò)對(duì)它們的學(xué)習(xí)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的逼近，達(dá)到期望的精度。

圖1 激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型Fig.1 Neuron model of the active function learning neural network

1.2 網(wǎng)絡(luò)的一般模型

激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的一般網(wǎng)絡(luò)模型如圖2所示。

圖2 激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一般模型Fig.2 Generalmodel of the active function learning neural netw ork

該網(wǎng)絡(luò)模型由k個(gè)輸入，h個(gè)輸出，一個(gè)輸入層，d個(gè)隱層，一個(gè)輸出層。輸入層k個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)的主要功能是輸入信息;隱層和輸出層神經(jīng)元都是任意線性無(wú)關(guān)基函數(shù)的線性組合。

模型輸入為X=［x1，x2，…，xk］，輸出為Y=［y1，y2，…，yh］，隱層i(i=d+1時(shí)表示輸出層)的神經(jīng)元個(gè)數(shù)是pi，第j個(gè)神經(jīng)元的函數(shù)為fi，j，輸入為xi，j，輸出為zi，j，基函數(shù)個(gè)數(shù)為mi，權(quán)值矩陣為ωi，j，偏置為βi，j。

1.3 網(wǎng)絡(luò)的學(xué)習(xí)算法

以輸入為X=［x1，x2，…，xk］，輸出為y的多輸入單輸出單隱層激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為例，網(wǎng)絡(luò)模型如圖3所示。

圖3 多輸入單輸出網(wǎng)絡(luò)模型Fig.3 Mu ltip le input single output network model

隱層有p個(gè)神經(jīng)元，第i個(gè)神經(jīng)元函數(shù)是fi，fi是可以學(xué)習(xí)的，通常表示為一系列基函數(shù)的線性組合:

其中:m為神經(jīng)元基函數(shù)的個(gè)數(shù)，

si=X·ωi+βi，ωi=［ωi，1，ωi，2，…，ωi，k］T。

輸出神經(jīng)元的函數(shù)存在逆函數(shù)時(shí)也可以表示為基函數(shù)的線性組合:

則模型的輸出為

容易知道，在輸出神經(jīng)元函數(shù)給定且存在逆函數(shù)時(shí)，其隱層參數(shù)矩陣A可以通過(guò)求解隱層神經(jīng)元輸出矩陣的廣義逆得到。這種學(xué)習(xí)算法具有簡(jiǎn)單、無(wú)需迭代、精度好等特點(diǎn)。

2 應(yīng)用實(shí)例

2.1 實(shí)例1

Hénon混沌系統(tǒng)為

用圖5所示的網(wǎng)絡(luò)(模型隱層神經(jīng)元個(gè)數(shù)為p)對(duì)100組Hénon序列進(jìn)行學(xué)習(xí)，學(xué)習(xí)結(jié)束后再用100組序列做預(yù)測(cè)。網(wǎng)絡(luò)隱層權(quán)值和偏置是按正態(tài)分布隨機(jī)選擇的，神經(jīng)元函數(shù)的選擇、訓(xùn)練誤差和測(cè)試誤差見(jiàn)表1(文中誤差均指均方根誤差)。

圖4 Hénon混沌序列Fig.4 Hénon Chaotic sequence

圖5 Hénon序列的網(wǎng)絡(luò)學(xué)習(xí)Fig.5 Learning on the Hénon sequence

表1 對(duì)Hénon序列學(xué)習(xí)的網(wǎng)絡(luò)模型參數(shù)和學(xué)習(xí)情況Tab.1 Netw ork model param eters and learning on the Hénon sequence

由表1可知，文所提出的激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元基函數(shù)序列不同時(shí)對(duì)樣本的學(xué)習(xí)能力是不同的，可以通過(guò)改變神經(jīng)元的基函數(shù)類型提高網(wǎng)絡(luò)的精度。神經(jīng)元基函數(shù)序列選取合適的話，網(wǎng)絡(luò)的逼近效果會(huì)提高很多。

2.2 實(shí)例2

對(duì)于函數(shù)

在自變量x∈［－20，20］范圍內(nèi)，隨機(jī)選取1 000個(gè)樣本點(diǎn)，其中500個(gè)作為訓(xùn)練數(shù)據(jù)，另外500個(gè)作為測(cè)試數(shù)據(jù)。用圖5所示的激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)逼近sinc函數(shù)，結(jié)果見(jiàn)表2。

表2 對(duì)sinc函數(shù)學(xué)習(xí)的網(wǎng)絡(luò)模型參數(shù)和學(xué)習(xí)情況Tab.2 Network m odel parameters and learning on the sinc function

由表2可知，文中所提的激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)sinc函數(shù)的學(xué)習(xí)精度很高，完全可以滿足精度要求，且不同基函數(shù)序列對(duì)sinc函數(shù)的學(xué)習(xí)情況也是有很大差別的。

在中國(guó)綜合國(guó)力日益強(qiáng)大、海外投資逐年增長(zhǎng)的大趨勢(shì)下，中國(guó)不應(yīng)當(dāng)擔(dān)心賦予公司雙重國(guó)籍可能引起的更多外交保護(hù)壓力。若中國(guó)仍持上述保守立場(chǎng)，會(huì)阻礙中國(guó)向開(kāi)拓國(guó)際市場(chǎng)的中國(guó)公司實(shí)施外交保護(hù)。

分別用文中單隱層激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和基于ELM算法的單隱層神經(jīng)網(wǎng)絡(luò)逼近sinc函數(shù)。其中，兩種網(wǎng)絡(luò)的隱層神經(jīng)元的權(quán)值和閾值均是隨機(jī)選取且相等的。

1)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元基函數(shù)序列取

{sin(x+1)，sin(2x+2)，sin(3x+3)}，基于ELM方法的單隱層神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)取Sigmoid函數(shù)

網(wǎng)絡(luò)學(xué)習(xí)情況見(jiàn)表3。

表3 兩種網(wǎng)絡(luò)模型對(duì)sinc函數(shù)學(xué)習(xí)情況1Tab.3 First learning of two d ifferent netw orks on the sinc function

2)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元基函數(shù)序列取

{(1+e－0.25x)－1，(1+e－0.5x)－1，(1+e－0.75x)－1}，基于ELM方法的單隱層神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)取Sigmoid函數(shù)

學(xué)習(xí)情況見(jiàn)表4所示。

表4 兩種網(wǎng)絡(luò)模型對(duì)sinc函數(shù)學(xué)習(xí)情況2Tab.4 Second learning of two different networks on the sinc function

2.3 實(shí)例3

分別比較了兩種網(wǎng)絡(luò)在兩個(gè)實(shí)際問(wèn)題數(shù)據(jù)集的表現(xiàn)(被比較的兩個(gè)網(wǎng)絡(luò)隱層權(quán)值和偏置均是隨機(jī)選取的且相等)。

2.3.1 對(duì)Abalone問(wèn)題的學(xué)習(xí)

1)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)序列為

ELM網(wǎng)絡(luò)的激勵(lì)函數(shù)取Sigmoid函數(shù)

學(xué)習(xí)情況如表5所示。

表5 兩種網(wǎng)絡(luò)模型的對(duì)Abalone問(wèn)題的學(xué)習(xí)情況1Tab.5 First learning of two different networks on the Abalone p roblem

2)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)序列為

學(xué)習(xí)情況如表6所示。

2.3.2 對(duì)Machine CPU問(wèn)題的學(xué)習(xí)

1)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)序列為

ELM網(wǎng)絡(luò)的激勵(lì)函數(shù)取Sigmoid函數(shù)

學(xué)習(xí)情況見(jiàn)表7。

表6 兩種網(wǎng)絡(luò)模型對(duì)Abalone問(wèn)題的學(xué)習(xí)情況2Tab.6 Second learning of two differen t networks on the Abalone p rob lem

表7 兩種網(wǎng)絡(luò)模型的對(duì)M achine CPU問(wèn)題的學(xué)習(xí)情況1Tab.7 First learning of tw o d ifferent networks on the M achine CPU p roblem

2)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)序列為

ELM網(wǎng)絡(luò)的激勵(lì)函數(shù)取Sigmoid函數(shù)

學(xué)習(xí)情況見(jiàn)表8。由表3～表8可知，在網(wǎng)絡(luò)固定參數(shù)(隱層神經(jīng)元個(gè)數(shù)、權(quán)值和偏置)隨機(jī)選取且相等的情況下，與ELM一樣，參數(shù)學(xué)習(xí)都不需要迭代，速度非常快，但是學(xué)習(xí)精度要比ELM高。

表8 兩種網(wǎng)絡(luò)模型的對(duì)M achine CPU問(wèn)題的學(xué)習(xí)情況2Tab.8 Second learning of two d ifferen t networks on the M achine CPU p roblem

3 結(jié)語(yǔ)

文中在分析了神經(jīng)網(wǎng)絡(luò)和泛函網(wǎng)絡(luò)各自的特點(diǎn)基礎(chǔ)上，提出了一種激勵(lì)函數(shù)可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過(guò)改變神經(jīng)元函數(shù)，使網(wǎng)絡(luò)參數(shù)學(xué)習(xí)快、結(jié)構(gòu)優(yōu)化方便。由仿真結(jié)果可知，所提網(wǎng)絡(luò)的逼近能力強(qiáng)，且由于參數(shù)學(xué)習(xí)無(wú)需迭代，大大節(jié)省了網(wǎng)絡(luò)學(xué)習(xí)的時(shí)間。另外，在神經(jīng)元個(gè)數(shù)相同且隱層參數(shù)均隨機(jī)選擇且相等的情況下，所提激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與ELM相比，參數(shù)學(xué)習(xí)速度相近，但是逼近能力更強(qiáng)。

值得提出的是，文中提出這個(gè)網(wǎng)絡(luò)模型是為了方便模型結(jié)構(gòu)的優(yōu)化，后續(xù)研究將進(jìn)一步探討如何實(shí)現(xiàn)激勵(lì)函數(shù)可學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的修剪式結(jié)構(gòu)優(yōu)化。

［1］Sin-Chun Ng，Chi-Chung Cheung，Shu-hung Leung.Magnified gradient function with deterministic weightmodification in adaptive learning［J］.IEEE Transactions on Neural Networks，2004，15(6):1411-1423.

［2］Zweiri Y H，Whidborne J F，Althoefer K，et al.A new three-term backpropagation algorithm with convergence analysis［C］// Proceedings of ICRA＇02.IEEE International Conference on Robotics and Automation.Washington DC:IEEE，2002，4:3882-3887.

［3］Zweiri Y H，Seneviratne L D，Althoefer K.Stability analysis of a three-term backpropagation algorithm［J］.Neural Networks，2005，18(10):1341-1347.

［4］Jim Y F Yam，Tommy W SChow.A weight initialization method for improving training speed in feedforward neural network［J］.Neurocomputing，2000，30(1):219-232.

［5］Yat-Fung Yam，Chi-Tat Leung，Peter K S Tam，et al.An independent component analysis based weight initialization method for multilayer perceptrons［J］.Neurocomputing，2002，48(1):807-818.

［6］Castellano G，F(xiàn)anelli A M，Pelillo M.An iterative pruning algorithm for feedforward neural networks［J］.IEEE Transactions on Neural Networks，1997，8(3):519-531.

［7］Scott Fahlman，Christian Lebiere.The cascade-correlation learning architecture［J］.Advances in Neural Information Processing Systems，1991，2:524-532.

［8］Lauret P，F(xiàn)ock E，Mara T A.A node pruning algorithm based on a Fourier amplitude sensitivity test method［J］.IEEE Transactions on Neural Networks，2006，17(2):273-293.

［9］Zhihong Yaoa，Minrui Feia，Kang Lic，et al.Recognition of blue-green algae in lakes using distributive genetic algorithm-based neural networks［J］.Neurocomputing，2007，70(4):641-647.

［10］Leung F H F，Lam H K，Ling SH，et al.Tuning of the structure and parameters of a neural network using an improved genetic algorithm［J］.IEEE Transactions on Neural Networks，2003，14(1):79-88.

［11］Ehsan Valian，Shahram Mohanna，Saeed Tavakoli.Improved cuckoo search algorithm for feedforward neural network training［J］.International Journal of Artificial Intelligence and Applications，2011，2(3):36-43.

［12］Packianather M S，Drake P R，Rowland S H.Optimizing the parameters of multilayered feedforward neural networks through Taguchidesign of experiments［J］.Quality and Reliability Engineering International，2000，16(6):461-473.

［13］G B H，Qin-Yu Z，Chee-K S.Extreme learningmachine:theory and applications［J］.Neurocomputing，2006，70(1):489-501.

［14］HUANG Guangbin，ZHU Qinyu，Siew C K.Extreme learning machine:a new learning scheme of feedforward neural networks［C］//Proceedings of 2004 IEEE International Joint Conference on Neural Networks.Budapest，Hungary:IEEE，2004，2: 985-990.

［15］YUAN Lan，Yeng Chai Soh，HUANG Guangbin.Constructive hidden nodes selection of extreme learningmachinefor regression［J］.Neurocomputing，2010，73(16/18):3193-3199.

［16］WANG Yuguang，CAN Feilong，YUAN Yubo.A study on effectiveness of extreme learningmachine［J］.Neuro-Computing，2011，74(16):2483-2490.

［17］Castillo E.Functional networks［J］.Neural Processing Letters，1998，7(3):151-159.

［18］Castillo E，Cobo A，Gómez-Nesterkin R，et al.A general framework for functional networks［J］.Networks，2000，35(1):70-82.

(責(zé)任編輯:邢寶妹)

Active Functions Learning Neural Netw ork

YANG Shaoming，WANG Yalin*，WANG Meiyun，HE Haiming，LIYonggang
(School of Information Science and Engineering，Central South University，Changsha 410083，China)

In this paper，a novel neural network is proposed，whose active functions can be learned.Its active functions are not given and cannot be changed，but can be learned by the problems and could be the linear combination of any linear independent basis functions.The networks could be learned by tuning the coefficients of the basis functions.For the convenience of structure optimization，the input vectors of neurons are alwaysmapped to be scalar variables.In this paper，two quick learning algorithms are proposed for this network which does not need iterative procedures.The results show that this network has good function approximation capacity and fast learning speed.

neural network，active function，quick learning algorithms

TP 183

A

1671－7147(2015)06－0689－06

2015－07－25;

2015－09－28。

國(guó)家自然科學(xué)基金項(xiàng)目(61273187);國(guó)家自然科學(xué)基金創(chuàng)新研究群體科學(xué)基金項(xiàng)目(61321003)。

楊少明(1990—)，男，河南三門(mén)峽人，控制科學(xué)與工程專業(yè)碩士研究生。

*通信作者:王雅琳(1973—)，女，廣東惠州人，教授，博士生導(dǎo)師。主要從事復(fù)雜過(guò)程建模、優(yōu)化與控制研究。Email:ylwang@csu.edu.cn