張國(guó)平,謝庭藩

(中國(guó)計(jì)量學(xué)院理學(xué)院,浙江杭州310018)

熟知,人們常用單隱層前饋人工神經(jīng)網(wǎng)絡(luò)來(lái)逼近連續(xù)函數(shù).其實(shí)質(zhì)是當(dāng)激活函數(shù)滿足一定條件時(shí),對(duì)于給定的連續(xù)函數(shù)隨著網(wǎng)絡(luò)中節(jié)點(diǎn)(神經(jīng)元)個(gè)數(shù)的增加,該網(wǎng)絡(luò)可以逼近此函數(shù)到任何預(yù)先給定的程度.

1989年G.CYBENKO在文獻(xiàn)[1]中提出以S型函數(shù)為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)可以逼近連續(xù)函數(shù).1992年CHEN D B在文獻(xiàn)[2]中用構(gòu)造的方法計(jì)算以S型函數(shù)為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)對(duì)單變數(shù)連續(xù)函數(shù)的逼近度.2008年CAO F L,XIE T F,XU Z B構(gòu)造了一種單隱層神經(jīng)網(wǎng)絡(luò)并估計(jì)它對(duì)連續(xù)函數(shù)的逼近誤差[3].當(dāng)然,也有一些工作是用兩個(gè)隱層而使節(jié)點(diǎn)個(gè)數(shù)趨向于無(wú)窮的網(wǎng)絡(luò)來(lái)達(dá)到逼近連續(xù)函數(shù)的目的,參見(jiàn)文獻(xiàn)[4-6].

本文在第二部分介紹了一些要用到的記號(hào)和定義.在第三部分給出一維情況下多層神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法.在第四部分給出一個(gè)應(yīng)用實(shí)例.在第五部分給出多維情況下網(wǎng)絡(luò)的構(gòu)造方法,并在本文的最后部分給出附錄.

1 記號(hào)和定義

本文中要用到的一些記號(hào)和定義:

[11]中MLP網(wǎng)絡(luò)的定義,我們定義如下的MLP*網(wǎng)絡(luò):

定義 函數(shù)σ∶R →R,假定d,d′和k≥1.稱函數(shù) f∈ MLP*(d,d′,σ,k,L)當(dāng)且僅當(dāng)f∶Rd→Rd′,存在權(quán)值矩陣V1 ∈ Rk×d,Vj ∈ Rk×k,1 ＜j＜L,VL∈ Rd′×k以及閾值向量 τj,τ′j∈ Rk×1,1 ≤j ＜L 和τL,τ′L ∈ Rd′×1.對(duì)任意的 X ∈ Rd,當(dāng)向量aj和bj有如下的定義時(shí):

有f(X)=bL.

由以上定義不難看出該M LP*網(wǎng)絡(luò)每層的節(jié)點(diǎn)個(gè)數(shù)最多為k個(gè).正如G.GRINPENBE-RG所言,只需考慮d′=1的情形就能得到該網(wǎng)絡(luò)的逼近性質(zhì).

2 主要工作

因?yàn)閐′(d′≥1)維輸出的前饋人工神經(jīng)網(wǎng)絡(luò)可以看作d′個(gè)相同結(jié)構(gòu)的、只是系數(shù)不一樣的、一維輸出的前饋人工神經(jīng)網(wǎng)絡(luò)的組合,由于其各自的獨(dú)立性,只需要考慮d′=1的情況就能得到多維輸出的情況.

現(xiàn)在給出本文的主要結(jié)論:

如何構(gòu)造這個(gè)前饋人工神經(jīng)網(wǎng)絡(luò) N(x).為簡(jiǎn)單不妨假設(shè)[a,b]為[-T,T].又從σ″(x)在τ*點(diǎn)的領(lǐng)域內(nèi)連續(xù)且σ″(τ*)≠0,(由附錄部分的引理 2)不妨取 τ* 使得 σ(τ*)≠0,σ′(τ*)≠0,σ″(τ*)≠0都成立.具體的構(gòu)造過(guò)程如下.首先,給出一個(gè)構(gòu)造n次代數(shù)多項(xiàng)式Pn(x)=cnxn+cn-1xn-1+…+c0的過(guò)程:

一般是輸入為x,qk(x),cn-k-1,輸出為xqk(x)+cn-k-1=qk+1(x),即

現(xiàn)在用n層每層3個(gè)節(jié)點(diǎn)的以σ為激活函數(shù)的前向人工神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)上述過(guò)程.根據(jù)定義構(gòu)造一個(gè)每層2個(gè)輸入3個(gè)節(jié)點(diǎn)2個(gè)輸出的多層前饋人工神經(jīng)網(wǎng)絡(luò)MLP*的結(jié)構(gòu)如下.記第j層的輸入為xj,Nj(x),三個(gè)節(jié)點(diǎn)(神經(jīng)元)為 σ(η xj+τ*),σ(η Nj(x)+τ*),σ(η(xj+Nj(x))+τ*),輸出為 xj+1,Nj+1(x),其中

網(wǎng)絡(luò)結(jié)構(gòu)示意如下:

這里cn-j-1為多項(xiàng)式Pn(x)的第n-j-1項(xiàng)系數(shù),初始值x0=0,N0(x)=cn.

由附錄部分的引理3,對(duì)任意的 μ∈(0,1),若對(duì)任一多項(xiàng)式qj(x),使得在|x|≤T時(shí)第j層的輸入xj,Nj(x)滿足

則存在 η＞0,使得第 j層的輸出 xj+1,Nj+1(x)滿足如下的不等式

將上述這種2個(gè)輸入3個(gè)節(jié)點(diǎn)2個(gè)輸出的網(wǎng)絡(luò)記作Φ.由輸入x0=0,N0(x)=cn和常數(shù)cn-1通過(guò)網(wǎng)絡(luò)Φ即得到輸出x1,N1(x),且滿足如下不等式

然后以x1,N1(x)為輸入再次進(jìn)過(guò)網(wǎng)絡(luò) Φ得到x2,N2(x).如此通過(guò)n層網(wǎng)絡(luò)Φ得到的輸出Nn(x)就是多項(xiàng)式Pn(x)的一個(gè)逼近工具.事實(shí)上,按上述過(guò)程,我們有與μ及x有關(guān)的正數(shù)Bn使得

如此,若取μ＞0適當(dāng)小即有

定理1證畢.

注記1:若令初始狀態(tài)為L(zhǎng)=0,q0(x)=cn,B0=0,由引理3直接得到

其中

qi(x)=cnxi+…+cn-i+1x+cn-i,i=0,1,…,n.于是不難得到

其中

3 一個(gè)例子

我們用數(shù)據(jù)計(jì)算來(lái)模擬在一維情況下用第三部分的網(wǎng)絡(luò)對(duì)連續(xù)函數(shù)的逼近情況.首先,把目標(biāo)連續(xù)函數(shù)展開(kāi)為最高次數(shù)為n的Bernstein多項(xiàng)式,然后用第三部分得到的網(wǎng)絡(luò)來(lái)逼近此多項(xiàng)式,以此達(dá)到逼近目標(biāo)連續(xù)函數(shù)的目的.所有的計(jì)算都是在MATLAB中實(shí)現(xiàn)的,相關(guān)程序省略.

設(shè)定目標(biāo)連續(xù)函數(shù)為 f(x)=sin(πx),x∈[0,1].記Bn(f,x)為關(guān)于函數(shù) f(x)的最高次數(shù)為n的Bernstein多項(xiàng)式,有

由上式不難得到

則有Bn(f,x)=c0+c1x+…+cnxn.

圖1 n=10,μ=0.003 125Figure 1 n=10,μ=0.003 125

4 一般情況

為了區(qū)別,記這里所提及之網(wǎng)絡(luò)為M LP**.在一般情況,我們有如下的

由第六部分的引理1將總次數(shù)為n的d元代數(shù)多項(xiàng)式Pn(x)寫作

這里X∈Rd,Wj∈Rd,C0,Cl,j∈R.

構(gòu)造的網(wǎng)絡(luò)對(duì)給定多項(xiàng)式的逼近過(guò)程如下

下面介紹此MLP**網(wǎng)絡(luò)的逼近過(guò)程:

第一步,利用MLP*網(wǎng)絡(luò)逼近多項(xiàng)式P*n(X1)得到輸出Z1(Z1≈P*n(X1)).由于 X1與 X2的相互獨(dú)立性,可以把此時(shí)網(wǎng)絡(luò)的輸出Z1作為下一個(gè)多項(xiàng)式Pn(X2)的常數(shù)項(xiàng)形成一個(gè)新的多項(xiàng)式

第二步,再次用MLP*網(wǎng)絡(luò)來(lái)逼近多項(xiàng)式Pn*(X2)得到輸出Z2(Z2≈Pn*(X2)).再把Z2作為下一個(gè)多項(xiàng)式Pn(X3)的常數(shù)項(xiàng)形成一個(gè)新的多項(xiàng)式

顯然如此達(dá)到用MLP**網(wǎng)絡(luò)逼近多項(xiàng)式Pn(X)的目的,使得此MIP**網(wǎng)絡(luò)逼近給定的連續(xù)函數(shù).定理2證畢.

如前所述,d′維輸出的前饋人工神經(jīng)網(wǎng)絡(luò)對(duì)多項(xiàng)式的逼近只是d′個(gè)相互獨(dú)立的一維輸出的前饋人工神經(jīng)網(wǎng)絡(luò)對(duì)多項(xiàng)式的各自逼近,由此得到

5 附 錄

本文第三、五兩個(gè)部分中用的一些結(jié)論的數(shù)學(xué)證明.為此,我們需要如下的三個(gè)引理.

這是文獻(xiàn)[12]中得到的結(jié)果.

引理2 函數(shù)σ∈C(R;R)在一點(diǎn)的鄰域上有不恒為零的二階連續(xù)導(dǎo)數(shù),則在此鄰域中有一點(diǎn)τ*使得 σ(τ*)≠0,σ′(τ*)≠0,σ″(τ*)≠0.

證明 顯然,在引理假設(shè)下有一個(gè)開(kāi)區(qū)間Δ?R,在Δ中σ″(t)≠0.從而Δ中必有一個(gè)子區(qū)間 Δ1?Δ使得在 Δ1中 σ′(t)≠0.同理 Δ1必有子區(qū)間 Δ2使得在 Δ2中σ(t)≠0.因此,對(duì)任τ* ∈ Δ2 都有 σ(τ*)≠ 0,σ′(τ*)≠0,σ″(τ*)≠0.

引理3 設(shè)σ(t)在開(kāi)區(qū)間Δ中二次連續(xù)可微,而且有 τ* ∈ Δ使得 σ′(τ*)≠0,σ″(τ*)≠0.又記

其中c是個(gè)常數(shù).如果當(dāng)|x|≤T時(shí)有

其中 μ＞0,η＞0,q(x)是關(guān)于 x的連續(xù)函數(shù),那么只要η充分小就有

證明 本文第三部分所構(gòu)造網(wǎng)絡(luò)第j+1層的權(quán)值矩陣和閾值向量分別為:

網(wǎng)絡(luò)在第j+1層的輸出為:

由(4)式即可得(1)式.

下面來(lái)證明(3)式.當(dāng) η＞0充分小時(shí),由中值定理容易知道下面兩式

和

是顯然成立的.

在(2)式中,

且

考慮到μ∈(0,1)且η充分小時(shí),由上面三式及(2)式容易知道(3)式是成立的.

【參 考 文 獻(xiàn)】

[1]CYBENKO G.Approximation by superpositions of sig-moidal function[J].Math Control Signals Syst,1989(2):303-314.

[2]CHEN D B.Degree of approximation by superpositions of a sigmoidal function[J].Approximation Theory and its Application,1993,9(3):17-28.

[3]CAO F L,XIE T F,XU Z B.The estimate for approximation error of neural networks:A constructive approach[J].Neurocomputing,2008,71:626-630.

[4]M AIOROV V,PINKUS A.Lower bounds for approximation by MLP neural networks[J].Neurocomputing,1999,25(1-3):81-91.

[5]M HASKAR H N.Approximation properties of a multilayed feedforward arT IF;%95%94icial neural network[J].Advances in Computational Mathematics,1993(1):61-80.[6]HORNIK K.Approximation capabilities of multilayer feed forward networks[J].Neural Networks,1991(4):251-257.

[7]夏哲雷,劉大鍵,錢 勤.人工神經(jīng)網(wǎng)絡(luò)在電積鋅工藝中的應(yīng)用[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),1999,2(19):87-89.

[8]黃鎮(zhèn)海,鐘紹俊,謝 敏,等.神經(jīng)網(wǎng)絡(luò)變結(jié)構(gòu)在液壓伺服系統(tǒng)控制中的應(yīng)用[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2005,16(3):199-211.

[9]馮會(huì)真,夏哲雷,林志一.基于神經(jīng)網(wǎng)絡(luò)的圖像邊緣檢測(cè)方法[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2006,17(4):289-291.

[10]G RIPENBERG G.Approximation byneural networks with a bounded number of nods at each level[J].Journal of Approximation Theory,2003,122:260-266.

[11]CHUI C K,LI X.Approximation by ridge functions and neural networks with one hidden layers[J].J Approximaton Theory,1992,70(2):131-141.

[12]XIE T F.The ridge representation of polynomials and an application to neural netwo rks[J].Acta Mathematica Sinica,2010,26(7):1-9.