常利蘋,曹飛龍

(中國計量大學(xué) 理學(xué)院,浙江 杭州 310018)

本文以R表示實數(shù)集,N表示正整數(shù)集,且以小寫字母表示一維標量,黑體小寫字母表示向量。以C([0,1])表示定義在[0,1]上的連續(xù)函數(shù)空間,并賦予一致范數(shù)。

‖f‖∞:=maxx∈[0,1]|f(x)|。

數(shù)學(xué)上,單隱層前向神經(jīng)網(wǎng)絡(luò)可表示為

(1)

其中x∈Rs,它是Rs→R的算子。這里cj∈R是網(wǎng)絡(luò)的輸出權(quán),σ是激活函數(shù),aj是輸入與神經(jīng)元的連接權(quán)向量,bj∈R是神經(jīng)元的閾值,[x·y]表示向量x,y的內(nèi)積。一般地,網(wǎng)絡(luò)的激活函數(shù)σ取為Sigmoid函數(shù),即σ:R→R,且

周知,前向神經(jīng)網(wǎng)絡(luò)是萬有逼近器,即對定義在Rs中緊集上的連續(xù)或Lebesgue可積函數(shù),當(dāng)激活函數(shù)滿足一定條件時,存在形如式(1)的前向神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近該函數(shù)[1-3]。這一定理被稱之為網(wǎng)絡(luò)逼近的稠密性定理,它研究當(dāng)前向神經(jīng)網(wǎng)絡(luò)的激活函數(shù)滿足什么條件時,多種目標函數(shù)類可以被前向神經(jīng)網(wǎng)絡(luò)以任意精度逼近。至今,關(guān)于稠密性定理已有較多的研究[1-10]。神經(jīng)網(wǎng)絡(luò)逼近的另一種重要問題是復(fù)雜性問題,其研究如何基于數(shù)據(jù)構(gòu)建前向神經(jīng)網(wǎng)絡(luò)算子作為逼近工具,并估計其對目標函數(shù)的逼近誤差,并以此揭示網(wǎng)絡(luò)拓撲結(jié)構(gòu)與網(wǎng)絡(luò)逼近能力之間的關(guān)系(參見文獻[11-21])。

文獻[11]利用構(gòu)造性的方法證明了CYBENK的稠密性定理[1];在此基礎(chǔ)上,CHEN[12]利用函數(shù)連續(xù)模給出了逼近的Jackson型量化估計,而文獻[13]針對單調(diào)的Sigmoid函數(shù)做了進一步的研究;BARRON[14]在被逼近目標函數(shù)的Fourier變換滿足一定條件,并且激活函數(shù)是無窮次可微的Sigmoid函數(shù)的假設(shè)下,指出了單隱層網(wǎng)絡(luò)逼近在一定條件下可達到的幾乎最佳逼近階;文獻[15-16]分別研究了對周期連續(xù)函數(shù)的構(gòu)造性逼近問題;針對高維目標函數(shù)情況,文獻[17]用構(gòu)造性方法研究了多輸入的網(wǎng)絡(luò)構(gòu)造和逼近的量化估計問題;值得指出的是,文獻[18-19]研究了網(wǎng)絡(luò)構(gòu)造性逼近的上、下界問題;在文獻[20]中,CHEN和CAO利用經(jīng)典的logistics函數(shù)的解析性質(zhì),并對其做Fourier變化與組合、平移變形,用構(gòu)造性方法給出一類單隱層網(wǎng)絡(luò)并估計了逼近速度。ANASTASSIOU[22-23]、COSTARELLI等[24-25]進一步將文獻[20]的結(jié)果和思想推廣到多輸入的情形。

受文獻[20]啟發(fā),文獻[26]考慮到雙曲正切函數(shù)

(2)

其中x∈R,是一類典型的Sigmoid函數(shù),并對雙曲函數(shù)(2)進行平移與平均得到如下的鐘型函數(shù):

(3)

并得到了如下的逼近階估計:

(4)

其中n∈N,2n1-α-3>0;參數(shù)0<α<1的引入起到了平衡誤差估計式(4)右邊兩項“階”的作用;ω(f,δ)是函數(shù)f的連續(xù)模[27]:

本文繼續(xù)文獻[26]的工作。我們先引進正參數(shù)d,并定義如下函數(shù)

其中

由此,對于f∈C([-1,1]),構(gòu)造網(wǎng)絡(luò)算子

我們得到如下逼近誤差估計:

(5)

顯然,根據(jù)定理1立即得到算子(Fn,df)的收斂性:limn,d-1→+∞Fn,df(x)=f(x);定理1中的參數(shù)d可以與n相關(guān),特別地,可取為d-1=n;估計式(5)中的參數(shù)0<α<1起到了平衡其右邊兩項“階”的作用。

此外,如果f∈LipC(β)(0<β≤1),即ω(f,δ)≤Cδβ,其中C為Lipschitz常數(shù),則由式(5)得到逼近階估計:

1 準備工作

由φ(x)的定義,我們有

以及

引理1(見[26])。

1)如果k≤k′≤0,則φd(k)≤φd(k′);2)如果0≤k≤k′,則φd(k)≥φd(k′)。

引理2設(shè)0<α<1,成立

證明通過計算,可以得到

引理3設(shè)nα>2,成立

證明不難看出,

引理4。

證明(1)如果t滿足k-1≤t≤k≤nx，則有

由此,可得到

如果t滿足k≤t≤k+1≤nx，則有

由引理1,同樣可得

因此,

綜上,有

這表明

1)證明完畢。類似地,我們可證得2)。

引理5以下各式成立。

證明因為

所以

因此,

所以,

也有

其中nα>2。最終可得

證明了1)。同理可證得引理5中的2)。

2 定理的證明

不難有

用|nx-k|≤nα和|nx-k|>nα來表示k的范圍,所以

由-1≤x≤1和|nx-k|≤nα,得

故有

綜上所述,可得

定理1證畢。

3 總 結(jié)

在本文中,我們用構(gòu)造性方法給出一類單隱層網(wǎng)絡(luò)并估計了逼近速度,即估計該類算子對于任意的f∈C([-1,1])的逼近誤差,并建立Jackson型定理。