徐慧芳,曹飛龍

(中國(guó)計(jì)量大學(xué) 理學(xué)院,浙江 杭州 310018)

用Rd表示d(d≥1)維歐幾里得空間。S={x0,x1…,xn}?Rd是由一組兩兩不同的向量構(gòu)成的集合,{f0,f1,…,fn}?R是一組實(shí)數(shù),則

(x0,f0),(x1,f1),…,(xn,fn),

(1)

構(gòu)成一組插值樣本。如果對(duì)于任一函數(shù)f:Rd→R,有

f(xi)=fi,i=0,1,…n,

則稱(chēng)函數(shù)f是一組關(guān)于樣本(1)的一個(gè)精確插值。如果對(duì)于給定的ε>0,成立

|f(xi)-fi|<ε,i=0,1,…,n，

則稱(chēng)函數(shù)f是關(guān)于樣本(1)的一個(gè)近似插值(擬插值)。

單隱層前饋神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型可表示為

(2)

其中x∈Rd,ci∈R表示隱層與輸出層之間的連接權(quán),bi∈R表示閾值,ωi∈Rd表示輸入層與隱層之間的連接權(quán),ωi·x表示ωi與x的歐幾里得內(nèi)積,σ(·)是激活函數(shù),通常取為Sigmoid函數(shù),即σ:R→R,且滿足

常用的Sigmoid激活函數(shù)有

(3)

眾知,神經(jīng)網(wǎng)絡(luò)是一個(gè)萬(wàn)有逼近器,它能夠以任意精度逼近定義在緊集上的連續(xù)函數(shù)或可積函數(shù)。在過(guò)去的三十年里,人們考慮了形如(2)式且激活函數(shù)滿足一定條件的神經(jīng)網(wǎng)絡(luò)的逼近問(wèn)題,得到了許多較好的結(jié)果(參見(jiàn)文獻(xiàn)[1-8])。

插值是一種經(jīng)典而又非常重要的數(shù)據(jù)處理方法。與精確插值相比,擬插值具有計(jì)算量小,穩(wěn)定等優(yōu)點(diǎn)(參見(jiàn)文獻(xiàn)[9-10]),同時(shí)具有較好的收斂性。2006年,LLANAS和SAINZ[11]首次研究神經(jīng)網(wǎng)絡(luò)的插值問(wèn)題。謝和曹[12]進(jìn)一步研究了神經(jīng)網(wǎng)絡(luò)的擬插值問(wèn)題。由于在許多實(shí)際問(wèn)題中,我們需要處理高維數(shù)據(jù)的插值與擬合問(wèn)題,而傳統(tǒng)的插值、逼近方法(如多項(xiàng)式,樣條函數(shù),算子等)不能有效地處理這些問(wèn)題。鑒于前饋人工神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一元函數(shù)(激活函數(shù))通過(guò)自身的平移、旋轉(zhuǎn)、疊加等產(chǎn)生一個(gè)新的多元函數(shù)并可以逼近多元函數(shù)。因此,利用神經(jīng)網(wǎng)絡(luò)插值處理高維數(shù)據(jù)的插值與逼近是一條有效的途徑,特別是對(duì)于高維散亂數(shù)據(jù)。

CHEN和CAO[13]首次將(3)式中的logi-stics函數(shù)σl(x)進(jìn)行變形,得到一個(gè)鐘型對(duì)稱(chēng)函數(shù),并以此為激活函數(shù)構(gòu)造了神經(jīng)網(wǎng)絡(luò)擬插值算子,且進(jìn)一步研究了該擬插值算子的逼近誤差。隨后,Anastassiou利用這樣的鐘型函數(shù)的乘積,構(gòu)造了多元算子,并研究該多元算子的逼近誤差,其相關(guān)的工作可參見(jiàn)文獻(xiàn)[14-17]。隨后,COSTARELLI和SPIGLER[18],COSTARELLI[19]用滿足某種假設(shè)的激活函數(shù)拓展了相關(guān)結(jié)果。

迄今,神經(jīng)網(wǎng)絡(luò)插值方法大多都是面向規(guī)則的節(jié)點(diǎn)數(shù)據(jù),而在實(shí)際中存在大量的非規(guī)則數(shù)據(jù),即散亂數(shù)據(jù)。對(duì)散亂數(shù)據(jù)的處理往往相對(duì)困難與復(fù)雜[20-22]。本文的目的是構(gòu)建神經(jīng)網(wǎng)絡(luò)插值算子并研究散亂數(shù)據(jù)的插值與逼近問(wèn)題。我們從B樣條函數(shù)出發(fā),構(gòu)造一類(lèi)具有較好性質(zhì)的函數(shù),并以此作為激活函數(shù)構(gòu)造神經(jīng)網(wǎng)絡(luò)插值算子。進(jìn)一步地,我們研究了該算子的插值性質(zhì)與逼近性質(zhì)，建立了相應(yīng)的插值與逼近定理。最后,我們給出了數(shù)值仿真實(shí)驗(yàn)與分析,進(jìn)一步驗(yàn)證理論結(jié)果。

1 預(yù)備知識(shí)

假設(shè)xi∈[-1,1]2?R2(i=1,2,…,n)是散亂點(diǎn),(x1,f1),(x2,f2),…,(xn,fn),構(gòu)成一組散亂樣本。為了描述散亂數(shù)據(jù)集X:={x1,x2,…,xn},引入網(wǎng)格范數(shù)hX、分離半徑qX和分離比率ρX等概念[20,22]。

散亂數(shù)據(jù)集X的網(wǎng)格范數(shù)定義為

其中d(x,y)表示點(diǎn)x與y之間的歐幾里得距離。易見(jiàn),hX用來(lái)衡量[-1,1]2上的點(diǎn)與數(shù)據(jù)集X的最大距離。

散亂數(shù)據(jù)集X的分離半徑定義為

其表示數(shù)據(jù)集X中任意兩點(diǎn)之間最小距離的一半。

相應(yīng)地,散亂數(shù)據(jù)集X的分離比率ρX定義為

它是用來(lái)衡量數(shù)據(jù)集X中散亂點(diǎn)的均勻分布的程度。易見(jiàn),ρX≥1。

其中C[-1,1]2表示定義在有界域[-1,1]2上所有連續(xù)函數(shù)的集合,‖·‖2表示歐幾里得范數(shù)。如果存在一個(gè)常數(shù)M>0，使得

ω(f,δ)≤Mδα(0<α≤1),

我們就稱(chēng)函數(shù)f是Lipschitz-α連續(xù),寫(xiě)成f∈LipMα。函數(shù)的連續(xù)模是描述函數(shù)的光滑性和連續(xù)性的量,通常作為度量逼近誤差的一個(gè)有效工具,其在函數(shù)逼近理論中有著非常重要的應(yīng)用。連續(xù)模有如下的一些性質(zhì):

1)ω(f,δ)是關(guān)于δ的單調(diào)增函數(shù),即ω(f,δ)=0,δ→0;

2)ω(f,λδ)≤(λ+1)ω(f,δ),λ≥0。

接下來(lái),我們介紹一維s(s∈N+)階B樣條函數(shù)[6,19,24-25]

supp(Ms)?[-s/2,s/2],s∈N+。

使用上面定義的s階B樣條函數(shù)變換出Sigmoid函數(shù)σMs(x),即

(4)

(5)

其中x∈R。

2 基于B樣條神經(jīng)網(wǎng)絡(luò)算子的多變量散亂數(shù)據(jù)插值

在本節(jié)中,我們構(gòu)造一類(lèi)多元神經(jīng)網(wǎng)絡(luò)插值算子,對(duì)定義在R上的多元連續(xù)函數(shù),建立一致逼近定理并且估計(jì)逼近誤差。為了方便起見(jiàn)本文假設(shè)hX=qX。

假設(shè)X是散亂數(shù)據(jù)集,將X分解成嵌套的子集X1?X2?…?XM=X。Xk是X的子集。其中

其中xi=[-1,1]2,i=1,2,…,d,1≤λ<2,T=μ(s+1)。

接下來(lái),構(gòu)造多變量神經(jīng)網(wǎng)絡(luò)插值算子。首先,定義多變量域R:

R:=[-1,1]2×…×[-1,1]2。

(6)

(7)

定義2.1假設(shè)f:R→R是一個(gè)連續(xù)函數(shù)，則多變量神經(jīng)網(wǎng)絡(luò)插值算子為:

(8)

易見(jiàn)

(9)

(10)

(11)

定理2.1假設(shè)f:R→R是一個(gè)連續(xù)函數(shù),則

證明如果固定任一個(gè)點(diǎn)k:=(k1,k2,…,kd),ki=1,2,…,n,i=1,2,…,d。則對(duì)索引集j=(j1,j2,…,jd),ji=1,2,…,n,i=1,…,d,如果k≠j,則km≠jm,m=1,…,d。

由假設(shè)hX=qX,有

下面我們記

其中i=1,…,m,…,d。

故有

(12)

如果k=j,有

綜上,

(13)

所以由(13)式,有

對(duì)于每j:=(j1,j2,…,jd),ji=1,2,…,n,i=1,2,…,d都成立。

定理2.1證畢。

在繼續(xù)之前,我們回顧一下多變量函數(shù)的光滑模。假設(shè)f:R→R,記C(R)為R上的所有連續(xù)函數(shù)的集合,賦予通常的范數(shù)。對(duì)于任意f∈C(R),多變量函數(shù)的光滑模定義為

其中δ>0,‖·‖2表示R上的歐幾里得范數(shù)。此外,對(duì)于連續(xù)函數(shù)f:R→R,有

=‖f‖∞<+∞。

(14)

定理2.2假設(shè)f∈C(R),則

下面定義集合

和

則以上不等式可改寫(xiě)為

(15)

接下來(lái),估計(jì)Δ1。

首先,定義‖·‖∞為R上的最大范數(shù)。即有

所以,對(duì)于索引集j∈S1,我們有

此外,在空間域R中有以下不等式成立

故,對(duì)于每一個(gè)s∈N+,結(jié)合‖Ψ‖∞≤1,

又由于,集合S1包含至少2d個(gè)元素。最后,得到

(16)

定理2.2證畢。

推論2.1假f(·)∈LipMα(0<α≤1),則

3 數(shù)值實(shí)驗(yàn)仿真與分析

本文的實(shí)驗(yàn)環(huán)境是Intel(R)Core(TM)i5-4590 CPU @ 3.30GHz處理器,在內(nèi)存為4GB的計(jì)算機(jī)、MATLAB版本是R2016a上運(yùn)行。

首先,我們給出的是1 000個(gè)散亂點(diǎn)在[-1,1]2上的均勻分布圖。如圖1。

圖1 1 000個(gè)均勻分布的散亂點(diǎn)

由于文中的非負(fù)Sigmoid函數(shù)σMs(x)是由s階的B樣條函數(shù)變化而來(lái)的。在本節(jié)中,我們將考慮由一階B樣條函數(shù)和二階B樣條函數(shù)(即s=1,2)變化出的兩個(gè)具體的Sigmoid函數(shù),即函數(shù)σM1(x)和σM2(x)來(lái)驗(yàn)證上文中給出的逼近定理。σM1(x)和σM2(x)定義為

(17)

及

(18)

例3.1考慮連續(xù)函數(shù)f1(x1,x2):[-1,1]2→R,定義為

例3.2考慮連續(xù)函數(shù)f2(x1,x2):[-1,1]2→R,定義為

f2(x1,x2):=sin(π·x1)×cos(π·x2)。

下面給出目標(biāo)連續(xù)函數(shù)f1(x1,x2)和f2(x1,x2)的曲面圖。如圖2。

圖2 目標(biāo)函數(shù)曲面圖

下面,針對(duì)以上兩個(gè)曲面和定義的函數(shù)σM1(x)和σM2(x)。我們依次選取不同個(gè)數(shù)的散亂點(diǎn)來(lái)進(jìn)行插值逼近,插值逼近的誤差結(jié)果分別見(jiàn)圖3和圖4。

圖3 s=1時(shí),f1(x1,x2)的逼近效果

4 結(jié) 論

文章利用一維B樣條函數(shù)構(gòu)造了一類(lèi)多元神經(jīng)網(wǎng)絡(luò)插值算子，研究了散亂數(shù)據(jù)的插值與逼近問(wèn)題。對(duì)于定義在有界域上的多元連續(xù)函數(shù)建立了一致逼近定理，并且給出了逼近誤差估計(jì)。通過(guò)對(duì)具體例子的數(shù)值模擬進(jìn)一步驗(yàn)證了理論結(jié)果的正確性。