楊文光，閆守峰，文小艷

(華北科技學(xué)院基礎(chǔ)部，中國(guó) 北京 101601)

目前，前向神經(jīng)網(wǎng)絡(luò)是應(yīng)用最為廣泛，研究最為成熟的一種人工神經(jīng)網(wǎng)絡(luò)模型．由于這種神經(jīng)網(wǎng)絡(luò)構(gòu)造相對(duì)簡(jiǎn)單，且有效地解決了非線性目標(biāo)函數(shù)的逼近問(wèn)題，而被大量的應(yīng)用于模式識(shí)別、系統(tǒng)辨識(shí)、信號(hào)處理和自動(dòng)控制等學(xué)科領(lǐng)域中[1-3]．與模糊系統(tǒng)的結(jié)合應(yīng)用，使得作為神經(jīng)網(wǎng)絡(luò)構(gòu)成要素的激勵(lì)函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)算法都隨之發(fā)生改變．現(xiàn)在關(guān)于模糊前向神經(jīng)網(wǎng)絡(luò)的研究還較少，現(xiàn)有的一些文獻(xiàn)，更多的停留在將二者進(jìn)行簡(jiǎn)單地交叉，或是使用模糊數(shù)學(xué)的隸屬函數(shù)作為前向神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)，或是使用前向神經(jīng)網(wǎng)絡(luò)強(qiáng)大數(shù)據(jù)處理功能來(lái)解決未知系統(tǒng)的規(guī)則確定問(wèn)題，這些工作未將二者有效的整合在一起．隨著我們處理問(wèn)題難度的加大和非線性因素的不斷增多，問(wèn)題的描述和求解變得越來(lái)越困難，未知系統(tǒng)內(nèi)部蘊(yùn)含的函數(shù)關(guān)系幾乎不可能得到，但借鑒于人類在處理問(wèn)題時(shí)所具有的學(xué)習(xí)和模仿的天賦，許多智能算法孕育而生．神經(jīng)網(wǎng)絡(luò)因其能夠描述大量數(shù)據(jù)之間的復(fù)雜函數(shù)關(guān)系，并具有分布式存儲(chǔ)、并行性計(jì)算等特點(diǎn)，而備受關(guān)注．上世紀(jì)九十年代，模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)后產(chǎn)生了模糊神經(jīng)網(wǎng)絡(luò)，它既是神經(jīng)網(wǎng)絡(luò)的模糊化，更是模糊系統(tǒng)的神經(jīng)網(wǎng)絡(luò)化，可以說(shuō)它是某種意義下的折中處理，它既減小了神經(jīng)網(wǎng)絡(luò)的計(jì)算量，又增強(qiáng)了模糊系統(tǒng)的規(guī)則提取的便捷性．中山大學(xué)的張雨濃教授依據(jù)函數(shù)逼近理論，變換隱層神經(jīng)元的激勵(lì)函數(shù)，利用廣義逆(偽逆)得到了隱層神經(jīng)元最優(yōu)權(quán)值直接確定算法，為研究高效高逼近精度的神經(jīng)網(wǎng)絡(luò)開(kāi)辟了新的研究途徑，奠定了扎實(shí)的理論和仿真實(shí)例基礎(chǔ)[4-7]，但文[4～6]涉及的處理多輸入系統(tǒng)的算法或是過(guò)于復(fù)雜，或是在實(shí)時(shí)性要求方面有待提高，或是沒(méi)有較好的利用訓(xùn)練數(shù)據(jù)中一些可用數(shù)據(jù)．此外，文[8～11]利用多項(xiàng)式函數(shù)構(gòu)造了不同的三層前向神經(jīng)網(wǎng)絡(luò)，但構(gòu)造也較為復(fù)雜且逼近精度較低．鑒于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的數(shù)據(jù)處理能力，關(guān)于它的研究層出不窮，促使了新的交叉方向的出現(xiàn)[12-14]．模糊系統(tǒng)中的隸屬度函數(shù)為描述不確定性問(wèn)題提供了定量化工具，本文將其與多輸入單輸出采樣數(shù)據(jù)結(jié)合生成隱層神經(jīng)元，充分考慮采樣數(shù)據(jù)在建模中的重要性，同時(shí)為了還原原始數(shù)據(jù)，利用權(quán)值直接確定方法得到較高逼近精度的近似插值型神經(jīng)網(wǎng)絡(luò)．該神經(jīng)網(wǎng)絡(luò)逼近精度的高低將會(huì)在很大程度上取決于采樣數(shù)據(jù)的多少．

1 雙輸入型模糊前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為明確起見(jiàn)，下面先就一些基本術(shù)語(yǔ)和記號(hào)加以約定和標(biāo)記．

對(duì)于三維Euclid空間，設(shè) (x1,y1,z1), (x2,y2,z2),…, (xn,yn,zn)為雙輸入單輸出采樣數(shù)據(jù)，作為插值樣本．

定義1設(shè)矩形區(qū)域V={(x,y)|a≤x≤b,c≤y≤d}， (x1,y1)，(x2,y2)，…，(xn,yn)是V內(nèi)任意n個(gè)不同分點(diǎn)，已知Ai(x)∈C[a,b]，Bi(y)∈C[c,d]，且函數(shù)族{Ai(x)}，{Bi(y)}分別線性無(wú)關(guān)，則稱{Ai(x)Bi(y)}為V上的乘積型基函數(shù)(i=1, 2,…,n)．

圖1 高斯型隸屬函數(shù) 圖2 雙輸入型模糊前向神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fig.1 Gauss type membership function Fig.2 Dual-input fuzzy feedforward neural network topology

依據(jù)定義3和前向神經(jīng)網(wǎng)絡(luò)的反饋機(jī)理構(gòu)建四層前向神經(jīng)網(wǎng)絡(luò)，見(jiàn)圖2．該拓?fù)浣Y(jié)構(gòu)中含雙隱層．先是第一隱層利用高斯型隸屬函數(shù)作為激勵(lì)函數(shù)對(duì)雙輸入數(shù)據(jù)進(jìn)行分離處理，后第二隱層借助乘積型基函數(shù)作為激勵(lì)函數(shù)又將分離數(shù)據(jù)復(fù)合處理，這樣做既重視了每組數(shù)據(jù)中不同分量的差異性，又重視每組數(shù)據(jù)中不同分量的相互聯(lián)系．即

σ(Ai(x),Bi(y))=Ai(x)Bi(y)=exp[-(x-xi)2-(y-yi)2]，

簡(jiǎn)記為σ(Ai(x),Bi(y))=σi(x,y)，其中i=1, 2,…,n．第一、二隱層分別含2n與n個(gè)神經(jīng)元．

為了簡(jiǎn)化計(jì)算，設(shè)定輸入層神經(jīng)元到第一隱層神經(jīng)元連接權(quán)值和第一隱層神經(jīng)元到第二隱層神經(jīng)元連接權(quán)值全部為1，第二隱層神經(jīng)元到輸出層神經(jīng)元連接權(quán)值向量為w=(w1,w2,…,wn)T，則與圖2吻合的四層前向神經(jīng)網(wǎng)絡(luò)模型為

(1)

定理1依據(jù)公式(1)設(shè)計(jì)的四層前向神經(jīng)網(wǎng)絡(luò)是插值樣本集{(xi,yi,zi) |zi=u(xi,yi),i=1, 2,…,n}的最佳平方逼近．

證第一隱層神經(jīng)元激勵(lì)函數(shù)選擇為高斯型隸屬函數(shù)，Ai(x)=exp[-(x-xi)2]，Bi(y)= exp[-(y-yi)2]，0

現(xiàn)先看函數(shù)族{A1(x),A2(x),…,An(x)}的線性相關(guān)性問(wèn)題．設(shè)存在實(shí)數(shù)k1,k2,…,kn，使得k1A1(x)+k2A2(x)+…+knAn(x)=0，不妨取x=x1,…,x=xn，則有A1(x1)=A2(x2)=An(xn)=1，代入得矩陣方程為

顯然Ai(xj)=Aj(xi)=exp[-(xi-xj)2]，故A=AT．

又由00，所以k1=k2=…=kn=0，即說(shuō)明函數(shù)族{Ai(x)}線性無(wú)關(guān)且連續(xù)．

同理可證，函數(shù)族{Bi(y)}線性無(wú)關(guān)且連續(xù)，所以σ(Ai(x),Bi(y))=Ai(x)Bi(y)是V上的乘積型基函數(shù)．

由多元函數(shù)極值理論，利用插值樣本集{(xi,yi,zi) |zi=u(xi,yi),i=1, 2,…,n}得到的神經(jīng)網(wǎng)絡(luò)模型實(shí)為插值型問(wèn)題z=u(x,y)的解存在且唯一．故f為u在V上的最佳平方逼近函數(shù)．

2 雙輸入型模糊前向神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定與算法實(shí)現(xiàn)

2.1 權(quán)值直接確定

采樣數(shù)據(jù)蘊(yùn)含著系統(tǒng)內(nèi)部的輸入與輸出之間的函數(shù)關(guān)系，前面建立的雙輸入模糊前向神經(jīng)網(wǎng)絡(luò)，需要進(jìn)一步使用訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，使其達(dá)到更高的逼近精度．一般而言，若訓(xùn)練數(shù)據(jù)個(gè)數(shù)為m，則m?n．在本文建立的模糊前向神經(jīng)網(wǎng)絡(luò)過(guò)程中采用的插值樣本集即是訓(xùn)練數(shù)據(jù)集的真子集．

定義4設(shè)實(shí)矩陣X∈Rn×m，如果U∈Rm×n，滿足XUX=X，UXU=U，(XU)T=XU，(UX)T=UX，則稱U為X的Moore-Penrose廣義逆矩陣或偽逆．

依據(jù)張雨濃教授所提出的前向神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定算法[4]，對(duì)于多輸入單輸出模糊前向神經(jīng)網(wǎng)絡(luò)，由誤差反向傳播學(xué)習(xí)算法亦得如下定理．

定理2依公式(1)建立的模糊前向神經(jīng)網(wǎng)絡(luò)在輸入訓(xùn)練數(shù)據(jù)集為α=((x01,y01,z01)，(x02,y02,z02)，…，(x0m,y0m,z0m))，w=(w1,w2,(,wn)T是第二隱層與輸出層神經(jīng)元之間的連接權(quán)值向量，輸入受激勵(lì)矩陣U∈Rm×n，目標(biāo)輸出矩陣β= (z01,z02,(,z0m)T∈Rm，則模糊前向神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值可直接確定為

w=(UTU)-1UTβ.

(2)

證輸入受激勵(lì)矩陣

由矩陣論知識(shí)可知，對(duì)于矩陣方程組Uw=β，只有U是列滿秩時(shí)，最小二乘解才是唯一的，且為(UTU)-1UT，否則便有無(wú)窮多個(gè)最小二乘解．其中σi(x0j,y0j)=Ai(x0j)Bi(y0j)>0,i=1,2,…,n,j=1, 2,…,m.

權(quán)值迭代公式為

w(k+1)=w(k)-ηUT[Uw(k)-β].

(3)

故對(duì)(3)兩邊求極限得最優(yōu)權(quán)值向量w=w-ηUT[Uw-β]，即w=(UTU)-1UTβ，學(xué)習(xí)率η取為1．

定理3依據(jù)公式(1)設(shè)計(jì)的四層模糊前向神經(jīng)網(wǎng)絡(luò)是插值樣本集{(xi,yi,zi) |zi=u(xi,yi),i=1, 2,…,n}的近似插值型神經(jīng)網(wǎng)絡(luò)．

由于w是對(duì)應(yīng)權(quán)值向量方程組的最小二乘解，故滿足z≈zi．

2.2 算法實(shí)現(xiàn)過(guò)程

為方便實(shí)現(xiàn)，對(duì)訓(xùn)練數(shù)據(jù)，以及由訓(xùn)練數(shù)據(jù)集中提取出的重要插值樣本集進(jìn)行重新排序．

步驟1由訓(xùn)練數(shù)據(jù)得到真實(shí)模型；

步驟2在訓(xùn)練數(shù)據(jù)中提取重要的插值樣本集，對(duì)兩組數(shù)據(jù)按照x和y的升序重新排序編號(hào)，由于插值樣本集是訓(xùn)練數(shù)據(jù)集的真子集，所以必存在標(biāo)號(hào)0i和j，使得xj=x0i,yj=y0i,zj=z0i,i=1,2,…,m;j=1, 2,…,n;

步驟3由插值樣本集和訓(xùn)練數(shù)據(jù)集依據(jù)公式(1)、(2)，按照權(quán)值直接確定方法得到最優(yōu)權(quán)值向量w，其中U的廣義逆(偽逆)直接調(diào)用MATLAB中的pinv(U)得到；

步驟4由(1)確定逼近模型輸出，最終由訓(xùn)練數(shù)據(jù)集的輸入和逼近模型輸出得逼近模型．

3 仿真實(shí)驗(yàn)

為驗(yàn)證算法的有效性，下面選擇文[10]與[4]中出現(xiàn)的二元函數(shù)作為真實(shí)模型，給出逼近模型，并比較一些統(tǒng)計(jì)參數(shù)，如運(yùn)行時(shí)間、相對(duì)誤差、均方差等．需要指出的是本文實(shí)驗(yàn)的硬件電腦配置是Intel(R)Core(TM)i5-2450M CPU @2.5 GHZ,內(nèi)存為4.00 G，64位操作系統(tǒng)．輸入變量x∈[-1,1]，y∈[-1,1]，選擇x和y的采樣步長(zhǎng)h=0.04,均勻采樣獲得訓(xùn)練數(shù)據(jù)集α含2601組數(shù)據(jù)．然后分別按照變量x和y的升序重新排列以便實(shí)現(xiàn)網(wǎng)絡(luò)建模．對(duì)于兩個(gè)目標(biāo)函數(shù)，選擇的插值樣本集從α中獲取，即相當(dāng)于選擇x和y的采樣步長(zhǎng)h1=kh，k=1,2,…，當(dāng)然可以選擇h1=h，但會(huì)增加計(jì)算的復(fù)雜度，在下面的實(shí)驗(yàn)中選擇h1=0.08即可使得均方差、相對(duì)誤差等指標(biāo)達(dá)到預(yù)期目的．利用MATLAB7.5.0(R2007b)對(duì)目標(biāo)函數(shù)1、2進(jìn)行了建模，見(jiàn)圖3～6，并對(duì)利用randn()函數(shù)對(duì)目標(biāo)函數(shù)2加入了峰值為0.01的隨機(jī)噪聲，得到了去噪后的逼近模型，見(jiàn)圖7～8．

目標(biāo)函數(shù)1：z=4x2-2y2+8xy，

目標(biāo)函數(shù)2：z=ysin(x+y)exp(-y2)+1.

圖3 目標(biāo)函數(shù)1與逼近模型Fig.3 The objective function of 1 and approximation model

圖4 逼近模型絕對(duì)誤差與相對(duì)誤差Fig.4 Absolute error and relative error of approximation model

圖5 目標(biāo)函數(shù)2與逼近模型Fig.5 The objective function of 2 and approximation model

圖6 逼近模型絕對(duì)誤差與相對(duì)誤差Fig.6 Absolute error and relative error of approximation model

圖7 加噪目標(biāo)函數(shù)2與去噪輸出Fig.7 Noise target function 2 and de-noising output

圖8 去噪絕對(duì)誤差與相對(duì)誤差Fig.8 De-noising of absolute and relative errors

從仿真實(shí)驗(yàn)的總體效果來(lái)講，模糊前向神經(jīng)網(wǎng)絡(luò)在較短時(shí)間內(nèi)完成了建模，較之文[10]，較好利用了訓(xùn)練數(shù)據(jù)集，逼近精度提高了至少5倍；較之文[4]，運(yùn)行時(shí)間大幅度縮短，均方差和相對(duì)誤差等指標(biāo)只是有些稍遜，但在采樣誤差和設(shè)備精度的硬件設(shè)施的制約下，提高反應(yīng)時(shí)間顯得更為重要；在目標(biāo)函數(shù)加入噪聲后，本文方法依然有效，說(shuō)明它可以有效去除測(cè)量誤差等干擾因素的影響，具體參數(shù)指標(biāo)見(jiàn)表1．

表1 網(wǎng)絡(luò)性能

4 結(jié)束語(yǔ)

直接來(lái)源于訓(xùn)練數(shù)據(jù)集的插值樣本集，為建立模模糊前向神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元提供了重要的數(shù)據(jù)．根據(jù)實(shí)際需要和采樣數(shù)據(jù)的多少，靈活調(diào)節(jié)隱層神經(jīng)元個(gè)數(shù)，在確定神經(jīng)元個(gè)數(shù)后利用權(quán)值直接確定方法確定最優(yōu)權(quán)值，使得網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到較好的設(shè)置．?dāng)?shù)值仿真實(shí)驗(yàn)表明，雙輸入型模糊前向神經(jīng)網(wǎng)絡(luò)可以解決復(fù)雜數(shù)據(jù)集的實(shí)時(shí)性高精度建模問(wèn)題．

參考文獻(xiàn)：

[1] 黃媛玉,毛 弋. 基于主成分分析法的遺傳神經(jīng)網(wǎng)絡(luò)模型對(duì)電力系統(tǒng)的短期負(fù)荷預(yù)測(cè)[J]. 湖南師范大學(xué)自然科學(xué)學(xué)報(bào), 2011,34(5):26-31.

[2] 周春光,張 冰,梁艷春，等. 模糊神經(jīng)網(wǎng)絡(luò)及其在時(shí)間序列分析中的應(yīng)用[J]. 軟件學(xué)報(bào), 1999,10(12):1304-1309.

[3] 沈 謙,王 濤,張德龍. 基于模糊前向神經(jīng)網(wǎng)絡(luò)的PVC識(shí)別方法[J]. 計(jì)算機(jī)工程與科學(xué), 2000,22(6):60-62.

[4] 張雨濃，勞穩(wěn)超，余曉填,等. 兩輸入冪激勵(lì)前向神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定[J].計(jì)算機(jī)工程與應(yīng)用, 2012,48(15):102-106.

[5] 張雨濃,曲 璐,陳俊維,等. 多輸入Sigmoid激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定法[J]. 計(jì)算機(jī)應(yīng)用研究, 2012,29(11):4113-4151.

[6] 肖秀春,張雨濃,姜孝華. MISO多元廣義多項(xiàng)式神經(jīng)網(wǎng)絡(luò)及其權(quán)值直接求解[J]. 中山大學(xué)學(xué)報(bào)：自然科學(xué)版, 2009,48(4):42-56.

[7] 張雨濃,楊逸文. PID神經(jīng)元網(wǎng)絡(luò)之權(quán)值直接確定法研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2009,45(19):189-191.

[8] 曹飛龍,徐宗本,梁吉業(yè). 多項(xiàng)式函數(shù)的神經(jīng)網(wǎng)絡(luò)逼近：網(wǎng)絡(luò)的構(gòu)造與逼近算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2003,26(8):906-912.

[9] 王建軍,徐宗本. 多元多項(xiàng)式函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)逼近方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2009,32(12):2482-2488.

[10] 曹飛龍,張永全,潘 星. 構(gòu)造前向神經(jīng)網(wǎng)絡(luò)逼近多項(xiàng)式函數(shù)[J]. 模式識(shí)別與人工智能, 2007,20(3):331-335.

[11] 曹飛龍,徐宗本. 多變?cè)芷诤瘮?shù)的神經(jīng)網(wǎng)絡(luò)逼近：逼近階估計(jì)[J]. 計(jì)算機(jī)學(xué)報(bào), 2001,24(9):903-908.

[12] 鄒阿金,張雨濃,肖秀春. Hermite混沌神經(jīng)網(wǎng)絡(luò)異步加密算法[J]. 智能系統(tǒng)學(xué)報(bào), 2009,4(5):458-462.

[13] ZHANG Y N, WANG J. Recurrent neural networks for nonlinear output regulation[J]. Automatica, 2001,37(8):1161-1173.

[14] 楊文光. 權(quán)值直接確定的三角型模糊前向神經(jīng)網(wǎng)絡(luò)[J]. 中山大學(xué)學(xué)報(bào):自然科學(xué)版,2013,52(2):33-37.