徐寶昌,劉新樂(lè)

(中國(guó)石油大學(xué)地球物理與信息工程學(xué)院,北京 102249)

基于綜合目標(biāo)函數(shù)的神經(jīng)網(wǎng)絡(luò)多新息辨識(shí)算法

徐寶昌,劉新樂(lè)

(中國(guó)石油大學(xué)地球物理與信息工程學(xué)院,北京 102249)

為提高動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的辨識(shí)精度及抗噪性能,提出一種基于綜合目標(biāo)函數(shù)的多新息辨識(shí)算法。該算法基于多新息理論在最小均方誤差目標(biāo)函數(shù)中引入一輔助項(xiàng)構(gòu)造綜合目標(biāo)函數(shù),利用該目標(biāo)函數(shù)進(jìn)行網(wǎng)絡(luò)輸出層權(quán)值的訓(xùn)練,并采用牛頓法推導(dǎo)出輸出層權(quán)值的遞推計(jì)算公式。與已有二階學(xué)習(xí)算法相比,新算法魯棒性強(qiáng),收斂速度快,辨識(shí)精度高。仿真結(jié)果驗(yàn)證了算法的有效性。

系統(tǒng)辨識(shí)；綜合目標(biāo)函數(shù)；神經(jīng)網(wǎng)絡(luò)；多新息

人工神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性變換能力被廣泛應(yīng)用于非線性系統(tǒng)模型[1-4]。很多學(xué)者將不同的優(yōu)化方法用于網(wǎng)絡(luò)結(jié)構(gòu)的選擇與權(quán)值的訓(xùn)練,形成了各具特色的學(xué)習(xí)算法[5-8]。然而,學(xué)習(xí)算法的性能跟目標(biāo)函數(shù)同樣有很大關(guān)系。不同于構(gòu)造常規(guī)最小均方誤差目標(biāo)函數(shù),文獻(xiàn)[9]針對(duì)前饋型網(wǎng)絡(luò)構(gòu)造新的目標(biāo)函數(shù),提出了一種新的優(yōu)化算法,但是該方法中對(duì)樣本的剔除沒(méi)有依據(jù)；文獻(xiàn)[10]通過(guò)在目標(biāo)函數(shù)中引入輔助項(xiàng),以增強(qiáng)算法的抗噪性能,但僅用于穩(wěn)態(tài)網(wǎng)絡(luò)輸出層的權(quán)值訓(xùn)練；文獻(xiàn)[11]提出了基于泛化損失率的目標(biāo)函數(shù),并將粒子群算法用于神經(jīng)網(wǎng)絡(luò)權(quán)值訓(xùn)練,改善了網(wǎng)絡(luò)的收斂性能與泛化能力,該算法過(guò)于復(fù)雜。而且,在權(quán)值訓(xùn)練過(guò)程中,已有的方法都是利用的單新息參數(shù)修正技術(shù)。近年來(lái),丁鋒等[12-13]相繼提出了多新息理論并用于參數(shù)辨識(shí),可有效保證辨識(shí)性能。筆者研究動(dòng)態(tài)非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識(shí)問(wèn)題,針對(duì)訓(xùn)練樣本受噪聲污染嚴(yán)重的實(shí)際情況,提出一種新型的綜合目標(biāo)函數(shù),基于該目標(biāo)函數(shù)和多新息辨識(shí)理論對(duì)網(wǎng)絡(luò)輸出層的權(quán)值進(jìn)行訓(xùn)練。

1 非線性系統(tǒng)辨識(shí)的神經(jīng)網(wǎng)絡(luò)模型

離散的非線性時(shí)變系統(tǒng)可以描述為

式中,yk和uk為系統(tǒng)輸出、輸入向量；vk為零均值白噪聲序列；F為未知的非線性函數(shù)。

設(shè)綜合輸入

由于F未知,用具有rn個(gè)隱含層的前向神經(jīng)網(wǎng)絡(luò)逼近,即利用輸入、輸出樣本集ξ={(Uk,yk)|k=1,…,m}對(duì)此神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,使其在某一準(zhǔn)則下逼近于非線性系統(tǒng)(1)。對(duì)?k,神經(jīng)網(wǎng)絡(luò)輸出層和各隱層輸出向量分別為

2 算法分析

2.1 算法推導(dǎo)

對(duì)于神經(jīng)網(wǎng)絡(luò)系統(tǒng)而言,實(shí)際采集的訓(xùn)練樣本總會(huì)受到噪聲的污染,即使經(jīng)過(guò)一定的處理,噪聲的影響依然存在。在對(duì)網(wǎng)絡(luò)權(quán)值訓(xùn)練時(shí),如果依然采取常規(guī)最小均方誤差的目標(biāo)函數(shù),受噪聲污染的樣本會(huì)使得網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中出現(xiàn)壞數(shù)據(jù),甚至導(dǎo)致矩陣奇異,嚴(yán)重影響算法的收斂性,降低了算法克服噪聲影響的能力。而且,單新息參數(shù)修正沒(méi)有完全利用過(guò)去的誤差信息,難以保證參數(shù)辨識(shí)的性能[13],即k時(shí)刻的參數(shù)估計(jì)θ(k)是在θ(k-1)的基礎(chǔ)上,由增益向量h(k)與單新息e(k)乘積來(lái)修正: θ(k)=θ(k-1)+h(k)e(k)。多新息辨識(shí)理論就是將增益向量與新息向量拓展為矩陣,在每次迭代中,利用k=k-P+1到k=k時(shí)的P組數(shù)據(jù)對(duì)前一時(shí)刻的參數(shù)進(jìn)行修正。本文即采用多新息理論,同時(shí)利用輸入輸出數(shù)據(jù)的先驗(yàn)信息,在LMSE目標(biāo)函數(shù)中引入一輔助項(xiàng),構(gòu)成新的綜合目標(biāo)函數(shù)。基于該目標(biāo)函數(shù)進(jìn)行輸出層權(quán)值訓(xùn)練,能夠提高算法的學(xué)習(xí)速度和精度,增強(qiáng)算法的抗噪能力。

綜合目標(biāo)函數(shù)的形式為

式(4)中第一項(xiàng)將基于單新息的LMSE目標(biāo)函數(shù)進(jìn)行了拓展,P值的選取決定了新息向量的維數(shù),利用遍歷數(shù)據(jù)信息,有效提高學(xué)習(xí)算法的收斂速度。第二項(xiàng)用于約束網(wǎng)絡(luò)輸出的平滑性,利用P維網(wǎng)絡(luò)輸出對(duì)輸出層權(quán)值的一階導(dǎo)數(shù)進(jìn)行在線調(diào)整實(shí)現(xiàn)。

定理1對(duì)于多層前向神經(jīng)網(wǎng)絡(luò)模型,基于式(4)綜合目標(biāo)函數(shù),輸出層權(quán)值的遞推計(jì)算公式為

證明 式(4)可化為如下形式:

利用Gauss-Newton法求解式(12)的最小化問(wèn)題,可得輸出層權(quán)值的遞推計(jì)算公式為

故式(13),(16),(18),(22)組成了輸出層權(quán)值的遞推計(jì)算公式,每次輸入一個(gè)新的樣本,利用P維新息對(duì)權(quán)值進(jìn)行修正,所有樣本輸入,即完成一次訓(xùn)練。增加訓(xùn)練次數(shù),直至滿足精度的要求。在訓(xùn)練過(guò)程中,要始終保證Hessian矩陣的非奇異性,從而保證計(jì)算的穩(wěn)定性,所以的初始化矩陣=ωI,ω應(yīng)取一很大的數(shù)。定理1得證。0

對(duì)于輸入層和隱含層權(quán)值的訓(xùn)練,本文采用文獻(xiàn)[14]中提出的Karayiannis方法,該方法基于常規(guī)LMSE目標(biāo)函數(shù),利用Gauss-Newton法近似推導(dǎo)的一種二階學(xué)習(xí)方法,具有比經(jīng)典BP算法更快的收斂速度和辨識(shí)精度。

2.2 算法性能分析

(1)針對(duì)訓(xùn)練樣本受噪聲污染的實(shí)際情況,本文在常規(guī)LMSE目標(biāo)函數(shù)的基礎(chǔ)之上,通過(guò)引入一輔助約束項(xiàng),構(gòu)造綜合目標(biāo)函數(shù),提高網(wǎng)絡(luò)擬合曲面的光滑度,增強(qiáng)算法的抗噪能力。

(2)基于單新息參數(shù)修正的辨識(shí)算法,本文引入多新息理論,通過(guò)拓展新息向量,每次迭代中都可以利用遍歷信息,有效克服壞數(shù)據(jù)干擾,加快算法的收斂速度。其中P值的選取根據(jù)實(shí)際輸入輸出數(shù)據(jù)先驗(yàn)信息確定。

(4)基于最優(yōu)化理論,本文提出的算法具有較好的收斂性能。同時(shí)得到了辨識(shí)算法的遞推計(jì)算公式,可用于在線辨識(shí),有效減小計(jì)算量。

(5)根據(jù)式(22),權(quán)值增量的遞推公式可以寫成

BP算法中權(quán)值增量的計(jì)算公式為

式中,α為慣性因子；η為學(xué)習(xí)速率。

將式(23)、(24)作對(duì)比可發(fā)現(xiàn),式(23)也為帶有慣性系數(shù)和學(xué)習(xí)因子的遞推算法,它的慣性系數(shù)和學(xué)習(xí)因子都是基于多新息在線自適應(yīng)調(diào)整,有效防止算法震蕩,加快收斂。同時(shí)平滑算子λ的引入,增強(qiáng)了該辨識(shí)算法的魯棒性,平滑網(wǎng)絡(luò)擬合曲面。

3 仿真實(shí)驗(yàn)及分析

3.1 測(cè)試數(shù)據(jù)與模型評(píng)價(jià)標(biāo)準(zhǔn)

以如下典型非線性時(shí)變系統(tǒng)產(chǎn)生測(cè)試數(shù)據(jù):

其中,輸入信號(hào)u(k)=sin(0.01πk),v(k)為白噪聲,通過(guò)調(diào)整白噪聲v(k)的方差,得到不同噪信比的測(cè)試數(shù)據(jù),本例噪信比δns分別設(shè)為5%,20%, 35%。P=1時(shí),本文算法就退化為單新息的神經(jīng)網(wǎng)絡(luò)辨識(shí)算法。在不同的噪信比情況下,本文算法P分別取1和3,并與Karayiannis算法進(jìn)行比較,以訓(xùn)練次數(shù)與均方誤差作為性能評(píng)價(jià)標(biāo)準(zhǔn)。其中均方誤差定義為

3.2 辨識(shí)過(guò)程與結(jié)果分析

以Matlab7.0軟件為編程工具,采用三層網(wǎng)絡(luò)結(jié)構(gòu),其中輸入層為u(k)和y(k-1),一個(gè)6單元隱層及一個(gè)輸出y(k),學(xué)習(xí)速率α由一維搜索確定,初始權(quán)值為0與0.01間均勻分布的隨機(jī)數(shù)。不同噪信比情況下的仿真結(jié)果如圖1和表1所示。為驗(yàn)證ω應(yīng)取較大值,在P=1、噪信比δns為35%、ω分別取10和106時(shí)進(jìn)行相關(guān)辨識(shí)實(shí)驗(yàn),結(jié)果如圖2所示。

通過(guò)對(duì)比可以發(fā)現(xiàn),目標(biāo)函數(shù)中輔助項(xiàng)的引入可以有效克服噪聲的影響,同時(shí),多新息的引入加快了辨識(shí)算法的收斂性,精度亦有所提高。當(dāng)噪聲污染程度較大時(shí),算法的辨識(shí)性能明顯優(yōu)于Karayiannis算法。通過(guò)圖2對(duì)比曲線驗(yàn)證,初始化=ωI,ω應(yīng)取較大值(106)。仿真結(jié)果表明:基于綜合目標(biāo)函數(shù)的非線性神經(jīng)網(wǎng)絡(luò)多新息辨識(shí)算法在辨識(shí)精度與抗噪能力上均優(yōu)于已有的Karayiannis二階辨識(shí)算法。

圖1 不同噪信比時(shí)的仿真曲線Fig.1 Simulation curves for differentnoise-to-signal ratio

表1 不同噪信比下本文算法與Karayiannis算法仿真結(jié)果對(duì)比Table 1 Comparison of simulation results between two algorithms with different noise-to-signal ratio

圖2 ω取不同值時(shí)對(duì)比仿真曲線Fig.2 Comparison curves for different ω

4 結(jié)束語(yǔ)

通過(guò)在目標(biāo)函數(shù)中引進(jìn)平滑網(wǎng)絡(luò)輸出曲面的輔助約束項(xiàng),同時(shí)利用多新息參數(shù)修正,提出一種新型的非線性動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)辨識(shí)算法。該算法突破了常規(guī)LMSE目標(biāo)函數(shù)的限制,可有效抑制噪聲對(duì)訓(xùn)練樣本的影響,提高系統(tǒng)辨識(shí)的速度和精度。同時(shí)推導(dǎo)出算法的遞推計(jì)算公式,避免矩陣求逆,可有效降低存儲(chǔ)量和計(jì)算量。大量仿真結(jié)果表明本文算法具有魯棒性強(qiáng)、收斂快速、精度高的特點(diǎn),與現(xiàn)有的同類算法相比,更適用于非線性系統(tǒng)的辨識(shí)。

[1] ROJAS I,POMARES H,BERNIER J L,et al.Time series analysis using normalized PG-RBF network with regression weights[J].Neurocomputing,2002,42(1/4): 267-285.

[2] LACY S,L,BEMSTEIN D S.Subspace identification for non-linear systems with measured-input non-linearities[J]. International Journal of Control,2005,78(12):906-925.

[3] ZAPRANIS A,ALEXANDRIDIS A.model identification in wavelet neural networks framework.Proceedings of the 5th IFIP Conference on Artificial Intelligence Applications &Innovations,Thessaloniki,Greece,April 23-25,2009 [C].Berlin:Springer,2009.

[4] 華陳權(quán),王昌明,耿艷峰,等.基于神經(jīng)網(wǎng)絡(luò)的槽式孔板濕氣計(jì)量修正模型[J].中國(guó)石油大學(xué)學(xué)報(bào):自然科學(xué)版,2009,33(6):152-156.

HUA Chen-quan,WANG Chang-ming,GENG Yan-feng, et al.Wet gas flow metering correction model of slotted orifice based on neural network[J].Journal of China U-niversity of Petroleum(Edition of Natural Science), 2009,33(6):152-156.

[5] SINGH Y P,ROYCHOWDHURY P.Dynamic tunneling based regularization in feedforward neural networks[J]. Artificial Intelligence,2001,131(1/2):55-71.

[6] KONSTANTINOS P F.Biological engineering applications of feedforward neural networks designed and parameterized by genetic algorithms[J].Neural Networks,2005,18 (7):934-950.

[7] YU J B,WANG S J,Xi L F.Evolving artificial neural networks using an improved PSO and DPSO[J].Neurocomputing,2008,71(4/6):1054-1060.

[8] 邵紅梅,安鳳仙.一類訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的梯度算法及收斂性[J].中國(guó)石油大學(xué)學(xué)報(bào):自然科學(xué)版,2010, 34(4):176-178.

SHAO Hong-mei,AN Feng-xian.A class of gradient algorithms with variable learning rates and convergence analysis for feedforward neural networks training[J].Journal of China University of Petroleum(Edition of Natural Science),2010,34(4):176-178.

[9] CHEN D S,RAMESH C J.A robust back propagation learning algorithm for function approximation[J].IEEE Trans on Neural Networks,1994,5(3):467-479.

[10] 徐寶昌,羅雄麟,王金山.一種基于綜合目標(biāo)函數(shù)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].中國(guó)石油大學(xué)學(xué)報(bào):自然科學(xué)版,2009,33(6):95-99.

XU Bao-chang,LUO Xiong-lin,WANG Jin-shan.A novel neural network training algorithm based on generalized objective function[J].Journal of China University of Petroleum(Edition of Natural Science),2009,33 (6):95-99.

[11] 包芳,潘永惠.神經(jīng)網(wǎng)絡(luò)泛化性能優(yōu)化算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(22):5211-5213.

BAO Fang,PAN Yong-hui.Algorithm of generalization performance optimization of neural network[J].Computer Engineering and Design,2009,30(22):5211-5213.

[12] DING F,CHEN T.Performance analysis of mlti-innovation gradient type identification methods[J].Automatica,2007,43(1):1-14.

[13] DING F,CHEN H B,LI M.Multi-innovation least squares identification methods based on the auxiliary model for MISO systems[J].Applied Mathematics and Computation,2007,187(2):658-668.

[14] 王永驥,涂健.神經(jīng)元網(wǎng)絡(luò)控制[M].北京:機(jī)械工業(yè)出版社,1999.

(編輯 修榮榮)

Multi-innovation identification algorithm of neural network based on generalized objective function

XU Bao-chang,LIU Xin-le
(College of Geophysics and Information Engineering in China University of Petroleum,Beijing 102249,China)

To improve the identification accuracy and robustness to noise of dynamic neural network learning algorithm,multi-innovation identification algorithm based on a generalized objective function was presented.The generalized function based on multi-innovation theory was constructed by combining an auxiliary constraint term with the least mean square error.The weight matrix of output layer was trained using the generalized function.The recursive equations for training weight matrix of output layer were derived using Newton iterative algorithm.Compared with the existed second-order learning algorithm,this algorithm has stronger robustness,better convergent rate and accuracy.Simulation results show the efficiency of the new algorithm.

system identification；generalized objective function；neural network；multi-innovation

TP 183

A

1673-5005(2013)02-0165-05

10.3969/j.issn.1673-5005.2013.02.027

2012-09-05

國(guó)家重大專項(xiàng)(2011ZX05021-003)

徐寶昌(1974-),男,副教授,博士,主要從事復(fù)雜油氣系統(tǒng)的信息處理、建模與先進(jìn)控制。E-mail:xbcyl@163.com。