戴　蓉，黃　成

(1.中國(guó)民用航空飛行學(xué)院 計(jì)算機(jī)學(xué)院,四川 廣漢 618307; 2.四川工程職業(yè)技術(shù)學(xué)院,四川 德陽(yáng) 618000)

?

基于時(shí)變神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)辨識(shí)算法

戴蓉1，黃成2

(1.中國(guó)民用航空飛行學(xué)院 計(jì)算機(jī)學(xué)院,四川 廣漢 618307; 2.四川工程職業(yè)技術(shù)學(xué)院,四川 德陽(yáng) 618000)

摘要：為了實(shí)現(xiàn)在有限時(shí)間區(qū)間上可重復(fù)運(yùn)行的離散時(shí)變非線性系統(tǒng)辨識(shí)，給出基于時(shí)變神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)辨識(shí)算法。對(duì)于每一個(gè)固定時(shí)刻，以該時(shí)刻的神經(jīng)網(wǎng)絡(luò)逼近該時(shí)刻系統(tǒng)輸入輸出間的映射關(guān)系,提出了在同一時(shí)刻沿迭代軸訓(xùn)練網(wǎng)絡(luò)權(quán)值的帶死區(qū)迭代學(xué)習(xí)最小二乘算法，為防止收斂速度下降過(guò)快，進(jìn)一步提出了協(xié)方差陣可重調(diào)的改進(jìn)算法。所提算法有較快的收斂速度，且時(shí)變神經(jīng)網(wǎng)絡(luò)對(duì)非線性時(shí)變系統(tǒng)的辨識(shí)精度也較高。

關(guān)鍵詞：系統(tǒng)辨識(shí)；非線性時(shí)變系統(tǒng)；時(shí)變神經(jīng)網(wǎng)絡(luò)；迭代學(xué)習(xí)；最小二乘

0引言

由于線性系統(tǒng)的特性關(guān)于參數(shù)是線性的，人們可以推廣已有線性系統(tǒng)辨識(shí)方法，給出可線性參數(shù)化的非線性動(dòng)態(tài)系統(tǒng)的參數(shù)估計(jì)。這些參數(shù)估計(jì)算法往往只適合辨識(shí)定?；蚵龝r(shí)變參數(shù)系統(tǒng)。已提出的針對(duì)時(shí)變參數(shù)系統(tǒng)的辨識(shí)方法如帶遺忘因子的最小二乘法[1]、卡爾曼濾波法[2]等，通常是沿時(shí)間軸對(duì)時(shí)變參數(shù)進(jìn)行跟蹤，估計(jì)誤差能沿時(shí)間軸實(shí)現(xiàn)有界收斂。

迭代學(xué)習(xí)辨識(shí)方法適于解決在有限時(shí)間區(qū)間上可重復(fù)運(yùn)行的動(dòng)態(tài)系統(tǒng)的時(shí)變參數(shù)估計(jì)問(wèn)題。在一定條件下，該方法可對(duì)系統(tǒng)實(shí)現(xiàn)完全辨識(shí)任務(wù)，使整個(gè)有限時(shí)間區(qū)間上的估計(jì)誤差沿迭代軸收斂到零。文獻(xiàn)[3]針對(duì)一類(lèi)含有未知時(shí)變參數(shù)的離散時(shí)變系統(tǒng)，給出了迭代學(xué)習(xí)投影和迭代學(xué)習(xí)最小二乘2種算法。通過(guò)在同一時(shí)刻沿迭代軸估計(jì)系統(tǒng)的未知時(shí)變參數(shù)，此類(lèi)辨識(shí)方法可使整個(gè)有限時(shí)間區(qū)間上的估計(jì)誤差沿迭代軸逐點(diǎn)收斂到零。對(duì)于系統(tǒng)存在未建模動(dòng)態(tài)或存在外界擾動(dòng)時(shí)的情形，需要進(jìn)一步研究。

已證明神經(jīng)網(wǎng)絡(luò)對(duì)非線性連續(xù)函數(shù)具有良好的逼近能力[4-6]。近年來(lái)，以神經(jīng)網(wǎng)絡(luò)辨識(shí)非線性定常系統(tǒng)方面的研究成果很多[7-10]。 已有文獻(xiàn)中神經(jīng)網(wǎng)絡(luò)的權(quán)值大多是沿時(shí)間軸進(jìn)行訓(xùn)練，訓(xùn)練完后網(wǎng)絡(luò)的輸入與輸出之間的映射關(guān)系是固定不變的，而時(shí)變系統(tǒng)的輸入輸出之間的映射關(guān)系會(huì)隨時(shí)間不斷變化，這要求神經(jīng)網(wǎng)絡(luò)的輸入輸出之間的映射關(guān)系也能隨時(shí)間變化。 文獻(xiàn)[11]將權(quán)值當(dāng)作系統(tǒng)的未知時(shí)變參數(shù)，利用卡爾曼濾波算法對(duì)其進(jìn)行估計(jì)，取得了較好的辨識(shí)效果。但該算法仍舊是沿時(shí)間軸估計(jì)權(quán)值，估計(jì)誤差能沿時(shí)間軸實(shí)現(xiàn)漸近收斂。本文所要研究的問(wèn)題是如何在一有限時(shí)間區(qū)間上利用神經(jīng)網(wǎng)絡(luò)完全辨識(shí)非線性時(shí)變系統(tǒng)。

本文針對(duì)在有限時(shí)間區(qū)間上重復(fù)運(yùn)行的非線性離散時(shí)變系統(tǒng)， 提出基于時(shí)變神經(jīng)網(wǎng)絡(luò)辨識(shí)的迭代學(xué)習(xí)辨識(shí)算法。其主要方法是：對(duì)于每一個(gè)固定時(shí)刻，以該時(shí)刻的神經(jīng)網(wǎng)絡(luò)逼近該時(shí)刻系統(tǒng)輸入輸出間的映射關(guān)系。本文提出在同一時(shí)刻沿迭代軸訓(xùn)練網(wǎng)絡(luò)權(quán)值的帶死區(qū)迭代學(xué)習(xí)最小二乘算法?？紤]算法收斂性能，本文進(jìn)一步提出一種協(xié)方差陣可重調(diào)的改進(jìn)算法。理論分析表明，所提算法可以保證整個(gè)有限時(shí)間區(qū)間上的估計(jì)誤差沿迭代軸逐點(diǎn)收斂到原點(diǎn)的鄰域內(nèi)，鄰域半徑取決于神經(jīng)網(wǎng)絡(luò)的建模精度。仿真結(jié)果進(jìn)一步驗(yàn)證了所提算法的有效性。

1時(shí)變神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)能以任意精度逼近緊集上的任意非線性連續(xù)函數(shù)，常用于非線性復(fù)雜系統(tǒng)的建模與控制。

本文考慮一類(lèi)時(shí)變神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)的含定常權(quán)值的神經(jīng)網(wǎng)絡(luò)不同，該類(lèi)網(wǎng)絡(luò)的輸入、輸出與權(quán)值均可隨時(shí)間變化。一類(lèi)多輸入單輸出的時(shí)變神經(jīng)網(wǎng)絡(luò)可表示為

(1)

(1)式中：x(t)=[x1(t),x2(t),…,xn(t)]T∈Rn為網(wǎng)絡(luò)輸入向量；y(t)為網(wǎng)絡(luò)輸出標(biāo)量；W(t)=[w1(t),…,wl(t)]T為可調(diào)的時(shí)變權(quán)值向量；φ(x(t))=[φ1(x(t)),φ2(x(t)),…,φl(shuí)(x(t))]T為激勵(lì)函數(shù)向量組，l為神經(jīng)元節(jié)點(diǎn)數(shù)。

激勵(lì)函數(shù)φ(·)的選擇很多，如階躍函數(shù)，Logistic函數(shù)，高斯函數(shù)等。以高階神經(jīng)網(wǎng)絡(luò)為例，激勵(lì)函數(shù)可選為

(2)

(3)

假設(shè)對(duì)于有界的xj(t)可得有界的φ(xj(t))，事實(shí)上很多激勵(lì)函數(shù)均滿(mǎn)足此條件。因此，對(duì)于有界的x(t)，有

(4)

非線性時(shí)變系統(tǒng)廣泛存在于實(shí)際系統(tǒng)中，本文以上述時(shí)變神經(jīng)網(wǎng)絡(luò)逼近未知時(shí)變映射f(x(t),t)，從而達(dá)到辨識(shí)目的。事實(shí)上，對(duì)于每一個(gè)特定的時(shí)刻t=t*∈[0,T],f(x(t),t)是關(guān)于x的非線性函數(shù)。因此，對(duì)于每一確定的時(shí)刻t，時(shí)變神經(jīng)網(wǎng)絡(luò)就退化為傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。

2非線性離散時(shí)變系統(tǒng)辨識(shí)

考慮下述可重復(fù)運(yùn)行的SISO非線性離散時(shí)變系統(tǒng)

(5)

(5)式中：n>0,m>0;f(·)為未知的光滑非線性時(shí)變函數(shù)；t∈{0,1,…,T}為一有限的時(shí)間區(qū)間；k∈{0,1,… }為迭代次數(shù)。

記

則系統(tǒng)(5)可重寫(xiě)為

(6)

設(shè)系統(tǒng)(6)的時(shí)變神經(jīng)網(wǎng)絡(luò)模型為

(7)

(8)

(9)

定義估計(jì)誤差ek(t+1)為

(10)

我們的辨識(shí)目標(biāo)是尋找時(shí)變權(quán)值W(t)的估計(jì)值Wk(t)，t∈{n-1,n,…,T-1}，使得當(dāng)?shù)螖?shù)k足夠大時(shí)，整個(gè)辨識(shí)區(qū)間t∈{n,…,T}上的估計(jì)誤差ek(t)能盡可能小。

系統(tǒng)初值{yk(0),yk(1),…,yk(n-1)}是由初始條件確定，這里僅考慮有限辨識(shí)區(qū)間t∈{n,…,T}上的估計(jì)誤差。

2.1帶死區(qū)迭代學(xué)習(xí)最小二乘算法

為克服神經(jīng)網(wǎng)絡(luò)建模誤差項(xiàng)的影響，依據(jù)文獻(xiàn)[12]中的帶死區(qū)最小二乘算法，在設(shè)計(jì)權(quán)值更新律時(shí)，給出一種帶死區(qū)的迭代學(xué)習(xí)最小二乘算法。本算法中的神經(jīng)網(wǎng)絡(luò)權(quán)值是在同一時(shí)刻沿迭代軸進(jìn)行訓(xùn)練。該迭代算法為

(11)

(12)

(11)—(12)式中：初值W0(t)，t∈{n-1,n,…,T-1}給定有界；協(xié)方差陣P0(t)，t∈{n-1,n,…,T-1}取成對(duì)陣正定陣；ak(t)為

ak(t)=

(13)

迭代學(xué)習(xí)算法(11)—(13)中，權(quán)值是沿迭代軸k而非時(shí)間軸t進(jìn)行估計(jì)。根據(jù)(11)式，當(dāng)計(jì)算Wk+1(t)時(shí)，需要計(jì)算ek(t+1)，沿時(shí)間軸t看ek(t+1)是非因果的，而沿迭代軸k看它是可計(jì)算的。

2.2收斂性分析

對(duì)迭代學(xué)習(xí)算法(11)—(13)進(jìn)行收斂性分析。

定理1對(duì)于系統(tǒng)(6)，學(xué)習(xí)算法(11)—(13)具有以下性質(zhì)。

證明根據(jù)(8)—(10)式可得

(14)

在(11)式兩邊減去W(t)可得

(15)

將(14)式代入(15)式可得

(16)

(17)

將(17)式代入(16)式整理得

另外，根據(jù)矩陣求逆引理[12]易得

(18)

Vk+1(t)-Vk(t)=

(19)

將(15)式、(18)式代入(19)式并整理得

Vk+1(t)-Vk(t)=

(20)

將

代入(20)式可得

(21)

(22)

下面根據(jù)(13)式分2種情況討論:

根據(jù)式(21)可得

(23)

由(18)式可知，Pk(t)為一對(duì)稱(chēng)正定矩陣，又bk(t)>0，所以有

因此

(24)

又0

在上式兩邊對(duì)k進(jìn)行累加得

因?yàn)閂0(t)有界，bk(t)>0，所以

(25)

根據(jù)(12)式可得

(26)

(27)

記ck(t)=bk(t)φT(xk(t))Pk(t)φ(xk(t))，根據(jù)bk(t)的定義有

(28)

根據(jù)(25)式可得

(29)

又xk(t)∈S有界，根據(jù)(4)式可知(29)式的分母項(xiàng)有界，結(jié)合(28)式有

(30)

綜合以上2種情況可得

(31)

(32)

因此Vk(t)是非負(fù)的不增序列。

由(18)式可得

(33)

結(jié)合(32)式可得

(34)

即有

(35)

(36)

又根據(jù)(31)式直接可得

(37)

這就保證了估計(jì)誤差的一致有界收斂性，性質(zhì)(ii)得證。

3協(xié)方差陣可重調(diào)的改進(jìn)算法

我們發(fā)現(xiàn)，隨著迭代次數(shù)的增加，(12)式中的協(xié)方差陣Pk(t)會(huì)變得很小，算法的收斂速度會(huì)急劇下降。為使算法始終保持較快的收斂速度，將(12)式中Pk(t)的更新律做如下改進(jìn)[12]，即當(dāng)Pk(t)的跡小于某個(gè)設(shè)定的值時(shí)應(yīng)對(duì)其重調(diào)。設(shè){Ks}={k1,k2,…}為重調(diào)Pk(t)的迭代序列。

當(dāng)k?{Ks}時(shí)，就按(12)式的更新律來(lái)校正Pk(t)，即

(38)

當(dāng)k=ki∈{Ks}時(shí)，Pki+1(t)應(yīng)重調(diào)如下

(39)

定理2對(duì)于系統(tǒng)(6)，以上改進(jìn)算法(11)，(13)，(38)，(39)具有以下性質(zhì)

證明對(duì)于k=0,1,…,k1，定義

(40)

Vk+1(t)-Vk(t)=ak(t)

Vk+1(t)

(41)

(42)

k=0,1,…,k1

(43)

又根據(jù)(32)式可得

(44)

又因?yàn)?/p>

(45)

將(44)式，(45)式代入(43)式可得

(46)

同理，當(dāng)k1

(47)

(48)

依次類(lèi)推，對(duì)所有的k，有以下不等式成立

(49)

(50)

性質(zhì)(II)得證。

因此，與第3部分中的帶死區(qū)迭代學(xué)習(xí)最小二乘算法一樣，該協(xié)方差重調(diào)算法仍能保證時(shí)變權(quán)值估值的有界性和估計(jì)誤差的一致有界收斂性。

4數(shù)值仿真

例1考慮如下可重復(fù)運(yùn)行的非線性離散時(shí)變系統(tǒng)[10]

其中，t=0,1,…,100，初值yk(0)=0.1rand。

測(cè)試階段：當(dāng)k=26時(shí)，在一個(gè)非訓(xùn)練的測(cè)試序列[10]

uk(t)=0.15sin(2tπ/250)+

0.22sin(2tπ/35)+0.2

激勵(lì)下，得到的均方根誤差為4.08×10-5，圖3給出了網(wǎng)絡(luò)辨識(shí)結(jié)果。

圖1　估計(jì)誤差的收斂過(guò)程Fig.1　Convergence process of estimation error

圖(t)的收斂過(guò)程Fig.2　Convergence process of(t)

圖3　k=26時(shí)測(cè)試序列輸入下的辨識(shí)效果Fig.3　Identification results of test sequence input withk=26

例2考慮如下可重復(fù)運(yùn)行的時(shí)變NARMAX模型[11]

其中，t=0,1,…,100，初值yk(0)=0.1rand。

圖4　估計(jì)誤差的收斂過(guò)程Fig.4　Convergence process of estimation error

圖5　k=25時(shí)神經(jīng)網(wǎng)絡(luò)獲得的權(quán)值Fig.5　Neural networks to get the weight with k=25

測(cè)試階段：當(dāng)k=139時(shí)，在與例1相同的非訓(xùn)練測(cè)試序列uk(t)激勵(lì)下，得到均方根誤差為1.74×10-4，圖6給出了網(wǎng)絡(luò)辨識(shí)結(jié)果。

圖6　k=139時(shí)測(cè)試序列輸入下的辨識(shí)效果Fig.6　Identification results of test sequenceinput with k=139

通過(guò)以上2個(gè)算例對(duì)本文所提方法進(jìn)行了驗(yàn)證。數(shù)值結(jié)果表明，本文所提的學(xué)習(xí)算法具有較快的收斂速度，且時(shí)變神經(jīng)網(wǎng)絡(luò)對(duì)非線性時(shí)變系統(tǒng)的辨識(shí)精度也較高。

5結(jié)論

本文通過(guò)構(gòu)造時(shí)變神經(jīng)網(wǎng)絡(luò)模型，給出在同一時(shí)刻沿迭代軸訓(xùn)練網(wǎng)絡(luò)權(quán)值的帶死區(qū)迭代學(xué)習(xí)最小二乘算法及協(xié)方差陣可重調(diào)的改進(jìn)算法，討論了一類(lèi)非線性離散時(shí)變系統(tǒng)有限時(shí)間區(qū)間上的完全辨識(shí)問(wèn)題。理論分析與仿真結(jié)果均表明，所述算法能保證整個(gè)有限時(shí)間區(qū)間上的估計(jì)誤差順著迭代軸逐步收斂到原點(diǎn)的鄰域空間中，建模精度則直接影響著該鄰域半徑的大小。本文所提的學(xué)習(xí)算法具有較快的收斂速度，且時(shí)變神經(jīng)網(wǎng)絡(luò)對(duì)非線性時(shí)變系統(tǒng)的辨識(shí)精度也較高。

參考文獻(xiàn)：

[1]DING F, CHEN T. Performance bounds of forgetting factor least-squares algorithms for time-varying systems with finite measurement data [J]. Circuits and Systems, 2012, 52(3): 555-566.

[2]李書(shū)進(jìn), 李文華. 基于自適應(yīng)卡爾曼濾波的時(shí)變結(jié)構(gòu)參數(shù)估計(jì)[J].自動(dòng)化學(xué)報(bào), 2011, 29(2): 146-149.

LI Shujin, LI Wenhua. Adaptive Calman filter based on the parameter estimation of time-varying structures[J]. Acta Automatica Sinica, 2011, 29 (2): 146-149.

[3]SUN M,HE X.Iterative learning identification and control of discrete time-varying systems[J].Proceedings of the 26th Chinese Control Conference,2013,3(7):520-524.

[4]徐鳳霞, 朱全民, 趙東亞, 等. 基于 U 模型的非線性控制系統(tǒng)設(shè)計(jì)方法十年發(fā)展綜述[J]. 控制與決策, 2013, 28(7): 961-971.

XU Fengxia, ZHU Quanmin, ZHAO Dongya, et al. Nonlinear U model of the control system design method based on ten years of the development review[J]. Control and Decision, 2013, 28 (7): 961-971.

[5]吳龍庭, 曹順安, 胡家元, 等. 時(shí)滯系統(tǒng)的 LM-Smith 神經(jīng)網(wǎng)絡(luò)控制器[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(4): 1042-1044.WU Longting,CAO Shunan,HU Jiayuan,et al.A LM-Smith neural network controller for time delay system[J].Application Research of Computer,2014,31 (4):1042-1044.

[6]嚴(yán)偉力, 孫明軒. 基于時(shí)變神經(jīng)網(wǎng)絡(luò)的非線性時(shí)變系統(tǒng)建模[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2011, 32(6): 1228-1231.

YAN Weili, SUN Mingxuan. Nonlinear time-varying neural networks with time-varying system modeling [J]. Mini micro Systems, 2011, 32 (6): 1228-1231.

[7]ZHAO H, ZHANG J. Nonlinear dynamic system identification using pipelined functional link artificial recurrent neural network[J]. Neurocomputing, 2012, 72(13): 3046-3054.

[8]SCH?N T B, WILLS A, NINNESS B. System identification of nonlinear state-space models [J].Automatica, 2013, 47(1): 39-49.

[9]曹偉,叢望,李金,等.基于迭代學(xué)習(xí)的離散線性時(shí)變系統(tǒng)故障診斷[J].控制與決策,2013,28(1):137-140.

CAO Wei, CONG Wang, LI Jin, et al. The discrete linear iterative learning system based on the fault diagnosis of [J]. Control and Decision, 2013, 28 (1): 137-140.

[10] ZHANG D, ADELMAN D. An approximate dynamic programming approach to network revenue management with customer choice [J]. Transportation Science, 2014, 43(3): 381-394.

[11] 徐小平, 錢(qián)富才, 王峰. 非線性系統(tǒng)辨識(shí)方法研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 46(6): 19-24.

XU Xiaoping, QIAN Fucai, WANG Feng. Nonlinear system identification method on [J]. Computer Engineering and Applications, 2012, 46 (6): 19-24.

[12] GAO J, SULTAN H, HU J. Denoising nonlinear time series by adaptive filtering and wavelet shrinkage: a comparison[J]. Signal Processing Letters, 2013, 17(3): 237-240.

Iterative learning identification algorithm based on time-varying neural network

DAI Rong1，HUANG Cheng2

(1.Department of Computer Science, Civil Aviation Flight University of China, Guanghan 618307,P.R.China;2. Sichuan Engineering Technical College, Deyang 618000, P.R.China)

Abstract:In order to achieve that the discrete time-varying nonlinear system identification can run repeateadly on the finite time interval, an iterative learning identification algorithm based on time-varying neural networks is given.First, for each fixed time, the neural network of the moment which approachs the mapping relationship between input and output of the system,the iterative learning least squares algorithm with dead-zone for the weights updating along the iteration axis is proposed. To prevent the convergence rate from falling too fast, the improved algorithm whose covariance matrix can be retuned is proposed further. The proposed algorithm guarantees that the estimation error converges to a bound point wisely over the entire time interval, and the neighborhood radius depends on the modeling accuracy of the neural network. Experimental results show that the proposed algorithm has a faster convergence rate, and identification accuracy of the time-varying neural networks for nonlinear time-varying system is higher.

Keywords：system identification; discrete-time varying nonlinear systems; time-varying neural networks; iterative learning; least squares

DOI：10.3979/j.issn.1673-825X.2016.02.020

收稿日期：2014-12-19

修訂日期：2015-11-26通訊作者：黃成dair1977@163.com

基金項(xiàng)目：四川省教育廳科研項(xiàng)目(13ZA0135)

Foundation Item：The Sichuan Provincial Department of Education research (13ZA0135)

中圖分類(lèi)號(hào)：TP273

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-825X(2016)02-0265-08

作者簡(jiǎn)介：

戴蓉(1977-)，女，四川攀枝花人，副教授，碩士，主要研究方向?yàn)橛?jì)算機(jī)仿真、數(shù)據(jù)庫(kù)技術(shù)、多媒體技術(shù)。

黃成，(1975-)，男，江蘇常州人，副教授，學(xué)士，主要研究方向?yàn)榫W(wǎng)絡(luò)工程、信息安全，網(wǎng)絡(luò)編程。E-mail: dair1977@163.com。

(編輯：張誠(chéng))