丁 鋒, 劉喜梅

(1. 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院, 江蘇 無錫 214122; 2. 青島科技大學(xué) 自動化與電子工程學(xué)院, 山東 青島 266061)

迭代辨識方法包括基本的梯度迭代辨識方法、最小二乘迭代辨識方法、牛頓迭代辨識方法等,所以結(jié)合遞階辨識原理，派生出遞階梯度迭代辨識方法、遞階最小二乘迭代辨識方法、遞階牛頓迭代辨識方法等。將遞階辨識原理與輔助模型辨識思想相結(jié)合,誕生出的迭代辨識方法包括輔助模型遞階梯度迭代辨識方法、輔助模型遞階最小二乘迭代辨識方法、輔助模型遞階牛頓迭代辨識方法等。

將遞階辨識原理與多新息辨識理論相結(jié)合,誕生出的迭代辨識方法包括遞階多新息梯度迭代辨識方法、遞階多新息最小二乘迭代辨識方法、遞階多新息牛頓迭代辨識方法等。將遞階辨識原理與輔助模型辨識思想、多新息辨識理論相結(jié)合,誕生出的迭代辨識方法包括輔助模型遞階多新息梯度迭代辨識方法、輔助模型遞階多新息最小二乘迭代辨識方法、輔助模型遞階多新息牛頓迭代辨識方法。

在一些系統(tǒng)辨識學(xué)術(shù)專著[1-6]和連載論文[7-16]中,先后介紹了動態(tài)系統(tǒng)和信號模型的參數(shù)估計(jì)方法。最近在“大系統(tǒng)的遞階辨識”論文[17]基礎(chǔ)上,結(jié)合梯度搜索和最小二乘搜索原理,連載論文[16]研究線性回歸系統(tǒng)的遞階遞推辨識方法和遞階遞推多新息辨識方法等。進(jìn)一步,本工作利用迭代搜索技術(shù)[5],研究線性回歸系統(tǒng)的遞階(多新息)梯度迭代辨識方法和遞階(多新息)最小二乘迭代辨識方法。提出的遞階迭代辨識方法可以推廣用于其他線性和非線性隨機(jī)系統(tǒng)，以及信號模型的參數(shù)辨識[18-29]。

1 線性回歸系統(tǒng)的遞階辨識模型

《系統(tǒng)辨識——迭代搜索原理與辨識方法》[5]詳細(xì)介紹了線性回歸系統(tǒng)的梯度迭代辨識方法和多新息梯度迭代辨識方法。這里應(yīng)用遞階辨識原理于線性回歸系統(tǒng),研究基于分解的遞階梯度迭代辨識方法和遞階多新息梯度迭代辨識方法。

考慮下列線性回歸系統(tǒng)，

y(t)=φT(t)?+v(t),

(1)

其中y(t)∈是系統(tǒng)輸出變量,v(t)∈是零均值隨機(jī)白噪聲,?∈n為待辨識的參數(shù)向量,φ(t)∈n是由時刻t以前的輸出y(t)和時刻t及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時,各變量的初值為零,這里意味著y(t)=0，φ(t)=0，v(t)=0。

將參數(shù)向量?分解為N個維數(shù)為ni的子參數(shù)向量(sub-parameter vector)?i,將信息向量φ(t)分解為N個維數(shù)為ni的子信息向量(sub-information vector)φi(t)如下:

?i∈ni,φi(t)∈ni,n1+n2+…+nN=n。

于是，可以把系統(tǒng)(1)分解為N個虛擬子系統(tǒng)(fictitious subsystem),即遞階辨識模型(hierarchical identification model,H-ID模型):

(2)

(3)

(4)

yi(t)∈是虛擬子系統(tǒng)的輸出,αi(t)∈稱為各子系統(tǒng)間的關(guān)聯(lián)項(xiàng)(associate item),它是通過參數(shù)?j(j≠i)耦合的。

迭代辨識算法通常采用批數(shù)據(jù)估計(jì)系統(tǒng)參數(shù)。這里辨識的目的是利用觀測信息{y(t),φ(t)},推導(dǎo)估計(jì)線性回歸系統(tǒng)(1)未知參數(shù)向量?的遞階梯度迭代辨識方法和遞階多新息梯度迭代辨識方法。

2 遞階梯度迭代辨識方法

2.1 遞階梯度迭代辨識算法

定義堆積輸出向量Y(L)和堆積信息矩陣Φ(L)，以及虛擬堆積輸出向量Yi(L)和堆積子信息矩陣Φi(L)如下:

(5)

(6)

(7)

Φ(L)=

[Φ1(L),Φ2(L),…,ΦN(L)]∈L×n。

(8)

則準(zhǔn)則函數(shù)J1i(?i)可以等價(jià)表示為

令k=1,2,3,…為迭代變量,μi>0是迭代步長(收斂因子)。使用負(fù)梯度搜索，極小化J1i(?i)，得到梯度迭代關(guān)系:

(9)

(10)

由于特征值計(jì)算很復(fù)雜，故收斂因子也可簡單取為

(11)

注意到虛擬子系統(tǒng)的堆積輸出向量Yi(L)是未知的，將式(7)代入式(9)得到

(12)

式(10)～(12),(5)～(6)和(8)構(gòu)成了估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遞階梯度迭代算法(hierarchical gradient-based iterative algorithm，HGI算法):

(13)

(14)

或

μi≤2‖Φi(L)‖-2,

(15)

Y(L)=[y(1),y(2),…,y(L)]T,

(16)

Φ(L)=[φ(1),φ(2),…,φ(L)]T,

(17)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(18)

(19)

(20)

表1 遞階梯度迭代(HGI)算法的計(jì)算量Table 1 Computational efficiency of the HGI algorithm

圖1 遞階梯度迭代(HGI)算法的計(jì)算流程Fig.1 Flowchart of the HGI algorithm

2)采集觀測數(shù)據(jù)y(t)和φ(t),t=1,2,…,L。用式(16)構(gòu)造堆積輸出向量Y(L)，用式(17)構(gòu)造堆積信息矩陣Φ(L)。

3)根據(jù)式(18),從堆積信息矩陣Φ(L)中讀出堆積子信息矩陣Φi(L),根據(jù)式(14)或(15)確定盡量大的步長μi,i=1,2,…,N。

注1算法的參數(shù)估計(jì)精度依賴于數(shù)據(jù)長度L，因此數(shù)據(jù)長度應(yīng)該足夠大。取收斂因子μi=2‖Φi(L)‖-2,在消除中間變量Y(L)，Φ(L)和Φi(L)后,HGI辨識算法(13)～(20)可等價(jià)表示為

(21)

(22)

(23)

HGI辨識算法(13)～(20)可以派生出許多算法,如修正遞階梯度迭代(M-HGI)算法、加權(quán)遞階梯度迭代(W-HGI)算法、遺忘因子遞階梯度迭代(FF-HGI)算法、加權(quán)修正遞階梯度迭代(W-M-HGI)算法、遺忘因子修正遞階梯度迭代(FF-M-HGI)算法、加權(quán)遺忘因子修正遞階梯度迭代(W-FF-M-HGI)算法等。下面簡單介紹其中兩個辨識算法。

2.2 加權(quán)遞階梯度迭代算法

基于HGI辨識算法(13)～(20),在式(16)～(17)中引入加權(quán)因子wt≥0，t=1,2,…,L，就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的加權(quán)遞階梯度迭代算法(weighted HGI algorithm，W-HGI算法):

(24)

(25)

或

μi≤2‖Φi(L)‖-2,

(26)

Y(L)=[w1y(1),w2y(2),…,wLy(L)]T,

(27)

Φ(L)=[w1φ(1),w2φ(2),…,wLφ(L)]T,

(28)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(29)

(30)

(31)

2.3 遺忘因子遞階梯度迭代算法

基于HGI辨識算法(13)～(20),在式(16)～(17)中引入遺忘因子0≤λ≤1,就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遺忘因子遞階梯度迭代算法(forgetting factor HGI algorithm，F(xiàn)F-HGI算法):

(32)

(33)

或

μi≤2‖Φi(L)‖-2,

(34)

Y(L)=

[λL-1y(1),λL-2y(2),…,λy(L-1),y(L)]T,

(35)

Φ(L)=

[λL-1φ(1),λL-2φ(2),…,λφ(L-1),φ(L)]T

(36)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(37)

(38)

(39)

3 遞階多新息梯度迭代辨識方法

3.1 遞階多新息梯度迭代辨識算法

多新息辨識算法是使用移動數(shù)據(jù)窗(moving data window，MDW)里的數(shù)據(jù)刷新參數(shù)估計(jì)。移動數(shù)據(jù)窗是一個動態(tài)數(shù)據(jù)窗(dynamical data window),也稱為滑動數(shù)據(jù)窗,它是隨t的增加不斷向前移動的。數(shù)據(jù)窗的長度可以是動態(tài)變化的,也可以是不變的。本研究假設(shè)數(shù)據(jù)窗長度是不變的。

設(shè)新息長度為p,即移動數(shù)據(jù)窗長度為p,移動數(shù)據(jù)窗包含從時刻j=t-p+1到當(dāng)前時刻j=t的p組數(shù)據(jù),數(shù)據(jù)窗是隨t的增加而向前移動的。移動數(shù)據(jù)窗迭代辨識方法是使用直到當(dāng)前時刻t的最新p組數(shù)據(jù)進(jìn)行迭代計(jì)算參數(shù)估計(jì),當(dāng)?shù)揭欢ú綌?shù)(或參數(shù)估計(jì)精度沒有改進(jìn))時,就停止迭代計(jì)算,而將數(shù)據(jù)窗向前移動到下一時刻，引入新的觀測數(shù)據(jù)，同時去掉窗里最舊的數(shù)據(jù),窗里保持p組數(shù)據(jù),再使用新窗里的數(shù)據(jù)進(jìn)行迭代計(jì)算參數(shù)估計(jì),這樣周而復(fù)始進(jìn)行下去[5]。

對于線性回歸系統(tǒng),可以建立移動數(shù)據(jù)窗迭代辨識算法,即多新息迭代辨識算法,來估計(jì)其參數(shù)向量。這里研究線性回歸系統(tǒng)的遞階多新息梯度迭代辨識方法。

長度為p的數(shù)據(jù)窗隨t的增加而向前移動,就稱為移動數(shù)據(jù)窗。它包含了從時刻j=t-p+1到j(luò)=t的p組數(shù)據(jù)。設(shè)t為當(dāng)前時刻。根據(jù)辨識模型(2),利用最新的p組數(shù)據(jù),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t),堆積虛擬輸出向量Yi(p,t)和堆積子信息矩陣Φi(p,t)如下：

(40)

(41)

(42)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)]∈p×n。

(43)

根據(jù)遞階辨識模型(2),定義關(guān)于子參數(shù)向量?i的動態(tài)數(shù)據(jù)窗準(zhǔn)則函數(shù):

(44)

故收斂因子μi(t)的一個保守選擇是

(45)

由于特征值計(jì)算極其復(fù)雜，一個簡單方式是使用范數(shù)，取

(46)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(p,t)是未知的,所以將式(42)代入式(44)得到

(47)

式(46)～(47),(40)～(41)和(43)構(gòu)成了估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遞階多新息梯度迭代算法(hierarchical multi-innovation gradient-based iterative algorithm，HMIGI算法):

(48)

(49)

或

μi(t)≤2‖Φi(p,t)‖-2,

(50)

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T,

(51)

Φ(p,t)=

[φ(t),φ(t-1),…,φ(t-p+1)]T,

(52)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(53)

(54)

(55)

多新息梯度迭代算法又稱為移動數(shù)據(jù)窗梯度迭代算法,是多新息辨識理論在迭代辨識領(lǐng)域中的應(yīng)用[5]。這里的遞階多新息梯度迭代算法又稱為移動數(shù)據(jù)窗遞階梯度迭代算法(moving data window HGI algorithm,MDW-HGI算法),是遞階辨識原理與多新息迭代辨識相結(jié)合的產(chǎn)物,是遞階辨識原理和多新息辨識理論在迭代辨識領(lǐng)域中的應(yīng)用。

注2因?yàn)榫€性回歸系統(tǒng)參數(shù)估計(jì)誤差與數(shù)據(jù)長度的平方根成反比[3],遞階多新息迭代算法每次計(jì)算參數(shù)估計(jì)時使用的數(shù)據(jù)長度為p,因此參數(shù)估計(jì)精度取決于新息長度p,即動態(tài)數(shù)據(jù)窗長度，因此多新息迭代算法中的新息長度p應(yīng)足夠大。

圖2 遞階多新息梯度迭代(HMIGI)算法的計(jì)算流程Fig.2 Flowchart of the HMIGI algorithm

2)令k=1，采集觀測數(shù)據(jù)y(t)和φ(t)。

3)用式(51)構(gòu)造堆積輸出向量Y(p,t),用式(52)構(gòu)造堆積信息矩陣Φ(p,t),從式(53)的堆積信息矩陣Φ(p,t)中讀出堆積子信息矩陣Φi(p,t),根據(jù)式(49)～(50)確定盡量大的步長μi(t),i=1,2,…,N。

5)如果k

當(dāng)k繼續(xù)增加,參數(shù)估計(jì)精度沒有明顯變化時,就不再增加k,而是增加t,即數(shù)據(jù)窗向前移動一步,采集新的數(shù)據(jù),引入到算法中,同時去掉最舊的數(shù)據(jù),再次計(jì)算迭代參數(shù)估計(jì),直到獲得滿意的參數(shù)估計(jì)為止。

根據(jù)經(jīng)驗(yàn)，當(dāng)參數(shù)維數(shù)不是很大時，對于梯度迭代算法，kmax取值一般在幾百到幾千之間;對于最小二乘迭代算法，一般取kmax=5或kmax=6。

注4取收斂因子μi(t)=2‖Φi(p,t)‖-2,在消除中間變量Y(p,t),Φ(p,t)和Φi(p,t)后，HMIGI辨識算法(48)～(55)可等價(jià)表示為

(56)

(57)

(58)

HMIGI算法(48)～(55)可以派生出許多算法，如修正遞階多新息梯度迭代(M-HMIGI)算法、加權(quán)遞階多新息梯度迭代(W-HMIGI)算法、遺忘因子遞階多新息梯度迭代(FF-HMIGI)算法、加權(quán)修正遞階多新息梯度迭代(W-M-HMIGI)算法、遺忘因子修正遞階梯度迭代(FF-M-HMIGI)算法、加權(quán)遺忘因子修正遞階多新息梯度迭代(W-FF-M-HMIGI)算法等。下面簡單介紹其中兩個辨識算法。

3.2 加權(quán)遞階多新息梯度迭代算法

基于HMIGI辨識算法(48)～(55),在式(51)～(52)中引入加權(quán)因子wt≥0,就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的加權(quán)遞階多新息梯度迭代算法(weighted HMIGI algorithm,W-HMIGI算法):

(59)

(60)

或

μi≤2‖Φi(p,t)‖-2,

(61)

Y(p,t)=

[wty(t),wt-1y(t-1),…,wt-p+1y(t-p+1)]T,

(62)

Φ(p,t)=

[wtφ(t),wt-1φ(t-1),…,wt-p+1φ(t-p+1)]T,

(63)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(64)

(65)

(66)

3.3 遺忘因子遞階多新息梯度迭代算法

基于HMIGI辨識算法(48)～(55),在式(51)～(52)中引入遺忘因子λ,得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遺忘因子遞階多新息梯度迭代算法(forgetting factor HMIGI algorithm，F(xiàn)F-HMIGI算法):

(67)

(68)

或

μi≤2‖Φi(p,t)‖-2,

(69)

Y(p,t)=

[y(t),λy(t-1),λ2y(t-2),…,λp-1y(t-p+1)]T,

(70)

Φ(p,t)=

[φ(t),λφ(t-1),λ2φ(t-2),…,λp-1φ(t-p+1)]T,

(71)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(72)

(73)

(74)

注5筆者2005年發(fā)表在Automatica第2期上的遞階梯度迭代算法[30]和IEEETransactionsonAutomaticControl第3期上的遞階最小二乘迭代算法[31]是比梯度迭代算法和最小二乘迭代算法更高級的算法,是針對多變量系統(tǒng)遞階辨識模型提出的。

注6梯度算法(包括梯度迭代算法)可以用于二次優(yōu)化問題和非線性優(yōu)化問題的最優(yōu)解的搜索,既適合信息向量已知的線性回歸系統(tǒng),又適合信息向量存在未知量的線性回歸系統(tǒng)、線性參數(shù)系統(tǒng)、雙線性參數(shù)系統(tǒng)、非線性參數(shù)系統(tǒng)辨識的研究。當(dāng)然梯度迭代算法也適合對線性回歸模型進(jìn)行分解的辨識,如前面討論的HGI辨識算法和HMIGI辨識算法。

4 遞階最小二乘迭代辨識方法

對于信息向量已知的線性回歸系統(tǒng)，不存在最小二乘迭代辨識算法，一次完成最小二乘算法就夠了，但是對線性回歸模型進(jìn)行分解，就存在最小二乘迭代辨識算法。這里首次討論線性回歸系統(tǒng)的遞階最小二乘迭代算法和遞階多新息最小二乘迭代算法,這是繼1999年《自動化學(xué)報(bào)》第5期上的論文“大系統(tǒng)的遞階辨識”中線性回歸系統(tǒng)的遞階最小二乘(遞推)算法[17]的又一個新的結(jié)果。

考慮下列線性回歸系統(tǒng)，

y(t)=φT(t)?+v(t),

(75)

其中y(t)∈是系統(tǒng)輸出變量，v(t)∈是零均值隨機(jī)白噪聲,?∈n待辨識的參數(shù)向量,φ(t)∈n是由時刻t以前輸出y(t)和時刻t及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時,各變量的初值為零，這里意味著y(t)=0,φ(t)=0,v(t)=0。

線性回歸系統(tǒng)(75)可分解為N個虛擬子系統(tǒng)，即遞階辨識模型:

(76)

其中子系統(tǒng)參數(shù)向量?i和信息向量φi(t)與整個系統(tǒng)的參數(shù)向量和信息向量的關(guān)系如下:

?i∈ni,φi(t)∈ni,n1+n2+…+nN=n。

虛擬子系統(tǒng)的輸出yi(t)∈定義為

(77)

本節(jié)利用觀測信息{y(t),φ(t)},推導(dǎo)線性回歸系統(tǒng)(75)的遞階最小二乘迭代辨識方法和遞階多新息最小二乘迭代辨識方法。

4.1 遞階最小二乘迭代辨識算法

設(shè)L為數(shù)據(jù)長度。辨識算法的參數(shù)估計(jì)精度取決于數(shù)據(jù)長度，因此數(shù)據(jù)長度應(yīng)足夠大。根據(jù)辨識模型(76)，定義關(guān)于參數(shù)向量?i的準(zhǔn)則函數(shù):

定義堆積輸出向量Y(L)和堆積信息矩陣Φ(L)，以及虛擬堆積輸出向量Yi(L)和堆積子信息矩陣Φi(L)如下:

Y(L)=[y(1),y(2),…,y(L)]T∈L,

(78)

Φ(L)=[φ(1),φ(2),…,φ(L)]T=

[Φ1(L),Φ2(L),…,ΦN(L)]∈L×n,

(79)

Yi(L)=[yi(1),yi(2),…,yi(L)]T=

(80)

Φi(L)=

[φi(1),φi(2),…,φi(L)]∈L×ni。

(81)

則準(zhǔn)則函數(shù)J3i(?i)可以等價(jià)表示為

(82)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(L)是未知的，所以將式(80)代入式(82)得到

(83)

式(83),(78)和(79)構(gòu)成了估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遞階最小二乘迭代算法(hierarchical least squares-based iterative algorithm,HLSI算法):

(84)

Y(L)=[y(1),y(2),…,y(L)]T,

(85)

Φ(L)=[φ(1),φ(2),…,φ(L)]T,

(86)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(87)

(88)

(89)

表2 遞階最小二乘迭代(HLSI)算法的計(jì)算量Table 2 Computational efficiency of the HLSI algorithm

圖3 遞階最小二乘迭代(HLSI)算法的計(jì)算流程Fig.3 Flowchart of the HLSI algorithm

2)采集觀測數(shù)據(jù)y(t)和φ(t),t=1,2,…,L。用式(85)構(gòu)造堆積輸出向量Y(L),用式(86)構(gòu)造堆積信息矩陣Φ(L)。

3)根據(jù)式(87),從堆積信息矩陣Φ(L)中讀出堆積子信息矩陣Φi(L)。

注7算法的參數(shù)估計(jì)精度依賴于數(shù)據(jù)長度L,因此數(shù)據(jù)長度應(yīng)該足夠大。在消除中間變量Y(L),Φ(L)和Φi(L)后,HLSI辨識算法(84)～(89)可等價(jià)表示為

(90)

(91)

(92)

HLSI辨識算法(84)～(89)可以派生出加權(quán)遞階最小二乘迭代(W-HLSI)算法、遺忘因子遞階最小二乘迭代(FF-HLSI)算法、加權(quán)遺忘因子遞階最小二乘迭代(W-FF-HLSI)算法等。

4.2 加權(quán)遞階最小二乘迭代辨識算法

基于HLSI辨識算法(84)～(89),在式(85)～(86)中引入加權(quán)因子wt≥0，t=1,2,…,L，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的加權(quán)遞階最小二乘迭代算法(weighted HLSI algorithm，W-HLSI算法):

(93)

Y(L)=[w1y(1),w2y(2),…,wLy(L)]T,

(94)

Φ(L)=[w1φ(1),w2φ(2),…,wLφ(L)]T,

(95)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(96)

(97)

(98)

4.3 遺忘因子遞階最小二乘迭代算法

基于HLSI辨識算法(84)～(89),在式(85)～(86)中引入遺忘因子0≤λ≤1，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遺忘因子遞階最小二乘迭代算法(forgetting factor HLSI algorithm，F(xiàn)F-HLSI算法):

(99)

Y(L)=

[λL-1y(1),λL-2y(2),…,λy(L-1),y(L)]T,

(100)

Φ(L)=

[λL-1φ(1),λL-2φ(2),…,λφ(L-1),φ(L)]T,

(101)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(102)

(103)

(104)

5 遞階多新息最小二乘迭代辨識方法

5.1 遞階多新息最小二乘迭代辨識算法

設(shè)t為當(dāng)前時刻。根據(jù)辨識模型(76),利用最新的p組數(shù)據(jù),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t),堆積虛擬輸出向量Yi(p,t)和堆積子信息矩陣Φi(p,t)如下：

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T∈p,

(105)

Φ(p,t)=[φ(t),φ(t-1),…,φ(t-p+1)]T=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)]∈p×n,

(106)

Yi(p,t)=

[yi(t),yi(t-1),…,yi(t-p+1)]T=

(107)

Φi(p,t)=

[φi(t),φi(t-1),…,φi(t-p+1)]T∈p×ni。

(108)

根據(jù)辨識模型(76)，定義動態(tài)數(shù)據(jù)窗準(zhǔn)則函數(shù):

(109)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(p,t)是未知的，所以將式(107)代入式(109)得到

(110)

式(110),(105)和(106)構(gòu)成了估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遞階多新息最小二乘迭代算法(hierarchical multi-innovation least squares-based iterative algorithm，HMILSI算法):

(111)

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T,

(112)

Φ(p,t)=

[φ(t),φ(t-1),…,φ(t-p+1)]T,

(113)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(114)

(115)

(116)

多新息最小二乘迭代算法又稱為移動數(shù)據(jù)窗最小二乘迭代算法，是多新息辨識理論在迭代辨識領(lǐng)域中的應(yīng)用[5]。這里的遞階多新息最小二乘迭代算法又稱為移動數(shù)據(jù)窗遞階最小二乘迭代算法(moving data window HLSI algorithm，MDW-HLSI算法),是遞階辨識原理與多新息迭代辨識相結(jié)合的產(chǎn)物，是遞階辨識原理和多新息辨識理論在迭代辨識領(lǐng)域中的應(yīng)用。

圖4 遞階多新息最小二乘迭代(HMILSI)算法的計(jì)算流程Fig.4 Flowchart of the HMILSI algorithm

2)采集觀測數(shù)據(jù)y(t)和φ(t)。

3)用式(112)構(gòu)造堆積輸出向量Y(p,t),用式(113)構(gòu)造堆積信息矩陣Φ(p,t),從式(114)的堆積信息矩陣Φ(p,t)中讀出堆積子信息矩陣Φi(p,t),i=1,2,…,N。

6)如果k

注8在消除中間變量Y(p,t),Φ(p,t)和Φi(p,t)后，HMILSI算法(111)～(116)可等價(jià)表示為

(117)

(118)

(119)

HMILSI算法(111)～(116)可以派生出加權(quán)遞階多新息最小二乘迭代(W-HMILSI)算法、遺忘因子遞階多新息最小二乘迭代(FF-HMILSI)算法、加權(quán)遺忘因子遞階多新息最小二乘迭代(W-FF-HMILSI)算法等。

5.2 加權(quán)遞階多新息最小二乘迭代算法

基于HMILSI辨識算法(111)～(116),在式(112)～(113)中引入加權(quán)因子wt≥0，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的加權(quán)遞階多新息最小二乘迭代算法(weighted HMILSI algorithm，W-HMILSI算法):

(120)

Y(p,t)=

[wty(t),wt-1y(t-1),…,wt-p+1y(t-p+1)]T,

(121)

Φ(p,t)=

[wtφ(t),wt-1φ(t-1),…,wt-p+1φ(t-p+1)]T,

(122)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(123)

(124)

(125)

5.3 遺忘因子遞階多新息最小二乘迭代算法

基于HMILSI辨識算法(111)～(116),在式(112)～(113)中引入遺忘因子λ，得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遺忘因子遞階多新息最小二乘迭代算法(forgetting factor HMILSI algorithm,FF-HMILSI算法):

(126)

Y(p,t)=

[y(t),λy(t-1),λ2y(t-2),…,λp-1y(t-p+1)]T,

(127)

Φ(p,t)=

[φ(t),λφ(t-1),λ2φ(t-2),…,λp-1φ(t-p+1)]T,

(128)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(129)

(130)

(131)

6 結(jié) 語

利用迭代搜索和遞階辨識原理，基于系統(tǒng)的觀測輸入輸出數(shù)據(jù)，研究了線性回歸系統(tǒng)的遞階迭代辨識方法，包括遞階(多新息)梯度迭代辨識方法、遞階(多新息)最小二乘迭代辨識方法，以及加權(quán)和遺忘因子遞階迭代辨識方法等。提出的迭代辨識方法可以推廣到有色噪聲的多變量隨機(jī)系統(tǒng)和非線性隨機(jī)系統(tǒng)中。