周海英，羅震東，周 艷

(1.廣州航海學(xué)院港口與航運(yùn)管理學(xué)院，廣東 廣州 510725；2.廣東工業(yè)大學(xué)管理學(xué)院，廣東 廣州 510630)

Markov跳變系統(tǒng)在制造系統(tǒng)、飛行控制器系統(tǒng)、機(jī)器人操作系統(tǒng)、通信系統(tǒng)、神經(jīng)網(wǎng)絡(luò)中的分析仿真等都有著非常實(shí)際的應(yīng)用背景[1-2]，近幾十年來(lái)，國(guó)內(nèi)外學(xué)者針對(duì)Markov跳變系統(tǒng)開(kāi)展了大量研究，成果豐富，如Markov跳變系統(tǒng)的隨機(jī)穩(wěn)定性和H∞控制[3-4]，Markov跳變系統(tǒng)的隨機(jī)線性二次最優(yōu)控制[5-8]，Markov跳變系統(tǒng)的混合H2/H∞控制[9-10]等。與Markov跳變系統(tǒng)相比，奇異Markov跳變系統(tǒng)更適合于描述動(dòng)態(tài)系統(tǒng)的結(jié)構(gòu)特征，能更好的刻畫現(xiàn)實(shí)中由隨機(jī)突變現(xiàn)象引起系統(tǒng)跳變的情形，如工程領(lǐng)域和金融領(lǐng)域的期權(quán)定價(jià)問(wèn)題，投資型保險(xiǎn)紅利分發(fā)問(wèn)題等，因而，奇異Markov跳變系統(tǒng)近年來(lái)得到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注，Tao等[11]利用滑動(dòng)模控制方法研究了具有時(shí)變時(shí)滯的奇異Markov跳變系統(tǒng)的隨機(jī)容許性問(wèn)題，Guerrero等[12]探討了具有部分已知轉(zhuǎn)移概率的Markov跳變線性奇異系統(tǒng)(mjlss)的隨機(jī)穩(wěn)定性問(wèn)題，Yin等[13]研究了轉(zhuǎn)移概率部分未知的奇異Markov跳變系統(tǒng)的魯棒故障檢測(cè)問(wèn)題。

隨著社會(huì)經(jīng)濟(jì)和博弈理論的發(fā)展，不少學(xué)者將博弈理論用于研究描述現(xiàn)實(shí)問(wèn)題的奇異隨機(jī)系統(tǒng)，取得了一系列研究成果，如奇異隨機(jī)系統(tǒng)的鞍點(diǎn)均衡策略[14]和線性隨機(jī)系統(tǒng)的Pareto最優(yōu)策略[15]，隨機(jī)Markov跳變系統(tǒng)的Nash均衡策略[16-17]，奇異隨機(jī)Markov跳變系統(tǒng)的N人Nash均衡策略[18-19]等。筆者通過(guò)文獻(xiàn)調(diào)研，發(fā)現(xiàn)目前關(guān)于奇異隨機(jī)Markov跳變系統(tǒng)Stackelberg博弈的文獻(xiàn)成果還較少見(jiàn)報(bào)。

基于此，本文討論有限時(shí)間和無(wú)限時(shí)間情形下的離散隨機(jī)奇異Markov跳變系統(tǒng)的Stackelberg博弈問(wèn)題，并將所得結(jié)果應(yīng)用于相應(yīng)的隨機(jī)H2/H∞魯棒控制問(wèn)題，豐富隨機(jī)奇異Markov跳變系統(tǒng)微分博弈理論及應(yīng)用研究。

1 預(yù)備知識(shí)

給定T>0表示一個(gè)有限時(shí)刻，為了敘述方便，引入下述符號(hào)：

A′：矩陣或向量A的轉(zhuǎn)置；

Sn：全體n×n階對(duì)稱矩陣構(gòu)成的集合；

C(0,T;n×m):全體連續(xù)函數(shù)φ：[0,T]→n×m構(gòu)成的集合；

L∞(0,T;n):一致有界函數(shù)f(·)：[0,T]→n構(gòu)成的全體；

χA：集合A的指示函數(shù)。

設(shè)在給定的完備概率空間(Ω,F,{F}t≥0,ρ)上，其上定義了一個(gè)自然濾子{F}t≥0，ε(·)表示對(duì)應(yīng)概率測(cè)度的數(shù)學(xué)期望。在概率空間上，定義一維標(biāo)準(zhǔn)Wiener過(guò)程{w(t)}t≥0和一個(gè)取值于狀態(tài)空間Ξ={1,2,…,l}的Markov過(guò)程{rt}t≥0，且{rt}和{w(t)}相互獨(dú)立。Markov過(guò)程的轉(zhuǎn)移概率如式(1)：

πij=P(rt+1=j|rt=i),?i,j∈Ξ

(1)

考慮式(2)所示It型離散奇異隨機(jī)Markov跳變系統(tǒng)：

(2)

其中，x(t)∈n是狀態(tài)變量，(x0，r0)∈n×Ξ是初始狀態(tài)，E∈n×n,是給定的奇異矩陣，rank(E)

引理1對(duì)所有的i∈Ξ，如果存在一對(duì)非奇異矩陣M(t,i)∈n×n，N(t,i)∈n×n使得對(duì)三元組式(E,A(t,i),C(t,i))滿足下述條件之一，則奇異隨機(jī)Markov跳變系統(tǒng)(2)存在唯一解。

(i)[20]

其中A1(t,i),C1(t,i)∈r×r,C2(t,i)∈r×(n-r)，C3(t,i)∈(n-r)×(n-r)。

(ii)[21]

其中Sn2(t,i)∈n2×n2是零冪的，且n1×n1,C2(t,i)∈n1×n2，n1+n2=n。

定義1[22]離散奇異隨機(jī)Markov跳變系統(tǒng)(2)是：

(Ⅰ) 正則的，如果對(duì)所有的i∈Ξ，det(sE-A)≠0；

(Ⅱ) 無(wú)脈沖的，如果對(duì)所有的i∈Ξ，deg(det(sE-A))=rank(E)；

(Ⅲ) 均方穩(wěn)定的，如果對(duì)任意的初始條件(x0,r0)∈n×Ξ，都有l(wèi)imt→∞ε‖x(t)‖2=0；

(Ⅳ) 均方容許的，如果它是正則，無(wú)脈沖和均方穩(wěn)定的。

下述引理2給出了離散奇異隨機(jī)Markov跳變系統(tǒng)穩(wěn)定性的相關(guān)結(jié)論。

引理2[21]離散奇異隨機(jī)Markov跳變系統(tǒng)(2)是均方容許的，如果存在矩陣P(t,i)=P′(t,i)，使得對(duì)每一個(gè)i∈Ξ，式(3)成立：

E′P(t,i)E≥0

-E′P(t,i)E<0

(3)

2 有限時(shí)間隨機(jī)Markov跳變系統(tǒng)的stackelberg博弈

2.1 問(wèn)題描述

考慮以下離散奇異隨機(jī)線性Markov跳變系統(tǒng)：

(4)

其中，x(t)∈n表示狀態(tài)變量，u(t)表示博弈人1的控制策略，v(t)表示博弈人2的控制策略，其容許策略空間分別記為U,V。w(t)是實(shí)隨機(jī)變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。rt是一個(gè)取值于狀態(tài)空間Ξ={1,2,…,l}的Markov過(guò)程，rt和w(t)相互獨(dú)立。當(dāng)rt=i,i∈Ξ時(shí)，系數(shù)矩陣A(t,rt)=A(t,i)，A1(t,rt)=A1(t,i)，B(t,rt)=B(t,i)。對(duì)每一個(gè)給定的(0,x0)和(u(·),v(·))=U×V，二次型性能指標(biāo)為：

Jτ(u,v)=ε{x′(T)Fτ(T)x(T)+

(5)

當(dāng)rt=i,i∈Ξ時(shí)，Rτ1(t,rt)=Rτ1(t,i)∈L∞(0,T;n×nu)，Rτ2(t,rt)=Rτ2(t,i)∈L∞(0,T;n×nv)，Q(t,rt)=Q(t,i)∈C(0,T;Sn)，Mτ(T)∈Sn,τ=1,2。

定義2[22]對(duì)于控制策略u(píng)∈U，從方博弈人2的最優(yōu)反應(yīng)集是

R2(u)={v0∈V:J2(u,v0)≤J2(u,v)},?v∈V策略u(píng)*稱為主方博弈人1的Stackelberg策略當(dāng)且僅當(dāng)滿足如下條件：

根據(jù)定義2，可知Stackelberg博弈的最優(yōu)解也是一種均衡策略。

2.2 主要結(jié)論

結(jié)合配方法，我們給出上述有限時(shí)間離散奇異隨機(jī)Markov跳變系統(tǒng)的Stackelberg策略。

定理1對(duì)于系統(tǒng)(4)，假設(shè)如下代數(shù)Riccati方程(i,j∈Ξ)

(6)

其中：

存在解P1≥0∈Sn，P2≥0∈Sn。則系統(tǒng)(4)-(5)的Stackelberg策略存在，且為：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

證明首先，博弈人1先采取策略u(píng)，作為從方，博弈人2在監(jiān)視到博弈人1的策略后選擇相應(yīng)的策略v，這時(shí)考慮博弈人2的性能指標(biāo)函數(shù)x′(k)E′P2(k)Ex(k)，取值函數(shù)Y2(t,x)=x′(t)E′P2(t,i)Ex(t)，以下為書寫方便，省略t，有：

結(jié)合

(7)

把式(7)代入J2(u,v)中，可得:

(8)

在式(8)中，對(duì)v求導(dǎo)，并令導(dǎo)數(shù)為0，得到:

(9)

(10)

把式(10)代入J1(u,v)中，得：

v*′S12(t,i)v*]

(11)

把式(9)代入式(11)，得到：

(12)

對(duì)式(12)進(jìn)行配方，結(jié)合式(6)可得：

由于R(t,i)>0故有：

此時(shí)，

u*(t)=K1(t,i)x(t)

(13)

把式(13)代入式(8)，可得：

由于S22(t,i)>0故有：

此時(shí)，

注1式(6)所示的代數(shù)Riccati方程組，可以借鑒文獻(xiàn)[8]的嚴(yán)格LMI法進(jìn)行求解。

3 無(wú)限時(shí)間

3.1 預(yù)備知識(shí)

首先介紹無(wú)限時(shí)間隨機(jī)最優(yōu)控制中的一個(gè)重要概念——隨機(jī)穩(wěn)定性。

考慮如下離散奇異隨機(jī)Markov跳變系統(tǒng)：

Ex(t+1)=A(t,rt)x(t)+B(t,rt)u(t)+A1(t,rt)x(t)w(t),t=1,2,…

(14)

其中，x(t)∈n是狀態(tài)變量，u(t)是容許控制過(guò)程，w(t)是實(shí)隨機(jī)變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。

定義2[23]給定任意初始狀態(tài)x(0)=x0,r0=i，系統(tǒng)(14)是(均方意義下)隨機(jī)穩(wěn)定的，如果存在一個(gè)反饋控制u(t)=K(t,i)x(t)(i∈Ξ),其中K(t,i)均為常數(shù)矩陣，使得閉環(huán)系統(tǒng)Ex(t+1)=[A(t,rt)+B(t,rt)K(t,rt)]x(t)+A1(t,rt)x(t)w(t)是漸近均方穩(wěn)定的，即limt→∞ε[‖x(t)‖2]=0。

需要注意的是，與有限時(shí)間情形相比較，無(wú)限時(shí)間情形的不同之處表現(xiàn)為：

(ⅰ) 系統(tǒng)(14)是時(shí)不變的且性能指標(biāo)中的權(quán)重矩陣為常數(shù)；

(ⅱ)當(dāng)T→∞時(shí)，F(xiàn)τ(rT)=0，τ=1,2；

(ⅲ)要求系統(tǒng)(14)是均方穩(wěn)定的。

考慮式(15)所示系統(tǒng)：

(15)

兩博弈人的二次型性能指標(biāo)為：

u′(t)Rτ1(t,rt)u(t)+v′(t)Rτ2(t,rt)v(t)],τ=1,2

(16)

其中，控制權(quán)矩陣Rττ(t,rt)∈Sn；狀態(tài)權(quán)矩陣Qτ(t,rt)≥0∈Sn,τ=1,2。無(wú)限時(shí)間Stackelberg博弈問(wèn)題定義如下：

定義4[22]對(duì)于控制策略u(píng)∈U，從方博弈人2的最優(yōu)反應(yīng)集是

R2(u)={v0∈V:J2(u,v0)≤J2(u,v)},?v∈V

策略u(píng)*稱為主方博弈人1的Stackelberg策略當(dāng)且僅當(dāng)滿足如下條件：

假設(shè)1[16]系統(tǒng)(15)是均方穩(wěn)定的。

采用與有限時(shí)間隨機(jī)Stackelberg博弈策略相同的方法，可得無(wú)限時(shí)間離散奇異隨機(jī)Markov跳變系統(tǒng)Stackelberg博弈問(wèn)題(15)-(16)的均衡策略如定理2所示。

定理2在假設(shè)1的基礎(chǔ)上，如果下述代數(shù)Riccati方程(17)

(17)

其中：

i)K2(t,i)

存在解P1(t,i)≥0∈Sn，P2(t,i)≥0∈Sn。則無(wú)限時(shí)間奇異隨機(jī)Markov跳變系統(tǒng)Stackelberg博弈問(wèn)題(15)-(16)存在線性狀態(tài)反饋均衡解：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

由于定理2的證明方法與定理1類似，不再贅述。

注2式(17)所示的代數(shù)Riccati方程組，可以借鑒文獻(xiàn)[8]的嚴(yán)格LMI法進(jìn)行求解。

4 應(yīng)用于H2/H∞魯棒控制

借鑒前人研究成果，將上述所得結(jié)論應(yīng)用于離散隨機(jī)奇異Markov跳變系統(tǒng)的混合H2/H∞控制問(wèn)題。為簡(jiǎn)單起見(jiàn)，只分析有限時(shí)間離散隨機(jī)奇異Markov跳變系統(tǒng)的混合H2/H∞控制，無(wú)限時(shí)間的分析方法與有限時(shí)間類似，不再贅述。

考慮式(18)-式(20)所示系統(tǒng)：

(18)

(19)

(20)

其中，x(t)∈n是狀態(tài)向量，u(t)∈m2是控制輸入，v(t)∈m1是外界不確定性干擾，A(t,rt)等系數(shù)矩陣的定義同上。

有限時(shí)間離散奇異隨機(jī)Markov跳變系統(tǒng)的混合H2/H∞控制定義如下：

定義3[23]給定干擾抑制水平γ>0，如果存在(u*,v*)∈U[0,T]×V[0,T]，使得

(ⅰ)|Lu*|T<γ，其中

|Lu*|T=

(ⅱ)假設(shè)存在最壞干擾v*(t)∈V[0,T]，將其帶入系統(tǒng)(19)，u*(t)最小化輸出能量

當(dāng)上述的(u*,v*)存在時(shí)，我們稱有限時(shí)間H2/H∞控制問(wèn)題是可解的。

根據(jù)文獻(xiàn)[22]，在非合作微分博弈的框架下，系統(tǒng)(18)的H2/H∞混合魯棒控制策略可以這樣描述：主者先確定一策略u(píng)(t)并提前宣布，然后從者根據(jù)宣布的策略而選擇自己的策略v(t)。因?yàn)閺恼邔?shí)施的策略會(huì)影響主者的成本泛函，所以主者在宣布其策略時(shí)必須要考慮到從者的反應(yīng)[22]。進(jìn)而將混合H2/H∞控制問(wèn)題轉(zhuǎn)化為Stackelberg博弈問(wèn)題，而混合H2/H∞控制策略等價(jià)于求解系統(tǒng)(18)-(20)的Stackelberg策略(u*,v*)。故根據(jù)定理1，直接可得下述結(jié)論。

定理3對(duì)于系統(tǒng)(18)，假設(shè)如下代數(shù)Riccati方程

(21)

其中

B1(t,i))

存在解P1(t,i)≥0∈Sn，P2(t,i)≥0∈Sn。則系統(tǒng)(18)的魯棒控制策略為：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

5 結(jié)論

探討了離散奇異隨機(jī)Markov跳變系統(tǒng)的Stackelberg博弈問(wèn)題，分別得到了有限時(shí)間和無(wú)限時(shí)間情形下的Stackelberg均衡解存在的條件，并將所得結(jié)果應(yīng)用于相應(yīng)的H2/H∞控制問(wèn)題，以期豐富微分博弈理論及其應(yīng)用研究。