樊實(shí)

摘 要：隨機(jī)控制不光有廣闊的應(yīng)用前景，而且是富有挑戰(zhàn)性的一個(gè)前沿研究課題。自動(dòng)控制理論的各種傳統(tǒng)模型已不能完全滿足要求，應(yīng)向隨機(jī)、非線性、分布參數(shù)等模型應(yīng)用更廣的范圍去擴(kuò)展。實(shí)際上系統(tǒng)很少能夠完全是線性的。因此，這種系統(tǒng)中使用的非線性濾波器和非線性的信號(hào)處理器，可同時(shí)辨識(shí)系統(tǒng)的自適應(yīng)隨機(jī)控制方面和未知參數(shù)就成了重要的前沿研究課題。該文主要介紹了這一重要的研究課題，分析了Brown運(yùn)動(dòng)和Markov過(guò)程。

關(guān)鍵詞：線性隨機(jī)系統(tǒng) M-矩陣 Brown運(yùn)動(dòng) Markov鏈

中圖分類號(hào)：TP273 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2015）10（c）-0199-03

20世紀(jì)初期， 產(chǎn)生隨機(jī)過(guò)程理論，當(dāng)時(shí)是為了適應(yīng)多個(gè)學(xué)科生物學(xué)、物理學(xué)、管理科學(xué)、通訊與控制等不同方面的需求發(fā)展起來(lái)的。1K. It（伊藤清）961年論隨機(jī)微分方程，創(chuàng)立量大理論隨機(jī)微分和隨機(jī)積分方程。

Kolmogorov和Wiener的濾波和預(yù)測(cè)理論，使從信號(hào)和噪聲的觀測(cè)中抽取有用信號(hào)，這是隨機(jī)控制理論的一個(gè)很有用的重要基礎(chǔ)。但由于Wiener-Kolmogorov的理論需要求一難求解的積分方程——Wiener-Hopf方程，所以實(shí)際上沒(méi)有得到廣泛應(yīng)用。

1960年R. S. Bucy和Kalman提出了求解濾波和預(yù)測(cè)的相關(guān)的遞歸方法，對(duì)濾波和預(yù)測(cè)做了巨大特殊貢獻(xiàn)。在求解隨機(jī)控制問(wèn)題中，依賴于動(dòng)態(tài)的方法。1961年Tou（陶）和Joseph（約瑟夫）提出了相關(guān)分離定理，根據(jù)分離定理，可把線性隨機(jī)控制分解成兩部分求解，其中一部分是求解優(yōu)化中的最優(yōu)控制策略，而另一個(gè)部分就是常見的狀態(tài)估計(jì)器。確定性最優(yōu)控制策略與隨機(jī)最優(yōu)控制策略是相同的。

1 Brown運(yùn)動(dòng)和Markov過(guò)程

Brown運(yùn)動(dòng)是迄今為止性質(zhì)最豐富多彩了解得最清楚的隨機(jī)過(guò)程。在今天，Brown運(yùn)動(dòng)及其推廣已不僅是花粉粒子運(yùn)動(dòng)的模型，它已經(jīng)廣泛地出現(xiàn)在各種科學(xué)領(lǐng)域中。例如：它描述了像通訊噪聲、熱電子運(yùn)動(dòng)、市場(chǎng)價(jià)格波動(dòng)的隨機(jī)干擾等等現(xiàn)象，它的軌道的性質(zhì)也是分析家注意的對(duì)象。同時(shí)，由于Brown運(yùn)動(dòng)與微分方程等有密切的聯(lián)系，它又成為聯(lián)系分析與概率論的重要渠道。

Markov過(guò)程是一類重要的隨機(jī)過(guò)程，它的原始模型是Markov鏈，由俄國(guó)數(shù)學(xué)家A. A. Markov于1906年提出。以后，Kolmogorov，F(xiàn)eller，Doob等人發(fā)展了這一理論。粗略來(lái)說(shuō)，所謂Markov性可用下述直觀語(yǔ)言來(lái)刻畫：在已知系統(tǒng)當(dāng)前時(shí)刻t的狀態(tài)Xt（現(xiàn)在）的條件下，它未來(lái)的演變（將來(lái)）不依賴于它以往（過(guò)去）的演變，簡(jiǎn)言之，在已知“現(xiàn)在”的條件下，“將來(lái)”與“過(guò)去”無(wú)關(guān)。具有這種特性的隨機(jī)過(guò)程稱為Markov過(guò)程。 荷花池中一只青蛙的跳躍是Markov過(guò)程的一個(gè)形象化的例子[5]。

對(duì)于Markov過(guò)程，其所有可能取值的全體，稱為過(guò)程的狀態(tài)空間，其中的每一個(gè)元素，即所可能取得的值稱為狀態(tài)。若狀態(tài)空間是有限的，就稱為有限（狀態(tài)）Markov鏈。該文主要應(yīng)用的是連續(xù)參數(shù)有限（狀態(tài)）Markov鏈。

定義 2.1.1[6]

如果對(duì)所有≥0和任何整數(shù)，0≤≤s。隨機(jī)過(guò)程≥0}滿足：

（1）

則稱是連續(xù)時(shí)間Markov鏈。

（1）式所表示的就是Markov性。

對(duì)于Markov鏈，描述它概率性質(zhì)最重要的是它在m時(shí)刻的一步轉(zhuǎn)移概率：

它表示在取值i的條件之下于下一時(shí)刻轉(zhuǎn)移到j(luò)的概率。 由于概率是非負(fù)的，而且，過(guò)程總要轉(zhuǎn)移到某一狀態(tài)去，所以顯然，應(yīng)具有下列性質(zhì)：

≥0，

其中：I為Markov鏈的狀態(tài)空間。

當(dāng)然，可以把過(guò)程留在原地也看成是一種“轉(zhuǎn)移”，即從i轉(zhuǎn)移到i。稱為Markov鏈的轉(zhuǎn)移概率矩陣。矩陣的第i+1行就是給定時(shí)，的條件概率分布。若Markov鏈的狀態(tài)總數(shù)是有限的，則就是有限階方陣，其階數(shù)正好是狀態(tài)空間中狀態(tài)的總數(shù)。

一般還可以定義時(shí)刻m的k步轉(zhuǎn)移概率：

≥1

同樣有：

≥0

通常還規(guī)定：

關(guān)于k步轉(zhuǎn)移概率，還有如下的Chapman - Kolmogorov方程：

隨機(jī)分析學(xué)，按照K. It的說(shuō)法，是“增添了隨機(jī)的有趣的分析學(xué)”。他在1987年被授予Wolf獎(jiǎng)時(shí)，對(duì)他貢獻(xiàn)的評(píng)價(jià)做出了高度評(píng)價(jià)：使他對(duì)Markov樣本的無(wú)窮小理論的發(fā)展有了一個(gè)完全的重新的認(rèn)識(shí)。他給出的隨機(jī)分析就如同物理中的牛頓定律，提供了理解自然現(xiàn)象中的隱著的隨機(jī)和方程之間的直接的對(duì)應(yīng)過(guò)程，主要是對(duì)布朗運(yùn)動(dòng)的函數(shù)的積分以及微分運(yùn)算，由此而得到的理論是近現(xiàn)代純粹和應(yīng)用概率論的堅(jiān)強(qiáng)基石。

設(shè)標(biāo)準(zhǔn)Brown運(yùn)動(dòng)≥0}是定義在概率空間上的隨機(jī)過(guò)程。≥0}是一族單調(diào)遞增的F的子域，即：

則是F的子域，且對(duì)≤s≤t，關(guān)于Ft可測(cè)，并且有：

及：

假設(shè) 2.2.1[7]

設(shè)隨機(jī)過(guò)程≥0}，對(duì)于T> 0滿足以下條件：

（1）關(guān)于可測(cè)；

（2）≥0，關(guān)于Ft可測(cè)，即

≤；

（3），≥0

定義 2.2.2[7]

設(shè)≥0}為標(biāo)準(zhǔn)Brown運(yùn)動(dòng)，≥0}滿足假設(shè)2.2.1. 任取0≤≤t，令

1≤k≤，，若和式：

當(dāng)時(shí)，In均方極限[注]存在，則稱其極限：

為≥0}關(guān)于Brown運(yùn)動(dòng)≥0}的It積分。

所謂It微分方程就是指帶有白噪聲的微分方程。

在It積分定義的基礎(chǔ)上，考慮如下隨機(jī)微分方程：

（2）

由前所述，如果形式上記：

則即為白噪聲，這時(shí)方程（2）可以形式地寫為：

如果沒(méi)有這一項(xiàng)，則可視為普通的常微分方程；增加了這一項(xiàng)，則表示引入了隨機(jī)因素，于是不能再是普通的函數(shù)，必須是隨機(jī)過(guò)程了。

為了避開的奇異性質(zhì)，代替隨機(jī)微分方程，考慮如下It積分方程：

（3）

其中右邊第一個(gè)積分是均方積分；第二個(gè)積分是It隨機(jī)積分。 （2）式和（3）式可視為等價(jià)。

隨機(jī)分析使得那些在微分幾何和分析中通常只對(duì)全局光滑函數(shù)有意義的重要運(yùn)算能推廣到一些極不光滑的函數(shù)上去。

2 結(jié)語(yǔ)

總之，最近幾十年來(lái)，隨機(jī)控制理論與方法在很多應(yīng)用領(lǐng)域已有廣泛的應(yīng)用。在某些重要工業(yè)的批量加工過(guò)程中，在阿波羅飛船的導(dǎo)航控制系統(tǒng)中都已經(jīng)使用了最小方差方法控制。又如，隨機(jī)控制理論已用于流量控制網(wǎng)絡(luò)最優(yōu)控制的模擬和實(shí)踐，水力電站的水庫(kù)管理就是成功的案例。隨機(jī)控制也已經(jīng)在某些經(jīng)濟(jì)問(wèn)題的模型分析方法上成功應(yīng)用，在風(fēng)險(xiǎn)投資，有價(jià)證券管理等的判決。當(dāng)把前沿的隨機(jī)控制理論與物理實(shí)際背景仿真模型結(jié)合起來(lái)，把排隊(duì)理論與擾動(dòng)分析也結(jié)合起來(lái)，這些用于算法設(shè)計(jì)的新工具新思路就使得通信及制造的網(wǎng)絡(luò)優(yōu)化方面發(fā)生了革命。

參考文獻(xiàn)

[1] 列爾涅爾，著.控制論基礎(chǔ)[M].劉定一，譯.北京：科學(xué)出版社，1981：2-3.

[2] 段廣仁.線性系統(tǒng)理論[M].哈爾濱：哈爾濱工業(yè)大學(xué)出版社，1998：1-3.

[3] 郭尚來(lái).隨機(jī)控制[M].北京：清華大學(xué)出版社，1999.

[4] 澤夫·司曲斯.隨機(jī)微分方程理論及其應(yīng)用[M].上海：上?？茖W(xué)技術(shù)文獻(xiàn)出版社，1986.

[5] 候振挺.馬爾可夫過(guò)程的Q-矩陣問(wèn)題[M].湖南：湖南科學(xué)技術(shù)出版社，1994.

[6] 方兆本，繆柏其.隨機(jī)過(guò)程[M].合肥：中國(guó)科學(xué)技術(shù)大學(xué)出版社，2002：58.

[7] 林元烈.應(yīng)用隨機(jī)過(guò)程[M].北京：清華大學(xué)出版社，2002.

[8] 復(fù)旦大學(xué)編.概率論 第三冊(cè) 隨即過(guò)程[M].人民教育出版社，1981.

[9] X.X.Liao， X.Mao. Exponential Stability of Stochastic Delay Interval System[J].Syst. Control Lett.，2000（40）： 171-181.

[10] Y.Ji and H.J.Chizeck. Controllability， stabilizability and continuous-time Markovian jump linear quadratic control[J].IEEE Trans. Automat.Control.，1990（34）：777-888.