張軍霞　石倩

一、隨機(jī)過程發(fā)展簡述

在當(dāng)今社會的廣闊天地里，人們可以看到一種叫作隨機(jī)過程的數(shù)學(xué)模型：一些看似毫無規(guī)律的偶然現(xiàn)象經(jīng)過隨機(jī)理論的研究發(fā)現(xiàn)竟然有章可尋，從銀河亮度的起伏到星系空間的物質(zhì)分布、從分子的布朗運(yùn)動到原子的蛻變過程，從化學(xué)反應(yīng)動力學(xué)到電話通訊理論、從謠言的傳播到傳染病的流行、從市場預(yù)測到密碼破譯，隨機(jī)過程理論及其應(yīng)用幾乎無所不在。

馬爾可夫經(jīng)多次觀察試驗(yàn)發(fā)現(xiàn)，一個系統(tǒng)的狀態(tài)轉(zhuǎn)換過程中第n次轉(zhuǎn)換獲得的狀態(tài)常決定于前一次（第n-1次）試驗(yàn)的結(jié)果。目前，馬爾可夫鏈理論與方法已經(jīng)被廣泛應(yīng)用于自然科學(xué)、工程技術(shù)和公用事業(yè)中。

二、馬爾可夫過程發(fā)展

2.1 馬爾可夫過程簡介

馬爾科夫過程（MarKov Process）是一個典型的隨機(jī)過程。設(shè)X（t）是一隨機(jī)過程，當(dāng)過程在時刻t0所處的狀態(tài)為已知時，時刻t（t>t0）所處的狀態(tài)與過程在t0時刻之前的狀態(tài)無關(guān)，這個特性成為無后效性。無后效的隨機(jī)過程稱為馬爾科夫過程。

2.2 馬爾可夫鏈的定義

[定義] 設(shè)有隨機(jī)過程 { Xn，n∈T }， 若對于任意的整數(shù)n∈T 和任意的 i0，i1，…，in+1∈I，其中：

T={0，1，2…}為離散的時間集合，

I ={i0，i1，…，in+1 }為Xn 所有可能取值的全體組成的狀態(tài)變量

P{Xn+1=in+1|X0=i0，X1=i1，Xn=in}

P{Xn+1=in+1|Xn=in}

若條件概率滿足

則稱 { Xn，n∈T } 為馬爾可夫鏈，簡稱馬氏鏈。

經(jīng)過推導(dǎo)所知，Markov鏈的統(tǒng)計(jì)特性完全由條件概率P{Xn+1=in+1|Xn=in}決定，所以確定條件概率及如何利用是Markov鏈重點(diǎn)解決的問題。

2.3 馬爾可夫鏈的算法

2.3.1 轉(zhuǎn)移概率

·馬爾可夫鏈 { Xn，n∈T }在時刻n的一步轉(zhuǎn)移概率為P{Xn+1=in+1|Xn=in}，i，j∈I所以pij（n）與時刻n有關(guān)

·當(dāng)轉(zhuǎn)移概率pij（n）與時刻n無關(guān)時，則稱馬爾可夫鏈?zhǔn)驱R次的，并記為pij（n）為pij

·設(shè)P為一步轉(zhuǎn)移概率pij組成的矩陣，稱為一步轉(zhuǎn)移概率矩陣P=p

p

…

p …

p

p

…

p …

… … … … …

該矩陣滿足：

（1）pij≥0，i，j∈I

（2）pij=1，i∈I

2.3.2 n步轉(zhuǎn)移概率

·[定義]稱條件概率

·p=P{Xm+n=j|Xm=i}，（i，j∈I，m≥0，n≥1）為馬爾可夫鏈 { Xn，n∈T }的n步轉(zhuǎn)移概率，并稱P=

p

為馬爾可夫鏈的n步轉(zhuǎn)移概率。

·同樣有

（1）pij≥0，i，j∈I

（2）pij=1，i∈I

特別的

p=0 i≠j

1 i=j

2.3.3 推論1—C-K方程

·[定義]設(shè) { Xn，n∈T }為馬爾可夫鏈，則對于任意整數(shù)n≥0，0≤l

p=pp稱為C-K方程

2.3.4 推論2

p=… pp…p

2.3.5 推論3

P=P·P

2.3.6 推論4

P=P

三、馬爾可夫過程在移動通信中的應(yīng)用

馬爾可夫隨機(jī)過程的發(fā)展史說明了理論與實(shí)際之間的密切關(guān)系，其研究方向的提出是有其實(shí)際背景的。當(dāng)這個方向被深入研究后，可指導(dǎo)實(shí)踐，進(jìn)一步擴(kuò)大和深化應(yīng)用范圍。以移動網(wǎng)為例，對馬爾可夫過程進(jìn)行應(yīng)用簡單應(yīng)用如下：

1996年ITU制訂了一種語音質(zhì)量的主觀評測標(biāo)準(zhǔn)MOS（Mean Opinion Score）測試，將用戶接聽和感知語音質(zhì)量的行為進(jìn)行調(diào)研和量化，由不同的調(diào)查用戶分別對原始標(biāo)準(zhǔn)語音和經(jīng)過無線網(wǎng)傳播后的衰退聲音進(jìn)行主觀感受對比，評出MOS分值，實(shí)際網(wǎng)絡(luò)測試中，一般市區(qū)內(nèi)MOS值達(dá)到3以上的時候，就表明網(wǎng)絡(luò)質(zhì)量處于較好的水平?，F(xiàn)對某無線網(wǎng)絡(luò)進(jìn)行等時間間隔的觀測，發(fā)現(xiàn)當(dāng)級別為優(yōu)后即以概率1保證維持在優(yōu)，當(dāng)級別為劣后即以概率1保證維持在劣，在其他級別分別以概率1/3向上一個級別遷移、維持當(dāng)前級別、向下一個級別遷移。設(shè)每個觀測間隔為一步轉(zhuǎn)移，可利用馬爾可夫鏈的知識對該問題進(jìn)行分析。

根據(jù)上述描述可以求得馬爾可夫鏈的一步轉(zhuǎn)移概率矩陣為

根據(jù)其一步轉(zhuǎn)移矩陣可得出其二步轉(zhuǎn)移概率矩陣，假設(shè)該無線網(wǎng)絡(luò)當(dāng)前時刻的語音級別為中，可以計(jì)算出經(jīng)過二步轉(zhuǎn)移后級別還為中的概率。

二步轉(zhuǎn)移概率矩陣如下：

若該無線網(wǎng)絡(luò)當(dāng)前時刻的語音級別為中，則經(jīng)過二步轉(zhuǎn)移后級別還為中的概率是1/3。

計(jì)算任意階轉(zhuǎn)移矩陣，發(fā)現(xiàn)任意階轉(zhuǎn)移矩陣中總有零元存在，所以沒有平穩(wěn)分布。

四、與馬爾可夫過程相關(guān)的歷史事件

（1）1997年提出在因果馬爾科夫條件下，可以由網(wǎng)絡(luò)的條件獨(dú)立和條件相關(guān)關(guān)系推斷因果關(guān)系。（2）夸（Qllah）于 1993年采用馬爾科夫漣模型 對歐洲經(jīng)濟(jì)的發(fā)展作了進(jìn)一步分析，認(rèn)為以前傳統(tǒng)的經(jīng)驗(yàn)方法對研究收斂性有時可能有 誤導(dǎo)作用。（3）1991年Cohen等采用高斯一馬爾科夫隨機(jī)場（GMRF）紋理模型對織物疵點(diǎn)的檢測進(jìn)行了研究，從正常紋理中提取模型參數(shù)，再通過統(tǒng)計(jì)假設(shè)檢驗(yàn)判別疵點(diǎn)。（4）1990年撰寫“馬爾科夫鏈預(yù)測技術(shù)的應(yīng)用”等論文 1992年之后撰寫成“現(xiàn)代控制理論在森林資源動態(tài)預(yù)測中的應(yīng)用”和“森林資源動態(tài)系統(tǒng)Kalman濾波”等文章。（5）1973年Dudley“和Burt把動態(tài)規(guī)劃應(yīng)用于灌溉水庫的管理上，利用馬爾科夫鏈的轉(zhuǎn)移概率對遞推動態(tài)方程加權(quán)。（6）直到 1971年 Hammersly等提出H C定理 從理論上證明了馬爾科夫性與吉布斯分布等價性以吉布斯為代表的隨機(jī)場理論才得到空前發(fā)展與運(yùn)用。7（）1948年，Shannon首先證明遍歷齊次馬爾科夫鏈的極限是存在的；1957年，Briemann證明了平穩(wěn)遍歷的馬爾科夫鏈的極限是存在的。（8）1940年克拉默斯（Kramers）將裂變過程看作復(fù)合核內(nèi)部的各種可能的分裂碎片的無規(guī)運(yùn)動行為，但不是完全隨機(jī)行為，而是僅保持對前一步記憶的馬爾科夫無規(guī)運(yùn)動，例如布朗運(yùn)動。