胡雙年

摘要：在Markov鏈和轉移矩陣等定義的基礎上，利用代數學知識，對轉移概率極限情況進行研究，給出了Markov鏈轉移概率極限情況一般性的推廣處理方法。

關鍵詞：Markov鏈；轉移矩陣；對角矩陣

定義1：隨機過程{Xn，n=0，1，2，…}稱為Markov鏈，若它只取有限或可列個值，并且對任意的n≥0及任意狀態(tài)i，j，i0，i1，…，in-1，有

P{Xn+1=jXn=i，Xn-1=in-1，…X1=i1，X0=i0}=P{Xn+1=jXn=i}（1）

其中Xn=i表示過程在時刻n處于狀態(tài)i，稱{0，1，2，…}為該過程的狀態(tài)空間，記為S。

定義2：稱式（1）中的條件概率P{Xn+1=jXn=i}為Markov鏈的一步轉移概率，簡稱轉移概率，記為pij，它代表處于狀態(tài)i的過程下一步轉移到狀態(tài)j的概率。一般情況下，轉移概率與狀態(tài)i，j和時刻n有關。當Markov鏈的轉移概率pij=P{Xn+1=jXn=i}只與狀態(tài)i，j有關，而與n無關時，稱為時齊Markov鏈；否則，就稱為非時齊Markov鏈。本文中涉及的Markov鏈均為時齊的。

定義3：稱矩陣P=（pij）=p00p01p02…p10p11p12…pi0pi1pi2…為Markov鏈的轉移概率矩陣，一般簡稱為轉移矩陣。由于概率是非負的，且過程必須轉移到某種狀態(tài)，故pij有如下性質：①pij≥0，（i，j∈S），②∑j∈Spij=1，i∈S。

定義4：稱條件概率

pij（n）=P＼{Xm+n=jXm=i＼}，（i，j∈S，m≥0，n≥1）（2）

為Markov鏈的n步轉移概率，相應地稱P（n）=（pij（n））為n步轉移概率矩陣。顯然，n步轉移概率pij（n）指的就是系統(tǒng)從狀態(tài)i經過n步后轉移到狀態(tài)j的概率，它對中間的n-1步轉移經過的狀態(tài)無要求。

接下來，我們將對Markov鏈轉移概率極限情況給出一般性的推廣處理方法。

設Markov鏈的轉移矩陣為P，現(xiàn)在考慮n步轉移概率矩陣P（n）當n→∞的情況。由Chapman-Kolmogorov方程，可知P（n）=P·P（n-1）=

P·P·P（n-2）=…=Pn，故只需計算轉移矩陣P的n重乘積的極限。利用代數學的知識，若轉移矩陣P能夠表示為P=QDQ-1，其中D為對角矩陣，則Pn=（QDQ-1）n=QDnQ-1，而Dn是主對角元素的n次方，Q和Q-1又是容易求出的。故Markov鏈轉移概率極限情況轉化為判斷一個矩陣是否與一個對角矩陣相似的問題，也就是矩陣特征值和特征向量的計算問題。

最后，我們通過一個例子對上述過程做詳細說明。

例：設Markov鏈的轉移矩陣為P=1-ppq1-q，0

令Q=1-p1q，D=1001-p-q，計算出Q-1=qp+qpp+q-1p+q1p+q，則

P=QDQ-1，Pn=（QDQ-1）n=QDnQ-1=q+p（1-p-q）np+qp-p（1-p-q）np+qq-q（1-p-q）np+qp+q（1-p-q）np+q，

由于1-p-q<1，故limn→∞Pn=qp+qpp+qqp+qpp+q，可見此Markov鏈的n步轉移概率有一個穩(wěn)定的極限。

綜上所述，結合代數學的知識，我們得到了Markov鏈轉移概率極限情況的一般處理方法。此方法思路明確，計算較為簡潔，也可以由專門的數學軟件去完成。（作者單位：南陽理工學院數學與統(tǒng)計學院）

2015年南陽理工學院青年基金項目《Markov模型在無線傳感器網絡可靠性分析中的研究》，項目批準編號：ngky-2015-005；2015年南陽理工學院青年基金項目《非線性復雜網絡的群同步研究》，項目批準編號：ngky-2015-006

參考文獻：

[1]江志紅，常奮華，丁裕國.基于馬爾科夫鏈轉移概率極限分布的降水過程持續(xù)性研究[J].氣象學報，2013，71（2）：286-294.

[2]張波，商豪.應用隨機過程[M].北京：中國人民大學出版社，2014.

[3]康繼田.長江水質評價及預測的Markov鏈模型[J].湖北工業(yè)大學學報，2006，21（6）：101-104.

[4]鄭培，黎建強.基于模糊評估和馬爾可夫預測的供應鏈動態(tài)平衡記分卡[J].系統(tǒng)工程理論與實踐，2008，4：57-64.