摘 要：本文首先給出了馬爾可夫信源及其極限熵的定義，然后通過一個實(shí)例詳細(xì)解析了馬爾可夫信源極限熵的求解方法，最后對馬爾可夫信源特點(diǎn)及其極限熵的求解步驟進(jìn)行了總結(jié)。

關(guān)鍵詞：馬爾可夫信源；極限熵；極限概率

信源是什么？通俗的說，信源就是信息的來源。在我們現(xiàn)實(shí)生活中，信源無處不在，文字、聲音、圖像、數(shù)據(jù)……。在信息論與編碼理論中，把信源統(tǒng)一定義為產(chǎn)生消息符號、消息符號序列、或產(chǎn)生連續(xù)消息的來源，在數(shù)學(xué)上表示，信源則是產(chǎn)生隨機(jī)變量X，隨機(jī)序列X或隨機(jī)過程x（t）源。若信源在不同的時刻發(fā)出的符號或符號序列之間有相互依賴關(guān)系，這類信源稱為有記憶信源。通常，符號之間的相關(guān)性用聯(lián)合概率或條件概率來描述。但是，當(dāng)信源發(fā)出的某個符號只與這個符號之前的一個符號或之前的多個符號有關(guān)，而與更前面的符號無關(guān)時，我們可把它視為一種特殊的有記憶信源，即馬爾可夫信源。

1 馬爾可夫信源

⑴馬爾可夫信源。我們說實(shí)際的信源一般都是有記憶的信源，而且這種有記憶信源在任一時刻發(fā)出符號的概率通常只與前面若干個符號有關(guān)，而與更前面的符號無關(guān)，因此我們可以認(rèn)為信源在某一時刻發(fā)出的符號與信源的狀態(tài)有關(guān)。若信源輸出的符號序列和狀態(tài)序列滿足下述的兩個條件：某一時刻 信源的輸出僅與信源的當(dāng)前狀態(tài)有關(guān)；信源的狀態(tài)只由當(dāng)前的輸出符號和前一時刻信源狀態(tài)唯一確定。我們稱這樣的信源為馬爾可夫信源。

⑵馬爾可夫信源的極限熵。若信源以長度為N輸出符號序列，則信源的平均符號熵為 ，其中 是信源的矢量熵。當(dāng)N→∞時， ，此時稱 為信源的極限熵。極限熵是真正描述實(shí)際信源熵的表達(dá)方式。它規(guī)定了平穩(wěn)離散有記憶信源輸出符號序列中平均每個信源符號的熵值，代表了一般離散有記憶信源平均每發(fā)出一個符號所提供的信息量。事實(shí)上，當(dāng)信源記憶長度很長，趨于無窮大的時候，要計算聯(lián)合熵或極限熵是很困難的，它需要測定信源的無窮階聯(lián)合概率和條件概率，這是很難達(dá)到的，因此，我們在實(shí)際計算時，我們往往只考慮有限記憶信源的熵，用有限的條件熵或平均符號熵作為極限熵的近似值。

m階馬爾可夫信源極限熵的計算公式為：

由此可見，當(dāng)信源是有記憶m階的馬爾可夫信源時，我們用條件熵作為極限熵的近似值。而求解條件熵 的關(guān)鍵就是要得到馬爾可夫信源穩(wěn)定后（N→∞）各個狀態(tài)的極限概率。

2 馬爾可夫信源極限熵求解案例分析

極限熵 并不是在任何情況下都存在。通常，對于一個n元m階的馬爾可夫信源，只有在平穩(wěn)狀態(tài)下，各個狀態(tài)的狀態(tài)極限概率都存在時，才可以計算出極限熵。因此，求解馬爾可夫信源的極限熵關(guān)鍵在于如何求解馬爾可夫信源穩(wěn)定后各個狀態(tài)的極限概率。下面，就以一個案例來說明馬爾可夫信源的極限熵的求解方法。

舉例：設(shè)有二元2階馬爾可夫信源，其原始信源X的符號集為{x1=0，x2=1}，其狀態(tài)轉(zhuǎn)移圖如下圖所示，求該馬爾可夫信源的極限熵。

解：（1）首先求解各狀態(tài)極限概率

由題意可得，該信源狀態(tài)空間共有4種不同的狀態(tài)e1，e2，e3，e4，即E∈{e1=00，e2=01，e3=10，e4=11}，由圖可知信源的一步轉(zhuǎn)移概率為：

這樣二元2階信源X∈{0，1}得到的狀態(tài)空間{e1，e2，e3，e4}和相應(yīng)的一步轉(zhuǎn)移概率構(gòu)成的2階馬爾可夫信源模型為：

求解以上方程組，則可算出該信源的狀態(tài)極限概率為：

各個極限概率滿足：

（2）求解該信源的極限熵

計算出該馬爾可夫信源的狀態(tài)極限概率后，根據(jù)狀態(tài)轉(zhuǎn)移圖提供的一步轉(zhuǎn)移概率，我們就可以計算出這個2階馬爾可夫信源的極限熵 了。

3 總結(jié)

馬爾可夫信源屬于有記憶信源，當(dāng)信源在某個狀態(tài)時，只取決于這個時刻發(fā)出的符號與之此時刻之前的符號狀態(tài)有關(guān)。馬爾可夫信源不同于一般有記憶信源之處在于它用符號之間的轉(zhuǎn)移概率來描述符號間的關(guān)聯(lián)性，即馬爾可夫是以轉(zhuǎn)移概率發(fā)出每個信源符號的。計算馬爾可夫信源的極限熵時，首先要考慮該信源的極限熵是否存在，若極限熵存在，則需先計算出該信源各個符號狀態(tài)的極限概率，再根據(jù)極限概率和轉(zhuǎn)移概率求出極限熵。通過計算極限熵，我們可以計算出信源存在的冗余度，為信源的編碼奠定基礎(chǔ)。

[參考文獻(xiàn)]

[1]陳運(yùn).信息論與編碼.北京：電子工業(yè)出版社，2009.

[2]張旭東，等.圖像編碼基礎(chǔ)和小波壓縮技術(shù).北京：清華大學(xué)出版社，2004.

[3]吳家安，等.語音編碼技術(shù)及應(yīng)用.北京：機(jī)械工業(yè)出版社，2006.

[4]鐘家愷.通信原理教程.北京：科學(xué)出版社，2003.

[5]鐘玉琢.多媒體技術(shù)基礎(chǔ)與應(yīng)用.北京：清華大學(xué)出版社，2008.