常祖領(lǐng)

摘 要 熵是信息論中的一個最基本的概念，只有接受了熵的意義，學(xué)生們才有可能理解信息論中的其它概念和理論。因此在信息論教學(xué)中熵的引入是最基本和最重要的一步。通過多年信息論教學(xué)，筆者總結(jié)出一種引入熵的方法，這個方法更加直觀和系統(tǒng)，使這個概念更容易被學(xué)生理解和接受。

關(guān)鍵詞 信息論 熵 公理化方法

中圖分類號：G424 文獻(xiàn)標(biāo)識碼：A DOI：10.16400/j.cnki.kjdkx.2015.06.053

One Introduction Method of Entropy in Teaching Information Theory

CHANG Zuling

（School of Mathematics and Statistics， Zhengzhou University， Zhengzhou， He'nan 450001）

Abstract Entropy is the most elementary concept in information theory and students can understand the concepts and theories in information theory only if they accepted meaning of entropy. So introducing entropy is the most elementary and important step in the course in information theory. Through years of teaching information theory， I summarize one more intuitive and systematic method to introduce entropy which makes students can understand and accept entropy more easily.

Key words information theory; entropy; axiomatic approach

在信息論這門課程中，“熵”（Entropy）是一個非常重要的概念?！办亍笔紫瘸霈F(xiàn)于熱力學(xué)第二定律中，是仙農(nóng)在1948年他的開創(chuàng)性論文“通信中的數(shù)學(xué)原理”①中，把這個概念借用于信息論中來表示信息量的多少。通過熵，我們可以把信息進行量化，從而把使用豐富的數(shù)學(xué)工具來分析信息變成了可能，從而奠定了現(xiàn)代信息論的基礎(chǔ)。②在信息論的教學(xué)中，如何引入熵這個基本概念，就是一個非常重要的問題。如果引入得不好，則學(xué)生對熵不理解，無法接受這個概念，從而影響進一步的信息論教學(xué)效果。

在多種信息論教材中，引入熵的方法多種多樣，大概可以歸結(jié)為三種，一種是直接給出熵的定義而不加推導(dǎo)引入;③一種是先考慮變量各個取值的自信息，然后再求期望推出熵的定義;④一種是先分析性質(zhì)，再通過證明推出熵的定義。⑤在多年的信息論教學(xué)中，筆者綜合了各種方法的優(yōu)點，總結(jié)出一種新的引入熵的方法，這種方法更加直觀和系統(tǒng)，可以讓學(xué)生容易接受，教學(xué)效果良好，現(xiàn)與從事信息論教學(xué)的各位同仁們交流分享。

我們在這里詳細(xì)介紹引入熵的各個步驟，力求清晰明了：

第一步：定義信源。

在引入熵之前我們定義信源。詳細(xì)說明信源是產(chǎn)生信息的源頭，其間可以通過舉例來說明。為了研究方便，對信源建立數(shù)學(xué)模型。我們用隨機變量表示信源并只考慮離散型隨機變量。令表示離散型隨機變量， ={，，…，}表示的取值字母表。的概率質(zhì)量函數(shù)（ ）為：（） = { = }，，或者 = { = }，。

第二步：定義信息。

然后我們提出信息的概念。因為隨機變量的取值是依對應(yīng)的概率相應(yīng)出現(xiàn)的，所以在隨機變量的值出現(xiàn)之前，我們一般不能確定它的確切取值，因此隨機變量有不確定性。例如：在拋擲硬幣時，我們不知道結(jié)果是正面或是反面;從袋子中取球時，我們不知道會取中那個;買彩票時，我們不能確定會不會中獎，等等。當(dāng)隨機變量的值確定之后，不確定性消失，等價于從中獲得一些信息。在這種意義下，我們把隨機變量的信息與隨機變量的不確定性等價起來，我們稱隨機變量的信息指的就是隨機變量的不確定性。這里我們一定要讓學(xué)生理解隨機變量的不確定性即信息這一點。

第三步：提出信息的度量。

有了信息的概念，自然就會產(chǎn)生這樣的問題：隨機變量的信息（不確定性）該如何度量？我們該如何判斷隨機變量的信息（不確定性）的大?。匡@然，隨機變量的不確定性由隨機變量的概率分布決定。但用概率分布來表示不確定性非常麻煩，例如可能不同的概率分布會具有同樣的信息。最重要的是概率分布不能量化，因此我們需要考慮信息的表示問題。

我們定義一個函數(shù)（）來表示隨機變量包含的信息（不確定性）。這個函數(shù)只與的概率質(zhì)量函數(shù)有關(guān)，而與中的具體值是沒有關(guān)系的，即（） = （，，，），0≤≤1， ?= 1， = ∣∣。

那么函數(shù)（）應(yīng)具有哪些性質(zhì)呢？

第四步：（）的性質(zhì)

我們在這里給出三條（）必須要滿足的性質(zhì)：

（1）（連續(xù)性）概率的些許改變應(yīng)使隨機變量的不確定性也只發(fā)生些許改變，所以（）應(yīng)關(guān)于， = 1，2，…，∣∣，連續(xù)。

（2）（單調(diào)性）當(dāng)?shù)目赡苋≈捣木鶆蚍植紩r，則的可取值越多，它的不確定性也應(yīng)越大，即：

（，，…，）<（，，…，）

（3）（可加性）我們來考慮如下實驗：假設(shè)中元素服從均勻分布時，把其中元素分成一些不交集合。

，，，，∣∣= ， = ?= ∣∣

首先以對應(yīng)于集合大小的相應(yīng)概率選取一個集合，即（）= ，然后再等概地從被選集合中選取一個元素。因為endprint

我們有（） = （∣）（） = ? = 。

這說明以我們上面定義的方式選取中元素的概率與直接以等概選取中元素的概率是一樣的，所以這兩種不同的方式所蘊含的信息也是一樣多的。

例如，一個袋子中有個不同顏色的球，則直接從袋子中取球的概率是等概的。如果先把球分裝到各個小袋中，再把這些小袋裝入大袋。選取時先從大袋中取一個小袋，然后再從小袋中取一個球，這時取各個球的概率仍為等概，所以這兩種方式所包含的信息是一樣多的。又例如：100個學(xué)生，編號為00～99，隨機從中選取一個編號，或先隨機選取編號第一位后，再隨機選取編號第二位。它們的不確定性是一樣的。

第一種方式的不確定性（信息）為：（，，…，）

在第二種方式中，選取集合，，…，的不確定性為：（，，…，，）。選定一個集合后，再從集合中選取元素這個過程也有不確定性，這個過程的平均不確定性為：

（）€祝ù又醒∪≡氐牟蝗范ㄐ裕？

= （，，…，）

所以我們有

（，，…，，） = （，，…，） + （，，…，）

綜上，我們所定義的用來衡量隨機變量的不確定性（所蘊含的信息）的函數(shù)（）應(yīng)具備如下性質(zhì)：

（1）（連續(xù)性）（，，…）對所有概率密度函數(shù)，，，，0≤≤1， = 1是連續(xù)的;

（2）（單調(diào)性）（，，…，）<（，，…，）對所有正整數(shù)都成立;

（3）（可加性）對于正整數(shù)，…，， =

（，，…，） = （，，…，） + （，，…，）

下面我們將證明性質(zhì)（1）—（3）唯一定義了一個函數(shù)（）。

第五步：根據(jù)性質(zhì)推導(dǎo)熵的形式。

在這里我們用定理的方式確定唯一的熵函數(shù)。

定理：一個函數(shù)（）滿足以上性質(zhì)（1）—（3），當(dāng)且僅當(dāng)它有如下形式：

（，，…） = ? 或（） = （）

其中>1作為對數(shù)的底，且令00 = 0。

這個定理的證明較長，在這里就不列出了。教學(xué)中證明過程也可以省略，只需要讓學(xué)生知道上面三條性質(zhì)唯一決定了熵的形式即可。在我們的教學(xué)中也是省略的，因為以前給出詳細(xì)證明時，學(xué)生有時會產(chǎn)生信息論很難很復(fù)雜的想法，從而有退縮心理。

第六步：熵的定義。

至此我們就可以順理成章地給出熵的定義了。

定義：一個離散型隨機變量的熵（）定義為：

（） = （） （） = ? （ = ∣∣，>1）

當(dāng) = 2時，（） = （） （）熵的單位為比特（）。

給出定義，然后再給出一些解釋，包括熵的單位，熵的由來，熵的意義等，這樣就使得學(xué)生對熵有一個系統(tǒng)的了解，為以后的教學(xué)奠定較好的基礎(chǔ)。

在這里我們給出的引入熵的方法其實是一種數(shù)學(xué)中常用的方法：公理化方法。為了推導(dǎo)出熵這個概念，我們先從熵函數(shù)應(yīng)具備的基本性質(zhì)入手，然后再尋找具有要求性質(zhì)的函數(shù)，因為該函數(shù)唯一，所以這個函數(shù)就是我們唯一的選擇。我們可以利用這點來保證熵的定義的合理性。

通過上面的步驟，我們逐步推導(dǎo)出熵的定義，并在推導(dǎo)過程中我們又對熵的性質(zhì)做了分析，使得學(xué)生更容易接受熵的概念，并對熵有較全面的了解。經(jīng)過實際的教學(xué)檢驗，這種引入熵的方法效果較好，學(xué)生對熵的理解比較深入，并會讓學(xué)生對信息論產(chǎn)生興趣。

注釋

①②C. E. Shannon， “A Mathematical Theory of Communication”（通信中的數(shù)學(xué)原理）[J].The Bell System Technical Journal，vol. 379-423， 623-656， July， October， 1948.

③ T. M. Cover， J. A. Thomas， 信息論基礎(chǔ)（第二版） [M].阮吉壽，張華，譯.機械工業(yè)出版社，2008.

④ 葉中行.信息論基礎(chǔ)（第二版）[M].高等教育出版社，2007.

⑤ S. Roman， Coding and Information Theory （信息論與編碼理論）[M].Springer New York，1992.endprint