黃生祥 鄧聯(lián)文 廖聰維 羅衡 李旭光

[摘 要] 通過多年研究生新生課程“應(yīng)用信息論”的教學(xué)實踐，教學(xué)團隊總結(jié)凝煉了一套引導(dǎo)學(xué)生們克服畏難心理、快速理解信息量、信息熵等基本概念的方法。在“應(yīng)用信息論”的導(dǎo)論課堂，通過一個天平稱重的益智游戲?qū)胄畔⒘扛拍睿\用頭腦風(fēng)暴法討論信息量及信息熵的數(shù)學(xué)形式，多視角解讀最大熵定理，達到喻理（信息論）于例的目的。通過實際動手計算及證明，更好地幫助大部分研究生新生手到心到，建立起足夠的學(xué)習(xí)和研究的信心，取得了很好的教學(xué)效果。

[關(guān)鍵詞] 信息論;課程設(shè)計;益智游戲;腦力風(fēng)暴

[中圖分類號] G642.0? ?[文獻標(biāo)識碼] A? ?[文章編號] 1674-9324（2021）04-0128-04? ? [收稿日期] 2020-04-22

一、引言

信息論是電子通信領(lǐng)域的重要基礎(chǔ)課，無論對于高年級本科生還是研究生，學(xué)習(xí)起來均有較高的難度[1，2]。近年來，教學(xué)團隊一直堅持面向本院電子通信工程、電子科學(xué)與技術(shù)等專業(yè)的研究生新生開設(shè)“應(yīng)用信息論”課程，其目的是普及信息論知識和思維方法，以期在今后的科研中將信息論作為思考問題及解決問題的工具。

信息論課程具有概念抽象、公式繁多的特點[3，4]，初學(xué)者感到畏難。部分研究生雖然在本科四年級時選修了相關(guān)的課程，例如“信息論與編碼”，但是普遍反映聽不懂、考試后基本忘記了所學(xué)知識。

二、一個富有信息量的益智游戲

大部分的信息論課程，開頭都將對香農(nóng)的有趣研究經(jīng)歷做一些介紹。一般介紹完香農(nóng)對信息論的貢獻之后，就開始討論概率或者信息量。但是我們認(rèn)為進入正題前，利用一個經(jīng)典的益智游戲來激發(fā)學(xué)生的好奇心很有必要。因此，我們選擇了一個富有信息量的益智游戲，讓學(xué)生們互動起來。

問題的提出：天平稱球問題。已知12個球中有一個重量不標(biāo)準(zhǔn)的次品球，如何用一個無砝碼天平稱最少的次數(shù)，將這12個球中的次品球確定下來。

首先安排1～2名學(xué)生在黑板上書寫解題思路，同時也讓其他學(xué)生拿出筆和紙親自琢磨解法。從這幾年情況來看，所有的學(xué)生都能推測得到稱3次能確定出次品球，學(xué)生都能夠?qū)€別情況做出合理的判斷，分析出部分解決方案，但是很少有學(xué)生能夠全部給出解答。

在較充分地討論之后，我們對這個問題開展了信息量的分析。天平稱3次（3種狀態(tài)：左邊重，右邊重，平衡），最多的結(jié)構(gòu)有3=27種。但是異常球可能是12個球中的一個，可能輕也可能重，所以現(xiàn)實狀態(tài)只有24種。從原理上，一定能3次稱完。

現(xiàn)在，考慮這12個球，其中一個是或輕或重的次品的各種可能性。如果這個球是“輕”的次品，記為-，“重”的次品，記為+，因此，可能的次品分布情況是1+、1-、2+、2-……12+、12-。得益于這些符號的表示，我們可以較方便地把3次稱球的全部過程都描述清楚。

圖1示意了天平稱球問題各種情況的完整解析。這里僅舉一種情況作為說明。先拿出1～4號球置于天平之左，5～8號球置于天平之右，做第一次稱重操作。若左側(cè)天平較重，則可能的情況包括：1～4號球中有一個較重，或者5～8號球中有一個較輕。在新一次的稱重中，應(yīng)該合理地交換，增加新的信息量。于是左側(cè)天平保留1號、2號球，換上6號球;右側(cè)天平則保留5號球，換上3號和4號球。若仍然是左側(cè)為重，則說明所換的3號、4號、6號球為標(biāo)準(zhǔn)球，仍然是1號球或者2號球較重，或者5號球較輕造成的。于是第三次的稱重則衡量1號球和2號球即可，較重的那一個即非標(biāo)準(zhǔn)球，或者二者的平衡即可以導(dǎo)出5號球較輕的結(jié)論。其他的情況，可對照圖1做類似的解讀。

這個小游戲說明，如果一個隨機實驗在所有結(jié)果上的概率分布為均勻分布時，可以保證它可提供的信息量最大。本實例的展示，至少可以起到以下幾個作用：①拉近課程與學(xué)生們的距離，讓聽者可以開動腦筋，進入思考狀態(tài)。②本算例蘊含著信息論的一些基本的思想，圖1所示的解析，實質(zhì)上是通過實驗設(shè)計，將24種可能性充分均勻地散布到三次稱重之后，與后面要引入的信息熵概念形成了呼應(yīng)關(guān)系。

三、一次關(guān)于“信息熵應(yīng)該是什么數(shù)學(xué)形式”的頭腦風(fēng)暴

頭腦風(fēng)暴的過程在信息量及信息熵的導(dǎo)入過程中起到關(guān)鍵作用。一般來說，依概率對信源進行建模是必須的一道教學(xué)流程。由于建模的過程非常重要，建議把這段話寫到黑板上，而不能僅僅通過PPT展示。

對M元離散信源，即x1、x2、…xM，根據(jù)這些信源出現(xiàn)的概率，建立了相應(yīng)的“概率場”模型來描述，即這里的約束條件是;

然后，我們引入一個討論過程：如何度量這些信源事件的信息量。為了表述清楚“消息所表達的事件越不可能發(fā)生，信息量就越大”這個意思，可以舉出不少例子來。例如，“那一天發(fā)生了8級大地震”，這句話蘊含的信息量就很大，因為8級大地震是一個小概率的事件。因此，要給出一個表達式I（x）來衡量信息量的話，它一定是一個關(guān)于概率p的單調(diào)減函數(shù)，即概率越大，信息量的函數(shù)值越小。另一方面，根據(jù)生活常識，若干獨立事件的信息量要可以疊加。如果對于系列獨立事件的信息量收集得越充分，對這些事情方方面面的把握就越清楚。

然后我們開始引導(dǎo)大家來討論，如下表達式是否可以作為信息量的函數(shù)。

四、三種最大熵定理的證明方法

雖然通過信息量的討論引入了信息熵定義，也舉了幾個例子，讓大家計算了不同的信息熵，例如某種天氣概率的信息熵、等概率擲硬幣的信息熵、等概率擲骰子的信息熵等。但是，多年來的教學(xué)實踐表明，最大熵定理的證明過程，對于更好地理解信息熵幫助很大。

這里首先說明，什么是最大熵定理。信源中包含n個不同離散消息時，信源熵H（X）有必然滿足如下關(guān)系：

這種證明方法有幾個優(yōu)勢：①強化了對信息熵函數(shù)的上凸性質(zhì)的認(rèn)識。②證明過程之所以能夠成立，在于log函數(shù)的加強吸收和自變量能夠分子、分母抵消，這有利于加深大家對信息熵函數(shù)形式的記憶。

第二種證明方法是利用相對熵的概念。對于x事件的概率分布p（xi）及y事件的概率分布q（yi），相對熵被定義為：

五、重視互動、當(dāng)堂計算

參加課程的學(xué)生，能夠通過數(shù)學(xué)運算的過程，形成相互競技、觀摩的一種氛圍，可以形成較活潑生動的課程討論。在本課程教學(xué)過程中，大量開展了當(dāng)堂計算、手動證明、畫圖示意，PPT演示同時起到串接和提醒的作用。本教學(xué)團隊成員均達成共識，即PPT里的數(shù)學(xué)式子是靜止的;只有通過粉筆寫到黑板，才成為一個討論和研究的課題;只有通過師生的討論和解析，并且經(jīng)過有限步驟的推演、證明，才成為鮮活的觀念，植入到學(xué)生們的頭腦中。

在導(dǎo)論課上，我們簡單地介紹了香農(nóng)編碼。只有通過讓一位學(xué)生在黑板上演算、其他同學(xué)在教室當(dāng)堂演算這樣的發(fā)掘過程，才暴露出大家存在的問題：①從小到大，沒有進行過十進制小數(shù)轉(zhuǎn)化二進制小數(shù)的運算，不能理解為什么是乘2取整;②機械地背誦了大于1整數(shù)轉(zhuǎn)化而二進制數(shù)的除法過程，不能明確判斷余數(shù)出現(xiàn)順序和二進制數(shù)順序的對應(yīng)關(guān)系;③不能理解二進制小數(shù)中，多位循環(huán)的情況。

我們設(shè)計了這樣的簡單的課堂互動：讓大家分別將十進制的11、0.5、0.7轉(zhuǎn)化為二進制數(shù)。然而結(jié)果讓人大跌眼鏡，完全無提示的情況下，在2分鐘內(nèi)能夠完全正確實現(xiàn)這三個數(shù)字二進制轉(zhuǎn)化的學(xué)生的比例不超過20%。教師演示出多項式展開、標(biāo)注出二進制數(shù)每一位的權(quán)重對應(yīng)關(guān)系，70%以上的學(xué)生才恍然大悟，能夠計算得出正確結(jié)果。這反映出我們的基礎(chǔ)數(shù)學(xué)教學(xué)環(huán)節(jié)，學(xué)生們的實際演算能力、對數(shù)字的敏感性仍然不夠高。而對數(shù)字、數(shù)學(xué)式子的不敏感，也正是信息論教學(xué)環(huán)節(jié)的最主要障礙。

以上這些情況，通過信息論的課堂教學(xué)，均不同程度地有所緩解。從課程考試結(jié)果來看，全部參與課程的學(xué)生，都能夠很好地完成信息熵的較準(zhǔn)確值的計算。

六、結(jié)論

“應(yīng)用信息論”是電子通信專業(yè)研究生新生的重要基礎(chǔ)課。本課程教學(xué)團隊通過多年來的課程實踐，總結(jié)出導(dǎo)論課如何開展案例教學(xué)的新方法。利用天平稱重的益智游戲、頭腦風(fēng)暴法討論信息量及信息熵的數(shù)學(xué)形式、多種方法證明最大熵定理，從不同角度引導(dǎo)上課的研究生新生克服畏難心理，較快速理解信息量、信息熵等基本概念。

參考文獻

[1]沈連豐，葉芝慧.信息論與編碼[M].北京：科學(xué)出版社，2004.

[2]朱雪龍.應(yīng)用信息論基礎(chǔ)[M].北京：清華大學(xué)出版社，2001.

[3]鐘義信.信息科學(xué)原理[M].北京：郵電大學(xué)出版社，1996.

[4]傅祖云.信息論——基礎(chǔ)理論與應(yīng)用[M].北京：電子工業(yè)出版社，2007.