吳嘉婧 李全忠

[摘 要] “信息論與編碼”是一門以“香農(nóng)三大理論”為基礎(chǔ)的理論課程，是包括通信工程、計算機科學與技術(shù)、信息與計算科學等多個信息相關(guān)專業(yè)的本科生和研究生的專業(yè)課。近年來在面向計算機相關(guān)專業(yè)進行“信息論與編碼”課程教學實踐中發(fā)現(xiàn)，學生普遍感覺此課程理論性較強且內(nèi)容偏難，因此較難順利完成此課程的學習。針對計算機應(yīng)用型人才進行“信息論與編碼”課程教學過程中面臨的困境，并結(jié)合教學實踐從教學內(nèi)容、教學方法和考核方式等方面對課程教學進行改革，并取得了較好的效果，對計算機專業(yè)人才的理論基礎(chǔ)培養(yǎng)有一定的借鑒作用。

[關(guān)鍵詞] 信息論;編碼;計算機應(yīng)用;本科教學;教學實踐

[基金項目] 2020—2023年國家自然科學基金項目“通信—電力相依網(wǎng)絡(luò)彈性過程的建模、分析與優(yōu)化”（61973325）;2021—2022年中山大學國家高等教育質(zhì)量常態(tài)檢測數(shù)據(jù)中心重點研究項目“面向計算機人才培養(yǎng)的信息論與編碼教學實踐”（M1801）

[作者簡介] 吳嘉婧（1989—），女，江西吉安人，博士，中山大學計算機學院副教授，博士生導(dǎo)師，主要從事區(qū)塊鏈和圖挖掘技術(shù)研究;李全忠（1984—），男，廣東茂名人，博士，中山大學計算機學院副教授（通信作者），主要從事無線通信研究。

[中圖分類號] G642.0? ?[文獻標識碼] A? ?[文章編號] 1674-9324（2021）33-0021-04? ? [收稿日期] 2021-03-12

一、引言

信息論是將通信技術(shù)、概率論、隨機過程、數(shù)理統(tǒng)計等學科相結(jié)合逐步發(fā)展而形成的一門新興科學，也是現(xiàn)代信息技術(shù)的奠基性理論。信息論的創(chuàng)始人是美國著名的數(shù)學家與通信學家香農(nóng)

（C.E.Shannon），他于1948年發(fā)表的《通信的數(shù)學理論》一文被視為標志著信息論產(chǎn)生的奠基性論文，因此信息論又稱為“香農(nóng)信息論”。在信息論中，信息的傳遞過程被作為一種統(tǒng)計現(xiàn)象來考慮，因此信息這種抽象概念的度量、傳遞和變化規(guī)律，可用數(shù)理統(tǒng)計的方法進行研究。信息論的研究內(nèi)容包括信息的定義、度量、存儲、傳輸和理解等，而在信息的傳輸和存儲過程中通常需要考慮信息編碼技術(shù)?！靶畔⒄撆c編碼”即為涵蓋信息論理論與編碼技術(shù)的一門課程，也是中山大學計算機學院計算機類專業(yè)本科和研究生階段的主修專業(yè)課程。本校開設(shè)的“信息論與編碼”課程以信息熵的基本概念為核心，以香農(nóng)三大編碼定理——可變長無失真信源編碼定理、有噪信道編碼定理和保失真度準則下的有失真信源編碼定理為核心內(nèi)容，重點培養(yǎng)計算機專業(yè)的學生對信息論基本原理的理解，并培養(yǎng)利用信息論的理論與思維視角來分析解決計算機實際應(yīng)用中的問題[1]。

然而，本課程運用了大量的數(shù)學知識，課程內(nèi)容多，教材中存在大量的理論證明和推導(dǎo)，對學生抽象思維和邏輯推理能力的要求較高。此外，計算機專業(yè)的學生普遍對通信領(lǐng)域的基本原理和發(fā)展狀況了解較少，且普遍感興趣的是近年來熱門的計算機應(yīng)用領(lǐng)域，例如人工智能、數(shù)據(jù)挖掘、區(qū)塊鏈等，因此對本門課程學習的興趣和主動性不大。近年來，筆者在從事計算機專業(yè)“信息論與編碼”課程教學的過程中發(fā)現(xiàn)，學生普遍對理論學習興趣平平，且有畏難情緒，對信息理論與計算機應(yīng)用的關(guān)聯(lián)感到困惑，無法全面掌握課程內(nèi)容。因此，本文重點對計算機應(yīng)用型人才培養(yǎng)過程中進行“信息論與編碼”理論教學時的特色和存在的困難進行了分析，并結(jié)合教學實踐從課程教學內(nèi)容、教學方法與考核方式三個方面入手，提出了相應(yīng)的教學改革措施。

二、計算機專業(yè)講授“信息論與編碼”課程存在的問題

（一）學生缺乏必要的學科背景

“信息論與編碼”在面向通信和電子類專業(yè)學生開設(shè)時，通常是基于前導(dǎo)課程“信號與系統(tǒng)”或“通信原理”?！靶盘柵c系統(tǒng)”介紹了信號的頻譜、信號處理方面的基礎(chǔ)知識，而“通信原理”介紹了基本的通信框架和信道與信源的含義。香農(nóng)信息論主要研究了通信理論中的有效性和可靠性的問題，因此通信和信號處理的相關(guān)知識可以幫助學生更好地理解香農(nóng)理論的現(xiàn)實背景，以及信源與信道編碼的意義。然而，在面向計算機類學生開設(shè)“信息論與編碼”時，學生通常沒有學習過上述課程，因而對通信系統(tǒng)的傳輸背景、信源和信道的概念、編碼的意義及通信系統(tǒng)的性能指標不甚了解，很難理解信息傳輸?shù)幕具壿嬇c理論框架[2]。此外，在數(shù)學背景方面，“信息論與編碼”涉獵高等數(shù)學、線性代數(shù)、離散數(shù)學、概率論與數(shù)理統(tǒng)計、隨機過程、數(shù)值分析和最優(yōu)化方法等與工科數(shù)學相關(guān)的知識，超出了本專業(yè)本科生和研究生的學習范疇。即使學生學過類似的概率論和微積分等內(nèi)容，信息論證明中用到的不少知識也超出了本科的教學要求。因此，學生缺乏必要的通信背景知識和數(shù)學基礎(chǔ)，給“信息論與編碼”課程教學的順利開展帶來了不小的挑戰(zhàn)。

（二）教材中的數(shù)學理論繁雜抽象

在香農(nóng)信息論中，信息上的概念和三個編碼定理都是用數(shù)學來描述的。本課程選用的中英文教材分別是人民郵電大學出版的《信息論基礎(chǔ)》[3]和Wiley-Blackwell出版的Elements of Information Theory[4]。相比而言，中文教材較為簡明，較符合國內(nèi)學生的學習習慣，同時涵蓋了信息論與編碼兩方面的內(nèi)容。然而，中文教材主要針對通信和電子專業(yè)而編寫，里面涉及很多具體的通信背景和物理學知識，計算機專業(yè)的學生理解和消化起來有一定的難度。為了幫助學生更好地理解信息理論，我們還選用了由國際學術(shù)權(quán)威專家Thomas M.Cover和Joy A.Thomas撰寫的Elements of Information Theory作為英文參考教材，該教材中作者對信息論中的很多關(guān)鍵概念和定理提出了自己的研究心得，對學生加深信息理論的理解具有啟發(fā)性。然而，兩本教材都無法避免大量的數(shù)學公式和理論推導(dǎo)，幾乎涵蓋了工科所要求的大部分數(shù)學內(nèi)容，包括高等數(shù)學、概率論、隨機過程、線性代數(shù)等。教材中大量的理論證明對學生的數(shù)學基礎(chǔ)、抽象思維和邏輯推理能力要求較高，導(dǎo)致很多計算機專業(yè)的學生無法深刻理解這門課程。