孫 兵 周以恒 李景文 陳 杰

(北京航空航天大學(xué) 電子信息工程學(xué)院,北京 100191)

信道是“信息論基礎(chǔ)”課程中較為抽象且重要的概念之一。級聯(lián)更是信道組合的普遍方式,信息在級聯(lián)信道中傳輸?shù)幕拘再|(zhì),即數(shù)據(jù)處理定理,是“信息論基礎(chǔ)”課程教學(xué)的一個教學(xué)重點和難點。傳統(tǒng)的教學(xué)方式在介紹級聯(lián)信道的模型的基礎(chǔ)上,直接展示該定理以及數(shù)學(xué)推導(dǎo),教學(xué)效果較差,學(xué)生即使知曉概念,也難以解釋其與生活認(rèn)識的沖突,造成理論與實踐的脫節(jié),進(jìn)而使學(xué)生產(chǎn)生信息論無用的錯覺[1]。而本文采用的基于問題引導(dǎo)的案例式教學(xué)方法[2-4]能夠大大提高學(xué)生的學(xué)習(xí)興趣,顯著改善教學(xué)效果。

以“外國人中文傳話”游戲切入,闡述信息在級聯(lián)信道中傳輸?shù)男Ч?進(jìn)而抽象出離散級聯(lián)信道中平均互信息量的關(guān)系,給出數(shù)據(jù)處理定理;在此基礎(chǔ)上逐步探討數(shù)據(jù)處理定理的定義、性質(zhì)及物理意義,然后結(jié)合二元對稱信道實例,計算平均互信息量及其變化;再利用圖像經(jīng)過多級二元對稱信道后的效果,同時結(jié)合Photoshop (PS)和反PS技術(shù)[5]原理,讓學(xué)生在理解級聯(lián)信道與信息不增原理的同時,體會從物理系統(tǒng)抽象出實際模型的科學(xué)方法。同時在教學(xué)過程中植入多個思政要素,在“信息論基礎(chǔ)”專業(yè)課程中潛移默化地影響學(xué)生。

1 案例教學(xué)設(shè)計

1.1 案例引入

播放經(jīng)過剪輯的“外國人中文傳話”游戲視頻,將課程中信道的平均互信息基本概念與實例中的具體事件結(jié)合,在此基礎(chǔ)上引入級聯(lián)信道新概念,進(jìn)而給出相關(guān)定義,并通過數(shù)學(xué)推演給出新概念的相關(guān)性質(zhì),進(jìn)一步闡述新概念的物理含義;再以學(xué)生能夠直觀感受的數(shù)字圖像處理作為案例,結(jié)合PS和反PS技術(shù)效果和原理,探討級聯(lián)信道中平均互信息量的性質(zhì),幫助學(xué)生理解“信息不增”與實際數(shù)據(jù)處理系統(tǒng)作用的內(nèi)在關(guān)系,體會理論與實踐的統(tǒng)一。

1.2 重難點分析

1)重點內(nèi)容

(1)級聯(lián)信道的定義。離散信道I的輸入為離散集X,輸出為離散集M。信道II的輸入為離散集M,輸出為離散集Y,將信道I和信道II以級聯(lián)形式連接,即信道I的輸出作為信道II的輸入,則信道I和信道II構(gòu)成的信道稱為級聯(lián)信道。為加強(qiáng)對信道基本組合方式的理解,本課程僅考慮最簡單的級聯(lián)信道:信道I和信道II的輸入輸出X、M、Y構(gòu)成馬爾可夫鏈。

(2)數(shù)據(jù)處理定理的物理含義。信息經(jīng)過級聯(lián)處理之后最多保留原來的信息,不會增加新的信息,即信息不增。結(jié)合信道級聯(lián)的概念,每一步信息處理,相當(dāng)于增加了一級子信道級聯(lián),而總信道的平均互信息量最多保持不變,并且不超過任何一級子信道的平均互信息量。

(3)級聯(lián)信道的信道容量。信道容量是信道最基本最重要的參數(shù),對于級聯(lián)信道同樣如此。根據(jù)數(shù)據(jù)處理定理,級聯(lián)信道的平均互信息不會大于任意一級子信道的平均互信息量,因而級聯(lián)信道的信道容量也將小于任何一級子信道容量。但定量計算級聯(lián)信道的信道容量需要根據(jù)總信道的信道矩陣來計算,通常情況下總信道并不是一些簡單的或特殊的信道,信道容量的計算需要利用拉格朗日算子方法求解,計算過程較為繁瑣。

2)難點內(nèi)容

從數(shù)據(jù)處理定理的性質(zhì)和證明過程中,能夠非常容易得到信息不增的結(jié)論。即對信息每增加一次處理,都很有可能會損失掉一部分,那么理論上會希望盡量少的進(jìn)行數(shù)據(jù)處理,但實際的通信系統(tǒng)中,存在或多或少的數(shù)據(jù)處理模塊,高性能的數(shù)據(jù)處理模塊對于最終的信息理解十分必要,因此主觀上存在數(shù)據(jù)處理與“信息不增”性質(zhì)認(rèn)識上的沖突,這對于初學(xué)者來說是困惑的問題。為此需要結(jié)合級聯(lián)信道輸入、輸出的信息熵以及平均互信息量闡述“信息不增”與數(shù)據(jù)處理必要性的內(nèi)在一致性。

2 教學(xué)進(jìn)程設(shè)計

2.1 總體安排

教學(xué)內(nèi)容各部分的總體安排如圖1所示。

圖1 總體教學(xué)進(jìn)程圖

2.2 關(guān)鍵教學(xué)環(huán)節(jié)

1)“外國人中文傳話”游戲引入

播放外國人中文傳話游戲的視頻剪輯,強(qiáng)調(diào)游戲規(guī)則:隨機(jī)找?guī)讉€外國人,首先教第一個人說一句簡短的中文(可能包含普通話、方言等),請他/她復(fù)述給下一個外國人,經(jīng)過幾輪之后,由最后一個人表述最終意思。通過游戲的結(jié)果討論影響傳話游戲成敗的因素,利用此前學(xué)生已經(jīng)了解的平均互信息的概念來描述傳話過程中信息的傳遞情況,由此提出如何實現(xiàn)信息遠(yuǎn)距離傳輸?shù)膯栴},為引入級聯(lián)信道的概念鋪墊。

2)級聯(lián)信道的定義

信道Ⅰ:輸入X取值A(chǔ)={a1,a2,…,ar},輸出M取值B={b1,b2,…,bs},傳遞概率p(m|x)=p(bj|ai)。信道Ⅱ:輸入M取值B={b1,b2,…,bs},輸出Y取值C={c1,c2,…,cl},傳遞概率p(y|m)=p(ck|bj)。則稱將信道I的輸出與信道II的輸入相連構(gòu)成的信道稱為級聯(lián)信道(如圖2所示)。

圖2 級聯(lián)信道模型

在此基礎(chǔ)上根據(jù)條件概率定義、馬爾可夫條件等推導(dǎo)級聯(lián)信道的總矩陣,即級聯(lián)信道矩陣與子矩陣的關(guān)系:PY|X=PM|X·PY|M。

3)級聯(lián)信道的性質(zhì)

(1)平均互信息量不增性質(zhì)(數(shù)據(jù)處理定理)。隨機(jī)變量X,M,Y組成一階馬爾可夫鏈,此時,p(y|xm)=p(y|m),則平均互信息量滿足不等式I(X;Y)≤I(X;M)和I(X;Y)≤I(M;Y),等號成立條件為p(x|m)=p(x|y)。

(2)數(shù)據(jù)處理定理的證明。證明思路:由隨機(jī)變量X,M,Y構(gòu)成一階馬爾科夫鏈,簡單數(shù)學(xué)變換后可發(fā)現(xiàn)Y,M,X同樣構(gòu)成馬爾可夫鏈,即p(x|m)=p(x|my),再根據(jù)平均互信息定義和不等式lnx≤x-1得證,并給出等號成立條件。

4)級聯(lián)信道的應(yīng)用實例

(1)以二元對稱信道(BSC)為例,探討信道級聯(lián)后的平均互信息量。設(shè)有兩個級聯(lián)的BSC信道(如圖3所示),第一個信道等概輸入,X,Y1,Y2滿足馬氏鏈,求I(X;Y1)和I(X;Y2)。

圖3 二元對稱信道級聯(lián)示意圖

求解思路:由單個二元對稱信道矩陣相乘獲得級聯(lián)信道總信道矩陣,再根據(jù)平均互信息量的定義分別計算I(X;Y1)和I(X;Y2)。

根據(jù)信道容量定義推知級聯(lián)信道的信道容量;對本例而言合成信道為對稱信道,其信道容量為C=log2-H([(1-p)2+p2,2p(1-p)]),且最佳信源分布為等概率分布。

(2)推廣:5級子信道的級聯(lián)效果展示。首先從理論上計算平均互信息量的變化規(guī)律如圖4所示,再進(jìn)一步利用圖像通過5級BSC信道級聯(lián)后,逐級查看輸出圖像的效果。

圖4 多級二元信道級聯(lián)及平均互信息變化曲線

總結(jié)規(guī)律:每增加一級信道級聯(lián)都會使得平均互信息量會隨之減小。

分別以出錯概率為0.1和0.2為例,觀察各級信道輸出的圖像。在此基礎(chǔ)上調(diào)整其中一個信道(信道2)的錯誤概率為0.4,得到各級輸出圖像。最后呈現(xiàn)總體效果對比如圖5所示。

圖5 圖片經(jīng)過多級BSC信道后效果對比

總結(jié)規(guī)律:圖像質(zhì)量逐級惡化;某一級信道出錯較大后,后續(xù)圖像質(zhì)量也急劇惡化?；仡櫞饲坝芍形膫髟捰螒虻玫疥P(guān)于信息傳播的理解,不難發(fā)現(xiàn)與此處的總結(jié)是殊途同歸的。

(3)數(shù)據(jù)處理定理的應(yīng)用。如果必須使用級聯(lián),如何利用數(shù)據(jù)處理定理指導(dǎo)實踐?結(jié)合兩個實例先從數(shù)學(xué)上進(jìn)行驗證分析。

問題1:在圖6所示的級聯(lián)信道中,如果信道1給定,如何設(shè)計信道2?

圖6 數(shù)據(jù)處理定理應(yīng)用1

設(shè)計和優(yōu)化準(zhǔn)則之一是盡可能減少信道2帶來的信息損失,即構(gòu)造信道2的信道矩陣P(Y|M)使其逼近I(X;Y)=I(X;M),即p(x|m)=p(x|y)。

問題2:在圖7給定的級聯(lián)信道中,如果子信道給定,級聯(lián)順序有無影響?

(a)連接順序123

兩種級聯(lián)方式總的等效信道矩陣的信道容量分別為0.1409 bit和0.1395 bit。當(dāng)信源輸入分布為[0.5,0.5]時,平均互信息分別為0.1408 bit和0.1395 bit;當(dāng)信源輸入分布為[0.9,0.1]時,平均互信息分別為0.0505 bit和0.0507 bit。

總結(jié):級聯(lián)順序不同,信道特性往往也不相同!而最終獲取信息的能力,還必須考慮信道的輸入,本質(zhì)上需要信源和信道匹配,而各級信道的輸入與信道的匹配才是獲取較多信息的保證!

5)難點分析:“信息不增”與數(shù)據(jù)處理必要性

由此前的推導(dǎo)及實例演示,可知任何形式的信息處理都會導(dǎo)致“信息不增”,這顯然是違背直覺的,將針對PS和反PS技術(shù)分析本質(zhì)(如圖8所示)。

(a)PS過程

得益于PS技術(shù),普通人可以制作視覺效果良好的類似“明星”照片,但往往是自我感覺良好,一旦去掉“濾鏡”,會讓人大跌眼鏡!顯然PS技術(shù)會損失一些“真實”的信息。而反PS技術(shù)是利用深度學(xué)習(xí)網(wǎng)絡(luò)和大量訓(xùn)練數(shù)據(jù)檢測人為操作,如果沒有附加信息,不可能還原已經(jīng)失真的照片!總之,對通信的目標(biāo)而言,并非是讓信宿獲取的信息越多越好,而是要盡可能消除無用信息,突顯信宿感興趣的信息,這正是通信過程中的數(shù)據(jù)處理所實現(xiàn)的,也解釋了“信息不增”與數(shù)據(jù)處理必要性的“沖突”。

6)開放性問題設(shè)計:

(1)子信道級聯(lián)的順序直接影響總的信道矩陣,基于這一點將“信道”的概念發(fā)散到人與人的分工合作方面,進(jìn)而對于團(tuán)隊合作乃至企業(yè)管理方式,可以從信息論的視角去思考管理方法。

(2)閱讀關(guān)于反PS技術(shù)的學(xué)術(shù)論文[5],分析信息“還原”的本質(zhì)原因。

2.3 課程思政設(shè)計

1)精選視頻、圖片、文獻(xiàn)素材

案例首先以“外國人中文傳話”游戲剪輯視頻切入,其中的視頻素材為國外街頭若干外國人講中文、口口相傳中文的游戲,學(xué)中文、講中文已成為一種時尚,當(dāng)然中文(特別是方言)博大精深,無不體現(xiàn)文化自信;在介紹圖片通過級聯(lián)信道之后的效果演示中輸入選用《我和我的祖國》電影海報,悄無聲息地引起學(xué)生共鳴;在分析數(shù)據(jù)處理必要性難點時,針對反PS技術(shù)簡述最新學(xué)術(shù)文獻(xiàn),從信息論的角度幫助學(xué)生認(rèn)識深度學(xué)習(xí)技術(shù)的本質(zhì)。

2)反復(fù)體現(xiàn)“從生活中來、到生活中去”

案例結(jié)合生活中的游戲,讓學(xué)生在觀看輕松愉快的娛樂游戲中體會“具象化”的信息傳輸?shù)倪^程以及成功的關(guān)鍵因素,從而很好地理解和掌握級聯(lián)信道的模型以及基本性質(zhì);在分析級聯(lián)信道子信道影響分析的過程中,在定量的計算基礎(chǔ)上,結(jié)合研討分工的實例,幫助學(xué)生認(rèn)識在級聯(lián)信道理論的指引下,理解團(tuán)結(jié)協(xié)作的重要性以及應(yīng)該如何協(xié)作,并在課后思考中引導(dǎo)學(xué)生思考現(xiàn)代企業(yè)管理中的扁平化管理的合理性及優(yōu)劣;在解釋數(shù)據(jù)處理必要性難點的過程中,結(jié)合學(xué)生熟悉的PS照片編輯應(yīng)用,討論美圖技術(shù)背后的信息變化過程以及必要性,幫助學(xué)生重新思考什么是“真善美”!此外結(jié)合最新的反PS文獻(xiàn),讓學(xué)生了解如何利用信息技術(shù)實現(xiàn)“去偽存真”。

3 案例實施效果分析

針對級聯(lián)信道的教學(xué)大綱重點內(nèi)容,本教學(xué)案例自2020年以來已進(jìn)行3輪實際課堂講授,并不斷完善案例內(nèi)容及素材,學(xué)生對該知識點的掌握程度以及對教師的授課認(rèn)可度均有所提高。

教學(xué)案例在以下幾個方面取得了良好效果:

(1)在此前十余年的傳統(tǒng)教學(xué)方法中,學(xué)生在學(xué)習(xí)過程中以被動接受為主。對于“信息論基礎(chǔ)”這一包含大量抽象概念且理論性較強(qiáng)的課程,缺乏案例結(jié)合引導(dǎo)的教學(xué)大多只能起到填鴨式教學(xué)的效果,學(xué)生的理解局限于機(jī)械背誦公式,違背了信息論起源于工程并指導(dǎo)工程的精神。引入案例式教學(xué)后,將理論實踐緊密結(jié)合,層層遞進(jìn),既讓學(xué)生深刻理解級聯(lián)信道的本質(zhì),又能讓學(xué)生體會到信息論的實用價值,大大改善了教學(xué)效果。

(2)以“外國人中文傳話”游戲切入,提出通信中基本任務(wù)的問題,復(fù)習(xí)平均互信息概念的同時引入級聯(lián)信道的概念,并推導(dǎo)出級聯(lián)信道平均互信息量不增性質(zhì),在此基礎(chǔ)上通過實例加深學(xué)生對級聯(lián)信道的認(rèn)識,達(dá)到傳授基本數(shù)理知識的教學(xué)目的。

(3)通過理論計算與圖像展示,強(qiáng)化學(xué)生對“信息不增”這一概念的認(rèn)識,并提出“信息不增”與實際數(shù)據(jù)處理看似矛盾的問題,引導(dǎo)學(xué)生主動思考并加深對“信息不增”的理解,再通過分析PS和反PS技術(shù)基本原理,回答之前提出的問題;將抽象的信息理論與生活實踐相結(jié)合,讓學(xué)生更好地消化并掌握“信息不增”與數(shù)據(jù)處理的必要性這難點問題。

(4)教學(xué)方法方面,案例從學(xué)生熟知的生活實踐出發(fā),提出問題的同時學(xué)習(xí)新內(nèi)容,在課程重難點方面,將實踐與理論緊密結(jié)合,通過實踐解釋理論的同時,又讓學(xué)生用理論從新的角度認(rèn)識實踐;在教學(xué)中引導(dǎo)學(xué)生養(yǎng)成“信息理論來源于工程實踐,同時指導(dǎo)工程實踐”的科研意識。

4 結(jié)語

結(jié)合“信息論基礎(chǔ)”中級聯(lián)信道重點內(nèi)容,案例從通俗易懂的游戲切入,逐步引導(dǎo)學(xué)生從信息論視角掌握級聯(lián)信道核心的“數(shù)據(jù)處理定理”,并在生活中加以應(yīng)用,避免沿襲從定義介紹到性質(zhì)推導(dǎo)的傳統(tǒng)教學(xué)思路,顯著改善了教學(xué)效果。