馬 卓, 侯志相, 王世強(qiáng)

(吉林省軍區(qū) 數(shù)據(jù)信息室, 長(zhǎng)春 130033)

0 引 言

在含噪信道中如何有效地傳輸信息是信息和通信理論及工程應(yīng)用中的關(guān)鍵性問(wèn)題。互信息是這一領(lǐng)域的核心概念[1], 它度量了信息發(fā)送端經(jīng)過(guò)信道, 向接收端傳遞的有效信息。從信道編碼理論中知道, 由于噪聲的干擾, 信道的信息速率不可能無(wú)限大, 而是受限于互信息的最大值也即“信道容量”[2]。為提高信息速率, 人們會(huì)在發(fā)送端采用信道編碼[3-7], 以優(yōu)化消息的碼元分布、 接近甚至達(dá)到信道容量。由于信息傳輸模型的復(fù)雜性, 信息傳輸?shù)膬?yōu)化也是比較困難的問(wèn)題。例如最簡(jiǎn)單的語(yǔ)音信號(hào)模型是馬爾科夫過(guò)程, 即使信道噪聲是時(shí)不變的, 但接收端收到的含噪信號(hào)的統(tǒng)計(jì)行為也往往是非馬爾科夫的。因此發(fā)送端與接收端之間的互信息將是非常復(fù)雜的函數(shù)[8-9], 優(yōu)化傳輸碼元分布以達(dá)到信道容量也是非常困難的。

為了克服這一困難, 筆者提出了新的信息傳輸?shù)谋Ｕ娑雀拍? 用以度量被信道噪聲污染后有效信息的可恢復(fù)程度。信息保真度與互信息既有區(qū)別又相互聯(lián)系?；バ畔⑹莾蓚€(gè)隨機(jī)變量的聯(lián)合分布對(duì)兩個(gè)邊緣分布乘積(也即相互獨(dú)立的聯(lián)合分布)的相對(duì)熵[10], 表示隨機(jī)變量的關(guān)聯(lián)程度。信息保真度是對(duì)稱化的相對(duì)熵[11-14], 既包含了互信息, 又包含了另一個(gè)新的關(guān)聯(lián)度量----在隨機(jī)性影響下隨機(jī)變量的誤差信息, 這可以更全面地表示噪聲對(duì)于信息傳輸?shù)挠绊懗潭?。另一方? 筆者提出的信息保真度的概念既不依賴于具體的信息恢復(fù)方法, 又可以度量信息恢復(fù)方法如極大似然法或極大后驗(yàn)概率法的誤差概率下界。相應(yīng)地, 筆者提出了使信息保真度最大化的最優(yōu)信息傳輸問(wèn)題。相較于使互信息最大的傳輸最優(yōu)化問(wèn)題, 復(fù)雜模型的基于信息保真度的優(yōu)化可以有更為簡(jiǎn)單的形式。

1 噪聲下的信息恢復(fù)

假設(shè)信息發(fā)送端依據(jù)(先驗(yàn))概率PS(S)發(fā)送消息S∈S至接收端, 其中S是所有可能的消息S的集合。相應(yīng)地, 接收到的消息記為X∈X, 其中X是所有可能的接收消息X的集合。由于受信道噪聲干擾, 接收消息X未必正好是發(fā)送的消息S(集合X也未必等于集合S)； 而是存在隨機(jī)映射S →X, 其依照條件概率PX|S(X|S)將每條發(fā)送的消息S映射至每條收到的消息X。這里, 條件概率PX|S(X|S)表示信道的性質(zhì)。為方便起見(jiàn), 假設(shè)信道是時(shí)不變的, 相應(yīng)地條件概率PX|S(X|S)也是時(shí)不變的。另外, 還假設(shè)發(fā)送消息的概率PS(S)和條件概率PX|S(X|S)都是已知的。

如果通過(guò)收到的消息X恢復(fù)發(fā)送的消息S, 可采用一定的信息恢復(fù)方法, 其中兩種代表性的方法分別為極大似然法和極大后驗(yàn)概率法[2]。這兩種方法可以統(tǒng)一地寫為下面形式： 當(dāng)收到消息X, 選取消息S∈S使

fX(S,S′)=lX(S,S′)-γ(S,S′)>0,S′≠S

(1)

2 信息保真度

從信息論的角度看, 式(1)中的f可以度量消息的保真度, 也即有效信息可被恢復(fù)的程度。常規(guī)看, 如果給定消息的先驗(yàn)分布PS, 當(dāng)發(fā)送和收到的消息分別為S、X時(shí),fX(S,S′)≤0說(shuō)明消息S完全不能恢復(fù)。另一方面, 當(dāng)fX(S,S′)在其正值區(qū)間內(nèi)越來(lái)越大, 說(shuō)明S的后驗(yàn)概率PS|X(S|X)也會(huì)相對(duì)其他S′≠S的后驗(yàn)概率變大, 因此S更容易被恢復(fù)。反之, 隨著fX(S,S′)減小,S可恢復(fù)程度隨之變小。為更清楚地說(shuō)明f是消息保真度的度量, 可將式(1)重新寫為如下形式

fX(S,S′)=i(S,X)-i(S′,X)

(2)

據(jù)此, 可用平均信息保真度(以下簡(jiǎn)稱保真度)在整體上度量有效信息可被恢復(fù)的程度

(3)

3 信息保真度與信息恢復(fù)誤差

當(dāng)發(fā)送和收到的消息分別為S、X時(shí), 若S是滿足式(1)的極大似然估計(jì)或極大后驗(yàn)概率估計(jì), 則原消息S就被正確地恢復(fù)。否則, 如果存在極大似然估計(jì)或極大后驗(yàn)概率估計(jì)S′≠S, 則原消息S沒(méi)有被恢復(fù), 所用的信息恢復(fù)方法產(chǎn)生了誤差。

(4)

(5)

則由式(4)、 式(5), 可得到誤差概率Pe的一個(gè)下界可以用保真度F表示為

(6)

式(6)印證了隨著保真度F增加, 信息恢復(fù)的誤差概率下界可以隨之減少, 相應(yīng)地越多的有效信息可以被恢復(fù)。

4 表示最大信息保真度意義下的最優(yōu)信息傳輸

在工程應(yīng)用中, 人們關(guān)心互信息最大化問(wèn)題的原因是： 1) 在時(shí)不變信道條件下, 互信息I在所有可能的信道編碼分布PS上有唯一最大值； 2) 這個(gè)互信息I的最大值對(duì)應(yīng)有效信息傳輸速率的上界, 也即信道容量。在最大互信息I意義下得到的(唯一)最優(yōu)信道消息(編碼)分布P*可保證在最快的速率下傳輸信息。

另一方面, 若更關(guān)心從含噪傳輸中最大程度地恢復(fù)有效信息, 則在信道條件不變的前提下找到最優(yōu)消息分布使保真度最大化。為了得出這一點(diǎn), 將式(3)中的F改寫為關(guān)于PS的二次型形式

(7)

其中

是對(duì)稱化相對(duì)熵。K也是式(7)中二次型的海森(Hessian)矩陣, 表示了信道的統(tǒng)計(jì)性質(zhì)。如果信道是時(shí)不變的,K也是時(shí)不變的。需要強(qiáng)調(diào)的是, 對(duì)稱化相對(duì)熵是概率分布間的偽距離函數(shù)。這是因?yàn)镵滿足[14]： 1) 非負(fù)性， 即K(S,S′)≥0, 等號(hào)成立當(dāng)且僅當(dāng)S=S′； 2) 對(duì)稱性， 即K(S,S′)=K(S′,S)。

(8)

即在假設(shè)信道時(shí)不變下, 求取最優(yōu)的消息分布Po, 使保真度F最大。容易知道Po僅依賴于K, 相應(yīng)地最大保真度Fo也僅依賴于K, 因此類似于信道容量(互信息最大值),Fo也可作為信道特性的表示, 度量信道傳輸有效信息的最大程度。

5 實(shí) 例

為具體說(shuō)明最大信息保真度的意義, 以二元無(wú)記憶信道為例, 分別計(jì)算其信道容量以及最大保真度。假設(shè)信源發(fā)送的消息S為平穩(wěn)的馬爾科夫序列。碼元s=0,1之間的躍遷概率可由如下的馬爾科夫矩陣表示

(10)

(11)

其中e0,e1分別代表碼元s=0和s=1的誤碼概率。給定碼元躍遷概率q時(shí), 發(fā)送和收到的碼元s和x的互信息(率)為

(12)

(13)

(14)

(15)

其中

(16)

圖1 二元無(wú)記憶信道的信道容量、 最大信息保真度及對(duì)應(yīng)于最大信息保真度的互信息、隨誤碼概率e0和e1的變化情況

圖2 對(duì)于不同的誤碼概率， 互信息隨著最大保真度的變化情況

6 結(jié) 語(yǔ)

筆者提出的信道信息保真度與互信息有著緊密的聯(lián)系, 它表示了信道傳輸信息的可恢復(fù)程度。最大信息保真度同信道容量一樣表示了信道特征。筆者通過(guò)例子說(shuō)明, 使信息保真度最大化可以增加信道傳輸?shù)挠行畔⒉⒔档托畔⒒謴?fù)誤差。最大信息保真度計(jì)算上的便利性也表明了信息保真度與相應(yīng)的最優(yōu)信息傳輸問(wèn)題有著良好的應(yīng)用前景。