游雪肖，汪金漢

(湖北師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖北 黃石 435002)

基于反向試驗(yàn)信道的信息率失真函數(shù)計(jì)算方法

游雪肖，汪金漢

(湖北師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖北 黃石 435002)

利用Lagrange乘數(shù)法和互信息與熵的關(guān)系，提出了一種基于反向試驗(yàn)信道的信息率失真函數(shù)計(jì)算方法，給出了信息率失真函數(shù)的參量表示式，分析了該參量表示式中參數(shù)的物理意義，并舉例說明了其具體應(yīng)用.

信息論；反向試驗(yàn)信道；信息率失真函數(shù)；Lagrange乘數(shù)法

0 引言

在信息處理過程中，由于種種干擾因素的存在，不可避免地要丟失信息，產(chǎn)生失真。對(duì)于給定的信源，總是希望它的信息經(jīng)過處理后所產(chǎn)生的平均失真在一定允許限度內(nèi)的情況下，使得信源傳輸?shù)男畔⒙时M可能的小，這個(gè)最小值就是信息率失真函數(shù)R(D).一般可用Lagrange乘數(shù)法求解信息率失真函數(shù)，得關(guān)于試驗(yàn)信道亦即未知量{p(bj|ai)}的參量表示[1～5]，或先求出互信息I(X;Y)的最小值，然后從反向試驗(yàn)信道角度構(gòu)造反向試驗(yàn)信道 {p(ai|bj)}證明最小值可達(dá)[6]，但反向試驗(yàn)信道的構(gòu)造通常不是那么容易。本文利用互信息與熵的關(guān)系，從反向試驗(yàn)信道角度以{p(ai|bj)} 為未知量直接討論R(D)的參量表示式以及參量S的物理意義。事實(shí)上，無論反向試驗(yàn)信道，還是正向試驗(yàn)信道，R(D)的參量表示式中參量S的意義是一樣的，都是R(D)的斜率。從該方法還可以看出, 在信息率失真函數(shù)計(jì)算時(shí)，無論正向試驗(yàn)信道還是反向試驗(yàn)信道，都只是一個(gè)信道從兩個(gè)不同角度考慮的兩種不同表示方法而已，沒有本質(zhì)區(qū)別。

1 預(yù)備知識(shí)

定義1[1]信源X的熵定義為

信源X,Y的聯(lián)合熵定義為

在給定信源Y的條件下，X的條件熵定義為

定義2[2]信源X,Y的互信息定義為

定理1[3]

I(X;Y)=H(Y)-H(Y|X)=

(1)

H(X)-H(X|Y)=

(2)

H(X)+H(Y)-H(X,Y)

(3)

定義3[2]對(duì)每一對(duì)(ai,bj)，指定一個(gè)非負(fù)函數(shù)d(ai，bj)≥0；i=1,2,…，n;j=1,2,…,m,稱d(aj,bj)為單個(gè)符號(hào)的失真函數(shù)或失真度. 用它來表示信源發(fā)出一個(gè)符號(hào)ai，而在接收端再現(xiàn)bj所引起的誤差或失真.

定義4[2]稱

為信源的平均失真度．

定義5[2]離散無記憶信源的平均失真度如果不超過某一限定的值D，即Ed(X,Y)≤D，則稱D是允許失真的上限.凡滿足Ed(X,Y)≤D的 {p(bj|ai)}稱為D失真許可的試驗(yàn)信道，簡(jiǎn)稱試驗(yàn)信道．

定義6[2]信息率失真函數(shù)R(D)定義為

2 信息率失真函數(shù)的參量表示式

2.1問題的提出與轉(zhuǎn)化

由定義6可知，信息率失真函數(shù)的計(jì)算實(shí)際上是求I(X;Y)在約束條件下的極小值問題，即

minI(X;Y)

(4)

在文獻(xiàn)[1-5]中，R(D)的計(jì)算以{p(bj|ai)} 為未知量，利用Lagrange乘數(shù)法求解條件極值問題，從本質(zhì)上都是利用式(1)，本文利用式(2)和(3)，以{p(ai|bj)} 為未知量，得到了關(guān)于反向試驗(yàn)信道{p(ai|bj)} 的信息率失真函數(shù)參量表示式.

2.2R(D)的參量表達(dá)式

為了在式(4)的 (n+2)個(gè)等式條件的限制下，求I(X;Y)的極值，可引入Lagrange乘數(shù)S、μ和αi(i=1,2,…，n)，利用式(3)構(gòu)造一個(gè)新的函數(shù)

上式兩邊對(duì)p(ai,bj)求偏導(dǎo)數(shù)，并令其為0，即

(5)

p(ai|bj)=eSd(ai,bj)βi,i=1,2,…,n;j=1,2,…,m.

(6)

上式兩邊對(duì)i求和并注意(4)式，有

(7)

(6)式兩邊同乘p(bj)，再對(duì)j求和，得

(8)

由(7)式解出βi，代入(6)式中得到p(ai|bj)，代入(8)式中得到p(bj)，將這些結(jié)果代入約束條件，可得

(9)

(10)

2.3參量S的意義

首先將R(D)對(duì)D求導(dǎo)數(shù)，則得

(11)

其次，在(7)式的兩邊對(duì)S求導(dǎo)數(shù)，可得

將上式兩邊乘以p(bj)，并對(duì)j求和，得

由此可見，在反向試驗(yàn)信道計(jì)算得到的信息率失真函數(shù)表示式中，參數(shù)S具有與正向試驗(yàn)信道中參數(shù)相同的意義。

2.4求解過程歸納

步驟如下：i)由(7)式求出βi；ii)由(6)式求出p(ai|bj)；iii)由(8)式求出p(bj)；iv)由(9)式求出D(S)；v)由(10)式求出R(D).

3 求解舉例

設(shè)Y的概率分布為{q0,q1}，則由(8)式，得

因此，由(9)式得

由(6)式，可計(jì)算得，

p(a1|b1)=p(a2|b2)=1-D,p(a2|b1)=p(a1|b2)=D

由(10)式，R(D)=I(X;Y)=H(X)-H(X|Y)=log2-H(1-D,D)

將該例與[1-5]比較可以看出，基于反向試驗(yàn)信道的信息率失真函數(shù)的計(jì)算要比[1-5]簡(jiǎn)單得多.

[1]曲 煒.信息論與編碼理論[M].北京:科學(xué)出版社, 2005．

[2]陳 運(yùn).信息論與編碼[M](第2版).北京: 電子工業(yè)出版社, 2007．

[3]葉中行.信息論基礎(chǔ)[M](第2版).北京: 高等教育出版社, 2007.

[4]田寶玉.信息論基礎(chǔ)[M].北京: 人民郵電出版社, 2008．

[5]王育民, 李 暉, 梁傳軍. 信息論與編碼理論[M]. 北京:高等教育出版社, 2005．

[6]游雪肖，趙大方.等概離散無記憶信源率失真函數(shù)的計(jì)算方法[J].數(shù)學(xué)實(shí)踐與認(rèn)識(shí)，2014,44(10):163～168.

Acalculationmethodoftheratedistortionfunctionbasedonreversetestchannel

YOU Xue-xiao, WANG Jin-han

(College of Mathematics and Statistics, Hubei Normal University, Huangshi 435002, China)

Using the Lagrange multiplier method and the relationship of mutual information and entropy, this paper gives the parametric representation of calculating rate distortion function based on reverse test channel and analysis the meaning of the parameter. And gives an example of application.

information theory; reverse test channel; rate distortion function；Lagrange multiplier method

2014—04—18

游雪肖(1980— )，女，湖北襄陽人，講師，碩士，主要從事信息論方面研究.

TN911;O171

A

1009-2714(2014)04- 0012- 05

10.3969/j.issn.1009-2714.2014.04.003