孫飛躍，楊衛(wèi)國(guó)

（江蘇大學(xué)理學(xué)院，江蘇鎮(zhèn)江212013）

關(guān)于非齊次馬氏鏈的一個(gè)定理

孫飛躍，楊衛(wèi)國(guó)

（江蘇大學(xué)理學(xué)院，江蘇鎮(zhèn)江212013）

給出了Csiszar和K?rner關(guān)于獨(dú)立隨機(jī)變量序列的一個(gè)定理的一個(gè)推廣，該定理的推論是關(guān)于相對(duì)熵的，在統(tǒng)計(jì)假設(shè)檢驗(yàn)及編碼理論中起著重要的作用.利用非齊次馬氏鏈的一個(gè)強(qiáng)大數(shù)定律將這個(gè)定理推廣到非齊次馬氏鏈上.

非齊次馬氏鏈；強(qiáng)大數(shù)定律；幾乎處處收斂

1　引言

馬氏鏈作為描述一類實(shí)際問題的數(shù)學(xué)模型，在經(jīng)濟(jì)學(xué)、計(jì)算科學(xué)、隨機(jī)服務(wù)系統(tǒng)等領(lǐng)域中具有重要地位.有關(guān)齊次馬氏鏈的研究已經(jīng)取得了豐碩且深刻的成果，例如：文獻(xiàn)［1］研究了任意齊次樹指標(biāo)馬氏鏈場(chǎng)的一類Shannon-Mcmillan定理；文獻(xiàn)［2］應(yīng)用齊次馬氏鏈定量評(píng)估教學(xué)效果.齊次馬氏鏈的研究已經(jīng)形成了較完整的理論體系，而關(guān)于非齊次馬氏鏈的極限性質(zhì)已有不少研究，例如：文獻(xiàn)［3］研究了可列非齊次馬氏鏈的強(qiáng)大數(shù)定律，文獻(xiàn)［4］研究了可列非齊次馬氏鏈泛函的強(qiáng)大數(shù)定律，文獻(xiàn)［5］研究了各種隨機(jī)變量和馬氏鏈的強(qiáng)偏差定理，但至今仍有待深入研究.本文首先給出Csiszar和K?rner在著名的《Information Theory》［6］中關(guān)于獨(dú)立隨機(jī)變量序列的一個(gè)極限定理，該定理的推論是關(guān)于相對(duì)熵的.而相對(duì)熵是信息論中的一個(gè)重要內(nèi)容，在統(tǒng)計(jì)假設(shè)檢驗(yàn)及編碼理論中起著重要的作用，作者利用非齊次馬氏鏈的強(qiáng)大數(shù)定律將該定理推廣到非齊次馬氏鏈上.其結(jié)果是對(duì)文獻(xiàn)［6］中相關(guān)定理的推廣.

2　主要結(jié)果

設(shè)M1（x），M2（x），···是在字母集S=｛1，2，···，N｝上取值的一列正值函數(shù)，令

下面給出定理2.1的一個(gè)推論：

推論2.1設(shè)｛Xn，n≥1｝是在字母集S上取值的獨(dú)立隨機(jī)變量序列，設(shè)P和Q為兩個(gè)概率測(cè)度，p（·），q（·）為S上的兩個(gè)概率分布，設(shè)

在信息論中，推論1的右邊就是相對(duì)熵，也用D（p∥q）表示，相對(duì)熵是兩個(gè)概率分布p和q差異的一種度量.在信息論中及解決隨機(jī)選擇系統(tǒng)問題中有重要作用，不少作者通過引進(jìn)相對(duì)熵得出了隨機(jī)選擇系統(tǒng)和任意隨機(jī)序列的若干強(qiáng)偏差和小偏差定理，解決了一系列實(shí)際問題［8-11］.

由定理2.1給出非齊次馬氏鏈上的一個(gè)定理.

定理2.2設(shè)｛Xn，n≥1｝是在S=｛1，2，···，N｝中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為

定理2.1是關(guān)于獨(dú)立隨機(jī)變量序列的極限定理，定理2.2將定理2.1的結(jié)論推廣到了非齊次馬氏鏈情形.

在證明本定理前首先給出幾個(gè)引理.

引理2.1［7］設(shè)｛ak，k≥1｝是一有界非負(fù)數(shù)列，M為其一個(gè)上界，δ為正數(shù)，Nn（δ）表示此數(shù)列前n項(xiàng)大于δ的項(xiàng)的個(gè)數(shù)，則

成立的充要條件是：?δ＞0

引理2.2設(shè)?（x）是區(qū)間［a，b］上的連續(xù)函數(shù)，｛ak，k≥1｝與｛bk，k≥1｝是區(qū)間［a，b］上的兩個(gè)數(shù)列，如果

引理2.3［7］設(shè)｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，fn（x，y）是定義在在S2上的二元函數(shù)，如果條件期望是幾乎處處一致有界的，即存在一個(gè)常數(shù)M＞0，使

引理2.4設(shè)｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，

引理2.5設(shè)｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，

［1］方次軍，王康康.任意齊次樹指標(biāo)馬氏鏈場(chǎng)的一類Shannon-Mcmillan定理［J］.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2014，44（22）：223-231.

［2］陳裕宗.應(yīng)用齊次馬氏鏈定量評(píng)估教學(xué)效果［J］.廈門水產(chǎn)學(xué)院學(xué)報(bào)，1990，12（1）：60-64.

［3］劉文，楊衛(wèi)國(guó).可列非齊次馬氏鏈的若干極限定理［J］.應(yīng)用數(shù)學(xué)學(xué)報(bào)，1992，15（4）：479-489.

［4］劉文，劉國(guó)欣，陳志剛.可列非齊次馬氏鏈泛函的一類強(qiáng)大數(shù)定律［J］.經(jīng)濟(jì)數(shù)學(xué)，1995，12（1）：1-8.

［5］王康康，楊衛(wèi)國(guó).任意隨機(jī)序列關(guān)于廣義幾何分布的一類強(qiáng)偏差定理［J］.工程數(shù)學(xué)學(xué)報(bào)，2008，25（2）：239-244.

［6］Csiszar Imre，K?rner Janos.Information Theory：Coding Theorems for Discrete Memoryless Systems［M］.New York：Academic Press，1981.

［7］劉文，楊衛(wèi)國(guó).關(guān)于非齊次馬氏信源的漸進(jìn)均分割性［J］.應(yīng)用概率統(tǒng)計(jì)，1997，13（4）：359-366.

［8］趙靜，魏杰，孫利民.樣本相對(duì)熵率與一類隨機(jī)選擇系統(tǒng)的強(qiáng)偏差定理［J］.河北工業(yè)大學(xué)學(xué)報(bào)，2005，34（2）：110-114.

［9］劉文，楊衛(wèi)國(guó).關(guān)于Shnnon-McMillan定理的若干研究［J］.數(shù)學(xué)物理學(xué)報(bào)，1994，14（3）：337-345.

［10］范愛華.樣本相對(duì)熵與相依隨機(jī)序列的若干小偏差定理［J］.蘭州大學(xué)學(xué)報(bào)，2008，44（1）：128-131.

［11］Shannon C E.A mathematical theory of communication［J］.USA Bell Systematic Technical Journal，1948，27：1-13.

A theorem for nonhomogeneous Markov chains

Sun Feiyue，Yang Weiguo
（Faculty of Science，Jiangsu University，Zhenjiang212013，China）

The purpose of this paper is to give a generalization of a theorem about independent random variables that has been provided by Csiszar and K?rner.The corollary of this theorem is about relative entropy，which plays an important role in statistical hypothesis testing and coding theory.The theorem is generalized to the non-homogeneous Markov chains by using its strong law of large numbers.

non-homogeneous Markov chains，strong law of large numbers，a.e.convergence

O211.62

A

1008-5513（2015）06-0620-08

10.3969/j.issn.1008-5513.2015.06.010

2015-01-19.

國(guó)家自然科學(xué)基金（11071104）.

孫飛躍（1990-），碩士生，研究方向：馬氏鏈.

2010 MSC：60J05