吳賢東， 汪加梅， 李婉晴

(安徽工業(yè)大學 數(shù)理科學與工程學院，安徽 馬鞍山 243032)

0 引 言

1948 年，為解決信息的量化度量問題，香農(nóng)提出了“信息熵” 的概念，也稱為香農(nóng)熵[1]。 一條信息的信息量大小和它的不確定性有直接的關系，因而香農(nóng)熵也是信息不確定性的一種度量。對于一個離散型隨機變量X取值{xi}的概率為P(X=xi)=pi,i=1,2,…,n，其香農(nóng)熵定義為

1988年，巴西物理學家C. Tsallis提出了Tsallis熵[2]：

Tsallis熵推廣了標準的統(tǒng)計力,Tsallis 熵和Shannon熵有如下聯(lián)系：

Tsallis熵在不規(guī)則且不完全混沌中有重要應用。由于該熵不具有次可加性，因而Tsallis熵是非廣延的，隨之Tsallis非廣延統(tǒng)計學也被大批學者研究[3-4]。

Tsallis最大熵原理是在Jaynes最大熵原理[5]的基礎上發(fā)展而來的一種可以有效求解隨機變量概率分布的方法。 它就是根據(jù)已經(jīng)給出的約束條件求解出使Tsallis熵達到最大值的概率分布，例如正態(tài)分布可以利用數(shù)學期望和方差的條件，根據(jù)Tsallis熵最大自然地推出。 在劉成仕[6-7]發(fā)表的幾篇有關非對稱熵以及最大非對稱熵原理中，提出了一種新的概念——非對稱熵，它概括了玻爾茲曼熵和香農(nóng)熵的概念， 證明了最大非對稱熵原理，從最大非對稱熵原理推導出一些重要的分布規(guī)律。 基于Tsallis最大熵原理以及貝葉斯原理[8-9]，還可以研究統(tǒng)計學的問題。 為了解決最大熵方法的逆問題，王海虹等[10-11]提出貝葉斯參數(shù)估計的最大熵方法的逆問題，并且以泊松分布和指數(shù)分布為例給出證明,通過求解相應的微分方程和變分方程，得到所需要的約束條件。 類似地，Tsallis最大熵的逆問題就是先給出一些具體的概率分布，然后再根據(jù)Tsallis最大熵方法求解出使Tsallis熵達到最大值的約束條件。

本文主要分為5個部分，第一部分為Tsallis最大熵原理的問題來源及背景簡介；第二部分主要研究了離散形式和連續(xù)形式的Tsallis最大熵原理； 第三部分研究了在約束條件下的最大熵原理；第四部分研究了Tsallis最大熵原理的逆問題， 即給定一個具體的概率分布或密度函數(shù)，獲得使這個概率分布或密度函數(shù)達到Tsallis最大熵的約束條件，主要分別以二項分布和正態(tài)分布為例研究了離散情形和連續(xù)情形下的Tsallis熵原理的逆問題；第五部分為總結部分。

1 Tsallis最大熵原理

首先給出并證明離散形式的Tsallis最大熵原理.

為方便，采取如下記號：

顯然，expr(lnrx)=lnr(exprx)=x.

由Tsallis熵的定義知，離散情形下的Tsallis熵可以寫成如下形式：

將G對Pi求偏導，并令其為0，得到方程組：

i=1,2,…,n

下面給出并證明連續(xù)形式的Tsallis最大熵原理。

證明運用拉格朗日乘子法構造一個輔助泛函：

存在

2 約束條件下的Tsallis最大熵原理

下面研究在約束條件下的Tsallis最大熵原理. 首先，研究在約束條件下對于概率分布的Tsallis最大熵原理。

其中λ1和λ2滿足兩個約束條件:

證明運用拉格朗日乘子法構造一個輔助函數(shù)：

可以推出：

其中λ0和λi(1≤i≤m)滿足m+1個約束條件：

證明構造輔助函數(shù)：

即最大熵分布為

其中λ0,λ1,…,λm是拉格朗日乘子。

下面分別研究在約束條件下對于密度函數(shù)的Tsallis最大熵原理。

其中λ1和λ2滿足兩個約束條件：

證明運用拉格朗日乘子法構造一個輔助泛函：

由δF=0，可以推出：

其中λ0和λi(1≤i≤m)滿足m+1個約束條件：

r=1,2,…,m

證明構造輔助函數(shù)：

即最大熵分布為

其中λ0,λ1,…,λm是拉格朗日乘子。

3 Tsallis最大熵原理的逆問題

下面研究離散情形下Tsallis熵原理的逆問題(以二項分布為例)，即假定某約束條件下使二項分布的Tsallis熵達到最大值，反求約束條件。

若隨機變量滿足二項分布，則分布函數(shù)為

其中，i=1,2,…,n，0

證明應用拉格朗日乘子法求解，首先構造一個輔助函數(shù)：

由此可以得到：

將指定的二項分布代入，就可以得到：

可以進一步假設：

(1)

將式(1)對i求和，則得到所要求的約束條件：

這個結果包含一個數(shù)學期望，即

因此，約束條件可以寫成：

其中離散型隨機變量X的取值為1,2,…,n。

下面研究連續(xù)情況下Tsallis最大熵原理的逆問題(以正態(tài)分布為例)。

其中，-∞0,σ>0。

證明應用拉格朗日乘子法求解，首先構造一個輔助函數(shù)：

由此可以得到：

將指定的正態(tài)分布的密度函數(shù)代入，就可以得到：

(2)

將式(2)對x進行積分就可以得到要求的約束條件，即

這個結果有一個數(shù)學期望，即

因此，約束條件可以寫成：

4 總 結

貝葉斯的均勻假設并非總是合理的，因此尋求新的確定先驗分布的方法有重要意義。 利用Tsallis最大熵原理是一個有價值的方向，而其逆問題也同樣有趣。用了二項分布和正態(tài)分布這兩個代表性的實例給出處理這類問題的方式，其他分布形式也可以用此方式做出。 其約束條件往往以隨機變量函數(shù)的數(shù)學期望形式出現(xiàn)，這符合最大熵原理的使用經(jīng)驗。Tsallis最大熵原理的逆問題的解一般不是唯一的。