盧鈺坤 宋向東

摘 要：基于最大熵方法的隨機(jī)變量統(tǒng)計(jì)模型，可以確定出一個(gè)含有最少主觀假定的分布。針對(duì)傳統(tǒng)最大熵方法在拉格朗日優(yōu)化計(jì)算中存在的全局優(yōu)化困難、求解精度不高等問(wèn)題，提出了一種基于“核密度+逐次疊加法”求解最大熵的方法。通過(guò)驗(yàn)證，對(duì)密度核估計(jì)最大熵方法的改進(jìn)，不僅優(yōu)于非參數(shù)方法中的密度核估計(jì)方法，也提高了傳統(tǒng)最大熵算法的精度。

關(guān)鍵詞：最大熵方法;密度核估計(jì);逐次疊加算法;概率密度估計(jì)

中圖分類號(hào)：TB 文獻(xiàn)標(biāo)識(shí)碼：Adoi：10.19311/j.cnki.1672-3198.2019.28.093

0 引言

1948年香農(nóng)（C.Shannon）提出了一系列關(guān)于信息的數(shù)學(xué)理論，信息熵的概念應(yīng)運(yùn)而生。信息熵用于描述隨機(jī)變量的不確定性，不確定性越大，熵越大。最大熵原理，是指在已知信息不完備的情況下，選擇出熵最大的一種概率分布模型。最經(jīng)典的最大熵求解方法是拉格朗日乘子法，但由于拉格朗日優(yōu)化函數(shù)的高度非線性，使結(jié)果不容易收斂，甚至有時(shí)會(huì)出現(xiàn)不嚴(yán)格可積現(xiàn)象。因此，本文提出基于“核密度+逐次疊加法”求解最大熵的方法，簡(jiǎn)化了經(jīng)典求解方法中的優(yōu)化問(wèn)題。

1 最大熵方法概述

以最大熵原理為基礎(chǔ)的技術(shù)已廣泛應(yīng)用于檢測(cè)變量的隨機(jī)性。Alwan、Das等人提出了通過(guò)最大熵方法構(gòu)建控制圖的思想。Soize利用最大熵原理有效構(gòu)造了向量值隨機(jī)變量高維概率分布。Bouzouba等人通過(guò)最大熵原理得出了真實(shí)模型階數(shù)和真實(shí)噪聲協(xié)方差的最小均方誤差（MSE）。

1.1 經(jīng)典型最大熵方法

1.2 基于密度核估計(jì)的最大熵方法

2 密度核估計(jì)的最大熵方法的優(yōu)化算法

在數(shù)值求解方法中，初值的選擇尤為重要。本文提出采用逐次疊加法進(jìn)行優(yōu)化求解。逐次疊加法是一種序列更新方法，是將矩約束逐次從低階矩合并到高階矩，并依次更新初值的迭代方法。由核函數(shù)性質(zhì)，將權(quán)重αj做如下變換：

3 數(shù)值分析

利用四種典型分布驗(yàn)證改進(jìn)的KDE-MEM法的有效性，包括正態(tài)分布和偏態(tài)分布。通過(guò)Monte Carlo方法生成隨機(jī)樣本，并與傳統(tǒng)的KDE-MEM法和非參數(shù)分析中核平滑密度估計(jì)法進(jìn)行對(duì)比分析。在模型計(jì)算過(guò)程中，矩的選擇尤為重要。Abramov研究表明，建議使用4-6階樣本矩，因此本文選擇前4階矩。

3.1 改進(jìn)的KDE-MEM法對(duì)常見(jiàn)概率分布類型的分析

本節(jié)利用正態(tài)分布、偏態(tài)分布的幾種典型分布進(jìn)行驗(yàn)證分析，樣本分別服從于標(biāo)準(zhǔn)正態(tài)分布N（0，1）、對(duì)數(shù)正態(tài)分布LogN（0，0.252）、威布爾分布W（1.5，6）、卡方分布χ2（5）。取各分布的200個(gè)隨機(jī)樣本的前4階矩，通過(guò)改進(jìn)的KDE-MEM法進(jìn)行參數(shù)優(yōu)化求解，求得概率密度函數(shù)，并畫(huà)出與理論曲線的對(duì)比圖。

圖1顯示，在小樣本情況下，改進(jìn)的KDE-MEM法表現(xiàn)出很高的擬合精度，與理論概率密度曲線十分吻合，可見(jiàn)改進(jìn)的KDE-MEM法具有通用性。

3.2 改進(jìn)的KDE-MEM法與傳統(tǒng)方法的精度對(duì)比

以對(duì)數(shù)正態(tài)分布和威布爾分布為例，對(duì)改進(jìn)的KDE-MEM法進(jìn)行具體計(jì)算分析。分別計(jì)算各參數(shù)優(yōu)化的結(jié)果（表1），并畫(huà)出對(duì)比概率密度圖（圖2）。

從圖2中可以明顯看出，不同方法計(jì)算的概率密度曲線的誤差各不相同，為方便比較，表2列出不同方法計(jì)算的概率密度函數(shù)的均方誤差（MSE），求解公式見(jiàn)式（9）。

核密度估計(jì)法是一種傳統(tǒng)的非參數(shù)方法，采用核平滑密度估計(jì)法分別對(duì)這兩個(gè)分布的隨機(jī)樣本進(jìn)行核密度估計(jì)，窗寬分別取hLogN=0.0229和hW=0.0991，核密度估計(jì)圖見(jiàn)圖2，對(duì)比表明，改進(jìn)的KDE-MEM法明顯提高了傳統(tǒng)核密度估計(jì)法的精度。

4 結(jié)論

（1）通過(guò)驗(yàn)證，改進(jìn)的KDE-MEM法具有通用性和有效性。基于密度核估計(jì)最大熵方法的思想，引入逐次疊加法，通過(guò)實(shí)現(xiàn)逐次引入樣本矩，實(shí)現(xiàn)了初值的更新迭代，與傳統(tǒng)方法相比，優(yōu)化過(guò)程更容易收斂，計(jì)算精度更高。

（2）密度核估計(jì)最大熵方法，用核估計(jì)pn（x）代替拉格朗日乘子法中的p（x），降低了拉格朗日優(yōu)化法的復(fù)雜程度，提高了最大熵方法的適用性，同時(shí)保證了目標(biāo)函數(shù)的收斂性，避免了求解過(guò)程中不嚴(yán)格可積的問(wèn)題。

（3）核估計(jì)是非參數(shù)估計(jì)方法之一，本文將密度核估計(jì)和最大熵方法相結(jié)合，僅采用隨機(jī)樣本的前4階矩進(jìn)行逐級(jí)優(yōu)化計(jì)算，更便于數(shù)據(jù)的記憶儲(chǔ)存，同時(shí)提高了尋優(yōu)過(guò)程的穩(wěn)定性。

參考文獻(xiàn)

[1]馮利華，李鳳全.基于最大熵原理的災(zāi)害損失分析[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2005，35（8）：73-77.

[2]王惠娟，肖新平.基于最大熵原理的測(cè)量不確定度商概率建模及計(jì)算[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2016，46（13）：201-207.

[3]Alibrandi U，Ricciardi G.Efficient evaluation of the pdf of a random variable through the kernel density maximum entropy approach[J].International Journal for Numerical Methods in Engineering，2008，75（13）：1511-1548.

[4]吳福仙，溫衛(wèi)東.極大似然最大熵概率密度估計(jì)及其優(yōu)化解法[J].南京航空航天大學(xué)學(xué)報(bào)，2017，49（1）：110-116.

[5]劉鈺，韓峰，王玉恒.一種基于密度核估計(jì)的最大熵方法[J].工程數(shù)學(xué)學(xué)報(bào)，2011，28（3）：285-292.

[6]Alwan L C ，Ebrahimi N ，Soofi E S .Information theoretic framework for process control[J].European Journal of Operational Research，1998，111（3）：526-542.

[7]Das D ，Zhou S .Statistical process monitoring based on maximum entropy density approximation and level set principle[J].A I I E Transactions，2015，47（3）：15.

[8]Soize C .Construction of probability distributions in high dimension using the maximum entropy principle： Applications to stochastic processes，random fields and random matrices[J].International Journal for Numerical Methods in Engineering，2008，76（10）：1583-1611.

[9]Bouzouba K ，Radouane L.Image identification and estimation using the maximum entropy principle[J].Pattern Recognition Letters，2000，21（8）：691-700.

[10]Abramov，R.An imroved algrotithm for the multidimensional moment constrained maximum entropy problem[J].Comput Phys，2007，226（1）：621-644.