鄒小云

（湖北職業(yè)技術學院，湖北 孝感 432000）

基于EM算法實現(xiàn)混合密度極的大似然參數(shù)估計

鄒小云

（湖北職業(yè)技術學院，湖北 孝感 432000）

在介紹極大似然估計與EM算法的基礎上，探討了基于EM算法的兩混合正態(tài)分布極大似然參數(shù)估計，并舉例說明了若干經(jīng)典場合的極大似然估計的算法.

極大似然估計；EM算法；似然函數(shù)；參數(shù)估計

極大似然估計參數(shù)也稱為最大概似估計，這就是一種概率論在統(tǒng)計學中的應用，同時也是參數(shù)估計的方法，它用來求一個樣本集的相關概率密度函數(shù)的參數(shù).其主要意思就是已知某隨機樣本滿足某種概率分布，但其中具體參數(shù)還不確定，參數(shù)估計就是通過很多次反復的試驗，看其結(jié)果，利用它的結(jié)果推算出參數(shù)的大概值.極大似然估計就是建立在這種思想上：已知某個參數(shù)能使這個樣本出現(xiàn)的概率最大，我們自然就不會再去選擇其他小概率的樣本，所以就把這個參數(shù)作為估計的真實值，這種算法就是EM的模型.付淑群給出了《EM算法正確收斂性的探討》的文章；李述山給出了《兩混合分布的一種參數(shù)統(tǒng)計方法》[1]的文章；楊珂玲,韓惠芳給出了《兩混合正態(tài)分布的參數(shù)統(tǒng)計方法》[2]的文章.本文在介紹一般極大似然估計法和EM算法的基礎上，綜述了文獻[1],[2],[3]的結(jié)果，并給出了幾個極大似然估計算法的實例.

1 極大似然估計

定義1[4]設總體X的概率函數(shù)為f(x|θ)，其中θ={θ1,…, θm}為未知參數(shù)，θ∈Θ.設x=(x1,…,xN)，是來自X的簡單隨機樣本，令

稱作為θ的函數(shù)L(θ|x)為似然函數(shù).

定義2[4]在定義1的記號下,若(x)是θ的一個估計量，滿足條件

概率函數(shù)大都具有指數(shù)函數(shù)的形式，采用似然函數(shù)的對數(shù)求解通常更加簡便.稱

為對數(shù)似然函數(shù).因為對數(shù)變換是嚴格單調(diào)的，所以lnL (θ|x)與L(θ|x)在求極大值的時候是等價的.因此通常將(1.3)式分別對θi求偏導，并令期值為零，得到似然方程組如下:

按上面介紹的思想又會存在一些問題：對于很多具體情況不能構(gòu)造似然函數(shù)解析表達式，或似然函數(shù)表達式過于復雜，導致求解方程組(1.4)很困難.必須借助其它方法，其中EM算法就是在實際應用中的一種廣泛且有效方法.

2 極大似然估計的算法

2.1 常規(guī)算法

通過對似然函數(shù)L(x|θ)或?qū)?shù)似然函數(shù)lnL(x|θ)求導而得到似然方程

得似然方程的解，驗證其解從而得極大似然估計.

一般說來，我們并不要求似然函數(shù)一定關于θ可微，如果它關于θ可微，則往往用求似然方程的根來求解θ的M L E.要指出的是似然方程的根不一定是MLE，反過來，似然方程若無根，也可能有M L E存在.

2.2 極大似然估計的EM算法

2.2.1 EM算法

EM算法主要應用在缺失數(shù)據(jù)條件下的參數(shù)估計，是進行極大似然估計時的一種有效方法.根據(jù)EM算法的特點，我們可以在觀測數(shù)據(jù)的基礎上添加一些“潛在數(shù)據(jù)”，從而簡化計算過程，完成一系列簡單的極大化或者模擬.

假設Y為服從某一分布的非完全觀測數(shù)據(jù)，Z為缺失數(shù)據(jù)，則完全數(shù)據(jù)X=(Y,Z)，由乘法公式，X的概率函數(shù)f(x|θ)與Y的概率函數(shù)f(y|θ)及Z的概率函數(shù)f(z|θ)的關系為

由(1.5)式給出的X,Y,Z概率函數(shù)之間的關系，可以得到新的函數(shù)

則稱此函數(shù)為完全數(shù)據(jù)X的似然函數(shù)，但是由于隱變量未知，導致似然函數(shù)L(θ/X)是隨機的，并且由Z決定，這樣我們用不完全數(shù)據(jù)Y來估計參數(shù)θ的極大似然估計準則如下：

EM算法第一步(E-step)是給定觀測數(shù)據(jù)Y和當前參數(shù)估計初值，來計算完全數(shù)據(jù)對數(shù)似然函數(shù)lnf(Y,Z|θ)，關于未知數(shù)據(jù)Z的條件期望，定義對數(shù)似然函數(shù)的期望

其中θ(i)為已知當前的參數(shù)估計值.在(1.7)式中Y和θ(i)都為常數(shù)，θ為待優(yōu)化參數(shù)，Z為隨機變量，并且假設它服從某一分布f(z|Y,θ(i))，因此(1.7)式可寫作為

其中f(z|Y,θ(i))是未知數(shù)據(jù)Z的邊緣分布的密度函數(shù)，且依賴于觀測數(shù)據(jù)Y和當前參數(shù)θ(i)，D為Z的取值空間.由乘法公式可得

由于f(y|θ(i))與θ無關，因此在實際過程中f(z,Y|θ(i))用來代替f(z|Y,θ(i))并不影響(1.8)式中似然函數(shù)的最優(yōu)化.

EM算法第二步(M-s t e p)：最大化期望Q(θ,θ(i))，即找到一個θ(i+1)使之滿足

如此進行依此迭代θ(i)→θ(i+1)，將上述E步和M步進行迭代下去直到||θ(i)-θ(i+1)||或Q(θ,θ(i+1))-Q(θ,θ(i))充分小為止.

2.2.2 混合正態(tài)分布參數(shù)極大似然估計的EM算法

下面我們就兩混合正態(tài)分布參數(shù)的極大似然估計問題來證明極大似然估計的EM算法

設觀測樣本X=(x1,x2,…,xN)是從兩正態(tài)混合密度

(其中θ=(α1,θ1,θ2),α1+α2=1且f1,f2為正態(tài)分布的密度函數(shù),θ1, θ2為分布參數(shù))的總體中獨立抽取的，則觀測樣本的對數(shù)似然函數(shù)表達式為

下面就于EM算法來求解兩混合正態(tài)密度的極大似然估計.

假設Y為觀測數(shù)據(jù)，Z為遺失數(shù)據(jù)，則完全數(shù)據(jù)X=(Y, Z).因為遺失數(shù)據(jù)Z未知，假定Z為隨機變量，所以要確定Z的分布

則Zj=(Z1j,Z2j)T,Xj=(Yj,ZjT).

在一次觀測中，有兩種結(jié)果，每種結(jié)果的概率為α1,α2，所以

Zj～，其中Z1,Z2,…ZN獨立同分布，從而

則完全數(shù)據(jù)的對數(shù)似然函數(shù)為

其中Yobs指Y的觀測數(shù)據(jù)，θ(k)表示當前參數(shù)，令

M步：極大化Q(θ,θ(k))，并用極大值點處的θ代替θ(k)作為下一輪循環(huán)的迭代的初始值，在極大化(1.1 7)式時只需要極大化含αi和θi的項即可.為了估計αi我們可引入拉格朗日乘法，約束條件為.故

兩邊分別對αi,θi,λ求偏導.解方程組可得

假如混合分布中的兩部分為d維多元正態(tài)分布，則概率密度函數(shù)為

把(1.2 0)代入(1.1 7)中，忽略與θi無關的項得

對上式關于μi求偏導并令其為0得：

我們改寫(1.2 1)式得

因此一次過程由式(1.19)，(1.22)，(1.24)實現(xiàn).

將求得的參數(shù)值θ(k+1)代替θ(k)開始下一輪迭代，將最終收斂到極大似然估計值代入對數(shù)似然方程，即可獲得對數(shù)似然函數(shù)的極大值.

3 若干經(jīng)典場合的極大似然估計的算法

例1 設X1,…,Xn是來自B(1,θ)的一個樣本，0<θ<1.求參數(shù)θ的極大似然估計.

解 因為P(X=k)=θk(1-θ)1-k,k=0,1，所以θ的似然函數(shù)為

對數(shù)似然函數(shù)為

例2 設X1,…,Xn為取自Poisson分布P(λ)總體的簡單隨機樣本，求參數(shù)λ的極大似然估計.

解 因為似然函數(shù)為

所以對數(shù)似然函數(shù)為

易驗證l"(λ|x)<0,所以上式中的λ^即為l(λ|x)唯一的最大值點，即為λ的極大似然估計.

例3 (定數(shù)截尾壽命實驗)設某種電子元件，由于種種隨機因素的干擾，其壽命不同，抽取n個作試驗，設元件壽命的分布為

指定一個時刻T>0.實驗進行到全部抽出的n個元件都失效，或到時刻T為止.記Xi=元件i的壽命或T，視元件在時刻T時已失效或否而定，要由X1,…,Xn作λ的極大似然估計.

若xi

對數(shù)似然函數(shù)為

似然方程的根為

這λ即為的極大似然估計.

在以上的例子中,許多常用的分布如正態(tài)分布,Bernoulli分布,Poisson分布等其參數(shù)的極大似然估計和矩估計是一致的,但也有許多情況如均勻分布,其參數(shù)的極大似然估計和矩估計并不同,而進一步比較往往是極大似然估計有更多的優(yōu)良性,對于許多估計問題,求極大似然估計或似然方程的解,往往無法得到明顯的表達式,所以在實際數(shù)據(jù)分析中常用的做法是用各種最有化算法求得極大似然估計的值,其中EM算法就是極大似然估計的一種有效方法.

〔1〕付淑群.EM算法正確收斂性的探討[J].汕頭:汕頭大學學報,2002.1～12.

〔2〕李述山.兩混合分布的一種參數(shù)統(tǒng)計方法[J].山東輕工業(yè)學報,1999.73～77.

〔3〕楊珂玲,韓慧芳.兩混合正態(tài)分布的參數(shù)估計方法[J].黃岡師范學院學報,2006.16～19.

〔4〕陳希孺.數(shù)理統(tǒng)計引論[M].北京:科學出版社,1988.55～56.

〔5〕茆詩松,王靜龍,濮曉龍.高等數(shù)理統(tǒng)計[M].北京:高等教育出版社,2006.115～116.

O212

A

1673-260X（2013）12-0008-03