蔣卓莉

摘要：本文通過本人學(xué)習(xí)過程中對(duì)MLE和EM算法的了解情況對(duì)兩者的地位及性質(zhì)做了整理，此外查閱文獻(xiàn)了解EM算法的實(shí)現(xiàn)，并用Matlab迭代算法驗(yàn)證書本中所給例題中參數(shù)的收斂性。

關(guān)鍵詞：MLE;EM算法;

一.書本學(xué)習(xí)后的理解概述

參數(shù)估計(jì)的學(xué)習(xí)內(nèi)容已涉及點(diǎn)估計(jì)（即用一個(gè)具體的數(shù)值（樣本觀測(cè)函數(shù)）去估計(jì)一個(gè)未知參數(shù)）以及評(píng)判估計(jì)好壞的標(biāo)準(zhǔn)，其中點(diǎn)估計(jì)涉及矩估計(jì)、最大似然估計(jì)（Maximum likelihood estimation），評(píng)判標(biāo)準(zhǔn)包括無(wú)偏性、有效性、相合性以及漸近正態(tài)性。

MLE是點(diǎn)估計(jì)的一種，通俗的解釋是看上去“最像”。矩估計(jì)有許多缺點(diǎn)如：為充分利用分布已知情況下的分布;矩不存在的情況下矩估計(jì)難以適用（如Cauthy分布）;在很多場(chǎng)合不具有唯一性;受極值影響較大等，而MLE則恰好在一定程度上彌補(bǔ)了這些缺陷。MLE是一種非常有效的參數(shù)估計(jì)方法，其根本目的是求出似然函數(shù)取最大值時(shí)參數(shù)的取值，但當(dāng)分布中有多余參數(shù)、數(shù)據(jù)缺失或?qū)?shù)似然方程較為復(fù)雜難以用傳統(tǒng)的方法求解時(shí)求取MLE較為困難。因而提出了EM算法，目的在于解決這些問題。

矩估計(jì)與MLE比較，MLE不一定具有無(wú)偏性、相合性，有不變性和漸進(jìn)最優(yōu)性。一般來(lái)說(shuō)矩估計(jì)是相應(yīng)參數(shù)的相合估計(jì)。在大多數(shù)情況下，MLE較矩估計(jì)來(lái)說(shuō)更優(yōu)。Cauthy分布的參數(shù)估計(jì)是在使用MLE后又利用矩估計(jì)的思想方法對(duì)參數(shù)做出了最后的估計(jì)。這也給我們提供了一種參數(shù)估計(jì)的方式，可以將多種估計(jì)方式聯(lián)合起來(lái)使用，這與基于MLE的思想提出的EM算法有相似之處。

二.理論層面的具體理解

從理論層面具體說(shuō)明基于MLE的思想提出EM算法（對(duì)數(shù)似然方程較為復(fù)雜難以用傳統(tǒng)的方法求解的情況下）的具體過程。其中x1...xn是其樣本，P（x;θ）是總體的密度函數(shù)，求未知參數(shù)θ。MLE是求出似然函數(shù)的最大值L（θ），以得到似然估計(jì)。由于log函數(shù)是單調(diào)遞增的，因此logL（θ）與L（θ）最大值有一致性。無(wú)法簡(jiǎn)單求的其最大值的情況下我們提出了EM算法，首先人為引入不可觀測(cè)的潛變量zi，目的是為了簡(jiǎn)化對(duì)數(shù)似然函數(shù)，并且已知潛變量分布，qi為其概率密度函數(shù)（若其為連續(xù)型）qi（zi）=p（xi，zi;θ）/p（xi;θ）其次用時(shí)的潛變量zi的數(shù)學(xué)期望替換使該對(duì)數(shù)似然函數(shù)成為僅關(guān)于θi的函數(shù)，最后利用多元函數(shù)求最大最小值的方法求θi的其取最大值時(shí)的取值，課本中基因環(huán)模型便是在這個(gè)思路下求解的。

三.文獻(xiàn)資料閱讀總結(jié)

通過閱讀文獻(xiàn)資料[3]了解到EM算法有很多類型的應(yīng)用方式，可以看出其使用的難點(diǎn)在于潛變量及其分布的確定和M步計(jì)算困難，不過其可以用Matlab等工具實(shí)現(xiàn)算法。利用Matlab迭代發(fā)現(xiàn)其收斂性與初值的取值相關(guān)，當(dāng)θ≥1時(shí)，收斂性較差，說(shuō)明其收斂與處置相關(guān)。由原理可知其還有可能會(huì)陷入局部收斂的困境。以上可以知道EM算法還存在許多缺陷需要克服。

除上述說(shuō)明之外，研究是否收斂[4]以及收斂速度的快慢都是研究人員比較關(guān)心的問題。EM算法的三個(gè)非常重要的應(yīng)用，包括EM算法在二元正態(tài)分布上的參數(shù)估計(jì)的應(yīng)用、混合高斯分布參數(shù)估計(jì)方面的應(yīng)用以及EM算法在隱馬爾科夫模型（HMM）參數(shù)估計(jì)方面的應(yīng)用，即著名的Baum-Welch算法，一種EM算法的特例。

例題（缺失數(shù)據(jù)的二元正態(tài)分布參數(shù)估計(jì)）

若數(shù)據(jù)完整可以由極大似然估計(jì)的思想得到參數(shù)估計(jì)，但在數(shù)據(jù)缺失的情況下需要使用EM算法來(lái)實(shí)現(xiàn)參數(shù)估計(jì)。

與觀察數(shù)據(jù)構(gòu)成完全數(shù)據(jù)，在完全數(shù)據(jù)下有極大似然原理求得MLE。（完全數(shù)據(jù)下的均值，μ2求法相同）?？梢钥闯鲈摾}是對(duì)書本上關(guān)于數(shù)據(jù)缺失的例題補(bǔ)充，其總體方式是由在k步隨機(jī)生成的隨機(jī)數(shù)補(bǔ)全原來(lái)缺失的數(shù)據(jù)，后相當(dāng)于在完全數(shù)據(jù)下求MLE，根據(jù)以往的常規(guī)方法即可求的結(jié)果。

參考文獻(xiàn)：

[1]程興新.EM算法的收斂性[J].北京大學(xué)學(xué)報(bào)（自然科學(xué)版），1987（03）.

[2]張宏?yáng)|. EM算法及其應(yīng)用[D].山東大學(xué)，2014.

[3]王兆軍.EM算法收斂的必要條件[J].南開大學(xué)學(xué)報(bào)（自然科學(xué)版），1994（02）.