曾凡鋒，陳 可，王寶成，肖 珂

(北方工業(yè)大學(xué)，北京 100144)

無限狄利克雷混合模型的變分學(xué)習(xí)

曾凡鋒，陳 可，王寶成，肖 珂

(北方工業(yè)大學(xué)，北京 100144)

有限高斯混合模型廣泛應(yīng)用于模式識(shí)別、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等領(lǐng)域，但現(xiàn)實(shí)中的許多數(shù)據(jù)都具有非高斯性，而高斯混合模型無法準(zhǔn)確地描述這些數(shù)據(jù)。此外，有限高斯混合模型還存在參數(shù)估計(jì)和模型選擇困難的問題。為了更好地?cái)M合非高斯數(shù)據(jù)，解決有限高斯混合模型的參數(shù)估計(jì)和模型選擇困難的問題，在研究一種適合于建模非高斯數(shù)據(jù)的無限狄利克雷混合模型的學(xué)習(xí)方法的基礎(chǔ)上，提出了一種高效的變分近似推理算法。該算法能夠同時(shí)解決參數(shù)估計(jì)及模型選擇的問題。為了驗(yàn)證該算法的有效性，在合成數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)。驗(yàn)證實(shí)驗(yàn)結(jié)果表明，該算法能夠很好地解決模型選擇及參數(shù)估計(jì)的問題。所提出的無限狄利克雷混合模型還可應(yīng)用于目標(biāo)檢測(cè)、文本分類、圖像分類等方面。

狄利克雷；無限混合模型；變分貝葉斯；模型選擇；參數(shù)估計(jì)

1 概 述

有限混合模型[1-2]是分析復(fù)雜數(shù)據(jù)的一個(gè)簡(jiǎn)便和優(yōu)秀的概率建模工具，它可以通過使用多個(gè)分量描述一個(gè)復(fù)雜的數(shù)據(jù)分布。其中，高斯混合模型具有便于學(xué)習(xí)、形式簡(jiǎn)單和描述能力強(qiáng)、聚類精度高等優(yōu)點(diǎn)，成為研究最為深入的有限混合模型，在模式識(shí)別、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)模型、計(jì)算機(jī)視覺以及數(shù)據(jù)挖掘等領(lǐng)域應(yīng)用廣泛[3]。文獻(xiàn)[4]利用高斯混合模型建模研究預(yù)測(cè)智能控制交通、輔助駕駛系統(tǒng)、軍事數(shù)字化戰(zhàn)場(chǎng)中移動(dòng)對(duì)象的不確定性軌跡。文獻(xiàn)[5]利用高斯混合模型對(duì)含有非視距誤差信息進(jìn)行定位估計(jì)。文獻(xiàn)[6]將混合模型應(yīng)用于文本主題-情感分析中。然而，實(shí)際中，許多具有非線性、非高斯性、有界性以及非對(duì)稱性的數(shù)據(jù)，均無法用高斯混合模型準(zhǔn)確擬合[7]。近期的研究表明，非高斯混合模型能夠有效擬合非高斯數(shù)據(jù)。目前大量關(guān)于非高斯混合模型的研究成果相繼涌現(xiàn)，比如有限貝塔劉維爾混合模型，能有效地應(yīng)用于圖像場(chǎng)景分類[8]、人體膚色檢測(cè)[9]中。文獻(xiàn)[10]提出了混合逆狄利克雷混合模型，并成功應(yīng)用于正的非高斯數(shù)據(jù)聚類。然而，有限混合模型需要對(duì)混合分量數(shù)進(jìn)行估計(jì)和確定，分量數(shù)的過多或過少會(huì)引起模型的過擬合或欠擬合問題。

相對(duì)于有限混合模型，無限混合模型直接避開了分量數(shù)的選擇，優(yōu)化了模型擬合度。無限混合模型的研究主要涉及參數(shù)估計(jì)的問題。參數(shù)估計(jì)常被稱為參數(shù)學(xué)習(xí)。參數(shù)學(xué)習(xí)方法主要分為兩大類：確定性學(xué)習(xí)算法和非確定性學(xué)習(xí)算法。其中確定性學(xué)習(xí)算法以極大似然估計(jì)(Maximum Likelihood Estimation，MLE)的EM算法為主，主要是通過優(yōu)化模型似然函數(shù)來求模型參數(shù)的估計(jì)值。EM算法存在估計(jì)過程陷入局部最優(yōu)、估計(jì)結(jié)果嚴(yán)重依賴初始化值[11]和出現(xiàn)過擬合或欠擬合等問題。非確定性學(xué)習(xí)算法以馬爾可夫蒙特卡羅(Markov Chain Monte Carlo,MCMC)鏈為代表的貝葉斯學(xué)習(xí)算法為主。貝葉斯估計(jì)法先利用樣本數(shù)據(jù)將模型參數(shù)的先驗(yàn)概率密度通過貝葉斯定理轉(zhuǎn)變?yōu)楹篁?yàn)概率密度，然后用后驗(yàn)概率密度估計(jì)模型參數(shù)。然而，貝葉斯估計(jì)法存在高維密度積分的問題。目前，解決高維數(shù)積分困難問題的主要方法是隨機(jī)近似和確定性近似的方法[12]。隨機(jī)近似法主要有MCMC抽樣算法，但其存在收斂速度緩慢、局限于小規(guī)模數(shù)據(jù)集環(huán)境以及收斂不確定性大等缺點(diǎn)；確定性近似法主要有拉普拉斯近似算法和變分貝葉斯算法。拉普拉斯近似算法對(duì)于單峰分布的模型有很好的近似功能，但是對(duì)多峰分布的模型其近似性能不理想，所以拉普拉斯近似算法推理得到的結(jié)果不準(zhǔn)確。

變分貝葉斯是解決高維積分困難問題的一種重要的近似推理方法。其核心思想是利用易處理的一類分布族來逼近隱變量的后驗(yàn)分布，通過最大化變分參數(shù)的對(duì)數(shù)似然目標(biāo)函數(shù)的下界獲得模型參數(shù)的估計(jì)值[13]。變分貝葉斯能夠適應(yīng)高維的觀測(cè)環(huán)境，且運(yùn)算量較少，已經(jīng)成為概率混合模型學(xué)習(xí)的主流方法。變分框架受到了廣泛關(guān)注，并且能在各種應(yīng)用中提供很好的泛化性能[14-17]，包括有限混合學(xué)習(xí)。而且變分學(xué)習(xí)框架在高斯混合模型中已被證明可以提供更好的參數(shù)估計(jì)[18-20]。

為此，針對(duì)無限狄利克雷混合模型的學(xué)習(xí)問題，提出一種有效的變分近似推理框架，該框架能夠同時(shí)解決模型選擇及參數(shù)估計(jì)的問題。

2 無限狄利克雷混合模型的變分學(xué)習(xí)

2.1無限狄利克雷混合模型

狄利克雷過程產(chǎn)生離散的隨機(jī)分布，而狄利克雷過程混合模型則產(chǎn)生絕對(duì)連續(xù)分布[16-21]，無限狄利克雷混合模型可以看作具有無限個(gè)分量的混合模型，是具有狄利克雷過程先驗(yàn)假設(shè)的有限混合模型的極限形式[22]。在對(duì)非高斯數(shù)據(jù)進(jìn)行建模時(shí)，混合分量數(shù)可以自動(dòng)收斂。

有限狄利克雷混合模型定義為M個(gè)狄利克雷分布的線性組合，其表達(dá)式為：

(1)

狄利克雷分布的概率密度函數(shù)為：

(2)

其中，Γ()是伽馬函數(shù)。

選擇合適的M數(shù)量是混合模型選擇的重要問題，可以假設(shè)M值是無限的[23]。當(dāng)式(1)中的M值趨近于無窮大時(shí)，狄利克雷混合模型線性組合由有限變成無限，無限狄利克雷混合模型的表達(dá)式如下：

(3)

(4)

給定類標(biāo)簽，隱變量Z和參數(shù)α服從X的條件分布，則觀測(cè)變量集X的條件分布為：

(5)

在貝葉斯推理中，需要預(yù)先指定模型參數(shù)的先驗(yàn)分布。因?yàn)榈依死追植嫉臉?biāo)準(zhǔn)共軛先驗(yàn)不能直接用于貝葉斯推理，故采用Gamma分布作為它的近似共軛先驗(yàn)[8-9]。假設(shè)DMM中各個(gè)參數(shù)是統(tǒng)計(jì)獨(dú)立的，則參數(shù)α的先驗(yàn)概率分布如下：

(6)

其中，(gmd,hmd)是超參數(shù)，且滿足gmd>0,hmd>0。

2.2模型的變分學(xué)習(xí)

(7)

其中，<·>n≠s代表除了n=s之外的所有服從Qn(Θn)的期望。

根據(jù)文獻(xiàn)[24-25]提出的變分推理方法，可以在M值上做一個(gè)變化分布的截?cái)?，比如?/p>

(8)

其中，M是一個(gè)截?cái)嗉?jí)，它是一個(gè)變化的參數(shù)，可以任意初始化，而且在變分學(xué)習(xí)過程中自動(dòng)最優(yōu)化。

理論上，棒斷裂性表示方法可以以任意精度逼近真實(shí)分布。因此，通過采用棒斷裂性表示和因式分解假設(shè)，可以獲得參數(shù)集合的后驗(yàn)概率：

(9)

對(duì)每一個(gè)因子都使用式(7)，可以獲取到變化后的后驗(yàn)概率的每一個(gè)因子的最優(yōu)結(jié)果：

(10)

(11)

(12)

參數(shù)更新方程中的期望值如下：

=rnm

(13)

(14)

(15)

(16)

(17)

由于每一個(gè)變分因子的解是通過其他因子的期望值相互關(guān)聯(lián)的，所以模型的優(yōu)化可以通過一個(gè)類似期望最大化(EM)算法來實(shí)現(xiàn)，算法步驟如下：

(1)初始化分量數(shù)M，以及超參數(shù)gmd，hmd，am，bm的值；采用K-means算法初始化rnm的值。

(2)變分步驟：使用當(dāng)前的模型參數(shù)分布估計(jì)式(13)～(17)的期望值。

(4)重復(fù)步驟(2)和(3)直至收斂。

(6)設(shè)定閾值為10-5，忽略混合系數(shù)接近小于閾值的分量并且檢測(cè)最終的分量數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證提出的基于變分貝葉斯算法的無限狄利克雷混合模型(variational Infinite Dirichlet Mixture Model，varInDMM)的性能，在程序生成的合成數(shù)據(jù)集上，進(jìn)行了大量的仿真實(shí)驗(yàn)。實(shí)驗(yàn)中分量數(shù)初始化值設(shè)定為15，設(shè)定狄利克雷混合模型的共軛先驗(yàn)概率(gmd,hmd)=(1,0.1)，并初始化混合權(quán)重等系數(shù)。

實(shí)驗(yàn)生成了四個(gè)合成數(shù)據(jù)集，四個(gè)合成數(shù)據(jù)集的數(shù)據(jù)可以指定分量數(shù)、維數(shù)且服從狄利克雷分布，利用四個(gè)合成數(shù)據(jù)集進(jìn)行以下實(shí)驗(yàn)：

(1)對(duì)比提出的變分貝葉斯算法的無限狄利克雷混合模型與文獻(xiàn)[20]中的變分貝葉斯算法的有限狄利克雷混合模型(variational finite Dirichlet Mixture Model，varDMM)的估計(jì)精度。該算法程序運(yùn)行15次，結(jié)果取統(tǒng)計(jì)的平均值。表1量化地給出了變分貝葉斯算法的無限狄利克雷混合模型對(duì)于四個(gè)合成數(shù)據(jù)的參數(shù)估計(jì)結(jié)果。通過對(duì)比參數(shù)的真實(shí)值和varInDMM的參數(shù)估計(jì)結(jié)果發(fā)現(xiàn)，對(duì)于每一個(gè)數(shù)據(jù)集，利用varInDMM得到的估計(jì)值與真實(shí)值基本吻合。通過對(duì)比varInDMM與varDMM的參數(shù)估計(jì)結(jié)果可以看出，基于變分貝葉斯算法的無限狄利克雷混合模型的參數(shù)估計(jì)值更為精確。

(2)圖1給出了變分貝葉斯算法對(duì)于四個(gè)合成數(shù)據(jù)集學(xué)習(xí)得到的概率密度圖。

從圖1可見，狄利克雷分布的概率密度函數(shù)既可以是對(duì)稱的，也可以是非對(duì)稱的，因此它對(duì)非高斯數(shù)據(jù)具有很強(qiáng)的描述能力。

圖1 合成數(shù)據(jù)集變分學(xué)習(xí)后的混合密度

表1 不同合成數(shù)據(jù)集的參數(shù)

(3)對(duì)比varInDMM與varDMM的收斂速度，表2給出了兩種算法對(duì)于四個(gè)合成數(shù)據(jù)集學(xué)習(xí)的收斂時(shí)間。由表2可見，提出的基于變分貝葉斯算法的無限狄利克雷混合模型具有更快的收斂速度。

表2 算法的收斂時(shí)間 s

(4)算法初始化時(shí)定義的狄利克雷分量數(shù)為15。變分貝葉斯算法設(shè)置了隱變量，每一次的迭代循環(huán)中都會(huì)更新超參數(shù)，然后會(huì)重新計(jì)算各個(gè)分量的權(quán)值。若隱變量所指示分量出現(xiàn)權(quán)重過小的結(jié)果，該分量是冗余分量，加權(quán)求和時(shí)可忽略它的存在，即認(rèn)為Znm=0。變分貝葉斯算法對(duì)于四個(gè)合成數(shù)據(jù)集的有效分量學(xué)習(xí)結(jié)果如圖2所示。由此可見，該算法最終收斂后可以通過模型選擇。

4 結(jié)束語

針對(duì)有限混合模型存在的參數(shù)估計(jì)和模型選擇的問題，提出了一個(gè)變分推理框架來學(xué)習(xí)無限狄利克雷混合模型。仿真實(shí)驗(yàn)表明，文中算法能夠有效地估計(jì)模型參數(shù)，同時(shí)確定混合分量數(shù)，避免了有限混合模型的模型選擇困難問題。實(shí)驗(yàn)對(duì)比了變分學(xué)習(xí)的無限狄利克雷混合模型和有限狄利克雷混合模型的估計(jì)值，以及兩種算法的收斂時(shí)間，證明了該算法在估計(jì)精度上更為精確，收斂速度更快。由合成數(shù)據(jù)集變分學(xué)習(xí)后的混合密度圖可見，該模型可以很好地?cái)M合非高斯數(shù)據(jù)。表明該算法是有效的和可行的。下一步工作將研究基于變分貝葉斯算法的無限狄利克雷混合模型的特征選擇問題。

圖2 模型選擇后的有效分量

[1] Titterington D M，Smith A F M，Makov U E.Statistical analysis of finite mixture distributions[M].New York:Wiley,1985.

[2] Chen Tao,Zhang Jie.On-line multivariate statistical monitoring of batch processes using Gaussian mixture model[J].Computers & Chemical Engineering,2010,34(4):500-507.

[3] Lopez-Rubio E,Palomo E J.Growing hierarchical probabilistic self-organizing graphs[J].IEEE Transactions on Neural Networks,2011,22(7):997-1008.

[4] 喬少杰,金 琨,韓 楠,等.一種基于高斯混合模型的軌跡預(yù)測(cè)算法[J].軟件學(xué)報(bào),2015,26(5):1048-1063.

[5] 崔 瑋,吳成東,張?jiān)浦?等.基于高斯混合模型的非視距定位算法[J].通信學(xué)報(bào),2014,35(1):99-106.

[6] 樊 娜,蔡皖東,趙 煜.基于混合模型的文本主題-情感分析方法[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2010,38(1):31-34.

[7] Nguyen T M,Wu Q M J.Gaussian mixture model based spatial neighborhood relationships for pixel labeling problem[J].IEEE Transaction on System Man and Cybernetic,2012,42(1):193-202.

[8] 賴裕平,丁洪偉,周亞建,等.有限貝塔劉維爾混合模型的變分學(xué)習(xí)及其應(yīng)用[J].電子學(xué)報(bào),2014,42(7):1347-1352.

[9] Ma Zhanyu, Leijon A. Bayesian estimation of beta mixture models with variational inference[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2160-2173.

[10] Bdiri T，Bouguila N.Positive vectors clustering using inverted Dirichlet finite mixture models[J].Expert Systems with Applications,2012,39(2):1869-1882.

[11] Biernacki C,Celeux G,Govaert G.Choosing starting values for the EM algorithm for getting the highest likelihood in nultivariate Gaussian mixture models[J].Computational Statistics and Data Analysis,2003,41(3-4):561-575.

[12] Grimmer J.An introduction to Bayesian inference via variational approximations[J].Political Analysis,2011,19(1):32-47.

[13] Bishop C M.Pattern recognition and machine learning[M].New York:Springer-Verlag,2006.

[14] Teschendorff A E,Wang Y,Barbosa-Morais N L,et al.A variational Bayesian mixture modelling framework for cluster analysis of gene-expression data[J].Bioinformatics,2005,21(13):3025-3033.

[15] Bali B,Mohammad-Djafari A.A variational Bayesian algorithm for BSS problem with hidden Gauss-Markov models for the sources[C]//Proc of ICA.[s.l.]:[s.n.],2007:137-144.

[16] Snoussi H, Mohammad-Djafari A. Estimation of structured Gaussian mixtures:the inverse EM algorithm[J].IEEE Transactions on Signal Processing,2007,55(7):3185-3191.

[17] Skolidis G,Sanguinetti G.Bayesian multitask classification with Gaussian process priors[J].IEEE Transactions on Neural Networks,2011,22(12):2011-2021.

[18] Wang B,Titterington D M.Convergence properties of a general algorithm for calculating variational Bayesian estimates for a normal mixture model[J].Bayesian Analysis,2006,1(3):625-650.

[19] Corduneanu A,Bishop C M.Variational Bayesian model selection for mixture distributions[C]//Proceedings of eighth international conference on artificial intelligence and statistics.[s.l.]:[s.n.],2001:27-34.

[20] Fan Wentao,Bouguila N,Ziou D.Variaional learning for finite Dirichlet mixture models and applications[J].IEEE Transaction on Neural Networks and Learning Systems,2012,23(5):762-774.

[21] 梅素玉,王 飛,周水庚.狄利克雷過程混合模型、擴(kuò)展模型及應(yīng)用[J].科學(xué)通報(bào),2012,57(34):3243-3257.

[22] MacKay D,Peto L C B.A hierarchical Dirichlet language model[J].Natual Language Engineeing,1994,1(3):1-19.

[23] Bouguila N,Ziou D.A Dirichlet process mixture of Dirichlet distributions for classification and prediction[C]//IEEE workshop on machine learning for signal processing.[s.l.]:IEEE,2008:297-302.

[24] Ishwaran H,James L F.Gibbs sampling methods for stick-breaking priors[J].Journal of the American Statistical Association,2001,96(453):161-173.

[25] Blei D M, Jordan M I. Variational inference for Dirichlet process mixtures[J].Bayesian Analysis,2005,1(1):121-144.

VariationalLearningforInfiniteDirichletMixtureModel

ZENG Fan-feng，CHEN Ke，WANG Bao-cheng，XIAO Ke

(North China University of Technology,Beijing 100144,China)

Finite Gauss mixture model is widely used in pattern recognition,machine learning and data mining and so on,but many data in reality are non Gauss,which cannot accurately describe these data.In addition,there exist difficulties in parameter estimation and model selection in the finite Gauss mixture model.In order to better fit the non Gauss data and solve the problem of parameter estimation and model selection of the finite Gauss mixture model,on the basis of research on basic learning method of infinite Dirichlet mixture model suitable for modeling the data of a non Gauss,an efficient variational approximate inference algorithm is proposed,which solves problem of parameter estimation and model selection at the same time.In order to verify its validity,a lot of experiments are carried out on the synthetic data set.The experimental results show it can solve the problem of model selection and parameter estimation.Infinite Dirichlet mixture model proposed can also be applied to object detection,text classification,image classification and other parts.

Dirichlet;infinite mixture models;variational Bayes;model selection;parameter estimation

TP181

A

1673-629X(2017)10-0019-05

2016-10-10

2017-01-12 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-07-11

國(guó)家自然科學(xué)基金資助項(xiàng)目(61371142)；北方工業(yè)大學(xué)校內(nèi)專項(xiàng)(XN060)

曾凡鋒(1966-)，男，碩士，副研究員，研究方向?yàn)樾畔踩?、圖像處理、系統(tǒng)辨別等；陳 可(1991-)，男，碩士研究生，研究方向?yàn)樾畔踩?、機(jī)器學(xué)習(xí)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170711.1455.048.html

10.3969/j.issn.1673-629X.2017.10.005