張 亮

（武漢工程大學(xué)管理學(xué)院，湖北武漢430205）

基于LDA主題模型的標(biāo)簽推薦方法研究

張 亮

（武漢工程大學(xué)管理學(xué)院，湖北武漢430205）

針對(duì)現(xiàn)有的標(biāo)簽推薦方法存在的推薦準(zhǔn)確率不高與效果不理想等問(wèn)題，本文提出了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。該方法利用LDA主題建模技術(shù)將傳統(tǒng)的基于對(duì)象間關(guān)系的推薦方法擴(kuò)展到融合對(duì)象間關(guān)系與資源內(nèi)容特征的統(tǒng)一推薦。實(shí)驗(yàn)結(jié)果表明，該方法取得了理想的預(yù)期效果，能夠顯著提高標(biāo)簽推薦的質(zhì)量與效果。

標(biāo)簽推薦；LDA主題模型；推薦方法

標(biāo)簽作為Web2.0時(shí)代信息分類與索引的重要組織方式，其主要原因在于Web2.0強(qiáng)調(diào)以用戶為中心、用戶參與的互聯(lián)網(wǎng)開放式架構(gòu)理念，網(wǎng)絡(luò)信息的產(chǎn)生、發(fā)布從傳統(tǒng)的網(wǎng)站管理者轉(zhuǎn)移到普通的網(wǎng)絡(luò)用戶身上；但由于普通用戶對(duì)專業(yè)的信息分類體系缺乏了解，基于傳統(tǒng)的固定分類體系的信息組織方法難以適應(yīng)Web2.0時(shí)代的信息發(fā)布與組織模式。標(biāo)簽系統(tǒng)作為傳統(tǒng)分類方法的替代，其隨意、靈活、無(wú)等級(jí)劃分的特征使得用戶能夠很容易利用該系統(tǒng)進(jìn)行Web2.0上的信息分類與組織，成為Web2.0時(shí)代網(wǎng)絡(luò)信息的重要組織方式［1］。隨著社會(huì)化標(biāo)注系統(tǒng)的快速發(fā)展，用戶在使用這類系統(tǒng)進(jìn)行資源標(biāo)注時(shí)，通常會(huì)選擇其他用戶或自己已使用過(guò)的標(biāo)簽進(jìn)行資源推薦，而由于社會(huì)化標(biāo)簽創(chuàng)建的隨意性和個(gè)性化，難以保證標(biāo)簽的準(zhǔn)確性和可用性，且隨著用戶數(shù)量和資源規(guī)模的增長(zhǎng)，標(biāo)簽數(shù)量也隨之增多，致使標(biāo)簽系統(tǒng)中存在大量模糊的、可信度低的標(biāo)簽。為解決這些問(wèn)題，目前的研究主要集中在標(biāo)簽推薦領(lǐng)域，即利用高效的標(biāo)簽推薦方法提升資源所附帶標(biāo)簽的質(zhì)量［2］。現(xiàn)有的標(biāo)簽推薦方法主要分為3類：

（1）基于資源內(nèi)容的標(biāo)簽推薦方法。基于資源內(nèi)容的標(biāo)簽推薦方法從標(biāo)注資源所具備的屬性特征出發(fā)，通過(guò)提取描述資源內(nèi)容的關(guān)鍵詞作為標(biāo)簽推薦的依據(jù)。由于該方法在處理過(guò)程中僅僅利用了資源本身的信息，沒(méi)有兼顧相似資源、鄰居用戶等信息，無(wú)法發(fā)揮標(biāo)簽的社會(huì)化特性，在實(shí)際運(yùn)用過(guò)程中的準(zhǔn)確率與效率并不理想［3］。

（2）基于協(xié)同過(guò)濾的標(biāo)簽推薦方法?；趨f(xié)同過(guò)濾的標(biāo)簽推薦方法利用協(xié)同過(guò)濾技術(shù)獲取相似資源、鄰居用戶等標(biāo)簽信息，實(shí)現(xiàn)對(duì)目標(biāo)資源的推薦，如Hotho等［4］提出的FolkRank方法利用社會(huì)化標(biāo)注系統(tǒng)中用戶、標(biāo)簽、資源三者之間存在的關(guān)聯(lián)信息對(duì)標(biāo)簽進(jìn)行排序，根據(jù)排序結(jié)果進(jìn)行協(xié)同推薦；Mishne［5］提出的AutoTag方法利用相似度計(jì)算獲取與目標(biāo)資源內(nèi)容相似的資源，并將相似資源的標(biāo)簽進(jìn)行聚類、排序，根據(jù)排序結(jié)果實(shí)現(xiàn)協(xié)同推薦。這類方法的關(guān)鍵是準(zhǔn)確獲取相似資源的標(biāo)簽信息，然后從已有的標(biāo)簽庫(kù)中查找到相似標(biāo)簽進(jìn)行推薦，故該方法的推薦效果會(huì)受到候選標(biāo)簽庫(kù)規(guī)模、標(biāo)簽相似度計(jì)算方法準(zhǔn)確度的影響［6］。

（3）基于標(biāo)簽語(yǔ)義的標(biāo)簽推薦方法。基于標(biāo)簽語(yǔ)義的標(biāo)簽推薦方法利用用戶、標(biāo)簽、資源三者之間蘊(yùn)含的語(yǔ)義關(guān)系獲取推薦標(biāo)簽所需的知識(shí)并運(yùn)用到推薦任務(wù)中，提高標(biāo)簽推薦的準(zhǔn)確性與推薦效果，如Adrian［7］提出的ConTag方法將本體思想運(yùn)用到標(biāo)簽推薦之中，通過(guò)將用戶、標(biāo)簽、資源三者之間的關(guān)系表達(dá)成RDF格式進(jìn)行文檔主題建模，實(shí)現(xiàn)基于語(yǔ)義主題的標(biāo)簽推薦；Marchetti等［8］提出的Semkey方法將語(yǔ)義網(wǎng)與協(xié)同過(guò)濾技術(shù)相結(jié)合進(jìn)行基于語(yǔ)義協(xié)作的標(biāo)簽推薦。

這些標(biāo)簽推薦方法在一定程度上提高了標(biāo)簽推薦的準(zhǔn)確性與效率，改善了社會(huì)化標(biāo)簽系統(tǒng)的質(zhì)量和效果。但這些方法主要利用對(duì)象間關(guān)系進(jìn)行標(biāo)簽推薦，忽略了資源本身的特征信息，當(dāng)用戶、標(biāo)簽、資源之間的關(guān)系比較稀疏時(shí)，會(huì)嚴(yán)重制約標(biāo)簽推薦的準(zhǔn)確度與效果。針對(duì)這些問(wèn)題，本文研究和設(shè)計(jì)了一種基于LDA（Latent Dirichlet Allocation，LDA）主題模型的標(biāo)簽推薦方法。該方法綜合考慮用戶、標(biāo)簽、資源之間的潛在關(guān)系及資源內(nèi)容特性，利用LDA主題模型將用戶、標(biāo)簽、資源及資源內(nèi)容進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)標(biāo)簽系統(tǒng)中對(duì)象間關(guān)系與資源內(nèi)容的融合分析與綜合推薦。

1 LDA主題模型原理

LDA主題模型是一個(gè)以“文檔－主題－關(guān)鍵詞”為層次結(jié)構(gòu)、通過(guò)加入Dirichlet先驗(yàn)分布來(lái)解決PLSA主題模型中存在的過(guò)擬合現(xiàn)象的三層貝葉斯概率模型，其基本思想是［9］假設(shè)任何文本都可以表示成一系列主題的混合分布，記為P（z）；同時(shí)任意主題都是關(guān)鍵詞列表中所有單詞的概率分布，記為P（w z），則一個(gè)文本中每個(gè)關(guān)鍵詞的概念分布為：

LDA主題模型認(rèn)為文檔是若干關(guān)鍵詞的集合，在構(gòu)建主題模型過(guò)程中不考慮任何語(yǔ)法或詞語(yǔ)出現(xiàn)的順序關(guān)系，利用該模型產(chǎn)生文檔的貝葉斯網(wǎng)絡(luò)圖如圖1所示。

圖1 LDA的貝葉斯網(wǎng)絡(luò)圖

圖1 中，隨機(jī)變量θ表示目標(biāo)文檔中的主題分布向量，隱含變量z表示目標(biāo)文檔分配在每個(gè)關(guān)鍵詞上的N維主題向量，用來(lái)體現(xiàn)文檔與關(guān)鍵詞之間的潛在關(guān)系，w表示目標(biāo)文檔中關(guān)鍵詞的向量表示，α、β分別表示文檔和關(guān)鍵詞滿足相應(yīng)的Dirichlet分布時(shí)的參數(shù)。

利用LDA模型進(jìn)行文檔主題建模時(shí)的核心問(wèn)題是估計(jì)隱含變量的概率分布情況，即獲取目標(biāo)文檔中隱含主題分布和各隱含主題的關(guān)鍵詞分布，其處理過(guò)程描述如下：

（1）獲取文檔d中每個(gè)主題發(fā)生的概率θd，即抽取服從Dirichlet（α）分布的θd值，其中α是Dirichlet分布的參數(shù)；

（2）獲取文檔d中每個(gè)關(guān)鍵詞wi的抽樣主題zi，即從θd的多項(xiàng)式分布中抽取滿足條件的zi：P（ziα）；

（3）獲取文檔d中所有關(guān)鍵詞的向量表示wi，即從zj的多項(xiàng)式分布中抽取滿足條件的wi：P（wizj，β）。

上述處理過(guò)程中，β主要用來(lái)描述特定主題條件下生成的某個(gè)關(guān)鍵詞的概率，是以主題數(shù)目K和特征關(guān)鍵詞V組成的二維向量空間為表現(xiàn)形式，即β＝K×V，且βij＝P（wj＝1zi＝1）。對(duì)于給定的語(yǔ)料庫(kù)D，LDA主題建模過(guò)程就是通過(guò)z和θ的值獲取使得P（Dα，β）極大化時(shí)參數(shù)α和β的值，通過(guò)這些參數(shù)值得到文檔的主題分布情況以及所有關(guān)鍵詞所屬的主題類別。由于z和θ均為潛在變量，通過(guò)直接計(jì)算是無(wú)法得到的，常用的方法是通過(guò)吉布斯抽樣、變分貝葉斯、最大似然估計(jì)等方法進(jìn)行參數(shù)估計(jì)［10］。

2 基于LDA主題模型的標(biāo)簽推薦方法

將LDA主題模型運(yùn)用到社會(huì)化標(biāo)簽推薦方法中的典型研究包括Harvey等［11］提出的基于LDA主題建模的TTM方法，該方法將標(biāo)簽系統(tǒng)中的用戶、標(biāo)簽、資源分別構(gòu)建相應(yīng)的主題模型，使其可以估計(jì)用戶與資源的主題分布情況以及標(biāo)簽關(guān)鍵詞的主題分布；Subram等［12］將資源的相似性視為依條件概率的隨機(jī)過(guò)程，并將其融入到標(biāo)簽主題的建模中，在此基礎(chǔ)上提出了基于Regularized LDA主題建模的標(biāo)簽推薦方法，驗(yàn)證了LDA主題模型在標(biāo)簽推薦方面具有很好的可擴(kuò)展性。本文在這些研究的基礎(chǔ)上，將LDA主題模型融入社會(huì)化標(biāo)簽推薦方法之中，研究和設(shè)計(jì)了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。本文方法與這些已有方法的區(qū)別主要體現(xiàn)在本文方法將社會(huì)化標(biāo)注系統(tǒng)中的用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)行融合分析，構(gòu)建統(tǒng)一的LDA主題模型，使標(biāo)簽推薦從傳統(tǒng)的分析對(duì)象間關(guān)系擴(kuò)展到融合關(guān)系與資源內(nèi)容特征的綜合分析，實(shí)現(xiàn)基于關(guān)系與內(nèi)容特征的主題建模與推薦，該方法的貝葉斯網(wǎng)絡(luò)圖如圖2所示。

圖2 基于LDA主題模型的標(biāo)簽推薦貝葉斯網(wǎng)絡(luò)圖

圖2 中，D表示文檔資源的總數(shù)，N表示文檔資源中資源內(nèi)容特征關(guān)鍵詞的總數(shù)，M表示資源標(biāo)簽中關(guān)鍵詞的總數(shù)，K表示所有文檔資源中包含的主題總數(shù)，L表示所有標(biāo)簽中包含的主題總數(shù)。利用該模型進(jìn)行主題建模的過(guò)程如下：

（1）針對(duì)任意文檔資源di，抽取服從Dirichlet（α）分布的θci和θti，其中，θci表示文檔資源di中主題為k的概率，主要針對(duì)文檔資源本身內(nèi)容特征獲取主題；θti表示文檔資源di的標(biāo)簽中關(guān)鍵詞的主題為l的概率，主要針對(duì)文檔資源標(biāo)簽中的關(guān)鍵詞獲取主題；

（2）針對(duì)文檔資源本身內(nèi)容特征，選取服從Dirichlet（β）分布的δk，其中，δk表示對(duì)于給定的主題k，所能得到的所有資源特征關(guān)鍵詞的概率；針對(duì)文檔資源標(biāo)簽中的關(guān)鍵詞，選擇服從Dirichlet（β）分布的φl(shuí)，其中，φl(shuí)表示對(duì)于給定的主題l，所能得到的所有標(biāo)簽關(guān)鍵詞的概率；

（3）針對(duì)文檔資源di中的所有內(nèi)容特征關(guān)鍵詞，根據(jù)抽取的θci得到相應(yīng)的主題zc，再根據(jù)δzc選擇主題詞wc；針對(duì)文檔資源di標(biāo)簽中的所有標(biāo)簽關(guān)鍵詞，根據(jù)抽取的θti得到相應(yīng)的主題zt，再根據(jù)φzt選擇主題詞wt。

針對(duì)上述過(guò)程中出現(xiàn)的參數(shù)，本文采用吉布斯抽樣方法［13］進(jìn)行參數(shù)學(xué)習(xí)，并通過(guò)將文檔資源內(nèi)容和資源標(biāo)簽進(jìn)行分割成獨(dú)立的文檔單元實(shí)現(xiàn)參數(shù)估計(jì)，相應(yīng)的參數(shù)估計(jì)方法為：

上述公式中各變量的含義如表1所示：

表1 參數(shù)估計(jì)方法中各變量含義

利用上述方法進(jìn)行主題建模和參數(shù)估計(jì)后，則對(duì)于任意文檔資源di被用戶u*創(chuàng)作的概率可以表示為：

對(duì)于文檔資源di中標(biāo)簽t出現(xiàn)的概率可以表示為：

則綜合文檔資源內(nèi)容和標(biāo)簽關(guān)鍵詞的統(tǒng)一推薦可以表示為：

3 實(shí)驗(yàn)與結(jié)果分析

本文采用對(duì)比實(shí)驗(yàn)法來(lái)檢驗(yàn)所提出的基于LDA主題模型的標(biāo)簽推薦方法的準(zhǔn)確性與效果。

3.1 實(shí)驗(yàn)數(shù)據(jù)來(lái)源

實(shí)驗(yàn)數(shù)據(jù)選自美國(guó)Minnesota大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的GroupLens項(xiàng)目組收集的MovieLens10M100K數(shù)據(jù)集［14］。該數(shù)據(jù)集含有movies．dat、ratings．dat、tags．dat 3個(gè)文件，其中，movies．dat文件主要存儲(chǔ)電影的編號(hào)ID、名稱Title和類別Genres信息，ragings．dat文件主要存儲(chǔ)用戶對(duì)電影的評(píng)分Rating和評(píng)分時(shí)間Timestamp信息，tags．dat文件主要存儲(chǔ)用戶對(duì)電影標(biāo)記的標(biāo)簽Tag和標(biāo)記時(shí)間Timestamp信息。

3.2 實(shí)驗(yàn)環(huán)境與測(cè)評(píng)指標(biāo)

實(shí)驗(yàn)環(huán)境為處理器為Inter（R）Core（TM）4CPU 4400 2.0GHz，內(nèi)存4G，硬盤500G，操作系統(tǒng)為Windows 7，編程語(yǔ)言為Java（JDK 1.6.2）。實(shí)驗(yàn)測(cè)評(píng)指標(biāo)選擇標(biāo)簽推薦領(lǐng)域常用的推薦準(zhǔn)確率（Precision，P）、推薦召回率（Recall，R）、F1值，其計(jì)算方法為：

其中，TP表示推薦結(jié)果與人工評(píng)價(jià)都認(rèn)為應(yīng)該具有的標(biāo)簽數(shù)量，F(xiàn)P表示推薦結(jié)果具有但人工評(píng)價(jià)認(rèn)為不該具有的標(biāo)簽數(shù)量，F(xiàn)N表示推薦結(jié)果沒(méi)有但人工評(píng)價(jià)認(rèn)為應(yīng)該具有的標(biāo)簽數(shù)量。

3.3 實(shí)驗(yàn)過(guò)程與結(jié)果

本文選擇標(biāo)簽推薦領(lǐng)域常用的FolkRank方法、Hosvd－Direct方法、TTM方法作為參照方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果

3.4 實(shí)驗(yàn)結(jié)果分析

通過(guò)上述實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于LDA主題模型的標(biāo)簽推薦方法在推薦準(zhǔn)確率、推薦召回率、F1值等測(cè)評(píng)指標(biāo)上的結(jié)果值明顯優(yōu)于現(xiàn)有的標(biāo)簽推薦方法，能夠在實(shí)際運(yùn)用過(guò)程中提供更好的標(biāo)簽推薦服務(wù)。其主要原因在于本文方法綜合運(yùn)用用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)行統(tǒng)一主題建模，能夠在傳統(tǒng)的基于對(duì)象關(guān)系分析的推薦方法的基礎(chǔ)上融入資源內(nèi)容特征，實(shí)現(xiàn)基于對(duì)象關(guān)系和內(nèi)容特征的綜合推薦，故能夠取得比傳統(tǒng)推薦方法更好的實(shí)驗(yàn)效果。

通過(guò)將每個(gè)主題下的標(biāo)簽按照概率進(jìn)行降序排列，同時(shí)記錄各主題下的標(biāo)簽集，可以得到該主題的直觀標(biāo)簽表示，表3給出了其中5個(gè)主題的前8個(gè)推薦標(biāo)簽。

表3 部分主題與推薦標(biāo)簽

4 結(jié)束語(yǔ)

標(biāo)簽是Web2.0時(shí)代信息分類與組織的重要方式，是以用戶為中心、用戶參與創(chuàng)建互聯(lián)網(wǎng)內(nèi)容的主要表現(xiàn)形式。本文針對(duì)現(xiàn)有的標(biāo)簽推薦方法存在的推薦準(zhǔn)確性不高和推薦效果不理想等問(wèn)題，提出了基于LDA主題模型的社會(huì)化標(biāo)簽推薦方法。該方法利用LDA主題建模技術(shù)將社會(huì)化標(biāo)注系統(tǒng)中的用戶、標(biāo)簽、資源及資源內(nèi)容特征進(jìn)行統(tǒng)一主題建模，將傳統(tǒng)的基于對(duì)象間關(guān)系的推薦擴(kuò)展到基于對(duì)象間關(guān)系和資源內(nèi)容特征的綜合推薦。通過(guò)在真實(shí)的測(cè)試數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)后表明，融合對(duì)象間關(guān)系與資源內(nèi)容特征的推薦方法明顯優(yōu)于現(xiàn)有的標(biāo)簽推薦方法，能夠顯著地提高標(biāo)簽推薦的質(zhì)量和效果。

［1］張斌，張引，高克寧，等．融合關(guān)系與內(nèi)容分析的社會(huì)標(biāo)簽推薦［J］．軟件學(xué)報(bào)，2012，23（3）：476－488．

［2］Seitlinger P，Kowald D，Trattner C，et al．Recommending tags with a model of human categorization［C］．Proceedings of the 22ndACM international conference on Conference on information&knowledge management．ACM，2013：2381－2386．

［3］王海雷，俞學(xué)寧．基于隨機(jī)游走算法的社會(huì)化標(biāo)簽的用戶推薦［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（7）：2388－2391．

［4］Hotho A，Jaschke R，Schmitz C．Information Retrieval in Folksomomies：Search and Ranking［M］．Berlin：Springer，2006：411－426．

［5］Mishne G．AutoTag：A Collaborative Approach to Automated Tag Assignment for Weblog Posts［C］．Proceedings of the 15thInternational Conference on World Wide Web，2006：953－954．

［6］趙亞楠，董晶，董佳梁．基于社會(huì)化標(biāo)注的博客標(biāo)簽推薦方法［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2012，33（12）：4609－4613．

［7］Adrian B，Sauermann L，Roth－Berghofer T．Contag：A Semantic Tag Recommendation System［J］．Journal of University Computer Science，2007，36（7）：297－304．

［8］Marchetti A，Tescono M，Ronzano F．SemKey：A Semanitc Collaborative Tagging System［C］．Proceedings of the 16thInternational Conference on World Wide Web，2007：8－12．

［9］Blei D M，Ng A Y，Jordan M I．Latent Dirichlet Allocation［J］．Journal of Machine Learning Research，2003，3（4－5）：993－1022．

［10］唐曉波，王洪艷．基于潛在狄利克雷分配模型的微博主題演化分析［J］．情報(bào)學(xué)報(bào)，2013，32（3）：281－287．

［11］Harvey M，Baillie M，Ruthven I，et al．Tripartite Hidden Topic Models for Personalized Tag Suggestion［C］．Proceedings of the 32ndEuropean Conference on IR Research，2010：432－443．

［12］Subram V，Pandian S C．Topic ontology－based efficient tag recommendation approach for blogs［J］．International Journal of Computational Science and Engineering，2014，9（3）：177－187．

［13］Heinrich G．Parameter Estimation for Text Analysis［OL］．http：∥www．a(chǎn)rbylon．net/publications/text－est．pdf，2015－12－10．

［14］GroupLens Research．MovieLens Data Sets［OL］．http：∥www．grouplens．org/node/73/，2015－09－15．

（本文責(zé)任編輯：孫國(guó)雷）

Research on Tagging Recommendation Method Based on LDA Topic Model

Zhang Liang
（School of Management，Wuhan Institute of Technology，Wuhan Hubei 430205，China）

This paper proposes a social tagging recommendation method based on LDA topic model to solve the problems of accuracy and effect in existing tagging recommendation method．This method extends the traditional tagging recommendation method based on the relation of objects to combine analysis of the relation of objects and the content of resource by using of LDA modeling technology．The experiment result shows that this methods gets a good expectant performance and dramatically improve the quality and efficiency of tagging recommendation．

tagging recommendation；LDA topic model；recommendation method

10．3969/j．issn．1008－0821．2016．02．010

G203

A

1008－0821（2016）02－0053－04

2015－12－13

張 亮（1973－），男，講師，博士，研究方向：語(yǔ)義web與數(shù)據(jù)挖掘。