黃嬋

摘? 要： 短文本建模的稀疏問(wèn)題是短文本主題建模的主要問(wèn)題，文章提出基于詞向量的短文本主題建模模型—語(yǔ)義詞向量模型（Semantics Word Embedding Modeling，SWEM）。采用半自動(dòng)的方法對(duì)短文本信息進(jìn)行擴(kuò)充，對(duì)短文本相應(yīng)詞語(yǔ)進(jìn)行同義詞林處理，增加短文本集合中詞共現(xiàn)信息，豐富文檔內(nèi)容，推理出較高質(zhì)量的文本主題結(jié)構(gòu)，解決短文本的詞共現(xiàn)信息不足的問(wèn)題。實(shí)驗(yàn)表明，SWEM模型優(yōu)于LDA、BTM等傳統(tǒng)模型。

關(guān)鍵詞： 短文本; 主題建模; 同義詞; SWEM

中圖分類號(hào)：TP311? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2019）12-57-04

Topic modeling of self-media short text based on semantic word vector

Huang Chan

（Ganzhou teachers college， Ganzhou， Jiangxi 341000， China）

Abstract： The sparse problem of short text modeling is the main problem of short text topic modeling. This paper proposes a word-vector based short text topic modeling model SWEM （Semantics word embedding modeling）. It uses semi-automatic method to expand short text information， the word in short text is processed with corresponding synonyms of the word， to increase word co-occurrence information in short text set， to enrich document content， so as to infer a high quality text topic structure and to solve the problem of insufficient co-occurrence of words in decisive texts. Experiments show that SWEM model is superior to traditional models such as LDA and BTM.

Key words： short text; topic modeling; synonym; SWEM

0 引言

自媒體是指以現(xiàn)代化、電子化的手段，向不特定的大多數(shù)或者特定的單個(gè)人傳遞規(guī)范性及非規(guī)范性信息的新媒體的總稱。通常以短文本的形式活躍于視野中。其特點(diǎn)主要有文本長(zhǎng)度較短，內(nèi)容表達(dá)隨意常出現(xiàn)一些錯(cuò)別字、同音字詞，甚至出現(xiàn)流行網(wǎng)絡(luò)用語(yǔ)。因此，在海量的短文本數(shù)據(jù)內(nèi)挖掘有價(jià)值的信息是一項(xiàng)極具挑戰(zhàn)的任務(wù)。

1 相關(guān)研究

主題模型（topic model）是指以非監(jiān)督學(xué)習(xí)的方式對(duì)文集的隱含語(yǔ)義結(jié)構(gòu)進(jìn)行聚類的統(tǒng)計(jì)模型[1]，而主題建模能夠從一個(gè)文本對(duì)象中自動(dòng)識(shí)別它的主題，且發(fā)現(xiàn)隱藏的模式，有助于作出更好的決策。自媒體作為短文本的一種常見特性，挖掘其主題具有較強(qiáng)的實(shí)用價(jià)值，已經(jīng)得到了科研工作者的關(guān)注與研究。

Malone[2]等人在1987年就發(fā)表了具有影響力的論文，提出了最早的協(xié)同過(guò)濾。2003年，Blei等學(xué)者提出了隱含狄利克雷分布（Latent Dirichlet Allocation，LDA）[3]模型。晏小輝[4]等的學(xué)者提出了一個(gè)雙詞主題模型（Biterm Topic Model，BTM），對(duì)雙詞來(lái)建模，構(gòu)成了雙詞-主題-單詞的三層結(jié)構(gòu)。唐曉波等[5]人建立了基于主題圖的用戶興趣模型，運(yùn)用無(wú)尺度圖K-中心點(diǎn)算法對(duì)主題圖進(jìn)行更深層次的聚類挖掘。鄧智龍[6]則提出了用戶興趣關(guān)聯(lián)規(guī)則的興趣發(fā)現(xiàn)方法，發(fā)現(xiàn)各個(gè)興趣之間的關(guān)聯(lián)規(guī)則。趙捧未等[7]提出的用戶興趣模型構(gòu)建方法是利用了本地節(jié)點(diǎn)資源和知識(shí)地圖的構(gòu)建。胡吉明等[8]從模塊度改進(jìn)的角度，針對(duì)用戶興趣多元化和關(guān)系社區(qū)的交叉性特點(diǎn)對(duì)社區(qū)發(fā)現(xiàn)算法進(jìn)行了改進(jìn)。

從上述的研究成果中可以看出，其核心部分都是建立主題模型，但建模過(guò)程中都面臨了短文本的稀疏問(wèn)題，遺憾的是多數(shù)作者并沒(méi)有提出快速而簡(jiǎn)易的方法。

本文結(jié)合其他研究者思路對(duì)解決短文本的稀疏問(wèn)題進(jìn)行分析與研究。提出語(yǔ)義詞向量模型（Semanticswordembedding modeling，SWEM），對(duì)詞向量進(jìn)行建模，對(duì)海量短文本自媒體信息構(gòu)建結(jié)構(gòu)化主題，發(fā)現(xiàn)社團(tuán)和意見領(lǐng)袖。

2 一種基于語(yǔ)義詞向量的自媒體短文本主題建模

2.1 自媒體短文本主題建模分析

傳統(tǒng)的主題模型是對(duì)文檔產(chǎn)生過(guò)程建模，認(rèn)為存在文檔、主題、詞三層結(jié)構(gòu)，文檔包含多個(gè)主題，詞由每個(gè)詞產(chǎn)生，隱式地利用文檔級(jí)別的詞共現(xiàn)信息推理主題結(jié)構(gòu)，這類模型較適應(yīng)于長(zhǎng)文本。然而，短文本文檔經(jīng)過(guò)去停用詞等手段處理之后，每個(gè)文本包含的詞數(shù)通常非常少，當(dāng)傳統(tǒng)模型應(yīng)用在短文本時(shí)，詞頻信息和詞共現(xiàn)信息嚴(yán)重不足，導(dǎo)致稀疏問(wèn)題。在使用推理算法時(shí)，難以準(zhǔn)確地推理出文檔中主題分布參數(shù)與主題和詞的分布參數(shù)，大大影響短文本主題建模的效果。因此，解決短文本的稀疏問(wèn)題是重點(diǎn)。

2.2 語(yǔ)義詞向量模型

哈工大同義詞詞林能針對(duì)不同的詞語(yǔ)的語(yǔ)義進(jìn)行不同角度的詞匯擴(kuò)充。面對(duì)同義詞林的優(yōu)勢(shì)，不難想到利用哈工大同義詞詞林，采用半自動(dòng)的方法對(duì)短文本信息進(jìn)行擴(kuò)充，緩解短文本信息量少的問(wèn)題。將所有的短文本相應(yīng)詞語(yǔ)進(jìn)行同義詞林處理，使文檔組成一個(gè)語(yǔ)料集合，在短文本語(yǔ)料集合內(nèi)詞共現(xiàn)信息就會(huì)明顯增加，豐富文檔級(jí)別的詞共現(xiàn)信息，能夠推理較高質(zhì)量的主題結(jié)構(gòu)，解決短文本的詞共現(xiàn)信息不足的問(wèn)題?；诖?，提出基于詞向量的短文本主題建模模型—語(yǔ)義詞向量模型（Semantics Word Embedding Modeling，SWEM）。

⑴ 同義詞詞林簡(jiǎn)介

《同義詞詞林》[9]是80年代出版的一部對(duì)漢語(yǔ)詞匯按語(yǔ)義全面分類的詞典，收錄詞語(yǔ)近7萬(wàn)。

同義詞詞林共提供3層編碼，隨著級(jí)別的遞增，詞義刻畫越來(lái)越細(xì)，到了第五層，每個(gè)分類里詞語(yǔ)數(shù)量已經(jīng)不大，常常是只有一個(gè)詞語(yǔ)，已經(jīng)不可再分，可以稱為原子詞群、原子類或原子節(jié)點(diǎn)。其中第一級(jí)用大寫英文字母表示大類;第二級(jí)用小寫英文字母表示中類;第三級(jí)用二位十進(jìn)制整數(shù)表示小類;新增的第四級(jí)和第五級(jí)的編碼與原有的三級(jí)編碼并構(gòu)成一個(gè)完整的編碼，唯一代表詞典中出現(xiàn)的詞語(yǔ)。具體編碼如表1所示。

⑵ SWEM模型

語(yǔ)義詞向量模型（Semantics Word Embedding Modeling，SWEM）將假設(shè)整個(gè)短文本數(shù)據(jù)集合服從一個(gè)主題分布，主題服從高斯分布，對(duì)全局內(nèi)的詞向量，包括原來(lái)集合內(nèi)可觀察到的詞向量和對(duì)應(yīng)詞的同義詞向量進(jìn)行建模。

對(duì)于短文本來(lái)說(shuō)，文檔級(jí)的詞頻信息和詞共現(xiàn)信息不足，SWEM模型摒棄了文檔級(jí)的主題分布，假設(shè)整個(gè)語(yǔ)料集合服從同一個(gè)主題分布，其具體描述表述如下：首先，根據(jù)超參數(shù)[α]生成語(yǔ)料集合的主題分布[θ]，然后，在該主題分部下選擇一個(gè)主題[Zk]，通過(guò)參數(shù)[μk]和[σk2]生成主題詞向量的高斯分布，最后，在這個(gè)高斯分布中生成每個(gè)詞向量。SWEM模型的概率圖模型如圖1所示。

模型含義：給定一個(gè)短文本語(yǔ)料D{d1， d2， ...，dn}，每篇文檔對(duì)應(yīng)的詞向量是[W= w1，w2，...，wn，w'n+1，w'n+2，...，w'n+i]，其中w1代表原本文檔中的詞項(xiàng)，[w1']等代表的是文檔中詞向量的同義詞向量。取zk∈[1，k]當(dāng)做主題的標(biāo)量，[θ]表示短文本語(yǔ)料集合的主題分布，其中[θ]采用狄利克雷先驗(yàn)，其超參[α]，主題跟詞向量之間采用高斯混合分布，[α]代表第k個(gè)高斯模型權(quán)重，[μk]代表的是第k個(gè)高斯模型的均值，[σ2k]代表的是第k個(gè)高斯模型的協(xié)方差。

⑶ 基于SWEM主題模型描述

① 對(duì)每篇文檔內(nèi)詞向量進(jìn)行同義詞林泛化，求得隱含詞向量[w'] ，加入原來(lái)的短文本文檔中。

② 對(duì)整個(gè)短文本語(yǔ)料集合采樣一個(gè)主題分布：[θ～ Dirichlet（α）]。

③ 對(duì)每個(gè)主題[Zk]，k∈[1，k]，采樣一個(gè)主題詞向量分布[ψk～ Gaussian（μk，σ2k）]。

④ 對(duì)于每個(gè)詞向量w∈W，包括原文檔的詞向量和生成的同義詞向量：

（a） 采樣一個(gè)主題[Zk～Multinomial（θ）];

（b） 采樣一個(gè)詞向量[W～Multinomial（ψk）]。

根據(jù)以上的產(chǎn)生式可知：詞向量集合W是觀測(cè)變量，包括原來(lái)文本中的詞向量和對(duì)應(yīng)生成的同義詞向量，主題分布[θ]和主題詞向量分布[μk]主題z是隱含變量，[α]為模型超參，[μk]，[σ2k]是第k個(gè)分部高斯模型的均值和協(xié)方差。

給定觀測(cè)數(shù)據(jù)詞向量集合[W= w1，w2，...，wn，w'n+1，w'n+2，...，w'n+i]，其中w1等代表原本文檔中的詞項(xiàng)，[w'n+1]等代表對(duì)應(yīng)生成的同義詞向量。模型是包含 K個(gè)高斯分布的高斯混合分布，假設(shè)詞向量W來(lái)自如下的高斯混合分布的似然函數(shù)為：

[p（W|p）=i=1N+N'k=1kλkf（wi|uk，σ2k）]? ⑴

對(duì)式⑴取對(duì)數(shù)，似然函數(shù)變換為：

[log（p（W|p））=i=1N+N'log（k=1kλkf（wi|uk，σ2k））]? ⑵

從式⑵中可以看出目標(biāo)函數(shù)難以對(duì)其進(jìn)行求偏導(dǎo)處理。于是采用無(wú)EM算法[10]估計(jì)參數(shù)[λk]， [μk]， [σ2k]的值。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證模型的主題建模能力。本文選擇近期搜集Twitter自媒體數(shù)據(jù)165360條數(shù)據(jù)。在對(duì)這些數(shù)據(jù)進(jìn)行去噪過(guò)濾基礎(chǔ)上分詞處理，去除停用詞等及舍棄在文檔集合內(nèi)出現(xiàn)低于10次數(shù)的詞。如表2展示了每個(gè)數(shù)據(jù)集的文檔數(shù)目、詞典大小、平均文檔的長(zhǎng)度。

在詞向量的選擇上，使用谷歌新聞?wù)Z料訓(xùn)練的詞向量，詞向量維數(shù)為200。在除停用詞等無(wú)意義的詞后，選擇Skip-gram算法訓(xùn)練，其他參數(shù)為模型默認(rèn)值，最終生成數(shù)據(jù)集。同時(shí)在數(shù)據(jù)集中本文采用Twitter提供的主題標(biāo)簽（Hashtag）功能對(duì)數(shù)據(jù)集進(jìn)行分類（工具采用線性SVM分類器），并提取其中的內(nèi)容。抽取20個(gè)高頻的Hashtag作為分類數(shù)據(jù)的標(biāo)簽。如表3所示。

從表3中可以看到Twitter數(shù)據(jù)集的主題種類繁多，能為檢驗(yàn)?zāi)Ｐ头诸愋阅茉囼?yàn)提供支持。

3.2 模型對(duì)比

實(shí)驗(yàn)中首先根據(jù)不同模型對(duì)文檔進(jìn)行主題建模之后，分別得出文檔的主題概率分布，用主題概率分布將文檔表示成主題向量，維數(shù)為主題的個(gè)數(shù)，每一維用其包含主題的概率表示。得到文檔d的主題向量表示為D=[P（z=1|d），（z=2|d），…，（z=K|d）]，然后，隨機(jī)的在數(shù)據(jù)集合中選出70%作為訓(xùn)練數(shù)據(jù)集，其余30%作為測(cè)試分類性能的數(shù)據(jù)集。

為更清晰的對(duì)比，本文將選擇LDA模型、BTM模型及本文提出的SWEM模型進(jìn)行對(duì)比，驗(yàn)證各種模型在同一短文本數(shù)據(jù)集上學(xué)習(xí)主題的能力，并用PMI Score[11]方法進(jìn)行測(cè)評(píng)，一般來(lái)說(shuō)，PMI越大表示的是這兩個(gè)單詞主題相關(guān)性強(qiáng)。

在各模型的超參數(shù)的設(shè)置上，為能更好的解決短文本的稀疏問(wèn)題，分別對(duì)LDA模型超參數(shù)設(shè)置為[α]=0.05，[β]=0.01;BTM模型超參數(shù)設(shè)置為[α]=50/K，[β]=0.01，并同本文提出的SWEM模型對(duì)不同的主題數(shù)量下的分類性能PMI Score對(duì)比，如圖2所示。

4.3 結(jié)果分析

從圖2中Twitter數(shù)據(jù)集上模型分類性能實(shí)驗(yàn)中可以看出，SWEM模型分類性能優(yōu)于BTM模型及LDA模型。在主題數(shù)為80左右的時(shí)候，發(fā)現(xiàn)SWEM模型表現(xiàn)達(dá)到最好。但是隨著主題數(shù)增大，分類性能出現(xiàn)下降，可能的原因是某些額外生成的詞向量質(zhì)量降低，隨著主題數(shù)的增大，干擾了主題的學(xué)習(xí)的質(zhì)量。

5 結(jié)束語(yǔ)

短文本建模的稀疏問(wèn)題是短文本主題建模的短板，文章采用半自動(dòng)的方法對(duì)短文本信息進(jìn)行擴(kuò)充，緩解短文本信息量少的問(wèn)題。將所有的短文本相應(yīng)詞語(yǔ)進(jìn)行同義詞林處理，使文檔組成一個(gè)語(yǔ)料集合，在短文本語(yǔ)料集合內(nèi)詞共現(xiàn)信息就會(huì)明顯增加，豐富文檔級(jí)別的詞共現(xiàn)信息，能夠推理較高質(zhì)量的主題結(jié)構(gòu)，解決短文本的詞共現(xiàn)信息不足的問(wèn)題。實(shí)驗(yàn)表明SWEM模型優(yōu)于BTM、LDA模型，說(shuō)明通過(guò)同義詞向量建模可以解決稀疏問(wèn)題。

參考文獻(xiàn)（References）：

[1] Papadimitriou，C.H.，Raghavan，P.，Tamaki，H.and Vempala，S.，2000.Latent semantic indexing：A probabilistic analysis.Journal of Computer and System Sciences，61（2），pp.217-235

[2] Malone，T W，Grant，K R，Turbak，F(xiàn) A，et al. Intelligent? information-sharing? systems.Communications of the ACM，1987.

[3] Blei D M，Ng A Y，Jordan M I. Latent dirichletallocation[J].Journal of Machine Learning Research，2003.3：993-1022

[4] Yan X，Guo J，Lan Y，et al. A biterm topic model for short texts[C]// Proceedings of the 22nd international conference on World Wide Web.ACM，2013.1445-1456

[5] 唐曉波，張昭.基于混合圖的在線社交網(wǎng)絡(luò)個(gè)性化推薦系統(tǒng)研究[J].情報(bào)理論與實(shí)踐，2013.2：91-95

[6] 鄧智龍，淦文燕.復(fù)雜網(wǎng)絡(luò)中社團(tuán)結(jié)構(gòu)發(fā)現(xiàn)算法[J].計(jì)算機(jī)科學(xué)，2012.6.

[7] 趙捧未，李春燕，竇永香.語(yǔ)義對(duì)等網(wǎng)環(huán)境下基于節(jié)點(diǎn)知識(shí)地圖的用戶模型構(gòu)建[J].情報(bào)理論與實(shí)踐，2012.35（2）：104-108

[8] 胡吉明，胡昌平.基于關(guān)系社區(qū)發(fā)現(xiàn)改進(jìn)的用戶興趣建模[J].情報(bào)學(xué)報(bào)，2013.7，32（7）：763-768

[9] Mei Jiaju，Zhu Yiming，GaoYunqi，et al.，TongyiciCilin [M]. Shanghai：Shanghai Lexicographical Publishing House，1993.106-108

[10] Moon T K.The expectation-maximization algorithm[J]. IEEE Signal Processing Magazine，1996.13（6）：47-60

[11] Newman D，Lau J H，Grieser K，et al.Automatic evaluation of topic coherence[C]//Human Language Technologies：The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics.Association for Computational Linguistics，2010.100-108