李天辰，殷建平

1.國(guó)防科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院，長(zhǎng)沙 410073 2.國(guó)防科學(xué)技術(shù)大學(xué) 高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073

基于主題聚類的情感極性判別方法*

李天辰1+，殷建平2

1.國(guó)防科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院，長(zhǎng)沙 410073 2.國(guó)防科學(xué)技術(shù)大學(xué) 高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073

LI Tianchen,YIN Jianping.Sentiment polarity discrimination method based on topic clustering.Journal of Frontiers of Computer Science and Technology,2016,10(7)：989-994.

目前，大多數(shù)方法在判別文本情感極性上采用的是提取情感特征并應(yīng)用分類器進(jìn)行分類的方式。然而由于網(wǎng)絡(luò)文本表述方式多樣，主題分散等特點(diǎn)，使得情感特征提取過(guò)程變得愈發(fā)困難。借助LDA（latent Dirichlet allocation）主題模型，首先對(duì)文本進(jìn)行主題聚類，然后在每個(gè)主題子類上應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)的方法對(duì)正、負(fù)情感樣本分別建立主題模型，最后基于所屬主題和所屬情感的概率進(jìn)行聯(lián)合判斷。采用這種方法，通過(guò)劃分子類的方式規(guī)整了不同主題下文本的表述方式，限制了不同主題下詞匯詞義改變的問(wèn)題，并且利用訓(xùn)練語(yǔ)言模型的方法很好地規(guī)避了直接提取特征的困難，將特征的挖掘過(guò)程內(nèi)化在了訓(xùn)練模型的過(guò)程中。通過(guò)在IMDB電影評(píng)論樣本上的實(shí)驗(yàn)可以看出，在應(yīng)用了主題聚類后，模型分類的準(zhǔn)確性有了顯著提高。

情感分析；主題模型；循環(huán)神經(jīng)網(wǎng)絡(luò)

1　引言

隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展和日趨成熟，互聯(lián)網(wǎng)已經(jīng)不再是一個(gè)僅僅用于獲取信息的靜態(tài)媒介，而是逐步向著信息共享、交流互動(dòng)的動(dòng)態(tài)媒介轉(zhuǎn)變。《第35次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r報(bào)告》指出，目前全國(guó)網(wǎng)絡(luò)用戶總數(shù)量高達(dá)6億，其中更是有將近半數(shù)之多的用戶主動(dòng)并樂(lè)于針對(duì)一些熱點(diǎn)事件、新聞，借助論壇、微博等社交媒體發(fā)表自己的觀點(diǎn)、想法和立場(chǎng)；而在一些網(wǎng)絡(luò)購(gòu)物平臺(tái)的討論區(qū)中，也可以看到眾多客戶針對(duì)某些商品或服務(wù)表達(dá)自己的使用感受或分享自己的消費(fèi)體驗(yàn)。因此，如何高效、快速、準(zhǔn)確地處理海量網(wǎng)絡(luò)文本中的觀點(diǎn)信息，挖掘并分析其中隱含的情感特征，這一課題已經(jīng)逐漸受到自然語(yǔ)言處理、機(jī)器學(xué)習(xí)等領(lǐng)域?qū)＜液蛯W(xué)者的高度關(guān)注。

文本情感分析是對(duì)帶有主觀性情感色彩的文本進(jìn)行分析、處理和歸納，并從中提取有價(jià)值的信息，整理出評(píng)論者不同觀點(diǎn)、立場(chǎng)和態(tài)度的過(guò)程[1]。目前，文本情感分析的主流方法主要有基于規(guī)則和基于統(tǒng)計(jì)這兩大類[2-3]。但是，由于網(wǎng)絡(luò)文本表達(dá)方式多樣性、表達(dá)形式不規(guī)范性等特點(diǎn)，基于規(guī)則的情感分析方法在規(guī)則的總結(jié)和制定上成本高，耗時(shí)長(zhǎng)，并且不具有良好的可擴(kuò)展性。因此，就目前來(lái)看，在海量網(wǎng)絡(luò)文本作為數(shù)據(jù)基礎(chǔ)的背景下，越來(lái)越多的學(xué)者傾向于采用基于統(tǒng)計(jì)的方法。Pang[4]、Kennedy[5]、Wei[6]和Bermingham[7]等人借助機(jī)器學(xué)習(xí)的方法，分別對(duì)電影評(píng)論、商品評(píng)論、微博評(píng)論這3類不同的網(wǎng)絡(luò)文本進(jìn)行情感極性的判別。然而這些方法的共同特點(diǎn)都是需要根據(jù)領(lǐng)域特點(diǎn)提取恰當(dāng)?shù)奶卣鬟M(jìn)行訓(xùn)練，因此特征選擇的好壞會(huì)直接影響分類器最終的分類效果。近些年，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，部分學(xué)者試圖利用此技術(shù)從原始文本信息中直接學(xué)習(xí)出詞匯新的表征方式，并將其應(yīng)用于情感傾向性的判別中。Bengio[8]、Mikolov[9]、Collobert[10]和Le[11]等人利用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建語(yǔ)言模型，同時(shí)訓(xùn)練出帶有語(yǔ)義關(guān)聯(lián)特性的新的詞向量表征方式，并用于后續(xù)情感分析等自然語(yǔ)言處理任務(wù)中；Socher等人[12-13]則直接利用遞歸神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)句子的情感極性及分布。然而，深度學(xué)習(xí)技術(shù)由于其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，導(dǎo)致了模型訓(xùn)練算法的時(shí)間復(fù)雜度高，訓(xùn)練耗時(shí)較長(zhǎng)。

本文針對(duì)現(xiàn)有方法的不足，提出了基于LDA（latent Dirichlet allocation）主題模型聚類的情感極性判別方法。首先，利用LDA主題模型將原始語(yǔ)料庫(kù)進(jìn)行主題分類。這里主要基于兩點(diǎn)考慮：（1）在同一主題下，詞匯所反映出的情感信息更加一致，可以在一定程度上避免語(yǔ)境對(duì)同一詞匯詞義的影響；（2）經(jīng)過(guò)主題聚類劃分的子集，語(yǔ)料的規(guī)模大幅下降，為提高后續(xù)語(yǔ)言模型訓(xùn)練的效率提供保障。之后，會(huì)在不同主題下訓(xùn)練相應(yīng)正、負(fù)樣本的語(yǔ)言模型，這里選用最近比較流行的循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型（recurrent neural network language model，RNNLM），主要是因?yàn)椋海?）利用RNNLM進(jìn)行情感極性的判別可以將文本情感特征的提取過(guò)程內(nèi)化到模型的訓(xùn)練之中，利用海量真實(shí)文本信息的同時(shí)，減少了對(duì)外部情感詞典的依賴；（2）RNNLM對(duì)于文本中長(zhǎng)距離的歷史信息有著較強(qiáng)的捕獲能力，在訓(xùn)練過(guò)程中可以充分考慮到上下文對(duì)詞匯的影響因素。最后，結(jié)合文檔所屬主題的概率及各個(gè)子語(yǔ)言模型的情感預(yù)測(cè)概率實(shí)現(xiàn)新文檔的情感傾向性的判別。

2　基于主題聚類的情感極性判別框架

LDA主題模型[14]是由Blei在2003年提出的一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)技術(shù)，用來(lái)識(shí)別大規(guī)模文檔集或語(yǔ)料庫(kù)中潛藏的主題信息。LDA主題模型的基本思想是將每一篇文檔視作由一系列主題所構(gòu)成的一個(gè)概率分布，而每一個(gè)主題又可以視為很多單詞所構(gòu)成的一個(gè)概率分布，模型如圖1所示。目前，在LDA主題模型中比較常見(jiàn)的參數(shù)學(xué)習(xí)和推斷方法主要是吉布斯采樣法（Gibbs sampling）。

Fig.1　Topic model圖1　主題模型

本文將每一篇評(píng)論文本看作單一文檔。在經(jīng)過(guò)文本分詞，去除停用詞、低頻詞以及單詞詞根化等一系列文本預(yù)處理流程后，假設(shè)將整個(gè)樣本集分為T個(gè)主題，分別是{t1,t2,…,tT}。在給定文檔后，主題后驗(yàn)概率的計(jì)算方法如下所示：

其中,Cij表示在文檔xi中，屬于主題tj的單詞的數(shù)量，是由吉布斯采樣方法經(jīng)過(guò)多次迭代后平均得到的結(jié)果。αj是狄利克雷分布的第j維超參數(shù)，通過(guò)學(xué)習(xí)過(guò)程中不斷調(diào)整αj的取值使得模型達(dá)到最優(yōu)。

在計(jì)算完各個(gè)訓(xùn)練文本的主題向量后，按照主題分布對(duì)原始訓(xùn)練集進(jìn)行數(shù)據(jù)樣本的劃分。這里采用K-means聚類方法將近似主題的文檔合并歸類，考慮到實(shí)際中同一篇評(píng)論文檔可能同時(shí)屬于多個(gè)主題的情況，因此針對(duì)每一篇文檔的主題歸屬并不是嚴(yán)格唯一的，也就是說(shuō)，在此設(shè)置了一個(gè)軟聚類的閥值τ，只有當(dāng)Pt(tj|xi)>τ時(shí)，才嚴(yán)格將其劃分在某一主題下，否則該文檔可以同屬于多個(gè)主題。最后在T個(gè)樣本子集上應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練正負(fù)樣本的語(yǔ)言模型用來(lái)進(jìn)行后續(xù)情感極性的判斷。

在測(cè)試階段，對(duì)于新來(lái)的測(cè)試文本，首先對(duì)其進(jìn)行主題的判斷，通過(guò)應(yīng)用主題模型LDA可以計(jì)算出當(dāng)前測(cè)試文檔的主題向量及其所屬主題的概率。之后，通過(guò)文檔所屬主題概率以及各主題下語(yǔ)言模型判別所屬情感的概率來(lái)最終計(jì)算出測(cè)試文本的情感極性，計(jì)算方法如下所示：

其中，Ps(c|tj,xi)表示文檔xi在主題tj下通過(guò)情感模型判別出屬于某一類c（正情感或負(fù)情感）的概率；Pt(tj|xi)則表示文檔xi被判定為主題tj的概率。

整體的文本情感極性判別流程如圖2所示。

Fig.2　Framework of sentiment analysis based on topic clustering圖2　基于主題聚類的情感極性判別算法框架圖

3　基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本情感分析

對(duì)于文本情感分類的問(wèn)題，傳統(tǒng)的大多數(shù)方法是在原始文本中借助情感詞典發(fā)現(xiàn)情感特征詞，并以此為基礎(chǔ)構(gòu)建文本的特征向量，輸入到分類器中進(jìn)行情感極性的判斷。這種方式的分類準(zhǔn)確率雖然不錯(cuò)，但也暴露出了很大的問(wèn)題，即特征的選取對(duì)于情感詞典的過(guò)度依賴性。隨著網(wǎng)絡(luò)新詞的不斷涌現(xiàn)，詞義隨語(yǔ)境的不斷遷移，傳統(tǒng)的情感詞典已經(jīng)不能很好地跟上網(wǎng)絡(luò)文本發(fā)展的潮流。對(duì)于文本情感分析問(wèn)題的研究，也應(yīng)該逐步由依靠詞典發(fā)現(xiàn)情感特征，向著從海量真實(shí)文本中挖掘情感信息這種思路轉(zhuǎn)變。

因此，本文對(duì)文本情感判別的方式是利用原始文本的詞匯信息，應(yīng)用語(yǔ)言模型建模的方法來(lái)探測(cè)文本的情感傾向。很明顯，在正、負(fù)情感樣本中，由于語(yǔ)言習(xí)慣、表達(dá)方式和情感詞語(yǔ)使用的不同，訓(xùn)練得到的語(yǔ)言模型也會(huì)存在差異，這樣就可以通過(guò)發(fā)現(xiàn)正負(fù)樣本語(yǔ)言模型之間的差異把基于語(yǔ)言模型表示的測(cè)試文本區(qū)分為“正樣例”和“負(fù)樣例”，實(shí)現(xiàn)文本情感分析的目的。因此，在應(yīng)用語(yǔ)言模型判別情感的方法中，首先針對(duì)正、負(fù)樣本分別進(jìn)行語(yǔ)言模型的建立，之后對(duì)新來(lái)的測(cè)試樣本通過(guò)貝葉斯法則計(jì)算其在正、負(fù)兩類語(yǔ)言模型上的概率，并據(jù)此判別該測(cè)試樣本所屬的情感分類。

傳統(tǒng)的N元語(yǔ)言模型[15]雖然簡(jiǎn)單實(shí)用，但是相對(duì)來(lái)說(shuō)，其缺陷也是十分明顯的。其中最主要的兩個(gè)問(wèn)題就是：（1）N元語(yǔ)言模型無(wú)法有效地利用長(zhǎng)距離的上下文信息，從而對(duì)某些詞匯間的依賴關(guān)系不能很好地捕獲；（2）N元語(yǔ)言模型無(wú)法高效地對(duì)相似詞語(yǔ)進(jìn)行判別，也就是說(shuō)，N元語(yǔ)言模型僅僅對(duì)文本字面進(jìn)行建模和概率上的統(tǒng)計(jì)，并沒(méi)有通過(guò)建模理解詞匯間的語(yǔ)義關(guān)系。而在文本情感分析問(wèn)題中，這兩點(diǎn)不足所反映出的問(wèn)題恰恰是人們需要格外關(guān)注的。因此，本文選取了Mikolov等人提出的循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型（RNNLM）[16]作為情感文本判別的模型。利用神經(jīng)網(wǎng)絡(luò)映射和隱層循環(huán)反饋的特點(diǎn)，RNNLM很好地將空間降維與歷史信息捕獲兩者結(jié)合到一起，合理地解決了上述N元語(yǔ)言模型的兩點(diǎn)不足。簡(jiǎn)化模型如圖3所示。

圖3中w(t)為文檔中第t個(gè)詞的稀疏向量表示（即詞向量中單詞對(duì)應(yīng)在詞表位置為1，其余位置為0），s(t-1)為上一個(gè)隱藏層中計(jì)算得到的向量，隱藏層s(t)和輸出層y(t)的值如下所示：

Fig.3　Basic RNNLM圖3　簡(jiǎn)化的循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型

4　實(shí)驗(yàn)及結(jié)果分析

4.1樣本數(shù)據(jù)的選擇

本次實(shí)驗(yàn)數(shù)據(jù)選用的是當(dāng)前情感分析領(lǐng)域中應(yīng)用比較普遍，同時(shí)也受到廣大學(xué)者和研究機(jī)構(gòu)認(rèn)同的IMDB影評(píng)數(shù)據(jù)庫(kù)。實(shí)驗(yàn)數(shù)據(jù)總共包括50 000篇電影評(píng)論，其中正、負(fù)情感樣本各25 000篇。選取其中的25 000篇樣本作為訓(xùn)練樣本，其中正、負(fù)訓(xùn)練樣本各12 300篇，各余下200篇正、負(fù)樣本作為模型的驗(yàn)證樣本，剩余的25 000篇樣本作為模型的測(cè)試樣本。

4.2訓(xùn)練和測(cè)試語(yǔ)料的預(yù)處理

在使用IMDB數(shù)據(jù)樣本之前，要對(duì)其進(jìn)行語(yǔ)料的預(yù)處理。本實(shí)驗(yàn)對(duì)于影評(píng)文本主要的處理內(nèi)容包括：（1）對(duì)于電影評(píng)論文本的分詞；（2）對(duì)于停用詞和低頻詞的過(guò)濾；（3）對(duì)于非文本信息（包括符號(hào)等）的過(guò)濾；（4）對(duì)于詞形統(tǒng)一的詞根化處理。

4.3結(jié)果分析

本實(shí)驗(yàn)中，將主題個(gè)數(shù)T設(shè)為50，軟聚類參數(shù)τ設(shè)為0.4，循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型中隱藏節(jié)點(diǎn)個(gè)數(shù)設(shè)為50。實(shí)驗(yàn)結(jié)果如表1所示。

從表1中可以看出，循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建的語(yǔ)言模型在情感極性判別的準(zhǔn)確率上略高于N元語(yǔ)言模型。而在提前對(duì)語(yǔ)料庫(kù)中文本進(jìn)行主題劃分后，兩類語(yǔ)言模型所得到的情感判別準(zhǔn)確率均有所提升，而且幅度較大。由此可以說(shuō)明，文本的表述方式以及文本中詞匯的使用與主題有著密切的聯(lián)系，同一主題下訓(xùn)練得到的正、負(fù)樣本語(yǔ)言模型往往有著更加優(yōu)秀的情感區(qū)分度。

Table 1　Results on IMDB test set表1　在IMDB測(cè)試集上的實(shí)驗(yàn)結(jié)果

5　結(jié)束語(yǔ)

針對(duì)網(wǎng)絡(luò)文本表述方式多樣性，主題分散，情感特征不易捕捉等特點(diǎn)，本文將LDA主題模型與循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型相結(jié)合，提出了一種基于主題聚類的情感極性判別方法，并通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析，得到了若干有指導(dǎo)意義的結(jié)論。下一步工作計(jì)劃：（1）在文本主題聚類的基礎(chǔ)上，組合多種機(jī)器學(xué)習(xí)方法進(jìn)行情感極性的判定，利用各種方法，優(yōu)勢(shì)互補(bǔ)，進(jìn)一步地提高情感判別的準(zhǔn)確率；（2）由于主題聚類后需要分別在數(shù)據(jù)樣本子集上進(jìn)行分類器或語(yǔ)言模型的訓(xùn)練，這種結(jié)構(gòu)恰巧十分適用于并行化處理，因此在后續(xù)工作中，擬將算法根據(jù)主題結(jié)構(gòu)特點(diǎn)進(jìn)行并行化的修改，以提升文本情感模型訓(xùn)練以及應(yīng)用模型檢測(cè)的效率。

[1]Pang Bo,Lee L.Opinion mining and sentiment analysis[J]. Foundations and Trends in Information Retrieval,2008,2(1/ 2):1-135.

[2]Varghese R,Jayasree M.A survey on sentiment analysis and opinion mining[J].International Journal of Research in Engineering and Technology,2013,2(11):312-317.

[3]Medhat W,Hassan A,Korashy H.Sentiment analysis algorithms and applications:a survey[J].Ain Shams Engineering Journal,2014,5(4):1093-1113.

[4]Pang Bo,Lee L,Vaithyanathan S.Thumbs up?Sentiment classification using machine learning techniques[C]//Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing,Philadelphia,USA,Jul 6-7, 2002.Stroudsburg,USA:ACL,2002:79-86.

[5]Kennedy A,Inkpen D.Sentiment classification of movie reviews using contextual valence shifters[J].Computational Intelligence,2006,22(2):110-125.

[6]Wei Wei,Gulla J A.Enhancing the HL-SOT approach to sentiment analysis via a localized feature selection framework[C]//Proceedings of the 5th International Joint Conference on Natural Language Processing,Chiang Mai,Thailand,Nov 8-13,2011:327-335.

[7]Bermingham A,Smeaton A F.Classifying sentiment in microblogs:is brevity an advantage?[C]//Proceedings of the 19th ACM International Conference on Information and Knowledge Management,Toronto,Canada,Oct 26-29,2010. New York,USA:ACM,2010:1833-1836.

[8]Bengio Y,Ducharme R,Vincent P,et al.A neural probabilistic language model[J].Journal of Machine Learning Research, 2003,3:1137-1155.

[9]Mikolov T,Karafiát M,Burget L,et al.Recurrent neural network based language model[C]//Proceedings of the 11th Annual Conference of the International Speech Communication Association,Chiba,Japan,Sep 26-30,2010:1045-1048.

[10]Collobert R,Weston J,Bottou L,et al.Natural language processing(almost)from scratch[J].Journal of Machine Learning Research,2011,12:2493-2537.

[11]Le Q V,Mikolov T.Distributed representations of sentences and documents[C]//Proceedings of the 31st International Conference on Machine Learning,Beijing,China,2014.

[12]Socher R,Pennington J,Huang E H,et al.Semi-supervised recursive autoencoders for predicting sentiment distributions[C]//Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing,Edinburgh,UK, Jul 27-29,2011.Stroudsburg,USA:ACL,2011:151-161.

[13]Socher R,Perelygin A,Wu J Y,et al.Recursive deep models for semantic compositionality over a sentiment treebank [C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing,Seattle,USA, 2013.

[14]Blei D,Ng A Y,Jordan M I.Latent Dirichlet allocation[J]. Journal of Machine Learning Research,2003,3:993-1022.

[15]Stolcke A.SRILM—an extensible language modeling toolkit[C]//Proceedings of the 7th International Conference on Spoken Language Processing,Denver,USA,Sep 16-20,2002: 901-904.

[16]Mikolov T.Statistical language models based on neural networks[D].Brno University of Technology,2012.

LI Tianchen was born in 1988.He is an M.S.candidate at College of Computer,National University of Defense Technology.His research interests include machine learning,artificial intelligence and natural language processing.

李天辰（1988—），男，北京人，國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)，人工智能，自然語(yǔ)言處理。

YIN Jianping was born in 1963.He received the Ph.D.degree in computer science and technology from National University of Defense Technology in 1990.Now he is a professor at National University of Defense Technology, and the head of Technical Committee on Theoretical Computer Science of China Computer Federation.His research interests include algorithm design,artificial intelligence,pattern recognition and information security.

殷建平（1963—），男，湖南益陽(yáng)人，1990年于國(guó)防科學(xué)技術(shù)大學(xué)獲得博士學(xué)位，現(xiàn)為國(guó)防科學(xué)技術(shù)大學(xué)教授，CCF會(huì)員，主要研究領(lǐng)域?yàn)樗惴ㄔO(shè)計(jì)，人工智能，模式識(shí)別，信息安全。

Sentiment Polarity Discrimination Method Based on Topic Clustering?

LI Tianchen1+,YIN Jianping2
1.College of Computer,National University of Defense Technology,Changsha 410073,China 2.State Key Laboratory of High Performance Computing,National University of Defense Technology,Changsha 410073,China +Corresponding author:E-mail:ltc_steven@sina.com

Almost all state-of-art methods for sentiment analysis can hardly avoid extracting sentiment features and applying them to classifiers for detecting.However,with the characteristics of diversity expressions and scattered themes of network texts,it’s too difficult to extract more suitable and proper sentiment features.This paper proposes a novel algorithm to solve such problems.Firstly,original texts need to be clustered by topics with LDA(latent Dirichlet allocation)model.Then,for each topic dataset,language models are trained for positive and negative samples by using recurrent neural network.Finally,two kinds of probabilities of topic and sentiment are combined for evaluating text sentiment polarity.Through this method,this paper firstly standardizes text expression by dividing subcategories,limiting changes of words meaning under different topics,and then utilizes language model to avoid the difficulty of extracting features,making it possible to be internalized in the process of training model.The experimental results on IMDB show that the proposed method improves a lot in terms of accuracy with topic clustering.

sentiment analysis;topic model;recurrent neural network

2015-06,Accepted 2015-08.

10.3778/j.issn.1673-9418.1507044

A

TP391

*The National Natural Science Foundation of China under Grant Nos.61170287,61232016(國(guó)家自然科學(xué)基金).

CNKI網(wǎng)絡(luò)優(yōu)先出版:2015-08-27,http://www.cnki.net/kcms/detail/11.5602.TP.20150827.1550.014.html