李大宇，王 佳，文 治，王素格,2+

1.山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，太原 030006

2.山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，太原 030006

1 引言

隨著電子商務(wù)的蓬勃發(fā)展，越來(lái)越多的人喜歡在微博和論壇上對(duì)商品進(jìn)行評(píng)論，致使網(wǎng)絡(luò)上存在著大量評(píng)論數(shù)據(jù)。同時(shí)從評(píng)論數(shù)據(jù)中挖掘出消費(fèi)者所關(guān)注的商品的某個(gè)方面以及對(duì)這個(gè)方面的觀點(diǎn)具有重要的應(yīng)用價(jià)值。以電影評(píng)論數(shù)據(jù)為例，電影評(píng)論中某個(gè)人對(duì)此部影片演員、劇情以及畫(huà)面等方面的觀點(diǎn)對(duì)人們選擇是否要觀看此部影片起著關(guān)鍵作用；此外，制片方也可根據(jù)觀眾的態(tài)度來(lái)改進(jìn)影片。因此，如何從海量評(píng)論數(shù)據(jù)中迅速有效地挖掘出評(píng)論的方面和情感尤為重要。

本次評(píng)測(cè)COAE2016任務(wù)2，通過(guò)影視評(píng)論的挖掘，考察對(duì)于用戶評(píng)論的方面提取和傾向性分析能力。針對(duì)影視評(píng)論數(shù)據(jù)，本文在LDA（latent Dirichlet allocation）的基礎(chǔ)上，提出了標(biāo)簽方面情感聯(lián)合模型（labeled joint aspect sentiment model，Labeled-JAS）。該模型將Labeled-LDA模型的文檔標(biāo)簽約束方法和Sentiment-LDA模型的方面-情感層次結(jié)構(gòu)結(jié)合，利用影視評(píng)論訓(xùn)練數(shù)據(jù)的方面標(biāo)簽和情感標(biāo)簽來(lái)對(duì)模型進(jìn)行有指導(dǎo)的監(jiān)督學(xué)習(xí)，從而對(duì)未知標(biāo)簽的影視評(píng)論進(jìn)行有效預(yù)測(cè)。該模型采用文本-方面-情感-詞四層生成式結(jié)構(gòu)，并假設(shè)情感分布依賴于方面分布。模型用標(biāo)簽信息來(lái)指導(dǎo)無(wú)監(jiān)督主題模型，可以同時(shí)從影視評(píng)論中獲取方面和情感信息。對(duì)于影視評(píng)論文本中的每一個(gè)詞，首先從文本-方面分布中選擇一個(gè)談?wù)摰姆矫鏄?biāo)簽，再?gòu)姆矫?情感分布中選擇出對(duì)這個(gè)方面的情感。

同時(shí)，由于傳統(tǒng)基于詞典的方法具有精確率高、簡(jiǎn)單有效等優(yōu)點(diǎn)，考慮到此次評(píng)測(cè)電影評(píng)論數(shù)據(jù)集規(guī)模和方面類別的復(fù)雜性，本文還將傳統(tǒng)的基于領(lǐng)域特定詞典的方法與Labeled-JAS模型聯(lián)合使用。

本文組織結(jié)構(gòu)如下：第2章主要列出基于方面的情感挖掘相關(guān)研究；第3章介紹了Labeled-JAS模型；第4章介紹了實(shí)驗(yàn)過(guò)程的建立；第5章展示了實(shí)驗(yàn)結(jié)果及其詳細(xì)分析；第6章總結(jié)全文，并對(duì)未來(lái)工作進(jìn)行展望。

2 相關(guān)工作

2.1 方面級(jí)別情感挖掘

在情感分析中，方面級(jí)別（aspect level）的情感挖掘是一個(gè)細(xì)粒度情感分類任務(wù)，旨在挖掘出評(píng)論文本中所談?wù)摰姆矫嬉约霸诖朔矫娴那楦袠O性[1-2]?，F(xiàn)有工作中大多采用機(jī)器學(xué)習(xí)算法，通過(guò)利用大量人工標(biāo)注的標(biāo)簽信息來(lái)訓(xùn)練分類器。其中基于特征的SVM分類器是最有效的方法之一，專家可以設(shè)計(jì)出有效的特征模板，并且利用句法和情感詞典等外部資源[3-4]。近年來(lái)，基于深度學(xué)習(xí)的方法在情感分析領(lǐng)域引起廣泛關(guān)注，由于其有效的文本表示能力[5]，越來(lái)越多的學(xué)者將其應(yīng)用于方面級(jí)別的情感挖掘中[6]。此外，大量基于主題模型的方法也被用于方面級(jí)別的情感挖掘中。

2.2 主題模型的方面級(jí)別情感挖掘

2003年，Blei等人[7]借鑒概率圖模型的理論和方法，提出了LDA模型，該模型是一個(gè)完整的概率生成模型，參數(shù)空間的規(guī)模與文本數(shù)量無(wú)關(guān)，適合處理大規(guī)模的語(yǔ)料庫(kù)。由于LDA模型具有良好的數(shù)學(xué)基礎(chǔ)以及靈活的拓展性，越來(lái)越多的研究將其拓展并應(yīng)用到方面情感聯(lián)合分析中。

假設(shè)方面分布依賴于情感分布，Lin等人[8-10]提出了JST模型（joint sentiment/topic model）及其擴(kuò)展，Jo等人[11]提出了ASUM模型（aspect and sentiment unification model），孫艷等人[12]提出了UTSU模型（unsupervised topic and sentiment unification model）。JST模型是對(duì)每個(gè)詞采樣主題標(biāo)簽和情感標(biāo)簽；ASUM模型是對(duì)每個(gè)句子采樣主題標(biāo)簽和情感標(biāo)簽；UTSU模型則是對(duì)每個(gè)句子采樣情感標(biāo)簽，對(duì)每個(gè)詞采樣主題標(biāo)簽。

假設(shè)情感分布依賴于方面分布，Li等人[13]提出了Sentiment-LDA模型，該模型采樣主題標(biāo)簽和情感標(biāo)簽時(shí)，對(duì)每個(gè)詞采樣主題標(biāo)簽和情感標(biāo)簽。

此外還有大量有監(jiān)督的模型用于方面情感分析[14-24]。Ramage等人[14]提出了Labeled-LDA模型，將標(biāo)簽信息和無(wú)監(jiān)督LDA結(jié)合；Mei等人[15]提出了一個(gè)主題情感混合模型（topic-sentiment mixture，TSM），但他們認(rèn)為主題分布和情感分布是獨(dú)立的，并沒(méi)有反映主題和情感間的相互影響；Titov等人[16-17]提出了一種多粒度LDA模型（multi-grain LDA，MG-LDA），用以挖掘產(chǎn)品領(lǐng)域情感文本中評(píng)價(jià)對(duì)象，并將相似的評(píng)價(jià)對(duì)象進(jìn)行聚類；Zhao等人[18]提出了ME-LDA模型（MaxEnt-LDA），該模型結(jié)合了最大熵組件和主題模型。

3 Labeled-JAS模型

Labeled-JAS模型是一個(gè)概率圖模型，通過(guò)將Labeled-LDA的文檔標(biāo)簽約束方法和Sentiment-LDA的方面-情感層次結(jié)構(gòu)結(jié)合，用文檔的方面標(biāo)簽和情感標(biāo)簽來(lái)對(duì)模型進(jìn)行有指導(dǎo)的監(jiān)督學(xué)習(xí)。

3.1 Labeled-JAS模型的生成過(guò)程

假定語(yǔ)料庫(kù)C為D篇文本的集合，記為C={d1,d2,…,dD}；文本d存在Nd個(gè)詞，記為；每個(gè)詞wi均是詞表中的一項(xiàng)（詞表由V個(gè)不同的詞構(gòu)成）；設(shè)J為方面的個(gè)數(shù)，K為情感極性的個(gè)數(shù)，則Labeled-JAS模型對(duì)應(yīng)的文本生成過(guò)程如下（α、β、γ、η、δ為模型超參數(shù)，Bernoull（i）為二項(xiàng)分布，Dir（）為狄利克雷分布，Mult（i）為多項(xiàng)分布）：

（1）對(duì)于每一篇文本d

針對(duì)每一個(gè)方面a，選取文檔方面標(biāo)簽Λd,a～Bernoulli(δ)；

選取文檔方面先驗(yàn)參數(shù)αd=Ld×α；

選取文本-方面分布θd～Dir(αd)。

（2）對(duì)于文本d下的方面a

針對(duì)每一個(gè)情感s，選取文檔方面情感標(biāo)簽Ωd,a,s∈{0,1}～Bernoulli(η)；

選取文檔方面情感先驗(yàn)參數(shù)γd,a=Td,a×γ；

選取文本-方面-情感分布πd,a～Dir(γd,a)。

（3）對(duì)于文本d中的每一個(gè)詞wi

選取方面標(biāo)簽ai～Multi(θd)；

選取情感標(biāo)簽si～Multi(πd,ai)；

選取詞wi～Multi(φai,si)，其中φai,si～Dir(β)為詞wi在方面情感下的概率分布。

其中，文檔方面先驗(yàn)參數(shù)αd的計(jì)算過(guò)程如下：

（1）選取文檔的方面標(biāo)簽Λd,a；

（2）定義一個(gè)文檔標(biāo)簽集λd={a|Λd,a=1}；

（3）定義一個(gè)Md×J維的文檔標(biāo)簽映射矩陣Ld，其中Md=|λd|,J為方面總個(gè)數(shù)。對(duì)于Ld中的每一行i∈{1,2,…,Md}和每一列j∈{1,2,…,J}：

（4）利用映射矩陣Ld將狄利克雷先驗(yàn)參數(shù)α=(α1,α2,…,αJ)T映射到一個(gè)低維向量αd=Ld×α。

例如，假設(shè)方面總數(shù)J=4且文檔d的方面標(biāo)簽向量為Λd=(0,1,1,0)，文檔標(biāo)簽集λd={2,3}，文檔標(biāo)簽映射矩陣，則先驗(yàn)參數(shù)α=L×α=dd(α2,α3)T。最后，從先驗(yàn)參數(shù)為αd的狄利克雷分布中選取文本-方面分布θd～Dir(αd)，這樣將得到的文檔d的方面標(biāo)簽約束為方面2和方面3。

文檔情感先驗(yàn)參數(shù)γd,a的計(jì)算過(guò)程與文檔方面先驗(yàn)參數(shù)αd的計(jì)算過(guò)程類似。

對(duì)應(yīng)上述生成過(guò)程，構(gòu)建Labeled-JAS模型如圖1所示。

Fig.1 Labeled-JAS model圖1 Labeled-JAS模型

3.2 Labeled-JAS模型學(xué)習(xí)與推理

Labeled-JAS模型有3組多項(xiàng)分布參數(shù)，分別是文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-詞分布Φ。

3.2.1 聯(lián)合概率

為了獲取Θ、Π和Φ這3組參數(shù)，進(jìn)行了以下推導(dǎo)。

設(shè)語(yǔ)料庫(kù)中所有詞及其情感標(biāo)簽、方面標(biāo)簽的聯(lián)合概率可以分解為如下形式：

其中，w為語(yǔ)料庫(kù)中所有詞的記號(hào)序列；a為語(yǔ)料庫(kù)中所有詞的方面標(biāo)簽序列；s為語(yǔ)料庫(kù)中所有詞的情感標(biāo)簽序列。假定語(yǔ)料庫(kù)中詞與詞之間是相互獨(dú)立的。

式（2）中P(w|a,s)、P(s|a)和P(a)通過(guò)分別對(duì)Φ、Π和Θ積分可以得到：

其中，V是詞表的大?。籎是方面標(biāo)簽的總數(shù)；K是情感標(biāo)簽的總數(shù)；D是語(yǔ)料中文檔總數(shù)；Nj,k,v為語(yǔ)料庫(kù)中方面標(biāo)簽為j，情感標(biāo)簽為k的詞v的個(gè)數(shù)；Nd,j,k為文本d中方面標(biāo)簽為j，情感標(biāo)簽為k的詞的個(gè)數(shù)；Nd,j為文本d中方面標(biāo)簽為j的詞的個(gè)數(shù)；Nd為文本d中的詞匯總數(shù)。

3.2.2 Gibbs采樣

為了得到模型參數(shù)，用Gibbs采樣算法[25]對(duì)模型的變量ai和si進(jìn)行采樣，利用3.2.1節(jié)所得聯(lián)合概率，給定除當(dāng)前詞wi的方面和情感標(biāo)簽外的標(biāo)簽，語(yǔ)料庫(kù)中詞wi的方面標(biāo)簽ai為j，情感標(biāo)簽si為k的條件概率為：

其中，a?i為除第i個(gè)詞外的其他詞匯的方面標(biāo)簽序列；s?i為除第i個(gè)詞外的其他詞匯的情感標(biāo)簽序列；{Nj,k,v}?i為語(yǔ)料庫(kù)中除第i個(gè)詞外，方面標(biāo)簽為j情感標(biāo)簽為k的詞v的個(gè)數(shù)；{Nj,k}?i為語(yǔ)料庫(kù)中除第i個(gè)詞外，方面標(biāo)簽為j情感標(biāo)簽為k的詞的個(gè)數(shù)；{Nd,j,k}?i為文本d中除第i個(gè)詞外，方面標(biāo)簽為j情感標(biāo)簽為k的詞的個(gè)數(shù)；{Nd,j}?i為文本d中除第i個(gè)詞外，方面標(biāo)簽為j的詞的個(gè)數(shù)；{Nd}?i為文本d中除第i個(gè)詞外的詞匯總數(shù)。

這里，方面標(biāo)簽j和情感標(biāo)簽k不是取所有值，而是只能取標(biāo)簽集合中的值，例如：j∈λd。

3.2.3 參數(shù)估計(jì)

當(dāng)Gibbs采樣收斂后，需要根據(jù)最后文檔集中所有詞的方面標(biāo)簽和情感標(biāo)簽分配情況來(lái)計(jì)算參數(shù)矩陣Θ、Π和Φ。3組多項(xiàng)分布參數(shù)，即文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-詞分布Φ的估計(jì)公式如下：

在訓(xùn)練數(shù)據(jù)集中，利用式（7）～（9）學(xué)習(xí)到方面-情感-詞分布Φ，再在測(cè)試數(shù)據(jù)集上用Gibbs采樣算法進(jìn)行迭代，得到屬于測(cè)試數(shù)據(jù)的上述3組分布參數(shù)。

3.3 基于Labeled-JAS模型的標(biāo)簽識(shí)別

對(duì)于模型Labeled-JAS，通過(guò)式（7）中的θd,j可以得到方面j在文本d中概率估計(jì)，通過(guò)式（8）中的πd,j,k可以得到情感k在文本d方面j中概率估計(jì)。因此，利用這些參數(shù)估計(jì)，Labeled-JAS模型可采用式（10）和（11）對(duì)文本的方面類別以及文本的情感類別進(jìn)行判斷。

其中，ad為文本d的方面標(biāo)簽；sd為文本d的情感標(biāo)簽。

4 實(shí)驗(yàn)過(guò)程的建立

COAE2016任務(wù)2有3個(gè)子任務(wù)：子任務(wù)1為判斷給定影視評(píng)論的總體傾向；子任務(wù)2為判斷給定影視評(píng)論中每個(gè)短句所屬的方面；子任務(wù)3為判斷給定影視評(píng)論中每個(gè)短句針對(duì)所屬方面的傾向性，同時(shí)抽取傾向性判斷的描述詞語(yǔ)，即做出傾向性判斷的支撐證據(jù)。

基于Labeled-JAS模型和詞典，本文設(shè)計(jì)了3個(gè)評(píng)測(cè)系統(tǒng)：系統(tǒng)1完全采用Labeled-JAS模型；系統(tǒng)2采用Labeled-JAS模型和詞典聯(lián)合的方法；系統(tǒng)3是在系統(tǒng)2的基礎(chǔ)上用情感詞典進(jìn)行校對(duì)的結(jié)果。所有的實(shí)驗(yàn)采用ICTCLAS開(kāi)源工具包對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行分詞，并將分詞后的文本剔除停用詞。

系統(tǒng)1首先將全部訓(xùn)練數(shù)據(jù)及其方面標(biāo)簽和情感標(biāo)簽輸入到Labeled-JAS模型中進(jìn)行Gibbs采樣，當(dāng)模型穩(wěn)定后，將全部測(cè)試數(shù)據(jù)輸入到Labeled-JAS模型中進(jìn)行Gibbs采樣，最終得到測(cè)試數(shù)據(jù)的方面標(biāo)簽和情感標(biāo)簽。

系統(tǒng)2 由于方面標(biāo)簽中，“導(dǎo)演”、“演員”、“人物”、“配樂(lè)”和“畫(huà)面”這幾類標(biāo)簽特征明顯，本文人工構(gòu)建了上述5類詞典，比如“演員”這一類詞典中，包含了大量演員名，如“趙麗穎”、“范冰冰”、“甄子丹”等。通過(guò)電影領(lǐng)域方面詞典來(lái)確定測(cè)試數(shù)據(jù)的方面標(biāo)簽，情感標(biāo)簽則通過(guò)NTUSD情感詞典來(lái)確定。通過(guò)詞典方法處理后，剩余測(cè)試數(shù)據(jù)只包含“劇情”、“總體”和“其他”這3類，然后通過(guò)Labeled-JAS模型得到這部分?jǐn)?shù)據(jù)的方面標(biāo)簽和情感標(biāo)簽，具體方法和系統(tǒng)1類似。

系統(tǒng)3該系統(tǒng)是在系統(tǒng)2的基礎(chǔ)上，利用情感詞典進(jìn)行進(jìn)一步校對(duì)，以獲取更加準(zhǔn)確的結(jié)果，方面標(biāo)簽則與系統(tǒng)2一致。

通過(guò)將評(píng)論中每個(gè)短句的情感極性進(jìn)行加和來(lái)確定影視評(píng)論的總體傾向，支撐證據(jù)則通過(guò)情感詞典來(lái)獲取。

5 實(shí)驗(yàn)結(jié)果

5.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)為COAE2016評(píng)測(cè)任務(wù)2提供的影視評(píng)論數(shù)據(jù)，每條影視評(píng)論有一個(gè)總體情感，包括正面、負(fù)面、中立、uncertain等；每條評(píng)論中每個(gè)短句又有一個(gè)方面，包括劇情、導(dǎo)演、演員、人物、配樂(lè)、畫(huà)面、總體、其他、uncertain等；針對(duì)這個(gè)方面，又有一個(gè)所屬的一個(gè)情感，包括正面、負(fù)面、中立、uncertain、感慨等。其中包含訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，數(shù)據(jù)分布情況如表1所示。

Table1 Experimental data set表1 實(shí)驗(yàn)數(shù)據(jù)集

5.2 實(shí)驗(yàn)設(shè)置

Labeled-JAS模型有3個(gè)超參數(shù)，根據(jù)文獻(xiàn)[8]，實(shí)驗(yàn)中參數(shù)選取為α=0.01,β=0.1,γ=0.01，模型迭代次數(shù)選取為800次。

5.3 結(jié)果及分析

利用第4章設(shè)計(jì)的實(shí)驗(yàn)過(guò)程，得到的實(shí)驗(yàn)結(jié)果如表2所示。其中avarage_score是指所有參加這個(gè)子任務(wù)的隊(duì)伍的最好成績(jī)的平均值；子任務(wù)3有兩組結(jié)果，第一組分?jǐn)?shù)為方面情感傾向的正確率；第二組分?jǐn)?shù)為對(duì)情感詞計(jì)算準(zhǔn)確率和召回率之后計(jì)算的F值得分。

Table 2 Comparison ofF-measurebetween the proposed method and average score of participants表2 本文3個(gè)系統(tǒng)與參賽隊(duì)伍平均值對(duì)比實(shí)驗(yàn)結(jié)果（F值）

由表2中可以看出：

（1）系統(tǒng)1只采用Labeled-JAS模型進(jìn)行實(shí)驗(yàn)，結(jié)果均低于平均值average_score。這是因?yàn)長(zhǎng)abeled-JAS模型為基于概率圖模型的有監(jiān)督方法，本次評(píng)測(cè)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)規(guī)模較小，并且分類的類別較多，故不能在每一類別上形成大量統(tǒng)計(jì)信息，導(dǎo)致模型效果較差。

（2）系統(tǒng)2在系統(tǒng)1方法的基礎(chǔ)上，結(jié)合了基于詞典的方法，可以看出，加入詞典后，較系統(tǒng)1結(jié)果有明顯提升；系統(tǒng)3較之系統(tǒng)2，性能繼續(xù)提升，在各個(gè)子任務(wù)中略遜于平均值。說(shuō)明在小規(guī)模數(shù)據(jù)中，基于詞典的方法簡(jiǎn)單有效，通過(guò)加入基于詞典的方法，可以有效改善基于概率統(tǒng)計(jì)的Labeled-JAS模型的效果。

5.4 方面情感詞獲取

Labeled-JAS模型還可用于獲取特定領(lǐng)域下的方面情感詞，利用方面-情感-詞分布Φ，在實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)上取了一些概率排名靠前的方面情感詞，結(jié)果如表3所示。

Table 3 Samples of aspect sentiment words表3 方面情感詞匯表

由表3可以看出，Labeled-JAS模型可以獲取一些特定方面下的情感詞，例如在“導(dǎo)演”這一方面下，情感為負(fù)的詞有“奢侈”、“一星”等。獲取到方面情感詞后，可以用于構(gòu)建特定領(lǐng)域情感詞典以及情感分類等任務(wù)。

6 結(jié)論與展望

本文在Labeled-LDA模型和Sentiment-LDA模型的基礎(chǔ)上，針對(duì)COAE2016評(píng)測(cè)任務(wù)2，提出了一個(gè)能同時(shí)挖掘影視評(píng)論數(shù)據(jù)中方面及情感的概率圖模型：Labeled-JAS模型。該模型能夠?qū)⒂耙曉u(píng)論數(shù)據(jù)結(jié)構(gòu)化，同時(shí)獲取其中的方面和情感信息，從而指導(dǎo)觀眾對(duì)影視作品進(jìn)行選擇以及指導(dǎo)制片方改進(jìn)影片。另外，還針對(duì)影視評(píng)論數(shù)據(jù)的特點(diǎn)，將基于詞典的方法和Labeled-JAS模型聯(lián)合使用，在測(cè)評(píng)數(shù)據(jù)上進(jìn)行了多組實(shí)驗(yàn)，結(jié)果表明，本文方法可以較好地識(shí)別出影視評(píng)論中所談?wù)摰姆矫?、針?duì)某方面的情感以及評(píng)論的總體情感。

在今后的工作中，希望將本文模型與深度學(xué)習(xí)結(jié)合，構(gòu)建出更加高效的方面情感聯(lián)合模型，以處理海量數(shù)據(jù)問(wèn)題。

[1]Moghaddam S,Ester M.On the design of LDA models for aspect-based opinion mining[C]//Proceedings of the 21st International Conference on Information and Knowledge Management,Maui,Oct 29-Nov 2,2012.New York:ACM,2012:803-812.

[2]Pontiki M,Galanis D,Pavlopoulos J,et al.SemEval-2014 task 4:aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:27-35.

[3]Kiritchenko S,Zhu X,Cherry C,et al.NRC-Canada-2014:detecting aspects and sentiment in customer reviews[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:437-442.

[4]Wagner J,Arora P,Cortes S,et al.DCU:aspect-based polarity classification for SemEval task 4[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:223-229.

[5]Tang Duyu,Qin Bing,Feng Xiaocheng,et al.Target-dependent sentiment classification with long short term memory[J].arXiv:1512.01100,2015.

[6]Tang Duyu,Qin Bing,Liu Ting.Aspect level sentiment classification with deep memory network[J].arXiv:1605.08900,2016.

[7]Blei D M,Ng A Y,Jordan M I.Latent Dirichlet allocation[J].Journal of Machine Learning Research,2003,3:993-1022.

[8]Lin Chenghua,HeYulan.Joint sentiment/topic model for sentiment analysis[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management,Hong Kong,China,Nov 2-6,2009.New York:ACM,2009:375-384.

[9]He Yulan,Lin Chenghua,Alani H.Automatically extracting polarity-bearing topics for cross-domain sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies,Portland,Jun 19-24,2011.Stroudsburg:ACL,2011:123-131.

[10]Lin Chenghua,He Yulan,Everson R,et al.Weakly supervised joint sentiment-topic detection from text[J].IEEE Transactions on Knowledge&Data Engineering,2012,24(6):1134-1145.

[11]Jo Y,Oh A H.Aspect and sentiment unification model for online review analysis[C]//Proceedings of the 4th International Conference on Web Search and Web Data Mining,Hong Kong,China,Feb 9-12,2011.New York:ACM,2011:815-824.

[12]Sun Yan,Zhou Xueguang,Fu Wei.Unsupervised topic and sentiment unification model for sentiment analysis[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2013,49(1):102-108.

[13]Li Fangtao,Huang Minlie,Zhu Xiaoyan.Sentiment analysis with global topics and local dependency[C]//Proceedings of the 24th Conference on Artificial Intelligence,Atlanta,Jul 11-15,2010.Menlo Park:AAAI,2010:1371-1376.

[14]Ramage D,Hall D,Nallapati R,et al.Labeled LDA:a supervised topic model for credit attribution in multi-labeled corpora[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing,Singapore,Aug 6-7,2009:248-256.

[15]Mei Qiaozhu,Ling Xu,Wondra M,et al.Topic sentiment mixture:modeling facets and opinions in weblogs[C]//Proceedings of the 16th International Conference on World Wide Web,Banff,May 8-12,2007.New York:ACM,2007:171-180.

[16]Titov I,McDonald R T.A joint model of text and aspect ratings for sentiment summarization[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics,Columbus,Jun 19-20,2008.Stroudsburg:ACL,2008:308-316.

[17]Titov I,McDonald R T.Modeling online reviews with multigrain topic models[C]//Proceedings of the 17th International Conference on World Wide Web,Beijing,Apr 21-25,2008.New York:ACM,2008:111-120.

[18]Zhao Xin W,Jiang Jing,Yan Hongfei,et al.Jointly modeling aspects and opinions with a MaxEnt-LDA Hybrid[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing,Cambridge,Oct 9-11,2010.Stroudsburg:ACL,2010:56-65.

[19]Moghaddam S,Ester M.The FLDA model for aspect-based opinion mining:addressing the cold start problem[C]//Proceedings of the 22nd International Conference on World Wide Web,Rio de Janeiro,May 13-17,2013.New York:ACM,2013:909-918.

[20]Rao Yanghui,Li Qing,Liu Wenyin,et al.Affective topic model for social emotion detection[J].Neural Networks the Official Journal of the International Neural Network Society,2014,58(5):29-37.

[21]Chen Zhiyuan,Mukherjee A,Liu Bing.Aspect extraction with automated prior knowledge learning[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics,Baltimore,Jun 23-25,2014.Stroudsburg:ACL,2014:347-358.

[22]Wu Yao,Ester M.FLAME:a probabilistic model combining aspect based opinion mining and collaborative filtering[C]//Proceedings of the 8th International Conference on Web Search and Data Mining,Shanghai,Feb 2-6,2015.New York:ACM,2015:199-208.

[23]McAuley J,Pandey R,Leskovec J.Inferring networks of substitutable and complementary products[C]//Proceedings of the 21st International Conference on Knowledge Discovery and Data Mining,Sydney,Aug 10-13,2015.New York:ACM,2015:785-794.

[24]Samha A K,Li Yuefeng,Zhang Jinglan.Aspect-based opinion mining from product reviews using conditional random fields[C]//Proceedings of the 13th Australasian Data Mining Conference,Sydney,Aug 8-9,2015.Darlinghurst:Australian Computer Society,Inc,2015:119-128.

[25]Walsh B.Markov chain Monte Carlo and Gibbs sampling[J].Notes,2004,91(8):497-537.

附中文參考文獻(xiàn)：

[12]孫艷,周學(xué)廣,付偉.基于主題情感混合模型的無(wú)監(jiān)督文本情感分析[J].北京大學(xué)學(xué)報(bào):自然科學(xué)版,2013,49(1):102-108.