許銀潔，孫春華，劉業(yè)政

(合肥工業(yè)大學(xué)管理學(xué)院，合肥230009)(*通信作者電子郵箱ahcrocky@163．com)

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的用戶傾向于在網(wǎng)絡(luò)上發(fā)表評論，這些評論為消費(fèi)者的購買決策和商家的市場監(jiān)控與策略調(diào)整提供了依據(jù)。如何對數(shù)量龐大、內(nèi)容復(fù)雜的在線評論進(jìn)行分析，挖掘其中的用戶觀點(diǎn)已經(jīng)成為研究熱點(diǎn)問題。主題情感聯(lián)合(Joint Sentiment/Topic，JST)模型是一種無監(jiān)督學(xué)習(xí)方法，能夠同時提取文本中的主題和情感信息［1－2］。已有的主題情感聯(lián)合模型主要是對文本內(nèi)容進(jìn)行建模，很少考慮用戶特征。過去的研究發(fā)現(xiàn)，由于用戶的個體異質(zhì)性，不考慮用戶特征將會導(dǎo)致情感分析結(jié)果出現(xiàn)偏差，即研究的外部有效性問題［3］。本文提出了考慮用戶特征的主題情感聯(lián)合(Joint-User Sentiment/Topic，JUST)模型，能夠在文本數(shù)據(jù)中快速識別目標(biāo)用戶對于特定話題的情感，對于商家和消費(fèi)者而言，具有重要的現(xiàn)實(shí)意義。

1 相關(guān)工作

傳統(tǒng)的情感分析方法主要有兩大類:基于知識的和基于機(jī)器學(xué)習(xí)的方法［4］?；谥R的情感分析方法需要借助情感字典標(biāo)注文檔中每個詞的情感傾向，并結(jié)合一些句法規(guī)則對文檔中的情感詞進(jìn)行加權(quán)求和，得到文檔的總體情感傾向。例如，Zhang等［5］提出了一種基于規(guī)則的兩階段方法:首先依據(jù)詞匯情感傾向得到句子情感傾向，然后聚合句子情感傾向得到文檔情感傾向?；谥R的情感分析方法通常需要針對特定領(lǐng)域構(gòu)建情感字典，在如今信息爆炸的時代，網(wǎng)絡(luò)流行語層出不窮，領(lǐng)域情感詞典難于實(shí)時更新，基于知識的方法在實(shí)時、動態(tài)地分析用戶的情感傾向方面略顯不足。而機(jī)器學(xué)習(xí)方法將情感分析任務(wù)視為分類問題，首先在標(biāo)注正負(fù)情感的語料集上訓(xùn)練出分類模型，然后基于分類模型對新的語料進(jìn)行情感分類。例如，Su等［6］將Word2vec方法與支持向量機(jī)(Support Vector Machine，SVM)分類器結(jié)合，分類準(zhǔn)確率高達(dá)90%以上。Ramadhani等［7］比較了加入不同平滑方法的Naive Bayes情感分類器，結(jié)果表明，使用Laplace平滑方法的情感分類器效果最好，F(xiàn)1值達(dá)到0．7234。機(jī)器學(xué)習(xí)方法準(zhǔn)確率較高，但是通常需要人工進(jìn)行情感標(biāo)注以得到訓(xùn)練集。此外，機(jī)器學(xué)習(xí)方法通常是將整條語料信息劃分為正負(fù)兩類，難以在細(xì)粒度的水平上分析用戶情感。以汽車評論為例，“時尚、動感、運(yùn)動的外觀讓人眼前一亮，不到10萬塊的價格，有這樣的設(shè)計外觀相當(dāng)不錯了，最不滿意的就是內(nèi)飾了，塑料感太強(qiáng)了，基本裝飾性的東西都沒有”中，用戶對汽車外觀持正向情感，對內(nèi)飾持負(fù)向情感，如果對整條評論進(jìn)行情感分類，則分類結(jié)果的應(yīng)用價值不大。

主題模型可以自動識別文本中隱含的主題，且無需對語料進(jìn)行人工標(biāo)注［8－9］，這在一定程度上彌補(bǔ)了傳統(tǒng)情感分析方法的不足，因此被廣泛應(yīng)用于情感分析系統(tǒng)。起初，研究者們將主題發(fā)現(xiàn)和情感分類作為兩個獨(dú)立的任務(wù)，首先應(yīng)用主題模型提取特征詞，然后在文檔中尋找特征詞對應(yīng)的形容詞作為情感詞［10］。但是，情感通常是依賴主題而存在的，將主題和情感割裂建模，會造成信息損失［2］。主題情感聯(lián)合模型則進(jìn)一步考慮了主題和情感之間的依賴關(guān)系問題，實(shí)現(xiàn)了對主題和情感的同步分析［1－2］。例如，Mei等［1］提出了概率主題情感混合(Topic-Sentiment Mixture，TSM)模型，該模型可用于識別文本中的潛在話題、子話題以及相應(yīng)的情感;Lin等［2］提出了JST模型，不需要任何情感標(biāo)簽信息，實(shí)現(xiàn)了主題和情感同時建模;Hai等［11］提出了有監(jiān)督的聯(lián)合模型(Supervised Joint Aspect and Sentiment Model，SJASM)，可以在同一框架下發(fā)現(xiàn)主題層面的情感和文檔層面的情感;Zhang等［12］提出了JABST(Joint Aspect-Based Sentiment Topic)模型，模型中區(qū)分了全局主題情感詞和特定主題情感詞。后來的研究者對主題情感聯(lián)合模型進(jìn)行了改進(jìn)，但大多還是對文本內(nèi)容本身進(jìn)行建模，較少關(guān)注和文本內(nèi)容相關(guān)的用戶特征信息。

已有研究表明，用戶的個體特征影響其情感表達(dá)的方式［3，13］，忽略用戶特征可能導(dǎo)致情感分析結(jié)果出現(xiàn)偏差，包括人口統(tǒng)計因素導(dǎo)致的偏差以及事件導(dǎo)致的偏差等［3］。TSMMF(Topic Sentiment Model based on Multi-feature Fusion)模型［14］雖然考慮了表情符與微博用戶性格情緒特征因素，但是在模型中沒有對用戶人口統(tǒng)計因素和事件特征進(jìn)行解釋。本文提出了一種考慮用戶特征的主題情感聯(lián)合模型，將用戶年齡、性別等人口統(tǒng)計特征以及評論時間、購車目的等事件特征加入了主題情感聯(lián)合模型。與其他考慮用戶特征的主題模型［14－17］相比，本研究的不同之處在于:將用戶人口統(tǒng)計特征和行為事件特征直接加入了模型，而不是生成用戶特征。此外，對不同用戶特征的組合效果進(jìn)行了比較，與生成用戶特征的模型相比，本文提出的模型具有更強(qiáng)的可拓展性。

2 模型介紹

2．1 JST 模型

JST模型［2］由Lin等提出，該模型在隱含狄利克雷分布(Latent Dirichlet Allocation，LDA)模型的框架下加入情感層，采用完全無監(jiān)督的方式同時建模主題和情感。最終生成文檔－情感分布，文檔、情感－主題分布和情感、主題－詞分布。JST模型可以對無情感標(biāo)注的文本信息建模，方便靈活地適應(yīng)不同領(lǐng)域的數(shù)據(jù)，但是無法對包含額外信息的文本建模。

2．2 DMR 模型

DMR(Dirichlet-Multinomial Regression)模型［18］由 Mimno等提出，該模型是在LDA主題模型［8］的基礎(chǔ)上加入線性先驗，適用于對包含額外信息的文本進(jìn)行建模。在DMR模型中，先根據(jù)文檔的額外信息特征確定文檔－主題分布的超參數(shù)，然后從文檔－主題分布中抽取出一個主題，再從主題－詞分布中抽取出一個詞，最終得到帶有額外信息特征的文本－主題分布和主題－詞分布。與建模文檔作者信息的AT(Author-Topic)模型［17］和建模文檔時間信息的TOT(Topics Over Time)模型［19］相比，DMR模型具有良好的實(shí)驗效果并且降低了模型的復(fù)雜性［18］。

2．3 JUST 模型

2．3．1 模型描述

本文借鑒了 DMR［18］和 JST［2］兩種模型的主要思想，提出了考慮用戶特征的主題情感聯(lián)合模型，即JUST模型。本文之所以選擇將DMR模型與JST模型相結(jié)合，在此基礎(chǔ)上建立新模型，主要原因是:DMR模型直接將用戶特征信息的影響加在文檔－主題分布的超參數(shù)上，可以靈活地對加入用戶特征信息的文本語料進(jìn)行建模。而JST模型在真正意義上實(shí)現(xiàn)了主題情感的同時建模，而不是將主題和情感割裂分別建模。本文提出的JUST模型將用戶特征的影響加到情感分布的超參數(shù)上，同時考慮用戶特征、主題和情感三方面的影響，實(shí)現(xiàn)加入用戶特征信息的主題情感聯(lián)合建模(圖1)，模型中的變量含義見表1。

圖1 JUST模型Fig．1 Joint-User Sentiment/Topic model

表1 JUST模型變量含義Tab．1 Meaning of JUST model’s variables

在JUST模型中，先根據(jù)文檔的用戶信息特征確定文檔－情感分布的超參數(shù)γ，然后從文檔－情感分布中抽取出一個情感，從文檔、情感－主題分布中抽取出一個主題，從情感、主題－詞分布中抽取出一個詞，最終得到帶有用戶信息特征的文本－情感分布，文檔、情感－主題分布和情感、主題－詞分布。

給定用戶特征矩陣X，算法過程如下:

1)對每個情感l(wèi)，主題z:

情感l(wèi)的參數(shù)向量λl～N(0，σ2I)

情感l(wèi)主題z的詞分布Φlz～Dir(β)

2)對每一篇文檔m:

文檔－情感分布Πm～Dir(γm)

文檔、情感－主題分布Θml～Dir(α)

對每個單詞i:

1)選擇情感l(wèi)i～Mul(Πm)

2)選擇主題zi～Mul(Θml)

3)選擇單詞wi～Mul(Φlz)

JUST模型中有4個固定參數(shù):先驗參數(shù)中的方差σ2，文檔、情感 －主題分布的先驗參數(shù)α，主題、情感 －詞分布的先驗參數(shù)β和主題數(shù)T。

2．3．2 模型求解

JUST模型(圖1)的聯(lián)合概率如式(1)所示:

采用吉布斯采樣近似計算，在文檔m中，單詞t屬于情感l(wèi)和主題z的概率更新規(guī)則如式(2)所示:

其中:Nl，z，w表示單詞 w 屬于情感 l且屬于主題 z的次數(shù)，Nl，z表示所有單詞中屬于情感l(wèi)且屬于主題z的總次數(shù)，Nm，l，z表示在文檔m中，屬于情感l(wèi)且屬于主題z的單詞出現(xiàn)次數(shù)，Nm，l表示在文檔m中，屬于情感l(wèi)的單詞出現(xiàn)次數(shù)，Nm表示文檔m的總單詞數(shù)，下標(biāo)－t表示排除當(dāng)前詞t，xm表示文檔m的用戶特征向量，λl表示情感l(wèi)的參數(shù)向量。

每次采樣后，Φ、Θ、Π的更新公式如式(3)～(5)所示:

圖1中文檔情感的似然概率如式(6)所示，其中k表示第k維的特征:

根據(jù)式(6)，對某個給定的情感l(wèi)和特征k，參數(shù)λlk的對數(shù)偏導(dǎo)如式(7)所示:

模型具體求解:首先根據(jù)高斯分布，得到不同情感的向量參數(shù)λl的初始值，固定參數(shù)λl，根據(jù)γml=exp(xmTλl)計算出每篇文檔中不同情感的先驗參數(shù)γ，先驗參數(shù)γ固定后，根據(jù)式(2)更新單詞的情感和主題，然后固定單詞的情感和主題，采用優(yōu)化方法L-BFGS［20］優(yōu)化參數(shù)λl，最后再將優(yōu)化后的參數(shù)λl代入吉布斯采樣更新規(guī)則求解單詞的主題和情感，不斷迭代，直到最終文檔－情感分布，文檔、情感－主題分布和情感、主題－詞分布達(dá)到穩(wěn)定。

3 實(shí)驗與分析

將汽車之家的用戶口碑?dāng)?shù)據(jù)作為實(shí)驗數(shù)據(jù)集，比較加入不同用戶特征的JUST模型、JST模型和TSMMF模型在文本情感分類上的準(zhǔn)確性，實(shí)驗流程如圖2所示。

圖2 實(shí)驗流程Fig．2 Experiment process

3．1 實(shí)驗數(shù)據(jù)

本文的實(shí)驗數(shù)據(jù)是來自汽車之家的口碑?dāng)?shù)據(jù)。選擇其中用戶評論字?jǐn)?shù)在200字以上，評論所對應(yīng)的用戶數(shù)據(jù)沒有缺失，且用戶年齡處于國家允許的駕駛機(jī)動車年齡范圍內(nèi)的數(shù)據(jù)。最終得到13 252條評論，其中正負(fù)情感的評論各6 626條。用戶數(shù)據(jù)包括用戶的年齡、性別、評論時間、評分?jǐn)?shù)據(jù)、購車目的。

用戶特征離散化 年齡分為以下5個區(qū)間:18～30歲、31～40歲、41～50歲、51～60歲、61～70歲;用戶評論時間分為以下5個區(qū)間:2012年、2013年、2014年、2015年、2016年;用戶購車目的分為以下10類:商務(wù)接送、越野、跑長途、泡妞、賽車、上下班、接送小孩、自駕游、購物、拉貨;用戶對汽車性能的評分?jǐn)?shù)據(jù)為1～5星的5個等級。

數(shù)據(jù)分詞 采用Jieba分詞包進(jìn)行分詞，將搜狗詞庫中的汽車品牌型號作為用戶字典加入程序以提高分詞效果，對照停用詞表刪去停用詞，得到處理后的用戶評論數(shù)據(jù)。

評論語料TF-IDF處理 如果直接使用詞頻數(shù)進(jìn)行模型訓(xùn)練，則所有的主題中前5個詞都是“滿意”“感覺”“油耗”“比較”“空間”，無法區(qū)分主題，因此，本文在進(jìn)行模型訓(xùn)練之前，先計算出每個詞的TF-IDF值，再進(jìn)行模型訓(xùn)練。

情感字典構(gòu)建 本文以Hownet情感詞庫和NTUSD中文情感極性字典中的情感詞為種子詞，使用Word2vec方法對情感詞進(jìn)行擴(kuò)展。Word2vec是一種神經(jīng)網(wǎng)絡(luò)方法，可以依據(jù)上下文獲得單詞的向量表示形式，并計算單詞之間的相似性。本文的具體做法是，將分詞后的評論放入Word2vec模型進(jìn)行訓(xùn)練，得到每個單詞的向量表示，然后將評論中的單詞與初始情感字典中的情感詞相匹配，匹配成功后計算該單詞最相似的詞，并加入情感字典。需要說明的是，擴(kuò)充后的情感詞不僅僅是形容詞，也可能是名詞、動詞等包含情感的詞匯(見表2)。情感字典構(gòu)建完成后，在JUST模型中初始化單詞的情感。

表2 初始情感字典Tab．2 Initial emotion dictionary

最終用戶特征實(shí)驗數(shù)據(jù)形式如表3所示，使用0-1向量表示，屬于特征子分量的標(biāo)記為1，不屬于的標(biāo)記為0，默認(rèn)特征值始終為1。

表3 實(shí)驗數(shù)據(jù)Tab．3 Experiment data

3．2 實(shí)驗設(shè)置

在本文的實(shí)驗語料中，用戶主要對汽車的空間、動力、操控、油耗、舒適性、外觀、內(nèi)飾、性價比、4S店服務(wù)、是否滿足購車目的等進(jìn)行評價。根據(jù)實(shí)驗語料的特點(diǎn)，本文將主題數(shù)設(shè)置為20，其中10個正向情感主題，10個負(fù)向情感主題。參考JST模型［2］的做法，主題分布的超參數(shù)α值為50/主題數(shù)，詞分布的超參數(shù)β值為0．01。參考DMR模型［18］的做法，σ2在默認(rèn)特征值上取值為10，其他特征取值為0．5，根據(jù)經(jīng)驗設(shè)置，模型的迭代次數(shù)設(shè)為1000。在JUST模型中，迭代250次后開始優(yōu)化參數(shù)λ，之后每50次迭代后優(yōu)化更新參數(shù)λ。本文實(shí)驗判斷標(biāo)準(zhǔn)采用文檔情感分類的準(zhǔn)確率和召回率［21］。

3．3 實(shí)驗結(jié)果分析

為了檢驗本文提出的JUST模型的有效性，本文以JST模型和TSMMF模型為基準(zhǔn)模型，分別計算了 JUST、JST和TSMMF模型在情感分類上的準(zhǔn)確率和召回率，實(shí)驗結(jié)果如表4所示。

從表4可以看出，與JST和TSMMF模型相比，JUST模型有較好的情感分類效果。在單個用戶特征中，加入用戶年齡的JUST模型的情感分類效果較好。年齡一定程度上反映了用戶的社會階層和收入水平，不同年齡的用戶在價值觀、消費(fèi)能力、生活形態(tài)和消費(fèi)形態(tài)上會呈現(xiàn)很高的異質(zhì)性。反映在實(shí)驗數(shù)據(jù)中，不同年齡的用戶關(guān)注主題和情感表達(dá)上有很大差異，JUST模型可以學(xué)習(xí)到這種差異性，更有效地生成模型。在多個用戶特征的組合中，用戶年齡、用戶評分和購車目的的特征組合效果較好。用戶評分直接反映了用戶的情感，而購車目的反映了用戶的關(guān)注主題，JUST模型學(xué)習(xí)到了對應(yīng)的評論差異性，當(dāng)這種差異性達(dá)到某種飽和狀態(tài)，模型的優(yōu)化效果達(dá)到峰值，再加入其他特征也不會有太大的提升，而且在本文的實(shí)驗數(shù)據(jù)中，不同性別用戶的評論和不同時間之間的評論，其差異性并不大。

表4 三種模型在文本情感分類上的準(zhǔn)確率和召回率Tab．4 Accuracy and recall rate of three models in text sentiment classification

4 模型應(yīng)用

本模型可識別不同用戶群體的更細(xì)粒度的情感傾向，幫助商家實(shí)時掌握目標(biāo)客戶的消費(fèi)需求，及時作出策略調(diào)整，在激烈的市場競爭中占據(jù)有利地位。本文在汽車之家的用戶數(shù)據(jù)上，分別比較了不同性別的用戶、不同年齡的用戶、不同評論時間的用戶、不同評分的用戶和不同購車目的的用戶之間的主題情感表達(dá)差異。

將用戶性別數(shù)據(jù)加入JUST模型，計算不同性別的用戶對于各個主題的情感概率。由圖3可以看出，男性和女性用戶基本類似，都對汽車發(fā)動機(jī)噪音(負(fù)向主題2)持負(fù)向情感，對汽車油耗(正向主題8)持正向情感。在個別主題上，男性和女性有微弱差異，例如，男性用戶較為關(guān)注汽車的中控、離合(正向主題6)，并對其持正面情感，而女性用戶較為關(guān)注汽車的氣味、頭枕(負(fù)向主題0)，并對其持負(fù)面情感。相應(yīng)主題見表5。

圖3 加入用戶性別的JUST模型結(jié)果Fig．3 Results of JUST model with user’s gender

表5 加入用戶性別的JUST模型的部分主題Tab．5 Part topics of JUST model with user’s gender

將用戶年齡數(shù)據(jù)加入JUST模型，計算不同年齡用戶對于各個主題的情感概率。如圖4所示，五個年齡段的用戶都對汽車的起步、換擋(正向主題0)持正向情感，對汽車的后排、隔音(負(fù)向主題4)持負(fù)向情感。61～70歲年齡段的用戶較為關(guān)注汽車的輪胎、減震(正向主題9)，并對其持正向情感;51～60歲年齡段的用戶較為關(guān)注汽車的座椅(負(fù)向主題2)，并對其持負(fù)向情感;41～50歲年齡段的用戶較為關(guān)注汽車的廠家、服務(wù)(負(fù)向主題7)，并對其持負(fù)向情感。相應(yīng)主題見表6。

圖4 加入用戶年齡的JUST模型結(jié)果Fig．4 Results of JUST model with user’s age

表6 加入用戶年齡的JUST模型的部分主題Tab．6 Part topics of JUST model with user’s age

將用戶評論時間數(shù)據(jù)加入JUST模型，計算不同評論時間的用戶對各個主題的情感概率。如圖5所示，各時間段上沒有太大差異。可以認(rèn)為，汽車口碑在一定時間內(nèi)是比較穩(wěn)定的。例如，不同評論時間的用戶都對汽車的座椅持正向情感(正向主題3)，對汽車的異響(負(fù)向主題0)、起步噪音(負(fù)向主題2)持負(fù)向情感。2012年的評論較為關(guān)注汽車的胎噪、味道(負(fù)向主題6)，并對其持負(fù)向情感，相應(yīng)的主題見表7。

將用戶評分?jǐn)?shù)據(jù)加入JUST模型，計算不同評分的用戶對各個主題的情感概率。如圖6所示，5星評分基本對應(yīng)正向情感的主題，而1～4星評分基本對應(yīng)負(fù)向情感的主題。用戶打5星主要因為汽車的輪胎、中控、離合器(正向主題7)，用戶打1～4星主要是因為發(fā)動機(jī)、噪音(負(fù)向主題5)、汽車的胎噪、車漆(負(fù)向主題7)，相應(yīng)的主題見表8。

圖5 加入用戶評論時間的JUST模型結(jié)果Fig．5 Results of JUST model with user’s comment time

表7 加入用戶評論時間的JUST模型的部分主題Tab．7 Part topics of JUST model with user’s comment time

圖6 加入用戶評分的JUST模型結(jié)果Fig．6 Results of JUST model with user’s rating

表8 加入用戶評分的JUST模型的部分主題Tab．8 Part topics of JUST model with user’s rating

將用戶購車目的數(shù)據(jù)加入JUST模型，計算不同購車目的的用戶對各個主題的情感概率。如圖7所示，所有購車目的用戶對汽車的后排空間、輪胎(正向主題3)，音樂、USB(正向主題9)和油耗(正向主題6)持正向情感，都對汽車的異響、頓挫感(負(fù)向主題2)持負(fù)向情感。以商務(wù)接送為目的的用戶的較為關(guān)注汽車的細(xì)節(jié)(正向主題7)，并持正面情感，以賽車為目的的用戶較為關(guān)注汽車的排氣管，并持負(fù)向情感(負(fù)向主題5);以購物為目的的用戶較為關(guān)注汽車的儲物空間，并持負(fù)面情感(負(fù)向主題0)。相應(yīng)的主題見表9。

圖7 加入用戶購車目的的JUST模型結(jié)果Fig．7 Results of JUST model with user’s purpose of buying car

表9 加入用戶購車目的的JUST模型的部分主題Tab．9 Part topics of JUST model with user’s purpose of buying car

5 結(jié)語

針

對現(xiàn)有主題情感聯(lián)合模型(JST)忽略用戶特征所導(dǎo)致的偏差問題，提出了考慮用戶特征的主題情感聯(lián)合模型(JUST)。在主題情感聯(lián)合建模過程中，加入用戶人口統(tǒng)計特征和行為事件特征，實(shí)驗結(jié)果表明，JUST模型的情感分類效果優(yōu)于JST模型。同一個隱性社區(qū)中的用戶通常享有共同的興趣愛好，促使用戶在網(wǎng)上產(chǎn)生追評、點(diǎn)贊等交互行為，導(dǎo)致用戶的關(guān)注主題和情感受到所在隱性社區(qū)的影響，后續(xù)研究將在JUST模型的基礎(chǔ)上，加入隱性社區(qū)層，用于解釋用戶所在隱性社區(qū)群體對用戶關(guān)注主題和情感表達(dá)的影響，期望進(jìn)一步提升模型的情感分類效果，同時也能應(yīng)用于社區(qū)發(fā)現(xiàn)領(lǐng)域。