支淑婷 李曉戈 王京博 王鵬華

摘 要：屬性情感分析是細(xì)粒度的情感分類任務(wù)。針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型無(wú)法準(zhǔn)確構(gòu)建屬性情感特征的問(wèn)題，提出了一種融合多注意力和屬性上下文的長(zhǎng)短時(shí)記憶（LSTM-MATT-AC）神經(jīng)網(wǎng)絡(luò)模型。在雙向長(zhǎng)短時(shí)記憶（LSTM）的不同位置加入不同類型的注意力機(jī)制，充分利用多注意力機(jī)制的優(yōu)勢(shì)，讓模型能夠從不同的角度關(guān)注句子中特定屬性的情感信息，彌補(bǔ)了單一注意力機(jī)制的不足;同時(shí)，融合雙向LSTM獨(dú)立編碼的屬性上下文語(yǔ)義信息，獲取更深層次的情感特征，有效識(shí)別特定屬性的情感極性;最后在SemEval2014 Task4和Twitter數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了不同注意力機(jī)制和獨(dú)立上下文處理方式對(duì)屬性情感分析模型的有效性。實(shí)驗(yàn)結(jié)果表明，模型在Restaurant、Laptop和Twitter領(lǐng)域數(shù)據(jù)集上的準(zhǔn)確率分別達(dá)到了80.6%、75.1%和71.1%，較之前基于神經(jīng)網(wǎng)絡(luò)的情感分析模型在準(zhǔn)確率上有了進(jìn)一步的提高。

關(guān)鍵詞：屬性情感分析;多注意力機(jī)制;上下文語(yǔ)義特征;神經(jīng)網(wǎng)絡(luò);自然語(yǔ)言處理

中圖分類號(hào)： TP391.1; TP18

文獻(xiàn)標(biāo)志碼：A

Abstract： Aspect sentiment analysis is a fine-grained task in sentiment classification. Concerning the problem that traditional neural network model can not accurately construct sentiment features of aspects， a Long Short-Term Memory with Multi-ATTention and Aspect Context （LSTM-MATT-AC） neural network model was proposed. Different types of attention mechanisms were added in different positions of bidirectional Long Short-Term Memory （LSTM）， and the advantage of multi-attention mechanism was fully utilized to allow the model to focus on sentiment information of specific aspects in sentence from different perspectives， which could compensate the deficiency of single attention mechanism. At the same time， combining aspect context information of bidirectional LSTM independent coding， the model could capture deeper level sentiment information and effectively distinguish sentiment polarity of different aspects. Experiments on SemEval2014 Task4 and Twitter datasets were carried out to verify the effectiveness of different attention mechanisms and independent context processing on aspect sentiment analysis. The experimental results show that the accuracy of the proposed model reaches 80.6%， 75.1% and 71.1% respectively for datasets in domain Restaurant， Laptop and Twitter. Compared with previous neural network-based sentiment analysis models， the accuracy has been further improved.

Key words： aspect sentiment analysis; multi-attention mechanism; contextual semantic feature; neural network; Natural Language Processing （NLP）

0 引言

情感分析又稱觀點(diǎn)挖掘，指利用數(shù)據(jù)挖掘和自然語(yǔ)言處理技術(shù)，對(duì)有情感傾向的主觀性文本進(jìn)行信息的處理、分析和抽取的過(guò)程[1]。屬性情感分析是細(xì)粒度的情感分類任務(wù)，旨在識(shí)別給定文本中特定屬性的情感傾向[2]。例如句子“Great food， but the service was dreadful”對(duì)于屬性“food”是積極情感，而對(duì)于屬性“service”則是消極情感。不同屬性的情感傾向不僅依賴文本的上下文信息，還依賴特定屬性的特征信息[3]。對(duì)于多屬性文本，如果忽略屬性信息，則很難準(zhǔn)確識(shí)別文本的情感傾向。Jiang等[4]手工評(píng)估了Twitter數(shù)據(jù)集的情感分類，結(jié)果表明約40%的情感分類錯(cuò)誤源于沒(méi)有考慮屬性。

近年來(lái)，深度學(xué)習(xí)技術(shù)在自然語(yǔ)言處理領(lǐng)域取得了重大突破，越來(lái)越多的研究者利用深度學(xué)習(xí)技術(shù)來(lái)解決屬性情感分析問(wèn)題。Qian等[5]和Socher等[6]構(gòu)建了基于句法樹(shù)的遞歸神經(jīng)網(wǎng)絡(luò)，Tai等[7]用句法樹(shù)改進(jìn)標(biāo)準(zhǔn)長(zhǎng)短時(shí)記憶（Long Short-Term Memory， LSTM）網(wǎng)絡(luò)，提出了Tree-LSTMs網(wǎng)絡(luò)模型，都在情感分類任務(wù)中有較好的表現(xiàn)，但上述模型的構(gòu)建依賴依存句法分析等外部知識(shí)且模型的結(jié)構(gòu)相對(duì)復(fù)雜。Ruder等[8]提出的層級(jí)雙向LSTM網(wǎng)絡(luò)模型，利用不同層次的雙向LSTM對(duì)輸入文本進(jìn)行句內(nèi)和句間的特征學(xué)習(xí)，判別屬性的情感極性，但該模型主要針對(duì)的是單屬性句子，對(duì)多屬性句子的情感識(shí)別有一定的困難。Vo等[9]和Tang等[10]將文本劃分為屬性、屬性上文和屬性下文三部分，將一個(gè)屬性作為一個(gè)目標(biāo)來(lái)改善屬性情感分類的效果。Bahdanau等[11]將注意力機(jī)制和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合提高了機(jī)器翻譯的準(zhǔn)確率，隨后，注意力機(jī)制在文本摘要[12]和閱讀理解[13]等自然語(yǔ)言處理領(lǐng)域中都取得了很好的效果。從眾多信息中選擇出特定目標(biāo)的關(guān)鍵信息，使其也成為了優(yōu)化情感分類任務(wù)的有效機(jī)制。Wang等[14]提出了ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）模型，在標(biāo)準(zhǔn)LSTM中加入了基于屬性特征的注意力機(jī)制。Huang等[15]提出了AOA（Attention-Over-Attention）模型，將注意力機(jī)制與屬性詞序列結(jié)合，同時(shí)計(jì)算了aspect-to-text和text-to-aspect注意力，這些模型的提出表明了注意力機(jī)制與LSTM結(jié)合的有效性。

上述模型僅依賴內(nèi)容注意力機(jī)制無(wú)法從多個(gè)角度關(guān)注屬性的情感特征，同時(shí)缺乏對(duì)特定屬性上下文語(yǔ)義信息的挖掘，為此本文提出了一種融合多注意力和屬性上下文的LSTM（Long Short-Term Memory with Multi-ATTention and Aspect Context， LSTM-MATT-AC）網(wǎng)絡(luò)模型。其中，多注意力機(jī)制包括：1）位置注意力機(jī)制。以屬性為中心，計(jì)算句中其他詞和屬性間的相對(duì)位置關(guān)系，表示每個(gè)詞對(duì)屬性的影響程度。2）內(nèi)容注意力機(jī)制。將屬性詞向量與句中其他詞的特征向量通過(guò)運(yùn)算獲得注意力權(quán)重值，表示每個(gè)詞與屬性的語(yǔ)義關(guān)聯(lián)程度。3）類別注意力機(jī)制?；谟?xùn)練數(shù)據(jù)中各類別的數(shù)據(jù)量進(jìn)行計(jì)算，來(lái)解決類別數(shù)據(jù)量不均衡引起的模型偏置問(wèn)題。其中屬性上下文部分明確區(qū)分屬性的上下文，通過(guò)前向和反向LSTM獨(dú)立編碼屬性上下文語(yǔ)義特征。本文模型從不同的角度學(xué)習(xí)了多特征信息，更準(zhǔn)確地生成了特定屬性的情感特征向量。本文采SemEval2014 Task4的競(jìng)賽數(shù)據(jù)集[16]以及Twitter領(lǐng)域數(shù)據(jù)集[17]作為模型的評(píng)測(cè)數(shù)據(jù)集。

1 屬性情感分析模型——LSTM-MATT-AC

本文提出了一種融合多注意力和屬性上下文的LSTM（LSTM-MATT-AC）網(wǎng)絡(luò)模型。通過(guò)三種作用在雙向LSTM不同位置的注意力機(jī)制和獨(dú)立編碼屬性上下文的處理方式來(lái)更加充分地學(xué)習(xí)特定屬性的情感特征信息。如圖1所示，模型LSTM-MATT-AC主要由輸入層、雙向LSTM層、屬性內(nèi)容選擇層、屬性上下文層、特征融合層、輸出層等6部分組成。

1.1 任務(wù)定義

對(duì)于長(zhǎng)度為n的句子s={w1，w2，…，wl，…，wr，…，wn}，其中{wl，wl+1，…，wr}表示句子中存在的某個(gè)屬性，是一個(gè)單詞或短語(yǔ)。屬性情感分析任務(wù)的目標(biāo)是判別句子中特定屬性的情感極性。例如“Great food， but the service was dreadful”，對(duì)于屬性“food”來(lái)說(shuō)，情感極性是positive;而對(duì)于屬性“service”來(lái)說(shuō)，情感極性是negative。本文將數(shù)據(jù)集中的單詞映射為低維度、連續(xù)的實(shí)值向量，也稱詞向量，每個(gè)單詞是wi表示的詞向量vi∈Rdw的詞向量wi是向量、矢量嗎？還是其中的某一個(gè)具體數(shù)值，請(qǐng)明確，所有的詞向量構(gòu)成了一個(gè)詞向量矩陣L∈Rdw×|V|，其中：dw表示詞向量的維度，|V|表示詞典的大小。

1.2 模型概述

1.2.1 輸入層

1.2.2 雙向LSTM層

1.2.3 屬性內(nèi)容選擇層

1.2.4 屬性上下文層

1.2.5 特征融合層

1.2.6 輸出層

1.3 多注意力機(jī)制概述

1.3.1 位置注意力機(jī)制

在屬性級(jí)情感分析任務(wù)中，單詞和屬性之間的相對(duì)位置隱含著很重要的信息[18]。距離屬性越近的單詞通常情況下對(duì)屬性的影響程度越大。圖2所示的句子中，單詞“Great”是屬性“food”正確的情感詞，同時(shí)“Great”比情感詞“dreadful”距離屬性“food”的相對(duì)位置更近，但對(duì)于屬性“service”來(lái)說(shuō)，它與正確情感詞“dreadful”的相對(duì)位置和錯(cuò)誤情感詞“Great”的相對(duì)位置相同。這種現(xiàn)象的存在，導(dǎo)致簡(jiǎn)單的位置權(quán)重計(jì)算存在弊端。通過(guò)對(duì)數(shù)據(jù)集的觀察后發(fā)現(xiàn)存在該現(xiàn)象的句子中往往會(huì)使用標(biāo)點(diǎn)符號(hào)來(lái)分隔不同屬性的情感表達(dá)，針對(duì)這一規(guī)律，本文提出了一種基于標(biāo)點(diǎn)符號(hào)的權(quán)重梯級(jí)衰減算法來(lái)計(jì)算句子中單詞與屬性之間的相對(duì)位置權(quán)重，如算法1所示。

其中：式（10）中b=bL或bR表示屬性的左右邊界下標(biāo)，tmax表示句子的實(shí)際長(zhǎng)度。式（11）中countL或countR表示左右兩側(cè)標(biāo)點(diǎn)符號(hào)的計(jì)數(shù)器值， β和γ分別是衰減控制參數(shù)。本文通過(guò)對(duì)比多次參數(shù)實(shí)驗(yàn)結(jié)果后設(shè)定參數(shù)β=0.2，γ=0.05。上述位置權(quán)重算法在單詞和屬性相對(duì)位置的基礎(chǔ)上，考慮了標(biāo)點(diǎn)符號(hào)的影響，計(jì)算出句子中每個(gè)單詞的位置權(quán)重，有效地表示了不同單詞對(duì)特定屬性的影響程度。

1.3.2 內(nèi)容注意力機(jī)制

在屬性情感分析任務(wù)中，注意力機(jī)制通過(guò)訓(xùn)練學(xué)習(xí)，能夠讓網(wǎng)絡(luò)模型主動(dòng)關(guān)注與當(dāng)前屬性關(guān)系密切的數(shù)據(jù)信息，從而生成更準(zhǔn)確的屬性情感特征。例句“Great food， but the service was dreadful.”中單詞“Great”與屬性“food”的關(guān)系密切，而單詞“dreadful”則與屬性“service”的關(guān)系更密切。為了充分利用注意力機(jī)制的優(yōu)勢(shì)，本文引入了內(nèi)容注意力機(jī)制來(lái)提升模型的效果。

1.3.3 類別注意力機(jī)制

在訓(xùn)練數(shù)據(jù)中，不同類別數(shù)據(jù)量的不均衡在訓(xùn)練過(guò)程中會(huì)引起模型的偏置問(wèn)題[19]。對(duì)于待分類的句子，偏置模型會(huì)傾向于預(yù)測(cè)數(shù)據(jù)量大的情感類別，為此本文將類別注意力機(jī)制應(yīng)用到模型損失函數(shù)的計(jì)算中來(lái)克服這一弊端。對(duì)于數(shù)據(jù)量偏小，模型無(wú)法充分學(xué)習(xí)情感特征導(dǎo)致誤分類的類別，通過(guò)懲罰其損失函數(shù)，來(lái)引導(dǎo)模型更深層次的挖掘該類別的特征信息。本文引入平滑因子φ來(lái)增強(qiáng)類別注意力計(jì)算的魯棒性。統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)中各類別的數(shù)據(jù)量，通過(guò)式（14）的運(yùn)算來(lái)獲得不同類別的注意力權(quán)重：

其中：c表示記錄了各類別數(shù)據(jù)量的列表;ci表示某個(gè)類別的數(shù)據(jù)量。本文通過(guò)對(duì)比多次參數(shù)實(shí)驗(yàn)結(jié)果后設(shè)定SemEval2014 Task4中Restaurant和Laptop領(lǐng)域φ=0，Dong等[17]文獻(xiàn)17的作者不是Dong，請(qǐng)對(duì)語(yǔ)句進(jìn)行相應(yīng)調(diào)整。注意，要保證文獻(xiàn)在正文中的依次引用順序收集標(biāo)注的Twitter領(lǐng)域φ=0.1。

1.4 模型訓(xùn)練

本文情感分析模型的訓(xùn)練采用端到端的反向傳播算法，損失函數(shù)采用交叉熵代價(jià)函數(shù)，同時(shí)為了避免過(guò)擬合問(wèn)題，加入了L2正則化。通過(guò)最小化損失函數(shù)來(lái)優(yōu)化模型，完成屬性級(jí)情感分類任務(wù)：

其中：yji表示句子中特定屬性正確的情感類別;ji表示句子中特定屬性預(yù)測(cè)的情感類別;i表示句子的索引; j表示情感類別的索引;λ表示L2正則化的權(quán)重;θ表示神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練參數(shù)。

2 實(shí)驗(yàn)結(jié)果及分析

將本文模型LSTM-MATT-AC在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，解決屬性級(jí)情感分析任務(wù)。在本文實(shí)驗(yàn)中，詞向量采用Pennington等[20]文獻(xiàn)20的作者不是Pennington，請(qǐng)對(duì)語(yǔ)句進(jìn)行相應(yīng)調(diào)整。注意，要保證文獻(xiàn)在正文中的依次引用順序提出的預(yù)訓(xùn)練Glove詞向量，其中詞向量維度為300維，詞典的大小為1.9MB。對(duì)于未登錄詞，采用均勻分布U（-ε，ε）來(lái)隨機(jī)初始化詞向量，其中ε設(shè)置為0.01。對(duì)于單個(gè)詞構(gòu)成的屬性，直接取相應(yīng)的詞向量作為屬性詞向量，例如“food”“staff”等;對(duì)于多個(gè)詞組成的屬性，取相應(yīng)詞向量矩陣的平均值作為屬性詞向量，例如“battery life”等。該情感分析模型運(yùn)行在Tesla K80服務(wù)器，CentOS Linux 7.3.1611系統(tǒng)，運(yùn)行環(huán)境為tensorflow 1.5。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用的英文數(shù)據(jù)是SemEval2014 Task4的競(jìng)賽數(shù)據(jù)集[16]和Dong等[17]收集標(biāo)注的Twitter標(biāo)準(zhǔn)數(shù)據(jù)集。其中SemEval2014 Task4是國(guó)際語(yǔ)義評(píng)測(cè)比賽Task4的數(shù)據(jù)集，包含Restaurant和Laptop兩個(gè)領(lǐng)域的用戶評(píng)論。3個(gè)數(shù)據(jù)集的評(píng)論中共包含積極、中性和消極三種情感極性。表1給出了本文實(shí)驗(yàn)所用數(shù)據(jù)的統(tǒng)計(jì)。

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

句子中詞向量的維度、屬性詞向量的維度以及雙向LSTM輸出的特征向量連接后的維度都是300。三種注意力機(jī)制的維度和句子的長(zhǎng)度保持一致。雙向LSTM的層數(shù)設(shè)置為1。模型中所有的參數(shù)都采用均勻分布U（-ε，ε）來(lái)隨機(jī)初始化值，其中ε設(shè)置為0.05。通過(guò)每個(gè)batch中25個(gè)樣本的方式進(jìn)行模型的訓(xùn)練，Adam優(yōu)化算法的初始學(xué)習(xí)率為0.001，衰減率為0.95，L2正則化的權(quán)重設(shè)置為0.001。模型中的dropout設(shè)置為0.2。

2.3 實(shí)驗(yàn)對(duì)比

將本文提出的模型LSTM-MATT-AC和以下5種模型在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

1）TD-LSTM（Target-Dependent LSTM）。Tang等[10]提出的TD-LSTM，通過(guò)前向和反向LSTM網(wǎng)絡(luò)分別獨(dú)立地編碼特定屬性的上下文信息，連接兩個(gè)LSTM最后隱藏層輸出的特征向量進(jìn)行情感分類。該模型將不同的屬性作為不同的目標(biāo)，編碼不同的屬性上下文信息，改善了情感分類的效果。

2）TC-LSTM（Target-Connection LSTM）。Tang等[10]在TD-LSTM模型的基礎(chǔ)上進(jìn)行了改進(jìn)。將屬性詞向量矩陣與句子的上下文詞向量矩陣連接后作為模型的輸入，能夠讓模型更好地學(xué)習(xí)屬性的信息。

3）AT-LSTM（Attention-based LSTM）。Wang等[14]在標(biāo)準(zhǔn)LSTM中引入了基于屬性詞向量的注意力機(jī)制，能夠讓模型選擇性關(guān)注與當(dāng)前屬性關(guān)聯(lián)密切的內(nèi)容信息，從而生成更準(zhǔn)確的屬性情感特征向量。

4）ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）。Wang等[14]在AT-LSTM輸入層引入了屬性連接組件，將屬性詞向量連接到輸入詞向量中，讓模型能夠在雙向LSTM編碼過(guò)程中學(xué)習(xí)更多與屬性相關(guān)的語(yǔ)義特征信息。

5）AOA-LSTM（Attention-Over-Attention LSTM）。Huang等[15]提出的AOA-LSTM模型，通過(guò)雙向LSTM分別構(gòu)建了句子和屬性的特征向量矩陣，之后計(jì)算了基于屬性的句子注意力矩陣（target-to-text）和基于句子的屬性注意力矩陣（text-to-target），最后將兩個(gè)注意力矩陣進(jìn)行疊加融合來(lái)構(gòu)建特定屬性的情感特征向量。該模型將屬性序列化處理，通過(guò)上下文編碼和注意力計(jì)算讓模型能夠關(guān)注屬性序列中的重要信息，從而輔助句子向量挖掘更深層次的情感特征信息。

2.4 結(jié)果分析

本文采用準(zhǔn)確率來(lái)評(píng)估屬性情感分類的效果[21]，定義如式（16）所示：

其中：numcor表示情感分類正確預(yù)測(cè)的句子數(shù);numall表示數(shù)據(jù)集總共的句子數(shù)。評(píng)估指標(biāo)acc表示模型在數(shù)據(jù)集中預(yù)測(cè)正確情感類別的百分比。準(zhǔn)確率acc越高，模型的性能越好。

本文將6種模型在SemEval2014 Task4的Restaurant和Laptop數(shù)據(jù)集[16]以及Dong等[17]收集標(biāo)注的Twitter數(shù)據(jù)集上進(jìn)行訓(xùn)練。表2給出了6種模型在3個(gè)不同領(lǐng)域數(shù)據(jù)集上情感極性三分類結(jié)果。

從表2的結(jié)果可以看出，對(duì)于三分類任務(wù)，本文模型LSTM-MATT-AC在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上都取得了不錯(cuò)的情感分類效果。模型TC-LSTM和ATAE-LSTM的分類效果分別優(yōu)于模型TD-LSTM和AT-LSTM。兩組實(shí)驗(yàn)結(jié)果的對(duì)比說(shuō)明，在模型的輸入層引入屬性詞向量連接組件，能夠更好地挖掘特定屬性和不用單詞之間的語(yǔ)義關(guān)聯(lián)信息，幫助模型更準(zhǔn)確地學(xué)習(xí)特定屬性的情感特征。在Restaurant和Twitter兩個(gè)不同領(lǐng)域的數(shù)據(jù)集上，模型ATAE-LSTM分別比模型TC-LSTM的分類準(zhǔn)確率提高了1.18%和0.15%，驗(yàn)證了注意力機(jī)制在屬性情感分類任務(wù)中的有效性，但由于模型ATAE-LSTM僅在單向LSTM中引入了注意力機(jī)制，所以情感分類的準(zhǔn)確率比模型TC-LSTM的提升幅度不大。

模型LSTM-MATT-AC在輸入層引入屬性詞向量連接組件的同時(shí)，在句子的詞向量矩陣中引入了位置注意力機(jī)制，將位置加權(quán)的詞向量矩陣與屬性詞向量矩陣進(jìn)行連接，讓模型能夠更好地關(guān)注不同位置的單詞對(duì)屬性的影響程度。相比模型ATAE-LSTM采用單向LSTM，本文模型通過(guò)采用雙向LSTM能夠更好地學(xué)習(xí)句子的上下文特征信息;同時(shí)，屬性內(nèi)容注意力機(jī)制的引入讓模型能夠選擇性地關(guān)注與屬性語(yǔ)義內(nèi)容關(guān)聯(lián)密切的數(shù)據(jù)信息，從而構(gòu)建更準(zhǔn)確的屬性情感特征。在Restaurant、Laptop和Twitter三個(gè)不同領(lǐng)域的數(shù)據(jù)集上，本文提出的模型分別比ATAE-LSTM的情感分類準(zhǔn)確率提高了4.4%、9.32%和4.41%，驗(yàn)證了模型LSTM-MATT-AC在不同領(lǐng)域數(shù)據(jù)集上屬性情感分類的有效性。

對(duì)比本文提出的模型LSTM-MATT-AC和Huang等[1215]文獻(xiàn)12的作者不是Huang，請(qǐng)對(duì)語(yǔ)句進(jìn)行相應(yīng)調(diào)整。注意，要保證文獻(xiàn)在正文中的依次引用順序提出的模型AOA-LSTM可以看出，在Restaurant數(shù)據(jù)集上，AOA-LSTM的分類準(zhǔn)確率高于LSTM-MATT-AC。這說(shuō)明將屬性序列化處理，通過(guò)上下文編碼和注意力計(jì)算等方式能夠讓模型更深層次地挖掘?qū)傩孕蛄兄械闹匾畔ⅲ疚哪Ｐ蛢H僅對(duì)屬性詞序列進(jìn)行了平均運(yùn)算，但在Laptop數(shù)據(jù)集上，本文模型的分類效果卻優(yōu)于AOA-LSTM模型。對(duì)比Restaurant和Laptop兩個(gè)數(shù)據(jù)集后發(fā)現(xiàn)，Restaurant數(shù)據(jù)集中存在較長(zhǎng)序列的屬性，比如“chocolate souffle with rasberry mint sorbet”和“l(fā)amb glazed with balsamic vinegar”等，而Laptop數(shù)據(jù)集中屬性詞序列的單詞個(gè)數(shù)控制在4個(gè)以內(nèi)。這說(shuō)明在長(zhǎng)序列屬性比例大的數(shù)據(jù)集中，AOA-LSTM模型的情感分類效果優(yōu)于LSTM-MATT-AC模型，但在整體屬性詞序列較短的數(shù)據(jù)集上，本文提出的模型存在一定的優(yōu)勢(shì)，能夠取得較高的情感分類準(zhǔn)確率。

為了進(jìn)一步比較本文提出的模型LSTM-MATT-AC和其他模型在屬性級(jí)情感分析任務(wù)中的分類效果，本文只保留了3個(gè)數(shù)據(jù)集中積極和消極的樣本數(shù)據(jù)來(lái)進(jìn)行二分類的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

從表3的結(jié)果可以看出，除去中性數(shù)據(jù)后，5個(gè)模型情感分類的準(zhǔn)確率都有了明顯的提升。通過(guò)觀察3個(gè)不同領(lǐng)域數(shù)據(jù)集的中性情感句子后發(fā)現(xiàn)，中性情感的句子絕大多數(shù)都是對(duì)某個(gè)屬性的客觀描述，并沒(méi)有包含評(píng)論者對(duì)該屬性的情感傾向表達(dá)。例如“It took about 2 hours to be served our 2 courses .”對(duì)于屬性“courses”來(lái)說(shuō)，例句中并不存在評(píng)論者對(duì)屬性“courses”的情感表達(dá)。另一個(gè)發(fā)現(xiàn)是一些積極或消極情感的句子由于對(duì)應(yīng)屬性情感的表達(dá)過(guò)于含蓄或句子結(jié)構(gòu)復(fù)雜等原因，導(dǎo)致模型無(wú)法準(zhǔn)確捕獲該屬性的情感特征信息，從而將屬性誤分類到中性情感類別中。綜上所述，中性情感句子內(nèi)容的客觀性和類別界限的模糊性導(dǎo)致中性情感極性數(shù)據(jù)的加入會(huì)降低模型在情感分類任務(wù)的準(zhǔn)確率。通過(guò)實(shí)驗(yàn)結(jié)果的對(duì)比，模型ATAE-LSTM在Laptop數(shù)據(jù)集上的分類準(zhǔn)確率最高，為87.6%。本文模型在Restaurant和Twitter兩個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率都高于其他模型，分別為91%和86.8%。在Laptop數(shù)據(jù)集上的分類準(zhǔn)確率為87%，與87.6%的最高準(zhǔn)確率相比，僅相差0.6個(gè)百分點(diǎn)。這說(shuō)明本文模型能夠較好地解決不同領(lǐng)域的屬性情感分析任務(wù)。

模型LSTM-MATT-AC在輸入層的詞向量矩陣中加入了位置注意力機(jī)制，為了驗(yàn)證位置注意力機(jī)制的有效性，本文去掉了位置注意力機(jī)制構(gòu)建了模型LSTM-NP-AC。在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行了二分類實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3所示。從圖3的結(jié)果可以看出，在輸入層的詞向量矩陣中加入位置注意力機(jī)制后，模型LSTM-MATT-AC在3個(gè)不同領(lǐng)域數(shù)據(jù)集上的情感分類效果都有提升。其中，Restaurant、Laptop和Twitter領(lǐng)域分別提高了2.25%，2.0%和1.4%。這說(shuō)明在輸入層加入位置注意力后，雙向LSTM在訓(xùn)練過(guò)程中會(huì)結(jié)合不同單詞與屬性之間的相對(duì)位置來(lái)編碼特定屬性的上下文信息，讓模型能夠有效地關(guān)注不同單詞對(duì)屬性的影響程度，從而挖掘出更多有利于屬性情感分類的特征信息。

在訓(xùn)練數(shù)據(jù)中，不同情感類別的數(shù)據(jù)量存在不均衡的現(xiàn)象，圖4給出了二分類任務(wù)中3個(gè)不同領(lǐng)域的數(shù)據(jù)統(tǒng)計(jì)。為了驗(yàn)證類別注意力機(jī)制對(duì)屬性情感分類的有效性，本文去掉了類別注意力機(jī)制，構(gòu)建了模型LSTM-NC-AC。在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行了二分類的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。

圖4的數(shù)據(jù)統(tǒng)計(jì)說(shuō)明，相比Twitter領(lǐng)域的數(shù)據(jù)集，Restaurant和Laptop領(lǐng)域的數(shù)據(jù)集存在類別數(shù)據(jù)量不均衡的問(wèn)題。圖5的實(shí)驗(yàn)結(jié)果表明，加入類別注意力機(jī)制后，Restaurant和Laptop領(lǐng)域的分類準(zhǔn)確率分別提高了1.56%和0.81%，Twitter領(lǐng)域的分類準(zhǔn)確率維持不變。綜合分析圖4的數(shù)據(jù)統(tǒng)計(jì)結(jié)果和圖5的實(shí)驗(yàn)結(jié)果后發(fā)現(xiàn)，在類別數(shù)據(jù)量不均衡的Restaurant和Laptop領(lǐng)域的情感分類模型中加入類別注意力會(huì)有效地提高分類的準(zhǔn)確率;而Twitter領(lǐng)域的數(shù)據(jù)集，由于積極和消極情感類別的數(shù)據(jù)量相當(dāng)，所以類別注意力的加入并未影響模型的分類準(zhǔn)確率。以上分析說(shuō)明，將類別注意力權(quán)重作為懲罰項(xiàng)加入到模型損失函數(shù)的計(jì)算中，會(huì)引導(dǎo)模型均衡地學(xué)習(xí)不同類別的情感特征信息，從而提高情感分類的準(zhǔn)確率，增強(qiáng)模型的魯棒性。

Vo等[9]和Tang等[10]提出的模型明確地區(qū)分了不同屬性的上下文信息，并通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了該處理方式的有效性，為此本文模型LSTM-MATT-AC在多注意力雙向LSTM網(wǎng)絡(luò)的基礎(chǔ)上組合了屬性上下文層，明確區(qū)分出特定屬性的上下文，分別通過(guò)前向和反向LSTM來(lái)獨(dú)立編碼屬性的上下文信息。為了驗(yàn)證屬性上下文層對(duì)屬性情感分類的有效性，本文提出了模型LSTM-MATT-1和LSTM-MATT-2。其中，模型LSTM-MATT-1用（hfn‖hbn）替換了屬性上下文層，而模型LSTM-MATT-2用（hfn‖hb1）替換了屬性上下文層。將3個(gè)模型在3個(gè)不同數(shù)據(jù)集上進(jìn)行二分類實(shí)驗(yàn)，結(jié)果如圖6所示。

從圖6的實(shí)驗(yàn)結(jié)果可以看出，在3個(gè)不同領(lǐng)域的數(shù)據(jù)集上，模型LSTM-MATT-2的分類準(zhǔn)確率普遍高于模型LSTM-MATT-1。表明（hfn‖hb1）比（hfn‖hbn）編碼了更豐富的句子上下文信息，即反向LSTM生成的hb1比hbn編碼了更豐富的單詞下文語(yǔ)境信息;同時(shí)，也驗(yàn)證了LSTM利用門限機(jī)制能夠有效地學(xué)習(xí)句子中長(zhǎng)距離的語(yǔ)義依賴。模型LSTM-MATT-AC的情感分類準(zhǔn)確率又普遍高于模型LSTM-MATT-2，在Restaurant、Laptop和Twitter領(lǐng)域分別提高了1.79%、0.58%和1.4%。這說(shuō)明區(qū)分不同屬性的不同上下文，將一個(gè)屬性作為一個(gè)目標(biāo)，通過(guò)LSTM的上下文獨(dú)立編碼能夠讓模型更加充分地學(xué)習(xí)到屬性的上下文語(yǔ)義特征，從而達(dá)到更好的情感分類效果。

為了進(jìn)一步分析位置注意力機(jī)制和類別注意力機(jī)制對(duì)模型屬性情感分類效果的影響，本文從Restaurant領(lǐng)域數(shù)據(jù)集中抽取了一個(gè)樣本，將模型LSTM-MATT-AC分別同模型LSTM-NP-AC和LSTM-NC-AC生成的單詞注意力權(quán)重值進(jìn)行比較，更深層次地分析不同注意力機(jī)制對(duì)模型情感分類結(jié)果的影響[22]。表4展示了不同模型中句子單詞的注意力權(quán)重的分配結(jié)果。對(duì)于屬性“service”來(lái)說(shuō)，一方面未添加位置注意力機(jī)制的模型LSTM-NP-AC同時(shí)賦予了情感詞“Great”和“dreadful”較大的權(quán)重，而模型LSTM-MATT-AC能夠準(zhǔn)確識(shí)別正確的情感詞“dreadful”，并將其權(quán)重值從0.4606提高到0.8691。這說(shuō)明加入位置注意力機(jī)制的模型能夠?qū)W習(xí)到單詞與屬性之間相對(duì)位置的特征信息，有效地捕獲句子中不同單詞對(duì)屬性的影響程度，增強(qiáng)模型的內(nèi)容注意力層識(shí)別正確情感詞的能力，從而通過(guò)更加合理的權(quán)重分配來(lái)生成更準(zhǔn)確的屬性情感特征信息。另一方面由于Restaurant領(lǐng)域數(shù)據(jù)集的積極情感類別的句子數(shù)量約是消極情感類別數(shù)量的2.4倍，存在情感類別數(shù)量不均衡的現(xiàn)象。對(duì)于例句中情感極性屬于消極的屬性“service”，從表4中可以看出模型LSTM-NC-AC對(duì)其所在子句“but the service was dreadful！”中各單詞的權(quán)重值分配較平均，且分配給該子句的總權(quán)重值0.5169遠(yuǎn)低于模型LSTM-MATT-AC分配給子句的總權(quán)重值0.9969，這說(shuō)明訓(xùn)練數(shù)據(jù)類別不均衡的模型會(huì)存在偏置問(wèn)題。從注意力權(quán)重分配的角度分析，可以發(fā)現(xiàn)模型會(huì)因某個(gè)類別數(shù)據(jù)量的不足而無(wú)法深層次地挖掘該類別數(shù)據(jù)中隱含的特征信息，從而降低對(duì)該類別子句的關(guān)注度，賦予較低的權(quán)重值，且易造成權(quán)值平均化的結(jié)果。通過(guò)深層次地分析句子中單詞的注意力權(quán)重，能夠有力地論證本文模型采用的位置注意力機(jī)制和類別注意力機(jī)制在屬性情感分析任務(wù)中的有效性。

2.5 可視化注意力機(jī)制

為了更好地理解本文的注意力機(jī)制，分析句子中不同單詞對(duì)特定屬性情感極性的影響程度，本文從Restaurant和Laptop領(lǐng)域數(shù)據(jù)集中抽取出四個(gè)典型的樣本，可視化了句子中不同單詞的注意力權(quán)重。圖7展示了注意力可視化的結(jié)果，其中，顏色的深度表示注意力權(quán)重等級(jí)，顏色越深表明單詞的權(quán)重值越大，對(duì)屬性情感極性的影響程度越大[23]。圖7（a）和7（b）的例句“Great food ， but the service was dreadful！”中對(duì)于屬性“food”來(lái)說(shuō)，情感極性是積極;但對(duì)于屬性“service”來(lái)說(shuō)，情感極性是消極，兩個(gè)情感極性相反的子句通過(guò)“but”連接。本文模型能夠在識(shí)別轉(zhuǎn)折句的基礎(chǔ)上，分別準(zhǔn)確地找到屬性“food”和“service”的正確情感詞“Great”和“dreadful”，從而預(yù)測(cè)出不同屬性正確的情感類別。圖7（c）的例句“I highly recommend it for not just its superb cuisine ， but also for its friendly owners and staff .”中屬性“cuisine”的情感極性是積極。雖然句子中“cuisine”的前面存在否定詞“not”，但本文模型能夠判別出“not”在該句中并不表示否定的含義，從而準(zhǔn)確預(yù)測(cè)出該屬性正確的情感類別。圖7（d）“The technical support was not helpful as well .”中屬性“technical support”的情感極性是消極，相比圖7（c）中的例句，本文模型能夠識(shí)別出單詞“not”是對(duì)正面情感詞“helpful”的否定，從而準(zhǔn)確判別出該屬性正確的情感類別。

通過(guò)對(duì)圖7可視化結(jié)果的分析可以看出，本文模型能夠很好地解決不同類型句子的屬性情感分析問(wèn)題。在正確識(shí)別轉(zhuǎn)折詞、否定詞等語(yǔ)義的基礎(chǔ)上，模型通過(guò)注意力機(jī)制能夠動(dòng)態(tài)地偵測(cè)到句子中不同屬性對(duì)應(yīng)的正確情感詞，從而準(zhǔn)確地判別屬性的情感極性。

3 結(jié)語(yǔ)

針對(duì)屬性級(jí)情感分析任務(wù)，本文提出的模型LSTM-MATT-AC融合了多注意力機(jī)制和屬性的上下文信息來(lái)構(gòu)建情感特征。通過(guò)多注意力機(jī)制讓模型能夠從多個(gè)角度關(guān)注句子中不同單詞與屬性之間的聯(lián)系，準(zhǔn)確地表示出不同單詞對(duì)屬性的影響程度，挖掘句子更深層次的情感信息;同時(shí)，由于不同屬性詞的上下文存在差異，模型通過(guò)雙向LSTM獨(dú)立地編碼了特定屬性的上下文信息。將多注意力機(jī)制選擇性關(guān)注的特征信息和屬性的上下文語(yǔ)義信息進(jìn)行融合，有效地判別了句子中不同屬性的情感極性。通過(guò)在3個(gè)不同領(lǐng)域評(píng)測(cè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明，本文提出的模型比基于單注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型在屬性情感分類的準(zhǔn)確率上有了進(jìn)一步的提升，從而很好地解決了屬性情感分析任務(wù)。

本文提出的模型采用平均化方式來(lái)處理屬性詞序列，導(dǎo)致無(wú)法捕獲到屬性詞序列中的重要特征信息，如何利用注意力機(jī)制來(lái)實(shí)現(xiàn)屬性詞序列的特征融合是下一步工作的重點(diǎn)，以后將針對(duì)屬性詞序列的處理問(wèn)題對(duì)模型進(jìn)行改進(jìn)。

參考文獻(xiàn) （References）

[1] 趙妍妍，秦兵，劉挺.文本情感分析[J].軟件學(xué)報(bào)，2010，21（8）：1834-1848.（ZHAO Y Y， QIN B， LIU T. Sentiment analysis[J].Journal of Software，2010，21（8）：1834-1848.）

[2] 劉新星，姬東鴻，任亞峰.基于神經(jīng)網(wǎng)絡(luò)模型的產(chǎn)品屬性情感分析[J].計(jì)算機(jī)應(yīng)用，2017，37（6）：1735-1740.（LIU X X， JI D H， REN Y F. Product property sentiment analysis based on neural network model [J].Journal of Computer Applications，2017，37（6）：1735-1740.）

[3] 梁斌，劉全，徐進(jìn)，等.基于多注意力卷積神經(jīng)網(wǎng)絡(luò)的特定目標(biāo)情感分析[J].計(jì)算機(jī)研究與發(fā)展，2017，54（8）：1724-1735.（LIANG B， LIU Q， XU J， et al. Aspect-based sentiment analysis based on multi-attention CNN[J].Journal of Computer Research and Development，2017，54（8）：1724-1735.）

[4] JIANG L， YU M， ZHOU M， et al. Target-dependent Twitter sentiment classification [C]// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2011：151-160.

[5] QIAN Q， TIAN B， HUANG M， et al. Learning tag embeddings and tag-specific composition functions in recursive neural network [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：1365-1374.

[6] SOCHER R， PERELYGIN A， WU J Y， et al. Recursive deep models for semantic compositionality over a sentiment treebank [C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013：1631-1642.

[7] TAI K S， SOCHER R， MANNING C D. Improved semantic representations from tree-structured long short-term memory networks [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1556-1566.

[8] RUDER S， GHAFFARI P， BRESLIN J G. A hierarchical model of reviews for aspect-based sentiment analysis [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：999-1005.

[9] VO D T， ZHANG Y. Target-dependent twitter sentiment classification with rich automatic features [C]// Proceedings of the 25th International Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2015：1347-1353.

[10] TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification [C]// COLING 2016： Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. Osaka， Japan： [s.n.]， 2016：3298-3307.

[11] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// ICLR 2015： Proceedings of the 3rd International Conference on Learning Representations. San Diego， CA： [s.n.]， 2015：1-15.

[12] RUSH A M， CHOPRA S， WESTON J. A neural attention model for abstractive sentence summarization [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：379-389.

[13] HERMANN K M， KOCISKY T， GREFENSTETTE E， et al. Teaching machines to read and comprehend [C]// NIPS15： Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：1693-1701.

[14] WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

[15] HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks [C]// Proceedings of the 11th International Conference on Social Computing， Behavioral-Cultural Modeling， and Prediction Conference and Behavior Representation in Modeling and Simulation. Berlin： Springer， 2018： 197-206.

[16] （1） 參考文獻(xiàn)的順序排列有誤，導(dǎo)致文獻(xiàn)在正文中的排列順序有誤?，F(xiàn)修改為：原來(lái)標(biāo)號(hào)[20]的參考文獻(xiàn)應(yīng)調(diào)整到標(biāo)號(hào)[16]的位置處，相應(yīng)的原來(lái)標(biāo)號(hào)[16]-[19]的依次更改為[17]-[20]。

PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 Task 4： aspect based sentiment analysis [C]// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014：27-35.

[17] DONG L， WEI F， TAN C， et al. Adaptive recursive neural network for target-dependent twitter sentiment classification [C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014：49-54.

[18] CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017：452-461.

[19] BAZIOTIS C， PELEKIS N， DOULKERIDIS C. DataStories at SemEval-2017 task 4： deep LSTM with attention for message-level and topic-based sentiment analysis [C]// Proceedings of the 11th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2017：747-754.

[20] PENNINGTON J， SOCHER R， MANNING C. Glove： global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014：1532-1543.

[21] MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification [C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Melbourne， Australia： [s.n.]， 2017：4068-4074.

[22] TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：214-224.

[23] 胡朝舉，梁寧.基于深層注意力的LSTM的特定主題情感分析[J/OL].計(jì)算機(jī)應(yīng)用研究， 2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.（HU C J， LIANG N. Deeper attention-based LSTM for aspect sentiment analysis[J/OL]. Application Research of Computers，2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.）