陳 虹，楊 燕，杜圣東

西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都611756

在互聯(lián)網(wǎng)使用持續(xù)深化的趨勢下，人們習(xí)慣于在互聯(lián)網(wǎng)上學(xué)習(xí)、購物、社交等，并發(fā)表自己的評論，而這些評論包含了對事物不同方面的滿意度。對這些評論語句進(jìn)行分析和挖掘，得到其中的情感觀點(diǎn)，能夠?qū)Q策進(jìn)行有利支持。

以往，情感分析的研究對象是整篇文章、整段話或整個句子，判斷這些文章、段落或句子的整體情感傾向。然而在現(xiàn)實(shí)生活中，人們往往在一篇文章中包含不同的觀點(diǎn)，甚至一個句子中就有相反的觀點(diǎn)。例如，在句子“這部手機(jī)的拍照性能很不錯，但是價格太貴了”中，“拍照性能”和“價格”兩方面的情感極性是相反的。因此基于方面的情感分析被學(xué)者提出來，并且近年來已成為自然語言處理（natural language processing，NLP）領(lǐng)域的研究熱點(diǎn)之一[1-2]?；诜矫娴那楦蟹治鱿噍^于傳統(tǒng)的文本情感分析可以挖掘用戶更細(xì)膩的情感表達(dá)，分析用戶對各個目標(biāo)方面的具體情感觀點(diǎn)，能夠?yàn)闆Q策者提供更加準(zhǔn)確的決策支撐。

與傳統(tǒng)的機(jī)器學(xué)習(xí)算法對比，深度學(xué)習(xí)具有更強(qiáng)的表達(dá)能力。深度學(xué)習(xí)重點(diǎn)研究如何對原數(shù)據(jù)進(jìn)行特征提取以及表達(dá)的相關(guān)問題。對于NLP 任務(wù)，基于深度學(xué)習(xí)的方法在如何建模、表達(dá)、解釋以及模型優(yōu)化等方面具有明顯優(yōu)勢。近年來，利用深度學(xué)習(xí)技術(shù)處理情感分析任務(wù)取得了較好的表現(xiàn)。

隨著注意力機(jī)制的廣泛應(yīng)用，與神經(jīng)網(wǎng)絡(luò)結(jié)合的注意力機(jī)制模型取得了比傳統(tǒng)算法更有效的結(jié)果。與注意力機(jī)制結(jié)合的神經(jīng)網(wǎng)絡(luò)模型可以更有效地對特定方面進(jìn)行模型訓(xùn)練，關(guān)注句子中更重要的部分。以往的研究已經(jīng)意識到評價對象的重要性，并通過生成評價對象的特定表示來對上下文建模，但忽略了評價對象的單獨(dú)建模，僅考慮了評價對象與上下文中詞語的相關(guān)性，沒有考慮評價對象本身包含的語義信息。

為解決此問題，本文提出了基于BiLSTM（bidirectional long short-term memory）的交互注意力模型（interactive attention network model based on bidirectional long short-term memory，Bi-IAN）。使用BiLSTM模型分別對目標(biāo)和上下文進(jìn)行建模，得到隱藏表示，并通過交互注意模塊學(xué)習(xí)上下文和目標(biāo)中的注意力，分別生成目標(biāo)和上下文的表示。該模型能夠更好地表示目標(biāo)及其上下文，捕捉目標(biāo)和上下文之內(nèi)和之間的相關(guān)性，有助于判斷情感的分類。

1 相關(guān)工作

機(jī)器學(xué)習(xí)技術(shù)已廣泛應(yīng)用于情感分析任務(wù)，Pang等[3]采用樸素貝葉斯、最大熵分類和支持向量機(jī)這三種機(jī)器學(xué)習(xí)的方法來進(jìn)行整篇文章的情感分類，并總結(jié)了情感分類問題中的挑戰(zhàn)性。Liu 等[4]研究樸素貝葉斯分類器在情感分析任務(wù)上針對大數(shù)據(jù)集上的可擴(kuò)展性，并設(shè)計了大數(shù)據(jù)分析系統(tǒng)，實(shí)驗(yàn)證明這個系統(tǒng)能分析數(shù)百萬電影評論的情感極性。機(jī)器學(xué)習(xí)方法在過去的研究中取得了很大的成功，但依賴于復(fù)雜的人工規(guī)則和特征工程。Mikolov等[5]提出了段落向量，這是一種無監(jiān)督的學(xué)習(xí)算法，它學(xué)習(xí)可變長度文本的向量表示，如句子、段落和文檔。向量表示是通過預(yù)測從段落中采樣的上下文中的周圍單詞來學(xué)習(xí)的。

深度學(xué)習(xí)結(jié)合注意力機(jī)制在方面級情感分析任務(wù)上有更好的分類性能。Tang 等人[6]介紹了一種用于方面級情感分類的端到端記憶網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用一種具有外部記憶的注意力機(jī)制來捕捉每個上下文單詞相對于給定目標(biāo)方面的重要性。Wang等[7]提出了一種基于注意力機(jī)制的目標(biāo)嵌入LSTM（long short-term memory）方法（attention-based LSTM with aspect embedding，ATAE-LSTM）。注意力機(jī)制使得模型能處理句子的重要部分，以響應(yīng)特定的特征。同樣地，Yang 等[8]提出了兩種基于注意力的雙向LSTM來提高分類性能。Liu等[9]擴(kuò)展了注意力模型，將從特定目標(biāo)/特征的上下文中獲得的注意力區(qū)分開來。他們通過增加多個門進(jìn)一步控制注意力機(jī)制的效果。Chen等[10]提出一個循環(huán)注意力網(wǎng)絡(luò)來捕捉復(fù)雜情境的情緒。該模型使用了動態(tài)的注意力結(jié)構(gòu)，并在GRU（gated recurrent unit）中學(xué)習(xí)注意力的非線性組合。曹宇等[11]提出了雙向的GRU模型進(jìn)行中文的情感分析。

在這些方法中，普遍使用LSTM模型來提取評論數(shù)據(jù)的上下文信息，LSTM 解決了RNN（recurrent neural network）模型的長依賴問題，結(jié)構(gòu)如圖1所示。

假設(shè)上一時刻的細(xì)胞狀態(tài)是Ct-1，上一時刻的隱藏狀態(tài)是ht-1，當(dāng)前時刻的細(xì)胞狀態(tài)是Ct，當(dāng)前時刻的隱藏狀態(tài)是ht，LSTM 的計算公式如式（1）～式（6）所示。

Fig.1 Structure of LSTM圖1 長短期記憶網(wǎng)絡(luò)模型結(jié)構(gòu)

其中，i、f、o分別代表輸入門、遺忘門和輸出門，用于為記憶單元和環(huán)境之間相互作用進(jìn)行建模。σ表示Sigmoid 函數(shù)，W、b分別代表各個門結(jié)構(gòu)中的權(quán)重矩陣和偏置值。但是LSTM 只能獲取單向的語義信息，BiLSTM 模型對LSTM 進(jìn)一步優(yōu)化，捕捉雙向的語義信息，更加豐富和準(zhǔn)確。

2 Bi-IAN模型

本文提出的Bi-IAN 模型如圖2 所示，分別對目標(biāo)和上下文單獨(dú)進(jìn)行建模，通過交互注意模塊學(xué)習(xí)上下文與目標(biāo)之間的注意力矩陣，并分別生成目標(biāo)和上下文的表示。該模型的具體步驟如下：

（1）輸入層：對評論數(shù)據(jù)樣本和目標(biāo)進(jìn)行分詞、去停用詞等數(shù)據(jù)預(yù)處理，然后映射成詞嵌入，得到每個詞語的詞向量表示。

（2）BiLSTM 層：將輸入層得到的上下文和目標(biāo)詞嵌入分別輸入BiLSTM網(wǎng)絡(luò)，模型從兩個方向上分別提取上下文和目標(biāo)的語義信息，獲得每個時間步上下文和目標(biāo)的隱藏表示。

Fig.2 Structure of Bi-IAN model圖2 Bi-IAN模型結(jié)構(gòu)圖

（3）交互注意力模塊：分別對BiLSTM 得到的上下文和目標(biāo)的隱藏表示取平均值作為上下文和目標(biāo)的初始表示，初始表示與隱藏表示進(jìn)行交互注意力計算，分別得到上下文和目標(biāo)的注意力矩陣，注意力矩陣與隱藏表示重構(gòu)上下文和目標(biāo)的表示，并拼接在一起得到最終向量表示。

（4）輸出層：最終向量表示通過非線性層和Softmax函數(shù)后，得到最終的分類結(jié)果。

2.1 任務(wù)定義

假設(shè)一個上下文由n個詞語組成一個目標(biāo)有m個詞語組成，w表示一個特定的詞。本文提出的情感分析任務(wù)是判斷輸入句子中不同方面的情感極性。例如，句子c=“這家餐廳的飯菜味道一般，但服務(wù)態(tài)度不錯”，其中有兩個目標(biāo)t1=“飯菜 味道”和t2=“服務(wù) 態(tài)度”。在“飯菜味道”方面，是消極的情感極性，在“服務(wù)態(tài)度”方面，是積極的情感極性。本文將每一個詞語進(jìn)行向量化表示，形成具有相同的低維度的詞嵌入wk∈Rd，整個詞典的大小為Mv×d。其中k表示詞語在上下文或者評價對象中的位置，d為詞嵌入的維度，v表示詞典的大小。

2.2 BiLSTM

文本中的詞語上下文均有相關(guān)性，對序列數(shù)據(jù)雙向使用LSTM 模型，能捕捉上下文信息，提供豐富和完整的序列信息和語義信息。在圖3中，針對每一個輸入序列，BiLSTM在前向和后向上訓(xùn)練LSTM模型，再將兩個方向的輸出結(jié)合到一起，形成最終的輸出。在每個時間步長，輸入序列被重復(fù)利用，得到上下文的信息，BiLSTM的結(jié)構(gòu)如圖3所示。

Fig.3 Structure of BiLSTM圖3 BiLSTM結(jié)構(gòu)圖

2.3 交互注意力模塊

通過將上下文和評價對象詞語的隱藏表示取平均值得到上下文和評價對象詞語的初始表示，如式（10）和式（11）所示。

接下來，以上下文和評價對象的初始表示為輸入，采用注意機(jī)制來選擇有助于判斷情感極性的重要信息。同時考慮評價對象對上下文的影響和上下文對評價對象的影響，可以提供更多的線索來關(guān)注相關(guān)的情感特征。上下文的隱藏表示為通過注意力機(jī)制生成上下文對評價對象的注意力，如式（12）所示。

其中，γ如式（13）所示。在得到注意力矩陣后，通過注意力矩陣αi、βi重構(gòu)上下文和評價對象的表示，如式（15）和式（16）所示。

2.4 輸出層

將重構(gòu)后的上下文表示cr和評價對象表示tr連接到一起得到向量d，向量d通過非線性層投影得到C種分類，如式（17）所示。

其中，Wl和bl分別代表權(quán)重矩陣和偏置值。各個帶標(biāo)簽的文檔的情感極性計算如式（18）所示。

其中，i是情感極性的分類且i∈[1,C]，當(dāng)某一個標(biāo)簽的概率最高則是其情感分類的結(jié)果。

2.5 模型訓(xùn)練

在訓(xùn)練模型時，需要優(yōu)化BiLSTM 神經(jīng)網(wǎng)絡(luò)層、注意力層和Softmax層的參數(shù)，使用Θ代表這些層中的權(quán)重矩陣和偏置項。使用L2正則化的交叉熵作為損失函數(shù)，如式（19）所示。

其中，gi使用one-hot向量表示真實(shí)的分類且gi∈RC。yi由式（18）計算得到，表示每個分類的預(yù)測值且yi∈RC。λr是L2正則化的系數(shù)。

在訓(xùn)練過程中，通過反向傳播算法計算梯度，通過式（20）更新所有參數(shù)。

其中，λl表示學(xué)習(xí)率。

為了避免過度擬合，使用dropout 策略在每個訓(xùn)練案例中隨機(jī)省略一半的特征檢測器。在學(xué)習(xí)Θ之后，通過將目標(biāo)與其上下文輸入到Bi-IAN 模型來測試實(shí)例，并且概率最高的標(biāo)簽代表評價對象的預(yù)測情感極性。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)集選用了SemEval 2014 任務(wù)4 的兩個數(shù)據(jù)集和Chinese review datasets 的三個數(shù)據(jù)集。SemEval 2014 任務(wù)4 是英文數(shù)據(jù)集，Chinese review datasets是中文數(shù)據(jù)集。

SemEval 2014任務(wù)4中包含Restaurant評論數(shù)據(jù)集和Laptop評論數(shù)據(jù)集，分為訓(xùn)練集和測試集，訓(xùn)練集和測試集均包含Positive、Neutral 和Negative 三種情感極性，分別用1、0和-1表示。訓(xùn)練集和測試集的各個情感極性的評論數(shù)量劃分如表1所示。

Table 1 English experimental data statistics表1 英文實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計

Chinese review datasets 中文評論數(shù)據(jù)集來自文獻(xiàn)[12]，由Peng 等人在文獻(xiàn)[13]的基礎(chǔ)上完善形成。該數(shù)據(jù)集包含了Notebook、Car、Camera 和Phone 四個領(lǐng)域的評論數(shù)據(jù)，每條評論表達(dá)對一個方面的看法，同時提取每條評論的方面，并為每條評論進(jìn)行極性標(biāo)注。由于Phone 數(shù)據(jù)集標(biāo)簽缺失，本文使用Notebook、Car 和Camera 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Chinese review datasets 包含Positive 和Negative 兩種極性，分別用1 和0 表示。各個領(lǐng)域的數(shù)據(jù)集在兩個極性上的數(shù)據(jù)數(shù)量如表2所示。

Table 2 Chinese experimental data statistics表2 中文實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

未登錄詞語和權(quán)重矩陣通過均勻分布U(-0.1,0.1)抽樣進(jìn)行初始化，所有的偏置初始化為0。在英文方面級情感分析實(shí)驗(yàn)中，詞嵌入通過GloVe預(yù)訓(xùn)練詞向量獲得。在中文方面級情感分析實(shí)驗(yàn)中，三個數(shù)據(jù)集中80%的數(shù)據(jù)作為訓(xùn)練集，剩余20%的數(shù)據(jù)作為測試集。由于數(shù)據(jù)集較小，上下文和方面詞語的詞嵌入通過遍歷中文預(yù)訓(xùn)練詞向量（Chinese word vectors）[14]獲得。中文預(yù)訓(xùn)練詞向量在百度百科語料庫上使用SGNS（skip-gram with negative sampling）模型訓(xùn)練得到。參數(shù)設(shè)置如表3所示。

Table 3 Setting of parameters表3 參數(shù)設(shè)置

3.3 對比算法

將本文提出的模型與經(jīng)典的情感分析模型在SemEval 2014 任務(wù)4 的兩個數(shù)據(jù)集和Chinese review datasets 的三個數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，驗(yàn)證所提方法的有效性。

（1）Majority：Majority 方法是一種基線方法，該方法返回訓(xùn)練集中的多數(shù)情感極性類，并分配給測試集中的每個樣本。

（2）LSTM：LSTM模型[15]用于方面級的情感分析中，將上下文的詞語按照語序輸入到模型中進(jìn)行計算，得到最終的輸出直接作為分類結(jié)果輸出。

（3）Bi-LSTM：將上下文的詞語按照語序輸入到Bi-LSTM 模型[16]中，獲得前向和后向的輸出，將輸出結(jié)合到一起得到最終的輸出，直接作為分類結(jié)果輸出。

（4）ATAE-LSTM：ATAE-LSTM 模型[7]將方面嵌入和詞語表示結(jié)合起來，輸入LSTM模型中得到隱藏表示，隱藏表示中包含了輸入方面的語義信息。接下來，計算通過注意力機(jī)制得到注意力權(quán)重向量以及加權(quán)的隱藏表示，建模詞語與輸入方面之間的相互依賴關(guān)系。最終經(jīng)過線性層得到分類結(jié)果。

（5）MemNet：MemNet 模型[17]對單詞嵌入多次應(yīng)用注意機(jī)制，并根據(jù)最后的句子表示來預(yù)測情緒。

（6）IAN：IAN 模型[18]以單詞嵌入為輸入，利用LSTM 網(wǎng)絡(luò)分別為目標(biāo)及其上下文獲取單詞級別上的隱藏狀態(tài)。使用目標(biāo)隱藏狀態(tài)和上下文隱藏狀態(tài)的平均值來生成注意力向量，并采用注意機(jī)制來捕獲上下文和目標(biāo)中的重要信息。最終經(jīng)過非線性層得到分類結(jié)果。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 實(shí)驗(yàn)評價指標(biāo)

準(zhǔn)確率：劃分正確的樣本數(shù)除以所有的樣本數(shù)，如式（21）所示。

精度和召回率分別表示查準(zhǔn)的概率和查全的概率，通常使用F1-score來對模型效果進(jìn)行綜合衡量，如式（22）所示。

3.4.2 實(shí)驗(yàn)結(jié)果及分析

在SemEval 2014任務(wù)4的兩個數(shù)據(jù)集的實(shí)驗(yàn)中，將五個神經(jīng)網(wǎng)絡(luò)模型在Restaurant 和Laptop 數(shù)據(jù)集上進(jìn)行三分類對比實(shí)驗(yàn)，以正確率和F1-score作為實(shí)驗(yàn)指標(biāo)，實(shí)驗(yàn)結(jié)果如表4和表5所示。

Table 4 Accuracy of three classifications of different models on datasets表4 不同模型在數(shù)據(jù)集上的三分類結(jié)果正確率

Table 5 F1-score of three classifications of different models on datasets表5 不同模型在數(shù)據(jù)集上的三分類結(jié)果F1-score

從表4 可以看出Majority 方法是最差的，其他方法都基于LSTM 模型，并且優(yōu)于Majority 方法，這表明LSTM模型能夠自動生成表示，并且基于LSTM的改進(jìn)算法能提高情感分類的性能。從表4 和表5 可以看出，Bi-IAN算法在Restaurant和Laptop數(shù)據(jù)集上的表現(xiàn)都是最好的，說明Bi-IAN 算法具有較好的方面級情感分類效果。Bi-LSTM模型前向后向捕獲上下文的重要信息，生成更加完整的句子表示，提高了方面級情感分類性能。ATAE-LSTM 在目標(biāo)的監(jiān)督下生成方面級情感的表示，得到上下文的重要信息，通過方面嵌入進(jìn)一步對目標(biāo)建模，同時增強(qiáng)上下文詞語和目標(biāo)詞語中間的交互，從而提升了性能。IAN模型使用交互注意網(wǎng)絡(luò)對目標(biāo)和上下文進(jìn)行建模，進(jìn)一步強(qiáng)調(diào)了目標(biāo)的重要性，能很好地學(xué)習(xí)目標(biāo)和上下文的表示，提升了模型性能。本文提出的Bi-IAN在IAN 的基礎(chǔ)上，使用Bi-LSTM 捕捉更加豐富和完整的語義信息，更好地在交互建模時關(guān)注更加重要的詞語，有助于進(jìn)行方面級的情感分類。與IAN 模型相比，Bi-IAN模型在Restaurant和Laptop數(shù)據(jù)集上準(zhǔn)確率分別提高了0.012 和0.008，F(xiàn)1-score值分別提高了0.018 和0.009，說明Bi-IAN 模型具有更好的方面級情感分類效果。

在Chinese review datasets的實(shí)驗(yàn)中，將五個神經(jīng)網(wǎng)絡(luò)模型在Notebook、Car 和Camera 數(shù)據(jù)集上進(jìn)行二分類對比實(shí)驗(yàn)，以正確率和F1-score作為實(shí)驗(yàn)指標(biāo)，實(shí)驗(yàn)結(jié)果如表6和表7所示。

Table 6 Accuracy of two classifications of different models on datasets表6 不同模型在數(shù)據(jù)集上的二分類結(jié)果正確率

Table 7 F1-score of two classifications of different models on datasets表7 不同模型在數(shù)據(jù)集上的二分類結(jié)果F1-score

從表6和表7可以看出，大部分情況下Bi-IAN模型分類結(jié)果是最好的。在中文方面級情感分析實(shí)驗(yàn)中，Chinese review datasets四個數(shù)據(jù)集的評論語句相對比較簡單，且每條評論語句僅對一個評價對象進(jìn)行情感傾向判別。但是四個數(shù)據(jù)集的評價對象有35%以上由多個詞語組成，對目標(biāo)的建模就顯得尤為重要。Bi-IAN利用Bi-LSTM對評價對象和句子進(jìn)行建模，不僅得到句子的語義信息，還得到了評價對象多個詞語中的語義信息，再交互地對評價對象和上下文進(jìn)行建模，關(guān)注評價對象和句子中最相關(guān)的詞語，提高了分類效果。但是由于數(shù)據(jù)集較小，且正向和負(fù)向評論分布不均衡，以及標(biāo)簽有錯誤，導(dǎo)致整體F1-score值不理想。在數(shù)據(jù)集比較簡單的情況下，反而LSTM模型效果比其他復(fù)雜的模型效果要好一些。

4 結(jié)束語

在方面級情感分析任務(wù)中，本文提出一種基于Bi-LSTM 的交互注意力模型（Bi-IAN），考慮了目標(biāo)的單獨(dú)建模。模型使用Bi-LSTM獲取了目標(biāo)和上下文豐富的語義信息，通過交互注意力模塊關(guān)注句子與目標(biāo)中更加重要的部分。最后，實(shí)驗(yàn)結(jié)果驗(yàn)證了提出模型的有效性。在后續(xù)的工作中，可以引入BERT（bidirectional encoder representation from transformers）等預(yù)訓(xùn)練模型進(jìn)行詞向量表示。近年來提出的transformer 結(jié)構(gòu)較為復(fù)雜，但其通用性更強(qiáng)，可以考慮使用LSTM 與transformer 聯(lián)合建模獲取文本的語義信息。