孫承愛　趙瑞　田剛

摘? 要： 基于Aspect的情感分析（ABSA）是一個細粒度的任務(wù)，由于它可以比一般的情感分析提供更詳細的信息與數(shù)據(jù)，所以近年來他備受矚目。它的主要任務(wù)是判斷或預(yù)測句子在給定的場景中某些方面的情感極性。所以實體關(guān)注點的不同，就決定了一個句子的情緒極性的不同。例如，“這個筆記本電腦的性能很好，但是價格很高?！保阅芎蛢r格就是兩個關(guān)注點。因此，有必要進一步探討目標(biāo)實體關(guān)注點與句子內(nèi)容之間的聯(lián)系。為此，啟發(fā)的在Gated Tanh-ReLU單元的基礎(chǔ)上進行改進，提出了一個新穎的基于卷積神經(jīng)網(wǎng)絡(luò)帶有注意力機制的門控機制模型。一方面，它具有三重新型門控機制，進行了三次Gated Tanh-ReLU單元的循環(huán)使用;其次，在模型最后再進行一次GRU和注意力機制，進行更好的篩選，最終總結(jié)為即基于Aspect的帶有注意力機制的門控卷積網(wǎng)絡(luò)（AGACE）模型。結(jié)果表明，（AGACE）模型在ACSA方面測試集上為86.77%、76.45%，在ATSA方面也有76.27%，73.27%。Semeval-2014數(shù)據(jù)集上的實驗表明AGACE模型在基于Aspect情感分類方面具有更好的性能，能夠提高識別結(jié)果準(zhǔn)確度與識別效率。

關(guān)鍵詞： 情感分析;Gated Tanh-ReLU單元;實體關(guān)注點;門控機制;AGACE模型

中圖分類號： TP391.1? ? 文獻標(biāo)識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.07.002

本文著錄格式：孫承愛，趙瑞，田剛. 基于Aspect帶有CNN注意力機制的門控卷積網(wǎng)絡(luò)與情感分析[J]. 軟件，2019，40（7）：0815

【Abstract】： Aspect-based sentiment analysis （ABSA） is a fine-grained task， and it has received much attention in recent years because it provides more detailed information and data than general sentiment analysis. Its main task is to judge or predict the emotional polarity of certain aspects of a sentence in a given scene. So the difference in entity concerns determines the difference in the emotional polarity of a sentence. For example， "The performance of this laptop is good， but the price is very high." Performance and price are two concerns. Therefore， it is necessary to further explore the relationship between the target entity's concerns and the content of the sentence. To this end， the inspiration is improved on the basis of the Gated Tanh-ReLU unit， and a novel gating mechanism model based on the convolutional neural network with attention mechanism is proposed. On the one hand， it has three re-gating mechanisms， and the three Gated Tanh-ReLU units are recycled. Secondly， a GRU and attention mechanism is performed at the end of the model for better screening. Finally， it is summarized as Aspect-based. A gated convolutional network （AGACE） model with an attention mechanism. The results show that the （AGACE） model is 86.77% and 76.45% on the ACSA test set and 76.27% and 73.27% on the ATSA. Experiments on the Semeval-2014 dataset show that the AGACE model has better performance based on Aspect sentiment classification， which can improve the accuracy and recognition efficiency of recognition results.

【Key words】： Sentiment analysis; Gated Tanh-ReLU unit; Entity focus; Gating mechanism; AGACE model

0? 引言

情感分析[1]是用于判斷人們所表達的情感的方法和算法的集合。又稱傾向性分析、意見挖掘，是一項近些年來備受矚目的NLP任務(wù)。其中基于Aspect的情感分析（ABSA）相較于傳統(tǒng)的情感分析更加高效。ABSA有兩個子任務(wù)：基于Aspect類的情感分析（Aspect-category sentiment analysis——ACSA）和基于Aspect詞的情感分析（Aspect-term sentiment analysis——ATSA）。例如，“盡管這個筆記本的性能很好，但是價格很高?！?，ATSA會詢問筆記本性能這個詞的情緒極性;而ACSA會詢問價格方面情緒極性，即使單詞收費沒有出現(xiàn)在句子中?？紤]到不同方面時，情緒極性可能相反。

之前的神經(jīng)網(wǎng)絡(luò)模型只片面的考慮了Target方向而沒有考慮到Aspect，例如（TD-LSTM） 和（TC-LSTM） [2]。此外，一些模型需要單詞和目標(biāo)之間的位置信息來產(chǎn)生加權(quán)LSTM[3]，這在嘈雜的評論文本中是不可靠的。注意力機制也在神經(jīng)網(wǎng)絡(luò)中的出現(xiàn)率越來越高，例如[4]，他提高了閱讀理解的能力。同時我們參考了Aspect的實體提取[5]?；贏spect的門控卷積網(wǎng)絡(luò)分析（Gated Tanh-ReLU）[6]為我們提供了靈感。在本文中我們在其基礎(chǔ)上開發(fā)了一種新穎的基于卷積和門控控制的注意力機制模型，對于ACSA和ATSA同時準(zhǔn)確和高效，比基于LSTM的模型訓(xùn)練時間少得多，相比基于Aspect的門控卷積網(wǎng)絡(luò)，也提高了準(zhǔn)確性。

我們的模型對于ACSA和ATSA有著不同的表現(xiàn)。對于ACSA任務(wù)，有兩個獨立的卷積層在嵌入層頂部，嵌入層是由我們的新型門單元組成。卷積層上具有多重濾波器，使得可以在多粒度下有效抽取n-gram特征。參考GCAE模型[6]，我們的門單元所提具有兩個非線性門（Gated Tanh-ReLU）組成，門分別與卷積層一一連接。我們將該模型連續(xù)使用三次并輸出三次，將三次結(jié)果放進GRU[7].中防止梯度彌散，進行重要特征的篩選。在最后加一個self-attention機制，對目標(biāo)進行加權(quán)變化，以此增加計算的并行性，并更好的有效利用特征。在給定的Aspect信息下，對于情感的預(yù)測能夠抽取Aspect-specific 情感信息。例如，在句子“盡管這個筆記本的性能很好，但是價格很高?！?，當(dāng)性能這個Aspect出現(xiàn)時，門單元忽略價格這個Aspect的消極情緒極性，只輸出前面的正面情緒。相對于LSTM模型機制 由于該模型的每個部分能夠并行化，因此能夠節(jié)省更多的時間。對于ATSA任務(wù)，當(dāng)Aspect有多個單詞實體時，我們就將其模型擴展到其他單詞實體的卷積層。

我們評估我們的模型在Semeval 數(shù)據(jù)集上，其中包括Aspect級別標(biāo)簽得餐廳與筆記本電腦的評論。通過驗證，我們的準(zhǔn)確性提高很多。

1? 相關(guān)研究

在本節(jié)中，我們將相關(guān)工作分為兩類：用于情感分類的神經(jīng)網(wǎng)絡(luò)和Aspect級別的情感分類。

1.1? 基于神經(jīng)網(wǎng)絡(luò)的情緒分類

如果說一種簡單有效的分布式學(xué)習(xí)表示的方法[8]的提出，使得神經(jīng)網(wǎng)絡(luò)在情感分析方向得到大大推進，那么Tree-LSTM[9]的提出則使得神經(jīng)網(wǎng)絡(luò)在情感分析或句子分類任務(wù)中獲得了很大的普及。通過利用句子結(jié)構(gòu)的語法解釋，基于樹的LSTM已被證明對許多NLP任務(wù)非常有效。然而，這樣的方法可能有審閱文本時的語法分析錯誤和效率低下的特點。而大量模型在NLP方向中使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）[10，11]。GRU也被[12]進行對不定長度的數(shù)據(jù)進行情感極性分析。盡管這些方法在細粒度的Aspect上仍有挑戰(zhàn)，不過也證明了卷積運算捕獲文本的高效性。

1.2? Aspect層面的情緒分類

Aspect-level情感分析是一種細粒度的分類任務(wù)。隨著豐富的情感詞典[13]與基于詞典的特征被建立用于情感分析[14]的出現(xiàn)，檢測極性任務(wù)就開始由人工設(shè)計特征到使用SVM構(gòu)建具有特征的情感分類器，使得結(jié)構(gòu)化風(fēng)險大大降低。對于基于Aspect類的情感分析（ACSA），模型需要預(yù)測向預(yù)定義Aspect的情緒極性方向篩選?；贏spect詞的情感分析（ATSA），是對給定句子中標(biāo)注的Aspect術(shù)語進行情感分析。

2? 基于Aspect的帶有注意力機制的門控卷積網(wǎng)絡(luò)

本文提出了一種新的模型，即基于Aspect的帶有注意力機制的門控卷積網(wǎng)絡(luò)（AGACE）。能夠針對ACSA與ATSA完成任務(wù)。我們的模型有兩個獨立的卷積層在嵌入層頂部，嵌入層是由我們的新型門單元組成。讓Aspect嵌入在計算注意權(quán)重中發(fā)揮作用，卷積層上具有多重濾波器，使得每個濾波器可以在多粒度下有效抽取n-gram特征。我們的門單元所提具有兩個非線性門（Gated Tanh-ReLU）組成，門分別與卷積層一一連接。我們將該模型連續(xù)使用三次并輸出三次，將三次結(jié)果放進GRU中防止梯度彌散，進行重要特征的篩選。在最后加一個self- attention-pooling機制，對目標(biāo)進行加權(quán)平均變化，以此增加計算的并行性，克服了遞歸神經(jīng)網(wǎng)絡(luò)中 不支持輸入并行化的問題，并更好的有效利用特征，極大限度的生成Aspect級別的情感特征。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）由嵌入層、一維卷積層和最大池化層組成。嵌入層取索引 ，輸出相應(yīng)的嵌入向量 。 表示嵌入向量的維數(shù)大小。 是單詞詞匯量的大小。嵌入層通常使用預(yù)先訓(xùn)練好的嵌入初始化，如GloVe [15]，然后在訓(xùn)練階段對它們進行微調(diào)。一維卷積層將輸入與多個不同寬度的卷積內(nèi)核進行卷積。每個核對應(yīng)一個語言特征檢測器，該檢測器在不同粒度處提取特定的n-gram模式[16]。具體來說，輸入語句通過嵌入層用矩陣表示， ，其中 為帶填充的句子長度。卷積濾波器 將接受域中的 個單詞映射到一個特征 。當(dāng)我們將該濾波器滑動到整個句子中時，我們得到了一系列新特征? ?。

其中 為偏置， 為非線性激活函數(shù)，如tanh函數(shù)， 則表示卷積運算。如果有寬度 相同的 濾波器，則輸出特征形成矩陣 。對于每個卷積濾波器，self-attention pooling層在生成的卷積特征中取最大值，得到一個固定大小的向量，其大小等于濾波器 的個數(shù)。最后，使用soft-max層預(yù)測輸入句子的情感極性。

為了提取更高層次的語音信息，我們進行了多次實驗，經(jīng)實驗證明，3-4層效果相似，超過4層效果有所衰弱，故選擇為3層，效果如表1所示。

圖1說明了我們的模型體系結(jié)構(gòu)。一對卷積神經(jīng)元計算一對門的特征（tanh門和ReLU門），共三對。ReLU門接收給定的Aspect信息來控制情緒特征的傳播。兩個門的輸出以元素方式相乘，通過GRU計算，最終用于注意力機制的最大池層。

為了更好地利用Aspect信息，我們將輸入Aspect嵌入到每個單詞輸入向量中。一共有3個門控Tanh-ReLU單元（GTRU），帶有方向嵌入的門控Tanh-ReLU單元（GTRU）在每個位置 上連接兩個卷積神經(jīng)元，具體計算特征 為

其中 為ACSA中給定Aspect類別的嵌入向量，或由另一個CNN計算ATSA中Aspect項的嵌入向量。式2中的ReLU門在正輸入上沒有上界，但在負輸入上嚴(yán)格為零。因此，它可以根據(jù)給定的Aspect信息 與 位置的Aspect特征 之間的相關(guān)性，輸出相似度得分。如果該得分為零，則情感特征 在門處被阻塞;否則，其規(guī)模將相應(yīng)擴大。Self-attention-pooling進一步刪除了在整個句子中不重要的情感特征。式2和式3中的兩個卷積與普通CNN中的卷積相同，但是卷積特征 通過ReLU激活函數(shù)接收額外的Aspect信息 。也就是說， 和 分別負責(zé)生成情感特征和Aspect特征。上面的self-attention-pooling池層生成一個固定大小的向量?，保留了整句話最顯著的情感特征。最后全層與softmax函數(shù)使用矢量 預(yù)測情緒極性 。其中目標(biāo)函數(shù)（損失函數(shù)）是交叉熵損失。設(shè) 是句子的目標(biāo)分布， 是預(yù)測的情緒分布。訓(xùn)練的目標(biāo)是最小化所有句子的 和 之間的交叉熵誤差。

3? AGACE ON ATSA

ATSA任務(wù)是用來預(yù)測句子中Aspect詞的情感極性。我們只是通過在Aspect項上添加一個小的卷積層來擴展AGACE，如圖2所示。與ACSA相比，它在Aspect方面有一個額外的卷積層，同時保留了并行計算的能力。在acsa中，控制GTRU情感特征流動的Aspect構(gòu)成是一個Aspect詞;而在ATSA中，這類信息是由一個小型CNN提供的Aspect的術(shù)語 。附加的CNN從多個單詞中提取重要特征。

4? 實驗與分析

4.1? 實驗數(shù)據(jù)集

為了驗證算法的合理性，我們對Semeval? workshop [17]的公共數(shù)據(jù)集進行了實驗，這些數(shù)據(jù)集包含了客戶對餐館和筆記本電腦的評論。一些現(xiàn)有工作[18]從四個情緒標(biāo)簽中去掉了“沖突”標(biāo)簽，這使得他們的結(jié)果好[19]。我們重新實現(xiàn)了比較的方法，并使用了這些參考文獻中描述的超參數(shù)設(shè)置。

目標(biāo)實體關(guān)注點不同，句子的情感標(biāo)簽就可能不一樣。表2中的句子顯示了評論者對性能和價格兩個方面的不同態(tài)度。因此，為了更準(zhǔn)確地訪問模型在評論句子上的表現(xiàn)，我們需要一個量小而復(fù)雜的數(shù)據(jù)集，這些數(shù)據(jù)集由對不同Aspect/目標(biāo)有相反或不同情緒的句子組成。在表2中，數(shù)據(jù)集中的同一個句子句子，但是它們有不同的情感標(biāo)簽。如果一個句子有4個Aspect目標(biāo)，那么這個句子在數(shù)據(jù)集中就會有4個副本，每個副本都聯(lián)系著不同的情緒標(biāo)簽與目標(biāo)。

對于ACSA任務(wù)，我們對2014年Semeval 任務(wù)4的筆記本電腦評論數(shù)據(jù)進行了實驗。分為5個方面和四種極性，5個方面：性能、價格、服務(wù)、氛圍和雜項;4種情緒極性：積極、消極、中立和沖突。通過合并2014-2017年三年的筆記本電腦評論，我們獲得了一個名為“Computer-data”的更大的數(shù)據(jù)集。在數(shù)據(jù)集中，我們將沖突標(biāo)簽替換為中性標(biāo)簽。其中可能有多對的“Aspect-terms”（ATSA）和“Aspect-category”（ACSA）。每個句子，讓 表示正標(biāo)簽的數(shù)量減去負標(biāo)簽的數(shù)量。 ，則為情緒極性為積極; ，則為情緒極性為消極; ，則為情緒極性為中性。統(tǒng)計結(jié)果如表3所示，分為6個Aspect：電腦城、筆記本電腦、服務(wù)、價格、位置和雜項。

對于ATSA任務(wù)，我們使用來自Semeval? 2014 task 4的筆記本電腦評論進行實驗。在每個數(shù)據(jù)集上，我們復(fù)制每個句子 次， 就是Aspect-terms（ATSA）/Aspect-category（ACSA）的數(shù)量[20]。數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)如表3所示。

Hard-data的大小也如表3所示。該測試集旨在測試一個模型是否能夠在一個句子中檢測到對不同實體的多個不同情緒極性。

在我們的實驗中，我們使用300維GloVe向量初始化詞嵌入向量，這些向量是根據(jù)許多未標(biāo)記數(shù)據(jù)來進行預(yù)處理[21]。GloVe詞匯表的單詞隨機初始化為均勻分布 。我們使用了AdaGrad優(yōu)化器[22]，默認(rèn)學(xué)習(xí)率為 ，最大周期為30。所有的神經(jīng)模型都在PyTorch中實現(xiàn)。

4.2? 對比算法

為了證明模型的有效性，我們將我們的模型（AGACE）與LSTM，TC-LSTM，NRC，CNN，TD- LSTM，ATAE-LSTM，IAN，GCN和GCAE模型進行比較。這些模型的簡要介紹如下所示。

CNN：被廣泛用于文本分類任務(wù)。它不能直接捕獲ACSA任務(wù)上特定于Aspect的情緒信息，但是它為情緒分類提供了一個非常強大的基線。我們將過濾器的寬度設(shè)置為2，4，6，每個過濾器有100個特性。

LSTM：是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，相對于RNN多了一個cell，適合于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件。

TD-LSTM[23]：使用兩個LSTM網(wǎng)絡(luò)對目標(biāo)的前后上下文進行建模，生成目標(biāo)依賴的表示，用于情緒預(yù)測。

TC-LSTM[24]：在TD-LSTM的基礎(chǔ)上加入target words信息，很明顯地整合了target words與context words的相互關(guān)聯(lián)信息。

ATAE-LSTM[25]：是ACSA任務(wù)中基于注意力的LSTM。它將給定的Aspect嵌入與每個單詞嵌入一起作為LSTM的輸入，并在LSTM層之上有一個注意層。

NRC：是ACSA和ATSA task在Semeval 2014 task 4中的首選方法。SVM通過廣泛的特征工程訓(xùn)練：各種類型的n-gram、POS標(biāo)簽和詞典功能。情感詞典顯著提高了性能，但它需要大規(guī)模的標(biāo)記數(shù)據(jù)：18.3萬條Yelp評論、12.4萬條Amazon筆記本評論、5600萬條tweet和3個手動標(biāo)記的情感詞匯。

IAN[26]：是ATSA任務(wù)的交互式注意網(wǎng)絡(luò)，也是基于LSTM和注意機制的。

GCN[27]：代表門控卷積神經(jīng)網(wǎng)絡(luò)，其中GTRU沒有將Aspect嵌入作為額外的輸入。

GCAE：使用了GTRU，而且將Aspect嵌入作為額外的輸入。

4.3? 結(jié)果分析

本節(jié)中，我們將我們的AGACE模型與其他的模型進行對比，分為ACSA與ATSA兩部分，最后將運行時間在數(shù)據(jù)集上進行對比和評估。

4.3.1? ACSA

在 Semeval 研討會之后， 我們總結(jié)了所有競爭模型在筆記本電腦評論測試數(shù)據(jù)集以及Hard-data上測試的總體準(zhǔn)確性。每個實驗重復(fù)十次。平均值和標(biāo)準(zhǔn)偏差見表5。

基于lstm的模型atae-lstm在所有神經(jīng)網(wǎng)絡(luò)中的性能最差?；贏spect的情緒分析是提取與給定Aspect密切相關(guān)的情緒信息。將Aspect信息和情緒信息與句子提取的信息分開是很重要的。lstm 生成的上下文向量必須同時傳遞這兩種信息。此外，相似評分函數(shù)產(chǎn)生的注意分?jǐn)?shù)是針對整個上下文向量的。

與atae-lstm相比，AGACE的性能提高了1.1% 至2.5%。首先，我們的模型結(jié)合 gtru根據(jù)上下文向量的每個維度的給定方Aspect信息來控制情緒信息流。元素門控機構(gòu)的工作粒度很好，而不是對其他模型的關(guān)注層中上下文向量的所有維度進行對齊評分。其次，AGACE 不生成單一的上下文向量，而是分別生成Aspect特征和情緒特征的兩個向量， 因此，Aspect和情緒信息被解開。通過將在Hard-data上測試的性能與 cnn 進行比較，可以很容易地看到 AGACE的卷積層能夠區(qū)分多個實體的情緒。

卷積神經(jīng)網(wǎng)絡(luò)CNN和GCN不是為基于Aspect的情感分析而設(shè)計的，但它們的性能超過了ATAE-LSTM的性能SVM[28]的性能取決于它可以使用功能的可用性。如果沒有大量的情感字典，SVM的表現(xiàn)就比神經(jīng)方法差。使用多個情感詞典，性能就提高了7.6%。這激勵我們在未來的神經(jīng)網(wǎng)絡(luò)中多利用情感字典。

Hard-data測試集由不同Aspect的不同情緒的復(fù)制句子組成，對不同Aspect有不同的情感。無法利用給定Aspect信息（如CNN和GCN）的模型表現(xiàn)不佳，但AGACE比其他神經(jīng)網(wǎng)絡(luò)模型具有更高的準(zhǔn)確性。在ACSA任務(wù)中，在Computer-data數(shù)據(jù)集中，AGACE的準(zhǔn)確度比ATAE-LSTM高8%，在Semeval-2014上高7%。但是，在沒有Aspect的建模部分的GCN在筆記本電腦評論數(shù)據(jù)集上的得分高于AGACE。這說明當(dāng)目標(biāo)句子中只有一個情緒標(biāo)簽時，GCN的表現(xiàn)優(yōu)于AGACE，而在Hard-data測試集則不是這樣。

4.3.2? ATSA

我們將AGACE的擴展版本應(yīng)用于ATSA任務(wù)。在這個任務(wù)中，Aspect術(shù)語被標(biāo)記在句子中，通常由多個單詞組成。我們比較IAN、RAM、TD-LSTM、ATAE-LSTM、GCAE模型和我們的AGACE模型如表6所示。來自NRC-Canada （Kiritchenko et al.，2014） 的SVM檢索結(jié)果用'*'表示。IAN比TD-LSTM和ATAE-LSTM具有更好的性能，因為兩個注意層交互地指導(dǎo)上下文和實體的表示學(xué)習(xí)。GACE模型雖然各方面有了一定的進步，但是精確度還是不夠。RAM通過將多個注意與遞歸神經(jīng)網(wǎng)絡(luò)相結(jié)合，也達到了很好的精度，但是需要更多的訓(xùn)練時間，如下面的部分所示。在Hard-data測試集上，AGACE在餐館數(shù)據(jù)的準(zhǔn)確率比RAM高2.3%，在筆記本數(shù)據(jù)上的準(zhǔn)確率高0.7%，由于用了多重GTRU，所以AGACE在筆記本數(shù)據(jù)上比GCAE高1%，餐廳數(shù)據(jù)上則高0.9%。在ATSA中，AGACE模型利用CNN來控制通過ReLU門控的情感特征的構(gòu)成。由于門控機制和Aspect項上的卷積層，AGACE優(yōu)于其他神經(jīng)模型和基本SVM。同樣，大規(guī)模的情感字典對支持向量機也有顯著的改進。

4.3.3? 運行時間

我們搭載在服務(wù)器上訓(xùn)練，并記錄所有模型的訓(xùn)練時間，如表7所示?；贚STM的模型比卷積模型需要更多的訓(xùn)練時間。在ATSA任務(wù)中，由于IAN和RAM中的多個注意力層，他們需要更多的時間來完成訓(xùn)練。與LSTM相比，卷積運算和GTRU都沒有時間依賴性，因此AGACE比其他模型要快得多。由于SVM的性能是從原文中提取的，所以我們無法比較SVM的訓(xùn)練時間。但是由于具有3層CNN以及GRU機制，所以相較于GCAE，我們模型的時間更長一些，這是我們下一步需要改進的目標(biāo)。

4.3.4? 門控機制

GTU和GLU顯示了門控機制的有效性[29]，GTU由 表示，其中S形門控制用于預(yù)測堆疊卷積塊中的下一個字的特征。為了克服GTU的梯度消失問題，GLU使用? ?代替，因此梯度不會縮減規(guī)模以通過大量堆疊卷積層。然而，GRU和只有一個卷積層的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可以緩解梯度消失問題。結(jié)果表明，在文本分類問題上，我們的GTRU比上述兩種門控單元更有效。

我們將GLU，GTU，和用于AGCAE的GTRU進行比較。表8顯示，這三組門控單元在筆記本數(shù)據(jù)集上都實現(xiàn)了較高的精度。但是GTRU的性能優(yōu)于其他門控單元。GTRU具有通過ReLU激活函數(shù)生成Aspect特征的卷積層，可以根據(jù)給定的Aspect信息控制情緒信號的幅度。另一方面，GTU和GLU中的S形函數(shù)具有上界+1，負輸入嚴(yán)格為0，可能無法有效提取情感特征。

5? 可視化

在本節(jié)中，我們主要實現(xiàn)了門權(quán)重的可視化。在標(biāo)準(zhǔn)化之后，我們在圖3中繪制每個單詞的值。給定不同的Aspect目標(biāo)，ReLU門將控制tanh門輸出的大小。

6? 結(jié)論與未來展望

本文針對ACSA和ATSA任務(wù)，提出了新穎的基于卷積和門控控制的注意力機制模型（AGACE）。GTRU可以根據(jù)給定的Aspect信息有效地控制情緒流，Attention可以進行更好篩選，兩個卷積層分別對Aspect和情緒信息進行建模。通過在Semeval 數(shù)據(jù)集上的大量實驗，證明了與其他神經(jīng)模型相比的性能改進。我們將情感詞匯在神經(jīng)網(wǎng)絡(luò)中的大規(guī)模應(yīng)用作為我們未來的目標(biāo)。

參考文獻

[1] NasukawaT， Yi J. Sentiment analysis：capturing favorability using natural language processing[C]//International Conference on Knowledge Capture.2003.

[2] 張玉環(huán)， 錢江. 基于兩種 LSTM 結(jié)構(gòu)的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120

[3] Peng Chen， Zhongqian Sun， Lidong Bing， and Wei Yang. 2017. Recurrent Attention Network on Memory for Aspect Sentiment Analysis[C]. In EMNLP，pages 463–472.

[4] Hermann， Karl Moritz， Kocisky， Tomas， Grefenstette， Edward， Espeholt， Lasse， Kay， Will， Suleyman， Mustafa， and Blunsom，Phil. 2015.Teaching machines to read and comprehend. In Advances in Neural Information Proc-essing Systems 28[C]. pp. 1684-1692.

[5] Wei Xue， Wubai Zhou， Tao Li， and Qing Wang. 2017. Mtna： A neural multi-task model for aspect category classi?cation and aspect term extraction on restaurant reviews[C]. In Proceedings of the Eighth International Joint Conference on Natural Language Processing （Volume 2： Short Papers）， volume 2， pages 151-156.

[6] Xue W ， Li T . 2018. Aspect Based Sentiment Analysis with Gated Convolutional Networks[J]. In ACL， pages 2514-2523.

[7] Junyoung Chung， Caglar Gulcehre， Kyunghyun Cho， and Yoshua Bengio. 2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[C]. In NIPS.

[8] Mikolov T， Sutskever I， Chen K， et al. Distributed Representations of Words and Phrases and their Compositionality[J]. Advances in Neural Information Processing Systems， 2013， 26：3111-3119.

[9] Tai K S， Socher R， Manning C D. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks[J]. Computer Science， 2015， 5（1）：： 36.

[10] Yoon Kim. 2014. Convolutional Neural Networks for Sentence Classi?cation[C]. In EMNLP， pages 1746-1751.

[11] 劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69

[12] Duyu Tang， Bing Qin， and Ting Liu. 2015. Document Modeling with Gated Recurrent Neural Network for Sentiment Classi?cation[C]. In EMNLP， pages 1422-1432.

[13] Veronica Perez-Rosas， Carmen Banea， and Rada Mihalcea. 2012. Learningsentimentlexiconsinspanish[C]. In LREC， volume 12， page 73.

[14] Saif M Mohammad， Svetlana Kiritchenko， and Xiaodan Zhu. 2013. Nrc-canada： Building the state-of-theart in sentiment analysis of tweets. arXiv preprint arXiv：1308.6242.

[15] Jeffrey Pennington，Richard Socher，and Christopher D Manning. 2014. Glove： Global Vectors for Word Representation[C]. In EMNLP， pages 1532-1543.

[16] Nal Kalchbrenner， Edward Grefenstette， and Phil Blunsom. 2014. A convolutional neural network for modelling sentences[C]. In ACL， pages 655-665.

[17] Maria Pontiki， Dimitrios Galanis， John Pavlopoulos， Haris Papageorgiou， Ion Androutsopoulos， and Suresh Manandhar. 2014. Semeval-2014 task 4： Aspect based sentiment analysis[C]. In SemEval@COLING， pages 27-35， Stroudsburg， PA， USA. Association for Computational Linguistics.

[18] Duyu Tang， Bing Qin， Xiaocheng Feng， and Ting Liu. 2016a. Effective LSTMs for Target-DependentSentiment Classi?cation[C]. In COLING， pages 3298-3307.

[19] Svetlana Kiritchenko， Xiaodan Zhu， Colin Cherry， and SaifM.Mohammad.2014. NRC-Canada-2014： Detecting aspects and sentiment in customer reviews[C]. In SemEval@COLING， pages 437-442， Stroudsburg， PA， USA. Association for Computational Linguistics.

[20] Sebastian Ruder， Parsa Ghaffari， and John G Breslin. 2016a. A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis[C]. In EMNLP， pages 999-1005.

[21] Sebastian Ruder， Parsa Ghaffari， and John G Breslin. 2016b. INSIGHT-1 at SemEval-2016 Task 5 - Deep Learning for Multilingual Aspect-based Sentiment Analysis[C]. In SemEval @NAACL-HLT， pages 330-336.

[22] John C Duchi， Elad Hazan， and Yoram Singer. 2011. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization[J]. Journal of Machine Learning Research， pages 2121-2159

[23] Peng Chen， Zhongqian Sun， Lidong Bing， and Wei Yang. 2017. Recurrent Attention Network on Memory for Aspect Sentiment Analysis[C]. In EMNLP， pages 463-472.

[24] Dehong Ma， Sujian Li， Xiaodong Zhang， and Houfeng Wang. 2017. Interactive Attention Networks for Aspect-Level Sentiment Classi?cation[C]. In IJCAI， pages 4068-4074. International Joint Conferences on Arti?cial Intelligence Organization.

[25] Yequan Wang， Minlie Huang， Xiaoyan Zhu， and LiZhao. 2016b. Attention-basedLSTMforAspectlevel Sentiment Classi?cation[C]. In EMNLP， pages 606-615.

[26] Yann N Dauphi，Angela Fan，Michael Auli，and David Grangier. 2017. Language Modeling with Gated Convolutional Networks[C]. In ICML， pages 933-941.

[27] Jonas Gehring， ichael Auli， David Grangier， Denis Yarats， and Yann N Dauphin. 2017. Convolutional Sequence to Sequence Learning[C]. In ICML， pages 1243-1252.

[28] Nal Kalchbrenner， Lasse Espeholt， Karen Simonyan， A¨aron van den Oord， Alex Graves， and Koray Kavukcuoglu. 2016. Neural Machine Translation in Linear Time[J]. CoRR， abs/1610.10099.

[29] A¨aron van den Oord， Nal Kalchbrenner， Lasse Espeholt， Koray Kavukcuoglu， Oriol Vinyals， and Alex Graves. 2016. Conditional Image Generation with PixelCNN Decoders[C]. In NIPS， pages 4790-4798.