摘 要：根據(jù)短文本情感分析現(xiàn)有方法中存在的不遵守常規(guī)語(yǔ)法、沒(méi)有充分利用上下文詞與方面詞間深層情感表達(dá)的問(wèn)題，提出了一種融合多頭依賴圖注意的詞句交互短文本方面情感分析模型（IDM-GAT，interactive dependent multi-head graph attention），在句子層面通過(guò)加入相對(duì)位置向量增強(qiáng)情感信息的嵌入，然后使用依賴圖注意力結(jié)構(gòu)計(jì)算句子中單個(gè)單詞及單詞間依賴的注意力權(quán)重，盡可能提取短文本中的稀疏依賴關(guān)系；在詞語(yǔ)層面對(duì)上下文詞和方面詞使用自注意力池化、平均池化方法，在保留情感特征的同時(shí)降低模型的計(jì)算復(fù)雜度。兩種層面的結(jié)合從全局和局部?jī)蓚€(gè)角度對(duì)短文本進(jìn)行更全面的建模。通過(guò)仿真實(shí)驗(yàn)驗(yàn)證，所提模型在Semeval2014飯店評(píng)論、電腦評(píng)論、ACL14 twitter 3個(gè)基準(zhǔn)數(shù)據(jù)集上分別達(dá)到了83.85%、79.15%、74.39%的準(zhǔn)確率。

關(guān)鍵詞：多頭依賴圖注意；交互注意力；短文本；方面情感分析

DOI：10.15938/j.jhust.2024.05.002

中圖分類號(hào)： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2024）05-0010-08

Aspect-Based Sentiment Analysis Model for Short Text"with Interactive Dependent Multi-head Graph Attention

AI Siyu， CHEN Hailong， CUI Xinying， AN Rui

（School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China）

Abstract：This article proposes an Interactive Dependent Multi-head Graph Attention （IDM-GAT） model for short text sentiment analysis based on dependent multi-head graph attention， which addresses the shortcomings of existing methods for short text sentiment analysis， such as non-compliance with conventional grammar and insufficient utilization of deep emotional expression between contextual words and aspect words. The model enhances the embedding of sentiment information at the sentence level by adding relative position vectors. Then， it uses the dependent graph attention structure to calculate the attention weights of individual words and dependencies between words in the sentence， and extracts sparse dependency relationships in short text as much as possible. It uses self-attention pooling and average pooling methods for contextual and aspect words at the word level， reducing the computational complexity of the model while preserving emotional features. The combination of two levels provides a more comprehensive modeling of short texts from both global and local perspectives. Through simulation experiments， the proposed model achieved accuracy of 83.85%， 79.15%， and 74.39% on three benchmark datasets： Semeval2014 hotel reviews， computer reviews， and ACL14 Twitter， respectively.

Keywords：dependent multi-head graph attention; interactive attention; short text; aspect-based sentiment analysis

0 引 言

方面情感分析的任務(wù)是識(shí)別待分析語(yǔ)句中一個(gè)方面術(shù)語(yǔ)在其上下文中表達(dá)的情感極性^［1］，如例句“手機(jī)屏幕效果不錯(cuò)，但是電池壽命有點(diǎn)短”中，兩個(gè)方面詞的極性相反，“手機(jī)屏幕”的評(píng)價(jià)是正面的，而關(guān)于“手機(jī)電池”是負(fù)面的。近年來(lái)方面情感分析成為自然語(yǔ)言處理領(lǐng)域極為活躍的研究方向之一，如何高效挖掘文本中的有效信息也成為了該領(lǐng)域的研究重點(diǎn)^［2］，該領(lǐng)域的研究對(duì)商業(yè)和社會(huì)都具有重要意義，通過(guò)分析相關(guān)的評(píng)論數(shù)據(jù)集，可以得知商品各方面性能的情況以及人們的使用感受，從而做出進(jìn)一步的調(diào)整。

現(xiàn)有的方面級(jí)別情感分析有兩大任務(wù)^［3］：識(shí)別句子中出現(xiàn)的實(shí)體的情感極性（ATSA，aspect term sentiment analysis）和識(shí)別句子中指定方面術(shù)語(yǔ)的情感極性（ACSA，aspect category sentiment analysis），本文主要關(guān)注的是ACSA任務(wù)，目前最流行的方法是基于端到端的神經(jīng)網(wǎng)絡(luò)混合模型，隨著注意力進(jìn)入人們的視野，ACSA任務(wù)的精確度又有了明顯的提升。然而短文本分類并非易事，顧名思義，短文本通常為不超過(guò)250個(gè)字符的評(píng)論數(shù)據(jù)，語(yǔ)義往往稀疏且模糊，現(xiàn)有的方法如圖卷積網(wǎng)絡(luò)，有效的避免了模型在語(yǔ)法解析方面的錯(cuò)誤，但這往往也會(huì)產(chǎn)生一些不穩(wěn)定、毫無(wú)意義的語(yǔ)法結(jié)構(gòu)，比如當(dāng)目標(biāo)對(duì)象包含多個(gè)單詞時(shí)，現(xiàn)有的研究大多認(rèn)為各部分的重要性相同并且簡(jiǎn)單地計(jì)算其平均值作為向量表示，而忽略了特定方面類別對(duì)句子句法結(jié)構(gòu)的影響，且缺乏對(duì)句子中全局依賴信息的建模，因此充分利用有限的語(yǔ)義信息成為了短文本方面情感分析的核心任務(wù)?；谝陨蠁?wèn)題，本文提出了一個(gè)方面情感分析新模型IDM-GAT（interactive dependent multi-head graph attention），試圖解決上述存在的弱點(diǎn)，對(duì)短語(yǔ)和句子兩種層級(jí)應(yīng)用不同的注意力機(jī)制—依賴圖注意力機(jī)制和自注意力機(jī)制，通過(guò)多種注意力機(jī)制的交互信息可以從情緒詞匯信息中獲得額外的知識(shí)來(lái)獲取意見(jiàn)詞匯，更全面的捕捉方面詞與其情感上下文詞之間的依賴關(guān)系。本文的主要貢獻(xiàn)如下：①在初始文本向量的基礎(chǔ)上添加相對(duì)位置編碼信息，讓注意力更加關(guān)注距離方面詞更近的情感表達(dá)；②基于句子內(nèi)部的多頭依賴圖注意力——減少與方面無(wú)關(guān)的單詞造成的噪聲影響；③考慮了句子順序上下文和句法結(jié)構(gòu)，采用交互自注意力機(jī)制提取情感信息。

1 相關(guān)工作

在信息爆炸的時(shí)代，基于方面的情感分析方法是極為重要的，由于句子在方面級(jí)別的情感極性因目標(biāo)詞而異，所以它與一般的情感分析之間有很大的差異，基于方面的情感分析主要任務(wù)是分析和處理主觀評(píng)論，讓人們能夠從中獲得更為重要的評(píng)論信息，一般來(lái)說(shuō)主要包括4個(gè)子任務(wù)^［4］：方面術(shù)語(yǔ)提取（aspect term extraction，ATE）、方面類別檢測(cè)（ACD，aspect category detection）、意見(jiàn)詞提?。∣TE，opinion term extraction）、基于方面的情緒分類（ABSC ，aspect-based sentiment classification），本文主要研究ABSC，即預(yù)測(cè)句子中每個(gè)給定方面術(shù)語(yǔ)的情感極性，接下來(lái)將介紹一些基于方面的情緒分析的相關(guān)工作，把之前工作中所采用的方法劃分為3類：傳統(tǒng)機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法（深度學(xué)習(xí)方法）以及圖卷積神經(jīng)網(wǎng)絡(luò)方法。

傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要大量的手工來(lái)標(biāo)注句子中的特征信息，如情感詞匯^［5］、單詞袋、TF-IDF等。這些傳統(tǒng)方法普遍需要人工設(shè)計(jì)且存在成本高、泛化能力和注釋質(zhì)量差等缺點(diǎn)。為了解決這一系列問(wèn)題，研究學(xué)者們提出了使用基于深度學(xué)習(xí)的模型，它具有強(qiáng)大的自我學(xué)習(xí)、挖掘特征的能力，可以顯著提高工作效率^［6］。

Tang等^［7］提出了靶標(biāo)依賴LSTM（TD-LSTM，target dependent long short-term memory）和靶標(biāo)連接LSTM（TC-LSTM，target connection long short-term memory）。模型使用LSTM對(duì)句子進(jìn)行編碼，TD-LSTM模型根據(jù)目標(biāo)詞將文本分為句子左右兩部分，用從左到右方向的LSTM編碼句子的左半部分，從右到左方向的LSTM編碼句子的右半部分，將它們連接起來(lái)，得到被兩個(gè)方向LSTM編碼的隱藏狀態(tài)。兩個(gè)模型在理論上相似，區(qū)別是TC-LSTM可以進(jìn)一步學(xué)習(xí)目標(biāo)詞，進(jìn)行情緒分類的最終表示，即每個(gè)單詞先與目標(biāo)單詞連接，再被輸入到LSTM中。

過(guò)去，方面情感分類領(lǐng)域的方法在處理多字目標(biāo)時(shí)簡(jiǎn)單地采用平均池。Ma等^［8］提出的IAN模型克服了這個(gè)問(wèn)題，通過(guò)注意力機(jī)制來(lái)獲取每個(gè)目標(biāo)詞的權(quán)重，使分類器能夠關(guān)注目標(biāo)詞中較重要的詞然后進(jìn)行分類。對(duì)于IAN，目標(biāo)詞的平均值是用來(lái)關(guān)注文本的，但對(duì)于目標(biāo)詞語(yǔ)，每個(gè)詞的重要性是不一樣的。因此必須先學(xué)習(xí)每個(gè)目標(biāo)詞的重要性，才能確定并產(chǎn)生最終的上下文表示。本文提出同時(shí)使用注意力池化和平均池化兩種方法，將兩種方法的向量加權(quán)平均后作為分類器最后的輸入向量。在最近的研究中，往往采用引入圖卷積網(wǎng)絡(luò)（GCN，graph convolutional network）^［9］的方法將句子解析成一個(gè)句法依賴樹(shù)來(lái)獲得結(jié)果，對(duì)于給定的單詞，GCN可以根據(jù)語(yǔ)法距離捕獲與前一個(gè)方面單詞相對(duì)遠(yuǎn)離的單詞，從而提高情感分析的性能；Yang等^［10］提出的AOIARN模型通過(guò)在方面詞和意見(jiàn)詞分別構(gòu)建兩個(gè)語(yǔ)義層提取信息，將兩層信息充分交互，從而獲取二者之間的關(guān)系； Lan等^［11］在DC-GCN中提出使用雙通道交互圖卷積網(wǎng)絡(luò)的同時(shí)考慮語(yǔ)法依賴樹(shù)和多方面的情感依賴關(guān)系，并在基準(zhǔn)數(shù)據(jù)集上取得了更好的性能，然而以上方法沒(méi)有使用注意力機(jī)制，因此遺漏了重要的信息。

Xiao等^［12］受Bahdanau等^［13］的啟發(fā)，將GCN與多頭注意力相結(jié)合的方法加以改進(jìn)，在方面情感分析任務(wù)上取得了更好的效果；Beck等^［14］改進(jìn)了門控圖神經(jīng)網(wǎng)絡(luò)，使得節(jié)點(diǎn)和邊有各自的隱藏表示，雖然解決了參數(shù)爆炸的問(wèn)題，但還是存在節(jié)點(diǎn)和邊無(wú)法共享參數(shù)的缺點(diǎn)。本文使用的多頭注意力機(jī)制對(duì)此缺點(diǎn)加以了改進(jìn)，Huang等^［15］利用目標(biāo)依賴圖注意力網(wǎng)絡(luò)（TD-GAT）將句子表示為方面目標(biāo)和相關(guān)詞直接連接的依賴圖，明確構(gòu)建了單詞之間的語(yǔ)法結(jié)構(gòu)，將情緒特征傳播到方面目標(biāo)；Lu等^［16］注意到了方面詞內(nèi)部存在的語(yǔ)義關(guān)系及其情緒極性的交互關(guān)系，采用4種不同的情緒感知圖網(wǎng)絡(luò)模型進(jìn)行方面級(jí)別的情感分析，可是該模型無(wú)法從隱晦的情感表達(dá)文本中找到清晰的情感極性線索，因此該模型無(wú)法很好的應(yīng)用在短文本場(chǎng)景中；借鑒transformer^［17］的思想，Wang等^［18］在GCN中加入注意力機(jī)制，根據(jù)給定的目標(biāo)詞，捕捉句子的關(guān)鍵部分，該方法通過(guò)LSTM生成隱藏狀態(tài)，在對(duì)每個(gè)隱藏狀態(tài)進(jìn)行向量乘法后，使用softmax生成總權(quán)值為1的權(quán)值。句子中的每個(gè)詞的重要性可以不斷更新，和隱藏狀態(tài)的權(quán)重通過(guò)加權(quán)平均成為最終的上下文表示，而不是僅僅直接使用最后的隱藏狀態(tài)或把所有隱藏狀態(tài)的平均值作為最后的上下文表示；Zhang等^［19］首次提出使用基于圖卷積網(wǎng)絡(luò)的依賴樹(shù)獲取語(yǔ)法信息和單詞之間的句法依賴關(guān)系；Zhao等^［20］提出使用雙向的注意力捕捉句子中不同方面詞之間的依賴關(guān)系；Zhu等^［21］結(jié)合全局和局部結(jié)構(gòu)信息，提出了全局和局部依賴引導(dǎo)的圖卷積網(wǎng)絡(luò)（GL-GCN）模型。

然而以上方法在生成文本表示時(shí)，常常忽略了文本中單詞間的交互信息，從而導(dǎo)致部分語(yǔ)義丟失，不利于識(shí)別與之相關(guān)的目標(biāo)對(duì)象的情緒特征。

2 IDM-GAT模型

2.1 任務(wù)定義

本文模型的最終目標(biāo)是準(zhǔn)確的在句子中識(shí)別一個(gè)方面詞的情緒極性，每個(gè)句子由n個(gè)單詞序列組成，表示為S={w1，w2，w3，…，wn}，其中wi指句子中第i個(gè)位置的字，方面詞由m個(gè)單詞組成，表示為T={wT1，wT2，wT3，…，wTm}，任務(wù)的目標(biāo)是將上下文中各方面詞的情緒極性分為積極、消極和中性，例如：“飯店的飯菜味道不錯(cuò)，但是就餐環(huán)境不太好”中，目標(biāo)詞“飯菜”的情感極性為正向的，而“就餐環(huán)境”則為負(fù)向。

2.2 基本思想

本文的新模型IDM-GAT，如圖1所示，可以從全局和局部?jī)煞N角度對(duì)句子進(jìn)行編碼學(xué)習(xí)，將全局語(yǔ)義表示和局部語(yǔ)義表示進(jìn)行融合后可以更加充分的理解每個(gè)單詞的實(shí)際含義，以此進(jìn)行更準(zhǔn)確的情感分析，本文提出的模型主要由5個(gè)部分組成：輸入層，Glove嵌入層，BGRU特征提取層，詞句交互融合注意力層，分類輸出層。

2.3 模型結(jié)構(gòu)

2.3.1 輸入層

對(duì)于給定的句子文本S，由n個(gè)單詞組成的序列，wi表示句子中位于第i個(gè)位置的單詞，為了更好的利用位置信息，引入位置編碼來(lái)增強(qiáng)更接近方面詞的上下文詞的信息特征，用pi表示句子中第i個(gè)單詞到方面詞的相對(duì)距離，

位置編碼信息的計(jì)算如式（1），將其與初始文本單詞向量wi融合輸入到單詞嵌入中，輸出的詞嵌入可以表示輸入位置信息的單詞表示。

pi=1－a_start－in，0≤ilt;a_start0，a_start≤ilt;a_end1－i－a_endn，a_end≤i≤n（1）

其中：a_start表示方面詞的開(kāi)始位置；a_end表示方面詞的結(jié)束位置。連接后的全局文本位置表示向量wg的計(jì)算如式（2）：

wg=wi·pi（2）

方面詞由m個(gè)單詞組成，表示為wt={wT1，wT2，wT3，…，wTm}，上下文詞由n-m個(gè)詞組成，表示為wc={wC1，wC2，wC3，…，wC^n－m}。

本文使用Glove方法來(lái)初始化單詞向量，在上一步驟中，為了更好地利用位置信息，我們將位置向量附加到初始文本向量中。通過(guò)這種方式，詞嵌入層就可以獲得來(lái)自輸入位置的信息。

2.3.2 BGRU特征提取層

本文使用BiGRU雙向的對(duì)上下文信息進(jìn)行建模。對(duì)于給定的單詞嵌入序列S={w1，w2，w3，…，wn}前后兩個(gè)方向的GRU分別生成隱藏狀態(tài)，按公式（3）連接正向和反向的隱藏狀態(tài)，得到輸出的隱藏狀態(tài)h：

h={h→;h←}（3）

在本層中我們采用BGRU雙向的對(duì)含有位置信息的文本進(jìn)行建模，得到的輸出分別為：句子：HS={h^S1，h^S2，h^S3，…，h^Sn}；方面詞：HT={hT1，hT2，hT3，…，hTm}；上下文詞：HC={hC1，hC2，hC3，…，hC^n－m}。

2.3.3 詞句交互注意力層

只利用BGRU無(wú)法得出句子中哪些單詞對(duì)于某一個(gè)方面詞意義更重要的結(jié)論，因此本文提出使用兩種注意力方法對(duì)句子級(jí)別和短語(yǔ)級(jí)別的語(yǔ)義信息進(jìn)行編碼提取，增強(qiáng)模型對(duì)句子中情緒詞的關(guān)注。

1）多頭依賴圖注意模塊

本模塊以圖注意力網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行研究擴(kuò)展，與現(xiàn)有的基于語(yǔ)法的方法不同，圖注意力網(wǎng)絡(luò)是圖神經(jīng)網(wǎng)絡(luò)的一種變體，在語(yǔ)義解釋方面優(yōu)于其他形式的圖神經(jīng)網(wǎng)絡(luò)，利用依賴關(guān)系相關(guān)信息，使用獨(dú)立的編碼器進(jìn)行結(jié)構(gòu)建模，本模塊從句子級(jí)別對(duì)語(yǔ)義信息進(jìn)行編碼，計(jì)算了兩個(gè)方面的注意力得分—單詞注意力和單詞間依賴注意力，并將這兩種注意力組合作為句子級(jí)別的最終注意力權(quán)重。將單詞wi與單詞wj之間的依賴關(guān)系定義為R^ij，依賴矩陣表示為r^ij∈R^dr，該矩陣在多頭注意力中是共享的，其中單詞節(jié)點(diǎn)注意力eW^ij的計(jì)算如式（4），單詞間依賴關(guān)系注意力eD^ij的計(jì)算如式（5）：

eW^ij=f（h^l－1Si，h^l－1Sj），j∈N（i）－inf，otherwise（4）

eD^ij=f（h^l－1Si，r^ij），j∈N（i）－inf，otherwise（5）

其中：f為計(jì)算兩個(gè)向量相似度的函數(shù)，計(jì)算如公式（6）：

f（x，y）=LeakyRELU（^f→T［x‖y］）（6）

式中：f→∈瘙綆^2F′；‖表示向量拼接。

將上面兩種注意力表示按式（7）結(jié)合，得到的全局注意力得分va同時(shí)考慮了單詞特征和單詞間依賴關(guān)系：

va=exp（eW^ij+eD^ij）∑^j∈N（i）exp（eW^ij+eD^ij）（7）

多頭依賴圖注意力根據(jù)給定單詞wi和相鄰單詞更新第l層表示hl^Si的計(jì)算過(guò)程如式（8）：

hl^Si=∏kk=1tanh（∑j∈N（i）α^lkijW^lkVh^l－1Sj）（8）

其中：k表示多頭的數(shù)量；W^lkV表示第l層第k個(gè)頭的參數(shù)矩陣；tanh表示激活函數(shù)；α^lkij表示hli對(duì)h^l－1j的依賴程度。本模塊可以精準(zhǔn)的描述鄰接節(jié)點(diǎn)對(duì)于已知節(jié)點(diǎn)的重要性，同時(shí)擴(kuò)展了注意力機(jī)制的編碼通道。

2）交互自注意力模塊

捕捉句子中對(duì)指定方面詞意義重要的單詞，僅僅依靠GRU是遠(yuǎn)遠(yuǎn)不夠的，為了解決這個(gè)問(wèn)題，本文在詞語(yǔ)層面對(duì)于方面詞和上下文詞的隱藏向量使用交互注意力機(jī)制。本模塊的目標(biāo)是對(duì)一個(gè)方面詞及其上下文詞之間的關(guān)系進(jìn)行建模，通過(guò)單詞的語(yǔ)義信息計(jì)算方面詞與每個(gè)上下文詞的注意力權(quán)重來(lái)獲得依賴關(guān)系，交互注意力的基本模塊選用關(guān)注內(nèi)部的自注意力機(jī)制，在提取情緒詞時(shí)，內(nèi)部注意力機(jī)制只允許注意力一個(gè)方面的信息詞。這減少了模型的額外負(fù)擔(dān)，將其應(yīng)用在方面詞與上下文詞中，獲取短語(yǔ)級(jí)別的關(guān)系表示V^att，其中hTi、hCi是上一步驟中BGRU層輸出的方面詞和上下文詞的隱藏狀態(tài)，具體計(jì)算如式（9）、式（10）、式（11）：

v^att－t=Hα=∑Mⁱ⁼¹αi·hTi;v^att－t∈R^dat（9）

v^att－c=Hα=∑^N－Mi=1αi·hCi;v^att－c∈R^dac（10）

αi=exp（r（hTi））∑M^j=1exp（r（hTi））（11）

其中：v^att－t為方面詞的自注意力向量表示；v^att－c為上下文詞的自注意力向量表示，通過(guò)短語(yǔ)向量V^att獲取的方面詞和上下文詞的信息后，利用交互式的方法計(jì)算文本中方面詞與每個(gè)情感上下文詞之間的深層依賴關(guān)系，交互注意力機(jī)制使模型加強(qiáng)對(duì)句子中情感單詞的注意力，而不是只考慮單詞的語(yǔ)義。

2.3.4 池化層

除了計(jì)算兩者的自注意力信息，本文還采用了傳統(tǒng)的平均池化方法得出另一個(gè)短語(yǔ)級(jí)別的深層向量表示V_avg，具體計(jì)算如式（12）、式（13）：

v_avg－T=∑mⁱ⁼¹hTim（12）

v_avg－C=∑^n－mi=1hCin－m（13）

其中：v_avg－T為方面詞的平均向量表示；v_avg－C為上下文詞的平均向量表示，將兩者的注意力向量和平均池化向量按式（14）、（15）、（16）分別進(jìn)行聚合交互：

vt=［v_att－t;v_att－c］（14）

vg=［v_avg－t;v_avg－c］（15）

vb=vtvg（16）

將兩個(gè)模塊的注意力向量拼接，作為分類層的輸入，具體的計(jì)算如式（17）：

vf=vavb（17）

2.3.5 分類輸出層

為了預(yù)測(cè)一個(gè)給定方面的情緒極性，我們將信息交互層得到的最終表示vf輸入到一個(gè)全連接的層中，最終通過(guò)Softmax輸出用于分類。情緒極性的預(yù)測(cè)概率p的數(shù)學(xué)模型定義如式（18）：

p=Softmax（Wpvf+bp）（18）

其中Wp和bp是可訓(xùn)練的權(quán)重和偏差，在模型訓(xùn)練過(guò)程中，使用交叉熵?fù)p失的梯度下降方法和L2正則化，具體計(jì)算如式（19）：

Loss=－∑^d∈YD∑F^f=1Y^dflogP^df+λ‖Θ‖2（19）

其中：D為評(píng)論文本數(shù)據(jù)集；f為類的數(shù)量；P^df為各類的預(yù)測(cè)概率；λ為正則系數(shù)；Θ表示可訓(xùn)練的參數(shù)集。

3 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置、結(jié)果分析

3.1 數(shù)據(jù)集

為了獲得更有說(shuō)服力的測(cè)試結(jié)果，必須獲得較為準(zhǔn)確、全面的測(cè)試數(shù)據(jù)集，本文在3個(gè)情感分析數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，以驗(yàn)證所提模型的性能，其中包含SemEval2014的餐廳評(píng)論數(shù)據(jù)集（以下簡(jiǎn)稱R14）、筆記本電腦評(píng)論數(shù)據(jù)集（以下簡(jiǎn)稱L14）、ACL14的Twitter數(shù)據(jù)集（以下簡(jiǎn)稱T14），為了便于實(shí)驗(yàn)統(tǒng)計(jì)分析，將數(shù)據(jù)集中表示沖突情緒極性（既表示了積極又表示了消極）的文本刪除，保留三種情緒：積極、中性和消極，數(shù)據(jù)細(xì)節(jié)統(tǒng)計(jì)如表1所示。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文通過(guò)一系列的參數(shù)優(yōu)化實(shí)驗(yàn)選擇了最佳分類正確率的超參數(shù)，表2展示了IDM-GAT模型的超參數(shù)設(shè)置，實(shí)驗(yàn)中所有的權(quán)值矩陣都由均勻分布U（-0.01，0.01）隨機(jī)初始化，訓(xùn)練過(guò)程中使用Adam優(yōu)化器進(jìn)行優(yōu)化，主要使用pytorch深度學(xué)習(xí)框架對(duì)模型進(jìn)行訓(xùn)練和預(yù)測(cè)。

3.3 基線模型

為了驗(yàn)證本文模型的有效性，將與以下一些經(jīng)典有效的基線模型的實(shí)驗(yàn)結(jié)果進(jìn)行比較：

SVM^［6］：經(jīng)典的機(jī)器學(xué)習(xí)方法，利用詞匯特征進(jìn)行文本分類；

LSTM^［23］：基礎(chǔ)的遞歸神經(jīng)網(wǎng)絡(luò)模型，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)；

ATAE-LSTM^［24］：初始化階段將目標(biāo)詞嵌入添加到每個(gè)上下文詞嵌入中，可以突出目標(biāo)詞在 LSTM 中的狀態(tài)，獲得更充分的特征；

TC-LSTM^［7］：將目標(biāo)句子中的每個(gè)單詞進(jìn)行詞向量表示后，平均值形成向量矩陣，在每一步輸入時(shí)，把輸入詞向量和目標(biāo)向量合在一起作為輸入；

TD-LSTM^［7］：采用兩種LSTM網(wǎng)絡(luò)對(duì)左上下文和方面詞、右上下文與方面詞兩個(gè)方向進(jìn)行建模；

IAN^［8］：通過(guò)在兩個(gè)LSTM中引入注意力機(jī)制分別表示方面詞和上下文；

MEMNET^［24］：將注意力多次應(yīng)用于單詞嵌入，最后一個(gè)注意力的輸出輸入到softmax中進(jìn)行預(yù)測(cè)；

ASGCN^［25］：利用句法信息和單詞之間的依賴關(guān)系在依賴樹(shù)上建立GCN；

SK-GCN^［26］：使用Bi-LSTM對(duì)句子進(jìn)行編碼，并使用圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)表示語(yǔ)法樹(shù)和知識(shí)圖，常用于方面極性分類；

GAT^［27］：通過(guò)計(jì)算相鄰節(jié)點(diǎn)的注意力系數(shù)，再進(jìn)行加權(quán)求和，對(duì)于某個(gè)節(jié)點(diǎn)，它的下一層嵌入是該節(jié)點(diǎn)對(duì)其相鄰節(jié)點(diǎn)做自注意力的結(jié)果；

TD-GAT^［15］：將句子表示為方面目標(biāo)和相關(guān)詞直接連接的依賴圖，明確構(gòu)建了單詞之間的語(yǔ)法結(jié)構(gòu)，將情緒特征傳播到方面目標(biāo)；

RGAT^［28］：GAT方法的改進(jìn)，聚合了邊上的信息；

SPGCN^［16］：基于圖卷積網(wǎng)絡(luò)的改進(jìn)模型，含有4種鄰接圖的情感交互圖；

GL-GCN^［21］：結(jié)合全局和局部結(jié)構(gòu)信息，以圖卷積網(wǎng)絡(luò)基礎(chǔ)的全局和局部依賴引導(dǎo)網(wǎng)絡(luò)模型。

3.4 實(shí)驗(yàn)結(jié)果

通過(guò)表3得出以下結(jié)論：

1）基于SVM的模型在3個(gè)數(shù)據(jù)集上都取得了較好的結(jié)果，這說(shuō)明機(jī)器學(xué)習(xí)的方法依舊值得我們學(xué)習(xí)和借鑒，在基于RNN的神經(jīng)網(wǎng)絡(luò)基線模型中，LSTM的效果最差，TD-LSTM因結(jié)合上下文而更多的捕捉了句子中的重要信息，ATAE-LSTM因具有捕捉句子中重要信息的注意力機(jī)制而取得了更好的效果，IAN的性能比ATAE-LSTM提升了約（2～3）%，因?yàn)樗鼘⒆⒁饬δ繕?biāo)放在首位，有助于提高分類精度，我們的方法在3個(gè)數(shù)據(jù)集上最高提高了11%左右，證明了我們的模型的有效性。

2）基于圖的模型相較于其他類型的模型如ATAE-LSTM在實(shí)驗(yàn)中取得了更高的準(zhǔn)確率，這說(shuō)明基于圖的模型具有較好的學(xué)習(xí)短文本中隱藏信息的能力，尤其是本文提出的模型中，將圖結(jié)構(gòu)與注意力機(jī)制在兩種層面并行處理，可以更好的彌補(bǔ)其他模型無(wú)法聚合句子中相鄰單詞語(yǔ)義關(guān)系的缺點(diǎn)。

3）與GCN相比，GAT模型捕獲了更好的標(biāo)簽相關(guān)性。注意力機(jī)制可以識(shí)別相關(guān)文本中情緒詞的重要性。兩者之間的關(guān)鍵區(qū)別是信息如何從鄰域聚集起來(lái)。GAT通過(guò)關(guān)注每個(gè)節(jié)點(diǎn)的相鄰節(jié)點(diǎn)來(lái)計(jì)算每個(gè)節(jié)點(diǎn)的隱藏狀態(tài)，并遵循自注意力策略。

3.5 消融實(shí)驗(yàn)與優(yōu)化實(shí)驗(yàn)

本文還進(jìn)行了消融實(shí)驗(yàn)，分析了IDM-GAT模型中位置向量、依賴圖注意力、交互注意力3個(gè)結(jié)構(gòu)的影響，性能變化如表4所示。主要研究了不同模塊在Restaurant14數(shù)據(jù)集上的有效性。結(jié)果表明這3個(gè)部分在模型中都是極其重要的結(jié)構(gòu)，其中消去了依賴圖注意力模塊后的模型性能下降的最多，說(shuō)明了依賴圖注意力模塊的重要性，它聚集了單詞節(jié)點(diǎn)和詞間依賴兩個(gè)方面的注意力信息權(quán)重，驗(yàn)證了句子中存在復(fù)雜的情感關(guān)系，說(shuō)明本文模型能夠識(shí)別每個(gè)單詞的深層關(guān)聯(lián)。

為了進(jìn)一步分析本文模型中各部分對(duì)模型性能的影響，我們對(duì)模型中各種參數(shù)進(jìn)行了實(shí)驗(yàn)，在其他參數(shù)不變的情況下，改變GAT的層數(shù)測(cè)試實(shí)驗(yàn)結(jié)果，記錄了GAT從1層到6層的表現(xiàn)，結(jié)果顯示當(dāng)層數(shù)超過(guò)兩層時(shí)，模型的性能會(huì)隨著層數(shù)的增加不斷下降，確定了最理想的層數(shù)為2層，實(shí)驗(yàn)結(jié)果如表5所示。

4 結(jié) 論

本文設(shè)計(jì)了一個(gè)短文本方面情感分析模型IDM-GAT，從詞語(yǔ)和句子兩種粒度對(duì)短文本中稀疏的方面情感關(guān)系進(jìn)行提取、建模，在詞語(yǔ)粒度使用自注意力機(jī)制和平均池化兩種方法，可以更高效的賦予單詞注意力權(quán)重，更密切的關(guān)注方面詞和上下文詞中的重要部分；在句子粒度中提出的依賴圖注意力方法，可以同時(shí)獲得單詞節(jié)點(diǎn)權(quán)重及相鄰節(jié)點(diǎn)間的依賴關(guān)系，大量實(shí)驗(yàn)表明本文模型的結(jié)構(gòu)都對(duì)模型的改進(jìn)起到了積極的作用，相較于多個(gè)基線模型都在一定程度上提高了性能，最高在基準(zhǔn)數(shù)據(jù)集上提高了11%的準(zhǔn)確率。

參 考 文 獻(xiàn)：

［1］ TANG D， QIN B， LIU T. Aspect Level Sentiment Classification with Deep Memory Network［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing， 2016： 214.

［2］ 劉宇鵬，李國(guó)棟.基于棧式預(yù)訓(xùn)練模型的中文序列標(biāo)注［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2022，27（1）：8.

LIU Yupeng， LI Guodong， et al. Chinese Sequence Labeling Based on Stack Pre-training Model［J］. Journal of Harbin University of Science and Technology， 2022，27（1）：8.

［3］ HUANG B， GUO R， ZHU Y， et al. Aspect-level Sentiment Analysis with Aspect-specific Context Position Information［J］.Knowledge-Based Systems， 2022， 243：108473.

［4］ ZHOU Z， WANG Q. R-transformer Network Based on Position and Self-attention Mechanism for Aspect-level Sentiment Classification［J］. IEEE Access， 2019， 7： 127754.

［5］ 呂淑寶，王明月，翟祥，等.一種深度學(xué)習(xí)的信息文本分類算法［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2017，22（2）：105.

LU Shubao， WANG Mingyue， ZHAI Xiang， et al. AN Information Text Classification Algorithm Based on DBN ［J］. Journal of Harbin University of Science and Technology， 2017，22（2）：105.

［6］ PLATT J C .Sequential Minimal Optimization： A Fast Algorithm for Training Support Vector Machines［J］.Microsoft Research， 1998.

［7］ TANG D， QIN B， FENG X， et al. Effective LSTMs for Target-Dependent Sentiment Classification［J］.Computer Science， 2015.

［8］ MA D， LI S， ZHANG X， et al. Interactive Attentionnetworks for Aspect-level Sentiment Classification［J］. arXiv Preprint arXiv：1709.00893， 2017.

［9］ KIPF T N， WELLING M. Semi-supervised Classification with Graph Convolutional Networks［J］. arXiv Preprint arXiv：1609.02907， 2016.

［10］YANG B， HAN D， ZHOU R， et al. Aspect Opinion Routing Network with Interactive Attention for Aspect-based Sentiment Classification［J］. Information Sciences， 2022， 616： 52.

［11］LAN Z， HE Q， YANG L. Dual-Channel Interactive Graph Convolutional Networks for Aspect-Level Sentiment Analysis［J］. Mathematics， 2022， 10（18）： 1.

［12］XIAO L， HU X， CHEN Y， et al. Targeted Sentiment Classification Based on Attentional Encoding and Graph Convolutional Networks［J］. Applied Sciences， 2020， 10（3）： 957.

［13］CHOROWSKI J K， BAHDANAU D， SERDYUK D， et al. Attention-based Models for Speech Recognition［J］. Advances in Neural Information Processing Systems， 2015： 28.

［14］BECK D， HAFFARI G， COHN T. Graph-to-Sequence Learning Using Gated Graph Neural Networks［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）， 2018： 273.

［15］HUANG B， CARLEY K M. Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks［C］//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）， 2019： 5469.

［16］LU Q， SUN X， SUTCLIFFE R， et al. Sentiment Interaction and Multi-graph Perception with Graph Convolutional Networks for Aspect-based Sentiment Analysis［J］. Knowledge-Based Systems， 2022， 256： 109840.

［17］VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need［J］. arXiv Preprint arXiv：1706.03762， 2017.

［18］WANG K， SHEN W， YANG Y， et al. Relational Graph Attention Network for Aspect-based Sentiment Analysis［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics， 2020： 3229.

［19］ZHANG C， SONG D， LI Q. Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks［C］//EMNLP-IJCNLP 2019-2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing， Proceedings of the Conference， 2020： 4568.

［20］ZHAO P， HOU L， WU O. Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification［J］. Knowledge-Based Systems， 2020， 193： 105443.

［21］ZHU X， ZHU L， GUO J， et al. GL-GCN： Global and Local Dependency Guided Graph Convolutional Networks for Aspect-based Sentiment Classification［J］. Expert Systems with Applications， 2021， 186： 115712.

［22］HOCHREITER S， SCHMIDHUBER J. Long Short-term Memory［J］. Neural Computation， 1997， 9（8）： 1735.

［23］WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for Aspect-level Sentiment Classification［C］//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing， 2016： 606.

［24］TAI Y， YANG J， LIU X， et al. Memnet： A Persistent Memory Network for Image Restoration［C］//Proceedings of the IEEE International Conference on Computer Vision， 2017： 4539.

［25］ZHANG C， LI Q， SONG D. Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks［J］. arXiv Preprint arXiv： 1909.03477，2019.

［26］ZHOU J， HUANG J X， HU Q V， et al. Sk-gcn： Modeling Syntax and Knowledge Via Graph Convolutional Network for Aspect-level Sentiment Classification［J］. Knowledge-Based Systems， 2020， 205： 106292.

［27］VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks［J］. stat， 2017， 1050（20）： 10-48550.

［28］BUSBRIDGE D， SHERBURN D， CAVALLO P， et al. Relational Graph Attention Networks［J］. arXiv Preprint arXiv：1904.05811， 2019.

（編輯：溫澤宇）

基金項(xiàng)目： 國(guó)家自然科學(xué)基金面上項(xiàng)目（61772160）.

作者簡(jiǎn)介："艾思雨（2000—），女，碩士研究生；

崔欣瑩（1998—），女，碩士研究生.

通信作者："陳海龍（1975—），男，博士，教授，碩士研究生導(dǎo)師，E-mail：hrbustchl@163.com.