楊春霞,桂 強(qiáng),馬文文,徐 奔

(1.南京信息工程大學(xué)自動(dòng)化學(xué)院,江蘇 南京 210044;2.江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210044;3.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京 210044)

1 引言

情感分析是自然語言處理領(lǐng)域的基本任務(wù)之一,旨在分析一篇文章或一個(gè)句子的情感極性。隨著互聯(lián)網(wǎng)的發(fā)展,很多互聯(lián)網(wǎng)平臺(tái)涌現(xiàn)大量的關(guān)于產(chǎn)品和服務(wù)的評(píng)論,評(píng)論往往包含一個(gè)或多個(gè)方面詞的內(nèi)容。傳統(tǒng)的情感分析作為粗粒度的分析任務(wù)已不能滿足這種需求,而基于方面的情感分析ABSA(Aspect-Based Sentiment Analysis)是一項(xiàng)細(xì)粒度的情感分析任務(wù),它能夠確定一個(gè)句子中出現(xiàn)的一個(gè)或多個(gè)方面詞的情感極性。如圖1所示,在“The food is good,but the staff is horrible.”一句中,方面詞是“food”和“staff”,它們的情感極性分別是積極的和消極的。因其在處理評(píng)論文本數(shù)據(jù)中的積極作用,方面級(jí)的情感分析是近年來情感分析任務(wù)中研究的熱點(diǎn)。

Figure 1 Examples of restaurant reviews

現(xiàn)有的工作關(guān)于語法信息和語義信息的使用都有研究,但多從語義角度使用注意力機(jī)制獲取單詞權(quán)重信息,使用句法依存樹獲得句子的語法信息,沒有將句法信息用于獲取單詞權(quán)重的探索,忽略了句法結(jié)構(gòu)對(duì)提取句子中不同單詞重要程度的作用。在語法圖上的圖游走獲取單詞節(jié)點(diǎn)的權(quán)重,彌補(bǔ)了從句法結(jié)構(gòu)方面獲取單詞權(quán)重的不足。此外,對(duì)于一個(gè)句子中含有多個(gè)方面詞的文本,現(xiàn)有情感分析任務(wù)模型可能會(huì)將方面詞與情感詞匹配錯(cuò)誤。如何獲得單詞之間的關(guān)聯(lián)性,準(zhǔn)確關(guān)注對(duì)目標(biāo)方面詞情感極性起作用的上下文部分是值得研究的問題。本文使用單詞節(jié)點(diǎn)權(quán)重和節(jié)點(diǎn)之間權(quán)重2種權(quán)重信息相結(jié)合的方法解決這一問題?；谝陨戏治?本文提出一種融合圖游走信息的圖注意力神經(jīng)網(wǎng)絡(luò)模型GW-GAT(Graph Attention neural neTwork model that integrates Graph Walk information),工作內(nèi)容如下所示:

(1)本文在以方面詞為根節(jié)點(diǎn)的句法依存樹的基礎(chǔ)上構(gòu)建語法圖;在語法圖上進(jìn)行圖游走得到基于句法信息單詞節(jié)點(diǎn)的權(quán)重系數(shù),將權(quán)重系數(shù)和經(jīng)過編碼的隱藏表示相乘得到帶有權(quán)重信息的句子特征表示。

(2)使用基于依存樹的圖注意力GAT(Graph Attention neTwork)融合語義信息和語法信息更新句子節(jié)點(diǎn)表示,獲取句子節(jié)點(diǎn)與節(jié)點(diǎn)之間權(quán)重。建立由節(jié)點(diǎn)到節(jié)點(diǎn)之間的權(quán)重分配機(jī)制,突出與方面詞相關(guān)的情感信息,以保留更多的情感極性相關(guān)信息,弱化無關(guān)信息。

(3)在3個(gè)情感分析公開數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)和有效性實(shí)驗(yàn)等,實(shí)驗(yàn)結(jié)果表明,本文提出的GW-GAT模型是有效的。

2 相關(guān)工作

情感分析的研究對(duì)處理大批量評(píng)論文本信息具有積極的意義,早期的研究采用人工標(biāo)注和情感詞典的方法[1],現(xiàn)在的研究大多使用深度學(xué)習(xí)的方法?；谡Z義的方法在神經(jīng)網(wǎng)絡(luò)的幫助下自動(dòng)地學(xué)習(xí)文本數(shù)據(jù)表示。Nguyen等[2]采用神經(jīng)網(wǎng)絡(luò)的方法成功完成ABSA任務(wù)。Tang等[3]在長短期記憶LSTM(Long Short-Term Memory) 網(wǎng)絡(luò)的基礎(chǔ)上,對(duì)文本中方面詞的上文和下文信息分別建模,提出的TD-LSTM(Target-Dependent LSTM)模型,取得了比傳統(tǒng)LSTM更好的效果。Nguyen和Tang等人提出的模型雖然考慮了方面詞與其上下文詞的語義相關(guān)性,但沒有關(guān)注到上下文中對(duì)方面詞情感極性起關(guān)鍵作用的信息。針對(duì)這一問題,Wang等[4]將LSTM與注意力機(jī)制結(jié)合,提出了ATAE-LSTM(ATtention-based LSTM with Aspect Embedding),該模型使用方面詞參與計(jì)算注意力權(quán)重,當(dāng)以不同的方面詞作為輸入時(shí),注意機(jī)制給句子中的單詞分配不同的權(quán)重,取得了不錯(cuò)的效果。為了有效識(shí)別上下文句子中目標(biāo)方面詞的情感極性,Huang等[5]提出了交互注意力模型AOA(Attention-Over-Attention),通過對(duì)方面詞注意力機(jī)制和上下文注意力機(jī)制聯(lián)合建模的方法捕捉方面詞和上下文句子之間的交互作用,注意力機(jī)制的使用使得這些模型的分類效果得到了提升[6]。此外,只從語義的角度出發(fā)會(huì)忽略句子的語法結(jié)構(gòu)對(duì)情感分析任務(wù)的影響,通過引入句法結(jié)構(gòu)改進(jìn)句子表示對(duì)提升模型分類性能至關(guān)重要。得益于依賴解析器的發(fā)展,Zhang 等[7]使用原始句法依賴樹表示結(jié)構(gòu)信息,保留了句法依賴樹的原始結(jié)構(gòu),在情感分析任務(wù)中引入了句法信息。Wang等[8]修改了依存樹的構(gòu)建方法,生成以方面詞為根節(jié)點(diǎn)的句法依賴樹,并對(duì)樹進(jìn)行修剪,只保留與方面詞有直接依賴關(guān)系的邊,使情感信息的獲取更加方便。Chen等[9]對(duì)句法依賴樹使用了注意力矩陣,用以區(qū)分單詞之間的依賴性,提高了模型表示句子的能力。Chen等[10]將依賴樹集成到神經(jīng)網(wǎng)絡(luò)模型中,用于表達(dá)句子的句法結(jié)構(gòu),增加了情感分析任務(wù)中句法信息的使用方式。He等[11]使用基于句法的注意力機(jī)制,將方面詞和上下文分開表示,將不同方面詞作為輸入時(shí),通過關(guān)注句子的不同部分來探索方面詞與其上下文之間的關(guān)系。但是,這些方法并沒有同時(shí)考慮語義信息和句法結(jié)構(gòu)信息,更缺乏語義信息和句法信息的融合。Zhao等[12]提出了一種基于圖卷積網(wǎng)絡(luò)GCN(Graph Convolutional Network)的方面級(jí)情感分類模型,該模型可以有效地捕獲一個(gè)句子中多方面之間的情感依賴關(guān)系。

上述模型使用注意力機(jī)制有效地識(shí)別出與目標(biāo)方面詞情感極性相關(guān)的上下文成分,使用依賴樹有效地建模句子的結(jié)構(gòu)信息?；谧⒁饬C(jī)制和基于句法結(jié)構(gòu)的模型都取得了不錯(cuò)的效果,但這些方法都沒有從句法結(jié)構(gòu)的角度獲取句子中單詞的權(quán)重,此外,這些模型直接使用給定的方面詞來尋找與方面詞相關(guān)的情感詞,在多方面詞語句中可能會(huì)導(dǎo)致兩者之間的不匹配。

因此,為了解決從句法結(jié)構(gòu)角度獲得句子單詞權(quán)重和多方面詞句子中方面詞的情感詞關(guān)注錯(cuò)誤問題,本文提出了融合圖游走信息的圖注意力網(wǎng)絡(luò)方面級(jí)情感分析模型GW-GAT。該模型結(jié)合句法結(jié)構(gòu),通過聚合上下文特征來改進(jìn)句子表示。在依存樹的基礎(chǔ)上建立的語法圖維護(hù)了樹的原始結(jié)構(gòu)信息。同時(shí),通過激活語法圖中的邊緣,圖的游走過程能夠聚焦于上下文單詞信息,得到節(jié)點(diǎn)的權(quán)重表示,作為更新句子特征表示的權(quán)重系數(shù)。在此基礎(chǔ)上,使用圖注意力網(wǎng)絡(luò)獲得句子節(jié)點(diǎn)之間的關(guān)聯(lián)程度,通過單詞節(jié)點(diǎn)與節(jié)點(diǎn)之間的權(quán)重信息相結(jié)合的方法,識(shí)別與目標(biāo)方面詞情感極性相關(guān)的上下文詞。綜上所述,本文所提模型能夠利用句法結(jié)構(gòu)信息獲取單詞權(quán)重,并且能夠識(shí)別與目標(biāo)方面詞情感極性相關(guān)的上下文詞,降低無關(guān)情感詞對(duì)方面詞情感極性的影響。

3 GW-GAT模型

本文提出的GW-GAT模型主要包含文本序列的詞嵌入層、用于編碼單詞語義的Bi-LSTM(Bidirectional LSTM)層、用于聚合上下文單詞權(quán)重的圖游走層、用于關(guān)聯(lián)節(jié)點(diǎn)信息和語義信息的GAT層,以及用于情感極性分類的全連接和Softmax層。整體上分為句意信息提取部分、語法結(jié)構(gòu)建模與單詞權(quán)重分配部分,以及信息融合與單詞關(guān)聯(lián)部分。GW-GAT模型結(jié)構(gòu)如圖2所示。

Figure 2 Structure of GW-GAT

3.1 詞向量

本文使用GloVe[13]模型將原始輸入語句映射為300維的詞向量,即將輸入句子x={x1,x2,…,xm-1,xm}映射為詞向量表示α={α1,α2,…,αω,…,αn-1,αn},其中,n=300,αω是方面詞的詞嵌入表示,α′={α1,α2,…,αn-1,αn}是除方面詞以外的上下文詞嵌入表示。

3.2 編碼詞向量

本文使用Bi-LSTM對(duì)上下文語義信息進(jìn)行編碼。LSTM模型是遞歸神經(jīng)網(wǎng)絡(luò)的一種優(yōu)化變體,在遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了記憶模塊,以解決長期依賴問題。Bi-LSTM在LSTM基礎(chǔ)上增加了對(duì)反向信息的編碼,如式(1)～式(3)所示:

(1)

(2)

(3)

其中,ht表示正向LSTM和反向LSTM輸出隱藏向量連接后得到的最終隱藏向量,st表示t時(shí)刻Bi-LSTM的輸入。本文使用Bi-LSTM模型將詞向量α={α1,α2,…,αn-1,αn}編碼為隱藏向量h={h1,h2,…,hn-1,hn}。

3.3 語法圖上的圖游走

句法依賴樹的成功使用提供了完整的句子結(jié)構(gòu)信息,句法依賴樹可以以句子中不同的詞為根節(jié)點(diǎn)構(gòu)建,本文使用高級(jí)解析技術(shù)[14]來構(gòu)建以方面詞為根節(jié)點(diǎn)的依賴樹。借助句法依賴樹構(gòu)建語法圖[15]對(duì)結(jié)構(gòu)信息進(jìn)行重新表示,依賴樹和語法圖如圖3所示。將句法依賴樹中的一些邊進(jìn)行反轉(zhuǎn),以允許從方面詞出發(fā)遍歷到依賴樹中每個(gè)單詞節(jié)點(diǎn)。例如,除根節(jié)點(diǎn)之外的方面詞與情感詞之間將被反轉(zhuǎn),以圖3“The food is good but the staff is horrible.”語句為例,“staff”與“horrible”之間關(guān)系由r#nsubj反轉(zhuǎn)后被標(biāo)記為nsnuj。在語法圖上,將每條遍歷方向上的最后一個(gè)節(jié)點(diǎn)記為停止節(jié)點(diǎn),并標(biāo)記為ext。

Figure 3 Specific example of aspect-based dependency tree and corresponding syntax graph

語法圖可以解釋為句子x的一個(gè)有向圖G=(V,E),其中,V是圖中節(jié)點(diǎn)的集合,E是圖中有向邊的集合。

將根節(jié)點(diǎn)復(fù)制k個(gè)副本nk,不同的副本nk從根節(jié)點(diǎn)出發(fā)對(duì)語法圖上的有向邊進(jìn)行遍歷。當(dāng)副本成功沿著語法圖中路徑遍歷到停止節(jié)點(diǎn)時(shí),則該路徑上的詞高亮顯示。通過計(jì)算語法圖中除根節(jié)點(diǎn)外所有單詞節(jié)點(diǎn)經(jīng)過的路徑數(shù)來給每個(gè)單詞分配權(quán)重,以圖3中句子為例,單詞節(jié)點(diǎn)“good”經(jīng)過的路徑最多,因此被分配最高的權(quán)重。通過測(cè)量邊緣和上下文單詞屬于同一子樹的可能性來計(jì)算每個(gè)邊緣激活的概率。通過每個(gè)副本的游走過程可以得到句子中單詞的權(quán)重表示,將這一過程稱為語法圖上的圖游走,簡稱圖游走,如圖4所示,其中,x*表示根節(jié)點(diǎn)和中間單詞節(jié)點(diǎn),s*表示停止節(jié)點(diǎn)。

Figure 4 Graph walk on the syntax graph

語法圖是邊和節(jié)點(diǎn)的集合,從語法圖的根節(jié)點(diǎn)出發(fā)遍歷到圖中每一條邊上的停止節(jié)點(diǎn),每條遍歷的路徑到達(dá)停止節(jié)點(diǎn)后該路徑上的單詞和邊將被高亮顯示,通過計(jì)算每個(gè)單詞節(jié)點(diǎn)經(jīng)過路徑數(shù)占所有遍歷數(shù)的概率給不同單詞分配權(quán)重,其中根節(jié)點(diǎn)不參與計(jì)算。對(duì)于給定的邊e=(u,r,v),u和v為相鄰的節(jié)點(diǎn),r為節(jié)點(diǎn)之間的邊,沿路徑到達(dá)停止節(jié)點(diǎn)的概率如式(4)所示:

(4)

其中,qu和qv分別表示相鄰節(jié)點(diǎn)u和v的嵌入表示;θr表示邊的嵌入表示;wp和bp表示概率計(jì)算中不斷更新的學(xué)習(xí)參數(shù),下標(biāo)p表示概率;σ′(·)表示對(duì)輸入向量中的每個(gè)元素利用Sigmoid進(jìn)行激活。

將從根節(jié)點(diǎn)到每個(gè)停止節(jié)點(diǎn)si路徑上邊的概率相乘得到第i個(gè)單詞xi的權(quán)重ai,計(jì)算方法如式(5)所示:

(5)

其中,εs表示從根節(jié)點(diǎn)到停止節(jié)點(diǎn)s的所有邊的集合。

最后,利用詞向量α編碼后的隱藏向量h與節(jié)點(diǎn)權(quán)重a相乘得到新的節(jié)點(diǎn)特征,如式(6)所示:

(6)

3.4 圖神經(jīng)網(wǎng)絡(luò)融合

本文使用圖注意力網(wǎng)絡(luò)在單詞節(jié)點(diǎn)權(quán)重的基礎(chǔ)上獲取單詞節(jié)點(diǎn)之間的權(quán)重信息,使單詞節(jié)點(diǎn)權(quán)重信息和節(jié)點(diǎn)之間的權(quán)重信息相結(jié)合,達(dá)到匹配目標(biāo)方面詞相關(guān)上下文詞的目的。圖注意力網(wǎng)絡(luò)是圖神經(jīng)網(wǎng)絡(luò)的變體,能更新句子節(jié)點(diǎn)表示,獲得單詞節(jié)點(diǎn)之間的權(quán)重。將句子表示中每個(gè)節(jié)點(diǎn)信息與LSTM層對(duì)應(yīng)的隱藏狀態(tài)相關(guān)聯(lián),一個(gè)GAT層通過聚合領(lǐng)域的隱藏狀態(tài)來更新節(jié)點(diǎn)表示。圖5顯示了在一個(gè)句子中應(yīng)用GAT的例子。

Figure 5 Graph attention network

(7)

(8)

3.5 預(yù)測(cè)情感極性

在得到表示hg后,將其輸入全連通層,然后輸入softmax歸一化層,即得到極性決策空間上的概率分布,如式(9)所示:

(9)

損失函數(shù)選用基于L2正則化的交叉熵?fù)p失函數(shù),如式(10)所示:

(10)

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

本文實(shí)驗(yàn)的開發(fā)工具為Pycharm,開發(fā)語言為Python 3.7.10,開發(fā)框架為PyTorch 1.8.1,使用NVIDIA GeForce GTX1650 GPU運(yùn)行程序。本文使用3個(gè)公開數(shù)據(jù)集來驗(yàn)證GW-Walk模型的有效性,3個(gè)數(shù)據(jù)集分別是來自SemEval 2014[17]的Restaurant數(shù)據(jù)集(簡稱為Rest14)和Laptop數(shù)據(jù)集,以及Dong等人[18]抓取并處理的Twitter數(shù)據(jù)集。這些數(shù)據(jù)集專用于方面級(jí)情感分析任務(wù),數(shù)據(jù)集情感極性比例如表1所示。

Table 1 Statistics of datasets

4.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文使用預(yù)先訓(xùn)練的300維GloVe向量(Pennington,Socher,and Manning 2014)來初始化預(yù)先訓(xùn)練的嵌入,并隨機(jī)初始化30維的詞性標(biāo)簽嵌入。預(yù)先訓(xùn)練和詞性標(biāo)記的嵌入都被連接為詞嵌入。BiLSTM隱藏狀態(tài)的維數(shù)設(shè)置為300。本文采用Adam作為優(yōu)化器。

4.3 模型對(duì)比實(shí)驗(yàn)分析

本節(jié)將GW-GAT模型與基線模型SVM、LSTM、ASGCN及最近出現(xiàn)的模型R-GAT、DM-GCN[19-23]等進(jìn)行對(duì)比,以實(shí)驗(yàn)精度Acc和宏觀平均F1為評(píng)價(jià)指標(biāo),來檢驗(yàn)GW-GAT的性能,對(duì)比結(jié)果如表2所示。本文基線模型數(shù)據(jù)直接引用參考文獻(xiàn),表2中加粗字體表示最優(yōu)值,‘-’表示實(shí)驗(yàn)結(jié)果數(shù)據(jù)缺失,‘w/o’表示去除。

Table 2 Comparison of experimental results of different models

分析表2實(shí)驗(yàn)結(jié)果可知,本文提出的GW-GAT模型在相同數(shù)據(jù)集上無論是準(zhǔn)確率還是F1分?jǐn)?shù)均有所提升。

在3個(gè)數(shù)據(jù)集上,與結(jié)構(gòu)相似的模型ASGCN相比,本文提出的GW-GAT模型的Acc與F1均有較大提高,準(zhǔn)確率分別提高了3.16%,4.54%和2.17%,F1值分別提高了4.61%,5.88%和2.56%。值得一提的是,R-GAT和DM-GCN作為近期公開發(fā)表論文中的模型,其分類效果顯著,其中,R-GAT模型使用關(guān)系圖注意力網(wǎng)絡(luò)建立方面詞與情感詞之間的聯(lián)系,解決了方面詞與情感詞匹配混淆問題;但GW-GAT模型在Rest14和Laptop數(shù)據(jù)集上的效果優(yōu)于這2個(gè)模型,說明本文提出的解決方案是有效的。實(shí)驗(yàn)分析認(rèn)為,模型分類效果提高的原因是GW-GAT模型對(duì)句法依賴樹進(jìn)行改進(jìn)構(gòu)建了語法圖,并在語法圖上執(zhí)行了圖游走操作,聚合上下文結(jié)構(gòu)信息生成單詞權(quán)重表示。通過使用GAT網(wǎng)絡(luò)聚合帶有權(quán)重的單詞結(jié)構(gòu)信息和上下文語義信息,得到單詞之間的關(guān)聯(lián)程度信息,匹配與目標(biāo)方面詞相關(guān)的上下文情感詞,信息考慮全面,使情感極性匹配更加準(zhǔn)確。

4.4 模型消融實(shí)驗(yàn)

為了驗(yàn)證模型改進(jìn)的有效性,本節(jié)進(jìn)行消融實(shí)驗(yàn)以評(píng)判每種改進(jìn)對(duì)模型性能的作用,實(shí)驗(yàn)結(jié)果如表2所示。

4.4.1 語法圖和圖游走操作的有效性

為了研究圖游走過程對(duì)模型的改進(jìn)效果,本節(jié)刪除了GW-GAT的整個(gè)圖游走網(wǎng)絡(luò)并使用經(jīng)過Bi-LSTM層獲取的語義特征表示作為圖注意力網(wǎng)絡(luò)的輸入,將這種被刪減的模型稱為“GW-GAT w/o grap”。消融實(shí)驗(yàn)結(jié)果表明,在3個(gè)數(shù)據(jù)集上原模型與去掉語法圖的模型相比,準(zhǔn)確率分別提高了2.4%,5.17%和0.87%,F1值分別提高了4.57%,6.55%和2.18%。這表明圖游走網(wǎng)絡(luò)在聚合語法結(jié)構(gòu)信息,使用單詞權(quán)重系數(shù)改進(jìn)句子特征表示方面是有效的。本文模型在Rest14和Laptop 數(shù)據(jù)集上效果顯著,但在Twitter 數(shù)據(jù)集上提升不明顯?？梢钥闯?如果數(shù)據(jù)集包含大量的噪聲,使用語法信息并不能取得很大的改進(jìn)。

以句子“The food is good,but the staff is horrible.”為例,句子中具體單詞經(jīng)過圖游走后的權(quán)重分布如圖6所示。由圖6可知,圖游走網(wǎng)絡(luò)在獲取句子單詞節(jié)點(diǎn)的權(quán)重信息方面是有效的。

Figure 6 Word weight distribution

4.4.2 圖注意力的有效性

為了驗(yàn)證結(jié)合單詞節(jié)點(diǎn)與節(jié)點(diǎn)之間的權(quán)重信息方法的有效性,本節(jié)構(gòu)建了GW-GAT w/o GAT模型和GW-GCN 模型,分別代表消融GAT后的模型和將GAT換成GCN的模型。

GW-GAT w/o GAT模型實(shí)驗(yàn)結(jié)果如表2所示,由表2中數(shù)據(jù)可知,使用了圖注意力機(jī)制的模型在準(zhǔn)確率和F1值上均有明顯提升,說明了圖注意力機(jī)制獲取單詞節(jié)點(diǎn)之間權(quán)重是有效的。

將GAT模型換成GCN模型,使用同樣可以聚合上下文信息和句法信息的GCN模型可以進(jìn)行更直觀的對(duì)比,2種模型分類準(zhǔn)確率對(duì)比如圖7所示。圖7結(jié)果表明,結(jié)合使用單詞節(jié)點(diǎn)權(quán)重和節(jié)點(diǎn)之間權(quán)重是有效的。將GAT換成GCN后雖然能夠更新單詞節(jié)點(diǎn)表示,但缺失了單詞節(jié)點(diǎn)之間的權(quán)重信息,分類效果明顯下降。這也說明本文使用單詞節(jié)點(diǎn)權(quán)重和節(jié)點(diǎn)之間權(quán)重相結(jié)合的方法能有效地提高方面級(jí)情感分析的分類效果,表明結(jié)合使用2種權(quán)重信息在關(guān)注與方面詞情感極性相關(guān)上下文信息方面是有效的。

綜上所述,本文利用圖游走網(wǎng)絡(luò)獲取句子中單詞的權(quán)重系數(shù),利用圖注意力網(wǎng)絡(luò)獲得單詞節(jié)點(diǎn)之間的權(quán)重,并將2種權(quán)重信息相結(jié)合有效提升了模型的性能。

5 結(jié)束語

本文提出了一種結(jié)合句法信息和語義信息的GW-GAT網(wǎng)絡(luò)模型,使用語法圖上的圖游走從句法結(jié)構(gòu)中獲得句子中單詞節(jié)點(diǎn)權(quán)重,改進(jìn)句子表示,使用圖注意力網(wǎng)絡(luò)獲取句子單詞節(jié)點(diǎn)之間權(quán)重,在單詞節(jié)點(diǎn)權(quán)重的基礎(chǔ)上獲取單詞之間的權(quán)重信息,有效地關(guān)注與方面詞情感極性相關(guān)的上下文信息,解決了方面詞與情感詞不匹配的問題。在3個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文提出的GW-GWT模型優(yōu)于基線模型,驗(yàn)證了對(duì)句子語法信息的使用和權(quán)重信息的結(jié)合對(duì)提高模型性能的重要性。但是,在沒有明顯句法結(jié)構(gòu)的非正式和簡短數(shù)據(jù)集上,GW-GAT模型效果不優(yōu),后續(xù)將研究對(duì)非正式和簡短情感分析數(shù)據(jù)的處理。