夏衛(wèi)歡，廖列法，2，張守信，張燕琴

（1.江西理工大學(xué)信息工程學(xué)院，江西 贛州 341000；2.江西理工大學(xué)軟件工程學(xué)院，江西 南昌 333000）

0 引言

方面級情感分析（ABSA）已成為當(dāng)下自然語言處理（NLP）的研究熱點。隨著互聯(lián)網(wǎng)的發(fā)展，電商等線上平臺發(fā)展迅猛，越來越多的用戶在網(wǎng)上分享對產(chǎn)品的意見，決策者需要根據(jù)用戶的評論信息對產(chǎn)品進行優(yōu)化。然而，由于用戶評論文本的不規(guī)范及其復(fù)雜結(jié)構(gòu)，因此傳統(tǒng)的情感分析難以準(zhǔn)確且快速地判斷其中包含的情感信息。針對產(chǎn)品特定方面的評論信息進行分析，符合方面級情感分析任務(wù)能夠判斷句子中特定方面的情感極性特點，因此受到廣泛關(guān)注，具有重要的研究意義。

早期的方面級情感分析研究大多是基于統(tǒng)計和規(guī)則的方法，如情感詞典等。此類方法需要大量人工參與詞典的構(gòu)建以及特征規(guī)則的設(shè)計，模型效果很大程度上依賴于手工標(biāo)注數(shù)據(jù)的質(zhì)量，達不到預(yù)期的目的，方法的適用性也較差。隨著深度學(xué)習(xí)廣泛應(yīng)用在自然語言處理中，經(jīng)典的序列循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型因其能建模序列數(shù)據(jù)的特性常被用于方面級情感分析任務(wù)中提取句子的語義信息。此外，卷積神經(jīng)網(wǎng)絡(luò)因其能夠提取局部信息特征也被用于建模上下文語義信息［1-2］。文獻［3］使用長短期記憶（LSTM）網(wǎng)絡(luò)捕獲上下文語義信息并進行方面級的情感極性分類。然而單一的序列模型無法自動關(guān)注上下文中重要的語義信息，文獻［4］將注意力機制與長短期記憶網(wǎng)絡(luò)相結(jié)合，并使用方面嵌入進行情感極性預(yù)測。文獻［5］分別建模上下文和方面詞，設(shè)計一種交互注意力機制檢索方面詞和上下文兩者之間的相互注意力分數(shù)貢獻，取得不錯的效果。此外，文獻［6-8］探索并設(shè)計多種注意力機制并應(yīng)用于方面級情感分析任務(wù)。但是，序列模型和注意力機制及其組合模型無法建模句子本身的長距離依賴關(guān)系。文獻［9］使用圖卷積網(wǎng)絡(luò)（GCN）學(xué)習(xí)句子依存句法樹上的詞間長距離依賴關(guān)系。文獻［10］通過多頭注意力編碼層學(xué)習(xí)語義信息，并結(jié)合圖卷積網(wǎng)絡(luò)進行方面級情感分析。文獻［11］使用語法距離信息加權(quán)對圖卷積網(wǎng)絡(luò)的鄰接矩陣進行加權(quán)，并使用多交互注意力機制將句子語義和語法信息進行融合。圖卷積網(wǎng)絡(luò)在方面級情感分析中的應(yīng)用表現(xiàn)出較優(yōu)的性能。然而，由于方面級情感分析語料的不規(guī)范性，因此僅考慮特定方面詞與上下文之間的依賴關(guān)系可能會造成情感極性的誤判。同時，因方面級情感分析任務(wù)的特性，如何學(xué)習(xí)有效的上下文語義和語法信息成為其關(guān)鍵所在。

本文提出一種基于方面-詞性感知的圖卷積網(wǎng)絡(luò)ASP_POSGCN。利用方面詞嵌入和上下文詞性信息對上下文語義信息進行感知，使模型能夠充分挖掘與方面詞和特定詞性相關(guān)的情感意見詞的語義信息；根據(jù)特定詞性單詞對方面的情感貢獻及其位置信息重構(gòu)依存句法樹，設(shè)計1 個雙通道圖卷積網(wǎng)絡(luò)和多圖感知機制，同時建模原始和重構(gòu)后的依存句法樹中的依賴關(guān)系；本文在4 個公開數(shù)據(jù)集上對ASP_POSGCN 模型性能進行評估。實驗結(jié)果表明，相較于經(jīng)典的基線模型和主流的利用圖卷積網(wǎng)絡(luò)的方法，所提模型在4 個數(shù)據(jù)集上的準(zhǔn)確率和宏F1 值均有提升。消融實驗結(jié)果說明了方面-詞性感知以及重構(gòu)句法依存樹對情感極性分類的重要性。

1 相關(guān)工作

1.1 方面級情感分析

方面級情感分析屬于細粒度情感分析范疇，與篇章級和句子級等粗粒度情感分析不同，方面級情感分析旨在分析判斷句子中特定方面的情感極性。例如，給定1 條語句“great food but the service was dreadful.”，其中“food”和“service”分別為給定的積極和消極方面詞，粗粒度情感分析無法準(zhǔn)確識別其中包含的情感信息。在電子商務(wù)、服務(wù)業(yè)、健康醫(yī)療和金融等領(lǐng)域，文獻［12］研究表明方面級情感分析在一定程度上能夠為企業(yè)和組織提供強大的決策支持，相較于粗粒度情感分析，具有重要的研究價值和實際意義。

1.2 詞性信息

詞性（POS）信息是句子中單詞本身具有的特征，對于理解句子起到了決定性的作用。在方面級情感分析中，一些特定詞性的單詞決定了給定方面的情感極性。在句子“great food but the service was dreadful.”中，形容詞“great”決定了方面詞“food”的積極情感，形容詞“dreadful”決定了“service”消極情感。文獻［13］通過對方面級情感分析數(shù)據(jù)集進行詞性統(tǒng)計發(fā)現(xiàn)，大多數(shù)影響方面詞情感傾向的是形容詞、副詞和動詞等意見詞。如何利用詞性信息成為研究的關(guān)鍵，文獻［14］將詞性標(biāo)簽直接輸入到模型中用于情感分類。文獻［15-16］設(shè)計門控機制，利用詞性嵌入過濾上下文信息。然而以上大多數(shù)研究僅考慮詞性對語義信息的影響，忽略了其在理解語法信息中的作用。

1.3 圖卷積網(wǎng)絡(luò)

近年來，圖神經(jīng)網(wǎng)絡(luò)特別是圖卷積網(wǎng)絡(luò)在方面級情感分析中取得了優(yōu)異的成果。文獻［9］將圖卷積網(wǎng)絡(luò)引入到方面級情感分析任務(wù)中，通過建模句子的依存句法樹捕獲語法信息，關(guān)注方面詞及其長距離上下文依賴關(guān)系。文獻［17］設(shè)計類型感知圖卷積網(wǎng)絡(luò)學(xué)習(xí)詞間依賴關(guān)系。文獻［18］將SenticNet 情感詞典知識融合到句法依賴圖中增強情感意見詞的作用。文獻［19］構(gòu)造1 個雙重圖卷積神經(jīng)網(wǎng)絡(luò)來關(guān)注詞間共現(xiàn)關(guān)系。盡管圖卷積神經(jīng)網(wǎng)絡(luò)在方面級情感分析任務(wù)中已經(jīng)成為主流研究方法，但是大多數(shù)研究忽略詞性信息及其在句子中與方面詞的相對距離對于方面情感的貢獻。

2 模型架構(gòu)

本文所提的方面-詞性感知圖卷積網(wǎng)絡(luò)ASP_POSGCN架構(gòu)如圖1 所示。模型由詞嵌入、語義提取、方面-詞性感知、語法提取和情感分類器組成。首先在詞嵌入層中使用GloVe 詞向量來表示句子；然后在語義提取部分使用雙向長短期記憶網(wǎng)絡(luò)建模上下文信息，并利用方面嵌入和詞性信息對上下文語義信息進行過濾，在語法提取部分使用雙通道圖卷積神經(jīng)網(wǎng)絡(luò)分別建模原始句法依賴矩陣和重構(gòu)句法依賴矩陣，將多圖感知機制應(yīng)用于2 個單通道的輸出；最后將語義和語法特征的最終表示計算注意力得到方面級的情感預(yù)測概率值。

圖1 ASP_POSGCN 模型結(jié)構(gòu)Fig.1 Structure of ASP_POSGCN model

2.1 詞嵌入與語義提取

給定1 個長度為n的句子s，s=｛w1，w2，…，wn｝，包括長度為m的方面詞a=｛wt+1，wt+2，…，wt+m｝，其中a是s的子序列。在詞嵌入部分中，使用GloVe 詞向量將s中的每個單詞映射成低維向量wi∈R|V|，其中|V|是詞匯表的大小。利用雙向長短期記憶網(wǎng)絡(luò)提取句子的語義信息Hi=［hl；hr］。hl和hr分別為 方向相反的單層長短期記憶網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2 所示。

圖2 長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of long short-term network

ft、it和ot分別為 遺忘門、輸入門 和輸出 門，信 息更新方式如式（1）～式（6）所示：

其中：xt和Ct-1分別表示模型當(dāng)前時刻的輸入和上一時刻的記憶細胞狀態(tài)；σ 為Sigmoid 激活函數(shù)；W和b分別表示可學(xué)習(xí)的權(quán)重和偏置矩陣；tanh 為雙曲正切函數(shù)。

上一時刻的記憶細胞狀態(tài)Ct-1和當(dāng)前時刻信息被共同輸入到長短期記憶網(wǎng)絡(luò)中，經(jīng)過it，ft和ot門控機制后得到當(dāng)前時刻的輸出ht和當(dāng)前時刻的記憶細胞狀態(tài)Ct。

圖3 所示為雙向長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)，通過拼接2 個單向長短期記憶網(wǎng)絡(luò)的輸出hl和hr可以得到句子s的語義信息Hi=｛h1，h2，…，hn｝，其中hi∈R2d，d為單向長短期記憶網(wǎng)絡(luò)的隱藏層維度。

圖3 雙向長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of bi-directional long short-term network

考慮到單詞與方面詞的相對距離對其情感的影響，本文采用位置編碼建模單詞與方面詞的距離信息。為每個上下文單詞賦予不同權(quán)重，權(quán)重大小與上下文和方面詞的相對距離成正比，權(quán)重計算式如式（7）和式（8）所示：

其中：n為句子s的長度；［t+1，t+m］為方面詞序列索引值區(qū)間；pi表示句子s中單詞i的權(quán)重值。利用位置編碼將上下文相對于方面詞位置信息融入其自身語義信息中，Hi將作為最終的語義信息輸入到圖卷積網(wǎng)絡(luò)中。

2.2 方面-詞性感知

文獻［20］研究發(fā)現(xiàn)，在方面級情感分析中40%的誤差是由于未考慮到方面詞本身造成的。因此，為了同時關(guān)注方面詞本身以及上下文詞性信息，本文設(shè)計方面-詞性感知機制，使用方面詞嵌入和詞性信息的隱藏層狀態(tài)并借助門控機制來實現(xiàn)。

首先利用方面感知門控機制計算語義信息Hi和方面嵌入ei的相關(guān)性，計算式如式（9）～式（11）所示：

其中：Wa∈R2d，Wt∈R2d，ba∈R2d和bt∈R2d分別表 示可學(xué)習(xí)的參數(shù)權(quán)重和偏置矩陣；σ 表示Sigmoid 激活函數(shù)；ei∈Rd為方面詞嵌入；Zi=｛z1，z2，…，zn｝為句子s經(jīng)由方面感知門控機制后的語法信息，過濾上下文中與當(dāng)前方面詞不相關(guān)的信息，避免引入不必要的噪聲，其中zi∈R2d。

句子中特定詞性的單詞與方面詞情感極性有直接聯(lián)系，詞性感知部分通過門控機制可以進一步篩選出方面感知輸出中特定詞性的上下文信息。具體地，將單詞的詞性嵌入輸入到雙向長短期記憶網(wǎng)絡(luò)中，得到詞性信息隱層狀態(tài)Hp∈R2d用于詞性感知門控計算，如式（12）所示：

其中：tanh為雙曲正切函數(shù)；Wp∈R2d表示可學(xué)習(xí)的權(quán)重；Z∈R2d表示方面感知的輸出。最終得到方面-詞性感知的輸出Hp將與之后的圖卷積網(wǎng)絡(luò)的輸出計算注意力送入情感分類器中。

2.3 語法提取

2.3.1 依存句法樹重構(gòu)

近年來，依存句法分析被用于方面級情感分析中，不僅能夠捕獲長距離上下文與方面詞的關(guān)系，還能提供句子的語法信息有利于指導(dǎo)模型進行情感極性預(yù)測。然而，因公開語料庫中句子的不規(guī)范導(dǎo)致在進行依存句法分析時產(chǎn)生誤差，從而引入噪聲信息。為緩解這種現(xiàn)象，本文結(jié)合方面詞和詞性信息對依存句法樹進行重構(gòu)。

詞性信息是句子本身帶有的特征，文獻［13，15］研究表明形容詞、副詞和動詞等詞性的單詞對給定方面的情感傾向影響較大。基于此，本文對原始依存句法樹中的詞間依賴關(guān)系進行重構(gòu)。首先，利用spaCy 自然語言處理工具包生成原始依存句法樹。原始依存句法樹如圖4 所示。

圖4 原始依存句法樹Fig.4 Primitive dependency syntax tree

原始依存句法樹包含單詞之間的長距離依賴關(guān)系，為此構(gòu)建原始句法依賴矩陣Ai，j∈Rn×n，如式（13）所示：

之后，根據(jù)上下文詞性對依賴關(guān)系進行重構(gòu)，將方面詞作為根節(jié)點指向其情感相關(guān)上下文單詞，并替換原始依存句法樹中的依賴關(guān)系為上下文單詞詞性。依存句法樹重構(gòu)如圖5 所示。

圖5 依存句法樹重構(gòu)Fig.5 Reconstruction of dependency syntax tree

最后在生成句法依賴矩陣時根據(jù)上下文單詞的詞性及其與方面詞的距離賦予其不同權(quán)重。權(quán)重計算式如式（14）和式（15）所示：

具體的重構(gòu)流程如算法1 所示。

算法1方面-詞性感知矩陣算法

在算法1 中詞性列表選擇形容詞、副詞和動詞。經(jīng)過重構(gòu)后的方面-詞性矩陣Mi，j不僅融合上下文中特定詞性單詞的位置和詞性信息，在一定程度上緩解了因句法解析錯誤帶來的情感極性誤判，同時融合詞性信息的句法依賴矩陣能更好地指導(dǎo)模型在提取語法時專注于和方面詞直接相關(guān)的情感意見詞。

2.3.2 多圖感知機制

在語法提取初期，本文分別構(gòu)建原始句法圖和方面-詞性感知圖，以獲取句子內(nèi)部語法關(guān)聯(lián)。為改善以上2 種圖之間的語法和句法依賴關(guān)系，利用多圖感知機制捕獲不同圖之間無法捕獲的依賴關(guān)系信息，以減少信息的重疊。具體的感知機制如式（16）和式（17）所示：

其中：Gsyn和Gap分別表示原始依賴圖和方面-詞性感知圖；R表示多圖感知；Regular（Gsy‖nGap）表示Gsyn和Gap之間的異構(gòu)信息；KL 表示Kullback-Leibler 散度。多圖感知機制能夠考慮兩者之間的相似度。如果兩者相似度較高，則傾向于0；否則，則傾向于1。

2.3.3 雙通道圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)常被用于建模長距離語法依賴關(guān)系。文獻［9］使用2 層圖卷積網(wǎng)絡(luò)建模句子句法依賴矩陣。為了同時建模原始依存句法樹和重構(gòu)依存句法樹，本文設(shè)計1 個雙通道圖卷積網(wǎng)絡(luò)，分別為Syn-GCN 和AP-GCN。Syn-GCN 和AP-GCN 計算均使用KIPF等［21］改進的通過歸一化來更新節(jié)點圖卷積網(wǎng)絡(luò)。

在Syn-GCN 中使用原始句法依賴矩陣Ai，j進行計算，對于第i個節(jié)點，將其標(biāo)記為，其輸出為具體計算式如式（18）和式（19）所示：

其中：Wl∈R2d和bl∈R2d分別為可學(xué)習(xí)的權(quán)重和偏置矩陣∈R2d為節(jié)點i的l-1 層輸出∈R2d為節(jié)點i的第l層輸出；di∈Rn×n為矩陣Ai，j的度矩陣。

在AP-GCN 中使用重構(gòu)后的句法依賴矩陣Mi，j進行計算，與Syn-GCN 類似，使用位置編碼后的語義信息hi作為初始節(jié)點信息，具體計算式如式（20）和式（21）所示：

其中：Wl∈R2d和bl∈R2d表示可學(xué)習(xí)的參數(shù)權(quán)重和偏置矩陣；∈R2d為節(jié)點i的l-1 層輸出；∈R2d為節(jié)點i的第l層輸出；di∈Rn×n為矩陣Mi，j的度矩陣。

經(jīng)過雙通道圖卷積網(wǎng)絡(luò)后得到原始依賴圖和方面-詞性感知圖的隱藏表示為結(jié)合兩者來提取語義和句法依賴，并采用多圖感知機制以減輕重疊信息，計算如式（22）所示：

其中：α為特征相關(guān)系數(shù)。為獲取特定方面的語法信息，利用Mask 掩碼層對非特定方面的語法特征進行屏蔽。具體地，保持特定方面的語義信息不變，將非特定方面的語義信息設(shè)為0，如式（23）所示：

經(jīng)過Mask 掩碼層得到句子s特定方面的最終語法表示

2.4 情感分類器

為了檢索句子s語義信息與語法信息的相關(guān)性，使用多圖感知機制后的掩碼輸出hli和zi計算注意力，具體計算式如式（24）～式（26）所示：

得到最終分類表示γ∈R2d后使用1 個全連接層映射得到輸出x，通過Softmax 獲取方面a情感極性c的概率值p，如式（27）所示：

其中：Wp和bp表示可學(xué)習(xí)的參數(shù)權(quán)重和偏置。使用結(jié)合L2 正則化的交叉熵損失函數(shù)進行訓(xùn)練，如式（28）所示：

其中：C表示輸出的情感極性分類空間；λ表示L2 正則化系數(shù)；Θ表示模型訓(xùn)練的參數(shù)。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集與詞性標(biāo)注

為驗證本文所提ASP_POSGCN 模型的性能，在Twitter-SemEval2014 task4 中 的Laptop14，Restaurant14和SemEval2016 task5 中 的Restaurant16 這4 個方面級情感分析公共數(shù)據(jù)集上進行實驗。每個數(shù)據(jù)集都包含若干條中立、積極和消極3 種類型的語句。數(shù)據(jù)集規(guī)模如表1 所示。

表1 數(shù)據(jù)集規(guī)模Table 1 Dataset size 單位：條

此外，本文提出的ASP_POSGCN 模型使用NLTK 自然語言處理工具包對數(shù)據(jù)集進行詞性標(biāo)注預(yù)處理，用于模型的詞性感知部分。

3.2 評估指標(biāo)

本文采用準(zhǔn)確率（Acc，計算中用A）和宏F1 值對模型實驗效果進行評估，準(zhǔn)確率和宏F1 值（計算中用F1）的定義如式（29）～式（32）所示：

其中：TTP為正樣本預(yù)測正確數(shù)量；TTN為正樣本預(yù)測錯誤數(shù)量；FFP為負樣本預(yù)測正確數(shù)量；FFN為負樣本預(yù)測錯誤數(shù)量；P為精準(zhǔn)率，表示正確預(yù)測的正樣本占實際預(yù)測正樣本的比例；R為召回率，表示正確預(yù)測的正樣本占總正樣本的比例。

3.3 實驗設(shè)置

本文實驗使用預(yù)訓(xùn)練的300 維度GloVe 詞向量生成詞嵌入以及不同維度的詞性嵌入進行實驗，模型的所有參數(shù)初始化均采用均勻分布。雙向長短期記憶網(wǎng)絡(luò)的隱藏層維度為300，使用Adam 優(yōu)化器進行參數(shù)優(yōu)化，采用L2 正則化和Dropout 防止模型過擬合，針對不同數(shù)據(jù)集達到最優(yōu)實驗效果的參數(shù)不同，模型的學(xué)習(xí)率和相關(guān)參數(shù)取值不同。具體實驗參數(shù)以及實驗平臺配置如表2 和表3 所示。

表2 模型參數(shù)設(shè)置Table 2 Model parameters setting

表3 實驗平臺配置Table 3 Experimental platform configuration

3.4 結(jié)果分析

為驗證本文提出的ASP_POSGCN模型的可行性，本文在Twitter、Laptop14、Restaurant14和Restaurant16數(shù)據(jù)集上進行對比實驗和消融實驗。

3.4.1 對比實驗

將本文所提ASP_POSGCN 與如下方面級情感分析基線模型和主流研究方法進行對比。

LSTM［3］：使用長短期記憶網(wǎng)絡(luò)建模語義信息并使用其輸出的隱藏層狀態(tài)進行情感極性預(yù)測。

ATAE-LSTM［4］：采用方面詞嵌入，將長短期記憶網(wǎng)絡(luò)與注意力機制相結(jié)合用于方面級情感分析。

MemNet［22］：結(jié)合具有位置特征注意力機制和深度記憶網(wǎng)絡(luò)進行方面級情感分析。

IAN［7］：通過長短期記憶網(wǎng)絡(luò)分別建模上下文和方面詞，設(shè)計一種交互注意力機制生成上下文和方面詞表示并拼接作為最終分類表示。

AOA［23］：借鑒機器翻譯中的注意-過度注意思想，聯(lián)合建模方面詞和上下文，通過計算逐行和逐列式注意力得到上下文相對于方面詞的加權(quán)表示。

ASGCN［9］：使用圖卷積網(wǎng)絡(luò)建模句子語法信息用于方面級情感分析。

BiGCN［19］：將句子中單詞共現(xiàn)信息整合到句法依賴圖中以增強其表征能力。

AEGCN［10］：結(jié)合注意力編碼器與圖卷積網(wǎng)絡(luò)分別建模句子語義和語法信息后拼接作為句子最終情感分類表示。

ATGCN［24］：通過多頭注意力計算上下文嵌入和方面嵌入的相關(guān)性，結(jié)合圖卷積網(wǎng)絡(luò)進行方面級情感極性分類。

MIGCN［11］：使用語法距離信息加權(quán)對圖卷積網(wǎng)絡(luò)的鄰接矩陣進行加權(quán)，并使用交互注意力機制使模型同時關(guān)注詞間語義和語法信息。

PGGCN［16］：分別建模詞嵌入和詞性嵌入，并使用門控機制將兩者的LSTM 輸出進行融合與圖卷積網(wǎng)絡(luò)的輸出計算注意力分數(shù)。

ASP_POSGCN：本文提出的方面-詞性感知圖卷積網(wǎng)絡(luò)，同時關(guān)注方面嵌入和詞性信息在語義和語法中對方面情感極性的貢獻。

不同模型的實驗結(jié)果如表4 所示，加粗表示最優(yōu)數(shù)據(jù)。

表4 不同模型的評價指標(biāo)對比Table 4 Evaluation indicators comparison among different models %

從表4 可以看出，基于序列建模的LSTM 模型以及結(jié)合注意力機制的ATAE-LSTM 和MemNet 模型的效果普遍較差，因其模型架構(gòu)僅考慮了上下文語義部分，無法有效預(yù)測情感極性。IAN 和AOA 模型在建模上下文時同時考慮方面詞信息，通過設(shè)計注意力機制有效地提取與方面詞相關(guān)的上下文語義信息，在4 個數(shù)據(jù)集上的準(zhǔn)確率和F1 值相較于單一語義建模的模型有明顯提升，說明方面信息有助于檢索上下文語義信息?；趫D卷積網(wǎng)絡(luò)的模型充分考慮了語法信息在理解句子時的作用，實驗效果相較于單一語義建模的模型也大幅提升。相較于ASGCN 模 型，BiGCN 在Twitter 數(shù)據(jù)集 上的準(zhǔn)確率和F1 值分別提升2.01 和2.95 個百分點，在Restaurant14 數(shù)據(jù)集上提升1.20 和1.46 個百分點，說明詞間共現(xiàn)信息在一定程度上能夠強化詞間的依賴關(guān)系。AEGCN 模型的性能相較于ASGCN 在Twitter、Laptop14 和Restaurant14 數(shù)據(jù)集 上均得到提升，說明結(jié)合注意力編碼序列模型的上下文語義信息的表征能力要優(yōu)于單一的序列模型。ATGCN 模型通過多頭注意力機制計算方面嵌入與上下文嵌入的相關(guān)性，在Restaurant14 數(shù)據(jù)集上的準(zhǔn)確率和F1值比AEGCN 分別提升0.81 和1.99 個百分點，說明考慮方面信息有助于模型性能的提升。MIGCN 相比于ASGCN 模型，在4 個數(shù)據(jù)集上準(zhǔn)確率平均提升1.07 個百分點，F(xiàn)1 值平均提升2.47 個百分點，說明加權(quán)圖卷積網(wǎng)絡(luò)有利于增強依賴關(guān)系，多交互注意力機制有利于文本語義和語法的特征融合。與ASGCN相 比，PGGCN 在Twitter、Laptop14、Restaurant14 和Restaurant16 數(shù)據(jù)集上的準(zhǔn)確率和F1 值均有明顯提升，證明詞性門控機制的有效性。ASP_POSGCN 相較于利用依存句法樹構(gòu)建鄰接矩陣的ASGCN 模型，在4 個數(shù)據(jù)集上的準(zhǔn)確率分別為74.57%、79.15%、83.84% 和91.23%，F(xiàn)1 值分別 為72.59%、75.76%、77.00%和77.11%，其中準(zhǔn)確率平均提升2.83 個百分點，F(xiàn)1 值平均提升了5.38 個百分點。方面-詞性感知鄰接矩陣充分考慮了方面詞和特定POS 的單詞及其相對距離對情感的影響，使得ASP_POSGCN 在4 個數(shù)據(jù)集上均取得或接近最優(yōu)的效果。

3.4.2 消融實驗

為驗證ASP_POSGCN 模型中各個模塊對方面情感極性的影響，本文設(shè)計1 組消融實驗。其中w/o ap表示僅去掉方面感知部分；w/o pp 表示僅去掉詞性感知部分；w/o ap-gcn 表示僅去掉重構(gòu)依存句法樹分支部分；w/o mgp 表示去掉多圖感知機制，即使用方面-詞性感知的輸出分別與雙通道GCN 輸出計算注意力并拼接作為最終表示。消融實驗結(jié)果及統(tǒng)計圖如表5、圖6 和圖7 所示，加粗表示最優(yōu)數(shù)據(jù)。實驗結(jié)果表明，方面-詞性雙感知機制的效果優(yōu)于單一感知機制，重構(gòu)后的句法依賴圖充分挖掘和利用原始依存句法圖中忽略的方面詞和特定詞性間的依賴關(guān)系，多圖感知機制能夠捕獲原始依存句法圖和方面-感知依存圖的異構(gòu)信息，從而有助于模型性能的提升。此外，本節(jié)分別對特征相關(guān)系數(shù)α、詞性嵌入維度pos_dim 和GCN 層數(shù)進行消融實驗。

表5 消融實驗結(jié)果Table 5 Ablation experimental results %

圖6 消融模型與準(zhǔn)確率的關(guān)系Fig.6 The relationship between ablation models and accuracy

圖7 消融模型與F1 值的關(guān)系Fig.7 The relationship between ablation models and F1 value

3.4.3 特征相關(guān)系數(shù)α消融實驗

在多圖感知機制中，特征相關(guān)系數(shù)α的值反映不同數(shù)據(jù)集對原始依存句法圖和方面-詞性感知依存圖的敏感程度。因此，對特征相關(guān)系數(shù)α進行消融實驗，其中α的取值為（0，1］。特征相關(guān)系數(shù)α與準(zhǔn)確率和F1 值的關(guān)系如圖8 和圖9 所示。

圖8 特征相關(guān)系數(shù)α 與準(zhǔn)確率的關(guān)系Fig.8 The relationship between characteristic correlation coefficient α and accuracy

圖9 特征相關(guān)系數(shù)α 與F1 值的關(guān)系Fig.9 The relationship between characteristic correlation coefficient α and F1 value

當(dāng)α從0.1 增加到1.0 的過程 中，ASP_POSGCN在4 個數(shù)據(jù)集上的準(zhǔn)確率變化較F1 值相對平緩。當(dāng)α取值 為0.5 時，Twitter 和Restaurant14 數(shù)據(jù)集的準(zhǔn)確率和F1 值均達到最大值，而Laptop14 和Restaurant16 數(shù)據(jù)集均在α取值為1 時達到最大值，說明不同的數(shù)據(jù)集對于方面-詞性感知圖中的信息關(guān)注程度不同。

3.4.4 詞性嵌入維度消融實驗

在方面-詞性感知機制中，詞性嵌入維度會影響學(xué)習(xí)到的上下文語義特征質(zhì)量。為此，本文對詞性嵌入維度進行消融實驗，詞性維度設(shè)置為pos_dim∈｛20，25，30，35，40｝。詞性嵌 入維度 與準(zhǔn)確率和F1 值的關(guān)系如圖10 和圖11 所示。

圖10 詞性嵌入維度與準(zhǔn)確率的關(guān)系Fig.10 The relationship between the embedding dimension of part-of-speech and accuracy

圖11 詞性嵌入維度與F1 值的關(guān)系Fig.11 The relationship between the embedding dimension of part-of-speech and F1 value

從圖10 可以看出，當(dāng)詞性嵌入維度發(fā)生變化時，ASP_POSGCN 的準(zhǔn)確率出現(xiàn)了小范圍的浮動，說明數(shù)據(jù)集準(zhǔn)確率對詞性嵌入維度敏感程度較小。從圖11 可以看出，當(dāng)詞性嵌入維度設(shè)置為30 時，ASP_POSGCN 在4 個數(shù)據(jù)集上的F1 值均達到最大值。其中，Laptop14、Restaurant14 和Restaurant16 數(shù)據(jù)集的F1 值隨著詞性嵌入維度改變發(fā)生較大程度的波動，說明Laptop14、Restaurant14 和Restaurant16 數(shù)據(jù)集的F1 值對詞性嵌入維度較為敏感。

3.4.5 GCN 層數(shù)消融實驗

為驗證圖卷積網(wǎng)絡(luò)層數(shù)對實驗結(jié)果的影響，本文設(shè)置圖卷積網(wǎng)絡(luò)層數(shù)L∈｛1，2，3，4，5，6，7，8｝進行消融實驗。GCN 層數(shù)與準(zhǔn)確率和F1 值的關(guān)系如圖12 和圖13 所示。

圖12 GCN 層數(shù)與準(zhǔn)確率的關(guān)系Fig.12 The relationship between GCN layers and accuracy

圖13 GCN 層數(shù)與F1 值的關(guān)系Fig.13 The relationship between GCN layers and F1 value

當(dāng)GCN 層數(shù)為2 層 時，ASP_POSGCN 模型在Twitter、Laptop14、Restaurant14 和Restaurant16 數(shù) 據(jù)集上的準(zhǔn)確率和F1 值均達到最優(yōu)。隨著GCN 層數(shù)的增加，ASP_POSGCN 在4 個數(shù)據(jù)集上的性能都呈現(xiàn)下降趨勢，其原因可能為隨著GCN 層數(shù)的增加，模型參數(shù)量隨之增加，導(dǎo)致過擬合現(xiàn)象的發(fā)生。

4 結(jié)束語

本文提出一種方面-詞性感知圖卷積網(wǎng)絡(luò)。利用方面嵌入和詞性信息感知上下文語義特征，同時重構(gòu)句子依存句法樹構(gòu)建方面-感知鄰接矩陣以增強詞間依賴關(guān)系，并使用多圖感知機制捕獲兩者異構(gòu)信息，通過雙通道圖卷積網(wǎng)絡(luò)進行建模，最后將方面-詞性感知上下文語義信息和語法信息計算注意力作為分類特征表示。實驗結(jié)果表明，方面-詞性感知機制有助于提取情感相關(guān)的上下文語義信息，同時本文提出的重構(gòu)依存句法圖鄰接矩陣和多圖感知機制是有效的。實驗結(jié)果表明，ASP_POSGCN 模型在公開數(shù)據(jù)集上的準(zhǔn)確率和F1 值優(yōu)于基線模型和一些主流的研究方法。下一步將考慮利用詞間依賴標(biāo)簽以達到增強模型語法表征能力的效果。