王 澤，孔韋韋，薛佳偉，平 穩(wěn)，李 龍

1.西安郵電大學(xué)，西安 710121

2.陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，西安 710121

3.桂林電子科技大學(xué)，廣西 桂林 541004

4.廣西可信軟件重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004

情感分析是人們對(duì)服務(wù)、事件、產(chǎn)品、話題及其屬性的觀點(diǎn)、情緒和態(tài)度的研究，當(dāng)今世界社交媒體發(fā)展迅速，情感分析也成為了自然語(yǔ)言處理領(lǐng)域的一項(xiàng)基礎(chǔ)任務(wù)[1]。情感分析根據(jù)其對(duì)文本的研究粒度可以分為篇章級(jí)情感分類(lèi)、句子級(jí)情感分類(lèi)和方面級(jí)情感分類(lèi)三種，其中方面級(jí)情感分析由于其文本粒度小，在一句話中能夠更準(zhǔn)確地判斷在不同方面的情感極性，成為了情感分析領(lǐng)域中一個(gè)重要研究方向[2]。例如：“Waiters are very friendly and the pasta is simply average”，該評(píng)論中存在兩個(gè)方面詞“waiters”和“pasta”，情感極性分別是積極和中立，其對(duì)應(yīng)的觀點(diǎn)詞分別是“friendly”和“simply average”。方面級(jí)情感分類(lèi)在各個(gè)行業(yè)都很有前景，如在電子商務(wù)領(lǐng)域，電商可通過(guò)分析用戶的商品評(píng)論，快速深入剖析用戶的消費(fèi)習(xí)慣和個(gè)人偏好[3]；通過(guò)對(duì)網(wǎng)絡(luò)評(píng)論的檢測(cè)，可以迅速得到民眾對(duì)于某項(xiàng)政策的態(tài)度或者某件熱點(diǎn)話題的看法[4]。

早期的情感分析方法主要是依賴(lài)統(tǒng)計(jì)方法建立情感詞典[5]，將情感詞典作為情感分析的基礎(chǔ)，但是無(wú)論人工構(gòu)建還是自動(dòng)構(gòu)建情感詞典，都存在只能針對(duì)一個(gè)領(lǐng)域，對(duì)于跨領(lǐng)域情感分析的效果不夠好，并且詞典中的情感詞的豐富度低，對(duì)于長(zhǎng)文本難以判斷其情感極性。目前，隨著機(jī)器學(xué)習(xí)的快速發(fā)展，尤其是深度學(xué)習(xí)的發(fā)展[6]，方面級(jí)情感分類(lèi)研究方法主要是基于深度學(xué)習(xí)開(kāi)展。Tang等[7]直接將句子輸入到長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）[8]中提取情感特征，但忽略了方面詞對(duì)情感特征提取的影響，提取到的情感特征是整個(gè)句子的情感特征，得到的結(jié)果不是方面詞的情感；為了彌補(bǔ)上面忽略方面詞的問(wèn)題，隨后Wang等[9]提出了基于注意力機(jī)制[10]和LSTM的分類(lèi)模型，使用注意力機(jī)制去捕捉方面詞對(duì)情感特征判別的影響，實(shí)驗(yàn)結(jié)果相對(duì)之前模型有一定的提升，體現(xiàn)了方面詞對(duì)情感判別的重要性；Ma等[11]為了進(jìn)一步加強(qiáng)方面詞與上下文的聯(lián)系，且考慮到方面詞可能是由好幾個(gè)單詞構(gòu)成的短語(yǔ)，提出了基于注意力機(jī)制將方面詞與上下文進(jìn)行交互，該模型基于LSTM分別提取方面詞和上下文的信息得到初始表征，再經(jīng)過(guò)一層池化層，利用注意力機(jī)制完成兩者的交互，得到最后的情感表征，實(shí)驗(yàn)結(jié)果表明該模型效果有較小提升，由于方面級(jí)情感分類(lèi)數(shù)據(jù)少、訓(xùn)練集小，模型效果無(wú)法得到進(jìn)一步的提升；Fan等[12]提出了一種多粒度注意力網(wǎng)絡(luò)（multi-grained attention network，MGAN），其模型采取細(xì)粒度注意力機(jī)制和粗粒度注意力機(jī)制結(jié)合，彌補(bǔ)了以往粗粒度注意力機(jī)制在上下文和方面詞很長(zhǎng)時(shí)引入的額外損失；Li等[13]將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）引入到方面級(jí)情感分類(lèi)中，使用CNN來(lái)代替注意力機(jī)制去提取上下文和方面詞語(yǔ)義相關(guān)性；Wei等[14]提出一種基于門(mén)控機(jī)制的可并行訓(xùn)練的CNN模型，用于解決以往LSTM結(jié)合注意力機(jī)制這類(lèi)模型過(guò)于復(fù)雜且參數(shù)較多，訓(xùn)練起來(lái)比較費(fèi)時(shí)的問(wèn)題；Chen等[15]認(rèn)為文檔級(jí)的語(yǔ)義對(duì)于方面級(jí)情感分類(lèi)的判別有所幫助，通過(guò)在句子級(jí)和方面級(jí)兩個(gè)粒度下搭建語(yǔ)義膠囊，提出了一種遷移膠囊網(wǎng)絡(luò)模型（TransCap），但該模型忽略了文本中潛在的句法關(guān)系；Zhang等[16]首次將圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）應(yīng)用到情感分析任務(wù)中，其利用句法依賴(lài)關(guān)系提出了一種特定方面圖卷積網(wǎng)絡(luò)（aspect-specific graph convolutional network，ASGCN），其首先利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（bi-directional long short-term memory，Bi-LSTM）提取上下文信息，利用多層圖卷積網(wǎng)絡(luò)和掩碼機(jī)制提取方面詞信息，將非方面詞的情感特征過(guò)濾掉，最后使用注意力機(jī)制得到情感特征用于情感預(yù)測(cè)，取得了不錯(cuò)的效果；Zheng等[17]為了更加充分地利用句子中的語(yǔ)法信息，提出了一種可以在句法依存樹(shù)隨機(jī)復(fù)制游走的方法，去更好地提取句子的信息上下文特征，能在方面級(jí)情感分類(lèi)中取得較好的效果；Lu等[18]利用LSTM獲取序列信息，使用多跳端到端記憶網(wǎng)絡(luò)獲取方面詞的分類(lèi)特征，著重考慮語(yǔ)句中各方面項(xiàng)之間的聯(lián)系，最終結(jié)合注意力通過(guò)Softmax進(jìn)行情感分類(lèi)，分類(lèi)效果較之前提出的模型有一定的提升；Zhang等[19]提出了一種利用語(yǔ)料庫(kù)級(jí)別的單詞共現(xiàn)信息和不同類(lèi)型句法依存關(guān)系的新穎體系，建立了層次句法圖和層次詞匯圖，通過(guò)雙層GCN融合句法與詞匯圖，提出了一種雙層圖卷積網(wǎng)絡(luò)BiGCN（bi-level graph convolutional network），該模型對(duì)于句法依存信息的利用比較充分，但忽略了方面詞與上下文的交互信息；Chen等[20]首次提出對(duì)象的潛在圖結(jié)構(gòu)，提出了三種方法來(lái)獲取潛在圖結(jié)構(gòu)，之后采用圖卷積網(wǎng)絡(luò)來(lái)融合潛在圖，以補(bǔ)充原始句法依存樹(shù)的不足，在公開(kāi)的三種數(shù)據(jù)集上取得了不錯(cuò)的性能。

綜上所述，為了在方面級(jí)情感分類(lèi)任務(wù)中取得更好的效果，本文提出一種基于方面詞交互（aspect word interaction，AWI）和GCN的方面級(jí)情感分類(lèi)模型AWIGCN，充分利用GCN的優(yōu)點(diǎn)根據(jù)句法依存樹(shù)將句中的語(yǔ)法信息融合到上下文的語(yǔ)義信息中，再通過(guò)注意力機(jī)制學(xué)習(xí)上下文與方面詞之間的交互信息，達(dá)到提高情感判別效果的目的。

1 AWI-GCN模型

本文提出的AWI-GCN模型主要由詞嵌入層、語(yǔ)義提取層、句法提取層、句法融合層、池化層、信息交互層以及情感分類(lèi)層構(gòu)成，模型的總體架構(gòu)如圖1所示。

圖1 AWI-GCN模型總體架構(gòu)圖Fig.1 Overall architecture diagram of AWI-GCN model

1.1 詞嵌入層

對(duì)于給定長(zhǎng)度為m和n方面詞t={wt1,wt2,…,wti,…,wtm}與上下文s={ws1,ws2,…,wsj,…,wsn}，其中方面詞可以為短語(yǔ)或者一個(gè)單詞。將方面詞和上下文中的每個(gè)單詞映射到低維向量空間，文本嵌入使用預(yù)訓(xùn)練詞典GloVe[21]，嵌入矩陣為M∈?v×dw，其中v為預(yù)訓(xùn)練詞典中單詞的數(shù)量，dw為做詞嵌入時(shí)的維度。對(duì)于t和s中的單詞wti或wcj都有對(duì)應(yīng)的詞向量vit或vcj，故方面詞的詞嵌入向量為；上下文的詞嵌入向量為s={v1s,v2s,…,vsj,…,vns}，s∈?n×dw。

1.2 語(yǔ)義提取層

對(duì)于序列的學(xué)習(xí)，循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）具有出色的表現(xiàn)，而LSTM是RNN的一種變體，其利用門(mén)控機(jī)制可以克服傳統(tǒng)RNN的長(zhǎng)距離遺忘問(wèn)題，能有效地利用距離較遠(yuǎn)的文本信息，并且因?yàn)槠渚W(wǎng)絡(luò)自身的結(jié)構(gòu)在一定程度上也緩解了傳統(tǒng)RNN存在的梯度彌散和梯度爆炸的缺點(diǎn)。因?yàn)樯舷挛男畔⒌谋硎緦?duì)于最終情感判別有著重要的影響，原始的LSTM為單向網(wǎng)絡(luò)，其網(wǎng)絡(luò)實(shí)際只利用到了“上文”的信息，忽略了“下文”的有效信息，而B(niǎo)i-LSTM作為原始LSTM的拓展，結(jié)合了一個(gè)逆向的LSTM，使得網(wǎng)絡(luò)能夠從文本的兩端都能夠處理信息，將雙向的網(wǎng)絡(luò)輸出拼接得到隱藏層特征，彌補(bǔ)了原始LSTM的不足，所以本文使用Bi-LSTM提取上下文的語(yǔ)義特征，LSTM結(jié)構(gòu)如圖2所示。

圖2 LSTM結(jié)構(gòu)圖Fig.2 LSTM structure diagram

設(shè)t時(shí)刻的輸入詞嵌入向量為vt，則LSTM的計(jì)算公式為：

式（1）中，ft、it和ot分別代表LSTM門(mén)控機(jī)制中的遺忘門(mén)、輸入門(mén)和輸出門(mén)，σ是Sigmoid激活函數(shù)，tanh是雙曲正切函數(shù)，W*為權(quán)重矩陣，b*為偏置項(xiàng)，Ct-1和Ct是記憶細(xì)胞在t-1和t時(shí)刻的狀態(tài)，ht-1和ht是LSTM在t-1和t時(shí)刻的輸出。

因?yàn)锽i-LSTM是由一個(gè)正向LSTM和反向LSTM構(gòu)成，最后的結(jié)果為兩者結(jié)果的拼接，故Bi-LSTM的計(jì)算公式如下：

式（2）中ht,f為正向LSTM在t時(shí)刻的輸出，式（3）中ht,r為反向LSTM在t時(shí)刻的輸出，將ht,f與ht,r進(jìn)行拼接得到式（9）中的ht，即Bi-LSTM的最終輸出。

將方面詞和上下文的詞嵌入向量分別通過(guò)Bi-LSTM，得到方面詞的隱層表示Ht和上下文隱層表示Hc：

其中，Ht∈?m×2dh，Hc∈?n×2dh，dh為Bi-LSTM的隱層狀態(tài)維度。

1.3 句法提取層

方面級(jí)情感分析與一般的情感分析不同，在于從方面的角度去判斷情感極性，為了充分利用上下文中的句法信息，更好地判別方面詞情感，本文為上下文文本搭建句法依存樹(shù)，樹(shù)是特殊的圖，使用G=(V,E)保存句法依存樹(shù)，V是句中所有節(jié)點(diǎn)的集合，即句中所有詞的集合，E是句中所有邊的集合，即句中所有詞與詞依存關(guān)系的集合。以“The battery is very longer”為例，根據(jù)句法依存樹(shù)構(gòu)建的鄰接矩陣如圖3所示。

圖3 句法依存樹(shù)及其鄰接矩陣Fig.3 Syntactic dependency tree and its adjacency matrix

對(duì)于鄰接矩陣A，根據(jù)句法依存關(guān)系，若兩節(jié)點(diǎn)之間存在依存關(guān)系，則賦值為1：

若不存在關(guān)系，則賦值為0：

根據(jù)Kipf和Welling[22]提出的自循環(huán)思想，即每個(gè)詞都應(yīng)與它自身鄰接，于是設(shè)置矩陣對(duì)角線元素的值為1：

最后由式（7）～（9）可得到鄰接矩陣A，A∈?n×n，n為上下文長(zhǎng)度。

1.4 圖卷積融合層

將Bi-LSTM輸出的上下文隱層表示Hc與其對(duì)應(yīng)的鄰接矩陣A輸入到L層GCN中，利用GCN對(duì)節(jié)點(diǎn)進(jìn)行圖卷積，通過(guò)鄰接矩陣將句法依存信息融入到節(jié)點(diǎn)，得到特征hic_l，計(jì)算方法如下：

故在經(jīng)過(guò)L層GCN后，可以得到融合了語(yǔ)法依存信息的上下文信息特征表示Hc_L，Hc_L∈?n×2dh：

1.5 池化層

為進(jìn)一步抽取方面詞的特征，本文對(duì)Bi-LSTM的輸出Ht=[h1t,h2t,…,htm]做平均池化操作得到Ht_avg：

1.6 信息交互層

考慮到方面詞對(duì)上下文的影響，本文以融合了句法依存信息的上下文信息特征Hc_L和方面詞的平均表征Ht_avg作為注意力機(jī)制的輸入，利用注意力機(jī)制去學(xué)習(xí)方面詞與上下文之間的交互信息，并且為對(duì)情感判別做出貢獻(xiàn)的單詞根據(jù)其重要程度分配不同的權(quán)重。其權(quán)重計(jì)算方式如下：

其中，γ是得分函數(shù)，為上下文hic_L根據(jù)其重要性打分，HtT_avg是Ht_avg的轉(zhuǎn)置，αi為待分配權(quán)重，Wa和ba分別是權(quán)重矩陣和偏差項(xiàng)。

根據(jù)待分配權(quán)重αi，可以獲得最終的上下文表示η，計(jì)算公式如下：

1.7 情感分類(lèi)層

將得到的上下文表示η作為情感判別的最終特征，通過(guò)一個(gè)線性層將η映射到一個(gè)與預(yù)設(shè)情感極性空間維度C相同的空間中：

式（17）中，Wx和bx分別是權(quán)重矩陣和偏差項(xiàng)。

最后，使用Softmax函數(shù)取最大概率去預(yù)測(cè)情感極性：

式（18）中，yi∈?C，C是情感種類(lèi)數(shù)量。

本文模型訓(xùn)練采用交叉熵?fù)p失函數(shù)和L2正則項(xiàng)：

式（19）中，yi為實(shí)際情感極性，yi為預(yù)測(cè)情感極性，λ為L(zhǎng)2正則化系數(shù)，θ是模型需要訓(xùn)練的參數(shù)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

實(shí)驗(yàn)在Windows10系統(tǒng)上進(jìn)行，電腦CPU型號(hào)為Intel?Core?i5-6400，深度學(xué)習(xí)框架為Pytorch1.6.0，編程語(yǔ)言使用Python3.8，使用CUDA10.1加速計(jì)算，詳細(xì)實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境及配置Table 1 Experimental environment configuration

本文數(shù)據(jù)集采用TWITTER數(shù)據(jù)集、SemEval2014任務(wù)4中的LAP14數(shù)據(jù)集和REST14數(shù)據(jù)集，共計(jì)三個(gè)公開(kāi)數(shù)據(jù)集，情感極性分為積極、中立、消極三種，各數(shù)據(jù)集的情感極性分布如表2所示。

表2 數(shù)據(jù)集統(tǒng)計(jì)信息Table 2 Data set statistics

2.2 實(shí)驗(yàn)參數(shù)

本文的上下文和方面詞使用GloVe預(yù)訓(xùn)練好的詞向量進(jìn)行初始化，對(duì)于沒(méi)有在GloVe詞典中登錄的詞語(yǔ)，使用均勻分布對(duì)其隨機(jī)初始化，詞向量的維度設(shè)置為300，LSTM的隱藏層神經(jīng)單元個(gè)數(shù)設(shè)置為300，GCN層數(shù)設(shè)置為兩層，單次訓(xùn)練樣本數(shù)Batch Size設(shè)置為32，為加快模型收斂使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為10-4。模型訓(xùn)練中，為防止過(guò)擬合現(xiàn)象，使用Dropout和L2正則項(xiàng)緩解，此外引入Early Stop，損失函數(shù)使用基于L2正則項(xiàng)的交叉熵?fù)p失函數(shù)，模型權(quán)重使用均勻分布初始化，具體參數(shù)如表3所示。

表3 參數(shù)設(shè)置Table 3 Parameter settings

2.3 評(píng)價(jià)指標(biāo)

本文采用分類(lèi)任務(wù)常用的評(píng)估標(biāo)準(zhǔn)，預(yù)測(cè)準(zhǔn)確率（accuracy，Acc）和Macro_F1值作為模型評(píng)價(jià)指標(biāo)，預(yù)測(cè)準(zhǔn)確率是預(yù)測(cè)正確樣本數(shù)T與總體樣本數(shù)N之比，Macro_F1值是對(duì)各個(gè)情感類(lèi)別的F1值取平均值，F(xiàn)1值是召回率和精確率的調(diào)和平均。TN為預(yù)測(cè)正確的負(fù)樣本數(shù)目，F(xiàn)N為預(yù)測(cè)錯(cuò)誤的負(fù)樣本數(shù)目，TP為預(yù)測(cè)正確的正樣本數(shù)目，F(xiàn)P為預(yù)測(cè)錯(cuò)誤的正樣本數(shù)目，則預(yù)測(cè)準(zhǔn)確率和Macro_F1值計(jì)算公式如下：

式（20）～（25）中，P為精確率，R為召回率，C為情感類(lèi)別種類(lèi)，本文共有情感共有3類(lèi)，故C的值為3。

2.4 對(duì)比實(shí)驗(yàn)與結(jié)果分析

在同等實(shí)驗(yàn)環(huán)境下，本文與以下基線模型進(jìn)行對(duì)比，驗(yàn)證AWI-GCN模型的有效性：

（1）LSTM[7]：標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)，將上下文編碼輸入到LSTM中，將隱層輸出作為最終情感判別特征。

（2）AT-LSTM[9]：對(duì)上下文編碼，輸入到LSTM中提取語(yǔ)義信息，用注意力機(jī)制進(jìn)一步突出對(duì)情感判別有幫助的特征，再進(jìn)行情感判別，忽略了方面詞對(duì)于情感預(yù)測(cè)的影響。

（3）ATAE-LSTM[9]：以AT-LSTM模型為基礎(chǔ)，在上下文編碼時(shí)，將方面詞編碼嵌入到上下文編碼中，輸入到LSTM中，使用注意力機(jī)制分配權(quán)重，得到最終的情感特征進(jìn)行判別。

（4）IAN[11]：該模型分別對(duì)上下文和方面詞進(jìn)行編碼，兩者使用注意力機(jī)制進(jìn)行交互，融合上下文對(duì)方面詞和方面詞對(duì)上下文的影響，最終做連接作為最終的情感特征。

（5）ASCNN：Kim等[23]將CNN與NLP結(jié)合，使用基礎(chǔ)的CNN來(lái)抽取語(yǔ)義信息，將與訓(xùn)練好的詞向量作為輸入，結(jié)論證明即使是對(duì)原始CNN的參數(shù)不作大幅度的調(diào)整，在語(yǔ)義抽取方面，CNN也具有天生的優(yōu)勢(shì)。

（6）ASGCN[16]：使用GCN根據(jù)句法依存樹(shù)以及掩碼機(jī)制得到方面詞的表征，再根據(jù)注意力機(jī)制對(duì)權(quán)重重新分配，使用Softmax進(jìn)行情感分類(lèi)。

（7）TranCaps[15]：在膠囊網(wǎng)絡(luò)上使用遷移學(xué)習(xí)將文檔級(jí)的語(yǔ)義信息融合到方面級(jí)中，以增強(qiáng)方面級(jí)的情感分類(lèi)。

（8）CDT：Sun等[24]使用GCN和依賴(lài)樹(shù)來(lái)拉近句子方面詞與觀點(diǎn)詞之間的距離，模型的輸入為字嵌入的依賴(lài)樹(shù)，通過(guò)雙向LSTM學(xué)習(xí)上下文的信息，再通過(guò)GCN進(jìn)一步增強(qiáng)嵌入，通過(guò)一層池化層得到情感特征。

（9）RepWalk[18]：在依存樹(shù)中引入隨機(jī)游走的方法，激活方面詞在樹(shù)中的邊，給予方面詞更大的權(quán)重，建立雙層語(yǔ)義膠囊網(wǎng)絡(luò)通過(guò)路由機(jī)制來(lái)進(jìn)行情感分類(lèi)。

（10）BiGCN[19]：使用雙層圖卷積神經(jīng)網(wǎng)絡(luò)融合層次句法圖和層次詞匯圖，充分利用單詞之間的句法信息，之后再結(jié)合單詞共現(xiàn)信息對(duì)情感進(jìn)行分類(lèi)。

（11）depGCN[20]：Chen等提出了依賴(lài)于對(duì)象的潛在圖結(jié)構(gòu)，采用自注意力方法，以句子編碼層的輸出作為輸入，得到潛在圖結(jié)構(gòu)，通過(guò)圖卷積網(wǎng)絡(luò)和門(mén)控機(jī)制來(lái)進(jìn)一步完善原始句法信息。

AWI-GCN模型與以上代表基線模型在3個(gè)公開(kāi)數(shù)據(jù)集上的詳細(xì)對(duì)比結(jié)果如表4所示，N/A代表未取得實(shí)驗(yàn)結(jié)果。

從表4中的數(shù)據(jù)對(duì)比，AT-LSTM相較LSTM，在三個(gè)公開(kāi)數(shù)據(jù)集上準(zhǔn)確率Acc分別提升1.91、2.47、2.23個(gè)百分點(diǎn)，Macro_F1分別提升了1.87、2.30、1.09個(gè)百分點(diǎn)，可見(jiàn)注意力機(jī)制進(jìn)一步提取重要情感特征對(duì)于情感判別的幫助；ATAE-LSTM在AT-LSTM的基礎(chǔ)上將方面詞編碼信息與上下文編碼連接，初步將方面詞編碼信息與上下文聯(lián)系起來(lái)，在TWITTER和REST14數(shù)據(jù)集上分別提升了0.24、0.69個(gè)百分點(diǎn)，簡(jiǎn)單的連接未能有效地利用方面詞對(duì)于情感預(yù)測(cè)的作用；而IAN模型進(jìn)一步地考慮到了方面詞與目標(biāo)的交互，相較于ATAE-LSTM在三個(gè)公開(kāi)數(shù)據(jù)集上，準(zhǔn)確率Acc分別提升了3.85、3.35、2.06個(gè)百分點(diǎn)，Macro_F1分別提升了4.28、3.45、3.07個(gè)百分點(diǎn)，可見(jiàn)將上下文與方面詞的交互信息融合到模型之中，效果提升是相當(dāng)高的，進(jìn)一步體現(xiàn)了方面詞與上下文之間的交互信息的重要性，但I(xiàn)AN忽略了句法依存信息的利用；對(duì)比ASCNN與ASGCN，可見(jiàn)在三個(gè)數(shù)據(jù)集上ASGCN的平均表現(xiàn)較ASCNN好，GCN在語(yǔ)義抽取方面較CNN好，ASGCN使用GCN將句法依存關(guān)系融合到上下文信息中，相較于ATAE-LSTM準(zhǔn)確率Acc分別提升了2.88、5.44、3.66個(gè)百分點(diǎn)，Macro_F1值分別提升了3.15、5.31、5.17個(gè)百分點(diǎn)，可見(jiàn)將句法信息融入到上下文信息之中，對(duì)于情感預(yù)測(cè)的提升是非常有用的；模型AWI-GCN相較于ATAEA-LSTM在三個(gè)公開(kāi)數(shù)據(jù)集上準(zhǔn)確率Acc分別提升4.33、6.22、4.42個(gè)百分點(diǎn)，Macro_F1值分別提升了4.87、6.53、6.49個(gè)百分點(diǎn)，原因在于AWI-GCN同時(shí)考慮到了方面詞與上下文之間的交互信息，并且充分的利用了句法信息；相較于IAN模型，準(zhǔn)確率Acc分別提升了0.48、2.87、2.36個(gè)百分點(diǎn)，Macro_F1值分別提升了0.59、3.08、3.42個(gè)百分點(diǎn)，因?yàn)镮AN模型考慮到了方面詞與上下文之間的相互影響，但忽略了句子中的語(yǔ)法信息；對(duì)比TranCaps模型，在LAP14和REST14數(shù)據(jù)集上，準(zhǔn)確率Acc分別提升了1.05、2.07個(gè)百分點(diǎn)，Macro_F1值分別提升了0.36、2.10個(gè)百分點(diǎn)，說(shuō)明將文檔級(jí)信息融入方面級(jí)中，其效果不如去融合句法信息和學(xué)習(xí)方面詞交互信息；相較于CDT模型，準(zhǔn)確率Acc分別提升了0.24、0.54、1.14個(gè)百分點(diǎn)，Macro_F1值在TWITTER和REST14數(shù)據(jù)集上分別提升了0.87、1.47個(gè)百分點(diǎn)，在LAP14數(shù)據(jù)集上低于CDT模型0.52個(gè)百分點(diǎn)，兩模型均使用了GCN來(lái)融入句法信息，但AWI-GCN模型還是在準(zhǔn)確率方面略有提升，說(shuō)明方面詞與上下文之間的交互信息在情感判別方面仍然發(fā)揮了一定的作用，而CDT模型融合了句法、位置、詞性等多方面信息，在LAP14數(shù)據(jù)集上Macro_F1值比AWI-GCN略顯穩(wěn)定。RepWalk采用隨機(jī)游走的方式為方面詞增加權(quán)重，相當(dāng)于從另一方面來(lái)增強(qiáng)方面詞與上下文之間聯(lián)系，但沒(méi)有考慮到句子中的語(yǔ)法信息，其在三個(gè)公開(kāi)數(shù)據(jù)集上比AWI-GCN模型有所落后，在準(zhǔn)確率Acc分別落后0.85、0.82、0.70個(gè)百分點(diǎn)，Macro_F1值分別落后0.40、0.45、2.20個(gè)百分點(diǎn)，在REST14數(shù)據(jù)集上該模型性能較差，因?yàn)镽EST14數(shù)據(jù)集中樣本長(zhǎng)度差距較大，產(chǎn)生的依存樹(shù)結(jié)構(gòu)差距大，對(duì)于在依存樹(shù)上的隨機(jī)游走方法有一定的限制；BiGCN與depGCN模型在三個(gè)公開(kāi)數(shù)據(jù)集上的性能相差不大，兩者均充分利用了句法信息，用不同的方式對(duì)原始的句法信息進(jìn)行彌補(bǔ)，但兩者均沒(méi)有考慮方面詞與上下文的交互信息，AWI-GCN在考慮相互信息的情況下，在前兩個(gè)數(shù)據(jù)集上準(zhǔn)確率Acc比BiGCN提升了0.92、0.60個(gè)百分點(diǎn)，Macro_F1值兩者相當(dāng)，在REST14數(shù)據(jù)集上兩模型性能相當(dāng)；AWIGCN相比于depGCN在三個(gè)公開(kāi)數(shù)據(jù)集上準(zhǔn)確率Acc分別提升0.87、0.13、0.95個(gè)百分點(diǎn)，Macro_F1值在前兩個(gè)數(shù)據(jù)集相差較小，REST14數(shù)據(jù)集提升1.62個(gè)百分點(diǎn)，AWI-GCN在REST14數(shù)據(jù)集上比depGCN更為穩(wěn)定。綜上，AWI-GCN模型在方面級(jí)情感分析任務(wù)中是比較有效的，其語(yǔ)法信息的融入和方面詞與上下文交互信息的學(xué)習(xí)，都對(duì)情感判別效果的提升起到了一定的作用。

表4 模型測(cè)試結(jié)果Table 4 Test results of models 單位：%

2.5 消融實(shí)驗(yàn)設(shè)計(jì)及結(jié)果

為進(jìn)一步探究模型AWI-GCN的有效性，進(jìn)行消融實(shí)驗(yàn)，研究影響實(shí)驗(yàn)結(jié)果的獨(dú)立因素。

2.5.1 模型分解對(duì)比

為驗(yàn)證GCN融合句法信息的有效性，對(duì)方面詞和上下文建模，不使用GCN將句法信息融入上下文中，而讓Bi-LSTM上下文隱層輸出與方面詞做交互，建立AWI模型；為驗(yàn)證上下文與方面詞之間交互信息對(duì)于實(shí)驗(yàn)結(jié)果的影響，不再進(jìn)行上下文與方面詞在注意力機(jī)制上的交互，而是讓上下文與方面詞分別建模，提取方面詞內(nèi)容（aspect word content，AWC），再通過(guò)池化進(jìn)一步抽取特征，上下文通過(guò)GCN融合句法信息后通過(guò)注意力機(jī)制，將得到的結(jié)果拼接進(jìn)行情感分析，建立AWC-GCN模型，各模型在三個(gè)公開(kāi)數(shù)據(jù)集上的詳細(xì)結(jié)果如表5所示。

表5 不同模型實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of experimental results of different models 單位：%

對(duì)比表5中三個(gè)模型在不同數(shù)據(jù)集上的準(zhǔn)確率Acc和Macro_F1值，可以看到AWI的效果在三個(gè)模型中最差，原因在于其未融合句法依存信息；模型AWC-GCN融合了句法依存信息，并初步考慮了方面詞對(duì)情感判別的影響，其在TWITTER數(shù)據(jù)集上的準(zhǔn)確率與AWI-GCN相當(dāng)接近，然而AWC-GCN忽略了方面詞與上下文之間的交互信息，效果遜于AWI-GCN；AWI-GCN同時(shí)融合了句法依存信息，并考慮到了方面詞與上下文之間的交互信息，故在三個(gè)模型中AWI-GCN表現(xiàn)最好，該組對(duì)比實(shí)驗(yàn)體現(xiàn)了AWI-GCN的有效性。

2.5.2 GCN層數(shù)對(duì)實(shí)驗(yàn)效果的影響

為探究GCN層數(shù)對(duì)于實(shí)驗(yàn)效果的影響，本文在LAP14數(shù)據(jù)集上設(shè)置不同的GCN層數(shù)去觀察實(shí)驗(yàn)結(jié)果，詳細(xì)實(shí)驗(yàn)結(jié)果如圖4所示，圖4橫坐標(biāo)為GCN的層數(shù)，縱坐標(biāo)為準(zhǔn)確率Acc或者M(jìn)acro_F1值?？梢杂^察得到，當(dāng)GCN層數(shù)為2時(shí)，模型在準(zhǔn)確率和Macro_F1值上得到最好的效果，這也說(shuō)明本文將GCN層數(shù)設(shè)置為2是合理的，隨著GCN層數(shù)的增加，模型參數(shù)也隨之增多，模型訓(xùn)練變得愈加困難，模型性能也逐漸回落。

圖4 不同GCN層數(shù)的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of different GCN layers

3 總結(jié)

本文提出一種基于方面詞交互和GCN的方面級(jí)情感分類(lèi)模型AWI-GCN，模型首先使用預(yù)訓(xùn)練好的情感詞典做方面詞與上下文的詞嵌入，通過(guò)Bi-LSTM提取上下文與方面詞信息，根據(jù)句法依存樹(shù)將句法依存信息融入到上下文信息中，利用注意力機(jī)制讓上下文信息與池化后的方面詞信息做交互，學(xué)習(xí)方面詞與上下文之間的交互信息，最后對(duì)提取到的情感特征做情感判別。通過(guò)在三個(gè)公開(kāi)數(shù)據(jù)集上與其他基線模型的對(duì)比和消融實(shí)驗(yàn)，證明了AWI-GCN模型的有效性。但方面詞與上下文之間的交互信息，學(xué)習(xí)的還不夠徹底，下一步工作將研究如何在句法依存樹(shù)上拉近方面詞與重要情感特征的距離，進(jìn)一步提高情感判別的準(zhǔn)確率。