韓 虎 范雅婷 徐學(xué)鋒

(蘭州交通大學(xué)電子與信息工程學(xué)院 蘭州 730070)

1 引言

在自然語(yǔ)言處理中，情感分析旨在識(shí)別和提取給定文本中的情感、態(tài)度和觀點(diǎn)等信息。方面情感分析主要識(shí)別句子中給定方面的情感極性(例如，消極、中性或積極)。以“the waiter was attentive,the food is unpleasant.”為例，句子中包含兩個(gè)方面“waiter”和“food”，對(duì)應(yīng)的情感極性分別為積極和消極。

對(duì)于方面情感分析，大量模型先進(jìn)行相關(guān)方面詞的特征提取，再對(duì)特征進(jìn)行極性劃分。其中一些工作編碼上下文序列信息完成對(duì)文本的情感分析，另一些則在此基礎(chǔ)上利用注意力機(jī)制挖掘更多隱藏特征[1-3]。然而，上述方法難以捕捉單詞間的句法依賴關(guān)系。為避免模型錯(cuò)誤地學(xué)習(xí)到與方面詞不相關(guān)的特征信息，許多學(xué)者利用圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN)[4]挖掘句法結(jié)構(gòu)信息[5,6]。若只考慮兩個(gè)單詞之間是否存在關(guān)系，并沒有對(duì)具體的依賴關(guān)系類型做出區(qū)分，模型難以準(zhǔn)確識(shí)別與方面詞最相關(guān)單詞的依賴信息。部分學(xué)者嘗試通過細(xì)化依賴關(guān)系類型提高方面詞對(duì)于不同類型的敏感程度[7,8]，這些方法只能捕捉節(jié)點(diǎn)的鄰域信息，無(wú)法集成高階的全局特征，并且存在遺失重要原始信息的局限性。于是，研究人員探索將語(yǔ)義信息整合到句子的句法結(jié)構(gòu)中，通過兩者交互增強(qiáng)與方面相關(guān)的特征信息[9,10]。然而針對(duì)表達(dá)較為隨意的用戶評(píng)論，句子本身缺乏一定的先驗(yàn)知識(shí)，導(dǎo)致模型對(duì)相關(guān)情感詞產(chǎn)生誤解，并且前期的研究工作對(duì)于語(yǔ)義信息的捕獲只考慮對(duì)于文本序列的線性提取，受上下文相對(duì)位置的影響，難以提供量化的深層語(yǔ)義關(guān)聯(lián)信息。

目前為止，如何有效利用深層語(yǔ)義信息和細(xì)化的句法結(jié)構(gòu)信息增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)，更充分地提取情感特征成為一個(gè)值得探索的問題。因此，本文提出一種多通道增強(qiáng)圖卷積網(wǎng)絡(luò)模型。主要貢獻(xiàn)如下：

(1)利用依存句法樹和多頭自注意力分別生成句法圖和語(yǔ)義圖，采用多通道圖卷積網(wǎng)絡(luò)動(dòng)態(tài)更新學(xué)習(xí)語(yǔ)法和語(yǔ)義兩個(gè)空間中的特征信息；

(2)為了充分互補(bǔ)融合語(yǔ)法與語(yǔ)義信息，利用可訓(xùn)練的參數(shù)矩陣自適應(yīng)學(xué)習(xí)不同表示的重要性；

(3)在5個(gè)公開數(shù)據(jù)集上評(píng)估模型的性能，實(shí)驗(yàn)結(jié)果表明，本模型對(duì)不同數(shù)據(jù)集的準(zhǔn)確率與宏F1值均有所提升。

2 相關(guān)工作

2.1 方面情感分析

情感分析是一個(gè)熱門的研究領(lǐng)域，方面情感分析是其中一項(xiàng)細(xì)粒度分類任務(wù)，主要是識(shí)別句子中特定方面的情感極性。早期工作主要采用傳統(tǒng)機(jī)器學(xué)習(xí)的方法進(jìn)行情感的預(yù)測(cè)和分類。然而，有監(jiān)督的機(jī)器學(xué)習(xí)分類方法嚴(yán)重依賴于人工特征工程的質(zhì)量。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用范圍不斷擴(kuò)大。

近年來(lái)，越來(lái)越多基于神經(jīng)網(wǎng)絡(luò)的方法被提出來(lái)解決方面情感分析任務(wù)。Tang等人[1]提出了基于目標(biāo)依存的長(zhǎng)短期記憶網(wǎng)絡(luò)模型，使用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)獲取目標(biāo)詞和上下文的特征信息，有效識(shí)別對(duì)應(yīng)的情感極性。為了使模型在訓(xùn)練過程中高度關(guān)注方面的特征信息，Wang等人[2]提出一種基于注意力機(jī)制的長(zhǎng)短期記憶網(wǎng)絡(luò)模型(ATtention-based LSTM with Aspect Embedding, ATAE-LSTM)，實(shí)驗(yàn)結(jié)果表明運(yùn)用注意力的模型能夠高度關(guān)注特定方面的上下文詞特征。Ma等人[3]提出交互注意力網(wǎng)絡(luò)(Interactive Attention Network, IAN)有效建模由多個(gè)單詞構(gòu)成的目標(biāo)詞與上下文間的關(guān)系，關(guān)注與目標(biāo)詞相關(guān)性更高的部分。但這些方法僅關(guān)注句子的上下文序列特征，難以捕捉句子中上下文詞之間的句法依賴關(guān)系。Zhang等人[5]發(fā)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)處理非結(jié)構(gòu)化數(shù)據(jù)的優(yōu)異性和通用性，首次使用句法依存分析獲取句子中的語(yǔ)法依賴信息，并使用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)文本進(jìn)行建模。

然而，僅考慮單一的語(yǔ)法信息可能會(huì)導(dǎo)致模型錯(cuò)誤地關(guān)注與方面詞無(wú)關(guān)的上下文信息，從而對(duì)最終的情感分類結(jié)果造成干擾。為了解決這個(gè)問題，眾多研究者針對(duì)圖卷積網(wǎng)絡(luò)如何引入方面情感分析任務(wù)進(jìn)行深入研究。Zhang等人[6]設(shè)計(jì)雙層交互式圖卷積網(wǎng)絡(luò)模型，將層次句法圖和詞法圖集成，以考慮全局的詞共現(xiàn)信息和句法依賴關(guān)系類型，從而降低無(wú)關(guān)信息對(duì)方面詞特征的影響。Wang等人[11]提出了關(guān)系圖注意網(wǎng)絡(luò)(Relational Graph ATtention network, R-GAT)，利用多頭注意力機(jī)制學(xué)習(xí)鄰域節(jié)點(diǎn)的語(yǔ)義信息，并添加了額外的關(guān)系頭捕獲不同上下文之間的句法關(guān)系。Dai等人[9]使用不同方式對(duì)文本的語(yǔ)義信息進(jìn)行處理，交互建模一般語(yǔ)義和結(jié)構(gòu)化語(yǔ)義以獲得豐富的特征表示。類似地，王汝言等人[10]通過多交互圖卷積網(wǎng)絡(luò)對(duì)語(yǔ)法與語(yǔ)義進(jìn)行融合，引入位置距離特征建立方面詞與上下文的語(yǔ)法關(guān)聯(lián)，利用語(yǔ)義信息補(bǔ)充句法結(jié)構(gòu)信息。同時(shí)，研究人員發(fā)現(xiàn)引入外部情感知識(shí)可以為模型提供監(jiān)督信號(hào)，從而增強(qiáng)上下文詞和方面詞之間的情感依賴。Liang等人[12]通過情感知識(shí)補(bǔ)充單一的句法依賴關(guān)系，構(gòu)建了情感加權(quán)后的鄰接矩陣，用于提取強(qiáng)依賴關(guān)系的特征。Zhou等人[13]采用兩種策略對(duì)依賴樹和知識(shí)圖進(jìn)行建模，更準(zhǔn)確地捕捉與方面有關(guān)的句法信息和外部知識(shí)。同樣的，Xu等人[14]利用情感知識(shí)增強(qiáng)句子的依賴關(guān)系圖，通過門控機(jī)制動(dòng)態(tài)地學(xué)習(xí)句法圖和語(yǔ)義圖深層的特征信息。

2.2 圖卷積網(wǎng)絡(luò)

對(duì)于包含n個(gè)節(jié)點(diǎn)的依賴樹，可以構(gòu)建n×n的鄰接矩陣A。在構(gòu)建中忽略節(jié)點(diǎn)自身的影響，會(huì)導(dǎo)致獲取的信息不全面。需要為每個(gè)節(jié)點(diǎn)添加一個(gè)自循環(huán)。同時(shí)將依賴樹賦予方向，根據(jù)依賴樹生成對(duì)稱鄰接矩陣，用以增強(qiáng)信息表示并去除重復(fù)節(jié)點(diǎn)的信息，減少重復(fù)信息在矩陣生成中對(duì)原始信息產(chǎn)生的干擾。利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN)層對(duì)相鄰節(jié)點(diǎn)的特征進(jìn)行卷積得到新的節(jié)點(diǎn)特征，更新過程為

其中，i為當(dāng)前節(jié)點(diǎn)，j為節(jié)點(diǎn)i的鄰域節(jié)點(diǎn)，若節(jié)點(diǎn)i 與節(jié)點(diǎn)j 有依存關(guān)系，則對(duì)應(yīng)的鄰接矩陣Aij=Aji=1。為節(jié)點(diǎn)j在第l層的特征表示，將h作為l+1層GCN的輸出，W和b為可訓(xùn)練的權(quán)重向量和偏置項(xiàng)，將節(jié)點(diǎn)的特征映射到圖中相鄰節(jié)點(diǎn)，不斷迭代訓(xùn)練GCN層檢索每個(gè)節(jié)點(diǎn)的區(qū)域特征信息。

3 提出模型

本文框架如圖1所示，由詞嵌入層與隱藏層、圖卷積網(wǎng)絡(luò)層、方面特定遮掩層、多交互注意與融合層以及訓(xùn)練與分類層5部分組成。

圖1 KSD-GCN模型結(jié)構(gòu)示意圖

3.1 詞嵌入層與隱藏層

詞嵌入層采用GloVe[15]嵌入模型或BERT[16]預(yù)訓(xùn)練語(yǔ)言模型將每個(gè)詞或詞語(yǔ)通過嵌入矩陣E ∈R|V|×de映射到對(duì)應(yīng)的向量空間中，其中 |V|為詞典大小，de為詞嵌入維度。輸出與后向輸出拼接，得到最終輸出結(jié)果Hc

隱藏層主要是將初始化后的詞向量通過Bi-LSTM進(jìn)行句子編碼，生成隱藏狀態(tài)向量。將前向

3.2 圖卷積網(wǎng)絡(luò)層

圖卷積網(wǎng)絡(luò)層分為情感增強(qiáng)句法圖卷積模塊、依賴嵌入句法圖卷積模塊和語(yǔ)義圖卷積模塊3部分，句法模塊分別融入外部知識(shí)和依賴類型特征，語(yǔ)義模塊采用自注意力機(jī)制學(xué)習(xí)上下文信息。

3.2.1 情感增強(qiáng)句法圖卷積模塊

針對(duì)復(fù)雜的句法結(jié)構(gòu)，需要引入句子特定的外部知識(shí)進(jìn)行豐富，實(shí)現(xiàn)對(duì)隱式信息的挖掘。首先，利用外部知識(shí)補(bǔ)充原始的句法依賴信息，通過方面信息增強(qiáng)矩陣中的相關(guān)節(jié)點(diǎn)，然后疊加兩部分信息作為情感增強(qiáng)后的鄰接矩陣，最終將其輸入到圖卷積中進(jìn)行方面情感特征的訓(xùn)練處理。為了利用句子中單詞間的依賴性，通過依存句法解析得到的依賴樹為每個(gè)輸入的句子構(gòu)建鄰接矩陣D ∈Rn×n。該過程表示為

本文采用情感知識(shí) SenticNet 6[17]作為知識(shí)源，整合情感知識(shí)增強(qiáng)句子的依存關(guān)系圖，將其嵌入到圖卷積模塊中進(jìn)行編碼，以提高情感分類的精準(zhǔn)性。通過句子中每個(gè)詞的情感得分來(lái)增強(qiáng)鄰接矩陣，充分捕捉上下文詞和方面詞間的情感信息，得到句子的情感矩陣S

其 中， senticNet(wi)∈[-1,1] 表 示 單 詞wi在SenticNet 6 中的情感得分， senticNet(wi)=0表示wi為中性詞，或者不存在。情感知識(shí)源SenticNet 6中部分詞匯示例如表1所示，包括單詞的極性、情感得分以及語(yǔ)義相關(guān)詞匯。

表1 SenticNet 6中情感詞匯示例

現(xiàn)有的基于圖卷積網(wǎng)絡(luò)的方面情感分析模型在構(gòu)造依賴圖時(shí)，往往忽略了對(duì)給定方面的關(guān)注。因此，構(gòu)建方面增強(qiáng)矩陣T，賦予方面詞更大的關(guān)注力度

最后，得到句子的增強(qiáng)鄰接矩陣Aij

通過兩個(gè)詞間的情感得分總和增強(qiáng)依賴樹中相應(yīng)的情感依賴信息，將依賴樹轉(zhuǎn)換為圖的結(jié)構(gòu)Gsy=(Asy,Hc)，使用圖卷積運(yùn)算更新每個(gè)節(jié)點(diǎn)的表示。將節(jié)點(diǎn)hi第l層輸出記，則L層GCN的更新過程為

其中，Asy為GCN第l層節(jié)點(diǎn)的鄰接矩陣，為前一層圖卷積網(wǎng)絡(luò)的輸出結(jié)果，其初始化=Hc∈Rn×dlstm是經(jīng)過Bi-LSTM編碼的單詞隱藏向量。當(dāng)l ∈[1,L-1] 時(shí)，對(duì)前l(fā)-1層中產(chǎn)生的輸出進(jìn)行拼接處理，W∈R(dlstm+l*dgcn)×dlstm為第l層的可訓(xùn)練權(quán)重向量，dlstm為通過Bi-LSTM學(xué)習(xí)的隱藏表示維度，dgcn為GCN層輸出的維度，b為偏置項(xiàng)。

經(jīng)過L層圖卷積的運(yùn)算，每個(gè)節(jié)點(diǎn)不斷迭代聚合來(lái)自其鄰居節(jié)點(diǎn)的信息并更新表示，得到情感增強(qiáng)句法信息的最終表示Hsy。

3.2.2 依賴嵌入句法圖卷積模塊

為了使模型更充分地學(xué)習(xí)到句子中的句法信息，在圖卷積層中設(shè)計(jì)一個(gè)依賴關(guān)系嵌入模塊，得到依賴類型嵌入增強(qiáng)的句子表示Hd。該模塊與上一節(jié)情感增強(qiáng)句法圖卷積網(wǎng)絡(luò)共享同一個(gè)由Bi-LSTM編碼的隱藏向量表示，從而減少整體模型的參數(shù)量。

單一的依賴關(guān)系在沒有區(qū)分不同依賴類型的情況下會(huì)導(dǎo)致信息丟失，考慮對(duì)依賴關(guān)系類型進(jìn)行增強(qiáng)建模，使用可交互學(xué)習(xí)的深層特征來(lái)表示每個(gè)依賴關(guān)系的類型。首先儲(chǔ)存一個(gè)關(guān)系索引表R ∈R|N|×dm，其中 |N| 為 依賴關(guān)系類型的數(shù)量，dm為依賴關(guān)系中特征維度的大小。依賴嵌入模塊為

其中，Ad為依賴關(guān)系類型加權(quán)后的鄰接矩陣，初始化=Hc∈Rn×dlstm為共享Bi-LSTM編碼的隱藏向量。Wd∈Rdlstm×(dlstm+dm)，b為可訓(xùn)練權(quán)重向量和偏置項(xiàng)。Qijk為節(jié)點(diǎn)i與節(jié)點(diǎn)j之間是否存在第k種類型的依賴關(guān)系。

3.2.3 語(yǔ)義圖卷積模塊

受Huang等人[18]啟發(fā)，引入語(yǔ)義圖卷積模塊以區(qū)分不同上下文詞間的重要性，如圖2所示。語(yǔ)義圖卷積模塊被劃分為初始化和更新兩部分，第1部分先將作為初始化的輸入，利用多頭自注意力來(lái)構(gòu)建基于的K個(gè)權(quán)重矩陣。

圖2 語(yǔ)義圖卷積示意圖

為了增強(qiáng)模型的魯棒性，對(duì)這些矩陣求和并應(yīng)用top-k函數(shù)，保留前t個(gè)重要的上下文單詞。通過這種方式初始化鄰接矩陣，并利用圖卷積操作提取初步語(yǔ)義信息

3.3 方面特定遮掩層

在融合由雙語(yǔ)法和語(yǔ)義模塊提取的表示之前，對(duì)L層圖卷積網(wǎng)絡(luò)的輸出進(jìn)行遮掩，保留方面詞向量，方面詞所對(duì)應(yīng)的位置設(shè)置為1，非方面詞對(duì)應(yīng)位置為0，經(jīng)過方面特定遮掩層后的輸出為h,h,h

3.4 多交互注意與融合層

隨著句子句法結(jié)構(gòu)的變化，語(yǔ)法和語(yǔ)義信息并沒有完全分離，因此設(shè)計(jì)語(yǔ)義和語(yǔ)法多交互注意機(jī)制，從不同角度提取特征信息。

雙語(yǔ)法交互：通過Bi-LSTM獲取文本中隱藏的語(yǔ)義特征信息Hc，分別與經(jīng)過遮掩操作后的依賴類型語(yǔ)法特征h和情感知識(shí)語(yǔ)法特征h進(jìn)行交互。語(yǔ)義交互：將方面特征遮掩后的方面詞h與隱藏層獲取的語(yǔ)義特征Hc進(jìn)行充分交互。以上交互過程為

將多交互注意力操作后得到的特征向量hsy,hd,hse利用可訓(xùn)練參數(shù)矩陣進(jìn)行自適應(yīng)的融合學(xué)習(xí)，使特征在迭代訓(xùn)練中平衡不同分支的權(quán)重系數(shù)，得到文本向量的最終表示H

3.5 訓(xùn)練與分類層

將融合層的輸出作為全連接層的輸入，通過softmax函數(shù)進(jìn)行最終情感極性的分類，即

其中，H為特征融合層的輸出，Wi,bi分別為全連接層的權(quán)重和偏置項(xiàng)。本文通過梯度下降算法訓(xùn)練模型來(lái)完成分類任務(wù)

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

為驗(yàn)證本文模型的有效性，本文在5個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)；分別是Twitter[19], Laptop 14[20],Restaurant 14[20], Restaurant 15[21], Restaurant 16[22]。每個(gè)數(shù)據(jù)集都由3種情緒極性標(biāo)記：積極、中性和消極。數(shù)據(jù)集信息如表2所示。

表2 數(shù)據(jù)集統(tǒng)計(jì)

4.2 參數(shù)設(shè)置

本文采用GloVe初始化詞嵌入，LSTM與BERT編碼輸出的隱藏狀態(tài)維度分別為300和768。模型權(quán)重初始化采用均勻分布的形式，GCN的層數(shù)設(shè)置為2，此時(shí)模型的性能最好。模型的超參數(shù)如表3所示。

模型采用準(zhǔn)確率(Accuracy, Acc)和宏F1值(Macro-F1, M-F1)作為評(píng)價(jià)指標(biāo)

其中，T為正確預(yù)測(cè)的樣本數(shù)量，N為樣本總數(shù)，M - F1為分類問題的衡量指標(biāo)，是精確率與召回率的調(diào)和平均數(shù)，P為預(yù)測(cè)是正的樣本中預(yù)測(cè)正確的概率，R為正樣本中預(yù)測(cè)正確的概率。

4.3 對(duì)比實(shí)驗(yàn)

為了全面評(píng)估模型的有效性，將其與一系列基準(zhǔn)模型進(jìn)行比較，各個(gè)模型簡(jiǎn)介如下所示：

LSTM[23]：利用LSTM對(duì)給定方面的上下文特征進(jìn)行建模，將隱藏向量作為文本特征的表示輸入到分類器中。

ATAE-LSTM[2]：引入注意力機(jī)制，通過注意力加權(quán)操作捕捉上下文中不同詞對(duì)特定目標(biāo)的影響。

IAN[3]：提出交互式注意神經(jīng)網(wǎng)絡(luò)模型，使句子與方面詞進(jìn)行交互式學(xué)習(xí)。

AF-LSTM[24]：通過獨(dú)立編碼方面和上下文得到句子的聯(lián)合表示，并利用注意力學(xué)習(xí)上下文詞的相對(duì)重要性。

TD-GAT[18]：根據(jù)句法依賴關(guān)系構(gòu)建基于方面的依賴圖，利用圖注意網(wǎng)絡(luò)聚合方面相關(guān)的特征信息。

ASGCN[5]：利用圖卷積網(wǎng)絡(luò)從句法依存樹中獲取依賴信息，結(jié)合注意力機(jī)制進(jìn)行情感分類。

BiGCN[6]：設(shè)計(jì)雙層交互式圖卷積網(wǎng)絡(luò)模型，利用詞匯圖和句法圖聯(lián)合建模，獲得豐富的特征表示。

GL-GCN[25]：引入語(yǔ)料庫(kù)的詞匯信息挖掘句子的全局語(yǔ)義依賴關(guān)系，用其補(bǔ)充句法依賴樹得到局部依賴關(guān)系，然后加權(quán)圖卷積網(wǎng)絡(luò)融合全局和局部信息提高分類性能。

MIGCN[10]：通過多交互注意層融合語(yǔ)義和語(yǔ)法的信息特征，將位置距離和語(yǔ)法距離特征引入到圖卷積網(wǎng)絡(luò)層，強(qiáng)化對(duì)單詞依賴關(guān)系的學(xué)習(xí)。

DA-GCN[26]：提出一種依賴感知圖卷積網(wǎng)絡(luò)模型，利用單詞的依賴關(guān)系和依賴類型感知語(yǔ)法信息，與多頭注意力得到的表示進(jìn)行交互學(xué)習(xí)，有效提取上下文特征。

MSD-GCN[8]：通過句法結(jié)構(gòu)類型構(gòu)造細(xì)粒度的依賴圖，將具有交叉注意力機(jī)制的圖卷積網(wǎng)絡(luò)合并到統(tǒng)一的框架中，用多粒度方式捕獲句法特征。

SGAN[7]：提出了一種句法圖注意力網(wǎng)絡(luò)，將依賴類型的知識(shí)納入圖注意力網(wǎng)絡(luò)，根據(jù)其依賴類型來(lái)學(xué)習(xí)每個(gè)邊緣節(jié)點(diǎn)的注意力權(quán)重，更好地將上下文單詞與方面術(shù)語(yǔ)相關(guān)聯(lián)。

SK-GCN[13]：通過圖卷積神經(jīng)網(wǎng)絡(luò)建模句法依賴樹和常識(shí)知識(shí)圖譜，融合基于語(yǔ)法和知識(shí)的方面表示。

4.4 實(shí)驗(yàn)結(jié)果與分析

本文模型在5個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果如表4所示，相比于僅使用LSTM構(gòu)建的模型，KSD-GCN在5個(gè)數(shù)據(jù)集上的準(zhǔn)確率與宏F1分別有所提升，并在Laptop 14數(shù)據(jù)集上表示尤其突出，準(zhǔn)確率與宏F1分別提升9.09%和12.09%，證明雙語(yǔ)法增強(qiáng)依賴關(guān)系補(bǔ)充句法信息的有效性。相比基于圖卷積網(wǎng)絡(luò)的ASGCN模型，KSD-GCN在5個(gè)數(shù)據(jù)集上的準(zhǔn)確率與宏F1均提升2.60%和4.10%，表明對(duì)句法和語(yǔ)義結(jié)構(gòu)進(jìn)行聯(lián)合建模有利于識(shí)別方面的情感極性。

表4 不同模型的結(jié)果對(duì)比(%)

對(duì)比最新基于GCN的6個(gè)模型BiGCN, GL-GCN,MIGCN, DA-GCN, MSD-GCN和SGAN，本文模型的準(zhǔn)確率均有不同程度提升，其中，相比于采用語(yǔ)義語(yǔ)法交互的BiGCN, GL-GCN和MIGCN模型準(zhǔn)確率分別平均提升1.93%, 1.72%, 1.57%，相比于豐富語(yǔ)法依賴關(guān)系的DA-GCN, MSD-GCN和SGAN模型分別平均提升2.23%, 1.22%, 1.42%，證明本文模型融合雙句法信息增強(qiáng)語(yǔ)義特征的必要性。

針對(duì)使用BERT作為嵌入層的模型，KSD-GCNBERT模型整體性能顯著提高。相較于SK-GCNBERT和DA-GCN-BERT模型，本文模型在Restaurant 14和Restaurant 16數(shù)據(jù)集上的表現(xiàn)更加優(yōu)異，證明多通道建模語(yǔ)法和語(yǔ)義的有效性。

本文模型的準(zhǔn)確率取得顯著成效，但宏F1值在Twitter和Restaurant 15兩個(gè)數(shù)據(jù)集上僅次于最大值，因?yàn)門witter數(shù)據(jù)集的評(píng)論語(yǔ)句較靈活，句法結(jié)構(gòu)不明顯嚴(yán)重影響模型的精確率，由于Restaurant 15數(shù)據(jù)集的情感較為表層，KSD-GCN偏向于挖掘深層的信息，從而無(wú)法將模型的優(yōu)勢(shì)發(fā)揮到最大，因此達(dá)到了次優(yōu)效果。

4.5 消融實(shí)驗(yàn)

在本節(jié)及后續(xù)章節(jié)進(jìn)行的實(shí)驗(yàn)中，所有提到的KSD-GCN模型均基于GloVe，并認(rèn)為KSD-GCNBERT顯示出類似的趨勢(shì)。

為證明KSD-GCN中每個(gè)模塊的重要性，本文對(duì)該模型進(jìn)行消融實(shí)驗(yàn)。研究結(jié)果如下：以KSD-GCN為基線模型，分別去除語(yǔ)義分支、依賴類型語(yǔ)法和情感知識(shí)語(yǔ)法模塊。如表5所示，w/o sem表示去掉語(yǔ)義分支模塊，w/o dsyn表示去掉依賴類型語(yǔ)法模塊，w/o ksyn表示去掉情感知識(shí)語(yǔ)法模塊，w/o sem-dsyn代表僅保留情感知識(shí)加權(quán)的語(yǔ)法信息，w/o dsyn-ksyn代表僅保留語(yǔ)義分支的信息，w/o sem-ksyn代表僅保留依賴類型的語(yǔ)法信息。

表5 消融實(shí)驗(yàn)結(jié)果(%)

觀察w/o sem-dsyn, w/o dsyn-ksyn和w/o sem-ksyn與本文模型的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)使用單獨(dú)建模的方式學(xué)習(xí)的信息較少，泛化能力較差。此外，語(yǔ)義學(xué)習(xí)模塊和知識(shí)增強(qiáng)模塊的貢獻(xiàn)是相當(dāng)?shù)摹？傮w上看，模型的不同分支得到的句子表示都對(duì)本文模型產(chǎn)生重要影響。

對(duì)比w/o sem, w/o dsyn和w/o ksyn 3種不同的模型，準(zhǔn)確率和宏F1值均下降，證明去掉任何一種語(yǔ)義或語(yǔ)法信息都會(huì)降低模型的學(xué)習(xí)性能。w/o sem不僅表示去掉語(yǔ)義分支的學(xué)習(xí)，還表示具備依賴類型和情感知識(shí)增強(qiáng)的語(yǔ)法聯(lián)合學(xué)習(xí)，從側(cè)面反映語(yǔ)法和語(yǔ)義信息之間能夠相互補(bǔ)充，進(jìn)一步說明設(shè)計(jì)的雙語(yǔ)法補(bǔ)充語(yǔ)義表示的重要性。

4.6 超參數(shù)分析

4.6.1 GCN層數(shù)分析

本文為了驗(yàn)證KSD-GCN的層數(shù)對(duì)模型的影響，在5個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，其中模型的層數(shù)為L(zhǎng) ∈{1,2,...,8}，結(jié)果如圖3(a)和圖3(b)所示。

圖3 GCN網(wǎng)絡(luò)層數(shù)與準(zhǔn)確率和宏F1值的關(guān)系

本文模型KSD-GCN在網(wǎng)絡(luò)深度為2層時(shí)達(dá)到最優(yōu)性能，隨著網(wǎng)絡(luò)深度的增加，模型性能存在一定的波動(dòng)，整體性能呈現(xiàn)下降趨勢(shì)。在GCN深度為8層時(shí)，相比于最佳性能，其準(zhǔn)確率平均下降了2.48%，宏F1值平均下降了3.19%，由于層數(shù)增加，模型引入更多的參數(shù)，大量的噪聲會(huì)更新到KSD-GCN的最后一層，使得模型產(chǎn)生過擬合。

4.6.2 自注意力頭數(shù)的影響

針對(duì)語(yǔ)義模塊中的多頭注意力進(jìn)行實(shí)驗(yàn)研究，分析不同注意力頭數(shù)在5個(gè)數(shù)據(jù)集上對(duì)本文模型KSD-GCN的影響。結(jié)果如圖4(a)和圖4(b)所示，當(dāng)頭數(shù)為3時(shí)，模型達(dá)到最優(yōu)性能。隨著頭數(shù)的增加，性能發(fā)生小范圍波動(dòng)，整體效果偏低。

圖4 自注意力頭數(shù)與準(zhǔn)確率和宏F1值的關(guān)系

將注意力機(jī)制擴(kuò)展到多個(gè)頭，能幫助模型學(xué)習(xí)到更豐富的特征信息。在Laptop 14數(shù)據(jù)集上的表現(xiàn)更能體現(xiàn)合適的多頭注意力機(jī)制，相比于普通自注意力能夠增強(qiáng)模型對(duì)不同特征的關(guān)注度。

4.6.3 Top-k選擇的影響

針對(duì)語(yǔ)義模塊中的top-k選擇進(jìn)行實(shí)驗(yàn)研究，分析不同top-k數(shù)量在5個(gè)數(shù)據(jù)集上對(duì)本文模型KSDGCN的影響。實(shí)驗(yàn)結(jié)果如圖5(a)和圖5(b)所示。

圖5 Top-k選擇個(gè)數(shù)與準(zhǔn)確率和宏F1值的關(guān)系

整體來(lái)看，當(dāng)k值在1～4時(shí)表現(xiàn)性能更好，模型達(dá)到最佳的效果。由于數(shù)據(jù)集中存在大量長(zhǎng)文本數(shù)據(jù)，1～4個(gè)關(guān)鍵詞的選擇利于辨別具體情感得分。k值越大，會(huì)發(fā)現(xiàn)可挑選的特征向量越多，導(dǎo)致不相關(guān)詞造成的干擾越強(qiáng)，極大程度影響模型確定情感極性的能力。

4.7 案例分析

本節(jié)分別選取Laptop 14和Restaurant 14數(shù)據(jù)集中的句子進(jìn)行注意力權(quán)重可視化分析。權(quán)重分?jǐn)?shù)越大，對(duì)應(yīng)的色塊區(qū)域越深。第1行代表依賴類型嵌入句法信息后的注意力權(quán)重，第2行代表語(yǔ)義學(xué)習(xí)通道的注意力權(quán)重，第3行代表情感知識(shí)加權(quán)句法信息的注意力權(quán)重。如圖6，對(duì)于方面詞“mountain lion”，句法增強(qiáng)通道的表示突出集中在情感詞“slow”上，幫助句子做出正確預(yù)測(cè)。從3個(gè)分支的可視化角度觀察發(fā)現(xiàn)，使用情感知識(shí)增強(qiáng)語(yǔ)法分支捕捉情感詞的效果更加明顯，表明外部知識(shí)對(duì)情感分類的重要影響。如圖7，對(duì)于方面詞“milkshakes”，依賴類型增強(qiáng)語(yǔ)法分支的表現(xiàn)性能更為突出，能正確捕捉到影響方面的情感詞“better”，表明不同語(yǔ)法分支對(duì)增強(qiáng)句法的特征表示同等重要。對(duì)于包含多方面的評(píng)論語(yǔ)句，所采用的兩種句法形式均能正確捕捉影響不同方面的情感詞。模型能夠避免無(wú)關(guān)意見詞對(duì)特定方面的干擾，正確預(yù)測(cè)各個(gè)方面對(duì)應(yīng)的情感極性。因此，上述案例充分說明單一的語(yǔ)義需要句法的補(bǔ)充和修正，雙語(yǔ)法增強(qiáng)有助于模型整體性能的提升。

圖6 方面詞“mountain lion”的多通道注意力可視化

圖7 方面詞“milkshakes”的多通道注意力可視化

5 結(jié)論

本文提出一種多通道增強(qiáng)圖卷積網(wǎng)絡(luò)，設(shè)計(jì)了基于語(yǔ)義和句法的圖卷積模型來(lái)對(duì)句子進(jìn)行編碼。首先，將依賴類型和情感知識(shí)增強(qiáng)句法圖進(jìn)行圖卷積操作，同時(shí)利用多頭注意力和圖卷積學(xué)習(xí)語(yǔ)義特征，最后采用自適應(yīng)學(xué)習(xí)將語(yǔ)法和語(yǔ)義特征融合。實(shí)驗(yàn)結(jié)果表明，該模型在公開數(shù)據(jù)集上準(zhǔn)確率和F1值優(yōu)于基準(zhǔn)模型，依賴類型和情感知識(shí)均對(duì)增強(qiáng)句法圖有不同程度影響，雙語(yǔ)法結(jié)合語(yǔ)義增強(qiáng)方案有助于提升情感分類的效果。