劉漳輝,楊耀東,陳羽中

(福州大學(xué) 計(jì)算機(jī)與大數(shù)據(jù)學(xué)院,福州 350116)(福建省網(wǎng)絡(luò)計(jì)算與智能信息處理重點(diǎn)實(shí)驗(yàn)室,福州 350116) E-mail：yzchen@fzu.edu.cn

1 引 言

情感分析,又稱為觀點(diǎn)挖掘、意見(jiàn)挖掘,是自然語(yǔ)言處理領(lǐng)域中的一項(xiàng)基本任務(wù),其基本目標(biāo)是挖掘文本中的情感信息,分析其情感傾向性[1].情感分析包括文檔級(jí)情感分析、句子級(jí)情感分析以及方面級(jí)情感分析.本文針對(duì)現(xiàn)有方面級(jí)情感分析算法存在的問(wèn)題開(kāi)展研究.

方面級(jí)情感分析旨在判斷評(píng)論目標(biāo)的具體方面所對(duì)應(yīng)的情感極性.例如,句子“這家餐廳的食物很美味,但是價(jià)格有點(diǎn)貴”中,包含實(shí)體“食物”的兩個(gè)方面“味道”和“價(jià)格”,其對(duì)應(yīng)的觀點(diǎn)分別是“美味”和“貴”.在該例子中,評(píng)論者對(duì)食物的味道方面的評(píng)價(jià)是正面,而對(duì)價(jià)格方面的評(píng)價(jià)是負(fù)面,兩個(gè)評(píng)價(jià)的情感極性相反.傳統(tǒng)的文檔級(jí)或句子級(jí)情感分析模型只能識(shí)別整個(gè)句子的情感極性,對(duì)于存在多個(gè)方面且方面的情感極性不同的句子,顯然無(wú)法正確解讀句子中的情感信息.因此,針對(duì)給定實(shí)體方面的細(xì)粒度情感分析已經(jīng)成為目前情感分析領(lǐng)域的主要研究目標(biāo).

近年來(lái),深度學(xué)習(xí)在方面級(jí)情感分析任務(wù)中獲得了廣泛的應(yīng)用.深度學(xué)習(xí)方法無(wú)需進(jìn)行繁瑣的人工特征工程工作,可以自動(dòng)從文本中提取文本特征.方面級(jí)情感分析的深度學(xué)習(xí)模型主要基于循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò).與注意力網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相比,圖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于能夠利用評(píng)論文本單詞之間的句法依存關(guān)系從而提升模型學(xué)習(xí)給定方面相關(guān)情感信息的能力,但是現(xiàn)有的基于圖神經(jīng)網(wǎng)絡(luò)的模型沒(méi)有充分利用句法依賴樹(shù)中的邊關(guān)系,在進(jìn)行圖卷積融合計(jì)算時(shí),對(duì)給定方面相連的上下文沒(méi)有做出區(qū)分.此外,現(xiàn)有基于圖神經(jīng)網(wǎng)絡(luò)的方面級(jí)情感分析模型容易受到多層圖卷積網(wǎng)絡(luò)節(jié)點(diǎn)過(guò)度平滑的干擾,即圖神經(jīng)網(wǎng)絡(luò)層數(shù)過(guò)多導(dǎo)致每個(gè)單詞的隱藏狀態(tài)中融合了大量不相關(guān)單詞的語(yǔ)義信息,引起自身語(yǔ)義信息的丟失,導(dǎo)致模型無(wú)法有效提取上下文中的關(guān)鍵情感信息.

針對(duì)上述問(wèn)題,本文提出了一種融合關(guān)系注意力機(jī)制的圖卷積網(wǎng)絡(luò)(Relational Attention basedGraph Convolutional Network,RAGCN).主要貢獻(xiàn)如下：

1)RAGCN通過(guò)兩個(gè)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)分別對(duì)句子和增強(qiáng)后的方面建模,引導(dǎo)圖卷積網(wǎng)絡(luò)對(duì)向量表示進(jìn)行更新,從而更好地利用方面信息進(jìn)行情感分析.

2)RAGCN提出了一種關(guān)系注意力機(jī)制.該機(jī)制能充分利用句子節(jié)點(diǎn)間的邊關(guān)系,結(jié)合雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的輸出以捕獲方面和上下文單詞之間的關(guān)系,從而避免句子表征向量受到評(píng)論句子中其它方面的情感詞的影響,使句子表征向量?jī)H表示給定方面的情感.

3)RAGCN設(shè)計(jì)了一種門控融合機(jī)制.將圖神經(jīng)網(wǎng)絡(luò)表示與關(guān)系注意力層輸出經(jīng)過(guò)門控機(jī)制融合,生成的最終表征向量輸入softmax層進(jìn)行分類,提高了模型的魯棒性.

2 相關(guān)工作

相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)方法在方面級(jí)情感分析上有更好的表現(xiàn).卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)在捕獲句子中潛在的語(yǔ)義信息方面表現(xiàn)良好,一些研究工作將CNN用于方面級(jí)情感分析[2,3].與CNN相比,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)可以捕獲句子間的上下文依賴關(guān)系,對(duì)給定方面與上下文單詞之間的相關(guān)性進(jìn)行建模,這有利于分類給定方面的情感極性.因此,RNN被廣泛應(yīng)用于方面級(jí)情感分析任務(wù)中.方面的情感極性通常由方面周圍的幾個(gè)相關(guān)上下文單詞確定,由于RNN無(wú)法準(zhǔn)確計(jì)算給定方面周圍的每個(gè)單詞對(duì)于情感分析的重要性,于是引入了注意力機(jī)制來(lái)有效地捕捉上下文單詞相對(duì)于給定方面的重要性,因此,現(xiàn)有模型主要將RNN和注意力機(jī)制結(jié)合以實(shí)現(xiàn)方面級(jí)情感分析[4-8].Wang[4]等將方面向量與輸入句子的詞向量串聯(lián)后輸入長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM),使方面向量能夠參與計(jì)算每個(gè)上下文單詞的注意力權(quán)重.Ma[5]等利用LSTM和注意力機(jī)制交互學(xué)習(xí)方面及其上下文單詞的注意力權(quán)重,以獲得每個(gè)方面及其上下文的精確表示,從而有效地區(qū)分句子中不同方面的情感極性.Zhang[6]等利用Bi-LSTM對(duì)句子的詞向量進(jìn)行編碼,然后用結(jié)構(gòu)化注意力機(jī)制去捕獲語(yǔ)義片段與目標(biāo)的聯(lián)系,采用由細(xì)到粗的語(yǔ)義提取框架,目的是降低噪音,提高分類精度.Chen[7]等將文本序列切片成多個(gè)子序列,輸入到雙向門控循環(huán)網(wǎng)絡(luò)(Gated Recurrent Unit,GRU),然后利用注意力機(jī)制對(duì)每個(gè)子序列隱藏狀態(tài)進(jìn)行加權(quán)計(jì)算得到目標(biāo)情感的序列信息.Chen[8]等利用BiGRU網(wǎng)絡(luò)對(duì)文本進(jìn)行編碼,然后通過(guò)自注意力機(jī)制對(duì)文本和表情符號(hào)的向量表示進(jìn)行特征提取,來(lái)提高分類精度.

近年來(lái),隨著圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNNs)[9]的興起,一些研究者將GNN引入方面級(jí)情感分析任務(wù)中[10-16].GNN能夠?qū)W習(xí)和利用句法依存信息.句法依存信息代表了句子中單詞之間的依賴關(guān)系,對(duì)于正確判斷方面的情感極性至關(guān)重要.Hang[10]等使用Bi-LSTM對(duì)句子編碼,然后利用圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)提取上下文單詞之間的依賴關(guān)系.Zhang[11]等將圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)與注意力機(jī)制相結(jié)合,以獲取上下文單詞與給定方面之間的語(yǔ)義相關(guān)性.Zhou[12]等使用外部構(gòu)造的知識(shí)圖譜嵌入與句法依存關(guān)系,利用兩種不同結(jié)構(gòu)的GCN得到上下文詞節(jié)點(diǎn)與給定方面之間的語(yǔ)義關(guān)系.Zhang[13]等提出一種結(jié)合全局詞匯圖和句法依賴圖的圖卷積結(jié)構(gòu)模型,根據(jù)語(yǔ)料庫(kù)層面詞語(yǔ)的共現(xiàn)信息作為節(jié)點(diǎn)的邊關(guān)系,最后通過(guò)一個(gè)雙層交互圖卷積網(wǎng)絡(luò)來(lái)充分利用兩種圖結(jié)構(gòu),以獲取評(píng)論文本更準(zhǔn)確的特征表示.Zhao[14]在Bi-LSTM對(duì)文本編碼后使用了具有位置編碼的雙向注意力機(jī)制,以建模每個(gè)方面及其上下文詞之間的語(yǔ)義關(guān)系,然后采用GCN捕獲相同句子中不同方面之間的情感依賴性.

3 模 型

3.1 問(wèn)題定義

3.2 模型框架

本文所提出的RAGCN模型的總體架構(gòu)如圖1所示,包括詞表示層、文本編碼層、圖卷積層、關(guān)系注意力層、方面特征提取層、門控融合層以及情感分類層7個(gè)模塊.詞表示層采用預(yù)訓(xùn)練的詞向量將句子中的每個(gè)單詞映射到連續(xù)的低維向量空間中.文本編碼層提取評(píng)論句子和方面中的語(yǔ)義關(guān)系.圖卷積層利用評(píng)論句子的句法依存關(guān)系.關(guān)系注意力層根據(jù)句法依賴樹(shù)對(duì)上下文做出區(qū)分,提取句子與方面語(yǔ)義上的相關(guān)情感信息.方面特征提取層進(jìn)一步提升模型的信息提取能力,捕獲關(guān)鍵情感單詞.門控融合層融合圖卷積網(wǎng)絡(luò)輸出和關(guān)系注意力層輸出,提高模型魯棒性.情感分類層則通過(guò)Softmax生成3個(gè)類標(biāo)簽上的概率分布.

3.3 詞表示層

詞表示層采用預(yù)訓(xùn)練的詞向量將評(píng)論句子的每個(gè)單詞映射到連續(xù)的低維向量空間中.設(shè)L∈d×|V|是由所有的預(yù)訓(xùn)練詞向量組成的向量矩陣,對(duì)于評(píng)論句子s,通過(guò)預(yù)訓(xùn)練詞向量矩陣L獲得其對(duì)應(yīng)的輸入評(píng)論句子向量x={x1,x2,…,xn},其中n表示輸入的評(píng)論句子s的長(zhǎng)度,xn∈d表示第n個(gè)單詞wn對(duì)應(yīng)的詞向量,其中d是詞向量的維度,|V|是詞向量表的大小.

經(jīng)研究發(fā)現(xiàn)同一個(gè)方面詞在不同的語(yǔ)境中的情感可能不同,對(duì)方面詞使用Bi-LSTM網(wǎng)絡(luò)建模得到語(yǔ)義信息僅與自身相關(guān),針對(duì)此問(wèn)題,本文提出了方面增強(qiáng)向量,給定一條評(píng)論句子,將方面詞和與其有句法關(guān)聯(lián)的上下文詞結(jié)合,目的是縮短方面詞與情感詞的距離,更好的確定方面詞在此語(yǔ)境的語(yǔ)義信息.

圖2 方面增強(qiáng)向量Fig.2 Enhanced aspect vector

3.4 文本編碼層

循環(huán)神經(jīng)網(wǎng)絡(luò)可以捕獲句子間的上下文依賴關(guān)系,長(zhǎng)期依賴關(guān)系是處理自然語(yǔ)言處理問(wèn)題的關(guān)鍵.為了提取評(píng)論句子和方面中的長(zhǎng)期依賴關(guān)系,模型在文本編碼層通過(guò)兩個(gè)不同的Bi-LSTM分別對(duì)評(píng)論句子和方面增強(qiáng)向量進(jìn)行編碼,將每個(gè)單詞的詞向量作為時(shí)間步輸入到Bi-LSTM中進(jìn)行編碼學(xué)習(xí).

3.5 圖卷積層

在進(jìn)行圖卷積計(jì)算前,需要先對(duì)評(píng)論句子進(jìn)行依賴樹(shù)解析.圖卷積神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)一樣,是一種特征提取器,但它能夠基于句法依賴樹(shù)實(shí)現(xiàn)卷積操作,用于對(duì)非結(jié)構(gòu)化數(shù)據(jù)的本地信息進(jìn)行編碼.模型在數(shù)據(jù)預(yù)處理階段對(duì)句子進(jìn)行解析并生成句法依賴樹(shù),在圖卷積層通過(guò)K層的GCN提取Bi-LSTM的局部信息.

研究表明,上下文單詞與方面詞之間的位置關(guān)系也是一種重要的特征,更接近方面的單詞對(duì)方面的情感表示影響更大.使用位置權(quán)重可以減少圖卷積計(jì)算過(guò)程中自然產(chǎn)生的噪聲,還能夠?yàn)橥痪渥拥牟煌矫嫔商囟ㄇ椅ㄒ坏碾[藏狀態(tài).因此,文本編碼層輸出的隱藏狀態(tài)不是直接輸入GCN中,而是首先進(jìn)行位置加權(quán)轉(zhuǎn)換,其計(jì)算過(guò)程如下：

(1)

(2)

其中,n是評(píng)論句子中單詞數(shù)量,而i是當(dāng)前單詞的在句中的位置,方面增強(qiáng)的第1個(gè)單詞在句中的位置,m是方面增強(qiáng)的單詞數(shù)量.pi是當(dāng)前單詞的位置權(quán)重,將位置權(quán)重pi與評(píng)論句子的Bi-LSTM隱藏狀態(tài)相乘,即可得到評(píng)論句子的位置加權(quán)隱藏狀態(tài).

接下來(lái),為了引導(dǎo)模型提取給定方面的關(guān)鍵上下文信息,由公式(3),模型首先通過(guò)平均池化操作得到方面增強(qiáng)的平均向量,由公式(4)和公式(5),拼接評(píng)論句子位置加權(quán)隱藏狀態(tài)與給定方面增強(qiáng)的平均向量,得到K層GCN的初始輸入向量g0：

(3)

(4)

(5)

其中,ga∈2l是給定方面增強(qiáng)的平均向量,4l是單詞i的隱藏狀態(tài)和ga連接后的向量.

對(duì)于句法依賴樹(shù),本文不考慮句法依賴關(guān)系中邊的方向,將評(píng)論句子的依賴樹(shù)視為一種無(wú)向圖,評(píng)論句子的每個(gè)單詞都對(duì)應(yīng)依賴樹(shù)的一個(gè)節(jié)點(diǎn),長(zhǎng)度為n的評(píng)論句子得到n×n的鄰接矩陣A,從而參與圖卷積操作.在鄰接矩陣中,元素Aij為1表示節(jié)點(diǎn)i與節(jié)點(diǎn)j之間存在依賴關(guān)系,互為鄰接節(jié)點(diǎn).Aij為0則表示節(jié)點(diǎn)i與節(jié)點(diǎn)j之間不存在依賴關(guān)系.每個(gè)節(jié)點(diǎn)在更新過(guò)程中將匯集鄰接節(jié)點(diǎn)的特征信息,并與自身信息進(jìn)行融合.對(duì)于節(jié)點(diǎn)i,第K層GCN的更新過(guò)程如下：

(6)

(7)

(8)

其中,k∈[1,K]表示當(dāng)前GCN層所處的位置,Wk∈4l×2l和bk∈2l是可訓(xùn)練的參數(shù),2l是節(jié)點(diǎn)i更新后的隱藏狀態(tài),relu()是非線性激活函數(shù),di表示節(jié)點(diǎn)i的度,4d是第k+1層GCN中節(jié)點(diǎn)i的輸入.

圖3 依賴樹(shù)剪枝Fig.3 Reshaped syntactic dependency tree

(9)

3.6 關(guān)系注意力層

句法依存關(guān)系中節(jié)點(diǎn)之間的邊類型也是一種重要的特征,修飾情感詞的邊類型對(duì)方面的情感表示影響更大.多層圖卷積網(wǎng)絡(luò)在聚合過(guò)程中,相鄰節(jié)點(diǎn)之間的隱藏狀態(tài)存在較多共享信息,導(dǎo)致節(jié)點(diǎn)的狀態(tài)過(guò)度平滑,造成方面節(jié)點(diǎn)與鄰居節(jié)點(diǎn)的隱藏表示無(wú)區(qū)分,致使節(jié)點(diǎn)分類的性能下降.針對(duì)該問(wèn)題,本文提出了一種關(guān)系注意力機(jī)制,利用評(píng)論句子的句法依賴關(guān)系,為每個(gè)上下文單詞分配注意力權(quán)重,對(duì)上下文單詞做出區(qū)分,提取出評(píng)論句子隱藏狀態(tài)與給定方面句法上相關(guān)的重要特征,從而建立方面詞與相關(guān)情感的聯(lián)系.

關(guān)系注意力層首先對(duì)評(píng)論句子的邊關(guān)系標(biāo)簽序列S初始化,得到邊向量e={e1,e2,…en},對(duì)邊向量e和評(píng)論句子的Bi-LSTM隱藏狀態(tài)h使用注意力機(jī)制,計(jì)算注意力權(quán)重βi,得到關(guān)系注意力句子表征向量eatt.具體的計(jì)算過(guò)程如下：

(10)

(11)

gi=relu(eiWm1+bm1)Wm2+bm2

(12)

其中,eatt∈2l表示關(guān)系注意力的句子表征向量,βi∈表示節(jié)點(diǎn)i的注意力權(quán)重系數(shù),ei∈l表示節(jié)點(diǎn)i和方面a的邊關(guān)系向量,Wm1∈l×l、Wm2∈l是可學(xué)習(xí)的權(quán)重矩陣,bm1∈l、bm2∈l是偏置向量.

3.7 方面特征提取層

為了防止模型在多層圖卷積網(wǎng)絡(luò)的更新和掩膜操作過(guò)程中造成特征信息的丟失,方面特征提取層提出了一種單詞級(jí)注意力機(jī)制,進(jìn)一步提升模型的信息提取能力,捕獲關(guān)鍵情感單詞.該機(jī)制可以提取單詞級(jí)的上下文關(guān)鍵信息,并與句子表征向量結(jié)合,從而避免評(píng)論句子中與給定方面無(wú)關(guān)的情感詞的干擾,使句子表征向量?jī)H表示給定方面的情感.

在方面特征提取層對(duì)評(píng)論句子的Bi-LSTM的隱藏狀態(tài)h和圖卷積層的輸出hmask使用注意力機(jī)制,從隱藏狀態(tài)h中提取與給定方面在語(yǔ)義上相關(guān)的重要特征,并因此為每個(gè)上下文單詞分配注意力權(quán)重,從而實(shí)現(xiàn)提取單詞級(jí)上下文情感信息,增強(qiáng)向量的情感表示.具體的計(jì)算過(guò)程如下：

(13)

(14)

(15)

其中,ew∈2l是提取了給定方面的單詞級(jí)上下文情感信息的句子表征向量.αi表示方面詞與句子中的其它單詞之間的語(yǔ)義相關(guān)性分布.

3.8 門控融合層

由于評(píng)論句子的隨意性,少數(shù)不規(guī)范的句子不可避免地會(huì)對(duì)模型產(chǎn)生噪音,為了保證模型在預(yù)測(cè)結(jié)果時(shí)的穩(wěn)定性,本文設(shè)計(jì)了一種門控融合機(jī)制,融合多層圖卷積網(wǎng)絡(luò)輸出表示和關(guān)系注意力層輸出表示,增加模型的魯棒性.

首先,將方面特征提取層的句子表征向量ew與關(guān)系注意力層的句子表征向量eatt拼接后輸入門控函數(shù)過(guò)濾無(wú)關(guān)信息,然后輸入多層感知機(jī)得到最終的句子表征向量efinal,多層感知機(jī)由線性層和激活函數(shù)組成,具體的計(jì)算過(guò)程如下：

es1={ew∶eatt}

(16)

es=gate(Wl1es1+bl1)

(17)

efinal=mlp(Wl2es+bl2)

(18)

其中,es1∈4l是方面特征提取層的句子表征向量ew∈2l和關(guān)系注意力層句子表征向量eatt∈2l拼接后的特征,Wl1∈4l×2l、Wl2∈2l×2l是可學(xué)習(xí)的權(quán)重矩陣,bl1∈2l、bl2∈2l是偏置向量,門控函數(shù)和多層感知機(jī)激活函數(shù)使用relu()函數(shù).

3.9 情感分類層

門控融合層生成最終表征向量后efinal,通過(guò)softmax函數(shù)執(zhí)行歸一化操作,計(jì)算給定方面屬于各個(gè)情感極性的概率：

y=softmax(Wefinal+b)

(19)

模型采用具有L2正則化項(xiàng)的交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)：

(20)

4 實(shí)驗(yàn)和結(jié)果

4.1 數(shù)據(jù)集

實(shí)驗(yàn)采用SemEval2014 Task4數(shù)據(jù)集[17]和Twitter數(shù)據(jù)集[18]公開(kāi)數(shù)據(jù)集評(píng)估RAGCN模型的性能.SemEval2014 Task4數(shù)據(jù)集包含Rest14和Laptop14兩個(gè)子數(shù)據(jù)集.Twitter每條數(shù)據(jù)對(duì)應(yīng)一個(gè)用戶推文.在這些數(shù)據(jù)集中,每條數(shù)據(jù)都包含一個(gè)或多個(gè)方面,每個(gè)方面具有相應(yīng)的積極、消極或中性的情感極性.3個(gè)數(shù)據(jù)集的訓(xùn)練樣本和測(cè)試樣本的統(tǒng)計(jì)信息如表1所示.

表1 各數(shù)據(jù)集樣本統(tǒng)計(jì)信息Table 1 Statistics of three benchmark datasets

4.2 對(duì)比算法

實(shí)驗(yàn)選取的對(duì)比模型包括TG-SAN,FDN[19],ATN[20],SDGCN,SK-GCN,BiGCN,RGAT和DGEDT等最新最先進(jìn)模型.其中TG-SAN、FDN、ATN模型基于循環(huán)神經(jīng)網(wǎng)絡(luò),SDGCN、SK-GCN、BiGCN、DGEDT、RGAT模型基于圖神經(jīng)網(wǎng)絡(luò).其中SK-GCN、BiGCN、DGEDT、RGAT模型利用了句法依存信息.為了保證對(duì)比實(shí)驗(yàn)公平,所選模型均使用GloVe[21]預(yù)訓(xùn)練的300維單詞向量.

4.3 實(shí)驗(yàn)設(shè)置和評(píng)估指標(biāo)

GPU使用NVIDIA Tesla P100,模型代碼通過(guò)Pytorch框架實(shí)現(xiàn).在數(shù)據(jù)預(yù)處理方面,評(píng)論文本依賴樹(shù)使用本地SpaCy工具.輸入長(zhǎng)度設(shè)置為當(dāng)前batch中最長(zhǎng)評(píng)論句子的長(zhǎng)度,當(dāng)句子長(zhǎng)度小于輸入長(zhǎng)度時(shí)用0填充,詞向量使用GloVe預(yù)訓(xùn)練的300維單詞向量.所有權(quán)重矩陣使用Xavier進(jìn)行初始化,并將所有偏置值初始化為零.模型使用Adam優(yōu)化算法對(duì)作為優(yōu)化器進(jìn)行訓(xùn)練,初始學(xué)習(xí)率為0.001,損失函數(shù)的歸一化系數(shù)設(shè)為10-5,Bi-LSTM的隱藏層單元數(shù)設(shè)置為300,多層GCN的層數(shù)K設(shè)置為2,邊關(guān)系向量維度設(shè)置為300.

本文采用準(zhǔn)確度(Accuracy)和Macro-F1作為實(shí)驗(yàn)中方面級(jí)情感分析模型的性能評(píng)估指標(biāo).

表2 RAGCN與基準(zhǔn)模型的性能對(duì)比Table 2 Overall performance of RAGCN and baseline models

4.4 實(shí)驗(yàn)結(jié)果分析

RAGCN模型及對(duì)比模型在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示.可以看到,RAGCN模型在Restaurant和Laptop兩個(gè)數(shù)據(jù)集上都獲得了最高的Accuracy值,分別達(dá)到84.64%和77.90%,僅在Twitter數(shù)據(jù)集上低于RGAT.對(duì)于Macro-F1值,在Restaurant、Laptop和Twitter數(shù)據(jù)集上均為最佳,分別達(dá)到76.94%、73.78%和73.89%.在對(duì)比模型中,有些模型雖然在某一數(shù)據(jù)集上比較接近RAGCN的性能,但是在其它數(shù)據(jù)集上與RAGCN的差距較大.SDGCN在Rest14數(shù)據(jù)集上Accuracy為對(duì)比模型中最優(yōu),但是在Laptop數(shù)據(jù)集上Accuracy值比RAGCN低0.74%,Macro-F1值低2.27%.

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Performance results of RAGCN and its ablation model

在對(duì)比模型中,RGAT和RAGCN模型在Laptop14數(shù)據(jù)集上性能非常接近,獲得了對(duì)比模型中的最佳性能,RGAT還在Twitter數(shù)據(jù)集上均取得了對(duì)比模型中最佳的Accuracy值和Macor-F1值.但是在Rest14數(shù)據(jù)集上,RGAT與RAGCN相比,Accuracy值與Macro-F1值均相差較大.綜合而言,RAGCN模型在所有數(shù)據(jù)集上均獲得了最優(yōu)的性能,而且整體性能穩(wěn)定,魯棒性好,可以很好地處理不同領(lǐng)域的評(píng)論文本.主要原因在于RAGCN模型使用GCN以提取和學(xué)習(xí)評(píng)論句子中的句法依存關(guān)系.RAGCN還對(duì)方面進(jìn)行建模,加強(qiáng)了方面和上下文之間的語(yǔ)義信息交互,同時(shí)利用關(guān)系注意力機(jī)制提取與方面聯(lián)系緊密的上下文情感信息,增強(qiáng)了表征向量對(duì)方面情感的表示.因此,RAGCN預(yù)測(cè)方面的情感極性的能力獲得了較大提升.

4.5 模型分析

本節(jié)通過(guò)消融實(shí)驗(yàn)分析RAGCN的各模塊對(duì)其整體性能的貢獻(xiàn)程度.RAGCN的消融模型包括RAGCN w/o EA、RAGCN w/o RA、RAGCN w/o Gate.RAGCN w/o EA表示僅用方面詞建模,不包含相連上下文詞.RAGCN w/o RA沒(méi)有使用關(guān)系注意力機(jī)制.RAGCN w/o Gate表示僅拼接子模型輸出,不使用門控融合機(jī)制.實(shí)驗(yàn)結(jié)果如表3所示,RAGCN w/o RA的性能在所有消融模型中性能最差.這是因?yàn)镽AGCN w/o RA難以避免評(píng)論句子中其他方面的情感詞影響.RAGCN w/o EA的性能在所有消融模型中性能排其次,這是由于方面增強(qiáng)向量縮短了方面詞與情感詞之間的距離,對(duì)增強(qiáng)后的方面建模,能更好確定方面詞在上下文語(yǔ)境中的語(yǔ)義信息.RAGCN w/o Gate在所有消融模型中性能最佳,表明門控融合機(jī)制能減少噪聲影響,提高分類性能.

5 總 結(jié)

針對(duì)現(xiàn)有的方面級(jí)情感分析模型存在方面信息丟失、沒(méi)有充分利用句法依存關(guān)系等問(wèn)題,本文提出一種融合關(guān)系注意力機(jī)制的圖卷積網(wǎng)絡(luò)模型RAGCN,首先利用兩個(gè)Bi-LSTM對(duì)評(píng)論句子和給定方面分別建模,然后對(duì)生成的隱藏狀態(tài)進(jìn)行拼接并輸入多層GCN中和關(guān)系注意力層.通過(guò)多層GCN可以捕獲和學(xué)習(xí)句法依存關(guān)系,通過(guò)關(guān)系注意力機(jī)制可以捕獲與給定方面相關(guān)上下文信息.最后,使用一種門控融合機(jī)制,該機(jī)制從多層GCN和關(guān)系注意力機(jī)制的輸出中捕獲給定方面相關(guān)的情感信息,從而獲得多更準(zhǔn)確的句子表征向量.