摘 要：方面級(jí)情感分析的任務(wù)目標(biāo)是對(duì)評(píng)論中的特定方面詞情感極性的判別，近年來的大多研究方法都采用句法依存樹結(jié)合圖卷積網(wǎng)絡(luò)來構(gòu)建模型，但是對(duì)句法依存結(jié)構(gòu)的使用過于直接且忽略了在生成樹是伴隨的噪聲影響，因此提出了一種漸進(jìn)增強(qiáng)結(jié)合雙向圖卷積模塊的情感分類模型（PCB-GCN）。首先，設(shè)計(jì)漸進(jìn)增強(qiáng)算法來獲取更加特異性的句法依存樹，利用BiLSTM來提取語(yǔ)義，同時(shí)針對(duì)不同方向的句法圖結(jié)構(gòu)采用雙向圖卷積模塊進(jìn)行特征提取，最后將句法特征與上下文語(yǔ)義通過協(xié)同融合網(wǎng)絡(luò)結(jié)合起來進(jìn)行最終分類。模型在多組公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，均取得了相比目前基線模型更好的效果。

關(guān)鍵詞：圖卷積； 漸進(jìn)增強(qiáng)； 句法依存樹； 協(xié)同融合

中圖分類號(hào)：TP391.1 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）07-018-2037-06

doi：10.19734/j.issn.1001-3695.2022.01.0005

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（17XXW005，62141201）

作者簡(jiǎn)介：齊嵩喆（1995-），男，黑龍江克山人，碩士研究生，主要研究方向?yàn)樽匀徽Z(yǔ)言處理；黃賢英（1967-），女（通信作者），重慶人，教授，碩導(dǎo)，碩士研究生，主要研究方向?yàn)樯疃葘W(xué)習(xí)（wldsj_cqut@163.com）；孫海棟（1997-），男，四川成都人，碩士研究生，主要研究方向?yàn)榇髷?shù)據(jù)輿情監(jiān)測(cè)；劉嘉艷（1997-），女，重慶人，碩士研究生，主要研究方向?yàn)閼?yīng)用經(jīng)濟(jì).

Aspect based sentiment analysis with progressive enhancement and graph convolution

Qi Songzhea，Huang Xianying^a?，Sun Haidonga，Liu Jiayanb

（a.College of Computer Science amp; Engineering，b.College of Economics amp; Finance，Chongqing University of Technology，Chongqing 401320，China）

Abstract：The purpose of aspect-level sentiment analysis is to determine the sentiment of specific aspect words in a sentence.In recent years，many methods have adopted syntactic dependency tree combined with graph convolutional network modeling.But the use of syntactic dependency structures is too direct and ignores the noise effect that accompanies the spanning tree，which limits the use of syntactic relations.This paper proposed an emotional classification model （PCB-GCN） with progressive enhancement combined with a bidirectional graph convolution module.Firstly，it designed a progressive enhancement algorithm to obtain richer syntactic relations，used Bi-LSTM to extract semantics，and used bidirectional graph convolution module for feature extraction for syntactic graph structures in different directions.Finally，it combined the syntactic features and context semantics through a collaborative network，combined them for the final classification.The model has been tested on multiple public data sets，and all have achieved better results than the current baseline model.

Key words：GCN；progressive enhancement；dependency tree；collaborative integration

方面級(jí)情感分析ABSA（aspect-based-sentiment-analysis）是自然語(yǔ)言處理領(lǐng)域（natural language processing）的一項(xiàng)重要分支^［1］。其任務(wù)是根據(jù)方面詞特征信息以及上下文語(yǔ)義來判斷每個(gè)方面的情感極性。例如評(píng)論“It has a bad memory but a great battery life.”蘊(yùn)涵了兩個(gè)方面的情感信息，其中方面詞分別為“memory”和“battery life”，對(duì)應(yīng)的情感極性分別為消極和積極。通常情況下在一句文本中含有多個(gè)方面詞，每個(gè)方面詞的情感極性也不盡相同。

1 相關(guān)工作

本方面級(jí)情感分析在各個(gè)領(lǐng)域都有著重要的作用。在政府領(lǐng)域，通過輿情監(jiān)測(cè)快速準(zhǔn)確地識(shí)別群眾對(duì)于重大事件的情緒傾向；在商業(yè)領(lǐng)域，通過各種金融大數(shù)據(jù)平臺(tái)分析用戶對(duì)公司股票不同階段的情感傾向，在一定程度上預(yù)測(cè)股票的走勢(shì)；在推薦領(lǐng)域，通過分析商品的評(píng)論可以了解用戶的潛在興趣，從而設(shè)計(jì)更加精確的推薦算法，促進(jìn)平臺(tái)獲利。

如今大多數(shù)方面級(jí)情感分類的研究都是基于神經(jīng)網(wǎng)絡(luò)展開的。Kim^［2］將CNN（convolutional neural network）用于情感分類任務(wù)，證明了在圖像領(lǐng)域廣為應(yīng)用的CNN在NLP領(lǐng)域同樣具有可觀的作用。Chen等人^［3］為了更好地捕捉復(fù)雜的上下文特征使用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network），Dong等人^［4］在RNN的基礎(chǔ)上提出了自適應(yīng)的循環(huán)神經(jīng)網(wǎng)絡(luò)ADRNN（adaptive recursive neural network）以增強(qiáng)RNN的上下文表示，Wang等人^［5］則提出一種結(jié)合詞向量的LSTM（long-short-term-memory）神經(jīng)網(wǎng)絡(luò)，LSTM作為RNN的改良網(wǎng)絡(luò)，能夠有效地解決梯度消失和梯度爆炸的問題，通過接收詞序列信息保留文本中詞語(yǔ)的依賴關(guān)系。隨后人們將注意力機(jī)制運(yùn)用到ABSA任務(wù)的過程中，Ma等人^［6］提出了一種交互式的注意力網(wǎng)絡(luò)，同時(shí)考慮上下文和方面詞的關(guān)系，通過注意力機(jī)制分別獲取方面詞與上下文之間的重要性表示，從而利用帶有權(quán)重的特征來判斷方面詞的情感極性。為了降低單層注意力機(jī)制對(duì)于權(quán)重學(xué)習(xí)的不確定性，Tang等人^［7］提出使用深層次的注意力網(wǎng)絡(luò)來獲取更加明確的情感特征信息，盡管以注意力為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型在多組數(shù)據(jù)集上均取得了不錯(cuò)的效果，但是由于缺乏句法依賴關(guān)系，在方面詞較多的句子中注意力機(jī)制往往以為忽略詞語(yǔ)在句法表示，導(dǎo)致權(quán)重分配錯(cuò)誤。例如在“great food but the service was dreadful”中，在判斷方面詞“food”的情感極性時(shí)，由于缺乏依賴關(guān)系的表示，注意力機(jī)制容易將權(quán)重分配給“dreadful”。Li等人^［8］建立基于注意力機(jī)制的CNN用于該類任務(wù)，以彌補(bǔ)注意力機(jī)制的不足，但是CNN只能在單詞序列上進(jìn)行運(yùn)算，難以捕捉不相鄰詞語(yǔ)所表達(dá)的修飾關(guān)系；He等人^［9］提出將句法依存樹信息引入到語(yǔ)義建模當(dāng)中來增強(qiáng)模型的語(yǔ)義結(jié)構(gòu)理解能力，但是未能充分地利用句法信息；文獻(xiàn)［10］提出將圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）應(yīng)用到文本分類任務(wù)中，GCN是一種可以整合圖類結(jié)構(gòu)中鄰居節(jié)點(diǎn)信息的多層網(wǎng)絡(luò)結(jié)構(gòu)，在NLP領(lǐng)域能有效地處理依存圖信息從而起到語(yǔ)義融合的作用，而且與只能捕捉連續(xù)詞語(yǔ)之間關(guān)系的CNN相比，GCN可以擺脫詞語(yǔ)序列位置的束縛，來獲取更深層次的語(yǔ)義關(guān)系。Zhang等人^［11］將圖卷積結(jié)合句法依存樹（syntactic dependency tree）應(yīng)用到關(guān)系抽取中，有效地提升了模型的準(zhǔn)確性。文獻(xiàn)［12］以GCN和句法依存樹為基礎(chǔ)建模，同時(shí)增加了位置編碼和遮掩機(jī)制，并且設(shè)計(jì)針對(duì)于方面詞的特殊注意力網(wǎng)絡(luò)應(yīng)用于ABSA任務(wù)，取得了顯著的效果。但是由于輸入語(yǔ)句的偶然性和解析句法依存樹的性能不夠完善，純粹的句法依存樹對(duì)于模型的提升有限，Tang等人^［1］提出一種利用圖結(jié)構(gòu)在增強(qiáng)表示的并列改進(jìn)transformers網(wǎng)絡(luò)結(jié)構(gòu)來降低依存圖中噪聲的影響，但是沒有考慮依存圖的邊信息影響。文獻(xiàn)［13，14］分別提出了結(jié)合句法增強(qiáng)和交互注意力機(jī)制的模型結(jié)構(gòu)，但是對(duì)句法依存樹噪聲的影響都沒有過多處理。Li等人^［15］提出了一種基于雙通道的方面級(jí)情感分析模型，在一定程度上降低了由于輸入偶然性和噪聲對(duì)于分類結(jié)果的影響。因此，本文為了彌補(bǔ)上述研究的不足，提出了一種基于漸進(jìn)增強(qiáng)與協(xié)同融合的圖卷積神經(jīng)網(wǎng)絡(luò)（progressive collaborative bidirectional-graph convolutional network，PCB-GCN），用以提升在方面級(jí)情感分析任務(wù)上的表現(xiàn)。首先，利用Bi-LSTM網(wǎng)絡(luò)提取句子的上下文表示，考慮到不同詞語(yǔ)的句法依存關(guān)系對(duì)于分類結(jié)果的影響是不同的，提出基于單詞位置關(guān)系的漸進(jìn)增強(qiáng)算法對(duì)依存圖中的邊進(jìn)行賦權(quán)，使得與方面詞具有不同句法關(guān)系和位置關(guān)系的詞語(yǔ)獲得不同的權(quán)重，彌補(bǔ)了圖卷積對(duì)整合長(zhǎng)距離語(yǔ)義信息的劣勢(shì)；然后利用雙向圖卷積模塊來融合句法依存關(guān)系和上下文信息，從而提升圖卷積的特征提取效果；為了降低由于句法依存樹構(gòu)造不準(zhǔn)確所產(chǎn)生的噪聲影響，利用協(xié)同融合機(jī)制將上下文表示和附帶依存圖信息的語(yǔ)義表示結(jié)合起來，生成帶有漸進(jìn)權(quán)重增強(qiáng)的上下文語(yǔ)義信息，再經(jīng)過softmax分類器獲取最終的分類結(jié)果。

2 PCB-GCN模型

本文PCB-GCN模型結(jié)構(gòu)如圖1所示，模型可以分為詞向量嵌入層、上下文語(yǔ)義提取層、漸進(jìn)權(quán)重增強(qiáng)層、雙向圖卷積網(wǎng)絡(luò)層、協(xié)同融合網(wǎng)絡(luò)層以及最后的情感分類層。

2.3 漸進(jìn)權(quán)重增強(qiáng)層

在自然語(yǔ)言中，每個(gè)單詞不但有實(shí)際表達(dá)的含義，還代表著一定的句子結(jié)構(gòu)成分，句法依存樹表示這些結(jié)構(gòu)成分之間的依存關(guān)系。通過引入句法關(guān)系，可以有效地縮短單詞與單詞之間的距離，從更深層次的角度來為語(yǔ)義提供結(jié)構(gòu)支撐，進(jìn)而提升模型對(duì)于語(yǔ)義的理解能力。依存樹通常以圖的形式來表示，每一句話用包含n個(gè)節(jié)點(diǎn)的圖G來表示，其中節(jié)點(diǎn)表示單詞，邊代表詞與詞之間的依存關(guān)系，在前人的研究中通常使用0和1來表示節(jié)點(diǎn)之間的關(guān)系，或者以固定的系數(shù)來增強(qiáng)與方面詞有依存關(guān)系的節(jié)點(diǎn)權(quán)重。但是往往不同單詞之間的依存關(guān)系對(duì)模型情感極性的判斷貢獻(xiàn)度存在差異性，這里分兩種情況考慮，首先與方面詞是否有直接依存關(guān)系。其次，與方面詞存在依存關(guān)系在物理位置上的差異，因此提出漸進(jìn)式權(quán)重增強(qiáng)算法來強(qiáng)化句法結(jié)構(gòu)信息。對(duì)于任意一句話的依存矩陣A∈n×n，其中n代表單詞的個(gè)數(shù)，通過以下方式來構(gòu)造漸進(jìn)增強(qiáng)矩陣 ，對(duì)于方面詞對(duì)應(yīng)下標(biāo)的行元素和列元素，按照以下算法進(jìn)行漸進(jìn)權(quán)重增強(qiáng)：當(dāng)詞語(yǔ)位于方面詞左側(cè)和右側(cè)時(shí)分別附加權(quán)重。

轉(zhuǎn)換函數(shù)可以表示為A′=C×A×C，其中：m為表示方面的單詞個(gè)數(shù)，τ表示方面詞的起始下標(biāo)。

2.4 雙向圖卷積網(wǎng)絡(luò)層

圖卷積是一種能夠有效整合圖結(jié)構(gòu)信息的神經(jīng)網(wǎng)絡(luò)，通過圖卷積來引入句法依存樹特征信息是近年來方面級(jí)情感分析相關(guān)研究常用的方法，由于通常的圖卷積模型在處理依存樹時(shí)存在特征丟失和方向信息不明確的問題，本文模型提出一種帶有殘差的雙向圖卷積網(wǎng)絡(luò)（BR-GCN）。雙向能保證句法依存特征的完整性，殘差結(jié)構(gòu)能保證在層數(shù)增加時(shí)特征的完整性，通過BR-GCN可以對(duì)漸進(jìn)增強(qiáng)后的句法依存樹做正反雙向的特征提取，再將兩者的結(jié)果相連接，該網(wǎng)絡(luò)層結(jié)構(gòu)如圖2所示。

具體的公式表示為

其中：l代表雙向圖卷積的層數(shù)；Wl是可訓(xùn)練的權(quán)重矩陣；bl是正則項(xiàng)；A′in和A′out分別表示由句法依存圖獲得的正向和反向句法依存矩陣；對(duì)應(yīng)的hlout和hlin分別表示圖卷積網(wǎng)絡(luò)輸出的正反向結(jié)果，隨后將雙向的結(jié)果矩陣相連接并通過線性變換獲得第l層BiGCN的輸出雙向句法特征向量hl、h⁰， 則由BiLSTM網(wǎng)絡(luò)輸出的上下文向量代替，norm代表正則化網(wǎng)絡(luò)層，此處與transformers網(wǎng)絡(luò)類似，選用layer normalization最終的BiGCN表達(dá)式為

2.5 協(xié)同融合網(wǎng)絡(luò)層

為了降低由于輸入的偶然性和生成句法依存樹時(shí)固有的噪聲影響，本文受多模態(tài)分類系統(tǒng)的啟發(fā)，將其中一部分的結(jié)合方式進(jìn)行改進(jìn)，提出一種適用于方面級(jí)情感分析的協(xié)同融合網(wǎng)絡(luò)層，將語(yǔ)義提取層得到的上下文特征向量和句法語(yǔ)義向量輸入到協(xié)同融合網(wǎng)絡(luò)層中進(jìn)行特征融合，融合方式如圖3所示。

首先計(jì)算協(xié)同矩陣F：

2.6 池化分類層

在協(xié)同融合網(wǎng)絡(luò)層上方通過最大池化的方式來獲得分類特征向量。本文選擇方面詞位置所對(duì)應(yīng)的向量進(jìn)行池化，其余位置的向量則忽略不計(jì)，因?yàn)橄蛄康竭_(dá)該層網(wǎng)絡(luò)時(shí)已經(jīng)融合了上下文時(shí)序特征以及句法語(yǔ)義特征，通過局部的進(jìn)行池化可以有效地降低噪聲的影響。再將池化后的向量輸入到softmax中進(jìn)行最終的極性分類。具體的計(jì)算公式為

其中：f代表最大池化函數(shù)，對(duì)每句話中的方面詞對(duì)應(yīng)向量進(jìn)行計(jì)算；Wf和bf均為可訓(xùn)練參數(shù)；表示極性分類的概率分布。

2.7 損失函數(shù)

本文采用多分類通常使用的交叉熵?fù)p失函數(shù)，并且引入了L2正則化，具體的函數(shù)表達(dá)式如下：

loss=-∑（d，yp）log（Pyp）+λ‖θ‖2（14）

其中：yp代表情感極性的輸出集合；Pyp代表對(duì)應(yīng)類別的預(yù)測(cè)值；D代表整個(gè)數(shù)據(jù)集；評(píng)論文本和方面詞以句子對(duì)的形式輸入到模型中，即（d，yp）；λ代表L2正則化的系數(shù)。為了防止過擬合，本模型也采用了被廣泛使用的dropout技術(shù)。

3 實(shí)驗(yàn)部分

本文實(shí)驗(yàn)在五組公開數(shù)據(jù)集上進(jìn)行，其中一組是由Dong等人^［16］建立的Twitter短文本評(píng)論數(shù)據(jù)集，其余四組分別是來自于SemEval 2014任務(wù)4^［17］的Rest14和Lap14數(shù)據(jù)集，來自于SemEval 2015任務(wù)12^［18］的Rest15數(shù)據(jù)集，以及來自于SemEval 2016^［19］的Rest16數(shù)據(jù)集，數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息如表1所示。

3.1 實(shí)驗(yàn)流程

a）數(shù)據(jù)預(yù)處理。在進(jìn)行實(shí)驗(yàn)之前，由于數(shù)據(jù)是以HTML格式存儲(chǔ)的，所以首先對(duì)數(shù)據(jù)集進(jìn)行去標(biāo)簽化。數(shù)據(jù)集因?yàn)閬碜杂诰W(wǎng)絡(luò)評(píng)論，所以含有少量表達(dá)不規(guī)范和語(yǔ)義含糊不清的語(yǔ)句，要清楚這樣的數(shù)據(jù)。為了方便實(shí)驗(yàn)的進(jìn)行，將所有的方面詞分別從預(yù)料中提取出來，并在原文中對(duì)應(yīng)的位置用其他符號(hào)來代替，清理前和清理后的數(shù)據(jù)樣式如表2給出方面詞與文本成對(duì)輸入到模型中。在將語(yǔ)料輸入到模型之前轉(zhuǎn)換為預(yù)訓(xùn)練詞向量，為了實(shí)現(xiàn)數(shù)據(jù)的同步輸入，對(duì)每個(gè)輸入批次的向量長(zhǎng)度填補(bǔ)至與當(dāng)前批次的最大向量長(zhǎng)度相同。

常見的表示縮寫形式如下：det是determiner modifier的縮寫表示限定性修飾；nsubj是nominal subject的縮寫表示名詞性主語(yǔ)；acomp是adjectival complement的縮寫表示形容詞的補(bǔ)充；cc是coordination的縮寫表示并列關(guān)系。

通常情況下，文本經(jīng)過解析得到的不是以方面詞為根節(jié)點(diǎn)的語(yǔ)法結(jié)構(gòu)，這種句法結(jié)構(gòu)不利于模型完成方面級(jí)的情感分析任務(wù)，因此可以使用不同的方式進(jìn)行樹結(jié)構(gòu)重組。Zheng等人^［20］提出以特定方面詞為首節(jié)點(diǎn)對(duì)依存樹進(jìn)行遍歷，使得方面詞成為根節(jié)點(diǎn)，同時(shí)翻轉(zhuǎn)部分依存關(guān)系連接方向，翻轉(zhuǎn)后的關(guān)系連接用一些特殊表示注明，以區(qū)分該依存關(guān)系的不同，例如：“nsubj”表示謂詞依賴一個(gè)主語(yǔ)，翻轉(zhuǎn)表示則變?yōu)椤皉#subj”，用來表示該關(guān)系被翻轉(zhuǎn)過。將處理后的依存樹以有向圖的形式儲(chǔ)存起來，經(jīng)過漸進(jìn)權(quán)重增強(qiáng)后保存為序列文件以備模型輸入。

c）模型的訓(xùn)練。本文設(shè)置最大訓(xùn)練輪次為100，為了避免過擬合，當(dāng)模型的loss值連續(xù)五個(gè)epoch不發(fā)生變化的時(shí)候提前終止訓(xùn)練，在每組數(shù)據(jù)集上隨機(jī)初始化權(quán)重矩陣三次，取三次結(jié)果的平均值作為最終的實(shí)驗(yàn)結(jié)果。

3.2 實(shí)驗(yàn)配置

本文模型采用預(yù)訓(xùn)練與上游微調(diào)相結(jié)合的方式進(jìn)行實(shí)驗(yàn)，采用動(dòng)態(tài)預(yù)訓(xùn)練模型BERT^［21］和靜態(tài)預(yù)訓(xùn)練詞典GloVe^［22］詞典作為詞嵌入分別設(shè)計(jì)實(shí)驗(yàn)，BatchSize設(shè)置為16。為了減少過擬合，在上下文信息提取層兩端添加dropout機(jī)制，并且在損失函數(shù)中添加L2正則項(xiàng)來輔助優(yōu)化，使用正態(tài)分布來初始化模型的全部參數(shù)。具體的實(shí)驗(yàn)軟硬件配置及參數(shù)設(shè)置如表3、4所示。

3.3 模型對(duì)比實(shí)驗(yàn)和分析

為了證明PCB-GCN模型性能在方面級(jí)情感分析上的準(zhǔn)確性和穩(wěn)定性，本文設(shè)置了多組對(duì)照實(shí)驗(yàn)，對(duì)照實(shí)驗(yàn)嚴(yán)格按照原文給出模型參數(shù)進(jìn)行設(shè)置，其中N/A表示未獲得的實(shí)驗(yàn)結(jié)果。對(duì)照實(shí)驗(yàn)?zāi)Ｐ徒榻B如下：

a）SVM。Kiritchenko等人^［23］采用經(jīng)典的支持向量機(jī)（support vector machine，SVM）為基礎(chǔ)建立模型，通過對(duì)文本特征的特殊處理，在SemEval 14的Rest數(shù)據(jù)集上取得了良好的表現(xiàn)。

b）LSTM。Tang等人^［24］基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)建立模型，將LSTM網(wǎng)絡(luò)的最后一層輸出作為特征與方面詞信息一同輸入到分類器中來預(yù)測(cè)情感極性。

c）MemNet。Tang等人^［7］指出注意力機(jī)制在獲取上下文重要語(yǔ)義信息方面有著良好的作用，并且受Facebook提出的MemN2N啟發(fā)，將注意力與深度記憶網(wǎng)絡(luò)結(jié)合起來，解決了網(wǎng)絡(luò)在長(zhǎng)距離上記憶減弱的問題。

d）AOA。Huang等人^［25］利用來自于閱讀理解中的attention over attention模塊，實(shí)現(xiàn)句子嵌入層和方面詞嵌入層的權(quán)重矩陣共享。

e）IAN。Ma等人^［6］認(rèn)為方面詞在分類中起到了重要的作用，因此強(qiáng)調(diào)方面詞與句子之間的交互，再結(jié)合注意力機(jī)制實(shí)現(xiàn)最終的分類。

f）ASCNN。Kim^［2］提出將CNN利用到文本分類任務(wù)后，后續(xù)Zhang等人^［12］將CNN與句法依存樹結(jié)合建模，利用CNN來提取語(yǔ)義信息，句法依存樹來提供句法信息，然后將兩者通過注意力相融合。

g）ASGCN。Zhang等人^［11］提出將圖卷積網(wǎng)絡(luò)應(yīng)用到方面級(jí)情感分析中，圖卷積更適用于解決異構(gòu)圖數(shù)據(jù)，能充分的獲取語(yǔ)義和句法的融合特征，雖然沒有充分考慮邊緣信息的影響，但是仍然取得了較好的效果。

h）AEN。Song等人^［26］提出通過標(biāo)簽正則項(xiàng)的方法來解決標(biāo)簽置信度的問題，同時(shí)利用整體注意力和內(nèi)部注意力模塊相結(jié)合的方法對(duì)文本進(jìn)行編碼。

i）TranCaps。Chen 等人^［27］運(yùn)用遷移學(xué)習(xí)的方法來，加入外部文檔級(jí)情感信息來豐富方面級(jí)語(yǔ)料特征，在膠囊網(wǎng)絡(luò)的基礎(chǔ)上，分別從方面詞和句子的角度建立雙層語(yǔ)義網(wǎng)絡(luò)，根據(jù)任務(wù)特性，自定義擴(kuò)展路由機(jī)制來完成情感分類任務(wù)。

j）RepWalk。Zheng等人^［20］提出一種基于隨機(jī)游走的建模方法，通過在句法依存樹上應(yīng)用隨機(jī)游走算法為每一個(gè)句法節(jié)點(diǎn)附加可學(xué)習(xí)的權(quán)重，從而強(qiáng)化句法依存樹的特征表示，再結(jié)合上下文語(yǔ)義信息，將最終的融合特征輸入到分類器中進(jìn)行分類。

k）CDT。Sun等人^［28］采用圖卷積結(jié)合BiLSTM的方法，同時(shí)引入豐富的句法、詞性、位置和語(yǔ)義信息，建立一種更加輕量型的方面級(jí)情感分析模型。

本實(shí)驗(yàn)采用準(zhǔn)確率（accuracy）和F1分?jǐn)?shù)（F1-score）作為最終的評(píng)估指標(biāo)，在表格中用acc和F1表示。準(zhǔn)確率是最直觀衡量模型好壞的指標(biāo)，代表被正確預(yù)測(cè)的數(shù)量和所有參與預(yù)測(cè)的數(shù)據(jù)量的值，公式表示為

accuracy=TP+TNTP+TN+FP+FN（15）

F1值是統(tǒng)計(jì)學(xué)中用來衡量分類模型精確度的一種指標(biāo)，它同時(shí)兼顧了分類模型的精確率和召回率，可以看做是兩者的一種調(diào)和平均，公式表示為

F1=2TP+FPTP+TP+FNTP（16）

其中：TP表示正確地把正樣本預(yù)測(cè)為正的數(shù)量；FN表示錯(cuò)誤地把正樣本預(yù)測(cè)為負(fù)的數(shù)量；FP表示錯(cuò)誤地把負(fù)樣本預(yù)測(cè)為正的數(shù)量；TN表示正確地把負(fù)樣本預(yù)測(cè)為負(fù)的數(shù)量。

3.4 實(shí)驗(yàn)分析

表5展示了PCB-GCN模型在各個(gè)數(shù)據(jù)集上與近年相關(guān)研究的效果對(duì)照，可以看出，在各個(gè)數(shù)據(jù)集上分類性能均有不同的提升。但是隨著預(yù)訓(xùn)練詞向量的不同，在不同數(shù)據(jù)集上的效果提升幅度也有一定差異，相對(duì)于Twitter數(shù)據(jù)集，使用GloVe詞向量提升較小，使用BERT進(jìn)行預(yù)訓(xùn)練時(shí)可以取得更顯著的提升，較前人研究成果提升了3～4個(gè)百分點(diǎn)，而且相對(duì)于以往的研究成果，在該數(shù)據(jù)集上的提升也不明顯，經(jīng)過觀察分析該數(shù)據(jù)集，發(fā)現(xiàn)其中含有大量的短句以及眾多語(yǔ)言句法使用不規(guī)范的文本，主要是由于PCB-GCN模型在一定程度上依賴于句法依存樹的生成，所以在此類文本數(shù)據(jù)集上隨著句法結(jié)構(gòu)的不規(guī)范，依存樹的生成效果也會(huì)受到影響，模型在該數(shù)據(jù)集上的表現(xiàn)不如其他數(shù)據(jù)集出色；其次，BERT模型相比GloVe而言具有更好的噪聲抵抗能力，因此在更不規(guī)則的文本數(shù)據(jù)中表現(xiàn)更好。

3.5 消融實(shí)驗(yàn)

為了探究PCB-GCN模型中各部分的功能和對(duì)分類效果的獨(dú)立影響因素，本文分別設(shè)計(jì)了Bi-GCN和GCN，協(xié)同融合和傳統(tǒng)模型以及漸進(jìn)權(quán)重增強(qiáng)和恒值權(quán)重增強(qiáng)三組對(duì)照消融實(shí)驗(yàn)。

3.5.1 Bi-GCN與傳統(tǒng)GCN對(duì)比實(shí)驗(yàn)

為了驗(yàn)證Bi-GCN相對(duì)于傳統(tǒng)GCN對(duì)于模型性能提升的貢獻(xiàn)，設(shè)置對(duì)比實(shí)驗(yàn)，其中一種模型采用Bi-GCN，另一種模型將Bi-GCN退化為傳統(tǒng)的GCN，其余模型架構(gòu)、參數(shù)條件和數(shù)據(jù)集保持不變，實(shí)驗(yàn)結(jié)果如圖5所示。

3.5.2 融合模型和傳統(tǒng)模型

除此之外，本文分別設(shè)計(jì)應(yīng)用了協(xié)同融合網(wǎng)絡(luò)（co-model）的模型與移除協(xié)同融合層的傳統(tǒng)模型（tra-model）進(jìn)行性能比較，來探究協(xié)同融合網(wǎng)絡(luò)層對(duì)于情感分類效果的影響，實(shí)驗(yàn)結(jié)果如圖6所示。

3.5.3 漸進(jìn)權(quán)重增強(qiáng)于恒值權(quán)重增強(qiáng)算法比較

權(quán)重增強(qiáng)算法是優(yōu)化句法依存樹特征表達(dá)的關(guān)鍵，為此采用不同的權(quán)重增強(qiáng)算法進(jìn)行建模實(shí)驗(yàn)，同理，其他實(shí)驗(yàn)條件與模型架構(gòu)保持不變，其中AW-α（aspect-weighted-α）表示恒值權(quán)重增強(qiáng)算法，α代表增強(qiáng)系數(shù)，得到在五組數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果對(duì)照如圖7所示。通過上述三組實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)：雙向圖卷積結(jié)構(gòu)相比普通的圖卷積能夠更好地融合句法信息，在多組數(shù)據(jù)集上均能獲得大于1個(gè)百分點(diǎn)的提升；系統(tǒng)融合模型降低了依存樹噪聲的影響，對(duì)模型的性能提升也起到了一定的作用；恒指權(quán)重增強(qiáng)算法在α取值為2的時(shí)候獲得模型最佳性能表現(xiàn)，但是相比之下漸進(jìn)增強(qiáng)算法所取得的效果更好，因?yàn)闈u進(jìn)權(quán)重增強(qiáng)算法融合了更多的特征信息，獲得了更高的準(zhǔn)確率，與本文的建模假設(shè)相符。

3.5.4 其他模型橫向?qū)Ρ?/p>

表6表示一些實(shí)際案例在不同模型下的分類情況，其中用N、P、O分別表示消極、積極和中性的情緒，用紅色和藍(lán)色標(biāo)識(shí)同一句中不同的方面詞（見電子版），由于AEN和IAN是基于注意力的方法，所以在第一個(gè)案例中將注意力更多地放在了詞語(yǔ)“dreadful”上，均給將“food”的情感極性判斷為消極； 后兩個(gè)示例，尤其是最后一個(gè)復(fù)雜的句子表明，PCB-GCN運(yùn)用雙向的GCN結(jié)合融合機(jī)制能更有效地處理復(fù)雜句子中的情感修飾關(guān)系。

綜合上述實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，模型對(duì)于Rest16數(shù)據(jù)集效果提升較小，準(zhǔn)確率和F1值大概只增加了1個(gè)百分點(diǎn)，雖然消融實(shí)驗(yàn)結(jié)果表明PBC-GCN模型在這個(gè)數(shù)據(jù)集依然奏效，但是提升效果不夠明顯，效果曲線也趨近于平緩，通過對(duì)該數(shù)據(jù)集仔細(xì)分析比對(duì)，發(fā)現(xiàn)該數(shù)據(jù)集標(biāo)簽分布較不均衡，且句子中存在一定量的預(yù)訓(xùn)練未登錄詞，致使模型的擬合效果降低，這也將是本文未來要解決的問題之一。

4 結(jié)束語(yǔ)

針對(duì)于方面級(jí)情感分析任務(wù)，句法依存信息被廣泛應(yīng)用于增強(qiáng)模型對(duì)于自然語(yǔ)言的理解，但是由于解析句法依存樹存在天然的誤差以及句法依存樹的特征利用不完備，限制了模型的性能提升。本文提出PCB-GCN 模型來解決上述問題，通過協(xié)同融合機(jī)制來降低句法依存樹誤差對(duì)于模型分類性能的影響，設(shè)計(jì)漸進(jìn)權(quán)重增強(qiáng)算法在強(qiáng)化句法依存樹的特征表示，同時(shí)使用BR-GCN來代替?zhèn)鹘y(tǒng)GCN來保證訓(xùn)練過程中特征的充分利用。經(jīng)過在五組公開數(shù)據(jù)集上的實(shí)驗(yàn)證明，PCB-GCN模型能夠在方面級(jí)情感分析這一領(lǐng)域有效地提升分類的準(zhǔn)確行和穩(wěn)定性。在模型的設(shè)計(jì)過程中，本文將重點(diǎn)放在了句法依存樹的特征構(gòu)造和處理上，對(duì)于句子和方面詞只是用了傳統(tǒng)的LSTM進(jìn)行編碼，并且使用的數(shù)據(jù)集數(shù)量較少，因此將從以下方面進(jìn)一步改善本文的方法：a）探尋更加優(yōu)越的編碼方式；b）尋找更具適應(yīng)性的上下文語(yǔ)義和方面詞交互方式；c）引入外部情感知識(shí)在增強(qiáng)模型的對(duì)語(yǔ)義的理解。

參考文獻(xiàn)：

［1］Tang Hao，Ji Donghong，Li Chenliang，et al. Dependency graph enhanced dual-transformer structure for aspect-based sentiment classification［C］//Proc of the 58th Annual Meeting of Association for Computational Linguistics.［S.l.］：Association for Computational Linguistics，2020：6578-6588.

［2］Kim Y.Convolutional neural networks for sentence classification ［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2014：1746-1751.

［3］Chen Peng，Sun Zhaoqiang，Bing Lidong，et al.Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods on Natural Language Processing.2017：42-461.

［4］Dong Li，Wei Furu，Tan Chuanqi，et al.Adaptive recursive neural network for target-dependent Twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.2014：49-54.

［5］Wang Xing，Liu Yunchao，Sun Chengjie，et al. Predicting polarities of tweets by composing word embeddings with long short-term memory ［C］//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language.2015：1343-1353.

［6］Ma Dehong，Li Sujian，Zhang Xiandong，et al. Interactive attention networks for aspect-level sentiment classification［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.2017：4068-4074.

［7］Tang Duyu，Qin Bing，Liu Ting.Aspect level sentiment classification with deep memory network ［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：214-224.

［8］Li Xin，Bing Lidong，Wai L，et al. Transformation networks for target-oriented sentiment classification［C］//Proc of the 56th Annual Mee-ting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：946-956.

［9］He Ruidan，Lee W S，Ng H T，et al.Effective attention modeling for aspect-level sentiment classification.［C］//Proc of the 27th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：1121-1131.

［10］Kipf T N，Welling M.Semisupervised classification with graph convo-lutional networks［C］//Proc of International Conference on Learning Representations.2017：1-14.

［11］Zhang Yuhao，Qi Peng，Manning C D.Graph convolution over pruned dependency trees improves relation extraction［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2018：2205-2215.

［12］Zhang Chen，Li Qiuchi，Song Dawei.Aspect-based sentiment classification with aspect-specific graph convolutional networks ［C］//Proc of Conference on Empirical Methods in Natural Language Proces-sing and the 9th International Joint Conference on Natural Language Processing.2019：4568-4578.

［13］付朝燕，黃賢英，劉瀚鍇，等.句法特征融合增強(qiáng)的方面級(jí)情感分析［J/OL］.小型微型計(jì)算機(jī)系統(tǒng).（2022-04-12）.http：//kns.cnki.net/ kcms/detail/21.1106.TP.20220215.1046.021.html.（Fu Chaoyan，Huang Xianying，Liu Hankai，et al.Aspect-level sentiment analysis enhanced by syntactic feature fusion［J/OL］.Journal of Chinese Computer Systems.（2022-04-12）.http：//kns.cnki.net/kcms/detail/ 21.1106.TP.20220215.1046.021.html.）

［14］韓虎，郝俊，張千錕，等.知識(shí)增強(qiáng)的交互注意力方面級(jí)情感分析模型［J/OL］.計(jì)算機(jī)科學(xué)與探索.（2022-02-24）.http：//kns.cnki.net/kcms/detail/11.5602.tp.20220215.1324.002.html.（Han Hu，Hao Jun，Zhang Qiankun，et al.Aspect-level sentiment analysis model for interactive attention with knowledge augmentation［L/OL］.Journal of Frontiers of Computer Science and Technology.［2022-02-24］.http：//kns.cnki.net/kcms/detail/11.5602.tp.20220215.1324.002.html.）

［15］Li Ruifan，Chen Hao，F(xiàn)eng Fangxiang，et al.Dual graph convolutional networks for aspect-based sentiment analysis［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Proces-sing.2021：6319-6329.

［16］Li Dong，Wei Furu，Tan Chuanqi，et al.Adaptive recursive neural network for target-dependent twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2014：49-54.

［17］Pontiki M，Galanis D，Papageorgiou H，et al.Semeval-2014 task 4：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：27-35.

［18］Pontiki M，Galanis D，Papageorgiou H，et al.Semeval-2015 task 12：aspect based sentiment analysis［C］//Proc of the 9th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computer Linguistics，2015：486-495.

［19］Hercig T，Brychcín T，Svoboda L，et al.UWB at semeval-2016 task 5：aspect based sentiment analysis［C］//Proc of the 10th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computer Linguistics，2016：342-349.

［20］Zheng Yaowei，Zhang Richong，Mensah S，et al. Replicate，walk，and stop on syntax：an effective neural network model for aspect-level sentiment classification［C］//Proc of AAAI Conference on Artificial Intelligence.2020：9685-9692.

［21］Devlin J，Chang Mingwei，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［22］Pennington J，Socher R，Manning C D.GloVe：global vectors for word representation［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2014：1532-1543.

［23］Kiritchenko S，Zhu Xiaodan，Cherry C，et al.NRC-Canada-2014：detecting aspects and sentiment in customer reviews ［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：437-442.

［24］Tang Duyu，Qin Bing，F(xiàn)eng Xiaocheng，et al. Effective LSTMs for target-dependent sentiment classification［C］//Proc of the 26th International Conference on Computational Linguistics：Technical Papers.2016：3298-3307.

［25］Huang Binxuan，Ou Yanglan，Carley K M.Aspect level sentiment classification with attention-over-attention neural networks ［C］//Proc of International Conference on Social Computing，Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Berlin：Springer，2018：197-206.

［26］Song Youwei，Wang Jiahai，Jiang Tao，et al.Targeted sentiment classification with attentional encoder network ［C］//Proc of International Confe-rence on Artificial Neural Networks.Berlin：Springer，2019：93-103.

［27］Chen Zhuang，Qian Tieyun.Transfer capsule network for aspect level sentiment classification［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.2019：547-556.

［28］Sun Kai，Zhang Richong，Mensah S，et al.Aspect-level sentiment ana-lysis via convolution over dependency tree［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：5683-569.