夏鴻斌 李 強 肖奕飛

在自然語言處理領域中,設計能自動執(zhí)行情感分析和觀點挖掘的有效算法是一項具有挑戰(zhàn)性的任務[1-2].近幾年,基于方面的情感分析(Aspect-Based Sentiment Analysis, ABSA)任務受到廣泛關注,研究者們將ABSA分為方面項提取任務、觀點項提取任務和方面情感分類任務.Xue等[3]提出MTNA(Multi-task Neural Networks for Aspect Classification and Ex-traction),通過BiLSTM(Bi-directional Long Short-Term

Memory)對句子進行編碼,再使用卷積神經網(wǎng)絡(Convolutional Neural Network, CNN)建立局部依賴,最后將BiLSTM的輸出與CNN的輸出相加,得到詞語的最終表示,并使用softmax層對各詞進行分類,得到方面項.Yang等[4]提出選取格編碼(Con-stituency Lattice Encoding)完成方面項抽取任務,首先根據(jù)句子的短語結構樹(Constituency Tree)構建包含短語的選取格結構,然后融合每個選取格的詞向量,最后使用BiLSTM-CRF(BiLSTM-Conditional Random Field)或BERT(Bidirectional Encoder Representation from Transformers)對選取格向量進行編碼并分類.

方面情感分類任務是ABSA中的一個子任務,主要是對方面項和上下文的依賴進行建模,再進行情感分類.Tang等[5]提出TD-LSTM(Target-Dependent LSTM),首先使用兩個方向的LSTM(Long Short-Term Memory)分別對方面項的上下文進行建模,再拼接兩者的輸出,最后進行情感分類,這在一定程度上捕獲方面項和上下文之間的聯(lián)系.Ruder等[6]使用BiLSTM對整個上下文進行建模,獲得更好的上下文表示.Wang等[7]和Liu等[8]將注意力機制引入方面情感分類任務,加強方面項與上下文的依賴關系,提高模型對觀點項的關注.Zhang等[9]和Wang等[10]認為句子本身的語法復雜性使模型對觀點項的捕獲變得困難,因此使用圖神經網(wǎng)絡建模句子的語法結構,提高模型對觀點項的關注.

將方面項提取任務、觀點項提取任務和方面情感分類任務作為單獨的任務進行研究,對于實際應用的貢獻十分有限,因此一些研究者聯(lián)合各個子任務,完成一個完整的ABSA任務.Li等[11]提出統(tǒng)一的序列標注模型,致力于解決結合方面項抽取和方面情感分類的聯(lián)合任務,結合BIOES標簽與情感標簽以標注整個序列,并使用神經網(wǎng)絡模型預測聯(lián)合的標簽.網(wǎng)絡主要由兩層LSTM組成,上層LSTM用于預測聯(lián)合的標簽,下層LSTM用于執(zhí)行輔助任務——方面項的邊界檢測.He等[12]提出交互式多任務學習網(wǎng)絡,具有消息傳遞機制,能在單詞級別和文檔級別同時學習多個任務.

然而,上述研究都不能算是一個完善的解決方案.為此,Peng等[13]提出ASTE(Aspect Sentiment Trip-let Extraction)任務,結合3個子任務,提取句子中的方面-情感-觀點三元組.為了解決ASTE任務,Peng等[13]提出兩段式流水線模型.在第一階段,提取潛在的方面項及其情感極性,并提取潛在的觀點項.在第二階段,將各方面項與相應的觀點項配對.Chen等[14]提出RACL(Relation-Aware Collaborative Lear-ning),每層由AE(Aspect Term Extraction)、OE(Opi-nion Term Extraction)和SC(Aspect-Level Sentiment Classification)3個模塊構成,分別用于相應子任務.各模塊擁有獨立的特征抽取器,通過矩陣乘法結合3個任務間的聯(lián)系,達到最終預測性能提升的目的.Chen等[15]將ASTE任務轉換為一個多輪機器閱讀理解(Multi-turn Machine Reading Comprehension)任務,提出BMRC(Bidirectional Machine Reading Com-prehension)框架.Jian等[16]提出分層強化學習框架,首先識別句子中具有的情感極性,再使用單獨的強化學習過程識別與相應情感相關的方面項和觀點項,這種分層強化學習結構可有效處理多個三元組和重疊的三元組.Xu等[17]提出Span-Based ASTE,在預測方面-觀點對的關系上直接捕捉跨度到跨度而非詞間的交互關系,使用神經網(wǎng)絡顯示生成所有可能的方面項和觀點項的跨度表示,并獨立預測所有可能方面-觀點對的情感關系.

雖然上述方法對ASTE任務的完成具有一定幫助,但多段式方法難以有效結合各階段的信息,會受到誤差傳播及不易使用等因素的影響,對實際應用的提升效果有限.

Xu等[18]提出位置感知標注方法,將序列抽取任務中常用的BIOES標簽中的B和S融入方面的情感及方面項與觀點項的相對距離,以此完成一個端到端的三元組抽取任務.然而,這種方法只能處理固定窗口中的方面項和觀點項.Wu等[19]提出GTS(Grid Tagging Scheme),通過網(wǎng)格標注句子中所有的詞對關系,以便于三元組的抽取,并基于此標注方法設計相應模型,以端到端的形式解決ABSA任務.但是,該標注方法將方面項或觀點項中各單詞視作同等重要的地位,不利于模型找全多個單詞組成的方面項和觀點項.GTS拼接詞對表示,用于生成網(wǎng)格標簽,使最終的分類結果只考慮到詞對之間的關系,卻忽略其它詞對它們的影響.

因此,本文提出詞對關系學習方法,完成ASTE任務,將ASTE任務視作一個詞對關系學習(Word-Pair Relation Learning, WPRL)任務.首先,在GTS[19]的基礎上提出詞對關系標注方法(Word-Pair Rela-tion Tagging Scheme, WPRTS),將句子中的三元組信息融入詞對關系標簽,然后,借鑒多頭自注意力的思想構建詞對關系網(wǎng)絡(Word-Pair Relation Net-work, WPRN),學習標簽.在4個標準數(shù)據(jù)集上的實驗表明,本文方法性能較優(yōu).

1 詞對關系學習方法

給定一個句子c={wi|i∈[1,n]},包含n個單詞,ASTE任務的目標是從中抽取出一個方面-情感-觀點三元組

其中,a表示一個方面項,o表示與方面項a相關的一個觀點項,s表示方面項的情感傾向,且一個a可能對應多個不同的o,一個o也可能具有多個不同的a.

為了完成ASTE任務,本文提出詞對關系學習方法,首先將句子中蘊含的三元組關系通過一種統(tǒng)一的關系標簽進行表示,然后使用神經網(wǎng)絡模型學習并預測該標簽.使用詞對關系網(wǎng)絡將句子進行編碼并輸出各詞對關系表示,同時使用詞對關系標簽解碼器將詞對關系標簽進行解碼,得到句子中所有的方面情感三元組.本文方法整體框圖如圖1所示.

圖1 本文方法整體框圖Fig.1 Overall structure of the proposed method

1.1 詞對關系標注方法

1.1.1 標簽構造

為了完成ASTE任務,詞對關系標注方法(WPRTS)使用8個標簽{A,AR,O,OR,Pos,Neu,Neg,N}表示一個句子中任意單詞對(wi,wj)的關系.此處的單詞對(wi,wj)是無序的,因此,單詞對(wi,wj)和(wj,wi)具有相同的標簽.8個標簽表示的含義如表1所示.

表1 WPRTS中標簽含義Table 1 Meaning of WPRTS tags

相比GTS[19],本文主要改進如下：使用詞語片段末端的單詞表示整個詞語項,因為通常認為一個詞語片段中最后一個詞往往是整個詞語的語義中心,對于詞語項內部的其它詞,視作與該詞語項具有相關關系.如使用A(Aspect)表示同一方面項(末端)詞之間的關系,而使用AR(Aspect-Related)表示方向項中其它單詞與方面項(末端)的關系.

同時,為了促進神經網(wǎng)絡對方面項和觀點項的建模,本文只對觀點項末端詞和方面項中所有單詞標記為情感極性的標簽(Pos,Neu,Neg),因為本文認為觀點項末端詞表示整個觀點項,只有它才能完整表示情感傾向,而方面項的情感由各方面詞共同決定較恰當,同時單個末端詞的標簽也不利于神經網(wǎng)絡的建模.為了加快計算,使用一個上三角矩陣構造標簽,圖2為句子“The hot dog are top notch but average coffee”構造的詞對關系標簽.

圖2 WPRTS標注示例Fig.2 Tagging example with WPRTS

1.1.2 標簽解碼器

本節(jié)關注如何根據(jù)所有標簽的結果進行解碼,得到最終的方面-情感-觀點三元組.實際上,本文使用神經網(wǎng)絡及標簽進行訓練并預測.

當獲得一個句子的WPRTS標注結果后,可通過嚴格的匹配從如圖2的標簽中提取三元組.然而,由于WPRTS標注結果中包含大量無用的N標簽,可能會降低三元組的整體召回率,因此,需要降低三元組匹配的限制.

解碼細節(jié)如算法1所示.首先,在標簽矩陣的對角線找到標簽A、O,向上找到標簽AR、OR,組成完整的方面項或觀點項.遍歷每個方面項和觀點項交點處的標簽,如果存在情感極性的標簽,將該方面-觀點對的情感設置為最多標簽的情感,如果存在標簽數(shù)相同的情況,選擇順序為{消極,積極,中性}.最后,組成三元組.

算法 1WPRTS解碼算法

輸入一個句子的WPRTS標注結果R(wi,wj)

輸出方面-情感-觀點三元組T

初始化方面項集A、觀點項集O、三元組T為空集

1./*第2行到第9行為方面項提取偽代碼,觀點

項提取與此同理,不再贅述*/

2. while a span left index 0

r

3. ifR(wi,wi)=Athen

4.r←i

5. ifF(wi,wr)=AorARandR(wi-1,wr)≠A_I

6.l←i, 將單詞片段(wl,…,wj)視為一個方

面項a,A←A∪{a}

7. end if

8. end if

9.end while

10.whilea∈Aando∈Odo

11. whilewi∈aandwj=o_end do

12. 初始化s為None

13. ifnum(Neg)≥num(Neu) and

num(Neg)≥num(Pos)

14. thens←Neg

15. else ifnum(Pos)≥num(Neg) and

num(Pos)≥num(Neu)

16. thens←Pos

17. else ifnum(Neu)≥num(Neg) and

num(Neu)≥num(Pos)

18. thens←Neu

19. end if

20. ifs≠None

21. thenT∪{a,s,o}

22. end if

23. end while

24.end while

1.2 詞對關系網(wǎng)絡

為了驗證詞對關系學習方法的有效性,設計基于雙向GRU(Bi-directional Gate Recurrent Unit, BiGRU)的詞對關系網(wǎng)絡(WPRN),整體架構如圖3所示.

圖3 WPRN整體架構Fig.3 Overall structure of WPRN

WPRN首先使用由BiGRU和混合式注意力組成的編碼層對輸入句子進行編碼,然后使用注意力圖轉換(Attention Map Transform)模塊將句子編碼轉換為詞對間的注意力圖,以此表示單詞對間的關系,最后使用1.1.2節(jié)描述的解碼器對得到的標簽進行解碼,得到句子中的所有三元組.

1.2.1 編碼

給定一個句子c={wi|i∈[1,n]},將其映射到一個高維度空間,得到一個初步的句向量V∈Rn×de,然后使用編碼層進行編碼,得到符合語境的詞向量.本文認為詞的相對位置對情感極性的判斷十分重要,因此使用適合處理序列的BiGRU對句子進行初步編碼,并使用混合式注意力(Mixed Atten-

tion)加強句子內部各詞局部及全局依賴.

GRU(Gate Recurrent Unit)是循環(huán)神經網(wǎng)絡的一種,如同LSTM,也是為了解決長期記憶和反向傳播中的梯度等問題而提出的.相比LSTM,使用GRU能達到較優(yōu)效果,更容易進行訓練,大幅提高訓練效率,因此本文在編碼層使用GRU.將句子的詞向量V輸入BiGRU編碼層后,BiGRU會拼接兩個方向的GRU輸出的隱藏狀態(tài)向量,得到H∈Rn×dh,以此作為該句子的表示,其中dh為單向GRU輸出的隱藏狀態(tài)向量的維數(shù).

為了獲得更好的表示,并加強各詞之間的聯(lián)系,本文使用一個注意力層.在方面情感分析中,方面項與觀點項通常在一段局部上下文中,而非全局上下文中,因此,使用混合式注意力加強編碼.混合式注意力的結構[20]如圖4所示.

圖4 混合式注意力構架圖[20]Fig.4 Structure of mixed attention[20]

混合式注意力由可建模局部依賴的區(qū)間動態(tài)卷積和可建模全局依賴的自注意力混合而成,兼具兩者優(yōu)點.

自注意力可以對輸入序列中的全局依賴進行建模.首先對輸入X進行三次線性變換,得到鍵K∈Rdh、查詢Q∈Rdh、值V三個嵌入.然后得到輸出：

輕量級卷積可有效建模局部依賴.相比標準卷積,輕量級卷積沿通道維度綁定權重,顯著減少參數(shù).計算公式如下：

其中,X為輸入向量,Wj∈Rk,k為卷積核尺寸.

區(qū)間動態(tài)卷積首先使用深度可分離卷積收集區(qū)間內token的信息,然后動態(tài)生成卷積核.輸入token的局部關系是根據(jù)局部上下文而不是單個token生成的,這有助于卷積核更有效地學習局部依賴.計算公式如下：

SDConv(Q,Ks,V;Wf,i)=

LConv(V,softmax(Wf(Q⊙Ks)),i),

其中⊙表示逐點相乘.

最終的混合式注意力為：

Mixed-Attn(K,Q,Ks,V;Wf)=Cat(Self-Attn(Q,K,V),SDConv(Q,Ks,V;Wf)).

1.2.2 注意力圖轉換

受transformer[21]的啟發(fā),本文將自注意力的注意力圖作為句子中各詞對的關系圖,并使用多頭注意力得到注意力關系圖R.使用多頭注意力的每個頭表示一種標簽關系.注意力圖轉換模塊結構如圖5所示.

圖5 注意力圖轉換模塊結構圖Fig.5 Structure of attention map transform

具體計算過程如下：

Q=ReLU(WqH+bq),

K=ReLU(WkH+bk),

Ri=Q*KT,

R=concat(R1,R2,…,R8),

其中,Q∈Rn×d,K∈Rn×d,R∈Rn×n×8,n表示句子長度.

最后,對注意力關系圖R的最后一維使用一層softmax層,獲取每個標簽的概率:

p=softmax(R)

.

1.2.3 損失函數(shù)

在得到詞對的注意力關系圖后,對每個位置的標簽計算交叉熵：

其中C為標簽集{A,AR,O,OR,Pos,Neu,Neg,N}.

2 實驗及結果分析

2.1 實驗環(huán)境及數(shù)據(jù)集

本文實驗環(huán)境如下:CPU為Intel Core i7 8700K,GPU為GeForce GTX 1080,內存為DDR4 16 GB,開發(fā)環(huán)境為Linux64位系統(tǒng)和pytorch1.5.0.

為了驗證本文方法的有效性,在4個來源于SemEval競賽[22-24]的ASTE基準數(shù)據(jù)集(https://git

hub.com/xuuuluuu/SemEval-Triplet-data)上進行實驗,分別是SemEval 2014的筆記本電腦數(shù)據(jù)集(14lap)和Semeval 2014～2016的餐廳數(shù)據(jù)集(14res,15res,16res).其中的觀點標簽來源于文獻[25].數(shù)據(jù)劃分依據(jù)文獻[9]的劃分方式,具體數(shù)據(jù)信息如表2所示.

表2 ASTE數(shù)據(jù)集統(tǒng)計信息Table 2 Statistics information of ASTE datasets

使用準確率(P)、召回率(R)和F1分數(shù)作為評估指標.只有當預測的方面范圍、情感、觀點范圍和真實數(shù)據(jù)的方面范圍、情感、觀點范圍完全相同時,提取的三元組才被認為是正確的.

2.2 對比模型和實驗設置

2.2.1 基線模型

為了測試本文方法的有效性,使用目前用于解決ASTE任務的方法作為基線方法.

1)Peng等[13]為ASTE提出的一個兩段式流水線模型.第一階段提取句子中所有的方面項和情感傾向,并提取觀點項.第二階段使用一個關系分類器,將第一階段得到的結果進行配對,形成完整的三元組.

2)RINANTE+. Peng等[13]基于RINANTE(Rule Incorporated Neural Aspect and Opinion Term Extrac-tion)[25]構建的類似文獻[13]模型的兩段式模型.第一階段使用RINANTE提取方面-情感對和觀點項.第二階段使用文獻[13]模型中的關系分類器進行關系匹配.其中,RINANTE通過句子中詞的關系共同抽取方面項和觀點項.

3)CMLA+. Peng 等[13]基于CMLA(Coupled Multi-layer Attention)[26]構建的類似文獻[13]模型的兩段式模型.第一階段使用CMLA抽取方面-情感對和觀點項,第二階段使用文獻[13]模型的關系分類器進行關系匹配.其中,CMLA 利用注意力機制捕獲單詞之間的依賴關系,共同提取方面及其情感、觀點項.

4)Li-unified-R.Peng等[13]基于Li 等[11]提出的模型構建的類似文獻[13]模型的兩段式模型.第一階段使用文獻[11]模型提取方面-情感對和觀點項,第二階段使用文獻[13]模型的關系分類器進行關系匹配.文獻[11]模型通過一個定制的多層 LSTM 神經結構對方面及情感、觀點項進行抽取.

5)JETt和JETo.Xu等[18]提出的以方面或觀點為中心的位置感知標注方案,并提出相應模型.

6)GTS.Wu等[19]提出的網(wǎng)格標注方法,并分別基于CNN、BiLSTM及BERT設計的3個模型.

7)BMRC.Chen等[15]將ASTE任務轉換為一個多輪機器閱讀理解任務,并使用預訓練模型BERT進行訓練.

8)RACL+R.Chen等[15]使用RACL(Relation-Aware Collaborative Learning)[14]抽取方面、觀點和情感項,然后使用BMRC匹配為三元組.此外,這個模型也是基于BERT的.

9)WPRL.結合WPRTS和WPRN的詞對關系學習方法.WPRL+BERT為將WPRN的編碼部分替換為預訓練的BERT模型.

2.2.2 參數(shù)設置

本文實驗中使用預訓練的300維GloVe(Glo-bal Vectors for Word Representation)(http://nlp.stan

ford.edu/projects/glove)向量初始化單詞嵌入,所有方法權重均按均勻分布進行初始化,隱藏狀態(tài)向量的維數(shù)設置為64,使用自適應矩估計(Adaptive Moment Estimation, Adam)優(yōu)化器,學習率為0.001,批尺寸大小為32.基于BERT的模型,使用BERT-BASE(https://github.com/huggingface/transformers)模型.

2.3 實驗結果

各方法在4個數(shù)據(jù)集上的指標值對比如表3所示,方法后加*為本文訓練得到的結果,其它結果引用自原論文,黑體數(shù)字表示最佳值.由表可知,首先,在未使用BERT的模型中,WPRL具有顯著的性能提升,F1值具有4%～12%的提升,這充分說明WPRL的有效性.其次,在14res、16res數(shù)據(jù)集上,WPRL與使用BERT的WPRL+BERT的性能較接近,甚至WPRL具有更高的精確率,這說明本文提出的編碼層的有效性,BiGRU結合混合注意力,有效增強模型對句子的表示能力.最后,WPRL+BERT的F1值最高.此外,本文方法在各數(shù)據(jù)集上表現(xiàn)均優(yōu)于基線方法,這表明本文提出的標注方法及網(wǎng)絡模型的魯棒性.

表3 各方法在4個數(shù)據(jù)集上的指標值對比

2.4 消融實驗

2.4.1 標注消融實驗

由于本文標注方法自GTS改進而來,因此特地設計關于標注方法的消融實驗,驗證WPRTS的有效性.兩種標注方法都運行在WPRN上,各項超參數(shù)設置均相同.

此外,為了全面反映兩種標注方法的性能,將模型搜索方面項及觀點項及最終的三元組匹配的F1指標作為評價標準,結果如表4所示,表中黑體數(shù)字表示最佳值.

表4 標注消融實驗結果

由表4所示,本文的標注方法各項性能都優(yōu)于GTS,尤其是WPRTS對方面項和觀點項查找的F1值有10%左右的提升.這說明本文提出的將詞語片段中末端單詞與其它單詞分開標注的方式可有效提高模型對詞語片段的查全率.

2.4.2 模型消融實驗

為了評估WPRN中各組件的合理性,設計模型消融實驗進行驗證,結果如表5所示,表中黑體數(shù)字表示最佳值.

由表5可知,注意力層對方法性能提升有顯著作用,相比刪除注意力層后,完整的WPRN在14lap數(shù)據(jù)集上的F1值提高近6%,且刪除的注意力層在各數(shù)據(jù)集上的回歸率都較低.而使用普通自注意力模塊在各項指標上均不如使用混合式注意力的WPRN.實驗結果表明,雖然在模塊缺失的情況下,某項指標可能略高一些,但完整的WPRN的各項指標均表現(xiàn)較優(yōu),這表明注意力層增加模型的魯棒性,增加的混合式注意力是不可缺少的且有效的.

表5 模型消融實驗結果

3 結 束 語

方面情感三元組抽取(ASTE)包括方面項提取任務、觀點項提取任務及方面情感分類任務3個子任務,大多數(shù)策略需要進行多步操作才能完成這項任務,會導致錯誤傳播、不易使用等問題.因此,本文提出詞對關系學習方法,將ASTE任務轉化為一個統(tǒng)一的端到端的詞對關系學習任務.該方法的核心是使用詞對關系標注方法將句子中的各詞對關系,包括方面情感三元組關系,進行統(tǒng)一標注,再使用特別為此構建的詞對關系網(wǎng)絡學習并預測各詞對關系,最后使用解碼算法從詞對關系標簽中得到所有的方面-情感-觀點三元組.詞對關系網(wǎng)絡首先使用BiGRU和混合注意力對句子進行編碼表示,再利用注意力圖轉換模塊為句子編碼轉換為詞對關系標簽的概率.此外,還將預訓練的BERT應用于本文方法.實驗表明,本文方法在ASTE任務上取得較優(yōu)性能.今后將考慮把外部語義知識,如句法依存樹的信息,結合到模型中,增強模型對句子語義信息的建模.