周雨婷 代金鞘 劉嘉勇 賈鵬 廖珊

摘要：目前，細粒度情感分析已在觀點挖掘、文本過濾等域獲得廣泛應用，通過細粒度情感分析，能完成更精準的文本理解和結果判斷. 其中，包含方面、觀點和情感極性的情感三元組抽取任務是一個具有代表性的細粒度情感分析任務，且大多數(shù)相關研究是基于管道模型和端到端模型開展的. 然而，一方面，管道模型本質為兩階段模型，存在錯誤傳播的問題；另一方面，端到端模型也無法充分利用句子中各組成之間的聯(lián)系，存在高層次語義關系捕獲能力欠缺的問題.為解決以上問題，本文對句法和語義知識進行特征補充，提出一個基于語義增強和指導路由機制的情感三元組抽取方法（ASTE-SEGRM）. 首先，基于鍵值對網(wǎng)絡學習源文本的句法特征和詞性特征. 區(qū)別于以往的建模方式，本文所提方法動態(tài)捕捉不同句法及詞性類型的重要程度，并賦予不同的權重，以實現(xiàn)語義增強；其次，受啟發(fā)于迭代路由機制，引入指導路由機制構建神經(jīng)網(wǎng)絡，使用先驗知識指導情感三元組的抽?。蛔詈?，在四個基準數(shù)據(jù)集上的實驗結果證明，本文所提方法優(yōu)于數(shù)個基線模型.

關鍵詞：情感細粒度分析； 三元組抽?。?語義增強； 鍵值對網(wǎng)絡； 指導路由機制

中圖分類號：??TP309? 文獻標識碼：A? DOI：10.19907/j.0490-6756.2023.052003

收稿日期： ?2022-08-22

基金項目： ?四川省重點研發(fā)項目（2021YFG0156）

作者簡介： ??周雨婷（1998-）， 女， 碩士研究生， 研究方向為自然語言處理. E-mail：1446244389@qq.com

通訊作者： ?劉嘉勇. E-mail： ljy@scu.edu.cn

An aspect sentiment triplet extraction method based on semantic ?enhancement and guided routing mechanism

ZHOU Yu-Ting， DAI Jin-Qiao， LIU Jia-Yong， JIA Peng， LIAO Shan

（School of Cyber Science and Engingeering， Sichuan University， Chengdu 610065， China）

Fine-grained sentiment analysis is widely used in fields such as opinion mining and text filtering to achieve more accurate text understanding and result determination. The Aspect Sentiment Triplet Extraction （ASTE） task is a representative fine-grained sentiment analysis task， and most of the related research is based on either the pipeline model or end-to-end model. However， the pipeline model suffers from error propagation as a two-stage model， and ?the end-to-end model does not make full use of the connections between the constituents in a sentence and lacks the ability to capture high-level semantic relations. To address the these issues， this paper features complementary syntactic and semantic knowledge and proposes a sentiment triplet extraction method based on semantic enhancement and guided routing mechanisms （ASTE-SEGRM）. Firstly， the syntactic features and lexical features of the source text are learned based on Key-Value Pair Neural Network （KVMN）. Secondly， inspired by iterative routing mechanism， a guided routing mechanism is introduced to build a neural network that uses a priori knowledge to guide the extraction of sentiment triplets. Finally， experimental results on four benchmark datasets demonstrate that the proposed approach outperforms several baseline models.

ASTE； Triplets extraction； Semantic enhancement； KVMN； Guided routing mechanism

1 引 言

方面情感三元組抽?。ˋspect Sentiment Triplet Extraction，ASTE）任務于2020年初次提出 ?［1］ ，是近年來細粒度意見挖掘中的一項新興任務. 該任務旨在從句子中識別方面以及相應的意見表達和情感，通過“what，how，why”的組合，提取方面，觀點和情感極性的三元組，進一步解讀情感分析任務. 作為多原子任務，ASTE任務同時包含了對方面和觀點的抽取以及方面和觀點之間的關系判定，以及對應關系的情感分析. 通過分析句意可知，觀點詞及其描述的方面詞，以及由此得到的情感關系是高度相關的，以圖1中句子為例，可以分析得出，對于“menu”和“pumpkin juice”兩個主語的情感傾向是相反的. ASTE任務能夠提取出（menu， limited， neg）和（pumpkin juice， excellent， pos）兩對情感互斥的三元組，從而更加完整地分析句子的多層含義，但傳統(tǒng)情感分析任務卻很難達到此類細粒度判斷.

目前ASTE任務的主流解決方案主要有管道模型 ?［1，2］ 和端到端模型 ?［3-5］ ，管道模型采用分階段的思想，使用相同的標注策略統(tǒng)一標注 ?［1］ ，或者分別進行方面詞和觀點詞的抽取 ?［2］ ，最終配對獲取三元組. 但分階段的管道模型存在錯誤傳播的問題，因此，后續(xù)研究引入端到端的思想加以解決.

端到端模型設置統(tǒng)一的拓展標簽策略，同時完成詞分類和情感分類，進而更好地利用三元組內(nèi)各元素之間的關系 ?［3，4］ . 由于短語在一定程度上更加能夠表達方面詞和觀點詞，仍以圖1中的句子為例，“pumpkin juice”的短語明顯較單一的“pumpkin”或“juice”能更完整地界定目標方面詞以及表達句子含義. 因此，為了更好地提高短語抽取能力，后續(xù)研究提出了基于跨度的端到端模型 ?［5］ . 但已有的端到端模型依舊偏向于依賴于單個詞與單個詞之間的相互作用，對于短語邊界界定以及三元組各元素間關系的研究仍待繼續(xù).

本文受到方面級情感分析任務（Aspect-based Sentiment Analysis， ABSA）啟發(fā)，提出的方法將分別從文本的多元語義關系和空間位置關系進行特征補充. 首先，在文獻［6］中，作者使用鍵值對網(wǎng)絡（Key-Value pair Neural Network， KVMN）對句法特征進行編碼，有效改善了ABSA任務的模型效果. 這證明相較于以往用圖結構 ?［7，8］ 對特征進行建模的方式，KVMN能夠更有效地區(qū)分不同依賴關系的重要程度. 同樣的，詞性標簽特征作為主要的語言特征之一，在諸如實體識別領域中已被證實能夠有效提高識別術語邊界的能力 ?［9-11］ . 由于不同的詞性在三元組抽取時具有不同的重要程度，類似名詞組合更偏向作為方面詞；而形容詞、副詞等則更偏向作為觀點詞，用以提供情感傾向判定依據(jù). 因此，本文設置基于鍵值對網(wǎng)絡的語義增強模塊，分別對文本的句法特征和詞性特征進行編碼，權衡不同類型特征的重要程度，動態(tài)為下游任務進行特征補充，從而提高情感三元組中各元素之間關系的利用能力，改善短語的界定效果.其次，目前ASTE任務的解決方案中多是通過LSTM對文本進行編碼，這種方式對文本的空間關系的利用并不充分. 相對于傳統(tǒng)神經(jīng)網(wǎng)絡，膠囊網(wǎng)絡的迭代路由機制則有效保持了空間特征的表征能力 ?［12］ ，在不減少原始輸入的情況下，更好地模擬人腦對不同特征進行識別和學習，從而在多特征的情況下，更優(yōu)地處理上下文語義同其他特征之間的關系. 在文獻［13］中，作者改善傳統(tǒng)迭代路由機制，提出指導路由機制，用以定向地引導分類任務，并達到了較好的實驗效果. 本文同樣借助指導路由機制進行方法構建，使用先驗領域知識，通過類似特征補充的方式，引導并修正路由進程，以更好地捕捉局部與整體之間的空間關系，進而提高目標詞的識別能力以及情感三元組的抽取效果. 因此，基于目前的ASTE解決方案多是基于文本的詞向量本身，對高層次語義關系的捕捉和利用并不充分；且在三元組抽取上性能欠佳的問題，并避免管道模型導致的錯誤傳播問題.本文使用一種基于語義增強和指導路由機制的方面情感三元組抽取方法，記為ASTE-SEGRM.

本文的主要貢獻可以歸納如下：（1） 本文首次提出使用動態(tài)賦予詞性和句法特征的權重解決ASTE問題;（2） 本文提出ASTE-SEGRM方法，用以學習文本的多層特征和上下文關系;（3） 實驗結果表明，在SemEval的四個基礎數(shù)據(jù)集上，該方法的計算效果明顯優(yōu)于現(xiàn)有的基線方法.

2 相關工作

2.1 管道模型

ASTE任務最初的解決方法是兩階段的管道模型. Peng等人 ?［1］ 使用了一種兩階段框架，將任務轉換為兩個序列標注任務，第一階段改進了E2E-ABSA ?［14］ 模型，確定方面詞、觀點詞和對應情感極性；第二階段對方面詞和觀點詞進行配對.為了進一步發(fā)掘情感三元組中各元素之間的關系，Zhang等人 ?［2］ 提出使用多任務學習框架，結合ATE（Aspect Term Extraction）、OTE（Opinion Term Extraction）和情感依存三個子任務，設定規(guī)則實現(xiàn)三元組抽取.

2.2 端到端模型

端到端模型是為了解決管道模型的錯誤傳播問題而提出的. 在Xu等人 ?［3］ 提出的JET模型中，作者設計了位置感知方案，通過拓展BIOES標簽進行更廣泛的含義表達，實現(xiàn)了端到端的任務抽取，也改善了以往管道模型的錯誤傳播問題.同樣的，Wu等人 ?［4］ 受方面觀點對抽?。ˋspect Opinion Pair Extraction， AOPE）任務啟發(fā)，拓展網(wǎng)格標簽方案GTS，發(fā)掘詞與詞之間的相互作用并進行情感預測. 為了進一步提高三元組之間關系的應用，Xu等人 ?［5］ 提出在ATE和OTE任務監(jiān)督下，識別句子中基于跨度的情感三元組，結果表明，基于跨度的做法改進了短語的識別能力，并且作者設定的雙通道剪枝策略也提高了模型的計算效率.

2.3 膠囊網(wǎng)絡

同傳統(tǒng)神經(jīng)網(wǎng)絡不同，膠囊網(wǎng)絡的輸入和輸出都是一個向量，并且用膠囊代替標量神經(jīng)元，每一個膠囊由一個向量組成，向量的長度作為目標存在的概率估計，用向量的方式表示實體的屬性.

膠囊網(wǎng)絡由Sabour等 ?［12］ 于2017年首次提出用于解決卷積神經(jīng)網(wǎng)絡中對物體空間關系識別能力弱的問題，后逐漸引入到自然語言處理領域，借助膠囊網(wǎng)絡實現(xiàn)文本分類 ?［15，16］ 以及命名實體識別任務 ?［17］ . 在方面情感分析領域中，膠囊網(wǎng)絡也有類似應用 ?［13］ ，作者構建了一個簡單的膠囊網(wǎng)絡解決基于方面的情感分析問題. 膠囊網(wǎng)絡能夠有效編碼空間位置關系，并且由其中的迭代路由機制能夠影響路由進程. 但由于迭代過程是自定向的，原始的迭代路由機制訓練效率并不高. 因此，本文提出使用指導路由機制，補充情感先驗知識，定向指導路由進程，改善特征編碼效率，從而達到較好的情感分類效果.

3 ?基于語義增強和指導路由機制的情感三元組抽取方法

針對管道模型存在的錯誤傳播問題，以及短語三元組抽取困難問題，本節(jié)構建基于KVMN鍵值對網(wǎng)絡的語義特征增強層，動態(tài)補充文本的詞性特征和句法特征，并借助先驗知識構建指導路由，組合成為基于語義增強和指導路由機制的方面情感三元組抽取方法ASTE-SEGRM，整體結構如圖2所示. 本節(jié)將從該方法的三個模塊出發(fā)，分別對數(shù)據(jù)準備模塊、方面詞及觀點詞抽取模塊和三元組抽取模塊進行介紹.

3.1 ASTE-SEGRM框架

本節(jié)首先對ASTE任務進行定義.設 X={ x ??1 ， x ??2 ，…， x ??n } 表示 n 個句子，設 S={ s ??1，1 ， s ??1，2 ，…， s ??i，j ，…， s ??n，n } 是 X 中所有可能的枚舉跨度短語的集合，其中 i 和 j 表示一個跨度短語在句中的開始和結束位置. 并且限制跨度短語的長度為 0≤j－i≤L ， L 為句子長度. 為契合ASTE任務需求，本文將每個情感三元組定義為（方面、觀點、情感極性），其中有效的情感極性分類為{積極，消極，中立}.

其次，如圖2所示，為更加明確闡述ASTE-SEGRM架構，本節(jié)將方法分為數(shù)據(jù)準備模塊、方面詞及觀點詞抽取模塊和三元組抽取模塊. 數(shù)據(jù)準備模塊將融入詞性特征和句法特征，并使用KVMN鍵值對網(wǎng)絡進行編碼，進行語義層的特征補充. 在獲取了以上兩方面的特征后，將其與經(jīng)過LSTM網(wǎng)絡編碼的文本向量進行拼接，并枚舉所有可能的短語組合. 在方面詞及觀點詞抽取模塊和三元組抽取模塊，使用指導路由機制，分別構建不同的指導路由，利用先驗知識引導ASTE-SEGRM進行方面詞和觀點詞的分類，并最終完成情感三元組的抽取.

3.2 數(shù)據(jù)準備模塊

3.2.1 文本編碼 ?首先使用LSTM學習上下文知識，本文從GloVe模型 ?［18］ 嵌入中獲得單詞表示 ?［ x ??1 ， x ??2 ，…， x ??n ］ ，再通過雙向LSTM的編碼得到每個單詞的表示 ?h ??i =［ ?h ??i ??： ?h ??i ??］ ， ???h ??i ????和 ???h ??i ????分別為LSTM網(wǎng)絡的前向傳播和反向傳播的隱藏層表示.

為了充分考慮句子中的可能短語表達，本文使用滑動窗口的思想，以枚舉的方式獲取句子中所有可能的跨度短語，并將其表示為

s ??i，j =［ h ??i ; h ??j ; f ???width ?（i，j）］

（1）

其中， i 和 j 分別為跨度短語的起始位置和結束位置； ?f ???width ?（i，j） 作為可訓練參數(shù)參與計算，表示跨度短語的長度.

3.2.2 基于鍵值對網(wǎng)絡的語義增強模塊 ?語義增強模塊將兩種外部特征進行融合，為了區(qū)分不同重要程度的詞性標簽以及句法依賴關系，本文使用鍵值對網(wǎng)絡分別對詞性特征和句法特征進行編碼，共同學習上下文語義，模塊結構如圖3.

首先，本實驗借助StanfordcoreNLP工具生成訓練數(shù)據(jù)的句法依存關系，并借助兩個大小均為 ［seq_len，seq_len］ 的鍵值對矩陣 K（ k ??1，1 ，...， k ??i，j ） 、 V（ v ??1，1 ，...， v ??i，j ） ，分別對詞之間的依賴關系和具體的依賴類型進行存儲. 在獲取 K 、 V 矩陣后，結合經(jīng)過LSTM編碼的GloVe詞向量 ?h ??i ?進行計算，根據(jù) K 矩陣，即句子中存在的依賴，對矩陣 V 中不同的依賴關系分配權重：

p ???i，j = exp （ h ???i · e ???k ??i，j ） ∑ ?q ??j=1 ?exp （ h ???i · e ???k ??i，j ） ??（2）

dep ????i，j =∑ ?q ??j=1 ??p ???i，j ?e ???v ??i，j ??（3）

每個 ?v ??i，j ?對應一個 ?p ??i，j ?，并且在得到不同依賴關系的權重后，使用新的依賴權重更新 V 矩陣，并計算句子中每個單詞添加了句法特征的表達即 dep ???i，j ?.

接著，使用相同的方式對詞性標簽進行建模，以此增強諸如名詞、形容詞和否定詞等的權重. 使用式（2）和式（4），并經(jīng)過編碼得到不同詞性標簽在句中的特征表示 pos ???i，j ?.

pos ????i，j =∑ ?q ??j=1 ??p ???i，j ?e ???v ??i，j ??（4）

最后，將經(jīng)過鍵值對網(wǎng)絡編碼的句法特征和詞性特征進行拼接，輸出成最終經(jīng)過語義增強的文本表達.

3.3 觀點詞和方面詞抽取

3.3.1 跨度短語表達 ?在通過在3.2.1節(jié)獲取諸如 ［ h ??i ; h ??j ; f ???width ?（i，j）］ 跨度短語表達后，基于每個跨度短語，會經(jīng)過線性變化（linear transformer）和歸一化（squash activation）獨立生成一個跨度短語膠囊 ?p ??i ?：

p ??i = squash （ W ??p ?s ??i，j + b ??p ）

（5）

其中， ?W ??p ?和 ?b ??p ?是可學習參數(shù)，squash計算公式如下.

squash （s）= ??s ???2 ?1+ ?s ???2 ??s ?s ???（6）

3 .3.2 方面和觀點指導路由 ?在獲取初始跨度短語 ?s ??i，j ?表達后，為了降低計算的復雜性，并提高計算效率，不僅需要對跨度短語膠囊進行數(shù)量裁剪以減少無關跨度短語膠囊的噪音，同時引入指導路由機制幫助方面詞和觀點詞的分類.

首先通過LDA模型 ?［19］ ，根據(jù)式（7）和式（8）抽樣得到主題和詞的分布矩陣 φ ，以及文本和主題分布矩陣 θ ：

φ ???k，t = ?n ???t ??k + β ???t ?∑ ?v ??t=1 ??n ???t ??k + β ???t ???（7）

θ ???m，k = ?n ???k ??m + α ???k ?∑ ?k ??k=1 ??n ???k ??m + α ???k ???（8）

其中， ?φ ??k，t ?表示主題 k 中詞 t 的概率； ?θ ??m，k ?表示文本 m 中主題 k 的概率. 將LDA的輸出結果和補充的專家知識組合，作為先驗知識構成指導膠囊. 再利用指導路由機制，通過計算跨度短語膠囊與指導膠囊的相似性引導路由進程，并將相似性的計算結果作為指導路由的權重 ?w ??t ??i，j ?.

z ??t ??i = squash （ ?G ??t ???i ） ?（9）

w ???t ??i，j = exp （ p ???i ?W ???r ?z ???t ??j ） ∑ ?n ??k=1 ?exp （ p ???i ?W ???r ?z ???t ??k ） ??（10）

其中 ?G ??t ∈ R ??C×d ?作為先驗矩陣； C 為分類類別{Target，Opinion，Invalid}； d 為維度，通過squash函數(shù)可以得到指導膠囊 ?Z ??t =［ z ??t ??1 ，...， z ??t ??C ］ ，并借助 ?Z ??t ?計算指導路由的權重 ?w ??t ??i，j ?.

3.3.3 方面候選詞和觀點候選詞抽取 ?最終的分類標準可由式（11）和 式（12）計算得出，其中 s 是可學習參數(shù)，可以將連接權重縮放到一個合適的水平.

v ??target =P m= Target|squash （s∑ ?n ??i=1 ??w ???t ??i，j ?p ???i ） ???（11）

v ??opinion =P m= Opinion|squash （s∑ ?n ??i=1 ??w ???t ??i，j ?p ???i ） ???（12）

為了使方面候選詞和觀點候選詞更充分地匹配，對于句長為 n 的文本，本實驗設定超參數(shù)閾值 z ，將句長 n 和 z 的乘積作為跨度短語膠囊的數(shù)量裁剪標準. 并將經(jīng)過數(shù)量裁剪的跨度短語分為方面候選詞 ?P ??t ={ p ??t ??1 ， p ??t ??2 ，...， p ??t ??k } 和觀點候選詞 ?P ??o ={ p ??o ??1 ， p ??o ??2 ，...， p ??o ??m } .

3.4 三元組判定 p

3.4.1 候選詞組合 ?同3.3中跨度短語膠囊構建方式相似，在獲取了方面候選詞 ?P ??t ={...， p ??t ??a，b ，...} 和觀點候選詞 ?P ??o ={...， p ??o ??c，d ，...} 后，首先對候選方面詞和候選觀點詞進行兩兩組合，生成詞對表達：

g ???p ??t ??a，b ， p ??o ??c，d ?=［ p ??t ??a，b ; p ??o ??c，d ; f ??dis （a，b，c，d）］ ?（13）

在進行候選詞組合的詞對表達時，融入距離特征即 ?f ???dis ?（a，b，c，d） ，且 ?f ???dis 為過程可學習參數(shù).

獲取了詞對表達后，經(jīng)過線性變化和歸一化獨立生成詞對膠囊 ?tp ??i ?. 其中 ?W ??p ?和 ?b ??p ?是過程學習參數(shù)：

tp ??i = squash （ W ??p ?g ???p ??t ??a，b ， p ??o ??c，d ?+ b ??p ） ?（14）

3.4.2 情感指導路由 ?同樣的，在這一步ASTE-SEGRM也引入指導路由機制，并利用先前構造的情感先驗知識構造情感指導膠囊. ??G ??s ∈ R ??C×d ?為情感先驗矩陣， sc∈C= {Positive，Negative，Neutral，Invalid}，其中，Invalid表示詞對中的方面候選詞和觀點候選詞并不存在合理的情感關系， d 為維度，通過squash函數(shù)可以得到情感指導膠囊 ??Z ??s =［ z ??s ??1 ，...， z ??s ??c ］ ?，并借助 ?Z ??s ?計算情感指導路由的權重 ?w ??s ??i，j ?.

z ??s ??i = squash （ ?G ??s ???i ） ?（15）

w ???s ??i，j = exp （ tp ???i ?W ???r ?z ???s ??j ） ∑ ?n ??k=1 ?exp （ tp ???i ?W ???r ?z ???s ??j ） ??（16）

3.4.3 情感三元組抽取 ?基于情感指導路由，最終可以得到詞對膠囊 ?tp ??i ?的分類結果如下.

v ????tp ???i ?=P sc| squash （s∑ ?n ??i=1 ??w ???s ??i，j ?tp ???i ） ??（17）

其中， s 是可學習參數(shù)，用于調(diào)整 ?w ??s ??i，j ?范圍.

4 實驗結果與分析

4.1 數(shù)據(jù)集

本文方法基于Peng等人 ?［1］ 發(fā)布的4個ASTE數(shù)據(jù)集進行了評估，其中包括餐廳領域的三個數(shù)據(jù)集和筆記本電腦領域的一個數(shù)據(jù)集. 4個基準數(shù)據(jù)集來自于SemEval挑戰(zhàn) ?［20-22］ ，而意見術語來自于Fan等 ?［23］ . 表1顯示了詳細的統(tǒng)計數(shù)據(jù).表1中，#S、#+、#0、#-和#T分別表示句子數(shù)、積極三元組、中立三元組、消極三元組和三元組總數(shù).

4.2 基線模型

當前解決ASTE任務的方案多是基于管道模型，也有少部分通過端到端模型實現(xiàn)，本文將和近兩年提出的部分具有代表性的方法進行比較.

（1） Peng-unified-R+PD ?［1］ ：Peng等人提出使用兩階段模型，第一階段模型利用了各個方面和觀點之間的相互信息，使用BIEOS模式中的統(tǒng)一標記模式和觀點位置特征聯(lián)合提取方面情感. 在第二階段，生成所有的候選情感三元組，并應用MLP 分類器（PD）來確定候選三元組是否有效.

（2） Li-unifified-R+PD ?［1］ ：Peng等人還提出另一種管道模型方法. 在第一階段，對文獻［24］中的模型進行修改，同時提取方面詞、觀點詞以及對應情感極性； 在第二階段，應用MLP分類器（PD）來獲得所有有效的情感三元組.

（3） Peng-unifified-R+IOG ?［4］ ：該方法首先應用了Peng-unified-R ?［1］ 方法提取方面詞和對應的情感極性，接著使用IOG ?［23］ 模型生成最終的有效三元組. 其中，IOG對來自一個給定的數(shù)據(jù)庫中的信息進行編碼，以提取其觀點詞.

（4） IMN+IOG ?［4］ ：首先使用IMN ?［25］ 抽取方面詞和對應情感極性，再使用IOG ?［23］ 生成情感三元組的方法解決ASTE問題.

（5） GTS ?［4］ ：Wu等人設計了一種網(wǎng)格標記模式，以端到端方式完成三元組的抽取. 模型采用了一種推理策略來利用不同意見因素之間的相互指示.

（6） JET ?［3］ ：JET模型將ASTE任務建模為一個結構化的預測問題，采用位置感知標記方案，以捕獲三元組中各元素之間的相互作用.

（7） Span-ASTE ?［5］ ：Span-ASTE模型實現(xiàn)的是一個融合ATE和OTE任務監(jiān)督的端到端模型，并通過剪枝策略降低計算復雜度.

4.3 實驗設置

本實驗使用300維的GloVe預訓練模型獲得詞向量表示，同時設置雙層LSTM，其隱藏層維度均為300維，鍵值對網(wǎng)絡的輸出維度均為300維. 同時GloVe模型參與ASTE-SEGRM中兩個先驗知識矩陣的構造. ASTE-SEGRM學習率設置為3e-5，并使用Adam ?［26］ 作為優(yōu)化器. 根據(jù)對原始4個數(shù)據(jù)集的統(tǒng)計，在表示跨度短語時，有約75%的短語是二元詞組，最長的短語跨度為5個字符，因此為更全面覆蓋可能短語，本實驗設置最長連續(xù)表達長度為5，超參數(shù)閾值 z 設置為0.5. 本實驗在驗證集達到最佳 F 1值時運行測試集，并進行性能評估.

4.4 評估指標

本文將展示基于精度（ P ）、召回率（ R ）和 F 1分數(shù)的實驗結果，計算公式如式（18）～式（20）所示. 當且僅當方面詞、觀點詞以及相應情緒都判斷正確，才認為三元組正確. 最終的 F 1分數(shù)衡量的是（方面，觀點，情感極性）的表現(xiàn).

P= TP TP+FP ??（18）

R= TP TP+FN ??（19）

F1= TP+TN TP+FT+TN+FN ??（20）

4.5 對比實驗結果與分析

表2為情感三元組抽取的主要結果，本文比較了ASTE-SEGRM與現(xiàn)有基線模型在SemEval ?［20-22］ 的四個數(shù)據(jù)集上的準確率（ P ）、召回率（ R ）和 F 1值. 表2中，最佳結果加粗表示，其中帶有“*”標注的，表示ASTE-SEGRM的性能明顯優(yōu)于現(xiàn)有基線模型，帶有“-”標注的，表示原代碼不包含在數(shù)據(jù)集16res上運行所需的資源.

為和其他基線模型保持一致，ASTE-SEGRM也采用BiLSTM進行編碼. 最終結果以 F 1值為主要比對標準，ASTE-SEGRM分別較現(xiàn)有基線的最佳結果提高了1.20%，0.14%，2.11%和0.45%.

實驗結果表明，ASTE-SEGRM在準確率和召回率上都要超過其他現(xiàn)有方法. 這一結果表明，本文提出基于端到端的ASTE-SEGRM可以有效地利用方面詞和觀點詞之間的交互關系，并降低了管道模型存在的錯誤傳播問題. 同時通過基于鍵值對網(wǎng)絡的語義增強以及領域先驗知識的指導路由機制，能夠提升ASTE-SEGRM對三元組的判定及抽取能力.

4.6 消融實驗結果與分析

為了證明不同組件的有效性，本實驗分別設置了POS、DEP和加入指導路由機制的基線模型三個模塊變量，進行了如表3中的消融實驗. 通過表中實驗結果可知，當去除語義增強模塊，僅以指導路由機制構建的基線模型相較于對比的部分基線模型，已經(jīng)表現(xiàn)出較好的實驗效果，在SemEval的餐廳領域的三個數(shù)據(jù)集上相較于最優(yōu)管道基線模型，分別有0.06%，0.90%和2.47%的提升.

POS和DEP分別表示在基線實驗上融入詞性特征和句法特征. 從表3實驗結果可知，在基線實驗上分別加入詞性特征和句法特征都能提升抽取性能，但通過整體實驗結果對比，句法特征對抽取能力的改善更優(yōu).

最終組合所有組件，按照實驗設置進行ASTE-SEGRM參數(shù)設置，得到完整方法的實驗結果.

4.7 定性分析

為了更直觀地對不同模型之間的差異進行分析，本實驗使用 同一組例句分別對管道模型IMN+ IOG、端到端模型GTS以及本文提出的ASTE-SEGRM進行實驗結果對照. ?如表4中所示，第一列為例句，第二列是目標三元組，其他列分別為管道模型IMN+IOG、端到端模型GTS以及本文提出方法ASTE-SEGRM的輸出結果.本實驗分別從餐廳和電腦兩個領域數(shù)據(jù)集中各選取出一個例句作為展示，在例句一中，管道模型IMN+IOG對于句子邏輯理解不到位，并不能很好地識別到“eggplant pizza”和“pastas”是并列關系，雖然能正確判斷情感極性，但對短語的界定效果不佳. 同樣在例句二中，IMN+IOG依舊在短語的邊界界定和不同語境中多義詞的理解上欠佳. 端到端模型GTS相較于管道模型而言，在句子分析上有了提升，能夠較好地識別句子中的句法關系以及對應情感關系判斷，但對短語的識別性能并不穩(wěn)定. 相對于IMN+IOG和GTS，ASTE-SEGRM在語義理解以及短語判定的效果上都有了提升，能夠更準確地抽取目標情感三元組.

5 結 論

本文提出了一個融合多層語義特征以及指導路由機制的端到端方法ASTE-SEGRM用以改善情感三元組的抽取效果. 同以往研究不同，ASTE-SEGRM首先通過鍵值對網(wǎng)絡，動態(tài)捕捉詞之間的多層語義關系，從而提高部分特征類型的正向權重，以更好地理解并應用文本之間的信息. 同時，擬合鍵值對網(wǎng)絡的輸出結果和BiLSTM構建的上下文語義，在先驗知識構成的指導路由機制的作用下，提高對目標短語的識別效果和情感關系判別能力. 本文提出的ASTE-SEGRM在現(xiàn)有公開數(shù)據(jù)集上實現(xiàn)了較為先進的性能，實驗結果表明，ASTE-SEGRM能夠更好地捕獲詞之間的聯(lián)系，從而提高對文本情感細粒度的分析效果.

雖然本文使用鍵值對網(wǎng)絡分別能夠對詞性特征和句法特征進行動態(tài)編碼，進而區(qū)分不同類型特征的重要程度，但是隨著中間層計算變復雜，運行效率也受到影響. 此外，本文研究基于英文數(shù)據(jù)集，由于使用的GloVe預訓練模型中是以單個詞為單位存儲詞向量，因此在使用先驗知識構建指導路由時，只納入了單個詞的向量，而沒有考慮如何將短語表示也作為先驗知識參與構建指導路由.

參考文獻：

［1］ ??Peng H， Xu L， Bing L， ?et al . Knowing what， how and why： a near complete solution for aspect-based sentiment analysis［EB/OL］. ［2022-06-11］. https：//arxiv.org/pdf/1911.01616.pdf.

［2］ ?Zhang C， Li Q， Song D， ?et al . A multi-task learning framework for opinion triplet extraction［EB/OL］. ［2022-06-12］. https：//arxiv.53yu.com/pdf/2010.01512.pdf.

［3］ ?Xu L， Li H， Lu W， ?et al . Position-aware tagging for aspect sentiment triplet extraction［EB/OL］. ［2022-06-12］. https：//arxiv.53yu.com/pdf/2010.02609.pdf.

［4］ ?Wu Z， Ying C， Zhao F， ?et al . Grid tagging scheme for aspect-oriented fine-grained opinion extraction［EB/OL］. ［2022-06-12］. https：//arxiv.53yu.com/pdf/2010.04640.pdf.

［5］ ?Xu L， Chia Y K， Bing L. Learning span-level interactions for aspect sentiment triplet extraction［EB/OL］. ［2022-06-12］. https：//arxiv.53yu.com/pdf/2107.12214.pdf.

［6］ ?Tian Y， Chen G， Song Y. Enhancing aspect-level sentiment analysis with word dependencies［EB/OL］. ［2022-06-12］. https：//www.atailab.cn/seminar2021Spring/pdf/EACL_2021_Enhancing%20Aspect-level%20Sentiment%20Analysis%20with %20Word%20Dependencies.pdf.

［7］ ?Wu L， Zhang M. Deep graph-based character-level chinese dependency parsing ［J］. IEEE-ACM T Audio Spe， 2021， 29： 1329.

［8］ ?Ding Y， Shao Y， Che W， ?et al . Dependency graph based chinese semantic parsing ［M］//Chinese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data. Heidelberg： Springer， Cham， 2014： 58.

［9］ ?Nie Y， Tian Y， Song Y， ?et al . Improving named entity recognition with attentive ensemble of syntactic information ［EB/OL］. ［2022-06-21］. https：//arxiv.org/pdf/2010.15466.pdf.

［10］ ?Sun K， Zhang R， Mensah S， ?et al . Aspect-level sentiment analysis via convolution over dependency tree ［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）. Hong Kong， China： ［s.n.］， 2019.

［11］ Huang B， Carley K M. Syntax-aware aspect level sentiment classification with graph attention networks［EB/OL］. ［2022-07-15］. https：//arxiv.53yu.com/pdf/1909.02606.pdf.

［12］ Sabour S， Frosst N， Hinton G E. Dynamic routing between capsules［EB/OL］. ［2022-07-15］. https：//arxiv.org/pdf/1710.09829.pdf.

［13］ Jiang Q， Chen L， Xu R， ?et al . A challenge dataset and effective models for aspect-based sentiment analysis ［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）. Hong Kong， China： ［s.n.］， 2019.

［14］ Li X， Bing L， Zhang W， ?et al . Exploiting BERT for end-to-end aspect-based sentiment analysis ［EB/OL］. ［2022-07-21］. https：//arxiv.53yu.com/pdf/1910.00883.pdf.

［15］ Zhao W， Ye J， Yang M， ?et al . Investigating capsule networks with dynamic routing for text classification［EB/OL］. ［2022-07-21］. https：//arxiv.53yu.com/pdf/1804.00538.pdf.

［16］ Geng R， Li B， Li Y， ?et al . Induction networks for few-shot text classification［EB/OL］. ?［2022-07-21］. https：//arxiv.53yu.com/pdf/1902.10482.pdf.

［17］ Akj A， Pt B， Sg C， ?et al . Entity-aware capsule network for multi-class classification of big data： a deep learning approach-ScienceDirect ［J］. Future Gener Comp Sy， 2021， 117： 1.

［18］ Pennington ?J， Socher R， Manning C D. Glove： Global vectors for word representation ［C］//Conference on Empirical Methods in Natural Language Processing. Citeseer： ［s.n.］， 2014.

［19］ Blei D M， Ng A， Jordan M I . Latent dirichlet allocation ［J］.J Mach Learn Res， 2003， 3： 993.

［20］ Pontiki M， Galanis D， Pavlopoulos J， ?et al . SemEval-2014 task 4： aspect based sentiment analysis ［J］. Sem Eval， 2014， 2014： 27.

［21］ Pontiki M， Galanis D， Papageorgiou H， ?et al . Semeval-2015 task 12： aspect based sentiment analysis ［J］. Sem Eval， 2015， 2015： 486.

［22］ Pontiki M， Galanis D， Papageorgiou H， ?et al . Semeval-2016 task 5： aspect based sentiment analysis［C］// ProWorkshop on Semantic Evaluation （SemEval-2016） of the Association for Computational Linguistics. ［S.l.： s.n.］， 2016： 19.

［23］ Fan Z， Wu Z， Dai X Y， ?et al . Target-oriented opinion words extraction with target-fused neural sequence labeling ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. ［S.l：s.n.］， 2019： 2509.

［24］ Li X， Bing L， Li P， ?et al . A unified model for opinion target extraction and target sentiment prediction［EB/OL］. ［2022-08-29］. https：//arxiv.org/pdf/1811.05082.pdf.

［25］ He R， Lee W S， Ng H T， et al . An interactive multi-task learning network for end-to-end aspect-based sentiment analysis［EB/OL］. ［2022-08-09］. https：//arxiv.org/pdf/1906.06906.pdf.

［26］ Kingma D， Ba J. Adam： a method for stochastic optimization ［EB/OL］. ［2022-08-09］. https：//arxiv.53yu.com/pdf/1412.6980.pdf%5D.