摘要：方面詞情感三元組抽取旨在從評論文本中識別方面詞、評論觀點(diǎn)詞及情感極性。針對現(xiàn)有研究容易忽略三元組中部分實(shí)體與其情感極性在標(biāo)記空間中的關(guān)聯(lián)關(guān)系，并且較易出現(xiàn)三元組邊界識別錯(cuò)誤的問題，提出一種基于表格填充的多類別統(tǒng)一及邊界標(biāo)記模型（MUBTM）。首先，采用雙仿射注意力機(jī)制學(xué)習(xí)詞對間的交互，并構(gòu)建多類別統(tǒng)一標(biāo)記空間；然后，利用標(biāo)記空間的對稱性結(jié)構(gòu)化約束與級聯(lián)二進(jìn)制邊界約束，限制詞對間的概率分布；最后，根據(jù)子元素在統(tǒng)一標(biāo)記空間中結(jié)構(gòu)為正方形或矩形的特性，逐步解碼生成方面詞情感三元組。實(shí)驗(yàn)結(jié)果表明，與其他基線模型相比，本模型在方面詞情感三元組抽取上的F1值有顯著提升，表明了所提出方法的可行性。

關(guān)鍵詞：情感三元組抽??；表格填充；級聯(lián)二進(jìn)制；雙仿射注意力機(jī)制；標(biāo)記空間

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A文章編號：1001-3695（2023）05-020-1416-06doi：10.19734/j.issn.1001-3695.2022.09.0468

方面詞情感三元組抽?。╝spectsentimenttripletextraction，ASTE）是方面詞情感分析的一項(xiàng)重要任務(wù)［1］，旨在從用戶評論文本中提取出形如（方面詞，評論觀點(diǎn)詞，情感極性）的情感三元組，被廣泛應(yīng)用于商品文案生成和產(chǎn)品個(gè)性化推薦任務(wù)中。

目前，在情感三元組抽取研究中，主要采用流水線和端到端兩種方式［2～4］?，F(xiàn)有方法往往存在如下問題：a）流水線抽取模型中通常先利用序列標(biāo)注識別出方面詞、觀點(diǎn)詞和情感極性，然后利用分類器判斷方面詞與觀點(diǎn)詞的匹配情況，這種方法存在著誤差累積傳播的問題，會(huì)導(dǎo)致方面詞與觀點(diǎn)詞匹配不佳；b）在端到端聯(lián)合抽取情感三元組研究中，針對觀點(diǎn)詞與方面詞間的位置信息，以復(fù)合序列標(biāo)注的方式聯(lián)合提取方面詞和觀點(diǎn)詞，并對其情感關(guān)系進(jìn)行分類，這種方式通常只考慮方面詞或觀點(diǎn)詞的信息，忽略了在ASTE任務(wù)中三元組內(nèi)部子元素的標(biāo)記空間是相互統(tǒng)一的關(guān)系；c）在三元組抽取的過程中，容易出現(xiàn)三元組邊界識別錯(cuò)誤的問題。

針對現(xiàn)有方法存在的問題，本文認(rèn)為，在統(tǒng)一的標(biāo)記空間中，可以將方面詞識別、觀點(diǎn)詞抽取和情感極性判斷表示成統(tǒng)一的識別任務(wù)，充分建立內(nèi)部子元素之間的強(qiáng)關(guān)聯(lián)關(guān)系，從而有助于挖掘詞對之間的語義關(guān)系。在此基礎(chǔ)上，本文提出一種方面詞情感三元組端到端抽取模型，實(shí)現(xiàn)情感三元組的聯(lián)合抽取。其主要貢獻(xiàn)在于：

a）提出一種基于表格填充的多類別統(tǒng)一及邊界標(biāo)記模型（multi-categoryunificationandboundarytaggingmodelbasedontablefilling，MUBTM），該模型利用方面詞實(shí)體、觀點(diǎn)詞實(shí)體類型以及情感極性關(guān)系，共同構(gòu)建統(tǒng)一標(biāo)記空間，以建立情感三元組內(nèi)部元素間的關(guān)聯(lián)及加強(qiáng)詞對之間的聯(lián)系；

b）針對情感三元組抽取過程中，容易出現(xiàn)三元組跨度識別錯(cuò)誤的問題，利用級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)化約束相聯(lián)合的方法，凸顯三元組邊界與邊界之間的跨度差異，從而提升三元組識別的性能；

c）在2019年之江杯電商評論觀點(diǎn)挖掘競賽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有較優(yōu)的基線模型相比，本模型在情感三元組抽取上的F1值提升了1%，證明了該模型的有效性。

1相關(guān)工作

情感分析也稱為意見挖掘，是對具有感情色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程［5］。傳統(tǒng)的情感分析主要包含句子級情感分析和文檔級情感分析，很難挖掘句子中更為細(xì)粒度的單詞情感極性。相比之下，方面詞情感分析能夠識別句子中實(shí)體的情感極性［6］，具有更高的實(shí)用價(jià)值，研究者將其劃分為如下子任務(wù)：

a）方面詞情感分類（aspectsentimentclassification，ASC）。其旨在識別指定方面詞在句子中的情感極性［7］。Wang等人［8］利用注意力機(jī)制與LSTM相結(jié)合的方式獲取句子中的重要部分，并進(jìn)行方面詞的情感分類。Ma等人［9］提出IAN模型，在方面詞和上下文語境上分別構(gòu)建兩個(gè)LSTM模型，利用交互式的注意力機(jī)制方式捕捉上下文方面詞之間的語義關(guān)系，以提高情感分類的準(zhǔn)確率。Wang等人［10］利用注意力機(jī)制聯(lián)合多任務(wù)神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)方面詞和情感詞之間的語義關(guān)系。但是，普通的注意力機(jī)制只關(guān)注詞頻高的情感詞，容易忽略詞頻低且重要的情感極性詞。因此，Chen等人［11］采用多頭注意力機(jī)制和遞歸神經(jīng)網(wǎng)絡(luò)非線性組合的方式來捕捉長距離的情感極性詞，提升了方面詞情感分類的準(zhǔn)確性。

b）方面詞抽取（aspecttermextraction，ATE）、觀點(diǎn)詞抽?。╫piniontermextraction，OTE）。其

旨在從評論文本中識別出評價(jià)對象，即方面詞或觀點(diǎn)詞，這是確保方面詞情感分類準(zhǔn)確性的前提［12］。目前，大多數(shù)研究者針對ATE或OTE，主要使用序列標(biāo)注以及序列到序列（seq2seq）的方法。Xu等人［13］使用雙重嵌入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行序列標(biāo)注，用于抽取方面詞。Fan等人［14］提出Inward-OutwardLSTM模型，將給定方面詞信息傳遞給全局上下文，并利用序列標(biāo)記方法提取觀點(diǎn)詞。Wu等人［15］將資源豐富的情感分類數(shù)據(jù)集中潛在的觀點(diǎn)知識作為領(lǐng)域外部知識，輔助觀點(diǎn)詞的識別及提取。但是，序列標(biāo)注方法很難把握句子的整體語義信息。因此，Ma等人［16］利用seq2seq框架處理ATE任務(wù)，在解碼過程中充分挖掘句子的整體含義。

上述研究偏重于單獨(dú)處理這些子任務(wù)，忽略了子任務(wù)間的依賴關(guān)系，缺乏實(shí)際應(yīng)用價(jià)值。有些研究者通過耦合這兩個(gè)子任務(wù)，形成觀點(diǎn)對抽?。╫pinionpairextraction，OPE）理念，并提出有效的聯(lián)合抽取模型，用于解決此類問題。例如，Dai等人［17］先使用規(guī)則的方式提取不準(zhǔn)確的方面詞和觀點(diǎn)詞對，然后利用BiLSTM-CRF識別方面詞和觀點(diǎn)詞對，并利用弱監(jiān)督的方式進(jìn)行訓(xùn)練。Wang等人［18］利用可遷移交互式記憶網(wǎng)絡(luò)捕獲方面詞和觀點(diǎn)詞之間的關(guān)聯(lián)信息，提高了OPE的準(zhǔn)確率。Chen等人［19］構(gòu)建由觀點(diǎn)詞和關(guān)系檢測單元組成的雙通道循環(huán)網(wǎng)絡(luò)，同時(shí)提取方面詞、觀點(diǎn)詞以及情感關(guān)系。

c）情感三元組抽取。

OPE任務(wù)仍然無法捕捉完整的情感信息，并且無法深入挖掘子任務(wù)之間的關(guān)聯(lián)信息。為此，Peng等人［2］提出情感三元組抽取方法，采用兩階段模型進(jìn)行三元組抽取。第一階段利用BIOES（begin，inside，outside，end，single）標(biāo)注方式與情感極性關(guān)聯(lián)的復(fù)合標(biāo)簽，提取方面詞及其情感極性，并利用標(biāo)準(zhǔn)的BIOES標(biāo)簽確定觀點(diǎn)詞；第二階段使用分類器匹配方面詞和觀點(diǎn)詞以獲得最終的三元組。但是，該方法存在明顯的誤差傳播問題，即第二階段的效果會(huì)嚴(yán)重依賴于第一階段提取的效果。因此，研究者們轉(zhuǎn)而采用聯(lián)合抽取的方式進(jìn)行三元組提取。Xu等人［3］采用具有位置感知標(biāo)記的方法來聯(lián)合提取三元組。Wu等人［20］設(shè)計(jì)了一種新穎的上三角網(wǎng)格標(biāo)記模式來解決三元組提取問題。Mao［21］、Chen［22］等人將ASTE任務(wù)轉(zhuǎn)換為機(jī)器閱讀理解方式。Xu［3］、Peng［2］、Zhang［4］等人采用序列標(biāo)注的方式抽取方面詞、評論觀點(diǎn)詞。

在上述關(guān)于ASTE的研究中，大部分研究者采用相對獨(dú)立的標(biāo)記空間將情感三元組中子元素識別方式轉(zhuǎn)變?yōu)椴煌愋偷膶W(xué)習(xí)任務(wù)，這容易忽略詞對之間的依賴關(guān)系以及方面詞、觀點(diǎn)詞與情感關(guān)系所屬類別的約束，容易產(chǎn)生三元組邊界識別錯(cuò)誤的問題。本文提出一種基于表格填充的多類別統(tǒng)一及邊界標(biāo)記模型（MUBTM），通過方面詞、觀點(diǎn)詞的所屬類別和情感極性建立的統(tǒng)一標(biāo)記空間來加強(qiáng)三元組間的信息關(guān)聯(lián)，并在三元組跨度識別中，聯(lián)合級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)化約束來緩解邊界識別錯(cuò)誤的問題，進(jìn)一步提升三元組抽取的性能。

2MUBTM模型

為實(shí)現(xiàn)ASTE的端到端抽取，受Peng［23］、Wang［24］等人的啟發(fā)，本文提出一種MUBTM模型。首先，選擇BERT預(yù)訓(xùn)練語言模型作為編碼器，學(xué)習(xí)評論文本的上下文向量表示；接著，利用雙仿射注意力機(jī)制，實(shí)現(xiàn)文本中詞對信息的采集與交互，并構(gòu)建情感三元組的多類別統(tǒng)一標(biāo)記空間；然后，結(jié)合級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)化約束，共同約束統(tǒng)一標(biāo)記空間的詞對間的概率分布，以凸顯三元組的邊界跨度差異；同時(shí)，根據(jù)情感三元組的邊界差異，進(jìn)一步確定三元組的跨度范圍；最后，在確定三元組跨度范圍的基礎(chǔ)上，根據(jù)情感三元組內(nèi)部子元素在統(tǒng)一標(biāo)記空間中為正方形或矩形結(jié)構(gòu)的特性，采用相應(yīng)的聯(lián)合解碼策略生成方面詞、評論觀點(diǎn)、情感極性三元組，模型整體結(jié)構(gòu)如圖1所示。

2.3聯(lián)合約束

a）級聯(lián)二進(jìn)制邊界約束。

對于提高情感三元組提取的準(zhǔn)確性而言，需準(zhǔn)確地在多類別統(tǒng)一標(biāo)記空間T中確定方面詞、評論觀點(diǎn)詞以及情感極性的跨度范圍。為此，受Wei等人［25］啟發(fā)，采用級聯(lián)二進(jìn)制確定實(shí)體邊界的方式，進(jìn)一步約束實(shí)體跨度的邊界概率。由于統(tǒng)一標(biāo)記空間T是一種多通道的標(biāo)記方式，若使用線性變換的方式編碼特征信息，會(huì)忽略通道內(nèi)外的交互信息。故借鑒Gu等人［26］將Transformer中的多層注意力機(jī)制輸出結(jié)果當(dāng)做多通道圖像運(yùn)算的思想，將標(biāo)記空間T視為高度與寬度均為n，且擁有Lc個(gè)通道數(shù)的正方形圖像，并利用兩層不同通道數(shù)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)跨度的級聯(lián)二進(jìn)制實(shí)體邊界約束。首先，利用Lc通道數(shù)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步捕捉詞間關(guān)系以及類別通道數(shù)的變換；接著，利用兩個(gè)單通道卷積核實(shí)現(xiàn)通道間的交互以及單詞的級聯(lián)二進(jìn)制邊界分類；然后，將每個(gè)單詞的實(shí)體邊界得分與預(yù)設(shè)閾值相比較，若該位置上的邊界得分大于閾值，則設(shè)置為1，反之設(shè)置為0；最后，根據(jù)邊界上的二進(jìn)制標(biāo)記，判斷每個(gè)單詞是否對應(yīng)指定實(shí)體跨度的起始位置和終止位置。每個(gè)單詞的跨度標(biāo)記操作如式（6）～（8）所示。

2.4情感三元組生成

由圖1中的多類別統(tǒng)一標(biāo)記空間T可知，在情感三元組生成階段，方面詞、觀點(diǎn)詞均是對角線上的正方形結(jié)構(gòu)，且兩者之間相關(guān)聯(lián)的情感極性為矩形結(jié)構(gòu)。因此，可將三元組生成過程轉(zhuǎn)變?yōu)樵诒砀馮中搜索正方形及矩形結(jié)構(gòu)的過程，詳細(xì)的生成算法過程主要分為以下三個(gè)階段：

a）跨度預(yù)測。

在統(tǒng)一標(biāo)記空間T中，三元組中任意子元素的跨度范圍內(nèi)，相鄰行或列的標(biāo)記均一致，若不一致則說明此行或者此列為邊界線。例如，第1行和第2行的標(biāo)記完全一致，則說明處于跨度范圍內(nèi)；第4行與第5行不一致，即說明第4行為邊界。以此為前置條件，尋找標(biāo)記空間T中的邊界位置，從而確定三元組的具體跨度范圍。

b）A/O類型預(yù)測。

首先，根據(jù)方面詞（A）與情感觀點(diǎn)詞（O）均是對角線上的正方形標(biāo)記結(jié)構(gòu)，確定A/O的跨度i，j；然后，根據(jù)跨度i，j確定所屬類別，=argmaxt∈{Yao∪0}Avg（Mi：j，i：j，t）；最后，按照相同類別確定（A，O）實(shí)體對。

c）三元組生成。

在得到（A，O）實(shí)體對之后，可根據(jù)A/O所在行和列唯一確定對角線之外的情感極性矩形結(jié)構(gòu)以及相應(yīng)的情感關(guān)系類型。令A(yù)的跨度為i、j，O的跨度為m、n，則情感極性的跨度可被唯一確定為i：j，m：n，確定的相應(yīng)情感類型為l^，l^=argmaxl∈{Yp∪0}Avg（Mi：j，m：n，l），與（A，O）實(shí)體對組合，可形成最終的情感三元組（A，O，P）。

3實(shí)驗(yàn)驗(yàn)證

3.1實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證本文模型的有效性，采用2019年之江杯電商評論觀點(diǎn)挖掘競賽數(shù)據(jù)集進(jìn)行驗(yàn)證。該數(shù)據(jù)集由“化妝品”和“筆記本電腦”兩個(gè)子數(shù)據(jù)集組成，包含35646條評論文本。由于該數(shù)據(jù)集中的評論文本較為口語化，并且存在一些無效字符，導(dǎo)致部分評論文本缺失情感三元組中的A或O。Pontiki等人［27］認(rèn)為，在ASTE任務(wù)中方面詞和情感觀點(diǎn)詞應(yīng)當(dāng)同時(shí)出現(xiàn)。因此，在對數(shù)據(jù)集進(jìn)行預(yù)處理過程中，對于缺失A或O的數(shù)據(jù)將直接刪除，對于一些無效字符采用字符串替換、正則表達(dá)式等數(shù)據(jù)清洗方法進(jìn)行過濾。最終，獲得21395條規(guī)范的評論數(shù)據(jù)，以8∶1∶1的比例將其劃分為訓(xùn)練集、驗(yàn)證集和測試集。

為實(shí)現(xiàn)多類別統(tǒng)一標(biāo)記空間，對該數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)分析，得出所有方面詞、評論觀點(diǎn)詞的所屬類別及情感極性關(guān)系類型，詳細(xì)類別描述如表1所示。

3.2評估指標(biāo)

為全面評估本文模型的效果，采用的評估指標(biāo)包括精確率P、召回率R和F1值，如式（12）～（15）所示。

其中：pi表示精確率；Ri表示召回率；Fi表示召回率和精確率的調(diào)和平均數(shù)；TP表示預(yù)測正確的情感三元組數(shù)量；FN表示將正確三元組預(yù)測為錯(cuò)誤的數(shù)量；FP表示將錯(cuò)誤三元組預(yù)測為正確的數(shù)量。正確的情感三元組是指方面詞范圍、情感極性、評論觀點(diǎn)范圍和真實(shí)標(biāo)簽的方面詞范圍、情感極性、評論觀點(diǎn)范圍完全一致。

3.3實(shí)驗(yàn)參數(shù)設(shè)置

使用BERT-base-Chinese作為句子編碼器，并在訓(xùn)練過程中進(jìn)行微調(diào)。對于MUBTM模型中的MLP而言，將其隱藏層向量維度設(shè)置為150，并使用GELU作為激活函數(shù)。同時(shí)，使用β1=0.9和β2=0.9的AdamW作為優(yōu)化器，batchsize設(shè)置為8，學(xué)習(xí)率為5E-5，權(quán)重衰減為1E-5。在進(jìn)行模型訓(xùn)練時(shí)，為防止模型過擬合，將dropout設(shè)置為0.1。

3.4實(shí)驗(yàn)過程

首先，在評論文本X的開頭和結(jié)尾部分拼接上［CLS］和［SEP］，利用BERT語言模型對評論文本X進(jìn)行語義編碼，得到768維的文本語義向量表示H；接著，利用2.2節(jié)中的頭部MLP和尾部MLP神經(jīng)網(wǎng)絡(luò)模型分別獲取文本的頭部向量表示和尾部向量表示，將其輸入到雙仿射注意力機(jī)制中得到形狀為［batch_size，seq_len，seq_len，Yp+Yao+1］的統(tǒng)一標(biāo)記空間矩陣M；然后，利用softmax激活函數(shù)求出矩陣M的概率分布，得到M′；再利用2.3節(jié)的級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)化約束來限制矩陣M′中的概率分布，得到約束后的矩陣S；最后，利用情感三元組生成算法得出最終的三元組。情感三元組生成算法的具體描述見2.4節(jié)，實(shí)現(xiàn)過程如算法1所示。

4實(shí)驗(yàn)結(jié)果分析

4.1對比實(shí)驗(yàn)分析

為全面評估本模型在情感三元組抽取任務(wù)上的有效性，本文選擇與目前解決ASTE任務(wù)具有代表性的六個(gè)基線模型相比較?；€模型可以分為兩類：

a）利用三元組內(nèi)部子元素交互信息的聯(lián)合抽取模型，包括GTS-BERT［20］、GTS-LSTM［20］和GTS-CNN［20］，這些模型先利用語言模型和注意力機(jī)制對樣本中的所有詞對進(jìn)行標(biāo)注，再利用表格推理策略生成三元組。

b）分離三元組內(nèi)部子元素的流水線抽取模型，包括：CMLA+［28］，先利用多層注意力機(jī)制獲取方面詞與觀點(diǎn)詞間的直接或者間接關(guān)系，再使用分類器選擇正確的方面詞、評論觀點(diǎn)詞對；HAST［29］，采用選擇性轉(zhuǎn)移網(wǎng)絡(luò)進(jìn)行觀點(diǎn)摘要，同時(shí)利用截?cái)鄽v史網(wǎng)絡(luò)捕獲歷史方面詞信息；OTE-MTL［4］，先利用多任務(wù)學(xué)習(xí)框架分別提取方面詞和評論觀點(diǎn)詞，再利用雙仿射得分器獲得詞級情感關(guān)系依賴，從而生成情感三元組。不同基線模型以及本文模型在2019年之江杯電商評論觀點(diǎn)挖掘競賽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示。

從表2中可以看出，對于端到端的模型，GTS-BERT、GTS-LSTM和MUBTM，其三元組抽取性能指標(biāo)F1值均優(yōu)于基于流水線式的模型。由此可知，相較于流水線式的方法，端到端的方法考慮了三元組間的關(guān)聯(lián)性，避免了誤差累積傳播的問題。

對于采用同樣的標(biāo)注策略，但是編碼器不同的模型，如GTS-BERT、GTS-LSTM和GTS-CNN，它們在抽取性能上的表現(xiàn)為GTS-BERTgt;GTS-LSTMgt;GTS-CNN。這說明從輸入文本中獲取更多有效語義交互信息的模型，可以為后續(xù)的相關(guān)任務(wù)提供更多的有用信息，從而表現(xiàn)出更佳的性能。

GTS-BERT和MUBTM模型雖然均采用基于表格填充的方式，但MUBTM在三元組抽取任務(wù)上的F1值相比于GTS-BERT模型提高了1%。由此可知，本文模型利用方面詞實(shí)體、觀點(diǎn)詞實(shí)體類型以及情感極性關(guān)系共同構(gòu)建的統(tǒng)一標(biāo)記空間可以將情感三元組的信息緊密聯(lián)系起來，有助于捕捉詞與詞之間的雙向信息；同時(shí)，引入級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)化約束可以有效限制三元組的跨度范圍，減少了三元組錯(cuò)分、漏分的概率，實(shí)驗(yàn)結(jié)果表明了本文方法的有效性。

4.2消融實(shí)驗(yàn)

為進(jìn)一步分析MUBTM模型中各個(gè)模塊對三元組抽取性能（triplet）和邊界位置確定（boundaryposition）的影響程度，對模型進(jìn)行消融實(shí)驗(yàn)，具體如下：

a）MUBTM-Sys：在MUBTM基礎(chǔ)上，移除表格T的對稱性結(jié)構(gòu)化約束。

b）MUBTM-CBT：在MUBTM基礎(chǔ)上，移除級聯(lián)二進(jìn)制邊界標(biāo)記對表格T的邊界約束。

c）MUBTM+Linear：在MUBTM基礎(chǔ)上，將二進(jìn)制邊界標(biāo)記中的多通道卷積神經(jīng)網(wǎng)絡(luò)的編碼方式替換為全連接神經(jīng)網(wǎng)絡(luò)。

在對MUBTM模型進(jìn)行消融實(shí)驗(yàn)研究中，實(shí)驗(yàn)結(jié)果展示了各模塊對triplet和boundaryposition性能的影響程度，如表3所示。

如表3所示，移除級聯(lián)二進(jìn)制標(biāo)記約束的模型（MUBTM-CBT）與原始模型（MUBTM）相比，triplet的F1值下降了0.7%，boundaryposition的F1值下降了1.1%，并且將MUBTM-CBT與MUBTM+Linear模型相比，boundaryposition的F1值也下降了0.4%。這說明通過級聯(lián)二進(jìn)制邊界標(biāo)記可以有效確定三元組在表格T中的邊界范圍，從而幫助模型更好地理解三元組內(nèi)部參數(shù)與外部參數(shù)之間的差異。對于MUBTM-Sys模型，未對表格T的結(jié)構(gòu)進(jìn)行對稱約束，使該模型忽略了部分結(jié)構(gòu)信息，如三元組的矩形結(jié)構(gòu)性質(zhì)，從而導(dǎo)致triplet抽取的F1值下降了0.9%，這表明對稱性結(jié)構(gòu)化約束能夠有效提高三元組生成的效率。

此外，同MUBTM相比，MUBTM+Linear的triplet的F1值下降了1%，boundaryposition的F1值下降了0.7%。主要原因是MUBTM+Linear模型使用全連接層進(jìn)行三元組的位置標(biāo)記，無法獲取詞之間的局部關(guān)聯(lián)信息，只起到了簡單的維度變換作用。而在MUBTM中，采用多通道卷積神經(jīng)網(wǎng)絡(luò)能夠獲取類似N-gram語言模型捕獲的詞間序列關(guān)聯(lián)信息，可以更準(zhǔn)確地確定三元組跨度范圍。

綜上所述，MUBTM模型中的各個(gè)子模塊對ASTE任務(wù)整體性能均具有較理想的結(jié)果。

4.3二元類別不均衡調(diào)節(jié)率λ的分析

MUBTM利用級聯(lián)二進(jìn)制邊界標(biāo)記確定三元組的邊界，即確定方面詞、評論觀點(diǎn)詞和情感極性的起始位置與終止位置。對于標(biāo)簽的起始位置或終止位置，在該位置上標(biāo)記為1，否則標(biāo)記為0，如圖1中的級聯(lián)二進(jìn)制邊界約束部分所示。研究發(fā)現(xiàn)，當(dāng)方面詞與評論觀點(diǎn)詞在句子中所占的比重較小時(shí)，標(biāo)簽1的數(shù)量將遠(yuǎn)小于標(biāo)簽0的數(shù)量，因此會(huì)產(chǎn)生標(biāo)簽類別失衡的問題。為緩解此類問題，采用調(diào)節(jié)率λ進(jìn)行類別均衡設(shè)置，λ相當(dāng)于在原來由sigmoid激活函數(shù)所得概率p的基礎(chǔ)上取λ次方。由于p∈［0，1］，則pλ會(huì)更加趨向于0，當(dāng)標(biāo)簽為0時(shí)，式（10）中Lpos=－λlogp會(huì)增大，而當(dāng)標(biāo)簽為1時(shí)，概率（1－pλ）更趨近于1，則Lpos會(huì)進(jìn)一步縮小。因此，該方法可以自適應(yīng)地調(diào)節(jié)損失權(quán)重，從而使p的分布更加符合目標(biāo)需求。為進(jìn)一步驗(yàn)證該方法的有效性，以及確定λ的取值，進(jìn)行了相關(guān)實(shí)驗(yàn)，結(jié)果如圖2所示。

由圖2可知，當(dāng)λ值為4時(shí)，模型的整體性能最好，更符合起始位置與終止位置中的正負(fù)樣本的比例。當(dāng)λgt;4時(shí)，模型抽取三元組的整體性能呈下降趨勢，主要原因在于λ對0、1標(biāo)簽樣本比例約束過大，使模型無法學(xué)習(xí)到詳細(xì)的邊界信息，從而導(dǎo)致抽取效果下降。

4.4實(shí)例分析

為了進(jìn)一步研究并驗(yàn)證MUBTM模型的性能和應(yīng)用價(jià)值，在2019年之江杯電商評論觀點(diǎn)挖掘競賽測試集中選取部分樣例進(jìn)行情感三元組預(yù)測，預(yù)測結(jié)果如表4所示，加粗代表識別錯(cuò)誤。

在第一個(gè)既無重疊又無復(fù)雜句式的樣例中，所有模型全部識別正確。在第二個(gè)樣例中，MUBTM-Sys和OTE-MTL均存在方面詞與觀點(diǎn)詞匹配不正確的問題，這主要是因?yàn)榫渥又写嬖诙鄠€(gè)觀點(diǎn)詞，會(huì)使方面詞難以從眾多的觀點(diǎn)詞中選擇正確的觀點(diǎn)詞。值得注意的是，本文模型表現(xiàn)出較理想的識別效果，這是因?yàn)閷⑷M抽取統(tǒng)一到同一個(gè)標(biāo)記空間中，使得詞對間的交互更具有方向性。在第三個(gè)樣例中，OTE-MTL在方面詞與觀點(diǎn)詞是一對多的情況下，尚未識別出兩對三元組，并且在識別出的三元組中存在觀點(diǎn)詞與方面詞匹配錯(cuò)誤的問題。對于MUBTM和MUBTM-Sys，僅識別出一組重疊的情感三元組，可能的原因是在統(tǒng)一標(biāo)記空間中“顯示”與形容“顯示”的觀點(diǎn)詞距離較遠(yuǎn)，減弱了觀點(diǎn)詞對方面詞的影響，從而導(dǎo)致重疊三元組識別不完整，這說明本方法在重疊三元組的識別上還有進(jìn)一步提升的空間。

5結(jié)束語

為解決目前ASTE抽取任務(wù)中存在的誤差累積、標(biāo)記空間分離、單實(shí)體重疊以及邊界模糊等問題，本文利用方面詞、觀點(diǎn)詞所屬類別及情感關(guān)系類別，結(jié)合級聯(lián)二進(jìn)制邊界約束和對稱性結(jié)構(gòu)約束的三元組邊界跨度限制的特性，并采用雙仿射注意力機(jī)制進(jìn)一步捕捉句子中深層次的詞對信息，提出一種基于表格填充的多類別統(tǒng)一及邊界標(biāo)記模型（MUBTM）。通過在2019年之江杯電商評論觀點(diǎn)挖掘競賽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法在ASTE任務(wù)上具有較佳的性能。同時(shí)，模型消融實(shí)驗(yàn)證明了模型各個(gè)模塊設(shè)置的合理性。

雖然本文模型在ASTE任務(wù)中取得了一定的效果，但是在三元組識別過程中，依然存在方面詞、觀點(diǎn)詞的跨度不清晰，重疊三元組識別不完全以及二進(jìn)制邊界閾值無法確定的問題。接下來，將考慮采用更為靈活的自適應(yīng)二進(jìn)制邊界閾值與領(lǐng)域詞典的方式，加強(qiáng)對三元組跨度的識別，從而進(jìn)一步提升ASTE任務(wù)的整體抽取性能，這將是本文下一步工作的重點(diǎn)問題。

參考文獻(xiàn)：

［1］LiuBing.Sentimentanalysisandopinionmining［J］.SynthesisLecturesonHumanLanguageTechnologies，2012，5（1）：154-167.

［2］PengHaixu，XuLu，BingLidong，etal.Knowingwhat，howandwhy：anearcompletesolutionforaspect-basedsentimentanalysis［C］//ProcofAAAIConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2020：8600-8607.

［3］XuLu，LiHao，LuWei，etal.Position-Awaretaggingforaspectsentimenttripletextraction［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2020：2339-2349.

［4］ZhangChen，LiQiuchi，SongDawei，etal.Amulti-tasklearningframeworkforopiniontripletextraction［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2020：819-828.

［5］宋云峰，任鴿，楊勇，等.基于注意力的多層次混合融合的多任務(wù)多模態(tài)情感分析［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（3）：716-720.（SongYunfeng，RenGe，YangYong，etal.Multimodalsentimentanalysisbasedonhybridfeaturefusionofmulti-levelattentionmechanismandmulti-tasklearning［J］.ApplicationResearchofComputers，2022，39（3）：716-720.）

［6］ZhangYiming，ZhangMin，WuSai，etal.Towardsunifyingthelabelspaceforaspect-andsentence-basedsentimentanalysis［C］//Fin-dingsoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2022：20-30.

［7］薛芳，過弋，李智強(qiáng)，等.基于雙層詞性感知和多頭交互注意機(jī)制的方面級情感分析［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（3）：704-710.（XueFang，GuoYi，LiZhiqiang，etal.Aspect-levelsentimentanalysisbasedondouble-layerpart-of-speech-awareandmulti-headinteractiveattentionmechanism［J］.ApplicationResearchofComputers，2022，39（3）：704-710.）

［8］WangYequan，HuangMinlie，ZhuXiaoyan，etal.Attention-basedLSTMforaspect-levelsentimentclassification［C］//ProcofConfe-renceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2016：606-615.

［9］MaDehong，LiSujian，ZhangXiaodong，etal.Interactiveattentionnetworksforaspect-levelsentimentclassification［C］//Procofthe26thInternationalJointConferenceonArtificialIntelligence.2017：4068-4074.

［10］WangFeixiang，LanMan，WangWenting.Towardsaone-stopsolutiontobothaspectextractionandsentimentanalysistaskswithneuralmulti-tasklearning［C］//ProcofInternationalJointConferenceonNeuralNetworks.2018：1-8.

［11］ChenPeng，SunZhongqian，BingLidong，etal.Recurrentattentionnetworkonmemoryforaspectsentimentanalysis［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2017：452-461.

［12］汪蘭蘭，姚春龍，李旭，等.結(jié)合依存句法分析與交互注意力機(jī)制的隱式方面提?。跩］.計(jì)算機(jī)應(yīng)用研究，2022，39（1）：37-42.（WangLanlan，YaoChunlong，LiXu，etal.Combiningdependencysyntacticparsingwithinteractiveattentionmechanismforimplicitaspectextraction［J］.ApplicationResearchofComputers，2022，39（1）：37-42.）

［13］XuHu，LiuBing，ShuLei，etal.DoubleembeddingsandCNN-basedsequencelabelingforaspectextraction［C］//Procofthe56thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2018：592-598.

［14］FanZhifang，WuZhen，DaiXinyu，etal.Target-orientedopinionwordsextractionwithtarget-fusedneuralsequencelabeling［C］//ProcofConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics：HumanLanguageTechnologies.Stroudsburg，PA：ACLPress，2019：2509-2518.

［15］WuZhen，ZhaoFei，DaiXinyu，etal.Latentopinionstransfernetworkfortarget-orientedopinionwordsextraction［C］//ProcofAAAIConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2020：9298-9305.

［16］MaDehong，LiSujian，WuFangzhao，etal.Exploringsequence-to-sequencelearninginaspecttermextraction［C］//Procofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2019：3538-3547.

［17］DaiHongliang，SongYangqiu.Neuralaspectandopiniontermextractionwithminedrulesasweaksupervision［C］//Procofthe57thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2019：5268.

［18］WangWenya，PanSJ.Transferableinteractivememorynetworkfordomainadaptationinfine-grainedopinionextraction［C］//ProcofAAAIConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2019：7192-7199.

［19］ChenShaowei，LiuJie，WangYu，etal.Synchronousdouble-channelrecurrentnetworkforaspect-opinionpairextraction［C］//Procofthe58thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2020：6515-6524.

［20］WuZhen，YingChengcan，ZhaoFei，etal.Gridtaggingschemeforaspect-orientedfine-grainedopinionextraction［C］//ProcofConfe-renceonEmpiricalMethodsInNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2020：2576-2585.

［21］MaoYue，ShenYi，YuChao，etal.Ajointtrainingdual-MRCframeworkforaspectbasedsentimentanalysis［C］//ProcofAAAIConfe-renceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2021：13543-13551.

［22］ChenShaowei，WangYu，LiuJie，etal.Bidirectionalmachinereadingcomprehensionforaspectsentimenttripletextraction［C］//ProcofAAAIConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2021：12666-12674.

［23］PengHao，GaoTianyu，HanXu，etal.Learningfromcontextornames？Anempiricalstudyonneuralrelationextraction［C］//ProcofConferenceonEmpiricalMethodsinNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2020：3661-3672.

［24］WangYijun，SunChangzhi，WuYuanbin，etal.UniRE：aunifiedlabelspaceforentityrelationextraction［C］//Procofthe59thAnnualMeetingoftheAssociationforComputationalLinguisticsandthe11thInternationalJointConferenceonNaturalLanguageProcessing.Stroudsburg，PA：ACLPress，2021：220-231.

［25］WeiZhepei，SuJianlin，WangYue，etal.Anovelcascadebinarytaggingframeworkforrelationaltripleextraction［C］//Procofthe58thAnnualMeetingoftheAssociationforComputationalLinguistics.Stroudsburg，PA：ACLPress，2020：1476-1488.

［26］GuXiaotao，WangZihan，BiZhenyu，etal.UCPhrase：unsupervisedcontext-awarequalityphrasetagging［C］//Procofthe27thACMSIGKDDConferenceonKnowledgeDiscoveryamp;DataMining.NewYork：ACMPress，2021：478-486.

［27］PontikiM，GalanisD，PapageorgiouH，etal.SemEval-2016task5：aspectbasedsentimentanalysis［C］//Procofthe10thInternationalWorkshoponSemanticEvaluation.Stroudsburg，PA：ACLPress，2016：19-30.

［28］WangWenya，PanSJ，DahlmeierD，etal.Coupledmulti-layerattentionsforco-extractionofaspectandopinionterms［C］//ProcofAAAIConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2017：273-284.

［29］LiXin，BingLidong，LiPiji，etal.Aspecttermextractionwithhistoryattentionandselectivetransformation［C］//Procofthe27thInternationalJointConferenceonArtificialIntelligence.PaloAlto，CA：AAAIPress，2018：4194-4200.