張韻琪，李松達(dá)，蘭于權(quán)，李東旭，趙 慧,2+

1.華東師范大學(xué) 軟件工程學(xué)院，上海 200062

2.華東師范大學(xué) 上海市高可信計算重點(diǎn)實(shí)驗(yàn)室，上海 200062

對于商家而言，滿足顧客日益增長的需求對搶占市場份額至關(guān)重要。隨著線上信息交流平臺的普及，顧客對于商品反饋的信息量大幅增加。同時，顧客往往會對商品多個方面進(jìn)行評價。方面情感三元組抽?。╝spect sentiment triplet extraction，ASTE）是方面級情感分析（aspect-based sentiment analysis，ABSA）的一項(xiàng)子任務(wù)[1]，實(shí)現(xiàn)對方面詞-情感極性-觀點(diǎn)詞三元組的抽取，可以幫助商家從大量評論中挖掘顧客對商品不同方面的觀點(diǎn)和情感極性，為商家改進(jìn)商品提供具體思路，提高消費(fèi)者滿意度。

通過觀察可以發(fā)現(xiàn)，真實(shí)的評論中往往存在以下兩種情況：一種情況是顧客會針對同一商品的不同方面進(jìn)行評價。以“電腦已收到，這價位非常給力，但客服態(tài)度不好”為例，顧客同時評價了“價位”和“客服態(tài)度”兩個方面，并表達(dá)了不同的觀點(diǎn)和情感。另一種情況是顧客針對同一方面可能存在多種情感極性。以“顯示屏很不錯，但是太貴了”為例，對于“顯示屏”，分別通過“很不錯”來表達(dá)正面的情感極性，通過“太貴”表達(dá)負(fù)面的情感極性。

目前，針對ASTE 任務(wù)的模型主要可分為兩類：流水線模型和端到端模型。

流水線模型[2]將ASTE 任務(wù)分為兩階段：第一階段基于兩個序列標(biāo)注任務(wù)，分別預(yù)測方面詞-情感極性對和觀點(diǎn)詞；第二階段基于分類器，判斷方面詞-情感極性對和觀點(diǎn)詞是否匹配。在預(yù)測方面詞-情感極性對的時候，模型采用了一種統(tǒng)一標(biāo)注方式，把方面詞的邊界信息和情感極性融入一個標(biāo)簽。但是，該方式?jīng)]有考慮觀點(diǎn)詞對判斷情感極性的影響，而且無法解決三元組方面詞重疊問題。以“顯示屏不錯，但是太貴了”為例，其中包含（“顯示屏”，正面，“不錯”）和（“顯示屏”，負(fù)面，“太貴”）兩個三元組。針對“顯示屏”這一方面詞，同時存在兩種情感極性。但是，對于同一方面詞，上述標(biāo)注方式只能標(biāo)注出一種情感極性。

端到端模型[3-4]將ASTE 任務(wù)分為方面詞和觀點(diǎn)詞抽取以及情感極性分類兩個子任務(wù)，在兩項(xiàng)子任務(wù)中共享編碼器進(jìn)行多任務(wù)學(xué)習(xí)。方面詞和觀點(diǎn)詞抽取子任務(wù)的難點(diǎn)在于確定詞的邊界。以“耳機(jī)盒好看”為例，方面詞應(yīng)為“耳機(jī)盒”，如果方面詞邊界識別錯誤，可能得到結(jié)果“耳機(jī)”。情感極性分類子任務(wù)的難點(diǎn)在于正確配對方面詞和觀點(diǎn)詞，并判斷情感極性。以“物流很快，但質(zhì)量很差”為例，“物流-很差”雖然語義合理，但不是對應(yīng)關(guān)系。兩項(xiàng)子任務(wù)難點(diǎn)不同，導(dǎo)致二者所需學(xué)習(xí)的特征信息之間存在差異。然而，共享編碼器為兩項(xiàng)子任務(wù)提取特征是相同的，導(dǎo)致模型在多任務(wù)學(xué)習(xí)過程中易出現(xiàn)特征混淆問題[5-6]，兩項(xiàng)子任務(wù)無法同時達(dá)到最佳效果。

針對上述問題，本文提出了片段級別的雙編碼器方面情感三元組抽取模型（span-level dual-encoder model for ASTE，SD-ASTE）。該模型是一個由片段識別和情感分類兩模塊構(gòu)成的流水線模型。兩模塊分別完成方面詞和觀點(diǎn)詞抽取以及情感極性分類，采用相互獨(dú)立的編碼器學(xué)習(xí)各自所需的特征信息。片段識別模塊側(cè)重于學(xué)習(xí)方面詞和觀點(diǎn)詞的邊界信息，情感分類模塊側(cè)重于針對不同方面詞-觀點(diǎn)詞對，學(xué)習(xí)三元組各元素之間的相互依賴關(guān)系。

1 相關(guān)研究

ASTE 任務(wù)由Peng 等人[2]提出，Peng 等人采用流水線模型將任務(wù)分成兩階段，第一階段分別預(yù)測方面詞-情感極性對和觀點(diǎn)詞，第二階段將二者配對。該流水線模型判斷情感極性時，沒有考慮觀點(diǎn)詞，而且無法解決方面詞重疊問題，加重了誤差積累問題。

之后，開始有研究者采用端到端模型完成該任務(wù)。Xu 等人[7]提出了一種采用位置感知標(biāo)注方式的模型JET（joint extraction of triplets），在BIOES 序列標(biāo)注方式中融入觀點(diǎn)詞和方面詞之間的位置信息。為了更好地確定方面詞和觀點(diǎn)詞的邊界，Wu 等人[8]提出了一種網(wǎng)格標(biāo)注方式GTS（grid tagging scheme），對句子中的單詞兩兩進(jìn)行標(biāo)注，除了單詞之間的情感極性之外，還標(biāo)注出了兩個單詞是否屬于同一個方面詞或同一個觀點(diǎn)詞。

上述模型在判斷情感極性時都只利用了單詞級別（word-level）的信息，沒有充分利用方面詞和觀點(diǎn)詞片段級別（span-level）的信息。

受到實(shí)體關(guān)系聯(lián)合抽取相關(guān)工作的啟發(fā)，Xu 等人[4]進(jìn)一步優(yōu)化JET 模型，基于片段排列[9-10]的思想，提出Span-ASTE（span-level model for ASTE）模型。該模型采用雙通道片段修剪策略確定方面詞和觀點(diǎn)詞，再從片段角度預(yù)測候選方面詞-觀點(diǎn)詞對的情感極性。而Mukherjee 等人[3]基于指針網(wǎng)絡(luò)[11]的解碼方式，提出PASTE（pointer networks for ASTE）模型，其核心是一個編碼-解碼框架。在編碼階段，基于預(yù)訓(xùn)練模型，獲得片段特征表示。在解碼階段，在方面情感三元組中融入位置信息（方面詞和觀點(diǎn)詞的起始位置），轉(zhuǎn)換成五元組。該模型針對三元組重疊問題有了很大的提升。

機(jī)器閱讀理解（machine reading comprehension，MRC）為ASTE任務(wù)提供了另一種思路。Chen等人[12]提出模型BMRC（bidirectional machine reading comprehension），通過三輪MRC 任務(wù)完成了ASTE 任務(wù)。首先，分別查詢?nèi)糠矫嬖~和觀點(diǎn)詞；隨后，將方面詞和觀點(diǎn)詞進(jìn)行配對；最后，查詢方面詞-觀點(diǎn)詞對的情感極性。Mao 等人[13]通過兩個BERT-MRC 模型共享參數(shù)進(jìn)行聯(lián)合訓(xùn)練，先查詢出句子中的方面詞，然后根據(jù)方面詞，查詢其觀點(diǎn)詞-情感極性對。

也有學(xué)者將ASTE任務(wù)建模為生成任務(wù)。Yan等人[14]引入了指針?biāo)饕硎揪渥又蟹矫嬖~和觀點(diǎn)詞的起始和結(jié)束位置，采用生成式框架，利用預(yù)訓(xùn)練模型BART（bidirectional and auto-regressive transformers），生成由方面詞指針?biāo)饕?、觀點(diǎn)詞指針?biāo)饕颓楦袠O性類別組成的序列。Lu 等人[15]提出了一個文本到結(jié)構(gòu)的生成框架UIE（unified information extraction architecture），通過一種結(jié)構(gòu)化抽取語言（structured extraction language，SEL）編碼方面情感三元組，并設(shè)計了結(jié)構(gòu)模式指導(dǎo)器（structural schema instructor，SSI）來控制UIE模型的生成。

2 方法和模型

2.1 問題定義

給定數(shù)據(jù)集D，輸入序列為語句X=[w1,w2,…,wn]，ASTE任務(wù)的目標(biāo)是抽取出X中所有方面情感三元組構(gòu)成的集合T={t1,t2,…,tk}，ti=(Ai,Pi,Oi)，其中，Ai和Oi分別表示方面詞和觀點(diǎn)詞，Pi∈{Pos,Neg,Neu}表示二者對應(yīng)的情感極性，Pos、Neg和Neu分別表示正面、負(fù)面和中性情感。

定義1（片段）設(shè)si,j為輸入序列X的一個片段，表示X的子序列[wi,wi+1,…,wj]，其中1 ≤i≤j≤n。

定義2（片段類別集合）設(shè)片段類別集合為C={A,O,NC}，其中，A表示方面詞片段，O表示觀點(diǎn)詞片段，NC表示無意義片段。

給定片段si,j，片段識別旨在預(yù)測其類別c∈C的概率分布函數(shù)P(c|si,j)，最大化概率，得到最優(yōu)類別LC(i,j)。輸出為方面詞集合SA和觀點(diǎn)詞集合SO。

定義3（片段對）設(shè)片段對為(si,j,sp,q)，其中，si,j∈SA是方面詞片段，sp,q∈SO是觀點(diǎn)詞片段。

定義4（情感極性集合）設(shè)情感極性集合為V={Pos,Neg,Neu,NV}，其中，NV表示無情感。

給定片段對(si,j,sp,q)，情感分類旨在預(yù)測其情感極性v∈V的概率分布函數(shù)P(v|si,j,sp,q)，最大化概率，得到最優(yōu)情感極性LV(si,j,sp,q)。輸出為方面情感三元組集合T。

基于上述任務(wù)定義，本文提出了片段級別的雙編碼器方面情感三元組抽取模型SD-ASTE，圖1示意了模型結(jié)構(gòu)，包括片段識別模塊和情感分類模塊。

圖1 SD-ASTE模型結(jié)構(gòu)Fig.1 Structure of SD-ASTE

2.2 片段識別模塊

該模塊首先采用TPL（token pair linking）方式，標(biāo)注所有片段的類別，構(gòu)建詞元之間的聯(lián)系。其次，基于BERT（bidirectional encoder representations from transformers）模型[16]得到輸入序列的特征向量。然后，基于片段邊界和長度信息，對片段進(jìn)行特征表示。最后，通過前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural network，F(xiàn)NN）學(xué)習(xí)片段特征信息，對片段進(jìn)行分類，得到所有方面詞片段和觀點(diǎn)詞片段。

2.2.1 TPL標(biāo)注層

TPL 標(biāo)注的標(biāo)簽集合為C?{U}={A,O,NC,U}。設(shè)標(biāo)注矩陣為TC。若1 ≤j-i+1 ≤L且i≤j，則標(biāo)注TC(i,j)為si,j片段類別；否則標(biāo)注為U。其中L為超參數(shù)，是片段長度閾值。圖2為L=5的標(biāo)注結(jié)果。

圖2 TPL標(biāo)注方式Fig.2 TPL tagging scheme

2.2.2 編碼層

編碼層基于BERT 對輸入序列編碼。對于輸入序列X=[w1,w2,…,wn]，先獲取其字嵌入向量、段嵌入向量和位置嵌入向量，BERT 將三種向量相加，再通過Transformer得到特征向量E=[e1,e2,…,en]。

2.2.3 片段表示層

片段表示層對每個片段進(jìn)行特征表示，由片段首尾特征表示和片段長度嵌入表示兩部分構(gòu)成。對于片段si,j，其首尾詞元分別為wi和wj，那么在特征向量E中，其首尾對應(yīng)的特征表示分別為ei和ej；其長度為j-i+1 ∈[1,L]，對片段長度構(gòu)造獨(dú)熱向量x=[x1,x2,…,xL]，其中xj-i+1=1，將x輸入到一個全連接層，得到長度j-i+1的嵌入表示l(j-i+1)：

其中，W和b是模型要學(xué)習(xí)的權(quán)重矩陣和偏置向量。

將片段首尾特征表示和長度嵌入表示拼接，得到片段si,j的特征表示hspan(si,j)，具體如下：

2.2.4 片段分類層

對于片段表示層的輸出hspan(si,j)，將其輸入到一個兩層FNN 中，通過softmax 函數(shù)歸一化，得到片段si,j的類別c∈C的概率分布：

通過公式，得到片段最優(yōu)類別標(biāo)簽：

最終，輸出方面詞集合SA={si,j|LC(i,j)=A}和觀點(diǎn)詞集合SO={si,j|LC(i,j)=O}。

模型訓(xùn)練過程中，損失函數(shù)為交叉熵?fù)p失：

其中，TC(i,j)是片段si,j的真實(shí)類別標(biāo)注。

2.3 情感分類模塊

基于片段識別模塊的輸出，該模塊首先通過SPL（span pair linking）方式，標(biāo)注所有片段對的情感極性，構(gòu)建片段之間的聯(lián)系。其次，在輸入序列末尾插入懸浮標(biāo)記[17]，并針對附加懸浮標(biāo)記的輸入序列，設(shè)計位置嵌入向量和注意力掩碼矩陣，通過BERT 得到特征向量。然后，基于懸浮標(biāo)記對片段對進(jìn)行特征表示。最后，通過FNN 學(xué)習(xí)片段對的特征信息，分類片段對的情感極性，得到所有方面情感三元組。

2.3.1 SPL標(biāo)注層

SPL 標(biāo)注的標(biāo)簽集合為V={Pos,Neg,Neu,NV}。設(shè)標(biāo)注矩陣為TV。將TV(si,j,sp,q)標(biāo)注為片段對(si,j,sp,q)的情感極性。圖3為一個SPL標(biāo)注的示例。

圖3 SPL標(biāo)注方式Fig.3 SPL tagging scheme

2.3.2 編碼層

編碼層在原始輸入序列中插入懸浮標(biāo)記，通過BERT，對附加懸浮標(biāo)記的輸入序列進(jìn)行編碼。

第一步，插入懸浮標(biāo)記。對于輸入序列X中所有可能的片段對，在序列末尾插入懸浮標(biāo)記[A]和[A]用于標(biāo)記方面詞，插入懸浮標(biāo)記[O]和[O]用于標(biāo)記觀點(diǎn)詞，得到附加懸浮標(biāo)記的輸入序列X′=[x1′,x2′,…,xn′,…,xm′]。

第二步，設(shè)計BERT 輸入中的位置嵌入向量。在附加懸浮標(biāo)記的輸入序列中，同一片段的懸浮標(biāo)記可能出現(xiàn)在多個不同的位置。以圖1輸入序列為例，綠色[O]均對應(yīng)“有”，但在X′中的位置索引不同。此外，本文基于懸浮標(biāo)記對片段對進(jìn)行特征表示，因此懸浮標(biāo)記應(yīng)該學(xué)習(xí)到其對應(yīng)片段所在位置的上下文特征。因此，需要把懸浮標(biāo)記的位置嵌入與其對應(yīng)片段的位置嵌入關(guān)聯(lián)起來。對于片段si,j∈SA和sp,q∈SO，其懸浮標(biāo)記的位置嵌入為：

其中，e′pINDEX(?)表示懸浮標(biāo)記對應(yīng)的位置嵌入，[A:si,j]和[A:si,j]、[O:sp,q]和[O:sp,q]分別表示si,j和sp,q的起始和終止懸浮標(biāo)記。

第三步，在BERT 輸入中設(shè)置注意力掩碼矩陣。Transformer 通過自注意力機(jī)制計算序列中每個詞元與所有詞元的相互關(guān)系，再利用這種關(guān)系調(diào)整詞元的特征表示。而文本詞元的含義與懸浮標(biāo)記無關(guān)，因此在編碼過程中，文本詞元不需要考慮懸浮標(biāo)記。本文通過設(shè)置注意力掩碼矩陣來解決該問題。如果wi′為文本詞元，wj′為懸浮標(biāo)記，則令注意力掩碼矩陣M的元素mij=0；否則，令mij=1。這樣，在計算文本詞元wi′和其他詞元的相互關(guān)系時，BERT 會對wj′掩碼，從而不考慮wj′對wi′的影響。

第四步，將上述位置嵌入向量、注意力掩碼矩陣和X′ 輸入 BERT，得到X′ 特征向量E′=[e′1,e′2,…,e′m]。

2.3.3 片段對表示層

片段對表示層實(shí)現(xiàn)每組片段對的特征表示。對于片段對(si,j,sp,q)，其特征表示由兩個片段的起始懸浮標(biāo)記的特征表示拼接而成：

其中，INDEX(?)表示懸浮標(biāo)記在X′中的下標(biāo)索引。

2.3.4 情感極性分類層

對于片段對表示層的輸出hpair(si,j,sp,q)，將其輸入到兩層FNN 中。通過softmax 函數(shù)歸一化，得到片段對(si,j,sp,q)情感極性v∈V的概率分布：

通過公式，得到其最優(yōu)情感極性標(biāo)簽：

最終，得到方面情感三元組集合T={(si,j,LV(si,j,sp,q),sp,q)|LV(si,j,sp,q)≠NV}。

模型訓(xùn)練過程中，損失函數(shù)采用交叉熵?fù)p失：

其中，TV(si,j,sp,q)是片段對(si,j,sp,q)的真實(shí)情感極性標(biāo)注。

3 實(shí)驗(yàn)設(shè)計及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在三個數(shù)據(jù)集上對模型進(jìn)行了評估。數(shù)據(jù)集1（DS1）來自《CCF-BDCI 2018 汽車行業(yè)用戶觀點(diǎn)主題及情感識別》，是汽車論壇評論，包含觀點(diǎn)詞、方面類別、情感極性三個字段。DS1在原數(shù)據(jù)集的基礎(chǔ)上標(biāo)注了方面詞[18]。數(shù)據(jù)集2（DS2）來自《之江杯電商評論觀點(diǎn)挖掘大賽》，包含觀點(diǎn)詞、方面詞、情感極性三個字段，是化妝品相關(guān)的商品評論。數(shù)據(jù)集3（DS3）來自《基于主題的文本情感分析比賽》，是電商評論，包含觀點(diǎn)詞、方面詞、情感極性三個字段，其涉及的商品類別更加廣泛。

過濾方面詞或觀點(diǎn)詞為空的數(shù)據(jù)，按6∶2∶2將其劃分為訓(xùn)練集（train）、驗(yàn)證集（dev）、測試集（test）。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計Table 1 Statistics of datasets

3.2 實(shí)驗(yàn)設(shè)計

3.2.1 對比實(shí)驗(yàn)

該實(shí)驗(yàn)用于對比SD-ASTE模型和其他基線模型的效果。本文對比的模型包括以下方法：

PengTwoStage[2]：基于雙向長短時記憶神經(jīng)網(wǎng)絡(luò)（bi-directional long short-term memory，BiLSTM）和圖卷積網(wǎng)絡(luò)（graph convolutional networks，GCN）的兩階段流水線模型。

BMRC[12]：通過三輪MRC 任務(wù)，分別實(shí)現(xiàn)方面詞抽取、觀點(diǎn)詞抽取和情感極性判斷。

BARTABSA[14]：基于BART 完成序列生成任務(wù)，再將其轉(zhuǎn)換為方面情感三元組。

JET-BERT[7]：提出位置感知標(biāo)注方式，模型核心是條件隨機(jī)場和半馬爾科夫條件隨機(jī)場。

GTS-BERT[8]：提出網(wǎng)格標(biāo)注方式，用于解決方面情感三元組重疊問題。

PASTE[3]：基于指針網(wǎng)絡(luò)的解碼思想，考慮了方面詞和觀點(diǎn)詞片段級別的信息。

Span-ASTE[4]：基于片段排列的思想，并提出雙通道片段修剪策略，用于確定方面詞和觀點(diǎn)詞。

3.2.2 有效性實(shí)驗(yàn)

該實(shí)驗(yàn)用于驗(yàn)證本文提出的片段特征表示、片段對特征表示和編碼方式的有效性。表2 示意了實(shí)驗(yàn)具體設(shè)計。

表2 有效性實(shí)驗(yàn)設(shè)計Table 2 Design of validity experiments

對于片段特征表示，采用以下方式進(jìn)行實(shí)驗(yàn)：方式1將片段首尾特征和長度嵌入拼接，即本文采用的方式；方式2 在方式1 的基礎(chǔ)上去除長度嵌入；方式3從輸入序列的特征向量中，獲取片段對應(yīng)的特征向量，對其進(jìn)行最大池化；方式4 將方式3 中的最大池化替換為平均池化。

對于片段對特征表示，采用以下方式進(jìn)行實(shí)驗(yàn)：方式1 將方面詞和觀點(diǎn)詞對應(yīng)的起始懸浮標(biāo)記的特征表示拼接，即本文采用的方式；方式2參考PASTE[3]和Span-ASTE[4]模型的方式，將片段特征表示和片段之間的距離嵌入拼接。

對于編碼方式，端到端方法認(rèn)為，在方面詞和觀點(diǎn)詞識別子任務(wù)以及情感極性分類子任務(wù)中共享編碼器，可以使兩項(xiàng)子任務(wù)相互促進(jìn)。而SD-ASTE 模型通過兩個獨(dú)立編碼器對兩階段分別編碼。因此，本文在SD-ASTE模型的兩個階段中采用一個共享編碼器，修改模型損失為兩階段損失之和，進(jìn)行實(shí)驗(yàn)。

3.3 實(shí)驗(yàn)設(shè)置

對于PengTwoStage，基于本文的數(shù)據(jù)集訓(xùn)練300維GloVe[19]向量，作為詞嵌入模型。BARTABSA 采用bart-base-chinese[20]作為預(yù)訓(xùn)練模型。其余模型均采用bert-base-chinese[16]作為預(yù)訓(xùn)練模型。

模型在單Nvidia GeForceRTX-3090 Ti GPU 上訓(xùn)練。實(shí)驗(yàn)機(jī)器的操作系統(tǒng)為Linux Ubuntu 20.04，內(nèi)存為32 GB，Python 版本為3.8.0，深度學(xué)習(xí)框架為PyTorch 1.10.2。表3 示意了SD-ASTE 模型的實(shí)驗(yàn)參數(shù)設(shè)置。

表3 實(shí)驗(yàn)參數(shù)設(shè)置Table 3 Experimental parameter setting

3.4 實(shí)驗(yàn)結(jié)果

本文采用精確率、召回率和F1 值作為模型評估標(biāo)準(zhǔn)。實(shí)驗(yàn)重復(fù)三次，取結(jié)果的平均值。

3.4.1 對比實(shí)驗(yàn)

該實(shí)驗(yàn)對比了SD-ASTE模型和其他基線模型的效果，實(shí)驗(yàn)結(jié)果如表4所示。

表4 對比實(shí)驗(yàn)結(jié)果Table 4 Results of comparative experiments 單位：%

結(jié)果表明，本文提出的SD-ASTE 模型在三個數(shù)據(jù)集上的效果都是最優(yōu)的。

相較于流水線最優(yōu)模型PengTwoStage，SD-ASTE模型在三個數(shù)據(jù)集上的F1 值分別提高了18.56 個百分點(diǎn)、23.07 個百分點(diǎn)、18.34 個百分點(diǎn)。這一顯著提升是因?yàn)镾D-ASTE 采用SPL 標(biāo)注方式，避免了三元組重疊問題。同時，本文提出的基于懸浮標(biāo)記的片段對特征表示方式，可以更好地學(xué)習(xí)三元組各元素之間的依賴關(guān)系，從而更準(zhǔn)確地判斷情感極性。

相較于端到端最優(yōu)模型Span-ASTE，SD-ASTE模型在三個數(shù)據(jù)集上的F1值分別提高了2.88個百分點(diǎn)、2.24 個百分點(diǎn)、2.08 個百分點(diǎn)。分析認(rèn)為，SDASTE 模型在兩模塊采用獨(dú)立編碼器，并針對兩模塊分別設(shè)計了特征表示方式，可以更好地學(xué)習(xí)兩模塊各自需要的特征。

3.4.2 有效性實(shí)驗(yàn)

該實(shí)驗(yàn)分別驗(yàn)證了片段特征表示方式、片段對特征表示方式和編碼方式的有效性，圖4（a）～（c）示意了實(shí)驗(yàn)結(jié)果。

圖4 有效性實(shí)驗(yàn)結(jié)果Fig.4 Results of validity experiments

片段特征表示方式的實(shí)驗(yàn)結(jié)果表明，片段長度和首尾特征信息在片段識別過程中起到了重要作用，這兩項(xiàng)信息可以幫助模型更好地確定片段邊界。

片段對特征表示方式的實(shí)驗(yàn)結(jié)果表明，本文采用的方式對情感極性分類的效果有明顯提升。這種特征表示方式可以針對不同片段對，更有效地學(xué)習(xí)方面詞和觀點(diǎn)詞之間的依賴關(guān)系，從而提取更多有助于情感極性分類的特征信息。

編碼方式的實(shí)驗(yàn)結(jié)果表明，共享編碼不能幫助提高情感三元組抽取的結(jié)果，而采用兩個獨(dú)立的編碼器可以更好地提取不同任務(wù)所需的特征，有效提升了模型整體的效果。

4 結(jié)束語

ASTE 任務(wù)是細(xì)粒度的方面級情感分析任務(wù)，其目的是抽取句子中所有方面情感三元組。目前ASTE 任務(wù)面臨以下問題：流水線模型沒有考慮觀點(diǎn)詞對判斷情感極性的影響，且無法解決三元組重疊問題；而端到端模型采用共享編碼器，存在特征混淆問題。

本文提出了片段級別的雙編碼器方面情感三元組抽取模型SD-ASTE。該模型分為片段識別和情感分類兩模塊，分別采用TPL 和SPL 標(biāo)注方式，解決了三元組重疊問題。片段識別模塊采用融入片段首尾和長度信息的片段特征表示方式，可以更好地確定方面詞和觀點(diǎn)詞的邊界。情感分類模塊采用基于懸浮標(biāo)記的片段對特征表示方式，可以更有效地針對不同片段對，學(xué)習(xí)三元組各元素之間的依賴關(guān)系。兩模塊各自通過一個獨(dú)立編碼器進(jìn)行特征提取，避免了特征混淆問題。多個數(shù)據(jù)集上的對比實(shí)驗(yàn)驗(yàn)證了SD-ASTE 相比其他主流模型具有更優(yōu)效果，有效性實(shí)驗(yàn)驗(yàn)證了本文所采用的片段特征表示方式、片段對特征表示方式和編碼方式的有效性。

目前，ASTE 任務(wù)的數(shù)據(jù)集主要集中于商品評論這一場景，下一步工作將針對其他場景，探索基于遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)的方法。