陳林穎，劉建華*，孫水華，鄭智雄，林鴻輝，林 杰

（1.福建工程學(xué)院 計(jì)算機(jī)科學(xué)與數(shù)學(xué)學(xué)院，福州 350118；2.福建省大數(shù)據(jù)挖掘與應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室（福建工程學(xué)院），福州 350118）

0 引言

面向方面的細(xì)粒度意見(jiàn)提?。ˋspect-oriented Finegrained Opinion Extraction，AFOE）［1］是細(xì)粒度情感分析［2-3］的一項(xiàng)重要任務(wù)，提取給定句子的意見(jiàn)對(duì)（方面詞，意見(jiàn)詞）或意見(jiàn)三元組（方面詞，意見(jiàn)詞，情感極性）。其中，方面詞和意見(jiàn)詞是兩個(gè)重要因素：方面詞也被稱為意見(jiàn)目標(biāo)，通常指句子中討論的實(shí)體單詞或短語(yǔ)；意見(jiàn)詞是一個(gè)表達(dá)主觀態(tài)度的詞或短語(yǔ)。例如，“這家酒店的環(huán)境很好，但服務(wù)太差”，“環(huán)境”和“服務(wù)”是兩個(gè)方面詞，“很好”和“太差”是兩個(gè)意見(jiàn)詞。

意見(jiàn)二元組（意見(jiàn)對(duì)）提取（Opinion Pair Extraction，OPE）是以（方面詞，意見(jiàn)詞）的形式從一個(gè)句子中提取所有的意見(jiàn)對(duì)。這個(gè)任務(wù)需要提取三個(gè)意見(jiàn)因素，即方面詞、意見(jiàn)詞以及它們之間的配對(duì)關(guān)系。在上個(gè)例子中包含的兩個(gè)意見(jiàn)對(duì)分別是（環(huán)境，很好）和（服務(wù)，太差），前者表示方面詞，后者表示相應(yīng)的意見(jiàn)詞。與OPE 相比，意見(jiàn)三元組提取（Opinion Triplet Extraction，OTE）增加了預(yù)測(cè)意見(jiàn)對(duì)的情感極性，兩個(gè)意見(jiàn)三元組分別為（環(huán)境，很好，積極），（服務(wù)，太差，消極）。OPE 或OTE 任務(wù)的主要挑戰(zhàn)在于一個(gè)句子中經(jīng)常會(huì)出現(xiàn)一個(gè)方面詞對(duì)應(yīng)多個(gè)意見(jiàn)詞，或一個(gè)意見(jiàn)詞對(duì)應(yīng)多個(gè)方面詞。

在傳統(tǒng)的意見(jiàn)對(duì)提取任務(wù)中，大多研究工作致力于在一個(gè)聯(lián)合框架中同時(shí)提取方面詞和意見(jiàn)詞，Wang 等［4］將遞歸神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)集成到一個(gè)統(tǒng)一的框架中，用于顯式方面詞和意見(jiàn)詞的聯(lián)合提取；Yu 等［5］提出一種全局推理方法，通過(guò)顯式的方式對(duì)方面詞和意見(jiàn)詞之間的幾個(gè)句法約束建模揭示它們之間的關(guān)系；Dai 等［6］提出了一種基于依賴解析結(jié)果的算法，從現(xiàn)有訓(xùn)練樣本中自動(dòng)挖掘提取規(guī)則，解決了訓(xùn)練數(shù)據(jù)缺乏的問(wèn)題。然而，這些方法抽取出的方面詞和意見(jiàn)詞相互獨(dú)立，忽略了方面詞和意見(jiàn)詞之間的配對(duì)關(guān)系。為了解決這一問(wèn)題，Wu 等［1］提出了網(wǎng)格標(biāo)記方案（Grid Tagging Scheme，GTS），該方案預(yù)測(cè)了所有可能的詞對(duì)之間的情感關(guān)系，并通過(guò)特定的解碼策略生成三元組；Li 等［7］提出了基于位置感知的 BERT（Bidirectional Encode Representation from Transformers）框架（Position aware BERTbased Framework，PBF）［8］，以管道方式相繼提取方面詞、對(duì)應(yīng)的意見(jiàn)詞并預(yù)測(cè)該意見(jiàn)對(duì)的情感極性；Mukherjee 等［9］基于指針網(wǎng)絡(luò)，在每個(gè)時(shí)間步生成完整的意見(jiàn)三元組。夏鴻斌等［10］提出了GTS 的詞對(duì)關(guān)系標(biāo)注方案（Word-Pair Relation Tagging Scheme，WPRTS），通過(guò)改進(jìn)GTS 的詞對(duì)關(guān)系標(biāo)注構(gòu)建詞對(duì)關(guān)系網(wǎng)絡(luò)，能提高三元組提取性能。但是，以上方法都未考慮意見(jiàn)對(duì)局部上下文重要性。如圖1 所示，句中有兩對(duì)意見(jiàn)三元 組，分別為（hot dogs，top notch，positive）和（coffee，average，neutral）。觀察圖1 可知，遠(yuǎn)距離的意見(jiàn)詞average 可能影響到方面詞hot dogs 的情感極性；反之，意見(jiàn)詞top notch 可能影響到方面詞coffee 的情感極性。由此可知，方面詞與接近其自身的意見(jiàn)詞更相關(guān)，但遠(yuǎn)距離的意見(jiàn)詞可能會(huì)產(chǎn)生負(fù)面影響，降低對(duì)情感極性預(yù)測(cè)的準(zhǔn)確率。

圖1 意見(jiàn)對(duì)對(duì)情感極性預(yù)測(cè)的影響Fig.1 Influence of opinion pair on sentiment polarity prediction

2019 年，Zeng 等［11］認(rèn)為方面詞的情感極性與其局部上下文特征相關(guān)，越接近方面詞的語(yǔ)義與方面詞的情感極性關(guān)系越密切，而遠(yuǎn)距離的上下文可能造成負(fù)面影響，因此，他們提出了基于局部焦點(diǎn)（Local Context Focus，LCF）機(jī)制的兩種方法，即上下文特征動(dòng)態(tài)掩碼（Context-feature Dynamic Mask，CDM）方法和上下文特征動(dòng)態(tài)加權(quán)（Context-feature Dynamic Weighting，CDW）方法。Yang 等［12］采用兩個(gè)獨(dú)立的BERT 分別對(duì)句子和方面詞建模，再通過(guò)特征交互學(xué)習(xí)（Feature Interactive Learning，F(xiàn)IL）層預(yù)測(cè)方面詞的情感極性。但是這些都不適用于意見(jiàn)二元組或意見(jiàn)三元組任務(wù)。

針對(duì)以上問(wèn)題，本文提出了自適應(yīng)跨度特征的網(wǎng)格標(biāo)記方案（Adaptive Span Feature-Grid Tagging Scheme，ASF-GTS）模型，采用BERT 提取句子上下文編碼及特征，通過(guò)自適應(yīng)跨度特征（Adaptive Span Feature，ASF）方法對(duì)意見(jiàn)對(duì)的跨度特征采樣，再利用GTS 將意見(jiàn)對(duì)提取轉(zhuǎn)化為統(tǒng)一的網(wǎng)格標(biāo)記任務(wù)，并通過(guò)特定的解碼策略生成對(duì)應(yīng)的二元組或三元組。

本文的主要工作如下：

1）為加強(qiáng)意見(jiàn)對(duì)局部上下文的聯(lián)系，消除遠(yuǎn)距離的負(fù)面影響，提出ASF 方法對(duì)意見(jiàn)對(duì)的局部上下文采樣，并將該方法與GTS 模型結(jié)合提高OPE 或OTE 任務(wù)的F1 指標(biāo)；

2）引入自適應(yīng)跨度距離（Adaptive Span Distance，ASD）評(píng)估意見(jiàn)對(duì)跨度上下文的依賴關(guān)系，使ASD 內(nèi)的語(yǔ)義特征得到保留，有效提高方面情感表達(dá)的性能；

3）在AFOE 數(shù)據(jù)集上對(duì)OPE 和OTE 進(jìn)行大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明ASF-GTS 模型具有更好的情感特征保留能力，能更精確地提取意見(jiàn)對(duì)及其情感極性，在兩個(gè)任務(wù)中都取得了更好的F1 值，驗(yàn)證了本文模型具有很好的泛化性。

1 相關(guān)工作

ASF-GTS 模型由ASF 方法與GTS 模型結(jié)合而成。大部分現(xiàn)有的研究工作在處理OPE 和OTE 任務(wù)時(shí)都采用了管道方式，但管道方式容易受到錯(cuò)誤傳播，降低實(shí)際應(yīng)用的人機(jī)互動(dòng)的速度，因此，本文采用GTS 模型通過(guò)統(tǒng)一標(biāo)簽方式解決管道問(wèn)題，而ASF 方法則通過(guò)改進(jìn)LCF 使之?dāng)U展到OPE 或OTE 任務(wù)中。

1.1 網(wǎng)格標(biāo)記方案

GTS 由三部分組成，分別是標(biāo)簽標(biāo)記、推理策略和解碼算法。它通過(guò)標(biāo)記所有詞對(duì)之間的關(guān)系，成功地將句子的所有意見(jiàn)因素提取納入一個(gè)統(tǒng)一的網(wǎng)格標(biāo)記任務(wù)，然后通過(guò)特定的解碼算法生成意見(jiàn)對(duì)或意見(jiàn)三元組。

1.1.1 標(biāo)簽標(biāo)記

對(duì)于OPE 任務(wù)，GTS 使用標(biāo)簽集{A，O，P，N}標(biāo)記句子中所有詞對(duì)(wi，wj)。標(biāo)簽A 表示詞對(duì)都為相同方面詞；標(biāo)簽O表示詞對(duì)都為相同意見(jiàn)詞；標(biāo)簽P 表示詞對(duì)中的一個(gè)單詞為方面詞，另一個(gè)單詞為意見(jiàn)詞且可以形成意見(jiàn)對(duì)；其他詞對(duì)標(biāo)簽用N 表示。這里的詞對(duì)是無(wú)序的，(wi，wj)和(wj，wi)的關(guān)系相同，因此，使用上三角網(wǎng)格標(biāo)記。

對(duì)于OTE 任務(wù)，將之前的標(biāo)簽P 改為代表詞對(duì)情緒的標(biāo)簽{POS，NEG，NEU}，三個(gè)標(biāo)簽分別對(duì)應(yīng)詞對(duì)(wi，wj)的情感極性為積極、消極及中立。此時(shí)OTE 任務(wù)的標(biāo)簽集為{A，O，POS，NEG，NEU，N}。

1.1.2 推理策略

為利用每個(gè)詞對(duì)之間的潛在關(guān)系促進(jìn)AFOE，Wu 等［1］設(shè)計(jì)了推理策略。推理策略主要依賴于兩點(diǎn)：第一，方面詞與意見(jiàn)詞不相容，例如，詞對(duì)(wi，wj)中有一個(gè)單詞為方面詞，則這個(gè)詞對(duì)標(biāo)記就不可能是表示相同意見(jiàn)詞的O 標(biāo)簽，反之亦然；第二，先前的詞對(duì)標(biāo)簽預(yù)測(cè)可以推斷當(dāng)前回合(wi，wj)的標(biāo)簽。因此，GTS 推理策略可以通過(guò)迭代預(yù)測(cè)和推理得出詞對(duì)標(biāo)簽。

初始回合，從下一層得到(wi，wj)的特征表示，將它拼接為rij，并通過(guò)線性變換得到初始標(biāo)簽預(yù)測(cè)的概率分布，同時(shí)將rij作為初始特征表示上述推理過(guò)程如式（1）～（8）：

1.1.3 解碼算法

在GTS 中獲得句子預(yù)測(cè)標(biāo)記結(jié)果后，大量的標(biāo)簽標(biāo)記造成召回率降低。因此，GTS 設(shè)計(jì)了簡(jiǎn)單有效的方法解碼意見(jiàn)對(duì)或意見(jiàn)三元組。首先，根據(jù)預(yù)測(cè)標(biāo)記，在主對(duì)角線上找出所有的方面詞和意見(jiàn)詞，然后將連續(xù)的A 標(biāo)簽視為一個(gè)方面詞，連續(xù)的O 標(biāo)簽視為一個(gè)意見(jiàn)詞。提取到的方面詞A 和意見(jiàn)詞O 至少能形成一個(gè)意見(jiàn)詞對(duì)(a，o)，其中，a表示方面詞，o表示意見(jiàn)詞，并將這個(gè)詞對(duì)標(biāo)記為P。

對(duì)于OTE 任務(wù)，判斷提取到的詞對(duì)(a，o)的情感極性c是否屬于三類情緒標(biāo)簽{POS，NEG，NEU}。若不屬于，則認(rèn)為a和o不能形成三元組；若屬于，則得到意見(jiàn)三元組(a，o，c)。

1.2 局部上下文特征

LCF 機(jī)制通過(guò)語(yǔ)義相對(duì)距離（Semantic-Relative Distance，SRD）確定上下文，并學(xué)習(xí)上下文和方面之間的交互關(guān)系，增強(qiáng)方面詞及其上下文權(quán)重。

1.2.1 語(yǔ)義相對(duì)距離

Zeng 等［11］在LCF 機(jī)制中提出了SRD 用于確定了上下文詞是否屬于特定詞的局部上下文，以幫助模型獲取局部上下文特征。具體操作如式（9）：

其中：SRDi表示第i個(gè)單詞與特定詞的相對(duì)距離；i是上下文詞的標(biāo)記位置；pb是特定詞匯的中心位置，b為范圍閾值，若SRDi＜b，則認(rèn)為第i個(gè)單詞屬于特定詞匯的局部上下文；m為方面詞長(zhǎng)度，n是句子的長(zhǎng)度。

1.2.2 上下文特征動(dòng)態(tài)掩碼方法

CDM 方法通過(guò)遮掩矩陣M掩蓋不屬于特定詞的局部上下文特征。具體地，將所有的SRD 超出閾值b的特征置為0，不參與特征學(xué)習(xí)，閾值范圍之內(nèi)的特征保持不變，從而保留方面詞的局部上下文特征，遮掩局部上下文之外的權(quán)重。計(jì)算過(guò)程如式（10）～（12）所示：

其中：O為零向量；E為單位向量；EBERT是通過(guò)BERT 獲得的初始上下文特征。

2 ASF-GTS模型

針對(duì)OPE 和OTE 任務(wù)，本文提出ASF-GTS 模型。該模型將ASF 方法和GTS 模型相結(jié)合：GTS 模型可以消除錯(cuò)誤傳播的影響，比管道方式更精確地提取意見(jiàn)對(duì)及其情感極性；ASF 方法則能夠加強(qiáng)與意見(jiàn)對(duì)有關(guān)的局部上下文聯(lián)系，消除遠(yuǎn)距離的負(fù)面影響，提高ASF-GTS 模型的準(zhǔn)確率。如圖2 所示，ASF-GTS 模型主要由嵌入層、特征提取層以及GTS 層三部分組成：嵌入層使用預(yù)訓(xùn)練模型BERT 為編碼器，獲取上下文信息，有助于模型更好地學(xué)習(xí)特征；然后通過(guò)ASF 方法學(xué)習(xí)意見(jiàn)對(duì)的上下文特征；最后由GTS 層對(duì)獲得的特征表示標(biāo)記意見(jiàn)對(duì)，再利用推理策略促進(jìn)意見(jiàn)對(duì)或意見(jiàn)三元組提取，并通過(guò)特定的解碼策略解碼出意見(jiàn)對(duì)或意見(jiàn)三元組。

圖2 ASF-GTS模型結(jié)構(gòu)Fig.2 Structure of ASF-GTS model

2.1 任務(wù)定義

2.2 嵌入層

傳統(tǒng)生成詞向量方法word2vec［13］和GloVe［14］無(wú)法體現(xiàn)在不同語(yǔ)境下的不同語(yǔ)義。BERT 模型針對(duì)這一點(diǎn)優(yōu)化，采用詞嵌入、位置嵌入和段嵌入作為詞向量表示，并通過(guò)多層的雙向Transformer［15］對(duì)句子建模獲取句子上下文表示，將句子s={w1，w2，…，wn}映射為向量EBERT={e1，e2，…，en}，wi表示輸入句子的第i個(gè)單詞，EBERT∈Rn×d，其中n表示輸入句子長(zhǎng)度，d表示詞嵌入維度。

2.3 特征提取層

本文提出的ASF 方法是基于LCF 機(jī)制中CDM 方法的改進(jìn)，將CDM 擴(kuò)展到意見(jiàn)三元組提取任務(wù)中。CDM 方法借由SRD 確定方面詞的局部上下文詞，掩蓋非局部上下文詞，目的是保留與方面詞有關(guān)的情感信息。意見(jiàn)詞是最能體現(xiàn)方面詞情感信息的詞語(yǔ)，但是SRD 方法可能導(dǎo)致意見(jiàn)詞被掩蓋，因此，本文提出ASD 方法代替SRD 方法，自適應(yīng)地保留方面詞與意見(jiàn)詞跨度間的特征，以保留情感信息量最多的詞語(yǔ)，消除跨度外的詞特征，使語(yǔ)義較少的特征不參與學(xué)習(xí)。

2.3.1 自適應(yīng)跨度距離

如圖3 所示，其中Aspect 箭頭指向方面詞，Opinion 箭頭指向意見(jiàn)詞，Mask 大括號(hào)內(nèi)的位置特征將被屏蔽，其余位置特征將得到保留。一個(gè)句子中的意見(jiàn)對(duì)情況分為三種：圖3（a）表示一個(gè)方面詞對(duì)應(yīng)一個(gè)意見(jiàn)詞；圖3（b）表示一個(gè)方面詞對(duì)應(yīng)多個(gè)意見(jiàn)詞；圖3（c）表示一個(gè)意見(jiàn)詞對(duì)應(yīng)多個(gè)方面詞。針對(duì)這三種情況，提出了ASD 自適應(yīng)調(diào)整方面詞和意見(jiàn)詞之間的跨度。在第一種情況中，“hot dogs”為方面詞，“top notch”為對(duì)應(yīng)的意見(jiàn)詞，此時(shí)ASD 應(yīng)為方面詞的第一個(gè)詞“hot”的位置到意見(jiàn)詞的最后一個(gè)詞“notch”的位置；反之，若方面詞比意見(jiàn)詞位置靠后，則ASD 應(yīng)為意見(jiàn)詞的第一個(gè)詞位置到方面詞最后一個(gè)詞位置。在第二種情況中，方面詞為“food”，對(duì)應(yīng)的兩個(gè)意見(jiàn)詞“authentic Italian”和“delicious”，此時(shí)ASD 為方面詞第一個(gè)位置“food”到所有意見(jiàn)詞的最后一個(gè)單詞“delicious”的位置，反之亦然；在第三種情況中，方面詞為“service”和“food”，對(duì)應(yīng)的意見(jiàn)詞為“excellent”，此時(shí)ASD 為所有方面詞的第一個(gè)單詞“service”位置到意見(jiàn)詞的最后一個(gè)單詞“excellent”位置，反之亦然。ASD 方法適用于這三種情況。ASD 的公式如下：

圖3 自適應(yīng)跨度焦點(diǎn)圖的三種情況Fig.3 Three cases of adaptive span focus map

其中：ASDt表示句子的第t個(gè)意見(jiàn)對(duì)的跨度距離；startt和endt分別表示第t個(gè)意見(jiàn)對(duì)跨度的起始位置和終止位置。

ASD 的算法流程如下：

算法1 ASD 算法。

2.3.2 自適應(yīng)跨度特征提取

ASF 層保留由ASD 計(jì)算得到的跨度特征，跨度之外的特征將被屏蔽。具體地，本文通過(guò)計(jì)算得到遮掩矩陣A來(lái)屏蔽跨度外的詞特征，將跨度外的特征置為0，不參與學(xué)習(xí)，將跨度內(nèi)的特征置為1 以保留原特征。ASF 計(jì)算過(guò)程如式（14）～（16）：

其中：pi表示第i個(gè)單詞位置；n表示句子長(zhǎng)度；M由n個(gè)mi向量組成，mi是第i個(gè)單詞的遮掩向量。通過(guò)ASD 判斷pi是否在跨度內(nèi)：若第i個(gè)位置在跨度內(nèi)，則mi取全為1 的向量E∈Rd；若不在跨度內(nèi)，mi取全為0 的向量O∈Rd。最后將遮掩矩陣M與嵌入層學(xué)習(xí)到的語(yǔ)義特征EBERT點(diǎn)乘，以保留跨度內(nèi)的特征。

2.4 模型訓(xùn)練

本文采用交叉熵?fù)p失函數(shù)訓(xùn)練所有詞對(duì)的真實(shí)值標(biāo)記與預(yù)測(cè)值標(biāo)記，如式（17）：

其中：yij是單詞對(duì)(wi，wj)的真實(shí)值標(biāo)記表示單詞對(duì)(wi，wj)的預(yù)測(cè)值標(biāo)記，L表示推理回合；C代表標(biāo)簽集，在OPE 任務(wù)中C∈{A，O，P，N}，在OTE 任務(wù)中C∈{A，O，POS，NEG，NEU，N}；I(·)指示函數(shù)用于驗(yàn)證yij是否屬于C。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

原始的SemEval Challenge 數(shù)據(jù)集［16］由4 個(gè)基準(zhǔn)數(shù)據(jù)集組成，分別是14Res、14Lap、15Res 和16Res，但這些數(shù)據(jù)集只標(biāo)注了方面詞和對(duì)應(yīng)的情感極性，缺乏對(duì)應(yīng)的意見(jiàn)詞注釋。面向目標(biāo)的意見(jiàn)詞抽?。═arget-oriented Opinion Words Extraction，TOWE）數(shù)據(jù)集［17］是基于14Res、14Lap、15Res 和16Res 數(shù)據(jù)集標(biāo)注對(duì)應(yīng)的意見(jiàn)詞，但缺乏方面詞和對(duì)應(yīng)的情感極性的注釋。因此，Wu 等［1］將原始的SemEval Challenge數(shù)據(jù)集和TOWE 數(shù)據(jù)集相結(jié)合組成AFOE 數(shù)據(jù)集。

本文在AFOE 數(shù)據(jù)集上驗(yàn)證模型的準(zhǔn)確性。表1 顯示了AFOE 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)，其中：Sen 表示句子總量，Asp 表示方面詞總量，Opi 表示意見(jiàn)詞總量，Pai 表示意見(jiàn)對(duì)總量，Tri表示意見(jiàn)三元組總量。可以觀察到一個(gè)句子可能包含多個(gè)方面詞或意見(jiàn)詞。此外，一個(gè)方面詞可能對(duì)應(yīng)多個(gè)意見(jiàn)詞，反之亦然。

表1 AFOE數(shù)據(jù)集Tab.1 AFOE datasets

為評(píng)估本文模型的性能，使用召回率R（Recall）、精確度P（Precision）、F1 值F1（F1-score）作為評(píng)估指標(biāo)。只有當(dāng)預(yù)測(cè)和基本真值完全匹配時(shí)，提取的意見(jiàn)對(duì)或意見(jiàn)三元組才被視為正確的。三種指標(biāo)的計(jì)算方法如下：

其中：TP表示預(yù)測(cè)樣本和真實(shí)值都為正的數(shù)量；FN表示預(yù)測(cè)樣本為負(fù)真實(shí)值為正的數(shù)量；FP表示預(yù)測(cè)樣本為正真實(shí)值為負(fù)的數(shù)量。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

模型采用BERT 生成詞向量，詞向量維度為768，模型設(shè)置學(xué)習(xí)率5 × 10-5，每個(gè)batch 中含有8 個(gè)樣本數(shù)據(jù)，每個(gè)樣本的最大長(zhǎng)度為100，訓(xùn)練次數(shù)epochs 為100。采用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，并使用Dropout 函數(shù)防止過(guò)擬合，參數(shù)設(shè)置為0.1。主要采用pytorch 深度學(xué)習(xí)框架實(shí)現(xiàn)模型的訓(xùn)練和預(yù)測(cè)。

3.3 對(duì)比實(shí)驗(yàn)

3.3.1 OPE實(shí)驗(yàn)結(jié)果與分析

本文模型與以管道方式提取意見(jiàn)對(duì)的模型：BiLSTMATT+IOG（Bi-directional Long Short-Time Memory-ATTention and IO-LSTM and Global context）［17］、DE-CNN+IOG（Dual Embeddings-Convolutional Neural Network and IOG）［19］、RINANTE+IOG（Rule Incorporated Neural Aspect and opinion Term Extraction and IOG）［6］以及未加入ASF 方法的GTSBERT［1］模型作對(duì)比。其 中，BiLSTM-ATT+IOG 模型是 把BiLSTM［18］和Attention 機(jī)制與IOG［17］結(jié)合的模型，BiLSTMATT 用于方面詞提取，IOG 用于面向方面的意見(jiàn)詞提取；DECNN+IOG 采用2 個(gè)嵌入層和4 個(gè)CNN 層的堆棧對(duì)句子編碼，然后對(duì)方面詞進(jìn)行提取，再通過(guò)IOG 提取意見(jiàn)詞；RINANTE+IOG 模型通過(guò)句子中單詞的依賴關(guān)系挖掘方面和意見(jiàn)詞；GTS-BERT 采用BERT 生成詞向量并將意見(jiàn)二元組抽取形式化為一個(gè)統(tǒng)一的詞對(duì)標(biāo)注任務(wù)，然后通過(guò)特定的解碼策略生成對(duì)應(yīng)的二元組。

實(shí)驗(yàn)結(jié)果如表2 所示，可以看出GTS 模型的性能明顯優(yōu)于以管道方式提取意見(jiàn)對(duì)的對(duì)比模型，說(shuō)明管道方法中的錯(cuò)誤傳播限制了OPE 的性能。與GTS-BERT 相比，ASF-GTS 模型性能得到了進(jìn)一步的提升，ASF-GTS 在14Res、14Lap、15Res、16Res 數(shù)據(jù)集上的F1分別提高了7.30%、5.10%、4.41%、2.42%，驗(yàn)證了ASF-GTS 模型的有效性。

表2 OPE任務(wù)提取結(jié)果 單位：%Tab.2 Extraction results of OPE tasks unit：%

3.3.2 OTE實(shí)驗(yàn)結(jié)果與分析

將本文模型與Peng-unified-R+IOG 模型和IMN+IOG（Interactive Multi-task learning Network and IOG）模型作對(duì)比。其中，Peng-unified-R+IOG 是將Peng-unified-R［20］與IOG 相結(jié)合的模型。Peng-unified-R 是一個(gè)具有兩階段框架的模型：第一階段利用通用模型框架預(yù)測(cè)方面詞、相關(guān)方面詞的情感極性以及意見(jiàn)詞；第二階段利用第一階段抽取到的信息對(duì)方面詞和意見(jiàn)詞配對(duì)。IMN+IOG 模型通過(guò)交互式多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)（Interactive Multi-task learning Network，IMN）［21］與IOG結(jié)合作為強(qiáng)基線。IMN 是交互式多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)，它將不同任務(wù)的有用信息發(fā)送回共享的潛在表示，然后將這些信息與共享的潛在表示相結(jié)合，并提供給所有任務(wù)進(jìn)一步處理，從而提高基于方面的情感分析（Aspect Based Sentiment Analysis，ABSA）任務(wù)的整體性能。GTS-BERT 采用BERT 生成詞向量，并將意見(jiàn)三元組抽取形式化為一個(gè)統(tǒng)一的詞對(duì)標(biāo)注任務(wù)，然后通過(guò)特定的解碼策略生成對(duì)應(yīng)的三元組。

由表3 可 知，IMN+IOG 在數(shù)據(jù)集14Res 和15Res 上 明顯優(yōu)于Peng-unified-R+IOG，因?yàn)镮MN 使用多域文檔級(jí)情感分類數(shù)據(jù)作為輔助任務(wù)。相比之下，無(wú)須額外文檔級(jí)情感數(shù)據(jù)的GTS-BERT 模型在F1上比IMN+IOG 表現(xiàn)更優(yōu)，說(shuō)明了GTS統(tǒng)一標(biāo)記的優(yōu)越性。而本文模型ASF-GTS 與GTS-BERT 相比，在14Res、14Lap、15Res、16Res 數(shù)據(jù)集上的F1分別提高了4.17%、4.27%、6.61%、2.62%。OTE 任務(wù)的整體實(shí)驗(yàn)結(jié)果再次驗(yàn)證了本文模型的有效性。

表3 OTE任務(wù)提取結(jié)果 單位：%Tab.3 OTE task extraction results unit：%

3.4 適應(yīng)性實(shí)驗(yàn)

為了研究ASF 方法對(duì)OPE 任務(wù)的適應(yīng)性，本文在OPE 任務(wù)上進(jìn)行局部上下文特征對(duì)比實(shí)驗(yàn)。在GTS-BERT 上加入LCF 機(jī)制的CDM 方法形成的新模型GTS-BERT+CDM 與本文的模型對(duì)比，其中，CDM 方法的閾值a設(shè)置為5。實(shí)驗(yàn)結(jié)果如表4 所示，可以看出GTS-BERT+CDM 的整體性能比GTSBERT 略有下降，而融入了ASF 方法的ASF-GTS 模型比GTSBERT 模型F1表現(xiàn)更優(yōu)，說(shuō)明本文ASF 方法比CDM 方法更適應(yīng)于OPE 任務(wù)，也同樣適應(yīng)于OTE 任務(wù)。

表4 OPE任務(wù)適應(yīng)性結(jié)果 單位：%Tab.4 OPE task adaptability results unit：%

3.5 案例研究

從14Res 數(shù)據(jù)集中選取3 個(gè)樣本進(jìn)行案例分析，如表5所示：樣本1 僅包含一對(duì)意見(jiàn)對(duì)，樣本2 包含3 對(duì)不重疊的意見(jiàn)對(duì)，樣本3 包含2 對(duì)方面詞重疊的意見(jiàn)對(duì)。

表5 三個(gè)樣本的預(yù)測(cè)結(jié)果Tab.5 Prediction results of three examples

觀察表5 可知ASF-GTS 模型預(yù)測(cè)表現(xiàn)最好。對(duì)于樣本1，ASF-GTS 能夠準(zhǔn)確地預(yù)測(cè)出樣本的意見(jiàn)三元組，然而GTSBERT+CDM 無(wú)法預(yù)測(cè)意見(jiàn)對(duì)，故無(wú)法輸出意見(jiàn)三元組。對(duì)于樣本2，GTS-BERT+CDM 受到固定閾值的影響無(wú)法識(shí)別超出閾值外的意見(jiàn)詞，故無(wú)法輸出（desserts-good-positive）的意見(jiàn)三元組，而GTS-BERT 和ASF-GTS 不受距離約束，因此可以準(zhǔn)確地預(yù)測(cè)（desserts-good-positive）三元組。此外，表中模型都面臨方面詞和意見(jiàn)詞匹配錯(cuò)亂的問(wèn)題，在多個(gè)意見(jiàn)詞的干擾下，不能很好地捕捉與方面詞相對(duì)應(yīng)的意見(jiàn)詞。對(duì)于樣本3，GTS-BERT+CDM 僅預(yù)測(cè)了一對(duì)錯(cuò)誤的三元組；GTSBERT 雖然正確地預(yù)測(cè)出了所有的意見(jiàn)對(duì)，但是這些意見(jiàn)對(duì)的情感極性預(yù)測(cè)錯(cuò)誤；而ASF-GTS 預(yù)測(cè)出所有正確的三元組，表明ASF-GTS 模型在一個(gè)方面詞對(duì)應(yīng)多個(gè)意見(jiàn)詞的情況下，有更好的預(yù)測(cè)能力。該實(shí)驗(yàn)結(jié)果表明，融入ASF 方法的GTS 模型具有跨度語(yǔ)義焦點(diǎn)機(jī)制，可以通過(guò)ASD 保留情感信息量最多的詞，更好地預(yù)測(cè)意見(jiàn)三元組。

4 結(jié)語(yǔ)

本文針對(duì)OPE 和OTE 任務(wù)提出了ASF-GTS 模型，該模型通過(guò)ASF 方法使模型充分學(xué)習(xí)ASD 內(nèi)的特征，最大化地保留了情感信息特征，消除跨度外的詞特征，使語(yǔ)義較少的特征不參與學(xué)習(xí)，并通過(guò)標(biāo)記所有詞對(duì)間的關(guān)系，成功地將句子的所有意見(jiàn)因素提取納入一個(gè)統(tǒng)一的網(wǎng)格標(biāo)記任務(wù)，然后通過(guò)特定的解碼算法解碼意見(jiàn)對(duì)或意見(jiàn)三元組。對(duì)比實(shí)驗(yàn)結(jié)果表明，本文模型比原來(lái)的GTS-BERT 模型效果更好，并且在適應(yīng)性實(shí)驗(yàn)中驗(yàn)證了ASF 方法在OPE 或OTE 任務(wù)中的適應(yīng)性與有效性。不過(guò)本文并未考慮反諷情況，未來(lái)將針對(duì)這一方面進(jìn)行研究。