張順香，蘇明星，李曉慶

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001)

0 引 言

方面級(jí)情感分析旨在識(shí)別出句子中實(shí)體方面的情感極性，是文本情感分析的核心子任務(wù)之一[1]，例如在評(píng)論“手機(jī)的質(zhì)量真不錯(cuò)，但價(jià)格太高了”中，“質(zhì)量”和“價(jià)格”分別表示出積極和消極的情感。

目前，方面級(jí)情感分析的研究方法主要是基于深度學(xué)習(xí)的方法。例如：Yukun等[2]提出通過在LSTM網(wǎng)絡(luò)提取層中引入情感常識(shí)來進(jìn)行方面級(jí)情感極性的預(yù)測(cè)。Sun等[3]提出一種基于依存樹的卷積模型(CDT)，將上下文信息和依賴信息從意見詞傳播到方面詞，為監(jiān)督提供區(qū)分性的屬性。同年，Ma等[4]針對(duì)評(píng)論對(duì)象的立場(chǎng)語境和多方面間的干擾現(xiàn)象，提出一個(gè)兩階段模式的方面級(jí)情感模型，與以往的基于注意力的方法相比，獲得了最優(yōu)的表現(xiàn)。

自從2017年，Google[5]將注意力機(jī)制帶入大眾視野中，注意力機(jī)制在各個(gè)領(lǐng)域中被廣泛應(yīng)用。在方面級(jí)情感分析任務(wù)中，Letart等[6]在自注意力機(jī)制基礎(chǔ)之上進(jìn)一步探索單詞之間的建模能力，提出SAnet模型，證明了自注意機(jī)制能提高方面級(jí)情感分析模型的性能。與Letarte不同，Zhang等[7]采用多頭注意力機(jī)制來完成上下文和特定方面的充分交互。與Zhang等的工作相似，Xu等[8]提出使用一個(gè)全局和局部的注意力模塊來捕獲方面和上下文之間不同粒度的交互信息，從而進(jìn)一步提高模型的準(zhǔn)確率。

然而，數(shù)據(jù)標(biāo)注的復(fù)雜性，使現(xiàn)有數(shù)據(jù)集規(guī)模都較小，導(dǎo)致注意力機(jī)制無法充分訓(xùn)練，出現(xiàn)捕獲非目標(biāo)情感信息現(xiàn)象。因此，有學(xué)者提出利用遷移學(xué)習(xí)的方法來解決數(shù)據(jù)不足的問題，遷移學(xué)習(xí)定義請(qǐng)參見文獻(xiàn)[9]。He等[10]提出PRET+MULT的框架，首次將文檔級(jí)知識(shí)引入到方面級(jí)任務(wù)中。接著，受膠囊網(wǎng)絡(luò)的啟發(fā)，Chen等[11]提出一種轉(zhuǎn)移膠囊網(wǎng)絡(luò)，預(yù)學(xué)習(xí)文檔級(jí)的前置知識(shí)，利用前置知識(shí)指導(dǎo)方面級(jí)情感分析任務(wù)。之后，Zhao等[12]提出通過預(yù)學(xué)習(xí)文檔級(jí)知識(shí)，來提高方面級(jí)任務(wù)中注意力機(jī)制感知情感的能力。

雖然，已有模型在遷移學(xué)習(xí)上取得成功，但未深入考慮引入文檔級(jí)情感知識(shí)的同時(shí)會(huì)帶來與給定方面無關(guān)的情感。因此，本文提出一種基于遷移學(xué)習(xí)和過濾機(jī)制的方面級(jí)情感分析模型TLFM。在遷移學(xué)習(xí)的基礎(chǔ)之上，為了降低文檔級(jí)情感知識(shí)帶來的噪音影響，設(shè)計(jì)一個(gè)注意力過濾模塊，該模塊聚焦于過濾文檔級(jí)知識(shí)中與給定方面無關(guān)的情感知識(shí)；最后，將遷移學(xué)習(xí)得到的方面級(jí)模塊和過濾模塊進(jìn)行聯(lián)合訓(xùn)練。并且考慮到詞性(尤其是形容詞)對(duì)情感分析結(jié)果的影響，模型TLFM將文本特征和詞性特征進(jìn)行融合。

1 模型介紹

模型TLFM具體結(jié)構(gòu)如圖1所示，主要包含了3個(gè)部分：預(yù)訓(xùn)練的文檔級(jí)情感分析模塊、方面級(jí)情感分析模塊和過濾模塊。本節(jié)依次介紹這3個(gè)部分的實(shí)現(xiàn)細(xì)節(jié)，最后再詳細(xì)講解TLFM所采取的訓(xùn)練策略。

圖1 基于遷移學(xué)習(xí)和過濾機(jī)制的方面級(jí)情感分析模型

1.1 預(yù)訓(xùn)練的文檔級(jí)情感分析模塊

模型TLFM預(yù)學(xué)習(xí)文檔級(jí)任務(wù)的情感知識(shí)，再利用學(xué)習(xí)到的情感知識(shí)輔助方面級(jí)任務(wù)，從而解決方面級(jí)數(shù)據(jù)集規(guī)模較小的弊端。

m=tdWt

(1)

式中：Wt表示變量轉(zhuǎn)換矩陣，通過網(wǎng)絡(luò)訓(xùn)練自學(xué)習(xí)得到。且為了能加強(qiáng)形容詞的作用程度，采用自注意力機(jī)制，對(duì)詞性向量重新分配權(quán)重。具體操作公式如式(2)、式(3)所示

(2)

(3)

其中，mi∈Rdt是第i個(gè)單詞的詞性向量，δi是第i個(gè)單詞的詞性注意力權(quán)重，wa和ba分別是矩陣參數(shù)和偏置參數(shù)。

(4)

采用多頭注意力機(jī)制對(duì)文本特征進(jìn)行情感信息感知。多頭注意力機(jī)制是自注意力機(jī)制的擴(kuò)展，相比自注意力機(jī)制，多頭注意力機(jī)制最主要的區(qū)別在于有多組的Q、K和V矩陣，可以從多個(gè)角度挖掘文本的潛在情感信息，最后將多組注意力信息進(jìn)行拼接合。其詳細(xì)公式如式(5)、式(6)所示

Multi-head=concat(head1，head2，…，headl)Wheads

(5)

(6)

(7)

(8)

式中：bd是偏置參數(shù)。根據(jù)式(5)將多個(gè)注意力頭的輸出結(jié)果進(jìn)行連接轉(zhuǎn)換操作得到帶有情感信息的rd， 最后輸入由全連接層和softmax層組成的情感分類器中，推斷出文本的情感傾向。

1.2 方面級(jí)情感分析模塊

為了將學(xué)習(xí)到的文檔級(jí)情感知識(shí)引入到方面級(jí)任務(wù)中，如圖1所示，方面級(jí)情感分析模塊的網(wǎng)絡(luò)結(jié)構(gòu)與預(yù)訓(xùn)練的文檔級(jí)情感分析模塊是十分相似的。主要的不同點(diǎn)在與方面級(jí)情感分析任務(wù)所研究的對(duì)象是給定的方面，因此需要對(duì)該方面進(jìn)行建模。具體建模如下：

同時(shí)使用和文檔級(jí)情感分析相同的方法(詳見式(1)～式(3))，得到評(píng)論文本對(duì)應(yīng)的詞性信息Poss， 并將詞性信息和文本向量表征進(jìn)行拼接合并，輸入到BiLSTM中獲得文本特征表示，計(jì)算公式如式(9)所示

(9)

區(qū)別于文檔級(jí)任務(wù)中，注意力機(jī)制需要捕捉所有的情感信息，在方面級(jí)任務(wù)中，只需捕捉給定方面的情感信息。在方面級(jí)情感分析模塊中，使用方面向量et作為注意力機(jī)制的查詢向量，情感感知的具體公式如式(10)～式(12)所示

(10)

(11)

rs=Linear(concat(r1，s，r2，s，…，rk，s))

(12)

其中，bs為偏置參數(shù)，βj，i為方面級(jí)情感分析模塊中第j個(gè)注意力頭中的第i個(gè)注意力分?jǐn)?shù)，rj，s代表方面級(jí)任務(wù)中第j個(gè)注意力頭的輸出。根據(jù)式(12)將多個(gè)注意力頭的輸出結(jié)果進(jìn)行連接轉(zhuǎn)換操作得到帶有情感信息的rs。

本文模型中方面級(jí)情感分析模塊的詞嵌入層和評(píng)論特征抽取層的參數(shù)初始化是預(yù)訓(xùn)練好的文檔級(jí)情感分析的參數(shù)。通過參數(shù)共享的方式將從文檔級(jí)任務(wù)中學(xué)習(xí)到情感傳遞給方面級(jí)任務(wù)模型，彌補(bǔ)方面級(jí)任務(wù)中，因缺乏數(shù)據(jù)，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不足的問題。

1.3 過濾模塊

直觀感受，文檔級(jí)模型中的注意力機(jī)制感知的情感包含非給定方面的情感，在利用文檔級(jí)模型的注意力機(jī)制輔助方面級(jí)模型的注意力機(jī)制時(shí)，需要結(jié)合給定方面進(jìn)行過濾操作，保證消除與給定方面無關(guān)的情感。

將方面級(jí)任務(wù)的評(píng)論文本輸入預(yù)訓(xùn)練好的文檔級(jí)模型和參數(shù)初始化的方面級(jí)模型中，在各自的注意力機(jī)制層中捕捉兩種任務(wù)所需的情感信息。文檔級(jí)模塊捕捉的情感信息包含與給定方面無關(guān)的情感，因此需要以給定方面為主體，對(duì)文檔級(jí)注意力機(jī)制的輸出進(jìn)行過濾操作，具體結(jié)構(gòu)如圖2所示。兩個(gè)任務(wù)模塊的多頭注意力機(jī)制之間增加一個(gè)基于過濾機(jī)制的注意力輔助網(wǎng)絡(luò)。該網(wǎng)絡(luò)以給定方面詞為主體，首先計(jì)算文檔級(jí)捕捉的情感信息與方面詞之間的相關(guān)性，然后再將結(jié)果通過KL散度輔助方面級(jí)注意力機(jī)制，彌補(bǔ)了由于方面級(jí)訓(xùn)練預(yù)料不足，導(dǎo)致方面級(jí)模塊捕捉情感能力不足的問題。

圖2 基于過濾機(jī)制的注意力輔助網(wǎng)絡(luò)

其原理公式如式(13)～式(15)所示

f=σ(wf·etT+uf·rj，d+bf)

(13)

λj，d=et⊙f

(14)

(15)

其中，wf，uf，bf為網(wǎng)絡(luò)待學(xué)習(xí)參數(shù)，et，rj，d，rj，s分別由式(2)、式(3)，式(7)和式(11)得到。λj，d表示過濾了文檔級(jí)中與給定方面無關(guān)情感的注意力輸出。

1.4 訓(xùn)練策略

不同于傳統(tǒng)的訓(xùn)練方式，本文的訓(xùn)練主要分為兩個(gè)方面：一個(gè)是預(yù)訓(xùn)練的文檔級(jí)情感分析模塊，另一個(gè)是方面級(jí)情感分析模塊與基于過濾機(jī)制的注意力輔助網(wǎng)絡(luò)的聯(lián)合訓(xùn)練。

預(yù)訓(xùn)練的文檔級(jí)情感分析模塊采用傳統(tǒng)的最小化交叉熵?fù)p失函數(shù)來進(jìn)行模型的優(yōu)化，具體公式如式(16)所示

(16)

第一部分訓(xùn)練結(jié)束后，整個(gè)預(yù)訓(xùn)練的部分參數(shù)被固定，將訓(xùn)練好的文檔級(jí)詞嵌入層和文本特征提取層的參數(shù)作為方面級(jí)情感分析模塊中對(duì)應(yīng)網(wǎng)絡(luò)模塊的初始參數(shù)。

對(duì)于方面級(jí)情感分析模塊和基于過濾的注意力輔助網(wǎng)絡(luò)，本文采用聯(lián)合訓(xùn)練最優(yōu)化兩個(gè)模塊的參數(shù)。為了避免過擬合，對(duì)損失函數(shù)添加正則，具體表示如式(17)所示

=M+A+ρreg

(17)

其中方面級(jí)情感分析模塊采用和文檔級(jí)模型相同的交叉熵?fù)p失函數(shù)來進(jìn)行優(yōu)化，而基于過濾的注意力輔助網(wǎng)絡(luò)的損失函數(shù)由KL散度得出，式(15)變形得到式(18)

(18)

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

2.1.1 實(shí)驗(yàn)數(shù)據(jù)

對(duì)于預(yù)訓(xùn)練的文檔級(jí)情感模塊，采用Yelp和Amazon評(píng)論數(shù)據(jù)集，該數(shù)據(jù)集中的所有標(biāo)注數(shù)據(jù)都用來訓(xùn)練文檔級(jí)情感模，作為方面級(jí)情感分析任務(wù)的輔助數(shù)據(jù)。

對(duì)于方面級(jí)情感分析模塊和過濾模塊，采用來自SemEval14、SemEval15和SemEval16的3個(gè)基準(zhǔn)數(shù)據(jù)集(Rest14、Rest15、Rest16)來進(jìn)行實(shí)驗(yàn)，表1給出了實(shí)驗(yàn)數(shù)據(jù)集的詳細(xì)內(nèi)容。

表1 實(shí)驗(yàn)數(shù)據(jù)集

2.1.2 評(píng)價(jià)指標(biāo)

在該實(shí)驗(yàn)中，采用文本情感分析任務(wù)傳統(tǒng)的評(píng)價(jià)指標(biāo)：準(zhǔn)確率(Accuracy，Acc)和F1值。

2.2 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)參數(shù)

2.2.1 實(shí)驗(yàn)環(huán)境

在百度的AI Studio線上實(shí)驗(yàn)室進(jìn)行本文的實(shí)驗(yàn)，其具體環(huán)境配置見表2。

表2 實(shí)驗(yàn)環(huán)境

2.2.2 實(shí)驗(yàn)參數(shù)

本文模型中的大部分參數(shù)都選用目前主流設(shè)置，其中用于詞嵌入的BERT模型由12層Transformer組成，中間的隱藏層維度數(shù)為768，12個(gè)注意力頭，合計(jì)共有110 M參數(shù)。文本特征提取所用的BiLSTM網(wǎng)絡(luò)向前和向后隱藏狀態(tài)的維度都設(shè)置成128，式(17)中的正則參數(shù)ρ設(shè)置成0.000 01，模型訓(xùn)練過程batchsize設(shè)置成128，dropout設(shè)置成0.5，學(xué)習(xí)率采用普遍使用的，優(yōu)化器選擇Adam對(duì)模型訓(xùn)練損失最小化。每輪實(shí)驗(yàn)的批(epochs)次設(shè)置成60，如果在10批實(shí)驗(yàn)中得到的準(zhǔn)確率和F1值都沒有提升那么將提前結(jié)束本輪實(shí)驗(yàn)并計(jì)算當(dāng)前的準(zhǔn)確率和F1值。

2.3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)主要為了驗(yàn)證模型的性能和有效性，為此設(shè)計(jì)兩組實(shí)驗(yàn)：對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)。

對(duì)比實(shí)驗(yàn)中，本文模型和以下基準(zhǔn)模型進(jìn)行對(duì)比實(shí)驗(yàn)：ATAE-LSTM[15]、AF-LSTM(CONV)[16]、IAN[17]、RAM[18]、GCAE[19]、PRET+MULT[10]、TransCap[11]、ATN[12]。

消融實(shí)驗(yàn)中，為了驗(yàn)證利用文檔級(jí)知識(shí)輔助方面級(jí)任務(wù)能提高預(yù)測(cè)的準(zhǔn)確率，將TLFM中預(yù)訓(xùn)練的文檔級(jí)模塊和過濾模塊移除，僅保留方面級(jí)情感分析模塊，該實(shí)驗(yàn)記作TLFM-TN-FM。同時(shí)，為了探索過濾模塊對(duì)整個(gè)模型的貢獻(xiàn)，先將預(yù)訓(xùn)練好的文檔級(jí)情感模塊的參數(shù)共享給方面級(jí)情感模塊，再將整個(gè)過濾模塊去除，最后僅訓(xùn)練方面級(jí)情感分析模塊，做結(jié)果預(yù)測(cè)，該實(shí)驗(yàn)記作TLFM-FM。

按照上述需求展開實(shí)驗(yàn)，得到表3的實(shí)驗(yàn)結(jié)果：A1～A8為對(duì)比實(shí)驗(yàn)，其中A1～A5為僅做方面級(jí)情感分析不涉及文檔級(jí)情感知識(shí)，A6～A7為學(xué)習(xí)文檔級(jí)情感知識(shí)，輔助方面級(jí)任務(wù)的模型(其中以A6為例，PRET+MULT{Amazon+Yelp}表示模型先學(xué)習(xí)數(shù)據(jù)集Amazon和Yelp的情感知識(shí)，再進(jìn)行方面級(jí)任務(wù))。A9～A14為本文模型的消融實(shí)驗(yàn)，A15為本文模型。

表3 實(shí)驗(yàn)結(jié)果

通過表3實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論：

(1)與基準(zhǔn)模型相對(duì)比，本文模型的性能有所提升。在數(shù)據(jù)集Rest14和Rest16上，本文模型的準(zhǔn)確率都取得了最高，相比于次優(yōu)值分別提升了1.15%、1.06%。數(shù)據(jù)集Rest15上，本文模型的準(zhǔn)確率雖未取得最優(yōu)結(jié)果，但表現(xiàn)與最優(yōu)模型相當(dāng)，僅相差0.07%。而F1值上，本文模型都取得了當(dāng)前最高值，相比之前的最高值分別提高了0.56%、0.76%、0.43%。

(2)對(duì)照組實(shí)驗(yàn)中，GCAE模型的表現(xiàn)最差，猜測(cè)原因?yàn)椋篏CAE模型中使用的CNN網(wǎng)絡(luò)對(duì)于長(zhǎng)依賴的建模能力較差，無法充分捕獲上下文中與給定方面有關(guān)的情感。ATAE-LSTM、IAN和RAM模型利用注意力機(jī)制對(duì)方面詞和上下文進(jìn)行不同的建模，但由于方面級(jí)語料的不足，導(dǎo)致注意機(jī)制未充分訓(xùn)練，模型的提升有限。

(3)文檔級(jí)知識(shí)輔助方面級(jí)任務(wù)提高了任務(wù)的準(zhǔn)確率。PRET+MULT、TransCap、ATN和TLFM模型在準(zhǔn)確率上的表現(xiàn)大部分都超過了僅做方面級(jí)任務(wù)的模型，提升的主要原因可能在于引入文檔級(jí)知識(shí)使得網(wǎng)絡(luò)得到充分訓(xùn)練，提高了注意力機(jī)制捕獲情感的能力。

(4)過濾模塊有效過濾了與給定方面無關(guān)的情感信息，提升了模型的整體性能。具有過濾模塊的TLFM 模型相比與TLFM-FM模型，在3個(gè)方面級(jí)數(shù)據(jù)集上準(zhǔn)確率都有提升。而對(duì)于F1值來說，學(xué)習(xí)的文檔級(jí)知識(shí)越多，F(xiàn)1值越高，內(nèi)在原因可能是學(xué)習(xí)的知識(shí)越多，模型越能感知分散的情感，召回率相應(yīng)得到提升，從而使得F1值上升。

2.4 參數(shù)分析

2.4.1 文檔級(jí)數(shù)據(jù)規(guī)模分析

進(jìn)一步探索在方面級(jí)任務(wù)中引入文檔級(jí)知識(shí)的影響，模型TLFM在不同規(guī)模的文檔級(jí)數(shù)據(jù)集上進(jìn)行預(yù)學(xué)習(xí)，然后再進(jìn)行方面級(jí)情感分析任務(wù)的訓(xùn)練和測(cè)試。該實(shí)驗(yàn)文檔級(jí)數(shù)據(jù)集采用Yelp，人為控制預(yù)學(xué)習(xí)文檔的規(guī)模，方面級(jí)數(shù)據(jù)集采用Rest14。實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 文檔規(guī)模的影響

圖3可以看出文檔級(jí)數(shù)據(jù)規(guī)模小30%時(shí)，分析的準(zhǔn)確度和F1有波動(dòng)，但波動(dòng)較小，可能是由于引入的文檔級(jí)知識(shí)過少，對(duì)方面級(jí)任務(wù)的幫助不明顯。當(dāng)文檔級(jí)規(guī)模大于30%時(shí)，方面級(jí)任務(wù)的準(zhǔn)確率隨著文檔級(jí)知識(shí)的規(guī)模逐漸增加，但當(dāng)文檔級(jí)知識(shí)的規(guī)模大于70%時(shí)，增加變得極為緩慢，而F1值，甚至出現(xiàn)下降的波動(dòng)，這里猜測(cè)可能是因?yàn)橐氲奈臋n級(jí)知識(shí)過多，導(dǎo)致情感分布過于分散，干擾注意力機(jī)制感知情感。

2.4.2 注意力機(jī)制中注意力頭個(gè)數(shù)的影響

模型TLFM中采用多頭注意力機(jī)制感知文本情感，為了探索注意力頭個(gè)數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，人為控制注意力頭的個(gè)數(shù)，依次進(jìn)行實(shí)驗(yàn)(這里主要是探索注意力頭個(gè)數(shù)，為了簡(jiǎn)化實(shí)驗(yàn)，引入的文檔級(jí)知識(shí)只選取數(shù)據(jù)集中的50%，且以準(zhǔn)確率作為評(píng)價(jià)指標(biāo))。得到具體的實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 注意力頭個(gè)數(shù)對(duì)預(yù)測(cè)結(jié)果的影響

從圖4可以清晰看到，注意力頭個(gè)數(shù)增加到10的過程中，在3個(gè)數(shù)據(jù)集上模型的準(zhǔn)確率一直處于提升狀態(tài)。當(dāng)注意力頭的個(gè)數(shù)超過10之后，模型的準(zhǔn)確率開始出現(xiàn)較大的波動(dòng)，猜測(cè)可能是因?yàn)樵u(píng)論文本一般為簡(jiǎn)單句式，如果注意力頭過多，導(dǎo)致網(wǎng)絡(luò)復(fù)雜性上升，對(duì)簡(jiǎn)單句式復(fù)雜理解，造成準(zhǔn)確率不穩(wěn)定，基于此實(shí)驗(yàn)結(jié)果，本文模型將多頭注意力機(jī)制中的注意力頭設(shè)置為10。

3 結(jié)束語

方面級(jí)情感分析領(lǐng)域中，大部分模型都是通過從文檔級(jí)語料中預(yù)學(xué)習(xí)情感知識(shí)，來彌補(bǔ)方面級(jí)數(shù)據(jù)集規(guī)模不足的問題，本文在此基礎(chǔ)之上，進(jìn)一步考慮文檔級(jí)情感知識(shí)中包含與給定方面無關(guān)的情感，為此提出一種基于遷移學(xué)習(xí)和過濾機(jī)制的方面級(jí)情感分析模型TLFM。在公開的方面級(jí)情感分析數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明TLFM在多項(xiàng)指標(biāo)上的性能都優(yōu)于其它模型。

本文預(yù)測(cè)的都是顯式情感信息，并沒有考慮到評(píng)論文本中的隱式情感，因此接下來將進(jìn)一步考慮句子中的隱式情感。