馬 雨 解 慶 唐伶俐 劉永堅(jiān)

(武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 湖北 武漢 430070)

0 引 言

當(dāng)今時(shí)代互聯(lián)網(wǎng)迅猛發(fā)展，網(wǎng)絡(luò)上每天都會(huì)產(chǎn)生大量的信息，包括各種各樣的用戶評(píng)論信息。比如用戶可以對(duì)某個(gè)企業(yè)的某個(gè)產(chǎn)品做出評(píng)價(jià)，可以對(duì)剛看完的電影做出評(píng)價(jià)，也可以對(duì)政府對(duì)于重大事件的決策發(fā)表意見等。企業(yè)可以通過用戶反饋的評(píng)價(jià)信息來優(yōu)化產(chǎn)品及運(yùn)營(yíng)，政府可以通過分析評(píng)論來體察民情民意，用戶可以通過其他用戶對(duì)于某款產(chǎn)品的評(píng)價(jià)來決定是否消費(fèi)該產(chǎn)品等。對(duì)這些信息做出合理的分析，不管是對(duì)于政府、企業(yè)還是用戶都大有裨益。而在這些信息中用戶的主觀情感取向是極其重要的組成部分，因此研究者開始分析如上所述的不同類型的評(píng)論數(shù)據(jù)中所包含的個(gè)人主觀情感取向，由此產(chǎn)生了情感分析技術(shù)。

情感分析(Sentiment Analysis)又稱意見挖掘(Opinion Mining)，它利用文本分析、機(jī)器學(xué)習(xí)、語言學(xué)、深度學(xué)習(xí)等方法對(duì)帶有情感色彩的文本進(jìn)行分析、處理、推理和歸納[1]。通俗而言，主要是對(duì)文本所表達(dá)的情感傾向做出判斷，一般有三種情感極性：正面、中立和負(fù)面?；趯?duì)文檔分類粒度的不同又分為：篇章級(jí)和句子級(jí)的粗粒度情感分析和方面級(jí)的細(xì)粒度情感分析。粗粒度情感分析假設(shè)每一篇或者每一句文本的評(píng)論對(duì)象以及對(duì)應(yīng)的情感極性只有一個(gè)，這顯然不符合實(shí)際應(yīng)用中復(fù)雜的情況。

因此，近來學(xué)術(shù)研究越來越關(guān)注細(xì)粒度情感分析，即針對(duì)某一句或某一段評(píng)論文本中的多個(gè)評(píng)論對(duì)象，分別分析各自的情感極性。方面級(jí)的細(xì)粒度情感分析又分為方面類別情感分析ACSA(Aspect Category Sentiment Analysis)和方面詞項(xiàng)情感分析ATSA(Aspect Term Sentiment Analysis)兩個(gè)子任務(wù)。對(duì)于ACSA，上述細(xì)粒度情感分析定義中的“評(píng)論對(duì)象”指的是方面類別詞；對(duì)于ATSA，其中的“評(píng)論對(duì)象”指的是方面詞項(xiàng)。ACSA任務(wù)例如：“The boiled fish is delicious, but the price is too expensive.”，boiled fish對(duì)應(yīng)的food類是積極的情感極性，而price對(duì)應(yīng)的price類是消極的情感極性；ATSA任務(wù)的實(shí)例如下：“The boiled fish is delicious, but the beef is too salty.”，boiled fish這個(gè)詞項(xiàng)對(duì)應(yīng)的是積極的情感極性，而beef這個(gè)詞項(xiàng)對(duì)應(yīng)的是消極的情感極性。雖然兩個(gè)詞項(xiàng)都屬于food類，但是ATSA的處理對(duì)象更加細(xì)化。目前的研究成果大多基于深度學(xué)習(xí)方法，且只關(guān)注方面級(jí)情感分析的其中一項(xiàng)任務(wù)，而且目前方面級(jí)情感分析的數(shù)據(jù)集不足，因此整體的性能表現(xiàn)并未達(dá)到預(yù)期。

本文提出一種基于多任務(wù)學(xué)習(xí)的方面級(jí)情感分析模型(Aspect-level sentiment analysis model based on multi-task learning，ASA-MTL)來解決方面級(jí)情感分析問題。該模型的核心思想是利用多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的性能，同時(shí)學(xué)習(xí)方面級(jí)情感分析的兩個(gè)子任務(wù)和輔助的方面詞項(xiàng)重建任務(wù)[2]，共享其中的隱層參數(shù)和各個(gè)子任務(wù)的特征表示，促進(jìn)多個(gè)子任務(wù)共同學(xué)習(xí)，解決了單任務(wù)網(wǎng)絡(luò)因不能共享自身特征而導(dǎo)致性能不佳的問題。同時(shí)，多任務(wù)學(xué)習(xí)框架使得每一個(gè)子任務(wù)都為其他子任務(wù)提供額外的信息，一定程度上緩解了方面級(jí)情感分析數(shù)據(jù)集不足的問題。在模型訓(xùn)練結(jié)構(gòu)中，首先使用雙向門控循環(huán)單元(Bi-GRU)及Sentence-level的注意力機(jī)制來對(duì)詞向量編碼，獲得更好的語義向量。然后在各個(gè)任務(wù)的單獨(dú)網(wǎng)絡(luò)層，對(duì)于兩個(gè)情感分析子任務(wù)，使用Aspect-level的注意力機(jī)制能夠在句子中根據(jù)不同方面捕獲不同的重要信息。綜上所述，本文的工作有如下三個(gè)方面：

(1) 將兩個(gè)方面級(jí)情感分析子任務(wù)利用多任務(wù)學(xué)習(xí)框架進(jìn)行共同訓(xùn)練學(xué)習(xí)。

(2) 使用Sentence-level和Aspect-level兩層注意力機(jī)制來更好地注意方面詞和情感詞，從而提升模型的總體表現(xiàn)。

(3) 多任務(wù)學(xué)習(xí)框架中添加方面詞項(xiàng)重建任務(wù)在一定程度上確保方面特定的信息對(duì)其他兩個(gè)子任務(wù)產(chǎn)生積極的影響。

本文的模型在SemEval的餐館和電腦領(lǐng)域數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，結(jié)果表明，與當(dāng)前具有代表性的方法進(jìn)行比較，本文提出的模型在方面級(jí)情感分析任務(wù)中的效果有了顯著的提高。

1 相關(guān)工作

1.1 情感分析

基于深度神經(jīng)網(wǎng)絡(luò)的方面級(jí)情感分析工作取得了不錯(cuò)的進(jìn)展，尤其是基于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)、長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)、門控循環(huán)單元GRU(Gate Recurrent Unit)，以及注意力機(jī)制[3](Attention Mechanism)等模型。文獻(xiàn)[4]總結(jié)了各種深度神經(jīng)網(wǎng)絡(luò)用于情感分析任務(wù)，其中包括RNN、LSTM、CNN和基于注意力機(jī)制[5]的RNN等，同時(shí)也介紹了篇章級(jí)、句子級(jí)和方面級(jí)等幾項(xiàng)情感分類子任務(wù)。文獻(xiàn)[6]闡述了如何使用LSTM及其優(yōu)化模型，即雙向LSTM網(wǎng)絡(luò)和“門控”對(duì)文本進(jìn)行分類。文獻(xiàn)[7]提出了兩種基于長(zhǎng)短期記憶網(wǎng)絡(luò)的模型：TD-LSTM和TC-LSTM，并驗(yàn)證了這兩個(gè)模型在情感分類任務(wù)上的出色表現(xiàn)。CNN最早應(yīng)用在圖像識(shí)別領(lǐng)域[8]，而以CNN為基礎(chǔ)的模型在自然語言處理上同樣也不遜色。文獻(xiàn)[9]首先將CNN模型用于文本分類上，CNN的特點(diǎn)在于能夠保留句子的局部關(guān)鍵信息，因此取得了優(yōu)異的成績(jī)。文獻(xiàn)[10]認(rèn)為雖然深度神經(jīng)網(wǎng)絡(luò)取得了不錯(cuò)的進(jìn)展，但是并未充分利用情感語言學(xué)知識(shí)，忽略了情感詞、否定詞等的重要性，因此提出了一種多情感資源增強(qiáng)注意網(wǎng)絡(luò)(MEAN)，通過注意力機(jī)制將情感詞、否定詞和強(qiáng)度詞整合到深層神經(jīng)網(wǎng)絡(luò)來緩解該問題，用于句子級(jí)的情感分類。文獻(xiàn)[11]提出基于注意力的LSTM用于方面級(jí)情感分析，其核心思想是學(xué)習(xí)aspect向量，讓aspect向量參與到attention權(quán)重的計(jì)算中。文獻(xiàn)[12]認(rèn)為位置信息對(duì)于方面級(jí)情感分析任務(wù)是有益的，因此提出了一種基于層次關(guān)注的位置感知網(wǎng)絡(luò)，也取得了不錯(cuò)的成績(jī)。文獻(xiàn)[13]將方面級(jí)情感分析任務(wù)細(xì)化為兩個(gè)子任務(wù)：方面類別情感分析ACSA和方面詞項(xiàng)情感分析ATSA。提出了GCAE模型，該模型由兩個(gè)卷積層和兩個(gè)非線性的門單元組成，繼承了LSTM中門單元的特性，又比LSTM的結(jié)構(gòu)簡(jiǎn)單太多，可以并行工作，獲得了較短的模型訓(xùn)練時(shí)間和優(yōu)秀的模型性能。

1.2 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)(Mutli-task Learning)屬于遷移學(xué)習(xí)領(lǐng)域，但不同于遷移學(xué)習(xí)注重從源域到目標(biāo)域的知識(shí)遷移，多任務(wù)學(xué)習(xí)基于共享表示，注重任務(wù)之間的相關(guān)性，通過并行學(xué)習(xí)來改善單個(gè)任務(wù)學(xué)習(xí)的性能。多任務(wù)學(xué)習(xí)有很多形式，聯(lián)合學(xué)習(xí)(Joint Learning)、自主學(xué)習(xí)(Learning to Learn)和帶有輔助任務(wù)的學(xué)習(xí)(Learning with Auxiliary Task)[14]。文獻(xiàn)[15]分析基于單任務(wù)監(jiān)督目標(biāo)學(xué)習(xí)的模型通常受到訓(xùn)練數(shù)據(jù)不足的影響，因而提出了使用多任務(wù)學(xué)習(xí)框架來共同學(xué)習(xí)多個(gè)相關(guān)任務(wù)。文獻(xiàn)基于循環(huán)神經(jīng)網(wǎng)絡(luò)，提出了三種不同的共享信息機(jī)制，以模擬具有特定任務(wù)和共享層的文本，整個(gè)網(wǎng)絡(luò)共同訓(xùn)練所有任務(wù)。對(duì)四個(gè)文本分類任務(wù)的實(shí)驗(yàn)表明文獻(xiàn)提出的模型可以借助其他相關(guān)任務(wù)來提高單一任務(wù)的性能。文獻(xiàn)[16]認(rèn)為情感分析中三分類和五分類問題是相關(guān)的，因此提出了一個(gè)基于RNN的多任務(wù)學(xué)習(xí)方法。實(shí)驗(yàn)表明多任務(wù)模型有助于改善細(xì)粒度情感分析。文獻(xiàn)[17]提出了一種對(duì)抗性的多任務(wù)學(xué)習(xí)框架，減輕了共享和私有潛在特征空間之間的相互干擾。對(duì)16種不同的文本分類任務(wù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，表明了該方法的優(yōu)勢(shì)。文獻(xiàn)[18]針對(duì)當(dāng)前的大多數(shù)工作無法直接優(yōu)化所需任務(wù)的非監(jiān)督目標(biāo)，或受訓(xùn)練數(shù)據(jù)不足困擾的單任務(wù)監(jiān)督目標(biāo)來學(xué)習(xí)模型，提出了一種多任務(wù)深度神經(jīng)網(wǎng)絡(luò)，用于學(xué)習(xí)跨多個(gè)任務(wù)的表示形式。

2 多任務(wù)情感分析模型ASA-MTL

本文提出一種基于多任務(wù)學(xué)習(xí)的方面級(jí)情感分析模型ASA-MTL，如圖1所示，主要包括以下2種結(jié)構(gòu)。

(1) 多任務(wù)共享提取特征結(jié)構(gòu)。該結(jié)構(gòu)基于Bi-GRU及Sentence-level的注意力機(jī)制，是多任務(wù)的共享部分，在此結(jié)構(gòu)中共同訓(xùn)練各個(gè)子任務(wù)的數(shù)據(jù)，達(dá)到共同學(xué)習(xí)的目的。模型將兩個(gè)任務(wù)的語料庫(kù)經(jīng)過共享Embedding層得到詞向量，將詞向量送入Bi-GRU編碼獲得新的向量。通過Sentence-level的注意力機(jī)制更好地捕獲句子的內(nèi)部結(jié)構(gòu)，提高句子中方面詞和情感詞在詞嵌入中的權(quán)重，得到最終的句子表示(圖1中“H”部分)。

圖1 基于多任務(wù)學(xué)習(xí)的方面級(jí)情感分析模型ASA-MTL

另外，考慮到實(shí)際評(píng)論文本中普遍存在的多方面情感交織問題，本模型采用一個(gè)額外的CNN完成方面詞項(xiàng)的識(shí)別和提取的工作。如圖2所示，模型以窗口滑動(dòng)的形式提取句子的局部特征，通過最大池化層、全連接層、Softmax層，最終提取方面詞項(xiàng)。

圖2 CNN結(jié)構(gòu)提取方面詞項(xiàng)

(2) 任務(wù)特定輸出結(jié)構(gòu)。該結(jié)構(gòu)基于Aspect-level的注意力機(jī)制，是各個(gè)子任務(wù)的獨(dú)有部分，分別使用注意力機(jī)制為不同任務(wù)服務(wù)并將結(jié)果輸出。首先通過上述共享層得到任務(wù)共享的句子表示。

對(duì)于ACSA任務(wù)，首先將句子表示和方面類別嵌入拼接作為該任務(wù)特定的注意力層的輸入，當(dāng)不同的方面類別詞輸入的時(shí)候，注意力機(jī)制可以專注于句子的不同部分，最后用Softmax層將結(jié)果映射至概率空間，完成方面類別情感分類。

對(duì)于ATSA任務(wù)，首先將方面詞項(xiàng)從句子中提取出來，并得到方面詞項(xiàng)嵌入，然后將方面詞項(xiàng)嵌入和句子表示拼接送入該任務(wù)特定的注意力層，不同的方面詞項(xiàng)的輸入會(huì)使得注意力機(jī)制對(duì)句子的不同位置產(chǎn)生關(guān)注，最后用Softmax層將結(jié)果映射至概率空間，完成方面詞項(xiàng)情感分類。

方面詞項(xiàng)重建任務(wù)ATR(Aspect Term Reconstruction)為ACSA和ATSA的輔助任務(wù)，重建方面詞項(xiàng)。句子中方面詞項(xiàng)可能由多個(gè)單詞組成，因此是多標(biāo)簽問題。該任務(wù)將共享句子向量通過解碼器Bi-GRU對(duì)向量操作，之后用全連接層進(jìn)行多標(biāo)簽分類，得到方面詞項(xiàng)。

2.1 多任務(wù)共享提取特征結(jié)構(gòu)

在多任務(wù)共享提取特征結(jié)構(gòu)中，使用一個(gè)任務(wù)共享的Embedding層、Bi-GRU層、Sentence-level的注意力層來捕獲三個(gè)任務(wù)的特征，其中Sentence-level的注意力層采用Self-attention機(jī)制。將文本數(shù)據(jù)經(jīng)過Embedding層，得到句子的詞向量表示之后共同送入Bi-GRU層，利用Bi-GRU結(jié)構(gòu)，將所有任務(wù)的數(shù)據(jù)共同參與訓(xùn)練，得到一個(gè)共同的隱藏狀態(tài)表示，并使用Self-attention機(jī)制更好地注意方面詞和情感詞，得到最終的句子表示，解決了單任務(wù)學(xué)習(xí)時(shí)因不能共享自身特征而導(dǎo)致性能不佳的問題。

2.1.1Embedding層

Embedding層將詞語轉(zhuǎn)化成向量的形式，實(shí)現(xiàn)將詞語從語義空間映射到向量空間，且原本語義接近的兩個(gè)詞匯在向量空間中的位置也是接近的。給定一個(gè)含有n個(gè)詞的句子s={w1,w2,…,wn}，通過嵌入矩陣E∈RV×d來獲取句子向量表示。其中：V是詞匯表的大??；d是詞嵌入的維度。本文采用300維的Glove[19]向量矩陣來初始化矩陣E，并在訓(xùn)練過程中進(jìn)行微調(diào)。

2.1.2Bi-GRU層

多任務(wù)共享提取特征結(jié)構(gòu)使用Bi-GRU來編碼句子向量，獲取句子的高維語義特征。GRU是由LSTM發(fā)展變化而來的模型。LSTM具有三個(gè)“門”機(jī)制，可以讓信息選擇性通過，能夠較好地處理長(zhǎng)序列，但其模型復(fù)雜，需要學(xué)習(xí)的參數(shù)較多，需要很長(zhǎng)的訓(xùn)練時(shí)間[19]。GRU簡(jiǎn)化了LSTM的內(nèi)部結(jié)構(gòu)，去除了細(xì)胞狀態(tài)，只包含更新門和重置門，使用隱藏狀態(tài)來進(jìn)行信息的傳遞，能將輸入序列映射成一個(gè)包含高層語義信息的新序列。這樣模型具有更少的參數(shù)，能夠在提高模型訓(xùn)練速度的基礎(chǔ)上保證訓(xùn)練效果，其結(jié)構(gòu)如圖3所示。

圖3 GRU的內(nèi)部結(jié)構(gòu)

zt=σ(Wz[ht-1，xt]+bz)

(1)

rt=σ(Wr[ht-1，xt]+br)

(2)

(3)

(4)

單向的GRU從左到右編碼句子，只能看到句子過去的上文信息，不能看到句子未來的下文信息。本文采用Bi-GRU從正向和反向兩個(gè)方向來獲取上下文信息，因此能夠獲得兩個(gè)隱藏表示，然后級(jí)聯(lián)每一個(gè)詞的正向隱藏狀態(tài)和反向隱藏狀態(tài)。第i個(gè)詞的輸出為：

(5)

H1=[h1,h2,…,hi,…,hn]

(6)

式中：n為句子所含詞語的個(gè)數(shù)。

2.1.3Sentence-level的注意力層

在情感分析任務(wù)中，一個(gè)句子中的不同單詞對(duì)幫助方面級(jí)情感分析做出不等同的貢獻(xiàn)。因此本文引入了一種Sentence-level注意機(jī)制，以提取更重要的單詞。Self-attention能通過將所有相關(guān)單詞的理解融入到正在處理的單詞中，充分考慮到句子之間不同詞語之間的語義關(guān)系。因此該層采用Self-attention機(jī)制對(duì)獲得的隱層表示進(jìn)一步編碼，將方面詞和其情感詞等這些信息性單詞的表示形式匯總起來，從而形成Sentence-level的表示形式。

Self-attention是注意力機(jī)制的一種，對(duì)每一個(gè)單詞處理都能充分考慮到其他單詞，也就是說可能會(huì)和所有的詞語都做一個(gè)加權(quán)。而RNN及其變體在處理單詞時(shí)卻只能依靠上一個(gè)階段的輸出狀態(tài)和當(dāng)前的輸入狀態(tài)。如圖4所示，可以看到Self-attention的處理機(jī)制，允許模型選擇性地關(guān)注一些詞。

圖4 Self-attention的工作機(jī)制

對(duì)于上文中得到的H1中的每一個(gè)詞向量，在Self-attention中都會(huì)經(jīng)過計(jì)算得出三個(gè)不同的向量Q、K和V。每一個(gè)位置上詞的Q向量與所有位置上詞的K向量進(jìn)行點(diǎn)積相乘后做Softmax歸一化操作，得到每一個(gè)詞的權(quán)重。最后，將得到的權(quán)重與每個(gè)位置上詞的V向量加權(quán)求和，得到最終的向量：

(7)

2.2 任務(wù)特定輸出結(jié)構(gòu)

在兩個(gè)情感分析子任務(wù)中，為了更好地對(duì)應(yīng)給定的方面來捕捉句子中重要的部分[11]，使用Aspect-level的注意力機(jī)制作為共享層之后的任務(wù)特定層。在方面詞項(xiàng)重建任務(wù)中，使用Bi-GRU作為解碼器，之后接一個(gè)全連接層來進(jìn)行多標(biāo)簽分類，重建方面詞項(xiàng)。

該結(jié)構(gòu)是在上述多任務(wù)共享結(jié)構(gòu)基礎(chǔ)上對(duì)于兩個(gè)情感分析任務(wù)分別加入注意力層，當(dāng)句子中有多種不同的方面時(shí)，注意力機(jī)制使得模型能夠捕獲句子中最重要的部分。分別將方面類別詞向量或方面詞項(xiàng)向量與多任務(wù)共享結(jié)構(gòu)得到的向量H拼接起來作為注意力機(jī)制的輸入表示。注意力機(jī)制將會(huì)產(chǎn)生一個(gè)注意力權(quán)重向量α和給定方面的句子加權(quán)表示組成的向量r。α=[α1,α2,…,αi,…,αn]，其中αi代表每個(gè)詞的注意力權(quán)重。

(1) 對(duì)于ACSA和ATSA任務(wù)。將H和va拼接后的向量經(jīng)過tanh激活函數(shù)，得到M，然后經(jīng)過Softmax得到注意力權(quán)重α，最終得到給定方面類別或方面詞項(xiàng)的句子向量r：

(8)

α=softmax(wTM)

(9)

r=HαT

(10)

式中：va代表ACSA任務(wù)中的方面類別詞向量或ATSA任務(wù)中的方面詞項(xiàng)向量；Wh、Wa和wT是參數(shù)。

最終得到句子表示是r和最后的輸出向量hN的非線性組合，并使用Softmax分類器將給定方面類別或方面詞項(xiàng)的句子特征表示h*轉(zhuǎn)化為條件概率分布：

h*=tanh(Wrr+WnhN)

(11)

y=softmax(Wsh*+bs)

(12)

式中：Wr和Wn是訓(xùn)練過程中需要學(xué)習(xí)的參數(shù)；h*是給定方面的句子特征表示；Ws和bs是Softmax分類器的參數(shù)。

(2) 對(duì)于ATR任務(wù)。方面類別情感分析數(shù)據(jù)集中只有幾個(gè)預(yù)先定義的方面類別，例如餐飲領(lǐng)域的food類、service類和price類等。在方面詞項(xiàng)情感分析數(shù)據(jù)集中，方面詞項(xiàng)的數(shù)量有很多，而組成方面詞項(xiàng)的詞是有限的。方面詞項(xiàng)存在于句子中，一個(gè)方面類別可以對(duì)應(yīng)多個(gè)方面詞項(xiàng)，因此在多任務(wù)學(xué)習(xí)結(jié)構(gòu)中該任務(wù)對(duì)于兩個(gè)情感分析子任務(wù)是有助益的。

方面詞項(xiàng)重建是將句子中所包含的方面詞項(xiàng)找出來，具體表現(xiàn)為給每個(gè)句子打上標(biāo)簽，標(biāo)簽內(nèi)容為方面詞項(xiàng)。例如：“The boiled fish is delicious, but the beef is too salty.”該句中方面詞項(xiàng)是boiled fish和beef，那么該句子將被打上這兩個(gè)標(biāo)簽。句子中含有的方面詞項(xiàng)個(gè)數(shù)即為標(biāo)簽的個(gè)數(shù)。

在多任務(wù)共享結(jié)構(gòu)中得到句子表示之后，將其輸入至Bi-GRU中，這里的Bi-GRU作為解碼器，然后將結(jié)果輸入至全連接層進(jìn)行多標(biāo)簽分類，當(dāng)一個(gè)句子中包含多個(gè)方面詞項(xiàng)時(shí)，則為這個(gè)句子貼上它所擁有詞項(xiàng)的標(biāo)簽，重建句子中包含的方面詞項(xiàng)。對(duì)于多標(biāo)簽問題，使用損失函數(shù)是Sigmoid交叉熵，公式如下：

(13)

式中：C代表構(gòu)成訓(xùn)練例子中所有詞項(xiàng)的單詞數(shù)；yi是單詞的真實(shí)值；pi是單詞的預(yù)測(cè)值。

2.3 損失函數(shù)

模型的損失函數(shù)采用交叉熵?fù)p失函數(shù)，通過反向傳播以端到端的方式來訓(xùn)練模型。對(duì)于ASA-MTL模型，三個(gè)任務(wù)共有三個(gè)損失函數(shù)，總的損失函數(shù)是：

loss=αloss1+βloss2+γloss3

(14)

式中：loss1、loss2、loss3分別是ACSA、ATSA和方面詞項(xiàng)重建任務(wù)的損失函數(shù)，均采用交叉熵來估計(jì)損失；α、β和γ分別是權(quán)重系數(shù)，系數(shù)之和為1。三個(gè)權(quán)重系數(shù)通過訓(xùn)練過程中反復(fù)調(diào)試得到。ACSA和ATSA任務(wù)的損失函數(shù)如下：

(15)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

3.1.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境：操作系統(tǒng)Ubuntu 12.0.3，內(nèi)存16 GB，編程平臺(tái)Pycharm，Python 3.6版本，深度學(xué)習(xí)框架Keras。

3.1.2數(shù)據(jù)集與評(píng)估標(biāo)準(zhǔn)

數(shù)據(jù)集：本實(shí)驗(yàn)采用公共數(shù)據(jù)集SemEval 2014 task4，2015 task12、2016 task5作為兩個(gè)任務(wù)的語料，其中包括餐廳和筆記本電腦的客戶評(píng)論。參考該數(shù)據(jù)集上的其他工作[11，20]，移除了其中的“conflict”標(biāo)簽，剩余三個(gè)情感標(biāo)簽分別是“positive”“negative”和“neutral”，即進(jìn)行“積極”“消極”和“中性”三分類的實(shí)驗(yàn)。采用文獻(xiàn)[13]的方法，合并了2014至2016三年的餐飲領(lǐng)域的數(shù)據(jù)，修復(fù)了數(shù)據(jù)的不兼容性，刪除“conflict”標(biāo)簽而不是把它替換為“neutral”，以此作為ACSA的數(shù)據(jù)集，最后共得到餐廳領(lǐng)域訓(xùn)練集4 470條數(shù)據(jù)，測(cè)試集2 374條數(shù)據(jù)。對(duì)于ATSA的數(shù)據(jù)集，采用的是SemEval2014 task4的餐廳評(píng)論和電腦評(píng)論，其中電腦(Laptop，L)評(píng)論共有訓(xùn)練集2 313條數(shù)據(jù)、測(cè)試集638條數(shù)據(jù)，餐廳(Restaurant，R)評(píng)論共有訓(xùn)練集3 602條數(shù)據(jù)、測(cè)試集1 120條數(shù)據(jù)。表1是數(shù)據(jù)集各個(gè)類別的樣本數(shù)。

表1 ACSA和ATSA任務(wù)統(tǒng)計(jì)的數(shù)據(jù)集

評(píng)估標(biāo)準(zhǔn)：本文采用精確率(Accuracy，Acc)和F1值作為分類任務(wù)的評(píng)價(jià)指標(biāo)，采用隨機(jī)初始化每種方法運(yùn)行5次的平均值。使用到的統(tǒng)計(jì)項(xiàng)如表2所示。

表2 評(píng)估標(biāo)準(zhǔn)中使用到的統(tǒng)計(jì)項(xiàng)

精確率(Accuracy)及F1值的公式如下：

(16)

(17)

(18)

(19)

式中：precision和recall自身也是一種常見的評(píng)價(jià)指標(biāo)，但事實(shí)上這兩者在一些情況下有矛盾，故使用同時(shí)兼顧了precision和recall的F1值作為評(píng)價(jià)指標(biāo)。

3.1.3實(shí)驗(yàn)方法

本實(shí)驗(yàn)驗(yàn)證了本文提出的多任務(wù)學(xué)習(xí)框架，根據(jù)方面詞項(xiàng)重建任務(wù)是否引入，分別按如下方式表示：(1) 只包含ACSA和ATSA兩個(gè)任務(wù)的訓(xùn)練模型ASA-DTL；(2) 包含ACSA、ATSA和重建三個(gè)任務(wù)的訓(xùn)練模型ASA-MTL。實(shí)驗(yàn)?zāi)康闹饕瞧谕?yàn)證多任務(wù)學(xué)習(xí)框架對(duì)比單任務(wù)學(xué)習(xí)框架的優(yōu)勢(shì)，以及方面詞項(xiàng)重建任務(wù)在多任務(wù)學(xué)習(xí)框架下對(duì)兩個(gè)情感分析任務(wù)的輔助作用。

本實(shí)驗(yàn)選用AdaGrad優(yōu)化器來進(jìn)行參數(shù)的更新。批處理大小和初始的學(xué)習(xí)率分別設(shè)置為32和0.01，dropout率為50%。詞向量采用300維的Glove向量矩陣來初始化，并在訓(xùn)練過程中進(jìn)行微調(diào)。不在Glove詞匯表中的單詞用均勻分布U(-0.25,0.25)來隨機(jī)初始化。實(shí)驗(yàn)基于Keras來實(shí)現(xiàn)。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1對(duì)比實(shí)驗(yàn)的結(jié)果分析

為了評(píng)估本文模型的性能，需要與幾種基線模型做對(duì)比實(shí)驗(yàn)。表3描述了對(duì)比模型和本文模型的分類精確率，實(shí)驗(yàn)結(jié)果均為重復(fù)實(shí)驗(yàn)五次的平均值。

表3 各個(gè)模型在不同數(shù)據(jù)集上的精確率和F1值

(1) LSTM[6]：由基礎(chǔ)的LSTM得到句子表示并運(yùn)用分類器來分類。

(2) AT-LSTM[11]：在LSTM的基礎(chǔ)上做的改進(jìn)，通過LSTM對(duì)句子建模，并連接方面向量以計(jì)算注意力權(quán)重，然后將其用于生成輸入句子的最終表示，以判斷情感極性。

(3) ATAE-LSTM[11]：通過將方面詞嵌入附加到每個(gè)單詞嵌入來擴(kuò)展AT-LSTM，這樣能夠更好地發(fā)揮方面信息的優(yōu)勢(shì)。

(4) TD-LSTM[7]：使用兩個(gè)LSTM網(wǎng)絡(luò)對(duì)目標(biāo)的前后上下文進(jìn)行建模，以生成與目標(biāo)相關(guān)的情感預(yù)測(cè)表示。

(5) TC-LSTM[7]：在TD-LSTM的基礎(chǔ)上進(jìn)行改進(jìn)，在構(gòu)建句子表示形式時(shí)更好地利用目標(biāo)和每個(gè)上下文詞之間的聯(lián)系，將單詞嵌入和目標(biāo)向量的串聯(lián)作為每個(gè)位置的輸入，最后進(jìn)行情感分析。

可以看出，LSTM是表現(xiàn)最差的一個(gè)模型，其分類精確率僅有0.814，因?yàn)樗鼰o法獲得句子中有關(guān)方面詞的任何信息。AT-LSTM模型是在LSTM的基礎(chǔ)上做的改進(jìn)，其表現(xiàn)優(yōu)于LSTM。TD-LSTM的表現(xiàn)也優(yōu)于LSTM，但由于該模型并未使用注意力機(jī)制，因此它無法知曉句子中的單詞對(duì)于給定方面的重要性。TC-LSTM模型的性能優(yōu)于TD-LSTM，這得益于其很好地利用了目標(biāo)詞語上下文的聯(lián)系。ATAE-LSTM是這些對(duì)比實(shí)驗(yàn)中效果最好的，分類精確率是0.837，它既有方面向量的助益，又使用注意力機(jī)制極大地提升了性能。

ASA-DTL模型是ACSA和ATSA兩個(gè)任務(wù)共同學(xué)習(xí)的結(jié)構(gòu)，該模型可驗(yàn)證多個(gè)相關(guān)任務(wù)學(xué)習(xí)對(duì)于各自任務(wù)性能提升的有效性。從表3中可以看出，ASA-DTL模型在三個(gè)數(shù)據(jù)集上都取得了較好的情感分析效果，其中在R(ACSA)上的分類精確率為0.850，比起效果較好的TC-LSTM模型和ATAE-LSTM模型分別提升0.019和0.13；在R(ATSA)數(shù)據(jù)集上的分類精確率為0.773，而ATAE-LSTM和TC-LSTM的分類精確率分別是0.762和0.756，分別比上述兩個(gè)效果好的模型分別提升了0.011和0.017；在L(ATSA)數(shù)據(jù)集上的表現(xiàn)也是可觀的，比先前的實(shí)驗(yàn)均有所提升。由表3中數(shù)據(jù)可得，ASA-DTL模型在R(ATSA)數(shù)據(jù)集上的F1值為0.778，比ATAE-LSTM模型高了0.012；在另外兩個(gè)數(shù)據(jù)集上的表現(xiàn)也都優(yōu)于其他模型。綜上所述，通過這些實(shí)驗(yàn)驗(yàn)證了相關(guān)任務(wù)共同學(xué)習(xí)的有效性。

ASA-MTL模型在ASA-DTL模型的基礎(chǔ)上加入方面詞項(xiàng)重建任務(wù)作為輔助任務(wù)。從表3中可以看出，該模型在三個(gè)數(shù)據(jù)集上表現(xiàn)是最好的，在R(ACSA)數(shù)據(jù)集上的分類精確率為0.856，在R(ATSA)數(shù)據(jù)集上的分類精確率為0.780，在L(ATSA)數(shù)據(jù)集上的分類精確率為0.697，均高于ASA-DTL模型。由此可見，三個(gè)相關(guān)任務(wù)共同學(xué)習(xí)的模型優(yōu)于兩個(gè)相關(guān)任務(wù)共同學(xué)習(xí)的模型，更進(jìn)一步驗(yàn)證了多任務(wù)學(xué)習(xí)的有效性。

總體來看，多任務(wù)學(xué)習(xí)比起單任務(wù)學(xué)習(xí)在精確率上有較大的提升，驗(yàn)證了多任務(wù)學(xué)習(xí)在方面級(jí)情感分析任務(wù)上的有效性。

3.2.2方面詞項(xiàng)重建輔助任務(wù)的影響

由表3可見，ASA-MTL和ASA-DTL在R(ACSA)數(shù)據(jù)集上的分類精確率分別是0.856和0.850，在R(ATSA)數(shù)據(jù)集的分類精確率分別是0.780和0.773，在L(ATSA)數(shù)據(jù)集的分類精確率分別是0.697和0.690，ASA-MTL在三個(gè)數(shù)據(jù)集上的分類效果均優(yōu)于ASA-DTL?？梢则?yàn)證本文的三個(gè)任務(wù)的共同學(xué)習(xí)架構(gòu)優(yōu)于兩個(gè)任務(wù)的共同學(xué)習(xí)結(jié)構(gòu)以及方面詞項(xiàng)重建任務(wù)的重要性。在方面類別情感分析數(shù)據(jù)集中，只有幾個(gè)預(yù)先定義的方面類別。在方面詞項(xiàng)情感分析數(shù)據(jù)集中，方面詞項(xiàng)有很多種，組成方面詞項(xiàng)的詞語是有限的，它們分別從屬于方面類別中的某一類別。方面詞項(xiàng)和方面類別對(duì)于兩個(gè)子任務(wù)能否有一個(gè)好的性能是非常關(guān)鍵的，重新構(gòu)建方面詞項(xiàng)能夠在一定程度上確保方面特定的信息對(duì)上述兩個(gè)子任務(wù)產(chǎn)生積極的影響，以便對(duì)特定方面的情感傾向進(jìn)行更好的預(yù)測(cè)。

4 結(jié) 語

本文提出一種基于多任務(wù)學(xué)習(xí)的方面級(jí)情感分析模型(ASA-MTL)，同時(shí)學(xué)習(xí)方面級(jí)情感分析多個(gè)子任務(wù)，共享參數(shù)，促進(jìn)多個(gè)任務(wù)共同學(xué)習(xí)，解決了單任務(wù)網(wǎng)絡(luò)不能共享每個(gè)網(wǎng)絡(luò)自身學(xué)習(xí)到的特征進(jìn)而導(dǎo)致性能不佳的問題。在網(wǎng)絡(luò)結(jié)構(gòu)中使用Sentence-level和Aspect-level兩層注意力機(jī)制對(duì)整個(gè)句子進(jìn)行分析，在句子中根據(jù)不同方面捕獲不同的重要信息。添加方面詞項(xiàng)重建任務(wù)作為多任務(wù)結(jié)構(gòu)中的輔助任務(wù)，確保方面信息能更好地發(fā)揮作用。在SemEval數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了本文模型的性能相比其他基線模型有所提升。另外，一些詞在不同的領(lǐng)域表達(dá)的情感極性不同，因此領(lǐng)域特定的情感詞典對(duì)于方面級(jí)情感分析任務(wù)是非常關(guān)鍵的。在未來的工作中，將嘗試構(gòu)建領(lǐng)域特定情感詞典，充分利用情感語言學(xué)知識(shí)進(jìn)一步提高情感分析的效果。