陳啟凡，曾雪強，左家莉，萬中英，王明文

江西師范大學 計算機信息工程學院，南昌 330022

情感分析的任務目標是挖掘出數(shù)據(jù)中蘊含的人們的情感傾向[1-2]，在個性化推薦[3]和智能客服系統(tǒng)[4]等多個新興的人工智能場景具有重要的應用價值。情感分析主要包括3 個子任務，即情感信息抽取、情感信息分類和情感信息檢索與歸納[2]。本文的研究聚焦于情感信息分類，目標是提升情緒識別模型的泛化性能。

傳統(tǒng)的情緒識別模型，大部分基于單標記學習（single label learning）或多標記學習（multi-label learning），為示例關聯(lián)一個或多個情緒標簽，不能定量地分析具有不同表達強度的多種情緒[5]。為了解決這一問題，Zhou等人于2015年在面部表情識別任務中首次提出情感分布學習（emotion distribution learning，EDL）[6]。EDL 借鑒標記分布學習（label distribution learning，LDL）[5，7]的研究思路，認為文本和圖像等媒介表達的情感是多種基本情緒的混合，各種基本情緒在同一示例上具有不同的表達強度。示例的各個基本情緒的表達強度介于0和1之間，所有基本情緒的表達程度之和為1。所有基本情緒在某個示例上的表達程度共同構成一個情感分布（emotion distribution）[6]。在文本情緒識別任務中，一個句子同時表達多種強度不同的基本情緒是一種常見的現(xiàn)象。如圖1所示，SemEval文本情感數(shù)據(jù)集[8]對每個句子在6 種基本情緒上的表達程度都給出了具體評分。EDL通過情感分布對多種情緒同時進行表示，可以較好地處理存在情緒模糊性的情緒識別任務。

人類情感是一個復雜的現(xiàn)象，各種基本情緒之間高度相互關聯(lián)，呈現(xiàn)出正相關性或負相關性。正相關的情緒更有可能同時發(fā)生，負相關的情緒則很少一起出現(xiàn)[9]。例如，圖1中的例句1標注了悲傷和恐懼兩種基本情緒，其中悲傷是主導情緒。通過對文本內容進行人工分析，發(fā)現(xiàn)例句1還應該蘊含有驚訝情緒（在圖1中用虛框標出）。進一步分析會發(fā)現(xiàn)，驚訝與悲傷是在心理學上高度正相關的兩種情緒。例句2 的情況與例句1 相似，通過人工分析可以發(fā)現(xiàn)該句子蘊含未標注的與悲傷情緒高度相關的厭惡情緒。如何在情感分析模型中有效地考慮情緒之間的相關性，是各種情緒識別模型的一個常見的研究思路。

圖1 SemEval文本情感數(shù)據(jù)集的兩個例句（虛框標識的情緒是通過人工分析新發(fā)現(xiàn)但數(shù)據(jù)集未標注的情緒）Fig.1 Two example sentences from SemEval text sentiment dataset

近年來，EDL 是機器學習領域的一個研究熱點，國內外許多學者在國際頂級會議和期刊上發(fā)表了多個EDL 有關的研究工作[10-14]。從已有的研究工作看，在EDL 模型中考慮情緒標簽之間的相關性是一個重要的研究方向。比如，Jia 等人[10]于2019 年利用局部低秩結構捕捉標簽局部相關性，提出了一種基于標簽局部相關性的面部情感分布學習方法；Xu和Wang[11]于2021年提出一種基于注意力機制的情感分布學習方法，取得圖像的各個區(qū)域與情感分布之間的關系。以上這些工作的基本思路是在EDL模型中增加考慮從訓練數(shù)據(jù)中挖掘出的情緒相關性，并取得了一定的效果。然而，目前在EDL 模型中引入基于心理學先驗知識的情緒相關性的工作還比較少。

普魯契克情感輪是心理學家羅伯特·普魯契克于1980年提出的一種經典的心理學情感模型，用于描述人類基本情緒之間的相關性[15]。普魯契克認為人類情感是由8種基本情緒（憤怒、期待、高興、信任、恐懼、驚訝、悲傷和厭惡）構成的混合表達。這8種基本情緒共同構成一個情感輪，相鄰位置的兩個情緒具有正相關性，相對位置的兩個情緒為負相關。兩種基本情緒的間隔角度越小，其情緒正相關性越高；基本情緒的間隔角度越大，其情緒負相關性越高?？傮w上，情感輪上的間隔角度代表對應情緒間的心理學相關程度。He 和Jin 于2019 年在圖像情緒識別任務上提出考慮心理學先驗知識的基于圖卷積神經網絡的EDL 方法，取得了不錯的效果[12]。但是該工作的模型結構相對較為簡單，包含先驗知識的圖卷積網絡的訓練相對獨立。到目前為止，還沒有EDL工作采用注意力機制將基于情感輪的心理學先驗知識直接融合到深度學習網絡中。

為了在EDL模型中有效地引入心理學先驗知識以提升情感分析性能，本文提出了一種基于情感輪注意力的情感分布學習（emotion wheel attention based emotion distribution learning，EWA-EDL）模型。EWA-EDL模型在經典的文本卷積神經網絡的基礎上，通過注意力機制將基于心理學的情緒相關性先驗知識引入神經網絡，再采用多任務損失函數(shù)同時學習情感分布預測和情緒分類任務。EWA-EDL 模型主要由5 部分構成，分別為輸入層、卷積層、池化層、注意力層和多任務損失層。輸入的句子在輸入層表示為詞嵌入向量的矩陣，再使用卷積層的多個不同寬度的濾波器生成新的輸出特征，隨后在池化層中基于標準的最大池化操作獲取特征中的最大值。在注意力層，EWA-EDL 模型為每個基本情緒構建一個基于普魯契克情感輪的先驗情感分布，并通過注意力機制將各個情緒的先驗情感分布融合為一個最終的情感分布輸出。在最后的多任務損失層中，EWAEDL模型將KL損失和交叉熵損失結合，同時學習情感分布預測和情緒分類兩個任務。本文在英文情感分布數(shù)據(jù)集（SemEval 2007 Task14[8]）、4 個英文單標簽數(shù)據(jù)集（CBET[16]、ISEAR[17]、TEC[18]和Fairy Tales[19]）和3 個中文單標簽數(shù)據(jù)集（NLP&CC 2013、NLP&&CC 2014[20]和WEC[21]）上進行對比實驗。實驗結果表明，EWA-EDL模型在情感分布預測和情緒分類任務上的性能均優(yōu)于對比的EDL模型。

1 相關工作

傳統(tǒng)的文本情感分析主要是對句子進行情感極性分類，即判別情感的正面、負面或中性極性[2]。然而，情感極性識別模型無法捕捉細粒度情緒，只適用于簡單的情感分析任務。與傳統(tǒng)的情感極性分析不同，細粒度情感分析的目標是識別文本中的細粒度情緒[6]，即憤怒、期待和高興等具體情緒。經典的細粒度情緒識別模型一般基于單標記學習或多標記學習進行建模，為示例關聯(lián)一個或多個情緒標簽[5]。

細粒度情緒識別模型能夠處理很多情感分析任務，但是其建模能力仍有不足，無法定量表示示例蘊含的表達程度不同的多種情緒[13]。在實際應用中，很多句子存在同時表達多個程度不同的情緒的情況。例如，常用的SemEval文本情感數(shù)據(jù)集對句子的6種細粒度情緒的表達程度都進行了標注[8]。如圖1所示，悲傷是例句1的主要情緒，表達程度達91.10%；作為次要情緒的恐懼的表達程度為8.82%。例句2的主要情緒（悲傷）的表達程度是82.85%，次要情緒（憤怒）的表達程度為17.14%。

為了定量地處理一個示例同時表達多種強度不同的情緒的情況，Zhou 等人[6]借鑒標記分布學習（LDL）[5]的研究思路，于2015 年提出情感分布學習（EDL）。此后，Zhou 等人[13]于2016 年提出面向文本的EDL 方法。一個句子可能表達一種或多種情緒，每種情緒的表達強度不同。本文使用表示句子x中情緒y的表達強度。各種情緒在每個句子上的表達強度得分構成一個情感分布，通過向量歸一化保證。需要注意的是，不是概率，而是情緒y在情感分布中所占的比例。如果認為是概率，則意味著一個句子只有一個情緒標簽是正確的，而EDL 認為一個示例同時包含多種情緒。EDL 的建模目標是學習一個從句子空間X=?m到情感分布空間Y={y1,y2,…,yc}的映射，每個標簽yi代表一種基本情緒。

情感分布學習可以有效地處理一個示例同時表達多種情緒的問題，適用于存在情緒模糊性的任務[6]。近年來，許多學者在EDL 領域提出了多個有效的研究工作[10-14]。按照是否考慮情緒標簽間相關性的角度劃分，現(xiàn)有的EDL工作可以分為如下三大類：

不考慮情緒標簽相關性的方法。早期的大部分EDL 工作不考慮情緒標簽間的相關性，例如Zhou 等人[13]使用最大熵模型從句子文本直接預測情感分布，沒有考慮情緒的相關性；Zhang 等人[22]提出基于多任務卷積神經網絡（multi-task convolutional neural network，MT-CNN）的EDL 模型，同時優(yōu)化情感分布預測和情緒分類任務；Li等人[23]將單詞與具有定量強度的細粒度情感標簽聯(lián)系起來，提出了一種結合領域知識和維度詞典來生成詞級情感分布向量的新方法。

從訓練數(shù)據(jù)學習標簽相關性的方法。此類方法是當前EDL方法的一個熱門研究方向。Jia等人[10]在人臉表情識別任務上挖掘數(shù)據(jù)中的局部標簽相關性進行情感分布學習；Fei 等人[14]提出一種潛在情感記憶網絡學習數(shù)據(jù)中潛在的情感分布，并將其有效地利用到分類網絡中；Xu 和Wang[11]提出一種基于注意力機制的情感分布學習方法，取得圖像的各個區(qū)域與情感分布之間的關系。

通過引入外部先驗知識考慮標簽相關性的方法。此類方法利用心理學情感先驗知識，考慮情緒標簽間的相關性，以提升情緒識別模型的泛化性能。目前考慮情感先驗知識的EDL 工作還比較少，He 和Jin[12]提出一種基于情感輪心理學模型的情緒圖卷積網絡的EDL方法（EmotionGCN）。EmotionGCN 主要由兩部分組成：用于提取圖像特征的CNN 模塊和考慮先驗知識的基于GCN 的權重生成器。實驗結果表明EmotionGCN 在圖像EDL 任務上具有較好的性能。但是EmotionGCN 的模型結構較為簡單，學習情緒標簽相關性的GCN 模塊和基于圖像的CNN 模塊相對獨立，僅采用矩陣相乘將兩個模塊的輸出直接合并在一起。研究者們需要提出更有效地將心理學先驗知識直接融合到深度學習網絡中的EDL工作。與MT-CNN和EmotionGCN相比，本文提出的EWA-EDL 模型基于情感輪心理學模型定義各個基本情緒之間的距離并生成相應的先驗情感分布，通過注意力機制將各個情緒的先驗情感分布融合于卷積神經網絡模型，再采用多任務損失函數(shù)以端到端的方式同時學習情感分布預測和情感分類任務。

2 基于情感輪注意力的情感分布學習

2.1 普魯契克情感輪

根據(jù)心理學的研究，人類的情緒之間具有明確的相互關聯(lián)[15]。某些情緒經常會同時出現(xiàn)，即表現(xiàn)出很高的正相關性；而另外一些情緒則相反。羅伯特·普魯契克于1980 年提出的情感輪理論，是一種從心理學角度描述人類情緒間相互關系的經典模型[15]。普魯契克情感輪（Plutchik’s wheel of emotions）包含憤怒（anger）、厭惡（disgust）、悲傷（sadness）、驚訝（surprise）、恐懼（fear）、信任（trust）、高興（joy）和期待（expect）8 種基本情緒。如圖2所示，8種基本情緒在情感輪中分為4組對立的情緒，對角位置的情緒具有負相關性，位置相鄰的情緒具有正相關性。

圖2 普魯契克情感輪Fig.2 Plutchik’s wheel of emotions

按照情緒在情感輪中的間隔角度的大小，定義情緒之間的心理學距離。兩種情緒每間隔45°，距離定義為1。兩種情緒的間隔角度越小，其心理學距離越小，情緒相似性越高。如圖2 所示，高興和信任是相鄰情緒，間隔角度為45°，距離定義為1；期待和驚訝是對立情緒，間隔角度為180°，距離設定為4。

在EDL 領域，已有一些研究工作將情感輪作為先驗知識使用[12-13]。例如，Zhou 等人[13]在基于最大熵模型的EDL方法的優(yōu)化目標中引入基于普魯契克情感輪的情緒約束條件，取得了不錯的效果。He 和Jin[12]提出一種基于圖卷積神經網絡和情感輪的EDL 方法，表現(xiàn)出了不錯的性能。但是總體而言，基于情感輪的EDL 工作還比較少。目前，還沒有EDL 工作采用注意力機制將基于情感輪的心理學先驗知識直接融合到深度學習網絡中。

2.2 基于普魯契克情感輪注意力的情感分布學習

本研究將注意力機制引入基于普魯契克情感輪的心理學先驗知識，采用多任務深度卷積神經網絡，提出基于情感輪注意力的情感分布學習（EWA-EDL）模型。EWA-EDL模型的構架如圖3所示。

圖3 基于情感輪注意力的情感分布學習模型構架圖Fig.3 Overall framework of emotion wheel attention based emotion distribution learning model

給定一個由N條句子構成的文本訓練集S=，其中是句子si對應的情感分布，表示第j種情緒在句子si上的表達程度，∈[0,1]且。EWA-EDL 的建模目標是學習到一個從句子si到情感分布di的映射。EWA-EDL 同時優(yōu)化兩個訓練任務，分別為情感分布預測和情緒分類。EWA-EDL的模型構架由5部分組成，分別為輸入層、卷積層、池化層、注意力層和多任務損失層。

輸入層：EWA-EDL模型的輸入是由M個單詞構成的句子。將第m個單詞wm表示為一個k維的詞嵌入向量xm∈?k。然后，將該句中所有的詞向量連接在一起，組成詞向量矩陣：

如果句子文本的長度未達到M，在詞向量的最后用0 補齊，將每條句子表示為一個維度為k×M的詞向量矩陣。

卷積層：卷積層包含多個濾波器ω∈?h×k，其中h為窗口寬度，每個濾波器產生一個新的特征表示。設xp:p+h-1表示詞xp,xp+1,…,xp+h-1的連接，則特征vp是采用濾波器ω在一組詞xp:p+h-1上計算得到，公式如下：

其中，f(·)是一個非線性激活函數(shù)，比如Sigmoid 或ReLu 函數(shù)，b是偏差值。濾波器窗口覆蓋到句子中的所有詞x1:h,x2:h+1,…,xM-h+1:M,可以產生一組特征圖v：

池化層：一系列標準的最大池化操作運用到特征圖v上，用來獲取特征中最大值作為重要特征：

注意力層：注意力機制最初在計算機視覺領域被提出，主要目的是讓神經網絡根據(jù)需要將注意力集中于圖像的特定部分，而不是整體圖像[24]。Bahdana 等人[25]于2014 年將注意力機制成功應用于自然語言處理領域。鑒于注意力機制在自然語言處理任務上表現(xiàn)優(yōu)秀，本文采用注意力機制在基于深度網絡的EDL模型中引入情感心理學先驗知識。首先為每種基本情緒生成一個描述情緒間相關度的先驗情感分布，再通過注意力機制加權，預測最終的情感分布。

依據(jù)各種情緒在情感輪模型中的心理學距離，為每個情緒α,α∈{1,2,…,C}，生成一個先驗情感分布fα。在先驗情感分布fα中，情緒標簽α的值應該最大，表達程度最高，其他情緒的值隨著離情緒標簽α在情感輪中的距離增大而減小?？傮w而言，先驗情感分布fα應該是一個以情緒標簽α為中心，左右對稱遞減的分布。根據(jù)Geng 等人[26]的基于LDL 的人臉年齡預測工作的結論，假設先驗情感分布服從高斯分布。給定情緒標簽α，基于高斯分布生成先驗情感分布fα，計算公式如下：

其中，σ是先驗情感分布的標準差，Z是歸一化因子，使得是情緒a與真實情緒α之間的情感輪距離。例如，高興和驚訝的先驗情感分布分別為[4.03×10-2,9.17×10-1,4.03×10-2,8.12×10-4,3.42×10-6,8.12×10-4]和[4.51×10-4,4.51×10-4,2.33×10-1,5.09×10-1,2.33×10-1,2.24×10-2]。

其中，fj是第j個情緒αj的先驗情感分布。

具體而言，EWA-EDL 模型的注意力層的計算過程如圖4所示。以初步預測的情感分布g=[0，0.7，0，0.3，0，0]為例，對各個基本情緒的先驗情感分布進行注意力加權。加權后，只有高興和驚訝兩個情緒的輸出不為0，對應的加權先驗情感分布分別為[2.82×10-2,6.42×10-1,2.82×10-2,5.68×10-4,2.39×10-6,5.68×10-4]和[1.35×10-4,1.35×10-4,7.00×10-2,1.52×10-1,7.00×10-2,6.72×10-3]。最后，對加權的情感分布進行融合，得到注意力層最終的預測情感分布[2.83×10-2,6.42×10-1,9.82×10-2,1.53×10-1,7.00×10-2,7.28×10-3]。

圖4 EWA-EDL模型的注意力層示意圖Fig.4 Schematic diagram of attention layer of EWA-EDL model

多任務損失層：EWA-EDL 模型將交叉熵損失函數(shù)和KL 損失函數(shù)結合，采用端到端的方式同時訓練情感分布預測和情緒分類任務。兩個同時訓練的學習任務可以相互促進，學習得到更魯棒的神經網絡模型。對于已標注情感分布的數(shù)據(jù)集，情感分布di中表達程度最高的情緒作為句子si的真實情緒標簽，用于情緒分類。對于沒有標注情感分布的單標簽數(shù)據(jù)集，采用標記增強技術（label enhancement）[27]將真實情緒標簽擴展為情感分布。

EWA-EDL 的目標損失函數(shù)是交叉熵損失和KL 損失的加權組合，計算公式如下：

其中，Ecls代表用于情緒分類任務的交叉熵損失，Eedl是情感分布預測任務的KL 損失，λ是權重參數(shù)。根據(jù)前人的研究工作[22]，λ設置為0.7。

交叉熵損失最大化目標標簽的概率，是一種常用于分類任務的目標函數(shù)，定義為：

其中，1(δ)是指標函數(shù)，當δ為真時1(δ)=1，否則為0，yi是句子si的真實情緒標簽，表示句子si在最后一層的輸出值。

對于情感分布預測，KL 損失度量預測分布和真實分布之間的差異，具體定義如下：

Zhang 等人提出的基于多任務卷積神經網絡（MTCNN）的EDL 模型[22]，以端到端的方式同時訓練情感分布預測和情緒分類任務，取得了不錯的效果，但是MTCNN模型沒有考慮心理學先驗知識。本研究將在實驗部分對EWA-EDL和MT-CNN模型的性能進行對比。

3 實驗結果與分析

為了考察本文提出的EWA-EDL 模型的性能，進行了3 組實驗，分別是分析先驗情感分布的參數(shù)σ對EWA-EDL模型性能的影響，對比多種EDL方法在中英文數(shù)據(jù)集上的情緒預測性能和比較3 種基于深度網絡的EDL模型在7個單標簽數(shù)據(jù)集上的情緒分類性能。

3.1 實驗設置

本文實驗采用了8 個文本情感數(shù)據(jù)集，分別是SemEval情感分布數(shù)據(jù)集（SemEval 2007 Task14[8]）、4個單標簽英文數(shù)據(jù)集（CBET[16]、ISEAR[17]、TEC[18]和Fairy Tales[19]）和3 個單標簽中文數(shù)據(jù)集（NLP&CC 2013[20]、NLP&&CC 2014[20]和WEC[21]）。表1列出了所有中英文實驗數(shù)據(jù)集的詳細信息，包括各個情緒的句子數(shù)量、全部句子數(shù)量和每個句子的平均單詞數(shù)量。

表1 中英文實驗數(shù)據(jù)集Table 1 Chinese and English experimental datasets

本文采用的5 個英文文本數(shù)據(jù)集的基本情況如下。SemEval數(shù)據(jù)集[8]是標注了多種情緒表達強度的情感分布數(shù)據(jù)集，包含1 250條新聞標題，每個新聞標題有6個情緒標簽及其對應的表達強度，即憤怒、高興、恐懼、驚訝、悲傷和厭惡。SemEval 數(shù)據(jù)集主要從New York Times、CNN、BBC 和Google 新聞等主流英文報紙收集新聞標題。CBET 數(shù)據(jù)集[16]由76 860 條推特文本組成，包含9種情緒，每種情緒有8 540條推文。從CBET數(shù)據(jù)集選用了普魯契克情感輪包括的6種情緒（憤怒、高興、恐懼、驚訝、悲傷和厭惡）共51 240條推文。ISEAR數(shù)據(jù)集[17]包含7 666 條句子和7 種情緒標簽。句子的內容是人們描述他們經歷某種情緒（憤怒、高興、恐懼、悲傷、厭惡、羞恥和內疚）時的現(xiàn)場情況和經驗。本文實驗選用ISEAR 數(shù)據(jù)集中的5 種情緒（憤怒、高興、恐懼、悲傷和厭惡）和5 431 條句子。TEC 數(shù)據(jù)集[18]包括21 051 條情緒推文，每條推文均標注了6 種情緒之一，即憤怒、高興、恐懼、喜悅、驚訝和悲傷。Fairy Tales 數(shù)據(jù)集[19]從185個童話故事中摘抄1 204條英文句子，共有5種情緒（憤怒、高興、恐懼、驚訝和悲傷），每條句子標注1 個情緒標簽。

在中文數(shù)據(jù)集方面，NLP&CC 2013 和NLP&CC 2014 單標簽中文數(shù)據(jù)集[20]分別包含從新浪微博采集的32 185 條句子（10 552 條情緒句和21 633 條無情緒句）和45 421 條句子（15 690 條情緒句和29 731 條無情緒句）。NLP&CC 2013和NLP&CC 2014數(shù)據(jù)集包含7種情緒，即憤怒、高興、恐懼、驚訝、悲傷、厭惡和喜歡。本文保留了其中的6種情緒（憤怒、高興、恐懼、驚訝、悲傷和厭惡），并從這兩個數(shù)據(jù)集分別選取了7 581和11 431條情緒句。WEC（Weibo emotion corpus）數(shù)據(jù)集[21]是香港理工大學于2016 年基于微博文章構建的情感語料庫，共包含7種情緒（憤怒、高興、恐懼、驚訝、悲傷、厭惡和喜歡）。本文選用WEC 數(shù)據(jù)集中的6 種情緒（憤怒、高興、恐懼、驚訝、悲傷和厭惡）共35 121條句子進行實驗。

英文數(shù)據(jù)集的文本預處理步驟如下：首先，去除標點符號等特殊字符，僅保留英文字母和數(shù)字。然后，將所有英文字母轉為小寫，并對單詞進行詞干化處理。最后，采用開源的預訓練word2vec詞嵌入模型[28]將每個單詞表示為300 維的向量。word2vec 模型在GoogleNews數(shù)據(jù)集的大約1 000 億個詞上訓練得到，詞典包含大約300萬個詞。對于中文文本的預處理步驟如下：首先，去除標點符號等特殊字符，僅保留中文和數(shù)字。然后，采用Jieba 分詞工具（https：//github.com/fxsjy/jieba）進行中文分詞。最后，采用中文預訓練詞向量模型Chinese Word Vector[29]將每個單詞表示為300維的向量。Chinese Word Vector模型包括85 萬個詞，在百度百科等中文語料庫上的大約1.36 億個詞上訓練得到。對于詞嵌入模型的未登錄詞，采用均勻分布U(-ε,ε) 進行隨機初始化，其中ε設置為0.01。作為神經網絡模型的輸入，每個句子均通過預處理轉換為一個300 維的詞嵌入矩陣。句子最大的單詞數(shù)設為每個數(shù)據(jù)集中最長句子的單詞數(shù)。預訓練的詞嵌入向量在神經網絡的訓練過程中保持固定。

為了合理評估模型的性能，實驗設置采用標準的分層十折交叉驗證（stratified 10-fold cross-validation）。具體步驟是，在保持類別比例的前提下，將數(shù)據(jù)集平均分成10 份，每份作為測試集使用1 次，對應的剩余數(shù)據(jù)合并為訓練集，如此重復10 次。交叉驗證中的每一折都是一次獨立的EDL 情緒預測任務，在每一折的實驗中隨機抽取訓練集的1/10 作為驗證集。為了使實驗結果具有可比性，參與對比的模型均采用一致的數(shù)據(jù)劃分。各個評價指標在10 次交叉驗證上的平均值，用于評價EDL模型的最終性能。

對于情感分布預測任務，采用6種常用的EDL指標來評價預測的情感分布的質量，包括Euclidean、Sφrensen、Squaredχ2、KL Divergence、Cosine 和Intersection[13]。對于情緒分類任務，采用4 種分類評價指標，分別是精確率（Precision）、召回率（Recall）、F1 分數(shù)（F1-score）和準確率（Accuracy）。另外，EWA-EDL 模型的參數(shù)設置如表2所示。

表2 EWA-EDL模型參數(shù)設置Table 2 EWA-EDL model parameter settings

本文的實驗在1 臺聯(lián)想工作站上運行，主要硬件配置為Intel 酷睿i9-10900X 3.70 GHz 10 核CPU 和128 GB內存。操作系統(tǒng)為Ubuntu 18.04，深度學習框架采用Pytorch 1.5.0。

3.2 先驗情感分布參數(shù)σ 對EWA-EDL 模型性能的影響

先驗情感分布的標準差參數(shù)σ用于控制由真實情緒標簽生成的情感分布的離散程度，是影響EWA-EDL模型性能的一個重要參數(shù)。當σ越大時，情感分布越分散，高斯分布曲線越扁平；當σ越小時，情感分布越集中，情感分布曲線越瘦高。為了分析標準差參數(shù)σ對EWA-EDL 模型性能的影響，將參數(shù)σ從0 到1 取值，每間隔0.1 取值一次，記錄對應的Accuracy 和Cosine 指標的變化情況。在SemEval數(shù)據(jù)集上先驗情感分布參數(shù)σ對EWA-EDL模型性能的影響實驗結果如圖5所示。

圖5 先驗情感分布參數(shù)σ 對EWA-EDL模型性能的影響Fig.5 Effect of prior emotion distribution parameter σ on performance of EWA-EDL model

如圖5 所示，EWA-EDL 模型在SemEval 數(shù)據(jù)集的情緒預測任務上，評價指標Accuracy 和Cosine 均在σ=0.8 時達到最高。當σ 取值在0 到0.7 之間時，Accuracy和Cosine基本上呈現(xiàn)逐步上升的趨勢，說明將單個情緒標簽擴展為情感分布時，適當增加情感分布的離散程度有益于提升EDL 模型的性能。當σ=0.8 時，Cosine 和Accuracy達到最高值，說明此時生成的情感分布的離散程度最優(yōu)。以驚訝情緒為例，σ=0.8 時的先驗情感分布為[4.51×10-4,4.51×10-4,2.33×10-1,5.09×10-1,2.33×10-1,2.24×10-2]。當σ取值增加到0.8與1.0之間時，評價指標Cosine和Accuracy出現(xiàn)明顯下降，說明此時真實情緒在情感分布中的得分過低，生成情感分布的離散程度過大。以上實驗結果表明，在保持真實情緒的主導地位同時，適當增加先驗情感分布的離散程度有助于提升EDL模型的性能。

3.3 多種學習模型的情感分布預測和情緒分類性能對比

為了評估本文提出的EWA-EDL 模型在情感分布數(shù)據(jù)集上的情感分布預測和情緒分類性能，將EWAEDL與常用的EDL和LDL方法進行對比，包括AA-BP、SA-BFGS、SA-IIS、SA-LDSVR、AA-KNN、SA-CPNN[5]、TextCNN[30]和MT-CNN[22]。AA-KNN 和AA-BP 是經典的KNN 算法和BP（back propagation）神經網絡的擴展版本，以解決LDL 任務[5]。SA-LDSVR、SA-IIS、SABFGS 和SA-CPNN 是為LDL 任務專門設計的算法[5]。TextCNN[30]是用于文本情感分類的卷積神經網絡模型。MT-CNN[22]是Zhang 等人提出的用于文本EDL 的多任務卷積神經網絡模型。8 種情感分布學習方法在SemEval 數(shù)據(jù)集上的情感分布預測和情緒分類的具體實驗結果如表3 所示（表3 中每種指標的最優(yōu)結果用加粗標出，↑表示該指標越大越好，↓表示該指標越小越好）。

由表3可見，本文提出的EWA-EDL模型在SemEval數(shù)據(jù)集上總體表現(xiàn)出比其他LDL方法和EDL模型更好的性能。在情感分布預測和情緒分類任務的所有10個指標上，EWA-EDL 模型均優(yōu)于SA-CPNN、AA-KNN、SA-LDSVR、SA-IIS、SA-BFGS 和AA-BP 模型。在情感分布預測任務上，EWA-EDL模型除了在KL Divergence指標上略低于MT-CNN 模型0.25%外，在其他5 項指標上均表現(xiàn)出最優(yōu)結果。例如在Cosine 指標上，EWAEDL比次優(yōu)的MT-CNN模型提升了0.9%。在情緒分類任務上，EWA-EDL 模型同樣表現(xiàn)出優(yōu)秀的性能。例如在Accuracy 指標上，EWA-EDL 模型比次優(yōu)的MT-CNN模型高出1.68個百分點。在Recall、F1和Accuracy這3個情緒分類指標上，EWA-EDL 模型均取得了最優(yōu)得分。以上實驗結果表明，EWA-EDL 模型具有比對比的EDL模型更為優(yōu)秀的情緒預測性能。普魯契克情感輪可以較好地描述基本情緒之間的相關性，通過注意力機制引入基于情感輪的心理學先驗知識對提升EDL模型的性能具有明顯的效果。

表3 在SemEval數(shù)據(jù)集上8種EDL方法的性能對比Table 3 Performance comparison of 8 emotion distribution learning methods on SemEval dataset

3.4 基于深度網絡的情感分布學習模型的情緒分類性能對比

為了評估EWA-EDL 模型在傳統(tǒng)的單標簽情感數(shù)據(jù)集上的性能，在4個英文單標簽數(shù)據(jù)集（CBET、ISEAR、TEC和Fairy Tales）和3個中文單標簽數(shù)據(jù)集（NLP&CC 2013、NLP&&CC 2014 和WEC）上進行了情緒分類性能對比實驗。在單標簽數(shù)據(jù)集上，使用LLE（lexicon based emotion distribution label enhancement）標記增強方法[22，31]將示例的情緒標簽增強為情感分布。標記增強方法生成的情感分布作為訓練樣本的監(jiān)督信息使用。LLE方法在句子的真實情緒標簽之外，引入文本中的情感詞信息生成情感分布，具有較好的性能[22]。將EWA-EDL 模型與基于深度神經網絡的TextCNN[30]和MT-CNN 模型[22]進行對比實驗，具體的實驗結果如表4所示（表4中每種指標的最優(yōu)結果用加粗標出）。

由表4 的結果可以看出，本文提出的EWA-EDL 模型在7 個單標簽數(shù)據(jù)集上總體表現(xiàn)出比TextCNN 和MT-CNN模型更優(yōu)的性能。以F1分數(shù)和準確率指標為例，EWA-EDL模型在7個數(shù)據(jù)集上均取得了最優(yōu)的得分。具體而言，在CBET、ISEAR、TEC、Fairy Tales、NLP&&CC 2013、NLP&&CC 2014和WEC數(shù)據(jù)集上，EWA-EDL模型的F1 得分比MT-CNN 模型分別高出1.25 個百分點、1.12 個百分點、1.07 個百分點、3.62 個百分點、0.49 個百分點、0.31 個百分點和0.17 個百分點，比TextCNN 模型分別高出1.49個百分點、2.82個百分點、3.57個百分點、4.87個百分點、2.74個百分點、6.58個百分點和1.61個百分點。在所有7 個數(shù)據(jù)集的平均準確率上，EWA-EDL模型比MT-CNN 和TextCNN 模型分別高1.04 個百分點和3.27 個百分點。實驗結果說明，在基于深度網絡的EDL 模型中引入心理學先驗知識有助于提高情緒分類任務的性能。本文提出的EWA-EDL 模型有效地利用了心理學知識，比TextCNN 和MT-CNN 模型具有更好的情緒分類性能。

表4 單標簽數(shù)據(jù)集上3種EDL模型的性能對比Table 4 Performance comparison of 3 EDL models on single-label datasets 單位：%

另外，與Zhang等人的實驗結果一致[22]，MT-CNN模型在7 個數(shù)據(jù)集上的所有指標上均高于TextCNN 模型。這一實驗結果表明，使用交叉熵損失和KL 損失組合訓練的多任務神經網絡模型比傳統(tǒng)的卷積神經網絡模型更適用于情緒分類任務。

4 結束語

通過采用注意力機制引入心理學先驗知識，本文提出了一個基于情感輪注意力機制的情感分布學習（EWA-EDL）模型。EWA-EDL 模型基于普魯契克情感輪心理學模型計算基本情緒間的相關性，以注意力機制將心理學先驗知識融合到多任務卷積神經網絡中。EWA-EDL 模型由5 部分組成，分別是輸入層、卷積層、池化層、注意力層和多任務損失層。在8個中英文文本情感數(shù)據(jù)集上的對比實驗結果表明，EWA-EDL 模型在情感分布預測和情緒分類任務上具有比現(xiàn)有EDL方法更優(yōu)的性能。

在未來的工作中，將考慮以更加有效的方式利用先驗知識，對注意力機制進行改進，提升情感分布學習模型的性能。