陳亞茹，陳世平

(上海理工大學 光電信息與計算機工程學院，上海 200093)E-mail ：1639008937@qq.com

1 引 言

近年來，人們通過在以微博等為代表的社交媒介進行信息交流、情感表達和意見發(fā)表.對這些海量用戶數(shù)據(jù)進行情感分析，有助于了解用戶的情感狀態(tài)，及時獲取用戶的觀點態(tài)度，對于政治、社會科學、經(jīng)濟等方面的發(fā)展具有重要的現(xiàn)實意義.

研究發(fā)現(xiàn)，微博文本中的表情符號和一般文本語義之間存在著很大的差異.自然語言中的文本語義都具有一定的語法功能，在構造文本內(nèi)容時必須遵守相應的語法規(guī)則.然而，表情符號不具有語法功能，并且通常以獨立的形式表達情感信號.此外，情感詞通常比表情符號具有更加復雜的情感信息.鑒于這些差異，將表情符和文本語言共同作為情感分析模型的決定因素進行研究，成為本文的研究關鍵.

本文提出了一種融合自注意力機制和BiGRU網(wǎng)絡模型的微博情感分析方法：

1)根據(jù)現(xiàn)有的微博數(shù)據(jù)集進行統(tǒng)計和分類，構建了一個帶有情感標簽的微博情感語料庫.

2)將表情符引入微博文本情感分析研究，利用BiGRU網(wǎng)絡學習純文本的低緯度表示，然后利用自注意力模型將文本詞向量和表情符向量共同進行權重計算，使得遠距離依賴特征之間的距離被大大縮短，能夠提取出文本更深層次的語義關系，增強了文本情感分析的能力.

3)通過對比分析實驗，證明了本文模型相比其他模型更有效地提高了微博文本情感分類的準確率.

2 相關工作

卷積神經(jīng)網(wǎng)絡(CNN)和遞歸神經(jīng)網(wǎng)絡(RNN)是文本情感分析領域中的兩種廣泛使用的深度學習模型.Lecun等人[1]將卷積神經(jīng)網(wǎng)絡應用到文本情感分類中，提高了分類的準確性.Mikolov等人[2]提出的RNN模型可以處理序列數(shù)據(jù)并學習長期依賴性.RNN可以考慮當前輸出與前一序列輸出之間的關系，使得RNN能夠充分學習上下文文本之間的信息.但RNN存在梯度擴散和梯度爆炸的問題，為了解決這一問題，長短期記憶模型(LSTM)[3]和門控遞歸單元(GRU)[4]等眾多變體被提出并廣泛應用于情感分析領域.但是LSTM和GRU模型只具有前向信息記憶能力，而不能對后向序列進行記憶，故雙向RNN結構被隨之提出.如Graves等人[5]提出的雙向長短期記憶網(wǎng)絡(BiLSTM)，該模型在LSTM上增加了反向層，使得LSTM能夠同時考慮上下文信息，對雙向序列信息進行記憶，獲得雙向無損的文本信息；Zhang等人[6]提出了一種基于雙向遞歸神經(jīng)網(wǎng)絡的分層多輸入輸出模型，該模型采用兩個獨立的雙向門控循環(huán)(BiGRU)來生成部分詞性和句子表示，然后對語音表達中softmax激活輸出來考慮詞法信息.

針對微博的情感分析，表情符號具有較強的情感表現(xiàn)，越來越多的研究者將表情符引入到情感分析中，如Jiang等[7]提出了表情空間模型(ESM)，將所有單詞向量投射到表情空間后，使用支持向量機(SVM)模型進行情感分類.何炎祥等[8]采用表情符號向量來增強多通道卷積網(wǎng)絡(MCNN)學習情感語義的能力，利用常見的表情符號和單詞構建情感空間的特征表示矩陣，然后通過MCNN對情感表示矩陣進行建模，實現(xiàn)對微博文本的情感分類.

雖然文獻[7,8]考慮到表情符號在情感表現(xiàn)的重要作用，但未考慮情感符號自身對文本的作用機制.

注意力機制最早運用在圖像處理領域[9]，后來Bahdanau等人[10]首次將注意力機制應用在自然語言中.在自然語言處理領域，注意力機制廣泛應用在機器翻譯、問答系統(tǒng)[11]、情感分析[12]等方面.自注意力機制是注意力機制層的一個特例，它是一種內(nèi)部注意力機制，能夠關注到句子內(nèi)部詞語之間的語義關系.它通常不需要額外的數(shù)據(jù)信息，可以單獨作為一層來使用，許多研究者將自注意力機制與深度學習模型相結合，實現(xiàn)文本情感的分類.如邵清等人[13]通過引入自注意力機制處理詞向量，然后根據(jù)卷積神經(jīng)網(wǎng)絡和關鍵詞提取技術實現(xiàn)特征向量的分類，有效提高了分類的準確性；石磊等人[14]提出了一種將自注意力機制和Tree-LSTM相結合，并且引入了Maxout神經(jīng)元，有效地提高了情感分析的準確率和解決了空間方向的梯度下降問題.本文提出的自注意力機制和BiGRU網(wǎng)絡模型，利用自注意力機制能夠關注文本的關鍵信息，實現(xiàn)了將文本和表情符共同加入計算，得到結合表情符作用的語義編碼信息，有效提高了文本分類的準確率.

3 模 型

為了實現(xiàn)微博情感分析的目標，本文提出了融合表情符的自注意力機制和BiGRU網(wǎng)絡模型結構，具體結構如圖1所示.該模型共包括四層結構：第一層是詞向量輸入層，將輸入的文本句子利用詞向量模型來進行編碼；第二層是BiGRU層，完成的任務是將文本向量輸入BiGRU模型以獲取上下文相關信息；第三層是自注意力機制層，主要是將文本特征和表情符向量進行融合加權，從句子中抽取相關信息；最后一層是情感分類層，通過softmax分類器完成文本情感分析工作.

圖1 融合自注意力和BiGRU模型框架

3.1 詞向量輸入層

本文模型的輸入是由整個數(shù)據(jù)集中的文本和表情符號的詞向量表示矩陣組成.首先，通過大規(guī)模語料采用詞向量訓練模型學習得到整個詞向量詞典的表示矩陣Mw∈Rd×N，其中d代表單個向量的維數(shù)，N代表詞典中詞語的數(shù)量.對于由詞典元素組成文本序列S=(w1,w2,…,wT)，第j個詞語的向量Xj通過公式(1)獲?。?/p>

Xj=MwVj,1≤j≤T

(1)

此操作可看作是查字典，查找操作可被看作使用二進制向量Vj的投影函數(shù).其中Vj∈RN，除了在第j個索引取值為1之外，其它位置取值都為零.

最后通過行向量拼接的操作獲得整個文本序列的詞向量表示：

Rw=X1⊕X2⊕…⊕XT

(2)

對微博文檔中表情符號序列的詞向量表示Re也要通過上面的步驟獲得.

3.2 BiGRU層

作為RNN的變體的雙向門控循環(huán)(BiGRU)神經(jīng)網(wǎng)絡，它類似于LSTM，但只有兩個門：重置門r確定新輸入和先前信息的組合方式，更新門z確定要傳遞多少先前信息.GRU的基本框圖如圖2所示.

圖2 GRU模型框架

一個GRU單元的輸入為第t個單詞向量xt∈Rw，和前一輸出隱狀態(tài)ht-1，具體更新方式如公式(3)至公式(6)所示：

rt=σ(wr·[ht-1-xt])

(3)

zt=σ(wz·[ht-1,xt])

(4)

(5)

(6)

圖3 BiGRU網(wǎng)絡框架

(7)

3.3 自注意力機制層

自注意力機制，又稱內(nèi)部注意力機制，是注意力機制的一個特例.注意力機制一般發(fā)生在Target的Query和Source的所有元素之間，而且Source和Target是不相同的.而自注意力機制指的是Target內(nèi)部元素之間或者是Source內(nèi)部元素之間發(fā)生的注意力計算機制，也可以認為是Target=Source這種特殊情況下的注意力機制.因此，自注意力機制可以捕獲同一個句子中單詞之間的一些語義特征或句子特征，且更容易捕獲句子中長距離的相互依賴關系.

本層的輸入集合表示為X=[h1,h2,…,hT;Ve]，其中，hi為純文本經(jīng)過BiGRU層的輸出表示，Ve為表情符向量的平均值，為了防止單個表情符號的權重過大的情況發(fā)生，我們首先對微博文本中的表情符向量求取平均值：

(8)

其中et表示表情符詞向量，k表示一條微博文本中的表情符的數(shù)目.

自注意力機制的權重矩陣的計算由公式(9)可得：

(9)

其中，xi∈Rd，d表示詞向量維度，αi,j>0是自注意力機制的權重，使用正則化技術讓∑jαi,j=1.自注意力權重的計算由公式(10)和公式(11)得到：

(10)

(11)

3.4 情感分類層

本文通過Softmax分類器來預測目標方面上文本的情感極性.

Py=softmax(WyS+by)

(12)

(13)

其中Wy為權重矩陣，by為偏置向量，Py為輸出的預測標簽，C為情緒標簽數(shù)目.

模型通過交叉熵損失函數(shù)來表征情感標簽的真實概率分布與預測概率分布之間的距離.

(14)

4 實 驗

4.1 實驗環(huán)境

本文的實驗環(huán)境如表1所示.

表1 實驗配置

4.2 數(shù)據(jù)集

本文選取了NLPCC2013和NLPCC2014的微博公開數(shù)據(jù)集，和從網(wǎng)上爬取了2萬多條新浪微博的文本內(nèi)容作為本次情感評測任務的微博數(shù)據(jù)集.為了更好地驗證本文模型的情感分類效果，本文選取的數(shù)據(jù)集的微博語句都是帶有表情符號的語句，并且將每一條微博語句都標注情感標簽，分別為生氣(anger)、厭惡(disgust)、傷心(sadness)、害怕(fear)、高興(happy)、喜愛(like)、驚喜(surprise)和無情感(none)八類標簽，具體的語料信息如表2所示.

表2 微博語料庫

本文設計了主客觀二分類和正負極情感二分類兩項基本情感分類任務，其中在主客觀二分類中none為客觀標簽，其它7種為主觀標簽；據(jù)表2的3種數(shù)據(jù)集統(tǒng)計發(fā)現(xiàn)，7種情感的使用頻率差別很大，其中happy、like、sadness、disgust這4種情感使用次數(shù)最多，且happy、like和surprise為積極情感，anger、disgust、sadness和fear為消極情感，所以將happy、like和surprise作為正向標簽，將anger、disgust、sadness和fear作為負向標簽來實現(xiàn)情感正負極二分類任務.具體實驗信息如表3所示.

表3 實驗統(tǒng)計信息

4.3 實驗設置

本文采取交叉驗證的方式，將每種數(shù)據(jù)集分為訓練集、驗證集和測試集，并且劃分比例為8：1：1.本次實驗的參數(shù)由30次迭代對比調(diào)整得到，將平均實驗結果最優(yōu)的參數(shù)組合作為最終結果，最終所采用的超參數(shù)取值如表4所示.

表4 超參數(shù)列表

4.4 實驗結果和分析

本文選用了兩個實驗分別對本文模型的情感分類效果進行衡量.

實驗1.為了驗證模型的有效性和準確性，設計以下常見的5組模型進行性能對比.

1) ESM模型[8]，通過表情符詞向量和文本詞向量進行余弦距離運算得到詞語到情感空間的映射關系，然后輸入到SVM模型完成情感分類.

2) EMCNN模型[9]，首先使用表情符號構建情感空間映射，然后通過MCNN模型進行語義特征學習，實現(xiàn)情感分類.

3) ARC模型[15]，從BiGRU中提取的隱藏向量通過注意機制層提取情感重要信息，然后輸出到CNN層的混合神經(jīng)網(wǎng)絡模型.

4) SA-TLSTM-M模型[13]，通過將Tree-LSTM網(wǎng)絡與self-Attention機制相結合，之后輸入到maxout神經(jīng)元完成情感分類.

5) E-BiLSTM-SA模型，將本文模型中的BiGRU層換成BiLSTM網(wǎng)絡，用于對比BiGRU相較于BiLSTM在情感分類任務中的優(yōu)越性.

本文通過采用準確率(Acc)、精確率(Pre)、召回率(Rec)和宏F1值4個參數(shù)完成對模型的相關評價.

從表5-表10可以看出，E-BiGRU-SA模型在所有的指標上都取得了最好的結果，在正負極情感二分類中，E-BiGRU-SA模型在3個數(shù)據(jù)集準確率分別達到90.83%、92.25%和93.68%；在主客觀二分類中，該模型在三個數(shù)據(jù)集準確率分別達到88.43%、89.33%和90.07%.相較于目前已知情感二分類效果最好的E-BiLSTM-SA模型，在正負極情感二分類任務中，E-BiGRU-SA型在三種數(shù)據(jù)集中分別提升了1.84%、0.96%和2.31%；主客觀二分類任務中，E-BiGRU-SA模型相較于E-BiLSTM-SA模型，分別提升了2.64%、1.92%和2.36%，可以看出BiGRU網(wǎng)絡相比BiLSTM網(wǎng)絡在提取文本重要信息方面更有優(yōu)勢.

表5 在NLPCC2013中正負極二分類模型信息對比

表6 在NLPCC2014中正負極二分類模型信息對比

表7 在微博語料中正負極二分類模型信息對比

表8 在NLPCC2013中主客觀二分類模型信息對比

表9 在NLPCC2014中主客觀二分類模型信息對比

表10 在微博語料中主客觀二分類模型信息對比

實驗2.為了驗證表情符號對于微博情感傾向的作用，同時驗證本文模型對于不同極性語料集的影響，本次實驗采用以下3種處理方法進行對比實驗：

1) BiGRU-SA模型，去掉微博中的表情符，僅用純文本輸入BiGRU-SA網(wǎng)絡模型，得到最終的語義編碼.

2) T*-BiGRU-SA模型，將微博語料里的表情符直接轉換為表情符對應的文本，例如將微博文本“如果明天下雨，我的旅行就泡湯了”轉換為文本“如果明天下雨，我的旅行就泡湯了哭泣”，然后轉化為文本詞向量，輸入到BiGRU-SA模型.

3) E*-BiGRU-SA模型，因為表情符號在微博文本中只是起著加強語義表達的作用，沒有直接的上下文依賴關系，所以將表情符詞向量輸入到無時序聯(lián)系的全連接網(wǎng)絡，之后和同時輸入BiGRU-SA網(wǎng)絡的純文本特征進行語義合并，得到最終的語義編碼.

從圖4和圖5的實驗結果看出，相比于其他三種模型方法，本文中提出E-BiGU-SA模型在正負兩種極性分類中的準確率都取得了最優(yōu)值.將BiGRU-SA模型和T*-BiGRU-SA模型相比較，T*-BiGRU-SA模型的準確率并沒有得到明顯的提升，甚至在2013年的負極分類的準確率出現(xiàn)了降低情況，因為表情符轉化為文字后，不能完全替代表情符在微博文本所包含的語義信息，所以直接將表情符轉換為文本的分類方法是不可取的.E*-BiGRU-SA模型和E-BiGU-SA模型相較于BiGRU-SA模型準確率都得到了較大程度的提升，說明將表情符轉化為詞向量在情感分類中發(fā)揮著積極的作用.相較于將表情符輸入全連接層的E*-BiGRU-SA模型，E-BiGU-SA模型在正負極分類中準確率都有明顯的提升，說明利用自注意力機制將表情符向量和文本向量的進行加權融合，可以更好地捕捉文本的語義特征，證明了本文模型在微博情感分類任務中的有效性.

圖4 正向極性分類結果對比圖

圖5 負向極性分類結果對比圖

從圖4和圖5對比可以看出，負向極性的增長幅度要大于正向極性的增長幅度，說明加入表情符號的研究對于負向極性的識別效果更加明顯.結合表11的文本實例可以看出，當代微博用戶常常使用隱晦或者反諷的語言表達自己的情感，只從文字角度出發(fā)很難挖掘出準確的語義信息，加入對表情符的研究則很好地解決了這一問題，說明了本文提出的模型具有一定的實用價值，也進一步說明融合表情符的E-BiGU-SA網(wǎng)絡在微博情感分類任務中的優(yōu)越性.

表11 部分實例識別結果

5 結束語

本文提出了一種BiGRU網(wǎng)絡和自注意力模型相結合的情感分類方法，不僅考慮了微博純文本的情感表達，還考慮了文本中情感符號的情感表達.本文提出的模型中利用自注意力機制將表情符向量和文本向量結合生成新的特征表示，促進了微博文本的情感分類能力.在本次實驗中我們采集了三種數(shù)據(jù)集，在這些數(shù)據(jù)集中，本文提出的模型在多個任務中都取到了良好的效果，并在多個指標上超過了已知的其他模型.

雖然BiGRU模型相較于BiLSTM模型，具有參數(shù)數(shù)量少，計算速度快，提取文本重點信息準確率高等方面的優(yōu)勢，但是隨著數(shù)據(jù)量的增多，BiGRU模型的準確率也會下降，難以體現(xiàn)該模型的優(yōu)勢，所以下一步將研究更適用于大型數(shù)據(jù)集中的情感分析模型.