湯凌燕，熊聰聰，王 嫄,2+，周宇博，趙子健

1.天津科技大學(xué)人工智能學(xué)院，天津300457

2.普邁康（天津）精準(zhǔn)醫(yī)療科技有限公司，天津300000

隨著Web2.0 時代的到來，互聯(lián)網(wǎng)中涌現(xiàn)大規(guī)模帶有用戶主觀情感的、內(nèi)容短小且語義信息豐富的短文本，這些海量數(shù)據(jù)是用戶意識和觀點的綜合呈現(xiàn)和重要體現(xiàn)，影響著網(wǎng)民對事物的看法態(tài)度和判斷決策。具體地，網(wǎng)民在購物平臺上選擇商品時往往會先參考商品下已購買者提供的評論，然后做出是否購買該商品的決定。短文本包括但不僅限于社交平臺[1-2]（如微博、微信、Twitter、Facebook）文字信息、產(chǎn)品評論[3]、電影評論[4]、視頻彈幕與字幕[5]等。如何準(zhǔn)確高效地利用計算機技術(shù)從海量短文本中自動分析情感信息，這對于產(chǎn)品分析、話題監(jiān)控、輿情監(jiān)測、用戶建模、觀點分析等有著重要意義。

情感傾向分析是文本情感分析的核心工作，是指對包含主觀信息的文本進(jìn)行情感傾向判斷。根據(jù)情感類別數(shù)可將情感傾向分析任務(wù)劃分為二分類（正面/積極、負(fù)面/消極）、三分類（積極、消極、中性）和多分類（高興、激動、悲哀、憤怒等）任務(wù)；根據(jù)研究對象的粒度可將其分為篇章句子級的粗粒度情感傾向分析任務(wù)，以及目標(biāo)/方面級的細(xì)粒度情感傾向分析任務(wù)。由于目標(biāo)/方面級的細(xì)粒度情感傾向分析需準(zhǔn)確分析出文本中所提及所有方面的情感傾向，能提供更全面、更細(xì)致的情感信息，故是短文本情感傾向分析的研究熱點和未來趨勢。

短文本情感傾向分析過程概括為三步：文本表示與特征提取、模型訓(xùn)練、結(jié)果分析。由于短文本的隨意性、高歧義性、簡短性等特點，導(dǎo)致文本表示與特征提取過程中出現(xiàn)特征不密集、噪聲多、上下文不獨立等問題，從而無法提取到準(zhǔn)確特征，得不到更具上下文語義的文本表示。傳統(tǒng)方法將文本表示與特征提取和模型訓(xùn)練完全分開，其工作重點主要集中在文本表示與特征提取上。傳統(tǒng)方法中文本表示與特征提取采用啟發(fā)式方法，經(jīng)典的如手工構(gòu)建情感詞典（包括中文情感詞典[6-7]、英文情感詞典[8]）或特征規(guī)則（包括句法特征[9]、情感詞典特征[10]、TF-IDF（term frequency-inverse document frequency）特征[11]等）。這種先采用啟發(fā)式方法獲取文本特征，再結(jié)合機器學(xué)習(xí)分類器進(jìn)行分類的傳統(tǒng)方法[12]高度依賴啟發(fā)式方法和專家知識的構(gòu)建，需人工干涉，極大降低了工作效率，限制了大數(shù)據(jù)的使用。

本文在總結(jié)和評述前人工作的基礎(chǔ)上，對基于深度學(xué)習(xí)的篇章句子級粗粒度情感傾向分析和目標(biāo)/方面級細(xì)粒度情感傾向分析進(jìn)行了綜述?；谘芯口厔荩疚闹攸c闡述了基于深度學(xué)習(xí)的短文本細(xì)粒度情感傾向分析方法，并根據(jù)短文本細(xì)粒度情感傾向分析所面臨的挑戰(zhàn)，將基于深度學(xué)習(xí)的細(xì)粒度情感傾向分析方法進(jìn)行了分類和比較。

1 深度學(xué)習(xí)相關(guān)技術(shù)

基于深度學(xué)習(xí)的短文本情感傾向分析一般流程（如圖1 所示）可分為五階段：文本預(yù)處理、初始詞向量表示、特征提取與上下文語義表示、深度學(xué)習(xí)模型訓(xùn)練與測試、實驗結(jié)果分析與評估。

Fig.1 Workflow of deep learning-based short text sentiment tendency analysis圖1 基于深度學(xué)習(xí)的短文本情感傾向分析流程圖

1.1 詞向量

基于深度學(xué)習(xí)思想解決自然語言處理任務(wù)時，需將文本結(jié)構(gòu)化和數(shù)字化，表示成詞向量，方便計算機處理。早期基于詞袋模型的詞向量表示是高維度、高稀疏的，其特征表達(dá)能力很弱，不利于特征提取。

基于詞嵌入（word embedding）的分布式表示方式的提出，使得深度學(xué)習(xí)方法用于短文本情感傾向分析成為可能。詞嵌入技術(shù)通過對大量語料的學(xué)習(xí)，將短文本映射成低維實向量。詞向量再輸入深度神經(jīng)網(wǎng)絡(luò)中，自動提取上下文特征，得到的最終文本表示用于情感傾向分析。詞嵌入技術(shù)仍在不斷發(fā)展，一些用于度量詞與詞間相似性的預(yù)訓(xùn)練語言模型被提出。2013 年提出了Word2Vec[13]，2014 年提出了GloVe[14]，2016 年提出了OpenAI GPT[15]，2018 年提出了ELMo（embeddings from language models）[16]和BERT（bidirectional encoder representation from transformers）[17]，2019 年提出了基于Transformers[18]架構(gòu)的Transformer-XL[19]和XLNet[20]。常用于短文本情感傾向分析的預(yù)訓(xùn)練模型包括Word2Vec、GloVe和BERT。

1.2 深度學(xué)習(xí)模型組件

常用于短文本情感傾向分析的深度學(xué)習(xí)模型組件包括：長短時記憶網(wǎng)絡(luò)（long-short term memory network，LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、記憶網(wǎng)絡(luò)（memory network，MN）、膠囊網(wǎng)絡(luò)（capsule networks，CapsNets）、圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）以及注意力機制（attention mechanism）[21]。

長短時記憶網(wǎng)絡(luò)常用于捕獲短文本全局語義；卷積神經(jīng)網(wǎng)絡(luò)的卷積、池化操作用于提取短文本局部特征；記憶網(wǎng)絡(luò)通過增加額外的存儲單元，能更好地解決長時記憶問題；膠囊網(wǎng)絡(luò)以動態(tài)路由方式學(xué)習(xí)詞間語義關(guān)系，減少信息丟失；借助圖卷積神經(jīng)網(wǎng)絡(luò)可將短文本中的特征信息和結(jié)構(gòu)信息進(jìn)行融合；結(jié)合注意力機制主要為解決深度神經(jīng)網(wǎng)絡(luò)對短文本中關(guān)鍵語義不敏感問題。

1.3 深度學(xué)習(xí)方法與傳統(tǒng)方法比較

在短文本情感傾向分析的研究中，基于深度學(xué)習(xí)的方法較傳統(tǒng)方法的優(yōu)點可總結(jié)為以下三點：

（1）對文本特征的提取更準(zhǔn)確高效。人工構(gòu)建特征工程提取到的是短文本的淺層表征，相比較而言，深度學(xué)習(xí)網(wǎng)絡(luò)可以實現(xiàn)在不同層次上自動挖掘短文本的隱含特征，故得到的文本表示更豐富。

（2）對文本復(fù)雜語義關(guān)系的建模能力更強。深度學(xué)習(xí)方法利用位置編碼、圖神經(jīng)網(wǎng)絡(luò)、預(yù)訓(xùn)練模型等手段實現(xiàn)對詞序、語法、語義相似性等復(fù)雜關(guān)系進(jìn)行建模。

（3）深度學(xué)習(xí)算法可延伸性更強。短文本是大規(guī)模、內(nèi)容豐富且千變?nèi)f化的，深度學(xué)習(xí)方法通過對數(shù)據(jù)分布相似性或不同任務(wù)的相似性建模，實現(xiàn)算法在不同領(lǐng)域或任務(wù)上的移植。

2 基于深度學(xué)習(xí)的篇章句子級粗粒度情感傾向分析

2.1 篇章級的粗粒度情感傾向分析

篇章級情感傾向分析的研究對象是關(guān)于產(chǎn)品、服務(wù)或事件的帶主觀情感描述的文章或段落。篇章級情感傾向分析的情感標(biāo)簽有積極、消極和中性。目前，篇章級情感傾向分析所面臨的最大挑戰(zhàn)是文章或段落中包含的句子可能并不相關(guān)，即所描述的可能不是同一個實體，導(dǎo)致特征提取不準(zhǔn)確。因此，主/客觀句子判斷在篇章級的粗粒度情感傾向分析中至關(guān)重要，不相關(guān)的句子需刪除，不重要的特征需過濾。

情感傾向分析常被看作一項分類任務(wù)。Pang等[22]將篇章級情感傾向分析視為三分類任務(wù)，利用標(biāo)注文檔訓(xùn)練情感分類器，早期這類基于機器學(xué)習(xí)分類器的方法高度依賴數(shù)據(jù)特征的選擇，對提升情感傾向分析效率有局限性。Kiritchenko 等[23]借助神經(jīng)網(wǎng)絡(luò)自動從大量訓(xùn)練文檔中學(xué)習(xí)可區(qū)分特征，該利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本表示的方法較傳統(tǒng)方法取得了明顯成功，但只考慮了文本淺層語義，忽略了用戶偏好和產(chǎn)品特征等客觀因素對篇章情感極性的影響。Tang 等[24]利用CNN 學(xué)習(xí)篇章中用戶-產(chǎn)品的關(guān)聯(lián)語義特征，融入到文本表示中。除增加外部關(guān)聯(lián)特征外，考慮到文檔內(nèi)部存在多層次的多粒度特征，即單詞特征構(gòu)成句子，句子特征構(gòu)成文檔。Yang 等[25]則通過改進(jìn)模型內(nèi)部結(jié)構(gòu)，提出多層注意力網(wǎng)絡(luò)（hierarchical attention network，HAN），不同的注意力層捕捉文檔的不同粒度特征，該方法為后期更細(xì)粒度的情感傾向分析任務(wù)提供了很好的思路。

2.2 句子級的粗粒度情感傾向分析

句子級情感傾向分析根據(jù)句子所給出的觀點信息計算整個句子的情感傾向，句子通常是關(guān)于一個產(chǎn)品或服務(wù)的評論。主觀句子中所包含的觀點信息可以幫助判斷實體的情感傾向。

句子級的短文本情感信息標(biāo)注相對篇章級的更耗時耗力，為降低人工數(shù)據(jù)標(biāo)注成本，Wu 等[26]提出一種弱監(jiān)督法，用篇章級和詞級的標(biāo)注數(shù)據(jù)訓(xùn)練句子級的情感分類器。但實際上，詞級的標(biāo)注數(shù)據(jù)比句子級的更難獲??；另外，人工標(biāo)注的數(shù)據(jù)存在主觀判斷差異等問題，會有噪音，Wang 等[27]則提出雙層CNN框架，第一層CNN 通過學(xué)習(xí)帶噪音的標(biāo)簽數(shù)據(jù)實現(xiàn)對輸入數(shù)據(jù)去噪，第二層CNN 將上層得到的“干凈”數(shù)據(jù)用于句子級情感傾向分析，從而降低數(shù)據(jù)噪音影響。不同情感標(biāo)簽之間也存在相互影響，特別是中性情感標(biāo)簽，會影響對其他情感標(biāo)簽的判斷。該現(xiàn)象不僅在句子級情感傾向分析中存在，細(xì)粒度情感傾向分析中也存在。針對上述問題，Wang 等[28]提出RNN（recurrent neural network）膠囊模型，為每類情感標(biāo)簽單獨建立膠囊，根據(jù)膠囊內(nèi)的狀態(tài)激活條件判斷當(dāng)前輸入句子的情感傾向。實驗結(jié)果還證明了即使未用到精心訓(xùn)練好的詞/句向量，也能獲得好的分類效果。

3 基于深度學(xué)習(xí)的目標(biāo)/方面級細(xì)粒度情感傾向分析

相比較于篇章句子級的粗粒度情感傾向分析，當(dāng)短文本中存在多個不同情感傾向的實體時，整個句子的情感傾向是無法準(zhǔn)確判斷的，但目標(biāo)/方面級的情感傾向分析可以實現(xiàn)對短文本中所提及所有實體判斷其情感傾向，是細(xì)粒度的情感傾向分析任務(wù)，提供的是針對明確對象的主觀信息。目標(biāo)/方面級的細(xì)粒度情感傾向分析（aspect-based sentiment analysis，ABSA）的研究對象是短文本中所提及的所有方面。方面包括方面實體（又稱目標(biāo)[29]）和方面類別，例如短文本“餐廳的三文魚很美味，但服務(wù)員不友好”中“三文魚”是一個方面實體，同時屬于“食物”類；另一個方面實體“服務(wù)員”屬于“服務(wù)”類，短文本中對餐廳的兩個不同方面所表達(dá)的情感傾向分別是“正面/積極”和“負(fù)面/消極”。

基于短文本的特點，以及目標(biāo)/方面級情感傾向分析所面臨的挑戰(zhàn)，將基于深度學(xué)習(xí)的細(xì)粒度情感傾向分析方法歸為三大類：基于單任務(wù)的方法、基于多任務(wù)聯(lián)合學(xué)習(xí)的方法和基于遷移學(xué)習(xí)的方法。

3.1 基于單任務(wù)的方法

處理目標(biāo)/方面級的細(xì)粒度情感傾向分析任務(wù)的關(guān)鍵是在上下文中準(zhǔn)確找到用于描述目標(biāo)/方面的觀點詞或情感信息。基于單任務(wù)的方法通過增改神經(jīng)網(wǎng)絡(luò)模型內(nèi)部結(jié)構(gòu)，或融入外部知識的方式擴展詞向量[30]，例如融入情感常識[31]、圖譜知識[32]、社會關(guān)系[33]、引入句法信息[34]等，旨在提升模型的上下文復(fù)雜語義建模能力，同時解決詞向量的情感語義表達(dá)不準(zhǔn)確、不深刻的問題。

3.1.1 經(jīng)典神經(jīng)網(wǎng)絡(luò)模型

不同的神經(jīng)網(wǎng)絡(luò)組件提取的上下文語義不盡相同，基于經(jīng)典網(wǎng)絡(luò)模型增改模型內(nèi)部組件，是一種最常見的深度學(xué)習(xí)方法，更多的是結(jié)合注意力機制[35-36]。

早期Tang 等[37]為充分考慮目標(biāo)與上下文的關(guān)聯(lián)語義，將句子按目標(biāo)詞分成左右兩個子句，TD-LSTM（target-dependent LSTM）算法中目標(biāo)是兩個LSTM的最后一個輸入單元，最后隱層輸出拼接作為最終的文本表示，該方法未充分考慮到上下文?，F(xiàn)存大多數(shù)基于LSTM 和注意力機制的雙通道混合模型[38]（如圖2 所示），經(jīng)過LSTM 層得到初始上下文表示和目標(biāo)表示，注意力層用于提取對輸入目標(biāo)而言更重要的上下文信息，得到更高效的文本特征表示，最后輸入情感分類器中判斷輸入目標(biāo)的情感傾向。相關(guān)算法有ATAE-LSTM（attention-based LSTM with aspect embedding）[39]、IAN（interactive attention network）[40]和RAM（recurrent attention on memory）[41]等，主要區(qū)別在于目標(biāo)與上下文的語義關(guān)聯(lián)計算方式不同。IAN通過兩個并行注意力層實現(xiàn)目標(biāo)與上下文的雙通道交互式關(guān)聯(lián)度計算，RAM則通過在雙向LSTM和多層注意力之間增加記憶塊實現(xiàn)遠(yuǎn)距離的語義關(guān)聯(lián)計算。

Fig.2 Classic structure of LSTM with attention mechanism圖2 基于LSTM 和注意力機制的經(jīng)典模型

注意力機制可能導(dǎo)致短文本中多個方面與觀點詞的錯誤匹配，從而降低模型預(yù)測性能；另外，CNN無詞序依賴性，可實現(xiàn)并行計算，故在模型訓(xùn)練的時間復(fù)雜度上具有一定優(yōu)勢?；贑NN 的情感傾向分析模型（如圖3 所示）通過設(shè)計不同的門控機制，根據(jù)輸入方面實體提取短文本內(nèi)的局部情感特征，達(dá)到方面與短文本內(nèi)觀點詞高效匹配的目的。Xue等[42]提出基于方面的門控卷積神經(jīng)網(wǎng)絡(luò)（gated convolutional network with aspect embedding，GCAE），設(shè)計Tanh-ReLU 門控單元實現(xiàn)信息過濾，即根據(jù)當(dāng)前輸入的方面實體選擇性地輸出文本特征，更好地利用了方面實體信息，較于LSTM 結(jié)合注意力的模型，該模型結(jié)構(gòu)更簡潔，模型計算在訓(xùn)練中更能實現(xiàn)并行化。然而，對于含多個詞的方面實體中存在詞的重要性不同的問題，例如方面實體“佳能相機”中“相機”應(yīng)比“佳能”更重要，大部分方法采用池化或簡單拼接方式得到方面向量表示，但這兩種處理方式都容易丟失關(guān)鍵語義。Huang 等[43]則提出參數(shù)化池化（parameterized filters，PF-CNN）和參數(shù)化門控（parameterized gated，PG-CNN）兩種結(jié)構(gòu)，對方面實體進(jìn)行卷積操作提取關(guān)鍵詞，再與上下文一起輸入?yún)?shù)化層。實驗結(jié)果證明這種卷積處理方法，極大提高了細(xì)粒度情感傾向分析模型性能，甚至超越了一些經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

Fig.3 Classic structure of CNN-based aspect-level sentiment tendency analysis圖3 基于CNN 的方面級情感傾向分析經(jīng)典模型

LSTM 和CNN 的隱層狀態(tài)以及注意力機制的記憶存儲能力十分有限，長距離建模過程中容易導(dǎo)致部分語義信息的丟失。記憶網(wǎng)絡(luò)結(jié)合注意力機制的方法（如圖4 所示）為上下文中除目標(biāo)詞外的每個詞單獨構(gòu)建額外的記憶塊，注意力層用于捕獲記憶塊中對于判斷不同目標(biāo)的情感傾向較為重要的信息。上下文與目標(biāo)詞間的位置關(guān)系十分重要，一般來說距離目標(biāo)越近的上下文越重要。早期Tang 等[44]將目標(biāo)與上下文的絕對位置關(guān)系編碼成注意力權(quán)重融入記憶塊中，為獲得上下文與目標(biāo)間的更多抽象特征，還設(shè)計了多層共享參數(shù)計算單元，該算法極大提高了模型計算速度。但對于結(jié)構(gòu)復(fù)雜的短文本而言，記憶網(wǎng)絡(luò)并不善分析局部語義，F(xiàn)an 等[45]則對記憶網(wǎng)絡(luò)進(jìn)行了改進(jìn)，在記憶網(wǎng)絡(luò)中增加卷積操作，這類方法將具有特定功能的神經(jīng)網(wǎng)絡(luò)組件進(jìn)行多層次組合，實現(xiàn)多功能和多特征的融合，為后期深度學(xué)習(xí)方法提供一條新思路。

Fig.4 Structure of MN-based target-dependent sentiment tendency analysis圖4 基于記憶網(wǎng)絡(luò)的目標(biāo)級情感傾向分析模型

除了增改神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)外，許多工作還研究了不同預(yù)訓(xùn)練語言模型對整個深度學(xué)習(xí)模型情感傾向分析結(jié)果的影響。利用不同預(yù)訓(xùn)練語言模型對輸入數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，得到不同的初始詞向量表示，這類方法只改變模型輸入部分，其他層不變。Song等[46]提出注意力編碼網(wǎng)絡(luò)（attentional encoder network，AEN），詞嵌入層分別采用BERT 和GloVe 兩種預(yù)訓(xùn)練語言模型，實驗結(jié)果分析發(fā)現(xiàn)基于BERT 的AEN模型比基于GloVe 的AEN 模型在準(zhǔn)確率上最多高出0.06，這充分說明不同預(yù)訓(xùn)練語言模型會影響情感傾向分析深度神經(jīng)網(wǎng)絡(luò)模型的性能。表1 中對提高上下文語義建模能力的算法進(jìn)行了總結(jié)歸類，并綜合比較了算法優(yōu)缺點，針對算法缺點給出了改進(jìn)意見。

3.1.2 融入外部先驗知識的方法

Tang 等[37]證明了細(xì)粒度情感傾向分析中建立上下文與方面之間的語義聯(lián)系的重要性。目前短文本細(xì)粒度情感傾向分析存在只關(guān)注方面與上下文間的語義關(guān)聯(lián)的問題。本小節(jié)將介紹如何結(jié)合先驗知識，達(dá)到增強或擴展詞向量對情感信息和上下文背景的語義表達(dá)能力，同時解決短文本中存在的信息缺失和歧義等問題。

Table 1 Comprehensive comparison of algorithms to improve context semantic modeling capabilities表1 提高上下文語義建模能力的算法綜合比較

概率語言模型根據(jù)語料中的詞間共現(xiàn)關(guān)系、詞性、語義相似度等訓(xùn)練得到詞向量表示，但往往忽略了情感相似度，比如形容詞“好的”和“壞的”常一起用于對比兩個事物，根據(jù)共現(xiàn)關(guān)系和詞性相似度，它們的詞向量余弦相似度很高，但對于情感判斷而言，它們的相似度為零。段敏敏[31]利用領(lǐng)域情感詞典生成情感詞向量，將情感詞向量與傳統(tǒng)詞向量拼接融合，構(gòu)成一個既包含語義信息，又包含情感特征的擴展詞向量，解決了同一個詞在不同領(lǐng)域可能表現(xiàn)不同情感傾向的問題。Sentic-LSTM[51]則未采用簡單拼接的方式，而是將從SenticNet 情感語料庫中得到的情感信息映射為特征向量，嵌入LSTM 的記憶單元，作為LSTM 的一部分，進(jìn)而增強LSTM 隱層輸出的情感表達(dá)能力。這類通過額外增加情感特征的方法在一定程度上提高了文本表示的情感表達(dá)能力。

短文本篇幅短且結(jié)構(gòu)緊密，所含的信息量大但背景知識不足；另外，同一個詞在不同的語境下可能表達(dá)出不同語義。針對以上問題，常見方法是結(jié)合知識圖譜（如圖5 所示[51]），將短文本中每個詞關(guān)聯(lián)到知識圖譜的節(jié)點上，根據(jù)圖譜中節(jié)點與節(jié)點間的語義相似關(guān)系、隸屬關(guān)系等擴充短文本的背景知識，達(dá)到增強情感常識知識[52]或短文本背景知識的目的。林世平等[32]提出一種融合知識圖譜的文本表示方法，將圖譜知識與隱狀態(tài)向量結(jié)合得到知識感知狀態(tài)向量，通過設(shè)計雙通道結(jié)構(gòu)并結(jié)合注意力機制選擇性地融入用戶偏好信息和產(chǎn)品特征信息，作為商品評論短文本的背景知識，用于判斷句中詞的真實語境。除用戶/產(chǎn)品信息的融入外，將社會理論知識應(yīng)用于情感傾向分析逐漸成為了流行方法，例如將弱社會依賴關(guān)系作為微博情感傾向分析的社會背景[53]。該類方法不僅擴展了可用于方面級情感傾向分析的圖譜知識，還表明了情感傾向分析可應(yīng)用于社會輿情控制。

Fig.5 Knowledge graph-based aspect-level sentiment tendency analysis圖5 融入圖譜知識的方面級情感傾向分析

句法依賴性結(jié)構(gòu)不僅可以解決面向方面的情感傾向分析的長距離多詞依賴性問題，利用直接依賴關(guān)系還能幫助解決歧義問題。常用句法關(guān)系包括依存解析（dependency parse）關(guān)系和成分解析（constituency parse）關(guān)系，如圖6 所示，GCN 將句法關(guān)系映射成鄰接矩陣，圖節(jié)點表示即為詞向量表示，再根據(jù)鄰接矩陣更新所有圖節(jié)點表示，這樣便將句法信息融入了文本表示中。經(jīng)典模型有AS-GCN（aspect-specific graph convolutional network）[54]、R-GAT（relational graph attention network）[55]和SK-GCN（syntax and knowledge via GCN）[56]等，主要區(qū)別在于為明確給出的方面構(gòu)建依賴樹時采用了不同的機制。AS-GCN 通過在句法依存樹上應(yīng)用多層GCN，并在其頂部強加一個特定于方面的掩碼層，用來獲得面向方面的特征；R-GAT為充分考慮特定方面、注意力和句法三者間的關(guān)系，采用剪枝算法刪除間接關(guān)聯(lián)邊，只留下與特定方面有直接關(guān)聯(lián)的句法依賴邊，并借助圖注意力網(wǎng)絡(luò)（graph attention network，GAT）[57]，使注意力只關(guān)注與特定方面在句法上有直接依賴關(guān)系的上下文上，該模型在三個標(biāo)準(zhǔn)數(shù)據(jù)集上取得了最好的實驗結(jié)果；SK-GCN 則通過合并由句法關(guān)系和圖譜連接關(guān)系映射成的兩個鄰接矩陣，對短文本的句法信息和背景知識進(jìn)行了融合，有效解決了信息缺失和歧義問題，進(jìn)而幫助提升方面級情感分析的準(zhǔn)確率。

Fig.6 Syntax-aware aspect-level sentiment tendency analysis圖6 基于句法關(guān)系的方面級情感傾向分析

3.2 基于多任務(wù)聯(lián)合學(xué)習(xí)的方法

多任務(wù)學(xué)習(xí)方法將方面級的情感傾向分析任務(wù)與其他相關(guān)但不相同的任務(wù)進(jìn)行聯(lián)合訓(xùn)練，通過反向傳播過程中的信息流動學(xué)習(xí)任務(wù)間的可共享隱層特征，而這樣的特征在單任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中往往不容易學(xué)到，如聯(lián)合學(xué)習(xí)粗粒度情感特征構(gòu)成多粒度情感傾向分析[58]，共享學(xué)習(xí)多模態(tài)數(shù)據(jù)特征構(gòu)成多模態(tài)情感傾向分析[59]，該類方法可以有效緩解短文本細(xì)粒度情感傾向分析的低可用資源問題。

根據(jù)目標(biāo)/方面級情感傾向分析中研究的三個對象，可將其劃分成五個子任務(wù)：方面實體提取、方面類別判定、觀點詞提取、方面實體情感傾向分析和方面類別情感傾向分析。通常將方面實體情感傾向分析作為主任務(wù)，其他子任務(wù)或自然語言處理領(lǐng)域其他非情感分析任務(wù)作為輔助任務(wù)。

3.2.1 基于多任務(wù)學(xué)習(xí)的序列標(biāo)注方法

基于序列標(biāo)注的細(xì)粒度情感傾向分析[60]采用聯(lián)合方面信息標(biāo)注任務(wù)和情感信息標(biāo)注任務(wù)的方式，重新定義目標(biāo)/方面級的細(xì)粒度情感傾向分析任務(wù)?；诙嗳蝿?wù)學(xué)習(xí)的序列標(biāo)注方法按照模型結(jié)構(gòu)可分為流水線式和聯(lián)合式，流水線式是指先做短文本的方面信息標(biāo)注任務(wù)，再基于上一步的結(jié)果做情感信息標(biāo)注任務(wù)；聯(lián)合式是指同時標(biāo)注出短文本的方面信息及其對應(yīng)的情感傾向。序列標(biāo)注方法實現(xiàn)對文本中所提及所有方面的位置信息及其情感信息進(jìn)行標(biāo)注（如圖7 所示）。位置標(biāo)注方式包括BIESO 方式（BIE 用于標(biāo)注含多個詞的方面的位置信息，S 表示只含單個詞的方面，O 表示非方面詞）和TO 方式（T 表示是方面詞，O 表示非方面詞）；三分類的情感傾向標(biāo)注方式為POS/NEU/NEG，即積極/中性/消極。

Fig.7 Fine-grained sentiment tendency analysis based on sequence labeling圖7 基于序列標(biāo)注的細(xì)粒度情感傾向分析

實際上，方面信息的提取任務(wù)與情感傾向的判別任務(wù)并不相互獨立，且后者依賴于前者。Akhtar等[61]提出端到端的多任務(wù)學(xué)習(xí)模型，序列標(biāo)注模型由雙向LSTM 層和自注意力層構(gòu)成，情感傾向的判別過程中只將方面信息標(biāo)注正確的句子作為分類模型的輸入，分類模型有卷積層和掩碼層，掩碼層用于屏蔽非方面詞，使得誤差反向傳播時只傳B/I 標(biāo)簽下情感分類錯誤的梯度，這種方式可以有效減少O 標(biāo)簽的影響。He 等[62]聯(lián)合了篇章級粗粒度任務(wù)和方面級細(xì)粒度任務(wù)，引入消息傳遞機制顯式建模粗/細(xì)任務(wù)的交互過程，實驗設(shè)計和對比了流水線式和聯(lián)合式兩種模型，結(jié)果表明流水線式比聯(lián)合式情感傾向分析模型性能更好。這種粗細(xì)多任務(wù)學(xué)習(xí)方法既擴展了短文本粗粒度特征，又解決了細(xì)粒度情感傾向分析中數(shù)據(jù)短缺問題。

采用信息抽取方式可以獲取更全面、更具體的短文本信息，如方面/觀點詞、觀點持有者、情感極性和原因等。信息抽取方式將細(xì)粒度情感分析轉(zhuǎn)化為二元組或三元組的信息抽取任務(wù)（如圖8 所示）等。Wan 等[63]將方面實體情感傾向分析和方面類別情感傾向分析合為一個任務(wù)，進(jìn)行實體-類別-情感（targetaspect-sentiment，TAS）三元組抽取任務(wù)，TAS 模型將BERT 作為編碼層用于捕獲全局語義，全連接層、Softmax 層和CRF（conditional random fields）[64]層為解碼層，分別用于分類和信息標(biāo)注，針對輸入的方面類別和情感極性，第一個輸出用于判斷句中是否有顯式的方面，第二個輸出用于標(biāo)注句中的顯式方面，實驗結(jié)果證明了方面情感的判斷并不單獨取決于具體實體或其類別，而由實體及其類別共同決定。類似方法還有Wang 等[65]提出基于方面類別進(jìn)行方面-觀點二元組的抽取任務(wù)，對抽取出的方面詞和觀點詞直接進(jìn)行方面級的情感傾向分析。

Fig.8 Information extraction in fine-grained sentiment tendency analysis圖8 細(xì)粒度情感傾向分析中的信息抽取

3.2.2 多方面多情感傾向分析

對于句中存在多個不同情感傾向的不同方面的多方面多情感（multi-aspect-based multi-sentiment，MAMS）傾向分析問題，上述面向單方面的情感傾向分析方法的處理方式是將句子拆分成只標(biāo)注一個方面信息的多個句子，然后只對句中標(biāo)注的單個方面進(jìn)行情感傾向分析，這類方法未考慮不同方面間的相互影響，容易導(dǎo)致分類錯誤。多方面多情感傾向分析實現(xiàn)同時對文本中所提及所有方面的情感傾向判別，這類任務(wù)比單方面單情感傾向分析更加復(fù)雜，但可以看作是多個單方面單情感傾向分析任務(wù)的聯(lián)合學(xué)習(xí)。

結(jié)合注意力機制計算上下文權(quán)重時，受其他方面的影響，容易將注意力分配到其他不相關(guān)的觀點詞上，Hu 等[66]提出約束注意力機制神經(jīng)網(wǎng)絡(luò)（constrained attention network，CAN），通過在注意力上增加約束性的損失函數(shù)實現(xiàn)不同方面的注意力分布盡量正交，但每個方面的上下文注意力分布盡量離散，實驗證明這種約束上下文注意力分布的方法在MAMS 中取得了很好效果。不同于CAN，Li 等[67]設(shè)計交互式損失函數(shù)約束每個類別判定的概率輸出只能判別當(dāng)前類，另一點不同是借助GAT 學(xué)習(xí)句中成分解析關(guān)系，即根據(jù)詞與詞構(gòu)成的短語成分關(guān)系搜索短文本中與當(dāng)前輸入的方面所對應(yīng)的情感信息。多方面多情感傾向分析的難點在于如何同時獲取不同方面的可區(qū)分特征表示，減少方面間的相互影響，從而準(zhǔn)確高效地進(jìn)行多方面級的多情感判斷。當(dāng)短文本中只包含一個方面時，目標(biāo)/方面級的細(xì)粒度情感傾向分析任務(wù)便退化成句子級的粗粒度情感傾向分析任務(wù)。

3.2.3 聯(lián)合學(xué)習(xí)非情感傾向分析任務(wù)

傳統(tǒng)多任務(wù)學(xué)習(xí)方法中多個任務(wù)通過共享隱層相互學(xué)習(xí)，僅僅通過錯誤反向傳播相互影響，這種相互作用往往是不可控的，且缺乏可解釋性。聯(lián)合學(xué)習(xí)情感傾向分析相關(guān)任務(wù)或其他非情感傾向分析任務(wù)時，通過在模型內(nèi)部設(shè)計多任務(wù)交互模塊，顯式地建模任務(wù)間的互相學(xué)習(xí)過程，進(jìn)而提高多任務(wù)學(xué)習(xí)模型的可解釋性，成為了近幾年短文本細(xì)粒度情感分析的研究熱點。

對短文本先進(jìn)行主題聚類[68]，用于輔助情感傾向分析。Gui等[69]提出基于多任務(wù)學(xué)習(xí)思想的互相學(xué)習(xí)法（multi-task learning with mutual learning，MTL-ML），將主題模型（topic models）和情感傾向分析模型用一個共享權(quán)重單元關(guān)聯(lián)起來，訓(xùn)練過程中通過最大化主題權(quán)重分布和情感語義注意力分布之間的相似性，實現(xiàn)兩任務(wù)間的互相學(xué)習(xí)。Qin 等[70]則認(rèn)為對話行為識別（dialog act recognition）和情感傾向分析兩個任務(wù)在捕捉人的說話意圖上具有相似性，即對話行為和情感傾向分別表示說話人的明示意圖和隱含意圖，設(shè)計深層交互關(guān)系網(wǎng)絡(luò)（deep co-interactive relation network，DCR-Net）用于兩個任務(wù)之間的多步驟交互，不僅可以逐步建模和捕獲深層交互關(guān)系，還能更好地傳遞知識。這類多任務(wù)學(xué)習(xí)方法將不同任務(wù)的相似或相關(guān)的部分單獨提出來學(xué)習(xí)，既降低了不同任務(wù)模型訓(xùn)練過程中無關(guān)特征間的相互干擾，又顯式地建模了任務(wù)間的交互關(guān)系，進(jìn)而提升了多任務(wù)學(xué)習(xí)模型的可解釋性。

3.3 基于遷移學(xué)習(xí)的方法

3.3.1 遷移學(xué)習(xí)方法簡介

現(xiàn)存深度學(xué)習(xí)網(wǎng)絡(luò)模型大多數(shù)是基于數(shù)據(jù)驅(qū)動的方法，需要大量的標(biāo)注數(shù)據(jù)訓(xùn)練模型參數(shù)，且分類模型的效果對訓(xùn)練數(shù)據(jù)集的數(shù)量和質(zhì)量較敏感。針對上述問題，基于遷移學(xué)習(xí)的情感傾向分析方法（如圖9 所示），先利用源領(lǐng)域標(biāo)注數(shù)據(jù)和目標(biāo)領(lǐng)域少量甚至無標(biāo)注的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，再輸入目標(biāo)領(lǐng)域測試集對模型進(jìn)行微調(diào)以適應(yīng)目標(biāo)領(lǐng)域的目標(biāo)任務(wù)。遷移學(xué)習(xí)方法常用于跨任務(wù)[71]、跨領(lǐng)域[72]和跨語言[73]的細(xì)粒度情感傾向分析，其關(guān)鍵是找到源任務(wù)和目標(biāo)任務(wù)之間的相似性。

Fig.9 Framework of transfer learning-based sentiment tendency analysis圖9 基于遷移學(xué)習(xí)的情感傾向分析框架

3.3.2 基于遷移學(xué)習(xí)的細(xì)粒度情感傾向分析

基于遷移學(xué)習(xí)的細(xì)粒度情感傾向分析方法可歸納出遷移什么、如何遷移和何時遷移三個基本問題。重用模型內(nèi)部部分語義結(jié)構(gòu)是最常見的遷移學(xué)習(xí)方式。王源[74]將在機器翻譯任務(wù)中訓(xùn)練好的編碼器用于情感傾向分析，為解決任務(wù)間的特征差異問題，還增加特征提取層，實現(xiàn)基于特征遷移的跨任務(wù)情感傾向分析。針對遷移什么和如何遷移兩個基本問題，Li等[75]設(shè)計雙內(nèi)存交互（dual memory interaction，DMI）模塊，用于捕獲方面與觀點詞之間的語義關(guān)聯(lián)，并結(jié)合選擇對抗學(xué)習(xí)（selective adversarial learning，SAL）解決跨領(lǐng)域知識遷移過程中領(lǐng)域數(shù)據(jù)特征分布差異問題，同時嘗試解決了領(lǐng)域低資源問題。鑒于數(shù)據(jù)的領(lǐng)域依賴性問題，很多情感傾向分析深度學(xué)習(xí)方法并不適用于當(dāng)數(shù)據(jù)來自不同領(lǐng)域或所用語言不同的情況。Lambert[76]使用受限翻譯工具將源語言翻譯成目標(biāo)語言，只遷移短文本中與給出方面實體對應(yīng)的觀點詞部分，實現(xiàn)跨語言的方面級情感傾向分析。這類基于遷移學(xué)習(xí)的方法通過共享模型部分參數(shù)方式，或共享模型部分語義層和部分特征的方式，提升模型泛化學(xué)習(xí)能力，進(jìn)而提高模型的實際可用性。

基于深度學(xué)習(xí)的細(xì)粒度情感傾向分析方法如表2 所示。

4 情感傾向分析數(shù)據(jù)集

數(shù)據(jù)集對于深度學(xué)習(xí)模型的訓(xùn)練來說至關(guān)重要，有效的數(shù)據(jù)集能幫助驗證基于深度學(xué)習(xí)的情感傾向分析方法的效能。本章以情感傾向分析任務(wù)為背景，分別收集了中文數(shù)據(jù)集（如表3 所示）和外文數(shù)據(jù)集（如表4 所示），并對各數(shù)據(jù)集的情感標(biāo)簽、數(shù)據(jù)量以及適用任務(wù)進(jìn)行了簡單描述。

4.1 中文情感傾向分析數(shù)據(jù)集

（1）ChnSentiCorp_htl_all（中文情感分析酒店語料）[77]：由中科院譚松波收集整理的一個較大規(guī)模的酒店評論語料，共10 000 條評論，正面評論有7 000條，負(fù)面評論有3 000 條，分為4 個子數(shù)據(jù)集。情感標(biāo)簽只包括正面和負(fù)面，一般用于篇章句子級的粗粒度情感傾向分析。

（2）COAE（中文觀點傾向性分析測評）[78]：COAE2014的任務(wù)4 提供的微博數(shù)據(jù)集共計40 000 條微博，已標(biāo)注數(shù)據(jù)有10 000 條，帶情緒的數(shù)據(jù)有7 000 條。訓(xùn)練集數(shù)據(jù)來自同一話題，正負(fù)面情緒數(shù)據(jù)分別有1 003條和1 171 條；測試集數(shù)據(jù)來自手機、保險、翡翠3 個不同話題，正負(fù)面情緒數(shù)據(jù)分別有3 776條和3 224條。

（3）NLPCC（自然語言處理會議）[79]：2014 年的數(shù)據(jù)集中訓(xùn)練集含10 000 條中文產(chǎn)品評論數(shù)據(jù)，測試集中正面和負(fù)面標(biāo)簽的數(shù)據(jù)評論各1 250 條，可用于句子級的粗粒度情感傾向分析。

（4）新聞點評（Chinese news comments）[43]：收集了大量包括政治和娛樂兩方面的中文新聞評論，專用于方面級的細(xì)粒度情感傾向分析，情感標(biāo)簽有3類：積極、消極和中性。訓(xùn)練集中3 類情感標(biāo)簽數(shù)據(jù)量分別為5 633、6 001 和8 403。

Table 2 Summary of deep-learning methods for fine-grained sentiment tendency analysis表2 基于深度學(xué)習(xí)的細(xì)粒度情感傾向分析方法總結(jié)

Table 3 Chinese sentiment tendency analysis dataset表3 中文情感傾向分析數(shù)據(jù)集

Table 4 Foreign sentiment tendency analysis dataset表4 外文情感傾向分析數(shù)據(jù)集

（5）豆瓣影評數(shù)據(jù)集[4]：利用網(wǎng)絡(luò)爬蟲技術(shù)，收集自國內(nèi)影響較大的豆瓣電影網(wǎng)站數(shù)據(jù)。該數(shù)據(jù)集中電影評分劃為5 個等級共10 分，2 分最差，6 分及格，8分好評。除表3 中訓(xùn)練集和測試集外，還有50 000 條驗證集數(shù)據(jù)，情感傾向標(biāo)簽按等級分，該數(shù)據(jù)集粗細(xì)粒度的情感傾向分析都適用。

4.2 外文情感傾向分析數(shù)據(jù)集

（1）IMDB（Internet movie database）[80]：包含50 000條以情緒（正面/負(fù)面）標(biāo)記的電影評論，內(nèi)容涉及影片的演員、內(nèi)容介紹、等級和評論等。Keras中已對評論文本進(jìn)行了預(yù)處理，評論中的每個單詞由一個對應(yīng)整數(shù)代替。IMDB 數(shù)據(jù)集常用于篇章句子級的粗粒度情感傾向分析。

（2）SemEval（semantic evaluation）：SemEval 是一項關(guān)于語義分析與評估的NLP 比賽，其中情感傾向分析相關(guān)任務(wù)主要包括SemEval2014 Task4、SemEval2015 Task12 和SemEval2016 Task5，該3 個任務(wù)均提供restaurant 數(shù)據(jù)集，即Rest14/Rest15/Rest16。SemEval2014 Task4 中還提供laptop 數(shù)據(jù)集，即Laptop14。SemEval的情感標(biāo)簽有3 類：積極、消極、中性。常用于目標(biāo)/方面級的細(xì)粒度情感傾向分析。

（3）Twitter[81]：它是在社交平臺推特的應(yīng)用程序接口上通過搜索關(guān)鍵字爬取的tweets，情感標(biāo)簽分3類：積極、中性和消極。常用于目標(biāo)/方面級的細(xì)粒度情感傾向分析，該數(shù)據(jù)集在表4 中資源獲取來源地址參考自文獻(xiàn)[46]。

（4）SST（Stanford sentiment treebank）[82]：該數(shù)據(jù)集收集的是電影文本，有兩個版本可用，五分類（非常積極/積極/中性/消極/非常消極）的SST-1 和二分類的SST-2。除了表4 中的訓(xùn)練集和測試集，SST-1 驗證集包含1 101 條數(shù)據(jù)，SST-2 驗證集包含872 條數(shù)據(jù)。SST數(shù)據(jù)集常用于篇章句子級的粗粒度情感傾向分析。

（5）Yelp[25]：Yelp 是美國最大的一個點評網(wǎng)站。Yelp 數(shù)據(jù)集是一個涵蓋用戶、商家和點評數(shù)據(jù)的子集，收集的是波士頓、芝加哥、洛杉磯、紐約、舊金山5 個城市關(guān)于餐廳和食品的評論。Yelp 數(shù)據(jù)集分兩類：一個是5 評分等級的Yelp-5；一個是正負(fù)情感極性的Yelp-2。常用于篇章句子級的粗粒度情感傾向分析。

（6）Amazon[25]：該數(shù)據(jù)集整理自亞馬遜購物網(wǎng)站的商品評論，包括兩個版本：用于二分類的Amazon-2以及五分類的Amazon-5。這兩個數(shù)據(jù)集常用于篇章句子級的粗粒度情感傾向分析。

（7）SentiHood[83]：數(shù)據(jù)來源于Yahoo！的一個問答平臺，內(nèi)容是關(guān)于倫敦的城市社區(qū)評論。數(shù)據(jù)集中共含5 215 條問答形式的短評，該數(shù)據(jù)集常用于目標(biāo)/方面級的細(xì)粒度情感傾向分析。

（8）Hindi[84]：是一個常用于目標(biāo)/方面級細(xì)粒度情感傾向分析的印第安語數(shù)據(jù)集，其跨12 個領(lǐng)域共收集5 417 條評論，其中方面實體共有4 509 個，訓(xùn)練集中有3 385個方面實體，測試集中有1 124個方面實體。

5 實驗評價指標(biāo)和模型性能對比

性能評估是短文本情感傾向分析實驗中的最后一步，短文本情感傾向分析中常用準(zhǔn)確率和F1 測度評價深度學(xué)習(xí)模型的性能。

5.1 實驗評價指標(biāo)

5.1.1 準(zhǔn)確率Accuracy

模型正確分類的樣本數(shù)與總樣本數(shù)的比值就是準(zhǔn)確率，通常來說，準(zhǔn)確率越高越好。公式描述如下（TN為真實情感為消極且預(yù)測正確的樣本數(shù)，F(xiàn)N為真實情感為消極但預(yù)測錯誤的樣本數(shù)，TP為真實情感為積極且預(yù)測正確的樣本數(shù)，F(xiàn)P為真實情感為積極但預(yù)測錯誤的樣本數(shù)）：

5.1.2 精準(zhǔn)率Precision

精準(zhǔn)率指的是在預(yù)測結(jié)果為積極的樣本中，真實標(biāo)簽也是積極的樣本所占比值。公式描述如下：

5.1.3 召回率Recall

召回率指的是真實情感為積極且預(yù)測正確的樣本數(shù)占總樣本數(shù)的比值。公式描述如下：

5.1.4 F1 測度

由于精準(zhǔn)率和召回率兩評價指標(biāo)值間相互影響，不能同時達(dá)到最優(yōu)。為對模型進(jìn)行更好的整體評價，計算精準(zhǔn)率和召回率兩個指標(biāo)的算術(shù)平均值得到新評價指標(biāo)F1 測度。計算公式如下：

Macro-F1 先對每個類別單獨計算F1 值，再取所有類別F1 值的算術(shù)平均值作為全局指標(biāo)；Micro-F1不區(qū)分類別，直接用總樣本的精準(zhǔn)率和召回率計算F1 值。

5.1.5 均方誤差MSE

該統(tǒng)計參數(shù)是預(yù)測數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)點誤差的平方和求均值，其值越小越好。常用于評估多標(biāo)簽情感傾向分析模型性能。公式描述如下（n為總樣本數(shù)，yi是真實情感標(biāo)簽，是預(yù)測值）：

5.2 典型模型性能對比

為了進(jìn)一步分析基于深度學(xué)習(xí)的細(xì)粒度情感傾向分析方法的性能，本節(jié)借助3個標(biāo)準(zhǔn)數(shù)據(jù)集SemEval的Rest14、Laptop14 和Twitter 數(shù)據(jù)集，以及兩個通用評價指標(biāo)對各經(jīng)典模型性能進(jìn)行客觀評價和對比，其中準(zhǔn)確率是情感傾向分析模型性能的最重要的評價指標(biāo)，Macro-F1 是另一個有價值且重要的模型性能度量指標(biāo)。以下實驗結(jié)果整理自多篇論文（如表5所示）。

表5 中第一部分是傳統(tǒng)基于機器學(xué)習(xí)和特征工程方法的實驗結(jié)果；第二部分是基于LSTM 以及結(jié)合注意力機制方法的實驗結(jié)果；第三部分是基于卷積神經(jīng)網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)模型的實驗結(jié)果；第四部分是基于圖卷積神經(jīng)網(wǎng)絡(luò)模型的實驗結(jié)果。

對表5 進(jìn)行縱向分析，首先可明顯看到SemEval數(shù)據(jù)集的使用率最高，這可能由于SemEval數(shù)據(jù)集中數(shù)據(jù)量更大，標(biāo)注的信息更全面且涵蓋兩個領(lǐng)域的標(biāo)注數(shù)據(jù)，適用于更多任務(wù)；其次，從實驗結(jié)果可以看出在Rest14 數(shù)據(jù)集上的準(zhǔn)確率最高，Laptop14 數(shù)據(jù)集上的結(jié)果次之，Twitter 數(shù)據(jù)集上的準(zhǔn)確率最低，且較于Rest14，Twitter 數(shù)據(jù)集上的結(jié)果最多降低了0.10的準(zhǔn)確率，這是由于tweets 數(shù)據(jù)更口語化，語言表達(dá)更復(fù)雜，導(dǎo)致上下文語義更難準(zhǔn)確捕獲；最后，從結(jié)果上分析出廣義F1 測度值比準(zhǔn)確率低，且在Rest14數(shù)據(jù)集上表現(xiàn)得更明顯，這可能由于在Rest14 數(shù)據(jù)集上容易將原本的積極類預(yù)測為消極類。

Table 5 Comparison of experimental results of target/aspect-level sentiment tendency analysis表5 目標(biāo)/方面級情感傾向分析實驗結(jié)果對比%

對表5 進(jìn)行橫向分析：（1）可看出結(jié)合語義詞典的方法可以有效提升基于傳統(tǒng)SVM（support vector machine）方法的性能，約提升了大于0.03 的準(zhǔn)確率。（2）基于LSTM 結(jié)構(gòu)的模型比傳統(tǒng)機器學(xué)習(xí)方法提升了0.01～0.03的準(zhǔn)確率，對比簡單的LSTM 模型與結(jié)合注意力機制的LSTM 模型的實驗結(jié)果發(fā)現(xiàn)，引入注意力機制可以極大提高情感傾向分析效率；其次，AEN中設(shè)計多頭注意力層的使用進(jìn)一步提升了模型效率。（3）目前利用圖卷積神經(jīng)網(wǎng)絡(luò)融入基于方面的依存句法關(guān)系的方法取得了最好的效果，同時在模型輸入部分利用預(yù)訓(xùn)練模型可以幫助進(jìn)一步提高準(zhǔn)確率。

6 總結(jié)與展望

短文本數(shù)據(jù)的簡短性、歧義性等特點給情感傾向分析帶來巨大挑戰(zhàn)。近些年，深度學(xué)習(xí)技術(shù)憑借高效特征提取能力、豐富建模手段和可移植性在情感傾向分析任務(wù)中表現(xiàn)突出。結(jié)合深度學(xué)習(xí)思想構(gòu)建更加準(zhǔn)確有效的短文本情感傾向分析模型仍是自然語言處理領(lǐng)域的重點研究方向之一。

基于深度學(xué)習(xí)的短文本情感傾向分析方法在向分類效率更高、計算更快、不同任務(wù)與領(lǐng)域間更通用的方向發(fā)展，主要表現(xiàn)為：（1）引入預(yù)訓(xùn)練語言模型，初始化深度網(wǎng)絡(luò)模型的輸入，得到表達(dá)更高效的初始詞向量；（2）結(jié)合一些機制，如注意力機制、門控機制和信息傳遞機制等，控制模型內(nèi)部信息流動，增強上下文語義建模能力；（3）簡化模型結(jié)構(gòu)，減少內(nèi)存占用率，結(jié)合可并行化訓(xùn)練的神經(jīng)網(wǎng)絡(luò)組件，提升模型訓(xùn)練速度；（4）聯(lián)合其他任務(wù)進(jìn)行多特征互補學(xué)習(xí)，不僅幫助緩解低可用資源問題，還可提升模型泛化能力。

結(jié)合短文本情感傾向分析所面臨的挑戰(zhàn)，提出以下三點未來研究方向：

（1）短文本長度過短，導(dǎo)致數(shù)據(jù)特征稀疏。結(jié)合外部先驗特征，挖掘短文本內(nèi)部表征及深層語義特征，一直是增強上下文語義建模能力的重要研究內(nèi)容。如何利用從其他自然語言處理任務(wù)中獲取的信息輔助情感傾向分析，是未來一個值得研究的重要方向。

（2）短文本表述不規(guī)范，結(jié)構(gòu)復(fù)雜，導(dǎo)致歧義問題。常用方法是補充短文本的結(jié)構(gòu)信息。中文短文本情感傾向分析受到分詞準(zhǔn)確率的約束。構(gòu)建不同粒度的文本向量化方法，如字向量表示、詞向量表示和短語向量表示等，再結(jié)合改進(jìn)的注意力機制是一個值得研究的課題。

（3）短文本數(shù)據(jù)量大且內(nèi)容復(fù)雜，領(lǐng)域可用標(biāo)注資源少，且深度學(xué)習(xí)模型的跨領(lǐng)域可移植性差，導(dǎo)致更實用的任務(wù)無法進(jìn)行。基于遷移學(xué)習(xí)的方法仍存在提升空間，如何將少樣本學(xué)習(xí)和弱監(jiān)督方法應(yīng)用于短文本情感傾向分析值得未來進(jìn)一步探討。

7 結(jié)束語

本文對短文本情感傾向分析的研究背景和意義進(jìn)行了綜述，并重點闡述和討論了深度學(xué)習(xí)方法對短文本細(xì)粒度情感傾向分析的重要貢獻(xiàn)。此外，本工作基于三個標(biāo)準(zhǔn)數(shù)據(jù)集和兩個重要評價指標(biāo)，綜合評估了用于細(xì)粒度情感傾向分析的經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)模型性能。深度學(xué)習(xí)方法較傳統(tǒng)方法得到了更高的準(zhǔn)確率，但仍有若干問題待解決。最后，結(jié)合上述內(nèi)容對短文本情感傾向分析研究中存在的開放問題給出了一些未來方向。期待未來有更多用于解決短文本情感傾向分析問題的新思路和新方法。