韓建勝 陳 杰 陳 鵬 劉 杰 彭德中

(四川大學(xué)計算機學(xué)院(軟件學(xué)院) 四川 成都 610065)

0 引 言

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)民可以更加便捷地發(fā)表自己對某一事件的看法和評論所接受到的服務(wù)。這些帶有情感色彩的評論信息表達了人們不同類型的情感傾向。然而由于網(wǎng)絡(luò)中評論數(shù)據(jù)規(guī)模龐大，單純依靠人力難以從大量文本中分析出用戶的情感傾向，所以需要通過自動化的方式來進行文本分析。文本情感分析就是這樣一種能幫助我們從文本中挖掘用戶情感信息，識別文本的情感極性或強度的自動化方法。近年來，深度學(xué)習(xí)在文本情感分析任務(wù)中展現(xiàn)出了巨大的潛力。文獻[1]利用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)在多種不同任務(wù)上進行模型訓(xùn)練，以此提高模型編碼層的特征提取能力，然后具體分析情感數(shù)據(jù)進行模型參數(shù)調(diào)整，得到相應(yīng)的情感分類輸出。文獻[2]在LSTM的基礎(chǔ)上引入了注意力機制，通過關(guān)注文本中被評論的對象、評論詞等能夠體現(xiàn)情感色彩和傾向的詞來實現(xiàn)針對具體對象的細粒度情感分析。因為循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)計算上的串行性使得模型計算速度較慢，而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)不僅有較好的并行性，計算速度快，而且具有提取文本n-gram特征的能力，所以有不少研究者將CNN引入到情感分析任務(wù)中。文獻[3]利用卷積神經(jīng)網(wǎng)絡(luò)對文本進行特征提取，通過不同大小的卷積核提取不同類型的n-gram特征，然后將所有提取到的特征信息融合到一起進行情感分類。文獻[4]通過卷積和動態(tài)最大值池化提取文本序列中相隔較遠的詞之間的語義關(guān)系，以獲得文本中的長期依賴，達到更加全面的提取文本中的特征信息來對文本進行情感分析的目的。文獻[5]在使用卷積神經(jīng)網(wǎng)絡(luò)對文本進行建模的過程中，考慮了文本序列中詞的順序關(guān)系，對時間卷積網(wǎng)絡(luò)進行了適當(dāng)改進，使用了非線性、非連續(xù)卷積對文本進行特征提取，然后使用提取到的特征信息對文本進行情感計算。

卷積神經(jīng)網(wǎng)絡(luò)因計算速度快而被大家推崇，但是基于卷積神經(jīng)網(wǎng)絡(luò)的情感分析模型中，多數(shù)模型沒有考慮到文本序列中詞出現(xiàn)順序的影響。少數(shù)模型考慮了詞的前向順序，即文本中先出現(xiàn)的詞對后面出現(xiàn)的詞的影響，用單向時間卷積(Temporal Convolutional Networks，TCN，Uni-TCN)[6]提取文本特征信息，忽略了后面的詞對前面的詞的影響。因為文本序列后出現(xiàn)的詞會對之前出現(xiàn)的詞在詞共現(xiàn)的角度存在統(tǒng)計學(xué)意義，所以單向時間卷積網(wǎng)絡(luò)不足以捕捉文本序列中全部的特征信息。針對這一問題，本文提出使用雙向時間卷積網(wǎng)絡(luò)(Bidirectional Temporal Convolutional Networks,Bi-TCN)提取文本特征，并通過將兩個方向上的語義特征融合，得到綜合信息之后再對文本進行情感分析，并在4個中文數(shù)據(jù)集上進行實驗。實驗證明，雙向時間卷積網(wǎng)絡(luò)比單向時間卷積網(wǎng)絡(luò)具有更強的情感分析能力。

1 相關(guān)工作

1.1 傳統(tǒng)方法

傳統(tǒng)提取文本信息分析情感傾向的方法主要利用先驗知識，人工設(shè)計出能夠識別情感傾向的詞典，然后根據(jù)情感詞對文本進行定量的分析。這種方法主要包括兩類：基于規(guī)則、詞典和基于傳統(tǒng)機器學(xué)習(xí)。

基于規(guī)則、詞典的情感分析方法，利用統(tǒng)計信息和點互信息對文本進行規(guī)則定義，或者通過給文檔中的情感詞、否定詞以及程度副詞的不同組合打分，按照分數(shù)大小判別文本的情感傾向。

基于傳統(tǒng)機器學(xué)習(xí)的方法，如支持向量機(Support Vector Machine，SVM)[7]、樸素貝葉斯模型(Na?ve Bayesian Model，NBM)[7]等，利用文本的詞頻逆文本率(Term Frequency-Inverse Document，TF-IDF)作為特征進行情感分析模型訓(xùn)練，再利用訓(xùn)練好的模型識別文本的情感類別。

1.2 神經(jīng)網(wǎng)絡(luò)方法

深度學(xué)習(xí)在情感分析任務(wù)上的表現(xiàn)，大多數(shù)網(wǎng)絡(luò)模型都以循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)為基本結(jié)構(gòu)對文本進行特征提取，然后依據(jù)提取到的特征向量對文本進行情感分類。文獻[8]在基本的網(wǎng)絡(luò)模型中加入了層級注意力機制，分別實現(xiàn)了詞的注意力和句子的注意力，使文本中對情感體現(xiàn)具有重要作用的關(guān)鍵詞和關(guān)鍵句子得到關(guān)注?，F(xiàn)有的模型除了結(jié)構(gòu)的不同之外，使用的文本特征粒度也有所不同。文獻[3，9]使用詞特征對文本進行序列建模，文獻[10-11]利用字特征對文本進行分析，文獻[12-14]則將字和詞特征結(jié)合起來，使文本特征提取更加全面，更有利于文本情感傾向的分析和判斷。此外，文獻[8]利用句子粒度特征對文本進行情感分析，也取得了較好的效果。

2 時間卷積網(wǎng)絡(luò)

時間卷積網(wǎng)絡(luò)利用卷積計算來對有時間依賴的任務(wù)進行序列建模。如給定輸入序列x0,x1,…,xn,共n+1個詞，需要預(yù)測輸出序列y0,y1,…,yn，每一時刻的輸出yt都僅取決于該時刻之前的一些xt，即：

yt=f(xt-k+1,xt-k+2，…,xt)

(1)

式中:f為變換函數(shù)；k為卷積核的大小，當(dāng)t-k+1小于0時，xt-k+1即為序列的填充值。時間卷積網(wǎng)絡(luò)有不同的實現(xiàn)方式和不同的應(yīng)用場景。為了能更好地表達文本序列，文獻[5]通過非線性不連續(xù)卷積對文本進行特征提取，在文本情感分析任務(wù)中達到了較好的效果。文獻[15]利用層級時間卷積對視頻序列進行動作分割和識別。文獻[6]結(jié)合序列數(shù)據(jù)本身的特點以及深層網(wǎng)絡(luò)模型容易發(fā)生退化的因素，將空洞因果卷積[16]和殘差結(jié)構(gòu)[17]融合，構(gòu)建了一個由空洞因果卷積和殘差連接組成的新的時間卷積網(wǎng)絡(luò)，并在文本分類、文本語義推理等多種序列建模任務(wù)中取得較好的成績。

2.1 因果卷積

時間卷積網(wǎng)絡(luò)中，卷積的因果性質(zhì)主要通過因果卷積實現(xiàn)。當(dāng)卷積核大小為k時，卷積計算每一時刻的輸出僅依賴當(dāng)前的輸入和之前k-1個輸入，而不涉及之后的信息。在具體網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)上，為了能夠使輸入與卷積計算輸出在維度上保持一致，需要在輸入序列的左邊進行k-1個零值向量填充。

2.2 空洞卷積

因果卷積僅能在卷積核大小的范圍內(nèi)提取文本序列中的連續(xù)的n-gram特征，無法獲得距離較遠的內(nèi)容。為使卷積的感受野變大獲得長期依賴，文獻[6，16]使用空洞卷積作為因果卷積的基本結(jié)構(gòu)。空洞卷積隔一定的空洞數(shù)對序列進行采樣計算，在功能上與將部分卷積值進行歸零相似?；蛘咄ㄟ^擴大卷積核后將部分卷積核的權(quán)值置零也能得到相同的結(jié)果，但是在效率上空洞卷積執(zhí)行的速度更快，效率更高。

2.3 殘差鏈接

殘差結(jié)構(gòu)[17]將輸入x與經(jīng)過非線性變換后的F(x)進行求和，形成短路連接：

H=x+F(x)

(2)

這種結(jié)構(gòu)能在深層網(wǎng)絡(luò)中較好地擬合輸入發(fā)生的變化，使網(wǎng)絡(luò)中的參數(shù)不隨網(wǎng)絡(luò)的深度增加而難以優(yōu)化。因為TCN感受野的擴大部分依賴于卷積網(wǎng)絡(luò)層的疊加，而殘差連接可以在網(wǎng)絡(luò)層數(shù)不斷增加的情況下抑制網(wǎng)絡(luò)模型訓(xùn)練可能出現(xiàn)的梯度消失現(xiàn)象。

3 雙向時間卷積網(wǎng)絡(luò)

在深度學(xué)習(xí)的研究中，對序列進行單向建模在大多數(shù)情況下往往不如雙向建模對序列的特征捕獲更加充分、語義信息表達更完整?；谶@個理念，有很多的基礎(chǔ)模型都使用雙向計算機制對文本序列進行計算。文獻[18]在LSTM基礎(chǔ)上提出了Bi-LSTM對文本進行特征提取，以彌補單向LSTM隨著序列長度的增加記憶能力減弱造成的影響。通過實驗驗證，在現(xiàn)有的很多任務(wù)上Bi-LSTM的效果要優(yōu)于LSTM。此外，文獻[19]以多頭注意力[20]作為基本結(jié)構(gòu)提出了對文本進行雙向建模的BERT(Bidirectional Encoder Representations from Transformers)預(yù)訓(xùn)練模型，并在多項自然語言處理任務(wù)中超躍基于單向多頭注意力的GPT(Generative Pre-Training)[21]。由此可見，對文本序列進行雙向建模能夠綜合地提取文本的特征信息，更有利于文本的推理和分析。普通時間卷積網(wǎng)絡(luò)對文本按照時間順序進行單向卷積計算，每一個時間步上的語義計算僅利用了當(dāng)前時刻和之前時刻的信息，即每一個詞的編碼信息僅包含之前的語義信息。而在文本中，詞的語義很可能與這個詞之后的信息有很大的關(guān)聯(lián)，后面的文本信息可能使文本整體語義發(fā)生變化。在這種情況下，單向時間卷積網(wǎng)絡(luò)忽略了后文的信息，不能夠很好地使每一個詞的語義信息足夠全面得表達，限制了文本整體語義特征的獲取。本文針對這一情況，提出了雙向時間卷積網(wǎng)絡(luò)(Bidirectional Temporal Convolutional Network，Bi-TCN)，對文本進行前向和后向特征提取，再將兩個方向上的最后一個時刻的特征信息線性變換后進行融合，得到文本整體語義信息的綜合表達，并在此基礎(chǔ)上對文本進行情感分析。Bi-TCN模型整體架構(gòu)如圖1所示。

圖1 Bi-TCN模型結(jié)構(gòu)圖

3.1 詞嵌入

本文使用fastText[22]對文本進行詞向量預(yù)訓(xùn)練，得到所有詞匯的稠密詞向量表達。該方式訓(xùn)練的詞向量不僅能夠較好地表達一個詞的多種詳細特征，體現(xiàn)出詞與詞之間的相似度和關(guān)聯(lián)性，還能在情感分類中，對于每一個詞屬于的情感類別進行預(yù)判，幫助模型對文本進行情感分析。

對給定一個句子分詞之后的序列S={x0,x1,…,xn}進行詞嵌入的時候，本文將每一個詞xn通過嵌入矩陣Ww轉(zhuǎn)化成固定的詞向量ew。

ew=(Ww)Tnword

(3)

式中：Ww∈RNword×Dd;nword表示詞在詞匯表中的one-hot編碼;Nword表示詞匯表中詞的數(shù)量;Dd表示每一個詞向量的維度。通過詞嵌入，文本序列就被映射成為向量序列。

3.2 空洞因果卷積層

空洞因果卷積層通過一維空洞卷積在序列的左側(cè)進行填充，對序列從左向右進行卷積計算，實現(xiàn)前向特征提取。然后將原序列翻轉(zhuǎn)，按照前向的計算方式對翻轉(zhuǎn)后的序列進行后向卷積計算。每一次空洞因果卷積計算后，都將參數(shù)進行層級歸一化[23]，然后通過激活函數(shù)ReLU進行非線性計算。將原始輸入與非線性計算之后的結(jié)果進行殘差連接。這一個整體就構(gòu)成了一個空洞因果卷積模塊。

si=Conv(Mi×Kj+bi)

(4)

{s0,s1,…,sn}=LayerNorm({s0,s1,…,sn})

(5)

{s0,s1,…,sn}=ReLU({s0,s1,…,sn})

(6)

式中：si是i時刻卷積計算得到的狀態(tài)值；Mi為該時刻卷積計算的詞的矩陣;Kj為第j層的卷積核;bi為偏置;{s0,s1,…,sn}是序列經(jīng)過一次完整的卷積計算后的編碼。經(jīng)過多個因果卷積層的堆疊，擴大卷積的感受野，使文本的特征提取更加完整，獲得文本序列的高層語義信息。

3.3 線性變換

(7)

(8)

式中：Wn×m是線性變換參數(shù)矩陣，前向計算和后向計算的參數(shù)不同，維度一致；n為變換前語義向量的維度；m為變換后的維度。

3.4 特征融合

(9)

3.5 softmax輸出

利用融合后的特征信息h來進行情感分類，通過Softmax分類器輸出文本所屬情感類別的概率分布。

prob=softmax(hW2m×c+b)

(10)

式中：W2m×c為參數(shù)矩陣；c是情感分類的類別；b為偏差，其維度也是c。

4 實驗與分析

4.1 實驗數(shù)據(jù)

本文在文獻[7]整理的酒店評論數(shù)據(jù)集上進行實驗，該數(shù)據(jù)集包含10 000篇文檔，共有積極(正)和消極(負)兩種極性的情感類別。所有的文檔構(gòu)成了4個不同的子集：ChnSentiCorp-Htl-ba-2000，ChnSentiCorp-Htl-ba-4000，ChnSentiCorp-Htl-ba-6000，ChnSentiCorp-Htl-ba-10000。每一個子集的情感類別數(shù)具體分布如表1所示。為了簡化表示，本文將以上4個數(shù)據(jù)集依次表示為corp-1，corp-2，corp-3，corp-4。

表1 酒店評論數(shù)據(jù)集

4.2 預(yù)處理

本文對文本數(shù)據(jù)主要做了兩個方面的預(yù)處理工作，如表2所示。

表2 數(shù)據(jù)預(yù)處理

(1) 將文本中的繁體中文轉(zhuǎn)化為簡體中文。

(2) 利用結(jié)巴分詞(https://pypi.org/project/jieba/)工具對文本進行分詞。

4.3 Bi-TCN參數(shù)研究

在實驗過程中，我們發(fā)現(xiàn)Bi-TCN模型存在易受卷積層數(shù)、卷積核大小和空洞因子這三個參數(shù)的影響而發(fā)生不收斂的現(xiàn)象。當(dāng)卷積層數(shù)少，并且卷積核較小時，利用卷積計算進行特征提取的感受野不夠?qū)?，不能捕捉文本的長期依賴，不足以提取足夠的特征進行情感分析而使得模型不收斂。而層數(shù)過多，卷積核過大，受空洞因子的影響會使卷積的感受野超過文本本身長度，這既增加了不必要的計算，也會使模型出現(xiàn)過擬合。故本文就這三個參數(shù)對Bi-TCN在中文情感分析任務(wù)上的影響進行了對比實驗。

4.3.1卷積層數(shù)

實驗固定卷積核大小為7，空洞因子為層數(shù)的兩倍，保持其他參數(shù)不變的情況下，改變卷積層數(shù)對模型進行訓(xùn)練，得到的實驗結(jié)果如圖2所示。實驗表明，隨著卷積層數(shù)的增加，模型的泛化能力逐漸提高，而層數(shù)過多則會導(dǎo)致性能有所降低?？梢钥闯?，當(dāng)卷積層數(shù)為4時，實驗效果最好，此時可以計算得到模型的長期依賴最長距離為79。當(dāng)卷積層數(shù)為5時，最長依賴為127，此時需要進行126個值填充，由底層向上層傳播時就會引入很多的噪聲，使模型的擬合能力和泛化能力都下降。而本實驗中的文本長度最長為140個詞，模型層數(shù)越多，最高層感受野就會超過這個長度，模型學(xué)習(xí)的對象就偏離了數(shù)據(jù)本身，故在測試集上的表現(xiàn)就會變差。

圖2 卷積層數(shù)對Bi-TCN分析結(jié)果影響

4.3.2卷積核大小

固定卷積層數(shù)為4，空洞因子為2n，通過改變卷積核的大小來研究卷積核的變化對模型性能的影響，實驗結(jié)果如圖3所示?？梢钥闯?，卷積核大小為7時模型表現(xiàn)較好。卷積核的取值決定了模型n-gram特征包含的詞的數(shù)量。當(dāng)卷積核較小時，一次卷積計算所能囊括的關(guān)聯(lián)性較少，不足以提取詞與詞之間的關(guān)系，故隨著卷積核的增大，模型的準(zhǔn)確率會上升。當(dāng)卷積核過大時，可能會將無關(guān)信息納入卷積計算，增加噪聲，破壞模型對文本規(guī)律的學(xué)習(xí)，所以卷積核越大，模型的性能反而會降低。

圖3 卷積核大小對Bi-TCN分析結(jié)果影響

4.3.3空洞因子

本輪實驗保持卷積層數(shù)為4、卷積核為7不變，探究空洞因子對模型的影響。空洞因子中n∈{0,1,2,3}，當(dāng)n=0時，默認空洞因子為1。通過實驗，得到不同的空洞因子的實驗結(jié)果如表3所示。根據(jù)空洞因子，結(jié)合卷積層數(shù)和卷積核大小，計算每一個模型中卷積計算的最長依賴，發(fā)現(xiàn)最長依賴距離超過并接近整個序列長度的一半時表現(xiàn)較好(所有實驗中，固定序列最長值為140)。而長期依賴距離越大，會使模型性能下降。實驗數(shù)據(jù)中，大多數(shù)句子長度都集中在90詞以下，并不需要過長的長度依賴，否則會使模型擬合一些噪聲，出現(xiàn)過擬合問題。

4.4 實驗參數(shù)設(shè)置

實驗中，利用fastText方法預(yù)訓(xùn)練詞向量和字向量，維度為300，每一個批次大小為64，空洞因果卷積層數(shù)為4，卷積核大小為7，空洞因子為2n，Adam優(yōu)化器學(xué)習(xí)率為0.002，dropout為0.25，句子長度統(tǒng)一為140個詞。

4.5 對比實驗

本文用8種方法在酒店評論數(shù)據(jù)集進行實驗對比：

(1) SVM(支持向量機)。利用文本的TF-IDF特征構(gòu)建SVM模型進行實驗。

(2) NBM(樸素貝葉斯模型)。利用文本的TF-IDF特征構(gòu)建NBM模型進行實驗。

(3) Bi-LSTM。通過LSTM神經(jīng)網(wǎng)絡(luò)對文本進行前向和后向語義特征提取，并將兩個方向的最終狀態(tài)融合，再根據(jù)融合后的綜合信息進行情感計算。

(4) COCNN。文獻[26]提出了一種改進的卷積神經(jīng)網(wǎng)絡(luò)模型，利用雙通道的字和詞特征進行情感分析。

(5) CNN。利用多核卷積對文本進行多種類型的特征提取，然后將多個特征進行融合，以此進行情感分析。

(6) Uni-TCN。單向時間卷積網(wǎng)絡(luò)，僅對文本進行單向多層因果卷積計算，使用序列中最后一個時刻的狀態(tài)作為最終語義進行情感分析。

(7) Bi-TCN(雙向時間卷積網(wǎng)絡(luò))。即本文模型。

4.6 實驗結(jié)果分析

本文對比多種模型進行實驗，以模型在數(shù)據(jù)集上進行10折交叉驗證的準(zhǔn)確率為模型評價結(jié)果，具體實驗結(jié)果如表4所示。其中(c)表示以字為特征的模型的實驗結(jié)果。

表4 對比實驗結(jié)果

由表4的實驗結(jié)果可以發(fā)現(xiàn)，傳統(tǒng)機器學(xué)習(xí)算法中，樸素貝葉斯模型(NBM)的分類效果不如支持向量機(SVM)好。因為在大量數(shù)據(jù)分類情境下，文本中的詞并不是獨立存在的，詞和詞之間具有一定的相關(guān)性，而NBM將文本中的每一個詞看作條件獨立，這就忽略了詞之間的互相影響，而SVM則會將文本特征進行全面的衡量和計算。

對比傳統(tǒng)方法和神經(jīng)網(wǎng)絡(luò)方法，總體上神經(jīng)網(wǎng)絡(luò)方法要優(yōu)于傳統(tǒng)方法。傳統(tǒng)方法SVM和NBM利用文本的TF-IDF特征來進行情感分類，其特征具有較大的稀疏性。而神經(jīng)網(wǎng)絡(luò)使用稠密的詞向量來對每一個詞進行特征表達，特征更加豐富。

將Bi-TCN和其他模型相比，在4個數(shù)據(jù)集上的實驗效果而言，Bi-TCN的準(zhǔn)確率要優(yōu)于Bi-LSTM。從訓(xùn)練速度上來說，基于卷積計算的Bi-TCN要比Bi-LSTM模型具有更高的并行能力，模型的訓(xùn)練和測試都要快很多。相比COCNN和CNN，這兩個模型都使用了字和詞的特征對文本進行建模，而Bi-TCN僅僅使用了詞特征，就達到了領(lǐng)先的效果，說明了Bi-TCN具有較強的序列建模能力。對比Bi-TCN和Uni-TCN，分別用字向量和詞向量訓(xùn)練了Uni-TCN和Bi-TCN，結(jié)果表明，用字特征訓(xùn)練的效果不如詞特征好，因為從詞匯表而言，字特征數(shù)量較少，而詞特征的數(shù)量相對較多，特征更為豐富。此外，就單獨使用字特征、詞特征，Bi-TCN在數(shù)據(jù)集上的實驗效果也要比Uni-TCN好。總體上，Bi-TCN在4個數(shù)據(jù)集上的準(zhǔn)確率相比Uni-TCN分別提高了 2.5%、0.25%、2.33%和2.5%，從而證實了Bi-TCN對文本序列的建模能力更強，提高了情感分類效果。

4.7 模型性能分析和對比

除了通過情感分析任務(wù)中的實驗結(jié)果將Bi-TCN與Uni-TCN進行對比，本文還根據(jù)兩個模型在訓(xùn)練過程中的表現(xiàn)進行了性能比較。在實驗過程中，發(fā)現(xiàn)Bi-TCN對文本進行情感分析時，第一個輪次訓(xùn)練得到的準(zhǔn)確率總是比Uni-TCN更高。而且在之后的訓(xùn)練過程中，Bi-TCN對過擬合的抵抗性更強，總體能達到的效果更優(yōu)越(如圖4所示)。這就說明了雙向時間卷積網(wǎng)絡(luò)在對文本建模的過程中，對文本中關(guān)鍵特征的提取更加全面，模型的收斂速度更快。

圖4 Bi-TCN和Uni-TCN實驗結(jié)果

5 結(jié) 語

針對現(xiàn)有的時間卷積網(wǎng)絡(luò)模型對文本序列的單向性計算不能完全捕獲文本的語義表達的問題，本文提出了雙向時間卷積網(wǎng)絡(luò)的中文情感分析方法。通過對文本序列進行前向和后向的多層空洞因果卷積計算，將兩個方向上最后一個時間步的語義向量分別通過線性變化后進行融合，使用兩個方向上的綜合信息對文本進行情感分類。通過對影響雙向時間卷積網(wǎng)絡(luò)性能的參數(shù)進行實驗對比，確定了卷積層數(shù)、卷積核大小和空洞因子的參數(shù)值。在中文情感分析數(shù)據(jù)上的對比實驗表明，本文方法能夠提取更為豐富的文本特征，有效提高情感分析的效果。