楊善良

(山東理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,山東 淄博 255049)

文本情感傾向性分類在網(wǎng)絡(luò)輿情、危機(jī)公關(guān)、品牌營銷等領(lǐng)域有著廣泛應(yīng)用。網(wǎng)絡(luò)媒體上積累了大量的用戶評論數(shù)據(jù)，這些數(shù)據(jù)集中反映了網(wǎng)民對社會熱點事件、政策實施和產(chǎn)品服務(wù)的情感、態(tài)度和傾向。由于網(wǎng)絡(luò)評論數(shù)據(jù)分析具有很強的實用價值，在業(yè)界和學(xué)術(shù)界得到了深入的研究。Ye等[1]研究旅游博客數(shù)據(jù)中的情感傾向性分類問題，幫助旅游者選擇喜歡的旅游目的地。Bollen等[2]通過判斷Twitter文本的情感傾向來預(yù)測道瓊斯工業(yè)指數(shù)的漲跌。

情感傾向性分類把評論數(shù)據(jù)分成正面、負(fù)面和中性等類別，已成為自然語言處理領(lǐng)域重點研究內(nèi)容之一。在網(wǎng)絡(luò)環(huán)境下，文本表達(dá)具有不規(guī)范的特點，常使用縮略詞、網(wǎng)絡(luò)新詞，具有拼寫錯誤、語法錯誤等問題，給情感傾向性分類帶來了很大挑戰(zhàn)。解決情感傾向性分類問題的方法主要包括基于詞典的方法、傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法等。

為提高網(wǎng)絡(luò)文本情感傾向性分類的準(zhǔn)確率，研究語言知識和情感知識在模型中發(fā)揮的作用，本文提出基于文本特征和語言知識融合的卷積神經(jīng)網(wǎng)絡(luò)MI-CNN(multi-features integrated convolutional neural network)模型，把詞語、詞性、情感詞典等外部知識融合到情感傾向性分類模型。首先使用詞向量訓(xùn)練模型訓(xùn)練詞向量，加入詞性和情感詞語產(chǎn)生多種特征數(shù)據(jù)，用于消除詞語歧義和表達(dá)情感信息；然后構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，通過特征層融合和分類層融合的方法將多種特征融合到模型中；最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，評估模型情感傾向性分類效果。

1 相關(guān)研究

神經(jīng)網(wǎng)絡(luò)模型在圖像處理、語音識別和文本分析等領(lǐng)域得到了廣泛應(yīng)用，取得了比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的效果。LeCun等[3]提出經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet5，并應(yīng)用于圖像分類。在文本情感傾向性分類上，神經(jīng)網(wǎng)絡(luò)模型也取得了非常好的效果。Kim[4]最早使用卷積神經(jīng)網(wǎng)絡(luò)對句子進(jìn)行分類，將深度學(xué)習(xí)引入文本分類領(lǐng)域。Huang等[5]使用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)表達(dá)句子向量，然后再根據(jù)句子向量表達(dá)篇章向量，進(jìn)行篇章級情感分類。由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在很大程度上決定了模型的效果，學(xué)者對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了更深入的研究。例如Zhang等[6]通過融合CNN、LSTM、Attention等多種模型的優(yōu)勢來解決單個神經(jīng)網(wǎng)絡(luò)模型的缺陷，提出CCLA情感分類神經(jīng)網(wǎng)絡(luò)模型。劉敬學(xué)等[7]針對短文本分類的特點，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)CNN和長短記憶網(wǎng)絡(luò)LSTM，提出一種字符級神經(jīng)網(wǎng)絡(luò)模型。

在神經(jīng)網(wǎng)絡(luò)模型中使用詞向量表示文本信息，詞向量表示能力是影響模型效果的重要因素。2013年由Google發(fā)布的詞向量訓(xùn)練工具Word2vec實現(xiàn)了CBOW和Skip-Gram兩個詞嵌入模型[8-9]，成為在自然語言處理領(lǐng)域使用深度學(xué)習(xí)模型的基礎(chǔ)。根據(jù)情感傾向性分類表達(dá)情感信息的需求，研究者對詞向量訓(xùn)練模型進(jìn)行了改進(jìn)。例如Tang等[10]使用情感詞嵌入模型SSWE訓(xùn)練詞向量，以提高情感傾向性分類模型效果。Xiong等[11]使用情感詞典和遠(yuǎn)距離監(jiān)督信息訓(xùn)練包含情感信息的詞向量。何鴻業(yè)等[12]使用詞語和詞性拼接，然后訓(xùn)練Word-Pos向量，消除詞語歧義，提高詞向量文本表示能力。

文本情感特征表示和使用對情感傾向性分類效果起到重要作用，學(xué)者研究了多種情感特征及其組合方法。梁斌等[13]針對特定目標(biāo)情感分析任務(wù)，提出多注意力卷積神經(jīng)網(wǎng)絡(luò)模型，模型中使用詞語、詞性和詞位置等3種注意力特征矩陣。陳珂等[14]針對中文微博情感分析任務(wù)，提出多通道卷積神經(jīng)網(wǎng)絡(luò)模型，融合詞語、詞性、詞位置等多種情感信息特征。杜慧等[15]在對象級情感分類中使用詞性信息和對象注意力機(jī)制，提出融合詞性和注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型。

文本情感傾向性分類是自然語言處理領(lǐng)域的重要任務(wù)之一，神經(jīng)網(wǎng)絡(luò)模型在情感分類問題上取得了成功，但是關(guān)于文本特征表示、語言知識表示、情感知識表示以及多特征融合等問題的研究仍不充分。本文在詞向量表示的基礎(chǔ)上，增加詞性信息和情感詞語信息等外部知識；然后改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，在特征層和分類層融合多種特征，以提高情感傾向性分類效果。使用詞嵌入模型訓(xùn)練詞語向量WV(word vector)，詞語向量能夠表示詞語的上下文信息和語義信息；使用詞語和詞性拼接后訓(xùn)練詞語詞性向量PoSV(part of speech vector)，使用不同向量表示同一詞語的不同詞性，避免了部分詞語歧義問題；使用情感詞語和文本情感標(biāo)簽訓(xùn)練情感詞向量SWV(sentiment word vector)，SWV能夠表達(dá)詞語的情感信息。將多種特征融入到神經(jīng)網(wǎng)絡(luò)模型中，以提高卷積神經(jīng)網(wǎng)絡(luò)情感分類模型的效果。

2 文本特征表示

詞向量是神經(jīng)網(wǎng)絡(luò)語言模型中重要的文本特征表示形式，通過詞向量訓(xùn)練模型得到詞向量表示。本文在詞語特征的基礎(chǔ)上，增加詞性特征和情感特征。使用神經(jīng)網(wǎng)絡(luò)語言模型訓(xùn)練詞語、詞性和情感詞3種特征向量，使用詞嵌入模型訓(xùn)練語料數(shù)據(jù)得到詞語向量WV，在詞性信息的基礎(chǔ)上訓(xùn)練得到詞性向量PoSV，在情感詞典和情感標(biāo)簽等外部知識的基礎(chǔ)上訓(xùn)練得到情感詞向量SWV。

2.1 詞語特征

神經(jīng)網(wǎng)絡(luò)語言模型在詞語信息表示上發(fā)揮著重要作用。詞語是組成句子的基本單元，反映了評論文本的基本信息，是最重要的文本特征；詞語特征向量表達(dá)了詞語的語義信息，本文采用連續(xù)詞袋模型CBOW(continue bag of word)[10]訓(xùn)練語料得到。CBOW模型根據(jù)當(dāng)前詞語的上下文預(yù)測當(dāng)前詞語，模型結(jié)構(gòu)如圖1所示，包括輸入層、投影層和輸出層三層結(jié)構(gòu)。假設(shè)當(dāng)前詞語表示為向量wi∈Rm，m是向量維度，輸入層是當(dāng)前詞語的上下文，選取上下文窗口大小為c，上下文詞語序列表示為context(wi) = [wi-c,wi-c+1,…,wi+c-1,wi+c]；投影層是輸入層上下文詞向量的累加和或求平均，這里使用累加操作，累加計算如式(1)所示；輸出層使用Hierarchical softmax計算當(dāng)前詞語出現(xiàn)的概率p(wi|context(wi))。使用對數(shù)似然函數(shù)作為CBOW模型的目標(biāo)函數(shù)，如式(2)所示，其中W是訓(xùn)練樣本中包含的所有詞語。在CBOW模型上訓(xùn)練語料數(shù)據(jù)，得到包含語義信息和上下文信息的詞語特征向量。

wsum=∑wj∈context(wi)wj,

(1)

L=∑wi∈Wlbp(wi|context(wi))。

(2)

圖1 CBOW模型結(jié)構(gòu)Fig.1 Model structure diagram of CBOW

2.2 詞性特征

詞性是詞語在文本中表現(xiàn)出來的重要語言知識，詞性特征向量在詞語特征向量的基礎(chǔ)上加入詞性信息，用于解決詞語表現(xiàn)出不同詞性時出現(xiàn)的歧義問題。使用CBOW模型訓(xùn)練得到的詞向量，一個詞語使用一個詞向量表示。但是詞語經(jīng)常存在一詞多義的現(xiàn)象，也就是同一個詞語在不同的語境下表達(dá)的語義不同，這種情況下就會出現(xiàn)歧義。例如“員工的新制服非常漂亮。”和“警察制服了歹徒?！保@兩句話里面都有“制服”一詞，但是其表達(dá)的詞義完全不同。使用詞性可以區(qū)分一詞多義現(xiàn)象，第一個句子中的“制服”是名詞，表示統(tǒng)一制式的衣服；第二個句子中的“制服”是動詞，表示用武力馴服。

本文使用詞性緩解詞語歧義問題，將詞語與詞性拼接后形成“詞語_詞性”字符串。然后使用CBOW模型訓(xùn)練詞向量，將詞性信息編碼到向量中，同一個詞語的不同詞性使用不同向量表示。例如上述示例中的詞語“制服”，詞性特征向量w11表示“制服_動詞”，w12表示“制服_名詞”。當(dāng)同一個詞語在語境中的詞性不同時，w11和w12能有效解決詞語歧義問題。

2.3 情感特征

情感特征在情感傾向性分類中是重要的信息，文本表達(dá)的情感傾向多由其中包含的情感詞語決定，但是在詞向量訓(xùn)練模型CBOW中沒有考慮情感信息。本文設(shè)計能夠?qū)W習(xí)詞語情感信息的特征向量訓(xùn)練模型，即情感特征向量模型。使用情感詞典和情感標(biāo)簽作為情感特征向量模型的監(jiān)督信息，然后使用模型預(yù)測每個詞語的情感傾向性，以及預(yù)測詞語所在上下文的情感標(biāo)簽，最后通過聯(lián)合訓(xùn)練優(yōu)化模型參數(shù)，得到包含情感信息的情感特征向量。情感特征向量訓(xùn)練模型結(jié)構(gòu)如圖2所示，包含輸入層、全連接層、tanh層和輸出層四層結(jié)構(gòu)。輸入層是當(dāng)前詞語的上下文，選擇上下文窗口大小為k，上下文詞語序列表示為w= [wi-k,wi-k+1,…,wi+k-1,wi+k]；全連接層對上下文詞向量做線性變換，如式(4)所示；tanh層使用雙曲函數(shù)對全連接層做非線性變換，如式(5)所示；輸出層使用softmax函數(shù)計算當(dāng)前詞語在情感傾向性類別上的概率分布，計算方法如式(6)所示。公式中Wl1、Wl2、bl1、bl2是網(wǎng)絡(luò)模型參數(shù)。使用情感詞典和語料訓(xùn)練模型得到情感特征向量。

input=embedding(w)，

(3)

outputl1=input·Wl1+bl1，

(4)

outputtanh=tanh (outputl1)，

(5)

y=softmax(outputtanh·Wl2+bl2)。

(6)

圖2 情感詞向量訓(xùn)練模型結(jié)構(gòu)Fig.2 The diagram of sentiment word embedding training model

3 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)CNN被廣泛應(yīng)用于圖像處理、語音識別、文本分析等領(lǐng)域，在情感傾向性分類任務(wù)上也取得了非常好的效果。為了充分利用文本數(shù)據(jù)中的情感信息，提高情感傾向性分類準(zhǔn)確率，本文提出基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN。模型使用詞語特征向量、詞性特征向量和情感詞特征向量作為特征數(shù)據(jù)，然后使用卷積神經(jīng)網(wǎng)絡(luò)處理特征數(shù)據(jù)，最后預(yù)測文本的情感傾向性類別。

3.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由Hubel和Wiesel于1962年提出，經(jīng)過多年的發(fā)展演變，目前已經(jīng)是深度學(xué)習(xí)領(lǐng)域重要的網(wǎng)絡(luò)結(jié)構(gòu)。在自然語言處理領(lǐng)域所使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，由輸入層、卷積層、池化層、全連接層和輸出層等組成。輸入層將詞語映射成詞向量輸入到神經(jīng)網(wǎng)絡(luò)模型中，詞向量通過預(yù)訓(xùn)練模型得到。這里輸入層的數(shù)據(jù)為x(x1,x2,...,xn)，其中xi∈Rk表示語句中第i個詞語的詞向量，向量維度為k。卷積層使用卷積核對輸入數(shù)據(jù)進(jìn)行操作，卷積核權(quán)重矩陣W∈Rh,k，其中h為卷積窗口處理詞語的數(shù)量，卷積操作的計算方法如式(7)所示，其中f為激活函數(shù)，xi:i+h-1表示從第i到第i+h-1個詞語，b表示偏執(zhí)量。經(jīng)過單個卷積核操作后得到特征向量c(c1,c2,...,cn-h+1)，c的維度為n-h+1。

ci=f(w·xi:i+h-1+b)。

(7)

c′=max(c)。

(8)

全連接層將特征向量映射到向量z(zj)上，并輸入分類器進(jìn)行分類。使用邏輯回歸方法進(jìn)行分類，根據(jù)softmax公式得到各個類別的概率分布p(yi|z;θ)，如式(9)和(10)所示，其中θ為變量參數(shù)，bj為偏置參數(shù)，yi為分類類別。輸出層輸出概率最大的分類類別作為預(yù)測值。

sθ(yi)=∑zj∈z(zj·θij+bj)，

(9)

p(yi|z;θ)=esθ(yi)/∑yi∈yesθ(yi)。

(10)

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of convolutional neural network

3.2 情感傾向性分類模型

在基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN中分別采用特征層融合和分類層融合兩種融合方法，形成特征層融合模型MI-CNN-F和分類層融合模型MI-CNN-C。特征層融合模型MI-CNN-F先融合特征再使用卷積神經(jīng)網(wǎng)絡(luò)處理，結(jié)構(gòu)如圖4所示。首先對多種特征向量進(jìn)行組合，輸入詞語向量WV、詞性向量PoSV和情感詞向量SWV，拼接后得到綜合特征向量，然后進(jìn)行卷積層和池化層操作，最后使用全連接層和分類器進(jìn)行情感分類。MI-CNN-F模型結(jié)構(gòu)包括6個部分。

圖4 特征層融合模型MI-CNN-F網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The network structure of features fusion model MI-CNN-F

1)輸入層，接收詞語特征向量、詞性特征向量和情感詞特征向量，輸入到卷積神經(jīng)網(wǎng)絡(luò)模型。

2)拼接層，將多種特征向量進(jìn)行拼接組合，形成整體特征向量。

3)卷積層，對特征數(shù)據(jù)使用多個卷積核進(jìn)行卷積操作，卷積核的寬度為特征向量維度，高度分別設(shè)置為1、2、3，每個卷積核提取出一組特征向量。

4)池化層，對每個卷積核得到的特征向量進(jìn)行最大池化操作，通過池化操作獲取每組特征向量的重要信息。

5)全連接層，使用全連接層連接全局特征向量和情感類別，通過權(quán)重矩陣學(xué)習(xí)特征向量和情感類別之間的非線性關(guān)系。

6)輸出層，使用softmax函數(shù)輸出概率最大的情感類別。

在模型中使用線性整流函數(shù)ReLU作為卷積層中的激活函數(shù)，卷積操作的計算如式(11)所示，其中h為卷積窗口的長度。

ci=ReLU(w·xi:i+h-1+b)。

(11)

(12)

在經(jīng)過全連接層處理后，得到長度為類別數(shù)量的向量，根據(jù)softmax函數(shù)計算的概率分布得到最后的分類結(jié)果。使用隨機(jī)梯度下降法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練模型過程中使用交叉熵作為模型的損失函數(shù)。

分類層融合模型MI-CNN-C將在卷積神經(jīng)網(wǎng)絡(luò)處理之后，再將多種特征的處理結(jié)果進(jìn)行拼接融合。模型結(jié)構(gòu)如圖5所示。首先將特征向量輸入到卷積層和池化層進(jìn)行處理，然后通過拼接層融合多種特征的處理結(jié)果，最后使用全連接層和分類器進(jìn)行情感分類。MI-CNN-C模型同樣包含6個部分，每個部分的計算方法和特征層融合模型類似。

圖5分類層融合模型MI-CNN-C網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The structure of classification level fusion model MI-CNN-C

4 實驗

4.1 數(shù)據(jù)集

實驗中采用中國科學(xué)院譚松波整理的酒店評論語料數(shù)據(jù)集，簡稱Hoteldata。數(shù)據(jù)集包含重復(fù)數(shù)據(jù)，經(jīng)過去重處理，得到的酒店評論數(shù)據(jù)集包含2 296 篇正面評論和2 435 篇負(fù)面評論，總共4 731 篇評論。

4.2 實驗指標(biāo)

評價指標(biāo)采用準(zhǔn)確率Precision、召回率Recall和F-score，其計算如式(13)、(14)、(15)所示。其中TP是分類結(jié)果中正確的數(shù)量，F(xiàn)P是分類結(jié)果中錯誤的數(shù)量，F(xiàn)N是該類樣本數(shù)據(jù)集中未被正確分類的數(shù)量。F-score是綜合考慮準(zhǔn)確率和召回率的調(diào)和值，反映了模型的整體效果。

(13)

(14)

(15)

4.3 特征組合比較

MI-CNN模型在文本特征的基礎(chǔ)上，增加了詞性和情感詞語等語言知識作為輸入數(shù)據(jù)，增強了文本語義信息和情感信息，該實驗通過調(diào)整輸入特征數(shù)量和組合來檢驗?zāi)Ｐ偷那楦蟹诸愋ЧＪ褂迷~語向量WV、詞性向量PoSV和情感詞向量SWV等3種特征進(jìn)行組合得到WV、PoSV、SWV、WV+PoSV、WV+SWV和WV+PoSV+SWV等6種特征組合形式。

特征層融合模型MI-CNN-F的特征融合實驗結(jié)果見表1。從表1可以看出，詞語特征、詞性特征和情感詞特征的組合方式WV+PoSV+SWV取得了最好的情感分類結(jié)果，該組合的正面類別F值達(dá)到89.9%，負(fù)面類別F值達(dá)到90.7%，宏平均F值達(dá)到90.3%，高于其他特征組合方式，說明多種特征組合能夠提高分類效果。使用單個特征作為輸入的情況下，情感詞向量SWV的F值為89.4%，高于詞語向量和詞性向量，說明情感特征在情感分類任務(wù)中發(fā)揮重要作用。

表1 MI-CNN-F模型特征組合實驗結(jié)果Tab.1 The experiment result of MI-CNN-F with different features combination 單位：%

分類層融合模型MI-CNN-C的特征融合實驗結(jié)果見表2。從表2可以看出，詞語特征、詞性特征和情感詞特征的組合方式WV+PoSV+SWV取得了最好的情感分類結(jié)果，明顯高于其他單個特征或兩個特征的組合方式。3種特征組合的正面類別F值達(dá)到92.8%，負(fù)面類別F值達(dá)到93.2%，宏平均F值達(dá)到93.0%，高于其他特征組合方式，說明在分類層融合模型中組合多種特征能夠提高分類效果。

實驗驗證了在文本特征的基礎(chǔ)上，加入詞性特征和情感詞特征等外部語言知識，能夠有效地提高卷積神經(jīng)網(wǎng)絡(luò)情感分類模型的準(zhǔn)確率。

表2 MI-CNN-C模型特征組合實驗結(jié)果Tab.2 The experiment result of MI-CNN-C with different features combination 單位：%

4.4 融合方法比較

在MI-CNN模型中使用了特征層融合和分類層融合兩種融合方法。通過對比表1和表2 MI-CNN-F和MI-CNN-C兩個模型的實驗結(jié)果，研究合適的特征融合方式。在WV+PoSV+SWV特征組合數(shù)據(jù)上進(jìn)行實驗，MI-CNN-C的宏平均F值比MI-CNN-F模型提高了2.7%。說明采用分類層特征融合方式的效果更好。

4.5 模型比較

為了驗證所提出的MI-CNN 模型的有效性，和相關(guān)文獻(xiàn)中的多種模型進(jìn)行比較。從情感分析相關(guān)文獻(xiàn)中選擇使用譚松波酒店評論數(shù)據(jù)集作為實驗數(shù)據(jù)的研究作為基準(zhǔn)模型，包括LSA-SVM[16]、情感詞典模型[17]、HGSD[18]、W2V-Att-CNN[19]等4種。將本文模型MI-CNN-C的最優(yōu)結(jié)果作為文本特征和語言知識融合的結(jié)果。各種模型的準(zhǔn)確率、召回率和F值的結(jié)果見表3。從表3可以看出，本文模型的F值均高于其他基準(zhǔn)模型，驗證了文本特征和語言知識融合的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性。

表3 模型對比試驗結(jié)果表 Tab.3 The result of comparative experiment 單位:/%

5 結(jié)束語

本文提出了融合多種特征的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN，將文本特征和語言知識融入情感分類模型中。在酒店評論數(shù)據(jù)集上進(jìn)行了實驗，實驗結(jié)果表明了本文模型的有效性。該模型探索了在神經(jīng)網(wǎng)絡(luò)模型中融入外部語言知識的方法，為多特征融合提供了有效形式，并在情感傾向性分析任務(wù)上進(jìn)行了實驗驗證。在以后的研究中，將繼續(xù)研究文本情感特征表示方法和注意力機(jī)制在該模型結(jié)構(gòu)上的應(yīng)用，進(jìn)一步提高情感傾向性分類模型的準(zhǔn)確性。