王 義,沈 洋,戴月明

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

0 概述

文本情感分析主要是通過對文本中前后內(nèi)容的學(xué)習(xí)來判定該文本所對應(yīng)的情感極性。對于傳統(tǒng)的淺層模型而言,由于其特征表示方法限制,使得詞與詞之間相互獨(dú)立,且擬合能力有限,因此會丟失較多的語言特征,無法充分學(xué)習(xí)上下文信息,而詞向量的出現(xiàn),為深度學(xué)習(xí)在自然語言處理領(lǐng)域的應(yīng)用提供了技術(shù)基礎(chǔ)。

文獻(xiàn)[1]將循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)用于文本情感分析,該方法在影評數(shù)據(jù)集上的分類性能比支持向量機(jī)(Support Vector Machine,SVM)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)有5%的提高。文獻(xiàn)[2]建立將CNN用于句子分類,其模型主要分為4層:第1層為輸入層,用詞向量順序排列表示模型的輸入;第2層為卷積層,通過設(shè)置多個卷積核來學(xué)習(xí)詞與詞之間的關(guān)系;第3層為池化層,采用最大池化技術(shù)進(jìn)行特征篩選,得到其中最重要信息;第4層為帶有全連接的softmax層,用以計算每個類別的概率。實(shí)驗(yàn)結(jié)果證明將卷積神經(jīng)網(wǎng)絡(luò)用于情感分析任務(wù)是有效的,但文獻(xiàn)[2]模型主要針對英文語料進(jìn)行處理。文獻(xiàn)[3]提出一種Seq_CNN模型,該模型以O(shè)ne-hot文本表示方法作為CNN通道的輸入,但由于One-hot方法會導(dǎo)致數(shù)據(jù)維度過高,使得情感分類的效果不佳。文獻(xiàn)[4]提出了雙通道CNN模型,區(qū)別于傳統(tǒng)的CNN模型,該模型使用詞向量以及字向量2個通道作為CNN模型的輸入。文獻(xiàn)[5]提出以CNN的卷積層作為圖像的特征提取層,將SVM分類器用于分類。CNN在文本情感分析中的實(shí)踐和應(yīng)用基本以單通道輸入為主,這種單通道的輸入會導(dǎo)致CNN模型的學(xué)習(xí)能力單一,無法充分學(xué)到語義信息。由于圖像分別是由RGB 3個顏色的通道結(jié)合而成,因此CNN模型的多通道輸入主要應(yīng)用于計算機(jī)視覺方面。文獻(xiàn)[6]則采用了動態(tài)和靜態(tài)2個詞向量的雙通道作為CNN模型的輸入。

結(jié)合中文文本的復(fù)雜性，本文構(gòu)建細(xì)粒度多通道的卷積神經(jīng)網(wǎng)絡(luò)模型FG_MCCNN用于文本情感分析。以詞性對向量和細(xì)粒度字向量輔助原始詞向量作為模型的輸入，使用原始詞向量捕獲句子間語義信息。通過詞性對向量進(jìn)行詞義消歧，利用細(xì)粒度字向量得到句子更深層次的信息，同時選用不同尺寸的卷積核學(xué)習(xí)更優(yōu)質(zhì)的語義信息，以提高情感分類效果。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的一種重要網(wǎng)絡(luò),是基于人工神經(jīng)網(wǎng)絡(luò)的經(jīng)典前饋神經(jīng)網(wǎng)絡(luò)[7]。卷積神經(jīng)網(wǎng)絡(luò)自提出以來,在模式識別領(lǐng)域得到廣泛應(yīng)用,引起了學(xué)術(shù)界和工業(yè)屆學(xué)者的巨大關(guān)注[8]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,大量研究將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到自然語言處理中[9]。

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要由輸入層、卷積層、池化層、全連接層和輸出層組成[10]。其中,一般文本在輸入層轉(zhuǎn)化為Embedding,然后接入卷積層,通過卷積層來提取句子的特征,并通過池化層進(jìn)行特征采樣,一般采用下采樣獲得局部最優(yōu)值,從而減少網(wǎng)絡(luò)的規(guī)模[11]。由于CNN可以學(xué)習(xí)中文句子中的抽象特征并且不需要人工干預(yù)[12],得到的特征可以直接作為分類器的輸入,而且利用CNN的多層結(jié)構(gòu)可以發(fā)現(xiàn)句子內(nèi)部更高層次的抽象特征[13],并且在一定時間范圍內(nèi)完成訓(xùn)練,因此卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中取得了較好的應(yīng)用效果[14]。

2 細(xì)粒度的多通道卷積神經(jīng)網(wǎng)絡(luò)模型

2.1 詞向量

在中文文本中,詞語的表達(dá)語義是基本單元[15]。基于傳統(tǒng)的文本特征表示方法只是停留在詞語的表層進(jìn)行處理,如One-hot的基本假設(shè)就是詞之間的語義和語法關(guān)系是相互獨(dú)立的,一方面無法捕捉到詞與詞之間的相似度[16],另一方面也存在維度爆炸問題,隨著詞典規(guī)模的增加,詞袋模型的維度變得越來越大,矩陣也變得超稀疏[17],從而導(dǎo)致耗費(fèi)大量計算資源。而詞向量的出現(xiàn),有效解決了文本特征表示的相關(guān)問題[18]。所謂的詞向量就是采用神經(jīng)網(wǎng)絡(luò)來訓(xùn)練語言模型,并在訓(xùn)練中生成的一組向量。本文利用word2vec工具來訓(xùn)練文本詞向量模型。詞向量模型是考慮詞語位置關(guān)系的一種模型,其利用大量語料數(shù)據(jù)集的訓(xùn)練,將每個詞語映射到高維度的向量中,并且通過計算余弦判斷2個詞語之間的相似度[19]。由于卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時的參數(shù)量較大,因此容易導(dǎo)致訓(xùn)練出的模型過擬合。針對該問題,本文使用預(yù)先訓(xùn)練的詞向量作為輸入。

2.2 字向量

與英文文本不同,中文文本在訓(xùn)練前需要進(jìn)行分詞的預(yù)處理操作[20]。常用的分詞工具有很多,然而這些分析工具不可避免地會存在一些分詞不準(zhǔn)確的問題。例如:“最近上映的電視劇大長今很火”分詞后為“最近/上映/的/電視劇/大長/今/很/火”;“這幢建筑高大上”分詞后為“這幢/建筑/高大/上”。在這兩句中,“大長今”“高大上”均為一個詞,然而經(jīng)過分詞后,切分為了“大長/今”“高大/上”,導(dǎo)致分詞后改變了詞的原義。這種情況主要來自于各類的專有名詞,如人名、地名、縮寫詞、新增詞等。為減少分詞不準(zhǔn)確對文本情感分析的影響,本文采用細(xì)粒度的字符劃分方法,并用字向量作為模型的另一個通道的輸入,用以輔助詞向量學(xué)習(xí)深層次的語義信息。

2.3 詞性對向量

詞向量模型能夠?qū)⒅形奈谋镜膯卧~映射為底維向量,避免傳統(tǒng)BOW模型采用的One-hot編碼帶來的維度災(zāi)難[21]。在中文文本情感分析中,由于中文存在大量多義詞,例如“他作為學(xué)生代表發(fā)表了講話”“他代表小王參加比賽”,在這兩句話中都存在“代表”一詞,前一句中的“代表”是名詞,后一句中的“代表”則是動詞,這種現(xiàn)象在中文文本中極為常見，但傳統(tǒng)詞向量模型在訓(xùn)練時無法識別單詞的歧義,當(dāng)詞向量作為模型的輸入時會產(chǎn)生噪音。因此,本文假設(shè)一條長度為n的評論X={x1,x2,…,xn},利用詞性標(biāo)注技術(shù)獲取分詞后詞語的詞性P={p1,p2,…,pn},將詞語與該詞語詞性進(jìn)行結(jié)合,得到詞性對序列W={(x1,p1),(x2,p2),…,(xn,pn)}。例如(代表,名詞)、(代表,動詞),將該序列作為詞向量訓(xùn)練模型的輸入,得到相應(yīng)的詞性對向量。本文將詞向量與詞性對向量共同作為模型的輸入,一方面利用詞向量保證模型可以學(xué)習(xí)到充分的語義間信息,另一方面以詞性對向量輔助詞向量避免多義詞對詞向量的噪聲影響,從而改善文本情感分類的效果。詞性標(biāo)注實(shí)例如下:

例1他 r;作為 v;學(xué)生 n;代表 n;發(fā)表 v;了 ul;講話 n。

例2他 r;代表 n;小王 nr;參加 v;比賽 vn。

2.4 FG_MCCNN模型

本文建立的FG_MCCNN模型主要包含以下3個部分:

1)使用京東等一些電商大平臺的大量評論進(jìn)行字向量和詞向量的訓(xùn)練,以獲得高質(zhì)量的詞向量。使用詞向量、字向量以及詞性對向量作為模型3個通道的輸入,使用字向量和詞性對向量輔助詞向量,詞向量可以更好地學(xué)習(xí)語義信息,細(xì)粒度的字向量更能刻畫文本的基本特征,詞性對向量則可以有效減少多義詞的噪聲影響。相同詞向量由于語言模型的不同,詞與詞之間的相關(guān)性也不同,因此在卷積層采用不同尺寸的卷積核進(jìn)行卷積操作,學(xué)習(xí)語句內(nèi)部更深層次的特征,確保在不同通道可以獲取相應(yīng)的局部特征。

2)池化層采用最大池化進(jìn)行特征篩選,最大池化可以使得在輸入不同長度文本的情況下得到相同的輸出長度。

3)在文本情感分析任務(wù)中,為避免傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的全連接層參數(shù)太大,導(dǎo)致過擬合的問題,FG-MCCNN模型直接使用最大池化后的特征作為分類器的輸入,并輸出文本情感分析分類的概率。

本文構(gòu)建的細(xì)粒度多通道卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1 FG_MCCNN模型結(jié)構(gòu)

2.5 FG_MCCNN模型構(gòu)建

細(xì)粒度的多通道卷積神經(jīng)網(wǎng)絡(luò)模型FG_MCCNN主要有以下4個部分組成:

1)輸入層

采用word2vec訓(xùn)練詞向量、字向量以及詞性對向量,并通過預(yù)訓(xùn)練的詞向量減少參數(shù)量過大的影響,以防止過擬合。假設(shè)詞向量的維度為K,則一條長度為n的評論句可以描述為:

X1:n=X1⊕X2⊕…⊕Xn

(1)

根據(jù)2.3節(jié)中詞性對向量的表示方法W={(x1,p1),(x2,p2),…,(xn,pn)},詞性對向量的輸入可描述為:

W1:n=W1⊕W2⊕…⊕Wn

(2)

2)卷積層

在文本情感分析中,卷積層的作用在于利用窗口滑動即卷積操作來提取文本數(shù)據(jù)的局部特征。一般采用h×k維大小的卷積核進(jìn)行卷積操作,其中h為卷積核的高度,n為詞向量的維度。為盡可能捕獲更多的上下文信息,一般會設(shè)置多組高度不同的卷積核進(jìn)行操作,但隨著卷積核的增加,訓(xùn)練效率會隨之下降,因此,本文選擇使用3組卷積核,分別為h=3、h=5、h=7用來對輸入的詞向量D1、字向量D2以及詞性對向量D3進(jìn)行卷積運(yùn)算,計算公式如下:

Chi=f(WhXi:i+h-1+b),h=3,5,7

(3)

(4)

當(dāng)卷積核在長度為n的文本上滑動時,本文設(shè)置卷積步長S=1,因此,當(dāng)卷積核在長度為n的文本評論中滑動完成后,可得到n-h+1個輸出,最終得到的特征向量C為:

C=Ch,1,Ch,2,…,Ch,n-h+1,h=3,5,7

(5)

3)池化層

池化層主要負(fù)責(zé)對卷積層獲得的特征進(jìn)行二次篩選,同時輸出一個固定大小的矩陣,降低輸出結(jié)果的維度。由于在卷積層的計算中使用了不同尺寸的卷積核,會導(dǎo)致通過卷積層計算后得到的向量維度會不一致,因此在池化層的過程中,采用最大池化,即將每個特征向量最大池化成一個值,也就是選取每個特征向量的最大值用來表示該特征,而且認(rèn)為這個最大值表示的是最重要的特征。假設(shè)C(2)為經(jīng)過不同卷積核最大池化后的特征向量圖,其計算公式如下:

C(2)=max(Ch,1,Ch,2,…,Ch,n-h+1),h=3,5,7

(6)

假設(shè)每組的卷積核的數(shù)量為m,最后池化層的輸出為C(3),則C(3)可以表示為:

(7)

4)合并層

由于本文采用三通道的輸入,需要將3個通道D1～D3經(jīng)過最大池化提取的特征向量進(jìn)行合并,從不同通道捕獲更多信息。假設(shè)最終的文本特征向量集合為C(4),可表示為:

(8)

2.6 FG_MCCNN模型訓(xùn)練

(9)

(10)

由此可知,當(dāng)目標(biāo)函數(shù)LLoss最小,函數(shù)的損失值接近0時,訓(xùn)練樣本的值和實(shí)際輸出值之間就越接近。同時,本文模型訓(xùn)練使用Adam算法最小化目標(biāo)函數(shù),并且利用反向傳播算法進(jìn)行實(shí)時參數(shù)的更新。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)語料集

本文所采用的語料集主要包含手機(jī)、電腦等相關(guān)產(chǎn)品的中文評論,以及譚松波老師所整理的當(dāng)當(dāng)網(wǎng)書評以及酒店評價等。經(jīng)過數(shù)據(jù)的整合后,共采用25 000條評論,其中包含12 500條正向評論和12 500條負(fù)向評論。本文所采用的數(shù)據(jù)集網(wǎng)址為https://pan.baidu.com/s/1o9pYXYi。此外,為驗(yàn)證模型的有效性,本文將數(shù)據(jù)集中的80%作為訓(xùn)練語料集,20%作為測試語料集。FG_MCCNN模型的參數(shù)設(shè)置如表1所示。

表1 FG_MCCNN模型參數(shù)設(shè)置

3.2 實(shí)驗(yàn)步驟

本文采用預(yù)訓(xùn)練的詞向量和字向量進(jìn)行卷積計算,具體的實(shí)驗(yàn)步驟如下:

1)對原始文本采用jieba分詞以及去除停用詞操作。此外,為訓(xùn)練詞性對向量,對文本進(jìn)行詞性標(biāo)注以獲取相對性詞性對。

2)使用word2vec預(yù)訓(xùn)練詞向量以及詞性對向量,訓(xùn)練的語料選用爬蟲獲得的京東、美的等各大電商的評論數(shù)據(jù)。

3)將分詞后的結(jié)果轉(zhuǎn)換為詞序列以及詞性對序列,使每個詞都有相應(yīng)的索引值。

4)將具有唯一索引的詞序列以及詞性對序列輸入到詞向量以及詞性對向量表中,找出相對應(yīng)的詞向量和詞性對向量作為本文模型2個通道的輸入。

5)將原始文本處理為單個字符。

6)使用word2vec預(yù)訓(xùn)練字向量。

7)將分詞后的字符轉(zhuǎn)化為具有相應(yīng)索引值的字符序列。

8)將具有唯一索引值的字符序列輸入到字向量表中,找到對應(yīng)的字向量,生成相應(yīng)的矩陣作為模型另一個通道的輸入。

9)使用式(8)所示的目標(biāo)函數(shù)訓(xùn)練模型。

10)基于測試語料集測試模型性能并對結(jié)果進(jìn)行分析。

3.3 結(jié)果分析

對比實(shí)驗(yàn)1為驗(yàn)證FG-MCCNN模型的有效性,本文將其與以下經(jīng)典模型進(jìn)行對比:

1)邏輯回歸模型(LR):使用word2vec訓(xùn)練詞向量,用邏輯回歸分類器進(jìn)行文本情感分類。

2)靜態(tài)詞向量模型(Static_CNN):模型訓(xùn)練時,詞向量維持不變。

3)非靜態(tài)詞向量模型(Non_Static_CNN):模型訓(xùn)練時,詞向量會進(jìn)行微調(diào)。

4)雙通道卷積神經(jīng)網(wǎng)絡(luò)模型(DC_CNN):采用雙通道即用非靜態(tài)詞向量和靜態(tài)詞向量2個通道進(jìn)行卷積計算。

5)One_Hot_CNN模型:采用One_hot作為CNN模型的輸入進(jìn)行卷積計算。

6)CNN+SVM模型:利用CNN進(jìn)行特征提取,利用SVM分類器進(jìn)行文本情感分類。

本文主要采用準(zhǔn)確率以及F1值作為評價指標(biāo)衡量各個模型的效果,針對實(shí)驗(yàn)結(jié)果,選取測試集準(zhǔn)確率最高的作為相應(yīng)模型的準(zhǔn)確率和F1值,如表2所示。

表2 FG_MCCNN模型與經(jīng)典模型的分類性能對比

從表2可以看出,與其他模型相比,FG_MCCNN在F1值和準(zhǔn)確率上具有優(yōu)勢,分別為0.955和0.956,其中Non_Static_CNN相對于Static_CNN取得了較好的分類效果,說明微調(diào)的詞向量有助于提高分類效果,DC_CNN取得了僅次于FG_MCCNN的效果,而One_Hot_CNN與CNN+SVM的F1值以及準(zhǔn)確率相對較低,這主要由于SVM對于卷積操作后所產(chǎn)生的大量特征的學(xué)習(xí)能力不強(qiáng),而One_Hot_CNN的輸入特征則忽略了評論句的語義信息。本文的FG_MCCNN模型在F1和正確率上相較于DC_CNN提高了0.015和0.014,其通過引入細(xì)粒度的字向量以及詞性對向量增強(qiáng)了模型的學(xué)習(xí)能力。

對比實(shí)驗(yàn)2為驗(yàn)證FG_MCCNN模型的性能,本文分別采用字向量的單通道卷積神經(jīng)網(wǎng)絡(luò)模型(Word_CNN)、詞向量的單通道卷積神經(jīng)網(wǎng)絡(luò)模型(Char_CNN)以及詞性對向量的單通道卷積神經(jīng)網(wǎng)絡(luò)模型(WP_CNN)進(jìn)行對比實(shí)驗(yàn),在不同迭代次數(shù)下,各個模型的分類正確率和F1值如圖2和圖3所示。

圖2 FG_MCCNN模型與單通道CNN模型的正確率對比

圖3 FG_MCCNN模型與單通道CNN模型的F1值對比

由圖2以及圖3可以看出,FG_MCCNN模型與單通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,正確率和F1值均有明顯的提高。與基于詞向量和詞性對向量的單通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,FG_MCCNN模型在正確率和F1值這兩個指標(biāo)上均提高了約1%左右,與基于字向量的單通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,FG_MCCNN算法在這兩個指標(biāo)上均提升了約1.5%。實(shí)驗(yàn)結(jié)果表明,FG_MCCNN算法通過整合不同通道獲取的特征信息,使得模型學(xué)習(xí)到更有豐富的信息,從而得到比單通道模型更好的結(jié)果。

對比實(shí)驗(yàn)3為進(jìn)一步驗(yàn)證FG_MCCNN模型的性能,本文設(shè)計3組雙通道對比實(shí)驗(yàn),分別采用詞向量與字向量的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型(Word_char_CNN)、詞向量與詞性對向量的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型(Word_WP_CNN )以及字向量與詞性對向量結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)模型(Char_WP_CNN)3組雙通道實(shí)驗(yàn),進(jìn)行實(shí)驗(yàn)結(jié)果進(jìn)行比較,選取不同的迭代次數(shù),對比實(shí)驗(yàn)結(jié)果如圖4和圖5所示。

圖4 FG_MCCNN模型與雙通道CNN模型的正確率對比

圖5 FG_MCCNN模型與雙通道CNN模型的F1值對比

由圖4和圖5可以看出,FG_MCCNN模型相對于其他3種雙通道組合的卷積神經(jīng)網(wǎng)絡(luò)算法,性能均有小幅度的提升:與基于詞向量和詞性對向量的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,正確率和F1值提升約0.5%;與基于詞向量和字向量的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,正確率和F1值提升約0.3%;與基于字向量和詞性對向量的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型相比,正確率和F1值提升約0.2%?？梢钥闯?加入細(xì)粒度的字向量以及詞性對向量作為模型的輸入,對于模型分類效果的提高均有一定的作用。

對比實(shí)驗(yàn)4為驗(yàn)證FG_MCCNN模型在較大數(shù)據(jù)集下相對于淺層機(jī)器學(xué)習(xí)算法具有較好的分類效果,本文分別采用詞袋模型(BOW)+SVM以及Word2vec+SVM進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 FG_MCCNN模型與SVM模型的分類性能對比

由圖6可以看出,在使用SVM算法的2種分類模型中,采用word2vec進(jìn)行詞向量訓(xùn)練的分類模型效果優(yōu)于采用BOW詞袋模型進(jìn)行文本表示的方法,這主要由于傳統(tǒng)的詞袋模型忽略了評論語句中的語義信息,而通過word2vec訓(xùn)練詞向量捕獲評論語句中的語義信息,使得SVM分類效果得到提高。本文FG_MCCNN模型在正確率和F1值上都明顯高于采用SVM的2種模型,說明在大數(shù)據(jù)集的評論語句情感分析中,淺層機(jī)器學(xué)習(xí)方法的擬合能力欠佳,分類效果一般,而本文提出的FG_MCCNN模型表現(xiàn)則較好。

4 結(jié)束語

本文結(jié)合中文評論語料的特點(diǎn),針對傳統(tǒng)CNN模型無法充分利用文本特征信息和識別中文文本多義詞的問題,構(gòu)建一種新的文本情感分析模型FG_MCCNN。該模型分別通過詞向量、詞性對向量和字向量3個通道進(jìn)行卷積計算,利用詞性對向量消除多義詞的干擾,采用細(xì)粒度的字向量學(xué)習(xí)更深層次的語義信息。實(shí)驗(yàn)對比結(jié)果表明,FG_MCCNN在中文文本情感分類上相較于對比模型具有更好的表現(xiàn)。下一步將研究如何提高該模型在不同領(lǐng)域評論語料中的分類準(zhǔn)確性。