陳大文

(江蘇金盾檢測(cè)技術(shù)股份有限公司,江蘇 南京 210000)

0 引言

隨著計(jì)算機(jī)與信息技術(shù)的發(fā)展,人們已經(jīng)越來(lái)越離不開(kāi)網(wǎng)絡(luò)。 隨之,信息出現(xiàn)了爆炸式的增長(zhǎng)。 據(jù)統(tǒng)計(jì),截至2020 年4 月,中國(guó)網(wǎng)民使用網(wǎng)絡(luò)人數(shù)已經(jīng)達(dá)9.04 億,互聯(lián)網(wǎng)普及率已經(jīng)達(dá)64.5%[1]。 網(wǎng)絡(luò)已經(jīng)成為人們現(xiàn)代生活中的重要組成部分。 因此,網(wǎng)民可以在微博等社交媒體公共平臺(tái)上發(fā)布各種自己的情感看法和評(píng)論。 利用自然語(yǔ)言處理技術(shù),在輿情分析方面,對(duì)熱點(diǎn)話(huà)題和評(píng)論進(jìn)行分析,理解人們所表達(dá)的情感色彩,對(duì)政府了解民意、預(yù)防危害事件有一定的積極性作用;在情感對(duì)話(huà)方面,對(duì)人話(huà)語(yǔ)進(jìn)行分析,可以創(chuàng)造情感機(jī)器人撫慰人的心靈、陪伴人類(lèi);在市場(chǎng)競(jìng)爭(zhēng)方面,對(duì)物品的評(píng)論進(jìn)行分析,可以幫助商家提升物品質(zhì)量,同時(shí)也可以幫助顧客對(duì)該物品下是否購(gòu)買(mǎi)的決定。

文本情感分析又稱(chēng)意見(jiàn)挖掘,是指對(duì)帶有情感色彩的主觀性文本進(jìn)行分析,挖掘其中蘊(yùn)含的情感傾向,對(duì)情感態(tài)度進(jìn)行劃分[2]。 文本情感分析組成部分,如圖1 所示。 文本情感分析主要由原始數(shù)據(jù)獲取、特征提取、分類(lèi)器和情感類(lèi)別輸出4 個(gè)部分組成。 其中,特征提取和分類(lèi)器是文本情感分析結(jié)果好壞的重要部分。

圖1 文本情感分析組成部分

因此,從分類(lèi)器來(lái)看,目前主要有基于詞典、基于傳統(tǒng)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)3 種文本情感分析方法。 基于詞典的文本情感分析方法是指根據(jù)帶有情感信息的詞語(yǔ),對(duì)文本情感分?jǐn)?shù)進(jìn)行計(jì)數(shù)和加權(quán),以此獲得文本情感傾向。 基于傳統(tǒng)機(jī)器學(xué)習(xí)的文本情感分析方法不依賴(lài)于詞典,具有自我學(xué)習(xí)文本情感特征的能力[3]。 基于深度學(xué)習(xí)的文本情感分析方法可以學(xué)習(xí)更加高級(jí)、難以描述的文本情感特征,即使是非常抽象、難以人工表述的特征,也可以學(xué)習(xí)提取,以此作為文本的重要特征。

近年來(lái),較流行的文本情感分析模型使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)[4]和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[5]。 雖然,這類(lèi)模型優(yōu)先考慮位置和順序信息,能較好地學(xué)習(xí)句子中的局部特征,以此來(lái)進(jìn)行分類(lèi)但是忽略了全局特征。2021 年,Yan 等[6]通過(guò)將Parallel DenseNet 融入CNN網(wǎng)絡(luò)中,進(jìn)行短文本情感分析,可以較好地提取局部特征和全局特征,得到更好的短文本情感分析效果,但是對(duì)于該模型來(lái)說(shuō)全局特征和局部特征對(duì)情感分析貢獻(xiàn)度是一樣的。 這顯然存在一定的問(wèn)題。

本文基于上文Parallel DenseNet 提出了一種融合注意力機(jī)制和Parallel DenseNet 的ATT-Parallel Dense-Net 文本情感分析模型[7]。 該模型不僅可以同時(shí)提取文本的局部特征和全局特征,還可以為局部特征和全局特征設(shè)置學(xué)習(xí)不同的權(quán)值,以期待得到最好的文本情感分析效果。

2 相關(guān)工作

根據(jù)特征提取和分類(lèi)器的不同方法,文本情感分析主要有基于情感詞典的情感分析方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法和基于深度學(xué)習(xí)的情感分析方法,如圖2 所示。

圖2 文本情感分析方法分類(lèi)

基于情感詞典的情感分析方法是指根據(jù)帶有情感信息的詞語(yǔ),對(duì)文本情感分?jǐn)?shù)進(jìn)行計(jì)數(shù)和加權(quán),以此獲得文本情感傾向。 現(xiàn)有的情感詞典都是人工構(gòu)造的,需要消耗大量的人力與物力。 例如,SentiWordNet[7]情感詞典是一部國(guó)外最早的情感詞典,它將含義一致的詞語(yǔ)放在一起,并且賦予了代表正面或者負(fù)面的情感極性分?jǐn)?shù)。 當(dāng)一句話(huà)出現(xiàn)時(shí),就可以根據(jù)每個(gè)句子中每個(gè)詞的情感極性分?jǐn)?shù)進(jìn)行累加得到最終的每個(gè)句子的情感極性分?jǐn)?shù),而這些分?jǐn)?shù)就代表了每個(gè)用戶(hù)的情感傾向。 與英文情感詞典不同,中文情感詞典主要有NTUSD[8]、How Net 和情感詞匯本體庫(kù)[9]等,這些情感詞典中分別包含不同數(shù)量的褒義詞和貶義詞。 在早期得到了廣泛的應(yīng)用,然而因?yàn)槿斯ち看?、難以維護(hù),所以逐步退出了歷史舞臺(tái)。

基于傳統(tǒng)機(jī)器學(xué)習(xí)的文本情感分析方法是指不依賴(lài)于詞典,具有自我學(xué)習(xí)文本情感特征能力的方法。該方法是一種通過(guò)給定的數(shù)據(jù)訓(xùn)練模型,通過(guò)模型預(yù)測(cè)結(jié)果的一種學(xué)習(xí)方法。 該方法研究至今,已經(jīng)取得了諸多有效的成果,分為有監(jiān)督模型、半監(jiān)督模型與無(wú)監(jiān)督模型。 有監(jiān)督模型是指訓(xùn)練帶有情感極性的文本樣本,得到模型,后根據(jù)模型預(yù)測(cè)無(wú)情感極性的樣本。該類(lèi)方法對(duì)樣本集依賴(lài)度大。 當(dāng)樣本集足夠全且多時(shí),效果較好。 當(dāng)樣本集不全且少式時(shí),效果一般。 半監(jiān)督模型是指在有監(jiān)督模型的基礎(chǔ)上,模型具有訓(xùn)練提取未帶情感極性文本樣本能力的模型。 該模型從一定程度上可以解決帶有極性數(shù)據(jù)集稀缺的問(wèn)題。 無(wú)監(jiān)督模型是指模型可以自動(dòng)學(xué)習(xí)未帶極性數(shù)據(jù)集特征判別其所屬情感傾向。 通常而言是根據(jù)提取特征之間的距離而判斷的,在情感分析中所用較少。 然而,因?yàn)槠渌崛〉奶卣鬏^淺且不全,隨著深度學(xué)習(xí)的出現(xiàn),該類(lèi)方法得到了一定的沖擊。

基于深度學(xué)習(xí)的文本情感分析方法是指可以學(xué)習(xí)更加高級(jí)、難以描述的文本情感特征。 即使是非常抽象、難以人工表述的特征,它也可以學(xué)習(xí)提取,以此作為文本的重要特征的模型。 該類(lèi)模型是從傳統(tǒng)機(jī)器學(xué)習(xí)方法引申而來(lái)的,它由兩種類(lèi)型構(gòu)成。 一是單一神經(jīng)網(wǎng)絡(luò)構(gòu)成的模型,二是組合神經(jīng)網(wǎng)絡(luò)構(gòu)成的模型。而單一神經(jīng)網(wǎng)絡(luò)構(gòu)成的模型一般以CNN 與RNN 兩類(lèi)為主。 Kim[4]提出的TextCNN 就是以CNN 構(gòu)成的用于文本情感分析的方法。 該方法通過(guò)一維卷積來(lái)獲取句子中n-gram 的特征表示,其對(duì)文本淺層特征的抽取能力很強(qiáng)。 然而,該方法卻無(wú)法提取遠(yuǎn)距離特征和全局特征。 Liu[5]提出的適用于情感分析的RNN 模型就是以RNN 構(gòu)成的用于文本情感分析的方法。 該方法通過(guò)RNN 模型來(lái)提取文本特征,其對(duì)遠(yuǎn)距離特征提取能力強(qiáng),然而卻無(wú)法提取淺層特征與全局特征。 因此,后來(lái)的研究者普遍將RNN 與CNN 相結(jié)合企圖在模型中同時(shí)提取文本的淺層特征和遠(yuǎn)距離特征。 何野等[10]2021 年提出的LSTM-CNN 模型就是將LSTM 與CNN相結(jié)合在中文電子商務(wù)網(wǎng)站評(píng)論上獲得了較好的準(zhǔn)確率。 李儉兵等[11]2021 年提出的跳轉(zhuǎn)LSTM-CNN 模型也是將LSTM 與CNN 相結(jié)合解決純LSTM-CNN 模型訓(xùn)練較長(zhǎng)短文本效率低下的問(wèn)題,可以很好地獲取局部特征。 郭勇等[12]2021 年提出的結(jié)合改進(jìn)Bi-LSTM 和CNN 的文本情感分析模型同時(shí)獲得淺層特征和長(zhǎng)距離依賴(lài)特征,在Twitter 上獲得了較好的改進(jìn)。 程艷等[13]2021 年提出的融合卷積神經(jīng)網(wǎng)絡(luò)與雙向GRU 的文本情感分析膠囊模型利用雙向GRU 與CNN 提取特征在酒店評(píng)論數(shù)據(jù)集上獲得了較好的效果。 劉道華等[14]2021 年提出的一種加權(quán)詞向量的混合網(wǎng)絡(luò)文本情感分析方法將CNN 與ATT-BiGRU 相結(jié)合,兩者分別提取特征,再將其進(jìn)行組合,最終分類(lèi)任務(wù),效果較好。 然而,這些方法雖能同時(shí)提取淺層特征和遠(yuǎn)距離特征,但是因?yàn)槠鋵煞N或兩種以上網(wǎng)絡(luò)進(jìn)行組合,效率比較低,速度較慢且從某種程度上來(lái)說(shuō)依賴(lài)數(shù)據(jù)集。 數(shù)據(jù)集若小,則效果一般。

Yan 等[6]2021 年通過(guò)將Parallel DenseNet 融入CNN 網(wǎng)絡(luò),進(jìn)行短文本情感分析,可以較好地提取局部特征和全局特征,且速度較快,得到更好的短文本情感分析效果。 然而,對(duì)于該模型來(lái)說(shuō),全局特征和局部特征對(duì)情感分析貢獻(xiàn)度是一樣的。 事實(shí)上,對(duì)于情感分析任務(wù)來(lái)說(shuō),局部特征和全局特征貢獻(xiàn)度是不同的,局部特征大于全局特征。

因此,本文基于上文Parallel DenseNet 提出了一種融合注意力機(jī)制和Parallel DenseNet 的ATT-Parallel DenseNet 文本情感分析模型[7]。 該模型不僅可以同時(shí)提取文本的局部特征和全局特征,還可以為局部特征和全局特征設(shè)置學(xué)習(xí)不同的權(quán)值,以期待得到最好的文本情感分析效果。

3 融合注意力機(jī)制和Parallel DenseNet 的ATTParallel DenseNet 文本情感分析模型

3.1 ATT-Parallel DenseNet 模型

為了提高文本情感分析的準(zhǔn)確率,本文結(jié)合注意力機(jī)制和Parallel DenseNet,設(shè)計(jì)了一個(gè)新的情感分析模型ATT-Parallel DenseNet。 如圖3 所示,該情感分析模型主要包括數(shù)據(jù)預(yù)處理模塊、生成詞向量Embedding層模塊、分類(lèi)器模塊。 而分類(lèi)器模塊主要包括2 個(gè)卷積特征提取模塊、Attention 層、Concatenate 層、Full connection 層和Softmax 層。

圖3 ATT-Parallel DenseNet 情感分析模型

數(shù)據(jù)預(yù)處理階段主要是因?yàn)樵嫉奈谋緭碛性S多停頓詞和換行符或者一段英文文章大小寫(xiě)不一致等格式不統(tǒng)一混亂問(wèn)題。 因此,數(shù)據(jù)預(yù)處理階段將把停頓詞和換行符這類(lèi)多余的符號(hào)詞語(yǔ)清理掉,將大小寫(xiě)不一致的詞語(yǔ)換成統(tǒng)一的小寫(xiě)字符;然后將處理好的數(shù)據(jù)通過(guò)Word2Vector 進(jìn)行向量化即生成詞向量階段;接著將詞向量放入分類(lèi)器中進(jìn)行處理提取出重要特征;最后通過(guò)全連接層和Softmax 層得到分類(lèi)結(jié)果。

3.2 Embedding 層

Embedding 層就是詞嵌入層。 初始的文本計(jì)算機(jī)是無(wú)法理解的,只有將文本轉(zhuǎn)化為詞向量或者句向量,計(jì)算機(jī)和神經(jīng)網(wǎng)絡(luò)才能理解并進(jìn)行處理。 本文主要使用Word2Vector 來(lái)實(shí)現(xiàn)詞語(yǔ)向量化。 該模型將詞語(yǔ)轉(zhuǎn)化為300 維的詞向量。 Word2Vector 的本質(zhì)是將原始的稀疏詞向量通過(guò)模型映射到高維空間中使得所獲得的詞向量既不稀疏又準(zhǔn)確。 當(dāng)表示的詞向量方向和尺度都很相近時(shí),則表示這兩個(gè)詞之間的詞意十分接近。如圖4 所示,文本最開(kāi)始將每個(gè)詞轉(zhuǎn)化為one-hot 編碼詞向量即第i個(gè)詞對(duì)應(yīng)的詞向量第i維就應(yīng)該是1;然后通過(guò)Word2Vector 后得到的新詞向量第j維就應(yīng)該是1,而這個(gè)第j維跟前詞向量對(duì)應(yīng)的第i維表示的詞是一致的。

圖4 Word2Vector 模型

3.3 Parallel DenseNet 模型

該模型將Embedding 層輸出的詞向量矩陣輸入兩個(gè)卷積特征提取模塊,分別提取全局特征和局部特征,分別為多尺度卷積特征提取模塊和稠密連接卷積特征提取模塊。

3.3.1 多尺度卷積特征提取模塊

首先,令xi∈Rd為文本中第i個(gè)詞的d維預(yù)訓(xùn)練詞向量,則原始輸入文本可以表示為矩陣x0=[x1,x2,…,xm]m×d,然后將x0同時(shí)輸入大小為5× d、4× d、3× d、2× d的卷積層進(jìn)行特征提取得到y(tǒng)1、y2、y3、y4,接著將其輸入大小為46,47,48,49 的最大池化層進(jìn)行最大池化操作得到新的特征矩陣x1、x2、x3、x4。 最后,將新的特征矩陣相合并得到該多尺度卷積特征提取模塊的特征矩陣x2。

3.3.2 稠密連接卷積特征提取模塊

首先,令xi∈Rd為文本中第i個(gè)詞的d維預(yù)訓(xùn)練詞向量,則原始輸入文本可以表示為矩陣x0=[x1,x2,…,xm]m×d;然后,將x0串行輸入大小為5×d的卷積層進(jìn)行特征提取,將原始輸入文本矩陣、經(jīng)過(guò)一次卷積變換后的特征矩陣和經(jīng)過(guò)二次卷積變換后的特征矩陣相合并得到新的特征矩陣x2;最后,將新的特征矩陣輸入大小為46 的最大池化層,得到該稠密連接卷積特征提取模塊的特征矩陣x1。

3.4 Attention 層

注意力機(jī)制是一種類(lèi)似人腦的注意力分配機(jī)制,它對(duì)重要的區(qū)域投入更多的資源,以獲取更多的細(xì)節(jié),對(duì)無(wú)用的信息則進(jìn)行抑制。 其中,該部分的實(shí)現(xiàn)公式為:

其中,h為上文所產(chǎn)生的特征矩陣如X1和X2,W和b為Attention 的權(quán)重和偏置量,a是最終產(chǎn)生的主注意力分?jǐn)?shù)。 在訓(xùn)練過(guò)程中,不斷地更新W和b以得到最好的a。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)預(yù)處理

為了驗(yàn)證本文模型的合理性和有效性,本文選取了4 個(gè)廣泛使用的基準(zhǔn)語(yǔ)料庫(kù)并在其上進(jìn)行實(shí)驗(yàn),主要包括:GameMultiTweet 數(shù)據(jù)集、SemEval 數(shù)據(jù)集、SSTweet 數(shù)據(jù)集和 IMDB 電影評(píng)論數(shù)據(jù)集。 Game MultiTweet 數(shù)據(jù)集是通過(guò)搜索游戲數(shù)據(jù)等游戲主題構(gòu)建的。 在這個(gè)數(shù)據(jù)集中,本文獲取了12 780 條數(shù)據(jù),這些數(shù)據(jù)被標(biāo)注為三類(lèi)別。 SemEval 數(shù)據(jù)集是由Twitter情緒分析任務(wù)創(chuàng)建的20 K 數(shù)據(jù)組成的。 在這個(gè)數(shù)據(jù)集中,本文獲取了7 967 條數(shù)據(jù),這些數(shù)據(jù)被標(biāo)注為三類(lèi)別。 SS-Tweet 數(shù)據(jù)集是情緒強(qiáng)度Twitter 數(shù)據(jù)集。 在這個(gè)數(shù)據(jù)集中,本文獲取了4 242 條數(shù)據(jù),這些數(shù)據(jù)被標(biāo)注為三類(lèi)別。 IMDB 電影評(píng)論數(shù)據(jù)集是電影評(píng)論的數(shù)據(jù)集。 在這個(gè)數(shù)據(jù)集中,本文獲取了25 000 條數(shù)據(jù),這些數(shù)據(jù)被標(biāo)注為兩類(lèi)別。 首先,對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,過(guò)濾掉非ASCII 字符、清洗換行符以及將大寫(xiě)字母轉(zhuǎn)換為小寫(xiě),并使用Word2Vector 初始化評(píng)論文本的詞嵌入信息;然后將數(shù)據(jù)集按8 ∶1 ∶1 的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

4.2 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率(ACC)、召回率(REC)和F1 作為評(píng)價(jià)指標(biāo),計(jì)算式如下:

其中,TP 表示預(yù)測(cè)為正樣本且分類(lèi)正確的樣本,TF 表示預(yù)測(cè)為負(fù)樣本且分類(lèi)正確的樣本數(shù),FP 表示實(shí)際為負(fù)樣本但是分類(lèi)錯(cuò)誤的樣本數(shù),FN 表示實(shí)際為正樣本但分類(lèi)錯(cuò)誤的樣本數(shù)。

4.3 對(duì)比實(shí)驗(yàn)和參數(shù)設(shè)置

本實(shí)驗(yàn)將ATT-ParallelDenseNet 模型與以下3 種模型進(jìn)行對(duì)比。

(1)文獻(xiàn)[4]提出的TextCNN 模型。

(2)文獻(xiàn)[15]提出的fastText 模型。

(3)文獻(xiàn)[16]提出的BiLSTM-Attentions 模型。

本實(shí)驗(yàn)中的詞向量維度為300,模型設(shè)置每個(gè)batch 中含128 個(gè)樣本數(shù)據(jù),完成一個(gè)epoch 需要50 次迭代。 本實(shí)驗(yàn)共訓(xùn)練4 個(gè)模型,選擇Adam 為優(yōu)化器,設(shè)置學(xué)習(xí)率為0.001;采用dropout 函數(shù)防止過(guò)擬合,參數(shù)設(shè)置為0.5。

4.4 實(shí)驗(yàn)結(jié)果分析

同樣的數(shù)據(jù)采用不同的模型處理進(jìn)行對(duì)比實(shí)驗(yàn)。將提出的模型與TextCNN 模型、fastText 模型以及BiLSTM-Attentions 模型作比較, 從分類(lèi)的準(zhǔn)確率(ACC)、召回率(REC)和F1 這3 方面評(píng)估其可行性和有效性。 表1 展現(xiàn)了本文的模型與基準(zhǔn)模型結(jié)果。 從結(jié)果上可以看出,本文的模型可以獲得較好的準(zhǔn)確率。

表1 各個(gè)模型在各個(gè)數(shù)據(jù)集上的結(jié)果對(duì)比

5 結(jié)語(yǔ)

本文基于上文Parallel DenseNet 提出了一種融合注意力機(jī)制和Parallel DenseNet 的ATT-Parallel Dense-Net 文本情感分析模型。 該模型在數(shù)據(jù)預(yù)處理階段把停頓詞和換行符這類(lèi)多余的符號(hào)詞語(yǔ)清理掉,將大小寫(xiě)不一致的詞語(yǔ)換成統(tǒng)一的小寫(xiě)字符;將處理好的數(shù)據(jù)通過(guò)Word2Vector 進(jìn)行向量化,即生成詞向量階段;將詞向量放入分類(lèi)器中,兩個(gè)特征提取模塊進(jìn)行處理提取出重要特征,然后通過(guò)attention 模塊為提取的特征分配權(quán)值,通過(guò)全連接層和Softmax 層得到分類(lèi)結(jié)果。 實(shí)驗(yàn)比較了本文的模型與TextCNN,fastText 和BiLSTM-Attentions 幾種深度學(xué)習(xí)模型的好壞。 實(shí)驗(yàn)結(jié)果表明,本文的模型比其他模型有一定的優(yōu)勢(shì)。