程 艷，葉子銘，王明文，張 強(qiáng)，張光河

(江西師范大學(xué) 計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

0 引言

情感分析，也稱觀點(diǎn)挖掘，是指人們對(duì)服務(wù)、產(chǎn)品、組織、個(gè)人、問(wèn)題、事件、話題及其屬性的情感、觀點(diǎn)、評(píng)價(jià)、態(tài)度和情緒[1]。文本情感傾向性分析是情感分析的一個(gè)分支，其目的在于從原始文本中判斷說(shuō)話者對(duì)事物的情感傾向性?；谥R(shí)的方法是最初被廣泛應(yīng)用于此領(lǐng)域的技術(shù)，但其需要編寫十分復(fù)雜的規(guī)則，才能讓計(jì)算機(jī)較為準(zhǔn)確地理解人類語(yǔ)言，難度較大。故該類方法僅能在小規(guī)模的數(shù)據(jù)上取得一定的成果[2]。隨著文本數(shù)據(jù)量的增多，使用基于知識(shí)的方法處理文本已是捉襟見(jiàn)肘。自20世紀(jì)90年代以來(lái)，機(jī)器學(xué)習(xí)方法開(kāi)始在文本情感分析領(lǐng)域嶄露頭角[3-4]。但這些方法都屬于淺層學(xué)習(xí)范疇，函數(shù)模型和計(jì)算方法相對(duì)簡(jiǎn)單，導(dǎo)致它們?cè)谟邢迾颖竞陀?jì)算單元下無(wú)法表達(dá)一些復(fù)雜的函數(shù)，泛化能力較弱，同時(shí)也需要人工選擇大量數(shù)據(jù)特征。這些缺陷導(dǎo)致機(jī)器學(xué)習(xí)方法在此任務(wù)上遇到了瓶頸。深度學(xué)習(xí)能夠從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)重要的特征與特征表達(dá)方式來(lái)處理各種復(fù)雜任務(wù)，在建模、解釋、表達(dá)能力以及優(yōu)化等方面優(yōu)勢(shì)明顯。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)是目前深度學(xué)習(xí)領(lǐng)域比較熱門的兩種模型。卷積神經(jīng)網(wǎng)絡(luò)能夠提取數(shù)據(jù)中的局部化結(jié)構(gòu)信息，循環(huán)神經(jīng)網(wǎng)絡(luò)則能夠處理序列化結(jié)構(gòu)信息。近年來(lái)，也出現(xiàn)了結(jié)合兩者模型結(jié)構(gòu)的復(fù)合模型，在文本情感分析領(lǐng)域取得了優(yōu)異效果。注意力機(jī)制是當(dāng)前深度學(xué)習(xí)領(lǐng)域的最新成果，它能夠捕捉文本中最具代表性的特征，優(yōu)化模型結(jié)構(gòu)。使用深度學(xué)習(xí)模型分析文本情感是當(dāng)前熱門的研究方向[5]。

本文認(rèn)為文本的情感傾向是由句子層面和詞語(yǔ)或字符層面兩個(gè)層級(jí)共同決定的。首先，文本是由句子組成的，不同的句子對(duì)于情感傾向性分析結(jié)果而言擁有不同程度的重要性。例如，若文本整體情感傾向?yàn)檎?，其中一些情感色彩較為負(fù)面的句子就不是重要的，并不是所有的句子都會(huì)影響最終結(jié)果的判定。同理，句子又是由詞語(yǔ)或字符構(gòu)成，不同詞語(yǔ)或字符對(duì)于句子的情感傾向判定又有不同程度的影響?，F(xiàn)有模型很少?gòu)倪@個(gè)角度出發(fā)探索文本的情感，未能很好地體現(xiàn)文本結(jié)構(gòu)的層次化和文本內(nèi)容的上下文關(guān)聯(lián)對(duì)傾向性分析結(jié)果的影響。故本文建立了層次化的情感傾向性分析模型，并引入注意力機(jī)制，從兩個(gè)層面篩選出對(duì)傾向性分析結(jié)果影響最高的文本信息。另一方面，詞向量的表示對(duì)于文本分類任務(wù)非常重要，近年來(lái)對(duì)詞向量粒度的研究越來(lái)越細(xì)，出現(xiàn)了一些基于字符級(jí)別的工作，但這些工作大都基于英文文本數(shù)據(jù)[6-7]，對(duì)于中文數(shù)據(jù)的研究較少。中文文本與英文文本的差別尤其體現(xiàn)在字符級(jí)別上。英文單詞由26個(gè)字母組成，單個(gè)字母往往不代表特殊含義。中文則不同，很多單個(gè)漢字就能表示明確的含義，組合起來(lái)能夠表達(dá)的語(yǔ)義更是多種多樣，故對(duì)中文文本進(jìn)行字符級(jí)別的分析是很有意義的。由于中文的特殊性，大部分中文文本分類任務(wù)都會(huì)使用分詞操作。但分詞操作執(zhí)行的同時(shí)，固定了漢字間的組合形式，有時(shí)易導(dǎo)致歧義，無(wú)法切分出正確的漢字組合形式。為了解決此問(wèn)題，本文使用卷積神經(jīng)網(wǎng)絡(luò)的并行卷積層學(xué)習(xí)中文文本字級(jí)別特征，不依靠解析樹(shù)等句法分析方法，同時(shí)也避免了語(yǔ)言知識(shí)層面的分析與復(fù)雜的數(shù)據(jù)預(yù)處理過(guò)程。本文實(shí)驗(yàn)結(jié)果表明：對(duì)于中文語(yǔ)料，使用訓(xùn)練過(guò)后的字級(jí)別詞向量作為原始特征會(huì)好于使用訓(xùn)練過(guò)后的詞級(jí)別詞向量作為原始特征。

1 相關(guān)工作

情感傾向性分析一直是情感分析領(lǐng)域的研究熱點(diǎn)。早前使用的方法主要包括基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法?；谇楦性~典的方法，通常是將詞典中已經(jīng)記錄了情感傾向性的詞條對(duì)句子中的詞語(yǔ)進(jìn)行匹配，然后通過(guò)對(duì)詞語(yǔ)的情感傾向進(jìn)行聚合(如求平均或求和)得到最終的情感傾向性。Kamps和Marx使用WordNet判斷詞語(yǔ)的情感傾向性[8]。Budanitsky和Hirst通過(guò)在WordNet中計(jì)算詞語(yǔ)間的路徑距離從而得到情感相似度，以此計(jì)算詞語(yǔ)的情感傾向性[9]。規(guī)范的中文情感詞典相對(duì)缺乏，最早也是最普遍傳播的是知網(wǎng)(HowNet)提供的情感分析用詞語(yǔ)集[10]。其實(shí)，真正的情感判斷并不是一些簡(jiǎn)單規(guī)則的堆砌，而是一個(gè)復(fù)雜、系統(tǒng)的工程，且情感詞典中的詞語(yǔ)需要人工進(jìn)行選擇。因此該方法的性能很大程度上取決于先驗(yàn)知識(shí)與人工設(shè)計(jì)?；跈C(jī)器學(xué)習(xí)的情感傾向性分析問(wèn)題常被看成一個(gè)有監(jiān)督的學(xué)習(xí)問(wèn)題。Pang等[11]早在2004年便利用樸素貝葉斯、最大熵和支持向量機(jī)等機(jī)器學(xué)習(xí)方法來(lái)嘗試解決情感分析問(wèn)題。但這些方法需要復(fù)雜的特征選擇過(guò)程，此過(guò)程同樣依賴于人工設(shè)計(jì)，導(dǎo)致推廣能力差。

深度學(xué)習(xí)方法能夠?qū)μ卣鬟M(jìn)行自動(dòng)選擇，逐漸發(fā)展成為近年來(lái)情感分析領(lǐng)域的主流方法。Collobert等[12]于2011年首先提出使用CNN解決詞性標(biāo)注等NLP領(lǐng)域的問(wèn)題。2014年，Kim[13]提出將CNN應(yīng)用于情感分析任務(wù)，Kalchbrenner等[14]在此基礎(chǔ)上提出寬卷積和K-max pooling方法。Conneau等[15]提出VDCNN模型，采用了深度卷積網(wǎng)絡(luò)方法。但CNN模型有其缺陷，即只能挖掘文本的局部信息。與CNN相比，RNN更能捕捉到文本間的長(zhǎng)距離依賴。Tang等[16]為了對(duì)句子之間的關(guān)系進(jìn)行建模，提出采用層次化RNN模型來(lái)對(duì)篇章級(jí)文本進(jìn)行建模。Wang等[17]提出了DRNN模型，固定了信息流動(dòng)的步長(zhǎng)。結(jié)合CNN與RNN各自的優(yōu)點(diǎn)，Siwei Lai等[18]提出了RCNN模型，先使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)得到上下文表示，再經(jīng)過(guò)卷積、池化操作后輸出分類結(jié)果。Chunting Zhou等[19]提出了C-LSTM模型，先利用卷積神經(jīng)網(wǎng)絡(luò)提取文本特征，再輸入循環(huán)神經(jīng)網(wǎng)絡(luò)得到分類結(jié)果。注意力機(jī)制能夠捕捉到特征的重要性，在文本情感分析任務(wù)中亦有應(yīng)用，例如，Yang等[20]提出層次化注意力模型進(jìn)行情感分析任務(wù)。總之，深度學(xué)習(xí)方法應(yīng)用在文本情感傾向性分析問(wèn)題中，免去了傳統(tǒng)方法繁瑣的特征工程步驟，具有一定的優(yōu)勢(shì)。

本文模型結(jié)構(gòu)是在Chunting Zhou等工作[19]基礎(chǔ)上進(jìn)行的改進(jìn)。這種傳統(tǒng)的CNN-RNN模型架構(gòu)沒(méi)有充分考慮到文本不同成分對(duì)情感傾向判定的重要程度。本文模型在此架構(gòu)基礎(chǔ)上加入層次化注意力機(jī)制，有利于模型學(xué)習(xí)到對(duì)情感傾向結(jié)果判定最重要的信息。此外，在卷積部分，本文參考了Kim等的工作[13]，不同的是將位置向量引入模型中，賦予每個(gè)詞以實(shí)際位置編碼從而構(gòu)造新型詞向量編碼，使得模型能夠?qū)W習(xí)到更豐富的詞向量編碼信息。同時(shí)，本文也借鑒了Yang等的工作[20]，與之不同的是分別采用詞級(jí)別向量與字級(jí)別向量進(jìn)行實(shí)驗(yàn)。

本文模型的工作流程是：首先利用卷積神經(jīng)網(wǎng)絡(luò)將詞向量編碼到新的向量空間中，學(xué)習(xí)到詞的位置信息與上下文信息，然后通過(guò)層次化注意力學(xué)習(xí)句子和文本的序列化信息及其對(duì)文本傾向判定的重要性?？偠灾?，該模型綜合利用了幾種深度學(xué)習(xí)方法的優(yōu)點(diǎn)，考慮了文本的局部信息和全局信息，既避免了信息的丟失，又能夠篩選出對(duì)結(jié)果影響最大的信息。

2 模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN最早應(yīng)用于計(jì)算機(jī)視覺(jué)中。近年來(lái)，其在文本分類中也有著優(yōu)越表現(xiàn)[12-13，21]。傳統(tǒng)的CNN模型在處理文本任務(wù)時(shí)，常將詞語(yǔ)轉(zhuǎn)換為向量形式，將不同數(shù)目、不同大小的卷積核與向量進(jìn)行按元素相乘操作，經(jīng)過(guò)卷積、池化、dropout正則化等一系列操作后得到最終輸出。CNN能夠捕捉到文本任務(wù)中字或詞之間的局部關(guān)系，是文本情感分析任務(wù)中較為常用的處理手段。由于本文中采用CNN的目的在于抽取單個(gè)句子中詞語(yǔ)的N-gram特征輸入到模型下一層結(jié)構(gòu)中，故僅使用了卷積操作。其結(jié)構(gòu)如圖1所示。

圖1 CNN卷積層結(jié)構(gòu)圖

圖1中padding表示補(bǔ)零操作，目的是為了保證轉(zhuǎn)換后的句子表示矩陣長(zhǎng)度和詞向量矩陣長(zhǎng)度一致。假設(shè)當(dāng)前輸入為第i個(gè)句子中的第j個(gè)詞xij∈Rd，d表示詞向量維度。在本文中，每一個(gè)詞均被賦予一個(gè)位置編碼lij∈Rd，該編碼與詞向量語(yǔ)義無(wú)關(guān)，具體數(shù)值通過(guò)模型訓(xùn)練學(xué)習(xí)得到。如此，每一個(gè)詞便擁有了一個(gè)新的編碼aij，如式(1)所示。

aij=xij+lij

(1)

(2)

2.2 GRU與Bi-GRU

GRU(Gated Recurrent Unit)由Cho等[22]于2014年提出，其結(jié)構(gòu)如圖2所示。

圖2 GRU結(jié)構(gòu)圖

相比LSTM，GRU模型更為簡(jiǎn)單，僅由重置門r和更新門z組成，用于控制神經(jīng)元信息的讀取、寫入。GRU的計(jì)算如式(3)～式(6)所示。

單向GRU在使用時(shí)是從上文向下文推進(jìn)的，容易導(dǎo)致后面的詞比前面的詞更重要。而雙向GRU是GRU的變體，其輸出值同時(shí)取決于正向計(jì)算和后向計(jì)算過(guò)程，使得輸出結(jié)果更為精確。其模型結(jié)構(gòu)如圖3所示。

圖3 雙向GRU結(jié)構(gòu)圖

2.3 注意力機(jī)制

注意力機(jī)制早在2014年便在機(jī)器翻譯任務(wù)中得到應(yīng)用[23]，經(jīng)過(guò)一段時(shí)間的發(fā)展，亦產(chǎn)生了許多不同形式的變體[24-25]。

注意力模型可以抽象為由Module1和Module2兩個(gè)模塊組成。Module1一般為編碼器，對(duì)輸入數(shù)據(jù)做一定的變換；Module2為解碼器，同樣經(jīng)過(guò)一定的變換后輸出數(shù)據(jù)。每個(gè)輸出值mi計(jì)算過(guò)程如式(7)所示。

mi=F(Ci,m1,m2,…mi -1)

(7)

其中，Ci為每一個(gè)輸出數(shù)據(jù)相對(duì)應(yīng)的語(yǔ)義編碼，該編碼由輸入數(shù)據(jù)的分布生成，如式(8)所示。

(8)

其中，S(nj)表示經(jīng)過(guò)Module1處理后得到的輸入數(shù)據(jù)的隱層狀態(tài)，T表示輸入數(shù)據(jù)的個(gè)數(shù)。aij表示輸入j對(duì)輸出mi的注意力分配概率，aij計(jì)算過(guò)程如式(9)、式(10)所示。

其中，eij指第j個(gè)輸入對(duì)第i個(gè)輸出的影響力評(píng)價(jià)分?jǐn)?shù)，hj為module1中第j個(gè)輸入的隱層狀態(tài)，si-1為上一步過(guò)程中module2的輸出，W、U和V為權(quán)重矩陣，b為偏置值，均由訓(xùn)練過(guò)程中學(xué)習(xí)得到。Attention語(yǔ)義編碼會(huì)作為module2的輸入，生成最終的深層特征，獲取最關(guān)鍵的語(yǔ)義信息。

2.4 具體模型結(jié)構(gòu)

本文在上述基礎(chǔ)上提出一個(gè)融合卷積神經(jīng)網(wǎng)絡(luò)與層次化注意力網(wǎng)絡(luò)的文本情感分析模型。該模型由經(jīng)卷積神經(jīng)網(wǎng)絡(luò)操作的字/詞級(jí)別初始化向量模塊、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)及字/詞級(jí)別注意力模塊、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)及句子級(jí)別注意力模塊組成。模型結(jié)構(gòu)如圖4所示。

圖4 本文模型結(jié)構(gòu)圖

模型首先將中文字符或詞語(yǔ)通過(guò)CNN層的操作轉(zhuǎn)化為相應(yīng)的向量表達(dá)形式。假設(shè)一段文本有L個(gè)句子，表示為Si,i∈[1,L]。句子中又包含K個(gè)字符或單詞。由式(1)已經(jīng)得到了第i個(gè)句子經(jīng)過(guò)卷積操作后的向量表示zik,k∈[1,K]，故在完成第一步操作后，將經(jīng)卷積神經(jīng)網(wǎng)絡(luò)操作后輸出的結(jié)果通過(guò)Bi-GRU網(wǎng)絡(luò)將其上下文相關(guān)信息結(jié)合起來(lái)可以獲得隱藏層的輸出，具體計(jì)算過(guò)程如式(11)～式(13)所示。

其中，gik即為經(jīng)過(guò)雙向GRU后得到的向量化表示形式。

這一步后加入Attention機(jī)制的目的是要把一個(gè)句子中對(duì)句子含義貢獻(xiàn)最大的字或詞語(yǔ)找出來(lái)。首先，將gik輸入到一個(gè)單層的感知機(jī)中得到的結(jié)果uik作為gik的隱含表示。單詞的重要性采用uik和一個(gè)隨機(jī)初始化的上下文向量Uw的相似度來(lái)決定。然后，經(jīng)過(guò)softmax操作獲得了一個(gè)歸一化的Attention權(quán)重矩陣，代表句子i中第k個(gè)字或詞的權(quán)重。最后在得到Attention權(quán)重矩陣后，將句子向量看作組成這些字或詞向量的加權(quán)求和。計(jì)算過(guò)程如式(14)～式(16)所示。

uik=tanh(Wwgik+bw)

(14)

(15)

(16)

其中，Ww與bw分別為權(quán)重矩陣和偏置矩陣。aik為衡量句子i中第k個(gè)字或詞重要性的注意力權(quán)重因子。

在求得了Si的表示后，我們用相似的方法可以對(duì)句子進(jìn)行處理，獲得經(jīng)過(guò)雙向GRU后得到對(duì)應(yīng)的隱層句子向量Gi，如式(17)～式(19)所示。

隨后通過(guò)引入一個(gè)句子級(jí)別的上下文向量US用以衡量句子在整個(gè)文本中的重要性程度，得到文本總向量V，最后可通過(guò)softmax層進(jìn)行情感分析操作。計(jì)算過(guò)程如式(20)～式(23)所示。

同上，WS、W2與bS、b2分別為權(quán)重矩陣和偏置矩陣。ai為衡量衡量句子i重要性的注意力權(quán)重因子。

除此之外，本文訓(xùn)練的最終目標(biāo)為最小化損失函數(shù)(負(fù)對(duì)數(shù)似然函數(shù))，如式(24)所示。

(24)

其中j為文本d相對(duì)應(yīng)的情感類別標(biāo)簽。

3 實(shí)驗(yàn)分析

3.1 情感傾向性分析數(shù)據(jù)集

本文數(shù)據(jù)集采用國(guó)內(nèi)學(xué)者譚松波整理的酒店評(píng)論數(shù)據(jù)集，部分評(píng)論數(shù)據(jù)格式如表1所示，對(duì)原始數(shù)據(jù)集進(jìn)行整理、欠采樣、合并等操作后，得到正面類別情感評(píng)論數(shù)據(jù)與負(fù)面類別情感評(píng)論數(shù)據(jù)各3 000條共6 000條評(píng)論數(shù)據(jù)，在此基礎(chǔ)上進(jìn)行十折交叉驗(yàn)證。

表1 酒店評(píng)論數(shù)據(jù)集示例

3.2 數(shù)據(jù)預(yù)處理與模型參數(shù)

詞向量在深度學(xué)習(xí)模型中具有十分重要的作用。詞向量的預(yù)訓(xùn)練有助于提高模型準(zhǔn)確率[26]。在詞向量的訓(xùn)練過(guò)程中，一些句法與語(yǔ)義方面的信息也能夠被學(xué)習(xí)到，這在情感分析的過(guò)程中十分重要。本文運(yùn)用word2vec工具[27]，計(jì)算詞語(yǔ)的向量形式表示，從而進(jìn)行基于無(wú)監(jiān)督方法的詞向量學(xué)習(xí)。為了預(yù)先訓(xùn)練好中文詞向量，本文使用大規(guī)模中文維基百科數(shù)據(jù)訓(xùn)練skip-gram模型。中文詞向量的維度設(shè)置為300維。以中文字符作為初始化詞向量進(jìn)行訓(xùn)練時(shí)，針對(duì)句子中的每一個(gè)字，為其訓(xùn)練一個(gè)詞向量放入字典中。以單個(gè)字符作為句子層面的基本單位。以詞語(yǔ)作為初始化詞向量訓(xùn)練時(shí)，操作過(guò)程同上，但需要使用Jieba分詞工具對(duì)文本進(jìn)行分詞，以分詞之后的詞語(yǔ)做為句子層面的基本單位。在word2vec模型的訓(xùn)練過(guò)程中，指定訓(xùn)練字符的最小出現(xiàn)次數(shù)為5，將出現(xiàn)次數(shù)超過(guò)5次的字加入字典中，對(duì)于沒(méi)有在字典中出現(xiàn)的字符，隨機(jī)初始化其向量形式表示。在句子層面，本文選取逗號(hào)、句號(hào)、感嘆號(hào)和問(wèn)號(hào)作為句子間的分隔符進(jìn)行句子切割。設(shè)置最大句子長(zhǎng)度為50，小于該值時(shí)，對(duì)句子進(jìn)行補(bǔ)零操作。大于該值時(shí)，進(jìn)行截?cái)嗖僮?。設(shè)置文本中最大句子數(shù)目為20，預(yù)處理時(shí)同樣進(jìn)行補(bǔ)零和截?cái)唷?/p>

本文實(shí)驗(yàn)基于Keras深度學(xué)習(xí)框架[28]。從整體模型架構(gòu)看，我們使用了一個(gè)卷積層。字/詞級(jí)別注意力層使用一個(gè)雙向GRU層，在句子級(jí)別注意力層同樣使用一個(gè)雙向GRU層。對(duì)于卷積層，本文嘗試分別使用卷積窗口大小為2、3、4及其組合的卷積方式。根據(jù)模型表現(xiàn)最終選取單一窗口大小為3的卷積核，卷積核單元數(shù)量設(shè)置為300，采用“same”卷積模式；對(duì)于雙向GRU層，將其維度設(shè)置為300，對(duì)上下文向量進(jìn)行隨機(jī)初始化。

在模型訓(xùn)練方面，對(duì)亂序的微批次樣本采用隨機(jī)梯度下降，批量大小設(shè)置為32。訓(xùn)練過(guò)程中采用Adam[29]更新規(guī)則，初始化學(xué)習(xí)率為0.001，防止過(guò)擬合的dropout參數(shù)設(shè)置為0.2，采用準(zhǔn)確率指標(biāo)對(duì)模型表現(xiàn)進(jìn)行評(píng)估。訓(xùn)練過(guò)程中對(duì)詞向量進(jìn)行微調(diào)。

3.3 對(duì)比實(shí)驗(yàn)與結(jié)果分析

本文運(yùn)用多個(gè)模型在此數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)并分析實(shí)驗(yàn)結(jié)果。因超參數(shù)選取和具體任務(wù)密切相關(guān)，故本文參考原論文設(shè)置對(duì)比試驗(yàn)的參數(shù)，以使模型準(zhǔn)確率達(dá)到最高。所有對(duì)比試驗(yàn)的深度學(xué)習(xí)模型中詞向量均進(jìn)行微調(diào)。實(shí)驗(yàn)結(jié)果如表2所示。對(duì)每個(gè)實(shí)驗(yàn)的具體說(shuō)明如下。

表2 模型準(zhǔn)確率對(duì)比

Fasttext[30]：Fasttext是Facebook開(kāi)源的文本分類工具。本實(shí)驗(yàn)中，將模型學(xué)習(xí)率設(shè)為0.1，詞向量維度選為300。

SVM-word：抽取word2vec訓(xùn)練出的詞級(jí)別詞向量作為輸入，使用SVM模型進(jìn)行詞級(jí)別情感分類，采用線性核。在數(shù)據(jù)集上進(jìn)行十折交叉驗(yàn)證。

CNN-word[13]：詞級(jí)別單層卷積神經(jīng)網(wǎng)絡(luò)模型。使用word2vec訓(xùn)練出的詞級(jí)別詞向量進(jìn)行試驗(yàn)。卷積核相關(guān)超參數(shù)設(shè)置與本文相同。

RCNN-word[18]：結(jié)合雙向LSTM與CNN的模型。使用word2vec訓(xùn)練出的詞級(jí)別詞向量進(jìn)行試驗(yàn)。超參數(shù)設(shè)置與原論文相同。

HAN-word[20]：層次化注意力機(jī)制模型。使用word2vec訓(xùn)練出的詞級(jí)別詞向量進(jìn)行試驗(yàn)。超參數(shù)設(shè)置與原論文相同。

C-HAN-word：本文模型。使用word2vec訓(xùn)練出的詞級(jí)別詞向量進(jìn)行試驗(yàn)。

SVM-character：抽取word2vec訓(xùn)練出的字級(jí)別詞向量作為輸入，用SVM模型分類進(jìn)行字級(jí)別情感分類，使用線性核。在數(shù)據(jù)集上進(jìn)行十折交叉驗(yàn)證。

CNN-character[13]：字級(jí)別單層卷積神經(jīng)網(wǎng)絡(luò)模型。利用word2vec中文字級(jí)別詞向量進(jìn)行實(shí)驗(yàn)。卷積核相關(guān)超參數(shù)設(shè)置與本文相同。

RCNN-character[18]：結(jié)合雙向LSTM與CNN的模型。利用word2vec中文字級(jí)別詞向量進(jìn)行實(shí)驗(yàn)。超參數(shù)設(shè)置與原論文相同。

HAN-character[20]：層次化注意力機(jī)制模型。利用word2vec中文字級(jí)別詞向量進(jìn)行實(shí)驗(yàn)。超參數(shù)設(shè)置與原論文相同。

C-HAN-character：本文模型。利用word2vec中文字級(jí)別詞向量進(jìn)行實(shí)驗(yàn)。

3.3.1 模型準(zhǔn)確率分析

由表2可知，F(xiàn)asttext模型的分類準(zhǔn)確率(83.67%)高于SVM模型(80.68%)。在中文情感分析任務(wù)中取得了較好的分類效果，證明了Fasttext的優(yōu)良性能。因其模型簡(jiǎn)單，擁有極快的訓(xùn)練測(cè)試速度，在數(shù)據(jù)量龐大的情況下，可作為基線模型使用。此外，對(duì)比傳統(tǒng)的機(jī)器學(xué)習(xí)方法SVM(80.68%、81.36%)，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法(CNN等)對(duì)分類結(jié)果準(zhǔn)確率的提升效果顯著。準(zhǔn)確率可以達(dá)到90%左右，近乎提升了10%，證明深度學(xué)習(xí)方法在中文文本情感分析任務(wù)中是更有效的。

對(duì)幾種深度學(xué)習(xí)方法進(jìn)行比較分析，在詞級(jí)別層面，CNN(89.14%)、RCNN(89.67%)、HAN(91.32%)的準(zhǔn)確率依次上升；在字級(jí)別層面，RCNN(90.88%)的準(zhǔn)確率相較CNN(90.98%)略有下降但相差無(wú)幾。而HAN(91.93%)模型準(zhǔn)確率仍能達(dá)到將近92%，這表明注意力機(jī)制選擇性關(guān)注特定目標(biāo)的優(yōu)勢(shì)，在情感傾向性判定中能夠得到充分體現(xiàn)。同時(shí)，以上結(jié)果也表明對(duì)于深度學(xué)習(xí)模型，多種不同類型模型的融合能夠帶來(lái)情感分類準(zhǔn)確率的提高。觀察準(zhǔn)確率，本文模型(C-HAN)在詞級(jí)別(91.96%)與字級(jí)別(92.34%)的準(zhǔn)確率相較于之前幾種方法均有不同程度的提高，且模型綜合表現(xiàn)優(yōu)于HAN模型。原因在于C-HAN充分考率到了卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制各自的優(yōu)點(diǎn)。相較于缺乏注意力機(jī)制的模型(如RCNN)，C-HAN引入了層次化注意力機(jī)制，使得模型學(xué)習(xí)過(guò)程中只關(guān)注有效的信息，降低了噪音影響；而針對(duì)缺乏卷積層的模型(如HAN)，C-HAN引入了卷積層并加入位置向量編碼，使得模型學(xué)習(xí)詞向量時(shí)能夠?qū)W習(xí)到更加準(zhǔn)確且豐富的詞向量信息，從而有效提升中文文本情感分類的準(zhǔn)確率。

3.3.2 字級(jí)別與詞級(jí)別比較分析

本文在SVM、CNN、RCNN與HAN模型上分別進(jìn)行了字級(jí)別與詞級(jí)別的對(duì)比實(shí)驗(yàn)。從實(shí)驗(yàn)結(jié)果可看出：使用字級(jí)別詞向量后，模型表現(xiàn)會(huì)優(yōu)于詞級(jí)別詞向量。原因在于字級(jí)別向量特征的粒度更小，在模型訓(xùn)練時(shí)，學(xué)習(xí)到的文本特征更為具體。這一點(diǎn)可以通過(guò)對(duì)比分析word2vec訓(xùn)練過(guò)后的詞向量與字向量得證。表3給出了詞語(yǔ)間的詞級(jí)別詞向量余弦相似度和字級(jí)別詞向量相加得到的詞級(jí)別詞向量的余弦相似度。

表3 詞向量余弦相似度

由以上三個(gè)例子可以看出，經(jīng)word2vec訓(xùn)練過(guò)后的字級(jí)別詞向量相加得到的詞級(jí)別詞向量余弦相似度要高于經(jīng)word2vec訓(xùn)練過(guò)后的詞級(jí)別詞向量余弦相似度。當(dāng)然，在實(shí)驗(yàn)過(guò)程中我們發(fā)現(xiàn)也有少數(shù)詞語(yǔ)組合不符合上述情況。例如，“君悅”是一個(gè)酒店品牌，其和“酒店”間的相似度為0.647，然而分割開(kāi)來(lái)后的相似度為0.523。這種情況出現(xiàn)的原因是因?yàn)橛?xùn)練語(yǔ)料中關(guān)于“君悅”的內(nèi)容少，所以字級(jí)別詞向量沒(méi)有較好地學(xué)習(xí)到相關(guān)信息。

3.3.3 卷積層分析

值得注意的是，與HAN相比，本文中卷積層的加入使得層次化注意力機(jī)制模型的分類效果提升。原因在于：傳統(tǒng)分詞技術(shù)并不是絕對(duì)有效的，有時(shí)會(huì)出現(xiàn)帶有歧義的切分，導(dǎo)致切分無(wú)法體現(xiàn)句子的正確語(yǔ)義。而在將字級(jí)別向量作為輸入，通過(guò)卷積層操作后，可以學(xué)習(xí)到相當(dāng)于N-gram的信息與字符間的抽象聯(lián)系。

舉例來(lái)說(shuō)，“果然是一家高大上酒店”。在這句話中，用傳統(tǒng)的中文分詞技術(shù)會(huì)將其切分為“高大/上/酒店”或是“高大/上酒/店”。這些切分都無(wú)法讓模型學(xué)習(xí)到句子的正確語(yǔ)義信息，后一種甚至將“酒店”這一關(guān)鍵詞錯(cuò)誤切分。而以單個(gè)漢字字符為單位輸入時(shí)，通過(guò)卷積層設(shè)置，譬如設(shè)置卷積窗口大小為3，就可以學(xué)習(xí)到“高大上”這樣的正確語(yǔ)義。此外，語(yǔ)料中出現(xiàn)的一些地名、酒店名的出現(xiàn)亦會(huì)導(dǎo)致分詞出錯(cuò)，通過(guò)以字符為單位增加并行化卷積層操作，可以學(xué)習(xí)到正確的局部語(yǔ)義信息。

3.3.4 注意力可視化

為了更加直觀地展示模型效果，本文在實(shí)驗(yàn)時(shí)運(yùn)用matplotlib庫(kù)分別從句子級(jí)別和字符級(jí)別對(duì)注意力權(quán)重分配進(jìn)行可視化展示。分別選取一段短文本與一段長(zhǎng)文本進(jìn)行試驗(yàn)。

文本一：非常糟糕的一個(gè)酒店，所有的東西都言過(guò)其實(shí)。我是看了網(wǎng)上的評(píng)論才會(huì)考慮入住這個(gè)酒店的。

文本二：這個(gè)酒店以前講來(lái)還是經(jīng)濟(jì)實(shí)惠，我三月份來(lái)這住，服務(wù)員服務(wù)還不錯(cuò)。今天就不好，來(lái)前臺(tái)登記說(shuō)酒店系統(tǒng)升級(jí)沒(méi)有之前的資料了，要重新登記，空調(diào)嗡嗡響，修了一次又一次，我去找?guī)状?，前臺(tái)小姐說(shuō)：不是修好了嗎？態(tài)度不好。我也算老顧客了，太差了。房間裝修的白灰袋還在房角堆放，明天就換，下次我不會(huì)再住了。

對(duì)于文本一，將其以逗號(hào)和句號(hào)劃分，可以分為3個(gè)子句。繪制句子級(jí)別注意力權(quán)重?zé)崃θ鐖D5(a)所示。圖中灰度值越大表示注意力分配權(quán)重越高。

圖5 文本一注意力權(quán)重圖

不難看出，第一個(gè)句子對(duì)評(píng)論文本的情感傾向影響較大，第二句次之，第三句最小。進(jìn)一步地，對(duì)影響力最大的句子即第一句繪制字符級(jí)別注意力權(quán)重?zé)崃D如圖5(b)所示。

第一個(gè)子句中含有9個(gè)中文漢字，從圖中可以看出模型對(duì)第三、四、五個(gè)字符分配了較高的權(quán)重，對(duì)應(yīng)文本中的“糟”“糕”“的”三個(gè)漢字。

對(duì)于文本二，將其以逗號(hào)、句號(hào)和問(wèn)號(hào)劃分可以分為16個(gè)子句。繪制句子級(jí)別注意力權(quán)重?zé)崃D如圖6所示。

圖6 文本二句子級(jí)別注意力權(quán)重圖

由圖6可知，本文模型尋找到的對(duì)文本情感傾向性影響力較大的句子分別為第四句、第十一句、第十三句和最后一句，對(duì)它們分別繪制字符級(jí)別注意力權(quán)重?zé)崃D，如圖7所示。

圖7 文本二子句字符級(jí)別注意力權(quán)重圖

由圖7可知，“就”、“不”、“好”三個(gè)漢字在第四句中所占權(quán)重較高。同理，對(duì)其余三句話分析亦能得出相應(yīng)分配權(quán)重高的漢字。

在兩段文本上進(jìn)行的可視化實(shí)驗(yàn)結(jié)果表明：本文模型能夠找出對(duì)情感傾向分析最大的句子，同時(shí)亦能在句子中找出對(duì)結(jié)果影響較大的漢字。特別是在處理文本二這種帶有轉(zhuǎn)折的文本時(shí)，模型亦有良好表現(xiàn)。具體體現(xiàn)在：文本二中前3句話情感傾向是偏積極的，而文本的總情感傾向卻是消極的。本文模型能夠做到忽略類似于前3句話這樣偏離文本總情感傾向的句子，找到對(duì)文本總體情感傾向結(jié)果影響大的句子。

4 總結(jié)與展望

本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制，構(gòu)建了一種新的層次化中文文本情感傾向性分析模型。其中，卷積神經(jīng)網(wǎng)絡(luò)能夠抓取到字符或詞語(yǔ)間的抽象關(guān)系，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠找到語(yǔ)句上下文間的關(guān)系，而注意力機(jī)制能夠有效識(shí)別對(duì)判定情感傾向有用的隱含信息。實(shí)驗(yàn)證明，模型準(zhǔn)確率達(dá)到了92.34%，優(yōu)于SVM和其他深度學(xué)習(xí)模型，層次化注意力機(jī)制的引入是有效的。此外，本文通過(guò)模型在中文文本情感傾向性分析數(shù)據(jù)集上的表現(xiàn)，證明了對(duì)于中文語(yǔ)料，使用字級(jí)別詞向量作為原始特征會(huì)優(yōu)于使用詞級(jí)別的詞向量作為原始特征。今后，在本文基礎(chǔ)上探尋基于樹(shù)結(jié)構(gòu)等不同形式卷積神經(jīng)網(wǎng)絡(luò)對(duì)模型的影響，以及嘗試更多注意力模型結(jié)構(gòu)的引入，優(yōu)化文本情感分析模型，會(huì)成為進(jìn)一步研究的方向。