李衛(wèi)疆 伊 靖

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院 云南 昆明 650000)

0 引 言

隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，人們更愿意通過微博等社交網(wǎng)絡(luò)獲取熱點(diǎn)事件信息并發(fā)表自己的意見。而如何通過機(jī)器學(xué)習(xí)和自然語言處理等技術(shù)，研究用戶對(duì)于熱點(diǎn)事件的觀點(diǎn)傾向性和情感極性，是一項(xiàng)具有挑戰(zhàn)性的工作，也是自然語言處理領(lǐng)域的研究熱點(diǎn)之一。此外，相比于長文本分類任務(wù)，中文微博文本具有長度短、口語化詞語多、新詞更新快及重復(fù)率低等特點(diǎn)，因此更具難度和挑戰(zhàn)性。

傳統(tǒng)的情感分析方法主要包括兩種方法：基于規(guī)則的方法和基于統(tǒng)計(jì)的方法。其中，基于規(guī)則的方法通常需要人工干預(yù)，利用經(jīng)驗(yàn)或者語言專家提供的建議，從語言學(xué)角度編寫情感詞典或模板?；诮y(tǒng)計(jì)的方法更多地利用機(jī)器學(xué)習(xí)，完成特征提取和統(tǒng)計(jì)模型構(gòu)建，并自動(dòng)進(jìn)行情感極性判斷[1]。

近年來，基于深度學(xué)習(xí)方法的文本情感分類備受研究人員的關(guān)注。Kim[2]較先提出了利用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Networks,CNN)，對(duì)文本的情感極性進(jìn)行分類，并在電影評(píng)論數(shù)據(jù)集上取得了良好的效果。Severyn等[3]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練準(zhǔn)確模型的同時(shí)，避免了附加特征的注入，以解決Twitter推文的極性判斷問題。針對(duì)中文微博的特點(diǎn)，劉龍飛等[4]通過引入字級(jí)別特征，將單個(gè)字作為輸入特征，取得了相較于詞級(jí)別特征更高的分類準(zhǔn)確率。

與傳統(tǒng)的情感分析方法相比，深度學(xué)習(xí)方法雖然在圖像和文本分析領(lǐng)域取得了良好的效果，但是已有的研究大多使用了單通道的卷積神經(jīng)網(wǎng)絡(luò)算法，在具有稀疏特征的短文本中無法獲得足夠的語義信息。同時(shí)，這些方法大多只考慮了表示形式單一的微博文本內(nèi)容，而忽略了用戶使用的微博表情所表達(dá)的情感傾向。我們通過新浪微博API抓取了微博廣場(chǎng)的微博數(shù)據(jù)，統(tǒng)計(jì)結(jié)果顯示，在爬取的5 000條微博數(shù)據(jù)中，有1 390條微博包含了微博表情。因此，如何使卷積神經(jīng)網(wǎng)絡(luò)算法能夠在短文本中提取足夠的語義信息，并結(jié)合微博表情來構(gòu)建情感詞典，提高微博文本情感極性分類的準(zhǔn)確性是本文需要解決的問題。

為此，本文結(jié)合中文微博文本的特點(diǎn)，提出了一種基于情感詞典擴(kuò)充和雙層卷積神經(jīng)網(wǎng)絡(luò)的中文微博情感分類算法(Dual-CNN)。主要?jiǎng)?chuàng)新點(diǎn)在于：(1) 微博用戶常用的微博表情、肯定或否定詞、表達(dá)情感的標(biāo)點(diǎn)符號(hào)等多種詞語特征，建立擴(kuò)展特征矩陣。(2) 利用卷積神經(jīng)網(wǎng)絡(luò)的多通道機(jī)制，建立雙層卷積神經(jīng)網(wǎng)絡(luò)，通過不同的詞編碼方式(static,non-static)獲取更多的文本局部特征。對(duì)比實(shí)驗(yàn)證明，該算法與前人提出的卷積神經(jīng)網(wǎng)絡(luò)算法相比，分類效果得到了顯著改善。

1 相關(guān)工作

1.1 情感分析

情感分析是自然語言處理領(lǐng)域的重要分支之一[5]。通過對(duì)用戶發(fā)布的文本的分析，獲得文本的情感極性，以分析用戶對(duì)事件的看法和態(tài)度。情緒分析的主要方法包括基于規(guī)則的方法和基于統(tǒng)計(jì)的方法[14]。目前的研究主要集中在有監(jiān)督的機(jī)器學(xué)習(xí)方法，例如支持向量機(jī)(Support Vector Machines,SVM)、樸素貝葉斯(Naive Bayes)、最大熵(Maximum Entropy,ME)等。以上方法結(jié)合了一元詞特征(uni-gram)、二元詞特征(bi-gram)、詞性特征與情感詞特征等，將文本映射為多維特征向量，并做出分類預(yù)測(cè)[15]。

對(duì)于短文本分類，Ye等通過SVM和基于角色的N-gram模型，對(duì)旅游博客評(píng)論進(jìn)行情感分類，當(dāng)訓(xùn)練集評(píng)論數(shù)據(jù)量足夠大時(shí)，取得了較好的分類準(zhǔn)確率[6]。Turney等[7]提出了基于種子詞的非監(jiān)督學(xué)習(xí)方法，通過兩個(gè)種子詞“excellent”和“poor”來計(jì)算情緒極性，在非監(jiān)督學(xué)習(xí)領(lǐng)域取得了良好的效果。Mikolov等[8]通過CBOW和改進(jìn)的Skip-gram模型，對(duì)頻繁出現(xiàn)的單詞進(jìn)行二次采樣，并引入Negative Sampling學(xué)習(xí)單詞矢量。Liu等[9]提出了一種新的概率生成模型，將多時(shí)間尺度模型納入主題模型中，并考慮新聞評(píng)論之間的關(guān)系，用于在線新聞的情感分析。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)由Hubel和Wiesel提出，并提出了感受野(Receptive Field)概念。它主要通過卷積層和池化層來學(xué)習(xí)數(shù)據(jù)的局部特征[13]。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于它不需要大規(guī)模的數(shù)據(jù)預(yù)處理。研究結(jié)果證明，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別和分類算法，取得了良好的效果。

近年來，卷積神經(jīng)網(wǎng)絡(luò)在情感分類問題上亦取得了相比于傳統(tǒng)的基于統(tǒng)計(jì)方法更好的結(jié)果。進(jìn)一步地，Kim提出了經(jīng)典的Text-CNN模型，將卷積神經(jīng)網(wǎng)絡(luò)用于句子級(jí)分類任務(wù)上，包括情感分析和文本分類任務(wù)，在多個(gè)分類任務(wù)中取得了優(yōu)于其他機(jī)器學(xué)習(xí)方法的分類效果[2]。Johnson等[10]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于高維文本數(shù)據(jù)，利用詞序?qū)ξ谋緮?shù)據(jù)進(jìn)行分類，獲得了更高的準(zhǔn)確率。劉龍飛等[4]通過在卷積神經(jīng)網(wǎng)絡(luò)在引入字級(jí)別特征，探討了中文微博情感分類任務(wù)中的有效性和適用性。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)方法無需人工干預(yù)，并且更好地結(jié)合了文本中的特征信息，迅速成為情感分類研究領(lǐng)域的熱點(diǎn)之一。本文提出的Dual-CNN模型與文獻(xiàn)[4]的不同之處在于，本文利用了卷積神經(jīng)網(wǎng)絡(luò)的多通道機(jī)制，將不同的詞編碼方法輸入到 CNN模型中，以提取更多的局部特征，并獲得了更好的情緒分類結(jié)果。

2 Dual-CNN分類模型

為了解決微博短文本數(shù)據(jù)稀疏的問題，本文提出了一種基于情感詞典擴(kuò)充和雙層卷積神經(jīng)網(wǎng)絡(luò)的中文微博情感分類算法(Dual-CNN)模型。首先對(duì)公開的微博數(shù)據(jù)集進(jìn)行文本預(yù)處理，然后設(shè)計(jì)情感擴(kuò)充詞典，采用Google Word2Vec工具[16]，訓(xùn)練得到Word Embedding，最后將static和non-static兩種不同的詞編碼方式作為Dual-CNN的兩個(gè)輸入通道，對(duì)微博短文本情感進(jìn)行分類。

2.1 基本思想和框架

在圖像分類任務(wù)中，Karpathy等[11]利用卷積神經(jīng)網(wǎng)絡(luò)的多通道機(jī)制，對(duì)RGB圖像的不同通道(紅、綠、藍(lán))分別進(jìn)行卷積操作。這使得CNN可以獲取到更為豐富的圖像特征。同時(shí)，多層卷積神經(jīng)網(wǎng)絡(luò)算法在電影評(píng)論分類任務(wù)中取得了比單層神經(jīng)網(wǎng)絡(luò)更好的效果[12]。

考慮微博短文本特征稀疏的特點(diǎn)，我們使用Google Word2Vec，選取Skip-Gram模型，生成Word Embedding，并使用static和non-static兩種詞編碼方式，防止在卷積神經(jīng)網(wǎng)絡(luò)的兩層采用相同詞編碼方式，造成獲取到的局部特征相同的問題。其中，static方式在訓(xùn)練過程中不更新詞向量，通常應(yīng)用于數(shù)據(jù)量較小的情況。non-static則在訓(xùn)練過程中更新詞向量，作為CNN訓(xùn)練過程中需要優(yōu)化的參數(shù)。

進(jìn)一步地，我們嘗試向詞向量矩陣中添加融合微博表情的擴(kuò)展特征詞典，將其引入Dual-CNN模型的訓(xùn)練過程中，以進(jìn)一步發(fā)掘用戶通過微博表情表達(dá)的情感。

2.2 雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文在文獻(xiàn)[2]提出的基于單層卷積神經(jīng)網(wǎng)絡(luò)的文本情感分類算法(Text-CNN)結(jié)構(gòu)基礎(chǔ)之上，將static和non-static兩種編碼分別作為CNN的輸入。算法結(jié)構(gòu)如圖1所示。

圖1 雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1中，雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)總共分為輸入層、卷積層、池化層、全連接層、SoftMax層五層。

(1) 輸入層(Input Layer) 使用Word2Vec，采用static和non-static兩種方式訓(xùn)練生成的詞向量xi∈X。zero-padding擴(kuò)展邊界，并簡(jiǎn)單拼接成擴(kuò)展特征矩陣，作為雙層卷積神經(jīng)網(wǎng)絡(luò)的輸入。

(2) 卷積層(Convolutional Layer) 本文采用兩個(gè)卷積層，對(duì)兩種通道輸入的詞向量xi∈X，分別采用(2,3,4)三種大小的濾波器進(jìn)行卷積操作得到局部特征值。當(dāng)卷積核大小為h時(shí)，把句子分割成{x0:h-1,x1:h,…,xi:i+h-1,…,xn-h+1:n},然后對(duì)每個(gè)分量進(jìn)行卷積，得到卷積Feature-Map：

C=(c1,c2,…,cn-h+1)

式中：ci是對(duì)xi:i+h-1卷積后得到的特征信息。進(jìn)一步地:

ci=f(wcxi:i+h-1+b)

式中：wc代表卷積核矩陣，xi:i+h-1表示文本矩陣的第i+h-1行，b為偏置項(xiàng)，f表示激活函數(shù)，此處采用Relu激活函數(shù)。ci表示輸出的卷積特征值。

Relu激活函數(shù)的公式如下：

(4) 全連接層(Fully Connected Layer) 將池化層生成的特征值進(jìn)行全連接，并將連接后的特征向量輸出至SoftMax層。

(5) SoftMax層(SoftMax Layer) 輸入全連接層的特征向量，并輸出情感類型：

式中:bi為偏置；Wi為全連接層權(quán)重；y為分類結(jié)果。y=1為正向，y=-1為負(fù)向。

2.3 擴(kuò)展特征

中文微博評(píng)論文本通常在140字以內(nèi)，內(nèi)容精簡(jiǎn)且口語化[17]。為了進(jìn)一步提高微博情感分類的準(zhǔn)確度，我們提出了一種擴(kuò)展特征，通過提取微博短文本中可以明顯表達(dá)情感傾向的詞語和微博表情，生成擴(kuò)展特征矩陣，作為Dual-CNN的輸入。擴(kuò)展特征包括：

(1) 微博表情 通過對(duì)微博廣場(chǎng)數(shù)據(jù)的抓取，我們發(fā)現(xiàn)約有27.8%的微博文本中含有微博表情。而相比于傳統(tǒng)方法，本文針對(duì)微博的用戶使用習(xí)慣，提出了融合微博表情的擴(kuò)展特征，其特點(diǎn)是可以更加明確的表明用戶的情感。然后，根據(jù)統(tǒng)計(jì)得到微博用戶常用的14個(gè)表情，并參考微博用戶體驗(yàn)設(shè)計(jì)(UDC)團(tuán)隊(duì)對(duì)于微博表情情緒表達(dá)程度的定義[18]，對(duì)不同的表情所表達(dá)出的情感強(qiáng)弱程度分別賦予相應(yīng)的強(qiáng)度值，如表1所示。在爬取的微博文本中，微博表情是通過“‘[’+‘表情名稱’+‘]’”格式實(shí)現(xiàn)的。例如“[失望]”對(duì)應(yīng)的是表1中的“失望”表情。

表1 常用微博表情及賦予的強(qiáng)度值

(2) 特征詞語 微博短文本的特征詞語主要包括正向情感詞、負(fù)向情感詞、程度副詞、否定詞、肯定詞，以及感嘆號(hào)、問號(hào)等標(biāo)點(diǎn)符號(hào)。我們結(jié)合上述微博表情所表達(dá)的情感強(qiáng)度值，將特征詞語和微博表情映射為一個(gè)擴(kuò)展特征向量，表2為各擴(kuò)展特征及其強(qiáng)度值。

表2 特征詞語對(duì)應(yīng)的強(qiáng)度值

2.4 模型的訓(xùn)練

本文提出的雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在模型訓(xùn)練時(shí)進(jìn)行了反復(fù)實(shí)驗(yàn)。模型參數(shù)設(shè)置如表3所示。

表3 模型訓(xùn)練參數(shù)

2.5 Dual-CNN算法步驟

Dual-CNN算法步驟如算法1所示。

算法1Dual-CNN

輸入：有標(biāo)簽的中文微博語料集D、無標(biāo)簽的中文微博語料集U

輸出：微博語料的情感分類，1代表正向，-1代表負(fù)向情感

步驟：

使用jieba分詞工具[19]，對(duì)訓(xùn)練集D與測(cè)試集U中的文本進(jìn)行分詞處理；

使用Google Word2Vec工具，分別對(duì)訓(xùn)練集D和測(cè)試集U構(gòu)建詞向量矩陣；

利用特征詞語和表情，分別構(gòu)建擴(kuò)展特征矩陣；

使用模型訓(xùn)練參數(shù)訓(xùn)練模型，在雙層卷積神經(jīng)網(wǎng)絡(luò)的兩層上分別采用static和non-static作為編碼輸入，得到分類器C；

將詞向量矩陣和擴(kuò)展特征矩陣輸入分類器C，得到情感正負(fù)向概率P(正)、P(負(fù))，當(dāng)正向概率P(正)大于負(fù)向概率P(負(fù))時(shí)，判定文本為正向情感，否則為負(fù)向情感。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境如表4所示。

表4 實(shí)驗(yàn)環(huán)境

3.2 數(shù)據(jù)集

中文觀點(diǎn)傾向性分析評(píng)測(cè)2014(Chinese Opinion Analysis Evaluation, COAE2014)數(shù)據(jù)集，由第六屆中文傾向性分析評(píng)測(cè)會(huì)議提供。主要包含了五大任務(wù)，分別對(duì)情感關(guān)鍵詞、跨語言情感分析、情感傾向性和微博觀點(diǎn)要素識(shí)別進(jìn)行了評(píng)測(cè)。本文在COAE2014任務(wù)4公開微博數(shù)據(jù)集之上。標(biāo)注了其中5 000條微博的情感極性，包含正面情緒2 214條，負(fù)面情緒2 786條作為訓(xùn)練集，并為其增加標(biāo)準(zhǔn)格式的微博表情。測(cè)試數(shù)據(jù)為來自不同話題抓取到的5 000條帶有情感極性的微博短文本，其中1 390條帶有微博表情。

3.3 實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)

本文提出的基于擴(kuò)展特征矩陣和雙層CNN的中文微博情感分類算法Dual-CNN，在單層CNN模型上提出了雙層CNN模型，并使用微博表情和特征詞語構(gòu)建了擴(kuò)展特征矩陣。為了驗(yàn)證Dual-CNN算法的有效性，本文設(shè)計(jì)了多個(gè)對(duì)比實(shí)驗(yàn)?zāi)Ｐ?，具體實(shí)驗(yàn)設(shè)計(jì)如下：

(1) 擴(kuò)展特征矩陣的有效性對(duì)比實(shí)驗(yàn) 在保證相同的分類模型下，分別采用原始的詞向量矩陣與加入擴(kuò)展特征矩陣后的矩陣，輸入單層CNN模型，來證明擴(kuò)展特征矩陣的有效性。

(2) 雙層CNN模型的有效性對(duì)比實(shí)驗(yàn) 在保證相同的輸入條件下，使用本文提出的Dual-CNN模型與傳統(tǒng)的Linear SVM、單層CNN模型進(jìn)行對(duì)比實(shí)驗(yàn)。

(3) 雙層CNN模型中不同編碼方式的對(duì)比實(shí)驗(yàn) 共設(shè)置三次實(shí)驗(yàn)，分別為：兩層CNN均采用static輸入、兩層CNN均采用non-static輸入和兩層CNN分別采用static和non-static輸入。

實(shí)驗(yàn)采用準(zhǔn)確率(Accuracy)作為評(píng)價(jià)指標(biāo)，計(jì)算公式為：

式中：TP表示實(shí)際為正，預(yù)測(cè)為正的樣本數(shù)；FN表示實(shí)際為正，預(yù)測(cè)為負(fù)的樣本數(shù)；TN表示實(shí)際為負(fù)，預(yù)測(cè)為負(fù)的樣本數(shù)；FP表示實(shí)際為負(fù)，預(yù)測(cè)為正的樣本數(shù)。

3.4 實(shí)驗(yàn)結(jié)果及分析

(1) 擴(kuò)展特征矩陣的有效性對(duì)比實(shí)驗(yàn) 實(shí)驗(yàn)結(jié)果如表5所示。

表5 擴(kuò)展特征矩陣的有效性對(duì)比實(shí)驗(yàn)結(jié)果

可以看出，加入擴(kuò)展特征詞語和表情矩陣的單層CNN模型，在分類準(zhǔn)確性上優(yōu)于只采用詞向量矩陣作為模型輸入的單層CNN模型。這是因?yàn)椋瑪U(kuò)展特征更準(zhǔn)確地體現(xiàn)了用戶使用的微博表情和詞語特征、標(biāo)點(diǎn)符號(hào)特征所表達(dá)出的情感傾向，提取到了更多的語義信息。用戶在評(píng)論時(shí)所添加的表情，較為明確地體現(xiàn)了用戶的情感傾向。傳統(tǒng)方法常常在數(shù)據(jù)預(yù)處理階段將微博表情去除，這樣會(huì)損失一定的文本特征。

(2) 雙層CNN模型的有效性對(duì)比實(shí)驗(yàn) 實(shí)驗(yàn)結(jié)果如表6所示。

表6 雙層CNN模型的有效性對(duì)比實(shí)驗(yàn)結(jié)果

可以看出，在模型輸入相同的情況下，單層CNN與Dual-CNN均相比傳統(tǒng)Linear SVM取得了更好的分類結(jié)果。相比于單層CNN，Dual-CNN由于使用了雙層CNN結(jié)構(gòu)，通過兩層不同方式的文本輸入，得到了更多的局部敏感信息及特征信息之間的聯(lián)系，有效彌補(bǔ)了由于微博文本較短，在單層CNN上無法獲取足夠的特征信息的問題，因此獲得了更高的準(zhǔn)確度。

與文獻(xiàn)[4]提出的CNN-character模型相比，Dual-CNN亦取得了更高的分類準(zhǔn)確率。主要原因在于CNN-character模型沒有考慮微博文本中的微博表情信息，只使用了詞語作為特征矩陣的擴(kuò)展，對(duì)于含有微博表情的微博語料適應(yīng)性較弱。相比之下，Dual-CNN由于充分考慮了擴(kuò)展特征詞與和微博表情，因此取得了更好的實(shí)驗(yàn)結(jié)果。

(3) 雙層CNN模型中不同編碼方式的對(duì)比實(shí)驗(yàn) 實(shí)驗(yàn)結(jié)果如表7所示。

表7 雙層CNN模型中不同編碼方式的對(duì)比實(shí)驗(yàn)結(jié)果

可以看出，相比于static文本編碼，non-static取得了更好的分類效果。原因在于，static的word vector是固定不變的，而non-static中將word vector也作為優(yōu)化的參數(shù)之一。在數(shù)據(jù)量比較大的情況下，non-static可以加速模型的收斂，取得更好的效果。

在本文提出的雙層CNN模型中，相比于只采用一種文本編碼方式，同時(shí)采用static和non-static方式并分別應(yīng)用于CNN的兩層，可以避免采取同一編碼方式可能引起的局部特征重復(fù)的問題。從實(shí)驗(yàn)結(jié)果也可以看出，static和non-static組合的文本編碼方式，相比于兩層都采用non-static的Dual-CNN算法，由于獲得了更多的局部特征，因此取得了更好的準(zhǔn)確率。

綜上，通過比較是否擴(kuò)展特征矩陣、單雙層卷積神經(jīng)網(wǎng)絡(luò)、雙層神經(jīng)網(wǎng)絡(luò)中不同編碼方式在中文微博情感分類任務(wù)上的表現(xiàn)，證明了本文提出的Dual-CNN模型具有更好的性能。與傳統(tǒng)方法相比，在分類準(zhǔn)確度上有明顯的提升。

4 結(jié) 語

本文針對(duì)現(xiàn)有中文微博短文本分類方法中存在的無法解決數(shù)據(jù)的稀疏問題、忽略微博文本中的表情和詞語特征等不足，提出了一種基于擴(kuò)展特征矩陣和雙層卷積神經(jīng)網(wǎng)絡(luò)的微博文本情感分類算法Dual-CNN。首先，針對(duì)微博用戶常用的微博表情、肯定或否定詞、表達(dá)情感的標(biāo)點(diǎn)符號(hào)等多種詞語特征，建立擴(kuò)展特征矩陣。然后將詞向量與擴(kuò)展特征矩陣拼接后的特征，分別使用static和non-static文本編碼輸入卷積神經(jīng)網(wǎng)絡(luò)的兩層，最后得到情感分類結(jié)果。從3組對(duì)比實(shí)驗(yàn)中可以證明，Dual-CNN模型可以有效提取中文微博文本特征，提升情感分類的準(zhǔn)確性。

在下一步的研究中，我們將進(jìn)一步探索卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)優(yōu)工作，以及引入更多的情感類型，進(jìn)一步細(xì)分用戶情感，并考慮探究將詞序作為Dual-CNN的第三個(gè)通道，進(jìn)一步提升模型性能。