陳平平,耿笑冉,鄒 敏,譚定英

(廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院,廣東 廣州 510006)

0 引 言

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)已經(jīng)成為人們生活所必需的部分。越來越多的人在不同的網(wǎng)絡(luò)平臺(tái)上發(fā)表自己的評(píng)論及觀點(diǎn)[1-2]。這些評(píng)論多是以文本方式出現(xiàn),從而使文本分類成為處理和組織大量文檔數(shù)據(jù)的關(guān)鍵技術(shù)[3]。利用計(jì)算機(jī)進(jìn)行文本的分類成為自然語言處理和人工智能領(lǐng)域一項(xiàng)非常有意義的研究課題[4]。從大規(guī)模的電影評(píng)論信息文本中進(jìn)行情感傾向性分析，分析文本所蘊(yùn)含的情感以及判斷該電影評(píng)論文本對(duì)電影的看法，是當(dāng)前自然語言處理所應(yīng)研究的一個(gè)主要方向，其對(duì)于研究電影的口碑、進(jìn)行電影推薦也具有非凡的意義[5]。

近年，基于機(jī)器學(xué)習(xí)的文本情感分類被應(yīng)用于更多的領(lǐng)域[6-7]。例如：Opinion Observer通過對(duì)網(wǎng)絡(luò)上的豐富評(píng)論資源進(jìn)行分析處理，提取出消費(fèi)者對(duì)其產(chǎn)品的評(píng)價(jià)，并給出可視化結(jié)果[8]；TMSVM，完整的基于Libsvm與Liblinear的文本分類系統(tǒng)，直接輸入訓(xùn)練樣本，并配置相應(yīng)參數(shù)，即可進(jìn)行建模及預(yù)測(cè)[9]。

在國內(nèi)的基于機(jī)器學(xué)習(xí)的文本情感分類研究并不是很多，但也存在著不少的研究成果。例如，THUCTC是由清華大學(xué)自然語言處理實(shí)驗(yàn)室提出的中文文本分類工具包[10-11]，能夠高效地實(shí)現(xiàn)用戶自定義分類語料的訓(xùn)練、評(píng)測(cè)、分類功能，對(duì)于開放領(lǐng)域的長(zhǎng)文本具有良好的普適性，不依賴于任何中文分詞工具性能，具有準(zhǔn)確率高、測(cè)試速度快的特點(diǎn)[12]。

1 情感傾向性分析

1.1 情感傾向性分析的基本原理

情感分析又稱意見挖掘，按照處理文本的粒度不同可以分為詞語級(jí)、短語級(jí)、句子級(jí)和篇章級(jí)[13-14]等，通過結(jié)合文本挖掘、信息抽取、機(jī)器學(xué)習(xí)、自然語言處理等文本處理技術(shù)對(duì)主觀性文本進(jìn)行分析、處理和歸納[15]。情感分析近幾年持續(xù)成為自然語言處理領(lǐng)域研究的熱點(diǎn)問題，可以廣泛應(yīng)用到很多的自然語言處理問題中，如信息抽取、自動(dòng)問答、產(chǎn)品口碑等。目前，情感傾向性分析領(lǐng)域主要存在2種方法[16]：

1)基于情感詞典及規(guī)則的無監(jiān)督學(xué)習(xí)方法。

情感詞典是按照不同的情感傾向?qū)η楦性~分類后的詞典[17]?；谇楦性~典及規(guī)則方法，顧名思義，即按照人工構(gòu)建的情感詞典和指定的相關(guān)規(guī)則來進(jìn)行情感傾向性判定的方法[18]。

但是，在語義復(fù)雜的情況下，情感詞典無法做到很好地分辨出各種詞語的語義，會(huì)有很大程度上的錯(cuò)誤，而基于機(jī)器學(xué)習(xí)的情感分析便能更好地解決這種情況[19]。

2)基于有監(jiān)督的機(jī)器學(xué)習(xí)方法。

由于情感傾向性判別的識(shí)別結(jié)果是褒義、貶義等類別，因此該任務(wù)可以采用機(jī)器學(xué)習(xí)的方法，作為分類任務(wù)完成[20]。在這種方法中，首先，一般以詞匯(例如一元特征)或數(shù)字(例如情感詞出現(xiàn)次數(shù))等作為特征[21]，對(duì)標(biāo)注好的訓(xùn)練語料進(jìn)行特征提取；然后結(jié)合學(xué)習(xí)模型，典型的例如樸素貝葉斯、最大熵、支持向量機(jī)、邏輯回歸，對(duì)語料進(jìn)行模型訓(xùn)練；最后通過訓(xùn)練出的分類器對(duì)測(cè)試語料進(jìn)行分類[22-23]。

1.2 情感傾向性分析的基本流程

情感分類模型的建立，便是通過對(duì)文本進(jìn)行人為地分類，將評(píng)論數(shù)據(jù)人為地分為正面以及負(fù)面的2種情況，并以此為訓(xùn)練集，通過用機(jī)器學(xué)習(xí)的方法，實(shí)現(xiàn)對(duì)訓(xùn)練集的訓(xùn)練，比較各種方法的準(zhǔn)確率，得出最優(yōu)的算法，作為情感分類模型。其流程如圖1所示。

如圖1所示，情感模型的建立主要是訓(xùn)練以及測(cè)試2大部分，先用訓(xùn)練集訓(xùn)練模型，然后經(jīng)由測(cè)試集測(cè)試模型的準(zhǔn)確率，通過比較各分類模型的準(zhǔn)確率，得出最優(yōu)情感分類模型。

2 文本預(yù)處理

文本預(yù)處理就是將原始的文本數(shù)據(jù)處理成適合機(jī)器學(xué)習(xí)算法訓(xùn)練的過程，其包括分詞、停用詞處理、數(shù)據(jù)集標(biāo)注、特征選擇、特征提取等過程，經(jīng)由這些處理之后，能夠?qū)⒃紨?shù)據(jù)放于機(jī)器學(xué)習(xí)算法中訓(xùn)練。其文本預(yù)處理流程如圖2所示。

圖2 文本預(yù)處理流程圖

2.1 數(shù)據(jù)爬取

本文通過實(shí)現(xiàn)豆瓣的模擬登錄和Python的beautifulsoup4實(shí)現(xiàn)對(duì)豆瓣多部電影評(píng)論網(wǎng)頁內(nèi)容的解析，然后通過find函數(shù)實(shí)現(xiàn)對(duì)評(píng)論內(nèi)容以及評(píng)論分?jǐn)?shù)的抓取，最終根據(jù)分?jǐn)?shù)的高低，分為正面以及負(fù)面2種評(píng)論，分別存入pos_movie.txt以及neg_movie.txt中，其中正面評(píng)論57845條，負(fù)面評(píng)論34700條，其數(shù)據(jù)保存如下所示：

“人物關(guān)系、表演、對(duì)白都莫名其妙。時(shí)代氣氛的展現(xiàn)也夠差的”

“超難看，看完很不爽”

“盛譽(yù)之下，難負(fù)其實(shí)。”

……

2.2 jieba分詞

中文分詞是情感分析的第一步，jieba分詞是Python中文分詞里面用戶較多且效果較好的一種中文分詞。

jieba分詞具有3種分詞模式，分別為精確模式、全模式以及搜索引擎模式。其中，精確模式可以將句子以最精確的方式切分，常被用于情感分析。全模式則是將句子中的詞全部分解，盡可能分出全部的詞。搜索引擎模式則是將部分還能再分的詞切分，得到比精確模式更多的詞。

由于本文是做電影評(píng)論的情感傾向性分析，故選擇jieba分詞的精確模式，用jieba的精確模式對(duì)全部的電影評(píng)論進(jìn)行切分，其部分的切分效果如圖3所示。

圖3 用jieba對(duì)電影評(píng)論切分效果圖

如圖3所示，jieba的精確模式能把評(píng)論都精確地切分出來，其分詞效果不錯(cuò)。

2.3 停用詞去除

由于每一段評(píng)論存在著一些停用詞，如“啊”“的”“而”等，這些詞的存在并不會(huì)對(duì)分析用戶的情感有幫助，反而因?yàn)檫@些詞的高頻性，會(huì)影響到情感分析的準(zhǔn)確性。故此，需要把這些影響分析結(jié)果的詞去除，防止因?yàn)檫@些停用詞的高頻性而導(dǎo)致分析的效率降低，從而提高情感傾向性分析的準(zhǔn)確率。

目前，網(wǎng)絡(luò)上存在著大量的停用詞表，較為出名的有百度停用詞表、哈爾濱工業(yè)大學(xué)停用詞表。本文所用的停用詞詞典是哈爾濱工業(yè)大學(xué)停用詞表，停用詞的加載代碼如表1所示。

表1 停用詞的加載

1.def get_stopwords(self):2.stopwords=[]3.with open(self.stop_word_path,'r')as f:4.for line in f.readlines():5.stopwords.append(line.strip())6.return stopwords分析:通過這部分代碼,讀者可以清晰了解到如何利用Python加載哈爾濱工業(yè)大學(xué)的停用詞表。1.定義獲取停用詞表函數(shù)2.創(chuàng)建停用詞列表3.打開詞典,進(jìn)行讀取4.讀取文件中的每一行5.添加停用詞到列表中6.返回停用詞列表

根據(jù)返回的停用詞表，去除評(píng)論中經(jīng)過分詞的停用詞。

2.4 數(shù)據(jù)集標(biāo)注

對(duì)爬取的數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)明其分類的類別，主要做情感傾向性的標(biāo)注，如正面、負(fù)面等，為后期的實(shí)驗(yàn)提供數(shù)據(jù)。

2.5 特征提取及特征選擇

情感傾向性分析主要是判斷一段語料的正面以及負(fù)面性，而作這類的判斷主要的依據(jù)是特征的正確表征，一件物件的特征很多時(shí)候是其與其他物件的本質(zhì)上的區(qū)別。例如，在“感覺很難看，沒看懂。劉濤和梁佩詩都是打醬油的角色?！钡脑u(píng)論中，“難看”“沒看懂”“打醬油”便是這句評(píng)論的主要特征，而這些特征也是評(píng)論該評(píng)論是正面或者負(fù)面的主要依據(jù)。

在情感傾向性分析中，進(jìn)行特征選擇的方法一般有單詞，雙詞，以及單詞、雙詞組合。例如，“這電影真好看?！苯?jīng)過分詞、去除停用詞后，最后是剩下“電影”“真”“好看”等詞。當(dāng)使用雙詞作為特征時(shí)，就會(huì)有“電影真”“真好看”等特征。

但是，假如不對(duì)數(shù)據(jù)進(jìn)行特征提取，當(dāng)數(shù)據(jù)量達(dá)到一定量的時(shí)候，特征就會(huì)非常多，從而可能影響情感分類的性能，這便需要減少數(shù)據(jù)的特征，對(duì)數(shù)據(jù)進(jìn)行降維，即是對(duì)數(shù)據(jù)進(jìn)行特征提取。常用的特征提取方法有卡方統(tǒng)計(jì)、互信息、詞頻等[12]。本文主要使用的特征選擇的方法有卡方統(tǒng)計(jì)下的單詞、卡方統(tǒng)計(jì)下的單詞及雙詞組合、jieba的TF-IDF特征提取下的單詞、jieba的TF-IDF特征提取下的單詞及雙詞組合、經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞、經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞和雙詞組合等6種方法。

2.6 文本表示

由于電影評(píng)論文本是以自然語言的形式存在的，機(jī)器無法識(shí)別自然語言，故此，需要對(duì)這些文本進(jìn)行文本表示，使得其能夠被機(jī)器識(shí)別。如將“真”“好看”這2個(gè)特征，表示為:[{“真”:True,“好看”:True}，“pos”]。

3 情感分類模型的建立

文本預(yù)處理后，通過不同的機(jī)器學(xué)習(xí)算法對(duì)已處理的數(shù)據(jù)進(jìn)行訓(xùn)練以及測(cè)試，及通過對(duì)不同算法性能的比較，找出最優(yōu)的特征提取及特征選擇方法，并找出最適合進(jìn)行情感傾向性分析的算法。

本文所用的機(jī)器學(xué)習(xí)算法有：線性支持向量機(jī)(SVM)、多項(xiàng)式貝葉斯(Multinomial NB)、邏輯回歸(Logistic Regression)、決策樹(Decision Tree)、近鄰(K-Neighbors Classifier)、BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)。

3.1 線性支持向量機(jī)算法

SVM是基于統(tǒng)計(jì)學(xué)的VC維理論與結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的有監(jiān)督二分類器[13],根據(jù)給定的輸入數(shù)據(jù)及學(xué)習(xí)目標(biāo)，輸入數(shù)據(jù)的每個(gè)樣本的特征構(gòu)成特征空間，學(xué)習(xí)目標(biāo)是二元變量，正類與負(fù)類，即為情感分析中的正面與反面，尋找一個(gè)最優(yōu)超平面，使2類樣本的間距最大，此平面隔離不同類別的樣本數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)分類。

3.2 多項(xiàng)式貝葉斯算法

貝葉斯文本分類算法是一個(gè)經(jīng)典的文本分類算法，要求在事件B發(fā)生的情況下事件A發(fā)生的概率，可由條件概率公式導(dǎo)出：

使其一般化，集合{Ai}表示事件集合中部分事件的集合，那么：

本文使用后者公式進(jìn)行多項(xiàng)式貝葉斯模型實(shí)驗(yàn)，即[24]：

其中，|V|是訓(xùn)練樣本中總單詞數(shù)，Nki是wk在類別ci文檔中出現(xiàn)的次數(shù)。

3.3 邏輯回歸算法

邏輯回歸算法是在線性回歸的基礎(chǔ)上，將線性模型通過一個(gè)函數(shù)轉(zhuǎn)化為結(jié)果只有0/1的分類模型，依次經(jīng)過構(gòu)建函數(shù)、尋找決策邊界、求解代價(jià)函數(shù)、梯度下降求偏導(dǎo)4步驟解決文本分類問題。

3.4 決策樹算法

決策樹是由節(jié)點(diǎn)和分支組成的樹狀圖，分支由節(jié)點(diǎn)和子節(jié)點(diǎn)組成，其中節(jié)點(diǎn)代表學(xué)習(xí)或者決策過程中考慮的屬性，最后的葉節(jié)點(diǎn)表示分類結(jié)果，其核心是一種貪心算法，常見的決策樹算法有ID3、C4.5、CART方法。

3.5 K近鄰算法

K近鄰分類屬于向量空間模型，將整個(gè)數(shù)據(jù)集作為訓(xùn)練集[25]，通過確定待分類樣本與訓(xùn)練樣本之間的距離，找出距離待分類樣本最近的K個(gè)樣本作為待分類樣本的近鄰，然后把待分類樣本分到K個(gè)近鄰中文本數(shù)目最多的類別中。

3.6 BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，具有輸入層、隱含層、輸出層，它是根據(jù)某一種學(xué)習(xí)規(guī)則，不斷進(jìn)行訓(xùn)練，直到達(dá)到期望的輸出結(jié)果時(shí)停止。在此模型中輸入層為數(shù)據(jù)訓(xùn)練集，隱含層可以有多層，輸出層即為分類結(jié)果。在使用此模型訓(xùn)練時(shí)，要注意確定參數(shù)值及激活函數(shù)，進(jìn)而使模型的準(zhǔn)確度更高。

4 實(shí)驗(yàn)結(jié)果分析

4.1 不同特征選擇下算法分類的準(zhǔn)確率

本文主要使用的特征選擇的方法有卡方統(tǒng)計(jì)下的單詞、卡方統(tǒng)計(jì)下的單詞及雙詞組合、jieba的TF-IDF特征提取下的單詞、jieba的TF-IDF特征提取下的單詞及雙詞組合、經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞、經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞和雙詞組合等6種方法。表2為各種情況下的分類準(zhǔn)確率。

表2 各種特征選擇下的不同機(jī)器學(xué)習(xí)算法的分類準(zhǔn)確率

特征選擇方法chi_sq_unitchi_sq_unit_bigtf_idf_unittf_idf_unit_bigtf_chi_unittf_chi_unit_big近鄰0.5930.6380.5970.590.5870.577支持向量機(jī)0.6290.6320.6140.6220.6450.628貝葉斯0.8410.8430.8310.8280.8450.851邏輯回歸0.8380.8340.8240.8210.8350.84決策樹0.680.7010.6960.7150.690.696

表2中的chi_sq_unit代表的是卡方統(tǒng)計(jì)下的單詞，chi_sq_unit_big代表的是卡方統(tǒng)計(jì)下的單詞及雙詞組合，tf_idf_unit代表的是jieba的TF-IDF特征提取下的單詞，tf_idf_unit_big代表的是jieba的TF-IDF特征提取下的單詞及雙詞組合，tf_chi_unit代表的是經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞，tf_chi_unit_big代表的是經(jīng)過jieba的TF-IDF特征提取然后再經(jīng)過卡方統(tǒng)計(jì)信息量下的單詞和雙詞組合。

其分類準(zhǔn)確率圖如圖4所示。

圖4 各種特征選擇下的不同機(jī)器學(xué)習(xí)算法的分類準(zhǔn)確率

由圖4可知：

1)多項(xiàng)式貝葉斯、邏輯回歸、決策樹在進(jìn)行電影評(píng)論情感傾向性分析的時(shí)候具有更好的分類效果，這3種算法的分類性能明顯好于其他2種算法，更加適用于電影評(píng)論情感傾向性分析。

2)相對(duì)于單詞的特征選擇，用單詞以及雙詞組合的特征選擇方法能提升分類器的性能，選擇建立分類器時(shí)應(yīng)選擇單詞及雙詞組合的特征選擇。

3)在進(jìn)行特征提取時(shí)，經(jīng)過jieba的TF-IDF及卡方統(tǒng)計(jì)提取較為重要的詞具有更好的分類效果，在卡方統(tǒng)計(jì)提取較為重要的詞次之，只進(jìn)行TF-IDF特征提取的效果最差。

結(jié)合上面的結(jié)論可得，在尋找最好的情感分類模型時(shí)，在算法上應(yīng)該選擇使用多項(xiàng)式貝葉斯、邏輯回歸或者決策樹，在特征提取的方面應(yīng)該使用jieba的TF-IDF及卡方統(tǒng)計(jì)相結(jié)合的特征提取方法，在特征選擇方面應(yīng)該使用單詞及雙詞結(jié)合的特征選擇方法。

4.2 不同特征數(shù)的算法分類的準(zhǔn)確率

在進(jìn)一步研究時(shí)，選擇使用jieba的TF-IDF及卡方統(tǒng)計(jì)相結(jié)合的特征提取方法，在特征選擇方面使用單詞及雙詞結(jié)合的特征選擇方法，并通過調(diào)整特征提取的特征數(shù)，探究不同的特征數(shù)在不同分類器下，對(duì)情感分類器的分類效果的影響。

對(duì)于BP神經(jīng)網(wǎng)絡(luò)，使用了Python的Keras API及sklearn包，將Relu作為激活函數(shù)，訓(xùn)練集以及測(cè)試集batch-size設(shè)置為128、dropout值為0.5來防止過擬合，輸出層采用了Sigmoid進(jìn)行二分類處理，并且采用了梯度下降的優(yōu)化方法，epoch設(shè)置為5，20%數(shù)據(jù)作為測(cè)試集，以上算法分類效果如表3所示。

表3 在不同特征數(shù)下各分類器的分類效果

分類器特征數(shù)100020003000400050006000貝葉斯0.8140.840.850.8580.8490.844邏輯回歸0.8110.8250.8480.8430.8450.843BP神經(jīng)網(wǎng)絡(luò)0.8280.8440.8560.8620.8430.833決策樹0.7010.7050.7020.6990.7150.709

表3中的1000、2000、3000、4000、5000、6000代表的是使用jieba的TF-IDF及卡方統(tǒng)計(jì)進(jìn)行特征提取的特征數(shù)，通過調(diào)整特征數(shù)的數(shù)量，來調(diào)整分類器的性能。

由表3可知：

1)分類器的分類效果普遍隨著特征數(shù)的增加而先變優(yōu)然后再變差。

2)最好的分類效果出現(xiàn)在特征數(shù)為4000，且分類算法為BP神經(jīng)網(wǎng)絡(luò)上。

通過對(duì)上述的所有實(shí)驗(yàn)進(jìn)行總結(jié)可得：

在進(jìn)行電影評(píng)論情感傾向性分析時(shí)，以jieba的TF-IDF及卡方統(tǒng)計(jì)結(jié)合提取出來的較為重要的單詞及雙詞，并且提取的特征數(shù)為4000時(shí)，在BP神經(jīng)網(wǎng)絡(luò)算法的分類準(zhǔn)確率最高，而多項(xiàng)式貝葉斯次之，其他的分類模型則效果一般。

5 結(jié)束語

隨著信息時(shí)代的發(fā)展，分享成為了時(shí)代的主流，人們?cè)诟鞣N平臺(tái)、通過不同的方式，去表達(dá)自己的情感，這便產(chǎn)生了各種各樣代表著人們情感的文本。如何從大量的信息文本中，挖掘出有用的信息，是機(jī)器學(xué)習(xí)研究的一個(gè)大的方向。

本文通過對(duì)不同特征提取方法、特征選擇方法的結(jié)合，以及用不同的機(jī)器學(xué)習(xí)方法對(duì)電影評(píng)論進(jìn)行訓(xùn)練及測(cè)試，最終得出在經(jīng)過jieba的TF-IDF及卡方統(tǒng)計(jì)提取信息量為前4000的單詞及雙詞作為特征，并使用BP神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練的算法使情感分類的效果最好，其準(zhǔn)確率為86.2%。