李壽山，黃居仁

(香港理工大學 中文及雙語學系，中國 香港)

1 引言

目前，人們越來越習慣于在網(wǎng)絡上表達自己的觀點和情感。網(wǎng)絡上出現(xiàn)了大量的帶有情感信息的文本，這些情感文本以商品評論、論壇評論、博客等形式存在。面對這些越來越多表達情感信息的文本，傳統(tǒng)的基于主題的文本分類系統(tǒng)已經(jīng)不能滿足人們的需求，迫切需要對這些情感文本進行研究和分析。情感文本分類即是在這種氛圍下產生的一種特殊的文本分類任務，該任務按照表達的情感傾向性對文本進行分類[1]。例如，判斷文本對某個事物的評論是“好”還是“壞”。該任務的研究歷史雖然不長，但是已經(jīng)成為自然語言處理方向里面的一個研究熱點。尤其是近幾年在自然語言處理相關國際頂級會議上(ACL、EMNLP、SIGIR、WWW等)涌現(xiàn)出了大量的文章。目前，該方向的研究主要不僅僅是在英文方面，中文情感文本分類的研究也得到了迅速的發(fā)展，例如，文獻[2-4]。

針對情感分類任務，目前主流的方法是基于機器學習的分類方法，該方法利用統(tǒng)計機器學習分類方法學習標注樣本，然后用學習好的分類器測試非標注樣本。這種方法在性能上比其他的基于規(guī)則的方法有著明顯的優(yōu)勢[1]。不過，機器學習方法中存在多種不同的分類方法，選擇合適的分類方法便成為情感分類研究中的一個重點問題。文獻[4]首先采用機器學習方法進行英文文本(電影評論)的情感分類研究，文中給出三種不同的分類方法，分別為樸素貝葉斯(Naive Bayes，NB)，最大熵(Maximum Entropy，ME)和支持向量機(Support Vector Machines, SVM)。他們的研究結果發(fā)現(xiàn)大部分的情況下SVM取得的分類效果最好。后續(xù)的許多研究工作都是基于SVM的分類方法進行展開的，例如，文獻[5-6]。對于中文文本的情感分類研究，文獻[8]采用K-近鄰(KNN)，感知器Winnow，NB和SVM四種分類方法對來自不同領域的評論文本進行分類，實驗結果發(fā)現(xiàn)SVM在所有領域都取得了最好的分類效果。文獻[9]也有類似的結論，不過實驗結果中SVM的分類效果沒有非常大的優(yōu)勢，而且在利用不同的特征時，SVM的效果有時候會差于其他分類方法。然而，文獻[10]給出了的結論與上面的文章不是很一致，該文發(fā)現(xiàn)如果利用二元(Bigram)詞特征或者單字特征的時候，NB的分類效果是最好的。因此，我們可以認為SVM分類是情感文本分類任務中表現(xiàn)比較好的分類方法，但是該方法不可能在所有領域所有特征集合下取得最好的分類效果。

本文將采用四種不同的分類方法，即樸素貝葉斯，最大熵，支持向量機和隨機梯度下降線性分類方法對中文情感文本分類進行研究。本文的重點不是比較這四種方法的分類表現(xiàn)。我們相信不同的領域或者不同的特征可能需要不一樣的分類方法才能取得最好的分類效果。因此，我們的目標是應用組合分類方法組合這四種方法，考察組合后的方法能否獲得比最好分類方法更好的分類效果。

本文的其余部分如下安排：第2節(jié)詳細介紹各種分類方法在情感分類上面的應用；第3節(jié)給出基于Stacking的組合分類器方法；第4節(jié)是實驗結果和分析；最后一節(jié)是本文的結論和將來的一些工作。

2 統(tǒng)計情感文本分類方法

2.1 樸素貝葉斯(Naive Bayes，NB)

該方法的基本思想是利用特征項和分類的聯(lián)合概率來估計給定文檔的分類概率[11]。樸素貝葉斯假設文本是基于詞的Unigram模型，即文本中詞的出現(xiàn)依賴于文本類別，但不依賴于其他詞及文本的長度，也就是說，詞與詞之間是獨立的。文檔一般采用DF向量表示法，即文檔向量的分量為一個布爾值：0表示相應的單詞在該文檔中未出現(xiàn)，1表示出現(xiàn)。則文檔d屬于類c文檔的概率為：

(1)

其中，

(2)

其中，P(d(t)|c)是對在c類文檔中特征t出現(xiàn)的條件概率的拉普拉斯估計，N(d(t)|c)是c類文檔中特征t出現(xiàn)的文檔數(shù)，|dc|為c類文檔所包含的文檔的數(shù)目。對于情感文本分類，c∈{-1， 1}，分別表示負面(貶)或者正面(褒)。

2.2 最大熵(Maximum Entropy，ME)

最大熵分類方法是基于最大熵信息理論，其基本思想是為所有已知的因素建立模型，而把所有未知的因素排除在外。也就是說，要找到一種概率分布，滿足所有已知的事實，但是讓未知的因素最隨機化。相對于樸素貝葉斯方法，該方法最大的特點就是不需要滿足特征與特征之間的條件獨立。因此，該方法適合融合各種不一樣的特征，而無需考慮它們之間的影響。

在最大熵模型下，預測條件概率P(c|d)的公式如下：

(3)

其中，Z(d)是歸一化因子。Fi,c是特征函數(shù)，定義為：

(4)

在做情感分類的時候，我們用的特征主要是詞特征是否出現(xiàn)在某個文檔里并屬于某個類別。

2.3 支持向量機(Support Vector Machines，SVM)

該方法主要是用于解決二元分類模式識別問題，它的基本思想是在向量空間中找到一個決策平面(Decision surface)，這個平面能“最好”地分割兩個分類中的數(shù)據(jù)點[12]。支持向量機的核心思想就是要在訓練集中找到具有最大類間界限的決策平面。

2.4 隨機梯度下降(Stochastic Gradient Descent，SGD)

隨機梯度下降是一種線性分類方法[13]，即f(d)=wTd。其中d是文檔的向量表示。該分類方法的訓練目標就是求得最佳的參數(shù)w如下：

(5)

顧名思義，隨機梯度下降分類方法是利用隨機梯度下降解決公式(5)中表達的優(yōu)化問題，從而得到SGD的在線更新策略如下[13]：

(6)

fort=1,2, ...

從樣本集合里面隨機抽取樣本(dt,ct)；

end

該分類方法適用于高維大規(guī)模的分類問題[13]。文獻[14]將該算法應用于英文的情感文本分類任務中，取得了同SVM類似的分類效果。

3 組合分類方法

組合分類方法是融合多個分類器的結果從而得到一個新的融合結果，這個融合結果將取代各個基分類器的結果作為最終的分類決定[15]。組合分類器方法是模式識別以及機器學習理論研究領域里面的一個重要的研究方向。

3.1 產生基分類器

構建一個多分類器系統(tǒng)，首先需要產生多個基分類器用以組合。產生基分類器的方式大致有三種。第一種方式是通過訓練不同的語料庫產生不同的分類器；第二種方式是通過訓練不同的特征集產生多個基于不同特征集的分類器。例如：在生物認證問題中，作為認證的特征可以是人臉、聲音、虹膜等。這些特征中的任一特征都可以訓練單個分類器，這樣，一個生物認證系統(tǒng)可能包括多種生物特征的分類器。第三種方式是通過不同的學習方法獲得不一樣的分類器。很多分類方法是基于不同的機理的，如K-近鄰(KNN)方法是基于記憶的方法，支持向量機方法(SVM)是基于結構風險最小理論的方法等等。因此，不同的分類方法實現(xiàn)的分類器實現(xiàn)分類的效果往往是不一樣的。一種可行的方式就是將多個分類方法實現(xiàn)的分類器組合起來。

3.2 融合算法

獲得了基分類器的分類結果后，組合分類器方法需要特別的融合方法去融合這些結果。融合方法本身就是“多分類系統(tǒng)”研究領域的一個基本問題之一[15]。融合方法可以分為兩種，固定的融合方法(Fixed Rules)和可訓練的融合方法(Trained Rules)。前者的優(yōu)勢在于它們不需要額外的訓練語料進行訓練。這種方法簡單，易實現(xiàn)，如簡單的投票規(guī)則(Voting Rule)和乘法規(guī)則[15]?？捎柧毜娜诤戏椒ǖ膬?yōu)勢在于在足夠的訓練語料下，它們能夠獲得更好的分類效果。

假設有R個參加組合的分類器fk(k=1,…,R)，這些分類器給樣本x的分類結果為Lk(Lk=c1,…,cm)。另外，他們提供出了屬于每個類別的概率信息：Pk= [p(c1|dk), …,p(cm|dk)]t，其中p(ci|dk)表示樣本dk屬于類別ci的概率。如果樣本dk屬于類別cj，在不同的融合算法中需要滿足不一樣的條件。下面是一種常見的固定融合算法：

乘法規(guī)則的條件[15]：

(7)

目前比較主流的一種可訓練的融合方法叫做元學習的方法(Meta-learning)。元學習的融合方法是指，將基分類器輸出的分類結果作為中間特征[16](又叫元特征)，即：

Pmeta= [P1,P2,…,Pk,…,Pm]

(8)

然后把這些特征向量作為輸入再一次學習一個分類器，該第二層的分類器叫元分類器。

3.3 基于Stacking的組合分類器方法

基于Stacking的組合分類器方法是目前比較主流的組合分類器方法[17]。該方法產生基分類器的方式即是上面提到的第三種方式。利用上面提到的四種分類方法，即NB，ME，SVM和SGD，訓練得到四個基分類器。然后，使用的融合算法是可訓練的元學習方法。特殊的是中間樣本(元學習樣本)是通過對訓練樣本的N-fold交叉驗證(Cross validation)獲得的。另外，針對元分類器的分類方法也可以有很多種選擇，在后面的實驗中，我們分別選取SVM和ME做相關實驗。基于Stacking的組合分類器方法的系統(tǒng)框架結構如圖1所示。

圖1 基于stacking的組合分類器系統(tǒng)的框架結構

(9)

(10)

交叉驗證使得獲得的元學習向量數(shù)目同整個訓練樣本里面的樣本數(shù)目是一樣的。由于元分類器的向量維度非常小(為2×l)，該分類器的訓練和測試速度非?？?。因此，元學習過程對系統(tǒng)的時間復雜度影響不大。

4 實驗設計及分析

本實驗中，我們使用了譚松波博士收集的一個的中文情感文本分類語料庫*http://www.searchforum.org.cn/tansongbo/，該語料庫的來源是旅館預訂領域，我們選取了2 000個樣本。為了確保實驗分析更加可靠，我們在卓越網(wǎng)站*http://www.amazon.cn/上面另外收集了來自三個領域的中文評論語料。這三個領域分別是書籍﹑DVD和運動產品。實驗中的情感文本分類的任務是將評論分為正面和負面，每個領域大概有1 600個樣本。實驗過程中，我們選擇80%的樣本作為訓練樣本，剩余的20%樣本作為測試樣本。上面提到的四種分類方法中，SVM是使用標準工具light-SVM*http://svmlight.joachims.org/，NB和ME使用的是MALLET機器學習工具包*http://mallet.cs.umass.edu/。在使用這些工具的時候，所有的參數(shù)都設置為它們的默認值，例如SVM使用的是線性核函數(shù)。SGD方法是由我們自主實現(xiàn)的(參考文獻[13])。在實現(xiàn)過程中，我們采用的學習速率為ηt=0.002，損失函數(shù)L(x,y)為Huber損失函數(shù)[18]。在實現(xiàn)基于Stacking的組合分類方法時，我們在訓練樣本中進行了5-fold交叉驗證來得到元學習樣本。然后分別使用SVM和ME作為元分類器的分類算法。為了便于比較，我們同樣給出了一種固定方式的融合算法—乘法規(guī)則的融合結果。

我們采取了分類正確率來評價分類的效果，其定義如下：

(11)

在進行分類之前，首先我們采用中國科學院計算技術研究所的分詞軟件ICTCLAS對中文文本進行分詞操作。給定分好詞的文本后，我們分別選取詞的Unigram和Unigram+Bigram作為特征，用以獲得文本向量的表示。

表1和表2給出了四個基于不同分類算法的基分類器在四個領域里面的分類結果。表1和表2的結果分別是利用詞的Unigram和Unigram+Bigram

表 1 基分類器在各個領域上面的分類結果(利用詞的Unigram特征)

表2 基分類器在各個領域上面的分類結果(利用詞的Unigram+Bigram特征)

作為特征得到的。從表1的結果可以看出，在使用Unigram的時候，沒有一種分類算法是有絕對優(yōu)勢的。SVM的表現(xiàn)相對來說比較好，它在兩個領域中取得了最好的分類效果。然而，從表2的結果可以看出，NB分類方法取得了一致最好的效果。這一點同文獻[10]的結論一致。比較表1和表2的結果，我們可以發(fā)現(xiàn)，引入詞的Bigram對分類的性能提高有明顯的幫助?？傮w來說，該實驗結果同我們的觀點一致，就是說不同的領域，不同的特征集合需要的最優(yōu)分類算法往往也不一樣。

表3 不同融合算法在各個領域里面的表現(xiàn)(利用詞的Unigram特征)

表4 不同融合算法的識別結果比較(利用詞的Unigram+Bigram特征)

表3和表4給出了組合分類方法在四個領域里面的分類結果。表1和表2的結果分別是利用詞的Unigram和Unigram+Bigram作為特征得到的。為了便于比較Stacking組合方法和其他方法，我們還給出了基分類器中獲得的最好分類結果和乘法規(guī)則融合算法的結果。從表 3和表 4的結果可以看出，乘法融合算法基本能夠保證組合后的結果接近或者超過最好基分類器的結果(在DVD領域使用Unigram+Bigram特征時有0.6%的性能損失)。然而，基于Stacking的組合方法能夠很好地提高分類效果，比最好的基分類器的性能都有所提高。這一點對實際應用非常重要，因為我們可以不必去面對每個領域選擇合適的分類算法，而是利用組合的方法去組合不同的分類方法。這樣組合的結果還可以超過最好的基分類器的結果。一般情況下， ME分類方法作為元學習的時候，組合分類的結果表現(xiàn)比較穩(wěn)定。

組合分類方法比最佳分類方法結果平均提高了一個百分點左右，雖然這樣的提高并不算非常顯著，但是在實際應用中，幾乎不可能有一種分類方法能夠在不同的領域或者不同的特征集上都能取得最佳的效果(例如表1中顯示，ME方法在書籍領域取得最佳效果而在旅館領域，SGD方法表現(xiàn)最好)。更重要的是，最差的分類方法比組合分類方法相差的正確率都超過了兩個百分點，尤其在書籍領域，組合分類方法(0.811)比最差的分類方法(0.775)提高了3.6%。因此，我們認為，為了保證系統(tǒng)分類效果達到最佳表現(xiàn)，組合分類方法是值得使用的。但是由于組合系統(tǒng)需要進行多個分類器的分類，系統(tǒng)在于測試階段的時間復雜度要比使用單一分類方法要高。不過這種時間復雜度方面的提高是相對于分類器數(shù)目線性變化的，在實際應用中是可以接受的。

5 結論

在情感文本分類任務中，選擇合適的分類方法直接影響系統(tǒng)的分類性能。為了避免不同的領域選擇不同合適的分類方法，本文提出利用基于Stacking的組合分類方法組合四種不同性質的分類方法，分別為NB﹑ME﹑SVM和SGD。在實驗中，我們利用四個不同領域的中文情感文本分類語料測試了該組合分類方法。實驗結果表明該方法能夠獲得比固定融合算法(乘法規(guī)則)更好的分類結果，而且能夠獲得比基分類器最好結果更佳的分類效果。

在下一步的研究工作中，我們將參考這些研究比較成熟的結果，利用情感文本更豐富的特征信息產生多樣的分類器及如何實現(xiàn)動態(tài)的分類器選擇方法等問題。例如，不同詞性的特征對于整篇文章的情感分類的貢獻不一樣，我們可以組合不同詞性特征產生的分類器，考察組合后的分類效果。另外，我們將重點分析情感(Sentiment)文本中感情(Emotion)表達的份額，并利用已有的感情分類語料構建一個獨立于領域的情感分類器，用以融合到我們的系統(tǒng)中。

[1] B. Pang, L. Lee, and S. Vaithyanathan. Thumbs up? Sentiment classification using machine learning techniques [C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP-02).2002.

[2] 徐軍, 丁宇新, 王曉龍. 使用機器學習方法進行新聞的情感自動分類[J]. 中文信息學報，2007，21(6): 95-100.

[3] 朱嫣嵐, 閔錦, 周雅倩, 黃萱菁, 吳立德. 基于HowNet的詞匯語義傾向計算[J]. 中文信息學報，2006，20(1): 14-20.

[4] 徐琳宏, 林鴻飛, 楊志豪. 基于語義理解的文本傾向性識別機制[J]. 中文信息學報，2007，21(1): 96-100.

[5] B. Pang and L. Lee. A sentimental education: Sentiment analysis using subjectivity summarization based on minimum cuts [C]//Proceedings of the 42nd Meeting of the Association for Computational Linguistics (ACL-04). 2004.

[6] E. Riloff, S. Patwardhan, and J. Wiebe. Feature subsumption for opinion analysis [C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP-06). 2006.

[7] H. Cui, V. Mittal, and M. Datar. Comparative experiments on sentiment classification for online product reviews [C]//Proceedings of AAAI-06, the 21st National Conference on Artificial Intelligence. 2006.

[8] 唐慧豐，譚松波，程學旗. 基于監(jiān)督學習的中文情感分類技術比較研究[J]. 中文信息學報，2007，21(6): 88-94.

[9] S. Tan and J. Zhang. An empirical study of sentiment analysis for Chinese documents [J]. Expert Systems with Applications. 2008,34(4): 2622-2629.

[10] J. Li and M. Sun. Experimental study on sentiment classification of Chinese review using machine learning techniques [C]//Processing of International Conference on Natural Language Processing and Knowledge Engineering, (NLP-KE-07), 2007.

[11] M. Sahami. Learning limited dependence Bayesian classifiers [C]//Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-96), 1996:335-338.

[12] V. Vapnik. The Nature of Statistical Learning Theory [M]. Springer, Berlin, 2005.

[13] T. Zhang. Solving large scale linear prediction problems using stochastic gradient descent algorithms [C]//Proceedings of International Conference on Machine Learning (ICML-04). 2004.

[14] J. Blitzer, M. Dredze, and F. Pereira. Biographies, Bollywood, Boom-boxes and Blenders: Domain adaptation for sentiment classification [C]//Proceedings of Annual Meeting on Association for Computational Linguistics (ACL-07). 2007.

[15] J. Kittler, M. Hatef, R.P.W. Duin, and J. Matas. On combining classifiers [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20：226-239.

[16] R. Vilalta and Y. Drissi. A perspective view and survey of meta-learning [J]. Artificial Intelligence Review, 2002, 18(2): 77-95.

[17] Saso Dzeroski and Bernard Zenko: Is combining classifiers with stacking better than selecting the best one? [J].Machine Learning. 2004, 54(3): 255-273.

[18] Rie Ando and Tong Zhang. A framework for learning predictive structures from multiple tasks and unlabeled data [J]. Journal of Machine Learning Research, 2005,6:1817-1853.