張慶慶，劉西林

ZHANG Qingqing,LIU Xilin

西北工業(yè)大學(xué) 管理學(xué)院 管理科學(xué)與工程系，西安710129

School of Management,Northwestern Polytechnical University,Xi’an 710129,China

1 引言

基于機(jī)器學(xué)習(xí)的文本情感分類技術(shù)有兩個(gè)重要步驟，文本表示和分類器的使用。經(jīng)典的文本表示模型——向量空間模型，俗稱“詞袋”模型在信息檢索、主題分類取得不錯(cuò)的效果。然而這種模型把文本看作是無(wú)序的詞匯組合，忽略了詞與詞之間的順序信息和句子語(yǔ)義信息，已不能滿足文本情感分類任務(wù)的需求。為了使得一種文本表示方法包含更多的語(yǔ)義信息，很多研究基于“詞袋”模型，借助于人工特征工程，在已有特征基礎(chǔ)上不斷添加新特征。其中一類與句法相關(guān)，著重句子的個(gè)體組成成份和他們的排列順利，如二元詞（bigram）、多元詞（n-gram）、詞性、標(biāo)點(diǎn)符號(hào)等[1-3]，也有在其基礎(chǔ)上構(gòu)建組合較復(fù)雜的特征[4-6]。利用情感詞典計(jì)算情感得分判斷文本情感極性作為一種快速粗略判斷方法切實(shí)可行，但準(zhǔn)確率提高受到限制。一些學(xué)者則結(jié)合文本情感詞典構(gòu)造特征作為文本表示特征向量的一部分[7-8]。除此以外，依存句法關(guān)系是近年來(lái)的研究熱點(diǎn)，它通過(guò)對(duì)語(yǔ)言單位內(nèi)成分之間的依存關(guān)系揭示其句法結(jié)構(gòu)，指出詞語(yǔ)之間的搭配關(guān)系。有學(xué)者從依存解析樹中提出了樹深度、句法類別、分枝數(shù)量等作為特征[9]，也有學(xué)者利用依存關(guān)系和詞性信息組合確定消息極性[10]。然后某些特征構(gòu)建復(fù)雜，基于“詞袋”框架上，某些特征對(duì)分類影響不大。

文本情感分類任務(wù)中分類器的選擇也是關(guān)鍵的一步，常用分類器有樸素貝葉斯（Na?ve Bayes）、最大熵（Maximum Entropy）和支持向量機(jī)（Support Vector Machine）等[11-13]。而支持向量機(jī)被普遍認(rèn)為分類精度高于其他分類器。近年來(lái)用于文本情感分類最新的技術(shù)是深度學(xué)習(xí)。深度學(xué)習(xí)是一種強(qiáng)大的特征學(xué)習(xí)工具，它通過(guò)多隱層的非線性映射學(xué)習(xí)到輸入數(shù)據(jù)的深層特征表示。其中，深度信念網(wǎng)絡(luò)（Deep Belief Network）通過(guò)波爾茲曼機(jī)預(yù)訓(xùn)練和后向傳播算法進(jìn)行微調(diào)，從輸入結(jié)點(diǎn)學(xué)習(xí)一種深層的輸入數(shù)據(jù)的表示[14]，已在多個(gè)領(lǐng)域取得很好的效果。在文本情感分類領(lǐng)域也有應(yīng)用，如Duyu Tang 等從微博數(shù)據(jù)中抽取一元詞、標(biāo)點(diǎn)符號(hào)、情感詞典、擬聲詞、功能詞作為基本特征，用于為深度信念網(wǎng)絡(luò)的輸入[15]，取得不錯(cuò)的分類效果；Xiao Sun 將文本信息的特征與社交網(wǎng)絡(luò)的特征用于深度信念網(wǎng)絡(luò)，并應(yīng)用于中文微博的情感分類中[16]，分類結(jié)果均得到明顯提高。所以，語(yǔ)義豐富的文本表示方法用深度神經(jīng)網(wǎng)絡(luò)可以得到更好的應(yīng)用。

為了提高文本情感分類精度，本文提出一種三元組文本表示方法。從句子的依存解析樹出發(fā)，通過(guò)合并與刪除冗余結(jié)點(diǎn)，得到用于文本表示的三元組依存關(guān)系特征。為了檢驗(yàn)此種文本表示方法的有效性，同時(shí)構(gòu)造了以一元詞特征為基礎(chǔ)，在其上添加由二元詞、詞性、標(biāo)點(diǎn)符號(hào)構(gòu)成的句法特征，結(jié)合情感詞典的詞典得分和從依存句法樹中抽取的簡(jiǎn)單依存關(guān)系特征的組合特征表示方法。將本文的三元組依存關(guān)系特征向量和以一元詞為基礎(chǔ)的組合特征向量用于支持向量機(jī)和深度信念網(wǎng)絡(luò)中，探索三元組依存關(guān)系特征文本表示方法對(duì)中文文本情感分類研究的作用和影響。

2 方法介紹

2.1 三元組依存關(guān)系表示形式

一篇文檔一般由多個(gè)句子組成。給定一篇由n個(gè)句子組成的文檔D，表示為：

D=[S1,S2,…,Sn]

對(duì)單個(gè)句子Si進(jìn)行分詞，則句子變換為由離散的一系列單詞和標(biāo)點(diǎn)符號(hào)組成的向量，即：

Si=[t1,t2,…,tm]

tk為組成句子成分的詞或標(biāo)點(diǎn)符號(hào)。對(duì)于單句Si，經(jīng)過(guò)句法依存解析器解析后，得到：

Gi=(Si,Ei)

Ei對(duì)應(yīng)著Si所有的邊集合：Ei={e1,e2,…,ek}

對(duì)于任意的ej用三元組表示，是依存解析樹中的支配詞（governor），一般為修飾部分，是連接兩結(jié)點(diǎn)的關(guān)系（relation），是依存解析樹的從屬詞（dependent）。

那么，一元詞特征和二元詞特征用以上符號(hào)表示為：

unigram(Si)={(t1),(t2),…,(tm)}

bigram(Si)={(t1,t2),(t2,t3),…,(tm-1,tm)}

用treegram表示三元組依存關(guān)系特征，則得到：

以句子S=“周圍環(huán)境還可以比較安靜”為例，用上述符號(hào)來(lái)表示。分詞后，得到S=[周圍 環(huán)境 還 可以 比較 安靜]

在分詞的基礎(chǔ)上得到依存樹結(jié)構(gòu)如圖1 所示。

圖1 “周圍環(huán)境還可以比較安靜”的依存解析樹

由圖1 得到treegram向量為：

2.2 三元組依存關(guān)系特征構(gòu)成方法

三元組依存關(guān)系特征在句子的完整依存解析樹上進(jìn)行。為了壓縮特征空間并且得到有效的特征項(xiàng)，對(duì)得到的依存解析樹做以下處理：先在完整依存樹基礎(chǔ)上根據(jù)一定的規(guī)則對(duì)樹結(jié)構(gòu)中某些結(jié)點(diǎn)進(jìn)行刪除和合并，再對(duì)保留下來(lái)的樹結(jié)構(gòu)進(jìn)行三元組轉(zhuǎn)換，最后為了保證所得特征的泛化能力，對(duì)保留的三元組關(guān)系特征進(jìn)行一般化處理。

2.2.1 結(jié)點(diǎn)的刪除與合并

得到的原始特征中存在著大量的無(wú)用和冗余信息，結(jié)合中文語(yǔ)法特點(diǎn)制定相應(yīng)規(guī)則，刪掉和融合一部分不影響文本情感表達(dá)的結(jié)點(diǎn)。所使用的規(guī)則如下：（1）合并由名詞修飾關(guān)系nn 連接的兩個(gè)結(jié)點(diǎn)，見例子“大堂環(huán)境比較差”一句的依存解析分析。（2）合并由conj 連接的兩個(gè)名詞結(jié)點(diǎn)。（3）刪除由關(guān)系從句關(guān)系rcmod 連接的修飾部分，以句子“該酒店對(duì)去上海旅游或公務(wù)的人都很合適”為例。

句子“大堂環(huán)境比較差”，其依存解析樹見圖2。

關(guān)系：環(huán)境→大堂，“環(huán)境”和“大堂”都為名詞，而他們之間的關(guān)系為名詞修飾語(yǔ)“nn”的關(guān)系。（環(huán)境，nn，大堂）這樣的特征對(duì)整個(gè)句子情感表達(dá)是沒有作用的，故合并由名詞修飾語(yǔ)“nn”連接的兩個(gè)結(jié)點(diǎn)，合并前后依存解析樹如圖2 和圖3 所示。同理，對(duì)于“conj”連接的關(guān)系也作同樣的處理。

圖2 “大堂環(huán)境比較差”依存解析樹

圖3 合并結(jié)點(diǎn)后的依存解析樹

句子“該酒店對(duì)去上海旅游或公務(wù)的人都很合適”的依存解析樹如圖4 所示。

圖4 “該酒店對(duì)去上海旅游或公務(wù)的人都很合適”的依存解析樹

“去上海公務(wù)或旅游”是對(duì)“人”的修飾，這部分不影響整個(gè)句子情感傾向的改變。刪掉由關(guān)系從句修飾“rcmod”連接的依存部分，變換為圖5 所示依存解析樹。

圖5 刪除結(jié)點(diǎn)后的依存解析樹

根據(jù)以上方法，在得到原句依存解析樹基礎(chǔ)上執(zhí)行刪除結(jié)點(diǎn)和合并結(jié)點(diǎn)操作。合并結(jié)點(diǎn)在刪除結(jié)點(diǎn)操作完成之后進(jìn)行，刪除結(jié)點(diǎn)與合并結(jié)點(diǎn)算法和流程如圖6和圖7 所示。

圖6 刪除結(jié)點(diǎn)算法

圖7 合并結(jié)點(diǎn)算法

2.2.2 一般化

為了使得到的特征更具有普遍性，采用通配符策略，且對(duì)每個(gè)三元組關(guān)系分別采用一元通配符和二元通配符的策略。如對(duì)于（安靜，nsubj，環(huán)境），采用一元通配符可以得到以下三個(gè)一般化特征項(xiàng)：

1.（*，nsubj，環(huán)境）

2.（安靜，*，環(huán)境）

3.（安靜，nsubi，*）

運(yùn)用二元通配符可以得到：

4.（安靜，*，*）

5.（*，*，環(huán)境）

6.（*，nsubj，*）

特征6 表示文本中此種關(guān)系是否存在，此含義已經(jīng)在前三條特征中包含，為避免無(wú)意義特征，此條忽略。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)和實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于網(wǎng)上研究學(xué)者收集整理的酒店評(píng)論語(yǔ)料，語(yǔ)料從攜程網(wǎng)采集整理而成（http：//www.datatang.com/data/11936）。本文在原有數(shù)據(jù)基礎(chǔ)上重新做了斷句處理和類別標(biāo)注。去除重復(fù)和無(wú)意義的句子后，從中隨機(jī)選擇正向評(píng)論語(yǔ)句4 000 條，負(fù)向評(píng)論語(yǔ)句4 000 條。

對(duì)選定的句子采用中國(guó)科學(xué)院編寫的中文分詞工具NLPIR 對(duì)評(píng)論文本進(jìn)行分詞、詞性標(biāo)注（http：//ictclas.nlpir.org/）。在分詞和詞性標(biāo)注的文本基礎(chǔ)上實(shí)施兩種處理方式。一種是使用斯坦福大學(xué)提供的Stanford Parser 工具包對(duì)每個(gè)文本進(jìn)行依存句法解析[17]得到依存解析樹，并根據(jù)本文所提方法構(gòu)造出三元組依存關(guān)系特征。一種是提取出一元詞特征、句法特征、簡(jiǎn)單依存關(guān)系特征、詞典得分。其中，句法特征由二元詞、詞性和標(biāo)點(diǎn)符號(hào)組成。簡(jiǎn)單依存關(guān)系特征，即只是表示依存關(guān)系不帶從屬詞和依賴詞的標(biāo)識(shí)。詞典得分，利用臺(tái)灣大學(xué)提供的中文情感詞典，通過(guò)詞典中詞條匹配，找到此句中所有含有情感表達(dá)的詞，用含有正向情感表達(dá)詞的個(gè)數(shù)減去還有負(fù)向情感表達(dá)詞的個(gè)數(shù)的最終得分作為特征值。公式如下：

Polar(S)=Sum(Postive)-Sum(negative)

為了避免特征冗余造成的向量空間維數(shù)過(guò)大從而影響分類效果，根據(jù)信息增益公式計(jì)算每個(gè)特征的信息增益分?jǐn)?shù)，選擇分?jǐn)?shù)靠前的1 000、2 000、4 000、6 000、8 000、10 000、12 000、14 000 的特征項(xiàng)，以此作為特征向量從而構(gòu)造所有文本的向量表示，特征值采用二進(jìn)制表示方法，即特征項(xiàng)出現(xiàn)為“1”，不出現(xiàn)為“0”。

將得到的文本向量分別用于支持向量機(jī)和深度信念網(wǎng)絡(luò)中，實(shí)驗(yàn)流程圖如圖8 所示。

圖8 實(shí)驗(yàn)流程圖

實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)采用目前文本情感分類領(lǐng)域常用的評(píng)價(jià)指標(biāo)：平均分類精度（Average Accuracy），其分類精度指標(biāo)定義如下：

上式中TP（True Positive）表示分類模型正確預(yù)測(cè)的正樣本數(shù)，TN（True Negative）表示分類模型正確預(yù)測(cè)的負(fù)樣本數(shù)，F(xiàn)P（False Positive）表示分類模型錯(cuò)誤預(yù)測(cè)的正樣本數(shù)，F(xiàn)N（False Negative）表示分類模型錯(cuò)誤預(yù)測(cè)的負(fù)樣本數(shù)。

所選特征用于支持向量機(jī)和深度信念網(wǎng)絡(luò)進(jìn)行結(jié)果比較。

3.2 結(jié)果分析

根據(jù)以上實(shí)驗(yàn)流程，對(duì)文本進(jìn)行分詞、詞性標(biāo)注后，一元詞7 076 個(gè)，句法特征43 108 個(gè)，簡(jiǎn)單依存關(guān)系特征45 個(gè)，詞典得分7 個(gè)。為了比較不同特征對(duì)分類精度的影響，把一元詞作為基準(zhǔn)特征，依次加上其余特征。分別用F1、F2、F3、F4 表示一元詞、句法特征、簡(jiǎn)單依存關(guān)系特征和詞典得分。三元組依存關(guān)系特征用treegram表示，總共得到140 911 個(gè)。

3.2.1 支持向量機(jī)分類結(jié)果比較

本實(shí)驗(yàn)采用Joachims 編寫的SVM_Light 工具箱（http：//www.cs.cornell.edu/People/tj/svm_light/）對(duì) 文 本數(shù)據(jù)進(jìn)行支持向量機(jī)分類，參數(shù)系統(tǒng)默認(rèn)。結(jié)果如表1所示。

表1 支持向量機(jī)分類結(jié)果比較 %

從表1 可以看出，三元組依存關(guān)系特征的分類最高精度達(dá)到84.58%，而一元詞、句法特征、簡(jiǎn)單依存關(guān)系特征和詞典得分最高精度只達(dá)到82.50%，且其他類特征的加入并沒有明顯給分類精度帶來(lái)影響。而三元組依存關(guān)系特征在整體上提高了文本分類精度，進(jìn)一步說(shuō)明三元組依存關(guān)系特征文本表示方法的有效性。

3.2.2 深度信念網(wǎng)絡(luò)分類結(jié)果比較

深度信念網(wǎng)絡(luò)借助于Hinton 教授提供的深度學(xué)習(xí)工具箱（http：//www.cs.toronto.edu/～hinton/）。特征約減后的特征向量作為深度信念網(wǎng)絡(luò)的輸入，經(jīng)過(guò)多次不同DBN 網(wǎng)絡(luò)結(jié)構(gòu)比較，對(duì)于輸入為1 000 維的特征向量，采用結(jié)構(gòu)1 000-300-100，即隱層結(jié)點(diǎn)依次為300、100。對(duì)于其他輸入維度，采用結(jié)果X-600-300，其中，X表示輸入維數(shù)，600、300 分別為第一、二隱層結(jié)點(diǎn)數(shù)。深度信念網(wǎng)絡(luò)訓(xùn)練過(guò)程中參數(shù)設(shè)置為：限制波爾茲曼機(jī)的動(dòng)量為0.9，學(xué)習(xí)速率為0.01，微調(diào)部分的激活函數(shù)為sigmoid函數(shù)，學(xué)習(xí)速率為0.9，動(dòng)量為0.5，其他為深度學(xué)習(xí)工具箱默認(rèn)參數(shù)，結(jié)果如表2 所示。

表2 深度信念網(wǎng)絡(luò)分類結(jié)果比較 %

從表2 明顯看出，基于深度信念網(wǎng)絡(luò)的三元組依存關(guān)系特征的分類精度上超過(guò)了其他特征及其特征組合，最高達(dá)到87.25%。而其他組合特征在全部特征組合特征維度為6 000 時(shí)達(dá)到最高84.33%。

從表1 和表2 整體情況來(lái)看，相同維度的特征向量下，基于深度信念網(wǎng)絡(luò)的分類精度均高于基于支持向量機(jī)的文本情感分類精度，不僅驗(yàn)證了深度學(xué)習(xí)有很強(qiáng)的特征學(xué)習(xí)能力，更重要的是說(shuō)明了三元組依存關(guān)系文本表示方法蘊(yùn)含更深層次的文本語(yǔ)義信息，在進(jìn)行分類時(shí)有更高的分類精度。

4 結(jié)束語(yǔ)

本文從依存句法關(guān)系的角度，結(jié)合中文語(yǔ)法表達(dá)習(xí)慣，以不影響句子情感表達(dá)為原則，對(duì)句子依存解析樹進(jìn)行冗余結(jié)點(diǎn)的合并和刪除，構(gòu)造基于依存句法關(guān)系的三元組特征表示方法。同時(shí)，從文本中抽取構(gòu)造用于文本表示的一元詞、句法特征、簡(jiǎn)單依存關(guān)系特征和詞典得分，并進(jìn)行組合構(gòu)成不同的文本表示特征空間。將不同的文本表示方法用于支持向量機(jī)和深度信念網(wǎng)絡(luò)進(jìn)行檢驗(yàn)。結(jié)果表明無(wú)論支持向量機(jī)和深度信念網(wǎng)絡(luò)，三元組依存關(guān)系特征的分類精度均超過(guò)了一元詞，句法特征，簡(jiǎn)單依存關(guān)系和詞典得分的組合。充分說(shuō)明了三元組依存關(guān)系文本表示方法考慮了文本中詞語(yǔ)之間的語(yǔ)義信息。但此方法用于文本挖掘領(lǐng)域其他任務(wù)能否取得較好的效果還有待進(jìn)一步的研究。

[1] Cambria E，Schuller B，Xia Y，et al.New avenues in opinion mining and sentiment analysis[J].Intelligent Systems IEEE，2013，28（2）：15-21.

[2] Gon?alves P，Araújo M，Benevenuto F，et al.Comparing and combining sentiment analysis methods[C]//Proceedings of first ACM Conference Online Social Network，DOI：10.1145/2512938.2512951.

[3] Abbasi A，F(xiàn)rance S，Zhang Z，et al.Selecting attributes for sentiment classification using feature relation networks[J].IEEE Transactions on Knowledge & Data Engineering，2010，23（3）：447-462.

[4] Gezici G，Yanikoglu B，Tapucu D，et al.New features for sentiment analysis：Do sentences matter?[J].Ceur，2012：5-15.

[5] Genereux M，Santini M.Exploring the use of linguistic features in sentiment analysis[J].Research，2007.

[6] Xia R，Zong C，Li S.Ensemble of feature sets and classification algorithms for sentiment classification[J].Information Sciences，2011，181（6）：1138-1152.

[7] Neviarouskaya A，Prendinger H，Ishizuka M.SentiFul：A lexicon for sentiment analysis[J].IEEE Transactions on Affective Computing，2011，2（1）：22-36.

[8] Pang B，Lee L.Opinion mining and sentiment analysis[J].Foundations and Trends in Information Retrieval，2008，2（1/2）：1-135.

[9] Massung S，Zhai C，Hockenmaier J.Structure parse tree features for text representation[C]//IEEE Seventh International Conference on Semantic Computing，2013：9-16.

[10] Hassan A，Qazvinian v，Radev D.What’s with the attitude?Identifying sentences with attitude in online discussions[C]//Proceedings of 2010 Conference on Empirical Methods in Natural Language Proceedings，2010：1245-1255.

[11] 史偉，王洪偉，何紹義.基于語(yǔ)義的中文在線評(píng)論情感分析[J].情報(bào)學(xué)報(bào)，2013，32（8）：860-867.

[12] 劉志民，劉魯.基于機(jī)器學(xué)習(xí)的中文微博情感分類實(shí)證研究[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（1）：1-4.

[13] 夏火松，彭柳艷，余夢(mèng)麟.自動(dòng)情感文本分類研究綜述[J].情報(bào)學(xué)報(bào)，2011，30（5）：530-539.

[14] Bengio Y，Delalleau O.On the expressive power of deep architectures[C]//Proc of the 14th International Conference on Discovery Science，2011：18-36.

[15] Tang D，Qin B，Liu T，et al.Learning sentence representation for emotion classification on microblogs[J].Communications in Computer & Information Science，2013：212-223.

[16] Sun X，Li C，Xu W，et al.Chinese microblog sentiment classification based on deep belief nets with extended multi-modality features[C]//IEEE International Conference on Data Mining Workshop，2014：928-935.

[17] Chang P，Tseng H，Jurafsky D，et al.Discriminative reordering with Chinese grammatical relations features[C]//Proceedings of the Third Workshop on Syntax and Structure in Statistical Translation，2009.