楊 源，馬云龍，林鴻飛

(大連理工大學(xué) 信息檢索研究室，遼寧 大連， 116024)

1 引言

隨著網(wǎng)上購物的發(fā)展，網(wǎng)上產(chǎn)品評(píng)論的數(shù)量也急劇增多，產(chǎn)品評(píng)論的情感分析一直是一個(gè)熱點(diǎn)研究問題。在分析產(chǎn)品情感時(shí)，除了分析產(chǎn)品的整體情感外，也從更細(xì)的粒度上來分析，如產(chǎn)品的各個(gè)屬性。由于寫評(píng)論的人習(xí)慣各異，對(duì)產(chǎn)品的同一種屬性會(huì)用不同的描述，例如，手機(jī)的“外觀”和“外形”指的是同一種屬性。把這些屬性進(jìn)行歸類，才能更好的進(jìn)行情感分析。

手工進(jìn)行屬性歸類雖然會(huì)很準(zhǔn)確，但是這是一項(xiàng)耗費(fèi)時(shí)間的工作，需要尋求一種自動(dòng)的方法來解決這個(gè)問題。屬性的歸類也可以通過現(xiàn)有的同義詞資源，把同義的屬性歸為一類，但是這只能解決其中的一部分，還有很多同類的屬性不是同義詞，例如，手機(jī)的“外形”和“設(shè)計(jì)”。需要其他的方法更全面的解決這個(gè)問題。

Carenini等人[1]利用WordNet得到了幾個(gè)相似性矩陣，把一些屬性描述映射到一個(gè)特定領(lǐng)域的屬性分類上。Carenini等人是根據(jù)存在的資源來計(jì)算詞的相似性，這種方法的缺點(diǎn)是沒有考慮詞之間的分布相似性，而這是很有用的信息。分布相似性主要考慮了屬性周圍的一些詞，衡量相似性的方法有Cosine、Jaccard、Dice等[2]。

Guo等人[3]提出了mLSA算法，進(jìn)行屬性歸類，mLSA將LDA運(yùn)行了兩次，是一種無監(jiān)督算法。屬性歸類問題也與限制性聚類相關(guān)，限制性聚類中使用了兩種限制，一種是某些節(jié)點(diǎn)肯定在一類中，另一種是某些節(jié)點(diǎn)不可能在一類中。Andrzejewski等人[4]把這兩種限制引入到LDA中，提出了DF-LDA算法。

Zhai等人[5]針對(duì)屬性歸類，提出了一種半監(jiān)督的SC-EM算法，并把以上提到的幾種算法作為對(duì)比試驗(yàn)，通過實(shí)驗(yàn)證明了SC-EM算法對(duì)屬性歸類的結(jié)果要優(yōu)于以上幾種算法。SC-EM算法是對(duì)EM算法的改進(jìn)，首先從語料中獲取每個(gè)屬性周圍的一些詞，作為屬性對(duì)應(yīng)的文檔，然后把其中的一部分屬性進(jìn)行標(biāo)注，選用樸素貝葉斯模型作為分類器。SC-EM算法利用了兩條自然語言知識(shí)，一條是含有相同字的兩個(gè)屬性有可能是同類屬性，另一條是同義詞的兩個(gè)屬性有可能是同類屬性。SC-EM算法利用這兩條知識(shí)，得到了更好的初始化效果。

SC-EM算法既用到了存在的資源，又用到了分布相似性，但是有一個(gè)缺點(diǎn)，產(chǎn)品評(píng)論中含有豐富的情感信息，對(duì)于同類屬性，評(píng)論中往往會(huì)有一些相同的情感詞來修飾，例如，手機(jī)的“外觀”和“外形”常常和“小巧”搭配，而“聲音”是不與“小巧”搭配的，顯然這些情感詞對(duì)屬性的歸類是很有意義的。本文充分考慮了產(chǎn)品評(píng)論中的情感因素，從語料中抽取出屬性和情感詞的搭配對(duì)，利用這些搭配對(duì)形成二部圖，然后用權(quán)重標(biāo)準(zhǔn)化SimRank算法[6]來計(jì)算各個(gè)屬性之間的相似度，并把所得的結(jié)果與SC-EM算法中的貝葉斯分類器進(jìn)行融合，得到了更好的分類結(jié)果。

本文的結(jié)構(gòu)安排如下：第二節(jié)介紹相關(guān)術(shù)語，第三節(jié)介紹產(chǎn)品屬性和情感詞的搭配，第四節(jié)介紹權(quán)重標(biāo)準(zhǔn)化SimRank與SC-EM算法的結(jié)合，第五節(jié)介紹實(shí)驗(yàn)結(jié)果和相關(guān)分析。

2 相關(guān)術(shù)語

屬性：實(shí)驗(yàn)語料選取手機(jī)評(píng)論，用屬性表示手機(jī)的一些具體特征，例如，屏幕、按鍵等，手機(jī)型號(hào)或品牌也屬于屬性的范圍。

屬性描述：同一類的屬性可能會(huì)有不同的詞或短語來描述，例如，手機(jī)的“外觀”和“外形”，這樣的詞或短語稱為屬性描述。

同類屬性：同類屬性是指意思相同的屬性，例如，手機(jī)的“外觀”和“外形”。

3 屬性與情感詞的搭配

3.1 產(chǎn)品屬性的獲取

要進(jìn)行產(chǎn)品屬性歸類，首先要獲取產(chǎn)品的屬性， Hu等人[7]和Liu等人[8]對(duì)屬性的抽取已經(jīng)做了很多工作。本文所要解決的主要問題是產(chǎn)品屬性的歸類而不是抽取，所以預(yù)先準(zhǔn)備了一個(gè)手機(jī)屬性表，用于屬性歸類。

3.2 情感詞的獲取

情感詞的識(shí)別主要依據(jù)大連理工大學(xué)信息檢索實(shí)驗(yàn)室的情感詞匯本體[9]。情感詞匯本體已經(jīng)能夠識(shí)別絕大部分的情感詞，但是可能會(huì)出現(xiàn)例外的情況，例如，產(chǎn)品評(píng)論中有些情感詞沒有在情感詞匯本體中登錄，有些產(chǎn)品屬性周圍找不到情感詞。為了更好的解決情感詞缺失的問題，把形容詞作為情感詞的補(bǔ)充，很多形容詞都有情感，而且根據(jù)日常用語的習(xí)慣，形容詞也和產(chǎn)品屬性之間存在搭配關(guān)系。

3.3 屬性與情感詞的搭配

產(chǎn)品評(píng)論是評(píng)論者對(duì)產(chǎn)品的評(píng)價(jià)，有很多都是主觀性文本，包含了豐富的情感。根據(jù)語言習(xí)慣，對(duì)不同的產(chǎn)品屬性進(jìn)行評(píng)價(jià)時(shí)，會(huì)用不同的情感詞，例如，評(píng)價(jià)手機(jī)的“外觀”時(shí)，經(jīng)常用“小巧”，而評(píng)價(jià)手機(jī)的“價(jià)格”時(shí)，經(jīng)常用“低廉”。就像修飾名詞時(shí)要用相應(yīng)的形容詞一樣，評(píng)價(jià)產(chǎn)品屬性時(shí)也會(huì)用相應(yīng)的情感詞，屬性和情感詞之間自然地產(chǎn)生了一種搭配關(guān)系，如表1所示。

表1 屬性與情感詞搭配舉例

實(shí)驗(yàn)中把離產(chǎn)品屬性最近的情感詞與產(chǎn)品屬性進(jìn)行搭配，形成候選搭配對(duì)，然后通過式(1)計(jì)算情感詞與產(chǎn)品屬性的互信息。

(1)

公式(1)中PMI(PF,OW)是屬性與情感詞的互信息，P(PF,OW)是屬性與情感詞共現(xiàn)的概率，P(PF)是屬性出現(xiàn)的概率，P(OW)是情感詞出現(xiàn)的概率。

實(shí)驗(yàn)沒有采用依存分析技術(shù)來確定情感詞和產(chǎn)品屬性的搭配關(guān)系主要考慮了兩點(diǎn)：一方面受目前依存分析技術(shù)準(zhǔn)確率的影響，可能會(huì)帶來一定的誤差，另一方面由于產(chǎn)品評(píng)論來自網(wǎng)絡(luò)，其句法結(jié)構(gòu)不是很規(guī)范，并不太適合對(duì)其進(jìn)行依存分析。

在有限的語料中，情感詞和產(chǎn)品屬性的共現(xiàn)可能是不均勻的，致使互信息偏低或偏高，為了更好的適應(yīng)這種不均勻性，先假設(shè)含有相同字的兩個(gè)屬性是同類屬性，同義詞的兩個(gè)屬性是同類屬性，計(jì)算互信息時(shí)，不是計(jì)算情感詞與單個(gè)屬性的互信息，而是計(jì)算情感詞與這類屬性的互信息。當(dāng)然，所有屬性中，只有一部分是同義詞或含有相同的詞，其余的仍計(jì)算情感詞與單個(gè)屬性的互信息。實(shí)驗(yàn)中主要通過《同義詞詞林》[10]判斷兩個(gè)詞是否是同義詞，只是進(jìn)行簡(jiǎn)單的判斷，并沒有利用《同義詞詞林》的層次信息，對(duì)多義的詞不進(jìn)行處理，只利用屬性詞和情感詞的共現(xiàn)信息，避免為初始化引入更多噪音。

計(jì)算出所得搭配對(duì)的互信息之后，去掉一些互信息過低的搭配對(duì)，這些可能是抽取過程中引入的噪音。剩余的搭配對(duì)形成了一個(gè)二部圖的形式，如圖1所示。

圖1 屬性情感詞形成的二部圖

圖1是由屬性與情感詞的搭配對(duì)形成的二部圖，左邊是屬性，右邊是情感詞，有向的箭頭表示情感詞對(duì)屬性的修飾關(guān)系。由圖1可以看出同類屬性經(jīng)常與相同的情感詞共現(xiàn)，另外同類屬性并不都與同一個(gè)情感詞共現(xiàn)，但是修飾同類屬性的若干個(gè)情感詞會(huì)與某個(gè)屬性共現(xiàn)，使這些屬性和情感詞連接在一起，形成整個(gè)二部圖中的一個(gè)子圖，這個(gè)子圖中的屬性應(yīng)該是同類屬性。

4 權(quán)重標(biāo)準(zhǔn)化SimRank與SC-EM算法的結(jié)合

4.1 SimRank

屬性與情感詞形成了二部圖，可以用Glen等人[11]提出的SimRank算法來計(jì)算屬性之間的相似度，SimRank算法的基本思想是：與相似節(jié)點(diǎn)相連的節(jié)點(diǎn)相似。這樣應(yīng)用到本文中，被同一個(gè)情感詞修飾的屬性是相似的，修飾同一個(gè)屬性的情感詞是相似的。SimRank計(jì)算公式如下：

(2)

在圖GT={VT,ET}中，I(vt)表示節(jié)點(diǎn)vt的入邊源節(jié)點(diǎn)集合，Ii(vt)表示節(jié)點(diǎn)中第i個(gè)入邊源節(jié)點(diǎn)，|I(vt)|是節(jié)點(diǎn)vt的入度，Sim(va,vb)表示節(jié)點(diǎn)va和vb的相似度，常數(shù)C是取值從0到1的實(shí)數(shù)，表示相似度在沿有向邊傳遞過程中的衰減系數(shù)。

4.2 權(quán)重標(biāo)準(zhǔn)化SimRank

屬性與情感詞形成的二部圖中，不同屬性與情感詞的相關(guān)程度不一樣，它們的互信息也不一樣，經(jīng)常共現(xiàn)的屬性與情感詞應(yīng)該有較高的互信息，所以連接屬性和情感詞的邊是有權(quán)重的，實(shí)驗(yàn)中把屬性和情感詞的互信息作為邊的權(quán)重，因?yàn)樗芊从吵鰧傩院颓楦性~的相關(guān)程度。

直接用SimRank計(jì)算二部圖中屬性的相似度會(huì)有一個(gè)缺點(diǎn)，SimRank在計(jì)算節(jié)點(diǎn)間相似度的時(shí)候僅利用了有向圖的結(jié)構(gòu)信息，而沒有考慮有向邊的權(quán)重。也就是說直接用SimRank進(jìn)行計(jì)算的話，會(huì)把相關(guān)程度較低的搭配對(duì)和相關(guān)程度較高的搭配對(duì)統(tǒng)一對(duì)待，而抽取搭配對(duì)的時(shí)候難免會(huì)引入一些噪音，如果把這些噪音搭配按照正常的搭配進(jìn)行計(jì)算的話，會(huì)影響實(shí)驗(yàn)結(jié)果。為了更好的降低這些噪音的影響，實(shí)驗(yàn)采用了馬云龍等人[6]提出的權(quán)重標(biāo)準(zhǔn)化SimRank算法(Weight Normalized SimRank，WNS)。

WNS算法首先對(duì)圖中每個(gè)節(jié)點(diǎn)的入邊權(quán)重進(jìn)行標(biāo)準(zhǔn)化，使之對(duì)于任意節(jié)點(diǎn)vt均滿足：

(3)

WNS的計(jì)算公式如下：

(4)

(5)

其中，ω(va→vb)表示由va節(jié)點(diǎn)到vb節(jié)點(diǎn)的有向邊上的權(quán)重，其他符號(hào)與基礎(chǔ)SimRank公式中同義。

用WNS算法計(jì)算二部圖中屬性的相似性時(shí)，既利用了有向圖的結(jié)構(gòu)信息，又利用了有向邊的權(quán)重。假設(shè)抽取的搭配對(duì)中，有兩個(gè)屬性與同一個(gè)情感詞搭配，其中有一個(gè)是錯(cuò)誤的搭配，如果用SimRank算法計(jì)算，這兩個(gè)屬性會(huì)有很高的相似度，而用WNS算法計(jì)算的話，錯(cuò)誤搭配的有向邊的權(quán)重比較小，從而會(huì)降低這兩個(gè)屬性的相似度。

4.3 權(quán)重標(biāo)準(zhǔn)化SimRank與貝葉斯的結(jié)合

如引言所述，Zhai等人[5]使用半監(jiān)督的SC-EM算法，進(jìn)行產(chǎn)品屬性的歸類，本文使用權(quán)重標(biāo)準(zhǔn)化SimRank對(duì)SC-EM算法進(jìn)行了改進(jìn)。SC-EM算法首先從語料中獲取屬性周圍左右各3個(gè)詞作為該屬性對(duì)應(yīng)的文檔，然后對(duì)其中的一部分屬性標(biāo)注類別，進(jìn)行半監(jiān)督學(xué)習(xí)，選取貝葉斯分類器，用以下三個(gè)公式計(jì)算每個(gè)屬性屬于某個(gè)類別的概率。

(6)

(7)

(8)

其中，D是訓(xùn)練文檔集，di是D中的一篇文檔，wdi,k是文檔di中的第k個(gè)詞，訓(xùn)練集中的總詞表是V={w1,w2,…,w|V|}，C={c1,c2,…,c|C|}是屬性的類別集合，Nti是詞wt在文檔di中出現(xiàn)的次數(shù)。

通過WNS算法可以算出測(cè)試集中每個(gè)屬性與訓(xùn)練集中每個(gè)屬性的相似度，對(duì)應(yīng)測(cè)試集中的每個(gè)屬性，訓(xùn)練集每個(gè)類別的屬性中都會(huì)有一個(gè)屬性，使得測(cè)試集中的屬性與該屬性在對(duì)應(yīng)類別中的相似度最大。本文把測(cè)試集中屬性與該屬性的相似度作為測(cè)試集中屬性與這個(gè)類別的相似度，這樣可以得到測(cè)試集中的屬性與各個(gè)類別的相似度。本文定義了式(9)，從屬性與情感詞搭配的角度，計(jì)算屬性屬于某個(gè)類別的概率。

(9)

其中，fi是對(duì)應(yīng)文檔di的屬性，WNS(fi,cj)是屬性fi與類cj的相似度。

式(8)是從屬性與周圍的詞共現(xiàn)的角度，式(9)是從屬性與情感詞搭配的角度，計(jì)算屬性的類別，把式(8)和式(9)相乘，所得的結(jié)果作為屬性類別判斷的依據(jù)更為充分，得到

(10)

通過式(10)得到測(cè)試集中每個(gè)屬性的類別，然后把訓(xùn)練集和測(cè)試集作為訓(xùn)練集進(jìn)行迭代，完成半監(jiān)督學(xué)習(xí)。

5 實(shí)驗(yàn)

實(shí)驗(yàn)語料是來自IT168網(wǎng)站[12]的31 624句手機(jī)評(píng)論，其中包含159個(gè)屬性描述，共分為21類。選取SC-EM算法作為對(duì)比試驗(yàn)，采用SC-EM中的三個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，實(shí)驗(yàn)采用的是半監(jiān)督學(xué)習(xí)，可以使用分類準(zhǔn)確率作為一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，分類準(zhǔn)確率采用宏平均的方式計(jì)算，另外兩個(gè)采用聚類的評(píng)價(jià)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)熵和純粹度，數(shù)據(jù)集DS上的類別集合是C={c1,…,cj,…,ck}，DS被分為k個(gè)子集DS1,…,DSi,…,DSk，熵的計(jì)算公式如下。

(11)

(12)

其中，Pi(gj)是cj類數(shù)據(jù)在DSi中所占的比例。純粹度的計(jì)算公式如下。

(13)

(14)

實(shí)驗(yàn)采用六次交叉驗(yàn)證的方式，本文主要考慮的是半監(jiān)督的學(xué)習(xí)模式，想用較少的標(biāo)注來得到較好的結(jié)果，這些比較少的訓(xùn)練集就像種子節(jié)點(diǎn)，而且主要思路是通過SimRank該進(jìn)半監(jiān)督學(xué)習(xí)的模式，所以設(shè)計(jì)實(shí)驗(yàn)時(shí)沒有與分類方法進(jìn)行對(duì)比，只把選取SC-EM算法作為baseline，把SC-EM算法與WNS相結(jié)合的結(jié)果作為最終結(jié)果，交叉驗(yàn)證的平均結(jié)果如表2所示。

表2 產(chǎn)品屬性歸并結(jié)果

如表2所示，把WNS算法融入到SC-EM算法中后，提高了準(zhǔn)確率，得到更小的熵值和更大的純粹度，在產(chǎn)品評(píng)論中，屬性和情感詞經(jīng)常搭配使用，針對(duì)不同的屬性，評(píng)論者會(huì)用不同的情感詞來表達(dá)情感，而同類屬性描述的是產(chǎn)品的同一個(gè)部分，可以用相同的情感詞來修飾，利用屬性和情感詞的搭配，以及屬性和情感詞的互信息形成的二部圖，用WNS算法利用二部圖的信息算出各個(gè)屬性的相似度，并與SC-EM算法中的貝葉斯分類器進(jìn)行結(jié)合，所得的結(jié)果要好于只用貝葉斯分類的結(jié)果，兩者結(jié)合的方式既考慮了同類屬性周圍有相同的詞共現(xiàn)，又考慮了評(píng)論句中屬性與情感詞的搭配，所以得到了更好的屬性歸類結(jié)果。

例如，手機(jī)的“設(shè)計(jì)”和“外觀”這兩個(gè)屬性詞，周圍共現(xiàn)的詞可能不太一致，但是都會(huì)被“時(shí)尚”這個(gè)情感詞所修飾，所以加入WNS算法后，會(huì)增加兩者之間的相似度。

隨著訓(xùn)練集比例的增大，實(shí)驗(yàn)結(jié)果增長(zhǎng)的幅度越來越小，這一方面是因?yàn)橛行傩酝ㄟ^較小的訓(xùn)練集就能得到比較準(zhǔn)確的分類，另一方面是因?yàn)镾C-EM算法通過同義詞和含有相同字的屬性優(yōu)化了初始化過程，新增加的訓(xùn)練集有可能已經(jīng)出現(xiàn)在優(yōu)化的過程中，所以這個(gè)優(yōu)化過程，比較有用，可以用較小的訓(xùn)練集得到更好的結(jié)果。當(dāng)然，更多的訓(xùn)練集會(huì)帶來更好的結(jié)果，但是半監(jiān)督學(xué)習(xí)的初衷就是想減少訓(xùn)練集的規(guī)模，所以表2中沒有顯示過多比例訓(xùn)練集的結(jié)果。

實(shí)驗(yàn)過程中也會(huì)有一些因素，影響實(shí)驗(yàn)結(jié)果，分詞過程會(huì)產(chǎn)生一定的偏差，從而會(huì)影響產(chǎn)品屬性周圍詞的抽取，也會(huì)影響屬性與情感詞搭配對(duì)的抽取。有些屬性在《同義詞詞林》中未登錄，這也會(huì)用影響半監(jiān)督學(xué)習(xí)中初始化的優(yōu)化過程。

6 結(jié)論

本文主要把產(chǎn)品評(píng)論中同類屬性的不同描述進(jìn)行歸類。同類屬性雖然有不同的描述，但是在句中卻和相同的情感詞搭配使用。本文首先抽取評(píng)論句中屬性和形容詞的搭配關(guān)系，形成一個(gè)二部圖，然后用權(quán)重標(biāo)準(zhǔn)化SimRank計(jì)算不同屬性之間的相似度，并把所得的結(jié)果與半監(jiān)督學(xué)習(xí)中的貝葉斯分類器進(jìn)行融合，得到了更好的分類結(jié)果。

本文進(jìn)行產(chǎn)品屬性歸類時(shí)，仍存在一定的不足。在利用屬性與情感詞搭配構(gòu)成的二部圖計(jì)算屬性之間的相似度時(shí)，難免會(huì)引入一些噪音搭配，本文主要通過互信息來降低噪音搭配中屬性與其他屬性的相似度，能更精確的發(fā)現(xiàn)搭配，會(huì)得到更好的分類結(jié)果。下一步的工作可以研究屬性與情感詞之間的搭配關(guān)系，在比較全面發(fā)現(xiàn)搭配的同時(shí)，保障搭配的精度。

[1] Carenini G., R. Ng, E. Zwart. Extracting knowledge from evaluative text[C]//Proceedings of International Conference on Knowledge Capture, Banff, Canada, 2005: 8-15.

[2] Lee L. Measures of distributional similarity[C]//Proceedings of ACL. Maryland, USA, 1999: 25-32.

[3] Guo H., H. Zhu, Z. Guo, et al. Product feature categorization with multilevel latent semantic association[C]//Proceedings of CIKM. Hong Kong, 2009: 1087-1096.

[4] Andrzejewski D., X. Zhu, M. Craven. Incorporating domain knowledge into topic modeling via Dirichlet forest priors[C]//Proceedings of ICML. Montreal, Quebec, Canada ,2009: 25-33.

[5] Zhongwu Zhai, Bing Liu, Hua Xu, et al. Grouping Product Features Using Semi-Supervised Learning with Soft-Constraints[C]//Proceedings of the 23rd International Conference on Computational Linguistics (COLING-2010), Beijing, China, August 23-27, 2010: 1272-1280.

[6] Y. L. Ma, H. F. Lin, S. Jin. A revised simrank approach for query expansion[C]//Proceedings of the 6rd Asia Information Retrieval Societies Conference(AIRS 2010). Springer, December, 2010: 564-575.

[7] Minqing Hu, Bing Liu. Mining and summarizing customer reviews[C]//Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD-2004), Seattle, Washington, USA, Aug 22-25, 2004: 168-177.

[8] Lei Zhang, Bing Liu. Extracting and Ranking Product Features in Opinion Documents[C]//Proceedings of the 23rd International Conference on Computational Linguistics (COLING-2010), Beijing, China, August 23-27, 2010: 1462-1470.

[9] 徐琳宏, 林鴻飛,潘宇，等. 情感詞匯本體的構(gòu)造[J]. 情報(bào)學(xué)報(bào),2008, 27(2):180-185.

[10] HIT-IRLab-同義詞詞林(擴(kuò)展版),哈爾濱工業(yè)大學(xué)信息檢索研究室: http://ir.hit.edu.cn/[EB/OL].

[11] G. Jeh, J. Widom. SimRank: A measure of structural-context similarity [C]//Proceedings of SIGKDD. Edmonton, Alberta, Canada, 2002: 538-543.

[12] IT168網(wǎng)站http://pinglun.it168.com [OB/OL].