〔摘 要〕定義垃圾評論邊界，利用智能算法有效識別垃圾評論。對垃圾評論進(jìn)行內(nèi)部細(xì)分，構(gòu)建評價(jià)指標(biāo)體系，并提出一種改良決策樹方法對垃圾評論進(jìn)行智能評估，并提供可讀性規(guī)則?；贛atlab語言實(shí)現(xiàn)，通過實(shí)證研究，驗(yàn)證所構(gòu)建的垃圾評論識別模型能夠達(dá)到較高預(yù)測精度。提供了一種高效的多在線評論多分類智能識別方法，為垃圾評論的分類監(jiān)管治理提供技術(shù)支持。

〔關(guān)鍵詞〕垃圾評論；數(shù)據(jù)挖掘；決策樹；神經(jīng)網(wǎng)絡(luò)

DOI：10.3969/j.issn.1008-0821.2016.04.011

〔中圖分類號〕G206.2 〔文獻(xiàn)標(biāo)識碼〕A 〔文章編號〕1008-0821（2016）04-0057-05

〔Abstract〕The paper defined the boundary of review spam，used intelligent algorithms to effectively detect review spam.The internal subdivision of review spam，evaluation index and an improved decision tree method for intelligent evaluation of review spam with readable rules are proposed.The empirical research based on Matlab showed the model can achieve higher prediction accuracy.The paper provided technical support for the review spam classification regulatory governance through proposing an efficient method for intelligent multiple classification of online reviews.

〔Key words〕review spam；data mining；decision tree；neural network

通過互聯(lián)網(wǎng)進(jìn)行商品交易已經(jīng)成為最近十年以來迅猛發(fā)展的商業(yè)模式，深刻而迅速的改變了傳統(tǒng)商業(yè)模式。消費(fèi)者可以通過查看以往交易購買者對所購商品和服務(wù)的評價(jià)來判斷賣家商品和服務(wù)的好壞，是互聯(lián)網(wǎng)交易不同于傳統(tǒng)商業(yè)模式的優(yōu)勢之一。成交評論是后繼消費(fèi)者對擬購商品進(jìn)行判斷的重要依據(jù)之一，也是商家有針對性的改進(jìn)服務(wù)，改進(jìn)產(chǎn)品促進(jìn)銷售的根據(jù)，因此客觀真實(shí)有效的交易評價(jià)是促進(jìn)互聯(lián)網(wǎng)商業(yè)形態(tài)健康發(fā)展具有重要意義。

另一方面，各種交易評論由評論者主觀輸入，由于各種原因出現(xiàn)了多種無效，無用，甚至虛假的垃圾評論，對互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展產(chǎn)生了負(fù)面影響。同時(shí)，由于交易評論對后繼交易判斷的重要性，也出現(xiàn)了很多故意進(jìn)行虛假評論以促進(jìn)或打壓特定賣家的行為，對互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展的負(fù)面影響更為突出。因此，如何在海量的評論中識別并篩除垃圾評論，成為近期研究的熱門課題之一[1]。

本文以海量評論信息中垃圾評論的有效智能識別為目標(biāo)，首先發(fā)展了以往相關(guān)研究中對垃圾評論的認(rèn)識，明確了垃圾評論的種類和判斷標(biāo)準(zhǔn)，然后構(gòu)造一種神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的智能算法，發(fā)揮兩種算法的優(yōu)勢達(dá)到高效準(zhǔn)確識別垃圾評論的目的。最后，通過實(shí)證分析驗(yàn)證了方法的有效性和準(zhǔn)確性。

1 相關(guān)研究

近年來，針對垃圾評論識別的研究在國內(nèi)外逐步開展，Jundal在2007年最早進(jìn)行了相關(guān)研究，將垃圾評論劃分為虛假評論、無關(guān)評論和非評論，并運(yùn)用Logistic回歸模型對圖書、音樂等其他制造類產(chǎn)品垃圾評論進(jìn)行了識別[2]。Ott等以旅館評論為研究對象，通過評論內(nèi)容和語言特征，從心理學(xué)、文本語料等方面分析垃圾評論的特征，用SVM方法對旅店類垃圾評論進(jìn)行了識別研究[3]。Mukherjee等在2011年使用頻繁挖掘模式尋找被選群體，再通過計(jì)算垃圾信息值，使用SVM模型識別群體垃圾評論[4]。隨后Mukherjee等在2013年基于內(nèi)容相似度、最大評論數(shù)、評論重復(fù)度等評論人行為特征通過聚類分析對垃圾評論進(jìn)行了識別[5]。國內(nèi)方面，何海江對利用Logistic回歸模型和利用SVM支持向量機(jī)的垃圾評論識別方法的性能進(jìn)行了比較[6]。陳燕方通過對文本語料進(jìn)行低可信度判斷，提出了一種基于評論產(chǎn)品屬性的情感傾向評估模型[7]。李霄等使用支持向量機(jī)模型對垃圾評論進(jìn)行了識別，并通過與Logistic模型對比證明了機(jī)器學(xué)習(xí)算法的優(yōu)勢。目前大多數(shù)研究僅對評論進(jìn)行了垃圾評論與非垃圾評論的二分類[8]。孟美任等雖然通過CRFs模型對在線商品評論進(jìn)行了四分類識別，但識別的標(biāo)準(zhǔn)僅為評論的可信程度[9]。而實(shí)際上從欺騙性、干擾性、無效性的不同角度，垃圾評論可以分為不同的類別，不同類別之間在發(fā)布動機(jī)、危害程度、分辨難度上都有所不同，相應(yīng)的治理方式也應(yīng)該有所區(qū)別。因此，本文將從多維度對垃圾評論進(jìn)行分類，并給出基于神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的在線評論四分類模型，為不同類別的垃圾評論識別和治理提供技術(shù)支持。

2 在線評論的類別劃分

根據(jù)評論發(fā)布者的目的、以及評論影響程度等方面的不同，可以將在線商品評論分為以下4類：

2.1 非垃圾評論

該類評論是消費(fèi)者在購買、使用商品后，給出的真實(shí)的、客觀的、詳盡的體驗(yàn)描述，可以為后續(xù)消費(fèi)者了解產(chǎn)品、決定是否購買提供參考，也可以為商家了解自我，有針對性的提升自我提供幫助，同時(shí)也是構(gòu)建良好的、公平的網(wǎng)絡(luò)購物環(huán)境的重要組成部分。

2.2 欺騙性評論

評論發(fā)布者出于推銷或詆毀的目的，發(fā)布的與事實(shí)不相符的虛假性描述，或者是在極端的情感狀態(tài)下，書寫的過于主觀的不真實(shí)評論。虛假評論中介與職業(yè)虛假評論者的存在使得大量的虛假評論充斥著網(wǎng)絡(luò)，給消費(fèi)者帶來了極大的誤導(dǎo)，嚴(yán)重干擾了電商的公平競爭環(huán)境，進(jìn)一步還會對整個網(wǎng)絡(luò)購物平臺的生存帶來不可估計(jì)的沖擊[10]。

2.3 干擾性評論

此類評論類似于垃圾郵件，往往是出于廣告宣傳或者是單純發(fā)泄的目的，因此常常包含電話號碼、QQ號碼或者網(wǎng)站鏈接地址。該類評論內(nèi)容與所評價(jià)商品無關(guān)，對消費(fèi)者誤導(dǎo)作用較小，較易識別。

2.4 低效用評論

該類評論字?jǐn)?shù)較少，常常是由于超出評價(jià)時(shí)間而由系統(tǒng)自動給出的系統(tǒng)性評價(jià)，或者是消費(fèi)者為了賺取某些積分而敷衍性給出的并不涉及具體體驗(yàn)感受的簡短評價(jià)。例如：好、不錯、沙發(fā)等。

3 基于神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的垃圾評論識別方法3.1 特征選擇

特征屬性的選擇是識別方法研究的基礎(chǔ)，不同商品或電商網(wǎng)站的特征決定了其評論的、特征可能有所不同，比如對電子產(chǎn)品的評論中對參數(shù)的描述可能會多一些，而食品類產(chǎn)品可能對送貨速度更為敏感。增加屬性選擇的范圍，并篩選針對特定交易類型較為有效的特征屬性將對提高辨識準(zhǔn)確度降低運(yùn)算量有所幫助。依據(jù)垃圾評論特征和影響因素的相關(guān)研究，本文提出特征屬性池的概念。特征屬性池是和垃圾評論識別相關(guān)的有可能表現(xiàn)垃圾評論特殊性的屬性的集合。針對不同商品類型，不同交易平臺，有效的特征屬性可能不盡相同，為了避免重復(fù)的人為選取特征屬性造成的主觀性影響、計(jì)算效率低等問題，本文在建立特征池的基礎(chǔ)上，由后續(xù)的智能算法自主選取特征屬性并建立識別模型。

目前的研究大多從評論內(nèi)容和評論人兩方面考慮，具體包括評論內(nèi)容的翔實(shí)程度、評論的語法語義和結(jié)構(gòu)特征、觀點(diǎn)的傾向性、評論風(fēng)格、時(shí)效、情感極性、評論者背景經(jīng)驗(yàn)等。另外根據(jù)龔思蘭等對在線商品信息可信度影響因素的實(shí)證研究[11]，本文增加了文本情感傾向與評分的匹配度特征以及商家自身活動特征，共設(shè)定22個評論特征屬性，如表1所示。

3.2 評估方法

決策樹是一種樹形分類器，通過各個節(jié)點(diǎn)對屬性的選擇最終得到符合誤差標(biāo)準(zhǔn)的樹形分類結(jié)構(gòu)，相比于其它分類計(jì)算模型，決策樹的突出特點(diǎn)是可以輸出可讀性規(guī)則。但是煩瑣的離散化和后剪枝步驟計(jì)算代價(jià)較大，針對高維大數(shù)據(jù)庫數(shù)據(jù)效率不高。為了對垃圾評論進(jìn)行高效分類并且輸出可讀性規(guī)則用來監(jiān)控分析網(wǎng)路交易從而有針對性的采取管理措施，同時(shí)避免后剪枝等計(jì)算，本文提出一種神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的垃圾評論識別算法模型。該方法利用神經(jīng)網(wǎng)絡(luò)無須先驗(yàn)知識，主觀輸入少的特點(diǎn)對評論的特征屬性集進(jìn)行裁剪選擇，降低了數(shù)據(jù)維度，同時(shí)避免了決策樹后剪枝等復(fù)雜計(jì)算。其具體步驟為：

3.2.1 對連續(xù)屬性運(yùn)用BMIC算法離散化

BMIC離散化算法是一種基于以正規(guī)增益熵作為離散化標(biāo)準(zhǔn)的優(yōu)化離散化算法。它證明了以正規(guī)增益為離散標(biāo)準(zhǔn)的離散區(qū)間分割點(diǎn)集合屬于切點(diǎn)集合，進(jìn)而通過合并臨界點(diǎn)和小數(shù)點(diǎn)區(qū)間直接得到離散分割點(diǎn)避免了大量計(jì)算，而且可以根據(jù)分類結(jié)果自動生成最優(yōu)離散區(qū)間個數(shù)不需要參數(shù)設(shè)定[12]。

3.2.2 按照歸一化的輸入輸出關(guān)聯(lián)值將特征池中的所有屬性排序

該方法用樣本值的變化而引起的輸出變化的之和的歸一化值UIOC作為衡量數(shù)據(jù)屬性重要性的標(biāo)準(zhǔn)。屬性的UIOC值越大屬性越重要。UIOC的計(jì)算公式為：

UIOC（k）=1max（A）-min（A）∑x（i，k）-x（j，k）×signy（i）-y（j） i≠j

（1）

其中UIOC（k）為第k個屬性的輸入輸出關(guān)聯(lián)值，x（i，k），x（j，k）分別為第i，j個樣本的第k個條件屬性值。y（i），y（j）分別為第i，j個樣本的決策屬性值。max（A）為屬性A的最大值，min（A）為屬性A的最小值。

3.2.3 用徑向基神經(jīng)網(wǎng)絡(luò)（RBF Neural Networks）對屬性進(jìn)行篩選

RBF是一種前饋三層網(wǎng)絡(luò)，其神經(jīng)元數(shù)量根據(jù)不同任務(wù)需要而自適應(yīng)選定與初始賦權(quán)無關(guān)，具有良好的泛化能力和快速收斂的特性，適宜處理難以解析的規(guī)律性。取UIOC值最大的前50%屬性用RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練及分類并和增減前后屬性的RBF神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率想比較，直到找到增減屬性后分類準(zhǔn)確率均下降時(shí)停止篩選。分類準(zhǔn)確率最高的一組屬性作為建立決策樹的屬性集合。

3.2.4 在篩選后的屬性集合上建立正規(guī)增益為屬性選擇標(biāo)準(zhǔn)的決策樹

NG（A，S）=∑4t=1-pilog2pi-∑j∈value（A）SjS∑4t=1-pilog2pilog2n

（2）

其中pi是屬于類別t的樣本占總樣本數(shù)的比例。Value（A）為特征A的取值集合。S和Sj分別為樣本總數(shù)以及特征A取值為j的樣本個數(shù)。

3.3 垃圾評論識別流程

本文首先采用中科院計(jì)算技術(shù)研究所的ICTCLAS工具，并通過加入HowNet情感詞典和自定義詞典對評論語料進(jìn)行分詞和詞性標(biāo)注等預(yù)處理，再運(yùn)用神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的模型對數(shù)據(jù)進(jìn)行分類。具體流程如圖1所示：

4 網(wǎng)絡(luò)交易垃圾評論識別實(shí)證研究

4.1 實(shí)驗(yàn)準(zhǔn)備及實(shí)驗(yàn)過程

實(shí)驗(yàn)材料準(zhǔn)備階段首先根據(jù)Alexa中國電商類網(wǎng)站2014年的排名，選擇前5名的如下電商網(wǎng)站作為實(shí)驗(yàn)數(shù)據(jù)采集的來源。

設(shè)定網(wǎng)絡(luò)交易商品為數(shù)碼相機(jī)、服裝、圖書3類，搜集2014-2015年的商品評價(jià)，選擇其中的11 000條評論作為實(shí)驗(yàn)數(shù)據(jù)。選擇3組志愿者，每組3人，在組內(nèi)通過討論人工標(biāo)注評論類別，再對照3組結(jié)果，將人工標(biāo)注結(jié)果不一致的評論去除，最終得到評論9 420條，其中非垃圾評論4 721條，欺騙性垃圾評論1 385條，干擾性垃圾評論659條，低效用垃圾評論2 655條。隨機(jī)生成70%樣本作為訓(xùn)練集，30%作為驗(yàn)證集。所有實(shí)驗(yàn)均在matlab軟件上實(shí)現(xiàn)。

4.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)是對每個驗(yàn)證集子例屬于哪一類評論做出判斷，屬于四分類問題，文本識別常用查準(zhǔn)率、查全率、綜合F值3類性能評估指標(biāo)如表3所示。由實(shí)驗(yàn)結(jié)果可以看出，本文方法對在線評論類別的識別效果較好，2 826個測試樣本中有2 276個歸類正確，總體準(zhǔn)確率達(dá)到80.5%。在4類樣本中，欺騙性垃圾評論是隱蔽性最強(qiáng)、識別率最低的，容易被誤判為非垃圾評論。這是由于有些詆毀或推銷目的的造假者為避免被發(fā)現(xiàn)，會在無關(guān)痛癢的問題上做細(xì)微的與自己目的相反的情感評價(jià)，以保持文本情感平衡。

為了進(jìn)一步說明本文方法的有效性，將本文實(shí)驗(yàn)數(shù)據(jù)中的欺騙性、干擾性及低效用垃圾評論統(tǒng)一歸納為垃圾評論，再運(yùn)用文獻(xiàn)[8]中的基于SVM以及Logistic回歸的方法進(jìn)行垃圾評論識別，對比實(shí)驗(yàn)結(jié)果見表4?？梢钥吹嚼u論的查準(zhǔn)率、查全率、綜合F值以及評論總準(zhǔn)確率方面，本文模型分別高于SVM模型0.9、2、1.5和3.3個百分點(diǎn)，另外值得注意的是文獻(xiàn)[8]中的SVM及Logistic回歸模型只是對商品評論進(jìn)行了二分類，而本文則是進(jìn)一步對垃圾評論進(jìn)行了不同類別的劃分，因此在難度上要高于簡單的垃圾與非垃圾的二分類。如表2最后一行所示，如果只要樣例被正確劃分為垃圾評論，而不必考慮具體是欺騙型、干擾性還是低效用性垃圾評論，則本文試驗(yàn)結(jié)果在查準(zhǔn)率、查全率、綜合F值、總準(zhǔn)確率上均遠(yuǎn)高于SVM模型。

為了進(jìn)一步驗(yàn)證本文方法的穩(wěn)定性，對以上數(shù)據(jù)采用4次交叉法重新實(shí)驗(yàn)，4次實(shí)驗(yàn)結(jié)果的各性能指標(biāo)如圖2～4所示：

圖2 4次實(shí)驗(yàn)的查準(zhǔn)率指標(biāo)

因?yàn)橛?xùn)練集的子例是隨機(jī)選取，使各個類型的子例在訓(xùn)練集中所占的比例不同，數(shù)據(jù)的結(jié)構(gòu)會有所變化，但每組實(shí)驗(yàn)的識別精度大致相同，說明方法的穩(wěn)定性較好。從篩選后用于建立決策樹的屬性來看，也存在比較穩(wěn)定的趨勢，具體情況如表5所示。

通過對實(shí)驗(yàn)生成規(guī)則集的歸納，可以發(fā)現(xiàn)以下主要規(guī)律：（1）內(nèi)容不包含商品信息，且數(shù)字或字母超過一定字符數(shù)時(shí)，屬于干擾性垃圾評論的概率較大。（2）低效用類垃圾評論在所有垃圾評論樣本中所占比例最高，其識別的準(zhǔn)確率也最高，大量的系統(tǒng)性評論以及單字或幾個字的敷衍性好評僅通過文本長度即可識別。（3）欺騙性垃圾評論與非垃圾評論最容易相互誤判，他們大都包含商品信息，在情感極性上欺騙型垃圾評論雖不如非垃圾評論均衡，但隨著造假者經(jīng)驗(yàn)的不斷提高，單純的文本類特征已不足以滿足識別要求，評價(jià)者行為特征的加入可以使模型識別獲得更優(yōu)的效果。另外被廣大消費(fèi)者普遍認(rèn)為十分重要的“評論者信用等級”在4次試驗(yàn)中只有2次入選模型，而評價(jià)頻度和重復(fù)率因素卻分別4次和3次入選。這與職業(yè)虛假評論中介以及大量的職業(yè)刷客群體的存在有著很大關(guān)系。職業(yè)刷客通過大量的交易往往擁有較高的信用等級，所以信用等級的高低在欺騙性評論識別中反而并非決定性特征屬性。

5 結(jié)束語

隨著網(wǎng)絡(luò)交易的快速發(fā)展，對交易評論進(jìn)行實(shí)時(shí)跟蹤、有效識別各類垃圾評論并采取相應(yīng)的有效治理策略是構(gòu)建有序的電商競爭環(huán)境，促進(jìn)網(wǎng)絡(luò)交易健康發(fā)展的必然要求。本文使用神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合的方法，對網(wǎng)絡(luò)交易在線評論進(jìn)行了智能四分類識別。通過與文獻(xiàn)[8]中模型結(jié)果的對比，證明了本文方法的有效性。隨著移動互聯(lián)營銷的發(fā)展和電商評論要求的細(xì)分，垃圾評論特征可能發(fā)生變化，今后有必要隨著要求的更新進(jìn)一步優(yōu)化模型。

參考文獻(xiàn)

[1]聶卉，王佳佳.產(chǎn)品垃圾評論識別研究綜述[J].現(xiàn)代圖書情報(bào)技術(shù)，2014，（2）：63-70.

[2]Jindal N，Liu B.Review Spam Detection[C].In：Proceedings of the 16th International Conference of Word Wide Web.Banff，Alberta，Canada.New York，NY，USA：ACM，2007：1189-1190.

[3]Ott M.Choi Y J.Cardie C，et al.Finding Deceptive Opinion Spam by Any Stretch of the Imagination[C].In：Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg.PA，USA：Association for Computational Linguistics，2011：309-319.

[4]Mukherjee A，Venkataraman V.What Yelp Fake Review Filter Might Be Doing？[C].In：Proceedings of the 7th International Conference on Weblogs and Social Media.Palo Alto：AAAI Press，2013：409-418.

[5]Mukherjee A.Liu B.Wang J，et al.Detecting Group Review Spam[C].In：Proceedings of the 28t h ACM International Conference on Information and Knowledge Management，Hyderabad，Indea.New York，NY，USA：ACM，2011：1123-1126.

[6]何海江，凌云.由Logistic回歸識別Web社區(qū)的垃圾評論[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（23）：140-143.

[7]陳燕方，李志宇.基于評論產(chǎn)品屬性情感傾向評估的虛假評論識別研究[J].現(xiàn)代圖書情報(bào)技術(shù)，2014，（9）：81-90.

[8]李霄，丁晟春.垃圾商品評論信息的識別研究[J].現(xiàn)代圖書情報(bào)技術(shù)，2013，（1）：63-68.

[9]孟美任，丁晟春.在線中文商品評論可信度研究[J].現(xiàn)代圖書情報(bào)技術(shù)，2013，（9）：60-66.

[10]陳燕方，婁策群.在線商品虛假評論形成路徑研究[J].現(xiàn)代情報(bào)，2015，（1）：49-53.

[11]龔思蘭，丁晟春，周夏偉，等.在線商品評論信息可信度影響因素實(shí)證研究[J].情報(bào)雜志，2013，（11）：202-208.

[12]趙靜嫻，倪春鵬，詹原瑞，等.一種高效的連續(xù)屬性離散化算法[J].系統(tǒng)工程與電子技術(shù)，2009，（1）：195-199.

（本文責(zé)任編輯：孫國雷）