封二英，程冬玲，張宇敬

（河北金融學(xué)院，河北 保定 071000）

隨著線上消費(fèi)爆炸式增長，大量商品評論數(shù)據(jù)隨之產(chǎn)生。這些評論數(shù)據(jù)大都體現(xiàn)了消費(fèi)者的個人喜好、質(zhì)量評價等帶有感情色彩的信息，所以，對這些評論進(jìn)行情感分析，對電商平臺、商家來說具有重要的經(jīng)濟(jì)價值。目前，情感傾向分析主要有基于規(guī)則的方法，基于機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。基于規(guī)則的方法需要人工制定出規(guī)則，而且具有明顯的領(lǐng)域性，往往需要消耗大量的人工并且普適性弱[1]；基于機(jī)器的學(xué)習(xí)方法需要事先人工構(gòu)建特征，模型泛化能力弱[2]；基于深度學(xué)習(xí)的方法在特征表示和學(xué)習(xí)方面較前2 種技術(shù)有更大的優(yōu)勢[3]。此外，情感傾向分析主要分為句子級、篇章級的粗粒度情感傾向分析和基于情感實(shí)體、情感屬性的細(xì)粒度情感分析。細(xì)粒度的情感傾向分析主要側(cè)重于一段文本中不同的情感屬性對應(yīng)的情感傾向性。細(xì)粒度的情感傾向分析更能完整地獲取句子所表達(dá)的多種情感，因此，本文研究基于深度學(xué)習(xí)方法的細(xì)粒度的情感傾向分析關(guān)鍵技術(shù)。

1 面向網(wǎng)購評論的知識抽取技術(shù)

網(wǎng)購評論的知識抽取技術(shù)主要涉及命名實(shí)體識別技術(shù)和關(guān)系抽取兩方面的內(nèi)容。命名實(shí)體識別主要解決文本中實(shí)體名詞的識別和歸類問題；關(guān)系抽取就是在屬性類實(shí)體和情感類實(shí)體之間進(jìn)行配對抽取，即找出屬性類實(shí)體被哪些情感類實(shí)體所修飾，進(jìn)而進(jìn)行情感分類。

1.1 網(wǎng)購評論命名實(shí)體識別

命名實(shí)體識別是情感傾向分析中一項(xiàng)基礎(chǔ)性的工作，主要任務(wù)是識別出文本中的人物、實(shí)物等實(shí)體名詞并進(jìn)一步進(jìn)行歸類。早期的命名實(shí)體識別方法主要是基于規(guī)則和基于機(jī)器學(xué)習(xí)的方法，隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，命名實(shí)體識別逐漸轉(zhuǎn)向了深度學(xué)習(xí)，由于深度學(xué)習(xí)方法不需要人工標(biāo)注，通過自主學(xué)習(xí)就可以獲得文本特征，近年來成為了研究的熱點(diǎn)。

1.1.1 雙向LSTM-CRF 算法

雙向LSTM-CRF 算法是長短時記憶模型（LSTM）和條件隨機(jī)場（CRF）的結(jié)合。LSTM 的優(yōu)點(diǎn)是可以獲得本單元之前的信息，無法獲得之后的單元信息，因此對該模型進(jìn)行改進(jìn)提出雙向LSTM 模型即BilSTM，分別抓取過去和未來隱藏的信息。BiLSTM 可以獲得輸入語句的命名實(shí)體標(biāo)簽，但是無法建立彼此之間的聯(lián)系，而CRF 算法中定義了標(biāo)簽之間的約束關(guān)系，將這種約束關(guān)系添加到命名實(shí)體標(biāo)簽識別中，可以很好地彌補(bǔ)長短時記憶模型的不足，保證標(biāo)簽的有效性。因此BiLSTM-CRF 方法主要解決了命名實(shí)體識別的有效性問題。

1.1.2 多頭注意力機(jī)制

通過對網(wǎng)購評論的文本分析得出，網(wǎng)購評論中包含了消費(fèi)者對商品屬性的所有觀點(diǎn)，這些商品屬性包括外觀、功能和服務(wù)等，因此可以將商品的屬性及其觀點(diǎn)視為不同的命名實(shí)體，借助BiLSTM-CRF 方法，實(shí)現(xiàn)命名實(shí)體的有效識別。但是，網(wǎng)購商品評論存在著很大的個體差異性，對商品的評價隨著消費(fèi)者的不同會有很大的差異性，而長短時記憶模型和條件隨機(jī)場方法在實(shí)體識別的過程中并未考慮到這種差異，導(dǎo)致識別的有用性和可信度大大折扣。因此可以引入多頭注意力機(jī)制，這種機(jī)制可以根據(jù)特征向量的重要性，多角度綜合計(jì)算特征向量的權(quán)重，對重要的特征向量賦予較高的權(quán)重，從而有效提高了命名實(shí)體識別的有用性和可信度。

1.2 網(wǎng)購評論關(guān)系抽取

由于消費(fèi)者語言習(xí)慣不同和中文詞匯的多樣性，通過分析發(fā)現(xiàn)，網(wǎng)購評論中常常會出現(xiàn)同一商品屬性用不同的詞匯來描述的現(xiàn)象，這可能是中文詞匯的復(fù)雜性和多樣性造成的，消費(fèi)者的語言習(xí)慣不同，可能也會導(dǎo)致這種情況。因此在網(wǎng)購評論關(guān)系抽取之前，需要先進(jìn)行命名實(shí)體聚類消歧，聚類消歧的基本思想就是按照某個特定的標(biāo)注對數(shù)據(jù)集分為不同的簇，同一簇內(nèi)的命名實(shí)體相似度盡可能的大，不同簇之間的差異性也盡可能的大。

1.2.1 聚類消歧——凝聚層次聚類算法

屬性類實(shí)體消歧的基本思想是從語義的角度進(jìn)行聚類，而凝聚層次聚類算法思想簡單、限制少，不需預(yù)先定義聚類等優(yōu)點(diǎn)，而被首選為屬性實(shí)體的消歧處理。凝聚層級聚類算法的聚類流程：首先，需要設(shè)定初始分類集，在這里將每個數(shù)據(jù)類當(dāng)成一個初始分類集；然后，通過迭代計(jì)算，直至所有的樣本數(shù)據(jù)都聚為1 個簇。其中，在算法每1 次的迭代后就把相似度最大的兩個類別聚為一個新類。

1.2.2 關(guān)系抽取——卷積神經(jīng)網(wǎng)絡(luò)算法

隨著深度學(xué)習(xí)的快速發(fā)展，深度學(xué)習(xí)成為目前主流的實(shí)體關(guān)系抽取方法。在網(wǎng)購評論中，每個句子的字?jǐn)?shù)差別很大，并且體現(xiàn)實(shí)體之間關(guān)系類別的信息出現(xiàn)的位置往往也不固定，這就說明必須要提取不同的局部特征來預(yù)測目標(biāo)實(shí)體對之間的關(guān)系類型。在神經(jīng)網(wǎng)絡(luò)模型中，獲取局部特征常用的方法是卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)能夠提取深層特征，有出色的特征提取能力，并且還有一定的噪聲消除能力。網(wǎng)購評論命名實(shí)體的關(guān)系抽取就是在屬性類實(shí)體和情感類實(shí)體之間進(jìn)行配對抽取，即找出屬性類實(shí)體被哪些情感類實(shí)體所修飾，這問題屬于典型的二分類問題，因此網(wǎng)購評論命名實(shí)體關(guān)系抽取實(shí)質(zhì)就是1 個分類問題。

2 情感傾向分析模型構(gòu)建

網(wǎng)購評論數(shù)據(jù)一般都包含了用戶對商品不同方面的評價，因此對這些數(shù)據(jù)進(jìn)行情感分析多采用細(xì)粒度方面級的情感分析。網(wǎng)購評論情感分析的關(guān)鍵技術(shù)主要涉及命名實(shí)體識別技術(shù)和關(guān)系抽取2 方面的內(nèi)容。本文在分析雙向LSTM-CRF 方法在命名實(shí)體識別上存在的不足，引入了多頭注意力機(jī)制增加實(shí)體識別的有用性和可信度，在屬性類實(shí)體聚類消歧后，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)系抽取，構(gòu)建了如圖1 所示的情感傾向分析模型。

圖1 情感傾向性分析模型

3 情感傾向分析模型在產(chǎn)品評論中的應(yīng)用

產(chǎn)品評論的傾向性判斷一直是情感分析研究領(lǐng)域的重點(diǎn)課題。本節(jié)在前面分析的基礎(chǔ)上，將情感傾向分析模型應(yīng)用到文本評論中。實(shí)驗(yàn)結(jié)果證明本論文提出的模型在手機(jī)評論的應(yīng)用中取得了較好的分類效果。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本論文采用的數(shù)據(jù)集是IT168 網(wǎng)站上與手機(jī)產(chǎn)品相關(guān)的評論數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集，該數(shù)據(jù)集是Zagibalov 和Carroll[4]在針對中文文本進(jìn)行情感傾向分析研究工作時使用的實(shí)驗(yàn)數(shù)據(jù)集。該數(shù)據(jù)集目前已成為廣泛使用的情感傾向分析測試集。Zagibalov 等[4]已經(jīng)對數(shù)據(jù)集中的評論進(jìn)行了情感傾向標(biāo)注工作。該數(shù)據(jù)集的2 317 篇評論中，1 159 篇是積極的（positive），1 158篇是消極的（negative）。

3.2 實(shí)驗(yàn)性能評價指標(biāo)

本論文將“準(zhǔn)確率（accuracy）”作為評價指標(biāo)之一。準(zhǔn)確率是指模型正確判定出情感傾向的評論數(shù)，占模型判定出情感傾向的總評論數(shù)量的比例。公式為

式中：TP 為情感傾向被判斷為積極的且判斷正確的評論數(shù)目。FP 為情感傾向被判斷為積極的但判斷錯誤的評論數(shù)目。TN 為情感傾向被判斷為消極的且判斷正確的評論數(shù)目。FN 為情感傾向被判斷為消極的但判斷錯誤的評論數(shù)目。

但是僅用準(zhǔn)確率（accuracy）這個評價指標(biāo)不能全面地衡量情感傾向分析模型的性能。本論文還引入三個傳統(tǒng)衡量情感傾向分析效果的指標(biāo)：“精確度（precision）”“召回率（recall）”和“F 值（F-measure）”。它們是比較和評價情感傾向分析算法效率和有效性的重要性能參數(shù)。

精確率是指模型判定屬于該類情感傾向且判斷正確的評論數(shù)，與模型判定屬于該類情感傾向的評論數(shù)的比例。

召回率是指模型判定屬于該類情感傾向且判斷正確的評論數(shù)，與模型分類結(jié)果中實(shí)際屬于該類情感傾向評論數(shù)的比例。

F 值是將精確率和召回率一起列入評價的新的綜合評價指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果分析

本節(jié)在基于IT168 手機(jī)數(shù)據(jù)集簡單分詞的基礎(chǔ)上，在前一節(jié)構(gòu)建的情感傾向性分析模型上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，采用3.2 介紹的實(shí)驗(yàn)性能評價指標(biāo)對模型進(jìn)行了評價，實(shí)驗(yàn)結(jié)果見表1。

表1 IT168 手機(jī)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

通過表1 的實(shí)驗(yàn)結(jié)果可以分析得出，按照統(tǒng)計(jì)情感詞在文章中的出現(xiàn)頻率來計(jì)算情感詞的情感分?jǐn)?shù)時，隨著迭代次數(shù)的增加，評論情感傾向判定的準(zhǔn)確率越來越高，最優(yōu)情況下達(dá)到了82.9%。該方法不但準(zhǔn)確率較高，而且判斷出具有情感傾向的評論數(shù)量達(dá)到了92.4%，覆蓋面很廣。以上結(jié)果表明該方法具有較好的適用性和準(zhǔn)確性。