邵良杉,周 玉
(遼寧工程技術(shù)大學(xué) 系統(tǒng)工程研究所,遼寧 葫蘆島125105)
電子商務(wù)的不斷優(yōu)化使網(wǎng)絡(luò)購物成為一種重要的消費方式,越來越多的消費者通過點評網(wǎng)站對商品進(jìn)行評價[1]。但互聯(lián)網(wǎng)中的商品評論信息內(nèi)容并不規(guī)范且夾雜大量垃圾信息,需借助技術(shù)手段對評論信息進(jìn)行情感分析。因此,如何準(zhǔn)確、高效地對評論文本進(jìn)行情感分析處理,識別出消費者的情感傾向與偏好,成為自然語言處理的重要研究內(nèi)容之一。
傳統(tǒng)的情感傾向性分類采用的技術(shù)路線主要有兩種: 一種是基于情感詞匯語義特征的文本情感分類方法,例如,Maite等[2]提出根據(jù)一系列詳細(xì)的規(guī)則算法來計算文本中單詞、短語、句子的情感極性,并設(shè)置閾值以更精確地判別文本情感傾向;Mohammad等[3]基于遠(yuǎn)程標(biāo)注情感極性的Twitter文本,使用PMI公式學(xué)習(xí)得到適用于社交媒體情感分析的詞典;周紅照等[4]提出抽取與評價對象相關(guān)的七類語義特征及與極性判定相關(guān)的五類語義特征來判定情感極性;王勤勤等[5]提出基于word2vec的跨領(lǐng)域情感分類方法,選取高質(zhì)量的領(lǐng)域共同特征作為種子,并將領(lǐng)域?qū)S刑卣鲾U(kuò)充到種子中,減小領(lǐng)域間的差異以獲得更高的分類精度。但該類方法利用情感色彩判斷整體句子的情感傾向時,忽略了上下文語義間的相互信息,是一種淺層次的分類方式。
另一種是基于機(jī)器學(xué)習(xí)的文本情感分類方法。例如,Pang等[6]應(yīng)用貝葉斯、最大熵、支持向量機(jī)等經(jīng)典機(jī)器學(xué)習(xí)算法到電影評論情感極性分析中;姜杰等[7]將語義規(guī)則方法融合到機(jī)器學(xué)習(xí)模型中,結(jié)合基于樸素貝葉斯、邏輯斯特回歸和支持向量機(jī)的集成學(xué)習(xí)器分析微博文本情感極性;唐曉波等[8]基于情感本體對情感詞數(shù)量和情感程度進(jìn)行加權(quán),提出褒義量和貶義量的概念,并以此作為KNN算法的特征向量。機(jī)器學(xué)習(xí)模型可以較準(zhǔn)確地判讀句子整體的情感傾向,但目前常用模型的分類性能很大程度依賴于人工抽取特征。近年來,深度學(xué)習(xí)模型廣泛應(yīng)用于各個領(lǐng)域,并在情感分類方面展現(xiàn)出一定的優(yōu)勢。Tang等[9]對情感詞進(jìn)行研究進(jìn)而有效學(xué)習(xí)情感,開發(fā)出具有選擇功能的深度神經(jīng)網(wǎng)絡(luò),將情緒評價應(yīng)用到詞級、句子情感分類;Stojanovski等[10]利用無監(jiān)督學(xué)習(xí)獲得的情感詞訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò),并對Twitter文本進(jìn)行情感分析,取得了優(yōu)于句法特征的分類結(jié)果。從整體看,機(jī)器學(xué)習(xí)方法的分類效果優(yōu)于語義規(guī)則方法,但單獨使用機(jī)器學(xué)習(xí)或語義規(guī)則的方法都很難避免方法自身的局限性。
鑒于此,本文嘗試將語義規(guī)則方法與深度學(xué)習(xí)方法相結(jié)合,提出一種基于語義規(guī)則和改進(jìn)遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的在線評論文本情感傾向分類模型。首先改進(jìn)傳統(tǒng)規(guī)則算法以獲取更有效的情感信息,擴(kuò)展為多維特征向量嵌入到機(jī)器學(xué)習(xí)常用的基本特征模板中。同時,借助Fisher準(zhǔn)則篩選出高效低維的文本特征。最后,利用長短時記憶(Long Short-Term Memory,LSTM)改進(jìn)的RNN模型(LS-RNN)進(jìn)行評論文本情感分類實驗。
借助情感詞典可以將情感詞語從在線評論文本中抽取出來,但單獨對這些詞語進(jìn)行情感極性分析,并不能完全正確地反映文本的真實情感傾向[11]?;谇楦性~典的規(guī)則方法可以借助情感詞典提供的先驗知識,同時考慮文本上下文中改變情感傾向或強(qiáng)度的語義信息,精確反映文本的情感傾向。
傳統(tǒng)的情感規(guī)則方法是對情感詞得分進(jìn)行累加,進(jìn)而得到文本的整體情感傾向。而在線評論文本中用戶情感表達(dá)方式錯綜復(fù)雜,所發(fā)表的評論中常常伴隨著混合觀點,對某一方面給出肯定評價的同時又對其他方面進(jìn)行批評。故本文基于在線評論文本的情感多樣、強(qiáng)烈等特點,在前人類似語義規(guī)則的基礎(chǔ)上進(jìn)行修改和補(bǔ)充,制定出更加適用于在線評論文本的語義規(guī)則。同時,基于大連理工大學(xué)中文情感詞匯本體庫、知網(wǎng)詞典、知網(wǎng)程度詞典和否定詞典、網(wǎng)絡(luò)詞典構(gòu)建情感詞典,對在線評論文本進(jìn)行中文分詞。按照符號“,、”分割子句單元,根據(jù)“?!。;”分割復(fù)句單元。用集合{C1,C2,…,Cj}表示文本劃分后復(fù)句的集合,Cj表示第j個復(fù)句。`針對情感分析時需要考慮的詞語搭配、句型規(guī)則和句間規(guī)則,得到整段評論文本的情感得分Sen。細(xì)化后的情感分析語義規(guī)則見表1,具體計算步驟如下:
表1 情感分析語義規(guī)則
Step1各子句、復(fù)句情感得分初值設(shè)為0;
Step2根據(jù)詞語搭配規(guī)則匹配子句中所出現(xiàn)的情感詞、修飾詞,計算各個子句的情感得分Seni;
Step3在各子句情感得分的基礎(chǔ)上按照句型分析規(guī)則及句間分析規(guī)則計算各復(fù)句的情感得分C_Senj。
Step4對各復(fù)句的情感得分C_Senj進(jìn)行匯總計算,得到整體評論文本的最終情感得分Sen。
規(guī)則方法中,對所有可能影響文本情感得分的規(guī)則進(jìn)行分析并指定規(guī)則,計算過程的范圍由小到大。首先,根據(jù)詞語情感值計算分句情感值。而后,計算復(fù)句情感值。最終,得到整條評論文本的情感值??紤]范圍更加全面,使文本情感得分更準(zhǔn)確。
機(jī)器學(xué)習(xí)方法需要將文本轉(zhuǎn)換為一個合適的形式化表示方法,并在此基礎(chǔ)上建立學(xué)習(xí)模型。向量空間模型(vector space model,VSM)將文檔表示為空間向量進(jìn)行運算,具有較強(qiáng)的可計算性和可操作性。本文采用VSM表示文本,將N-gram特征中正面、負(fù)面類概率值;符號特征(punctuation)中單個感嘆號、問號,多個感嘆號、問號的數(shù)量;語義特征(semantic)中主觀指示詞、虛擬指示詞、語氣詞、否定詞數(shù)量,三類特征串聯(lián)成10維基本特征模板BFT。使用1.1節(jié)中規(guī)則抽取情感特征后,從有強(qiáng)度標(biāo)記的情感詞典,抽取出情感詞得分(Em_Score)、表情得分(Ex_Score)、總得分(Su_Score)、正面/負(fù)面情感詞數(shù)量(Pw_Num/Nw_Num)、正面/負(fù)面情感子句數(shù)量(Ps_Num/Ns_Num)共7維特征。對沒有強(qiáng)度標(biāo)記的情感詞典,情感詞強(qiáng)度默認(rèn)為±1。
將情感詞得分、表情得分及總得分三類特征分別與0值進(jìn)行比較,拓展為3個四維特征向量。其中,第一維為得分值,第二至四維為對比結(jié)果標(biāo)識位,依次判定是否滿足大于0、等于0、小于0關(guān)系,滿足條件為1,否則為0。三類特征最終共拓展得到12(3×4)維向量;同理,通過正面、負(fù)面情感詞數(shù)量、正面、負(fù)面子句數(shù)量之間的相互比較,采用兩兩合并拓展的方式拓展為2個五維特征向量。其中,第一、二維分別為正、負(fù)面情感詞數(shù)量,第三至五維為正、負(fù)面情感詞數(shù)量對比結(jié)果標(biāo)識。四類特征兩兩合并拓展為10(2×5)維拓展特征,將上述拓展后的特征按順序排列得到22(12+10)維情感規(guī)則特征模板RFT,并嵌入到10維基本特征模板BFT中形成32維的混合特征模板MFT。具體規(guī)則得分拓展及嵌入過程如圖1所示。
圖1 規(guī)則得分拓展過程
2.1.1 RNN網(wǎng)絡(luò)模型
RNN是一種帶有環(huán)結(jié)構(gòu)的前饋型人工神經(jīng)網(wǎng)絡(luò),且具有一定的記憶功能,其輸入既包括當(dāng)前的輸入樣本也包括上一時刻所獲得的信息,使得信息可以在網(wǎng)絡(luò)內(nèi)部進(jìn)行任意時間的循環(huán)[12]。鑒于這一性質(zhì),RNN更適合應(yīng)用到文本序列的處理中,其一般結(jié)構(gòu)如圖2所示。
圖2 遞歸神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)
2.1.2 長短時記憶
RNN解決了神經(jīng)網(wǎng)絡(luò)無法解決的文本序列前后關(guān)聯(lián)問題,但無法解決長時依賴問題,且訓(xùn)練過程中通常采用的sigmoid激勵函數(shù)經(jīng)過多級乘法運算極易導(dǎo)致梯度爆炸或消失現(xiàn)象。LSTM由記憶單元(Cell),遺忘門、輸入門、輸出門組成(見圖3),這些門可以調(diào)節(jié)存儲單元與外部環(huán)境間的相互作用。引入LSTM結(jié)構(gòu)替換RNN中的隱含層,可以實現(xiàn)t到t+1時刻中存儲單元的狀態(tài)保持不變[13]。
圖3 基于LSTM的改進(jìn)遞歸神經(jīng)網(wǎng)絡(luò)
則第k維特征的Fisher判別值為:
(11)
其中,F(xiàn)(k)值越大說明該特征項包含越多的鑒別信息,對分類的貢獻(xiàn)率越大。
對在線評論原始文本進(jìn)行去噪聲、去停用詞等預(yù)處理后得到訓(xùn)練語料集和測試語料集。使用基于情感詞典的語義規(guī)則方法,學(xué)習(xí)得到訓(xùn)練語料集中的情感先驗知識。而后,根據(jù)一定的規(guī)則轉(zhuǎn)化、拓展為新的情感規(guī)則特征模板,與機(jī)器學(xué)習(xí)中常用的基本特征模板BFT相結(jié)合,形成既包含機(jī)器學(xué)習(xí)常用特征,又包括在線評論文本專有情感知識特征的融合特征模板MFT。計算各特征的Fisher判別值,去除Fisher值低于某一閾值的特征。最終,基于篩選后的特征,訓(xùn)練構(gòu)建起的LS-RNN模型。將測試語料集帶入訓(xùn)練好的模型中得到最終文本情感分類結(jié)果,模型具體訓(xùn)練及預(yù)測過程如圖4所示。
圖4 在線評論文本情感傾向性分類的總體框架
在線評論文本情感傾向分類模型性能評價中常用的指標(biāo)包括查準(zhǔn)率(Precision)、召回率(Recall)、正確率(Accuracy)及F值(F-measure)。本文僅將在線評論文本分為正面評論文本和負(fù)面評論文本。正面評論文本和負(fù)面評論文本的預(yù)測情況可具體分為TP(實際正面,預(yù)測正面),F(xiàn)P(實際正面,預(yù)測負(fù)面),F(xiàn)N(實際負(fù)面,預(yù)測正面),TN(實際負(fù)面,預(yù)測負(fù)面)四種,各評價指標(biāo)的計算如式(12)~式(15)所示。
本文采用Python爬蟲程序從京東網(wǎng)站爬取有關(guān)oppoR11s手機(jī)的6 000條評論作為語料庫。語料庫中包括評論者、評論時間及評論內(nèi)容等信息,本文僅選取評論內(nèi)容作為在線評論情感分類的數(shù)據(jù)源。京東在線評論作為一個個體性較強(qiáng)的評論平臺,評論信息無特殊限制,使得評論中存在較多的噪聲數(shù)據(jù)。為保證實驗質(zhì)量,需對文本進(jìn)行預(yù)處理。
文本預(yù)處理過程主要包括兩部分內(nèi)容: 一是噪聲數(shù)據(jù)的過濾,二是將長文本評論變?yōu)槎涛谋驹u論分句。本文采用中國科學(xué)院計算技術(shù)研究所研發(fā)的漢語分詞系統(tǒng)(NLPIR)對文本進(jìn)行自動分詞,并借助VSM處理文本。首先,使用R語言編程對原始評論文本進(jìn)行去噪聲處理,去除垃圾評論128條,得到有效評論5 872條。從中按3∶1的比例隨機(jī)抽取得到訓(xùn)練語料集和測試語料集,采用機(jī)器自動標(biāo)注方法將訓(xùn)練語料集分為正面文本和負(fù)面文本兩類。最終,確定訓(xùn)練語料集中正面評論文本為2 415條,負(fù)面評論文本為1 989條。
為提高LS-RNN模型的情感傾向分類效果,本次實驗采用三層隱含層網(wǎng)絡(luò)結(jié)構(gòu),優(yōu)化函數(shù)選取SGD算法,目標(biāo)函數(shù)使用交叉熵。模型主要有以下參數(shù):隱層節(jié)點數(shù)n,SGD算法的學(xué)習(xí)率α。采用網(wǎng)格搜索的方法確定這些參數(shù),隱含層的節(jié)點數(shù)n在{250, 500, 750, 1 000, 1 250, 1 500}中取值;SGD算法的學(xué)習(xí)率在{1, 0.5, 0.1, 0.05, 0.01}中取值,通常在此范圍內(nèi)取值可以取得比較好的實驗結(jié)果。采用5折交叉驗證的方法確定RNN網(wǎng)絡(luò)最優(yōu)參數(shù)組合,實驗結(jié)果見圖5??梢?,在不同的學(xué)習(xí)率下,隱層節(jié)點數(shù)n為1 000時模型均具有較高的Accuracy和F-measure值,且當(dāng)學(xué)習(xí)率α取0.1時,模型分類效果最優(yōu),故確定實驗最優(yōu)參數(shù)為n=1 000,α=0.1。
相關(guān)研究表明特征集合中各特征對分類準(zhǔn)確率的貢獻(xiàn)不同,只有小部分特征對分類具有積極意義[15]。本文借助Fisher準(zhǔn)則來提取低維高判別性的特征,并將提取后的特征標(biāo)記為F-MFT。按照式(11)計算各特征的Fisher判別值,并將其作為各特征權(quán)重。根據(jù)權(quán)重大小對特征進(jìn)行降序排列,計算不同特征維數(shù)下模型的F-measure值,測試結(jié)果如圖6所示。
圖5 不同參數(shù)組合預(yù)測結(jié)果對比
圖6 不同特征維度對應(yīng)F-measure值
可以看出,當(dāng)抽取前27維特征時,文本情感傾向分類結(jié)果的F-measure值達(dá)到最高,再增加維度反而會導(dǎo)致F-measure值的下降;另外,隨著特征維度的增高,實驗所消耗的時間也隨之增加。綜合,考慮后選取前27維特征作為F-MFT。
采用測試集文本對基于語義規(guī)則和LS-RNN的融合模型進(jìn)行分類性能測試。測試集文本數(shù)量為1 468條,經(jīng)機(jī)器自動標(biāo)注確定正面評價為845條,負(fù)面評價為623條,正負(fù)面評價文本數(shù)量較為均衡。以下分四個實驗測試模型的分類性能。
實驗一驗證結(jié)合語義規(guī)則方法和LS-RNN模型的融合模型的情感傾向分類效果。網(wǎng)絡(luò)模型采用三層隱含層結(jié)構(gòu),RNN中隱層節(jié)點數(shù)為1 000,優(yōu)化函數(shù)使用SGD算法,學(xué)習(xí)率α取0.1。對比情感語義規(guī)則方法、LS-RNN模型及情感分析中常用的幾類深度學(xué)習(xí)方法,具體結(jié)果如表2所示。
表2 測試集分類結(jié)果(%)
模型PrecisionRecallF-measureAccuracy語義規(guī)則方法79.5377.8777.6975.20卷積神經(jīng)網(wǎng)絡(luò)80.3778.4477.8178.67循環(huán)神經(jīng)網(wǎng)絡(luò)81.0178.9178.0879.33RNN模型80.7678.5677.6478.79LS-RNN模型81.4280.5678.0080.99融合模型91.6090.4291.0189.58
由實驗結(jié)果可知,單純的機(jī)器學(xué)習(xí)方法相對于語義規(guī)則方法具有更好的分類準(zhǔn)確率。經(jīng)改進(jìn)的LS-RNN模型分類準(zhǔn)確率提高得更多,而結(jié)合情感規(guī)則方法與機(jī)器學(xué)習(xí)模型的融合模型在評論文本情感傾向分類中表現(xiàn)最佳,其查準(zhǔn)率、召回率和F值都有明顯的提高。主要原因是LSTM改進(jìn)RNN模型后,使得網(wǎng)絡(luò)可以充分地利用歷史信息,學(xué)習(xí)到文本間的關(guān)聯(lián)關(guān)系。融合模型根據(jù)語義從多個角度并結(jié)合上下文情感關(guān)系提取評論文本特征,可以實現(xiàn)分類模型與語義規(guī)則方法的優(yōu)勢互補(bǔ),在整體上提升分類性能。
實驗二不同特征選擇方法比較。對比基本特征模板、情感規(guī)則特征模板、混合特征模板及降維特征模板應(yīng)用到LS-RNN模型中的分類準(zhǔn)確率,測試混合特征模板及降維特征模板對模型分類準(zhǔn)確率的提升能力,實驗結(jié)果如圖7所示。
圖7 基于不同特征模板的模型分類效果
由圖7可知,基于Fisher準(zhǔn)則的降維特征模板應(yīng)用到LS-RNN模型后使得各評價指標(biāo)均取得較高數(shù)值。其中,TP=774,TN=541,模型整體分類正確率為89.58%,同等條件下相對于基本特征模板、情感規(guī)則模板和混合特征模板的分類正確率分別提高了11.72%、14.85%、3.48%。特征融合后,模型的分類準(zhǔn)確率要明顯高于僅使用基本特征模板或僅使用特征規(guī)則模板,其考慮情感詞詞性的同時,還考慮了文本上下子句間的聯(lián)系,是一種有效的特征構(gòu)建方法。特征空間維數(shù)簡約過程中,F(xiàn)isher準(zhǔn)則法將混合特征模板的維數(shù)由32降維至27維,其特征簡約率約為28.13%。由此可知,F(xiàn)isher準(zhǔn)則可以有效地提取低維的高判別性特征向量,進(jìn)而提高RNN的分類效果。是一種高效的特征降維方法。
實驗三對比不同模型的情感傾向性分類效果。為深入驗證本文構(gòu)建的融合模型的有效性,本文設(shè)計了不同分類模型之間的對比實驗,對比支持向量機(jī)(SVM)、RNN與LS-RNN三種模型的分類效果,為確保模型之間的可比性,RNN與LS-RNN模型均采用三層隱含層結(jié)構(gòu)。每層包含1 000個激活單元,特征模板采用降維混合特征模板,50次重復(fù)試驗后,得到各模型的平均預(yù)測正確率。如圖8所示。
圖8 不同模型分類效果對比圖
圖8中,各模型均取得較好的分類準(zhǔn)確率,表明降維混合特征可以在一定程度上有效提高模型的分類性能。SVM在小規(guī)模訓(xùn)練樣本的情況下可以表現(xiàn)出較好的預(yù)測性能,而RNN模型使得獲得的信息在網(wǎng)絡(luò)內(nèi)部不斷循環(huán),在文本序列處理中表現(xiàn)優(yōu)異,且結(jié)合語義規(guī)則方法進(jìn)行特征提取,可以多角度、更好、更全面地獲取到影響文本情感傾向的主要特征。與SVM相比,RNN與LS-RNN具有更高的分類準(zhǔn)確率,進(jìn)一步驗證文本序列內(nèi)部的關(guān)聯(lián)性也是情感傾向分類的一個重要依據(jù)。而對文本中情感信息的重復(fù)利用可以克服部分商品評論較少,數(shù)據(jù)集規(guī)模小的影響,在小樣本分類問題中仍表現(xiàn)出較好的性能;LS-RNN模型的表現(xiàn)是以上所有模型中最優(yōu)的,驗證了其對在線評論文本情感傾向分類的有效性。
實驗四對比融合模型與復(fù)雜神經(jīng)網(wǎng)絡(luò)的分類效果。為驗證融合模型對復(fù)雜知識的學(xué)習(xí)能力,采用訓(xùn)練集樣本訓(xùn)練融合模型、基于詞注意機(jī)制的多層神經(jīng)網(wǎng)絡(luò)及基于自注意機(jī)制的LS-RNN模型并對測試集樣本進(jìn)行預(yù)測,重復(fù)實驗10次后對預(yù)測結(jié)果取均值,實驗結(jié)果如表3所示。
表3 不同模型預(yù)測能力對比
由表3可見,三類模型的分類性能指標(biāo)值均較高,這表明三類模型對于復(fù)雜知識的學(xué)習(xí)能力均較優(yōu)。但實驗過程中復(fù)雜神經(jīng)網(wǎng)絡(luò)的預(yù)測時間成本較高,多層神經(jīng)網(wǎng)絡(luò)易產(chǎn)生梯度擴(kuò)散問題導(dǎo)致模型失效。10次實驗中出現(xiàn)2次模型失效現(xiàn)象,且多層神經(jīng)網(wǎng)絡(luò)不含時間參數(shù),對信息的重復(fù)利用性不高,預(yù)測性能受樣本規(guī)模大小影響較大。而帶有自注意機(jī)制的LS-RNN模型與融合模型分類效果相差不多。融合模型分類效果更佳的主要原因是基于自注意機(jī)制的深度學(xué)習(xí)模型中對文本中的重疊的冗余情感信息未能進(jìn)行甄別,在一定程度上影響了最終的分類準(zhǔn)確率。實驗四進(jìn)一步證明了本文中結(jié)合語義規(guī)則與深度學(xué)習(xí)的融合模型可以取得在限定資源下最優(yōu)的分類效果。
本文對互聯(lián)網(wǎng)在線評論文本的情感傾向進(jìn)行分析研究。在傳統(tǒng)語義規(guī)則方法的基礎(chǔ)上進(jìn)行改進(jìn),提出一種將結(jié)合情感詞典的語義規(guī)則方法與改進(jìn)的RNN深度學(xué)習(xí)模型的在線評論文本情感傾向分類模型;借助Fisher準(zhǔn)則對得到的新型混合特征模板降維,參照網(wǎng)格搜索思想確定RNN模型的最優(yōu)參數(shù)組合為 (1000,0.1)。以網(wǎng)絡(luò)爬取的手機(jī)評論文本作為數(shù)據(jù)源進(jìn)行實驗。實驗結(jié)果表明,將語義規(guī)則方法與機(jī)器學(xué)習(xí)模型相融合可以從多層次全面分析文本的情感粒度,有效提升文本情感分類準(zhǔn)確率,為在線評論文本情感分類研究提供了一種新的參考方案。
本文將語義規(guī)則方法與機(jī)器學(xué)習(xí)模型相融合應(yīng)用到在線評論文本中只是初步嘗試。在今后的研究中,將通過更準(zhǔn)確、更深入的規(guī)則方法,挖掘更多的先驗情感信息,并在主題挖掘方面進(jìn)行深一步的研究。