孔 茸,那日薩

(大連理工大學(xué) 經(jīng)濟(jì)管理學(xué)院,遼寧 大連 116024)

線上下單、線下消費(fèi)模式(Online To Offline,O2O)已成為人們消費(fèi)中不可或缺的組成部分,這一方面是由于平臺加大了優(yōu)惠力度,另一方面則是平臺提供了更為豐富的可選擇商家。此外,平臺的消費(fèi)者在線評論可以提供更為真實、全面的評價信息。2021年2月第47次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》鼓勵互聯(lián)網(wǎng)加速推動本地生活服務(wù)生態(tài)進(jìn)一步形成,帶動產(chǎn)業(yè)上游企業(yè)加速數(shù)字化轉(zhuǎn)型[1]。這表明,O2O 消費(fèi)快速發(fā)展,其中服務(wù)消費(fèi)勢頭最為明顯。

消費(fèi)者在線選擇商家時,通常會閱讀在線評論來輔助決策[2],在線評論、評分、評論數(shù)量等都會影響潛在消費(fèi)者的消費(fèi)意愿,尤其是在線評論中的情感態(tài)度[3]最為關(guān)鍵。但是,海量在線評論的人工提取、對比往往事倍功半,而且不同消費(fèi)者在不同情境下有著個性化的消費(fèi)需求。因此,如何準(zhǔn)確提取海量在線評論中的情感信息,并根據(jù)消費(fèi)者需求偏好對商家排序,為其提供有效的決策參考,這是一個值得關(guān)注的問題。

通常,基于在線評論的排序方法主要分為兩個過程:首先挖掘在線評論中的目標(biāo)屬性及情感信息,然后基于獲取的信息對候選產(chǎn)品或商家排序。在情感信息分析中,已有研究大多采用基于詞典和規(guī)則的無監(jiān)督方法[4-8]來識別評論情感態(tài)度,也有學(xué)者采用有監(jiān)督的機(jī)器學(xué)習(xí)方法[9]。候選排序過程中,一些學(xué)者將情感信息表示為模糊值或區(qū)間型直覺模糊值,進(jìn)而使用多屬性群決策方法排序[4,9-10]。

基于詞典和規(guī)則的情感分析方法無須數(shù)據(jù)標(biāo)注,但結(jié)果受規(guī)則影響大,當(dāng)文本復(fù)雜時準(zhǔn)確率較低?；跈C(jī)器學(xué)習(xí)的方法雖然準(zhǔn)確率有所提升,但仍然需要人工構(gòu)建特征。近年來,深度學(xué)習(xí)在情感分析中被廣泛應(yīng)用,它可以從數(shù)據(jù)中自動學(xué)習(xí)隱層特征,分類準(zhǔn)確率有較大提升。

考慮消費(fèi)者偏好的排序方法需要獲取評論中針對特定屬性的情感態(tài)度,方面級情感分析可以實現(xiàn)該功能?；谇楦性~典[11]的方法,以及傳統(tǒng)機(jī)器學(xué)習(xí)模型如邏輯回歸(Logistic Regression,LR)[12-13]、支持向量機(jī)(Support Vector Machine,SVM)[14,20]等在情感分析領(lǐng)域有著廣泛應(yīng)用,但難以較好地識別方面級情感[15-16]。隨著深度模型特別是注意力機(jī)制的研究推進(jìn),方面級情感分析技術(shù)取得了較大進(jìn)步[15-16]。此類模型在學(xué)習(xí)上下文依賴信息的同時,也能關(guān)注到對不同屬性的評價詞,從而識別消費(fèi)者對不同方面的情感態(tài)度[16]。

直覺模糊集(Intuitionistic Fuzzy Sets,IFS)是表示模糊、不確定信息的有力工具,可以表示對事物并存的肯定、否定和猶豫態(tài)度[17],由x=(μ,γ)的形式表示[18],該表示也稱為直覺模糊值(Intuitionistic Fuzzy Values,IFV),其中,μ、γ分別表示隸屬度和非隸屬度。根據(jù)IFV 在決策問題中的含義解釋[18],μ、γ分別表示對決策的支持和反對程度,猶豫度π=1-μ-γs表示中立、不確定的程度。已有研究表明,在線評論中的積極、消極和中性情感表達(dá)了對消費(fèi)決策的支持、反對以及中立態(tài)度[4,9]?；谥庇X模糊值的多屬性決策方法可以根據(jù)在線評論情感對候選商家排序,并且加入不同消費(fèi)者的屬性權(quán)重差異影響。此外,在線評分、評論數(shù)量也會對潛在消費(fèi)者的決策產(chǎn)生影響,當(dāng)商家評分越高、評論越多、評論產(chǎn)生的時間間隔越短時,消費(fèi)行為越容易發(fā)生[3]。

為了將在線評論中的情感信息應(yīng)用于商家排序,本文構(gòu)建了雙注意力BILSTM 方面級情感分類模型來識別在線評論對商家各屬性的情感。其中:方面詞自注意力計算能夠?qū)W習(xí)多個方面詞中的重要信息,從而獲得全面的方面詞表示;方面詞與上下文注意力計算能夠?qū)W習(xí)評論對各方面的情感態(tài)度,從而獲得評論中的方面情感信息。此外,本文將IFV應(yīng)用于情感信息表示,將積極、消極和中性情感轉(zhuǎn)換為IFV 的過程中,既能保留中性情感的猶豫性,也能在計算中考慮到模型有限準(zhǔn)確率帶來的不確定性。將在線評論、評分和評論數(shù)量3類信息融合,并在考慮消費(fèi)者屬性偏好的情況下提供商家排序參考,能夠提升消費(fèi)者的商家選擇和決策效率。

本文的實驗結(jié)果表明,提出的雙注意力BILSTM 方面級情感分類模型優(yōu)于LR、SVM 等傳統(tǒng)模型以及BILSTM 和單注意力BILSTM 模型。在實例分析中,對大眾點(diǎn)評商家的排序結(jié)果與平臺提供的好評排序平均重疊分?jǐn)?shù)較高,并且加入的消費(fèi)者屬性偏好、評論數(shù)量等信息均能對排序結(jié)果產(chǎn)生有效影響。綜上所述,本文提出的基于在線口碑和消費(fèi)者偏好的排序方法能夠融合多類信息,為消費(fèi)者在線商家選擇提供個性化決策參考。

1 相關(guān)研究綜述

本文研究內(nèi)容主要包括在線評論的方面級情感分類方法,以及基于在線口碑和消費(fèi)者偏好的排序方法,相關(guān)研究綜述根據(jù)這兩部分展開。

1.1 方面級情感分析相關(guān)研究

在考慮消費(fèi)者屬性偏好的商家排序問題中,需要識別在線評論中對商家各屬性的情感傾向,如餐廳評論中對“環(huán)境”“口味”和“價格”等屬性的情感態(tài)度,這需要方面級情感分析技術(shù)(Aspect-Based Sentiment Analysis,ABSA)。早期研究中,方面級情感分析采用支持向量機(jī)(Support Vector Machine,SVM)結(jié)合情感詞典、語義詞性等特征來建立模型[19-20],但是,這類方法依賴人工規(guī)則和特征工程,且性能提升有限。近年來,深度學(xué)習(xí)在自然語言處理問題中應(yīng)用廣泛,而且融合注意力機(jī)制的模型在方面級情感分析中表現(xiàn)更好。

眾多學(xué)者已將注意力機(jī)制應(yīng)用于深度學(xué)習(xí)模型,用于處理自然語言處理領(lǐng)域各個任務(wù),各模型的主要內(nèi)容如表1所示。

表1 應(yīng)用注意力機(jī)制的深度學(xué)習(xí)模型

Bahdanau等[21]首次將注意力機(jī)制引入自然語言處理領(lǐng)域,用以改進(jìn)機(jī)器翻譯中序列到序列的架構(gòu)。之后,注意力機(jī)制被用于改進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)及卷積神經(jīng)網(wǎng)絡(luò),并被用于情感分析問題。Vaswani等[22]拋棄了循環(huán)和卷積結(jié)構(gòu),使用純注意力機(jī)制構(gòu)建編碼器-譯碼器結(jié)構(gòu),所得的Transformer模型在WMT 2014英語翻譯德語與英語翻譯法語兩項任務(wù)上均取得了最好成績。Yin等[23-24]將不同的注意力引入卷積神經(jīng)網(wǎng)絡(luò),并結(jié)合孿生網(wǎng)絡(luò)架構(gòu),在釋義識別、句子蘊(yùn)含等句子對建模任務(wù)上取得了當(dāng)時最好成績。Devlin 等[25]將Transformer編碼器堆疊多層得到BERT 模型,在大規(guī)模語料庫上預(yù)訓(xùn)練以得到文本的通用表示,經(jīng)過微調(diào)之后在幾乎所有自然語言處理任務(wù)中都得到了最好結(jié)果。Radford等[26]通過堆疊Transformer解碼器塊構(gòu)造GPT 模型,在文本蘊(yùn)含、問答、語義相似性評估等多項任務(wù)上實現(xiàn)了顯著性能提升。

在方面級情感分析領(lǐng)域,研究者也通過引入注意力機(jī)制來改良模型。Wang 等[27]構(gòu)建了ATLSTM 和ATAE-LSTM 模型,AT-LSTM 通過LSTM 結(jié)構(gòu)捕捉上下文信息,之后上下文的隱層輸出與方面詞嵌入經(jīng)過注意力計算,經(jīng)分類器得到方面級的情感傾向;ATAE-LSTM 則進(jìn)一步在上下文詞嵌入中附加了方面詞嵌入。Tang等[28]提出TDLSTM 和TC-LSTM 兩種LSTM 擴(kuò)展模型,TDLSTM 將目標(biāo)詞左、右側(cè)的上下文信息分別建模,以更好地在序列中發(fā)揮目標(biāo)詞的語義作用;TCLSTM 則在此基礎(chǔ)上進(jìn)一步考慮了目標(biāo)詞和上下文的語義交互。Zhu 等[29]提出了AARCNN 方面級情感分類模型,該模型使用BILSTM 構(gòu)建句子的長期記憶,然后使用CNN 從隱層表示中提取注意力向量來獲得句子的注意力表示,最后通過方面詞嵌入來分析序列中的目標(biāo)信息。曾峰等[30]通過構(gòu)建單詞注意力層和句子注意力層,使用雙層注意力循環(huán)神經(jīng)網(wǎng)絡(luò)實現(xiàn)了方面級情感分析,相比于單注意力模型,其分類準(zhǔn)確率有所提升。孫小婉等[31]分別計算方面注意力層和上下文自注意力層,將兩部分拼接實現(xiàn)模型分類,但是該模型沒有考慮文本的序列關(guān)系。

本文提出雙注意力BILSTM 方面級情感分類模型,使用BILSTM 網(wǎng)絡(luò)學(xué)習(xí)上下文間的依賴關(guān)系,使用自注意力計算學(xué)習(xí)方面詞中的重要信息,使用方面詞和上下文間的注意力計算學(xué)習(xí)上下文中與方面詞相關(guān)的重要信息。這種模型結(jié)構(gòu)在學(xué)習(xí)上下文序列關(guān)系的基礎(chǔ)上,進(jìn)一步學(xué)習(xí)上下文與方面詞之間的依賴關(guān)系,獲得針對特定方面的情感傾向。

1.2 基于在線口碑的排序相關(guān)研究

目前基于在線口碑的排序方法大多應(yīng)用于電子產(chǎn)品、汽車等商品,已有研究采用了多種類型的在線口碑,例如文本評論、數(shù)值評分以及對比投票等,并基于多屬性決策、圖模型等方法展開研究。Liu等[4]使用詞典和規(guī)則的方法確定評論中屬性相關(guān)的情感傾向,根據(jù)積極、消極和中性評論的數(shù)量確定直覺模糊值,通過直覺模糊加權(quán)平均算子和多準(zhǔn)則偏好方法排序。Liu等[10]進(jìn)一步使用有監(jiān)督機(jī)器學(xué)習(xí)方法識別在線評論情感傾向,基于評論數(shù)量和情感信息確定區(qū)間直覺模糊數(shù),使用TOPSIS方法確定商品排序。BI等[9]考慮了有監(jiān)督情感分類模型的有限準(zhǔn)確率,使用情感傾向的統(tǒng)計值和模型準(zhǔn)確率來確定二型區(qū)間直覺模糊數(shù)。Dahooie等[32]提出一種直覺模糊數(shù)據(jù)驅(qū)動的產(chǎn)品排序模型,通過HAC算法從在線評論中抽取產(chǎn)品屬性,通過維德詞典識別評論對各屬性的情感傾向,基于IFS構(gòu)建直覺模糊決策矩陣,通過IF-IDOCRIW 方法確定屬性權(quán)重,最后應(yīng)用IF-MULTIMOORA 確定排序。Awajan等[33]將中性集理論與情感分析、多屬性決策相結(jié)合,通過SNNWA 運(yùn)算聚合評論情感,通過余弦相似度確定產(chǎn)品排序。

Zhang等[7]通過語法規(guī)則識別出各屬性相關(guān)的評論和評論中的主觀句、比較句,通過詞典確定評論中的積極、消極情感,使用PageRank算法確定商品排序。Zhang等[8]進(jìn)一步考慮了在線評論的支持度和發(fā)布時間對排序的影響,認(rèn)為支持度更高和發(fā)布時間更晚的評論應(yīng)被賦予更大的權(quán)值。楊弦等[34]使用第三方論壇提供的產(chǎn)品投票信息建立對比關(guān)系圖,并計算產(chǎn)品的相對口碑評分,根據(jù)口碑評分進(jìn)行排序。陶玲玲等[35]考慮評價信息可信度及消費(fèi)者類型,將在線評價信息轉(zhuǎn)換為區(qū)間中智數(shù),通過INLNPA 集成算子和VIKOR 方法得到酒店排序結(jié)果。李宛哲等[36]基于文本型、數(shù)值型和極性評論數(shù)據(jù)將個體評價標(biāo)準(zhǔn)差異納入排序方法設(shè)計中,通過情感詞典、概率語言集和DS-PLWA 算子融合得到排序結(jié)果,經(jīng)過汽車產(chǎn)品實例分析表明,個體評價標(biāo)準(zhǔn)差異會對產(chǎn)品排序產(chǎn)生影響。Eshkevari等[37]結(jié)合語義挖掘技術(shù)與多準(zhǔn)則決策方法,通過方面級情感分析及最好最壞方法實現(xiàn)了端到端的多維度酒店排序。Qin等[38]針對在線評論中存在的迷惑性,應(yīng)用多種機(jī)器學(xué)習(xí)方法并結(jié)合證據(jù)推理理論和隨機(jī)優(yōu)勢準(zhǔn)則等決策模型,通過隨機(jī)多準(zhǔn)則可接受性分析得到最終排序結(jié)果,在京東商城計算機(jī)產(chǎn)品實證研究中證明了方法的有效性。

尤天慧等[39]使用汽車論壇提供的汽車屬性和數(shù)值評分,計算各屬性評價值相對于消費(fèi)者期望的損益值,運(yùn)用PROMETHEE-II 方法確定排序。Zhang等[40]提出一種結(jié)合前景理論和改進(jìn)VIKOR方法的基于在線評論產(chǎn)品排序方法,結(jié)合前景理論和熵權(quán)計算,通過改進(jìn)的VIKOR 方法對候選產(chǎn)品排序。Song等[41]提出一種基于前景理論、通過整合在線產(chǎn)品評分和客觀數(shù)據(jù)對產(chǎn)品排序的方法,收集產(chǎn)品各屬性的在線評分和客觀數(shù)據(jù),通過計算加權(quán)前景值,得到融合主客觀數(shù)據(jù)的產(chǎn)品多屬性排序。Najmi等[5]首次考慮了不同消費(fèi)者的決策偏好,通過情感分析、產(chǎn)品屬性分析、品牌排序和評論有用性實現(xiàn)了一種更為全面的排序方法。Abulaish 等[6]使用電商平臺提供的星評、用戶狀態(tài)和評論有用性3種數(shù)值信息以及評論標(biāo)題和評論內(nèi)容2種文本信息,使用層次分析法確定5類信息的相對重要性,使用情感詞典確定評論情感傾向,使用TOPSIS方法確定商品排序。

綜上所述,基于圖模型的方法需要獲取對比關(guān)系,對數(shù)據(jù)結(jié)構(gòu)要求較高;基于多屬性決策的方法需要挖掘在線評論中的情感態(tài)度,但對數(shù)據(jù)結(jié)構(gòu)要求較低,可使用的數(shù)據(jù)范圍更大。此外,已有研究中的在線評論情感分析方法較為傳統(tǒng),分析的自動化程度和準(zhǔn)確性均有待提高。因此,本文提出基于雙注意力BILSTM 的方面級情感分析方法,在考慮消費(fèi)者屬性偏好的情況下,應(yīng)用直覺模糊TOPSIS 方法,融合在線評論、評分、評論數(shù)量等多類信息進(jìn)行商家排序,為潛在消費(fèi)者在線商家選擇提供參考。

2 基于在線口碑和消費(fèi)者偏好的商家排序模型

2.1 問題的描述

消費(fèi)者作出在線消費(fèi)決策之前,通常會參考已有的在線評論、評分、評論數(shù)量等信息進(jìn)行商家對比選擇,眾多研究也證明了評分?jǐn)?shù)據(jù)的有用性[6,41],Zhang等[3]的研究表明,商家的在線評論數(shù)量與其消費(fèi)量有一定關(guān)系。因此,在排序中融合消費(fèi)者在線評論、評分和評論數(shù)量3類信息具有一定的理論基礎(chǔ)。

本文要解決的問題是基于在線評論、評分以及評論數(shù)量,在考慮消費(fèi)者屬性偏好的情況下,為消費(fèi)者提供商家排序作為決策參考,從而提高消費(fèi)者的信息獲取和決策效率。以下為該問題中各集合、變量的表示及具體含義:

A={A1,A2,…,An}——消費(fèi)者意向進(jìn)行消費(fèi)的商家集合,其中,Ai表示第i個商家,i=1,2,…,n

F={f1,f2,…,fm}——商家的m個方面屬性集合,其中,fj表示第j個屬性,j=1,2,…,m

Q={q1,q2,…,qn}——由消費(fèi)者對商家的在線評論數(shù)量構(gòu)成的向量,其中,qi為消費(fèi)者對商家Ai的在線評論數(shù)量,i=1,2,…,n

問題解決過程主要分為兩個部分:一是通過構(gòu)建雙注意力BILSTM 方面級情感分類模型識別在線評論對商家各屬性的情感傾向,然后基于消費(fèi)者提供的屬性權(quán)重,通過直覺模糊TOPSIS方法計算商家的貼近度Di;二是獲取商家各屬性的消費(fèi)者評分,考慮屬性權(quán)重得到商家綜合評分Si,并加入對商家評論數(shù)量的度量,融合3類信息得到對候選商家較為全面的評價。問題的解決框架如圖1所示。

圖1 基于在線口碑和消費(fèi)者偏好的排序問題解決框架

2.2 雙注意力BILSTM 方面級情感分類模型

為了識別在線評論中與方面屬性相關(guān)的情感傾向,本文構(gòu)建雙注意力BILSTM 情感分類模型。該模型由屬性方面詞和評論句的詞嵌入層、LSTM 層、BILSTM 層、兩個注意力層和最后的全連接層構(gòu)成,如圖2所示。其中:a1,a2,…,am表示方面詞向量;w1,w2,…,wn表示評論句詞向量;HA表示方面詞經(jīng)LSTM 的輸出;Hs表示評論句經(jīng)BILSTM 的輸出;表示HA經(jīng)自注意力計算后的輸出;self attention表示自注意力計算;scaled dot attention表示方面詞與評論句上下文注意力計算;dropout表示隨機(jī)失活。下文將對各網(wǎng)絡(luò)層進(jìn)行詳細(xì)介紹。

圖2 雙注意力BILSTM 模型結(jié)構(gòu)

(1) 方面詞和評論句的詞嵌入層。圖2 中,[a1,a2,…,am]表示方面詞詞嵌入,由方面詞向量構(gòu)成;[w1,w2,…,wn]表示評論句詞嵌入,由句中詞語的詞向量構(gòu)成,即詞向量拼接構(gòu)成詞嵌入層。詞向量是一種將文本轉(zhuǎn)換為數(shù)值向量的方法,每個詞語均由一個d維向量表示,向量間距離能夠表示詞語間的語義相似度[28]。將方面詞和評論句分別轉(zhuǎn)換為詞向量從而構(gòu)成詞嵌入層,詞嵌入層中的參數(shù)值在模型訓(xùn)練中動態(tài)調(diào)整,使其更適用于特定數(shù)據(jù)集。

(2) 雙向長短時記憶層。長短時記憶網(wǎng)絡(luò)(LSTM)常用于處理序列數(shù)據(jù),它通過記憶細(xì)胞學(xué)習(xí)序列傳遞中的長依賴關(guān)系,LSTM 僅包含單向序列信息,雙向長短時記憶層(BILSTM)同時包含前后向序列信息。記憶細(xì)胞包含輸入門it、輸出門ot和遺忘門ft的控制單元,分別為:

式中:dt-1為t-1階段的隱層輸出;ˉct為t階段的輸入信息;σ是sigmoid激活函數(shù);it、ot和ft分別控制t階段記憶細(xì)胞的輸入信息、輸出信息和t-1階段的丟棄信息;Wi、bi、Wo、bo、Wf和bf分別為各控制門的權(quán)值和偏置向量。

每條評論可視為一個序列,it、ot和ft中的控制參數(shù)在訓(xùn)練中根據(jù)語料動態(tài)調(diào)整。門控機(jī)制使序列信息有選擇地傳遞,保留重要信息,丟棄噪聲信息,能夠挖掘評論中的遠(yuǎn)依賴關(guān)系。

(3) 雙注意力層。注意力機(jī)制可以解釋為通過權(quán)值控制,丟棄、弱化與目標(biāo)不相關(guān)的隱層,保留、增強(qiáng)相關(guān)的隱層。注意力計算公式為

式中:Q為查詢向量;K為鍵向量;V為值向量;dk為鍵向量的維度;softmax是歸一化函數(shù),該式輸出可理解為值向量的加權(quán)和;QKT運(yùn)算可表示查詢向量和鍵向量的契合程度[22]。

雙注意力層包含方面詞自注意力層、方面詞與上下文注意力層,方面詞自注意力層將方面詞LSTM 輸出做自注意力計算,得到權(quán)值調(diào)整后的方面詞表示,如下式所示:

式中:HA表示方面詞的LSTM 輸出;為HA的維度。

方面詞與上下文注意力層將評論句BILSTM輸出與方面詞自注意力輸出做注意力計算,如下式所示:

式中:Hs表示評論句BILSTM 輸出是Hs的維度。

方面詞自注意力層可以得到方面詞加權(quán)表示,根據(jù)語料動態(tài)學(xué)習(xí)權(quán)重,獲得方面詞中的重要信息,如當(dāng)“位置、交通、距離、商圈、城市核心、商區(qū)、周邊商業(yè)、交通樞紐、周邊交通、城市中心”等作為方面詞時,自注意力計算使“位置”語義突出的方面詞權(quán)重增大。方面詞與上下文注意力層則將方面詞表示和評論句表示做注意力計算,可以提升評論中特定方面詞語的重要程度,有利于模型識別方面信息,如某餐廳評論“首先說地理位置,在北大街往東一點(diǎn),交通很便利。所以人流量大,來吃飯的人很多,往往需要等位。”與“位置”方面做注意力計算時,評論中“地理位置”“交通”等詞語的權(quán)重提升,從而得到位置權(quán)重調(diào)整后的評論表示。

(4) 全連接層。全連接層作為模型的輸出層,輸出維度包含“不相關(guān)”“消極”“中性”和“積極”,具體含義分別為:評論與該方面不相關(guān)、在該方面上的情感傾向為消極、中性和積極。全連接層的dropout參數(shù)可以控制輸出層中隨機(jī)失活的神經(jīng)元比例,可以增加輸出的隨機(jī)性,緩解過擬合問題。softmax函數(shù)表達(dá)式為

式中,k為輸出維度,本模型中k=4,與輸出維度一致,各維度值表示可能性大小。該概率型輸出將作為商家直覺模糊值的計算基礎(chǔ)。

本文模型對方面級情感分析中注意力計算的應(yīng)用方式進(jìn)行了創(chuàng)新,在已有注意力計算方式的基礎(chǔ)上,增加了方面詞的自注意力計算,將方面詞LSTM 輸出進(jìn)行自注意力計算,可以對方面詞隱層加權(quán),增強(qiáng)模型對輸入方面詞的學(xué)習(xí)、表示能力。方面詞與上下文注意力計算中,采用上下文的BILSTM 輸出與方面詞的自注意力表示做注意力計算,模型可以根據(jù)語料自適應(yīng)地調(diào)整注意力權(quán)值,從而突出評論中的特定方面信息,識別與各屬性方面相關(guān)的情感。

2.3 在線口碑表示與商家排序過程

上文構(gòu)建的情感分類模型可以自動識別評論中的方面級情感傾向,本文將評論情感用直覺模糊值表示,應(yīng)用直覺模糊TOPSIS 方法計算商家貼近度,將消費(fèi)者對商家各方面評分加權(quán)求和。此外,計算消費(fèi)者一定時間內(nèi)對商家評論數(shù)量的度量,綜合三者確定商家排序。

通過下式得到表示商家Ai在方面屬性fj上表現(xiàn)的直覺模糊值xij=(μij,γij):

式中:ηj為情感分類模型在屬性fj上的加權(quán)F1值;α為考慮模型準(zhǔn)確性的程度,α∈[0,0.5]。α取值過大時,xij中包含的情感信息過少,失去了區(qū)分度和評價意義。

式(14)～(16)為情感類別k的查準(zhǔn)率、查全率和F1值的計算公式,其中TPk、FPk和FNk的定義基于目標(biāo)類別k的混淆矩陣。如表2所示:TPk表示預(yù)測標(biāo)簽和真實標(biāo)簽均為k的評論數(shù)量;FPk表示預(yù)測標(biāo)簽為k、真實標(biāo)簽不為k的評論數(shù)量;FNk表示預(yù)測標(biāo)簽不為k、真實標(biāo)簽為k的評論數(shù)量;TNk表示預(yù)測和真實標(biāo)簽都不為k的評論數(shù)量。

表2 目標(biāo)類別k 的混淆矩陣

查準(zhǔn)率、查全率能夠表示模型識別情感類別k的準(zhǔn)確性和全面性,F1是兩者的綜合值。則有公式:

式(18)～(20)為加權(quán)查準(zhǔn)率、加權(quán)查全率和加權(quán)F1 值,是各類別評價指標(biāo)的加權(quán)平均值,其中pk的計算公式為式(17),表示類別k在數(shù)據(jù)集中的評論數(shù)量占比。加權(quán)查準(zhǔn)率、加權(quán)查全率和加權(quán)F1值降低了標(biāo)簽數(shù)量不均衡的影響,更能準(zhǔn)確地反映模型性能。

直覺模糊值xij=(μij,γij)既包含消費(fèi)者評論對在線商家選擇的支持、反對和中立猶豫態(tài)度,也包含模型有限準(zhǔn)確率帶來的信息不確定性,可以簡潔有效地表示消費(fèi)者態(tài)度,同時減少信息轉(zhuǎn)換中的丟失與曲解。

(2) 直覺模糊TOPSIS方法計算貼近度。根據(jù)已有研究[42-43],直覺模糊值x=(μ,γ)的得分函數(shù)有多種計算方式,分別為:

式中:μ、γ和π分別為隸屬度、非隸屬度和猶豫度;α為控制參數(shù)。當(dāng)Si(x1)>Si(x2)時,x1?x2;當(dāng)Si(x1)=Si(x2)時,x1=x2;當(dāng)Si(x1)

參考已有研究[44-46],將直覺模糊TOPSIS方法計算過程概括如下:

①構(gòu)建決策矩陣X=[xij]n×m,i=1,2,…,n;j=1,2,…,m。其中:n為候選商家數(shù)量;m為商家方面屬性數(shù)量;xij=(μij,γij)表示商家Ai在屬性fj上的直覺模糊值;μij、γij分別表示對選擇該商家的支持和反對程度;πij=1-μij-γij表示中立棄權(quán)程度。

② 規(guī)范化決策矩陣,將決策矩陣中xij通過歸一化轉(zhuǎn)換為單位向量,得到規(guī)范化決策矩陣

③根據(jù)消費(fèi)者提供的屬性偏好權(quán)重w=[w1,w2,…,wm]T,得到加權(quán)規(guī)范化決策矩陣C=[cij]n×m,其中

⑤ 計算候選商家與正理想解C+、負(fù)理想解C-之間的歐式距離,商家Ai到C+的距離為

⑥ 計算商家Ai的相對距離Di,也稱為貼近度,如下式所示:

Di值越大,表明Ai與C-距離越遠(yuǎn),與C+距離越近,Ai的評價越好。

通過上述過程可以獲得各商家的貼近度Di(i=1,2,…,n),貼近度反映了屬性偏好權(quán)重下,消費(fèi)者在線評論對選擇商家的支持程度。

(3) 方面評分與評論數(shù)量。消費(fèi)者在平臺編輯評論時,也會提供對商家各方面屬性的星評,通過獲取每條評論下的各方面評分,可計算方面加權(quán)評分。根據(jù)已有研究,消費(fèi)者對商家近期的評論數(shù)量對當(dāng)前決策更具參考作用,從側(cè)面反映了商家的受歡迎程度,評論越多,商家越受歡迎,潛在消費(fèi)者的消費(fèi)意愿越高[3]。本文構(gòu)建了人氣值來度量一定時間段內(nèi)的評論數(shù)量,如下式所示:

式中:n為最近n條評論;Intervaln為產(chǎn)生這些評論的時間間隔。參考已有研究[3],取n=200。

將在線評論信息的貼近度Di、商家加權(quán)評分Si和商家人氣值populari分別經(jīng)最大-最小值歸一化處理,使其在同一量綱下可比較。然后,根據(jù)消費(fèi)者對不同數(shù)據(jù)的信任、偏好程度,對3類得分加權(quán)求和,得到候選商家的最終評分evali(i=1,2,…,n),如下式所示:

式中,wD、wS、wpopular分別為Di、Si、populari評分的權(quán)值。

3 實例分析

3.1 數(shù)據(jù)準(zhǔn)備

(1) 數(shù)據(jù)獲取。為了確定情感分類模型的參數(shù),需要有標(biāo)簽數(shù)據(jù)作為訓(xùn)練集。由美團(tuán)點(diǎn)評等公司聯(lián)合主辦的“全球AI挑戰(zhàn)賽”公布了用于細(xì)粒度情感分析的中文在線評論數(shù)據(jù)集,該數(shù)據(jù)集由餐飲領(lǐng)域在線評論構(gòu)成,在6大類下的20個細(xì)分類上均有標(biāo)簽,類別含義如表3 所示,標(biāo)簽的取值范圍為{-2,-1,0,1},其中-2、-1、0、1分別表示與該類別不相關(guān),在該類別上情感為消極、中性和積極。

表3 數(shù)據(jù)集類別

若考慮所有細(xì)分類,則方面屬性過多,這會使消費(fèi)者難以分辨屬性重要性,并且類別增多時,模型情感分類的準(zhǔn)確性會下降[9]。若使用某個細(xì)分類作為大類代表,又會丟失其他細(xì)分類的標(biāo)簽信息。因此,采用含義明確的前5個大類,將“位置”“服務(wù)”“價格”“環(huán)境”和“菜品”中的細(xì)分類標(biāo)簽合并處理,處理規(guī)則如表4所示,處理后的數(shù)據(jù)分布如表5所示。

表4 合并處理規(guī)則

表5 數(shù)據(jù)分布

消費(fèi)者通常先確定餐廳的地理位置和類型,再進(jìn)一步通過在線評論獲取餐廳各方面的信息。訓(xùn)練數(shù)據(jù)集提供了位置、服務(wù)、價格、環(huán)境和菜品5個方面,實例研究根據(jù)這5個方面展開。因此,實驗獲取數(shù)據(jù)的過程為:在大眾點(diǎn)評大連高新區(qū)萬達(dá)廣場商圈搜索“重慶火鍋”,有8家候選餐廳,通過Python編寫爬蟲程序獲得餐廳的消費(fèi)者在線評論,以及口味、食材、環(huán)境和服務(wù)評分,由于缺少價格方面評分,故獲取餐廳的平均消費(fèi)價格,并將平均消費(fèi)價格經(jīng)f(x)=1-x處理轉(zhuǎn)換為值,且越大越好,將其作為餐廳價格方面評分度量。

(2) 數(shù)據(jù)預(yù)處理。為了將評論轉(zhuǎn)換為可計算的數(shù)值,首先對評論分詞,使用Jieba分詞工具,并通過補(bǔ)充用戶自定義詞典提升分詞效果。開源預(yù)訓(xùn)練詞向量可以作為詞嵌入層的初始值,加速模型訓(xùn)練。使用騰訊AI Lab公開的中文詞向量[47-48]作為預(yù)訓(xùn)練詞向量,該詞向量包含800余萬中文詞匯,每個詞對應(yīng)一個200維的向量,在覆蓋率、新鮮度和準(zhǔn)確性等方面均有較大提升。

情感分類模型需要屬性方面詞作為輸入,將數(shù)據(jù)集提供的類別描述信息分詞后作為種子詞,使用詞向量模型選出與種子詞語義相似度接近的詞語。方面詞根據(jù)自身語義分為一般語義方面詞和帶有情感的方面詞,如“交通、服務(wù)、價格”和“交通便利、服務(wù)貼心、價格優(yōu)惠”。從相似詞中人工篩選去掉一些抽象詞語,并按相似度排序選出20個一般語義方面詞和帶有情感的方面詞,分別如表6、7所示。

表6 一般語義方面詞

表7 帶有情感的方面詞

3.2 情感分類模型參數(shù)設(shè)置

模型訓(xùn)練需要設(shè)定的超參數(shù)有:評論句長度maxlen,方面詞數(shù)量n;詞向量維度d;長短時記憶層隱層單元數(shù)量h;全連接層隨機(jī)丟棄的神經(jīng)元比例dropout。本文實驗中,maxlen=200,n=20,d=200,h=100,dropout=0.3。具體原因如下:

(1) 評論句長度設(shè)置過短,一些句子被截斷,后部信息丟失,設(shè)置過長則浪費(fèi)計算資源。數(shù)據(jù)集平均句長為98,實驗中句長分別設(shè)置為100和200,句長為200時模型效果更佳。

(2) 方面詞數(shù)量是在方面詞選擇過程中確定的,實驗中各方面屬性下均選擇了20個方面詞,所以n=20。也可以選擇更多的方面詞作為信息輸入,從而提供更多的外部信息,此時代表方面詞數(shù)量的超參數(shù)也隨之增加。模型中的詞向量維度需要與使用的預(yù)訓(xùn)練詞向量維度保持一致,即d=200。

(3) 方面詞LSTM 層和評論句BILSTM 層隱層單元數(shù)量h均設(shè)置為100,兩個隱層輸出維度一致有助于后續(xù)注意力計算。該超參數(shù)可適當(dāng)增大或減小,隨機(jī)失活的神經(jīng)元比例dropout可以在0～1的范圍內(nèi)動態(tài)調(diào)整。這兩個超參數(shù)會在一定范圍內(nèi)影響模型效果,但浮動不會太大。通過調(diào)參獲得最優(yōu)超參數(shù)不是本文的主要目的,出于訓(xùn)練成本的考慮,并未進(jìn)行細(xì)致的超參數(shù)調(diào)節(jié)實驗。

3.3 情感分類模型效果評價

使用加權(quán)查準(zhǔn)率avgP、加權(quán)查全率avgR和加權(quán)F1值avgF1作為評價指標(biāo),在訓(xùn)練集上訓(xùn)練模型,在驗證集上評估模型效果。使用10個一般語義方面詞和10個帶有情感方面詞作為方面詞輸入,模型在5個屬性上的評價指標(biāo)如表8所示。其中,模型在“位置”屬性上表現(xiàn)最好,在“菜品”屬性上表現(xiàn)較差,造成該結(jié)果的原因為各屬性標(biāo)簽分布的差異和方面詞選擇差異,總體來看,加權(quán)F1值的均值可達(dá)0.7597。

表8 模型評價

因為方面詞選擇對模型表現(xiàn)有一定影響,所以需要進(jìn)一步探究使用不同類型方面詞時的模型效果。使用20個一般語義方面詞(見表6)、20個帶有情感方面詞(見表7)分別進(jìn)行實驗,與使用10個一般語義方面詞、10個帶有情感方面詞時的實驗結(jié)果對比,如表9所示。由表9可得不同類型方面詞對模型影響有限,使用一般語義方面詞時模型效果最好。

表9 不同類型方面詞對比實驗

為了進(jìn)一步證明情感分類模型的優(yōu)越性,使用基于機(jī)器學(xué)習(xí)的LR 模型、SVM 模型、隨機(jī)森林模型(Random Forest,RF)以及多層感知機(jī)模型(Multi-layer Perceptron,MLP)、BILSTM 和單注意力BILSTM 模型進(jìn)行對比實驗。LR、SVM、RF 和MLP模型在參數(shù)調(diào)節(jié)后確定的最優(yōu)超參數(shù)分別為:LR 模型中,正則化強(qiáng)度C=50.0/訓(xùn)練樣本數(shù)量,訓(xùn)練停止閾值tol=0.1;SVM 模型中,正則化強(qiáng)度C=1.0,核函數(shù)kernel=‘rbf’,核系數(shù)gamma=‘scale’,類別權(quán)重class_weight=‘balanced’,多分類模式decision_function_shape=‘ovr’;RF 模型中,樹的數(shù)量n_estimator=5 000,最大深度max_depth=50,內(nèi)部節(jié)點(diǎn)分割最小樣本數(shù)min_samples_split=50,葉節(jié)點(diǎn)最小樣本數(shù)min_samples_leaf=1;MLP 模型中,隱層神經(jīng)元數(shù)量hidden_layer_sizes=32,L2懲罰系數(shù)alpha=0.001,訓(xùn)練停止閾值tol=0.01。BILSTM 模型和單注意力BILSTM模型中的參數(shù)與本文模型參數(shù)一致。單注意力和雙注意力BILSTM 模型分別采用3類方面詞對比,實驗結(jié)果如表10所示,表中結(jié)果為5個屬性上評價指標(biāo)的平均值。

表10 不同模型對比實驗

由表10可以看出,本研究提出的模型優(yōu)于LR、SVM 等傳統(tǒng)機(jī)器學(xué)習(xí)模型,說明當(dāng)句子較長、包含的信息較復(fù)雜時,傳統(tǒng)模型和單一特征難以準(zhǔn)確識別方面級情感傾向。深度學(xué)習(xí)模型中,單注意力BILSTM 模型avgF1值均高于BILSTM 模型。這說明,注意力計算有助于模型識別方面級情感。由表9、10可以看出,本研究提出的雙注意力BILSTM模型avgF1值略高于單注意力BILSTM 模型。這說明,方面詞的自注意力計算能夠在一定程度上提升模型識別方面級情感的能力。此外,由表10還可以看出,使用不同類型的方面詞對單注意力BILSTM 模型影響有限,使用一般語義方面詞時模型效果最好,這與表9的結(jié)論一致。

3.4 排序結(jié)果分析

按照2.3節(jié)中的排序過程對候選餐廳排序,主要分為基于在線評論的貼近度計算和基于方面評分的綜合評分計算兩個過程。首先使用訓(xùn)練好的模型對在線評論進(jìn)行方面級情感分類,根據(jù)式(8)～(10)計算各屬性下積極、消極和中性情感的平均水平,根據(jù)式(11)～(13)計算直覺模糊值。

需要消費(fèi)者提供5個屬性的偏好權(quán)重,即位置、服務(wù)、價格、環(huán)境和口味,首先在屬性權(quán)重w={位置:0.2,服務(wù):0.2,價格:0.2,環(huán)境:0.2,口味:0.2}情況下對候選餐廳排序,分別應(yīng)用式(21)～(24)的得分函數(shù),S4中取α=0.5,排序結(jié)果均為:res1?res2?res3?res4?res5?res6?res7?res8,說明模型在使用不同的得分函數(shù)時也具有穩(wěn)健性。

進(jìn)一步研究3類信息融合對排序結(jié)果的影響。式(31)中,當(dāng)wD=0.5,wS=0.5,wpopular=0時,排序結(jié)果為Rank;當(dāng)wD=0.4,wS=0.4,wpopular=0.2時,排序結(jié)果為Rankpop。兩種排序結(jié)果分別與大眾點(diǎn)評提供的好評排序 RankDZ-good、人氣排序RankDZ-pop以及美團(tuán)網(wǎng)提供的好評排序RankMT-good進(jìn)行對比,使用集合交集法[49]對排序結(jié)果進(jìn)行驗證,該方法通過計算不同深度的排序重疊率,比較兩個排序列表的平均重疊分?jǐn)?shù)。具體而言,以平臺提供的餐廳排序結(jié)果(好評排序結(jié)果或人氣排序結(jié)果)為基準(zhǔn),計算本文餐廳排序結(jié)果與其平均重疊分?jǐn)?shù),該值越大,說明與平臺既有排序結(jié)果更為一致,如圖3所示。

由圖3可以看出,不考慮屬性差異時,本文排序結(jié)果與平臺好評排序(RankDZ-good和RankMT-good)的平均重疊分?jǐn)?shù)較高(均在0.9左右);當(dāng)加入人氣值時,與平臺人氣排序(RankDZ-pop)的平均重疊分?jǐn)?shù)有所上升(0.65～0.69)。這說明,本文排序能有效地反映消費(fèi)者評價信息,人氣值也能反映餐廳近期受歡迎程度。此外,當(dāng)本文模型加入人氣值時,其結(jié)果與平臺好評排序結(jié)果的平均重疊分?jǐn)?shù)略有下降(即0.88～0.76、0.9～0.86)。這說明,考慮人氣值后的排序結(jié)果會與平臺提供的餐廳排序結(jié)果有較大不同,同時表明了考慮人氣值的必要性。

若消費(fèi)者在工作日午餐、朋友聚會情境下,提供的屬性權(quán)重分別為:w1={位置:0,服務(wù):0,價格:0.6,環(huán)境:0,口味:0.4},w2={位置:0,服務(wù):0.4,價格:0,環(huán)境:0.3,口味:0.3},即在工作日午餐時最看重價格和口味,在朋友聚會時更看重服務(wù)和環(huán)境。不同權(quán)重下排序結(jié)果如表11所示。由表11可以看出,排序結(jié)果與不考慮屬性差異時相比(w={位置:0.2,服務(wù):0.2,價格:0.2,環(huán)境:0.2,口味:0.2})體現(xiàn)出多樣性和差異性,說明排序方法能夠根據(jù)消費(fèi)者的屬性偏好提供不同的選擇。

表11 不同屬性權(quán)重下的餐廳排序

4 管理啟示

本文提出了一種應(yīng)用多種口碑信息、考慮消費(fèi)者屬性偏好的商家排序方法。基于所提出模型以及實例研究中的分析結(jié)果,可以從中提煉出如下現(xiàn)實層面的管理啟示:

(1) 在消費(fèi)者層面,本文構(gòu)建的商家排序方法考慮了不同消費(fèi)者的個人偏好,排序結(jié)果能夠很好地反映這種偏好差異性,進(jìn)而輔助消費(fèi)者提高決策效率。例如,在餐廳排序?qū)嵗?3.4節(jié)設(shè)置了“工作日午餐”和“朋友聚會”兩種不同的消費(fèi)者偏好情境,表11的結(jié)果反映了不同偏好情境下的商家排序結(jié)果。

(2) 對于平臺而言,雖然很多在線平臺均提供了產(chǎn)品的排序功能(例如美團(tuán)、大眾點(diǎn)評),但主要是單因素的排序(例如位置或價格)。而在現(xiàn)實中,消費(fèi)者往往習(xí)慣于綜合考慮多個因素進(jìn)行評估。就此而言,平臺可以將本文所提出的方法集成于在線平臺,為消費(fèi)者提供多因素的排序功能,以全面滿足消費(fèi)者需求,進(jìn)而提升消費(fèi)者滿意度。

(3) 本研究對于商家也具有一定的現(xiàn)實意義。具體而言,研究方法和結(jié)果也可以幫助商家了解其在市場中的競爭位置,以及其他具有相似消費(fèi)群體的競爭商家。通過對排名更高的競爭商家進(jìn)行分析,商家可以了解自身短板并及時采取改進(jìn)措施,最終增強(qiáng)其市場競爭力。

盡管本文的研究數(shù)據(jù)來自美團(tuán)和大眾點(diǎn)評平臺,但本文所提出的排序方法也適用于其他類似在線平臺,例如淘寶、京東等平臺商家在線數(shù)據(jù)的分析。

5 結(jié)語

在O2O 消費(fèi)模式快速發(fā)展的環(huán)境下,為了提升消費(fèi)者在線商家選擇的體驗和決策效率,本文提出一種應(yīng)用多種在線口碑、同時考慮消費(fèi)者屬性偏好的商家排序方法。首先,通過雙注意力BILSTM 方面級情感分類模型識別在線評論對各商家屬性的情感態(tài)度。然后,基于評論情感值和模型有限準(zhǔn)確率確定直覺模糊值,從而獲得對消費(fèi)決策呈支持、反對和中立態(tài)度的度量。根據(jù)消費(fèi)者在不同情境下的屬性偏好,應(yīng)用直覺模糊TOPSIS方法計算各商家貼近度,并計算各方面加權(quán)評分和近期人氣值。最后,綜合三者確定商家排序。

雙注意力BILSTM 模型能夠通過BILSTM 學(xué)習(xí)評論的上下文依賴關(guān)系,通過自注意力層學(xué)習(xí)方面詞中的重要信息,通過方面詞與上下文注意力層學(xué)習(xí)評論在商家屬性上的情感態(tài)度。對比實驗中,本文模型在識別長文本的方面級情感中體現(xiàn)出優(yōu)越性。根據(jù)評論情感確定商家直覺模糊值時,既考慮了對消費(fèi)決策的支持、反對和中立態(tài)度,也考慮了模型有限準(zhǔn)確率帶來的不確定性,從而減少信息轉(zhuǎn)換中的丟失與曲解。在實例分析中,應(yīng)用本文排序方法對大眾點(diǎn)評8家商家排序,排序結(jié)果與平臺提供的好評排序平均重疊分?jǐn)?shù)較高,并且能夠根據(jù)消費(fèi)者屬性偏好提供不同的排序參考,體現(xiàn)出方法的可靠性與個性化排序能力。

本文提出的方面級情感分類模型具有較好的結(jié)構(gòu)和學(xué)習(xí)能力,提出的排序方法為解決基于在線口碑的商家排序問題提供了新的方法和思路。本文研究方法和結(jié)果改進(jìn)了在線評論挖掘方法,對提升O2O 模式下消費(fèi)者的體驗和決策效率也具有重要意義。此外,本文方法對在線商家的系統(tǒng)管理具有一定實際意義,可以幫助商家從消費(fèi)者評論中發(fā)現(xiàn)商家經(jīng)營的優(yōu)勢與不足,有助于量化服務(wù)質(zhì)量并進(jìn)一步提升商家競爭力。

附錄

直覺模糊值性質(zhì)證明

正文2.3節(jié)中式(11)～(13)得到的直覺模糊值xij=(μij,γij)具有如下性質(zhì)。

性質(zhì)1xij=(μij,γij)滿足隸屬度、非隸屬度和猶豫度的基本條件,即μij,γij∈[0,1]且μij+γij∈[0,1]。

性質(zhì)3當(dāng)代表模型加權(quán)F1值的ηj增大時,即模型效果更好時,代表決策不確定程度的πij減小;當(dāng)α增大時,即考慮模型準(zhǔn)確性的程度更大時,其對決策過程帶來的不確定性影響增大,代表決策不確定程度的πij增大。