高麗君，張宇濤，林昀萱，施慧玲

（1.福州大學經(jīng)濟與管理學院，福建 福州 350108；2.福州大學數(shù)學與計算機科學學院，福建 福州 350108；3.福州大學梅努斯國際工程學院，福建 福州 350108）

1 研究背景及意義

由于交通技術(shù)的迅速革新以及我國對基礎(chǔ)設(shè)施建設(shè)的大力投資，如今人們交通出行變得越來越容易，自然而然對于酒店民宿等住宿場所的需求十分旺盛。根據(jù)Trustdata移動大數(shù)據(jù)監(jiān)測平臺統(tǒng)計數(shù)據(jù)顯示，2019年我國在線酒店預訂間夜量同比增長了26.7%，全年酒店間夜量規(guī)模超8億[1]?？梢娫谛鹿谝咔榈挠绊懴?，酒店行業(yè)發(fā)展前景依舊一片大好。由于目前消費升級的趨勢，人們對于在外出行十分重要的住宿酒店提出了更高的服務要求。如何高效探究顧客的滿意程度從而識別其需求是當前酒店行業(yè)重點關(guān)注的問題。

酒店顧客滿意度代表該酒店在房間、交通等硬環(huán)境以及員工、服務等軟環(huán)境方面滿足顧客期待的程度，是涉及各方面因素的綜合指標。酒店滿意度的研究方法目前包括傳統(tǒng)的問卷調(diào)查法、專家法和當前大數(shù)據(jù)時代適用的在線評價分析法。劉衛(wèi)鎧[2]實現(xiàn)酒店評論文本的情感極性分析，證明酒店評論數(shù)據(jù)的有用性。

傳統(tǒng)研究方法存在數(shù)據(jù)量較低、顧客覆蓋率低、研究維度存在局限性等問題，而在線評價的海量數(shù)據(jù)能夠在一定程度上避免上述問題。如今，互聯(lián)網(wǎng)時代由顧客根據(jù)實際體驗在各大網(wǎng)絡(luò)平臺發(fā)表的在線評論已經(jīng)成為顧客滿意度的重要載體。當前對于酒店滿意度的研究，許多研究者選擇以海量的在線評論作為文本數(shù)據(jù)庫，并將文本數(shù)據(jù)進行整理篩選和分析后，用不同的研究方法對文本數(shù)據(jù)進行研究。

對酒店在線評論分析較為廣泛應用的傳統(tǒng)方法是定性分析和定量分析。汪家鑫等[3]用SWOT分析法對在線評論數(shù)據(jù)進行定性分析，提出酒店服務質(zhì)量提升的策略；劉巖等[4]采用文本聚類方法與TF-IDF（Term Frequency-Inverse Document Frequency）算法對酒店在線評論進行定量分析，其次運用線性回歸分析方法構(gòu)造酒店顧客滿意度評論模型。而面對在線評論數(shù)據(jù)量大、非結(jié)構(gòu)性的特點，傳統(tǒng)的模型方法如線性回歸等難以獲得較好的研究效果，因此學者們也利用邏輯回歸、深度學習等機器學習領(lǐng)域技術(shù)進行滿意度研究。郭慶等[5]通過Tree LSTM模型對旅游網(wǎng)站評論進行情感分析，以研究用戶對旅游景點的滿意程度；王紅梅[6]提出了一種基于深度學習的滿意度評估方法?？梢娚疃葘W習由于其結(jié)構(gòu)靈活的特性，抽取特征的高效性，能夠在文本情感分析領(lǐng)域發(fā)揮極大的作用。

本研究基于深度學習開展，通過構(gòu)建雙向長短期記憶網(wǎng)絡(luò)對酒店預訂平臺的在線評論進行情感分析獲取顧客滿意度，分別采用Word2vec，GloVe，fastText，BERT詞向量訓練工具預訓練詞向量作為模型詞嵌入層，并與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）等模型進行對比分析得出最優(yōu)模型。本文選取攜程網(wǎng)站上福州市內(nèi)多家知名酒店的在線評論實例論證。研究有利于顧客進行消費決策時選擇更優(yōu)的酒店，也有利于酒店研究顧客需求改進不足之處，從而獲得更好的發(fā)展，對酒店旅游業(yè)的發(fā)展具有實際意義。

2 基于BiLSTM的酒店顧客滿意度評價模型構(gòu)建方法

本文的研究目標是構(gòu)建一個基于BiLSTM的、能夠提取在線評論信息、計算顧客滿意度的酒店顧客滿意度模型。首先爬取酒店在線評論作為研究數(shù)據(jù)，數(shù)據(jù)預處理后，利用詞向量訓練工具預訓練評論語料，建立用于情感傾向分析的神經(jīng)網(wǎng)絡(luò)模型，以情感得分作為酒店顧客滿意度并輸出。

2.1 在線評論數(shù)據(jù)的獲取與預處理

在線評論是評論主體自身體會的文本表示，一般由客觀描寫語句與主觀感受語句兩者組合。主觀感受語句包含了評論主體的情感傾向與各種態(tài)度信息，是文本挖掘的主要目標對象。攜程旅行網(wǎng)是我國主流的旅行服務公司之一，其上的用戶在線評論具有數(shù)據(jù)量大、涵蓋范圍廣、來源真實等特點，符合酒店顧客滿意度研究所需數(shù)據(jù)的要求。本文通過爬蟲工具爬取攜程旅行網(wǎng)站上福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）等酒店的顧客在線評論作為研究數(shù)據(jù)。

爬取的原始文本數(shù)據(jù)中通常會存在一定的干擾信息，并且無法直接被計算機識別處理。對數(shù)據(jù)進行預處理能夠去除原始文本數(shù)據(jù)中的冗余信息，規(guī)范化數(shù)據(jù)格式，去除數(shù)據(jù)噪聲，能夠?qū)⒃嘉谋緮?shù)據(jù)轉(zhuǎn)化成計算機可識別的可處理規(guī)范數(shù)據(jù)。在線評論數(shù)據(jù)預處理步驟如下。

1）去除原始文本數(shù)據(jù)中缺失、重復的文本數(shù)據(jù)。

2）去除無意義數(shù)據(jù)：在線評論中存在一定量的單字，或者僅有標點或者表情符號的評論。例如“？”“好”等，這些評論文本會對后續(xù)研究造成干擾，應該去除。

3）去除特殊符號及表情符號、標點及鏈接，繁體轉(zhuǎn)簡體，糾正錯別字等操作規(guī)范數(shù)據(jù)格式。

4）分詞：利用Python中現(xiàn)有的jieba工具包對評論文本數(shù)據(jù)分詞。

5）去除停用詞：由于語言的結(jié)構(gòu)性，在線評論中存在一定量的無實際含義但是能夠承接語句的詞語，如“嗎”“啦”等語氣詞以及“然而”“但是”等連接詞。因此預處理時需要將停用詞去除，以保證后續(xù)研究效果不受影響?；诂F(xiàn)有的停用詞庫添加自定義停用詞加以改進，獲得酒店領(lǐng)域停用詞表，對文本數(shù)據(jù)進行去停用詞操作。

2.2 詞向量預訓練

上述數(shù)據(jù)預處理所獲得的預料數(shù)據(jù)是詞向量預訓練的基礎(chǔ)。而分詞之后的文本要能夠進入自然語言模型則需要詞向量預訓練。通過詞向量預訓練可以將文本語言向量化。作為詞的分布式表示方法，詞向量在1986年被Hinton[7]提出，而后經(jīng)過幾十年發(fā)展，自然語言領(lǐng)域涌現(xiàn)了Word2vec[8]，GloVe[9]，fastText[10]，BERT[11]詞向量模型。據(jù)研究表明，情感分類模型的性能得以有效提高得益于預訓練模型的發(fā)展[12]。在研究酒店顧客滿意度時，分別使用Word2vec，GloVe，fastText，BERT進行詞向量預訓練作為后續(xù)神經(jīng)網(wǎng)絡(luò)模型的詞嵌入層。

2.2.1 Word2vec

Word2vec是Google開發(fā)的最流行的預訓練詞嵌入工具之一。它主要使用CBOW和Skip-Gram模型進行訓練[13]。Word2vec還擁有負采樣[14]和層序Softmax兩種優(yōu)化訓練方式。本文選擇采用基于Hierarchical Softmax優(yōu)化技術(shù)的Skip-Gram模型訓練預處理完成的酒店評論語料。Skip-Gram模型結(jié)構(gòu)見圖1。

圖1 Skip-Gram模型結(jié)構(gòu)

2.2.2 GloVe

GloVe模型是一種基于全局詞頻統(tǒng)計的詞表征工具，與WordRank[15]，Word2vec等模型相似，利用語料數(shù)據(jù)庫的統(tǒng)計信息進行詞向量訓練，同時捕捉詞語中的相似度等語義信息。GloVe模型具備利用全局信息的能力，訓練周期較Word2vec模型短且訓練速度更快。

2.2.3 fastText

fastText是一個基于Skip-Gram模型的改進方法，用一組字符級別的n-grams來表示一個單詞。用字符級n-gram求和表示詞語。fastText能夠在大型語料上達到快速訓練的效果，并且可以計算出原始訓練數(shù)據(jù)不包括的詞語表示。

2.2.4 BERT

BERT是一種語言模型，通過調(diào)參使得模型輸出結(jié)果的語義表示體現(xiàn)語言的真實含義。其預訓練階段包括兩個任務，一個是掩碼語言模型（Masked Language Model，MLM），還有一個是Next Sentence Prediction[11]。BERT在編碼器和解碼器上分別疊加了6層Transformer，導致其訓練過程極其復雜，培訓時間長且成本昂貴。本文使用Google開源的BERT預訓練模型的源代碼避免了上述問題。

2.3 BiLSTM模型構(gòu)建

LSTM是由Hochreiter和Schmidhuber等[16]提出的，而后由Graves等[17]對其進行改進。該網(wǎng)絡(luò)模型的目的是解決循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失問題，因此LSTM也被認為是遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）的一種特例[18]。LSTM的核心思想是使用記憶單元存儲輸入的時序信息，而記憶單元則使用“門”結(jié)構(gòu)來篩選存儲至記憶單元的信息，“門”結(jié)構(gòu)包括輸入門、輸出門和遺忘門[16]。而BiLSTM是由兩個LSTM正反向組成的，將正向LSTM的輸出和反向LSTM的輸出簡單疊加，使得模型可以同時考慮上述信息和以下信息。BiLSTM能夠解決傳統(tǒng)LSTM無法獲取詞語前后雙向語義關(guān)系的問題[19]。

在構(gòu)建基于BiLSTM酒店顧客滿意度模型時，需要考慮模型結(jié)構(gòu)、單元個數(shù)、網(wǎng)絡(luò)層數(shù)、優(yōu)化算法等因素。模型結(jié)構(gòu)分為輸入層、隱藏層和輸出層3層，輸入層負責對輸入模型的數(shù)據(jù)處理；隱藏層則是由正向與反向LSTM細胞單元層組成的網(wǎng)絡(luò)結(jié)構(gòu)，是模型結(jié)構(gòu)中的主體；輸出層的作用是輸出模型的分析結(jié)果。本文所構(gòu)建的BiLSTM模型結(jié)構(gòu)見圖2。

圖2 BiLSTM模型結(jié)構(gòu)

本文使用Tensorflow框架，建立包含3層網(wǎng)絡(luò)的BiLSTM顧客滿意度評價模型：第一層為輸入層，輸入經(jīng)過上述預處理的源文本數(shù)據(jù)；第二層是word embedding層，使用不同的詞向量將輸入的文本數(shù)據(jù)轉(zhuǎn)化為詞向量；第三層為神經(jīng)網(wǎng)絡(luò)預測層，通過訓練BiLSTM神經(jīng)網(wǎng)絡(luò)作為分類器。選擇Adam算法為模型的優(yōu)化算法，tanh函數(shù)為激活函數(shù)。詳細的模型建立步驟如下。

步驟一：以進行清洗后未分詞的評論文本作為評論數(shù)據(jù)集，并按比例劃分為訓練數(shù)據(jù)集與測試數(shù)據(jù)集。將訓練數(shù)據(jù)集輸入模型，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)輸入層。

步驟二：基于TensorFlow構(gòu)建BiLSTM模型基本結(jié)構(gòu)，建立卷積層、激活層、池化層、全連接層等。本文選擇使用上文預訓練的詞向量模型作為詞嵌入層。BiLSTM層設(shè)計雙向LSTM層疊加，完成詞向量的拼接后輸入輸出層?；窘Y(jié)構(gòu)完成后初始化參數(shù)，在后續(xù)訓練中進一步調(diào)整優(yōu)化模型效果。

步驟三：輸出結(jié)果后根據(jù)樣本的輸出概率與真實值對比，得到損失率、精確值、召回率等指標。如果出現(xiàn)過擬合現(xiàn)象則考慮改變學習率，添加Batch Normalization以及在全連接層進行dropout等方法優(yōu)化模型。

步驟四：達到預計效果后模型訓練完成，將評論測試數(shù)據(jù)集輸入模型中進行驗證。將評論數(shù)據(jù)集中各句評論通過系統(tǒng)輸出的情感值記錄并且綜合平均計算輸出整體數(shù)值作為顧客滿意度。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

3.1.1 數(shù)據(jù)獲取

本文通過爬蟲工具爬取攜程旅行網(wǎng)站上福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）等酒店的顧客在線評論共14 665條作為研究數(shù)據(jù)。爬取的文本數(shù)據(jù)包含用戶ID、評論文本、評分星級三部分內(nèi)容。爬取的部分評論數(shù)據(jù)見表1。本文研究的數(shù)據(jù)對象主要為酒店在線評論的文本內(nèi)容，包括酒店顧客的好評、差評以及中性評論。

為了直觀了解數(shù)據(jù)，本文在獲取數(shù)據(jù)后對酒店在線評論數(shù)據(jù)進行了統(tǒng)計與分析。表1為評論數(shù)據(jù)的樣本，表2為研究數(shù)據(jù)的描述性分析結(jié)果。由表2可知，本次爬取的酒店在線評論數(shù)據(jù)中，五星好評共11 316條，四星評論共2 511條，而一星差評共110條。依靠評論星級可以大致推測出顧客的滿意度情況，但是單純的評分計算較為簡單粗暴，忽略了評論文本所蘊含的信息。因此本文對酒店在線評論文本內(nèi)容作為研究數(shù)據(jù)更為細膩的探究顧客滿意度具有一定意義。

表1 評論數(shù)據(jù)樣本

表2 評論的描述性分析 （段）

3.1.2 數(shù)據(jù)預處理

首先對去除缺失、無意義文本數(shù)據(jù)后14 665條酒店在線評論文本數(shù)據(jù)采用Python中的jieba分詞庫對評論文本數(shù)據(jù)進行了分詞操作，得到原始單詞835 823個，再通過去除特殊符號和標簽、繁體轉(zhuǎn)簡體、糾正錯別字等操作規(guī)范數(shù)據(jù)格式。自建酒店領(lǐng)域停用詞表去停用詞，并標注文本語料中性，為后續(xù)詞向量預訓練打基礎(chǔ)。經(jīng)過上述數(shù)據(jù)預處理去噪后獲得有效單詞464 262個。上述預處理過程數(shù)據(jù)統(tǒng)計見表3。

表3 預處理數(shù)據(jù)統(tǒng)計

3.2 詞向量預訓練

基于上述數(shù)據(jù)處理后的語料，本文采用Word2vec，GloVe，fastText，BERT分別進行詞向量預訓練，作為后續(xù)神經(jīng)網(wǎng)絡(luò)模型的詞嵌入層。通過不斷修改模型參數(shù)，使得訓練的詞向量在酒店在線評論語料庫上達到更好的效果，并將訓練完成的詞向量保存為后續(xù)模型可利用的文件。

Word2vec采用Skip-Gram模型訓練參數(shù)，特征向量的維度設(shè)置為100，詞最大間距為5，丟棄詞頻小于5的單詞，采用Hierarchica Softmax技巧構(gòu)建并保存模型，建立詞向量詞典，共計獲得2 580條詞向量。

GloVe參數(shù)設(shè)置中涉及的一個加權(quán)函數(shù)，用于將研討文本序列中涉及的低頻詞進行衰減，以減少低頻噪聲帶來的誤差。模型作者Pennington等給出α的經(jīng)驗值分別為100和0.75。最小詞頻數(shù)為5，迭代次數(shù)50輪，詞向量維度300，學習速率0.01，窗口大小5。函數(shù)的表達式為

fastText在train_supervised模式下，詞向量維度設(shè)置為100，上下文窗口為4，迭代次數(shù)為4，詞語的最小出現(xiàn)次數(shù)為2，損失函數(shù)loss選用Softmax。

BERT使用谷歌開源預訓練模型。該模型共有12層，768個隱藏單元，12個自注頭，110萬個參數(shù)。通過使用BERT下游模型能夠獲得高質(zhì)量的詞向量特征。

3.3 模型構(gòu)建

將數(shù)據(jù)長度為14 665的酒店在線評論數(shù)據(jù)集輸入本文構(gòu)建的BiLSTM神經(jīng)網(wǎng)絡(luò)模型，使用BERT預訓練詞向量作為模型embedding層，進行酒店滿意度模型訓練。通過多次學習優(yōu)化完成的最優(yōu)模型超參數(shù)為：模型的LSTM隱藏向量維度均為256，batch大小為32；學習率為0.000 1，dropout率為0.4，訓練200輪次。最優(yōu)模型訓練準確率達到了86.2%。

最后基于本文訓練優(yōu)化的模型，利用情感傾向值分別計算爬取的酒店在線評論所涉及的福州三坊七巷亞朵酒店、福州財富·品味酒店、TIME時間城市公寓（福州橘園洲店）、福建省閩江飯店和梅園·悅竹酒店（福州三坊七巷店）顧客滿意度。各酒店滿意度見表4。

表4 酒店滿意度預測情況

3.4 比較

模型訓練完成后，除了輸出的酒店顧客滿意度結(jié)果外，還應該輸出準確率等評價指標，用于衡量訓練模型效果的好壞。本文選擇準確率、召回值、F1值作為模型的效果評價指標。需要注意的是，由于本文的情感分析任務是一個多分類任務，存在數(shù)據(jù)集不平衡的情況，評分為5的評論較多，本文需要同時關(guān)注，特別關(guān)注樣本較少的類別，因此本文采用宏平均作為分類器的評價指標。

本文對比使用Word2vec，GloVe，fastText，BERT所訓練的4種詞向量嵌入模型的訓練效果，4種模型的準確率、召回值及F1值見表5。通過指標對比，發(fā)現(xiàn)前3種詞向量嵌入模型的效果較為接近，而BERT-BiLSTM模型能夠取得大幅度升高的訓練效果，準確率、召回值相比其他模型都保持在較高的水平。故而BERT-BiLSTM模型更適合本文所使用的酒店評論數(shù)據(jù)集的訓練，效果最優(yōu)。此外，從訓練速度來看，BERT-BiLSTM模型也擁有更快的訓練速度，能夠減少時間的浪費。

表5 不同詞向量嵌入模型準確率、召回值和F1值比較

為了對比研究本文BERT-BiLSTM顧客滿意度模型的效果，本文還同時建立了使用BERT，BERT-CNN與BERT-LSTM的顧客滿意度模型。二者同樣采用本文爬取的14 665條酒店在線評論作為研究數(shù)據(jù)，選擇效果最好的BERT預訓練的詞向量嵌入模型，對比4種模型的準確率、召回值和F1值見表6。

表6 4種模型的準確率、召回值和F1值比較

由表6可知，加入BERT預訓練的模型均在準確率和精確率上取得了很好的精度，而且在預訓練模型相同的情況下，BERT-CNN模型的準確率為84.8%，BERT-LSTM模型則取得了85.6%的準確率，模型效果較佳。而BERT-BiLSTM模型的準確率為86.2%，以微小的優(yōu)勢超過了比較模型。并且BERT-BiLSTM模型取得了85.8%的召回值，證明該模型在準確率、召回率以及F1值上都取得了比BERT，BERT-CNN與BERT-LSTM模型更好的效果。說明本文基于酒店在線評論語料訓練的BERT-BiLSTM模型優(yōu)于其他模型，能夠在酒店顧客滿意度評價方面發(fā)揮一定的作用。

4 結(jié)論

本文以酒店顧客在線評論為研究數(shù)據(jù)，通過文本挖掘進行酒店顧客滿意度探究，建立了效果最優(yōu)的BERT-BiLST模型，實現(xiàn)了預期研究目標。首先對用爬蟲軟件爬取在線評論進行數(shù)據(jù)預處理；接著采用神經(jīng)網(wǎng)絡(luò)語言模型進行訓練。本文使用攜程網(wǎng)站上福州市內(nèi)多家知名酒店的在線評論進行評論挖掘，實例論證了各酒店的顧客滿意度水平。探究了4種預訓練詞向量嵌入模型的效果，并通過與CNN，LSTM模型對比模型效果。實例表明，無論是準確率、召回率，還是F1值，本文BERT-BiLSTM的模型效果都更好、更優(yōu)。

本文雖然對詞向量主流模型以及神經(jīng)網(wǎng)絡(luò)模型都進行了探究，并且獲得了較好的模型效果，但是本文在文本挖掘時忽略了評論文本的隱式特征分析，可能會造成信息遺漏從而影響滿意度評價結(jié)果。因此下一步目標是探究如何更好地挖掘評論文本的隱性特征。