黃景濤 田文濤 龐旭林 李晶 王慶春

(國家市場監(jiān)督管理總局信息中心 北京 100011)

近年來，非實物類的電子商務(wù)在我國得到了快速發(fā)展，如搬家、酒店、旅游、KTV、按摩等。搬家行業(yè)的線上交易比例越來越大，其中最有影響力的平臺是58同城和美團。

在電商平臺上，交易完成后通常要求用戶給商品或服務(wù)作出評論。這些評論不僅為新用戶選購商品提供生動實際的案例，還能幫助商戶分析自身的優(yōu)缺點，進行決策優(yōu)化，提高商品質(zhì)量和服務(wù)質(zhì)量。通過研究這些評論內(nèi)容，管理者可以了解整個行業(yè)的商品質(zhì)量、服務(wù)質(zhì)量、用戶滿意度和變化趨勢及存在的問題等，從而進行針對性的監(jiān)管和服務(wù)。

1 相關(guān)研究

基于評論內(nèi)容對產(chǎn)品和服務(wù)的質(zhì)量進行分析，國內(nèi)外已經(jīng)有了不少的研究。王木子、李軍(2021)[1]，周燕、商平平[2]等利用客戶給出的評論來評價實物型產(chǎn)品的滿意度。一般而言，大多數(shù)評論針對的是產(chǎn)品的一個或幾個特性，經(jīng)常被稱為產(chǎn)品的“方面”。秦海菲、杜軍平(2018)[3]等認為，酒店的方面是服務(wù)、環(huán)境、設(shè)施、整體舒適度和餐飲。類似的研究還有賴玲玲、彭麗芳(2017)[4]基于在線評論分析的旅游市場服務(wù)質(zhì)量等。

文獻中常用的處理方法是將評論文本輸入內(nèi)容挖掘軟件中，基于軟件輸出的結(jié)果進行分析。這些挖掘軟件具有分詞和詞頻分析功能，有一些還能進行文本聚類和情感分析。這種方法存在幾個問題：(1)只能對整體的評論語句進行情感判斷，而不是產(chǎn)品的方面(特性)。雖然部分軟件有聚類功能，但聚類結(jié)果集與理想的方面分類集差異較大，評論語句里經(jīng)常涉及產(chǎn)品的多個方面，導(dǎo)致聚類結(jié)果交叉較多，含混不清。(2)不能根據(jù)應(yīng)用場景調(diào)整情感分值。有時同一句子在不同語境下情感分析的結(jié)果也不一樣，如“滿頭大汗”對消費者具有負面情感，但是在形容搬家?guī)煾倒ぷ鲿r應(yīng)屬于正面情感。(3)自然語言處理領(lǐng)域的技術(shù)發(fā)展很快，挖掘軟件沒有及時更新，分析結(jié)果不能令人滿意。

2 分析方法

2.1 分析框架

針對相關(guān)研究的不足之處，本文采用了一系列的新方法。在收集評論文本后，首先，進行預(yù)處理，把評論內(nèi)容分割成多個短句，每個短句只針對產(chǎn)品的一個方面，采用優(yōu)化后的文本分類模型對短句進行分類，將針對產(chǎn)品同一方面的評論短句分到同一個集合中；其次，采用基于預(yù)訓(xùn)練技術(shù)和微調(diào)技術(shù)的情感計算模型，計算每個短句的情感分值。在每條評論中，屬于產(chǎn)品同一方面的短句取平均值得到該評論在這一方面的分值。情感分值為0～1的一個數(shù)值，如果超過規(guī)定的閾值，就判為滿意，否則判為不滿意；最后，將所有評論中滿意評論所占的百分比作為該方面的用戶滿意度。實例研究表明，用戶滿意度可以較好地反映用戶對該產(chǎn)品的喜好程度，對準(zhǔn)備購買的用戶和監(jiān)管人員具有重要的參考意義。

2.2 文本預(yù)處理

在線評論的數(shù)據(jù)有一些明顯特點，如口語化、短句較多、標(biāo)點符號不規(guī)范、錯別字較多、存在較多的空評論或內(nèi)容完全相同的評論等。為了得到真實客觀的語料和用戶滿意度，需對語料進行格式整理、內(nèi)容整理、短句分割等預(yù)處理。格式整理包含刪除句子中間的空格、換行符、轉(zhuǎn)義字符等；內(nèi)容整理包含刪除空數(shù)據(jù)，刪除明顯重復(fù)的數(shù)據(jù)；短句分割，即用常見的標(biāo)點符號對評論語句進行切分，形成短句集，它們是計算情感分值的基礎(chǔ)單位。

2.3 詞頻分析及分析方面的確定

評論內(nèi)容的詞頻分布與反映的內(nèi)容、蘊含的情感具有緊密的關(guān)系。通過詞頻分析，我們可以得到評論文本反映的產(chǎn)品方面和用戶的情感傾向。統(tǒng)計詞頻前，要先對文本進行分詞，并刪除一些虛詞和助詞等對整體的內(nèi)容和情感分析幫助不大的詞。根據(jù)詞頻統(tǒng)計結(jié)果，結(jié)合其他行業(yè)的文獻分析，最終確定搬家服務(wù)的分析方面。

2.4 文本的方面分類

評論文本分成短句之后，每個短句的文字數(shù)量一般在10個字左右，而且語法不規(guī)范，僅憑文字特征不能充分反映其含義和類別。本文參考了Devlin[5]等提出的預(yù)訓(xùn)練語言模型，利用網(wǎng)絡(luò)上大量存在的文本進行訓(xùn)練，學(xué)習(xí)其中的字、詞出現(xiàn)的規(guī)律，建立一個符合海量文本分布的模型。本文以預(yù)訓(xùn)練模型為基礎(chǔ)，搭建了一個文本分類模型，并用實際語料進行微調(diào)，最后用這個模型將短句按照不同的方面進行分類。

2.5 文本的情感分值計算

文本的情感分析是指對文本中包含的情感的極性和程度進行計算。對于評論文本，計算的是用戶對商品的喜愛和厭惡的程度，反映了用戶的滿意度。本文使用了Tian Hao等(2020)[6]提出的SKEP模型，在多個情感計算任務(wù)中獲得了最佳效果。

3 實驗

3.1 數(shù)據(jù)

58同城是搬家行業(yè)內(nèi)比較活躍的網(wǎng)站。筆者在58同城上下載了2018—2021年共4年的評論數(shù)據(jù)，共計24172條。經(jīng)過預(yù)處理和分割后，得到的短句數(shù)量為121686條。

3.2 詞頻分析和分析方面的確定

對預(yù)處理后的全部評論文本進行分詞，去除停用詞，并進行詞頻統(tǒng)計。對高頻詞及對應(yīng)的文本進行分析，并參考酒店、旅游等其他行業(yè)的方面分類，確定了如表1所示的5個分析方面。

表1 分析方面的確定

3.3 短句的方面分類

對分割后得到的短句，取其中1萬條按前文確定的方面進行人工標(biāo)注。為了讓分類器工作在“無偏”的模式下，可對各個方面的標(biāo)注語料進行平衡，刪多補少，讓各個方面的訓(xùn)練語料數(shù)量比較接近。按照前文的方法，用這些語料對文本分類器模型進行微調(diào)，并用微調(diào)后的模型對短句進行方面分類，得到的結(jié)果如表2所示。

表2 短句的方面分類

3.4 評論的情感計算

在分割后的評論短句中取1萬條，在搬家服務(wù)評論的語境下進行標(biāo)注，情感極性為積極的標(biāo)為1，消極的標(biāo)為0。對標(biāo)注語料的類別進行平衡處理，按照前文的方法，用這些語料對情感計算模型進行微調(diào)。用微調(diào)后的模型計算全部短句的情感分值，并計算用戶滿意度，得到的結(jié)果如表3所示。

4 基于方面的搬家服務(wù)質(zhì)量分析和提升

4.1 服務(wù)質(zhì)量分析

(1)從表3可以看出，溝通聯(lián)絡(luò)方面的用戶滿意度為97.15%，呈現(xiàn)小幅增長趨勢，從2018年的96.69%增加到2021年的98.78%。從評論文本來看，差評中排名靠前的詞語包括：差、態(tài)度、電話、售后服務(wù)等；得分最低的短句為：跟客服溝通態(tài)度還很不好、售后服務(wù)差、客服態(tài)度極差、電話響應(yīng)慢、接線員態(tài)度差等。由此可以看出，在溝通聯(lián)絡(luò)方面用戶不滿意的是溝通態(tài)度和售后服務(wù)、電話響應(yīng)速度等。

表3 各方面的用戶滿意度和評論數(shù)

(2)服務(wù)價格方面的用戶滿意度為84.72%。對差評進行詞頻分析，前幾名分別是收費、依據(jù)、加價、沒有、標(biāo)準(zhǔn)、臨時、中途、費用等。得分最低的短句為：商家報價非常離譜、當(dāng)我拿價格跟貨拉拉比時對方直接爆粗口辱罵(價格多120%)、報價很離譜、價格太虛高。由此可以看出，在服務(wù)價格方面，雖然整體滿意度逐年增加，但在最高的2021年才有89.77%，是需要大幅提高和加強監(jiān)管的方面。用戶最不滿意的是報價虛高和臨時加價、收費沒有標(biāo)準(zhǔn)等。

(3)服務(wù)質(zhì)量方面的用戶滿意度為88.92%。差評中提到最多的詞匯包括輕放、易碎、碰、打包、磕、拆裝等。得分最低的短句為：商家服務(wù)非常野蠻、服務(wù)很差勁、柜子搬散架了我沒說什么水壺碎了化妝品全部掉出來有些擠得到處是我也沒說什么。由此可以看出，在服務(wù)質(zhì)量方面，雖然滿意度逐年增加，但在最高的2021年才有93.67%，還有提升的空間。用戶最不滿意的是野蠻服務(wù)、不注意保護物品、服務(wù)不規(guī)范等。

(4)人員素質(zhì)方面的用戶滿意度為95.11%。對差評進行詞頻分析，其中前幾名分別是專業(yè)、小心、累、滿頭大汗、辛苦、力氣、扛等。得分最低的短句為：搬家?guī)煾邓刭|(zhì)超級低、員工也是態(tài)度極其差、商家的工人素質(zhì)太差、搬貨的人態(tài)度一點都不好等。由此可以看出，在人員素質(zhì)方面，雖然整體滿意度逐漸增長，但還需進一步提升。用戶最不滿意的是工人素質(zhì)差、動作野蠻、態(tài)度不好等。

4.2 行業(yè)監(jiān)管和質(zhì)量提高

從以上數(shù)據(jù)和分析可以看出，搬家服務(wù)的用戶滿意度呈現(xiàn)逐年增加的態(tài)勢。從各方面來看，溝通聯(lián)絡(luò)和人員素質(zhì)方面的滿意度較高，而服務(wù)價格和服務(wù)質(zhì)量方面滿意度較低。對于從業(yè)者和監(jiān)管者，可考慮從以下幾個角度改善。

4.2.1 制定服務(wù)收費清單，提高價格透明度

用戶對于服務(wù)價格太高和臨時加價、亂收費方面意見最大?？刹扇∪缦麓胧阂?guī)定明確的收費項目清單和指導(dǎo)價，商家根據(jù)指導(dǎo)價在網(wǎng)站上公布具體報價，供雙方在結(jié)賬時簽字使用，若有爭議，雙方可對交易提起仲裁。具體計價清單可以包括起步價、上下每一層樓梯的價格、停車位置到搬動起始點的距離、是否使用電梯、貴重物品清單和價格、高難度物品清單和價格、誤餐費、超時費、特殊要求收費等，被仲裁交易的百分比可作為對商家考核和監(jiān)管的重要指標(biāo)。

4.2.2 制定服務(wù)規(guī)范，提高服務(wù)質(zhì)量

在服務(wù)質(zhì)量方面，用戶的意見集中在操作流程、物品是否得到妥善保護、安放是否到位等方面。對此，建議網(wǎng)站和行業(yè)監(jiān)管協(xié)會制定具體的服務(wù)規(guī)范，內(nèi)容包括現(xiàn)場服務(wù)流程、溝通聯(lián)絡(luò)的態(tài)度、物品打包和保護措施、物品裝運注意事項、物品安裝和放置事項、售后服務(wù)事項等。

以上兩條是對交易雙方的承諾和約束，讓雙方在交易之前都明確各自的權(quán)利和義務(wù)，避免事后出現(xiàn)爭議。在補齊這兩個短板之后，相信用戶的直觀感受也會大幅提升，從而提高整個行業(yè)的服務(wù)質(zhì)量。

5 結(jié)語

本文以58同城網(wǎng)站上用戶對搬家服務(wù)的評論為切入點，采用預(yù)訓(xùn)練模型計算各個方面的用戶滿意度，并計算出搬家行業(yè)的總體滿意度。本文處理的基本對象是短句，解決了句子中多個方面情感分值混雜的問題。進一步的研究工作將考慮更多的數(shù)據(jù)來源、更加合理的方面分類、更加精確的情感計算方法等。