謝蕙 李峰 穆文慧

摘要：研究電子商務(wù)領(lǐng)域口碑?dāng)?shù)據(jù)分析的完整流程框架，從數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)情感分析再到可視化展示四個(gè)流程模塊，重點(diǎn)探討對(duì)口碑?dāng)?shù)據(jù)進(jìn)行情感分析的方法和合理的數(shù)據(jù)可視化方案，探索如何把口碑?dāng)?shù)據(jù)以更加直觀的可視化形式展示給用戶。

關(guān)鍵詞：口碑?dāng)?shù)據(jù);數(shù)據(jù)獲取;預(yù)處理;情感分析;可視化

一、研究背景

近年來，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和居民可支配收入的穩(wěn)定增長(zhǎng)，使得網(wǎng)絡(luò)購(gòu)物成為中國(guó)網(wǎng)民不可或缺的消費(fèi)渠道之一，網(wǎng)購(gòu)用戶規(guī)模也穩(wěn)定增長(zhǎng)。電子商務(wù)的蓬勃發(fā)展豐富了消費(fèi)者的購(gòu)物渠道，網(wǎng)絡(luò)購(gòu)物成為主流消費(fèi)方式，消費(fèi)者也越來越喜歡在網(wǎng)絡(luò)平臺(tái)上公開分享自己對(duì)商品的購(gòu)買體驗(yàn)，表達(dá)自己對(duì)商品的看法。因此，電商平臺(tái)上的商品評(píng)論信息大量出現(xiàn)。這些口碑?dāng)?shù)據(jù)對(duì)其他消費(fèi)者的購(gòu)買決策產(chǎn)生巨大影響，也使得商家開始關(guān)注用戶對(duì)自家產(chǎn)品的口碑?dāng)?shù)據(jù)，激勵(lì)商家將更好的產(chǎn)品展示給消費(fèi)者，滿足消費(fèi)者的個(gè)性化需求。

二、研究目的和意義

電商平臺(tái)擁有數(shù)億的用戶背景，而龐大交易數(shù)據(jù)背后的海量口碑?dāng)?shù)據(jù)不容忽視。大量研究顯示，一方面，這些商品口碑?dāng)?shù)據(jù)對(duì)其他消費(fèi)者的購(gòu)買行為和商家的產(chǎn)品銷售產(chǎn)生重要大影響;另一方面，數(shù)量巨大、種類繁多、時(shí)效性高的評(píng)論數(shù)據(jù)，給消費(fèi)者和商家也帶來了信息過載、檢索低效等問題，大量冗余的評(píng)論數(shù)據(jù)嚴(yán)重干擾了消費(fèi)者和商家對(duì)目標(biāo)信息的準(zhǔn)確定位和快速選擇。同時(shí)，現(xiàn)有的評(píng)論數(shù)據(jù)多是文本展示，并且存在大量無效評(píng)論和過度的主觀描述等一系列問題，對(duì)于想要準(zhǔn)確購(gòu)買目標(biāo)商品的消費(fèi)者和要優(yōu)化產(chǎn)品和服務(wù)的商家而言，要獲取準(zhǔn)確的評(píng)論信息較為困難。

因此，論文研究電商平臺(tái)的商品口碑?dāng)?shù)據(jù)，既可以輔助消費(fèi)者進(jìn)行購(gòu)買決策，又可以幫助商家提取有效的反饋信息進(jìn)行產(chǎn)品優(yōu)化，具有十分重要的現(xiàn)實(shí)意義。

三、研究現(xiàn)狀和趨勢(shì)

基于商品口碑?dāng)?shù)據(jù)對(duì)消費(fèi)者和商家產(chǎn)生的巨大影響，目前，國(guó)內(nèi)外有很多學(xué)者從各種角度對(duì)互聯(lián)網(wǎng)各大電商平臺(tái)數(shù)據(jù)進(jìn)行分析和研究。

孫妮使用數(shù)據(jù)抓取處理工具和數(shù)據(jù)分析工具研究B2C購(gòu)物網(wǎng)站消費(fèi)者的在線評(píng)價(jià)信息，分析了網(wǎng)絡(luò)購(gòu)物群體的行為規(guī)律[1]。劉冰等人對(duì)喜茶“網(wǎng)紅店”的網(wǎng)絡(luò)口碑?dāng)?shù)據(jù)進(jìn)行分析，挖掘網(wǎng)紅型創(chuàng)業(yè)企業(yè)網(wǎng)絡(luò)口碑中的核心要素，剖析其對(duì)消費(fèi)者購(gòu)買行為的影響[2]。羅翔曦通過爬蟲程序獲取商品的評(píng)價(jià)和屬性等基本數(shù)據(jù)，提取商品屬性和評(píng)價(jià)詞，計(jì)算出商品的推薦指標(biāo)[3]。

基于以上研究，論文將以電商平臺(tái)的商品口碑?dāng)?shù)據(jù)為研究對(duì)象，研究對(duì)海量口碑?dāng)?shù)據(jù)進(jìn)行情感分析的方法，同時(shí)研究數(shù)據(jù)可視化方案，以期輔助消費(fèi)者快速進(jìn)行購(gòu)買決策，幫助商家有效提取反饋信息進(jìn)行產(chǎn)品優(yōu)化。

四、商品口碑?dāng)?shù)據(jù)情感分析及可視化方法研究研究思路

首先通過爬蟲技術(shù)對(duì)電子商務(wù)網(wǎng)站爬取商品的用戶評(píng)論數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行去重、壓縮、刪除無效評(píng)論等預(yù)處理，然后這些數(shù)據(jù)進(jìn)行情感分析，建立數(shù)據(jù)模型，獲取商品所具有的優(yōu)缺點(diǎn)，設(shè)計(jì)可視化流程，實(shí)現(xiàn)可視化圖表方案。論文依據(jù)此研究思路，給出了電子商務(wù)領(lǐng)域口碑?dāng)?shù)據(jù)分析的完整流程框架，即從數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)情感分析再到可視化展示四個(gè)流程模塊，重點(diǎn)研究和探討對(duì)口碑?dāng)?shù)據(jù)進(jìn)行情感分析的方法和合理的數(shù)據(jù)可視化方案。

1. 獲取商品口碑?dāng)?shù)據(jù)

論文使用Python中的網(wǎng)絡(luò)爬蟲框架爬取商品的口碑?dāng)?shù)據(jù)，獲取商品的評(píng)論信息，將爬取的數(shù)據(jù)結(jié)果存儲(chǔ)在csv文件中。首先利用Chrome瀏覽器對(duì)某電子商城的網(wǎng)頁源代碼進(jìn)行分析，構(gòu)造初始頁面URL，采集店鋪地址URL，找到商品詳情頁URL，抓取第一頁的商品評(píng)論信息，判斷該頁是否是評(píng)論信息的最后一頁，如果是最后一頁，就結(jié)束爬取，否則，繼續(xù)循環(huán)模擬翻頁，獲取下一頁URL，抓取該頁評(píng)論信息，直到爬取到最后一頁，爬取結(jié)束。

2. 口碑?dāng)?shù)據(jù)預(yù)處理

最初爬取到的評(píng)論數(shù)據(jù)存在較大的重復(fù)評(píng)論以及較多的無用評(píng)論，這些數(shù)據(jù)將會(huì)對(duì)數(shù)據(jù)的有效性情感分析產(chǎn)生干擾，因此，要對(duì)評(píng)論數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理過程主要包括：去重、壓縮、刪除無效評(píng)論等。

其中，去重的主要目的是為了去重評(píng)論數(shù)據(jù)中的重復(fù)部分，以起到去除重復(fù)評(píng)論的作用。本研究去重算法的主要思想是利用算法分析文本之間的相似度，再根據(jù)相似度的高低進(jìn)行文本去重;

壓縮的主要目的是去掉一條評(píng)論語句中連續(xù)出現(xiàn)的重復(fù)內(nèi)容。研究發(fā)現(xiàn)，連續(xù)重復(fù)的內(nèi)容會(huì)出現(xiàn)在一條評(píng)論的開頭或結(jié)尾，所以壓縮操作主要是對(duì)語句開頭或結(jié)尾的重復(fù)內(nèi)容進(jìn)行壓縮處理，以便得到較為精煉的評(píng)論語句。

3. 口碑?dāng)?shù)據(jù)情感分析方法研究

情感分析的主要目的是識(shí)別用戶在評(píng)論文本中表達(dá)的情感信息，了解人們對(duì)于某些事物的偏好或者是對(duì)于某些社會(huì)現(xiàn)象的觀點(diǎn)。這里需要針對(duì)在電子商務(wù)網(wǎng)站獲取的商品評(píng)論數(shù)據(jù)，對(duì)文本進(jìn)行分詞、詞性標(biāo)注、提取文本關(guān)鍵詞、進(jìn)行情感分析等處理，從而對(duì)數(shù)據(jù)文本進(jìn)行褒義、貶義和中性的判斷。

目前常用的數(shù)據(jù)情感分析方法主要有基于情感詞典的數(shù)據(jù)情感分析方法、基于機(jī)器學(xué)習(xí)的數(shù)據(jù)情感分析方法、基于深度學(xué)習(xí)的數(shù)據(jù)情感分析方法。[4]

（1）基于情感詞典的數(shù)據(jù)情感分析方法

該方法是一種較早的數(shù)據(jù)情感分析方法，首先使用現(xiàn)有的知識(shí)資源構(gòu)建情感詞典，然后基于情感詞典，構(gòu)建規(guī)則對(duì)數(shù)據(jù)進(jìn)行情感判斷。該方法需要把詞匯或者詞語根據(jù)情感性進(jìn)行分類，比如，可以根據(jù)極性分類為積極、消極、中性等類別，構(gòu)建不同的情感詞典。判斷情感類別時(shí)，可以根據(jù)該詞包含的明確情感性得分標(biāo)記該詞的極性。

（2）基于機(jī)器學(xué)習(xí)的數(shù)據(jù)情感分析方法

該方法首先提取合適的特征，然后設(shè)計(jì)分類算法，建立數(shù)據(jù)分類模型，根據(jù)特征項(xiàng)進(jìn)行數(shù)據(jù)分類。這里的特征提取，其實(shí)是一種降維方法，通過統(tǒng)計(jì)學(xué)方法對(duì)特征詞進(jìn)行選取，抽取隱含的知識(shí)規(guī)則，挖掘詞義的信息，獲取情感分析模型中更有價(jià)值的數(shù)據(jù)特征，即提升機(jī)器學(xué)習(xí)模型的效果。

（3）基于深度學(xué)習(xí)的數(shù)據(jù)情感分析方法

宋帆在“基于深度學(xué)習(xí)的商品評(píng)論情感分析方法研究”中提出基于深度學(xué)習(xí)的數(shù)據(jù)情感分析方法，該方法可以學(xué)習(xí)模仿人類的認(rèn)知習(xí)慣，把特征提取和分類建模緊密關(guān)聯(lián)，并且通過網(wǎng)絡(luò)參數(shù)學(xué)習(xí)自動(dòng)提取特征項(xiàng)。深度學(xué)習(xí)囊括機(jī)器學(xué)習(xí)領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)旨在效仿人的大腦對(duì)信息的分析、加工、處理過程，獲取有價(jià)值的特征。

基于情感詞典的數(shù)據(jù)情感分析方法和基于機(jī)器學(xué)習(xí)的數(shù)據(jù)情感分析方法都要依賴于實(shí)現(xiàn)劃分好的情感字典或特征項(xiàng)，情感字典或特征項(xiàng)對(duì)情感判斷有著關(guān)鍵影響。而基于深度學(xué)習(xí)的數(shù)據(jù)情感分析方法，可以學(xué)習(xí)模仿人類認(rèn)知習(xí)慣，將特征提取和分類建模緊密關(guān)聯(lián)，通過網(wǎng)絡(luò)參數(shù)學(xué)習(xí)自動(dòng)提取特征，針對(duì)分類模型設(shè)計(jì)合理的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，能更好地應(yīng)對(duì)商品評(píng)論信息中的語句的歧義性、多意性、情感反置等現(xiàn)象。

4. 數(shù)據(jù)的可視化分析方法研究

數(shù)據(jù)可視化是利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形圖像在屏幕上顯示出來，并進(jìn)行交互處理的理論、方法和技術(shù)，把分析得到的口碑?dāng)?shù)據(jù)以直觀的可視化圖表形式展示在用戶面前時(shí)，用戶便能快速獲取數(shù)據(jù)背后隱藏的信息，以提高獲取數(shù)據(jù)價(jià)值的準(zhǔn)確性和效率，獲得更好的用戶體驗(yàn)。

（1）詞云圖

詞云圖是口碑?dāng)?shù)據(jù)可視化研究中心常用的一種工具。對(duì)口碑?dāng)?shù)據(jù)進(jìn)行情感分析以后，按照詞頻降序排列，畫出排序較靠前的詞匯的詞云圖，根據(jù)詞語情感分類不同，可以分別畫出正面評(píng)論詞云圖和負(fù)面評(píng)論詞云圖。詞云圖能直觀地把高頻詞匯通過顏色和大小展現(xiàn)給觀眾，能夠?qū)⑽谋拘畔⒏又庇^、準(zhǔn)確地呈現(xiàn)出來。

（2）可視化模型技術(shù)[5]

可以選擇使用一些可視化模型技術(shù)突出數(shù)據(jù)與數(shù)據(jù)之間的特性。比如，圖表類、抽象類似物、具象類似物、隱喻圖案等這些經(jīng)典的可視化模型也通過不同的展示方式暗示了數(shù)據(jù)間的聯(lián)系。

其中，圖表類是一種較常用的數(shù)據(jù)可視化方法，可以突出顯示數(shù)據(jù)分析結(jié)論的科學(xué)性，同時(shí)也有助于在進(jìn)行數(shù)據(jù)分析的過程中輔助觀眾發(fā)現(xiàn)數(shù)據(jù)的關(guān)鍵信息，便于進(jìn)行探索式的數(shù)據(jù)發(fā)現(xiàn)。

五、結(jié)論

論文提出了電子商務(wù)領(lǐng)域口碑?dāng)?shù)據(jù)分析的完整流程框架，即從數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)情感分析再到可視化展示四個(gè)流程模塊。電商大數(shù)據(jù)作為一個(gè)擁有龐大數(shù)據(jù)規(guī)模的產(chǎn)業(yè)，將其有效應(yīng)用將對(duì)電商行業(yè)產(chǎn)生巨大影響，本論文所研究的口碑?dāng)?shù)據(jù)的情感分析和可視化分析是其中非常重要的內(nèi)容，在精準(zhǔn)策劃、精準(zhǔn)營(yíng)銷、提升用戶體驗(yàn)、提高數(shù)據(jù)服務(wù)等方面都有廣泛的應(yīng)用前景。

參考文獻(xiàn)

[1]基于B2C網(wǎng)站商品咨詢和評(píng)論的網(wǎng)絡(luò)消費(fèi)者行為規(guī)律研究.孫妮;陳進(jìn);汪菲.圖書情報(bào)工作.2014-06-15.152-156.

[2]喜茶“網(wǎng)紅店”網(wǎng)絡(luò)口碑的大數(shù)據(jù)分析.劉冰;張華思;羅超亮.廣西民族大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版）.2018-11-15. 118-126.

[3]多屬性電商信息采集和推薦系統(tǒng)研究.羅翔曦.云南大學(xué).碩士論文.2018-05.

[4]基于深度學(xué)習(xí)的商品評(píng)論情感分析方法研究.宋帆.陜西科技大學(xué).碩士論文.2020-05.

[5]大數(shù)據(jù)環(huán)境下數(shù)據(jù)分析與可視化核心技術(shù)研究.王宇寧.北京郵電大學(xué).碩士論文.2015-12.

1112500520352