謝卓亨 邱金波

（廣東石油化工學(xué)院 電子信息工程學(xué)院，廣東 茂名 525000）

1 前言

根據(jù)最新的數(shù)據(jù)顯示，我國網(wǎng)民規(guī)模為8.02億，互聯(lián)網(wǎng)普及率達(dá)57.7%，截止2018年6月，我國網(wǎng)絡(luò)購物用戶規(guī)模達(dá)5.69億。手機(jī)網(wǎng)絡(luò)購物用戶規(guī)模達(dá)到5.57億，使得網(wǎng)絡(luò)店鋪數(shù)量如雨后春筍一般。隨之而來的是不斷的呈現(xiàn)在網(wǎng)民面前的各大網(wǎng)絡(luò)商城，如淘寶網(wǎng)、聚美優(yōu)品、京東商城、易購等，用戶選購的時候，面對網(wǎng)絡(luò)上大量的參齊不齊的評價數(shù)據(jù)，用戶消費(fèi)者無法直觀簡潔地獲取到該商品的有效 信息。

2 系統(tǒng)的設(shè)計(jì)方案

本文首先分析電商信譽(yù)評價體系特點(diǎn)，了解其評價指標(biāo)以及每個指標(biāo)具有的實(shí)時性和評分標(biāo)準(zhǔn)，以及產(chǎn)品綜合評分的評判指標(biāo)和評分計(jì)算方法。運(yùn)用python語言的Scrapy框架獲取大量的用戶評價信息，并存入mysql數(shù)據(jù)庫，再利用自然語言SonwNLP文本情感分析系統(tǒng)，對mysql數(shù)據(jù)庫中的用戶評價進(jìn)行逐句分詞處理。隨即，運(yùn)用關(guān)聯(lián)規(guī)則挖掘算法找出客戶評價中描述產(chǎn)品特性的詞匯，并提取出與該產(chǎn)品特性詞匯相關(guān)聯(lián)的觀點(diǎn)詞以及觀點(diǎn)詞的極性。最后，利用建好的數(shù)學(xué)模型和算法并用django和pyecharts數(shù)據(jù)的可視化為消費(fèi)者提供真實(shí)可靠的寶貴信息。

3 各功能模塊設(shè)計(jì)

3.1 數(shù)據(jù)準(zhǔn)備—網(wǎng)絡(luò)爬蟲

首先，根據(jù)選定的研究對象，利用Scrapy（Scrapy是一種用于抓取網(wǎng)站和提取結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用程序框架，可用于廣泛的有用應(yīng)用程序，如數(shù)據(jù)挖掘，信息處理或歷史存檔。）和requests對特定數(shù)據(jù)進(jìn)行爬取，然后，對分散的數(shù)據(jù)按照一定的規(guī)則或格式合并，并存入數(shù)據(jù)庫。

3.2 數(shù)據(jù)處理—基于評論內(nèi)容的評價指標(biāo)賦值

對選取的數(shù)據(jù)進(jìn)行在處理，檢查數(shù)據(jù)的完整性和一致性，消除噪音，濾除與數(shù)據(jù)無關(guān)的冗余數(shù)據(jù)。通過已經(jīng)建立的評價指標(biāo)體系, 需要將用戶在線 評論內(nèi)容中的各個觀點(diǎn)與上述指標(biāo)一一對應(yīng)并將用戶 的觀點(diǎn)以及情感強(qiáng)度量化為具體數(shù)值。

SonwNLP數(shù)據(jù)的分析，詞表構(gòu)建，利用Python的Snownlp進(jìn)行中文分詞（Character-Based Generative Model），詞性標(biāo)注（TnT 3-gram 隱馬），情感分析，文本分類（Naive Bayes），提取評論關(guān)鍵字（TextRank算法），在利用大量的買家在線評價內(nèi)容、二次評價、買家信用等級、采集時間等數(shù)據(jù)，建立數(shù)學(xué)模型。

3.3 溫?cái)?shù)據(jù)的可視化—展示大數(shù)據(jù)

采集為了買家能夠直接地獲取到有用的大數(shù)據(jù)，將采用django（一個高級的Python Web框架，采用MVC的架構(gòu)模式）+pyecharts（pyecharts是一個用于生成Echarts圖表的類庫）將數(shù)據(jù)可視化展示。

3.4 核心技術(shù)要點(diǎn)

3.4.1 Scrapy爬蟲技術(shù)

通過抓包抓取各大電商的評論url，并且分析參數(shù)。并且對不符合條件的數(shù)據(jù)進(jìn)行清洗，消除錯誤、冗余和數(shù)據(jù)噪音，以此保證數(shù)據(jù)質(zhì)量。

例如某件商品的質(zhì)量無法劃分為5個等級，而是通過用戶對商品質(zhì)量好壞的觀點(diǎn)描述及情感傾向來判定其商品質(zhì)量是否滿足用戶的需求，進(jìn)而反映網(wǎng)商的信用。因此用戶評論所涉及的評價指標(biāo)的量化實(shí)際上是根據(jù)情感詞的褒貶詞性以及情感傾向度按照一定的標(biāo)準(zhǔn)進(jìn)行量化后為其所描述的屬性詞進(jìn)行賦值的過程。

3.4.2 Snownlp建模

通過對大量電子商務(wù)平臺的觀察與分析，構(gòu)建能夠?qū)?yīng)網(wǎng)商信用度評價指標(biāo)的屬性詞表利用Snownlp對篩選出了的評論依次進(jìn)行分詞處理。根據(jù)構(gòu)建的屬性詞表篩選出來的評論進(jìn)行查找匹配，保留匹配成功的屬性詞，并檢查匹配成功的屬性詞是否滿足要求的覆蓋范圍, 符合要求則保留該條評論。

情感分類的基本模型是貝葉斯模型Bayes，對于有兩個類別c1和c2的分類問題來說，其特征為w1,…,wn，特征之間是相互獨(dú)立的，屬于類別c1的貝葉斯模型的基本過程為：

3.4.3 用戶評論量化的基礎(chǔ)

光敏確定指標(biāo)的量化公式，在用戶的評論中，既包含屬性詞，同時還包含對屬性詞進(jìn)行描述的動詞和形容詞以及描述情感強(qiáng)度的副詞，為了達(dá)到統(tǒng)一的評分標(biāo)準(zhǔn)，在進(jìn)行量化前筆者根據(jù)上述屬性詞表對評價指標(biāo)的得分按照一定的得分規(guī)則進(jìn)行賦值。通過語義分析可以看出，電子商務(wù)環(huán)境下用戶大多數(shù)評論內(nèi)容中的詞語組合較為淺顯易懂，搭配比較簡單，例如:“形容詞+副詞”的形式最為普遍，因此可以定義指標(biāo)得分公式為:

其中，s為指標(biāo)最終得分，i為屬性詞的初始值，默認(rèn)為3分，j為副詞的極性得分，如果句子中沒出現(xiàn)副詞則默認(rèn)為1分，k為動詞或形容詞極性得分。

4 結(jié)論

本設(shè)計(jì)通過交互控制界面可以實(shí)現(xiàn)用戶評論大數(shù)據(jù)挖掘的導(dǎo)向應(yīng)用等功能，還可以提供對大量數(shù)據(jù)進(jìn)行情感分析的數(shù)據(jù)基礎(chǔ)。對實(shí)際應(yīng)用的大型電子商務(wù)網(wǎng)站的建立，優(yōu)化有一定的工程設(shè)計(jì)應(yīng)用參考意義。