延麗平

摘 要： 電子商務(wù)的迅猛發(fā)展產(chǎn)生了海量的Web數(shù)據(jù)，從電子商務(wù)的大數(shù)據(jù)中發(fā)現(xiàn)潛在的、有用的知識和信息，是電子商務(wù)健康發(fā)展的需要。在電子商務(wù)中應(yīng)用Web數(shù)據(jù)挖掘技術(shù)，可實(shí)現(xiàn)從電子商務(wù)的Web文檔和Web活動中抽取出隱藏的有用模式。本文通過介紹Web數(shù)據(jù)挖掘技術(shù)，分析其在電子商務(wù)中的挖掘流程，對其在電子商務(wù)中的具體應(yīng)用進(jìn)行了探討。

關(guān)鍵詞： 電子商務(wù)； Web挖掘； 數(shù)據(jù)挖掘； 大數(shù)據(jù)

中圖分類號：TP311.1 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2016）03-43-02

Application of Web data mining technology in E-commerce

Yan Liping

（Guangzhou Vocational College of Technology & Business， Guangzhou， Guangdong 511442， China）

Abstract： The rapid development of E-commerce has produced massive Web data， to discover the potential and useful knowledge and information from the big data of E-commerce is the need of the healthy development of electronic commerce. Application of Web data mining technology in e-commerce can extract hidden useful model from Web documents and Web activities of E-commerce. In this paper， the Web data mining technology is introduced， its mining process in E-commerce is analyzed， and its application in E-commerce is discussed.

Key words： E-commerce； Web mining； data mining； big data

0 引言

我國電子商務(wù)交易量增長迅猛，電子商務(wù)平臺和網(wǎng)站越來越多，數(shù)據(jù)呈現(xiàn)爆炸式增長。面對海量的Web數(shù)據(jù)，對企業(yè)而言，構(gòu)建良好的客戶管理關(guān)系，吸引新客戶留住老客戶，發(fā)現(xiàn)顧客潛在的購買興趣等都成為了企業(yè)要關(guān)注的問題。對用戶而言，如何從爆炸式的大數(shù)據(jù)中發(fā)現(xiàn)與自己相關(guān)的信息存在一定的難度。數(shù)據(jù)挖掘技術(shù)是一種從大量的、不完全的、有噪聲的、隨機(jī)的、模糊的數(shù)據(jù)中提取隱含在其中的人們事先不知道的，但又具有潛在價(jià)值的信息和知識的技術(shù)[1-2]。在電子商務(wù)中應(yīng)用數(shù)據(jù)挖掘技術(shù)，從已有的信息數(shù)據(jù)中挖掘出潛在的有用的信息，已成為人們關(guān)注和研究的熱點(diǎn)。

1 Web數(shù)據(jù)挖掘

Web數(shù)據(jù)挖掘是將傳統(tǒng)的數(shù)據(jù)挖掘思想和技術(shù)應(yīng)用于Web環(huán)境中，從Web文檔集和Web活動中抽取出感興趣、潛在的、有用的模式和知識的過程。Web數(shù)據(jù)挖掘根據(jù)Web信息不同可以分為Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘三個(gè)方面。

Web內(nèi)容挖掘是從文檔內(nèi)容或其描述中直接抽取有用信息的過程，通過對文本內(nèi)容的檢索，獲取和提煉知識和信息。用于Web內(nèi)容挖掘的數(shù)據(jù)既有無結(jié)構(gòu)的自由文本，也有網(wǎng)民留言、帖子、中文微博等半結(jié)構(gòu)化的信息和來自于數(shù)據(jù)庫的結(jié)構(gòu)數(shù)據(jù)。所以Web內(nèi)容挖掘需要從Web頁面及后臺數(shù)據(jù)庫中開展挖掘任務(wù)，從大量元數(shù)據(jù)、文本、視頻、音頻等網(wǎng)絡(luò)數(shù)據(jù)集中找到特定的信息[2]。

Web結(jié)構(gòu)挖掘是從Web組織結(jié)構(gòu)和鏈接中推導(dǎo)知識，對頁面進(jìn)行分類、聚類，提高檢索效率和找出權(quán)威頁面，目的是發(fā)現(xiàn)頁面的內(nèi)部結(jié)構(gòu)和文檔間的結(jié)構(gòu)，利用這些結(jié)構(gòu)蘊(yùn)含的信息幫助發(fā)現(xiàn)有用的知識和模式。超鏈接是Web頁面的基本元素，經(jīng)?？梢岳贸溄訉eb結(jié)構(gòu)進(jìn)行挖掘。進(jìn)行Web結(jié)構(gòu)挖掘的常用算法有計(jì)算頁面權(quán)威的PageRank算法、基于網(wǎng)頁分析的HITS算法等。

Web使用挖掘是從服務(wù)器端記錄的用戶訪問日志或用戶的瀏覽信息中獲取數(shù)據(jù)，通過分析這些數(shù)據(jù)抽取出隱藏在這些數(shù)據(jù)后面的用戶模式，進(jìn)行預(yù)測性分析。通過Web使用挖掘，可以發(fā)現(xiàn)隱藏的與用戶訪問行為相關(guān)的規(guī)律，如頻繁訪問路徑、相似用戶群和相似的Web頁面等[3]。

2 面向電子商務(wù)的Web數(shù)據(jù)挖掘

2.1 Web數(shù)據(jù)挖掘過程

在電子商務(wù)環(huán)境下，Web數(shù)據(jù)挖掘過程要經(jīng)歷以下幾步，它是不斷反復(fù)修正的過程，直至得到準(zhǔn)確的知識，如圖1所示。

⑴ 確定挖掘任務(wù)，建立挖掘模型。構(gòu)建模型的任務(wù)主要是將數(shù)據(jù)進(jìn)行規(guī)格化處理，使用不同的算法、調(diào)整參數(shù)來優(yōu)化挖掘任務(wù)，數(shù)據(jù)挖掘技術(shù)本身就是一個(gè)不斷反復(fù)、不斷迭代的過程，通過多次的循環(huán)構(gòu)造才能得出更好的評估模型[2]。

⑵ 數(shù)據(jù)源：電子商務(wù)網(wǎng)站每天都會產(chǎn)生海量的交易數(shù)據(jù)和用戶訪問記錄，收集的數(shù)據(jù)數(shù)量和質(zhì)量都會影響到挖掘的結(jié)果。由于Web的結(jié)構(gòu)大體為客戶端→代理服務(wù)器→Web服務(wù)[4]，所以Web的數(shù)據(jù)源主要有Web服務(wù)器上的Web日志文件、從代理服務(wù)器端收集信息及其從Web頁面中提取數(shù)據(jù)等。

⑶ 數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理的目的是提高挖掘效率，提供有效的挖掘數(shù)據(jù)，使得結(jié)果更合理。Web文檔的數(shù)據(jù)很多都是半結(jié)構(gòu)或非結(jié)構(gòu)化的，很難對采集的Web數(shù)據(jù)直接進(jìn)行處理。采集的Web數(shù)據(jù)需根據(jù)挖掘主題選擇相關(guān)的數(shù)據(jù)項(xiàng)，經(jīng)過初步的篩選，縮小數(shù)據(jù)處理范圍。另外，Web數(shù)據(jù)具有不完全性、冗余性和模糊性等特性，通過補(bǔ)全不完全項(xiàng)、去除冗余項(xiàng)、處理模糊項(xiàng)等，去掉無用、不合理的數(shù)據(jù)，最后生成標(biāo)準(zhǔn)的數(shù)據(jù)集。

⑷ 模式發(fā)現(xiàn)：根據(jù)挖掘需求選擇合適的Web挖掘算法和工具，實(shí)現(xiàn)從數(shù)據(jù)集發(fā)現(xiàn)潛在的、有用的知識和模型。常用的Web挖掘算法有：路徑分析用來發(fā)現(xiàn)Web站點(diǎn)中最經(jīng)常被訪問的路徑；關(guān)聯(lián)規(guī)則用于關(guān)聯(lián)知識的發(fā)現(xiàn)，了解網(wǎng)頁之間的關(guān)系；序列模式可以挖掘出交易集之間有時(shí)間序列關(guān)系的模式；運(yùn)用分類和聚類算法對數(shù)據(jù)進(jìn)行分組等Web挖掘。

⑸ 模式分析：對于發(fā)現(xiàn)的模式進(jìn)行驗(yàn)證、解釋、說明，獲取對決策支持有用的信息。根據(jù)模式分析的反饋，如果沒有得到合適的結(jié)果，重復(fù)上述步驟，重新挖掘知識，直至得到滿意的結(jié)果。

⑹ 結(jié)果可視化：Web數(shù)據(jù)挖掘的意義不是獲取龐大的數(shù)據(jù)信息，而是要將獲取的知識或者模型采取用戶可理解的方式展現(xiàn)給用戶，這意味著要將分析結(jié)果可視化。數(shù)據(jù)可視化主要是借助于圖形化手段，依據(jù)數(shù)據(jù)本身及其內(nèi)在的模式和關(guān)系，清晰有效地傳達(dá)與溝通信息。

2.2 Web數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用

將Web數(shù)據(jù)挖掘技術(shù)應(yīng)用在電子商務(wù)中，從技術(shù)角度，可以提供優(yōu)化網(wǎng)站結(jié)構(gòu)和頁面的策略；從商家角度，可以增加交叉銷售量，盡可能將瀏覽者變?yōu)橄M(fèi)者；從用戶角度，為用戶提供了個(gè)性化服務(wù)。以下是Web數(shù)據(jù)挖掘在電子商務(wù)中的具體應(yīng)用。

⑴ 改進(jìn)站點(diǎn)的訪問效率。通過對Web結(jié)構(gòu)和Web日志的分析，對Web頁面之間的組織關(guān)系、引用關(guān)系和超鏈接關(guān)系的分析，可以挖掘用戶網(wǎng)頁瀏覽行為模式、頁面瀏覽情況等，對頁面的重要性進(jìn)行評估，有助于商家重新調(diào)整頁面結(jié)構(gòu)和頁面布局，改進(jìn)Web站點(diǎn)設(shè)計(jì)，提升訪問效率，吸引更多用戶。

⑵ 提供個(gè)性化服務(wù)。電子商務(wù)的快速發(fā)展，為用戶提供了更多的選擇，同時(shí)，面對電商網(wǎng)站眾多的商品和越來越復(fù)雜的網(wǎng)站結(jié)構(gòu)，如何能快速查找到自己感興趣的商品是一個(gè)費(fèi)時(shí)費(fèi)力的問題。個(gè)性化服務(wù)是電子商務(wù)網(wǎng)站爭取更多用戶、防止用戶流失以及實(shí)現(xiàn)市場目標(biāo)的重要手段。協(xié)同過濾算法是目前使用最多、應(yīng)用最成熟的一種推薦技術(shù)[5]。在電子商務(wù)中，運(yùn)用協(xié)同過濾等推薦算法，構(gòu)建基于Web電子商務(wù)的個(gè)性化推薦系統(tǒng)，可以制定不同的個(gè)性化營銷策略。

⑶ 商品推薦服務(wù)。運(yùn)用聚類、分類、關(guān)聯(lián)規(guī)則等數(shù)據(jù)挖掘技術(shù)，可以從用戶的訪問數(shù)據(jù)中發(fā)現(xiàn)商品之間的聯(lián)系，挖掘用戶感興趣的商品。比如通過用戶購買商品A，推導(dǎo)出商品B也是用戶感興趣的商品。通過基于Web電子商務(wù)的智能推薦系統(tǒng)，客戶可以在較短時(shí)間內(nèi)購買到滿意的商品，同時(shí)增加商家的交叉銷售量。

⑷ 識別電子商務(wù)潛在客戶。通過對Web已有的老客戶數(shù)據(jù)的公共屬性、類別關(guān)鍵屬性及其屬性間的相互關(guān)系進(jìn)行分析，建立分類模型。對于一個(gè)新的用戶，根據(jù)已建立的分類模型，對新用戶進(jìn)行正確的分類，根據(jù)類別判斷用戶是否潛在客戶。

⑸ 理解客戶意圖。通過分析用戶的瀏覽路徑等多個(gè)數(shù)據(jù)源，運(yùn)用路徑游歷模式等發(fā)現(xiàn)算法，發(fā)現(xiàn)被頻繁訪問的路徑，從而發(fā)現(xiàn)用戶的真實(shí)訪問意圖。

3 結(jié)束語

Web挖掘能夠在海量的大數(shù)據(jù)中尋找出潛在的有用的信息和知識，Web挖掘技術(shù)在電子商務(wù)中的應(yīng)用越來越廣泛，制作基于Web挖掘的個(gè)性化推薦系統(tǒng)、智能化的電子商務(wù)系統(tǒng)已經(jīng)成為電商網(wǎng)站的發(fā)展趨勢。但同時(shí)電子商務(wù)數(shù)據(jù)存在異構(gòu)性、規(guī)模大、復(fù)雜性等特點(diǎn)，使得傳統(tǒng)的Web挖掘技術(shù)遇到挑戰(zhàn)，下一步需要深入研究針對電子商務(wù)數(shù)據(jù)的Web挖掘算法。

參考文獻(xiàn)（References）：

[1] 中國新聞網(wǎng).上半年電子商務(wù)交易額約為5.66萬億同比增

30.1%. http：//www.chinanews.com/gn/2014/07-29/6437457.shtml，2014-7-29

[2] 張素智，曲旭凱，張琳.基于電子商務(wù)的Web數(shù)據(jù)挖掘研究[J].

現(xiàn)代計(jì)算機(jī)（專業(yè)版），2015.9：12-18

[3] 于小兵，郭順生，黃小榮.基于Web使用挖掘的智能電子商務(wù)

及其應(yīng)用[J].計(jì)算機(jī)集成制造系統(tǒng)，2010.16（2）：439-446

[4] 周梅.Web挖掘技術(shù)在電子商務(wù)的應(yīng)用研究[J].商場現(xiàn)代

化.2009.6：83-84

[5] 馬小龍.基于協(xié)作過濾算法的電子商務(wù)個(gè)性化推薦系統(tǒng)的研

究[J].微型機(jī)與應(yīng)用，2014.33（15）：13-15