[摘要] 隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，電子商務(wù)行業(yè)正處以一個(gè)高速發(fā)展的時(shí)期，各類商務(wù)網(wǎng)站也應(yīng)運(yùn)而生。如何從繁多的商務(wù)網(wǎng)站數(shù)據(jù)中獲得有用的信息就成了一件亟需解決的問題。本文分析了Web內(nèi)容挖掘在電子商務(wù)網(wǎng)站中的應(yīng)用以及如何獲得數(shù)據(jù)源。

[關(guān)鍵詞] 電子商務(wù)網(wǎng)站 Web內(nèi)容挖掘 數(shù)據(jù)源

一、引言

對(duì)于電子商務(wù)網(wǎng)站來說，Internet上儲(chǔ)存了大量的文檔、圖像、聲音等非結(jié)構(gòu)化的數(shù)據(jù)及信息，并且用戶群體也顯示出多樣性，也就是說每個(gè)瀏覽網(wǎng)站的人，他們的需求、興趣以及瀏覽目的各不相同。一個(gè)稍具規(guī)模的電子商務(wù)網(wǎng)站每天處理的業(yè)務(wù)成千上萬，那么如何從這些數(shù)據(jù)中找到有用的信息，幫助電子商務(wù)的經(jīng)營者和研究者從海量的Web數(shù)據(jù)中得到真正有價(jià)值的信息，以指導(dǎo)他們做出管理上的決策。就是一個(gè)非常重要而有意義的事情。

二、爬蟲和Web內(nèi)容挖掘

1.Web挖掘的典型分類

在目前的研究中， Web數(shù)據(jù)挖掘分為:Web內(nèi)容挖掘（Web content mining）、Web使用(訪問信息)挖掘（Web usage mining）、Web結(jié)構(gòu)挖掘(Web structure mining）三種典型的類型。

(1)Web內(nèi)容挖掘主要是對(duì)站點(diǎn)的Web頁面內(nèi)容進(jìn)行挖掘。目前，大多數(shù)研究主要集中在如何對(duì)網(wǎng)站上的文本以及多媒體數(shù)據(jù)進(jìn)行分類以提高數(shù)據(jù)挖掘的有效性，很少涉及到如何從網(wǎng)站上進(jìn)行數(shù)據(jù)的采集以及分析。

(2)Web結(jié)構(gòu)挖掘主要是對(duì)Web文檔的結(jié)構(gòu)進(jìn)行挖掘，通過一定的算法來發(fā)現(xiàn)給定的Web文檔之間的鏈接情況，從而得到比較重要的頁面，以向?yàn)g覽網(wǎng)站的用戶提供權(quán)威頁面。

(3)Web使用(訪問信息)挖掘主要是對(duì)用戶訪問Web時(shí)在服務(wù)器方留下的訪問記錄，也就是用戶訪問Web站點(diǎn)的存取方式進(jìn)行挖掘。它通過挖掘相關(guān)的Web日志記錄，來發(fā)現(xiàn)用戶訪問Web頁面的模式。目前流行的挖掘手段主要包括:路徑分析、關(guān)聯(lián)規(guī)則和序列模式的發(fā)現(xiàn)、聚類和分類等。

2.Web挖掘的數(shù)據(jù)源

在Web數(shù)據(jù)挖掘中存在幾種代表性的數(shù)據(jù)源：

（1)服務(wù)器日志數(shù)據(jù)。個(gè)人瀏覽Web服務(wù)器時(shí)，在服務(wù)器那方就會(huì)產(chǎn)生3種類型的日志文件:Server logs，Error logs和Cookie logs，這些日志文件主要是用來保存用戶訪問的基本情況。所以就成為開展Web使用(訪問信息)挖掘的主要數(shù)據(jù)源。但有一點(diǎn)需要注意的是，這些數(shù)據(jù)是在服務(wù)器方生成的，因此有一定的不可獲取性，因?yàn)檫@會(huì)涉及到商業(yè)機(jī)密。

（2)在線市場(chǎng)數(shù)據(jù)。這類數(shù)據(jù)主要是跟市場(chǎng)活動(dòng)有關(guān)的信息。在線市場(chǎng)數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)，是進(jìn)行業(yè)務(wù)相關(guān)分析的主要數(shù)據(jù)源。

（3)Web頁面。目前的Web頁面大多滿足HTML標(biāo)準(zhǔn)。HTML頁面中包含文本和多媒體信息，例如圖片、圖像、語言等，因此涉及到數(shù)據(jù)挖掘領(lǐng)域中的文本挖掘和多媒體挖掘，目前很多研究都在致力于如何對(duì)文本和多媒體信息進(jìn)行挖掘的算法分析。

（4)Web頁面超鏈接關(guān)系。Web頁面之間的超鏈接關(guān)系是一種重要的資源，網(wǎng)站的設(shè)計(jì)者總是把他們認(rèn)為重要的頁面添加到自己的頁面上來。

（5)其他數(shù)據(jù)。除了上述幾種重要的數(shù)據(jù)源外，還有一些其他方面的數(shù)據(jù)，比如用戶注冊(cè)信息等一系列信息。

當(dāng)然，在實(shí)際的Web數(shù)據(jù)挖掘中這些數(shù)據(jù)源并不是孤立使用的，而是幾種數(shù)據(jù)源的綜合使用和分析，例如我們要對(duì)訪問某個(gè)電子商務(wù)網(wǎng)站的用戶購買商品的路徑分析的同時(shí)還需要知道這些客戶群的一些基本信息。

3.爬蟲和Web內(nèi)容挖掘

由于上述的幾種數(shù)據(jù)源中有一些是在服務(wù)器方生成的，比如說日志文件和用戶注冊(cè)信息，并且涉及到商業(yè)機(jī)密問題，所以在數(shù)據(jù)源的獲得上存在一定的難度。這里，我們可以利用爬蟲(Crawler)的工作原理，來作為我們進(jìn)行Web內(nèi)容挖掘的一種信息獲取和分析的工具，得到我們需要的數(shù)據(jù)源。

（1)爬蟲的工作原理。爬蟲(Crawler）是一個(gè)用來分解Web中超文本結(jié)構(gòu)的工具。一個(gè)商業(yè)網(wǎng)站的Web頁面是通過超鏈接的關(guān)系存在的，就組成了類似一張張的網(wǎng)。網(wǎng)絡(luò)爬蟲是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站某一個(gè)頁面(通常是首頁)開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其他鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)爬蟲就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。

（2)數(shù)據(jù)的獲得。我們就可以利用上述爬蟲的工作原理，從我們需要的信息起始頁開始進(jìn)行爬取數(shù)據(jù)，得到與之有關(guān)的大多數(shù)Web頁面上的信息。

（3)數(shù)據(jù)的分析。在對(duì)鏈接頁面進(jìn)行搜索的過程中，經(jīng)常需要判斷信息的屬性或分析信息的價(jià)值，因?yàn)閃eb頁面上存儲(chǔ)了浩瀚的數(shù)據(jù)，比如一些廣告信息，而有的數(shù)據(jù)并不是我們需要的。在此，我們可以利用基于正則表達(dá)式(regular expression)的詞法分析技術(shù)對(duì)采集到的Html代碼進(jìn)行語法分析，提取其中有效信息，例如出售的商品分類、規(guī)格、價(jià)格、數(shù)量、運(yùn)送方式、運(yùn)費(fèi)、出售人、曾經(jīng)購買過的用戶等。

（4)數(shù)據(jù)的保存。為了進(jìn)行最終的挖掘工作，我們需要把經(jīng)過分析的有效數(shù)據(jù)最終保存到數(shù)據(jù)庫當(dāng)中。一般選擇大型的數(shù)據(jù)庫管理工具，如SQL Server2005等。

（5)進(jìn)行挖掘。利用數(shù)據(jù)挖掘技術(shù)獲取有效的信息，對(duì)相關(guān)問題模式進(jìn)行驗(yàn)證。

三、結(jié)束語

電子商務(wù)網(wǎng)站，無論是B/C模式還是C/C的，在網(wǎng)站頁面上都保存了大量用戶在交易過程中產(chǎn)生的信息，例如商品的規(guī)格、價(jià)格、展示、售后服務(wù)以及運(yùn)輸方式等等，還包括賣家的個(gè)人信息、信用情況，根據(jù)平臺(tái)的不同還有相應(yīng)的支付方式、法律條款等等。那么，利用爬蟲技術(shù)，我們可以開發(fā)出一個(gè)獲得數(shù)據(jù)源的有效工具來進(jìn)行Web內(nèi)容挖掘。

當(dāng)然，在現(xiàn)實(shí)研究當(dāng)中，Web內(nèi)容挖掘是和Web結(jié)構(gòu)挖掘及Web訪問信息挖掘結(jié)合在一起使用的，它們相互補(bǔ)充，共同來挖掘出有用的信息。

參考文獻(xiàn):

[1]梁協(xié)雄雷汝煥曹長(zhǎng)修:現(xiàn)代數(shù)據(jù)挖掘技術(shù)研究進(jìn)展.重慶大學(xué)學(xué)報(bào)，2004.3:p.21～26

[2]吳修琴:基于Web使用挖掘的個(gè)性化服務(wù)推薦:河北科技圖苑，2007.3