謝少群

摘要：XML的出現(xiàn)為解決Web數(shù)據(jù)挖掘的難題帶來了機(jī)會(huì)，由于XML能夠使不同來源的結(jié)構(gòu)化數(shù)據(jù)結(jié)合在一起，使得搜索多樣的數(shù)據(jù)庫成為可能。該文設(shè)計(jì)了基于XML的Web日志挖掘系統(tǒng)，通過日志挖掘?qū)嶒?yàn)對(duì)電子商務(wù)網(wǎng)站的產(chǎn)品分布設(shè)置現(xiàn)狀進(jìn)行分析與評(píng)價(jià)。

關(guān)鍵詞：電子商務(wù)；數(shù)據(jù)挖掘；XML

中圖分類號(hào)：TP313 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）07-1626-03

數(shù)據(jù)庫領(lǐng)域最活躍的領(lǐng)域之一就是數(shù)據(jù)挖掘，因?yàn)槠洮F(xiàn)實(shí)意義，使得數(shù)據(jù)挖掘的技術(shù)研究和應(yīng)用有了很大的發(fā)展，在國(guó)內(nèi)外科研領(lǐng)域都備受關(guān)注。隨著Internet技術(shù)的快速發(fā)展，電子商務(wù)發(fā)展的同時(shí)使得網(wǎng)絡(luò)資源也隨之迅猛的增長(zhǎng)。如何使電子商務(wù)用戶快速有效的利用所需資源，已經(jīng)成為電子商務(wù)網(wǎng)站設(shè)計(jì)者急需解決的問題。將數(shù)據(jù)挖掘技術(shù)用于電子商務(wù)管理中幾乎是從數(shù)據(jù)挖掘誕生就注定的，這與電子商務(wù)的特點(diǎn)是密切聯(lián)系的。在電子商務(wù)中應(yīng)用數(shù)據(jù)挖掘技術(shù)具有極大的實(shí)用價(jià)值。[1]

1 電子商務(wù)Web日志挖掘模型EC-Web-Mining設(shè)計(jì)

1.1 基于XML的Web挖掘模型實(shí)現(xiàn)原理

基于XML的Web挖掘模型的思想是把現(xiàn)有的Web頁面或Web日志經(jīng)過數(shù)據(jù)清洗轉(zhuǎn)換成XML格式，并使用數(shù)據(jù)庫工具處理XML 結(jié)構(gòu)的數(shù)據(jù)以抽取出適當(dāng)可用的數(shù)據(jù)。其主要步驟如下：

1）標(biāo)識(shí)數(shù)據(jù)源（Web頁面或Web日志）。在大多數(shù)情況下，數(shù)據(jù)源信息是易見的，但是要抽取可用的、可靠和穩(wěn)定的信息源就比較困難。

2）查找數(shù)據(jù)的引用點(diǎn)。無論是Web 頁面還是WEB日志視圖中的絕大多數(shù)信息都與抽取信息無關(guān)，需從中抽取出我們需要的數(shù)據(jù)。

3）將數(shù)據(jù)映射成XML。利用數(shù)據(jù)庫工具或算法將數(shù)據(jù)轉(zhuǎn)換成XML格式文檔。

4）合并結(jié)果并處理數(shù)據(jù)。如果只執(zhí)行一次數(shù)據(jù)抽取，按照上述步驟已經(jīng)完成。但是，Web 數(shù)據(jù)挖掘是一個(gè)循環(huán)往復(fù)的過程，幾次簡(jiǎn)單的數(shù)據(jù)抽取還沒有完成數(shù)據(jù)挖掘的任務(wù)。針對(duì)Web 數(shù)據(jù)挖掘的特殊性，要不斷地在Internet 上進(jìn)行數(shù)據(jù)的抽取，并將結(jié)果合并為XML 數(shù)據(jù)文件，必要時(shí)還得將XML格式文件轉(zhuǎn)換為結(jié)構(gòu)化的關(guān)系數(shù)據(jù)庫。[2]

1.2 基于XML的Web挖掘模型

3）用戶會(huì)話識(shí)別模塊

用戶會(huì)話識(shí)別模塊將把清洗過的日志文件數(shù)據(jù)記錄識(shí)別成多個(gè)用戶，以方便利用挖掘算法進(jìn)行挖掘。一般被采用的方法是基于日志/站點(diǎn)的方法。

4） XML轉(zhuǎn)換模塊

該模塊將預(yù)處理過、進(jìn)行過用戶會(huì)話識(shí)別的日志文件轉(zhuǎn)換成XML格式的文件。主要是將清洗過的日志文件通過Visual C#代碼TxtToXml類轉(zhuǎn)換為XML格式的文件，程序的功能是先讀出日志文件里面的數(shù)據(jù)，經(jīng)過分隔符將數(shù)據(jù)按字段分隔并存入到數(shù)組中，最后將各數(shù)組的內(nèi)容加XML標(biāo)記一起寫入到生成的XML文件中。

5） XML數(shù)據(jù)導(dǎo)入模塊

該模塊將XML格式的文件數(shù)據(jù)通過SQL代碼導(dǎo)入到MS SQL Server2005的數(shù)據(jù)庫中，形成日志數(shù)據(jù)表以方便進(jìn)行數(shù)據(jù)挖掘。主要包括XML文件格式的轉(zhuǎn)換導(dǎo)入和日志數(shù)據(jù)表的生成操作兩大功能。

6） 數(shù)據(jù)挖掘模塊

該模塊利用數(shù)據(jù)挖掘算法對(duì)數(shù)據(jù)進(jìn)行挖掘，主要包括算法的優(yōu)化、日志數(shù)據(jù)表的刪除操作以及挖掘結(jié)果集的保存與刪除操作等。這里主要用到的算法是Apriori優(yōu)化算法—基于頻繁鏈表的頻繁集的挖掘算法[3]，主要是利用Apriori算法發(fā)現(xiàn)頻繁項(xiàng)集，通過對(duì)頻繁項(xiàng)集的分析來得出電子商務(wù)網(wǎng)站中哪些產(chǎn)品是客戶最喜歡點(diǎn)擊和購買的，從而可以適當(dāng)?shù)卣{(diào)整產(chǎn)品在網(wǎng)站中的分布，來提高銷售量。

3 小結(jié)

本文主要是研究基于Web數(shù)據(jù)挖掘技術(shù)的電子商務(wù)數(shù)據(jù)挖掘模型，主要的工作是對(duì)Web訪問信息挖掘技術(shù)進(jìn)行了深入的研究，發(fā)現(xiàn)電子商務(wù)網(wǎng)站中用戶的訪問信息和在電子商務(wù)網(wǎng)站中針對(duì)用戶實(shí)現(xiàn)頁面合理布局。

參考文獻(xiàn)：

[1] Serge Abiteboul， Dallan Quass， Jason McHugh， et al. The Lorel Query Language for Semistructured Data[J]. International Journalon Digital Libraries，1997，1（4）：68-88.

[2] 張光輝.XML與Web 數(shù)據(jù)挖掘分析[J].中原工學(xué)院學(xué)報(bào)，2002，13（4）：61-64.

[3] 袁鼎榮，張師超.基于頻繁鏈表的頻繁集的挖掘算法[J].計(jì)算機(jī)科學(xué)，2003（7）：165-166.