牛朋飛

喜科（上海）軟件系統(tǒng)有限公司成都 郵編 200000

Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用

牛朋飛

喜科（上海）軟件系統(tǒng)有限公司成都 郵編 200000

隨著電子商務(wù)的應(yīng)用日益廣泛，電子商務(wù)系統(tǒng)中積累著大量的信息和數(shù)據(jù)，這些數(shù)據(jù)正在呈現(xiàn)爆炸式的增長，給電子商務(wù)的應(yīng)用帶來了一定的挑戰(zhàn)。而Web數(shù)據(jù)挖掘技術(shù)可以發(fā)現(xiàn)有價(jià)值的知識(shí)和信息，滿足電子商務(wù)未來的發(fā)展趨勢(shì)。本文在協(xié)同過濾算法的基礎(chǔ)，構(gòu)建基于Web的電子商務(wù)個(gè)性化推薦系統(tǒng)。

電子商務(wù)，Web數(shù)據(jù)挖掘，推薦系統(tǒng)，協(xié)同過濾算法

隨著國內(nèi)外電子商務(wù)的發(fā)展，電子商務(wù)網(wǎng)站越來越多，行業(yè)競爭越來越激烈，電子商務(wù)網(wǎng)站必須加強(qiáng)客戶關(guān)系管理，改善經(jīng)營理念，服務(wù)好客戶，才能獲得更多的客戶資源。電子商務(wù)企業(yè)要面對(duì)的客戶群和市場都變得巨大而復(fù)雜，并且隨著電子商務(wù)的應(yīng)用日益廣泛，電子商務(wù)系統(tǒng)中積累了大量的信息和數(shù)據(jù)，這些數(shù)據(jù)正在呈現(xiàn)爆炸式的增長，給電子商務(wù)的應(yīng)用帶來了一定的挑戰(zhàn)。因此,電子商務(wù)網(wǎng)站必須研究客戶的興趣和愛好，對(duì)客戶進(jìn)行分類管理，針對(duì)不同的客戶群推薦不同的商品。對(duì)于企業(yè)而言，Web數(shù)據(jù)挖掘有助于發(fā)現(xiàn)業(yè)務(wù)發(fā)展的趨勢(shì)，幫助企業(yè)做出正確的決策，使企業(yè)處于更有利的競爭位置。

1 Web數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘就是從大量的、不完全的未知數(shù)據(jù)中提取隱含在其中的對(duì)人們分析有用的有價(jià)值信息、模式和趨勢(shì),然后以易于理解的可視化形式表達(dá)出來,其目的是為了提高市場決策能力、檢測(cè)異常模式、控制可預(yù)見風(fēng)險(xiǎn)、在經(jīng)驗(yàn)?zāi)Ｐ突A(chǔ)上預(yù)測(cè)未來趨勢(shì)等,從而為企業(yè)提供決策依據(jù)。目前，對(duì)Web數(shù)據(jù)挖掘的研究主要集中在兩個(gè)方面:一是從資源查找的方面來看，即從用戶的角度出發(fā)，研究怎樣提高信息質(zhì)量和幫助用戶過濾信息；第二種是從數(shù)據(jù)庫的觀點(diǎn)進(jìn)行Web內(nèi)容挖掘，主要是嘗試建立Web站點(diǎn)的數(shù)據(jù)模型并加以集成，以支持復(fù)雜查詢，而不只是簡單的基于關(guān)鍵詞的搜索。

Web數(shù)據(jù)挖掘在電子商務(wù)管理中的應(yīng)用是一個(gè)將信息、數(shù)據(jù)轉(zhuǎn)化為商業(yè)知識(shí)的過程。具體包括以下步驟:

(1)確定電子商務(wù)管理的應(yīng)用主題，建立數(shù)據(jù)挖掘模型。在電子商務(wù)環(huán)境下，數(shù)據(jù)挖掘的目標(biāo)包括兩個(gè)方面:一是通過數(shù)據(jù)挖掘去驗(yàn)證假設(shè)是否成立；二是從與產(chǎn)品、客戶相關(guān)的數(shù)據(jù)中發(fā)現(xiàn)對(duì)電子商務(wù)管理起關(guān)鍵作用的新的有價(jià)值的知識(shí)。

（2）圍繞電子商務(wù)主題收集數(shù)據(jù)源,并對(duì)數(shù)據(jù)進(jìn)行清理、轉(zhuǎn)換、集成等技術(shù)處理,裝載進(jìn)人數(shù)據(jù)倉庫。

（3）對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括對(duì)數(shù)據(jù)進(jìn)行格式化操作，并將所有數(shù)據(jù)導(dǎo)人到特制的數(shù)據(jù)集市中。

(4)選取合適的數(shù)據(jù)挖掘方法,構(gòu)建數(shù)據(jù)挖掘模型,從目標(biāo)數(shù)據(jù)中提取有價(jià)值的電子商務(wù)管理知識(shí),包括電子商務(wù)運(yùn)營規(guī)則、模式、模型和報(bào)表等。對(duì)結(jié)果進(jìn)行分析和驗(yàn)證,調(diào)整數(shù)據(jù)挖掘模型,從而保證結(jié)果的可靠性和實(shí)用性。

（5）挖掘結(jié)果評(píng)估與知識(shí)表示。將電子商務(wù)管理知識(shí)集成到電子商務(wù)管理中心，融合專家知識(shí)與領(lǐng)域規(guī)則,為電子商務(wù)管理活動(dòng)提供決策支持。

2 協(xié)同過濾推薦算法

協(xié)同過濾推薦是目前應(yīng)用最廣泛、效率最高一種推薦技術(shù)，協(xié)同過濾技術(shù)的關(guān)鍵是如何定義用戶間的相似性以及如何根據(jù)這個(gè)相似性來選擇目標(biāo)用戶群。本文采用基于用戶的協(xié)同過濾推薦。它的工作原理是根據(jù)其他相似度最高的N個(gè)用戶觀點(diǎn)產(chǎn)生對(duì)目標(biāo)用戶的推薦列表。它基于這樣一個(gè)理論假設(shè):如果用戶對(duì)一些項(xiàng)的評(píng)分比較相似，則他們對(duì)其它項(xiàng)的評(píng)分也比較相似?；谟脩舻膮f(xié)同過濾推薦使用統(tǒng)計(jì)技術(shù)搜索目標(biāo)用戶的若干最近鄰居,然后根據(jù)最近鄰居對(duì)項(xiàng)的評(píng)分預(yù)測(cè)目標(biāo)用戶對(duì)未評(píng)分項(xiàng)的評(píng)分,選擇預(yù)測(cè)評(píng)分最高的前若干項(xiàng)作為推薦結(jié)果反饋給用戶。

基于用戶的協(xié)同過濾推薦算法的核心就是通過最近鄰居的評(píng)分產(chǎn)生最后的薦結(jié)果，當(dāng)前用戶對(duì)未評(píng)分項(xiàng)的評(píng)分通過最近鄰居對(duì)該項(xiàng)評(píng)分的加權(quán)平均值逼近。用戶評(píng)分?jǐn)?shù)據(jù)可以用一個(gè)M*N階矩陣A（M,N)表示，其中M行代表M個(gè)用戶,

N列代表N個(gè)項(xiàng)目,元素A（i，j）表示用戶i對(duì)項(xiàng)目j的評(píng)估數(shù)值。這個(gè)評(píng)估值的內(nèi)容可根據(jù)需要設(shè)定，可以表示為用戶是否訂購某種商品，或者表示用戶是否瀏覽了Web文檔等。基于用戶的協(xié)同過濾推薦算法包括以下步驟:

(1)建立用戶模型:通過對(duì)用戶信息的采集，獲得推薦算法所需要的信息，包括用戶的基本特征信息、評(píng)分信息、用戶行為信息和購買記錄等。對(duì)用戶己經(jīng)瀏覽的頁面進(jìn)行建模，從而可以有效度量用戶之間的相似性。

(2)尋找最近鄰居:主要完成對(duì)目標(biāo)用戶最近鄰居的查找。方法是通過計(jì)算目標(biāo)用戶與其他用戶間的相似度，得到與目標(biāo)用戶最相似的“最近鄰居”集。相似性的評(píng)價(jià)方法包括向量相似性、有約束的皮爾森相關(guān)系數(shù)和皮爾森相關(guān)系數(shù)法。

(3)推薦產(chǎn)生:通過分析目標(biāo)用戶和其鄰居的數(shù)據(jù)信息，預(yù)測(cè)用戶的興趣，根據(jù)興趣度評(píng)分高低產(chǎn)生相應(yīng)的推薦頁面集。

3 基于協(xié)同過濾的電子商務(wù)推薦系統(tǒng)

3.1 系統(tǒng)總體結(jié)構(gòu)

基于協(xié)同過濾的電子商務(wù)推薦系統(tǒng)包括在線部分和離線部分。在線部分主要由推薦引擎、Web服務(wù)器和用戶瀏覽器構(gòu)成，主要完成的是在線的頁面推薦工作；離線部分的主要工作是利用在線部分提供的數(shù)據(jù)，使用協(xié)同過濾算法形成相應(yīng)的推薦規(guī)則。系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

圖1 基于協(xié)同過濾的電子商務(wù)推薦系統(tǒng)

推薦引擎是在線部分中的重要過程，其主要的任務(wù)是為當(dāng)前用戶尋找與其興趣度最為類似的頁面集合。推薦引擎首先分析用戶的當(dāng)前會(huì)話，識(shí)別出用戶的當(dāng)前會(huì)話后，得到用戶當(dāng)前訪問頁面集合。推薦引擎將該用戶的當(dāng)前訪問頁面集合送到協(xié)作過濾器中進(jìn)行聚類，得到推薦頁面集。推薦引擎將用戶的請(qǐng)求發(fā)送給Web服務(wù)器，當(dāng)Web服務(wù)器返回頁面后，推薦引擎把相應(yīng)的推薦集附加到Web服務(wù)器所給頁面底部，發(fā)送給用戶進(jìn)行頁面集合推薦。

3.2 在線部分實(shí)現(xiàn)

當(dāng)客戶在線瀏覽時(shí)，在線部分能為客戶提供推薦服務(wù)，其功能主要是通過推薦引擎。在它受到調(diào)用后，就開始為當(dāng)前用戶尋找計(jì)算與他興趣點(diǎn)相符合的物品推薦集，在這個(gè)推薦集的尋找過程中，會(huì)以用戶數(shù)據(jù)庫、物品數(shù)據(jù)庫、會(huì)話期對(duì)象、購物車等作為推薦的基準(zhǔn)和依據(jù)。在線部分的結(jié)構(gòu)如圖2所示。

圖2 在線部分結(jié)構(gòu)圖

用戶訪問網(wǎng)站時(shí)先將網(wǎng)頁請(qǐng)求發(fā)送到Web服務(wù)器，Web服務(wù)器將用戶的請(qǐng)求數(shù)據(jù)提交到推薦引擎模塊。推薦引擎首先分析用戶的當(dāng)前會(huì)話，在識(shí)別出用戶的當(dāng)前會(huì)話后，得到用戶的當(dāng)前訪問頁面集合；接著推薦引擎利用離線模塊生成的模式庫和Web數(shù)據(jù)庫進(jìn)行計(jì)算，生成推薦結(jié)果集，并將結(jié)果集返回給Web服務(wù)器，由Web服務(wù)器通過Http協(xié)議將結(jié)果返回到客戶，展現(xiàn)在瀏覽器中。這樣，就實(shí)現(xiàn)了整個(gè)推薦過程。

3.3 離線部分實(shí)現(xiàn)

離線部分主要為推薦引擎的工作提供支持，包括數(shù)據(jù)預(yù)處理和Web挖掘等模塊組成。數(shù)據(jù)預(yù)處理主要對(duì)Web使用數(shù)據(jù)，Web內(nèi)容數(shù)據(jù)和Web結(jié)構(gòu)數(shù)據(jù)進(jìn)行各種處理，從而為后續(xù)的數(shù)據(jù)挖掘提供可以直接處理的數(shù)據(jù)源。離線部分結(jié)構(gòu)如圖3所示。

圖3 離線部分結(jié)構(gòu)圖

通過事務(wù)聚類分析獲取用戶的使用特征，通過內(nèi)容聚類分析獲取頁面內(nèi)容特征，通過結(jié)構(gòu)聚類分析獲取頁面結(jié)構(gòu)特征。由于數(shù)據(jù)預(yù)處理和Web挖掘的時(shí)間開銷比較大，不能滿足個(gè)性化推薦服務(wù)的實(shí)時(shí)性要求，所以必須將這兩個(gè)操作離線進(jìn)行，挖掘結(jié)果可以供在線部分的推薦引擎直接引用。在線部分的推薦引擎根據(jù)當(dāng)前的用戶會(huì)話結(jié)合Web挖掘結(jié)果為當(dāng)前用戶提供高效的個(gè)性化推薦服務(wù)。個(gè)性化推薦服務(wù)的表現(xiàn)形式可以為推薦的超鏈接列表，推薦的商品列表，推薦的廣告列表，經(jīng)裁剪的文本或圖像列表等。

4 結(jié)語

Web數(shù)據(jù)挖掘能夠在網(wǎng)絡(luò)海量的異構(gòu)的信息資源中尋找蘊(yùn)涵的有價(jià)值的知識(shí)。近年來，隨著電子商務(wù)的迅速發(fā)展，Web數(shù)據(jù)挖掘在電子商務(wù)領(lǐng)域的應(yīng)用更加廣泛。它能根據(jù)用戶的購買行為和記錄，自動(dòng)預(yù)測(cè)客戶的消費(fèi)趨勢(shì)、市場走向，幫助商家調(diào)整市場策略，進(jìn)行正確的決策，促進(jìn)電子商務(wù)的發(fā)展。

[1]王衛(wèi)鋒.電子商務(wù)中基于web的數(shù)據(jù)挖掘技術(shù)應(yīng)用[J].河南科技.2014年17期.

[2]王承.Web數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用[J].職業(yè).2014年第17期.

[3]馬小龍.基于協(xié)作過濾算法的電子商務(wù)個(gè)性化推薦系統(tǒng)的研究[J].微型機(jī)與應(yīng)用.2014年15期

[4]于桂賓.基于WEB的數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[J].承德石油高等?？茖W(xué)校學(xué)報(bào).2014年第05期.