梁清潔 江蘇先農(nóng)電子商務(wù)有限公司

1 Web日志挖掘技術(shù)概述

Web日志挖掘是Web數(shù)據(jù)挖掘的一種，涉及多個(gè)領(lǐng)域，是計(jì)算機(jī)學(xué)、統(tǒng)計(jì)學(xué)、信息學(xué)、數(shù)據(jù)庫(kù)等多門技術(shù)的綜合。Web日志挖掘有很多優(yōu)勢(shì)，它是基于大數(shù)據(jù)的，少量的數(shù)據(jù)無(wú)法通過(guò)人工分析來(lái)得出蘊(yùn)含的規(guī)律，缺乏普遍性。經(jīng)過(guò)Web日志挖掘技術(shù)得出的信息，不是經(jīng)過(guò)簡(jiǎn)單的推理而得出的信息，它可以深度挖掘隱藏在數(shù)據(jù)內(nèi)部的關(guān)聯(lián)關(guān)系，進(jìn)行準(zhǔn)確的預(yù)測(cè)，從而給企業(yè)或者用戶帶來(lái)直接利益。

2 Web日志挖掘算法

Web日志挖掘算法有四步。其一，源數(shù)據(jù)收集。它的主要作用是收集系統(tǒng)平臺(tái)的日志文件，對(duì)用戶的瀏覽記錄、注冊(cè)信息、需求信息等進(jìn)行分析提取，提高電商平臺(tái)的個(gè)性化推薦水平。其二，數(shù)據(jù)預(yù)處理。系統(tǒng)文件存儲(chǔ)的原始信息有些是非結(jié)構(gòu)化的，因此在對(duì)這些數(shù)據(jù)信息挖掘之前進(jìn)行預(yù)處理，對(duì)日志信息加以整理，剔除無(wú)用的記錄。數(shù)據(jù)預(yù)處理要分為三步：首先刪除系統(tǒng)日志中與算法無(wú)法的數(shù)據(jù)，比如非HTML文件；然后對(duì)用戶進(jìn)行識(shí)別，采用啟發(fā)式規(guī)則，盡量避免防火墻、代理服務(wù)器的影響；最后，就是用戶會(huì)話的識(shí)別，通過(guò)用戶對(duì)服務(wù)器的有效訪問(wèn)，根據(jù)訪問(wèn)記錄獲取用戶瀏覽興趣。其三，模式發(fā)現(xiàn)。即運(yùn)用多種算法技術(shù)對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行挖掘，分析數(shù)據(jù)中的路徑、關(guān)聯(lián)關(guān)系。其四，模式分析。從上一步的發(fā)現(xiàn)算法中篩選出有價(jià)值的模式，并對(duì)其進(jìn)行精確的分析。模式分析的主要技術(shù)是利用數(shù)據(jù)庫(kù)封裝，執(zhí)行聯(lián)機(jī)分析。

3 電商平臺(tái)產(chǎn)品個(gè)性化推薦算法研究

隨著Web2.0的發(fā)展，有關(guān)推薦算法也逐漸成熟。常用的推薦算法有基于內(nèi)容相似度的算法、協(xié)同過(guò)濾推薦算法、聚類算法、基于關(guān)聯(lián)規(guī)則的推薦算法四類。

3.1 基于內(nèi)容相似度的算法

基于內(nèi)容相似度的算法是傳統(tǒng)的推薦算法，應(yīng)用廣泛，它是以分析用戶的購(gòu)買記錄和瀏覽記錄為核心，將相似度高的商品推薦給用戶。分為信息的獲取和過(guò)濾兩個(gè)部分，信息獲取是指抽取項(xiàng)目關(guān)鍵字抽取項(xiàng)目的關(guān)鍵字，然后對(duì)關(guān)鍵詞的權(quán)重進(jìn)行分析，在依據(jù)用戶的喜好對(duì)其進(jìn)行建模，取其平均值。這里指的注意的是關(guān)鍵詞的權(quán)重與出現(xiàn)的次數(shù)成正比例關(guān)系。信息過(guò)濾指的是根據(jù)用戶的喜好對(duì)其建模的一個(gè)過(guò)程。該算1給用戶進(jìn)行精準(zhǔn)的推薦，提高了用戶體驗(yàn)，但是它需要對(duì)商品進(jìn)行建模，在而且很難根據(jù)圖像、視頻找出相應(yīng)的文本信息。例如，通過(guò)消費(fèi)者瀏覽和購(gòu)買商品的大數(shù)據(jù)分析，我們可以從中提取出共同點(diǎn)，然后篩選其他產(chǎn)品進(jìn)行推薦，給消費(fèi)者多種選擇，提高支付率。

3.2 協(xié)同過(guò)濾推薦算法

協(xié)同過(guò)濾推薦算法（user-based collaborative filtering），分為兩種，基于用戶的和基于商品的?；谟脩舻膮f(xié)同過(guò)濾算法的核心思想就是找出有其用戶相似喜好相似的鄰居群，根據(jù)他們的歷史記錄，來(lái)分析用戶的習(xí)慣，從而對(duì)其推薦商品的一個(gè)算法，它可以挖掘用戶潛在的興趣愛(ài)好，但是準(zhǔn)確性不高?；谏唐返膮f(xié)同過(guò)濾算法，與之前的推薦機(jī)制類似，但是它的核心思想是挖掘商品之間的相似性。這種推薦方式，可以離線運(yùn)行，對(duì)圖像視頻等對(duì)象也可以進(jìn)行有效的推薦。例如，對(duì)某用戶買衣服，經(jīng)過(guò)算法的綜合排名，發(fā)現(xiàn)排第一的是方便面，排第六的才是衣服，結(jié)果推薦了方便面豈不鬧了笑話。但是對(duì)商品進(jìn)行了歸一分類，服裝類商品只限推薦服裝，這樣就會(huì)增強(qiáng)商品的過(guò)濾性和協(xié)同性。

3.3 聚類算法

聚類算法，它可以對(duì)目標(biāo)用戶進(jìn)行多指標(biāo)劃分，個(gè)性化和精細(xì)化運(yùn)營(yíng)。它是通過(guò)對(duì)目標(biāo)用戶進(jìn)行群體分類，對(duì)產(chǎn)品進(jìn)行價(jià)值組合，發(fā)現(xiàn)其孤立點(diǎn)。但是在實(shí)際應(yīng)用中，數(shù)據(jù)處理復(fù)雜，聚類分析作為其中的一個(gè)環(huán)節(jié)。例如，在電商平臺(tái)的搜索引擎中，很多網(wǎng)民所查詢和瀏覽的商品種類比較類似，對(duì)這些查詢進(jìn)行聚類，一方面可以使用類內(nèi)部的詞進(jìn)行關(guān)鍵詞推薦；另一方面，聚類過(guò)程的自動(dòng)化，有助于產(chǎn)生新的話題類別，還有助于減少存儲(chǔ)空間。

3.4 基于關(guān)聯(lián)規(guī)則的推薦算法

基于關(guān)聯(lián)規(guī)則的推薦算法是最為經(jīng)典算法，它的核心就是找出數(shù)據(jù)的依賴關(guān)系。通過(guò)關(guān)聯(lián)關(guān)規(guī)則分析，及時(shí)了解到用戶在購(gòu)買某種物品后還需要哪些物品，挖掘出相應(yīng)的關(guān)聯(lián)信息，為用戶推薦關(guān)聯(lián)物品。實(shí)際上是一種交叉銷售模式，根據(jù)不同的商品，結(jié)合其歷史瀏覽、購(gòu)買記錄，構(gòu)建符合需求的關(guān)聯(lián)模型。例如，可以在用戶支付下單一種商品后，通過(guò)計(jì)算，推薦其它周邊商品，比如替代品、互補(bǔ)品之類的商品，加強(qiáng)線上產(chǎn)品之間的關(guān)聯(lián)性，提高周邊商品的推薦率。

Web日志挖掘是一項(xiàng)綜合性的技術(shù)，尤其在用戶和商品指數(shù)上升的今天，電商平臺(tái)采用個(gè)性化推薦算法，可以有效幫助用戶找到所需要的商品。電子商務(wù)平臺(tái)通過(guò)對(duì)用戶的瀏覽習(xí)慣、購(gòu)買記錄等進(jìn)行分析挖掘，找出相應(yīng)的關(guān)聯(lián)信息，可以精準(zhǔn)預(yù)測(cè)用戶需求，為用戶提供更加人性化、個(gè)性化的服務(wù)，從而提升用戶的體驗(yàn)和黏著度，提高平臺(tái)的效益。

[1]盧輝數(shù)據(jù)挖掘與數(shù)字化運(yùn)營(yíng)實(shí)戰(zhàn)[M]北京:機(jī)械工業(yè)出版社2013:15-28

[2]單劍鋒，馬德錦常用Web服務(wù)技術(shù)研究[J]計(jì)算機(jī)技術(shù)與發(fā)展2013(6):253-257

[3]桑志超個(gè)性化推薦引擎及在電子商務(wù)中的應(yīng)用[J]科技視界2014(91):136，141