摘 要：本文提出了一種基于文本數(shù)據(jù)挖掘的個性化推薦算法，該算法在電子商務(wù)網(wǎng)站應用中，通過對服務(wù)器日志進行分析，跟蹤單一用戶的當前的瀏覽偏好，并根據(jù)當前偏好進行個性化商品信息的推薦，能夠很好的解決傳統(tǒng)算法中推薦信息滯后的尷尬問題。

關(guān)鍵詞：文本挖掘；個性化推薦；層次聚類

一、引言

隨著WEB2.0產(chǎn)品形式的進一步多樣化，用戶的行為可以更廣泛的被獲取并加以利用，所以使用文本挖掘方法的開始出現(xiàn)在電子商務(wù)網(wǎng)站的推薦中。此外，社交產(chǎn)品越來越受互聯(lián)網(wǎng)用戶的青睞，會產(chǎn)生大量的訪問日志，再加上大規(guī)模數(shù)據(jù)處理和分析技術(shù)的發(fā)展，使得使用文本數(shù)據(jù)挖掘來分析用戶個性化偏好變得更加現(xiàn)實。大數(shù)據(jù)的優(yōu)勢在于它能夠及時的對用戶行為數(shù)據(jù)進行高效的分析處理，并且目前相關(guān)的專家學者在此方面已經(jīng)取得了突破性的成功[1]。本文在前人研究的基礎(chǔ)之上，嘗試結(jié)合電子商務(wù)網(wǎng)站，使用文本數(shù)據(jù)挖掘來對個性化推薦進行研究。主要針對用戶的交易日志信息進行關(guān)鍵詞提取，形成興趣的關(guān)聯(lián)規(guī)則，進一步采用聚類分析，最終給出相應的推薦結(jié)果。推薦結(jié)果的驗證使用時效性、精準率和召回率等指標進行驗證[2]。

二、文本詞條獲取

（一）服務(wù)器日志挖掘

所謂在電子商務(wù)平臺上使用文本數(shù)據(jù)挖掘是指提取訪客的頁面訪問日志，在其基礎(chǔ)上對訪問的一系列相關(guān)頁面的核心主題關(guān)鍵詞進行提取，以此來跟蹤訪客當前的興趣行為偏好。首先對網(wǎng)站的頁面結(jié)構(gòu)進行分析。一般的電子商務(wù)網(wǎng)站頁面有以下幾個模塊組成：菜單索引、商品詳細展示、購物導航和服務(wù)信息說明等，在這些模塊中對于跟蹤訪客行為偏好最有幫助的是商品信息展示，因為目前對詞條提取技術(shù)只對文本內(nèi)容進行獲取，而這部分包含了商品的詳細介紹，并且為了使商品在平臺網(wǎng)站內(nèi)能夠更容易被檢索出，該部分內(nèi)容大都經(jīng)過了迎合爬蟲技術(shù)的優(yōu)化[3]，故該部分是被關(guān)注的重點。

其次是要對用戶的交易事務(wù)進行提取，該部分主要包括數(shù)據(jù)過濾、用戶識別和會話識別。數(shù)據(jù)過濾主要是清洗掉一些錯誤數(shù)據(jù)和一些無關(guān)的數(shù)據(jù)，比如訪客的網(wǎng)絡(luò)資源受限，請求的資源頁面失敗或者服務(wù)器并未將資源成功返回給訪客，這些數(shù)據(jù)的提前清洗有利于減輕后續(xù)關(guān)聯(lián)規(guī)則和聚類分析時的負荷。用戶的識別本文使用目前最為主流的cookie技術(shù)用來跟蹤單一訪客，該技術(shù)實現(xiàn)的可行性高，唯一的缺點是用戶有可能會關(guān)閉瀏覽器的cookie功能，如果這種情況出現(xiàn)，進而采用SessionID技術(shù)，該技術(shù)會動態(tài)的嵌入到訪客訪問中一個唯一標識，但他無法記錄用戶是否重復訪問[4]。會話識別是指將用戶的單一訪問區(qū)分開來，目前的開發(fā)技術(shù)均使用的是單一訪問模式，當用戶登錄后，服務(wù)器會自動的獲取一個單一會話，并且服務(wù)器日志會跟蹤記錄該會話的活動，若超越30分鐘無活動，將自動斷開。本文也基于服務(wù)器默認的30分鐘為期限劃分會話。

（二）特征詞條提取

文本挖掘最核心的第一項任務(wù)就是文本特征詞條的提取，也就是對訪客訪問頁面中的核心詞匯的提取。例如，訪客連續(xù)訪問了一系列頁面A1，A2，A3，…，An，通過對n個頁面中每一個頁面的核心詞條的獲取，可以掌握用戶當前的行為偏好和偏好的時時變化。獲取特征詞條的第一步涉及到中文的分詞技術(shù)。中文分詞最大的難度在于消除歧義，中文語法中不同的斷句會引來歧義。為了解決這一問題。目前中文分詞應用最常規(guī)的方法是CRFs算法，他是在條件隨機域算法CRF的技術(shù)上演變過來的[5]。

該模型算法能夠很好的解決目前中文分詞中所遇到的相關(guān)問，而該問題的解決也為進一步提取特征詞條打下了良好的基礎(chǔ)。由于詞條出現(xiàn)在頁面的不同位置，其重要程度具有很大差別，故需要提前劃分好相應的位置權(quán)重。本文將一個完整的頁面分為3個域：標題、內(nèi)容和meta描述標簽，分別對應的權(quán)重為0.5，0.3和0.2。進一步獲取單一頁面的特征詞的加權(quán)排名，本文選取每個頁面中排名的前六的詞條來代表當前頁面，過少的詞條不足以代表整體頁面，過多勢必會加大算法的執(zhí)行負荷。

三、特征詞條聚類分析

經(jīng)過對特征詞條提取后，一個完整的交易事務(wù)已經(jīng)轉(zhuǎn)變?yōu)樘卣髟~條表示的詞條組，多個交易事務(wù)放在一起會形成一個相關(guān)的矩陣。使用T={t1，t2，t3，…，tn}表示單一頁面的特征詞，一個完整的交易事務(wù)使用Page={p1，p2，p3，…，pm}表示，可以使用pi={tw，twtw，…tw，…tw}表示單一頁面對特種詞條的權(quán)重表示[6]。

聚類的目的是在相似性的基礎(chǔ)之上將目標數(shù)據(jù)進行分類，把相似性接近的數(shù)據(jù)凝集在一起。當前的聚類方法有模糊聚類、層次聚類和密度聚類等，本文選擇使用層次聚類，它也是目前在文本數(shù)據(jù)挖掘中使用較為廣泛的一種方法[7]。算法描述如下。

第一步：假設(shè)共有類N個，每個類均有且僅有一個對象類成。按順序為其編號m = 0，L（m）= 0。第二步：將距離矩陣命名為D，在D中尋找最小距離d[（r），（s）]= min d[（i），（j）]。第三步：將（r）和（s）合并成一個新類（r，s）；令m = m +1，L（m）= d[（r），（s）]。第四步：更新距離矩陣D：將表示類（r）和類（s）的行列刪除，同時加入表示新類（r，s）的行列；同時定義新類（r，s）與各舊類（k）的距離為d[（k），（r，s）]= min d[（k），（r）]，d[（k），（s）]。第五步：反復步驟二到四，直到將所有的對象合并成一個新類為止。

通過層次聚類分析后可以找到興趣點相近的用戶群，再根據(jù)相似度計算可以將興趣點相似的用戶購買行為相互推薦。最后涉及到推薦結(jié)果排序的問題，首先推薦的結(jié)果中禁止出現(xiàn)用戶已經(jīng)購買過的產(chǎn)品，解決的方法是比照用戶的購買結(jié)果和已加入購物車的商品清單，如有重復首先清洗。其次的推薦結(jié)果按照相似用戶群中商品的相似度高低進行排序。為保證用戶的滿意度，選取適當?shù)耐扑]數(shù)量即可，推薦商品數(shù)目過多，會導致推薦失真，過少會影響推薦結(jié)果的豐富程度。

四、總結(jié)

本文給出了一種基于文本數(shù)據(jù)挖掘的推薦算法，目的在于通過大數(shù)據(jù)分析處理來實時的跟蹤用戶行為，進一步解決傳統(tǒng)基于關(guān)聯(lián)規(guī)則推薦算法在出現(xiàn)推薦信息之后的問題?；谖谋緮?shù)據(jù)挖掘的算法的優(yōu)勢在于它是通過分析服務(wù)器交易日志，進一步對當前用戶訪問頁面進行特征詞條的獲取，進而在層次聚類的基礎(chǔ)上計算相似度，進行商品信息的推薦。這種方式不僅是電子商務(wù)平臺中適用，也可以一直到互聯(lián)網(wǎng)廣告的個性化推薦中。

參考文獻：

[1] 陳新中，李巖.Web挖掘研究[J].計算機工程與應用，2002

[2] 項亮.推薦系統(tǒng)實踐[M].第1版.北京：人民郵電出版社，2012

[3] 張俊林.這就是搜索引擎：核心技術(shù)詳解[M].北京：電子工業(yè)出版社，2012

[4] 易明.基于Web挖掘的電子商務(wù)個性化推薦機理與方法研究[D].武漢：華中科技大學，2009

[5] 韓雪冬.基于CRFs的中文分詞算法研究與實現(xiàn)[D].北京：北京郵電大學，2010

[6] 邵康，張建偉.基于 BM25F 模型的 Web 文本挖掘個性化推薦研究[J].情報理論與實踐，2013

[7] 周翔翔，姚佩陽，王欣.基于改進層次聚類法的指揮控制資源部署[J].系統(tǒng)工程與電子技術(shù)：2012