摘 要 本文對日志挖掘過程中的數(shù)據(jù)預處理和模式發(fā)現(xiàn)進行了深入的討論，總結了用戶的頻繁訪問路徑，得到了比較理想的結果。

關鍵詞 Web日志挖掘研究 Apriori算法 訪問路徑

中圖分類號：TP393.07 文獻標識碼：A

0 引言

在Web數(shù)據(jù)挖掘中，Web日志挖掘是一個尤為重要的研究課題，通過Web日志挖掘，可以充分利用Web服務器上大量的日志文件，從中發(fā)現(xiàn)用戶訪問網(wǎng)站頁面的模型和訪問習慣，為電子商務網(wǎng)站管理員優(yōu)化網(wǎng)站頁面結構提供依據(jù)，從而為用戶訪問網(wǎng)站時提供便捷服務。

1 Web日志數(shù)據(jù)分布

Web日志挖掘的數(shù)據(jù)來源主要包括：Web日志、站點拓撲結構、站點文件、與站點服務相關的數(shù)據(jù)庫數(shù)據(jù)以及其他一些信息等。目前，Web日志挖掘的主要數(shù)據(jù)來源是Web服務器日志，它完整且詳細地記錄了網(wǎng)站訪問者的瀏覽行為。

2 Web日志挖掘的處理過程

它是通過挖掘相關的Web日志記錄，來發(fā)現(xiàn)用戶訪問Web頁面的模式，通過分析日志記錄中的規(guī)律，可以識別用戶的喜好、滿意度，可以發(fā)現(xiàn)潛在用戶，增強站點的服務競爭力。

Web使用記錄數(shù)據(jù)除了服務器的日志記錄外，還包括代理服務器日志、瀏覽器端日志、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、等一切用戶與站點之間可能的交互記錄。

3 關聯(lián)規(guī)則Apriori算法及改進

4 Web日志挖掘系統(tǒng)設計及應用

4.1 系統(tǒng)的設計思想

結合前文討論的Web日志挖掘關鍵技術、方法，應用改進的Apriori算法，開發(fā)一個Web訪問日志挖掘的測試系統(tǒng)：

（1）項：網(wǎng)站中的每個頁面為一項；

（2）事務：每個客戶端IP地址，在會話持續(xù)時間的閾值（設置為30分鐘）范圍內訪問的頁面為一條事務；

（3）事務數(shù)據(jù)庫的定義：同一天所有客戶端訪問的頁面的集合。

根據(jù)客戶端IP地址對會話識別過的頁面進行處理，將IP地址和該IP地址對應的頁面的集合作為一條事務，根據(jù)用戶輸入的最小支持度和最小可信度，構造頻繁項集和產(chǎn)生規(guī)則并將所有的規(guī)則顯示在表格中。

4.2 開發(fā)環(huán)境的選擇

系統(tǒng)的開發(fā)語言采用微軟公司推出的開發(fā)Win32應用程序的、面向對象的可視化集成工具Visual C++6.0。

后臺數(shù)據(jù)庫使用微軟公司推出的基于Windows的桌面關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）的Access。

4.3 Web服務器日志處理

將Web日志挖掘系統(tǒng)應用于學院網(wǎng)絡中心的“招生信息網(wǎng)”上，從訪問日志中挖掘出用戶的頻繁訪問路徑。基于這一目的，結合實驗條件和自身的技術水平，對日志文件數(shù)據(jù)的預處理主要做了如下工作：

數(shù)據(jù)清理階段：將日志文件導入數(shù)據(jù)庫后，通過使用SQL把數(shù)據(jù)庫中無關的數(shù)據(jù)消除，是數(shù)據(jù)庫保持干凈，有利于程序的運作。

用戶識別階段：IP優(yōu)先考慮，即IP不同代表不同的用戶。

會話識別階段：同一IP地址（該IP可能是用戶的，也可能是代理服務器的）在一個時間段內可能會不只一次訪問網(wǎng)站，需要把同一IP地址用戶的所有訪問序列分割成多個單獨的用戶一次訪問的序列，本文采用通用的會話持續(xù)時間閾值（=30分鐘）的啟發(fā)式會話識別方法。對日志數(shù)據(jù)進行預處理后，生成對應的日志數(shù)據(jù)庫文件Weblog.mdb。

4.4 Web日志挖掘

結果分析：Web日志挖掘實驗結果表明，訪問招生網(wǎng)主頁的有六成訪問者訪問留言版信息，有五成多的人員訪問專業(yè)設置頁面和招生信息，依次類推。

參考文獻

[1] 孔昊，周長勝.Web日志挖掘預處理研究[J].北京機械工業(yè)學院學報，2005（04）.