付生

摘 要：對(duì)網(wǎng)絡(luò)日志挖掘技術(shù)數(shù)據(jù)信息分析的研究，是動(dòng)態(tài)交互網(wǎng)絡(luò)使用數(shù)據(jù)挖掘的一種技術(shù)實(shí)現(xiàn)。通過挖掘動(dòng)態(tài)交互網(wǎng)絡(luò)日志，可以查找用戶訪問動(dòng)態(tài)交互網(wǎng)絡(luò)的瀏覽方式和習(xí)慣性行為，并依據(jù)數(shù)據(jù)挖掘分析和研究動(dòng)態(tài)交互網(wǎng)絡(luò)日志記錄中的規(guī)律，判斷數(shù)據(jù)價(jià)值鏈與組織結(jié)構(gòu)的適應(yīng)性問題，從而提高信息查找的快速指向性和信息檢索的高效性，并利用統(tǒng)計(jì)和關(guān)聯(lián)的分析找出特定用戶與特定地域、特定時(shí)間、特定頁面等要素之間的內(nèi)在聯(lián)系。

關(guān)鍵詞：日志挖掘；數(shù)據(jù)分析；信息檢索；網(wǎng)絡(luò)日志

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2015.06.068

1 日志數(shù)據(jù)挖掘

動(dòng)態(tài)交互網(wǎng)絡(luò)獲取信息的過程存在站點(diǎn)訪問的跳躍性和無序性，數(shù)據(jù)信息指向是呈布朗運(yùn)動(dòng)分布的。超文本鏈接的跳轉(zhuǎn)過程具有一定的普遍性，并且還有數(shù)據(jù)存量大、數(shù)據(jù)更替快等大數(shù)據(jù)4V特點(diǎn)。挖掘規(guī)律即是動(dòng)態(tài)交互網(wǎng)絡(luò)用戶訪問信息發(fā)現(xiàn)的重要研究內(nèi)容。動(dòng)態(tài)交互網(wǎng)絡(luò)日志挖掘是對(duì)大量用戶行為和數(shù)據(jù)價(jià)值有效性的判斷，該判斷是經(jīng)過數(shù)據(jù)的預(yù)處理、數(shù)據(jù)模式識(shí)別和模式分析3個(gè)過程實(shí)現(xiàn)的。

2 動(dòng)態(tài)交互網(wǎng)絡(luò)日志挖掘的過程

對(duì)于動(dòng)態(tài)交互網(wǎng)絡(luò)日志挖掘，首先要研究和分析網(wǎng)絡(luò)日志記錄信息存在的變化和特點(diǎn)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的預(yù)處理過程。另外，要識(shí)別用戶信息，提高對(duì)用戶價(jià)值信息的服務(wù)質(zhì)量，改進(jìn)動(dòng)態(tài)交互網(wǎng)絡(luò)服務(wù)系統(tǒng)的數(shù)據(jù)信息判斷和組織結(jié)構(gòu)。

2.1 數(shù)據(jù)預(yù)處理

在動(dòng)態(tài)交互網(wǎng)絡(luò)日志文件記錄中，存儲(chǔ)的是用戶訪問站點(diǎn)信息的原始記錄，而原始記錄的數(shù)據(jù)具有多樣性和大量性，所以，直接從數(shù)據(jù)中挖掘其有效價(jià)值存在不確定性和一定的困難。在借助一定的算法和工具分析數(shù)據(jù)時(shí)，必須要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理過程是指對(duì)數(shù)據(jù)質(zhì)量、數(shù)據(jù)的多樣性和量級(jí)進(jìn)行處理，這會(huì)直接影響數(shù)據(jù)挖掘的結(jié)果，還會(huì)影響數(shù)據(jù)價(jià)值存在的判斷。對(duì)于數(shù)據(jù)訪問量小、數(shù)據(jù)多樣性單一的網(wǎng)絡(luò)日志信息，數(shù)據(jù)處理的準(zhǔn)確性具有非常重要的意義。日志預(yù)處理主要是通過數(shù)據(jù)凈化、用戶識(shí)別、會(huì)話識(shí)別和數(shù)據(jù)合并4個(gè)過程實(shí)現(xiàn)的。

2.2 數(shù)據(jù)模式發(fā)現(xiàn)

利用數(shù)據(jù)挖掘相關(guān)算法是實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)日志中隱藏的、重復(fù)的、大量有用的或者無用的信息進(jìn)行數(shù)據(jù)模式識(shí)別的一種方式，最終發(fā)現(xiàn)可以理解和學(xué)習(xí)的信息。同時(shí)，用于動(dòng)態(tài)交互網(wǎng)絡(luò)的挖掘技術(shù)有路徑選擇、關(guān)聯(lián)分析、分類規(guī)則、聚類分析、序列分析和依賴性建模等。

2.3 模式分析

在動(dòng)態(tài)交互網(wǎng)絡(luò)日志挖掘中，最重要的一項(xiàng)工作就是數(shù)據(jù)分析。它主要完成有用模式的算法發(fā)現(xiàn)和數(shù)據(jù)鏈的模式分析。在當(dāng)前的電子商務(wù)系統(tǒng)中，模式發(fā)現(xiàn)和模式分析能夠?qū)崿F(xiàn)大量用戶數(shù)據(jù)的價(jià)值發(fā)現(xiàn)，利用挖掘的有效算法，能夠在日志數(shù)據(jù)快速變化的狀態(tài)下分析用戶的瀏覽狀況，并依據(jù)模式分析結(jié)果改進(jìn)網(wǎng)頁內(nèi)容，優(yōu)化用戶服務(wù)，從而提高用戶的興趣點(diǎn)，提升訪問量，解決數(shù)據(jù)大量、快速、多樣性變化的特點(diǎn)，以此獲取有效價(jià)值數(shù)據(jù)對(duì)交互網(wǎng)絡(luò)的影響。

3 在信息系統(tǒng)中的構(gòu)建

3.1 網(wǎng)站設(shè)計(jì)

網(wǎng)站設(shè)計(jì)的主要內(nèi)容包括以下幾點(diǎn)：①用戶訪問網(wǎng)站方式基于http協(xié)議；②動(dòng)態(tài)交互網(wǎng)絡(luò)的服務(wù)多樣性；③依據(jù)用戶行為信息，挖掘有效價(jià)值鏈，產(chǎn)生具有特色的網(wǎng)絡(luò)交互行為，而數(shù)據(jù)頁面的引導(dǎo)表現(xiàn)出了便捷和快速的特點(diǎn)；④利用日志挖掘技術(shù)查詢用戶有價(jià)值信息，依據(jù)數(shù)據(jù)價(jià)值判斷、推算出潛在的數(shù)據(jù)連接和頁面訪問指向。

3.2 系統(tǒng)架構(gòu)

該系統(tǒng)主要由4個(gè)功能模塊組成，即客戶端訪問模塊、數(shù)據(jù)訪問模塊、價(jià)值識(shí)別模塊和個(gè)性化服務(wù)模塊。

3.2.1 客戶端訪問模塊

客戶端訪問模塊主要用于處理客戶端的基本信息并識(shí)別用戶，其工作內(nèi)容包括客戶端的登錄服務(wù)、識(shí)別用戶名和密碼。其中，登錄服務(wù)主要是完成用戶信息的修改和存儲(chǔ)。同時(shí)，用戶的不可修改信息也會(huì)被存儲(chǔ)和識(shí)別，比如MAC、IP瀏覽器版本號(hào)等。

3.2.2 數(shù)據(jù)訪問模塊

客戶端被訪問時(shí)會(huì)在服務(wù)器端和客戶端產(chǎn)生日志信息，而日志信息是數(shù)據(jù)預(yù)處理和模式識(shí)別的基礎(chǔ)。訪問日志模塊主要用于處理用戶行為記錄的各項(xiàng)信息，訪問信息具有大量、多樣和快捷的特點(diǎn)。日志信息包括訪問某一頁面的次數(shù)、訪問頁面的多個(gè)URL地址信息、用戶行為信息的判斷和大量數(shù)據(jù)保存方面的管理配置等。利用數(shù)據(jù)訪問模塊，可以識(shí)別和分析數(shù)據(jù)，完成預(yù)處理工作。

3.2.3 價(jià)值識(shí)別模塊

網(wǎng)站的構(gòu)成具備多網(wǎng)頁站點(diǎn)間多聯(lián)系、交互的特點(diǎn)，而網(wǎng)站數(shù)據(jù)具有多樣性和快捷性。網(wǎng)站要想顯示用戶興趣和行為，就要改進(jìn)數(shù)據(jù)分析和識(shí)別模式。對(duì)用戶在網(wǎng)頁中停留的時(shí)間和搜索的信息內(nèi)容等情況進(jìn)行數(shù)據(jù)挖掘時(shí)，要結(jié)合用戶參與和識(shí)別的情況，建立適合用戶訪問興趣的信息推送，從而實(shí)現(xiàn)數(shù)據(jù)價(jià)值識(shí)別。

3.2.4 個(gè)性化服務(wù)模塊

個(gè)性化服務(wù)模塊是通過分析用戶訪問的數(shù)據(jù)分析來判斷用戶信息的興趣?？蛻舳说卿浐螅罁?jù)數(shù)據(jù)分析和價(jià)值識(shí)別來搜索類庫中用戶的歷史信息，通過個(gè)性化服務(wù)進(jìn)行推薦。模式分析的結(jié)果是不同興趣的用戶得到的不同數(shù)據(jù)頁面。

4 結(jié)束語

實(shí)踐證明，對(duì)動(dòng)態(tài)交互網(wǎng)絡(luò)日志進(jìn)行預(yù)處理，可以清理、過濾、組合無價(jià)值的記錄。在動(dòng)態(tài)交互網(wǎng)絡(luò)日志中的數(shù)據(jù)，可以利用數(shù)據(jù)挖掘相關(guān)算法，將其轉(zhuǎn)換為可識(shí)別的形式來挖掘關(guān)聯(lián)規(guī)則，并對(duì)用戶進(jìn)行聚類和分類，挖掘出客戶端與地域、時(shí)間、頁面等相關(guān)內(nèi)容的聯(lián)系，從而發(fā)現(xiàn)用戶訪問動(dòng)態(tài)交互網(wǎng)絡(luò)頁面的模式，改進(jìn)動(dòng)態(tài)交互網(wǎng)絡(luò)站點(diǎn)的性能和組織結(jié)構(gòu)，實(shí)現(xiàn)日志數(shù)據(jù)挖掘技術(shù)在用戶行為信息分析中的作用。

參考文獻(xiàn)

[1]陳京民.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)[M].第二版.北京：電子工業(yè)出版社，2007.