鄶淑娥

[摘 要] 隨著互聯(lián)網(wǎng)的發(fā)展及Web 2.0技術(shù)的廣泛應(yīng)用， 互聯(lián)網(wǎng)業(yè)務(wù)得到迅速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息、表達(dá)心情、交流意見的重要場所。在互聯(lián)網(wǎng)智能化的過程中，互聯(lián)網(wǎng)用戶行為分析是一項非常重要的工作?；ヂ?lián)網(wǎng)用戶行為分析，從廣義上講，涉及互聯(lián)網(wǎng)用戶的所有行為活動，包括互聯(lián)網(wǎng)心理活動、互聯(lián)網(wǎng)社會活動和互聯(lián)網(wǎng)訪問活動；從狹義上講，主要涉及用戶訪問互聯(lián)網(wǎng)的行為規(guī)律。本文主要對互聯(lián)網(wǎng)用戶行為進(jìn)行探索性的分析，闡述了用戶行為分析系統(tǒng)的基本需求、實現(xiàn)步驟和體系框架，以及設(shè)計和實現(xiàn)系統(tǒng)過程中應(yīng)用一些關(guān)鍵技術(shù)。

[關(guān)鍵詞] 互聯(lián)網(wǎng)；用戶；信息；行為；分析

[中圖分類號] TP393.4 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1673 - 0194（2014）19- 0092- 03

1 引 言

互聯(lián)網(wǎng)用戶行為是指互聯(lián)網(wǎng)用戶的特點、構(gòu)成及其在互聯(lián)網(wǎng)應(yīng)用過程中行為活動上所表現(xiàn)出來的規(guī)律?；ヂ?lián)網(wǎng)用戶行為分析是研究互聯(lián)網(wǎng)用戶行為的學(xué)科，它屬于互聯(lián)網(wǎng)知識發(fā)現(xiàn)的范疇。與現(xiàn)實社會中的社會行為相對應(yīng)，我們把發(fā)生在虛擬社會中的行為稱為“互聯(lián)網(wǎng)行為”?；ヂ?lián)網(wǎng)行為可定義為：行為主體為了實現(xiàn)某種特定的目標(biāo)，采用互聯(lián)網(wǎng)作為手段和方法而進(jìn)行的有意識的社會活動。它具有社會行為的一般特征和基本要素。但由于互聯(lián)網(wǎng)行為存在于虛擬空間中，所以這種在互聯(lián)網(wǎng)中形成的信息交流空間又具有不同于物理空間的特殊性，故互聯(lián)網(wǎng)用戶行為有其自身的特點即知識含量高，升級快。互聯(lián)網(wǎng)行為的主體用戶，必然具有一定的互聯(lián)網(wǎng)技術(shù)，具備利用互聯(lián)網(wǎng)的能力?；ヂ?lián)網(wǎng)上信息以數(shù)字化的形式存在，用戶在數(shù)據(jù)傳輸過程中改變信息的內(nèi)容和形式而不留任何痕跡。

互聯(lián)網(wǎng)用戶行為是一個廣義的概念，是用戶在互聯(lián)網(wǎng)上表現(xiàn)的活動方式。關(guān)于互聯(lián)網(wǎng)用戶行為，一直沒有比較規(guī)范的定義和分類。根據(jù)研究的側(cè)重不同，可以從多個角度進(jìn)行分類?；ヂ?lián)網(wǎng)實驗室就中國目前互聯(lián)網(wǎng)用戶群進(jìn)行研究，并從應(yīng)用角度對互聯(lián)網(wǎng)用戶行為進(jìn)行了分析和分類。互聯(lián)網(wǎng)用戶行為可分成五大類：信息獲取、溝通交流、休閑娛樂、電子服務(wù)、電子商務(wù)。依照上述行為分類，對互聯(lián)網(wǎng)用戶群體進(jìn)行細(xì)分得出10類互聯(lián)網(wǎng)用戶人群：純信息互聯(lián)網(wǎng)用戶、純溝通互聯(lián)網(wǎng)用戶、基本互聯(lián)網(wǎng)用戶、純娛樂互聯(lián)網(wǎng)用戶、典型娛樂互聯(lián)網(wǎng)用戶、信息娛樂互聯(lián)網(wǎng)用戶、泛娛樂互聯(lián)網(wǎng)用戶、互聯(lián)網(wǎng)工作互聯(lián)網(wǎng)用戶、次全能互聯(lián)網(wǎng)用戶以及全能互聯(lián)網(wǎng)用戶。

2 互聯(lián)網(wǎng)用戶行為分析的過程

2.1 互聯(lián)網(wǎng)用戶行為分析的3個階段

（1）預(yù)處理階段：預(yù)處理過程是指各種可利用數(shù)據(jù)源的使用記錄、互聯(lián)網(wǎng)內(nèi)容和結(jié)構(gòu)以及信息行為模式的數(shù)據(jù)的提取過程。預(yù)處理過程是整個行為分析過程的基礎(chǔ)，主要包括使用記錄預(yù)處理、內(nèi)容信息預(yù)處理和結(jié)構(gòu)信息預(yù)處理。這個階段面臨很多難以解決的問題。互聯(lián)網(wǎng)用戶行為分析的常見模式如下：①統(tǒng)計分析；②關(guān)聯(lián)規(guī)則；③分類；④序列分析；⑤依賴模式；⑥聯(lián)系分析。

（2）模式分析階段：模式分析是處理的最后步驟，是對模式發(fā)現(xiàn)中不感興趣的規(guī)則或模式進(jìn)行過濾。最常用的分析方法是知識的查詢機(jī)制。

（3）互聯(lián)網(wǎng)用戶行為的模式建立階段。

2.2 互聯(lián)網(wǎng)用戶行為分析的詳細(xì)步驟

（1）明確互聯(lián)網(wǎng)行為分析的具體目標(biāo)。明確目標(biāo)就是確定分析的目的。對問題和目標(biāo)的明確描述是正確分析的先決條件。如果想提高直接郵件推銷的用戶回應(yīng)，做法可能是“提高用戶響應(yīng)率”，也可能是“提高一次用戶回應(yīng)的價值”，這兩做法采用的模型幾乎是完全不同的，必須做出選擇。

（2）建立行為數(shù)據(jù)庫。建立數(shù)據(jù)庫連同數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備兩個步驟，構(gòu)成行為發(fā)現(xiàn)的核心。數(shù)據(jù)準(zhǔn)備工作大概要花去整個數(shù)據(jù)挖掘項目50%～90%的時間和精力?？梢园呀?shù)據(jù)庫分成下面幾個部分：數(shù)據(jù)收集，數(shù)據(jù)描述，數(shù)據(jù)篩選，數(shù)據(jù)質(zhì)量評估，數(shù)據(jù)清理、合并與整合、構(gòu)建元數(shù)據(jù)、組建數(shù)據(jù)庫。

（3）分析數(shù)據(jù)。分析的目的是找到對預(yù)測輸出影響最大的數(shù)據(jù)字段和導(dǎo)出字段。

（4）準(zhǔn)備數(shù)據(jù)。這是建立模型之前的最后一步。主要包括選擇變量、選擇記錄、創(chuàng)建新變量、轉(zhuǎn)換變量等工作。

（5）建立模型。建立模型是一個反復(fù)的過程。需要對不同的模型仔細(xì)考察，以判斷哪個模型對問題解決最有效。在尋找好的模型過程中學(xué)習(xí)到的東西會啟發(fā)對數(shù)據(jù)的修改和重組，甚至改變最初對問題的定義。

（6）評價和解釋模型。模型建立好之后，必須對其結(jié)果和價值做出評價。從測試中得到的準(zhǔn)確率只對建立模型的數(shù)據(jù)有意義。因為在實際應(yīng)用中，隨著應(yīng)用數(shù)據(jù)的不同，模型的準(zhǔn)確率肯定會發(fā)生變化。

3 互聯(lián)網(wǎng)用戶行為分析系統(tǒng)設(shè)計

互聯(lián)網(wǎng)用戶行為分析系統(tǒng)是支持互聯(lián)網(wǎng)用戶行為的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)過程的工具。構(gòu)建合理的互聯(lián)網(wǎng)用戶行為分析系統(tǒng)模型是互聯(lián)網(wǎng)用戶行為分析首要考慮的問題。過去數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究重點往往放在局部的具體挖掘算法上，較少對整個系統(tǒng)構(gòu)建進(jìn)行分析。數(shù)據(jù)挖掘和知識發(fā)現(xiàn)系統(tǒng)是一個有機(jī)的整體，各個部分之間有著密切的關(guān)系，某種算法是為特定的數(shù)據(jù)挖掘模塊服務(wù)的，如果不認(rèn)真對系統(tǒng)結(jié)構(gòu)進(jìn)行分析，那么必然導(dǎo)致各種算法之間的重復(fù)工作，各種算法只有與其他模塊緊密結(jié)合，才能充分發(fā)揮作用。

3.1 基本目標(biāo)

（1）能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行分析處理。

（2）能夠?qū)Χ喾N類型的數(shù)據(jù)進(jìn)行分析處理。

（3）具有較高的效率。

（4）用戶能夠參與分析挖掘的全過程。

（5）具有動態(tài)性。

（6）必須有效地組織和管理數(shù)據(jù)。

（7）能對所發(fā)現(xiàn)的模式進(jìn)行解釋和評價。

3.2 設(shè)計的原則

設(shè)計原則主要有6個：開放性原則、規(guī)范性原則、擴(kuò)展性原則、安全性原則、方便性原則和高效性原則。

3.3 基本功能

（1）發(fā)現(xiàn)互聯(lián)網(wǎng)用戶行為的特定模式，形成有價值的知識。

（2）發(fā)現(xiàn)互聯(lián)網(wǎng)用戶行為形成、存在的特點和變化的規(guī)律，提高資源配置水平。

（3）發(fā)現(xiàn)互聯(lián)網(wǎng)用戶行為的特點和規(guī)律，提高互聯(lián)網(wǎng)服務(wù)水平。

4 互聯(lián)網(wǎng)用戶行為分析數(shù)據(jù)的收集與預(yù)處理

4.1 數(shù)據(jù)的收集

4.1.1 互聯(lián)網(wǎng)用戶行為分析的數(shù)據(jù)源

利用準(zhǔn)確全面可靠的目標(biāo)數(shù)據(jù)源是互聯(lián)網(wǎng)用戶行為分析的關(guān)鍵。在互聯(lián)網(wǎng)行為分析中，數(shù)據(jù)能從服務(wù)器端、客戶機(jī)端、代理服務(wù)器端以及其他組織好的數(shù)掘庫中獲取。對于調(diào)查問卷，Web數(shù)字可信度更大，也便于統(tǒng)計分析。我們可以將行為分析的數(shù)據(jù)源分為4種類型。①內(nèi)容數(shù)據(jù)：Web頁面的真實數(shù)據(jù)。例如，Web頁面上用戶看到的數(shù)據(jù)，包括文本、圖像和聲音等。②結(jié)構(gòu)數(shù)據(jù)：描述內(nèi)容的組織結(jié)構(gòu)的數(shù)據(jù)。例如，一個頁面到另一個頁面的超鏈接信息。③用戶使用記錄數(shù)據(jù)：描述Web頁面使用模式的數(shù)據(jù)。例如，IP地址、訪問的頁面和時間等。④用戶輪廓：提供用戶訪問站點的統(tǒng)計信息。

4.1.2 數(shù)據(jù)源的分類和獲取

4.1.2.1 分類

從不同數(shù)據(jù)源收集的使用記錄等數(shù)據(jù)可以視為代表了整個互聯(lián)網(wǎng)流量中不同的行為模式，即從單用戶、單站點的行為到多用戶、多站點的行為。為了分析用戶行為，首先我們采用IP地址來標(biāo)識互聯(lián)網(wǎng)用戶。這是一種常用且值得推薦的方法，它的優(yōu)點是：

（1）對于直接連接在互聯(lián)網(wǎng)上具有唯一IP地址的計算機(jī)，IP地址可以準(zhǔn)確標(biāo)識計算機(jī)及其來源。

（2）利用IP地址跟蹤計算機(jī)，文件（Cookie）跟蹤瀏覽器。同一IP地址的計算機(jī)有可能由于同時使用多種瀏覽器而保留有多個跟蹤文件（Cookie），因此IP地址更好地標(biāo)識了單獨(dú)的計算機(jī)。但通過IP地址識別用戶也存在一些問題。例如在下列情況中，通過IP地址可能難以區(qū)分用戶：單口地址/多服務(wù)器會話（一個代理服務(wù)器可能會讓訪問同一網(wǎng)站的多個用戶使用同一IP地址）；多IP地址/單服務(wù)器會話（一些ISP隨機(jī)指定一個用戶的每個請求一個IP地址）：多IP地址/單用戶（一個用戶從不同機(jī)器訪問同一站點）；多代理/單用戶（一個用戶使用多于一個瀏覽器，甚至在同一機(jī)器上，也被看作是多用戶）。

4.1.2.2 獲取

（1）通過日志獲取互聯(lián)網(wǎng)用戶行為記錄。日志主要包括Web服務(wù)器端、代理服務(wù)器端和客戶端的系統(tǒng)審計日志與應(yīng)用日志。

（2）互聯(lián)網(wǎng)嗅探捕獲用戶的行為信息。在信息時代，捕獲互聯(lián)網(wǎng)數(shù)據(jù)包是收集互聯(lián)網(wǎng)信息的有效方法。目前攻擊計算機(jī)系統(tǒng)的行為多數(shù)是通過互聯(lián)網(wǎng)進(jìn)行的，通過監(jiān)控、查看出入系統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)包，來捕獲口令或全部內(nèi)容P數(shù)據(jù)包捕獲，也稱P數(shù)據(jù)包嗅探（互聯(lián)網(wǎng)嗅探器，Sniffer）或P數(shù)據(jù)包攔截。首先把網(wǎng)卡設(shè)置于混雜模式（Miscellaneous Mode），通過使用互聯(lián)網(wǎng)嗅探技術(shù)實現(xiàn)對互聯(lián)網(wǎng)上傳輸?shù)臄?shù)據(jù)包的捕獲與分析。

互聯(lián)網(wǎng)嗅探技術(shù)原理：互聯(lián)網(wǎng)嗅探作為一種特殊的互聯(lián)網(wǎng)通訊技術(shù)，一般是通過對網(wǎng)卡的編程來實現(xiàn)互聯(lián)網(wǎng)通訊的，對網(wǎng)卡的編程通常使用套接字（Socket）方式來進(jìn)行。通常的套接字程序只能響應(yīng)與自己硬件地址相匹配的或是以廣播形式發(fā)出的數(shù)據(jù)幀，對于其他形式的數(shù)據(jù)幀，比如已到達(dá)互聯(lián)網(wǎng)接口但卻不是發(fā)給此地址的數(shù)據(jù)幀，互聯(lián)網(wǎng)接口在驗證投遞地址并非自身地址之后將不引起響應(yīng)，也就是說應(yīng)用程序無法收取到達(dá)的數(shù)據(jù)包。而互聯(lián)網(wǎng)嗅探技術(shù)的目的恰恰在于從網(wǎng)卡接收所有經(jīng)過它的數(shù)據(jù)包，這些數(shù)據(jù)包既可以是發(fā)給它自身的也可以是發(fā)往別處的。P包分析是通過原始套接字來實現(xiàn)的。捕獲到的數(shù)據(jù)包并不僅僅是單純的數(shù)據(jù)信息，而是包含IP頭、TCP頭等信息頭的最原始的數(shù)據(jù)信息，這些信息保留了它在互聯(lián)網(wǎng)傳輸時的原貌。通過對這些在低層傳輸?shù)脑夹畔⒌姆治隹梢缘玫接嘘P(guān)互聯(lián)網(wǎng)的一些信息。由于通過互聯(lián)網(wǎng)嗅探捕獲得到的數(shù)據(jù)包數(shù)據(jù)經(jīng)過了互聯(lián)網(wǎng)層和傳輸層的打包，因此需要根據(jù)其附加的幀頭對數(shù)據(jù)包進(jìn)行協(xié)議分析。從TCP/IP通信模型來看，Web的通信協(xié)議HTTP是處于應(yīng)用層，即HTTP的通信協(xié)議是封裝在TCP報文的“數(shù)據(jù)”項中，Web服務(wù)的默認(rèn)通信端口為80；因此通過對數(shù)據(jù)包記錄數(shù)據(jù)進(jìn)行解析，可探知Web訪問者的互聯(lián)網(wǎng)行為和進(jìn)行跟蹤。

4.2 數(shù)據(jù)的預(yù)處理

4.2.1 數(shù)據(jù)凈化

數(shù)據(jù)凈化，也稱數(shù)據(jù)精簡。它是指刪除Web服務(wù)器日志中與行為分析無關(guān)的冗余的數(shù)據(jù)。

4.2.2 用戶身份識別

一般采用IP地址來標(biāo)識用戶。

4.2.3 會話識別

會話識別是為了發(fā)現(xiàn)同一用戶連續(xù)請求的頁面（瀏覽行為的片段）。

4.2.4 路徑補(bǔ)充

在識別會話過程中的一個問題是確定訪問日志中是不是有重要的請求沒有被記錄。這就是路徑補(bǔ)充所做的工作，解決的方法類似于用戶識別中的方法。

4.2.5 事務(wù)識別

一次用戶或服務(wù)器會話的任何語義上有意義的子集合被稱為一個事務(wù)。一般我們把Web頁分為兩類：內(nèi)容頁和導(dǎo)航頁。內(nèi)容頁是含有豐富內(nèi)容信息的頁面；導(dǎo)航頁是為快速找到所需信息而設(shè)置的路標(biāo)。

5 小 結(jié)

互聯(lián)網(wǎng)用戶行為分析是通過知識發(fā)現(xiàn)的方法從大量的互聯(lián)網(wǎng)信息中挖掘用戶的行為模式。它是一個比較新的研究領(lǐng)域，具有廣泛的應(yīng)用前景，許多問題還有待進(jìn)一步研究。筆者認(rèn)為互聯(lián)網(wǎng)用戶行為分析的研究方向重點應(yīng)放在內(nèi)在機(jī)制、挖掘目標(biāo)、數(shù)據(jù)集成、非結(jié)構(gòu)化的數(shù)據(jù)挖掘方法、挖掘系統(tǒng)體系結(jié)構(gòu)、分布式協(xié)作挖掘、挖掘效果的評價與可視化等問題上。

主要參考文獻(xiàn)

[1]王實，高文，等.路徑聚類：在Web站點中的知識發(fā)現(xiàn)[J].計算機(jī)研究與發(fā)展，2001（4）.

[2]馬力，焦李成，劉國營.一種基于路徑象類的Web用戶訪問模式發(fā)現(xiàn)算法[J].計算機(jī)科學(xué)，2004（8）.