[摘 要]本文首先介紹了數(shù)據(jù)挖掘的概念#65380;過程與系統(tǒng)構(gòu)成，其次從數(shù)據(jù)挖掘的研究方法和應(yīng)用角度論述了數(shù)據(jù)挖掘的研究現(xiàn)狀，其中著重論述了目前的熱點(diǎn)研究方向——Web挖掘的流程與分類#65377;

[關(guān)鍵詞]數(shù)據(jù)挖掘;Web挖掘;研究現(xiàn)狀

[中圖分類號(hào)]TP284 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1008-0821(2010)03-0167-03

Study on Data Mining Technology and Its Research StatusLiu Xianhua

(Department of Cumputer，Jilin Province Economics and Management Cadres College，Changchun 130012，China)

[Abstract]First，this paper introduced the concept，process and system configuration of data mining.Second，it analyaed the status quo of data mining from it s research methods and application.The focus is the process and classification of the current hot research—Web mining.

[Key words]data mining;Web mining;research status

近年來，Internet的發(fā)展使計(jì)算機(jī)#65380;網(wǎng)絡(luò)#65380;通信合而為一#65377;網(wǎng)絡(luò)經(jīng)濟(jì)#65380;注意力經(jīng)濟(jì)等新概念的出現(xiàn)，以其巨大的社會(huì)效益和極富挑戰(zhàn)與機(jī)遇的內(nèi)涵，成為信息科學(xué)最引人注目的研究課題#65377;然而，網(wǎng)絡(luò)在快捷#65380;方便地帶來大量信息的同時(shí)，也帶來了一大堆問題:諸如信息過量難以消化;信息真假難以辨識(shí);信息安全難以保證;信息形式不一致，難以統(tǒng)一處理等等#65377;如何快速#65380;準(zhǔn)確地獲得有價(jià)值的信息，如何理解已有的歷史數(shù)據(jù)并用于預(yù)測(cè)未來的行為，如何從這些海量數(shù)據(jù)中發(fā)現(xiàn)知識(shí)，導(dǎo)致了知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Databases)和數(shù)據(jù)挖掘(Data Mining)領(lǐng)域的出現(xiàn)#65377;

數(shù)據(jù)挖掘(DM)就是從大量的#65380;不完全的#65380;有噪聲的#65380;模糊的#65380;隨機(jī)的數(shù)據(jù)中提取隱含在其中的#65380;人們事先不知道的#65380;但又是潛在有用的信息和知識(shí)的過程#65377;數(shù)據(jù)挖掘是一種能夠智能的自動(dòng)的把數(shù)據(jù)轉(zhuǎn)換成有用信息和知識(shí)的技術(shù)和工具，是人們對(duì)數(shù)據(jù)庫(kù)技術(shù)進(jìn)行研究和發(fā)展的結(jié)果#65377;數(shù)據(jù)挖掘是一門很廣義的交叉學(xué)科，它匯聚了不同領(lǐng)域的研究者，尤其是數(shù)據(jù)庫(kù)#65380;人工智能#65380;數(shù)理統(tǒng)計(jì)#65380;可視化#65380;并行計(jì)算等方面的學(xué)者和工程技術(shù)人員#65377;

1 數(shù)據(jù)挖掘的過程及系統(tǒng)構(gòu)成

1.1 數(shù)據(jù)挖掘的實(shí)施

大體可分為以下3步:

1.1.1 數(shù)據(jù)準(zhǔn)備(Data Preparation)

本階段包括兩步:

數(shù)據(jù)集成:從操作型環(huán)境中提取數(shù)據(jù)并加以集成，解決語義的二義性問題，消除臟數(shù)據(jù)#65377;

數(shù)據(jù)選擇和預(yù)分析:進(jìn)一步縮小數(shù)據(jù)范圍，提高數(shù)據(jù)挖掘的質(zhì)量#65377;

1.1.2 數(shù)據(jù)挖掘(Data Mining)

這個(gè)階段實(shí)際的挖掘工作，包括:

先決定如何產(chǎn)生假設(shè)，是讓數(shù)據(jù)挖掘系統(tǒng)為用戶產(chǎn)生假設(shè)，還是對(duì)于數(shù)據(jù)庫(kù)中可能包含的知識(shí)提出假設(shè)#65377;前一種稱為發(fā)現(xiàn)型的數(shù)據(jù)挖掘，后一種稱為驗(yàn)證型的數(shù)據(jù)挖掘;

選擇合適的工具;

利用前面提到的數(shù)據(jù)挖掘方法挖掘數(shù)據(jù)庫(kù)中的知識(shí);

證實(shí)發(fā)現(xiàn)的知識(shí)#65377;

1.1.3 規(guī)則表述(Presentation)

數(shù)據(jù)挖掘?qū)@得的信息以方便用戶理解和觀察的方式反映給用戶，這時(shí)可利用可視化工具#65377;這些基于不同數(shù)據(jù)集合的分析結(jié)果除了通過可視化工具提供給用戶外，還可以存儲(chǔ)在知識(shí)庫(kù)中，供日后進(jìn)一步分析和比較#65377;

1.2 數(shù)據(jù)挖掘系統(tǒng)的構(gòu)成

典型的數(shù)據(jù)挖掘系統(tǒng)如圖1所示[1]:

圖1 數(shù)據(jù)挖掘系統(tǒng)構(gòu)成圖

(1)數(shù)據(jù)庫(kù)#65380;數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù):這是一個(gè)或一組數(shù)據(jù)庫(kù)#65380;數(shù)據(jù)倉(cāng)庫(kù)#65380;電子表格或其他類型的信息庫(kù)#65377;可以在數(shù)據(jù)上進(jìn)行數(shù)據(jù)清理和集成#65377;

(2)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器:根據(jù)用戶的數(shù)據(jù)挖掘請(qǐng)求，數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器負(fù)責(zé)提取相關(guān)數(shù)據(jù)#65377;

(3)知識(shí)庫(kù):這是領(lǐng)域知識(shí)，用于指導(dǎo)搜索或評(píng)估結(jié)果模式的興趣度#65377;

(4)數(shù)據(jù)挖掘引擎:這是數(shù)據(jù)挖掘系統(tǒng)基本的部分，由一組功能模塊組成，用于特征化#65380;關(guān)聯(lián)#65380;分類#65380;聚類分析以及演變和偏差分析#65377;

(5)模式評(píng)估模塊:通常，此成分使用興趣度度量，并與數(shù)據(jù)挖掘模塊交互，以便將搜索聚焦在有趣的模式上#65377;

(6)圖形用戶界面:本模塊在用戶和數(shù)據(jù)挖掘系統(tǒng)之間通信，允許用戶與系統(tǒng)交互，指定數(shù)據(jù)挖掘查詢或任務(wù)，提供信息#65380;幫助搜索聚焦，根據(jù)數(shù)據(jù)挖掘的中間結(jié)果進(jìn)行探索式數(shù)據(jù)挖掘#65377;

] No.32010年3月第30卷第3期淺談數(shù)據(jù)挖掘技術(shù)及其研究現(xiàn)狀Mar.，2010Vol.30 No.32 數(shù)據(jù)挖掘的研究現(xiàn)狀

數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域非常廣泛，可以說有數(shù)據(jù)的地方，就有數(shù)據(jù)挖掘的用武之地#65377;目前國(guó)內(nèi)數(shù)據(jù)挖掘研究可分為三大區(qū)域:

①數(shù)據(jù)挖掘方法(包括頻繁集#65380;Apriori#65380;入侵檢測(cè)#65380;灰色理論#65380;可視化#65380;聚類#65380;決策樹#65380;分類#65380;關(guān)聯(lián)規(guī)則#65380;遺傳算法#65380;時(shí)間序列#65380;神經(jīng)網(wǎng)絡(luò)#65380;粗糙集#65380;預(yù)測(cè)#65380;故障診斷等);

②數(shù)據(jù)挖掘的應(yīng)用(包括電子商務(wù)#65380;醫(yī)學(xué)#65380;軍事#65380;教育#65380;空間數(shù)據(jù)挖掘#65380;金融#65380;通信等);

③Web挖掘#65377;

2.1 數(shù)據(jù)挖掘方法

國(guó)內(nèi)數(shù)據(jù)挖掘方法總結(jié)為6類，如圖2所示:①分類:決策樹#65380;神經(jīng)網(wǎng)絡(luò)#65380;遺傳算法均可納入分類方法中[2]，如圖2左上角所示;②聚類;③關(guān)聯(lián)規(guī)則:關(guān)聯(lián)規(guī)則反映了大量數(shù)據(jù)中項(xiàng)目之間有趣的關(guān)聯(lián)，而在關(guān)聯(lián)規(guī)則挖掘算法中，Agrawal等人提出的Apriori算法(其中涉及頻繁集這一概念)最為著名[3]，這3個(gè)關(guān)鍵詞之間的關(guān)系如圖2頂部所示;④序列模式也是由Agrawal等人提出，指從序列數(shù)據(jù)庫(kù)中發(fā)現(xiàn)相對(duì)時(shí)間或者其他順序所出現(xiàn)的高頻率子序列，而時(shí)間序列則通過研究信息的時(shí)間特性深入洞悉事物進(jìn)化的機(jī)制;⑤粗糙集方法;⑥可視化方法#65377;

事實(shí)上，數(shù)據(jù)挖掘方法不僅僅是上述6種，還包括模糊數(shù)學(xué)方法#65380;線性回歸方法#65380;判別分析法(如貝葉斯判別)#65380;機(jī)器學(xué)習(xí)方法#65380;最近鄰技術(shù)方法等，但通過近十年的文獻(xiàn)分析可發(fā)現(xiàn)圖2中6種方法可稱為數(shù)據(jù)挖掘的熱點(diǎn)方法#65377;

圖2 數(shù)據(jù)挖掘方法示意圖

2.2 數(shù)據(jù)挖掘的應(yīng)用

目前數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域主要集中在:

2.2.1 商業(yè)領(lǐng)域

數(shù)據(jù)挖掘在商業(yè)領(lǐng)域的應(yīng)用主要包括電子商務(wù)#65380;客戶關(guān)系管理等方面#65377;數(shù)據(jù)挖掘能發(fā)現(xiàn)電子商務(wù)客戶的共性和個(gè)性的知識(shí)#65380;必然和偶然的知識(shí)#65380;獨(dú)立和關(guān)聯(lián)的知識(shí)#65380;現(xiàn)實(shí)和預(yù)測(cè)的知識(shí)等，所有這些知識(shí)經(jīng)過分析，能對(duì)客戶的消費(fèi)行為如心理#65380;能力#65380;動(dòng)機(jī)#65380;需求#65380;潛能等做出統(tǒng)計(jì)和正確地分析，為管理者提供決策依據(jù)#65377;

在客戶關(guān)系管理中，數(shù)據(jù)挖掘可用于將客戶分類#65380;保持客戶#65380;獲得新客戶#65380;交叉銷售#65380;分析客戶盈利能力等#65377;而借助決策支持系統(tǒng)#65380;數(shù)據(jù)倉(cāng)庫(kù)#65380;知識(shí)發(fā)現(xiàn)(KDD)#65380;聯(lián)機(jī)分析處理等工具，數(shù)據(jù)挖掘可用于預(yù)測(cè)股市行情，也可以分析電信#65380;移動(dòng)通信#65380;服裝#65380;醫(yī)藥行業(yè)市場(chǎng)#65380;深入了解客戶#65380;改進(jìn)業(yè)務(wù)#65380;提升服務(wù)#65377;

2.2.2 科研領(lǐng)域

數(shù)據(jù)挖掘在科研領(lǐng)域的應(yīng)用主要包括教育#65380;地理#65380;軍事#65380;生物信息#65380;醫(yī)學(xué)等方面#65377;數(shù)據(jù)挖掘在遠(yuǎn)程教育中的應(yīng)用，教師可以根據(jù)學(xué)習(xí)者不同的特征參數(shù)，對(duì)學(xué)生學(xué)習(xí)活動(dòng)進(jìn)行跟蹤，記錄與學(xué)習(xí)相關(guān)的信息#65377;針對(duì)學(xué)習(xí)者個(gè)性特點(diǎn)建立個(gè)性化的學(xué)習(xí)策略庫(kù)，動(dòng)態(tài)地獲取學(xué)習(xí)者當(dāng)前學(xué)習(xí)過程信息，將挖掘處理后的信息反饋在學(xué)習(xí)界面上，給學(xué)習(xí)者及時(shí)恰當(dāng)?shù)膶W(xué)習(xí)指導(dǎo)#65377;

數(shù)據(jù)在地理方面的應(yīng)用主要體現(xiàn)在空間數(shù)據(jù)挖掘的研究與應(yīng)用上#65377;所謂空間數(shù)據(jù)挖掘是在數(shù)據(jù)挖掘的基礎(chǔ)之上，結(jié)合地理信息系統(tǒng)，遙感圖像處理，全球定位系統(tǒng)，模式識(shí)別，可視化等相關(guān)的研究領(lǐng)域而形成的一個(gè)分支學(xué)科，目前空間數(shù)據(jù)挖掘已成為國(guó)際研究的一個(gè)熱點(diǎn)#65377;將這種空間數(shù)據(jù)挖掘技術(shù)應(yīng)用在軍事領(lǐng)域，可以很好的對(duì)戰(zhàn)場(chǎng)環(huán)境#65380;情報(bào)#65380;戰(zhàn)場(chǎng)態(tài)勢(shì)等進(jìn)行分析#65377;

2.3 Web挖掘

2.3.1 Web挖掘概述

近年來，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，使各種信息可以以非常低的成本在網(wǎng)絡(luò)上獲得，由于Internet/WWW在全球互連互通，可以從中取得的數(shù)據(jù)量難以計(jì)算，而且Internet/WWW的發(fā)展趨勢(shì)繼續(xù)看好，特別是電子商務(wù)的蓬勃發(fā)展為網(wǎng)絡(luò)應(yīng)用提供了強(qiáng)大支持，如何在WWW這個(gè)全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)有用信息無疑將成為數(shù)據(jù)挖掘研究的熱點(diǎn)#65377;

Web挖掘是數(shù)據(jù)挖掘在Web上的應(yīng)用，它利用數(shù)據(jù)挖掘技術(shù)從與WWW相關(guān)的資源和行為中抽取感興趣的#65380;有用的模式和隱含信息，涉及Web技術(shù)#65380;數(shù)據(jù)挖掘#65380;計(jì)算機(jī)語言學(xué)#65380;信息學(xué)等多個(gè)領(lǐng)域，是一項(xiàng)綜合技術(shù)#65377;

2.3.2 Web挖掘流程

與傳統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)相比，Web上的信息是非結(jié)構(gòu)化或半結(jié)構(gòu)化的#65380;動(dòng)態(tài)的#65380;并且是容易造成混淆的，所以很難直接以Web網(wǎng)頁(yè)上的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，而必須經(jīng)過必要的數(shù)據(jù)處理#65377;典型Web挖掘的處理流程如下:

(1)查找資源:任務(wù)是從目標(biāo)Web文檔中得到數(shù)據(jù)，信息資源不僅限于在線Web文檔，還包括電子郵件#65380;電子文檔#65380;新聞組，或者網(wǎng)站的日志數(shù)據(jù)甚至是通過Web形成的交易數(shù)據(jù)庫(kù)中的數(shù)據(jù)#65377;

(2)信息選擇和預(yù)處理:從取得的Web資源中剔除無用信息和將信息進(jìn)行必要的整理#65377;

(3)模式發(fā)現(xiàn):自動(dòng)進(jìn)行模式發(fā)現(xiàn)#65377;可以在同一個(gè)站點(diǎn)內(nèi)部或在多個(gè)站點(diǎn)之間進(jìn)行#65377;

(4)模式分析:驗(yàn)證#65380;解釋上一步驟產(chǎn)生的模式#65377;可以是機(jī)器自動(dòng)完成，也可以是與分析人員進(jìn)行交互來完成#65377;

2.3.3 Web挖掘分類及各自的研究現(xiàn)狀及發(fā)展

根據(jù)對(duì)Web數(shù)據(jù)的感興趣程度不同，Web挖掘一般可以分為三類:Web內(nèi)容挖掘(Web Content mining)#65380;Web結(jié)構(gòu)挖掘(Web structure mining)#65380;Web用法挖掘(Web usage Mining)#65377;

(1)Web內(nèi)容挖掘

從Web內(nèi)容/數(shù)據(jù)/文檔中發(fā)現(xiàn)有用信息，Web上的信息五花八門，傳統(tǒng)的Internet由各種類型的服務(wù)和數(shù)據(jù)源組成，包括WWW#65380;FTP#65380;Telnet等，現(xiàn)在有更多的數(shù)據(jù)和端口可以使用，比如政府信息服務(wù)#65380;數(shù)字圖書館#65380;電子商務(wù)數(shù)據(jù)，以及其他各種通過Web可以訪問的數(shù)據(jù)庫(kù)#65377;Web內(nèi)容挖掘的對(duì)象包括文本#65380;圖像#65380;音頻#65380;視頻#65380;多媒體和其他各種類型的數(shù)據(jù)#65377;其中針對(duì)無結(jié)構(gòu)化文本進(jìn)行的Web挖掘被歸類到基于文本的知識(shí)發(fā)現(xiàn)(KDT)領(lǐng)域，也稱文本數(shù)據(jù)挖掘或文本挖掘，是Web挖掘中比較重要的技術(shù)領(lǐng)域，也引起了許多研究者的關(guān)注#65377;最近在Web多媒體數(shù)據(jù)挖掘方面的研究成為另一個(gè)熱點(diǎn)#65377;

(2)Web結(jié)構(gòu)挖掘

Web結(jié)構(gòu)挖掘的對(duì)象是Web本身的超連接，即對(duì)Web文檔的結(jié)構(gòu)進(jìn)行挖掘#65377;對(duì)于給定的Web文檔集合，應(yīng)該能夠通過算法發(fā)現(xiàn)他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含#65380;引用或者從屬關(guān)系，引用文檔對(duì)被引用文檔的說明往往更客觀#65380;更概括#65380;更準(zhǔn)確#65377;

Web結(jié)構(gòu)挖掘在一定程度上得益于社會(huì)網(wǎng)絡(luò)和引用分析的研究#65377;把網(wǎng)頁(yè)之間的關(guān)系分為incoming連接和outgoing連接，運(yùn)用引用分析方法找到同一網(wǎng)站內(nèi)部以及不同網(wǎng)站之間的連接關(guān)系#65377;在Web結(jié)構(gòu)挖掘領(lǐng)域最著名的算法是HITS算法和PageRank算法#65377;他們的共同點(diǎn)是使用一定方法計(jì)算Web頁(yè)面之間超連接的質(zhì)量，從而得到頁(yè)面的權(quán)重#65377;著名的Clever和Google搜索引擎就采用了該類算法#65377;

Web結(jié)構(gòu)挖掘另一個(gè)嘗試是在Web數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下的挖掘，包括通過檢查同一臺(tái)服務(wù)器上的本地連接衡量Web結(jié)構(gòu)挖掘Web站點(diǎn)的完全性，在不同的Web數(shù)據(jù)倉(cāng)庫(kù)中檢查副本以幫助定位鏡像站點(diǎn)，通過發(fā)現(xiàn)針對(duì)某一特定領(lǐng)域超連接的層次屬性去探索信息流動(dòng)如何影響Web站點(diǎn)的設(shè)計(jì)#65377;

(3)Web用法挖掘(Web usage Mining)

即Web使用記錄挖掘，在新興的電子商務(wù)領(lǐng)域有重要意義，它通過挖掘相關(guān)的Web日志記錄，來發(fā)現(xiàn)用戶訪問Web頁(yè)面的模式，通過分析日志記錄中的規(guī)律，可以識(shí)別用戶的忠實(shí)度#65380;喜好#65380;滿意度，可以發(fā)現(xiàn)潛在用戶，增強(qiáng)站點(diǎn)的服務(wù)競(jìng)爭(zhēng)力#65377;Web使用記錄數(shù)據(jù)除了服務(wù)器的日志記錄外還包括代理服務(wù)器日志#65380;瀏覽器端日志#65380;注冊(cè)信息#65380;用戶會(huì)話信息#65380;交易信息#65380;Cookie中的信息#65380;用戶查詢#65380;鼠標(biāo)點(diǎn)擊流等一切用戶與站點(diǎn)之間可能的交互記錄#65377;可見Web使用記錄的數(shù)據(jù)量是非常巨大的，而且數(shù)據(jù)類型也相當(dāng)豐富#65377;根據(jù)對(duì)數(shù)據(jù)源的不同處理方法，Web用法挖掘可以分為兩類:一類是將Web使用記錄的數(shù)據(jù)轉(zhuǎn)換并傳遞進(jìn)傳統(tǒng)的關(guān)系表里，再使用數(shù)據(jù)挖掘算法對(duì)關(guān)系表中的數(shù)據(jù)進(jìn)行常規(guī)挖掘;另一類是將Web使用記錄的數(shù)據(jù)直接預(yù)處理再進(jìn)行挖掘#65377;通常來講，經(jīng)典的數(shù)據(jù)挖掘算法都可以直接用到Web用法挖掘上來，但為了提高挖掘質(zhì)量，研究人員在擴(kuò)展算法上進(jìn)行了努力，包括復(fù)合關(guān)聯(lián)規(guī)則算法#65380;改進(jìn)的序列發(fā)現(xiàn)算法等#65377;

3 結(jié)束語

Internet的應(yīng)用的普及使得數(shù)據(jù)挖掘技術(shù)的重點(diǎn)已經(jīng)從傳統(tǒng)的基于數(shù)據(jù)庫(kù)的應(yīng)用轉(zhuǎn)移到了基于Web的應(yīng)用#65377;盡管Web挖掘的形式和研究方向?qū)映霾桓F，但隨著電子商務(wù)的興起和迅猛發(fā)展，未來Web挖掘的一個(gè)重要應(yīng)用方向?qū)⑹请娮由虅?wù)系統(tǒng)#65377;而與電子商務(wù)關(guān)系最為密切的是用法挖掘(Usage Mining)#65377;

參考文獻(xiàn)

[1]Jiawei Han，Micheline Kamber.數(shù)據(jù)挖掘概念與技術(shù)[M].范明，孟小峰，等譯.北京:機(jī)械工業(yè)出版社，2001.8.

[2]朱玉全，楊鶴標(biāo)，孫蕾.數(shù)據(jù)挖掘技術(shù)[M].南京:東南大學(xué)出版社，2006:14-15.

[3]梁循.數(shù)據(jù)挖掘算法與應(yīng)用[M].北京:北京大學(xué)出版社，2006:183.

[4]錢峰.基于SPSS知識(shí)地圖的國(guó)內(nèi)數(shù)據(jù)挖掘研究現(xiàn)狀分析[J].情報(bào)科學(xué)，2008，26(6):924-928.

[5]唐健.Web數(shù)據(jù)挖掘技術(shù)探討[J].新科教，2009，(6).