【文章摘要】

隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)技術(shù)的普及，現(xiàn)代信息系統(tǒng)已經(jīng)進(jìn)入了大數(shù)據(jù)的時(shí)代。如何從大量的數(shù)據(jù)中找到真正有價(jià)值的信息，成為急需解決的問題。鑒于此，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。本文分析了數(shù)據(jù)挖掘技術(shù)的定義和過程，并介紹了常用的數(shù)據(jù)挖掘技術(shù)和對(duì)數(shù)據(jù)挖掘技術(shù)的應(yīng)用進(jìn)行了介紹。

【關(guān)鍵詞】

數(shù)據(jù)挖掘；分析；應(yīng)用

數(shù)據(jù)挖掘是一個(gè)跨多學(xué)科和多個(gè)知識(shí)領(lǐng)域的交叉的新興課題，數(shù)據(jù)挖掘使人們對(duì)數(shù)據(jù)的應(yīng)用方式從簡單的查詢提升至對(duì)數(shù)據(jù)挖掘行為的支持，數(shù)據(jù)挖掘涵蓋了模式識(shí)別領(lǐng)域、數(shù)據(jù)庫領(lǐng)域、統(tǒng)計(jì)學(xué)領(lǐng)域、可視化領(lǐng)域等多個(gè)領(lǐng)域，目前數(shù)據(jù)挖掘技術(shù)已經(jīng)成了新興的研究技術(shù)熱點(diǎn)。

1 數(shù)據(jù)挖掘的定義

數(shù)據(jù)挖掘準(zhǔn)確的講就是對(duì)大量的、雜亂的數(shù)據(jù)進(jìn)行分析處理，發(fā)現(xiàn)其中隱藏的有用的信息，并為一些決策提供支持；從數(shù)據(jù)挖掘的技術(shù)角度講，數(shù)據(jù)挖掘技術(shù)就是利用相關(guān)的技術(shù)和算法，從大量雜亂的數(shù)據(jù)中找到人們需要的有用信息和知識(shí)，知識(shí)可以以概念和模式、規(guī)則、規(guī)律等形式表現(xiàn)出來，通過對(duì)數(shù)據(jù)的分析，可以找到一些潛在的關(guān)系和模式，并協(xié)助預(yù)測(cè)未來可能發(fā)生的情況和產(chǎn)生的結(jié)果。

2 數(shù)據(jù)挖掘的過程

在數(shù)據(jù)挖掘之前，先要確定數(shù)據(jù)挖掘的目的，把問題和目標(biāo)任務(wù)定義出來，確定數(shù)據(jù)挖掘的目的之后，根據(jù)數(shù)據(jù)挖掘的常規(guī)步驟開始挖掘知識(shí)信息，整個(gè)數(shù)據(jù)挖掘的過程可以概括總結(jié)分為數(shù)據(jù)準(zhǔn)備階段、數(shù)據(jù)挖掘階段以及結(jié)果的解釋和評(píng)價(jià)階段，數(shù)據(jù)準(zhǔn)備階段分為數(shù)據(jù)清理、集成、選擇和變換等過程。完整數(shù)據(jù)挖掘過程如下圖1所示：

3 數(shù)據(jù)挖掘常用技術(shù)簡介

數(shù)據(jù)挖掘技術(shù)有很多種，常用的有統(tǒng)計(jì)技術(shù)、關(guān)聯(lián)規(guī)則、基于歷史的分析MBR等，介紹如下：

3.1 統(tǒng)計(jì)技術(shù)

數(shù)據(jù)挖掘技術(shù)涉及到了多個(gè)學(xué)科領(lǐng)域和技術(shù)，其中也涉及到了統(tǒng)計(jì)技術(shù)，統(tǒng)計(jì)技術(shù)的應(yīng)用主要是給數(shù)據(jù)聚合設(shè)定了一個(gè)分部模型，然后采用與模型相適應(yīng)的方法進(jìn)行數(shù)據(jù)挖掘。

3.2 關(guān)聯(lián)規(guī)則

如果兩個(gè)或者是多個(gè)變量的之間存在某種規(guī)律性，這就可以稱為關(guān)聯(lián)，關(guān)聯(lián)分為簡單、因果和時(shí)序關(guān)聯(lián)。

3.3 基于歷史的分析MBR

MBR的主要概念就是用一些已知的案例作為模型，通過這些模型，對(duì)新案例進(jìn)行估值和預(yù)測(cè)，MBR分析中主要有距離函數(shù)和結(jié)合函數(shù)兩個(gè)因素，距離函數(shù)的作用就是找出相似的相關(guān)案例，結(jié)合函數(shù)就是將這些相關(guān)的案例結(jié)合起來，在預(yù)測(cè)的時(shí)候可以用到這些案例，這個(gè)方法有兩個(gè)優(yōu)點(diǎn)，一是，能容許各種型態(tài)的數(shù)據(jù)，二是，有學(xué)習(xí)的能力，可以從舊案例中獲取新知識(shí)。

3.4 遺傳算法GA

遺傳算法的主要思想是根據(jù)適者生存的原則，新的群體由最適合規(guī)則和這些規(guī)則的后代的這部分群體組成，一般情況下，樣本集分類的評(píng)估通過這些規(guī)則的適合度來完成。

3.5 連接分析

連接分析的主要理論是圖論，圖論的主題思想就是要尋找得出一個(gè)好結(jié)果的算法，這種好的結(jié)果不是最完美的結(jié)果的算法，如果這種不完美的結(jié)果是可行的，這樣的分析就是一個(gè)好分析，通過連接分析，可以從用戶的行為中分析總結(jié)出規(guī)律性的模式，并將這種新的概念應(yīng)用在廣泛的用戶上。

3.6 決策樹

決策樹就是有著很強(qiáng)的解決歸類和預(yù)測(cè)的能力，它的表達(dá)方式是法則，這些法則的展示是通過一連串的問題表現(xiàn)出來，經(jīng)過不斷詢問問題的過程，導(dǎo)出所需要的結(jié)果，典型的決策樹的底部有很多樹葉，其頂端是一個(gè)樹根，它將記錄分成很多的子集，每個(gè)子集中包含一個(gè)簡單的法則，決策樹有二元樹、三元樹等很多不同的外型。

3.7 聚類分析

聚類分析涵蓋的技術(shù)范圍很廣泛，很多算法都有聚類分析這個(gè)功能如基因算法、統(tǒng)計(jì)學(xué)中的群集分析、類神經(jīng)網(wǎng)絡(luò)等，聚類分析的目標(biāo)就是找出數(shù)據(jù)中以前所不知道的相似群體，研究的開端一般都會(huì)用到群集偵測(cè)技術(shù)。

3.8 神經(jīng)網(wǎng)絡(luò)（Neural Networks）

神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上可以分為輸入層、輸出層和隱含層，它是利用重復(fù)學(xué)習(xí)的方法，在一串例子中進(jìn)行歸納學(xué)習(xí)，然后歸納出可以區(qū)分的樣式，神經(jīng)網(wǎng)絡(luò)可以通過對(duì)過去學(xué)習(xí)的成果進(jìn)行歸納，推導(dǎo)出一些新的例證的結(jié)果，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也屬于機(jī)器學(xué)習(xí)的一種，類神經(jīng)學(xué)習(xí)的方式也可以應(yīng)用在數(shù)據(jù)挖掘的相關(guān)問題上。

3.9 回歸分析

回歸分析可以分為線性回歸分析、非線性回歸分析、多元回歸分析三種，線性回歸分析中采用數(shù)據(jù)采用直線建模的方式，多元回歸涉及到多個(gè)預(yù)測(cè)變量，是線性回歸的一種擴(kuò)展方式，非線性回歸模型是在非線性回歸的基本線性模型添加多項(xiàng)式。

4 應(yīng)用研究

數(shù)據(jù)挖掘技術(shù)能在大量的數(shù)據(jù)信息中方便快捷的找到有用的信息，并將這些信息充分利用。數(shù)據(jù)挖掘技術(shù)的應(yīng)用可以增強(qiáng)企業(yè)的競(jìng)爭力，在縮短銷售周期的基礎(chǔ)上降低了產(chǎn)品的生產(chǎn)成本，在信息資源開發(fā)方面數(shù)據(jù)挖掘技術(shù)也有其明顯的優(yōu)勢(shì)，數(shù)據(jù)挖掘技術(shù)應(yīng)用的行業(yè)越來越廣泛如保險(xiǎn)、市場(chǎng)營銷、制造業(yè)、教育、醫(yī)療和電信業(yè)以及科學(xué)研究。

4.1 數(shù)據(jù)挖掘技術(shù)在制造業(yè)的應(yīng)用

數(shù)據(jù)挖掘技術(shù)的在制造業(yè)中的應(yīng)用，主要是在生產(chǎn)的過程中，如果零部件出現(xiàn)故障，可以通過數(shù)據(jù)挖掘技術(shù)對(duì)故障進(jìn)行詳細(xì)的分析，發(fā)現(xiàn)故障產(chǎn)生的根本原因，并及時(shí)糾正，及時(shí)發(fā)現(xiàn)分布不正常的數(shù)據(jù)，只有這樣才能幫助工程師及時(shí)發(fā)現(xiàn)問題并采取正確的措施改進(jìn)。

4.2 數(shù)據(jù)挖掘技術(shù)在市場(chǎng)營銷的應(yīng)用

數(shù)據(jù)挖掘技術(shù)在市場(chǎng)營銷上面應(yīng)用也很頻繁和廣泛，在這個(gè)領(lǐng)域中數(shù)據(jù)挖掘技術(shù)可以分為貨籃分析數(shù)據(jù)庫和市場(chǎng)營銷數(shù)據(jù)庫兩種類型，貨籃分析數(shù)據(jù)庫的作用就是分析營銷的數(shù)據(jù)，市場(chǎng)營銷數(shù)據(jù)庫就是利用自身的技術(shù)方法向顧客推銷產(chǎn)品，合理運(yùn)用數(shù)據(jù)挖掘技術(shù)可以提高商家的信譽(yù)并及時(shí)發(fā)現(xiàn)潛在的客戶。

4.3 數(shù)據(jù)挖掘技術(shù)在科學(xué)研究的應(yīng)用

在科學(xué)研究的技術(shù)領(lǐng)域，數(shù)據(jù)挖掘技術(shù)可以觀測(cè)和分析大量的實(shí)驗(yàn)數(shù)據(jù)，由于現(xiàn)在的科研數(shù)據(jù)很多，而且較為繁瑣，一些傳統(tǒng)的數(shù)據(jù)分析方法不能滿足科研的需要，所以對(duì)一些強(qiáng)大的數(shù)據(jù)分析的智能工具的需求力很強(qiáng)，這也在一定程度上促進(jìn)了數(shù)據(jù)挖掘技術(shù)的發(fā)展。在生物的科研領(lǐng)域，實(shí)驗(yàn)室人員對(duì)DNA的數(shù)據(jù)進(jìn)行分析，通常利用相似的檢索技術(shù)和序列模式，采用關(guān)聯(lián)分析識(shí)別方法對(duì)同一時(shí)間出現(xiàn)的基因序列進(jìn)行識(shí)別分析，這樣能夠及時(shí)發(fā)現(xiàn)每個(gè)階段產(chǎn)生疾病的根本原因。

【參考文獻(xiàn)】

[1]楊永升.基于數(shù)據(jù)挖掘的電信企業(yè)客戶關(guān)系管理研究[D].江蘇科技大學(xué)，2012.

[2]趙一丁，邵開麗，李志民，楚紀(jì)正. 基于測(cè)試需求的數(shù)據(jù)挖掘及測(cè)試數(shù)據(jù)生成[J]. 計(jì)算機(jī)測(cè)量與控制，2013，08：2043-2045.

【作者簡介】

宋偉，1984.10，男，西安人，本科，助理工程師，研究方向：入侵檢測(cè)，數(shù)據(jù)挖掘