韋麗紅

（呼倫貝爾學(xué)院 計算機科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古 海拉爾 021008）

淺析數(shù)據(jù)挖掘的技術(shù)方法及應(yīng)用

韋麗紅

（呼倫貝爾學(xué)院 計算機科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古 海拉爾 021008）

現(xiàn)如今，數(shù)據(jù)挖掘是數(shù)據(jù)領(lǐng)域以及信息處理上最先進(jìn)的一項研究技術(shù).本文從介紹數(shù)據(jù)發(fā)掘的定義及其特征入手，歸納了數(shù)據(jù)挖掘過程的基本步驟，分析了數(shù)據(jù)挖掘的技術(shù)方法，并探討了數(shù)據(jù)挖掘的相關(guān)應(yīng)用，本文的研究對加快數(shù)據(jù)挖掘技術(shù)的前進(jìn)步伐，拓展數(shù)據(jù)挖掘技術(shù)的學(xué)科應(yīng)用具有重要的意義.

數(shù)據(jù)挖掘；技術(shù)方法；應(yīng)用

數(shù)據(jù)挖掘通常包括數(shù)據(jù)搜集、數(shù)據(jù)分析處理、規(guī)律知識展示以及知識運用等幾項因素.然而在現(xiàn)實社會中，絕大多數(shù)的數(shù)據(jù)均受到了一定程度的污染，導(dǎo)致了基本所以進(jìn)行挖掘及處理的數(shù)據(jù)都是一些受污染的損壞數(shù)據(jù)，也就是說，沒有健康的原始數(shù)據(jù)做依托，根本無法得出科學(xué)可靠的規(guī)律知識.在這些大量且繁雜的數(shù)據(jù)中，部分?jǐn)?shù)據(jù)屬于冗余數(shù)據(jù)，部分屬于無關(guān)數(shù)據(jù)，還有部分屬于損壞數(shù)據(jù)，它們直接影響了規(guī)律知識的研發(fā)，因此，應(yīng)當(dāng)充分研究并利用數(shù)據(jù)挖掘技術(shù)，從而確保數(shù)據(jù)的健康可用性，有利于數(shù)據(jù)分析處理與規(guī)律知識研發(fā)等后期工作的順利開展.

1 數(shù)據(jù)挖掘的定義及其特征

數(shù)據(jù)挖掘指的是從數(shù)據(jù)庫里挖掘出可用的、新穎的、有價值的，并且模式規(guī)范的數(shù)據(jù)的一個實現(xiàn)過程[1].數(shù)據(jù)挖掘即依據(jù)數(shù)據(jù)庫中數(shù)據(jù)的高效存儲功能，利用機器技術(shù)的新型設(shè)計理念，將具有潛在利用價值的數(shù)據(jù)知識挖掘出來.因此，數(shù)據(jù)挖掘技術(shù)屬于數(shù)據(jù)統(tǒng)計技術(shù)、機器技術(shù)與數(shù)據(jù)庫處理技術(shù)三者結(jié)合運用的成果，其多應(yīng)用于工程上進(jìn)行規(guī)律知識的研發(fā).

數(shù)據(jù)挖掘同時也可以表述為一種用于大量繁雜數(shù)據(jù)處理的方法，相對與人腦而言，它能夠更快速地獲取有用的數(shù)據(jù)信息.因此，人們習(xí)慣性地賦予了數(shù)據(jù)挖掘另一個專業(yè)術(shù)語，即知識發(fā)現(xiàn).

數(shù)據(jù)挖掘具有以下主要特征：首先，能夠?qū)?shù)量龐大且紛繁復(fù)雜的數(shù)據(jù)進(jìn)行有效的處理；其次，能夠?qū)崿F(xiàn)對數(shù)據(jù)信息的自動搜索；再次，能夠通過數(shù)據(jù)統(tǒng)計分析總結(jié)歸納其規(guī)律知識并做出一定的預(yù)測；最后，經(jīng)過挖掘的數(shù)據(jù)能夠快速及時的展示數(shù)據(jù)的規(guī)律知識.

2 數(shù)據(jù)挖掘過程的基本步驟

通常情況下，數(shù)據(jù)挖掘過程包括明確問題、數(shù)據(jù)準(zhǔn)備、算法選定、模式評估以及知識表示五個基本步驟，具體如下：

2.1 明確問題

整個數(shù)據(jù)挖掘過程的目的是從大量繁雜的數(shù)據(jù)中獲取有價值的可用數(shù)據(jù)信心，所以在進(jìn)行數(shù)據(jù)挖掘之前明確所要獲取的數(shù)據(jù)知識是整個挖掘過程中極為關(guān)鍵的一步.在明確問題的過程中，除了要根據(jù)實際情況明確相關(guān)要求外，還需要明確應(yīng)當(dāng)采用哪些切實可行的數(shù)據(jù)挖掘技術(shù)方法.

2.2 數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)準(zhǔn)備的具體內(nèi)容包括數(shù)據(jù)篩選、數(shù)據(jù)處理以及數(shù)據(jù)轉(zhuǎn)換三個方面.數(shù)據(jù)篩選時為了確定進(jìn)行數(shù)據(jù)挖掘的具體對象，即結(jié)合實際工作需要從數(shù)據(jù)庫中選取一定的數(shù)據(jù).數(shù)據(jù)處理主要是對數(shù)據(jù)進(jìn)行形式轉(zhuǎn)換、噪音消除、缺省值推導(dǎo)以及重復(fù)數(shù)據(jù)合并等處理.數(shù)據(jù)轉(zhuǎn)換則是為了盡可能的縮減數(shù)據(jù)維數(shù)，為后期的數(shù)據(jù)統(tǒng)計分析提供便利.

2.3 算法選定

流行元素的引入能在一定意義上開拓學(xué)生的思維，幫助他們樹立正確的審美觀，以達(dá)到一個全身心投入音樂感悟的境界。流行注重的就是一個體驗過程，學(xué)生在感知和體驗當(dāng)代的潮流時，自然而然地接近聲樂，配合教師的教學(xué)。而“流行”作為一種心理學(xué)概念，加強對學(xué)生的音樂節(jié)奏的感知，從時代氣息中感受到音樂是一種精神力量，是一種人文情懷，更是一種文化藝術(shù)。

算法選定指的是數(shù)據(jù)挖掘算法的選擇與確定.在根據(jù)明確問題的具體數(shù)據(jù)挖掘任務(wù)及目標(biāo)（如數(shù)據(jù)聚類、關(guān)聯(lián)規(guī)則及數(shù)據(jù)模式確定等）之后，便要選定恰當(dāng)?shù)臄?shù)據(jù)挖掘算法.在算法選定過程中，應(yīng)當(dāng)根據(jù)不同數(shù)據(jù)的數(shù)據(jù)特征以及實際工作的運行系統(tǒng)的具體要求進(jìn)行選擇.

2.4 模式評估

在數(shù)據(jù)的挖掘結(jié)果中，存在著部分沒有利用價值或者與違背實際規(guī)律的結(jié)果，因此，對挖掘結(jié)果進(jìn)行模式評估是十分必要的.一般情況下，可以通過結(jié)合相關(guān)工作經(jīng)驗或者利用實際數(shù)據(jù)信息對挖掘模型的準(zhǔn)確性進(jìn)行評估，從而不斷地調(diào)整并完善數(shù)據(jù)挖掘模型.

2.5 知識表示

知識表示也就是決策者對數(shù)據(jù)挖掘結(jié)果的分析決策，即決策者依據(jù)挖掘結(jié)果并結(jié)合具體工作情況對相關(guān)策略不斷地進(jìn)行調(diào)試的過程.

上述步驟并非可以一步到位，或許需要不斷反復(fù)進(jìn)行某個或某些步驟才能得到最佳效果.

3 數(shù)據(jù)挖掘的技術(shù)方法

數(shù)據(jù)挖掘的技術(shù)方法多種多樣，比如神經(jīng)網(wǎng)絡(luò)、統(tǒng)計分析法、決策樹歸納法、遺傳算法、粗糙集理論、模糊集理論、可視化、分類法、規(guī)則歸納法、證據(jù)理論、聚類法、數(shù)據(jù)倉庫等等.本文就以下幾種主要的、常用的數(shù)據(jù)挖掘技術(shù)方法進(jìn)行概述：

決策樹歸納法就是通過依據(jù)信息增益來獲取數(shù)據(jù)庫中信息字段的大小來設(shè)立決策樹的節(jié)點，再依據(jù)字段的取值范圍來確定決策樹的各個分支.通過一層一層地不斷建立決策樹節(jié)點與分支，便形成了決策樹.決策樹歸納法常用于對數(shù)據(jù)進(jìn)行分類及預(yù)測.

3.2 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)計算模型的建立源自于仿造人體的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及其他人體工作機能.神經(jīng)網(wǎng)絡(luò)是以學(xué)習(xí)模式為腳本，并以此來控制神經(jīng)元鏈接的權(quán)值大小（即強度）.神經(jīng)網(wǎng)絡(luò)計算模型具有通過利用眾多神經(jīng)元說鏈接形成的神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模的逐步計算的重要特征.

3.3 統(tǒng)計分析法

統(tǒng)計分析法在挖掘數(shù)據(jù)的關(guān)聯(lián)信息上起到重要作用.通過統(tǒng)計及分析數(shù)據(jù)關(guān)系表中的各項數(shù)據(jù)特性，獲取數(shù)據(jù)信心間的內(nèi)在聯(lián)系.通常情況下，數(shù)據(jù)關(guān)系表的數(shù)據(jù)特性間的關(guān)系有相關(guān)關(guān)系與函數(shù)關(guān)系.常用的統(tǒng)計分析方法包括回歸分析、相關(guān)性分析以及規(guī)律分析等等.

3.4 模糊集理論

模糊集理論主要應(yīng)與處理或者展示數(shù)據(jù)的不確定模型.此外，模糊集理論除了能夠處理或展示不完整數(shù)據(jù)、不精準(zhǔn)數(shù)據(jù)或者噪音數(shù)據(jù)以外，還能夠研發(fā)數(shù)據(jù)的不確定模型，并確保其靈活性與平滑性.

3.5 遺傳算法

遺傳算法是在自然選擇學(xué)說和基因遺傳學(xué)說的基礎(chǔ)上建立起來的，并以達(dá)爾文進(jìn)化論理論為模擬藍(lán)本，在計算機操作算法的一門學(xué)科[3].具體來說是通過其中的一種算法，把任何一種種群放到這種算法操作中，產(chǎn)生新的個體，再讓這一新個體選擇到更好的區(qū)域，并在這個區(qū)域不斷虛擬進(jìn)化，最后讓這些能適用的新環(huán)境的新個體集合成新的群體，同時這些新個體又被賦予了一個新的適合值，這就是遺傳算法.遺傳算法的主要功能是用在分類和組合上.

3.6 粗糙集理論

粗糙集理論在上世紀(jì)的八十年代中首先被提出，相對于其他計算方法，它是一種軟計算方法，能夠處理不完全或者不確定的信息，對不同的屬性值進(jìn)行離散分析，再對這些屬性劃分類別，再集合等價，最后是決策，最終獲取規(guī)則.實現(xiàn)數(shù)據(jù)挖掘技術(shù)的成功處理.

4 數(shù)據(jù)挖掘的應(yīng)用

在國內(nèi)數(shù)據(jù)挖掘技術(shù)的應(yīng)用并不算廣泛，僅在上海寶鋼等一些大型企業(yè)有所應(yīng)用，并且僅僅把數(shù)據(jù)挖掘技術(shù)當(dāng)成是一種輔助的工具，對生產(chǎn)進(jìn)行輔助決策，可是卻能提高生產(chǎn)的效率，節(jié)約成本.在全球上數(shù)據(jù)挖掘技術(shù)的應(yīng)用很廣泛，具體如下：

4.1 科學(xué)研究方面

數(shù)據(jù)挖掘技術(shù)能夠應(yīng)用到天文學(xué)科學(xué)領(lǐng)域、生物科學(xué)研究領(lǐng)域、物理科學(xué)研究領(lǐng)域等領(lǐng)域中，尤其是在微觀方面，能夠用各種數(shù)據(jù)分析遙遠(yuǎn)的星體的距離，預(yù)測地球以外中星體狀況，能夠通過先進(jìn)儀器，運用數(shù)據(jù)挖掘分析生物中的基因，發(fā)現(xiàn)各種基因的異同，然后研發(fā)出新的生物分子配置，推動生物工程的發(fā)展.尤其是近些年來，科學(xué)研究領(lǐng)域中對微觀科學(xué)研究越來越重視，數(shù)據(jù)挖掘更是得到飛速發(fā)展.

4.2 商業(yè)經(jīng)營方面

當(dāng)今商業(yè)領(lǐng)域的競爭尤其激烈，除了有一流的人才，一流的管理和一流的設(shè)備以外，對數(shù)據(jù)的收集也是非常的關(guān)鍵.如在零售業(yè)中，商品的銷售量都不一樣，單靠人工操作，也只能粗淺分析某一商品的銷量的多少，并不能分析某一類商品的性質(zhì)和類別，購買的群體等.而各種數(shù)據(jù)不斷增加，人工效率不高[4].運用數(shù)據(jù)挖掘知識技術(shù)，能夠讓經(jīng)營者在最短的時間內(nèi)做出最有利的判斷，制定各種商業(yè)經(jīng)營策略，預(yù)測各種銷售情況.很多大型的外國公司都很好利用了數(shù)據(jù)挖掘技術(shù)，如運用Intelligent Miner系統(tǒng)挖掘顧客的購物行為. 4.3金融投資方面

股市有風(fēng)險，投資需謹(jǐn)慎，單憑個人的經(jīng)驗以及所學(xué)到的一些金融知識，我們只能從宏觀上把握整體的金融走勢，然而若要從微觀去把握和分析某一種金融項目進(jìn)行投資，則需要運用各種數(shù)據(jù)挖掘，通過這些數(shù)據(jù)才能處理人無法判斷和分析的內(nèi)容，最終才能做出最合適的選擇.例如，我們能從股市中的各種微觀數(shù)據(jù)判斷整個大盤的走勢，而不僅僅是純粹了解國家的宏觀政策.

4.4 醫(yī)療設(shè)備方面

當(dāng)代的醫(yī)療技術(shù)發(fā)展很快，這得益于一些先進(jìn)的設(shè)備的使用.通過這些先進(jìn)的設(shè)備能夠分析各種藥物的分子和原子結(jié)構(gòu)，結(jié)合病情案例進(jìn)行分析整合，在不同的分子結(jié)構(gòu)和基因結(jié)構(gòu)快速地轉(zhuǎn)換和檢查，得出治療的最佳方案.同時還能夠用不同的數(shù)據(jù)挖掘配出各種新藥，治療其他的病癥. 4.5保險評估方面

保險業(yè)本身是給顧客辦理保險的，但保險本身就是個行業(yè)，保險行業(yè)也是以盈利為目的，因而對于一些高風(fēng)險的生意同樣需要檢測評估，若是風(fēng)險大的保險領(lǐng)域，則需要挖掘高風(fēng)險的數(shù)據(jù)，對這些數(shù)據(jù)評估、檢測、然后做出判斷，最后知道保險公司的進(jìn)一步經(jīng)營.在當(dāng)今內(nèi)容多煩雜亂，競爭異常激烈的保險業(yè)務(wù)，能夠建立數(shù)據(jù)挖掘數(shù)據(jù)系統(tǒng)，能夠促進(jìn)保險業(yè)務(wù)的發(fā)展.

4.6 通信網(wǎng)絡(luò)方面

網(wǎng)絡(luò)通信中有很多網(wǎng)絡(luò)警告語，有的警告語是可以理解的，有的警告語是可以忽視的，但是有的警告語必須及時處理，這些急需處理的警告語一般都是根據(jù)人的經(jīng)驗去處理，這樣的處理大大降低了工作效率，增加了很多成本.數(shù)據(jù)挖掘恰恰能彌補這個效率不高的短板，它通過分析各種警告數(shù)據(jù)，再獲取各種警告數(shù)據(jù)之間的邏輯關(guān)系和數(shù)據(jù)關(guān)系，從而做出正確的判斷.通過數(shù)據(jù)挖掘能有效地處理通信網(wǎng)絡(luò)的故障，還能檢測可能發(fā)生故障的網(wǎng)絡(luò).

5 結(jié)語

對于數(shù)據(jù)挖掘，現(xiàn)在全球都處于一個起步的研究階段，無論是科學(xué)理論、科學(xué)方法，還是各種軟件技術(shù)都不是很成熟，但是由于其能融合各種數(shù)據(jù)分析、工程知識、各種統(tǒng)計數(shù)據(jù)、交互環(huán)境等各種學(xué)科的特點，對人類有很大的應(yīng)用價值.

〔1〕謝冬.淺談統(tǒng)計數(shù)據(jù)挖掘的方法及應(yīng)用[J].計算機光盤軟件與應(yīng)用,2012(5):69-85.

〔2〕郭佳.數(shù)據(jù)挖掘技術(shù)方法的研究[J].中國新技術(shù)新產(chǎn)品, 2011(23):22.

〔3〕李明江,唐穎,周力軍.數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國新通信,2012(12):66-74.

〔4〕陳鳳蘭.數(shù)據(jù)挖掘技術(shù)在經(jīng)濟統(tǒng)計中的應(yīng)用[J].現(xiàn)代商業(yè), 2010(5):128-130.

TP311.13

A

1673-260X（2014）03-0022-02