一、引言

隨著信息時(shí)代的到來、INTERNET技術(shù)的發(fā)展，商業(yè)決策系統(tǒng)的功能變得越來越多樣化。目前所使用的數(shù)據(jù)庫技術(shù)無法將隱藏在數(shù)據(jù)背后的重要信息挖掘出來利用，所以如何迅速、準(zhǔn)確、有效但適量地提供用戶所需的信息，發(fā)現(xiàn)信息之間潛在的聯(lián)系，支持管理決策就是數(shù)據(jù)挖掘要解決的課題。隨著市場的開放、外資公司的介入，商業(yè)競爭逐步升級，群雄逐鹿已成定局。如何保持自身的核 心競爭力，使自己始終立于不敗之地，是每個(gè)企業(yè)必須面對的問題。數(shù)據(jù)挖掘技術(shù)的應(yīng)用無疑是提高企業(yè)競爭力的有效手段之一。本文主要討論了數(shù)據(jù)挖掘技術(shù)的概念以及應(yīng)用。

二、什么是數(shù)據(jù)挖掘

1.數(shù)據(jù)挖掘概述

當(dāng)今數(shù)據(jù)庫的容量已經(jīng)達(dá)到上萬億的水平（T）——1，000，000，000，000個(gè)字節(jié)。在這些大量數(shù)據(jù)的背后隱藏了很多具有決策意義的信息，那么怎么得到這些“知識”呢？也就是怎樣通過一顆顆的樹木了解到整個(gè)森林的情況？

計(jì)算機(jī)科學(xué)對這個(gè)問題給出的最新回答就是：數(shù)據(jù)挖掘，數(shù)據(jù)挖掘（Data Mining，DM）是指從大量不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、有用的信息和知識的過程。大部分的人認(rèn)為數(shù)據(jù)挖掘和數(shù)據(jù)庫是等價(jià)的概念。數(shù)據(jù)挖掘是隨著科學(xué)技術(shù)的迅速發(fā)展、數(shù)據(jù)庫規(guī)模的日益擴(kuò)大以及人們對數(shù)據(jù)庫中潛在信息資源的需求而迅速發(fā)展起來的。它是數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析、模糊邏輯等學(xué)科相結(jié)合的產(chǎn)物。數(shù)據(jù)挖掘的對象不僅是結(jié)構(gòu)化數(shù)據(jù)庫，也可以是半結(jié)構(gòu)化的超文本文件，甚至是非結(jié)構(gòu)化的多媒體。而數(shù)據(jù)倉庫上面的數(shù)據(jù)挖掘，將是數(shù)據(jù)挖掘技術(shù)應(yīng)用的主流。

2.數(shù)據(jù)挖掘的流程

數(shù)據(jù)挖掘一般由數(shù)據(jù)準(zhǔn)備、挖掘操作、結(jié)果表達(dá)和解釋三個(gè)主要階段組成。在數(shù)據(jù)準(zhǔn)備階段應(yīng)集成多個(gè)運(yùn)作數(shù)據(jù)源中的數(shù)據(jù)，解決語義模糊性、處理遺漏數(shù)據(jù)、清洗臟數(shù)據(jù)。挖掘階段是一個(gè)假設(shè)產(chǎn)生、合成、修正和驗(yàn)證傳播的過程，也是上述三個(gè)階段的核心。結(jié)果表達(dá)和解釋階段根據(jù)最終用戶的決策目的把提取的有用信息正確地表達(dá)出來。

(1)數(shù)據(jù)準(zhǔn)備可分為:問題定義、數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)集成。在問題定義階段，數(shù)據(jù)挖掘人員必須與領(lǐng)域?qū)＜液妥罱K用戶緊密合作，明確實(shí)際工作的要求，確定可用的學(xué)習(xí)算法;在數(shù)據(jù)選擇階段，確定需要分析的數(shù)據(jù)集合，即目標(biāo)數(shù)據(jù)，以提高數(shù)據(jù)挖掘的質(zhì)量；數(shù)據(jù)預(yù)處理是為了克服目前數(shù)據(jù)挖掘工具的局限性;數(shù)據(jù)集成是將多文件或多數(shù)據(jù)庫運(yùn)行環(huán)境中的數(shù)據(jù)進(jìn)行合并處理，解決語義的模糊性，處理數(shù)據(jù)中的遺漏和清洗受污染的數(shù)據(jù)等。

(2)在數(shù)據(jù)挖掘操作執(zhí)行階段，首先必須根據(jù)對問題的定義明確挖掘的任務(wù)和目的，比如分類、聚類、關(guān)聯(lián)規(guī)則的挖掘或序列模式的挖掘等。在確定了挖掘任務(wù)之后，就要決定選用什么挖掘算法。在選擇挖掘算法時(shí)應(yīng)考慮：一是不同的數(shù)據(jù)有各自不同的特點(diǎn)，應(yīng)該選用不同的挖掘算法；二是用戶或?qū)嶋H系統(tǒng)的要求。

(3)先對提取的信息進(jìn)行分析，然后通過決策支持工具提交給決策者。該階段不僅要把結(jié)果表達(dá)出來，而且數(shù)據(jù)挖掘系統(tǒng)會采用解釋和推理機(jī)制，將這些知識直接提供給決策者，或提供給領(lǐng)域?qū)＜?，以修正已有知識庫，供系統(tǒng)共享。如果不滿意，需要重復(fù)以上知識發(fā)現(xiàn)的過程。

三、數(shù)據(jù)倉庫

1.數(shù)據(jù)倉庫概述

提到數(shù)據(jù)挖掘就要介紹一下數(shù)據(jù)倉庫技術(shù)。建立數(shù)據(jù)倉庫的目的，是把企業(yè)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)進(jìn)行有效的集成，為企業(yè)的各層決策、分析人員使用。企業(yè)內(nèi)部數(shù)據(jù)是指通過業(yè)務(wù)系統(tǒng)收集到的數(shù)據(jù)，這些數(shù)據(jù)可能分布在不同的硬件、數(shù)據(jù)庫、網(wǎng)絡(luò)環(huán)境中，為不同的業(yè)務(wù)部門服務(wù)。比如對一個(gè)制造業(yè)用戶來說，可能有生產(chǎn)數(shù)據(jù)、銷售數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、市場數(shù)據(jù)、人事數(shù)據(jù)等等，所有這些數(shù)據(jù)從結(jié)構(gòu)上看，是相對獨(dú)立的，是不利于企業(yè)決策者進(jìn)行全面分析和查詢的。如果我們針對決策者的需求，對這引起數(shù)據(jù)進(jìn)行結(jié)構(gòu)上的重組，按更方便決策分析的角度去設(shè)計(jì)，并且充分考慮今后的擴(kuò)展性與外部數(shù)據(jù)的接口，會對企業(yè)的寶貴資源——數(shù)據(jù)，實(shí)現(xiàn)真正的信息價(jià)值。

2.數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)

(1)數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等。

(2)數(shù)據(jù)的存儲與管理：是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。

(3)OLAP服務(wù)器:對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。其具體實(shí)現(xiàn)可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。

(4)前端工具：主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器，報(bào)表工具、數(shù)據(jù)挖掘工具主要針對數(shù)據(jù)倉庫。

四、數(shù)據(jù)挖掘技術(shù)在商業(yè)決策中的應(yīng)用

在市場經(jīng)濟(jì)的激烈競爭中，企業(yè)必須把業(yè)務(wù)經(jīng)營同市場需求聯(lián)系起來，在此基礎(chǔ)上做出科學(xué)、正確的決策，以求生存。數(shù)據(jù)倉庫可以建立一種體系化的數(shù)據(jù)存貯環(huán)境，將分析決策所需的大量數(shù)據(jù)從傳統(tǒng)的操作環(huán)境中分離出來，使分散的、不一致的操作數(shù)據(jù)轉(zhuǎn)換成集成的、統(tǒng)一的信息，企業(yè)內(nèi)不同單位的成員都可以在此單一的環(huán)境之下，通過運(yùn)用其中的數(shù)據(jù)與信息，發(fā)現(xiàn)全新的視野和新的問題、新的分析與想法，進(jìn)而發(fā)展出制度化的決策系統(tǒng)，并獲取更多經(jīng)營效益。

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。