王 旭

摘要:數(shù)據(jù)挖掘,是指從大量、不完全、有噪聲、模糊、隨機(jī)的數(shù)據(jù)中,通過設(shè)置一定的學(xué)習(xí)算法,提取隱含在其中的,人們事先不知道但又是潛在有用的信息的過程。數(shù)據(jù)挖掘的歷史雖然較短,但從20世紀(jì)90年代以來,它的發(fā)展速度很快。在各行各業(yè),各個領(lǐng)域發(fā)揮了巨大的作用。

關(guān)鍵詞 :數(shù)據(jù)挖掘技術(shù);應(yīng)用

1 數(shù)據(jù)挖掘技術(shù)簡介

近年來,隨著科學(xué)技術(shù)飛速的發(fā)展,各行各業(yè)都迅速發(fā)展。與此同時,在各個領(lǐng)域產(chǎn)生了大量的數(shù)據(jù),如人類對太空的探索,銀行每天的巨額交易數(shù)據(jù)。隨著信息技術(shù)在各個領(lǐng)域的普遍使用,人們在社會信息化的進(jìn)程中已經(jīng)建立了數(shù)以百萬計的數(shù)據(jù)庫系統(tǒng)。但是面對不斷增加的海量數(shù)據(jù),人們不再滿足于數(shù)據(jù)庫的功能。其實(shí),這類數(shù)據(jù)有如礦藏資源一樣,通過挖掘,還可產(chǎn)生知識和財富。于是,人們結(jié)合統(tǒng)計學(xué)、數(shù)據(jù)庫、機(jī)器學(xué)習(xí)等技術(shù),提出數(shù)據(jù)挖掘來解決這一難題。

概念

數(shù)據(jù)挖掘(Data Mining,簡稱DM),就是從大量數(shù)據(jù)中及時有效地提取隱含其中的、未知的、有用的、不一般的信息和知識。數(shù)據(jù)挖掘的廣義觀點(diǎn):數(shù)據(jù)挖掘就是從存放在數(shù)據(jù)庫,數(shù)據(jù)倉庫或其他信息庫中的大量的數(shù)據(jù)中"挖掘"更多知識的過程。數(shù)據(jù)挖掘,又稱為數(shù)據(jù)庫中知識發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)。

數(shù)據(jù)挖掘的一般過程

(1)數(shù)據(jù)清理,(2)數(shù)據(jù)集成,(3)數(shù)據(jù)選擇,(4)數(shù)據(jù)變換,(5)數(shù)據(jù)挖掘,(6)模式評估,(7)知識表示。數(shù)據(jù)挖掘可以與用戶或知識庫交互。

分類

按數(shù)據(jù)源分類,有關(guān)系數(shù)據(jù)庫的數(shù)據(jù)挖掘、數(shù)據(jù)倉庫的數(shù)據(jù)挖掘、面向?qū)ο髷?shù)據(jù)庫的數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、各種專用數(shù)據(jù)庫(空間、多媒體等)的數(shù)據(jù)挖掘等。按所發(fā)現(xiàn)的知識類別分類,有關(guān)聯(lián)規(guī)則、時序規(guī)則、轉(zhuǎn)移規(guī)則、分類分析、聚類分析、趨勢和偏差分析等。

2 數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域的應(yīng)用

2.1 在軍事科研上的應(yīng)用

數(shù)據(jù)挖掘技術(shù)最早應(yīng)用在天文學(xué)上。由機(jī)器學(xué)習(xí)、類型辨識及統(tǒng)計等技術(shù),在短短四小時內(nèi)所發(fā)現(xiàn)的行星勝過20多位天文學(xué)家4年的研究成果。數(shù)據(jù)挖掘技術(shù)不斷地為科學(xué)研究尋找突破口。為氣象的研究,生物技術(shù)的研究等提供了有力的工具。

在現(xiàn)在戰(zhàn)爭中,信息化戰(zhàn)場是戰(zhàn)爭的重要組成部分。數(shù)據(jù)挖掘之所以被廣泛運(yùn)用于信息化戰(zhàn)場,就在于其具有預(yù)測和描述兩大功能。預(yù)測是根據(jù)已有的數(shù)據(jù)模樣和專家知識建立識別模式,預(yù)測其趨勢和結(jié)果。信息化戰(zhàn)場由一系列瞬時事件組成,數(shù)據(jù)挖掘能發(fā)現(xiàn)已有的數(shù)據(jù)庫與新近發(fā)生的戰(zhàn)場事件間的聯(lián)系,預(yù)測將要發(fā)生的事件,這對奪取戰(zhàn)場決策優(yōu)勢和行動優(yōu)勢至關(guān)重要。描述是信息推演信息,揭示已有信息更深層的內(nèi)在表達(dá),指從現(xiàn)實(shí)數(shù)據(jù)庫中發(fā)現(xiàn)和抽取未知的、有價值的和可理解的模式。信息,既反映表象,又反映本質(zhì)。只有把信息放在相關(guān)聯(lián)的環(huán)境中,通過挖掘發(fā)現(xiàn)反映事物本質(zhì)的真相。

伊拉克戰(zhàn)爭開始前,美軍就利用其高技術(shù)信息情報手段,對伊拉克進(jìn)行了長期、全面和深入的監(jiān)視與情報收集工作,掌握了大量政治、經(jīng)濟(jì)和軍事情報。以此為基礎(chǔ),通過數(shù)據(jù)挖掘,美軍對各種作戰(zhàn)方案進(jìn)行了充分論證和演練。戰(zhàn)前,美中央總部還利用數(shù)據(jù)挖掘等技術(shù)制定了“聯(lián)合一體化目標(biāo)清單”,其中包括多達(dá)25240個攻擊目標(biāo),僅針對伊領(lǐng)導(dǎo)集團(tuán)及其控制能力的目標(biāo)就有4559個。在戰(zhàn)爭中,美利用龐大的情報偵察網(wǎng)繼續(xù)大規(guī)模收集情報,并與以前數(shù)據(jù)庫融合,挖掘出許多新的信息,預(yù)測敵方可能的行動,為其讓世人驚異的高速突擊作戰(zhàn)提供了有力保證。

2.2在教育、醫(yī)療服務(wù)上的應(yīng)用

目前,我國大中型醫(yī)院都建立了醫(yī)院信息系統(tǒng)(HIS),它可以對大量醫(yī)療數(shù)據(jù)進(jìn)行交流共享和查詢。隨著大型醫(yī)院信息管理系統(tǒng)的發(fā)展,有關(guān)病人和疾病的數(shù)據(jù)日益增多,利用數(shù)據(jù)挖掘技術(shù)在龐大的數(shù)據(jù)中發(fā)現(xiàn)有用的信息,更充分地利用這些信息,就可以為廣大患者提供更有效的服務(wù),并能發(fā)現(xiàn)醫(yī)院運(yùn)作的基本規(guī)律,預(yù)測醫(yī)院發(fā)展的趨勢,為管理者決策提供有價值的信息,為發(fā)展新的醫(yī)療方法提供理論支持。由于醫(yī)學(xué)信息自身的特殊性和復(fù)雜性,與常規(guī)數(shù)據(jù)挖掘相比,在挖掘?qū)ο蟮膹V泛性、挖掘算法的高效性和魯棒性、提供知識或決策的準(zhǔn)確性方面有著更高的要求,數(shù)據(jù)挖掘技術(shù)在醫(yī)學(xué)上的應(yīng)用將會出現(xiàn)更多亟待解決的問題。隨著數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展,數(shù)據(jù)挖掘在醫(yī)學(xué)領(lǐng)域中將有更重要的實(shí)用價值和更為廣闊的發(fā)展前景。

隨著信息化的深入,教育信息化帶來了信息量的迅速增長和對信息提取的更高要示,我們很難再按照傳統(tǒng)方法在如此大量的數(shù)據(jù)中尋找決策的依據(jù),數(shù)據(jù)挖掘技術(shù)的發(fā)展給我們帶來了很好的工具去發(fā)掘數(shù)據(jù)中隱藏的規(guī)律或模式,為教育教學(xué)決策提供科學(xué)依據(jù)。數(shù)據(jù)挖掘技術(shù)可以應(yīng)用于教育信息化的各個方面如教學(xué)評價、合理設(shè)置課程、指導(dǎo)學(xué)生選課、進(jìn)行學(xué)習(xí)者特征分析、實(shí)現(xiàn)網(wǎng)絡(luò)教育個性化與智能化。

2.3在商業(yè)金融上的應(yīng)用

數(shù)據(jù)挖掘所要處理的問題,就是在龐大的數(shù)據(jù)庫中找出有價值的隱藏事件,并且加以分析,獲取有意義的信息,歸納出有用的結(jié)構(gòu),作為企業(yè)進(jìn)行決策的依據(jù)。其應(yīng)用非常廣泛,只要該產(chǎn)業(yè)有分析價值與需求的數(shù)據(jù)庫,皆可利用Mining工具進(jìn)行有目的的發(fā)掘分析。商家從顧客購買商品中發(fā)現(xiàn)一定的關(guān)系,提供打折購物券等,提高銷售額;保險公司通過數(shù)據(jù)挖掘建立預(yù)測模型,辨別出可能的欺詐行為,避免風(fēng)險,減少損失,提高利潤;電子商務(wù)的作用越來越大,可以用數(shù)據(jù)挖掘?qū)W(wǎng)站進(jìn)行分析,識別用戶的行為模式,保留客戶,提供個性化服務(wù),優(yōu)化網(wǎng)站設(shè)計。

例如:銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別,就可以根據(jù)這些來區(qū)分新申請貸款的客戶,以采取相應(yīng)的貸款方案。用聚類的方法將申請人分為高度風(fēng)險申請者,中度風(fēng)險申請者,低度風(fēng)險申請者。利用關(guān)聯(lián)規(guī)則和序列模式發(fā)現(xiàn)今天銀行調(diào)整利率,明天股市的變化情況。利用預(yù)測的方法對未來經(jīng)濟(jì)發(fā)展做出判斷,指導(dǎo)利率的調(diào)整。在銀行的100萬筆交易中有500例的欺詐行為,銀行為了穩(wěn)健經(jīng)營,就要發(fā)現(xiàn)這500例的內(nèi)在因素,減小以后經(jīng)營的風(fēng)險。就可以運(yùn)用利用偏差的檢測。

2.4其他

近年來,隨著信息技術(shù)的發(fā)展,我國政府網(wǎng)站建設(shè)得到了迅猛的發(fā)展。政府網(wǎng)站的作用除了作為政府實(shí)現(xiàn)政務(wù)信息公開,服務(wù)企業(yè)和社會公眾參與的平臺以外,還有一個重要的作用就是為政府決策提供有效地支持。通過數(shù)據(jù)挖掘技術(shù)對用戶的建議或投訴文本進(jìn)行自動分詞,采用聚類分析方法,實(shí)現(xiàn)對建議或投訴問題的自動分類,再通過數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)數(shù)據(jù)的二次聚類,進(jìn)行關(guān)聯(lián)性分析,最終形成分析報告,發(fā)出預(yù)警預(yù)測信息。達(dá)到為政府決策提供有效支持的目的。

此外,數(shù)據(jù)挖掘技術(shù)在諸如公共氣象服務(wù)中,在通信行業(yè)中也得到了有效的利用。

數(shù)據(jù)挖掘技術(shù)在企業(yè)中的應(yīng)用目前主要集中在市場推廣方面。應(yīng)用于工業(yè)制造生產(chǎn)流程還處于理論研究和初步實(shí)踐階段。

3總結(jié)

目前,無論廠商、集成商還是學(xué)術(shù)界,基本上都認(rèn)同一個觀點(diǎn),即:數(shù)據(jù)挖掘在技術(shù)上已經(jīng)趨于成熟,現(xiàn)在更重要的就是如何拓展行業(yè)應(yīng)用。數(shù)據(jù)挖掘技術(shù)已經(jīng)到了一個普及化的階段。

從行業(yè)應(yīng)用來看,目前大多數(shù)的用戶都來自電信、銀行、保險、稅務(wù)等領(lǐng)域。應(yīng)用主題則主要包含:消費(fèi)者行為分析、信用評分與風(fēng)險管理、欺詐行為偵測、購物籃分析等方面。綜合國內(nèi)外的發(fā)展趨勢,可以看到的是,大型連鎖商店和高科技制造產(chǎn)業(yè)也將成為應(yīng)用數(shù)據(jù)挖掘技術(shù)的重要領(lǐng)域。數(shù)據(jù)挖掘技術(shù)必將得到更為廣泛,更為深入的應(yīng)用。

參考文獻(xiàn)

[1]范明,范宏建 數(shù)據(jù)挖掘?qū)д揫M] 北京:人民郵電出版社。

[2]Feldman R,Dagan I Knowledge discovery in textual databases(KDT)[c].Montreal,Canada,prog of 1st INt'l Conf on Knowledge Discovery and Data Mining,1995.

[3]姜代紅 數(shù)據(jù)挖掘用其在HIS系統(tǒng)中的應(yīng)用[J].電腦與信息技術(shù),2004

[4]田卉 用數(shù)據(jù)挖掘技術(shù)構(gòu)建政府智能化網(wǎng)絡(luò)投訴平臺[J]政務(wù)辦公.2009