張德才

數(shù)據(jù)挖掘的目的是把人工智能、機(jī)器學(xué)習(xí)與數(shù)據(jù)庫(kù)等技術(shù)結(jié)合起來,由計(jì)算機(jī)自動(dòng)從已有數(shù)據(jù)(數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù))中發(fā)現(xiàn)以前未知的,具有潛在應(yīng)用價(jià)值的信息或模式,解決數(shù)據(jù)量很大而知識(shí)貧乏的矛盾。到目前為止,已經(jīng)形成了較完整的數(shù)據(jù)挖掘理論和方法體系,并且出現(xiàn)了許多實(shí)用的數(shù)據(jù)挖掘工具,廣泛應(yīng)用于商業(yè)、保險(xiǎn)、醫(yī)療、制造業(yè)、工程和科學(xué)等領(lǐng)域,產(chǎn)生了巨大的效益。

數(shù)據(jù)挖掘技術(shù)目前還處在早期的研究階段,但發(fā)展迅速,表現(xiàn)出極強(qiáng)的發(fā)展?jié)摿蛻?yīng)用前景。本文通過介紹數(shù)據(jù)挖掘技術(shù)的基本概念,數(shù)據(jù)挖掘方法,總結(jié)數(shù)據(jù)挖掘技術(shù)研究現(xiàn)狀及其在巖土工程應(yīng)用中研究進(jìn)展,對(duì)數(shù)據(jù)挖掘技術(shù)應(yīng)用現(xiàn)狀作出評(píng)價(jià),并對(duì)數(shù)據(jù)挖掘技術(shù)在巖土工程中的應(yīng)用給出一定評(píng)價(jià)。

1 數(shù)據(jù)挖掘基本知識(shí)

1)數(shù)據(jù)挖掘的定義。數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、人們事先未知的,但又是潛在的、有用的信息和知識(shí)的過程。2)數(shù)據(jù)挖掘的過程。數(shù)據(jù)挖掘是按照既定的目標(biāo),對(duì)大量的數(shù)據(jù)進(jìn)行探索和分析,揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性,且進(jìn)一步將其模型化的數(shù)據(jù)處理方法。其處理過程和步驟主要有數(shù)據(jù)準(zhǔn)備階段、數(shù)據(jù)挖掘階段以及結(jié)果解釋和評(píng)價(jià)階段。3)數(shù)據(jù)挖掘的主要技術(shù)方法。分類:是指將數(shù)據(jù)映射到預(yù)先定義好的群組或類。在分析測(cè)試數(shù)據(jù)之前,類別就已經(jīng)被確定了,所以分類通常稱作有指導(dǎo)的學(xué)習(xí)。聚類:是指從數(shù)據(jù)集中找出相似的數(shù)據(jù)并組成不同的組。除了類別沒有預(yù)先定義而由數(shù)據(jù)決定之外,聚類與分類很相似。聚類被稱為無指導(dǎo)的學(xué)習(xí)或分割。關(guān)聯(lián)規(guī)則:是指揭示數(shù)據(jù)之間相互關(guān)系的一項(xiàng)數(shù)據(jù)挖掘任務(wù),而這種關(guān)系在數(shù)據(jù)中沒有直接表示。時(shí)間序列分析:分析數(shù)據(jù)的屬性值隨時(shí)間不斷變化的規(guī)律。主要包括序列的相似性分析、趨勢(shì)預(yù)測(cè)和異常處理幾個(gè)方面。序列模式發(fā)現(xiàn):用于確定數(shù)據(jù)之間與時(shí)間相關(guān)的序列模式。

2 數(shù)據(jù)挖掘技術(shù)研究進(jìn)展

1989年8月,在美國(guó)底特律市召開的第一屆國(guó)際聯(lián)合人工智能學(xué)術(shù)會(huì)議上正式形成了知識(shí)發(fā)現(xiàn)的概念,人們終于認(rèn)識(shí)到,很多知識(shí)原來就隱藏在大量的數(shù)據(jù)之中。從數(shù)據(jù)庫(kù)中通過數(shù)據(jù)庫(kù)管理系統(tǒng)和應(yīng)用程序可以獲得信息,而從數(shù)據(jù)庫(kù)中通過一個(gè)知識(shí)發(fā)現(xiàn)的工具應(yīng)當(dāng)可以獲得知識(shí),這些知識(shí)可以自動(dòng)構(gòu)成計(jì)算機(jī)專家系統(tǒng)的知識(shí)庫(kù),引起了人們對(duì)從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)的極大興趣。從1995年起,美國(guó)人工智能協(xié)會(huì)每年舉行一次知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database,KDD)國(guó)際學(xué)術(shù)會(huì)議,把對(duì)數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的研究推向了高潮。1997年,第一屆亞太地區(qū)數(shù)據(jù)挖掘會(huì)議召開(Pacific-Asia Conference on Knowledge Discovery and Data Mining,PAKDD),以后也是每年一次。歐洲的第一屆數(shù)據(jù)挖掘討論會(huì)(European Symposium on Principles of Data Mining and Knowledge Discovery,PKDD)也于1997年召開。

與國(guó)外相比,國(guó)內(nèi)對(duì)數(shù)據(jù)挖掘的研究稍晚。1993年國(guó)家自然科學(xué)基金開始對(duì)數(shù)據(jù)挖掘進(jìn)行研究,1999年在北京舉行了第三屆亞太地區(qū)KDD國(guó)際會(huì)議。國(guó)內(nèi)從事數(shù)據(jù)挖掘研究的人員主要在大學(xué),也有部分在研究所或公司。國(guó)內(nèi)許多科研單位和高等院校競(jìng)相開展數(shù)據(jù)挖掘的基礎(chǔ)理論及其應(yīng)用研究,這些單位包括清華大學(xué)、中科院計(jì)算技術(shù)研究所、空軍第三研究所、海軍裝備論證中心等。國(guó)內(nèi)在數(shù)據(jù)挖掘研究上取得了豐碩的成果。

對(duì)數(shù)據(jù)挖掘的基礎(chǔ)理論研究大多側(cè)重算法的研究,應(yīng)用系統(tǒng)方面則相應(yīng)出臺(tái)了許多商業(yè)數(shù)據(jù)挖掘工具。數(shù)據(jù)挖掘技術(shù)的應(yīng)用主要體現(xiàn)在三大方面:商業(yè)應(yīng)用、科學(xué)研究和Web挖掘。最早應(yīng)用于商業(yè),如對(duì)顧客數(shù)據(jù)庫(kù)進(jìn)行分析,預(yù)測(cè)潛在用戶以便向他們推銷產(chǎn)品;分析市場(chǎng)營(yíng)銷數(shù)據(jù),識(shí)別顧客的購(gòu)買行為模式,以及輔助證券投資、信用卡欺詐估測(cè)、預(yù)測(cè)流失顧客和識(shí)別違法金融交易等。

數(shù)據(jù)挖掘?qū)ο笫悄骋粚I(yè)領(lǐng)域中積累的數(shù)據(jù),挖掘過程是一個(gè)人機(jī)交互、多次反復(fù)的過程,數(shù)據(jù)挖掘的結(jié)果再應(yīng)用于該領(lǐng)域的決策或規(guī)劃。在科學(xué)研究領(lǐng)域,如生物技術(shù)、氣象、水文、醫(yī)學(xué)等學(xué)科,都有數(shù)據(jù)挖掘技術(shù)應(yīng)用的例子。王鵬(2006年)運(yùn)用回歸和主成分—回歸分析技術(shù)對(duì)水文數(shù)據(jù)變化規(guī)律和趨勢(shì)進(jìn)行了研究,發(fā)現(xiàn)了水文數(shù)據(jù)中蘊(yùn)藏的變化規(guī)律,為洪水預(yù)報(bào)、防洪調(diào)度方面提供了決策依據(jù)。吳愛華(2007年)建立了多元回歸和人工神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型,并用于水文流量和洪水預(yù)報(bào)。王峰(2006年)對(duì)經(jīng)典關(guān)聯(lián)規(guī)則Apriori算法進(jìn)行了改進(jìn),并將其應(yīng)用于交通管理數(shù)據(jù)挖掘中。高祥濤(2004年)運(yùn)用相似性查找以及聚類分析的原理,對(duì)水文相似年進(jìn)行了數(shù)據(jù)挖掘研究,得到了有意義的結(jié)論。藺建華(2007年)通過對(duì)數(shù)據(jù)挖掘理論、決策樹算法和降雨匯流過程進(jìn)行深入的研究,引入聚類分析方法作改進(jìn)決策樹方法,研究了基于聚類分析和決策樹分類的流域洪峰流量預(yù)測(cè)算法,并成功應(yīng)用于小流域洪峰量級(jí)的預(yù)測(cè)。

3 數(shù)據(jù)挖掘技術(shù)在巖土工程中的研究進(jìn)展

在土木巖土工程領(lǐng)域,數(shù)據(jù)挖掘技術(shù)的應(yīng)用尚處于起步階段,研究難度也較大。目前僅有為數(shù)不多的有關(guān)嚴(yán)格意義上的數(shù)據(jù)挖掘的應(yīng)用成果。

聚類數(shù)據(jù)挖掘技術(shù)研究方面,周成虎(1999年)基于最大信息熵減原理,探討了地學(xué)數(shù)據(jù)屬性要素的子集劃分產(chǎn)生多維屬性關(guān)聯(lián)規(guī)則,以及通過空間和時(shí)間的子集分割來進(jìn)行聚類的方法。布和敖斯?fàn)?1999年)提出了基于知識(shí)發(fā)現(xiàn)和決策規(guī)則基礎(chǔ)的鹽堿地GIS和遙感分類的方法。

應(yīng)用數(shù)據(jù)挖掘技術(shù)進(jìn)行巖土工程試驗(yàn)結(jié)果的因素分析方面,肖慶華(2004年)運(yùn)用決策樹算法信息增益技術(shù)對(duì)邊坡巖體流變?cè)囼?yàn)成果進(jìn)行了影響因素的相關(guān)性分析、運(yùn)用Logistic回歸算法對(duì)壩基巖體進(jìn)行了質(zhì)量評(píng)價(jià)分級(jí)和運(yùn)用SAS工具對(duì)地下洞室監(jiān)測(cè)位移序列進(jìn)行了預(yù)測(cè)分析,得到了一些有用的結(jié)論,在巖土工程數(shù)據(jù)挖掘方面進(jìn)行了有益的探索。

在數(shù)據(jù)挖掘技術(shù)的關(guān)聯(lián)規(guī)則研究方面,馮夏庭,馬平波(2000年)在經(jīng)典的Apriori算法中考慮負(fù)屬性(否定屬性)對(duì)關(guān)聯(lián)規(guī)則的算法進(jìn)行了改進(jìn),并將改進(jìn)后的算法應(yīng)用于對(duì)深部采場(chǎng)巖爆和地下洞室圍巖穩(wěn)定性的判別。周科平(2002年)根據(jù)獲得的現(xiàn)場(chǎng)資料,應(yīng)用經(jīng)典的Apriori算法,對(duì)影響采場(chǎng)穩(wěn)定性的因素進(jìn)行關(guān)聯(lián)規(guī)則挖掘,從而有效地預(yù)測(cè)了礦山采場(chǎng)穩(wěn)定性的動(dòng)態(tài)變化規(guī)律。張治強(qiáng)(2003年)應(yīng)用Apriori算法,考慮邊坡的地形、巖體和外在影響因素三大類,建立邊坡穩(wěn)定性預(yù)測(cè)的智能模型,對(duì)邊坡的穩(wěn)定性和破壞方式進(jìn)行了預(yù)測(cè)。馬水山(2004年)根據(jù)現(xiàn)場(chǎng)監(jiān)測(cè)資料,對(duì)地下水、降雨、江水位與滑坡測(cè)點(diǎn)位移之間的關(guān)系進(jìn)行了關(guān)聯(lián)規(guī)則挖掘,得到了對(duì)滑坡監(jiān)測(cè)有指導(dǎo)意義的結(jié)論。

在數(shù)據(jù)挖掘技術(shù)的分類挖掘方法方面,趙建華(2004年)對(duì)多因素影響下的滑坡,應(yīng)用決策樹算法理論建立滑坡的危險(xiǎn)性區(qū)劃評(píng)價(jià)模型,實(shí)現(xiàn)了滑坡災(zāi)害的區(qū)域評(píng)價(jià)。肖慶華(2004年)運(yùn)用決策樹算法信息增益技術(shù)對(duì)邊坡巖體流變?cè)囼?yàn)成果進(jìn)行了影響因素的分析。亓呈明(2006年)應(yīng)用決策樹C4.5改進(jìn)算法生成一組坡體穩(wěn)定性規(guī)則,并用于對(duì)滑坡的成因分析。于國(guó)新(2007年)采用信息增益技術(shù)分析了結(jié)構(gòu)面各個(gè)屬性對(duì)隧道圍巖分級(jí)的貢獻(xiàn)大小及作用的程度,提出了圍巖分級(jí)預(yù)測(cè)方法。

在粗糙集挖掘方法應(yīng)用方面,周科平(2003年)通過運(yùn)用粗糙集數(shù)據(jù)挖掘技術(shù)對(duì)影響邊坡穩(wěn)定性的主要因素進(jìn)行分析,從大量雜亂的參數(shù)中發(fā)現(xiàn)了有用的決策規(guī)則,為邊坡穩(wěn)定性分析提供了一種方法和思路。影響邊坡穩(wěn)定性的主要因素(如巖性、滑床、風(fēng)化、降雨量、坡高、人類活動(dòng)、界面等)的重要度以及它們之間的相互影響,運(yùn)用基于粗糙集理論的數(shù)據(jù)挖掘技術(shù)進(jìn)行分析,可以得出邊坡穩(wěn)定性程度的量化結(jié)果。說明粗糙集理論不僅可以用于分類,也可以用于特征歸納(以識(shí)別和刪除無助于給定訓(xùn)練數(shù)據(jù)分類的屬性)和相關(guān)分析(以根據(jù)分類任務(wù)評(píng)估每個(gè)屬性的貢獻(xiàn)和意義),這樣可以最終挖掘出準(zhǔn)確、有效的,并為人們所易于理解的結(jié)果。這些特點(diǎn)充分證實(shí),粗糙集數(shù)據(jù)挖掘技術(shù)為邊坡穩(wěn)定性參數(shù)分析提供了一條準(zhǔn)確、方便的途徑,比傳統(tǒng)的分析方法要有效得多。

應(yīng)用智能算法進(jìn)行廣義的數(shù)據(jù)挖掘應(yīng)用成果較多,典型的研究算法為支持向量機(jī)算法。位移是巖體結(jié)構(gòu)在開挖或變形過程中反饋出的一個(gè)重要信息,通過對(duì)巖體結(jié)構(gòu)位移的實(shí)時(shí)監(jiān)測(cè),可以及時(shí)了解巖體結(jié)構(gòu)的穩(wěn)定狀態(tài)的變化情況,并按照需要對(duì)其進(jìn)行穩(wěn)定性控制。劉開云(2004年)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的數(shù)據(jù)挖掘算法——支持向量機(jī)算法,編寫了不同的核函數(shù)支持向量機(jī)算法,對(duì)邊坡位移監(jiān)測(cè)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)、回歸和預(yù)測(cè),提高了邊坡位移預(yù)測(cè)精度。

4 結(jié)語

雖然數(shù)據(jù)挖掘技術(shù)已經(jīng)廣泛應(yīng)用于銀行、電信、保險(xiǎn)、交通、零售(如超級(jí)市場(chǎng))等商業(yè)領(lǐng)域,但在科學(xué)研究領(lǐng)域的應(yīng)用還相對(duì)較少,尤其是在滑坡監(jiān)測(cè)資料分析方面的應(yīng)用尚不多見。數(shù)據(jù)挖掘的主要任務(wù)有總結(jié)規(guī)則挖掘、關(guān)聯(lián)規(guī)則挖掘、分類規(guī)則挖掘、聚類規(guī)則挖掘、趨勢(shì)分析和偏差分析等。常用的數(shù)據(jù)挖掘方法有統(tǒng)計(jì)、基于事例的推理、神經(jīng)網(wǎng)絡(luò)、決策樹、規(guī)則推理、貝葉斯信念網(wǎng)絡(luò)、遺傳算法/演化程序設(shè)計(jì)、模糊集及粗糙集等方法。

[1]劉傳正,楊 冰.三峽庫(kù)區(qū)地質(zhì)災(zāi)害調(diào)查評(píng)價(jià)與監(jiān)測(cè)預(yù)警新思維[J].工程地質(zhì)學(xué)報(bào),2001(10):41.

[2]董 元,張時(shí)忠.三峽庫(kù)區(qū)地質(zhì)災(zāi)害監(jiān)測(cè)預(yù)警信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].安全與環(huán)境工程,2008(6):67-68.

[3]肖慶華.巖石力學(xué)與工程中數(shù)據(jù)挖掘技術(shù)的應(yīng)用[D].南京:河海大學(xué)博士學(xué)位論文,2002.

[4]劉 濤.基于數(shù)據(jù)挖掘的地鐵車站基坑工程安全評(píng)估與變形預(yù)測(cè)研究[D].上海:同濟(jì)大學(xué)博士學(xué)位論文,2007.

[5]劉傳正.突發(fā)性地質(zhì)災(zāi)害的監(jiān)測(cè)預(yù)警問題[J].水文地質(zhì)工程地質(zhì),2005(3):81-82.

[6]M.G.Angelia,A.Pasuto,S.Silvano.A critical review of landslide monitoring experiences[J].Engineering Geology,2007(3):11-12.

[7]Harp EL,Reid ME,McKenna JP,et al.Mapping of hazard from rainfall-triggered landslides in developing countries:Examples from Honduras and Micronesia[J].Engineering Geology,2009,104(3):295-311.

[8]Fell R,Cororninas J,Bonnard C,et al.Guidelines for landslide susceptibility,hazard and risk-zoning for land use planning[J].Engineering Geology,2009,102(3):85-98.

[9]楊清麗.基于空間數(shù)據(jù)挖掘的戰(zhàn)場(chǎng)地理環(huán)境分析系統(tǒng)研究[D].重慶:重慶大學(xué)學(xué)位論文,2008.

[10]滕明鑫.基于神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)數(shù)據(jù)挖掘研究[D].重慶:重慶大學(xué)學(xué)位論文,2008.

[11]段江嬌.基于模型的時(shí)間序列數(shù)據(jù)挖掘[D].上海:復(fù)旦大學(xué)博士學(xué)位論文,2008.

[12]馮 征.數(shù)據(jù)挖掘方法在財(cái)務(wù)預(yù)警中的應(yīng)用研究[D].天津:天津大學(xué)博士學(xué)位論文,2007.

[13]鄭宏珍,初佃輝,戰(zhàn)德臣,等.基于數(shù)據(jù)挖掘的符號(hào)序列聚類相似度量模型[J].計(jì)算機(jī)工程,2009,35(1):178-194.

[14]Lowe D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journalof Computer Vision,2004,60(2):91-110.

[15]張立權(quán).基于模糊推理系統(tǒng)的工業(yè)過程數(shù)據(jù)挖掘[D].大連:大連理工大學(xué)博士學(xué)位論文,2007.