摘要：本文對(duì)數(shù)據(jù)挖掘課程的特點(diǎn)以及應(yīng)用領(lǐng)域、數(shù)據(jù)預(yù)處理方法以及關(guān)鍵的四項(xiàng)技術(shù)、Web挖掘與個(gè)性化推薦以及算法實(shí)現(xiàn)及應(yīng)用上做了分析，并且在教學(xué)實(shí)踐中做了嘗試，提出了一些經(jīng)驗(yàn)和不足。

關(guān)鍵詞：數(shù)據(jù)挖掘；數(shù)據(jù)預(yù)處理；挖掘算法；Web挖掘；個(gè)性化推薦

中圖分類(lèi)號(hào)：G642文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-5913(2007)14-0027-03

1引言

數(shù)據(jù)挖掘是一門(mén)綜合性的交叉學(xué)科，它融合了概率統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)、人工智能、機(jī)器學(xué)習(xí)、信息檢索、數(shù)據(jù)結(jié)構(gòu)、高性能計(jì)算、數(shù)據(jù)可視化以及面向?qū)ο蠹夹g(shù)等，在保險(xiǎn)業(yè)、電信業(yè)、交通業(yè)、零售業(yè)、銀行業(yè)正在被越來(lái)越廣泛深入地使用，同時(shí)在生物學(xué)、天文學(xué)、地理學(xué)等領(lǐng)域也逐漸顯現(xiàn)出技術(shù)優(yōu)勢(shì)，特別是在客戶(hù)關(guān)系管理系統(tǒng)、個(gè)性化網(wǎng)站設(shè)計(jì)、電子商務(wù)系統(tǒng)、搜索引擎等方面數(shù)據(jù)挖掘技術(shù)顯示出了獨(dú)特的魅力。數(shù)據(jù)挖掘技術(shù)正在以一種全新的概念改變著計(jì)算機(jī)應(yīng)用的方式。

從最近計(jì)算機(jī)技術(shù)的發(fā)展以及學(xué)生就業(yè)方面來(lái)看，對(duì)本校的應(yīng)用性本科生開(kāi)設(shè)“數(shù)據(jù)挖掘技術(shù)”課程迫在眉睫。但數(shù)據(jù)挖掘給人的感覺(jué)就是“高深莫測(cè)”，當(dāng)前數(shù)據(jù)挖掘領(lǐng)域主要是博士生、碩士生研究的領(lǐng)域，數(shù)據(jù)挖掘課程也只在一些重點(diǎn)大學(xué)的研究生或高年級(jí)的本科生中開(kāi)設(shè)，應(yīng)用型本科院校以及一些高職高專(zhuān)幾乎都沒(méi)有開(kāi)設(shè)此類(lèi)課程。這限定了數(shù)據(jù)挖掘作為一門(mén)既有理論又有實(shí)踐價(jià)值學(xué)科的應(yīng)用和推廣，筆者認(rèn)為很可惜。從計(jì)算機(jī)專(zhuān)業(yè)的學(xué)生的畢業(yè)設(shè)計(jì)以及就業(yè)角度分析，相當(dāng)多的同學(xué)以后會(huì)從事電子商務(wù)類(lèi)軟件的開(kāi)發(fā)，而這類(lèi)應(yīng)用目前都漸漸基于Web作為應(yīng)用平臺(tái)，面對(duì)的是海量的數(shù)據(jù)信息，因此讓學(xué)生掌握數(shù)據(jù)挖掘的思想和方法對(duì)提高計(jì)算機(jī)素養(yǎng)很有必要。即使將來(lái)從事控制、通信、游戲、圖像處理等軟件開(kāi)發(fā)，數(shù)據(jù)挖掘的思想和方法也很容易找到用武之地。

2數(shù)據(jù)挖掘課程開(kāi)設(shè)的可行性分析

從計(jì)算機(jī)技術(shù)發(fā)展以及學(xué)生就業(yè)反饋的信息，筆者覺(jué)得數(shù)據(jù)挖掘的思想、方法以及算法對(duì)應(yīng)用型本科生是很重要的，并且讓學(xué)生掌握好這門(mén)課程也是完全可能的。我校從1998年以來(lái)一直在高年級(jí)本科生中開(kāi)設(shè)了“人工智能”課程，但從教學(xué)效果上來(lái)看，很不理想?！皵?shù)據(jù)挖掘技術(shù)”這門(mén)課程在不少地方很像“人工智能”，“數(shù)據(jù)挖掘技術(shù)”課程中的一些思想就是從“人工智能”中發(fā)展過(guò)來(lái)的，但是“數(shù)據(jù)挖掘技術(shù)”課程與“人工智能”課程有一個(gè)本質(zhì)的區(qū)別，就是數(shù)據(jù)挖掘從誕生的一開(kāi)始就是面向大量的、實(shí)際的數(shù)據(jù)庫(kù)信息，因此，具有極強(qiáng)的應(yīng)用性，如果將“數(shù)據(jù)挖掘技術(shù)”課程看做是“數(shù)據(jù)庫(kù)技術(shù)”課程的自然延伸，同時(shí)充分利用數(shù)據(jù)結(jié)構(gòu)、人工智能、面向?qū)ο蠹夹g(shù)與方法、Web技術(shù)、概率統(tǒng)計(jì)等課程的基礎(chǔ)，就能夠?qū)ⅰ皵?shù)據(jù)挖掘技術(shù)”課程開(kāi)設(shè)好。于是兩年前，筆者在應(yīng)用型本科生中做了嘗試，就是取消原來(lái)的“人工智能”課程，取而代之的是“數(shù)據(jù)挖掘技術(shù)”課程，從兩年的教學(xué)實(shí)踐以及教學(xué)效果上看，行之有效。并且在教學(xué)中發(fā)現(xiàn)，雖然數(shù)據(jù)挖掘技術(shù)要用到人工智能的一些思想和方法，但沒(méi)有“人工智能”課程作為前導(dǎo)課程，沒(méi)有任何影響，因?yàn)?，?shù)據(jù)挖掘中的一些人工智能思想在“數(shù)據(jù)挖掘技術(shù)”課程的教學(xué)中是自成體系的，并且是以比“人工智能”中的方法更加簡(jiǎn)單、更加直接、更加面向應(yīng)用的方式。開(kāi)設(shè)“數(shù)據(jù)挖掘技術(shù)”課程必須以下列的課程作為基礎(chǔ)(前導(dǎo)課程)，當(dāng)然這些課程都是一些常規(guī)課程。

1) 必須深入學(xué)習(xí)一門(mén)程序設(shè)計(jì)語(yǔ)言，通過(guò)這門(mén)語(yǔ)言的學(xué)習(xí)可以掌握程序設(shè)計(jì)的基礎(chǔ)知識(shí)，并且掌握面向?qū)ο笏枷腴_(kāi)發(fā)的精髓，能夠進(jìn)行可視化程序設(shè)計(jì)。學(xué)習(xí)程序設(shè)計(jì)絕不是記住程序設(shè)計(jì)語(yǔ)言的語(yǔ)法就行了，而要努力做到將應(yīng)用中的思想變?yōu)槌绦?。這一點(diǎn)是計(jì)算機(jī)專(zhuān)業(yè)學(xué)生的基本素養(yǎng)。這一環(huán)節(jié)沒(méi)有做好，其余的計(jì)算機(jī)專(zhuān)業(yè)的專(zhuān)業(yè)課程，如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、數(shù)據(jù)庫(kù)原理、編譯原理、軟件工程等就無(wú)法學(xué)習(xí)，即使學(xué)了，也不能真正掌握。筆者從計(jì)算機(jī)發(fā)展和應(yīng)用角度，推薦學(xué)習(xí)C/C++和Java，要求對(duì)C++的模板以及STL或Java的數(shù)據(jù)結(jié)構(gòu)類(lèi)(在Java的util包中)能夠較好掌握。

2) 掌握“數(shù)據(jù)結(jié)構(gòu)”課程，特別是“數(shù)據(jù)結(jié)構(gòu)”課程中的樹(shù)的特點(diǎn)和應(yīng)用。在“數(shù)據(jù)結(jié)構(gòu)”課程中，樹(shù)主要以二叉樹(shù)為主，對(duì)于一般的樹(shù)，在當(dāng)前的“數(shù)據(jù)結(jié)構(gòu)”課程的教學(xué)中都是將一般的樹(shù)轉(zhuǎn)化為二叉樹(shù)來(lái)進(jìn)行處理的，但是在數(shù)據(jù)挖掘中這樣不太方便。數(shù)據(jù)挖掘中的很多算法都涉及到樹(shù)的應(yīng)用，并且大多都是不太規(guī)則的樹(shù)，在數(shù)據(jù)挖掘中，采用樹(shù)的思想與Java中的數(shù)據(jù)結(jié)構(gòu)類(lèi)或C++中的STL相結(jié)合的方法，能夠得到很好的效果。

3) 掌握“數(shù)據(jù)庫(kù)技術(shù)”課程中數(shù)據(jù)庫(kù)操作的特點(diǎn)和應(yīng)用。數(shù)據(jù)挖掘的對(duì)象主要是數(shù)據(jù)庫(kù)中的數(shù)據(jù)，但作為數(shù)據(jù)挖掘?qū)ο蟮臄?shù)據(jù)庫(kù)的數(shù)據(jù)信息量往往很大，因此，為了提高挖掘的效率，需要建立數(shù)據(jù)倉(cāng)庫(kù)，或者需要在算法上加工，盡量減少掃描數(shù)據(jù)庫(kù)的次數(shù)。

4) 掌握“Web技術(shù)”。這是因?yàn)镮nternet已經(jīng)廣泛應(yīng)用并且深入人心，未來(lái)的軟件相當(dāng)多的都是基于Web平臺(tái)之上，因此，對(duì)于Web挖掘不僅重要，而且具有直接的應(yīng)用價(jià)值。當(dāng)前Internet上的軟件如一些知名網(wǎng)站、搜索引擎以及一些電子商務(wù)系統(tǒng)，采用了數(shù)據(jù)挖掘技術(shù)，得到了很多有價(jià)值的信息或提高了個(gè)性化能力，大大增強(qiáng)了企業(yè)的競(jìng)爭(zhēng)力。因此，掌握“Web技術(shù)”課程對(duì)Web挖掘很有裨益。

5) 熟悉“概率統(tǒng)計(jì)”課程中的思維方式，對(duì)各種分布以及條件概率能夠熟練掌握，在數(shù)據(jù)挖掘中的分類(lèi)、關(guān)聯(lián)規(guī)則等領(lǐng)域很多挖掘方法都靈活運(yùn)用了概率統(tǒng)計(jì)中的思想和方法。

從“數(shù)據(jù)挖掘技術(shù)”課程的教學(xué)實(shí)踐中明顯看出，主要需要以上幾門(mén)課程，并且教學(xué)結(jié)束后發(fā)現(xiàn)，學(xué)生不僅能夠掌握數(shù)據(jù)挖掘的思想、方法以及算法，通過(guò)對(duì)一些主要的挖掘算法的實(shí)現(xiàn)，對(duì)“數(shù)據(jù)庫(kù)技術(shù)”、“程序設(shè)計(jì)語(yǔ)言”、“數(shù)據(jù)結(jié)構(gòu)”、“Web技術(shù)”以及“概率統(tǒng)計(jì)”掌握得更加深刻，將“數(shù)據(jù)挖掘技術(shù)”作為“數(shù)據(jù)庫(kù)技術(shù)”的自然延伸，是“程序設(shè)計(jì)語(yǔ)言”、“數(shù)據(jù)結(jié)構(gòu)”、“Web技術(shù)”以及“概率統(tǒng)計(jì)”的綜合運(yùn)用得到良好效果。

3 “數(shù)據(jù)挖掘技術(shù)”課程的設(shè)置

一門(mén)課程的設(shè)置，不僅要根據(jù)當(dāng)前計(jì)算機(jī)技術(shù)的發(fā)展，同時(shí)也要根據(jù)當(dāng)前學(xué)生的就業(yè)需求，充分考慮到應(yīng)用型本科學(xué)生的特點(diǎn)。兩年前，經(jīng)過(guò)多方面的考慮以及參考了各種國(guó)內(nèi)國(guó)外數(shù)據(jù)挖掘的教材以及論文后決定，“數(shù)據(jù)挖掘技術(shù)”課程教學(xué)學(xué)時(shí)定為32課時(shí)，講課22學(xué)時(shí)，上機(jī)實(shí)驗(yàn)10學(xué)時(shí)。在這個(gè)總的學(xué)時(shí)定下來(lái)之后，就是對(duì)“數(shù)據(jù)挖掘技術(shù)”課程的內(nèi)容設(shè)計(jì)，這是最重要的環(huán)節(jié)。精選出的內(nèi)容不僅要反映數(shù)據(jù)挖掘的特點(diǎn)以及最新發(fā)展，還要結(jié)合應(yīng)用型本科生的特點(diǎn)，要具有很強(qiáng)的針對(duì)性，重點(diǎn)要突出，要能夠“學(xué)以致用”。最后“數(shù)據(jù)挖掘技術(shù)”課程的教學(xué)內(nèi)容如下：

1) 數(shù)據(jù)挖掘綜述2學(xué)時(shí)。本講側(cè)重于從兩、三個(gè)具體應(yīng)用領(lǐng)域進(jìn)行分析得出采用數(shù)據(jù)挖掘技術(shù)的重要性與必要性，可以選取客戶(hù)關(guān)系管理、體育競(jìng)技、信息安全和商業(yè)欺詐等作為案例，然后給出完整的數(shù)據(jù)挖掘定義和數(shù)據(jù)挖掘技術(shù)的分類(lèi)，以及數(shù)據(jù)挖掘需要的一些前導(dǎo)課程的知識(shí)要點(diǎn)。

2) 數(shù)據(jù)挖掘過(guò)程及當(dāng)前數(shù)據(jù)挖掘的軟件工具2學(xué)時(shí)。數(shù)據(jù)挖掘的過(guò)程是數(shù)據(jù)抽取與集成、數(shù)據(jù)清洗與預(yù)處理、數(shù)據(jù)的選擇與整理、數(shù)據(jù)挖掘以及結(jié)論評(píng)估。本講重點(diǎn)講解挖掘的過(guò)程，強(qiáng)調(diào)數(shù)據(jù)預(yù)處理對(duì)挖掘的重要意義，對(duì)于缺省的值、殘缺的值等的處理方法。讓學(xué)生對(duì)數(shù)據(jù)挖掘的整體過(guò)程有清楚的理解。然后介紹一下當(dāng)前流行的商品化數(shù)據(jù)挖掘軟件如IBM的IntelligentMiner和加拿大Simon Fraser 大學(xué)的DBMiner。

3) 關(guān)聯(lián)規(guī)則挖掘與序列模式挖掘6學(xué)時(shí)。在介紹關(guān)聯(lián)規(guī)則原理的基礎(chǔ)上，主要介紹著名算法Apriori及其改進(jìn)、FP_Tree算法、用于序列模式挖掘的AprioriSome算法。每個(gè)算法需要2學(xué)時(shí)，對(duì)每個(gè)算法要進(jìn)行徹底分析，不僅能夠理解算法的原理、思想以及過(guò)程，還要分析算法提出人為什么會(huì)提出這種算法，在日常生活中的含義是什么，算法的優(yōu)點(diǎn)和缺點(diǎn)是什么，以及如何用Java或C++來(lái)編程實(shí)現(xiàn)該算法。最后，對(duì)多層次關(guān)聯(lián)以及數(shù)量關(guān)聯(lián)規(guī)則挖掘做個(gè)簡(jiǎn)單介紹即可。

4) 分類(lèi)技術(shù)4學(xué)時(shí)。介紹分類(lèi)的原理，主要講解ID3和C4.5、樸素貝葉斯分類(lèi)，簡(jiǎn)單介紹一下BP神經(jīng)網(wǎng)絡(luò)的分類(lèi)。對(duì)于C4.5要求能夠從原理上把握整個(gè)算法，能夠進(jìn)行連續(xù)值的離散化處理，理解C4.5比ID3的優(yōu)勢(shì)所在；對(duì)于樸素貝葉斯分類(lèi)，要深刻理解該分類(lèi)的原理以及貝葉斯信念網(wǎng)絡(luò)的工作原理。特別的，對(duì)于FP_TREE以及C4.5算法的實(shí)現(xiàn)，需要用到不規(guī)則樹(shù)，提出用C++或Java解決這種不規(guī)則樹(shù)的方法。

5) 聚類(lèi)技術(shù)4學(xué)時(shí)。在介紹聚類(lèi)的重要性和分類(lèi)的基礎(chǔ)上主要介紹劃分聚類(lèi)PAM算法思想以及基于密度聚類(lèi)DBSCAN，對(duì)于當(dāng)前重要的聚類(lèi)STING和CLIQUE做個(gè)簡(jiǎn)單介紹。最后，比較聚類(lèi)和分類(lèi)的不同之處。

6) Web挖掘與個(gè)性化推薦技術(shù)4學(xué)時(shí)。對(duì)于Web挖掘從內(nèi)容挖掘、訪(fǎng)問(wèn)行為挖掘和結(jié)構(gòu)挖掘三個(gè)方面進(jìn)行講解，重點(diǎn)講解個(gè)性化技術(shù)。對(duì)基于最小關(guān)聯(lián)規(guī)則集的個(gè)性化推薦以及基于協(xié)作篩的個(gè)性化推薦作深入剖析，并指出在當(dāng)今網(wǎng)站設(shè)計(jì)中的重要意義。

7) 上機(jī)實(shí)驗(yàn)設(shè)計(jì)。精選五個(gè)上機(jī)實(shí)驗(yàn)。第一個(gè)實(shí)驗(yàn)是關(guān)聯(lián)規(guī)則的Apriori算法或FP_Tree算法的實(shí)現(xiàn)，兩個(gè)任選一個(gè)，如果選擇Apriori的話(huà)，需要采取一些效率改進(jìn)措施；第二個(gè)實(shí)驗(yàn)是序列模式挖掘中的AprioriSome算法；第三個(gè)實(shí)驗(yàn)是分類(lèi)技術(shù)中的ID3或C4.5算法，這兩個(gè)算法的主體相同，任做一個(gè)即可；第四個(gè)實(shí)驗(yàn)是聚類(lèi)中的PAM或DBSCAN算法，兩個(gè)任選一個(gè)；第五個(gè)實(shí)驗(yàn)是利用協(xié)作篩進(jìn)行個(gè)性化網(wǎng)站的智能推薦。以上五個(gè)實(shí)驗(yàn)每個(gè)實(shí)驗(yàn)2學(xué)時(shí)，建議編程語(yǔ)言采用Java或C++，最后挖掘結(jié)果具有可理解性。

當(dāng)然，以上的課程內(nèi)容設(shè)計(jì)會(huì)隨著數(shù)據(jù)挖掘技術(shù)的發(fā)展，不斷進(jìn)行微調(diào)，以適應(yīng)不斷變化的計(jì)算機(jī)技術(shù)發(fā)展與社會(huì)需求。

4 “數(shù)據(jù)挖掘技術(shù)”教學(xué)實(shí)踐總結(jié)

兩年前，雖然已對(duì)“數(shù)據(jù)挖掘技術(shù)”課程作了充分準(zhǔn)備，但在剛開(kāi)設(shè)這門(mén)課程的時(shí)候，很擔(dān)心這門(mén)“高深莫測(cè)”的課程的教學(xué)效果。但經(jīng)過(guò)兩年的教學(xué)實(shí)踐發(fā)現(xiàn)，這門(mén)課程的教學(xué)效果比預(yù)想的還要好。通過(guò)對(duì)該門(mén)課程的學(xué)習(xí)，學(xué)生不僅基本掌握了數(shù)據(jù)挖掘的基本原理和算法，同時(shí)對(duì)以前的一些主干課程如數(shù)據(jù)結(jié)構(gòu)的理解和運(yùn)用有了非常深刻的認(rèn)識(shí)。更為重要的是，本課程的五個(gè)實(shí)驗(yàn)都是數(shù)據(jù)挖掘領(lǐng)域中最經(jīng)典、最重要的算法，通過(guò)對(duì)這些算法的編程實(shí)現(xiàn)，不僅理解了數(shù)據(jù)挖掘關(guān)鍵算法的精髓，同時(shí)，這些數(shù)據(jù)挖掘算法實(shí)現(xiàn)的程序經(jīng)過(guò)不斷改進(jìn)、加工，性能不斷提高，由于都是源代碼，可以將這些算法應(yīng)用到一些實(shí)用的軟件系統(tǒng)如客戶(hù)關(guān)系管理系統(tǒng)、個(gè)性化網(wǎng)站中去，收到良好效果。此外，在網(wǎng)上的一些數(shù)據(jù)挖掘論壇中，經(jīng)常看到一些初學(xué)數(shù)據(jù)挖掘的研究生或技術(shù)人員很想看一看數(shù)據(jù)挖掘經(jīng)典算法的具體程序?qū)崿F(xiàn)，我們也將這兩年不斷改進(jìn)的程序源代碼作為免費(fèi)資源贈(zèng)送給了不少同行，也為數(shù)據(jù)挖掘的推廣應(yīng)用貢獻(xiàn)了微薄之力。

5結(jié)束語(yǔ)

“數(shù)據(jù)挖掘技術(shù)”課程的教學(xué)嘗試目前主要針對(duì)的是本校應(yīng)用型計(jì)算機(jī)專(zhuān)業(yè)本科生，雖然收到了良好的效果，但“數(shù)據(jù)挖掘技術(shù)”絕不僅僅是計(jì)算機(jī)專(zhuān)業(yè)學(xué)生才需要掌握的課程，對(duì)于我校通信系、電力系、自動(dòng)化系等工科專(zhuān)業(yè)，經(jīng)濟(jì)系、管理系甚至一些文科類(lèi)的學(xué)生也很有價(jià)值，因此，怎樣在非計(jì)算機(jī)專(zhuān)業(yè)的應(yīng)用型本科生中開(kāi)設(shè)好這門(mén)新興課程，甚至在高職高專(zhuān)學(xué)生中也開(kāi)設(shè)好這門(mén)課程，則是需要作進(jìn)一步的探索和嘗試。

參考文獻(xiàn)：

[1] 毛國(guó)君. 數(shù)據(jù)挖掘原理與算法[M]. 北京：清華大學(xué)出版社，2005.

[2] 陳文偉. 數(shù)據(jù)挖掘技術(shù)[M]. 北京工業(yè)大學(xué)出版社，2002.

[3] 余力. 電子商務(wù)個(gè)性化[M]. 北京：清華大學(xué)出版社，2007.

A Test to Applied College Students on Teaching Data Mining

XU Jin-bao

(Dept. of Computer Engineering， Nanjing Institute of Technology，

Nanjing 211100，China)

Abstract:Data mining becomes more and more important in nowadays. To applied college students， mastering the basics and methods of data mining technology demands immediate attention. This article gives some suggestions on how to teach these students well. The content of data mining technology course and experiments are selected elaborately. Mining technologies such as association rule ， data classification， clustering ， web mining and personalized recommendation are emphasized.

Keywords: data mining ;data preprocessing; mining algorithms; web mining; personalized recommendation

作者簡(jiǎn)介：徐金寶(1970－)，男，江蘇南京人，講師，1992年畢業(yè)于浙江大學(xué)，主要從事計(jì)算機(jī)軟件的教學(xué)與研究，研究方向是數(shù)據(jù)挖掘、Java新技術(shù)應(yīng)用。