文章編號：1672-5913(2008)12-0154-05

摘要：本文首先介紹了Web挖掘和電子學(xué)習(xí)(e-learning)及其在商業(yè)和教育中的應(yīng)用，然后在WebCT學(xué)習(xí)環(huán)境中對學(xué)生成績做了一個模式分類的預(yù)測實驗，證明了Web挖掘可以成為構(gòu)建e-learning知識的一種方法，具有改善學(xué)生學(xué)習(xí)模式的潛在作用。

關(guān)鍵詞：E-learning(電子學(xué)習(xí))；Web挖掘；課程管理系統(tǒng)(CMS)；數(shù)據(jù)挖掘；WebCT

中圖分類號：G642

文獻標(biāo)識碼：B

引言

WWW是一個具有各種各樣格式的巨大的多類型的信息資源，研究人員已開始在這個分布式網(wǎng)絡(luò)數(shù)據(jù)倉庫里研究人的行為并試圖建立模型來理解在虛擬環(huán)境中人的行為。當(dāng)數(shù)據(jù)挖掘應(yīng)用于互聯(lián)網(wǎng)時，稱為Web挖掘。它是一個從大的數(shù)據(jù)集里，抽取出隱含在預(yù)測信息的有用信息并發(fā)現(xiàn)有用模式、概況(profiles)和傾向等的一個過程。Etzioni定義Web挖掘是“...利用數(shù)據(jù)挖掘技術(shù)從Web文檔和服務(wù)中自動地發(fā)現(xiàn)和抽取信息。”Web挖掘是發(fā)現(xiàn)知識的一個迭代過程，是理解網(wǎng)絡(luò)消費者和商家的一個重要的策略。

通過互聯(lián)網(wǎng)絡(luò)可訪問在線學(xué)習(xí)(電子學(xué)習(xí))系統(tǒng)，這些學(xué)習(xí)系統(tǒng)是具有獨立數(shù)據(jù)倉庫的企業(yè)內(nèi)部互聯(lián)網(wǎng)，通過互聯(lián)網(wǎng)可以發(fā)現(xiàn)更廣泛的人的行為。電子學(xué)習(xí)系統(tǒng)通過擴大教育機會來改善教育，比那些沒有很好利用時間并有地點限制的傳統(tǒng)課堂具有更大的潛力，并通過提供新的互動式學(xué)習(xí)服務(wù)和功能來提升傳統(tǒng)課堂效率。電子學(xué)習(xí)系統(tǒng)提供給學(xué)生基于網(wǎng)絡(luò)的文本，圖像，多媒體，并提供給教師和學(xué)生異步和同步相互交流的方式。電子學(xué)習(xí)系統(tǒng)使用通用應(yīng)用軟件提供多種學(xué)習(xí)方式(自定進度，協(xié)作，補習(xí))，也提供了豐富的媒體和復(fù)雜的交互。在高等教育電子學(xué)習(xí)中經(jīng)常使用該應(yīng)用軟件，此應(yīng)用軟件被稱為課程管理系統(tǒng)(CMS)。CMS的例子包括Blackboard教育系統(tǒng)管理平臺和WebCT。理解學(xué)生行為的組成和行為模式建模的表示在教育研究領(lǐng)域具有挑戰(zhàn)性。

Web挖掘方法可應(yīng)用于基于CMS的電子學(xué)習(xí)并解釋系統(tǒng)的使用。Web挖掘可用來探究和研究活動模式。在電子學(xué)習(xí)系統(tǒng)，闡明并確定使用方式，可提供更深入的了解學(xué)生是如何開展基于網(wǎng)絡(luò)的學(xué)習(xí)，以便更好地組織指導(dǎo)網(wǎng)上學(xué)習(xí)活動?；贑MS的電子學(xué)習(xí)系統(tǒng)利用Web挖掘可以探究學(xué)習(xí)行為和模式。然而只有較少文獻討論到基于Web挖掘的CMS。本文介紹了Web挖掘方法，使用分類方法來將CMS數(shù)據(jù)集進行分類，并解釋了如何應(yīng)用Web挖掘方法產(chǎn)生模式。本文的關(guān)鍵是為了說明Web挖掘的潛力，并確定如何在當(dāng)前的CMS中進行應(yīng)用。下面的例子說明了Web挖掘?qū)﹄娮訉W(xué)習(xí)的潛在好處。

(1) 理解學(xué)生的行為：大學(xué)管理人員和教師，通過了解在網(wǎng)絡(luò)系統(tǒng)中學(xué)生的動態(tài)行為，也許能更好地實施電子學(xué)習(xí)系統(tǒng)。

(2) 確定電子學(xué)習(xí)系統(tǒng)效能：行為模式可能與系統(tǒng)的性能相關(guān)，并能使系統(tǒng)的配置更個性化。管理人員和教師也許能發(fā)現(xiàn)E-learning系統(tǒng)的各種使用范圍，并調(diào)整資源來優(yōu)化系統(tǒng)的技術(shù)性能。

(3) 衡量教學(xué)效果：在電子學(xué)習(xí)系統(tǒng)，學(xué)生使用電子郵件，網(wǎng)上論壇，反饋表格等，表達他們關(guān)注的問題和有什么疑問。這些數(shù)據(jù)完全被記錄在電子學(xué)習(xí)系統(tǒng)里。 Web挖掘可提供學(xué)生活動結(jié)果并定期反饋給教師。

這三個例子說明了在CMS中Web挖掘如何能提供關(guān)于學(xué)生活動的新見解，并處理所需的信息，也建議由管理者和教師定制實現(xiàn)E-Learning。

1文獻調(diào)查

Web挖掘在經(jīng)常用于發(fā)展商業(yè)和市場智能。例如，在線零售商經(jīng)常使用Web挖掘來分析在線消費者數(shù)據(jù)來預(yù)測消費者的行為。Web挖掘給數(shù)字服務(wù)供應(yīng)商帶來的商業(yè)好處包括個性化、協(xié)同過濾、加強客戶支持、產(chǎn)品和服務(wù)策略的定義、粒子營銷(營銷或定制一個客戶的產(chǎn)品)和欺詐檢測。

電子商務(wù)中有下面的幾個Web挖掘算法和系統(tǒng)。Chakrabarti在Web結(jié)構(gòu)挖掘中作出了開拓性努力，這是一個使用超文本鏈接和文件結(jié)構(gòu)的例子。然而這些Web結(jié)構(gòu)方法只考慮到超鏈接信息，而很少關(guān)注Web內(nèi)容。Cooley、Mobasher和Srivastava證明為了達到基于Web用戶概況(profiles)的使用，能動態(tài)向Web用戶進行推薦的目的，使用Web使用挖掘是一個很好的辦法。這些行為數(shù)據(jù)在電子商務(wù)活動中的交叉銷售及售后服務(wù)非常有用。buchner和mulvenna提出了知識的發(fā)現(xiàn)過程，從Web數(shù)據(jù)中以確定商業(yè)智能。基于三項分類標(biāo)簽“非客戶”、“訪客曾經(jīng)”、“定期訪客”，該公司可以提供一個特別優(yōu)惠以吸引潛在的網(wǎng)上購物者。該公司還用關(guān)聯(lián)規(guī)則和序列模式以發(fā)現(xiàn)客戶在網(wǎng)上瀏覽行為，使網(wǎng)上購物者遵循一定的路徑就可以得到獎勵，以保證他們對網(wǎng)站的忠誠。Padmanabhan使用網(wǎng)絡(luò)服務(wù)器日志為某一特定網(wǎng)站產(chǎn)生關(guān)于訪問網(wǎng)頁的信任模式。Padmanabhan確定了15個有關(guān)數(shù)據(jù)的信任，分為三類：“(1)使用優(yōu)惠券，例如“有高收入的年輕購物者傾向于不使用優(yōu)惠券”。(2)購買食物與正規(guī)的飲料，如“購物者在有兒童的家庭傾向于購買正規(guī)飲料多于食物”。(3)每天的購物，如“專業(yè)人士傾向于周末到商店而不是平時”。

相對于在商業(yè)上的Web挖掘活動，沒有更多的Web或數(shù)據(jù)挖掘應(yīng)用到教育中。然而，一些工作可說明我們努力的方向。有一項研究側(cè)重于社區(qū)學(xué)院里學(xué)生招生(Luan)，并報告在此案例中數(shù)據(jù)挖掘是用來監(jiān)測和預(yù)測社區(qū)學(xué)生轉(zhuǎn)移至4年制的大學(xué)。此案例研究提出的模型代表已轉(zhuǎn)學(xué)學(xué)生的概況，以此來預(yù)測目前在社區(qū)學(xué)院登記的哪些學(xué)生有可能轉(zhuǎn)學(xué)。這些預(yù)測允許學(xué)院個性化和定制與這些可能需要一定幫助和支持的學(xué)生進行在線交互。在這種情況下，Luan選擇了一組特征來調(diào)查。

① 人口統(tǒng)計信息：年齡，性別，種族劃分，中學(xué)，郵政編碼，計劃工作時間，最初報名時的教育狀況

② 財政援助

③ 轉(zhuǎn)學(xué)狀況(基準(zhǔn)變量的兩倍)

④ 職業(yè)，基本技能，科學(xué)，文科課程

⑤ 由課程種類得到和指定等級整個單元

Luan顯示數(shù)據(jù)挖掘可以應(yīng)用到高校每年基本信息的數(shù)據(jù)，所以此模型能用來反復(fù)地監(jiān)控學(xué)生轉(zhuǎn)學(xué)的狀態(tài)。通過一系列的數(shù)據(jù)挖掘分析，預(yù)測已被轉(zhuǎn)學(xué)學(xué)生準(zhǔn)確率至少為77.5%，不會轉(zhuǎn)學(xué)的學(xué)生預(yù)測準(zhǔn)確率至少70.0%(數(shù)據(jù)集合中學(xué)生的人數(shù)是32000)。Web和數(shù)據(jù)挖掘的潛在好處是能有效地對虛擬未探索的教育記錄有所支持，并獲得新的有效信息。在表1中，前兩欄Luan顯示在商業(yè)世界和教育領(lǐng)域類似問題，第三欄是本文加上去的，是對前兩個問題在E-Learning課程中的延伸。

2研究目標(biāo)

考慮到Web挖掘在教育中的局限性及其在在線學(xué)習(xí)中的潛在好處使得更多學(xué)生以此為中心，從而有效利用Web挖掘，我們?yōu)檫@個項目設(shè)定兩個研究目標(biāo)：(1)在線學(xué)習(xí)中的一組CMS數(shù)據(jù)集通過行為模式能否預(yù)測學(xué)生的學(xué)業(yè)成績；(2)能較好理解運用Web挖掘到E-learning系統(tǒng)的過程和從已存版本CMS中去掉使用數(shù)據(jù)集的一些約束條件。而Web挖掘是商業(yè)信息系統(tǒng)中建立知識和價值的一個經(jīng)過驗證公認的方法，但它在教育中的應(yīng)用沒有得到很好的理解。從這個意義上說，這項研究主要是探討性的，然而目的是對學(xué)習(xí)活動建立新的見解，同樣重要的是了解Web挖掘方法是否適合CMS。從CMS中抽取數(shù)據(jù)并運用Web挖掘方法具有哪些挑戰(zhàn)？數(shù)據(jù)格式和數(shù)據(jù)分析需要采取怎樣的策略來建立有意義的觀點？在CMS或Web挖掘方法來提高Web挖掘在E-leaning系統(tǒng)中應(yīng)用需要哪些挑戰(zhàn)。這項研究重要結(jié)果將運用到理解如何更好地利用Web挖掘到E-learning中。應(yīng)用到此項研究的Web挖掘方法將集中于學(xué)習(xí)者的行為。例如，我們將研究學(xué)生概況，獲取學(xué)習(xí)資源的頻率，有相似模式學(xué)生聚類和學(xué)生行為的交叉關(guān)系。

3過程和方法

Web挖掘是一個多階段的過程，此過程需要了解如何將數(shù)據(jù)存儲、格式化在一個數(shù)據(jù)集中，以及工作階段的選擇、預(yù)處理、轉(zhuǎn)化和挖掘。下面用WebCT來說明這些過程。

3.1選擇

這些數(shù)據(jù)來自課程管理系統(tǒng)“WebCT”。WebCT中的數(shù)據(jù)格式如下所示：

用戶概況包括學(xué)生的人口統(tǒng)計數(shù)據(jù)，如用戶身份ID、性別、學(xué)歷等。這些數(shù)據(jù)可通過WebCT中的學(xué)生管理工具可得到。

使用數(shù)據(jù)代表訪問過網(wǎng)頁。這些數(shù)據(jù)項包括IP地址、頁面引用、訪問時間等。訪問日志是在WebCT中的Web挖掘中主要的使用數(shù)據(jù)源。

網(wǎng)頁層次結(jié)構(gòu)的描述，內(nèi)容的主要鏈接。從不同數(shù)據(jù)源地址如服務(wù)器端、客戶端、代理服務(wù)器和數(shù)據(jù)庫等收集到的代表結(jié)構(gòu)的數(shù)據(jù)。在WebCT中，數(shù)據(jù)來自服務(wù)器端。

3.2預(yù)處理

這一步主要包括數(shù)據(jù)清理。在數(shù)據(jù)清洗過程中有幾個步驟。首先，必須從文件中刪除所有圖像，因為它們不包括在模式發(fā)現(xiàn)里。第二，例如HTTP狀態(tài)碼404意味著“在服務(wù)器上未找到資源”，這樣所有的HTTP狀態(tài)碼的條目也將被刪除掉。第三，從網(wǎng)站代理來的請求都被清除掉。之所以排除這些從網(wǎng)站代理來的請求，是因為有這樣的機制：它們?nèi)〈?wù)器回答客戶請求，并沒有深入了解可以識別的用戶的行為。

3.3轉(zhuǎn)換

數(shù)據(jù)被轉(zhuǎn)換成能在不同挖掘應(yīng)用中可以使用的不同格式。在轉(zhuǎn)換過程中有這樣幾個最常見的步驟：用戶識別、會話識別、路徑補全和學(xué)習(xí)行為影射。綜合像后臺數(shù)據(jù)庫等其他數(shù)據(jù)也要考慮進去。

3.4挖掘

可以應(yīng)用到Web領(lǐng)域中的數(shù)據(jù)挖掘技術(shù)有許多，如統(tǒng)計、分類、關(guān)聯(lián)規(guī)則、序列模式、聚類等。本項目使用的數(shù)據(jù)挖掘技術(shù)是分類，它使用一組預(yù)分類的例子來生成一個模型，此模型可以歸類人口記錄。有多種算法進行分類，如決策樹、神經(jīng)網(wǎng)絡(luò)分類等。分類算法從預(yù)定義的交易訓(xùn)練集開始工作。分類訓(xùn)練算法使用這些預(yù)定義好的例子來確定一組參數(shù)來進行適當(dāng)?shù)刈R別。將這些參數(shù)編碼成模型的算法被稱為分類器。經(jīng)過有效地分類，分類器被用在預(yù)測模式分類新記錄到這些相同預(yù)定義的類里。例如，能識別學(xué)生學(xué)業(yè)表現(xiàn)的分類器可以用來幫助決定是否提供個性化的推薦給某一學(xué)生。本文使用了決策樹c4.5，在下面的章節(jié)會詳細地介紹。C4.5是Quinlan提出的一個算法，用來從數(shù)據(jù)中推導(dǎo)出決策樹。

3.5數(shù)據(jù)

在這項研究中，目標(biāo)人群是中西部一所研究性大學(xué)的選有許多課程的本科學(xué)生。對WebCT中的一門課程的訪問日志文件進行分類得到二元決策樹。這門課程是(面授和在線學(xué)習(xí))的混合課程，上這門課的總學(xué)生人數(shù)是748。

仔細調(diào)查這門課數(shù)據(jù)可以識別哪些和學(xué)生行為和能夠預(yù)測等級的屬性到何種程度。本研究中的預(yù)測形式具有季節(jié)性的，這是一個隨著時間推移用來代表季節(jié)變化的一個術(shù)語。季節(jié)性的一個例子是一年中的銷售變化，每年高峰期在圣誕節(jié)。本研究的一個重要的貢獻是列入季節(jié)性影響作為一個教育的屬性并和不同樣本大小訓(xùn)練數(shù)據(jù)做比較來確定一個好的分類器。

日志文件包括超過90000條目。WebCT中的日志文件條目如下所示：

???.???.???.?? - ****** [17/Jan/2006:18:10:26 -0600] \"GET

/SCRIPT/stat_1200_lr2/scripts/student/serve_home?_homepage+START HTTP/1.1\" 200 3051

\"-\" \"Mozilla/4.0 (compatible? MSIE 5.0? Mac_PowerPC)\"

(注： *****表示學(xué)生ID，???表示IP地址)

評價學(xué)生在這門課中的表現(xiàn)時是使用標(biāo)準(zhǔn)變量來表示學(xué)生的等級，根據(jù)他們的整體等級分為：好，中，差。表2顯示了這些分類。

4結(jié)果與討論

Web使用挖掘中使用分類的挑戰(zhàn)是在建立分類器之前很難找到更好的屬性。這混淆了在線學(xué)習(xí)，因為WebCT文件系統(tǒng)并不持有容易與重要教育結(jié)構(gòu)相關(guān)聯(lián)的數(shù)據(jù)方式。舉例來說，像討論頁等功能頁面沒有URL的表示，并且URL的層次很簡單，這意味著不能很好地表示一個頁面的深鏈接。為了解決這些問題，研究者必須從WebCT日志中構(gòu)建合理的參數(shù)。例如，構(gòu)建Access Period變量來表示學(xué)生在午夜12:00和上午8:00和其他在上午8：00到午夜12：00之間區(qū)別。同樣，“Test date”表示當(dāng)有一個測試時，是否在日志文件記錄條目，用“Lecturing date”表示當(dāng)有講座時是否在日志文件記錄條目。根據(jù)WebCT站點可用的信息，可得到這項研究中的屬性為：測試日期、講座日期、學(xué)院、學(xué)術(shù)水平，見表3。

在估計哪些Web使用可能是重要的基礎(chǔ)上，選擇了大部分的屬性、相關(guān)的學(xué)習(xí)行為并找出哪些代表這些屬性的數(shù)據(jù)是實際可用的。屬性“Access period”、“Test date”和“Lecturing date”決定了周期性因素、在線學(xué)習(xí)行為和假設(shè)的學(xué)生周期性地訪問Web站點課程。

經(jīng)過數(shù)據(jù)預(yù)處理，日志項目中可得到17317個會話。表4顯示了表3中列出了對應(yīng)屬性日志數(shù)據(jù)部分樣本。

在這里我們選擇一周、兩周、三周和一個月的日志數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，目的是確定是否能用少的數(shù)據(jù)集來構(gòu)建在e-learning系統(tǒng)中分析學(xué)生訪問行為的具有較高精確度和召回率的相對較好的分類器。精確度是正確被分類的數(shù)目在整個被分類(包括正確的和不正確的)數(shù)目上所占的比例。召回率是正確被分類的數(shù)目在整個類數(shù)目所占的比例。表5顯示了一周的數(shù)據(jù)相當(dāng)接近，可以準(zhǔn)確預(yù)測類1中作為大數(shù)據(jù)集的學(xué)生。

在某種程度上，老師可以利用學(xué)生的行為來預(yù)測學(xué)生的表現(xiàn)，這樣他們便可以采取的能滿足學(xué)生個別需求的以學(xué)生為中心策略。該方法的應(yīng)用顯示幾個星期的日志文件，可以用來預(yù)測整個學(xué)期70%的學(xué)生的最終成績等級的準(zhǔn)確度。在此基礎(chǔ)上，假設(shè)為學(xué)生做一個新的和個性化的推薦預(yù)測的結(jié)果不好，或者如果預(yù)測的學(xué)生等級不符合，則由教師來改進教學(xué)策略。

5結(jié)論

本文揭示了Web挖掘方法在CMS中的應(yīng)用，并識別了一些利用Web挖掘方法能發(fā)現(xiàn)的例證性的學(xué)習(xí)模式。盡管能發(fā)現(xiàn)一些有趣的模式，但仍需探索Web挖掘工具在教育方面的應(yīng)用。研究結(jié)果表明，Web挖掘結(jié)合其他形式的數(shù)據(jù)收集，對我們認識并構(gòu)建關(guān)于E-learning知識有潛在的好處。本文的第二個貢獻是對如何提高e-learning數(shù)據(jù)集中的Web挖掘進程具有借鑒意義。

目前的研究顯示，Web挖掘在CMS的大型數(shù)據(jù)集中識別模式對教學(xué)和學(xué)習(xí)非常有用。這些模式可能是某種個性化的形式，并可能導(dǎo)致改進學(xué)習(xí)和教學(xué)過程。例如，如果一個軟件代理能監(jiān)測學(xué)生活動的模式并匹配成績好的學(xué)生的相關(guān)模式，然后得到改變學(xué)生和教師行為的決策建議。這表明我們利用Web挖掘在E-learning中的應(yīng)用才剛起步，有必要進一步研究和調(diào)整Web挖掘的格式和用法來適應(yīng)教育。