葉艷偉 李菲茗 劉倩倩 林麗娟

【摘要】 近年來，在線學(xué)習(xí)的人越來越多，在在線教學(xué)過程中教育者需要同時面對更多學(xué)習(xí)者，不可能了解每一個學(xué)習(xí)者的知識弱點與問題領(lǐng)域，并據(jù)此為學(xué)習(xí)者提供個性化的學(xué)習(xí)指導(dǎo)。本研究的目的是及時、準(zhǔn)確推斷學(xué)習(xí)者的問題領(lǐng)域，讓學(xué)習(xí)者清楚自身的知識弱點，讓教育者更加了解每一個學(xué)習(xí)者的知識水平，讓在線學(xué)習(xí)系統(tǒng)自動向?qū)W習(xí)者推薦高效的學(xué)習(xí)路徑和恰當(dāng)?shù)膶W(xué)習(xí)資源。在實驗中，分析對比了知識追蹤模型及其擴(kuò)展模型的預(yù)測精度，分析了擴(kuò)展模型使用學(xué)習(xí)者的所有數(shù)據(jù)與每個學(xué)習(xí)者的部分?jǐn)?shù)據(jù)的預(yù)測準(zhǔn)確性差異。結(jié)果顯示：知識追蹤模型可以較好估計學(xué)習(xí)者知識掌握情況;知識追蹤擴(kuò)展模型的預(yù)測精度更好;模型使用學(xué)習(xí)者部分?jǐn)?shù)據(jù)可以獲得比使用全部數(shù)據(jù)更好的預(yù)測精度;在學(xué)習(xí)者學(xué)習(xí)過程中遺忘時時存在，擴(kuò)展模型使用部分?jǐn)?shù)據(jù)在加快運(yùn)行進(jìn)度的同時更有利于精確估計學(xué)習(xí)者知識水平進(jìn)而推薦更有效的個性化學(xué)習(xí)資源與學(xué)習(xí)路徑。

【關(guān)鍵詞】? 在線學(xué)習(xí);知識弱點;問題領(lǐng)域;學(xué)習(xí)路徑;學(xué)習(xí)資源;知識追蹤及其擴(kuò)展模型;預(yù)測精度;預(yù)測準(zhǔn)確性差異

【中圖分類號】? G40-057? ? ? ?【文獻(xiàn)標(biāo)識碼】? A? ? ? ?【文章編號】? 1009-458x（2019）8-0020-07

一、研究背景

自20世紀(jì)60年代初以來，計算機(jī)系統(tǒng)一直被用于教育目的。近年來，隨著Web計算技術(shù)的快速發(fā)展在線學(xué)習(xí)系統(tǒng)在教育中越來越普及，吸引了數(shù)百萬學(xué)習(xí)者注冊學(xué)習(xí)多元化的在線課程（Esichaikul， et al. 2011）。從教育研究的角度來看，在線學(xué)習(xí)系統(tǒng)有幾個重要的優(yōu)勢，最顯著的是記錄學(xué)習(xí)者詳細(xì)的學(xué)習(xí)軌跡，提供了分析不同軌跡下學(xué)習(xí)者行為效果的條件。然而，與面對面課程相比，傳統(tǒng)的在線學(xué)習(xí)系統(tǒng)中知識是通過各種冗余信息自我尋求，且每個學(xué)習(xí)者的學(xué)習(xí)類型不同、具有不同的學(xué)習(xí)需求，因此在線學(xué)習(xí)系統(tǒng)對于學(xué)習(xí)者選擇什么樣的學(xué)習(xí)資源和學(xué)習(xí)路徑缺乏個性化的教學(xué)指導(dǎo)（Chrysafiadi & Virvou， 2013）。

正因為如此，當(dāng)前需要研究智能輔導(dǎo)系統(tǒng)。智能輔導(dǎo)系統(tǒng)是一種特殊類型的在線學(xué)習(xí)系統(tǒng)，其主要目的是在與學(xué)習(xí)者的交互中模仿人類教師行為來更好地了解學(xué)習(xí)者，以便自動確定在每種情況下教什么和如何教（Ha， et al. 2018）。目前主要通過學(xué)習(xí)者建模來實現(xiàn)這一目的。學(xué)習(xí)者建模是智能輔導(dǎo)系統(tǒng)的主要任務(wù)之一（Sison & Shimura， 1998）。知識追蹤模型是一種用于建模學(xué)習(xí)者知識掌握情況的主流方法，旨在通過觀察學(xué)習(xí)者的表現(xiàn)（如學(xué)習(xí)者在練習(xí)中回答問題的正確性）或?qū)W習(xí)者的行為（如學(xué)習(xí)者回答每個問題的時間）來估計學(xué)習(xí)者的潛在隱藏屬性（如知識、目標(biāo)、偏好和激勵狀態(tài)等無法直接確定的屬性），并推斷每個學(xué)習(xí)者知道什么，不知道什么（閭漢原， 等， 2011）。本研究的目的是采用知識追蹤及其擴(kuò)展模型更好地預(yù)測學(xué)習(xí)者的知識掌握水平、決定智能輔導(dǎo)系統(tǒng)這位“智能教師”需要為每個學(xué)習(xí)者提供的個性化學(xué)習(xí)資源和個性化學(xué)習(xí)路徑，為未來高效地采用知識追蹤模型進(jìn)行研究提供一定的借鑒和參考。

本文介紹了知識追蹤及其擴(kuò)展模型，作為一個案例探究，評估了知識追蹤及其擴(kuò)展模型預(yù)測學(xué)習(xí)者未來表現(xiàn)的正確率，并將模型使用所有學(xué)習(xí)者的數(shù)據(jù)與每個學(xué)習(xí)者的部分?jǐn)?shù)據(jù)的預(yù)測準(zhǔn)確性進(jìn)行了比較。

二、知識追蹤模型

知識追蹤模型由阿特金森（Atkinson）于1972年首次提出（Pardos & Heffernan， 2010），是模擬學(xué)習(xí)者知識掌握情況的一個很典型的模型，由Corbett和Anderson（1994）引入智能教育領(lǐng)域，目前已經(jīng)發(fā)展成為智能輔導(dǎo)系統(tǒng)中對學(xué)習(xí)者知識掌握情況建模的主流方法，它使用動態(tài)貝葉斯網(wǎng)絡(luò)利用學(xué)習(xí)者對給定知識問題的正確和不正確回答序列來推斷學(xué)習(xí)者知識掌握情況，重新計算學(xué)習(xí)者對給定知識的掌握水平。知識追蹤模型的目標(biāo)是根據(jù)觀察到的學(xué)習(xí)者在給定知識上的問題表現(xiàn)（t-1）推斷學(xué)習(xí)者在問題t對于特定知識的掌握概率。學(xué)習(xí)者對知識作答的表現(xiàn)是二元的：要么正確，要么錯誤?？曝愄兀–orbett）和安德森（Anderson）提出的知識追蹤模型假設(shè)遺忘概率[P（F）]為0，也就是說，學(xué)習(xí)者在知識學(xué)習(xí)的過程中不存在遺忘現(xiàn)象，因此知識追蹤模型賦予每個知識點四個參數(shù)來表示每個學(xué)習(xí)者的知識水平（Hawkins， et al. 2014），分別為兩個學(xué)習(xí)參數(shù)、兩個表現(xiàn)參數(shù)：[P（L0）]和[P（T）]是學(xué)習(xí)參數(shù)，[P（L0）]指的是學(xué)習(xí)者尚未開始學(xué)習(xí)時知道特定知識的初始概率;[P（T）]指的是學(xué)習(xí)效率，即經(jīng)過一段時間學(xué)習(xí)之后對于知識點從不會到會的轉(zhuǎn)換概率，主要用來表示學(xué)習(xí)者的學(xué)習(xí)情況。[P（G）]和[P（S）]是學(xué)習(xí)者的表現(xiàn)參數(shù)，[P（G）]是猜對的概率，即學(xué)習(xí)者即使不知道知識點仍然回答正確的概率;[P（S）]是失誤的概率，即學(xué)習(xí)者知道知識點，但是仍然回答錯誤的概率（王卓， 等， 2015）。具體知識追蹤模型如圖1所示（Gong， et al. 2010）：

知識追蹤模型實際上是一個特殊的具有兩狀態(tài)的隱馬爾可夫模型（Martori， et al. 2015），兩狀態(tài)表示學(xué)習(xí)者對于特定知識掌握或未掌握。模型中的每一個節(jié)點都通過條件概率表（Conditional Probability Table，CPT）來量化父節(jié)點對自身的影響，知識節(jié)點與表現(xiàn)節(jié)點的CPT如表1所示，表現(xiàn)節(jié)點在知識追蹤模型中是已知態(tài)，或為正確，或為錯誤。每次學(xué)習(xí)者給出答案后，知識追蹤模型基于該學(xué)習(xí)者答題正誤的序列，使用貝葉斯公式迭代地更新學(xué)習(xí)者對知識的掌握程度以及預(yù)測該學(xué)習(xí)者再次遇到該知識點時的未來表現(xiàn)。

根據(jù)對以上知識追蹤模型的分析，很容易得到答對答錯時的概率公式和知識水平更新算法（Yudelson， 2016），這些公式被用來預(yù)測學(xué)習(xí)者做題表現(xiàn)的概率，算法用來更新學(xué)習(xí)者知識掌握水平。

（1）根據(jù)做題數(shù)據(jù)訓(xùn)練好參數(shù)之后，預(yù)測學(xué)習(xí)者做題表現(xiàn)的概率。

當(dāng)答對題目時，學(xué)習(xí)者答對題目的概率被解釋為在知道知識點的情況下沒有犯錯，以及在不知道知識點的情況下猜對的概率之和，即

[P（CorrectLk）=P（Lk）P（?S）+P（?Lk）P（G）]

當(dāng)答錯題目時，學(xué)習(xí)者答錯題目的概率被解釋為在知道知識點的情況下犯錯，以及在不知道知識點的情況下猜錯的概率之和，即

[P（IncorrectLk）=P（Lk）P（S）+P（?Lk）P（?G）]

（2）知識追蹤模型分為兩個階段：一是上面提到的利用學(xué)習(xí)者的大量答題序列訓(xùn)練模型參數(shù);二是利用已訓(xùn)練好的模型基于學(xué)習(xí)者每次答題正誤的序列迭代更新其對知識掌握的程度值，知識掌握情況迭代更新的算法思想如表2所示，其中[P（L）]表示所有學(xué)習(xí)者對知識點掌握的初始情況，[P（Lk）]表示學(xué)習(xí)者在回答第k道題之前對相應(yīng)知識已掌握的先驗概率，而[PLk|evidencek]表示根據(jù)學(xué)習(xí)者第k道題回答情況更新已掌握知識的后驗概率。另外，最后一個等式表示的就是學(xué)習(xí)者答題后收到系統(tǒng)反饋時的學(xué)習(xí)轉(zhuǎn)化過程，這個公式在加入學(xué)習(xí)概率后計算新的先驗概率。

知識追蹤模型的四個參數(shù)代表學(xué)習(xí)者知識水平[P（L0）]、學(xué)習(xí)者的學(xué)習(xí)智力[P（T）]、學(xué)習(xí)者的學(xué)習(xí)猜測[P（G）]和學(xué)習(xí)者的學(xué)習(xí)失誤[P（S）]。對參數(shù)的不正確估計會錯誤評估學(xué)習(xí)者知識狀態(tài)，導(dǎo)致教育者給出額外的任務(wù)以及在線學(xué)習(xí)系統(tǒng)提供低效率的學(xué)習(xí)資源與學(xué)習(xí)路徑。此外，對參數(shù)的不正確估計，研究人員解釋模型會得出不準(zhǔn)確的科學(xué)結(jié)論。因此，獲得正確的參數(shù)是至關(guān)重要的，將使研究人員真正了解學(xué)習(xí)者的知識狀態(tài)。

三、研究目的和研究方法

（一）預(yù)測學(xué)習(xí)者未來表現(xiàn)

在實驗第一階段中采用Murphy使用Matlab中的Bayes Net Toolbox開發(fā)的程序來實現(xiàn)知識追蹤模型和期望最大化（EM）算法分析學(xué)習(xí)者特定知識掌握水平，預(yù)測學(xué)習(xí)者未來表現(xiàn)，并限制[P（G）]和[P（S）]的值，因為[P（G）]大于0.5意味著沒有掌握知識的學(xué)習(xí)者更可能做出正確回答，[P（S）]大于0.5意味著掌握知識的學(xué)習(xí)者更可能做出錯誤的回答，顯然這種情況違反了知識水平和學(xué)習(xí)者表現(xiàn)之間的關(guān)系，即知識追蹤模型出現(xiàn)模型退化現(xiàn)象（Pardos & Heffernan， 2010）。

（二）提高學(xué)習(xí)者未來表現(xiàn)預(yù)測精度

Corbett和Anderson（1994）提出的知識追蹤模型假定學(xué)習(xí)者在知識學(xué)習(xí)過程中不存在遺忘現(xiàn)象，但本研究認(rèn)為學(xué)習(xí)中遺忘是無處不在的，如果以前學(xué)習(xí)的知識一段時間內(nèi)沒有使用，則忘記它的可能性會更高（Nedungadi & Remya， 2015）。為了驗證遺忘參數(shù)對知識追蹤模型的預(yù)測能力是否產(chǎn)生影響，在實驗第二階段中使用知識追蹤擴(kuò)展模型（即在最初提出的知識追蹤模型四個參數(shù)的基礎(chǔ)上增加一個遺忘參數(shù)并設(shè)置不為0，代碼實現(xiàn)上不是把遺忘參數(shù)當(dāng)0即不存在對待，而是在賦予學(xué)習(xí)者初始遺忘的基礎(chǔ)上通過學(xué)習(xí)數(shù)據(jù)迭代出學(xué)習(xí)者遺忘概率值）分析學(xué)習(xí)者特定知識掌握水平，預(yù)測學(xué)習(xí)者未來表現(xiàn)，并對比實驗第一階段中模型預(yù)測表現(xiàn)精度，判斷知識追蹤擴(kuò)展模型相對于知識追蹤模型是否提高了學(xué)習(xí)者未來表現(xiàn)的預(yù)測精度，即學(xué)習(xí)者學(xué)習(xí)過程中的遺忘因素是否可以忽略。

（三）學(xué)習(xí)者部分?jǐn)?shù)據(jù)對知識追蹤擴(kuò)展模型未來表現(xiàn)預(yù)測精度影響分析

為了驗證知識追蹤擴(kuò)展模型采用學(xué)習(xí)者部分?jǐn)?shù)據(jù)對未來預(yù)測表現(xiàn)精度的影響，在實驗第三階段中使用知識追蹤擴(kuò)展模型，根據(jù)采用每個學(xué)習(xí)者數(shù)據(jù)量的多少分組進(jìn)行對比分析研究（Nooraei， et al. 2011）。另外，如果實驗第二階段在預(yù)測學(xué)習(xí)者未來表現(xiàn)時證實遺忘不可忽略，那么學(xué)習(xí)者作答時間越靠前的問題對于模型獲得相對完美參數(shù)的干預(yù)就越強(qiáng)，因此對比分析了知識追蹤擴(kuò)展模型使用每個學(xué)習(xí)者學(xué)習(xí)數(shù)據(jù)的后1/3、后1/2、后2/3量的數(shù)據(jù)與使用完整數(shù)據(jù)分析學(xué)習(xí)者知識水平預(yù)測未來表現(xiàn)的精度，或者說這是一種使用知識追蹤擴(kuò)展模型探索選擇數(shù)據(jù)集后部分?jǐn)?shù)據(jù)度與完整數(shù)據(jù)集在降低模型運(yùn)行時間的同時提升模型預(yù)測精度的方法。

四、實驗設(shè)計

（一）實驗數(shù)據(jù)集

實驗數(shù)據(jù)集來自名為Bridge to Algebra的在線教育系統(tǒng)，該數(shù)據(jù)集也是2010年KDD（knowledge discover and data mining）Cup比賽數(shù)據(jù)，由卡內(nèi)基學(xué)習(xí)公司提供，可從http：//pslcdatashop.web.cmu.edu/KDDCup下載?？▋?nèi)基學(xué)習(xí)公司是一個面向中學(xué)和大學(xué)學(xué)習(xí)者學(xué)習(xí)的智能輔導(dǎo)系統(tǒng)的制作公司，該數(shù)據(jù)集是關(guān)于學(xué)習(xí)者數(shù)學(xué)課堂教學(xué)學(xué)習(xí)過程數(shù)據(jù)，包含6，043名學(xué)習(xí)者的20，012，498項記錄，每項紀(jì)錄包含學(xué)習(xí)者ID、知識點所屬章節(jié)、問題類型、步驟類型、開始及結(jié)束時間、回答正確或錯誤、請求提示次數(shù)、知識點類型、做題次數(shù)等19條信息，數(shù)據(jù)集記錄的結(jié)構(gòu)（如圖2所示）可以表述為每一章節(jié)中學(xué)習(xí)者做的每一道題被分成了許多步驟，系統(tǒng)記錄每一個步驟的做題情況，并且在做題過程中學(xué)習(xí)者可以請求系統(tǒng)中的提示，但是請求提示后該題無論正確與否都標(biāo)記為錯誤。KDD Cup 2010是免費提供的最大的學(xué)習(xí)者學(xué)習(xí)的數(shù)據(jù)集合，本研究從KDD Cup 2010數(shù)據(jù)集中選擇了數(shù)據(jù)集的一個子集，即學(xué)習(xí)者在概率單元第四小部分的學(xué)習(xí)過程樣本，此樣本包括200個學(xué)習(xí)者，每個學(xué)習(xí)者包括30個維度問題答案，共6，000個樣本數(shù)據(jù)點作為知識追蹤模型的訓(xùn)練和測試數(shù)據(jù)集。

（二）研究流程

實驗分為三個階段：第一階段主要是驗證知識追蹤模型可以得到比較理想的預(yù)測未來表現(xiàn)的精度，能較真實地反映學(xué)習(xí)者的知識水平，為學(xué)習(xí)者提供相對恰當(dāng)?shù)膶W(xué)習(xí)資源和學(xué)習(xí)路徑;第二階段主要是采用知識追蹤擴(kuò)展模型（遺忘參數(shù)不為0）來對比知識追蹤模型的未來表現(xiàn)預(yù)測精度，在驗證學(xué)習(xí)者學(xué)習(xí)過程遺忘參數(shù)存在的基礎(chǔ)上更準(zhǔn)確地反映學(xué)習(xí)者真實知識水平，提供與學(xué)習(xí)者真實知識水平更適合的學(xué)習(xí)資源和學(xué)習(xí)路徑;第三階段主要是給予知識追蹤擴(kuò)展模型不同的學(xué)習(xí)者后數(shù)據(jù)度進(jìn)行訓(xùn)練，對比模型使用學(xué)習(xí)者的后部分?jǐn)?shù)據(jù)與使用全部數(shù)據(jù)的預(yù)測精度，驗證模型使用學(xué)習(xí)者后部分?jǐn)?shù)據(jù)在加快運(yùn)行速度的同時提高預(yù)測精度，且能為學(xué)習(xí)者提供更恰當(dāng)和高效的學(xué)習(xí)資源與學(xué)習(xí)路徑并與學(xué)習(xí)者真實知識水平貼合度更高、誤差更小的猜想。具體實驗流程如圖3所示：

[參考文獻(xiàn)]

閭漢原，申麟，漆美. 2011. 基于“態(tài)度”的知識追蹤模型及集成技術(shù)[J]. 江蘇師范大學(xué)學(xué)報（自然科學(xué)版），29（4）：54-57.

王卓，張銘. 2015. 基于貝葉斯知識跟蹤模型的慕課學(xué)生評價[J]. 中國科技論文，10（2）：241-246.

Chrysafiadi， K.， & Virvou， M. （2013）. Student modeling approaches： A literature review for the last decade. Expert Systems with Applications， 40（11）， 4715-4729.

Corbett， A. T.， & Anderson， J. R. （1994）. Knowledge tracing： modeling the acquisition of procedural knowledge. User Modeling and User- Adapted Interaction， 4（4）， 253-278.

Esichaikul， V.， Lamnoi， S.， & Bechter， C. （2011）. Student modeling in adaptive e-learning systems. Knowledge Management & E-Learning： An International Journal， 3（3）， 342-355.

Gong， Y.， Beck， J. E.， & Heffernan， N. T. （2010， June）. Comparing knowledge tracing and performance factor analysis by using multiple model fitting procedures. In International conference on intelligent tutoring systems （pp. 35-44）. Springer， Berlin， Heidelberg.

Ha， H.， Hong， Y.， Hwang， U.， & Yoon， S. （2018）. Intelligent Knowledge Tracing： More Like a Real Learning Process of a Student. arXiv preprint arXiv：1805.10768.

Hawkins， W. J.， Heffernan， N. T.， & Baker， R. S. （2014， June）. Learning Bayesian knowledge tracing parameters with a knowledge heuristic and empirical probabilities. In International Conference on Intelligent Tutoring Systems （pp. 150-155）. Springer， Cham.

Martori， F.， Cuadros， J.， & González-Sabaté， L. （2015）. Direct Estimation of the Minimum RSS Value for Training Bayesian Knowledge Tracing Parameters. International Educational Data Mining Society.

Nedungadi， P.， & Remya， M. S. （2015， March）. Incorporating forgetting in the personalized， clustered， bayesian knowledge tracing （pc-bkt） model. In 2015 International Conference on cognitive computing and information processing （CCIP） （pp. 1-5）. IEEE.

Nooraei， B. B.， Pardos， Z. A.， Heffernan， N. T.， & de Baker， R. S. J. （2011）. Less is More： Improving the Speed and Prediction Power of Knowledge Tracing by Using Less Data. In EDM （pp. 101-110）.

Pardos， Z.， & Heffernan， N. （2010， June）. Navigating the parameter space of Bayesian Knowledge Tracing models： Visualizations of the convergence of the Expectation Maximization algorithm. In Educational Data Mining 2010.

Pardos， Z. A.， & Heffernan， N. T. （2010， June）. Modeling individualization in a bayesian networks implementation of knowledge tracing. In International Conference on User Modeling， Adaptation， and Personalization （pp. 255-266）. Springer， Berlin， Heidelberg.

Sison， R.， & Shimura， M. （1998）. Student modeling and machine learning. International Journal of Artificial Intelligence in Education （IJAIED）， 9， 128-158.

Yudelson， M. （2016）. Individualizing Bayesian Knowledge Tracing. Are Skill Parameters More Important Than Student Parameters.In EDM （pp. 556–561）.

收稿日期：2018-07-02

定稿日期：2019-02-27

作者簡介：葉艷偉，碩士研究生;劉倩倩，碩士研究生;林麗娟，碩士研究生。浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院（310023）。

李菲茗，博士，教授，碩士生導(dǎo)師，本文通訊作者，浙江師范大學(xué)教師教育學(xué)院（321004）。

責(zé)任編輯 張志禎 劉 莉