胡學(xué)鋼 劉 菲 卜晨陽

(大數(shù)據(jù)知識工程教育部重點實驗室(合肥工業(yè)大學(xué)) 合肥 230601)

(合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院 合肥 230601)

(合肥工業(yè)大學(xué)大知識科學(xué)研究院 合肥 230601)

教育信息化的不斷發(fā)展產(chǎn)生了海量的教育數(shù)據(jù)，如何對教育大數(shù)據(jù)進(jìn)行挖掘和分析成為了教育領(lǐng)域[1]和大數(shù)據(jù)知識工程領(lǐng)域[2-5]亟待解決的問題.由于學(xué)生在學(xué)習(xí)過程中的行為表現(xiàn)、認(rèn)知狀態(tài)和心理因素是評估其學(xué)習(xí)成效的關(guān)鍵因素[6]，且這些因素隨著時間的推移不斷變化，因此構(gòu)建面向動態(tài)學(xué)習(xí)數(shù)據(jù)的學(xué)生模型具有重要的研究意義.認(rèn)知跟蹤(knowledge tracing, KT)模型[7]旨在面向?qū)W生不同時刻作答習(xí)題的得分表現(xiàn)數(shù)據(jù)，跟蹤學(xué)生的認(rèn)知狀態(tài)并預(yù)測學(xué)生在未來時刻的作答表現(xiàn)，具有重要的研究價值和廣泛的應(yīng)用前景[8-10].

如圖1所示，認(rèn)知跟蹤模型屬于面向動態(tài)數(shù)據(jù)的學(xué)生模型.在認(rèn)知跟蹤模型中，學(xué)生對習(xí)題的作答表現(xiàn)為可觀測的變量，學(xué)生的認(rèn)知狀態(tài)為不可觀測的隱變量[11].1994年Corbett等人[7]基于包含觀測變量和隱變量的隱Markov模型(hidden Markov model, HMM)構(gòu)建了貝葉斯認(rèn)知跟蹤(Bayesian knowledge tracing, BKT)模型.隨后，學(xué)者們分別從變量表示方式、數(shù)據(jù)特征信息、建模方法等方面展開了對認(rèn)知跟蹤模型的研究.針對變量表示方式，部分認(rèn)知跟蹤模型(包括BKT模型)采用“0-1”二元表示方法，分別表示隱變量中學(xué)生的“未掌握-掌握”認(rèn)知狀態(tài)及觀測變量中學(xué)生的“錯誤-正確”作答表現(xiàn)[12-14]；除二元表示方法外，部分認(rèn)知跟蹤模型采用多元表示方法增強(qiáng)模型的表示能力[15-18].針對數(shù)據(jù)特征信息，部分認(rèn)知跟蹤模型通過結(jié)合數(shù)據(jù)中的習(xí)題[10-11,19-20]、知識點[21-23]、時間[13-14,24]等信息提升模型擬合的精度.針對建模方法，現(xiàn)有認(rèn)知跟蹤模型中2類主流的建模方法為貝葉斯方法[18,25-30]和深度學(xué)習(xí)方法[10,31-38].

Fig. 1 Mind map of knowledge tracing models in educational big data圖1 教育大數(shù)據(jù)中認(rèn)知跟蹤模型的思維導(dǎo)圖

本文從建模方法的角度回顧了認(rèn)知跟蹤模型的發(fā)展，詳細(xì)介紹了基于貝葉斯方法和深度學(xué)習(xí)方法2類認(rèn)知跟蹤模型.據(jù)我們所知，目前關(guān)于認(rèn)知跟蹤模型的綜述型研究較少.文獻(xiàn)[39]主要分析了貝葉斯方法的認(rèn)知跟蹤模型，未分析其他建模方法的認(rèn)知跟蹤模型.文獻(xiàn)[40-43]是學(xué)生模型的綜述，其中認(rèn)知跟蹤模型作為綜述中的一個部分，并未詳細(xì)展開介紹.文獻(xiàn)[44-47]在性能、精度等方面比較了認(rèn)知跟蹤模型與其他模型.文獻(xiàn)[39-47]未對認(rèn)知跟蹤模型進(jìn)行系統(tǒng)、全面地梳理.本文通過檢索計算機(jī)領(lǐng)域及教育領(lǐng)域的期刊和會議，從建模方法的角度詳細(xì)分析了教育大數(shù)據(jù)中認(rèn)知跟蹤模型的發(fā)展趨勢，同時介紹了模型的應(yīng)用情況，對不同類型的認(rèn)知跟蹤模型進(jìn)行比較、分析和展望.本文的具體貢獻(xiàn)有3個方面：

1) 對教育大數(shù)據(jù)中的認(rèn)知跟蹤模型進(jìn)行全面梳理，分別從模型原理、算法步驟、模型的擴(kuò)展和改進(jìn)等方面詳細(xì)介紹認(rèn)知跟蹤模型；

2) 分別對基于貝葉斯和深度學(xué)習(xí)方法的2類認(rèn)知跟蹤模型進(jìn)行介紹，將2類模型按照數(shù)據(jù)特征信息、方法策略等方面歸類整理；

3) 對比了現(xiàn)有認(rèn)知跟蹤模型的優(yōu)缺點，并從模型的參數(shù)尋優(yōu)、可解釋性與精度的權(quán)衡、部分假設(shè)與實際情況不符等角度分析了未來認(rèn)知跟蹤模型有待研究的方向.

1 相關(guān)工作

本節(jié)首先介紹教育數(shù)據(jù)挖掘的相關(guān)工作，隨后分別對面向靜態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知診斷模型及面向動態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知跟蹤模型進(jìn)行概述，最后分析本文與其他相關(guān)綜述文章的區(qū)別.

1.1 教育數(shù)據(jù)挖掘

教育數(shù)據(jù)挖掘[48]通過數(shù)據(jù)挖掘技術(shù)處理教育大數(shù)據(jù)，從而獲取教育系統(tǒng)中有價值的信息.圖2是一個教育系統(tǒng)示意圖，模型中有3個主要角色，分別是知識庫(knowledge base)、學(xué)生(students)和教師(teachers).知識庫是教育系統(tǒng)的基礎(chǔ)；學(xué)生與教師之間通過評估系統(tǒng)(assessment system)或習(xí)題(items)交互，具體為：

1) 知識庫.在教育數(shù)據(jù)挖掘的相關(guān)研究中，通常將知識庫視為知識點的集合，知識點之間可能存在樹狀或網(wǎng)狀關(guān)系.知識庫的自動構(gòu)建是知識庫模型[49]的重要研究方向.

2) 學(xué)生.基于學(xué)生的學(xué)習(xí)過程可評估認(rèn)知狀態(tài)、分析心理因素、預(yù)測行為表現(xiàn).學(xué)生模型的研究包括針對單個學(xué)生的認(rèn)知狀態(tài)提出的個性化學(xué)習(xí)方案和基于學(xué)生群體的相似性和差異性提出的協(xié)同學(xué)習(xí)方案等.

3) 教師.教師可通過追蹤學(xué)生對習(xí)題的作答表現(xiàn)掌握學(xué)生的學(xué)習(xí)狀態(tài)；通過評估系統(tǒng)的反饋分析學(xué)生的認(rèn)知情況、交互心理等.此處的“教師”為廣義上的“教師”，即按照課堂教育和在線教育2種教育方式，教師可被劃分為教職人員和在線平臺2類.

Fig. 2 Toy model of educational system圖2 教育系統(tǒng)示意圖

根據(jù)研究對象的不同，教育數(shù)據(jù)挖掘的相關(guān)研究包括面向?qū)W生、面向教師以及面向知識庫的相關(guān)模型和方法：1)面向?qū)W生的模型和方法：包括評估或跟蹤學(xué)生認(rèn)知狀態(tài)的模型(如認(rèn)知診斷模型[50]、認(rèn)知跟蹤模型[7,31]等)及學(xué)習(xí)資源的個性化推薦[51-54]、協(xié)同學(xué)習(xí)的推薦算法[55-57]等；2)面向教師的模型和方法：包括試卷的自動評估和評分等，如計算機(jī)自適應(yīng)測驗(CAT)可針對學(xué)生的測驗情況精準(zhǔn)定位測驗內(nèi)容、評估試卷的合理性等[58-59]；3)面向知識庫的模型和方法[49].

1.2 認(rèn)知診斷模型概述

由圖1可知，學(xué)生模型包括面向靜態(tài)學(xué)習(xí)數(shù)據(jù)和動態(tài)數(shù)據(jù)的模型.與面向動態(tài)學(xué)習(xí)數(shù)據(jù)的認(rèn)知跟蹤模型不同，經(jīng)典的認(rèn)知診斷模型旨在對靜態(tài)學(xué)習(xí)數(shù)據(jù)進(jìn)行建模分析.認(rèn)知診斷模型[50](cognitive diagnosis model, CDM)基于教育學(xué)、統(tǒng)計學(xué)和計算機(jī)科學(xué)，通過對習(xí)題與知識點的關(guān)聯(lián)關(guān)系及學(xué)生的答題情況，得到學(xué)生的知識點掌握情況.目前已有上百種認(rèn)知診斷模型，包括規(guī)則空間模型[60](rule space model, RSM)、屬性層次模型[61](attribute hierarchy model, AHM)、DINA[62](deterministic input, noisy AND-gate)模型等.

DINA模型是CDM中應(yīng)用十分廣泛的模型.該模型假設(shè)每個習(xí)題都關(guān)聯(lián)1個或多個知識點，通過分析學(xué)生的作答表現(xiàn)、并考慮“猜測”和“失誤”等心理因素對學(xué)生進(jìn)行診斷分析.其中，習(xí)題與知識點的關(guān)聯(lián)關(guān)系通常使用Q矩陣表示.與認(rèn)知跟蹤模型不同的是，認(rèn)知診斷模型中的學(xué)生作答數(shù)據(jù)不包含學(xué)生作答習(xí)題的時間特性.然而，時間特性在分析學(xué)生的認(rèn)知狀態(tài)中具有重要的意義.因此，作為對動態(tài)學(xué)習(xí)數(shù)據(jù)建模的模型，認(rèn)知跟蹤模型在教育大數(shù)據(jù)領(lǐng)域值得深入研究.

1.3 認(rèn)知跟蹤模型概述

認(rèn)知跟蹤模型面向動態(tài)學(xué)習(xí)數(shù)據(jù)建模，基于學(xué)生在學(xué)習(xí)過程中對習(xí)題作答表現(xiàn)的數(shù)據(jù)，跟蹤學(xué)生隨時間的變化對知識點的掌握情況[7].如圖3所示，認(rèn)知跟蹤模型從建模方法上可分為基于貝葉斯方法的認(rèn)知跟蹤模型(詳見第2節(jié))和基于深度學(xué)習(xí)的認(rèn)知跟蹤模型(詳見第3節(jié)).

前者出現(xiàn)最早的模型是Corbett等人[7]提出的BKT模型，后者是以2015年P(guān)iech等人[31]提出的DKT(deep knowledge tracing)模型為代表.BKT和DKT模型提出之后，學(xué)者們基于BKT和DKT提出了很多的擴(kuò)展模型.

Fig. 3 Classification of knowledge tracing models圖3 認(rèn)知跟蹤模型的分類

1.3.1 問題背景

認(rèn)知跟蹤旨在根據(jù)學(xué)生在不同時刻的習(xí)題作答數(shù)據(jù)，分析學(xué)生認(rèn)知狀態(tài)的變化、并預(yù)測他們在未來時刻的作答表現(xiàn).假設(shè)學(xué)生在每個時間步作答一道習(xí)題，該模型的形式化定義中涉及到的符號如表1所示：

Table 1 Notations and Descriptions in Knowledge Tracing表1 認(rèn)知跟蹤模型中涉及的符號及描述

(1)

(2)

認(rèn)知跟蹤框架示意圖如圖4所示：1)模型的輸入為I個學(xué)生在T個時間步作答不同知識點習(xí)題的觀測得分.任意習(xí)題涉及到1個或多個知識點，習(xí)題涉及到知識點的不同情況如圖4中圓角框所示.即該習(xí)題可能只涉及到單個知識點，也可能涉及到多個知識點；用戶標(biāo)注的多個知識點可能相互獨立、也可能是相關(guān)的；習(xí)題涉及到的知識點可能是已知的，也可能是未知的.2)針對觀測得分?jǐn)?shù)據(jù)，通過貝葉斯網(wǎng)絡(luò)、深度學(xué)習(xí)等模型進(jìn)行擬合、參數(shù)尋優(yōu)，可得到每個學(xué)生的認(rèn)知跟蹤子模型.3)認(rèn)知跟蹤模型可應(yīng)用于對學(xué)生在未來時刻的作答情況進(jìn)行預(yù)測，以及在已知習(xí)題與知識點的關(guān)聯(lián)關(guān)系的情況下，分析學(xué)生在每個時間步下對每個知識點的掌握狀態(tài).

Fig. 4 Framework of knowledge tracing (assuming that a student answers only one item at a time step)圖4 認(rèn)知跟蹤框架示意圖 (假設(shè)學(xué)生在每個時間步作答1道習(xí)題)

1.3.2 模型的評價指標(biāo)

在認(rèn)知跟蹤模型中常見的評價指標(biāo)為：對數(shù)似然(log-likelihood, LL)、均方根誤差(root mean squared error, RMSE)、平均絕對誤差(mean absolute error, MAE)、ROC曲線下方的面積大小(area under the curve, AUC)[63-64].不同的應(yīng)用場景下可選擇不同的評價指標(biāo)，如經(jīng)典的參數(shù)估計方法EM算法(expectation maximization)[65]通常使用LL擬合參數(shù).LL[66]，RMSE[67]，MAE[68]的計算分別為

(3)

(4)

(5)

其中，n表示預(yù)測數(shù)據(jù)的個數(shù)，ci表示第i個預(yù)測數(shù)據(jù)，pi表示第i個真實數(shù)據(jù).對應(yīng)至認(rèn)知跟蹤模型，n表示學(xué)生作答的習(xí)題個數(shù)，ci和pi分別表示學(xué)生作答第i道習(xí)題得分的預(yù)測值和真實值.

在認(rèn)知跟蹤模型的評價指標(biāo)研究中，文獻(xiàn)[63]對比了LL，RMSE，AUC這3個指標(biāo)在認(rèn)知跟蹤的參數(shù)估計中的效果，發(fā)現(xiàn)RMSE比其余2個評價指標(biāo)對參數(shù)估計具有更強(qiáng)的指引效果，使模型預(yù)測達(dá)到最佳性能.文獻(xiàn)[64]通過對比分析得到RMSE和LL更加適合參數(shù)估計的場景，而AUC在評價模型最終結(jié)果方面效果更佳，因此大多數(shù)研究以AUC作為模型的最終評價指標(biāo).

1.3.3 公開數(shù)據(jù)集

現(xiàn)有認(rèn)知跟蹤模型的實驗擬合部分的數(shù)據(jù)多數(shù)采用學(xué)生與在線平臺交互的習(xí)題作答數(shù)據(jù).為方便研究者對認(rèn)知跟蹤模型進(jìn)行更好的研究和發(fā)展，本文對目前網(wǎng)絡(luò)上公開的數(shù)據(jù)集進(jìn)行了不完全歸納統(tǒng)計，如表2所示:

Table 2 List of Public Datasets表2 公開數(shù)據(jù)集列表

ASSISTmentsData是Heffernan教授團(tuán)隊公開發(fā)布的數(shù)據(jù)集，該數(shù)據(jù)集是由教輔系統(tǒng)獲得的小學(xué)數(shù)學(xué)習(xí)題的學(xué)生答題記錄，是目前公開的認(rèn)知跟蹤領(lǐng)域最大的數(shù)據(jù)集[31].ASSISTmentsData提供了3組數(shù)據(jù)：1)2009—2010 ASSISTment Data數(shù)據(jù)集包括Skill builder數(shù)據(jù)(401 757條學(xué)生作答記錄)和Non skill builder數(shù)據(jù)(603 129條學(xué)生作答記錄)2個子數(shù)據(jù)集.其中，Skill builder的含義為：若某學(xué)生作答數(shù)據(jù)滿足某一條件(如連續(xù)正確作答3次與該知識點相關(guān)的習(xí)題)，則視為該學(xué)生已掌握該知識點，從而不會再給該學(xué)生推薦該知識點的相關(guān)習(xí)題.2)2012—2013 School Data with Affect數(shù)據(jù)集含6 123 271條學(xué)生作答記錄.其中，Affect[69]的含義為：數(shù)據(jù)中包括與學(xué)生心理因素相關(guān)的4個特征Average_confidence(FRUSTRATED)，Average_confidence(CONFUSED)，Average_confidence(CONCENTRATING)，Average_confidence(BORED).3)2015 ASSISTments Skill Builder Data數(shù)據(jù)集含708 632條學(xué)生作答記錄.該數(shù)據(jù)集為2015年收集的Skill builder數(shù)據(jù).

Datashop是最大的學(xué)習(xí)交互數(shù)據(jù)存儲庫，供教育數(shù)據(jù)挖掘者、課程開發(fā)人員、教育技術(shù)研究者、心理學(xué)家等各界人士上傳和使用.Datashop中包括數(shù)學(xué)、化學(xué)、物理、英語、漢語等多門課程的學(xué)習(xí)交互數(shù)據(jù)，時間跨度為1969—2018年且持續(xù)更新中，每個數(shù)據(jù)集的數(shù)據(jù)特征也不盡相同.因此，Datashop對于包括認(rèn)知跟蹤領(lǐng)域在內(nèi)的教育大數(shù)據(jù)研究工作具有十分重要的支撐作用.

Anonymizeddata公開了2次計算機(jī)編程挑戰(zhàn)(Hoc4和Hoc18)的用戶交互數(shù)據(jù)集，時間跨度為2013-12—2014-03.其中，Hoc4和Hoc18分別包含509 405個學(xué)生、1 138 506次提交記錄；263 569個學(xué)生、1 263 360次提交記錄.

Synathetic是深度認(rèn)知跟蹤模型DKT的作者Piech等人[31]構(gòu)建的模擬數(shù)據(jù)，包含4 000個學(xué)生、50個習(xí)題、20萬條學(xué)生答題記錄.

本節(jié)介紹的4類認(rèn)知跟蹤領(lǐng)域中常用的公開數(shù)據(jù)集，不同數(shù)據(jù)集的規(guī)模、數(shù)據(jù)特征有所不同，研究者可以根據(jù)研究內(nèi)容選擇不同的數(shù)據(jù)集.

1.4 本文與現(xiàn)有綜述的區(qū)別

本節(jié)將介紹現(xiàn)有認(rèn)知跟蹤相關(guān)綜述，并分析與本文的區(qū)別.

認(rèn)知跟蹤模型屬于學(xué)生模型，因此本節(jié)首先列出學(xué)生模型的相關(guān)綜述.此類綜述以學(xué)生模型為對象，認(rèn)知跟蹤模型作為子類模型，未對其進(jìn)行系統(tǒng)地介紹和分析.文獻(xiàn)[40-43]是關(guān)于學(xué)生模型的綜述.文獻(xiàn)[40]圍繞智能輔導(dǎo)系統(tǒng)(intelligent tutoring system, ITS)的學(xué)生模型展開.文獻(xiàn)[41]從理論技術(shù)的角度梳理學(xué)生模型，包括疊加模型(overlay model)、機(jī)器學(xué)習(xí)(machine learning)、認(rèn)知理論(cognitive theories)、模糊學(xué)生模型(fuzzy student modeling)、貝葉斯網(wǎng)絡(luò)(Bayesian network)等.文獻(xiàn)[42]詳細(xì)闡述了在特定的情境下如何選擇學(xué)生模型的問題，對開發(fā)者和研究者提出了可能的研究方向.文獻(xiàn)[43]從知識狀態(tài)、認(rèn)知行為、情感因素和綜合類型4個方面對學(xué)生模型進(jìn)行了梳理.這些文獻(xiàn)涉及到認(rèn)知跟蹤模型的內(nèi)容較少，而本文著重從原理、方法步驟、比較分析、發(fā)展歷程、應(yīng)用等不同的維度詳細(xì)介紹認(rèn)知跟蹤模型.

據(jù)我們所知，現(xiàn)有認(rèn)知跟蹤模型的綜述只有文獻(xiàn)[39].文獻(xiàn)[39]從知識點、學(xué)生和數(shù)據(jù)3個方面分析了認(rèn)知跟蹤模型在教育領(lǐng)域上的應(yīng)用.但該文獻(xiàn)側(cè)重于分析貝葉斯方法的認(rèn)知跟蹤模型，沒有討論其他建模方法的認(rèn)知跟蹤模型.與該文獻(xiàn)相比，本文對教育大數(shù)據(jù)中認(rèn)知跟蹤模型的回顧和分析更加系統(tǒng)和全面，梳理并比較了不同建模方法的認(rèn)知跟蹤模型.

另外，一些非綜述類文獻(xiàn)中介紹了認(rèn)知跟蹤模型與其他模型的對比分析情況[44-47].文獻(xiàn)[44]將認(rèn)知跟蹤模型與常規(guī)的隨機(jī)對照試驗(randomized controlled trial, RCT)、學(xué)習(xí)分解(learning decom-position)進(jìn)行比較，分別從模型的目的、輸入、假設(shè)條件3個方面進(jìn)行評估.文獻(xiàn)[45]將認(rèn)知跟蹤模型與表現(xiàn)因素分析(performance factor analysis, PFA)方法從預(yù)測精度和參數(shù)的合理性2方面進(jìn)行比較；同時研究不同的參數(shù)擬合方法——最大期望(expectation maximization, EM)方法和BF(brute force)方法的認(rèn)知跟蹤模型KT+EM與KT+BF的性能，結(jié)果發(fā)現(xiàn)KT+EM的性能優(yōu)于KT+BF.文獻(xiàn)[46]從學(xué)生作答表現(xiàn)的預(yù)測方面比較了認(rèn)知跟蹤模型與PFA方法.文獻(xiàn)[47]將認(rèn)知跟蹤模型與智能輔導(dǎo)系統(tǒng)中經(jīng)常使用的連續(xù)正確響應(yīng)進(jìn)行了實驗對比.文獻(xiàn)[44-47]通過理論證明或?qū)嶒灧治龅姆绞綄⒄J(rèn)知跟蹤模型與其他相關(guān)的學(xué)生模型進(jìn)行比較，側(cè)重點是分析了認(rèn)知跟蹤模型與其他特定模型在預(yù)測性能、參數(shù)擬合等方面的表現(xiàn).而本文則系統(tǒng)地介紹了認(rèn)知跟蹤模型的發(fā)展歷程和模型的應(yīng)用，比較了不同建模方法模型的優(yōu)缺點，并對未來的研究方向進(jìn)行了展望.

2 基于貝葉斯方法的認(rèn)知跟蹤模型

本節(jié)介紹基于貝葉斯方法的認(rèn)知跟蹤模型，首先解釋了經(jīng)典貝葉斯認(rèn)知跟蹤模型BKT的原理和步驟，對BKT模型的相關(guān)文獻(xiàn)進(jìn)行梳理；然后介紹了其他基于BKT擴(kuò)展的貝葉斯認(rèn)知跟蹤模型、開發(fā)工具和公開源碼.

2.1 BKT模型

1994年Corbett等人[7]提出BKT模型，在學(xué)生使用智能輔導(dǎo)系統(tǒng)過程中(此處指學(xué)生使用ACT Programming Tutor短程序編寫系統(tǒng)進(jìn)行Lisp語言編程練習(xí))，基于HMM[70]構(gòu)建學(xué)生認(rèn)知狀態(tài)變化的模型，監(jiān)測和估計學(xué)生掌握知識點的概率.

HMM描述離散時間序列上的概率分布Y=(y1,y2,…,yt,…,yT)，它取決于隱狀態(tài)序列X=(x1,x2,…,xt,…,xT).其中，Y稱為觀測序列(observation)，X稱為隱狀態(tài)(hidden state)，Y與X均是離散序列.t表示時間步.即時間步t的觀測變量yt只與xt有關(guān)，稱xt至yt的概率為發(fā)射概率(emission probability)，記為P(yt|xt).從時間步1～T，隱狀態(tài)序列從x1逐步轉(zhuǎn)移成xT，任意一個時間步的隱狀態(tài)xt至下一個時間步的隱狀態(tài)xt+1稱為轉(zhuǎn)移概率(transition probability)，記為P(xt+1|xt).

如圖5(a)所示，BKT模型將學(xué)生作答表現(xiàn)序列定義為HMM模型中的觀測序列(對應(yīng)圖5(a)中的陰影圓圈)；學(xué)生對知識點的認(rèn)知狀態(tài)定義為HMM模型中的隱狀態(tài)(對應(yīng)圖5(a)中的非陰影圓圈).P(Lt)表示時間步t時學(xué)生掌握知識點q的概率，P(L0)表示初始時間步時學(xué)生掌握知識點q的概率.如圖5(b)所示，作答表現(xiàn)存在“正確”(correct)和“錯誤”(incorrect)2種取值(對應(yīng)圖5(b)中的2個菱形)；認(rèn)知狀態(tài)的取值存在“已掌握狀態(tài)”(learned state)和“未掌握狀態(tài)”(unlearned state)2種取值(對應(yīng)圖5(b)中的2個切角矩形).P(G)是猜測概率，意為在學(xué)生的認(rèn)知狀態(tài)處于“未掌握狀態(tài)”時，學(xué)生的作答表現(xiàn)為“正確”的概率；P(S)失誤概率，意為在學(xué)生的認(rèn)知狀態(tài)處于“掌握狀態(tài)”時，學(xué)生的作答表現(xiàn)為“不正確”的概率；P(T)為轉(zhuǎn)移概率，指學(xué)生的認(rèn)知狀態(tài)從“未掌握狀態(tài)”變成“掌握狀態(tài)”的概率.需要注意的是，BKT基于3點假設(shè)進(jìn)行建模：

1) 每一次練習(xí)僅與一個知識相關(guān)；

Fig. 5 Model of BKT[17]圖5 BKT模型[17]

2) 忽略學(xué)生的認(rèn)知遺忘因素，即學(xué)生對知識的認(rèn)知狀態(tài)可以由“未掌握狀態(tài)”轉(zhuǎn)移至“掌握狀態(tài)”，但反之概率為0；

3) 學(xué)生的轉(zhuǎn)移概率P(T)不變[15]，與學(xué)生作答表現(xiàn)、作答正確次數(shù)無關(guān).

BKT的具體步驟如下[7]：

Step1. 將一個學(xué)生針對1個知識點的作答數(shù)據(jù)建模為如圖5所示的BKT模型.

Step2. 初始化P(L0)，P(T)，P(G)，P(S)這4個參數(shù)的取值，時間步t=1.

Step3. 根據(jù)時間步t的觀測值yq,t計算時間步t-1的知識點掌握條件概率P(Lt-1|yq,t)，若yq,t=Correct，則

P(Lt-1|yq,t=Correct)=

(6)

若yq,t=Incorrect，則

(7)

Step4. 使用時間步t-1的條件概率P(Lt-1|yq,t)更新時間步t學(xué)生掌握該知識點的概率P(Lt).

P(Lt)=P(Lt-1|yq,t)+
(1-P(Lt-1|yq,t))P(T).

(8)

Step5. 更新4個參數(shù)的值，t=t+1.

Step6. 返回Step3，直至?xí)r間步t=T，得到4個參數(shù)的解.

Step7. 返回Step2，直至算法終止條件，得到BKT模型.

在得到4個參數(shù)的最優(yōu)解后，即可評估學(xué)生的認(rèn)知狀態(tài).當(dāng)學(xué)生作答正確時，學(xué)生的認(rèn)知狀態(tài)為

P(Lt|yq,t=Correct)=P(Lt)(1-P(S))+
(1-P(Lt))×P(G).

(9)

當(dāng)學(xué)生作答錯誤時，學(xué)生的認(rèn)知狀態(tài)為

P(Lt|yq,t=Incorrect)=P(Lt)P(S)+
(1-P(Lt))×(1-P(G)).

(10)

除了評估學(xué)生的認(rèn)知狀態(tài)，還可以預(yù)測學(xué)生在下一時間步的作答表現(xiàn)，即計算學(xué)生在下一時間步學(xué)生正確作答習(xí)題的概率：

P(yq,t+1=Correct)=P(Lq,t+1)(1-P(S))+
(1-P(Lq,t+1))P(G).

(11)

在此，對式(6)～(11)進(jìn)行詳細(xì)解釋：

由HMM性質(zhì)知，當(dāng)前時間步的狀態(tài)僅與當(dāng)前時間步的觀測結(jié)果及上一時間步的狀態(tài)有關(guān)，因此時間步t時學(xué)生對知識點q的掌握概率P(Lt)的更新如式(8).其中，yq,t表示當(dāng)前時間步t時的觀測結(jié)果，yq,t∈{Correct,Incorrect}；P(Lt-1|yq,t)表示上一時間步的掌握概率的條件概率，1-P(Lt-1|yq,t)表示在當(dāng)前時間步t的觀測結(jié)果下上一時間步未掌握的概率；P(T)表示由未掌握狀態(tài)轉(zhuǎn)移至掌握狀態(tài)的概率.式(8)中的P(Lt-1|yq,t)，yq,t∈{Correct,Incorrect}的計算如式(6)(7).

式(6)計算在時間步t的觀測值為作答正確的情況下，時間步t-1的知識點掌握條件概率P(Lt-1|yq,t=Correct).分母為時間步t觀測值為作答正確的所有情況的概率之和：1)時間步t-1學(xué)生掌握知識點且學(xué)生對該習(xí)題無失誤；2)時間步t-1學(xué)生沒有掌握知識點且學(xué)生對該習(xí)題猜測正確.分子為上述2種情況中“時間步t-1學(xué)生掌握知識點”的概率.因此求得P(Lt-1|yq,t=Correct).

式(7)計算在時間步t的觀測值為作答錯誤的情況下，時間步t-1的知識點掌握條件概率P(Lt-1|yq,t=Incorrect).同式(6)，分母為時間步t觀測值為作答錯誤的所有情況的概率之和：1)時間步t-1學(xué)生掌握知識點且學(xué)生對該習(xí)題有失誤；2)時間步t-1學(xué)生沒有掌握知識點且學(xué)生對該習(xí)題無猜測.分子為上述2種情況中“時間步t-1學(xué)生掌握知識點”的概率.因此求得P(Lt-1|yq,t=Incorrect).

式(8)計算時間步t學(xué)生掌握該知識點的概率P(Lt)為下列2種情況的概率之和：1)基于時間步t的觀測值情況下，時間步t-1學(xué)生掌握知識點；2)基于時間步t的觀測值情況下，時間步t-1學(xué)生沒有掌握知識點的概率與轉(zhuǎn)移概率的乘積.因此求得P(Lt).

式(9)在時間步t學(xué)生作答正確的情況下，評估學(xué)生認(rèn)知狀態(tài)，即在時間步t學(xué)生作答正確的情況下，學(xué)生掌握該知識點的概率P(Lt|yq,t=Correct)為以下2種情況的概率之和：1)學(xué)生在時間步t掌握該知識點且對該習(xí)題無失誤；2)學(xué)生在時間步t未掌握該知識點且對該習(xí)題猜測正確.因此求得P(Lt|yq,t=Correct).

式(10)在時間步t學(xué)生作答錯誤的情況下，評估學(xué)生認(rèn)知狀態(tài)，即在時間步t學(xué)生作答錯誤的情況下，學(xué)生掌握該知識點的概率P(Lt|yq,t=Incorrect)為以下2種情況的概率之和：1)學(xué)生在時間步t掌握該知識點且對該習(xí)題有失誤；2)學(xué)生在時間步t未掌握該知識點且對該習(xí)題無猜測.因此求得P(Lt|yq,t=Incorrect).

式(11)用以預(yù)測時間步t+1學(xué)生正確作答習(xí)題的概率P(yq,t+1=Correct)為以下2種情況的概率之和：1)在時間步t+1學(xué)生掌握該知識點且無失誤；2)在時間步t+1學(xué)生未掌握該知識點且猜測正確.因此求得P(yq,t+1=Correct).

2.2 BKT模型的分析

BKT模型在智能教輔系統(tǒng)等場景中發(fā)揮著重要的作用.學(xué)者們對BKT模型的參數(shù)、性能、數(shù)據(jù)等方面進(jìn)行了具體分析.本節(jié)將從BKT模型的參數(shù)分析、BKT模型的識別性問題和模型退化問題、BKT模型的數(shù)據(jù)分析3個方面進(jìn)行梳理.

2.2.1 BKT模型的參數(shù)分析

在使用BKT模型進(jìn)行認(rèn)知狀態(tài)評估時，可能會出現(xiàn)2類錯誤的評估：1)一個學(xué)生實際未掌握某知識，其認(rèn)知狀態(tài)卻被評估為“掌握狀態(tài)”，這種現(xiàn)象被稱為“過度積極”(false positives)；2)一個學(xué)生實際掌握某知識，其認(rèn)知狀態(tài)卻被評估為“未掌握狀態(tài)”，這種現(xiàn)象被稱為“過度消極”(false negatives)[71].為緩解上述錯誤評估的發(fā)生，可設(shè)置一個認(rèn)知閾值，若學(xué)生掌握某知識的概率大于該認(rèn)知閾值，則將學(xué)生對該知識的認(rèn)知狀態(tài)視為掌握；否則視為未掌握.比如，設(shè)定認(rèn)知閾值為0.95，若一個學(xué)生對一個知識點掌握的概率為0.97，則判斷該學(xué)生對該知識點的認(rèn)知狀態(tài)為掌握.

在課堂教學(xué)或MOOC在線學(xué)習(xí)場景下[72-73]，可能會存在學(xué)生對一些知識具有很強(qiáng)理解能力的情況.文獻(xiàn)[74]探討了當(dāng)學(xué)生的初始參數(shù)P(L0)很高的極端情況下(如P(L0)=0.9)認(rèn)知跟蹤的參數(shù)估計性能，實驗結(jié)果顯示這種情況的模型參數(shù)估計性能較低.

2.2.2 BKT模型的識別性問題和模型退化問題

文獻(xiàn)[75]指出BKT模型是不可識別的，即對于BKT的4個參數(shù)，不同的參數(shù)取值的組合可能導(dǎo)致相同的作答預(yù)測結(jié)果，此問題被稱為識別性問題(identifiability problem).通過探索認(rèn)知跟蹤模型中參數(shù)對模型預(yù)測性能的敏感性問題，確認(rèn)是否可以縮小參數(shù)的搜索空間.文獻(xiàn)[76]發(fā)現(xiàn)模型對參數(shù)是不敏感的，并通過將參數(shù)聚類的方法縮小了參數(shù)的搜索空間，更快地找到最優(yōu)解.文獻(xiàn)[77]對BKT模型中學(xué)生的認(rèn)知概率公式進(jìn)行推演，證明了存在很多種關(guān)于猜測概率P(G)和初始參數(shù)P(L0)的取值可能，解釋了識別性問題出現(xiàn)的原因.此外，文獻(xiàn)[78-79]均探討了BKT模型的識別性問題.若識別性問題確實存在，必須對BKT模型重新建立新的模型評價標(biāo)準(zhǔn).

文獻(xiàn)[80]表示在符合實際情況的條件下，BKT模型是可識別的，即認(rèn)為BKT模型不存在識別性問題.該文獻(xiàn)提出語義模型退化(semantic model degeneracy)問題，即在BKT模型中，求解的模型參數(shù)與模型的假設(shè)條件不一致.該問題出現(xiàn)在BKT模型的擬合過程中.由2.1節(jié)知，BKT模型使用2狀態(tài)的HMM擬合數(shù)據(jù)，得到符合該HMM的參數(shù)最優(yōu)解；但是對猜測概率、失誤概率及轉(zhuǎn)移概率的最優(yōu)解解釋卻與最初的BKT模型假設(shè)不完全一致.文獻(xiàn)[80]認(rèn)為分析模型退化的來源將是未來研究的一個重要方向.無論是識別性問題，還是模型退化問題，其根源可追溯至得到模型參數(shù)最優(yōu)解的過程和方法，從而進(jìn)行學(xué)生認(rèn)知狀態(tài)的估計和作答表現(xiàn)的預(yù)測[81].

2.2.3 BKT模型的數(shù)據(jù)分析

模擬數(shù)據(jù)在教育數(shù)據(jù)挖掘及認(rèn)知跟蹤領(lǐng)域的使用十分廣泛，如使用模擬數(shù)據(jù)驗證BKT模型的收斂性問題[83].文獻(xiàn)[84]研究了是否可以區(qū)分一個數(shù)據(jù)集是模擬數(shù)據(jù)還是真實數(shù)據(jù)，分析了模擬數(shù)據(jù)與真實數(shù)據(jù)之間的相似性，但并未設(shè)計出可以自動識別模擬數(shù)據(jù)或真實數(shù)據(jù)的算法.

2.3 BKT的擴(kuò)展

自1994年BKT模型提出后，學(xué)者們從使用不同方法、以不同目的、適應(yīng)不同場景等角度對BKT模型進(jìn)行擴(kuò)展.本文將BKT的擴(kuò)展模型分為3類：1)結(jié)合教育數(shù)據(jù)特征的擴(kuò)展模型；2)混合方法擴(kuò)展模型；3)其他模型.擴(kuò)展模型的對比如表3所示：

Table 3 Comparison of the Variants of BKT Model表3 BKT擴(kuò)展模型的對比

2.3.1 結(jié)合教育數(shù)據(jù)特征的擴(kuò)展模型

學(xué)生在學(xué)習(xí)過程中會產(chǎn)生大量的碎片化數(shù)據(jù)，這些教育數(shù)據(jù)含有豐富的語義信息[89,94].傳統(tǒng)的BKT模型只挖掘了語義信息中隨時間變化的縱向信息，而忽略了數(shù)據(jù)中其余特征信息.因此，學(xué)者們結(jié)合教育數(shù)據(jù)中的各類特征信息提出BKT的擴(kuò)展模型，包括結(jié)合個性化特征的擴(kuò)展模型和結(jié)合通用特征的擴(kuò)展模型.

1) 結(jié)合個性化特征的擴(kuò)展模型

BKT模型對單一知識點建模，使得模型對知識庫模型及知識與習(xí)題關(guān)聯(lián)模型的依賴性較強(qiáng).如果知識庫模型構(gòu)建的粒度太粗或太細(xì)，會直接影響模型認(rèn)知狀態(tài)評估的性能；如果學(xué)生在處理一個知識點關(guān)聯(lián)的連續(xù)幾道習(xí)題十分相似，可能會增加該學(xué)生對后面出現(xiàn)相似習(xí)題的猜測率[20].因此，文獻(xiàn)[20]提出BKT-ST模型，在BKT模型的基礎(chǔ)上考慮連續(xù)習(xí)題之間的相似性問題，發(fā)現(xiàn)學(xué)生在連續(xù)作答多道相似習(xí)題后其猜測概率提高、失誤概率降低、作答表現(xiàn)變好.

文獻(xiàn)[22]在MOOC平臺的Coursera(1)https://www.coursera.org/場景下，針對BKT模型忽略知識點之間豐富結(jié)構(gòu)和關(guān)聯(lián)性的問題，基于課程章節(jié)對應(yīng)的講座視頻構(gòu)建具有層次性和時間特性的Multi-Grained-BKT模型和Historical-BKT模型.文獻(xiàn)[85]探討了在線教育中短視頻對模型預(yù)測精度的作用.如作答某一習(xí)題涉及到工具的使用，該習(xí)題關(guān)聯(lián)了記錄使用該工具方法的短視頻，那么在學(xué)生作答該習(xí)題時觀看該短視頻對學(xué)生的習(xí)題作答產(chǎn)生影響.Template-Videos利用與習(xí)題高度相關(guān)的短視頻信息提高了BKT模型的認(rèn)知評估性能.腦電圖(electroencephalography, EEG)設(shè)備可以有效探測學(xué)生的心理狀態(tài)，如學(xué)生的注意力[86].文獻(xiàn)[86]將EEG方法引入對學(xué)生認(rèn)知狀態(tài)的評估中，提出的EEG-KT模型提高了BKT的預(yù)測性能.文獻(xiàn)[87]將學(xué)生的“有效狀態(tài)”(affective state)如困惑、無聊、投入或愉悅等因素融入BKT模型中，提出Affective BKT模型并將其應(yīng)用至可實時評估學(xué)生認(rèn)知狀態(tài)的智能導(dǎo)學(xué)機(jī)器人中.

BKT是一種2狀態(tài)變量(變量僅為“0-1”取值)的一階HMM，模型假設(shè)處于一個無噪音環(huán)境中.文獻(xiàn)[16]提出的Spectral BKT模型基于特征補(bǔ)償和模型補(bǔ)償范式，使用3-gram代替原始的“0-1”觀測值(觀測值僅為“0-1”取值，表示習(xí)題作答表現(xiàn)為“錯誤”或“正確”)，給出8種光譜觀測值，并在傳統(tǒng)BKT模型2個認(rèn)知狀態(tài)(隱狀態(tài)僅為“0-1”取值，表示認(rèn)知狀態(tài)為“未掌握狀態(tài)”或“掌握狀態(tài)”)之間增加了2個狀態(tài)，提高了模型的預(yù)測性能.MS-BKT[15]使用將傳統(tǒng)的2個認(rèn)知狀態(tài)擴(kuò)展為21個，使得模型可以更好地捕獲可觀測序列的信息.大多數(shù)BKT的擴(kuò)展模型均基于HMM，具有可解釋性強(qiáng)的共性優(yōu)點，同時也具有共性缺點：學(xué)生的學(xué)習(xí)速率保持不變，不符合客觀事實[15].在保留BKT參數(shù)可解釋性優(yōu)點的同時，MS-BKT[15]使用權(quán)重參數(shù)代替靜態(tài)學(xué)習(xí)率，經(jīng)歷多次練習(xí)的知識點意味著該學(xué)生對該知識點的學(xué)習(xí)率較低，被賦予較小的權(quán)重.實驗表明與靜態(tài)學(xué)習(xí)率相比，使用動態(tài)學(xué)習(xí)率進(jìn)行認(rèn)知狀態(tài)估計的精度更高.

2) 結(jié)合通用特征的擴(kuò)展模型

2.3.1節(jié)介紹的擴(kuò)展模型結(jié)合個性化特征可在某一方向或目的上達(dá)到較好效果，但可能因數(shù)據(jù)信息補(bǔ)全而具有一定的局限性.接下來介紹結(jié)合通用特征的擴(kuò)展模型，緩解了模型的局限性問題.

文獻(xiàn)[88]提出Intervention-BKT模型，認(rèn)為各種類型的教學(xué)干預(yù)行為影響學(xué)生的認(rèn)知狀態(tài)，實驗結(jié)果表明，提出的模型性能優(yōu)于傳統(tǒng)的BKT模型，可應(yīng)用于自適應(yīng)的教學(xué)策略推薦場景中.文獻(xiàn)[89]改進(jìn)估計參數(shù)的EM算法，從學(xué)生作答的觀測向量中提取特征向量，并定義算法中M步驟的參數(shù)為特征向量的函數(shù)，由此提出FAST(feature aware student knowledge tracing)模型.文獻(xiàn)[13]提出了一種基于知識點檢測的數(shù)據(jù)切片算法，用于從學(xué)生觀測數(shù)據(jù)中提取時差信息，并將時差信息整合至認(rèn)知跟蹤模型中，提出TD-BKT模型考慮了學(xué)生觀測數(shù)據(jù)的時間特性，提高了認(rèn)知狀態(tài)評估的精度.

2.3.2 混合方法擴(kuò)展模型

本節(jié)將介紹結(jié)合其他方法的BKT擴(kuò)展模型.傳統(tǒng)的BKT模型未考慮不同知識點之間的關(guān)聯(lián)性，文獻(xiàn)[90]使用動態(tài)貝葉斯網(wǎng)絡(luò)(dynamic Bayesian network, DBN)模型構(gòu)造知識點的層級關(guān)系，實驗結(jié)果發(fā)現(xiàn)即使是簡單的知識點層級關(guān)系，也可以將BKT的預(yù)測精度提高10%.Zhang等人[17]受到三支決策的啟發(fā)提出TLS-BKT模型，對BKT算法中2狀態(tài)學(xué)習(xí)模型進(jìn)行改進(jìn)，將原有的“未掌握狀態(tài)/掌握狀態(tài)”改進(jìn)為“未掌握狀態(tài)/學(xué)習(xí)狀態(tài)/掌握狀態(tài)”，增強(qiáng)了狀態(tài)模型的靈活性和普遍性.文獻(xiàn)[95]應(yīng)用權(quán)重中國餐廳過程(weighted Chinese restaurant process, WCRP)提出基于專家標(biāo)注技能的認(rèn)知技能自動發(fā)現(xiàn)方法.

為提升模型性能，部分文獻(xiàn)將BKT模型與IRT(item response theory)，LFM(latent factors model)等方法結(jié)合起來.認(rèn)知跟蹤模型常被應(yīng)用于學(xué)生認(rèn)知狀態(tài)的評估，未對不同學(xué)生和不同習(xí)題的差異性建模；而IRT可構(gòu)建不同學(xué)生能力、習(xí)題難度的模型，但無法跟蹤學(xué)生的認(rèn)知狀態(tài)[91].文獻(xiàn)[91]將BKT與IRT結(jié)合(本文將該模型稱為KT & IRT combined模型)，保留了BKT學(xué)生建模的優(yōu)點，通過IRT方法提升模型認(rèn)知狀態(tài)評估的精度；文獻(xiàn)[92]將BKT與可以評估學(xué)生心理因素的HMM-IRT[96]結(jié)合，提出KAT(knowledge and affect tracing)模型可預(yù)測學(xué)生的作答表現(xiàn)并分析學(xué)生的游戲行為；文獻(xiàn)[93]提出結(jié)合LFM與KT的Hybrid LF-KT模型，在層次貝葉斯模型中將學(xué)習(xí)的時間動力學(xué)理論(temporal dynamics of learning)與學(xué)生和習(xí)題的差異性相結(jié)合以預(yù)測學(xué)生的作答表現(xiàn).

BKT，KT & IRT combined，KAT，Hybrid LF-KT的模型示意圖分別如圖6(a)～(d)所示.圖6中非陰影圓圈表示模型中的隱變量、陰影圓圈方框表示模型中的觀測變量，圖6(b)～(d)中的實現(xiàn)方框表示擴(kuò)展模型比傳統(tǒng)BKT模型增加的部分，具體含義對應(yīng)圖示部分.

Fig. 6 Models of BKT[7], KT & IRT combined[90], KAT[91], and Hybrid LF-KT[92]圖6 BKT[7]，KT & IRT combined[90]，KAT[91]，Hybrid LF-KT[92]模型

2.4 開發(fā)工具與公開源碼

為降低開發(fā)和評估學(xué)生模型的成本，Chang等人[97]對貝葉斯網(wǎng)絡(luò)包BNT(2)http://bnt.sourceforge.net進(jìn)行擴(kuò)展，得到BNT-SM工具包.BNT-SM通過隱藏大部分構(gòu)造和訓(xùn)練DBNs的編碼細(xì)節(jié)，使研究者可以更加專注于學(xué)生建模問題.研究這使用BNT-SM工具時，將學(xué)生模型以XML文件輸入，該工具會輸出相應(yīng)訓(xùn)練和評估模型的BNT MatLab代碼，輸出結(jié)果的大小至少是輸入大小的5倍.BNT-SM為后期學(xué)生模型研究者提供了便利有效地實驗環(huán)境，作者公開該工具(3)http://www.cs.cmu.edu/～listen/BNT-SM以供研究者使用.此外，表4給出部分基于貝葉斯方法的認(rèn)知跟蹤模型公開源碼網(wǎng)址.

Table 4 Open Source Codes of KT Models Based on Bayesian Method表4 基于貝葉斯方法的認(rèn)知跟蹤模型公開源碼列表

3 基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型

深度學(xué)習(xí)因其強(qiáng)大的表征能力被應(yīng)用于各類研究中，基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型提高了傳統(tǒng)認(rèn)知跟蹤模型的精度.本節(jié)介紹經(jīng)典深度認(rèn)知跟蹤模型DKT，并梳理DKT的擴(kuò)展模型及其余基于深度學(xué)習(xí)的認(rèn)知跟蹤模型.

3.1 DKT模型

人類的知識及大腦具有天然復(fù)雜性，因此使用復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建認(rèn)知跟蹤模型更為合適.然而現(xiàn)有研究大多數(shù)基于具有嚴(yán)格約束函數(shù)的一階HMM.Piech等人[31]于2015年提出DKT模型，將循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)應(yīng)用于認(rèn)知跟蹤問題，在不需要專家標(biāo)注習(xí)題與知識點關(guān)系的情況下，顯著提升了傳統(tǒng)BKT模型作答表現(xiàn)預(yù)測的性能.

RNN是一種遞歸的動態(tài)模型，其當(dāng)前信息基于歷史信息及當(dāng)前輸入.與HMM相比，RNN具有高維的、連續(xù)的潛在變量表示.因此，RNN在處理時間序列問題時都得到了很好的成效.認(rèn)知跟蹤模型根據(jù)每一個時間步(0,1,…,t)的學(xué)生作答表現(xiàn)序列(y0,y1,…,yt)預(yù)測未來時間步的學(xué)生作答表現(xiàn)yt+1，本質(zhì)上是一個時間序列問題.基本的RNN結(jié)構(gòu)示意圖如圖7所示:

Fig. 7 Mode of DKT[31]圖7 DKT模型[31]

(y1,y2,…,yT)，(k0,k1,…,kT)，(o1,o2,…,oT)分別對應(yīng)RNN中的輸入層、隱藏層和輸出層.輸入層(y0,y1,…,yT)表示時間步1～T的學(xué)生的習(xí)題作答表現(xiàn).關(guān)于輸入層的具體含義見one-hot表示法及壓縮感知表示法.隱藏層k0,k1,…,kT中，k0為隱藏單元初值，(k0,k1,…,kT)分別為時間步1～T的隱藏單元.輸出層(o1,o2,…,oT)表示時間步1～T時，正確作答每一道習(xí)題的概率.陰影圓圈表示網(wǎng)絡(luò)的輸入，非陰影圓圈表示隱藏單元，方框表示網(wǎng)絡(luò)的輸出.隱藏單元可視作網(wǎng)絡(luò)的記憶單元，存儲著歷史隱藏單元的所有信息.由圖7可見，每一個時間步中輸入層的信息向隱藏層單向傳遞，每一個時間步中隱藏單元的信息向輸出層單向傳遞，上一個時間步隱藏單元的信息向當(dāng)前時間步的隱藏單元單向傳遞.由此可得，當(dāng)前時間步的隱藏單元由歷史隱藏單元及當(dāng)前時間步的輸入共同決定，當(dāng)前時間步的輸出單元僅由當(dāng)前時間步的隱藏單元決定.

輸入層為學(xué)生的作答表現(xiàn)序列，將學(xué)生的作答表現(xiàn)(“正確”、“錯誤”)通過向量表示.在此介紹2種向量表示方法：one-hot表示法[98]和壓縮感知表示法[99].假設(shè)所有的習(xí)題關(guān)聯(lián)的知識點總共有Q個.

1) one-hot表示法.在任意一個時間步t，定義一個長度為2Q的空向量yt以存儲該時間步的學(xué)生作答表現(xiàn).設(shè)該時間步時學(xué)生作答的習(xí)題與知識點q關(guān)聯(lián)，若學(xué)生正確作答該題，則將向量yt的第Q+q位設(shè)為1，其余位均設(shè)為0；若學(xué)生錯誤作答該題，則將向量的第q位設(shè)為1，其余位均設(shè)為0.以此類推，即可得輸入層的所有向量表示.當(dāng)知識點的數(shù)目很大時，使用one-hot表示法表示的向量稀疏，因此需對向量進(jìn)行壓縮.

2) 壓縮感知表示法.通過將學(xué)生作答表現(xiàn)分配給長度為lg2Q的隨機(jī)高斯輸入向量來精確編碼.

DKT模型通過采用小批次隨機(jī)梯度下降法[100](stochastic gradient descent on minibatches, SGDM)作為優(yōu)化方法.對于一個學(xué)生，計算該學(xué)生從時間步0至?xí)r間步t的交叉熵信息之和，優(yōu)化目標(biāo)為

(12)

其中，l(·)表示交叉熵?fù)p失函數(shù)，(qt+1,at+1)表示在第t+1時間步學(xué)生作答的習(xí)題標(biāo)簽qt+1,即學(xué)生是否正確作答該習(xí)題的標(biāo)簽at+1，δ(qt+1)表示第t+1時間步學(xué)生作答的習(xí)題qt+1的one-hot編碼向量.

由此，通過DKT模型，可以根據(jù)(0,1,…,t)時間步的學(xué)生作答表現(xiàn)向量(y0,y1,…,yt)得到第t個時間步的習(xí)題正確作答概率向量ot，根據(jù)第t+1個時間步作答的習(xí)題得到正確作答該習(xí)題的概率P(yt+1|x1,x2,…,xt).

3.2 DKT擴(kuò)展模型

DKT模型將RNN應(yīng)用到認(rèn)知跟蹤模型中，并取得了較好的預(yù)測精度，受到了學(xué)者們的廣泛關(guān)注.本節(jié)將介紹利用數(shù)據(jù)特征信息及結(jié)合其他方法2類DKT擴(kuò)展模型.表5是本節(jié)介紹的所有DKT擴(kuò)展模型的對比列表.

Table 5 Comparison of the Variants of DKT Model表5 DKT擴(kuò)展模型的對比

3.2.1 結(jié)合教育數(shù)據(jù)特征擴(kuò)展模型

文獻(xiàn)[34]通過引入習(xí)題層面和學(xué)生層面的更多特征信息擴(kuò)展DKT模型(本文稱之為Adaptive DKT)，增加自編碼網(wǎng)絡(luò)層將輸入轉(zhuǎn)換成低維特征向量，減少了模型訓(xùn)練所需的資源和時間.文獻(xiàn)[14]通過分析Fuutoot平臺(一種個性化的自適應(yīng)學(xué)習(xí)平臺)獲取的學(xué)生數(shù)據(jù)，學(xué)生嘗試作答2個習(xí)題的時間間隔可能高至1 h或1 d，甚至1周.Lalwani等人[14]將時間間隔信息作為DKT模型的一個特征編碼，提出DKT-t模型，實驗發(fā)現(xiàn)DKT-t模型可提高DKT模型的預(yù)測性能，同時還可根據(jù)學(xué)生不同的作答序列及認(rèn)知狀態(tài)跟蹤學(xué)生的遺忘曲線.

學(xué)生數(shù)據(jù)的稀疏問題一直影響著認(rèn)知跟蹤模型的預(yù)測精度和模型復(fù)雜度.Chen等人[101]認(rèn)為從知識庫中充分探討知識點之間的相互依賴關(guān)系有助于解決上述數(shù)據(jù)稀疏問題.文獻(xiàn)[101]提出PDKT-C模型，通過引入知識點之間的先決關(guān)系，將其作為模型中的一個約束，以提高模型的精度.文獻(xiàn)[38]認(rèn)為習(xí)題之間也存在相關(guān)關(guān)系(side relations).比如2個習(xí)題關(guān)聯(lián)的知識點之間具有相似關(guān)系或其他隱含關(guān)系，那么這2個習(xí)題必然存在相關(guān)關(guān)系.這些相關(guān)關(guān)系可以構(gòu)造成為一個習(xí)題子圖，該子圖可為認(rèn)知跟蹤提供更加豐富的特征信息.因此，Wang等人[38]提出DKTS模型，將習(xí)題之間關(guān)系的特征信息整合至DKT模型中，提升了模型的預(yù)測性能.

文獻(xiàn)[102]提出無需知識點標(biāo)簽的end-to-end模型E2E-DKT，通過學(xué)生作答習(xí)題記錄的日志中自動學(xué)習(xí)習(xí)題和知識點的向量嵌入.實驗證明了該模型學(xué)習(xí)的向量嵌入對DKT的性能具有促進(jìn)作用.

3.2.2 混合模型

文獻(xiàn)[103]將學(xué)習(xí)能力相似的學(xué)生聚類為一個群體，基于K-Means聚類方法提出了DKT-DSC模型，提高了DKT模型個性化的認(rèn)知跟蹤能力.文獻(xiàn)[104-105]引入學(xué)生數(shù)據(jù)的異構(gòu)特征，分別結(jié)合決策樹、隨機(jī)森林、GBDT這3種樹形分類器預(yù)測學(xué)生的作答表現(xiàn)(本文稱該方法為Classifier-based DKT).

Yeung等人[37]發(fā)現(xiàn)DKT模型在預(yù)測學(xué)生的認(rèn)知水平時，可能學(xué)生對一個知識點的作答表現(xiàn)較好，但預(yù)測結(jié)果反而下降；同時，作者認(rèn)為學(xué)生的認(rèn)知狀態(tài)會隨著時間的推移逐漸改變，而不是在掌握狀態(tài)和未掌握狀態(tài)之間交替變換.為解決上述2個問題，文獻(xiàn)[37]提出DKT+模型，定義了“重構(gòu)錯誤”(reconstruction error)和“波動準(zhǔn)則”(waviness measures)作為正則化損失函數(shù)來擴(kuò)充DKT模型的原始損失函數(shù).

3.3 基于深度學(xué)習(xí)方法的其他模型

DKT模型將RNN應(yīng)用于認(rèn)知跟蹤領(lǐng)域，開啟了深度學(xué)習(xí)方法在該領(lǐng)域的應(yīng)用.表6為本節(jié)介紹的基于深度學(xué)習(xí)方法的其他認(rèn)知跟蹤模型的對比列表.表7給出部分基于深度學(xué)習(xí)方法的認(rèn)知跟蹤模型公開源碼網(wǎng)址.

在復(fù)雜交互學(xué)習(xí)中，學(xué)生解決某個問題需要掌握多個知識，甚至多個知識的組合會產(chǎn)生更多的額外知識.針對這種情況，Huang等人[21,106]考慮了知識的應(yīng)用上下文，提出了一個數(shù)據(jù)驅(qū)動(data-driven)框架CKM-HSC，追蹤學(xué)生更深層次的認(rèn)知狀態(tài).

文獻(xiàn)[107]提出了一種可解釋的概率知識能力跟蹤模型(knowledge proficiency tracing, KPT)，設(shè)計了一個概率矩陣分解框架將學(xué)生和習(xí)題先驗知識結(jié)合起來，跟蹤學(xué)生的知識熟練程度，并通過實驗證明了KPT的有效性和可解釋性.Su等人[19]考慮將習(xí)題信息與學(xué)生的做題記錄相結(jié)合，設(shè)計了雙向LSTM學(xué)習(xí)習(xí)題信息的編碼，提出exercise-enhanced recurrent neural network(EERNN)框架；同時提出2種預(yù)測策略：基于Markov特性的EERNNM(EERNNM with Markov property)和基于注意力機(jī)制的EERNNA(EERNNA with attention).但該框架對學(xué)生的認(rèn)知狀態(tài)采用隱向量表示，無法顯示跟蹤學(xué)生的認(rèn)知狀態(tài)，因此Huang等人[10]進(jìn)一步提出EKT(exercise-aware knowledge tracing)框架，實現(xiàn)了對學(xué)生關(guān)于每道題各知識點的認(rèn)知狀態(tài)跟蹤.

Table 6 Comparison of Other Deep-Learning-Based KT Models表6 其余深度學(xué)習(xí)KT模型的對比

Table 7 Open Source Codes of KT Models Based on Deep Learning Methods表7 基于深度學(xué)習(xí)的認(rèn)知跟蹤模型公開源碼列表

為解決DKT無法顯示跟蹤學(xué)生對每一知識概念的掌握水平問題，文獻(xiàn)[108]將改進(jìn)的MANN(memory-augmented neural networks)應(yīng)用于KT問題；通過引入key-value存儲單元，提出DKVMN(dynamic key-value memory networks)框架以發(fā)現(xiàn)每個輸入習(xí)題的潛在知識概念、跟蹤學(xué)生對知識點的認(rèn)知狀態(tài).DKVMN比DKT具有更大容量的外部存儲空間，因此需要更少的參數(shù).

4 認(rèn)知跟蹤模型的應(yīng)用

認(rèn)知跟蹤模型對學(xué)生的習(xí)題作答表現(xiàn)進(jìn)行建模，廣泛應(yīng)用于各個在線教育平臺，如MOOC平臺的Coursera[22]，edx[109]，MATHESIS Algebra Tutor[110]等.本節(jié)列出認(rèn)知跟蹤模型分別在作答表現(xiàn)預(yù)測、認(rèn)知狀態(tài)評估、心理因素分析、習(xí)題序列研究和特定的編程練習(xí)中的應(yīng)用.

4.1 作答表現(xiàn)預(yù)測

通過跟蹤學(xué)生的習(xí)題作答表現(xiàn)序列，預(yù)測未來時刻學(xué)生的習(xí)題作答表現(xiàn)，是認(rèn)知跟蹤模型的重要應(yīng)用之一，在此舉例說明.

文獻(xiàn)[111]探討了集成方法(ensemble methods)是否可以在有導(dǎo)師學(xué)習(xí)中提高后試測驗(post-test)的預(yù)測精度，通過實驗發(fā)現(xiàn)集成方法未促進(jìn)該預(yù)測精度的提升，并給出了可能的解釋.文獻(xiàn)[22]基于BKT模型，結(jié)合知識點中豐富的關(guān)聯(lián)關(guān)系信息提出了Multi-Grained-BKT和Historical-BKT模型，通過實驗證明了提出方法在Coursera的MOOC課程數(shù)據(jù)中的預(yù)測性能較好.文獻(xiàn)[10]在EERNN框架[19]的基礎(chǔ)上，提出2種預(yù)測策略：基于Markov性質(zhì)的EERNNM和基于注意力機(jī)制的EERNNA，并進(jìn)一步提出EKT框架實現(xiàn)了對學(xué)生認(rèn)知狀態(tài)的評估和學(xué)生作答表現(xiàn)的預(yù)測.

4.2 認(rèn)知狀態(tài)評估

本文4.1節(jié)介紹了認(rèn)知跟蹤模型在學(xué)生作答表現(xiàn)預(yù)測上的應(yīng)用，事實上部分文獻(xiàn)通過首先評估學(xué)生的認(rèn)知狀態(tài)，進(jìn)而實現(xiàn)作答表現(xiàn)的預(yù)測，如文獻(xiàn)[10,19,22]；部分文獻(xiàn)提出的模型可以預(yù)測學(xué)生的作答表現(xiàn)，卻無法評估學(xué)生的認(rèn)知狀態(tài)，如文獻(xiàn)[31].

舉例說明認(rèn)知跟蹤模型可評估認(rèn)知狀態(tài)的情況.在2.1節(jié)中介紹了使用BKT模型進(jìn)行認(rèn)知狀態(tài)評估任務(wù)時，為緩解“過度積極”和“過度消極”問題，通常設(shè)置一個認(rèn)知閾值作為學(xué)生是否掌握知識的判定條件.實際上，認(rèn)知閾值可作為一個可調(diào)參數(shù)來控制2類問題發(fā)生的相對頻率[71].文獻(xiàn)[71]將練習(xí)機(jī)會序列分成了“學(xué)習(xí)”(learning)、“過渡”(lag)和“過度練習(xí)”(over-practice)3個階段，對這3個階段進(jìn)行量化分析，并闡明了BKT模型中的認(rèn)知閾值與這3個階段之間的關(guān)系.文獻(xiàn)[112]使用BKT模型估計學(xué)生掌握知識成分的可能性，然后在整個學(xué)習(xí)過程中對學(xué)生的學(xué)習(xí)曲線進(jìn)行建模.文獻(xiàn)[107]設(shè)計了一個概率矩陣分解框架，結(jié)合學(xué)生練習(xí)的先驗知識，跟蹤學(xué)生的認(rèn)知掌握程度.

4.3 心理因素分析

學(xué)生的習(xí)題作答表現(xiàn)不僅取決于學(xué)生對知識的掌握情況和學(xué)生應(yīng)用知識的能力，還有很多其他因素影響作答表現(xiàn)，如遺忘、猜測、失誤、游戲行為、情緒狀態(tài)等心理因素.

Xu等人[86]使用腦電圖設(shè)備以探測學(xué)生學(xué)習(xí)時的心理狀態(tài)，針對不同的心理狀態(tài)將學(xué)生的學(xué)習(xí)、遺忘、猜測和失誤因素設(shè)置為不同的參數(shù)，提高了BKT模型的預(yù)測性能.

在智能教輔系統(tǒng)ITS的學(xué)生模型應(yīng)用中，大多數(shù)研究假設(shè)學(xué)生對知識是無遺忘的，卻未有文獻(xiàn)證明此假設(shè)是符合客觀事實的.文獻(xiàn)[113]考慮了遺忘(forgetting)和再學(xué)習(xí)(relearning)因素，對學(xué)生長期學(xué)習(xí)建模十分重要.Lalwani等人[14]通過Fuutoot平臺發(fā)現(xiàn)學(xué)生作答習(xí)題的間隔可能為1 h或1 d，甚至1周之久，因此作者使用時間間隔信息擴(kuò)展DKT模型，提出了可以追蹤學(xué)生遺忘曲線的DKT-t模型.

游戲行為(gaming the system)指學(xué)生不斷地利用系統(tǒng)的反饋及幫助來獲得習(xí)題的正確答案[114].比如，某學(xué)生在作答多項選擇題時，并沒有試圖找到正確答案，而是選擇了每道題的所有選項，以此提高其點擊正確答案的頻次.文獻(xiàn)[115]提出可以預(yù)測游戲行為的認(rèn)知跟蹤模型KTB(knowledge tracing with behavior)，嘗試在利用BKT模型預(yù)測學(xué)生作答表現(xiàn)的同時，預(yù)測學(xué)生的游戲行為.

Spaulding等人[87]構(gòu)建了一個智能教輔機(jī)器人，通過增加學(xué)生情緒狀態(tài)的估計以擴(kuò)展BKT模型.學(xué)生的情緒狀態(tài)包括學(xué)生是否感到困惑、無聊、精力集中或心情愉悅等.同時還探討了相較于智能教輔系統(tǒng)，學(xué)生在與智能教輔機(jī)器人交互時是否可以展現(xiàn)出更多情緒狀態(tài)的問題.

4.4 習(xí)題序列研究

認(rèn)知跟蹤模型中，學(xué)生的習(xí)題作答數(shù)據(jù)是以時間為順序的.因此學(xué)生作答習(xí)題的次序可能會影響學(xué)生的學(xué)習(xí)效率，從而影響其作答表現(xiàn).

文獻(xiàn)[31]說明了DKT模型可以通過式(13)發(fā)現(xiàn)習(xí)題之間的先決關(guān)系.其中，y(j|i)表示在已知上一時間步學(xué)生正確作答了習(xí)題i的情況下，該學(xué)生在這一時間步正確作答習(xí)題j的概率，K表示學(xué)生作答的習(xí)題數(shù)目:

(13)

文獻(xiàn)[116]應(yīng)用具有天然的層次性RBT(revised bloom’s taxonomy)[117]作為習(xí)題次序策略，研究學(xué)生獲得知識的次序?qū)W(xué)生作答表現(xiàn)的影響，使學(xué)生先進(jìn)行低層次的訓(xùn)練再進(jìn)行高層次的訓(xùn)練，以提升模型精度.

4.5 編程練習(xí)中的認(rèn)知跟蹤

學(xué)生在開放習(xí)題中的訓(xùn)練可以為學(xué)生作答數(shù)據(jù)提供更加豐富的信息.編程題[8]即屬于開放習(xí)題訓(xùn)練中的一種.

文獻(xiàn)[7]對學(xué)生在ACT Programming Tutor短程序編寫系統(tǒng)進(jìn)行Lisp語言編程練習(xí)建模，提出了經(jīng)典的BKT模型.在學(xué)生學(xué)習(xí)程序設(shè)計技術(shù)方面，為解決學(xué)生應(yīng)用哪種編程結(jié)構(gòu)以及有多少學(xué)生理解編程語言的概念等問題，文獻(xiàn)[118]提出三相評估(three-phase measuring)方法，用于觀察學(xué)生的編程錯誤、應(yīng)用編程結(jié)構(gòu)，同時應(yīng)用貝葉斯學(xué)習(xí)模型確定編程知識概念.文獻(xiàn)[9]基于抽象語法樹(abstract syntax tree, AST)提出了一種認(rèn)知跟蹤模型，可以在給定的編程練習(xí)中評估學(xué)生的認(rèn)知狀態(tài).基于DKT模型的思想.文獻(xiàn)[8]將嵌入式程序輸入到一個RNN中，并將其用以預(yù)測未來編程練習(xí)中學(xué)生的表現(xiàn)情況.

5 比較、分析與展望

認(rèn)知跟蹤模型在智慧教育[119]、智能教輔系統(tǒng)[120]、在線教育[121]等方面具有廣泛的應(yīng)用需求，因此對認(rèn)知跟蹤模型的研究是計算機(jī)領(lǐng)域和教育領(lǐng)域的熱點問題.通過對2類認(rèn)知跟蹤模型的梳理，將當(dāng)前研究歸納為5點：1)認(rèn)知跟蹤模型的參數(shù)誤差和評價指標(biāo)；2)現(xiàn)有認(rèn)知跟蹤模型的分析；3)新的認(rèn)知跟蹤模型的提出；4)認(rèn)知跟蹤模型開發(fā)工具的研究；5)認(rèn)知跟蹤模型應(yīng)用的研究.

本文從建模方法上將認(rèn)知跟蹤模型分為基于貝葉斯方法和基于深度學(xué)習(xí)方法2類分別介紹.2類方法均是根據(jù)習(xí)題作答表現(xiàn)跟蹤學(xué)生的認(rèn)知狀態(tài)，但因建模方法的不同而各自具有優(yōu)缺點，本節(jié)首先以認(rèn)知跟蹤模型中經(jīng)典的BKT模型和DKT模型為例進(jìn)行分析.

5.1 BKT與DKT的比較

本文分別在2.1節(jié)和3.1節(jié)詳細(xì)闡述了BKT模型和DKT模型，這2個模型分別是基于貝葉斯方法和基于深度學(xué)習(xí)方法的經(jīng)典認(rèn)知跟蹤模型，二者各有優(yōu)劣，本節(jié)將以二者為例對2類認(rèn)知跟蹤模型進(jìn)行比較分析.

根據(jù)圖6的BKT模型和圖7的DKT模型，可發(fā)現(xiàn)BKT針對單個知識點建模，其觀測變量與知識點之間的關(guān)系已知，而DKT將所有知識點構(gòu)建為一個模型，其觀測變量與知識點之間的關(guān)系未知.這是因為在面對某學(xué)生的作答數(shù)據(jù)時，BKT模型首先將學(xué)生作答數(shù)據(jù)按照習(xí)題關(guān)聯(lián)的知識點分組，每一個知識點關(guān)聯(lián)的所有習(xí)題作答形成一個序列；相反地，DKT模型將一個學(xué)生作答的所有知識點關(guān)聯(lián)的習(xí)題構(gòu)建為一個序列.

舉例如下：目前有學(xué)生i的作答數(shù)據(jù)，將與知識點A關(guān)聯(lián)的習(xí)題記作Ax，x為以習(xí)題出現(xiàn)的時間為序的編號，以此類推，學(xué)生i作答的習(xí)題序列為A1A2B1A3C1B2B3.在BKT模型中，對應(yīng)學(xué)生i的作答表現(xiàn)序列被列為3組，分別是：1)對應(yīng)原習(xí)題序列第1題、第2題和第4題的作答表現(xiàn)yA,1,yA,2,yA,3；2)對應(yīng)原習(xí)題序列第3題、第6題和第7題的作答表現(xiàn)yB,1,yB,2,yB,3；3)對應(yīng)原習(xí)題序列第5題的作答表現(xiàn)yC,1，將這3組作答表現(xiàn)序列分別建模成HMM模型進(jìn)行計算.而在DKT模型中，學(xué)生i的作答表現(xiàn)序列僅被列為1組，即y1,y2,y3,y4,y5,y6,y7，分別對應(yīng)原習(xí)題序列的第1～7題，將此作答表現(xiàn)序列建模成一個RNN模型進(jìn)行計算.由舉例可得：

1) 由于BKT模型需要將原習(xí)題序列按照關(guān)聯(lián)的知識點進(jìn)行分組，因此其建模過程依賴于習(xí)題與知識點之間的關(guān)聯(lián)情況，需要進(jìn)行人工標(biāo)注；而DKT模型無需將原習(xí)題序列分組，節(jié)省了大量人工標(biāo)注的代價.

2) 原習(xí)題序列中的第4題在按照知識點分組后出現(xiàn)在了第1個分組的第3題，即A1A2B1A3C1B2B3中A3的作答表現(xiàn)在分組過后出現(xiàn)在了yA,1,yA,2,yA,3中的yA,3，習(xí)題出現(xiàn)的時間特征丟失，而DKT模型卻保留了這一特性.文獻(xiàn)[122]分析，DKT模型正是因為有效利用了學(xué)生作答表現(xiàn)數(shù)據(jù)中的特征和規(guī)律，性能得到了大幅度地提升；同時，若總結(jié)數(shù)據(jù)中的特征和規(guī)律并應(yīng)用至BKT模型中，也可以得到很好的效果.

3) 通過BKT的隱狀態(tài)kq,t，可追蹤學(xué)生在任意時間步t對知識點q的認(rèn)知狀態(tài)，這體現(xiàn)了BKT模型強(qiáng)大的可解釋性；而DKT模型的隱藏層雖起到了至關(guān)重要的信息傳遞作用，但是卻無法解釋其中的含義，即DKT模型無法追蹤學(xué)生的認(rèn)知狀態(tài).

通過以上分析，BKT模型和DKT模型各自的優(yōu)點和不足之處總結(jié)為2點，同時也適用于一般基于貝葉斯方法和基于深度學(xué)習(xí)方法2類認(rèn)知跟蹤模型.

1) BKT可對學(xué)生的認(rèn)知狀態(tài)進(jìn)行跟蹤，具有強(qiáng)大的可解釋性；但是，BKT也因模型本身的表示能力，丟失了學(xué)生數(shù)據(jù)中的一些重要特征和規(guī)律，其預(yù)測性能有待提升；

2) DKT因其擁有較強(qiáng)的表示能力，可以有效利用學(xué)生數(shù)據(jù)中一些重要的特征和規(guī)律，具有較好的預(yù)測性能；但是，DKT目前無法顯式得到學(xué)生對每個具體的知識點的認(rèn)知狀態(tài)，可解釋性有所欠缺.

5.2 分析與展望

基于已有研究工作及模型的優(yōu)缺點，本節(jié)從認(rèn)知跟蹤模型的建模任務(wù)、數(shù)據(jù)特點、建模方法及優(yōu)缺點、建模的難點與挑戰(zhàn)4個方面對認(rèn)知跟蹤的方向進(jìn)行分析與展望.

1) 建模任務(wù).認(rèn)知跟蹤模型面向動態(tài)的教育數(shù)據(jù)建模，基于學(xué)生在學(xué)習(xí)過程中作答習(xí)題的數(shù)據(jù)，跟蹤學(xué)生對知識點的掌握隨時間的變化情況，預(yù)測學(xué)生在未來時刻作答習(xí)題的表現(xiàn)[7].如圖5所示闡述了認(rèn)知跟蹤的問題模型包含輸入、建模及輸出.輸入為學(xué)生在不同時刻作答不同知識點習(xí)題的觀測得分；建模為將輸入層的輸入數(shù)據(jù)使用建模方法進(jìn)行模型擬合、參數(shù)尋優(yōu)，得到對每個學(xué)生的認(rèn)知跟蹤子模型；輸出為通過建模層得到的認(rèn)知跟蹤模型，根據(jù)不同的應(yīng)用需求得到不同的輸出結(jié)果；其中，認(rèn)知跟蹤模型可應(yīng)用于學(xué)生認(rèn)知狀態(tài)的跟蹤、作答表現(xiàn)的預(yù)測等場景中.

2) 數(shù)據(jù)特點.認(rèn)知跟蹤模型的輸入為學(xué)生在不同時刻作答不同知識點習(xí)題的觀測得分?jǐn)?shù)據(jù).由于認(rèn)知跟蹤模型是面向動態(tài)學(xué)習(xí)數(shù)據(jù)的，因此模型的數(shù)據(jù)應(yīng)具有時間特性；由于認(rèn)知跟蹤模型針對每個學(xué)生訓(xùn)練建模，因此模型的數(shù)據(jù)應(yīng)有足夠數(shù)目學(xué)生的作答數(shù)據(jù)，以確保訓(xùn)練的效果；此外，在認(rèn)知跟蹤模型應(yīng)用于學(xué)生認(rèn)知狀態(tài)的跟蹤時，若要得到顯性的學(xué)生對知識點的認(rèn)知狀態(tài)，數(shù)據(jù)應(yīng)包含課程的知識點集合、學(xué)生作答的習(xí)題與知識點的關(guān)聯(lián)關(guān)系.從實際情況考慮，知識點應(yīng)是樹狀結(jié)構(gòu)或網(wǎng)狀結(jié)構(gòu)的多粒度狀態(tài)，而非知識點之間相互獨立.

3) 建模方法及優(yōu)缺點.目前主流的建模方法包括貝葉斯方法(如BKT模型)和深度學(xué)習(xí)方法(如DKT模型).①貝葉斯方法：貝葉斯方法將學(xué)習(xí)過程建模為HMM.依據(jù)HMM的時間特性，假設(shè)學(xué)生在當(dāng)前時刻的作答表現(xiàn)只與學(xué)生上一時刻的作答表現(xiàn)以及學(xué)生當(dāng)前時刻的認(rèn)知狀態(tài)相關(guān)，從而可構(gòu)建出基于HMM的貝葉斯認(rèn)知跟蹤模型.因此，貝葉斯方法的認(rèn)知跟蹤模型要求對每一學(xué)生的不同知識點作答數(shù)據(jù)分開獨立建模.其優(yōu)點是可對學(xué)生的認(rèn)知狀態(tài)進(jìn)行跟蹤，具有較好的可解釋性.而由于模型本身的表示能力，該模型的缺點是丟失了學(xué)生數(shù)據(jù)中的一些重要特征和規(guī)律，使其預(yù)測性能有待提升；并且該模型要求標(biāo)注每道習(xí)題涉及到的知識點集合.②深度學(xué)習(xí)方法：在習(xí)題涉及到的知識點集合未標(biāo)注的情況下，可使用深度學(xué)習(xí)方法對輸入數(shù)據(jù)進(jìn)行特征表示及建模，將學(xué)生對知識點的認(rèn)知狀態(tài)作為隱藏單元，對學(xué)生的作答數(shù)據(jù)進(jìn)行擬合.其優(yōu)點是具有強(qiáng)大的表示能力，能有效利用學(xué)生數(shù)據(jù)中一些重要的特征和規(guī)律，因此具有較好的預(yù)測性能.而該模型的缺點是目前的深度學(xué)習(xí)模型無法得到學(xué)生的認(rèn)知狀態(tài)，因此可解釋性需要加強(qiáng).

4) 建模的難點與挑戰(zhàn).認(rèn)知跟蹤問題的建模依然存在3方面難點與挑戰(zhàn).

① 貝葉斯認(rèn)知跟蹤的模型參數(shù)尋優(yōu)問題.

貝葉斯認(rèn)知跟蹤模型的參數(shù)取值直接影響模型的性能.有學(xué)者甚至發(fā)現(xiàn)模型的參數(shù)雖然取值不同但可能導(dǎo)致相同的預(yù)測結(jié)果，即模型的識別性問題.現(xiàn)有的貝葉斯認(rèn)知跟蹤模型中，參數(shù)尋優(yōu)方法可能存在4方面問題：Ⅰ.在保證模型精度的情況下降低參數(shù)尋優(yōu)的時間復(fù)雜度和空間復(fù)雜度問題；Ⅱ.在數(shù)據(jù)有限的情況下防止參數(shù)的過擬合問題；Ⅲ.設(shè)計參數(shù)估計算法使其不陷入局部最優(yōu)解問題；Ⅳ.結(jié)合其他類型的教育數(shù)據(jù)以更好地估計參數(shù)值問題.

② 認(rèn)知跟蹤模型的精度與可解釋性的權(quán)衡問題.

結(jié)合5.1節(jié)的比較分析可知，基于貝葉斯方法和深度學(xué)習(xí)方法的2類主流認(rèn)知跟蹤模型均有一定的局限性.因此，部分研究通過結(jié)合其他類型的數(shù)據(jù)特征或引入混合方法以提高貝葉斯認(rèn)知跟蹤模型的精度，但是現(xiàn)有模型的精度問題仍有待提升.而基于深度學(xué)習(xí)的認(rèn)知跟蹤模型雖然具有較高的精度，但在可解釋性方面有所欠缺.因此綜合貝葉斯認(rèn)知跟蹤模型及深度認(rèn)知跟蹤模型的優(yōu)點，權(quán)衡精度和可解釋性的認(rèn)知跟蹤模型仍需要進(jìn)一步研究.

③ 模型部分假設(shè)與實際應(yīng)用不符的問題.

現(xiàn)有認(rèn)知跟蹤模型的部分假設(shè)不符合實際情況.例如現(xiàn)有的大多數(shù)模型有5種假設(shè)：Ⅰ.假設(shè)學(xué)生在學(xué)習(xí)過程中無遺忘，而實際上學(xué)生在學(xué)習(xí)過程中會隨著時間的推移而遺忘某些知識；Ⅱ.假設(shè)標(biāo)注的知識點之間完全獨立，而實際中不同課程之間、同一課程之內(nèi)的知識點之間可能存在包含、繼承、前驅(qū)、等價等不同的關(guān)系；Ⅲ.假設(shè)不同知識點處于同一層次級別，而知識點可能因包含關(guān)系存在不同的級別，一個完整的知識體系應(yīng)該擁有多粒度的層級關(guān)系；Ⅳ.假設(shè)習(xí)題之間沒有關(guān)聯(lián)，而實際上在知識點之間存在包含前繼等關(guān)系的情況下，習(xí)題之間也存在關(guān)聯(lián)；Ⅴ.假設(shè)每道習(xí)題只與一個知識點相關(guān)聯(lián)，而實際上很多綜合性習(xí)題涉及到多個知識點.因此，認(rèn)知跟蹤模型的研究還需針對實際場景進(jìn)行進(jìn)一步的研究.

6 總 結(jié)

隨著教育信息化的推進(jìn)，教育領(lǐng)域迎來了大數(shù)據(jù)時代.從傳統(tǒng)教育和在線教育中產(chǎn)生的海量碎片化數(shù)據(jù)中挖掘與學(xué)生相關(guān)的認(rèn)知狀態(tài)、行為表現(xiàn)、心理因素等信息具有重要的意義.認(rèn)知跟蹤模型根據(jù)學(xué)生動態(tài)的習(xí)題作答表現(xiàn)跟蹤學(xué)生的認(rèn)知狀態(tài)、預(yù)測學(xué)生的未來作答表現(xiàn)，廣泛應(yīng)用于MOOC等在線教育平臺中.本文從建模方法上將認(rèn)知跟蹤模型分成貝葉斯認(rèn)知跟蹤模型和深度認(rèn)知跟蹤模型，對其進(jìn)行詳細(xì)地梳理和分析，并介紹了認(rèn)知跟蹤方法的5類應(yīng)用.同時，以經(jīng)典的BKT和DKT模型為例分析了2類認(rèn)知跟蹤模型的優(yōu)缺點，并對未來可能的研究方向進(jìn)行了探討和展望.