梁 祥, 劉夢赤*, 胡 婕, 馮嘉美

(1. 華南師范大學計算機學院, 廣州 510631; 2. 湖北大學計算機與信息工程學院, 武漢 430062)

隨著線上教育平臺的發(fā)展,學生能夠隨時隨地獲取海量的在線學習資源,線上學習逐漸成為一種潮流。但線上學習存在一定局限性,首先是學生無法從線上教育平臺得到實時的學習反饋,其次是老師無法從海量的信息中充分地分析、了解學生的學習情況。為了解決這些問題,智能導學系統(tǒng)(Intelligent Tutoring Systems,ITS)[1]在教育領域應勢而生。ITS通過收集并分析學生的行為數據,為學生提供實時的學習反饋[2];老師也能通過ITS的分析結果了解學生的學習情況。知識追蹤(Knowledge Tra-cing,KT)是ITS的核心技術之一,是一種對學生進行建模的方法,其任務就是通過學生的歷史作答序列來評估學生當前的知識掌握狀態(tài),從而預測學生在未來練習中的表現。

貝葉斯知識追蹤(Bayesian Knowledge Tracing,BKT)[3]是基于隱馬爾可夫模型(Hidden Markov Model,HMM)來實現知識追蹤的模型之一,該模型把學生對每個知識的掌握狀態(tài)看作一個隱狀態(tài),之后根據學生的歷史作答表現來更新隱狀態(tài)的概率分布,即更新學生的知識掌握狀態(tài)。2015年,PIECH等[4]將深度學習中的循環(huán)神經網絡(Recurrent Neural Network,RNN)應用于知識追蹤,提出了深度知識追蹤模型(Deep Knowledge Tracing,DKT)。由于RNN采用高維并且連續(xù)的隱狀態(tài)來表示學生的知識掌握狀態(tài),因此DKT模型的預測精確度高于BKT模型,而且DKT模型不需要對習題進行知識點標注,從而大大節(jié)省手工標注數據的人力成本。

盡管DKT模型解決了基于隱馬爾可夫模型存在的問題,但忽視了對其他教育特征信息的利用,僅關注作答表現,無法對學生的學習過程進行全面建模。引入了更多特征信息的模型能更好地評估不同的特征信息對學生作答表現的影響,從而提高模型的整體預測能力和可解釋性。因此,學者們在DKT模型的基礎上,引入了習題或知識點之間的特征信息。如:WANG等[5]將習題與知識點之間的層次關系引入DKT模型,提出深層次知識追蹤(Deep Hierarchical Knowledge Tracing,DHKT)模型;CHEN等[6]將知識點之間的先決條件關系引入DKT模型,提出先決條件驅動的深度知識追蹤(Prerequisite Driven Deep Knowledge Tracing,PDKT)模型。另外,學者們從學生的角度出發(fā),引入與學生有關的特征信息來提升模型的預測能力和可解釋性。如:MINN等[7]使用機器學習的K-mean聚類算法,對學生在某一時間段的表現情況進行動態(tài)分類并應用于DKT模型中,提高模型對學生知識掌握狀態(tài)的個性化評估能力;NAGATANI等[8]結合學生遺忘相關的特征信息來表示學生的遺忘行為,以此分析學生的遺忘行為對知識掌握狀態(tài)的影響;李曉光等[9]提出了兼顧學習與遺忘行為的深度知識追蹤模型(LFKT),取得了較好的預測效果。

上述模型雖然在一定程度上解決了深度知識追蹤模型存在的一些問題并取得不錯的改進效果,但大部分模型只是單獨考慮習題或學生的特征信息,沒有綜合考慮習題和學生的特征信息。因此,本文提出了融合習題難度和作答經驗的深度知識追蹤模型(Deep Knowledge Tracing Model by Integrating Problem Difficulty and Answering Experience,DKT-DE)。通過引入習題難度和學生答題經驗來豐富輸入層的特征信息,使模型能夠考察其對學生知識掌握狀態(tài)的影響,從而更好地預測學生未來的作答表現,并且這些特征信息不需要人工進行標注。

1 DKT-DE模型

1.1 問題定義

知識追蹤旨在通過學生的歷史作答序列來評估學生當前的知識掌握狀態(tài),在此基礎上預測其未來的作答表現。其形式化描述為:通過學生歷史作答表現序列(x0,…,xt)來評估其當前的知識掌握狀態(tài)st,從而預測學生在習題qt+1Q上的作答表現rt+1。其中:Q為習題集合;xi=(qi,ri)是一個二元組,表示學生在i時刻的作答表現;qiQ表示學生在i時刻作答的習題id;ri{0,1}為作答結果,0表示作答錯誤,1表示作答正確。

1.2 DKT模型

2015年,PIECH等[2]將RNN應用于知識追蹤領域,提出了DKT模型。該模型的輸入為學生的答題序列;在輸入層中,采用One-Hot方式對學生在t時刻的答題情況xt=(qt,rt)進行編碼;隱藏層的隱狀態(tài)ht表示學生在t時刻的知識掌握狀態(tài),與學生在t時刻的作答表現xt和上一時刻的知識掌握狀態(tài)ht-1有關;輸出層yt是一個維度為習題集合大小的向量,由知識掌握狀態(tài)ht決定,表示學生在t時刻對每個習題的答題正確率。

1.3 特征表示

已有研究[10]表明習題難度對學生學習過程有巨大的影響。對于大多數學生而言,當他們在最初幾次作答難度較大的習題時,出錯的概率會比較大。即使在多次對類似習題進行嘗試后,出錯的概率仍然很大。因此,通過引入習題難度來對學生的學習過程進行建模,能夠幫助模型更準確地評估學生的知識掌握狀態(tài)。為了減少專家標注帶來的人工成本,本文實現了文獻[10]提出的算法,并將其用于習題的難度評估。具體描述如下:

(1)

其中:D(qj)表示習題qjQ的難度等級,Q為習題集合;dja表示難度等級D(qj)的One-Hot編碼,a為習題難度的分類數,Nj表示作答過習題qj的學生集合;rij表示學生i首次作答習題qj時的結果,若rij=0則認為作答錯誤。如果習題qj的作答人數不滿足最低數量,即小于10人時,則將習題qj的難度等級D(qj)設為默認值a。

從學生的角度來看,學生之間也同樣存在差異,因此,引入學生的個性化信息是極其重要且有必要的。隨著練習次數的增多,學生能力也會隨之發(fā)生變化,本文使用作答經驗對學生能力進行個性化表示,其描述如下:

F(cj)1:z=Correct(cj)1:z-Incorrect(cj)1:z,

(2)

其中:Correct(cj)1:z和Incorrect(cj)1:z分別表示從時刻1到時刻z,學生在知識點cjC上的作答正確次數和作答錯誤次數;C為知識點集合;F(cj)1:z為作答正確次數與作答錯誤次數的差值;E(cj)1:z[-b,b](b+)為學生在知識點cj上的作答經驗值,用ejz2b+1表示作答經驗值E(cj)1:z的One-Hot編碼。為評估不同經驗值對學生作答正確率的影響,將式(2)應用于ASSISTments2009、ASSISTments2015、ASSISTments2017數據集,并設置參數b為8。實驗結果(圖1)顯示:學生的作答經驗值越高,其對應的平均作答正確率越高。

圖1 作答經驗值與正確率的關系圖

1.4 模型結構

DKT模型的不足之處在于其假設習題難度和學生的學習能力是相同的。DKT-DE模型從習題和學生層面的角度出發(fā),將習題難度和學生的作答經驗相結合,融入DKT模型中,使其能夠更好地評估學生的知識掌握狀態(tài),以提升其預測學生未來作答表現的精確度。

圖2 DKT-DE模型的結構圖

(3)

在隱藏層中,使用LSTM網絡對學生的學習行為進行建模,隱藏層狀態(tài)htk表示學生在t時刻的知識掌握狀態(tài),k為隱向量大小。ht與當前時刻的輸入xt和上一時刻的知識掌握狀態(tài)ht-1有關,計算公式如下:

ht=LSTM(xt,ht-1)。

(4)

在輸出層中,ytm表示t時刻學生作答正確的概率,m為習題集Q的大小。yt的計算公式如下:

yt=σ(Wyhht+by),

(5)

其中,Wyhm×k為輸出權重矩陣,bym為輸出層的偏置項,σ(·)為Sigmoid激活函數。

本文通過最小化模型預測的作答結果yt與學生真實的作答結果rt之間的二分類交叉熵損失函數來優(yōu)化各個參數。具體損失函數如下:

(6)

2 實驗

在3個公共數據集上,對DKT-DE模型與5個基線模型進行比較實驗;同時,進行了消融實驗,以證明DKT-DE模型的穩(wěn)定性及融合特征信息的有效性。

2.1 數據集

實驗使用的數據集是ASSITments2009[11]、ASSITments2015[12]和ASSITments2017[13]。具體信息如下:

(1)ASSISTments2009:該數據集收集了ASSISTments在線教育平臺2009—2010學年的學生交互信息,被廣泛應用于知識追蹤任務。本實驗使用了該數據集中的skill-builder數據集,其中包含4 151名學生、110個知識點和325 637條作答記錄。

(2)ASSISTments2015:該數據集也來自于ASSISTments在線教育平臺,收集了2015—2016學年的學生交互信息。在預處理過程中,刪除作答情況不為0或1的記錄,處理后的數據集包含19 840名學生、100個知識點以及683 801條作答記錄。該數據集由于學生人數多,因此其學生平均作答次數少于ASSISTments2009數據集的。

(3)ASSISTments2017:該數據集由ASSISTments在線教育平臺提供,包含686名學生、102個知識點和942 816條作答記錄。該數據集的特點是交互作答記錄數較多、學生的平均作答次數較多。

2.2 模型訓練

將數據集按照8∶2的比例隨機劃分為訓練集和測試集;其中訓練集中的80%數據用于模型訓練,剩余20%作為驗證集,進行5折交叉驗證。使用Adam優(yōu)化器[14]對模型進行訓練,隱向量大小設為200;使用mini-batch加快訓練速度,將batch-size設為32,學習率設為0.005;在訓練過程中使用Dropout技術[15]防止模型出現過擬合的現象,比例設為0.4。由于輸入層使用了Embedding技術對輸入進行編碼,因此將Embedding size設置為log2m,其中m為對應數據集的習題數量。習題難度的分類數a設置為10,作答經驗b設置為8。

2.3 評價指標

本文采用了知識追蹤模型的常用評價指標AUC(Area Under the ROC Curve)[16]來衡量模型的預測能力。AUC為接收者操作特征(ROC)曲線與坐標軸圍成的面積,取值范圍為0～1。如果模型的AUC值為0.5,說明模型沒有實際意義,僅僅是隨機猜測;AUC值越接近于1,說明模型的預測能力越強。

2.4 實驗結果與分析

2.4.1 對比實驗 為了驗證DKT-DE模型的預測能力,在3個公共數據集上,將5個基線模型(BKT、DKT、DKVMN、DKT+、SAKT模型)與DKT-DE模型進行對比實驗。為了減少實驗誤差,對每個模型重復5次訓練,每次訓練均進行隨機初始化,最終取模型在測試集上的AUC平均值作為模型評估結果。

由實驗結果(表1)可知:(1)基于深度學習的知識追蹤模型整體優(yōu)于基于隱馬爾可夫模型的BKT模型。(2)DKT模型在3個數據集上的預測表現稍優(yōu)于DKVMN模型[17],這在文獻[18-19]中的實驗部分也有所表現。(3)DKT+模型[20]在DKT模型的基礎上引入正則化參數來改進其損失函數,使得DKT+模型的預測能力整體優(yōu)于DKT模型,在ASSITments2009、ASSITments2015、ASSITments2017數據集上的AUC平均值分別提升了0.80%、1.79%和1.67%。(4)基于注意力機制的SAKT模型[18]的預測能力表現整體遜于DKT、DKVMN模型。(5)與DKT模型相比,DKT-DE模型在ASSITments2009、ASSITments2015、ASSITments2017數據集上的AUC平均值分別提升了3.60%、4.28%、3.19%;與基線模型中預測表現最好的DKT+模型相比,DKT-DE模型在ASSITments2009、ASSITments2015、ASSITments2017數據集上的AUC平均值分別提升了2.78%、2.44%、1.50%,因此可知DKT-DE模型在3個數據集上的表現均優(yōu)于其他模型。

表1 各模型在測試集上的AUC平均值

2.4.2 消融實驗 為了評估習題難度和學生作答經驗對提高模型預測能力的貢獻,在ASSITments2009、ASSITments2015、ASSITments2017數據集上,通過消融實驗來進一步評估本文提出的DKT-DE模型的性能。將僅融合習題難度的DKT模型記為DKT-Diff模型,僅融合學生作答經驗的DKT模型記為DKT-Exp模型。由實驗結果(表2)可知:習題難度和學生作答經驗對提高模型預測能力均有所貢獻,融合2個特征信息的DKT-DE模型的預測能力整體優(yōu)于僅融入單個特征信息的DKT-Diff模型和DKT-Exp模型。

表2 消融實驗結果

2.5 學生知識掌握狀態(tài)追蹤和評估

在Assistments2009數據集中隨機抽取了一條學生的作答序列,使用DKT-DE模型對其知識掌握狀態(tài)進行追蹤和評估。圖3為該學生的知識掌握狀態(tài)熱力圖,圖中給出學生在t時刻作答知識點qt的情況(rt)下,在t+1時刻作答其他知識點的正確概率。圖塊顏色的深淺表示模型預測學生未來作答正確概率的高低,作答正確概率越高則說明其知識點掌握狀態(tài)越好。從圖中可以看到:作答正確的次數越多,其對應知識點的掌握狀態(tài)越好,符合學習的正向強化規(guī)律。

圖3 知識掌握狀態(tài)熱力圖

3 結束語

本文重點考慮了習題難度和作答經驗對學生知識掌握狀態(tài)的影響,并在DKT模型的基礎上,提出了融合習題難度和作答經驗的深度知識追蹤模型(DKT-DE)。該模型將規(guī)范化的習題難度和作答經驗作為模型輸入層的特征信息,從而評估不同習題難度和作答經驗對學生知識掌握狀態(tài)的影響。實驗結果表明:DKT-DE模型的預測能力優(yōu)于其他基線模型,且引入的習題難度和學生作答經驗特征對提升模型的預測能力均有所貢獻。

因為在小規(guī)模數據上無法精確地評估習題難度和學生作答經驗,所以DKT-DE模型在小規(guī)模數據上的表現并不理想。因此,后續(xù)研究可側重于研究模型在小規(guī)模數據集上的優(yōu)化,使其能夠在不同的數據規(guī)模下發(fā)揮作用。