黃彩蝶,王昕萍,陳良育,劉勇

（1.華東師范大學(xué) 軟件工程學(xué)院,上海 200062;2.華東師范大學(xué) 基礎(chǔ)教育與終身教育發(fā)展部,上海 200062）

0 引言

隨著大規(guī)模開放在線課程(Massive Open Online Course,MOOC)的普及,更多的學(xué)生和社會(huì)人士加入到了在線教育中.2020 年年初開始的全球新冠肺炎疫情讓在線教育呈現(xiàn)出“井噴”態(tài)勢(shì),越來越多的在線教育品牌出現(xiàn)在人們的視野中,在線教育已成為教育領(lǐng)域的熱門趨勢(shì).然而在線教育領(lǐng)域也存在一些技術(shù)瓶頸,例如,大部分的在線教育都采用直播授課、視頻回放和社區(qū)交流結(jié)合的形式,而這些授課形式很難追蹤到每個(gè)學(xué)生的學(xué)習(xí)情況.因此,針對(duì)學(xué)生知識(shí)點(diǎn)掌握情況的知識(shí)追蹤任務(wù)就顯得格外重要,如何精準(zhǔn)地評(píng)估學(xué)生的知識(shí)狀態(tài)是目前知識(shí)追蹤領(lǐng)域的關(guān)鍵問題.為了對(duì)學(xué)生因材施教,實(shí)現(xiàn)教育領(lǐng)域和信息領(lǐng)域的融合,智能導(dǎo)學(xué)系統(tǒng)(Intelligent Tutoring System,ITS)[1]被提了出來,即借助人工智能技術(shù),讓計(jì)算機(jī)扮演虛擬導(dǎo)師向?qū)W習(xí)者傳授知識(shí),并提供一對(duì)一指導(dǎo)的專項(xiàng)服務(wù).知識(shí)追蹤作為智能導(dǎo)學(xué)系統(tǒng)中的關(guān)鍵性問題,其特點(diǎn)是自動(dòng)化和個(gè)性化,其任務(wù)是根據(jù)學(xué)生的歷史學(xué)習(xí)軌跡來自動(dòng)追蹤學(xué)生的知識(shí)水平隨時(shí)間的變化過程,以便準(zhǔn)確地預(yù)測(cè)學(xué)生在未來學(xué)習(xí)中的表現(xiàn),從而為學(xué)生提供相應(yīng)的學(xué)習(xí)輔導(dǎo).在這個(gè)過程中,知識(shí)空間被用來描述學(xué)生知識(shí)的掌握程度.有教育學(xué)研究者認(rèn)為[2],習(xí)題會(huì)考察一組特定的、相關(guān)聯(lián)的知識(shí)點(diǎn),學(xué)生對(duì)于習(xí)題所考察的知識(shí)點(diǎn)的掌握程度會(huì)影響其在習(xí)題上的表現(xiàn),即習(xí)題考察是學(xué)生認(rèn)知狀態(tài)的外顯.

多年來,基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)一直是知識(shí)追蹤方法的主導(dǎo)方法,有以下幾點(diǎn)原因: ①基于神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)的方法不需要人工選取特征;② 在線教育產(chǎn)生的數(shù)據(jù)眾多,而題目的得分?jǐn)?shù)據(jù)是學(xué)生知識(shí)空間最直接、相關(guān)性最強(qiáng)的外顯數(shù)據(jù),也是平臺(tái)較為容易獲取的數(shù)據(jù),所以基于得分?jǐn)?shù)據(jù)的神經(jīng)網(wǎng)絡(luò)研究方法的通用性更強(qiáng);③RNN 及其變體的計(jì)算結(jié)合了過去時(shí)間步的輸出,即將過去的信息融入當(dāng)前時(shí)刻的計(jì)算,所以在知識(shí)追蹤任務(wù)中,這類模型在具有時(shí)序性信息的數(shù)據(jù)集上能夠取得較好的效果.

Piech等[3]提出的深度知識(shí)追蹤(Deep Knowledge Tracing,DKT)模型將RNN 應(yīng)用于知識(shí)追蹤任務(wù),在當(dāng)時(shí)達(dá)到了最優(yōu)的效果.但DKT 模型中的RNN 只有很少的層數(shù),這就導(dǎo)致了序列學(xué)習(xí)容量不高.研究表明,疊加的RNN 可以減輕長期依賴的學(xué)習(xí)困難問題[4].所以Sha等[5]使用雙層堆疊的長短期記憶網(wǎng)絡(luò)(Long Short-term Memory,LSTM)來擴(kuò)大序列學(xué)習(xí)容量,并使用殘差連接減小訓(xùn)練難度.由于LSTM 中“門”的引入,導(dǎo)致LSTM 的參數(shù)是傳統(tǒng)RNN 的4 倍,增加了過擬合的風(fēng)險(xiǎn);而門控循環(huán)單元(Gated Recurrent Unit,GRU)可以以更少的參數(shù)達(dá)到與LSTM 相當(dāng)?shù)男Ч?所以本文提出了一種基于GRU 的殘差網(wǎng)絡(luò),使用雙層堆疊的GRU (Stacked-Gated Recurrent Unit,S-GRU)網(wǎng)絡(luò)對(duì)學(xué)生作答序列進(jìn)行學(xué)習(xí),并采用殘差連接的方式來降低模型訓(xùn)練的難度.

綜上,本文的主要工作: ①提出了雙層堆疊GRU 殘差(Stacked-Gated Recurrent Unit-Residual,S-GRU-R)網(wǎng)絡(luò)來處理知識(shí)追蹤任務(wù),預(yù)測(cè)學(xué)生在下一個(gè)時(shí)刻的答題正確率,追蹤學(xué)生知識(shí)水平的變化;② 在Statics2011 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),并與其他多個(gè)模型預(yù)測(cè)的AUC (Area Under the Curve)和F1-score 進(jìn)行了對(duì)比,結(jié)果顯示本文提出的模型有更好的預(yù)測(cè)精度.

本文后續(xù)結(jié)構(gòu): 第1 章介紹相關(guān)工作,以對(duì)知識(shí)追蹤任務(wù)有宏觀的認(rèn)識(shí);第2 章定義本文要解決的問題;第3 章從模型的輸入、網(wǎng)絡(luò)結(jié)構(gòu)、模型優(yōu)化目標(biāo)這3 個(gè)部分介紹本文提出的S-GRU-R 模型;第4 章介紹實(shí)驗(yàn)詳情,包括數(shù)據(jù)集、評(píng)價(jià)指標(biāo)、基線模型、實(shí)驗(yàn)細(xì)節(jié)、結(jié)果與分析;第5 章總結(jié)全文,并對(duì)未來的研究提出展望.

1 相關(guān)工作

知識(shí)追蹤任務(wù)從研究方法上可分為3 種: 基于概率圖的知識(shí)追蹤、基于概率矩陣分解的知識(shí)追蹤和基于深度學(xué)習(xí)的知識(shí)追蹤[6].

1.1 基于概率圖的知識(shí)追蹤

貝葉斯知識(shí)追蹤(Bayesin Knowledge Tracing,BKT)[7]模型是基于概率圖模型的典型模型之一.該模型用1 組二元變量來建模學(xué)生的知識(shí)空間特征,每個(gè)變量代表學(xué)生是否掌握某種知識(shí)點(diǎn);隨著學(xué)生做題數(shù)量的增加,它通過隱馬爾可夫模型(Hidden Markov Model,HMM)來維護(hù)代表知識(shí)點(diǎn)熟練度的二元變量[8].后來又有許多研究針對(duì)BKT 模型的不足提出了一些新的模型,從不同角度彌補(bǔ)BKT模型的缺點(diǎn)和不足,例如: 針對(duì)原始BKT 模型,假設(shè)學(xué)生不會(huì)遺忘已經(jīng)學(xué)會(huì)的知識(shí),Baker等[9]將猜測(cè)和失誤加入到BKT 模型中進(jìn)行預(yù)測(cè),提升了預(yù)測(cè)的準(zhǔn)確性;Pardos等[10]將個(gè)體的先驗(yàn)知識(shí)加入BKT 模型,以提高預(yù)測(cè)精度.以BKT 模型為代表的基于概率圖的模型很好地運(yùn)用了教育學(xué)理論,可解釋性強(qiáng);但是其預(yù)測(cè)效率極大程度上取決于概率圖建立的合理性,當(dāng)概率圖建立不夠合理時(shí),其預(yù)測(cè)性能就會(huì)大幅度下降[6].

1.2 基于概率矩陣分解的知識(shí)追蹤

概率矩陣分解(Probabilistic Matrix Factorization,PMF)[11]是推薦系統(tǒng)領(lǐng)域的經(jīng)典算法.Chen等[12]提出的KPT (Knowledge Proficiency Tracing,KPT)模型通過教育先驗(yàn)來追蹤學(xué)生的知識(shí)空間水平,該模型除了將HMM 引入使其可以根據(jù)時(shí)間調(diào)整學(xué)生知識(shí)點(diǎn)掌握矩陣外,還將記憶和遺忘理論融入到U(用戶知識(shí)掌握程度的張量)的變化中.PMF 模型能夠更好地利用題目包含的知識(shí)點(diǎn)信息,且可以利用Q矩陣(專家標(biāo)記題目–知識(shí)點(diǎn)矩陣)較好地提升模型的預(yù)測(cè)效果,還能直觀地反映學(xué)生知識(shí)點(diǎn)的掌握情況.但PMF 模型的可擴(kuò)展性較差,難以加入除了題目知識(shí)點(diǎn)以外的其他相關(guān)信息,如題目文本、題目難度、學(xué)生的隱性反饋(做題停留時(shí)間)等[6].

1.3 基于深度學(xué)習(xí)的知識(shí)追蹤

Piech等[3]提出的DKT 模型是深度知識(shí)追蹤領(lǐng)域的基本模型,它是以RNN 模型為基礎(chǔ)結(jié)構(gòu).由于RNN 模型是一種具有記憶性的序列模型,而序列結(jié)構(gòu)不僅使其符合學(xué)習(xí)中的近因效應(yīng),并且保留了學(xué)習(xí)軌跡信息[13],所以RNN 模型及其變體成為深度知識(shí)追蹤領(lǐng)域使用最廣泛的模型,DKT 模型也成為了將深度學(xué)習(xí)應(yīng)用于知識(shí)追蹤的開山之作.盡管DKT 模型的預(yù)測(cè)性能優(yōu)于當(dāng)時(shí)的經(jīng)典方法,但是DKT 模型缺乏深入分析知識(shí)交互的過程[14],具有可解釋性差的弱點(diǎn);DKT 模型有RNN 長期依賴的問題;另外,DKT 模型的輸入為one-hot 編碼的學(xué)生交互序列,輸入類型單一,導(dǎo)致學(xué)習(xí)特征少,這也是DKT 的缺點(diǎn)之一.所以,可解釋性差、長期依賴問題和學(xué)習(xí)特征少成為DKT 的3 個(gè)最顯著的問題[15].許多研究者為了解決這3 個(gè)顯著問題,對(duì)DKT 進(jìn)行了深入研究,并提出了很多新的方法,例如:

(1) 針對(duì)可解釋性差的問題,Dong等[16]在A-DKT 模型中使用Jaccard 系數(shù)計(jì)算知識(shí)成分之間的注意力權(quán)重,并結(jié)合LSTM和總注意力值得到最終的預(yù)測(cè)結(jié)果;Zhang等[17]提出了結(jié)合外部記憶模塊與RNN 的動(dòng)態(tài)鍵值對(duì)的記憶網(wǎng)絡(luò)(Dynamic Key Value Memory Networks,DKVMN)模型,DKVMN 在RNN 的基礎(chǔ)上加入了MANN (Memory-Augmented Neural Network)思想,用1 個(gè)靜態(tài)矩陣存儲(chǔ)配合1 個(gè)動(dòng)態(tài)矩陣存儲(chǔ)來更新學(xué)生的知識(shí)狀態(tài),提高了預(yù)測(cè)效果;Ai 等[18]進(jìn)一步擴(kuò)展了DKVMN 模型,使其支持人工標(biāo)注的知識(shí)成分信息.

(2) 為解決長期依賴問題,Abdelrahamn等[19]使用Hop-LSTM 進(jìn)一步擴(kuò)大了LSTM 的序列學(xué)習(xí)容量,可以根據(jù)隱藏單元之間的相關(guān)性進(jìn)行跳躍連接;還有研究指出,RNN 的層層疊加可以減輕LSTM 中長期依賴關(guān)系的學(xué)習(xí)困難問題[4],基于這個(gè)結(jié)論,Sha等[5]提出了一種雙層堆疊LSTM 殘差模型,簡稱NKT (Neural Knowledge Tracing)模型,該模型設(shè)計(jì)了一種雙層堆疊的LSTM,并使用殘差連接減小訓(xùn)練難度,實(shí)驗(yàn)證明,這種疊加的LSTM 可以有效地?cái)U(kuò)大序列學(xué)習(xí)的容量;Pandey等[20]提出的SAKT (Self-Attentive Knowledge Tracing)模型,首次將Transformer 模型應(yīng)用于知識(shí)追蹤領(lǐng)域;Choi等[21]提出了SAINT(Separated Self-AttentIve Neural Knowledge Tracing)模型,來解決SAKT模型的注意力層太淺和Q,K,V矩陣計(jì)算方法缺乏經(jīng)驗(yàn)支持等問題;Pu等[22]改進(jìn)了Transformer 的結(jié)構(gòu),在其中加入題目的結(jié)構(gòu)信息和答題的時(shí)間信息.

(3) 針對(duì)缺少學(xué)習(xí)特征這個(gè)問題,Zhang等[23]采用特征工程的方式,將答題時(shí)間、答題次數(shù)和第一次動(dòng)作(首先嘗試解答還是直接尋求幫助)使用自動(dòng)編碼器(auto-encoder)降維后加入到LSTM 的輸入層中;Nagatani等[24]在DKT 模型中加入遺忘特征;Cheng等[25]在其模型AKT (Adaptive Knowledge Tracing)中使用與EERNN (Exercise-Enhanced Recurrent Neural Network)模型相同的文本特征提取方法,并加入學(xué)生的猜測(cè)和失誤行為特征;Tong等[26]在其EHFKT (Exercise Hierarchical Feature Enhanced Knowledge Tracing)模型中使用BERT (Bidirectional Encoder Representation from Transformers),從題目文本中提取出知識(shí)分布、語義特征和題目難度等有用信息.總地來說,相比其他兩類方法,基于深度學(xué)習(xí)的知識(shí)追蹤模型還是目前的主流方法.

2 問題定義

知識(shí)追蹤任務(wù)是根據(jù)學(xué)生的做題信息對(duì)學(xué)生的知識(shí)掌握水平進(jìn)行跟蹤,對(duì)學(xué)生的未來表現(xiàn)進(jìn)行預(yù)測(cè).本文的模型輸入可以表示為

假設(shè)有N個(gè)學(xué)生,每個(gè)學(xué)生答題數(shù)目為M,D代表數(shù)據(jù)集,Si={xi1,xi2,···,xit}為學(xué)生做題序列,在t時(shí)刻,xit包含兩部分內(nèi)容: ①當(dāng)前時(shí)刻學(xué)生正在回答的知識(shí)點(diǎn)問題qit;② 學(xué)習(xí)者對(duì)該問題的回答情況ait(正確或錯(cuò)誤),其中ait={0,1},0 表示學(xué)生回答錯(cuò)誤,1 表示學(xué)生回答正確.將學(xué)生行為序列經(jīng)過編碼后輸入RNN 進(jìn)行訓(xùn)練,然后通過預(yù)測(cè)輸出層得到學(xué)習(xí)者知識(shí)掌握水平y(tǒng)it,即預(yù)測(cè)下一個(gè)時(shí)刻xi(t+1)學(xué)生答題的正確率.正確率范圍從0 到1,表示預(yù)測(cè)概率.

本文的基本任務(wù)如下.

(1) 預(yù)測(cè)學(xué)生未來答題表現(xiàn),即下一個(gè)時(shí)間步的答題正確率.

(2) 跟蹤學(xué)生的知識(shí)水平變化狀態(tài),并以此為依據(jù)對(duì)學(xué)生進(jìn)行個(gè)性化導(dǎo)學(xué).

3 模型介紹

本文使用雙層堆疊GRU 殘差網(wǎng)絡(luò)來處理深度知識(shí)追蹤任務(wù),對(duì)傳統(tǒng)RNN 進(jìn)行改進(jìn);通過雙層GRU 層加殘差連接對(duì)學(xué)生做題序列進(jìn)行處理,跟蹤學(xué)生知識(shí)水平變化狀態(tài),預(yù)測(cè)學(xué)生未來表現(xiàn).

3.1 模型輸入

模型輸入的是學(xué)生答題結(jié)果序列.先將源數(shù)據(jù)預(yù)處理成圖1 左邊的格式,從上往下的第一行是答題數(shù),第二行是題目ID (Identity Document),第三行是對(duì)/錯(cuò)信息(1 為答對(duì),0 為答錯(cuò));然后將數(shù)據(jù)按最大時(shí)間分割成最小單位(如果答題分割后不足,最大時(shí)間步就用0 填充);數(shù)據(jù)分割后,將輸入數(shù)據(jù)通過one-hot 編碼成預(yù)處理后的數(shù)據(jù)進(jìn)入網(wǎng)絡(luò),輸入數(shù)據(jù)的維度為2 倍的知識(shí)點(diǎn)數(shù).如圖1 所示,設(shè)最大時(shí)間步為5,題目知識(shí)點(diǎn)數(shù)為5,某位學(xué)生的答題記錄為圖中左邊框內(nèi)數(shù)據(jù)所示;將其通過onehot 編碼成圖中的{0,1}二元格式xi1,xi2,xi3,xi4,xi5;最后將所有編碼結(jié)果合并成1 項(xiàng)時(shí)間序列數(shù)據(jù)作為這個(gè)學(xué)生的輸入序列xi={xi1,xi2,xi3,xi4,xi5}.

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

知識(shí)追蹤任務(wù)中的數(shù)據(jù)具有時(shí)序性,所以要求所用的算法能夠處理數(shù)據(jù)中的時(shí)序性特征.RNN 及其變體LSTM、GRU 都具有記憶功能,適用于知識(shí)追蹤任務(wù)中的時(shí)序性數(shù)據(jù).RNN 比普通的神經(jīng)網(wǎng)絡(luò)增加了1 個(gè)循環(huán)機(jī)制,即將上一個(gè)隱藏層輸出結(jié)果作為條件加入到當(dāng)前隱藏層的計(jì)算中.其結(jié)構(gòu)如圖2 所示.

圖1 模型輸入Fig.1 Input of the model

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)Fig.2 RNN (recurrent neural network)

RNN 的輸入序列Si={xi1,xi2,···,xit}通過隱藏層計(jì)算得到序列hi={hi1,hi2,···,hit}和輸出序列ki={ki1,ki2,···,kit}(學(xué)生的知識(shí)水平序列).其對(duì)應(yīng)公式為

式(1)—(2)中:W*為系數(shù)(下同);b*為偏移量(下同);σ為激活函數(shù)(下同).

學(xué)生未來成績的預(yù)測(cè)依賴于對(duì)學(xué)生歷史做題時(shí)間序列的分析,時(shí)間序列越長,學(xué)生的知識(shí)水平變化越多,序列特征越多,預(yù)測(cè)的精度相應(yīng)會(huì)更高.但是RNN 的記憶能力只在短時(shí)期內(nèi)有效,對(duì)于時(shí)間跨度大的依賴則沒有效果,當(dāng)信息積累到一定長度,初始信息對(duì)于結(jié)果的影響便會(huì)消失.為了解決RNN 的長期依賴問題,LSTM 引入了門 (gate) 的概念,通過輸入門、輸出門、遺忘門來選擇或遺忘數(shù)據(jù)特征,實(shí)現(xiàn)對(duì)序列中特征長期依賴的捕捉,一定程度上解決了RNN 梯度消失的現(xiàn)象.GRU 又在LSTM 的基礎(chǔ)上進(jìn)行了改進(jìn).其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示: GRU 只有2 個(gè)門,即重置門r和更新門z,去掉了LSTM 中的記憶單元,只通過隱變量h傳遞數(shù)據(jù)特征.

GRU 的更新可以分為如下幾個(gè)步驟.

(1) 重置門:rt表示GRU在t時(shí)刻的重置門.其定義為

(2) 更新門:zt表示GRU在t時(shí)刻的更新門.其定義為

(3) 新記憶: 更新門zt決定了上一時(shí)刻的隱變量對(duì)當(dāng)前時(shí)刻影響的大小.新的記憶h′是對(duì)新的輸入xt和前一時(shí)刻隱藏層的輸出ht-1重置結(jié)果的結(jié)合,既包含了當(dāng)前輸入信息,又包含了前一時(shí)刻的隱藏層輸出信息.其定義為

式(5)中:U為系數(shù);⊙代表矩陣中對(duì)應(yīng)元素相乘.

圖3 門控循環(huán)單元Fig.3 GRU (gated recurrent unit)

(4) 隱藏層:t時(shí)刻的GRU 隱藏層狀態(tài)ht是過去狀態(tài)ht-1和當(dāng)前狀態(tài)h′的有權(quán)和,兩者的權(quán)重由更新門zt控制.其定義為

GRU 只用2 個(gè)門同樣實(shí)現(xiàn)了LSTM 中對(duì)長期依賴特征的捕捉,其參數(shù)比LSTM 更少,訓(xùn)練更快.

Sha 等[5]針對(duì)RNN 長期依賴訓(xùn)練困難的問題,提出了NKT,使用雙層堆疊LSTM 模型和殘差連接.受上述研究的啟發(fā),本文采用雙層堆疊的GRU 殘差連接網(wǎng)絡(luò)來克服RNN 中長期依賴訓(xùn)練困難的問題.

本文提出的堆疊GRU 殘差(S-GRU-R)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

圖4 雙層堆疊GRU 殘差(S-GRU-R)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of the stacked-GRU-residual (S-GRU-R) network

雙層堆疊GRU(S-GRU)網(wǎng)絡(luò)的定義為

由輸入xt進(jìn)入第一層GRU 網(wǎng)絡(luò)得到隱變量h1,t;再由第一層GRU 網(wǎng)絡(luò)的輸出作為第二層GRU 網(wǎng)絡(luò)的輸入,得到第二層GRU 網(wǎng)絡(luò)的輸出h2,t;然后再由一層全連接層得到知識(shí)水平向量kt.

由于RNN 層數(shù)的增加會(huì)導(dǎo)致模型更難訓(xùn)練[27],所以模型又引入了殘差連接[27-28].殘差連接的加入可以讓堆疊GRU 網(wǎng)絡(luò)訓(xùn)練更容易.所以本文提出了加入殘差連接的堆疊GRU 殘差(S-GRU-R)網(wǎng)絡(luò).S-GRU-R 網(wǎng)絡(luò)與S-GRU 網(wǎng)絡(luò)的區(qū)別體現(xiàn)在

其中⊕代表向量拼接.

3.3 模型優(yōu)化目標(biāo)

本文通過最小化目標(biāo)函數(shù)(學(xué)生答題結(jié)果的預(yù)測(cè)值kt+1(qt)和學(xué)生答題真實(shí)結(jié)果at之間的交叉熵?fù)p失函數(shù))來優(yōu)化各個(gè)參數(shù).因?yàn)橹R(shí)追蹤任務(wù)預(yù)測(cè)的是下一個(gè)時(shí)間步的答題情況,所以與at對(duì)應(yīng)的預(yù)測(cè)值為kt+1(qt).本文使用Adam 方法[29]優(yōu)化參數(shù),損失函數(shù)為

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

本文所使用的公共數(shù)據(jù)集為Statics2011①Statics2011: https://pslcdatashop.web.cmu.edu/DatasetInfo?datasetId=507.該數(shù)據(jù)集來自一門學(xué)院級(jí)的工程靜力學(xué)課程,包含333 個(gè)學(xué)生在1 223 個(gè)知識(shí)點(diǎn)上的189 927 條回答記錄,平均每個(gè)學(xué)生回答記錄數(shù)目為568.

4.2 評(píng)價(jià)指標(biāo)

本文使用平均曲線下面積(Area Under the Curve,AUC)和平均F1分?jǐn)?shù)(F1-score,F1)作為評(píng)估預(yù)測(cè)性能的指標(biāo).AUC 被定義為ROC (Receiver Operating Characteristic) 曲線與坐標(biāo)軸圍成的面積,AUC 值為50%時(shí),表示隨機(jī)猜測(cè)得到的結(jié)果,AUC 值越高,預(yù)測(cè)性能越好.

在評(píng)價(jià)體系中,準(zhǔn)確率(Precision,P)和召回率(Recall,R)越高,表示算法性能越好.但在一些場(chǎng)景下,準(zhǔn)確率和召回率可能是矛盾的,所以使用F1綜合評(píng)價(jià)這2 個(gè)指標(biāo).相應(yīng)公式為

式(12)—(14)中:NTP(True Positive,TP)表示將正類預(yù)測(cè)為正類的數(shù)量;NFP(False Positive,FP)表示將負(fù)類預(yù)測(cè)為正類的數(shù)量;NFN(False Negative,FN)表示將正類預(yù)測(cè)為負(fù)類的數(shù)量.

對(duì)每個(gè)模型,本文都進(jìn)行了20 次測(cè)試,取平均AUC 值和平均F1值.

4.3 基線模型

為了對(duì)比本文提出的S-GRU-R 模型與其他模型的性能,本文采用了2 種基線模型: 深度知識(shí)追蹤(DKT)和堆疊LSTM 殘差網(wǎng)絡(luò)(NKT),另外還設(shè)置了消融實(shí)驗(yàn)S-GRU 模型.模型及其具體參數(shù)設(shè)置如下.

(1)深度知識(shí)追蹤(DKT).本文實(shí)現(xiàn)了文獻(xiàn)[3]中提到的以LSTM 模型為主體網(wǎng)絡(luò)的方法.模型訓(xùn)練參數(shù)設(shè)置詳情: 初始學(xué)習(xí)率為0.001,最大時(shí)間步為50,最小批次數(shù)量為128,學(xué)習(xí)輪次為100 次,LSTM 隱層維度為200,LSTM 層數(shù)為1,優(yōu)化器選擇Adam.

(2)堆疊LSTM 殘差模型(NKT).本文實(shí)現(xiàn)了文獻(xiàn)[5] 提出的雙層堆疊LSTM 殘差模型.模型訓(xùn)練參數(shù)設(shè)置詳情: 初始學(xué)習(xí)率為0.001,最大時(shí)間步為50,最小批次數(shù)量為128,學(xué)習(xí)輪次為100 次,LSTM 隱層維度為200,LSTM 層數(shù)為2,優(yōu)化器選擇Adam.

(3)堆疊GRU (S-GRU)模型.S-GRU 模型采用雙層堆疊的GRU 網(wǎng)絡(luò)進(jìn)行訓(xùn)練.模型訓(xùn)練參數(shù)設(shè)置詳情: 初始學(xué)習(xí)率為0.001,最大時(shí)間步為50,最小批次數(shù)量為128,學(xué)習(xí)輪次為100 次,GRU 隱層維度為200,GRU 層數(shù)為2,優(yōu)化器選擇Adam.

4.4 實(shí)驗(yàn)

本文實(shí)驗(yàn)在CentOS 7 系統(tǒng)下進(jìn)行.具體硬件環(huán)境: CPU 為i7-9700CPU@3.00 GHz;GPU 為GTX-2080Ti;DDR4 64 GB 內(nèi)存.開發(fā)環(huán)境: Python3.7;PyTorch1.8.S-GRU-R 模型使用PyTorch 框架實(shí)現(xiàn),以4∶1 的比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集.優(yōu)化器選擇Adam.

參數(shù)設(shè)置如表1 所示.

表1 模型參數(shù)設(shè)置Tab.1 Model parameter settings

4.5 結(jié)果與分析

知識(shí)追蹤的基本任務(wù)是預(yù)測(cè)學(xué)生在下一題中的作答正確率和追蹤學(xué)生知識(shí)水平變化.預(yù)測(cè)任務(wù)通過對(duì)比模型預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的誤差,比較模型的預(yù)測(cè)性能;追蹤任務(wù)通過跟蹤學(xué)生在某個(gè)時(shí)間段內(nèi)知識(shí)掌握程度的變化來體現(xiàn).

4.5.1 預(yù)測(cè)未來表現(xiàn)

為了評(píng)估模型的性能,本文選擇深度知識(shí)追蹤(DKT)和堆疊LSTM 殘差網(wǎng)絡(luò)(NKT)作為基線模型進(jìn)行對(duì)比實(shí)驗(yàn),堆疊GRU(S-GRU)網(wǎng)絡(luò)作為消融實(shí)驗(yàn),并分別計(jì)算每種模型測(cè)試的AUC 值和F1值,其中DKT 模型是基于LSTM 實(shí)現(xiàn)的.實(shí)驗(yàn)結(jié)果如表2 所示,其中最優(yōu)值被加粗.圖5 更加清晰地展現(xiàn)了各模型的預(yù)測(cè)AUC 值在訓(xùn)練過程中的變化.

根據(jù)表1和圖5 中的數(shù)據(jù)可以得到以下結(jié)論.

(1)本文提出的S-GRU-R 模型的AUC 值明顯優(yōu)于DKT 模型和NKT 模型.

(2) S-GRU-R 模型比S-GRU 模型預(yù)測(cè)表現(xiàn)更好,在AUC 值和F1上都超過了后者.

(3) S-GRU-R 模型在訓(xùn)練8 個(gè)輪次后AUC 值達(dá)到峰值,DKT 模型和S-GRU 模型在訓(xùn)練12 個(gè)輪次后AUC 值達(dá)到峰值,NKT 模型則在訓(xùn)練到20 至40 個(gè)輪次階段達(dá)到峰值.因此S-GRU-R 模型比其他模型更快得到最優(yōu)性能.

表2 模型AUC 值和F1 值對(duì)比Tab.2 Comparison of the models’ AUC value and F1 value

圖5 模型AUC 值對(duì)比Fig.5 Comparison of the models’ AUC value

4.5.2 追蹤知識(shí)水平

除了預(yù)測(cè)學(xué)生在下一時(shí)刻答題的正確率,知識(shí)追蹤的另一任務(wù)是跟蹤學(xué)生的知識(shí)水平變化.圖6顯示了S-GRU-R 模型對(duì)隨機(jī)抽取的學(xué)生答題記錄的知識(shí)水平跟蹤結(jié)果.

圖6 S-GRU-R 模型追蹤學(xué)生知識(shí)水平變化熱力圖Fig.6 Heat map of students’ knowledge level as tracked by S-GRU-R

圖6 中,橫軸代表學(xué)生答題的時(shí)間序列,用1 個(gè)二元組來表示學(xué)生的答題記錄,例如第1 條(時(shí)刻1)記錄(759,1)代表學(xué)生對(duì)759 號(hào)題目進(jìn)行作答,作答結(jié)果為正確(正確為1,錯(cuò)誤為0);縱軸代表學(xué)生解答過的題目(q_編號(hào)).圖中每一個(gè)方格顏色的深淺代表了學(xué)生在當(dāng)前時(shí)刻的知識(shí)掌握程度(范圍為0～1): 顏色越深,表明學(xué)生對(duì)該題對(duì)應(yīng)知識(shí)點(diǎn)的掌握越差;顏色越淺,表明該學(xué)生對(duì)該題對(duì)應(yīng)知識(shí)點(diǎn)的掌握越好.模型共追蹤了學(xué)生在15 個(gè)時(shí)刻上的知識(shí)點(diǎn)能力掌握值.聚焦編號(hào)為194 的題目結(jié)果,當(dāng)時(shí)刻5 (該學(xué)生答對(duì)了194 號(hào)題目)發(fā)生時(shí),結(jié)果顯示學(xué)生在194 號(hào)題目上的知識(shí)點(diǎn)掌握能力值有上升趨勢(shì),即顏色由深變淺;當(dāng)時(shí)刻12 (該學(xué)生答錯(cuò)了194 號(hào)題目)發(fā)生時(shí),結(jié)果顯示學(xué)生在194 號(hào)題目上的能力有所下降,所以顏色由淺變深;最后當(dāng)時(shí)刻14 (學(xué)生答對(duì)了194 號(hào)題目)發(fā)生時(shí),結(jié)果顯示學(xué)生在194 號(hào)題目上能力值又有所提升,即顏色由深變淺.其他題目也有類似效果.

綜上所述,當(dāng)某時(shí)刻學(xué)生答題情況發(fā)生變化時(shí)(從正確到錯(cuò)誤或從錯(cuò)誤到正確),模型可以檢測(cè)出此時(shí)刻學(xué)生知識(shí)點(diǎn)掌握程度的變化;根據(jù)這個(gè)變化,可以了解學(xué)生的知識(shí)空間水平,從而對(duì)學(xué)生進(jìn)行個(gè)性化導(dǎo)學(xué)服務(wù).

5 總結(jié)與展望

本文提出了雙層堆疊GRU 殘差(S-GRU-R)網(wǎng)絡(luò)模型進(jìn)行知識(shí)追蹤,并在Statics2011 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn).結(jié)果顯示,本文提出的模型能達(dá)到較好的預(yù)測(cè)效果;在追蹤學(xué)生知識(shí)水平上,本文提出的模型也取得了良好的性能.在未來的研究中,可著眼于以下兩個(gè)方面進(jìn)行進(jìn)一步的研究.

(1) 使用新的網(wǎng)絡(luò)結(jié)構(gòu)處理知識(shí)追蹤任務(wù),增強(qiáng)模型的可解釋性.

(2) 模型輸入不局限于做題結(jié)果,將挖掘更多有用的作答信息,如學(xué)生信息、題目文本、作答時(shí)間間隔等特征,從多個(gè)方面提取做題者的潛在特征,提高預(yù)測(cè)的準(zhǔn)確性.