郭英清,王 敏,2,肖明勝

(1.贛南師范大學 數(shù)學與計算機科學學院,江西 贛州 341000;2.江西省數(shù)值模擬與仿真技術(shù)重點實驗室,江西 贛州 341000)

0 引 言

隨著教育資源規(guī)模日益增大,學習者難以在數(shù)量龐大的教學資源中找到符合自身需求的資源。同樣地,教師面對大量的學習者也難以做到為每一位學習者提供個性化學習推薦。特別地,在信息過載的今天,為滿足不同認知能力和知識水平的學習者需求,如何在大量的習題中精準地推薦合適的習題是個性化學習研究的一項重要課題。

近年來,許多研究者將推薦技術(shù)用于習題推薦,其主要思路是以學習者的習題成績作為評分,將習題得分預測轉(zhuǎn)換成評分預測,從而實現(xiàn)習題推薦?，F(xiàn)有的習題推薦方法主要分為基于協(xié)同過濾的方法和基于認知診斷的方法?；趨f(xié)同過濾的習題推薦方法有:Linden等人[1]根據(jù)學生做題記錄計算相似性得到相似用戶,利用相似用戶的習題得分預測目標學生得分情況,再用預測結(jié)果進行習題推薦。Wu等人[2]結(jié)合時間效應提出張量因子分解方法,用矩陣分解方法預測學生習題成績并依此進行學習資源推薦。Toledo等人[3]在編程平臺使用協(xié)同過濾方法實現(xiàn)學生的在線習題推薦。周亞[4]將學習者分為新老用戶,以協(xié)同過濾算法為基礎(chǔ),提出一種混合推薦方法來提高習題推薦效果。蔣昌猛等人[5]通過更新學生-知識點失分率矩陣,獲取薄弱知識點并以此進行習題推薦。馬驍睿等人[6]用深度知識追蹤得到的知識水平矩陣代替交互矩陣,融合相似用戶的知識水平向量,得到的推薦結(jié)果準確性高、解釋性好?；趨f(xié)同過濾的習題推薦算法簡單易部署,但僅參考學習者的答題記錄來進行推薦,忽略了學習者的知識水平;另外,協(xié)同過濾推薦算法未考慮其他因素對學習者答題情況的影響,推薦結(jié)果不具備較好的解釋性。

認知診斷方法通過不同的模型對學習者進行能力建模,所得到的參數(shù)具有較強的解釋性意義,并用于學習者得分預測和試題推薦[7]。Lord[8]提出了項目反應理論(Item Response Theory,IRT),IRT通過模型函數(shù)從學習者的作答數(shù)據(jù)中得到習題參數(shù)和學習者能力值,根據(jù)習題參數(shù)和學習者能力值來進行習題推薦。Corbett等人[9]于1995年提出貝葉斯知識追蹤(Bayesian Knowledge Tracing,BKT),將學習者對每個知識點的掌握情況建模為一組二元變量,每個變量代表學習者是否掌握某個知識點,采用隱馬爾可夫模型(Hidden Markov Model,HMM)跟蹤學生知識狀態(tài)的變化,預測學生掌握知識點的概率。加性因子模型(Additive Factor Model,AFM)[10]考慮練習嘗試次數(shù)和學習率兩個變量對學習者知識狀態(tài)的影響,假設(shè)學習是一個漸進的變化過程而不是離散的過渡,直接預測學習者正確回答練習的概率。同時,諸多研究者從參數(shù)約束[11]、引入失誤因子[12]和情緒態(tài)度[13]等不同角度對標準AFM進行擴展?；谡J知診斷的習題推薦方法考慮到學習者的知識水平,并基于目標的知識水平向量進行推薦。但傳統(tǒng)認知診斷方法的數(shù)據(jù)集需要專家標注,且沒有考慮到學習的群體性。認知診斷推薦方法針對學習者個人知識水平建模,在面對知識點和習題一對一關(guān)系時,無法推薦學習者未做過的習題,推薦結(jié)果存在流行度長尾問題。

綜上所述,習題推薦算法主流分為協(xié)同過濾和認知診斷方法,但在實際場景下,協(xié)同過濾算法忽略了學習者知識水平,僅靠做題記錄來進行推薦。認知診斷方法需專家標注數(shù)據(jù)集,沒有考慮到學習的群體性,且大部分推薦算法存在數(shù)據(jù)稀疏和冷啟動問題,難以滿足習題推薦需求。因此,如何在數(shù)據(jù)稀疏情況下對學習者知識狀態(tài)建模,進而進行習題推薦仍是一個值得研究的問題。

針對上述問題,該文提出一種結(jié)合深度知識追蹤與矩陣補全的習題推薦方法,命名為DKT-SVD++(Deep Knowledge Tracing based Singular Value Decomposition Plus Plus)。DKT-SVD++用深度知識追蹤模型訓練得到學習者的知識水平矩陣,又利用奇異值分解模型對未做習題進行評分預測,并對學習者的知識水平矩陣進行補全,進而根據(jù)概率高低進行習題推薦。DKT-SVD++由One-Hot編碼、知識追蹤、知識融合、知識補全和習題推薦五個步驟構(gòu)成。DKT-SVD++方法具有以下優(yōu)點:

(1)通過深度知識追蹤來獲取學習者的知識掌握水平,實現(xiàn)對學習者知識水平的精準建模,推薦結(jié)果具有更高精確度。

(2)使用奇異值分解模型對學習者知識矩陣進行補全,緩解了數(shù)據(jù)稀疏問題,且提高推薦結(jié)果的多樣性。

(3)DKT-SVD++緩解了依據(jù)答題記錄進行推薦方法存在的問題,是否答題以及答題正確與否不能代表學習者的知識掌握水平。

DKT-SVD++在KDDCup2010和Statics2011兩個公開數(shù)據(jù)集上與UserCF、DKT和DKT-CF方法進行了性能比較,實驗結(jié)果驗證了DKT-SVD++方法的有效性。

1 相關(guān)工作

1.1 知識追蹤

知識追蹤基于學習者行為序列進行建模,預測學習者知識點的掌握程度,已被廣泛應用于智能教學系統(tǒng)中評估學習者的知識水平[14]。知識追蹤問題可以描述為:給定一學習者的學習序列x1,x2,…,xt,預測其下次表現(xiàn)xt+1。Corbett等人[9]在1995年提出BKT模型,用二元變量來對學習者的知識點掌握情況進行建模,采用HMM模型來跟蹤學生知識狀態(tài)的變化,預測學生掌握知識點的概率。BKT方法的預測結(jié)果具有統(tǒng)計學意義,可解釋性較好。然而BKT對于學習的假設(shè)具有先天的局限性,使得模型的實際應用范圍受限。隨后,Kaser等人[15]基于BKT模型,結(jié)合習題與知識點中豐富的關(guān)聯(lián)關(guān)系提出了約束參數(shù)空間的BKT模型,通過實驗證明了所提方法在五個大規(guī)模數(shù)據(jù)集中的預測精度更高。Qiu等人[16]在BKT模型中加入知識遺忘特性,模擬學生的知識熟練程度可能隨時間的推移而下降。2015年,Chris等人[17]提出深度知識追蹤(Deep Knowledge Tracing,DKT)模型,將循環(huán)神經(jīng)網(wǎng)絡(luò)應用到知識追蹤任務(wù)中,證明深度知識追蹤在不需要專家注釋的情況下取得了更好的效果。隨后,很多學者對DKT模型進行改進和擴展,以進一步提高預測性能。Dong等人[18]在深度知識追蹤中引入注意力機制,在模型中使用Jaccard系數(shù)來計算知識點之間的注意力權(quán)重,再結(jié)合長短期記憶網(wǎng)絡(luò)與注意力值得到預測結(jié)果。Zhang等人[19]提出動態(tài)鍵值存儲網(wǎng)絡(luò)模型(Dynamic Key-Value Memory Networks,DKVMN),將學習者的學習過程建模為讀和寫兩個過程,使用矩陣來存儲知識點和知識的掌握程度,再用注意力機制來得到題目和知識點之間相關(guān)性,以此來對深度知識追蹤模型的可解釋性問題進行改進。Lee等人[20]用向量點積來模擬知識狀態(tài)和知識點的相互作用,用向量來表示學習者對知識點的掌握情況,使得自解釋模型(Knowledge Query Network,KQN)具有解釋性和直觀性。Yeung等人[21]結(jié)合了IRT理論和DKVMN模型,提出深度項目反應理論模型(Deep Item Response Theory,Deep-IRT),利用DKVMN對學習者能力和題目難度進行建模,通過IRT得到預測結(jié)果。

1.2 知識矩陣補全

通過DKT模型得到的知識水平矩陣存在大量未評分的知識點,為了使得推薦結(jié)果盡可能準確,應對原始知識水平矩陣進行補全,再進行習題推薦。在實際情況中評分矩陣往往是稀疏的,為此需要對稀疏的評分矩陣進行補全。常用的方法有矩陣補全、矩陣分解和聚類算法等[22]。矩陣補全方法容易造成補全數(shù)據(jù)和實際評分偏離程度較大,而聚類需要人為指定聚類個數(shù)K,K值會很大程度影響聚類效果[23]。因此,該文采用矩陣分解方法對稀疏知識矩陣進行補全。

矩陣分解是將矩陣拆解為數(shù)個矩陣的乘積,常見的有三角分解法、正交三角分解法和奇異值分解法(Singular Value Decomposition,SVD)。SVD作為一種有效的代數(shù)特征提取方法,被廣泛應用于提取評分矩陣的隱藏特征,進而進行推薦。SVD將評分矩陣分解為兩個低階矩陣的乘積,因此,通過訓練得到這兩個低階矩陣可以重構(gòu)出評分矩陣。為了緩解計算復雜度和數(shù)據(jù)稀疏帶來的問題,Simon Funk[24]提出了隱因子模型(Latent Factor Model,LFM),將評分矩陣優(yōu)化為兩個低秩的用戶與項目矩陣。隨著LFM的提出,后續(xù)又涌現(xiàn)出大量基于LFM的推薦模型。其中,Koren[25]為解決用戶評分受用戶本身特質(zhì)的影響,提出了帶有三項偏移偏的LFM模型。除了顯式的評分行為以外,用戶的隱式反饋也可以側(cè)面反映用戶的偏好,基于這種假設(shè),Koren[26]提出考慮領(lǐng)域影響的隱語義模型(Singular Value Decomposition Plus Plus,SVD++),緩解了因顯式評分過少而引起的冷啟動問題;同年,又基于SVD++模型提出了引入時間效應的隱因子模型,通過衰減過往用戶行為權(quán)重,提高就近用戶隱式反饋行為權(quán)重來實現(xiàn)動態(tài)推薦[27]。在推薦領(lǐng)域,許多研究者結(jié)合矩陣分解對推薦方法進行改進。武聰?shù)热薣28]通過將標簽相似度和用戶相似度融入矩陣分解模型中,在提高準確性的同時加強了推薦依據(jù)。田震等人[29]在廣義矩陣分解的基礎(chǔ)上引入隱藏層,利用深層神經(jīng)網(wǎng)絡(luò)來學習用戶和物品間高階交互關(guān)系,提高推薦結(jié)果的準確度。王丹等人[30]將三種不同權(quán)重因素融入低秩概率矩陣分解模型中,將特征映射到低秩空間,在正則化約束下對評分進行預測。查琇山等人[31]通過對手游標簽聚類求得相似評分矩陣,先使用SVD方法訓練得到預測評分,再進行手游推薦。

2 DKT-SVD++習題推薦方法

DKT-SVD++方法首先通過深度知識追蹤對學習者的知識掌握情況進行建模,再用SVD++方法預測學習者未做題目的答對概率。DKT-SVD++習題推薦方法不僅利用了學習者自身的知識掌握信息,還考慮到學習者相似群體的知識水平掌握情況,更為重要的是通過SVD++對未做習題進行了預測評分補全。因此,DKT-SVD++方法提高了習題推薦結(jié)果的新穎度和精確度。同時,由于采用了SVD++對知識矩陣補全,DKT-SVD++一定程度上緩解了習題推薦系統(tǒng)中的數(shù)據(jù)稀疏和冷啟動問題。

DKT-SVD++方法整體框架:

DKT-SVD++方法整體框架如圖1所示,推薦過程分為One-Hot編碼、知識追蹤、知識融合、知識補全和習題推薦五個步驟,具體如下:

圖1 DKT-SVD++框架

(2)知識追蹤:深度知識追蹤模型以第i個學習者的獨熱編碼Si為輸入,輸出其做題正確的概率向量Yi=[yi1,yi2,…,yiK]。這里深度知識追蹤模型利用LSTM網(wǎng)絡(luò),在t時序網(wǎng)絡(luò)隱含層的狀態(tài)ht和輸出yt的計算如公式(1)和(2)所示。

ht=tanh(Whxst+Whhht-1+bh)

(1)

yt=σ(Wyhht+by)

(2)

其中,Whx為輸入權(quán)值矩陣,Whh為遞歸權(quán)值矩陣,Wyh為輸出權(quán)值矩陣。需要注意的是,有的學習者對同一習題可能多次練習,這時只取最后一次習題答對概率。最后,得到學習者的知識水平矩陣Q∈R(M×N)。

(3)知識融合:用余弦相似度衡量學習者之間的相似性,設(shè)Qi={qi1,qi2,…,qiN},Qj={qj1,qj2,…,qjN},則Qi和Qj的余弦相似度計算如下:

(3)

這樣,根據(jù)余弦相似度大于閾值α的規(guī)則可以得到第i個學習者的相似用戶Ui={ui1,ui2,…,uiL}。通過公式(4)的計算,得到第i個學習者知識水平向量。

KTi=ρ*Qi+(1-ρ)*average(Ui)

(4)

其中,Qi為第i個學習者的知識水平向量, average(Ui)為相似用戶知識水平的平均值,ρ為融合比例。最后得到融合后的學習者知識水平矩陣KT∈R(M×N)。

(4)知識補全:融合后的學習者知識水平矩陣KT表達了學習者對知識的掌握程度,更多考慮相似用戶的群體信息。但對于學習者未做習題而言,融合后的知識水平往往預估偏差大,不能較好地表示出學習者的真實知識掌握水平。因此,通過SVD++對學習者未做習題進行知識矩陣補全,某種程度上可以更好緩解數(shù)據(jù)稀疏問題。以學習者的知識水平矩陣Q為輸入,利用SVD++對Q矩陣進行分解(Usvd,Isvd)=SVD(Q)。通過Usvd和Isvd計算出學習者未作答習題的概率,這個概率替換矩陣KT相應位置的概率,從而達到知識矩陣補全的目的。最后得到補全后的知識水平矩陣A。

(5)習題推薦:確定習題推薦個數(shù)R和習題難度范圍[β1,β2](β1<β2),根據(jù)補全后的知識水平矩陣A向?qū)W習者推薦答題概率在β1和β2的R道習題。考慮第i個學習者的習題推薦,首先對Ai=[pi1,pi2,…,

算法1:DKT-SVD++習題推薦算法。

輸入:學習者答題序列X,難度范圍[β1,β2],知識點融合比例ρ,推薦習題個數(shù)R。

輸出:推薦習題集合Z。

(1)S=onehot(X) //將輸入進行One-Hot編碼

(2)Q=DKT(S) //訓練深度知識追蹤模型,構(gòu)建知識水平矩陣Q

(3)forQi∈Q

forQj∈Q

userCosi,j=cos(Qi,Qj) //計算相似度

(4)Ui=userCosrank(userCosi) //根據(jù)排名得到相似用戶

(5)KTi=ρ*Qi+(1-ρ)*average(Ui) //更新知識點矩陣KT

(6)fori,j∈KT

KTi,j=SVDpredict(i,j)*average(KTi) //知識點矩陣KT補全

(7)forAi∈A

Zi=recommend(A,ρ,β1,β2,R) //產(chǎn)生學習者i的推薦習題

(8)returnZ//返回推薦習題集合

3 實驗與結(jié)果

3.1 數(shù)據(jù)集

實驗采用了兩組數(shù)據(jù)集,第一組為KDDCup2010公開數(shù)據(jù)集,該數(shù)據(jù)集來自KDD2010年教育數(shù)據(jù)挖掘大賽的挑戰(zhàn)數(shù)據(jù)集,包含3 310名學生和942 666個答題記錄,只保留有知識成分的步驟。第二組為Statics2011數(shù)據(jù)集,此數(shù)據(jù)集由工程靜態(tài)力學課程提供,包含來自333名學生的189 927個記錄。兩組數(shù)據(jù)集的相關(guān)信息如表1所示.

表1 數(shù)據(jù)集信息

3.2 評價指標

為衡量提出的DKT-SVD++方法的有效性,實驗采用精確率、召回率和F1值作為指標,并與對比方法進行比較。精確率、召回率和F1值分別用公式(5)～公式(7)計算。

(5)

(6)

(7)

其中,TP表示推薦習題中學習者正確回答的個數(shù),FP表示推薦習題中學習者錯誤回答的個數(shù),FN表示其他待推薦習題中學習者正確回答的數(shù)量。

3.3 參考方法

為驗證DKT-SVD++方法的習題推薦性能,選擇以下三種方法進行比較:

(1)UserCF[32]:使用學習者習題得分矩陣進行基于用戶的協(xié)同過濾推薦,計算學習者之間的余弦相似度,根據(jù)相似學習者的答題情況給目標學習者進行習題推薦。

(2)DKT[17]:根據(jù)DKT模型得到學習者知識水平矩陣,給目標學習者知識水平向量進行排名,推薦答對概率最高的習題。

(3)DKT-CF[6]:使用學習者知識水平矩陣進行基于用戶的協(xié)同過濾推薦,計算學習者之間的余弦相似度,把相似學習者的知識水平向量和目標學習者的知識水平向量進行融合,進而根據(jù)概率高低進行排名推薦。

3.4 實驗環(huán)境與參數(shù)設(shè)置

實驗是在一臺配有NVIDIA GTX1050 Ti顯卡、16G內(nèi)存和操作系統(tǒng)為Ubuntu 18.04的臺式電腦上進行,編程語言為python3.8,深度學習開發(fā)環(huán)境為pytorch 1.10.2。

在DKT模型訓練階段,隱含層采用200個LSTM節(jié)點,學習率LR設(shè)為0.04,訓練輪數(shù)Epoch設(shè)置為500,每批數(shù)據(jù)大小BATCH_SIZE設(shè)為32。KDDCup2010數(shù)據(jù)集每批最大習題個數(shù)MAX_STEP設(shè)為1 000,Statics2011數(shù)據(jù)集每批最大習題個數(shù)MAX_STEP設(shè)為2 000。

在兩個數(shù)據(jù)集中,均隨機劃分80%的學習者數(shù)據(jù)用于訓練,20%的學習者數(shù)據(jù)用于測試。在DKT模型中,只把測試學習者的80%做題記錄作為測試,剩下的20%作為未做習題。DKT-CF方法中目標學習者和相似學習者之間知識水平向量的融合比例ρ=0.4。

3.5 性能比較

首先評估SVD++在習題推薦中的性能,然后給出DKT-SVD++與參考方法的性能比較。

(1)SVD++性能評估。

矩陣分解方法采用均方根誤差作為評價指標,計算如公式(8)所示:

(8)

在KDDCup2010和Statics2011兩個數(shù)據(jù)集上進行RMSE性能評估。在實驗中,興趣因子Factors設(shè)為200,訓練輪數(shù)Epoch設(shè)置為100,學習率LR設(shè)為0.005。如圖2所示, SVD++均取得了比其他SVD方法更低的RMSE。因此,采用SVD++方法來對知識矩陣進行補全是可行的。

圖2 SVD性能比較

(2)性能比較。

表2至表4分別給出了DKT-SVD++與參考方法的精確度、召回率和F1值性能比較。從表中可以看出,基于DKT模型的推薦方法性能均優(yōu)于UserCF方法。這是因為傳統(tǒng)協(xié)同過濾方法僅靠答題記錄來推薦,這并不能代表學習者對習題所包含知識點的掌握狀態(tài),而DKT模型充分利用了學習者知識水平矩陣進行推薦。從表中可以看出,DKT-CF相比與DKT方法,其性能優(yōu)勢很小,這是因為DKT-CF只是利用了相似用戶的平均信息。另外,從表中可以看出DKT-SVD++方法性能均優(yōu)于其他方法,相比其他方法,DKT-SVD++能產(chǎn)生更精準的推薦結(jié)果;隨著推薦習題數(shù)的增加,DKT-SVD++獲得越來越大的性能優(yōu)勢。這是因為通過SVD++對學習者知識水平矩陣進行知識補全,充分利用了學習者對未做習題的預測評分。

表2 精確度實驗結(jié)果

表3 召回率實驗結(jié)果

表4 F1值實驗結(jié)果

(3)消融實驗。

為進一步探討知識融合及稀疏矩陣補全對習題推薦的作用,對所提出的算法框架結(jié)構(gòu)進行了逐層的消融實驗。如圖1所示,推薦算法框架中三個重要的結(jié)構(gòu)為DKT、知識融合和矩陣補全。根據(jù)文獻[6]的研究,知識融合比例設(shè)置為0.4時算法會有最好的表現(xiàn)和穩(wěn)定性。因此,在消融實驗中,設(shè)置知識融合比例ρ=0.4,推薦個數(shù)R=100。

分別對基準DKT模型推薦結(jié)果,DKT模型融合知識水平向量的推薦結(jié)果,DKT模型融合知識水平向量再進行稀疏矩陣補全的推薦結(jié)果進行比較,如表5所示。從表中數(shù)據(jù)可以看出,DKT模型結(jié)合知識融合與矩陣補全可以獲得最好的推薦性能,這說明在DKT模型基礎(chǔ)上,結(jié)合知識融合與知識矩陣補全來進行習題推薦是可行的。另外,僅使用DKT模型與知識融合來進行推薦,與基準DKT模型性能相比較,性能增益不明顯,這是因為習題推薦未全部命中經(jīng)知識融合補全后的知識點。知識矩陣補全對推薦結(jié)果表現(xiàn)提升明顯,這是因為矩陣補全挖掘了用戶的潛在特征,可以更好地對學習者進行建模。

表5 消融實驗結(jié)果

4 結(jié)束語

該文提出一種結(jié)合深度知識追蹤與矩陣補全的習題推薦方法DKT-SVD++。首先,通過深度知識追蹤獲得學習者知識水平矩陣,再結(jié)合相似學習者信息對知識水平矩陣進行融合,利用矩陣分解方法來進行知識矩陣補全,緩解數(shù)據(jù)稀疏問題,并依據(jù)知識水平矩陣向?qū)W習者推薦習題。實驗結(jié)果表明,DKT-SVD++方法在精確率、召回率和F1值上有明顯優(yōu)勢。在后續(xù)的研究中,考慮對深度知識追蹤模型進行改進,預期學習更多個性化特征;進一步在課程教學的知識圖譜基礎(chǔ)上對學習者和習題進行建模,從而研究具有更強解釋性的推薦方法。