李 全，劉興紅，許新華，林 松

(湖北師范大學(xué) 教育信息與技術(shù)學(xué)院，湖北 黃石 435002)

0 引言

隨著網(wǎng)絡(luò)技術(shù)和教育信息化的不斷發(fā)展，人們的學(xué)習(xí)不再受時間和空間的限制。智能教育和在線教育能夠便捷地為學(xué)生提供試題練習(xí)，幫助學(xué)生鞏固學(xué)習(xí)知識，但是隨著試題資源數(shù)量爆炸式的增長，學(xué)生很難在海量的試題資源中找到合適的試題，因此，在智能教育系統(tǒng)中，如何為學(xué)生推薦符合其學(xué)習(xí)特征的試題是一個重要的問題[1]。

目前，研究者將推薦系統(tǒng)的相關(guān)技術(shù)應(yīng)用到試題推薦中，并開展了初步的研究工作?，F(xiàn)有的試題推薦方法一般可以分為3類：基于內(nèi)容的推薦方法[2]、基于協(xié)同過濾推薦方法[3-5]和混合推薦方法[6]。在這些推薦方法中，基于協(xié)同過濾的推薦是應(yīng)用最廣泛的推薦方法。該方法主要包括基于鄰域協(xié)同過濾和基于模型協(xié)同過濾。基于鄰域協(xié)同過濾又可以分為基于用戶(User-based)協(xié)同過濾和基于項目(Item-based)協(xié)同過濾，但它們通常面臨著冷啟動、數(shù)據(jù)稀疏、算法可擴展性差等問題[7]。為了進(jìn)一步解決數(shù)據(jù)稀疏性和冷啟動等問題，一些現(xiàn)代推薦系統(tǒng)采用基于模型協(xié)同過濾的推薦方法中矩陣分解技術(shù)進(jìn)行推薦。矩陣分解技術(shù)包括奇異值分解(Singular Value Decomposition, SVD)[8]、非負(fù)矩陣分解(Non-negative Matrix Factorization, NMF)[9]和概率矩陣分解(Probabilistic Matrix Factorization, PMF)[10]等，其中以概率矩陣分解應(yīng)用最為廣泛。它可以將一個高維的學(xué)生-試題得分矩陣分解為兩個學(xué)生和試題的低維矩陣，然后利用兩個低維矩陣的乘積來預(yù)測學(xué)生在試題上的得分，最后根據(jù)預(yù)測的得分進(jìn)行試題推薦，但該方法只能結(jié)合學(xué)生和試題兩方面的信息進(jìn)行兩維分解,而沒有考慮學(xué)生的知識點掌握信息，因此，在應(yīng)用到試題推薦時,可能導(dǎo)致試題推薦結(jié)果不合理、不可靠和缺少解釋性等問題[11]。為了進(jìn)一步提高試題推薦方法的性能，針對以上問題，本文提出了一種基于聯(lián)合概率矩陣分解的個性化試題推薦方法。首先，通過認(rèn)知診斷模型對學(xué)生進(jìn)行建模，得到學(xué)生的知識點掌握信息；接著，將試題-知識點信息和學(xué)生-知識點信息融入到基于學(xué)生試題得分概率矩陣分解方法中，實現(xiàn)聯(lián)合概率矩陣分解，得到用戶特征矩陣和試題特征矩陣。然后，根據(jù)用戶特征矩陣和試題特征矩陣計算學(xué)生對試題的預(yù)測得分；最后，把相應(yīng)難度范圍的試題推薦給學(xué)生。該方法保證了試題推薦結(jié)果的可解釋性和合理性。實驗結(jié)果表明，本文提出的方法在不同難度的試題推薦準(zhǔn)確率上要優(yōu)于傳統(tǒng)的協(xié)同過濾算法和已有的矩陣分解算法。

1 相關(guān)工作

近年來，有學(xué)者將傳統(tǒng)的推薦技術(shù)應(yīng)用到智能教育和在線教育的相關(guān)研究中。而在這些推薦方法中，基于協(xié)同過濾的推薦是應(yīng)用最廣泛的推薦方法。該方法主要包括基于鄰域協(xié)同過濾和基于模型協(xié)同過濾?；卩徲騾f(xié)同過濾算法通過分析和目標(biāo)學(xué)生的相似學(xué)生來對目標(biāo)學(xué)生進(jìn)行推薦。文獻(xiàn)[12]針對大學(xué)體育課程教育和教學(xué)問答應(yīng)用，從功能、處理方法等角度設(shè)計推薦系統(tǒng)架構(gòu)；但在推薦方法上，并未考慮數(shù)據(jù)稀疏性對推薦方法的影響。文獻(xiàn)[13]引入數(shù)據(jù)挖掘技術(shù)，挖掘歷史行為記錄中的潛在規(guī)則，為學(xué)習(xí)者提供個性化學(xué)習(xí)指導(dǎo)；但挖掘出的規(guī)則局限于已有數(shù)據(jù)，在數(shù)據(jù)稀疏情況下，對于新的資源，由于缺乏行為數(shù)據(jù)而不能推薦給用戶。文獻(xiàn)[14]提出了一種在線學(xué)習(xí)背景下基于模糊樹匹配用戶學(xué)習(xí)材料個性化推薦方法。文獻(xiàn)[15]提出了一種融合不同學(xué)生的學(xué)習(xí)興趣并向同一組學(xué)生進(jìn)行個性化學(xué)習(xí)材料推薦的方法；但在預(yù)測學(xué)生表現(xiàn)時，會丟失學(xué)生自身的一些學(xué)習(xí)特征。因此，基于鄰域協(xié)同過濾推薦算法通常在網(wǎng)絡(luò)教育應(yīng)用中存在一定的局限性。

目前，基于模型協(xié)同過濾的推薦方法中矩陣分解算法逐漸成為了教育應(yīng)用中最為廣泛的算法，因為矩陣分解算法比傳統(tǒng)的推薦技術(shù)具有更好的推薦精度[16]。它通過構(gòu)造學(xué)生和試題的低維矩陣，然后利用兩個低維矩陣的乘積來預(yù)測學(xué)生在試題上的得分，最后根據(jù)預(yù)測的得分進(jìn)行試題推薦；但是該方法只能結(jié)合學(xué)生和試題兩方面的信息進(jìn)行兩維分解，并且該方法在應(yīng)用到試題推薦時忽略了學(xué)生試題相關(guān)的知識點信息，使系統(tǒng)無法向?qū)W生解釋推薦某一試題的原因；此外通過該方法向?qū)W生推薦的試題可能對學(xué)生并沒有幫助。因此，如何結(jié)合學(xué)生自身的特性和相似學(xué)生的做題情況提高試題推薦合理性和可靠性成為了一個重要的研究問題。

在認(rèn)知心理學(xué)中，認(rèn)知診斷模型可以較好地從知識點層面對學(xué)生的認(rèn)知狀態(tài)進(jìn)行建模[17]?，F(xiàn)有的認(rèn)知診斷模型包括連續(xù)型和離散型。其中，項目反應(yīng)理論(Item Response Theory, IRT)是一種典型的連續(xù)型認(rèn)知診斷模型。它根據(jù)學(xué)生答題情況，通過對試題和學(xué)生進(jìn)行聯(lián)合建模，來推出試題參數(shù)及學(xué)生潛在能力[18]。DINA模型(Deterministic Inputs，Noisy “And” gate model)是一種典型的離散型認(rèn)知診斷模型。該模型將學(xué)生描述成一個多維的知識點掌握向量，從學(xué)生實際作答結(jié)果入手進(jìn)行診斷[19]。由于DINA模型簡單，參數(shù)的可解釋性較好，且DINA模型的復(fù)雜性不受屬性個數(shù)的影響[20]，因此本文選擇DINA模型作為認(rèn)知診斷模型對學(xué)生進(jìn)行建模，得到學(xué)生的知識點掌握信息，并將其融入到學(xué)生試題概率矩陣分解方法中，從而提出了一種基于聯(lián)合概率矩陣分解的個性化試題推薦方法。

2 基于聯(lián)合概率矩陣分解的個性化試題推薦

2.1 問題的形式化定義

為了便于形式化描述，本文的符號標(biāo)記如表1所示。

表1 符號表Tab. 1 Notations

已知學(xué)生集合US={u1,u2,…,um}，試題集合TS={t1,t2,…,tn}，知識點集合BS={b1,b2,…,bl}，學(xué)生試題得分矩陣R=[rij]m×n表示m個學(xué)生做n道試題，其中，rij=1表示學(xué)生ui答對試題tj；rij=0表示學(xué)生ui答錯試題tj。試題知識點矩陣Q=[qjk]n×l表示n道試題和l個知識點相關(guān)聯(lián)，其中，qjk=1表示試題tj考查知識點bk；qjk=0表示試題tj未考查知識點bk。

2.2 QueRec方法整體框架

本文提出的基于聯(lián)合概率矩陣分解的個性化試題推薦方法(QueRec)的整體框架如圖1所示。

圖1 QueRec整體框架 Fig. 1 Whole framework of QueRec

從圖1中可以看出，該推薦方法主要步驟如下：

1)輸入學(xué)生做題的學(xué)生-試題得分矩陣和由領(lǐng)域?qū)＜覙?biāo)注的試題-知識點關(guān)聯(lián)矩陣。

2)使用DINA模型對學(xué)生進(jìn)行建模，獲取學(xué)生-知識點掌握信息矩陣。

3)將試題-知識點矩陣和學(xué)生-知識點矩陣融入到基于學(xué)生試題得分概率矩陣分解方法中，實現(xiàn)聯(lián)合概率矩陣分解，得到用戶特征矩陣和試題特征矩陣。

4)根據(jù)用戶特征矩陣和試題特征矩陣計算得到學(xué)生的預(yù)測得分，并將預(yù)測得分歸一化到[0,1]范圍。

5)設(shè)置待推薦試題的難度范圍[λ1,λ2],根據(jù)學(xué)生預(yù)測得分情況，把相應(yīng)難度范圍內(nèi)的試題推薦給學(xué)生。

2.3 構(gòu)造學(xué)生-知識點矩陣

為了得到學(xué)生的個性化狀態(tài)，采用DINA模型獲取學(xué)生知識點掌握信息A=[aik]m×l。DINA模型通過學(xué)生試題矩陣R和試題知識點矩陣Q對學(xué)生進(jìn)行建模，即對每一個學(xué)生ui都可以得到一個知識點掌握向量αi={ai1,ai2,…,ail}，其中aik=1表示學(xué)生ui掌握知識點bk，aik=0表示學(xué)生ui沒有掌握知識點bk。所有學(xué)生的知識點掌握向量α={α1,α2,…,αm}。

學(xué)生的潛在作答情況如式(1)所示：

(1)

ηij=1表示學(xué)生ui掌握了試題tj考核的所有知識點;ηij=0表示學(xué)生ui沒有掌握試題tj考核的所有知識點。此外，為了在真實狀態(tài)下表示學(xué)生答題情況，DINA模型還引入了失誤率和猜測率。失誤率表示學(xué)生掌握了試題考查的所有知識點，存在因為粗心導(dǎo)致答題錯誤，如式(2)所示：

sj=p(rij=0|ηij=1)

(2)

猜測率表示學(xué)生沒有掌握試題考查的所有知識點，處在一定的概率因為猜測導(dǎo)致答題正確，如式(3)所示：

gj=p(rij=1|ηij=0)

(3)

因此學(xué)生ui在試題tj上正確作答的概率如式(4)所示：

(4)

(5)

2.4 聯(lián)合概率矩陣分解圖模型

本文提出的基于聯(lián)合概率矩陣分解的個性化試題推薦的圖模型如圖2所示。

圖2 聯(lián)合概率矩陣分解圖模型 Fig. 2 Graph model of unified probalilistic matrix factorization

聯(lián)合概率矩陣分解圖模型基于以下假設(shè)：

1)假設(shè)Ui、Tj、Bk的先驗概率服從高斯分布且相互獨立，即：

(6)

(7)

(8)

其中:N(x|μ,σ2)表示均值為μ，方差為σ2的正態(tài)分布的概率密度函數(shù)，I為單位矩陣。

(9)

(10)

(11)

學(xué)生在試題上的得分受學(xué)生在試題所關(guān)聯(lián)知識點上的掌握程度的影響，所以該算法將學(xué)生試題關(guān)系矩陣的分解、試題知識點關(guān)系矩陣分解和學(xué)生知識點關(guān)系矩陣的分解整合起來，通過學(xué)生特征矩陣和試題特征矩陣進(jìn)行連接。由如圖2可以推到出U、T和B的后驗概率分布函數(shù)。后驗分布函數(shù)的對數(shù)函數(shù)滿足式(12)：

(12)

其中：d表示特征向量的維數(shù)，C是常量。最大化式(12)可視為無約束優(yōu)化問題，最小化式(13)等價于最大化式(12):

(13)

(14)

(15)

(16)

2.5 時間復(fù)雜度分析

2.6 試題推薦

(17)

(18)

該公式表示：如果學(xué)生的預(yù)測得分越高，則待推薦試題的難度系數(shù)越低；如果學(xué)生的預(yù)測得分越低，則待推薦試題的難度系數(shù)越高。在進(jìn)行試題推薦時，先要設(shè)定推薦試題的難度范圍λ1和λ2(0<λ1<λ2<1)作為試題推薦難度的邊界。QueRec方法可以根據(jù)待推薦試題的難度系數(shù)為學(xué)生推薦相應(yīng)難度范圍內(nèi)的試題，保證了試題推薦結(jié)果的可解釋性和合理性。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

本文所用的實驗數(shù)據(jù)來自于某市高校學(xué)生數(shù)據(jù)庫考試的真實數(shù)據(jù)，考試的數(shù)據(jù)真實反映了學(xué)生對試題的掌握程度。原始數(shù)據(jù)集包括203個學(xué)生，46道試題，18個知識點，8 243個學(xué)生試題得分信息，763個試題與知識點關(guān)聯(lián)信息。

3.2 評價指標(biāo)

本文選用推薦系統(tǒng)領(lǐng)域常用F1值作為評價指標(biāo)。F1值綜合了信息檢索領(lǐng)域中的準(zhǔn)確率(Precision)和召回率(Recall)。F1值越高，表明推薦算法的準(zhǔn)確率越高。具體F1值、準(zhǔn)確率和召回率的定義如式(19)所示:

(19)

其中：Precison表示推薦的試題中真正符合學(xué)生興趣的試題所占的比例，Recall表示推薦的試題中符合學(xué)生興趣的占測試集中所有試題的比例，X表示推薦的結(jié)果集，Y表示測試集。

3.3 方法比較

為了驗證QueRec方法的預(yù)測準(zhǔn)確率，將其與基于用戶(User-Based)協(xié)同過濾方法、基于項目(Item-Based)協(xié)同過濾方法和基于概率矩陣分解(PMF)方法進(jìn)行比較。在實驗過程中，從數(shù)據(jù)集中分別抽取90%、70%、50%和30%作為訓(xùn)練數(shù)據(jù)，在數(shù)據(jù)稀疏程度不同時，比較算法的效果。90%的訓(xùn)練數(shù)據(jù)表示從數(shù)據(jù)集中隨機抽取90%的數(shù)據(jù)來預(yù)測剩下的10%的數(shù)據(jù)。同時，為了降低算法的復(fù)雜度，通過反復(fù)實驗測試，在QueRec方法中，將θU、θT、θB均設(shè)置為0.001，θA設(shè)置為0.5，θQ設(shè)置為1，潛在特征向量維數(shù)為10，該方法效果最好。

3.4 實驗結(jié)果分析

3.4.1 不同難度試題推薦對比實驗

在比較不同難度試題推薦效果實驗中，根據(jù)難度范圍，將待推薦試題分為簡單試題和困難試題兩類，其中難度范圍λ∈[0,0.6]的待推薦試題為簡單試題，即學(xué)生的預(yù)測得分較高的試題；難度范圍λ∈(0.6,1]的待推薦試題為困難試題，即學(xué)生的預(yù)測得分較低的試題。在實驗中分別向?qū)W生推薦6道簡單試題和6道困難試題，將QueRec與其他3種方法進(jìn)行對比實驗。實驗結(jié)果如表2所示。

表2 不同難度試題預(yù)測效果的F1值Tab. 2 F1 value of prediction effect of different difficulty test questions

利用不同稀疏程度的訓(xùn)練集對以上算法進(jìn)行實驗，由表2可知，隨著訓(xùn)練集的增大，QueRec方法在簡單試題和困難試題的推薦準(zhǔn)確率上比其他的3種算法高。在推薦簡單試題時F1值比其他3種算法提高了4.2%～6.8%。在推薦困難試題時F1值比其他3種算法提高了5.6%～8.3%。

3.4.2 參數(shù)θA和θQ對方法的影響

參數(shù)θA決定了學(xué)生-知識點矩陣對算法效果的影響，參數(shù)θQ決定了試題-知識點矩陣對算法效果的影響。當(dāng)θA和θQ都設(shè)置為0時，試題推薦方法不考慮學(xué)生與知識點之間以及試題與知識點之間的相互關(guān)系，只考慮學(xué)生和試題的得分矩陣。當(dāng)θA和θQ越大，學(xué)生與知識點之間以及試題與知識點之間的相互關(guān)系對算法的作用越大。當(dāng)測試θA對算法的影響時，將θU、θT、θB分別設(shè)置為0.001，θQ設(shè)置為1，具體結(jié)果如圖5和圖6所示。當(dāng)測試θQ對算法的影響時，將θU、θT、θB分別設(shè)置為0.001，θA設(shè)置為0.5，具體結(jié)果如圖3～6所示。

圖3 簡單試題推薦時參數(shù)θA對F1值的影響 Fig. 3 Impact of θA on F1 (simple question recommendation)

圖4 困難試題推薦時參數(shù)θA對F1值的影響 Fig. 4 Impact of θA on F1 (difficult question recommendation)

圖5 簡單試題推薦時參數(shù)θQ對F1值的影響 Fig. 5 Impact of θQ on F1 (simple question recommendation)

圖6 困難試題推薦時參數(shù)θQ對F1值的影響 Fig. 6 Impact of θQ on F1 (difficult question recommendation)

由圖3～6可以得出以下結(jié)論：參數(shù)θA和θQ的值對算法推薦準(zhǔn)確率的影響是比較大的。通過進(jìn)一步觀察發(fā)現(xiàn)，隨著參數(shù)θA或者θQ的增加，算法的F1值先增加；當(dāng)θA=0.5或者θQ=1時，F(xiàn)1值取得最大值；但當(dāng)θA超過0.5或者θQ超過1時，F(xiàn)1值逐漸降低，QueRec方法的推薦效果開始下降。主要原因是由于θA或者θQ過大時，引起了QueRec方法的過擬合，導(dǎo)致推薦準(zhǔn)確率的下降。

4 結(jié)語

本文對智能教育和在線教育中的試題推薦方法進(jìn)行了研究。本文在概率矩陣分解方法的基礎(chǔ)上，通過認(rèn)知診斷模型對學(xué)生進(jìn)行建模，將試題-知識點信息和學(xué)生-知識點信息融入到基于學(xué)生試題得分概率矩陣分解方法中，提出了一種基于聯(lián)合概率矩陣分解的個性化試題推薦方法。實驗結(jié)果表明，與其他傳統(tǒng)推薦方法相比，本文所提方法在不同難度范圍的試題推薦上均取得了較好的推薦結(jié)果；另外，通過對算法時間復(fù)雜度的分析，表明該方法可以應(yīng)用于大規(guī)模數(shù)據(jù)集。在下一步的研究工作中，將更加深入地研究認(rèn)知診斷模型對試題推薦方法的影響，以期進(jìn)一步提高該推薦算法的精度和性能。

參考文獻(xiàn)(References)

[1] VESIN B, IVANOVIC M, BUDIMAC Z, et al. E-learning personalization based on hybrid recommendation strategy and learning style identification [J]. Computers and Education, 2011, 56(3): 885-899.

[2] ZHAO W, WU R, LIU H. Paper recommendation based on the knowledge gap between a researcher’s background knowledge and research target [J]. Information Processing and Management, 2016, 52(5): 976-988.

[3] BOGERS T, van den BOSCH A. Recommending scientific articles using citeulike [C]// Proceedings of the 2008 ACM Conference on Recommender Systems. New York: ACM, 2008: 287-290.

[4] TIAN G, JING L. Recommending scientific articles using birelational graph-based iterative RWR [C]// Proceedings of the 2013 7th ACM Conference on Recommender Systems. New York: ACM, 2013: 399-402.

[5] LAI C H, LIU D R, LIN C S. Novel personal and group-based trust models in collaborative filtering for document recommendation [J]. Information Sciences, 2013, 239(8): 31-49.

[6] SUN J, MA J, LIU Z, et al. Leveraging content and connection for scientific article recommendation in social computing contexts [J]. The Computer Journal, 2014, 57(9): 1331-1342.

[7] CREMONESI P, TURRIN R. Analysis of cold-start recommendations in IPTV system [C]// Proceedings of the 2009 3rd ACM Conference on Recommender Systems. New York: ACM, 2009: 233-236.

[8] GOLUB G, KAHAN K. Calculating the singular values and pseudo-inverse of a matrix [J]. Journal of the Society for Industrial and Applied Mathematics, 1965,2(2): 205-224.

[9] LEE D D, SEUNG H S. Algorithms for non-negative matrix factorization [C]// Proceedings of the 2001 13th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2001: 535-541.

[10] SALAKHUTDINOV R, MNIH A. Probabilistic matrix factorization[C]// Proceedings of the 2007 20th International Conference on Neural Information Processing Systems. Vancouver, British Columbia: Curran Associates Inc., 2007: 1257-1264.

[11] KOREN Y, BELL R, VOLINSKY C. Matirx factorization for recommender systems [J]. IEEE Computer, 2009, 42(8): 30-37.

[12] SOUALI K, AFIA A E, FAIZI R, et al. A new recommender system for e-learning environments [C]// Proceedings of the 2011 International Conference on Multimedia Computing and System. Piscataway: IEEE, 2011: 1-4.

[13] 張海東,倪晚成,趙美靜,等.面向基礎(chǔ)教育階段的教學(xué)資源推薦系統(tǒng)[J].計算機應(yīng)用,2014,34(11):3353-3356.(ZHANG H D, NI W C, ZHAO M J, et al. Teaching resources recommendation system for K12 education [J]. Journal of Computer Applications, 2014, 34(11): 3353-3356.)

[14] WU D, ZHANG G, LIU J. A fuzzy tree matching-based personalised e-learning recommender system [J]. IEEE Transactions on Fuzzy Systems, 2015, 23(6): 2412-2426.

[15] DWIVEDI P, BHARADWAJ K K. E-learning recommender system for a group of learners based on the unified learner profile approach [J]. Expert Systems, 2015, 32(2): 264-276.

[16] XU W, CAO J, HU L, et al. A social-aware service recommendation approach for mashup creation [C]// Proceedings of the 2013 IEEE 20th Internationnal Conference on Web Services. Washington, DC: IEEE Computer Society, 2013: 107-114.

[17] TAMHANE A, IKBAL S, SENGUPTA B, et al. Predicting student risks through longitudinal analysis [C]// Proceedings of the 2014 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York: ACM, 2014: 1544-1552.

[18] 康春花,孫小堅,顧士偉,等.多水平多維IRT模型在學(xué)業(yè)質(zhì)量監(jiān)測中的應(yīng)用[J].江西師范大學(xué)學(xué)報(自然科學(xué)版),2016,40(2):133-139.(KANG C H, SUN X J, GU S W, et al. The application of multilevel multidemensional IRT model in academic quality monitoring test [J]. Journal of Jiangxi Normal University (Nature Science Edition), 2016, 40(2): 133-139.)

[19] OZAKI K. DINA models for multiple-choice items with few parameters:considering incorrect answers [J]. Applied Psychological Measurement, 2015, 39(6): 431-447.

[20] de la TORRE J. The generalized DINA model framework [J]. Psychometrika, 2011, 76(2): 179-199.

This work is partially supported by the Education Science “Twelfth Five-Year” Planning Project of Hubei Province (2011-B130), the Planning Project of Science and Technology of State Archives Bureau (2016-x-51), the Planning Project of Outstanding Young and Middle-aged Scientific and Technological Innovation Team of Universities and Colleges of Hubei Province (T201515), the Science and Technology Project of Education Department of Hubei Province (D20142504).

LIQuan, born in 1982, M. S., lecturer. His research interests include machine learning, data mining.

LIUXinghong, born in 1969, M. S., professor. Her research interests include big data, education informationization.

XUXinhua, born in 1968, M. S., professor. His research interests include database, data mining.

LINSong, born in 1978, M. S., lecturer. His research interests include search engine, data mining.