劉 彤，齊慧冉，倪維健

(山東科技大學(xué) 計算機科學(xué)與工程學(xué)院，山東 青島 266590)

0 引 言

目前深度學(xué)習(xí)方法[1，2]已廣泛應(yīng)用于成績預(yù)測任務(wù)中，此類方法通常利用RNN提取成績的時序信息[3]，或利用注意力機制對成績中不同的學(xué)科信息加權(quán)進(jìn)而實現(xiàn)成績預(yù)測[4]，但該類方法側(cè)重于單獨考慮歷史成績的時序依賴關(guān)系和課程權(quán)重關(guān)系，或簡單將兩者信息融合，而在由多類學(xué)科成績組成的歷史成績序列中，并非所有的成績都依賴于其相鄰的成績信息，每個學(xué)科成績都有各自的進(jìn)化軌跡。因此，在考慮歷史成績的時序性的同時還需關(guān)注相關(guān)學(xué)科的成績序列表達(dá)，將兩者同步進(jìn)行特征提取。此外，基于機器學(xué)習(xí)和深度學(xué)習(xí)的方法通常需要大規(guī)模的訓(xùn)練數(shù)據(jù)，因而難以在學(xué)業(yè)早期數(shù)據(jù)不足的情況下實現(xiàn)成績預(yù)測，因此對稀疏數(shù)據(jù)進(jìn)行信息補充尤為重要。

針對上述問題，本文提出基于多層特征融合的成績預(yù)測模型(multilayer feature fusion-based model for predicting student academic performance，AAPM)。該模型構(gòu)建了兩層歷史成績建模模塊，實現(xiàn)了成績信息的時序依賴性與課程相關(guān)性的同步特征提?。换诠铂F(xiàn)頻率構(gòu)建了相似學(xué)生網(wǎng)絡(luò)，融合相似學(xué)生特征進(jìn)行信息互補以實現(xiàn)及時預(yù)測。

1 相關(guān)工作

當(dāng)前，應(yīng)用于成績預(yù)測的研究方法主要分為3類：基于傳統(tǒng)機器學(xué)習(xí)的成績預(yù)測研究；基于推薦方法的成績預(yù)測研究；基于深度學(xué)習(xí)的成績預(yù)測研究。

基于傳統(tǒng)的機器學(xué)習(xí)方法通常利用隨機森林[5]、支持向量機[6]、邏輯回歸[7]或決策樹模型[8]對成績進(jìn)行預(yù)測。但此類方法通常需要手動篩選特征，不能挖掘成績特征隱含的深層次的信息。

基于推薦的成績預(yù)測研究，通常將學(xué)生預(yù)測問題類比于推薦系統(tǒng)中的用戶評價問題，借用推薦領(lǐng)域的技術(shù)[9]來解決學(xué)生成績預(yù)測問題。如文獻(xiàn)[10]提出成績預(yù)測問題本質(zhì)上是矩陣填充問題，其與推薦系統(tǒng)中使用矩陣填充模型預(yù)測推薦類似，因此采用了矩陣分解技術(shù)對成績進(jìn)行預(yù)測。文獻(xiàn)[11]將推薦領(lǐng)域中的用戶-項目概念映射到學(xué)生-課程概念中，采用協(xié)同過濾思想進(jìn)行成績預(yù)測。但這類方法通常僅依賴成績信息進(jìn)行預(yù)測，在課程初期歷史成績記錄較少的情況下，會存在數(shù)據(jù)冷啟動問題。

與決策樹模型和推薦算法等相比，基于深度學(xué)習(xí)方法的深層結(jié)構(gòu)能更充分挖掘數(shù)據(jù)的隱含信息。文獻(xiàn)[12]考慮到不同屬性對于成績預(yù)測的影響程度不同，利用最速下降法獲取各屬性特征的最優(yōu)權(quán)系數(shù)從而實現(xiàn)成績表現(xiàn)的分類預(yù)測，但模型并未考慮到歷史成績序列之間的順序依賴性，文獻(xiàn)[13]利用時間序列神經(jīng)網(wǎng)絡(luò)方法來預(yù)測成績，與不采用序列的方法相比，該方法可以顯著提高預(yù)測準(zhǔn)確性。文獻(xiàn)[14]考慮到學(xué)生不同時期的行為在預(yù)測任務(wù)中有不同程度的影響，提出軟注意力機制動態(tài)地學(xué)習(xí)每個學(xué)生不同時期行為的重要程度，使預(yù)測性能大大提高。受此啟發(fā)，本文考慮到在多學(xué)科歷史成績序列中，各學(xué)科成績對于目標(biāo)學(xué)科成績預(yù)測的影響程度不同，同時成績之間具有時序依賴關(guān)系，為了同時捕捉多學(xué)科成績的時序性與相關(guān)性特征表示，需要更加靈活的順序結(jié)構(gòu)模型。為此本文將具有時序建模功能的LSTM模型和具有局部加權(quán)功能的Attention機制應(yīng)用到歷史成績序列中，構(gòu)建了歷史成績序列建模模塊和多學(xué)科注意力模塊，有效地實現(xiàn)了多歷史成績信息的時序依賴性與課程相關(guān)性的深層次同步特征表示。

2 模 型

2.1 問題定義

模型任務(wù)是預(yù)測學(xué)生的目標(biāo)學(xué)科的成績。具體來說，給定學(xué)生si的前pt-1學(xué)期的歷史成績信息Gsi，cj，pt-1、 在校行為數(shù)據(jù)Bsi，aj、 個人基本信息Isi，fj， 預(yù)測第t學(xué)期的學(xué)業(yè)成績Gsi，cj，pt。 其中si∈S代表學(xué)生，cj∈C代表第j課程，pt-1代表第t-1個學(xué)期，an∈A代表在校行為數(shù)據(jù)中的第n項特征，A代表學(xué)生在校行為數(shù)據(jù)所有屬性的集合，fm∈F代表個人基本信息內(nèi)的第m項特征，F(xiàn)代表學(xué)生個人基本信息數(shù)據(jù)中所有屬性的集合。

2.2 模型結(jié)構(gòu)

本文提出的AAPM模型框架如圖1所示，包含4個模塊：①數(shù)據(jù)預(yù)處理與編碼模塊；②歷史成績建模模塊；③相似學(xué)生建模模塊；④成績預(yù)測輸出模塊。

圖1 基于多層特征融合的成績預(yù)測模型

2.2.1 數(shù)據(jù)預(yù)處理與編碼

該模塊實現(xiàn)對原始數(shù)據(jù)進(jìn)行預(yù)處理與編碼表示，根據(jù)數(shù)據(jù)的屬性特點將其分為3類特征，分別是歷史成績特征Gsi，cj，pt-1∈RN*M*T、 在校行為特征Bsi，an∈RN*K、 個人基本信息特征Isi，fm∈RN*L。

2.2.2 多學(xué)科歷史成績建模模塊

(1)成績序列建模模塊：在該模塊中，采用LSTM提取成績序列的時序依賴關(guān)系。其中，LSTM的輸入是按考試時間排序的歷史成績信息，輸出為歷史成績序列的隱含知識狀態(tài)特征信息hsi，pt， 具體過程如下

(1)

isi，pt=σ(Wi[hsi，pt-1，gsi，pt]+bi)

(2)

fsi，pt=σ(Wf[hsi，pt-1，gsi，pt]+bf)

(3)

(4)

osi，pt=σ(Wo[hsi，pt-1，gsi，pt]+bo)

(5)

hsi，pt=osi，pt?tanh(csi，pt)

(6)

(7)

csi，cj，pt=asi，cj，pt?csi，pt

(8)

hsi，cj，pt=osi，cj，pt?tanh(csi，cj，pt)

(9)

2.2.3 相似學(xué)生建模模塊

(10)

根據(jù)共現(xiàn)頻次衡量學(xué)生si和學(xué)生sj之間的相似度，公式如下

(11)

(12)

2.2.4 成績預(yù)測輸出模塊

(13)

fsi，cj，pt=Wsifsi(x)

(14)

在綜合考慮了相似行為學(xué)生特征后，在成績預(yù)測層加入了第二層特征融合方法，如式(15)所示，即成績預(yù)測模型的最終表示方式

(15)

2.3 模型訓(xùn)練

本文使用反向傳播算法來訓(xùn)練網(wǎng)絡(luò)模型，用平滑平均絕對誤差[16]作為損失函數(shù)，通過迭代求解損失值和隨機梯度下降來優(yōu)化模型，使得損失函數(shù)的值收斂到最小。公式如下

(16)

3 實 驗

3.1 數(shù)據(jù)集描述與預(yù)處理

本文使用由某市教育局提供的某中學(xué)的真實數(shù)據(jù)集進(jìn)行實驗，實驗選取了學(xué)號為13012至16162之間的3151名學(xué)生的信息，其中包括2015至2018學(xué)年6個學(xué)期的9門課程的成績信息，1 463 904條消費記錄信息以及223 630條校園考勤記錄信息。對該數(shù)據(jù)進(jìn)行預(yù)處理，按其屬性特點劃分為3類特征，見表1。

表1 特征分類

3.2 評價指標(biāo)

為評估AAPM模型在成績預(yù)測任務(wù)中的有效性，本文使用成績預(yù)測研究中常用的評價指標(biāo)，分別為平均絕對誤差(mean absolute error，MAE)、均方誤差(mean squared error，MSE)、決定系數(shù)(coefficient of determination，R2)[17]，如式(17)～式(19)所示

(17)

(18)

(19)

3.3 對比實驗

實驗對比了AAPM模型與以往的成績預(yù)測方法在預(yù)測精確性、穩(wěn)定性和及時性上的表現(xiàn)，包括TWA[3]、MSFMDDCN-LSTM[12]、MFNN[4]、IFTSNN[13]、DAPAMT[14]方法。實驗結(jié)果如下：

(1)對比模型預(yù)測的精確性。使用數(shù)據(jù)集中前5個學(xué)期的數(shù)據(jù)在上述模型中進(jìn)行不同學(xué)科成績的預(yù)測，以MAE、MSE、R2作為模型評價指標(biāo)。從表2中可以看出，本文提出的AAPM模型在各類學(xué)科成績預(yù)測任務(wù)中，MAE、MSE、R2這3項指標(biāo)值均優(yōu)于其它方法，原因主要在于該模型能夠更深層的挖掘大量歷史成績序列的演化信息，特別在數(shù)學(xué)、物理、生物等學(xué)科中，由于該類學(xué)科的歷史成績數(shù)據(jù)更加標(biāo)準(zhǔn)化，模型預(yù)測的精確度更高。

表2 對比實驗結(jié)果

(2)對比模型預(yù)測的及時性。如圖2所示，圖中每個子圖代表一個課程，子圖中的橫坐標(biāo)代表不同學(xué)期的數(shù)據(jù)量，如橫坐標(biāo)中的1代表模型僅使用了第一學(xué)期的訓(xùn)練數(shù)據(jù)，縱坐標(biāo)代表模型的評價指標(biāo)R2值，子圖中的折線代表各類模型隨著每學(xué)期數(shù)據(jù)的增加而取得的預(yù)測得分。可以看出，其它對比模型在僅使用第一學(xué)期的訓(xùn)練數(shù)據(jù)做預(yù)測時模型的預(yù)測效果都不好，無法在學(xué)業(yè)早期數(shù)據(jù)量不足的情況下進(jìn)行成績的精準(zhǔn)預(yù)測。如圖2(b)中，TWA模型在僅使用第一學(xué)期的訓(xùn)練數(shù)據(jù)的情況下，預(yù)測精確度僅為60%，而AAPM模型的預(yù)測精度達(dá)到了85%，與其它方法相比，AAPM方法在僅使用第一學(xué)期訓(xùn)練數(shù)據(jù)的情況下，預(yù)測的精確度就已達(dá)到了其它模型使用前5個學(xué)期的數(shù)據(jù)進(jìn)行預(yù)測的效果，并在使用前3個學(xué)期的訓(xùn)練數(shù)據(jù)預(yù)測學(xué)生成績的任務(wù)時在多門學(xué)科中均達(dá)到80%以上的精確度，其原因主要是本文提出的模型能夠在學(xué)業(yè)早期通過相似學(xué)生群組信息進(jìn)行信息補充，這使得教師或課程管理人員可以在學(xué)業(yè)早期數(shù)據(jù)不足的情況下精準(zhǔn)預(yù)測學(xué)生未來的學(xué)業(yè)成績，及時地采取可操作、干預(yù)性的措施來幫助成績不佳的學(xué)生。

圖2 對比實驗結(jié)果

(3)對比模型預(yù)測的穩(wěn)定性。如圖2所示，在使用不同學(xué)期訓(xùn)練數(shù)據(jù)的情況下，TWA和MSFMDDCN-LSTM方法在多個學(xué)科預(yù)測中都表現(xiàn)出了預(yù)測效果不穩(wěn)定的現(xiàn)象，如圖2(e)中，TWA在第三學(xué)期預(yù)測指標(biāo)值達(dá)到了68%，而在第四學(xué)期又降至51%，圖2(a)中，MSFMDDCN-LSTM的預(yù)測指標(biāo)值在第三學(xué)期達(dá)到58%，第四學(xué)期降至40%以下，而在第五學(xué)期又提高到68%，在圖2(b)、圖2(c)、圖2(f)中，這兩類模型也表現(xiàn)出了此類不穩(wěn)定的預(yù)測性能特征，而本文提出的方法在多門學(xué)科的預(yù)測中，由于模型采用了注意力機制與LSTM的柔性結(jié)合方式，更能深層次有效地處理大量數(shù)據(jù)，其預(yù)測指標(biāo)值一直呈現(xiàn)平穩(wěn)上升的趨勢。

3.4 消融實驗

為評估網(wǎng)絡(luò)中各模塊對預(yù)測結(jié)果的影響，在實驗中移除圖1所示模型中的部分模塊，評估剩余部分的預(yù)測效果，具體設(shè)計了如下由部分模塊構(gòu)成的網(wǎng)絡(luò)模型：①AAPM：完整的網(wǎng)絡(luò)結(jié)構(gòu)。②LSTM：移除歷史成績序列模塊。③LA：移除多學(xué)科注意力模塊，不考慮學(xué)科之間的影響。④Similarity：移除相似學(xué)生建模模塊，不考慮有影響作用的相似學(xué)生的信息。

各部分網(wǎng)絡(luò)模塊預(yù)測結(jié)果如圖3 所示，可以看出：①移除掉LA模塊的網(wǎng)絡(luò)模型預(yù)測效果最差，特別是在語文、化學(xué)和政治這些科目中與完整的AAPM模型相比，預(yù)測得分相差之大尤為明顯，由此可以看出各學(xué)科對目標(biāo)預(yù)測學(xué)科的隱含作用關(guān)系較強，不可忽視。②其次是移除掉LSTM模塊的網(wǎng)絡(luò)模型，在各個科目的預(yù)測任務(wù)上表現(xiàn)也較差，特別在語文、數(shù)學(xué)、英語科目的預(yù)測上相比較于完整的網(wǎng)絡(luò)模型有較明顯的下降，由此也表明了將成績作為序列特征建模的有效性，同時也可以看出學(xué)習(xí)是一個長期積累循序漸進(jìn)的過程。③移除掉Similarity模塊的網(wǎng)絡(luò)模型在各個科目上的預(yù)測效果都低于完整的網(wǎng)絡(luò)模型AAPM，由此可以看出在預(yù)測出融入相似學(xué)生信息的必要性。

圖3 消融實驗結(jié)果

4 結(jié)束語

本文提出的AAPM模型極大提高了學(xué)生成績預(yù)測性能。首先，針對歷史成績的時序性和多學(xué)科間的相關(guān)性，構(gòu)建了兩層歷史成績建模模塊，實現(xiàn)了成績序列信息在課程和時間兩個維度的深層次同步特征表示。其次，構(gòu)建了相似學(xué)生社交網(wǎng)絡(luò)，將相似學(xué)生的信息進(jìn)行特征融合，信息得到充分互補，使模型能在學(xué)業(yè)早期數(shù)據(jù)不足情況下進(jìn)行預(yù)測。最后，在教育數(shù)據(jù)集上的實驗驗證了模型有效性。未來，將對學(xué)生不同特征間的組合進(jìn)行更多考慮和設(shè)計。