李松江，蘇瑀，黃春雨，王鵬，任濤

（長春理工大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院，長春 130022）

學(xué)生成績預(yù)測已經(jīng)成為EDM（教育數(shù)據(jù)挖掘）領(lǐng)域的熱門研究方向之一［1］，有效進(jìn)行學(xué)生成績預(yù)測對全面提高教學(xué)質(zhì)量，合理分配教學(xué)等方面發(fā)揮著至關(guān)重要的作用。近年來，針對學(xué)生成績預(yù)測的相關(guān)研究在國內(nèi)外取得了一定的成果。童睿［2］分析學(xué)生消費(fèi)行為數(shù)據(jù)與成績間的關(guān)聯(lián)性，選取消費(fèi)行為中具有較強(qiáng)關(guān)聯(lián)性的變量，采用機(jī)器學(xué)習(xí)算法對學(xué)生成績進(jìn)行分類預(yù)測。Chen J F和Do Q H等人［3］結(jié)合學(xué)生標(biāo)準(zhǔn)化的考試成績及影響成績的外在因素，將布谷鳥搜索（Cooperative Cuckoo Search）與自適應(yīng)神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)（ANFIS）進(jìn)行組合用于學(xué)生學(xué)業(yè)成績預(yù)測。Harrell I L和Bower B L［4］針對學(xué)生的聽課風(fēng)格、成績的平均績點(diǎn)以及計算機(jī)掌握情況三個特征向量，利用邏輯回歸分析模型對學(xué)習(xí)者的學(xué)期表現(xiàn)進(jìn)行預(yù)測，對可能輟學(xué)的學(xué)生達(dá)到預(yù)警效果。韓睿鵬［5］應(yīng)用FP-growth關(guān)聯(lián)分析算法挖掘影響學(xué)生成績的課程之間的隱藏規(guī)則，可以得出前期課程成績對后續(xù)課程成績的影響，進(jìn)而為管理人員提供政策指導(dǎo)。

上述文獻(xiàn)的研究，重點(diǎn)集中在利用歷史績點(diǎn)、課程成績和學(xué)生消費(fèi)行為數(shù)據(jù)，基于同一種參數(shù)進(jìn)行學(xué)生成績預(yù)測。忽略了學(xué)習(xí)狀態(tài)、學(xué)生社交關(guān)系導(dǎo)致相互影響的特點(diǎn)對成績的影響，導(dǎo)致預(yù)測精度降低，無法對具體學(xué)生進(jìn)行個性化成績預(yù)測。針對上述不足，本文提出基于歷史課程成績變化趨勢的多任務(wù)成績預(yù)測模型，該模型首先通過譜聚類算法對課程進(jìn)行分類，采用加權(quán)平均法得到不同學(xué)期不同類別的課程成績變化趨勢，用于反映學(xué)生每類課程的學(xué)習(xí)狀態(tài)，并與歷史績點(diǎn)、學(xué)生行為數(shù)據(jù)共同構(gòu)建初始變量集。根據(jù)學(xué)生社交信息交流導(dǎo)致相互影響的特點(diǎn)，引入多任務(wù)學(xué)習(xí)［6-7］結(jié)合邏輯回歸用于成績預(yù)測，采用一種權(quán)重聚類分組方法，將相關(guān)任務(wù)分為一組，使多個學(xué)生成績預(yù)測的任務(wù)共同訓(xùn)練預(yù)測模型，實(shí)現(xiàn)個性化成績預(yù)測。

1 學(xué)生成績影響因素分析

學(xué)生成績受諸多因素的影響，已有的研究多是對歷史成績、上網(wǎng)行為、消費(fèi)行為等影響因素進(jìn)行分析，但都忽略了學(xué)生學(xué)習(xí)狀態(tài)對學(xué)生成績預(yù)測的影響［8］，本文將按學(xué)期和類別定義課程成績變化趨勢變量，用于反映學(xué)生的學(xué)習(xí)狀態(tài)。最后將課程成績變化趨勢與歷史績點(diǎn)、學(xué)生行為數(shù)據(jù)共同構(gòu)建初始特征變量集。

1.1 學(xué)習(xí)狀態(tài)分析

為更好的反映學(xué)生學(xué)習(xí)狀態(tài)，分析學(xué)生在不同學(xué)期中，屬于同課程類別的課程成績之間的變化趨勢。采用譜聚類算法［9］對課程成績的分類，經(jīng)實(shí)驗驗證，課程1,2,…,k被分為四類。按照分類結(jié)果將各個學(xué)期的課程進(jìn)行類別標(biāo)記。不同學(xué)期相同類別的課程按照學(xué)期前后順序進(jìn)行排列，通過對相鄰學(xué)期同類別課程間學(xué)生課程成績的變化趨勢進(jìn)行分析，課程成績變化趨勢示意圖如圖1所示。

從中發(fā)現(xiàn)了成績變化規(guī)律：各學(xué)期的同類別課程成績具有一定的線性關(guān)系；在這個規(guī)律基礎(chǔ)上，考慮各門課程成績所占比重不同，采用加權(quán)平均法，根據(jù)公式（1）得到學(xué)生所學(xué)課程成績的加權(quán)平均值ValueiK，定義如下：

式中，i=2,…,m，m≥2，i表示歷史學(xué)期數(shù)；j=1,2,…,n，j表示屬于課程個數(shù)；cij表示課程所占學(xué)分；表示課程學(xué)分總和；Sij表示所學(xué)課程的成績；K表示課程的類別數(shù)；K∈1,2,3,4。

圖1 課程成績變化趨勢示意圖

進(jìn)而根據(jù)課程分類結(jié)果，計算不同學(xué)期同類課程成績之間的變化趨勢：

依據(jù)公式（2）計算的結(jié)果，表示不同學(xué)期不同類別的課程成績數(shù)據(jù)隱藏的變化趨勢，用于反映學(xué)生的學(xué)習(xí)狀態(tài)。為更清晰的體現(xiàn)出學(xué)生在不同學(xué)期中的學(xué)習(xí)狀態(tài)，本文從14級學(xué)生中隨機(jī)選取單一學(xué)生的不同學(xué)期下同類別的課程成績，通過課程成績的變化趨勢進(jìn)一步分析學(xué)生的學(xué)習(xí)狀態(tài)，如圖2所示。

圖2 不同學(xué)期下同類別課程成績的變化趨勢圖

由圖2可知，橫坐標(biāo)表示學(xué)生的歷史學(xué)期數(shù)，共5個學(xué)期，縱坐標(biāo)表示學(xué)生在同一學(xué)期課程不同類別的課程成績加權(quán)平均值。該同學(xué)在第一學(xué)期的期末考試中，A、B、C類型課程總體成績偏低，D類課程總體成績相對較好。隨著時間的推移，該同學(xué)對這四種類型課程的態(tài)度表現(xiàn)為成績越好的課程類型，越喜歡學(xué)習(xí)，越不好的課程，越不喜歡學(xué)習(xí)，一定程度反映學(xué)生對待不同類別課程的學(xué)習(xí)態(tài)度和狀態(tài)，進(jìn)而影響總體的學(xué)生成績。由此得到結(jié)論：不同課程類別的成績變化趨勢反映學(xué)生對于不同課程類別的學(xué)習(xí)狀態(tài)，與學(xué)生的學(xué)習(xí)成績具有較強(qiáng)相關(guān)性。

1.2 學(xué)生行為分析

在學(xué)生行為中，文獻(xiàn)［10］提出了消費(fèi)行為、上網(wǎng)行為是學(xué)生學(xué)習(xí)成績的影響因素，因此本文重點(diǎn)對消費(fèi)行為以及上網(wǎng)行為數(shù)據(jù)進(jìn)行定性定量分析，構(gòu)建多維度學(xué)生行為數(shù)據(jù)，作為成績預(yù)測的特征向量。

（1）消費(fèi)行為分析

①早餐活躍度分析

對學(xué)生早餐行為的定量統(tǒng)計分析，本文引入文獻(xiàn)［11］提出的活躍度概念，對學(xué)生早餐行為進(jìn)行刻畫，早餐活躍度XBreakfastParoxysmal，計算公式為：

式中，Lcount表示某學(xué)生吃早餐次數(shù)表示學(xué)生一學(xué)期吃早餐的第1次記錄和最后1次記錄之間間隔的天數(shù)。

②消費(fèi)規(guī)律分析

學(xué)生消費(fèi)行為具有時間序列特性，針對學(xué)生消費(fèi)的時間間隔分布情況，本文結(jié)合人類行為動力學(xué)，引入陣發(fā)性概念［12-13］，以學(xué)期為單位來刻畫學(xué)生的消費(fèi)規(guī)律XConsumpParoxysmal，進(jìn)而反映學(xué)生是否按學(xué)校正常作息時間去食堂消費(fèi)。如式（4）所示，即：

式中，mi，σi分別為連續(xù)消費(fèi)行為間隔時間分布的平均值和標(biāo)準(zhǔn)差。

（2）上網(wǎng)行為分析

從上網(wǎng)行為角度來看，文獻(xiàn)［14］針對上網(wǎng)行為進(jìn)行分析，并提出上網(wǎng)時長是影響學(xué)生學(xué)習(xí)質(zhì)量的主要因素。由于正常的作息時間應(yīng)為早睡早起，如果學(xué)生在十一點(diǎn)學(xué)校熄燈后，還在繼續(xù)熬夜上網(wǎng)，上網(wǎng)時間長，會影響第二天的學(xué)習(xí)狀態(tài)。因此按照學(xué)校作息時間安排，時間閾值設(shè)定為晚上十一點(diǎn)后，計算熬夜上網(wǎng)次數(shù)，統(tǒng)計以學(xué)期為單位有效學(xué)習(xí)時間內(nèi)上網(wǎng)時長和上網(wǎng)流量。

將公式（3）、公式（4）得到的指標(biāo)結(jié)果以及上網(wǎng)時長、熬夜上網(wǎng)次數(shù)、上網(wǎng)流量數(shù)據(jù)進(jìn)行歸一化處理，并與學(xué)生成績進(jìn)行相關(guān)性分析。針對光電和經(jīng)管學(xué)院2014級學(xué)生在2017年3月至2017年8月的行為指標(biāo)結(jié)果與該學(xué)期的期末成績，采用Pearson相關(guān)系數(shù)定量描述其線性關(guān)系，繪出學(xué)生行為指標(biāo)與成績相關(guān)性分析直方圖，如圖3所示。

圖3 行為指標(biāo)與成績的相關(guān)性分析

由圖3可知，兩個學(xué)院學(xué)生的行為指標(biāo)中前四個指標(biāo)與成績的相關(guān)系數(shù)較高，全部都在0.5以上，而上網(wǎng)流量的相關(guān)系數(shù)小于0.5，可以看出上網(wǎng)流量與成績的相關(guān)性較弱。因此選擇前四個相關(guān)性較強(qiáng)的指標(biāo)作為成績預(yù)測的特征向量。

在學(xué)生成績預(yù)測中，輸入變量代表著不同的參數(shù)信息對學(xué)生成績的影響，變量的選取是構(gòu)建學(xué)生成績預(yù)測模型的基礎(chǔ)，是進(jìn)行有效、精準(zhǔn)預(yù)測的依據(jù)。使用2014級學(xué)生在2014年至2017年6個學(xué)期的成績數(shù)據(jù)，將第6學(xué)期成績作為預(yù)測成績，與其相鄰的前5個學(xué)期歷史成績進(jìn)行相關(guān)性分析，通過Pearson相關(guān)系數(shù)分析后得到前三個學(xué)期的成績與預(yù)測成績具有較強(qiáng)相關(guān)性。再將學(xué)生行為通過上述分析后篩選出對學(xué)生成績預(yù)測較為重要的變量。本文將課程按照歷史課程成績關(guān)聯(lián)度分為4類，基于歷史課程成績與學(xué)生行為對初始特征變量集向量進(jìn)行定義，如下所示：

式中，Xt-3為前三個學(xué)期的學(xué)生成績（GPA）；Xt-2為前兩個學(xué)期的GPA；Xt-1為前一個學(xué)期的GPA；XACourse為不同學(xué)期A類別的課程成績變化趨勢；XBCourse為不同學(xué)期B類別的課程成績變化趨勢；XCCourse為不同學(xué)期C類別的課程成績變化趨勢；XDCourse為不同學(xué)期D類別的課程成績變化趨勢；XBreakfastParoxysmal為以學(xué)期為單位早餐行為的頻率；XConsumpParoxysmal為以學(xué)期為單位消費(fèi)行為的規(guī)律；XInternetTime為以學(xué)期為單位有效學(xué)習(xí)時間內(nèi)上網(wǎng)時長，XNightCount為以學(xué)期為單位超過晚十一點(diǎn)上網(wǎng)的次數(shù)。

2 學(xué)習(xí)成績預(yù)測模型構(gòu)建

目前成績預(yù)測模型大多需要對學(xué)生的成績進(jìn)行全局的預(yù)測，存在同質(zhì)性并且無法對具體的學(xué)生進(jìn)行個性化預(yù)測的缺陷，忽略了學(xué)生之間的相互影響作用，不能更精準(zhǔn)的預(yù)測學(xué)生成績。在校園生活中，由于學(xué)生之間存在社交影響力作用［15-16］，因此可認(rèn)為每個學(xué)生成績之間存在相關(guān)性。在預(yù)測學(xué)生成績時，充分考慮該特性對學(xué)生成績的影響來提高預(yù)測性能。

本文根據(jù)學(xué)生之間進(jìn)行社交信息交流的特點(diǎn)，引入多任務(wù)學(xué)習(xí)（MTL），以邏輯回歸預(yù)測模型作為基準(zhǔn)算法，預(yù)測模型把每個學(xué)生成績的預(yù)測對應(yīng)為多個任務(wù)，根據(jù)學(xué)生間的社交影響特點(diǎn)對這些任務(wù)進(jìn)行關(guān)聯(lián)。由于MTL是通過權(quán)重共享實(shí)現(xiàn)的，利用K-means對頂層的權(quán)重聚類，將具有相似權(quán)重的分布任務(wù)分為一組，組內(nèi)任務(wù)共同訓(xùn)練，共享任務(wù)間的相似性提高模型學(xué)習(xí)能力，從而緩解小樣本過學(xué)習(xí)問題，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

假設(shè)共有m個任務(wù)Mm={xir,yir}lri=1，M為這m個任務(wù)的合集。將每個學(xué)生的成績預(yù)測對應(yīng)一個獨(dú)立的任務(wù)，定義每一個任務(wù)需要學(xué)習(xí)的權(quán)值向量Vi，任務(wù)目標(biāo)分為兩部分：wq+wg,r∈(1,2,…,m)，wq代表全局任務(wù)的權(quán)值特征向量，wg代表相對于單個學(xué)生的局部權(quán)值特征向量。wq是根據(jù)所有學(xué)生行為數(shù)據(jù)歷史成績數(shù)據(jù)進(jìn)行學(xué)習(xí)得到的，wg是對單個學(xué)生的學(xué)習(xí)行為及歷史成績數(shù)據(jù)進(jìn)行學(xué)習(xí)得到的向量。以邏輯回歸為基準(zhǔn)算法對學(xué)生成績進(jìn)行預(yù)測，其帶有正則化的目標(biāo)函數(shù)為：

則引入多任務(wù)后的預(yù)測模型可歸納為：

式中，M為學(xué)生數(shù)量；xij表示學(xué)生i的第j個數(shù)據(jù)樣本點(diǎn)；wq和wg同時訓(xùn)練計算出結(jié)果。所有的任務(wù)都具有相同的wq，各個任務(wù)擁有自己的wg，通過正則化系數(shù)γ0，γ1的權(quán)值調(diào)整，能夠調(diào)節(jié)個性化對模型的影響。

圖4 多任務(wù)邏輯回歸預(yù)測

多任務(wù)邏輯回歸進(jìn)行學(xué)生成績預(yù)測，根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)頂層權(quán)重進(jìn)行分組，將具有相似權(quán)重分布的任務(wù)分為一組，組內(nèi)任務(wù)同時訓(xùn)練模型并共享信息。既考慮到了任務(wù)之間的差別，又考慮到任務(wù)之間的聯(lián)系，通過共享隱層權(quán)重，提高預(yù)測精度。相對于單任務(wù)學(xué)習(xí)僅需要訓(xùn)練一個模型，該模型可同時訓(xùn)練出多個模型，從而對學(xué)生成績進(jìn)行個性化預(yù)測。

3 實(shí)驗結(jié)果與分析

3.1 實(shí)驗數(shù)據(jù)

本文針對學(xué)生成績預(yù)測問題的研究，提出了基于成績變化趨勢的多任務(wù)成績預(yù)測模型，為驗證該預(yù)測模型的準(zhǔn)確性與適用性。實(shí)驗選取2014年9月至2017年8月學(xué)生的課程信息及行為數(shù)據(jù)作為實(shí)驗數(shù)據(jù)集，數(shù)據(jù)量約為5 000條，選取90%的學(xué)生樣本數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集進(jìn)行歸一化預(yù)處理來產(chǎn)生輸入輸出向量，10%的學(xué)生樣本數(shù)據(jù)集作為測試數(shù)據(jù)集對網(wǎng)絡(luò)性能進(jìn)行評價。

3.2 評價指標(biāo)

為進(jìn)一步對所提出的預(yù)測模型的性能進(jìn)行評價，本文選用均方根誤差（RMSE）、平均絕對百分誤差（MAPE）這兩個性能指標(biāo)來衡量。具體公式如下所示：

3.3 預(yù)測結(jié)果對比分析

本文利用TensorFlow進(jìn)行基于成績變化趨勢的多任務(wù)成績預(yù)測模型的實(shí)現(xiàn)。根據(jù)第1節(jié)對成績影響因素分析得到的初始變量集作為預(yù)測模型的輸入，學(xué)生成績作為預(yù)測模型的輸出。為檢驗學(xué)習(xí)狀態(tài)對預(yù)測成績的重要性，利用邏輯回歸模型分別對加入反映學(xué)習(xí)態(tài)度的課程成績變化趨勢指標(biāo)和未加入該指標(biāo)的學(xué)生樣本數(shù)據(jù)集進(jìn)行成績預(yù)測，對真實(shí)值和預(yù)測值進(jìn)行比較，通過誤差評價指標(biāo)進(jìn)行性能評估。為驗證根據(jù)學(xué)生之間相互影響這一特點(diǎn)而引入多任務(wù)學(xué)習(xí)的邏輯回歸預(yù)測模型的有效性，將學(xué)生真實(shí)成績和經(jīng)過邏輯回歸和多任務(wù)邏輯回歸兩個模型的預(yù)測成績進(jìn)行對比，檢驗?zāi)Ｐ椭蓄A(yù)測值和真實(shí)值的擬合程度。為進(jìn)一步驗證相關(guān)任務(wù)分組對成績預(yù)測的有效性，利用權(quán)重聚類分組將相似任務(wù)分為一組，與隨機(jī)分組的任務(wù)分別采用多任務(wù)邏輯回歸模型進(jìn)行成績預(yù)測，利用誤差評價指標(biāo)進(jìn)行性能評估。

實(shí)驗1：加入成績變化趨勢指標(biāo)與未加入該指標(biāo)的性能比較

為了驗證學(xué)習(xí)狀態(tài)對學(xué)生成績預(yù)測中的有效性，使用加入成績變化趨勢特性和未加入該特性的邏輯回歸預(yù)測方法相比較，兩個方法針對所有學(xué)生進(jìn)行成績預(yù)測。兩種方法的性能指標(biāo)對比如表1所示。

表1 性能指標(biāo)對比

由上述實(shí)驗結(jié)果分析，加入成績變化趨勢特性的預(yù)測誤差更小，預(yù)測精度有所提高。將這兩種方法與真實(shí)的成績預(yù)測值進(jìn)行比較，由于學(xué)生樣本數(shù)較多，圖5中只選擇了2014年9月至2017年8月部分學(xué)生樣本數(shù)據(jù)集的成績預(yù)測值與實(shí)際成績值的分布圖進(jìn)行展示。

從圖5中可以看出，在對實(shí)際成績的預(yù)測結(jié)果中，加入成績變化趨勢特性的預(yù)測結(jié)果與實(shí)際成績數(shù)據(jù)偏差較小，更加接近真實(shí)成績曲線，從而驗證了加入成績變化趨勢特性對成績預(yù)測的有效性，進(jìn)一步說明成績變化趨勢這一特征向量所反映的學(xué)生學(xué)習(xí)狀態(tài)對成績的影響程度。

實(shí)驗2：邏輯回歸與多任務(wù)邏輯回歸預(yù)測結(jié)果對比

為了驗證多任務(wù)學(xué)習(xí)對學(xué)生成績預(yù)測中的有效性，對比圖5（b）的邏輯回歸和多任務(wù)邏輯回歸兩個模型的預(yù)測成績與真實(shí)成績。圖6為部分學(xué)生基于多任務(wù)邏輯回歸模型的預(yù)測結(jié)果與真實(shí)值對比。

圖5 兩種方法與真實(shí)值對比

圖6 多任務(wù)邏輯回歸預(yù)測值與真實(shí)值對比

圖6相對圖5（b），該方法的誤差更接近于真實(shí)值，具有更好的效果，說明根據(jù)學(xué)生之間相互影響這一特點(diǎn)而引入多任務(wù)學(xué)習(xí)對成績預(yù)測的有效性。這是因為在多任務(wù)學(xué)習(xí)過程中，多個學(xué)生成績預(yù)測任務(wù)同時進(jìn)行訓(xùn)練，任務(wù)之間相互起到了歸納偏置的作用，從而提高了每個任務(wù)的預(yù)測精度，實(shí)現(xiàn)個性化成績預(yù)測。

實(shí)驗3：驗證權(quán)重聚類相關(guān)任務(wù)分組的有效性

利用權(quán)重聚類對任務(wù)進(jìn)行分組，將具有相似權(quán)重的分布任務(wù)分為一組，組內(nèi)任務(wù)具有較強(qiáng)相關(guān)性，與隨機(jī)分組的任務(wù)分別使用多任務(wù)邏輯回歸模型進(jìn)行成績預(yù)測。由于學(xué)生樣本數(shù)量較多，只選取其中5組作為實(shí)驗對象，同時依據(jù)上述相關(guān)任務(wù)分組的各組別數(shù)據(jù)維度，采用隨機(jī)劃分方式對相同學(xué)生數(shù)據(jù)集進(jìn)行分組，并選取與上述實(shí)驗對象相同數(shù)據(jù)維度的5組作為對比實(shí)驗數(shù)據(jù)，對比實(shí)驗數(shù)據(jù)與實(shí)驗對象為一一對應(yīng)關(guān)系。預(yù)測模型誤差比較如圖7所示。

圖7 兩種方法誤差值對比

從圖7中可以看出，利用權(quán)重聚類分組后的5組相關(guān)任務(wù)，分別與相應(yīng)數(shù)據(jù)維度隨機(jī)劃分的5組任務(wù)采用誤差評價指標(biāo)相比較。經(jīng)過權(quán)重聚類相關(guān)任務(wù)分組的5組任務(wù)，其MAPE值和RMSE值均比隨機(jī)分組的誤差值小。說明利用權(quán)重聚類方法將相關(guān)任務(wù)分為一組，才能夠更好的提高整體性能，不相關(guān)的任務(wù)可能會對模型訓(xùn)練產(chǎn)生負(fù)面影響。

4 結(jié)論

本文針對學(xué)生成績預(yù)測，提出一種基于成績變化趨勢的多任務(wù)成績預(yù)測模型。其中針對單純依據(jù)學(xué)生歷史成績或?qū)W生行為進(jìn)行預(yù)測的不準(zhǔn)確問題，將基于課程分類的學(xué)生成績變化趨勢特性與歷史績點(diǎn)、學(xué)生行為數(shù)據(jù)共同作為學(xué)生成績的影響因素。根據(jù)學(xué)生社會網(wǎng)絡(luò)關(guān)系及相互影響的特點(diǎn)，引入多任務(wù)學(xué)習(xí)，采用權(quán)重聚類分組方法，將相關(guān)任務(wù)分為一組同時訓(xùn)練提高預(yù)測精度。實(shí)驗結(jié)果表明，本文所提出的預(yù)測模型具有較高的準(zhǔn)確性，其預(yù)測結(jié)果可為大數(shù)據(jù)技術(shù)的多維度高校學(xué)情評教分析平臺提供數(shù)據(jù)支持。