喻鐵朔 李霞 甘琤

摘? ?要：學生成績預測是教育數(shù)據(jù)挖掘在教學實踐中的一大重點，相比分類成績預測的單一結果，回歸成績預測更能深化預測在教學實踐中的意義。文章基于H2O框架下廣義線性模型（GLM）、深度學習（DL）、梯度提升樹（GBT）以及支持向量機（SVM）四種主流模型進行回歸預測比較研究。從模型預測精度、預測結果對比、預測誤差分析三個角度分析4種模型，在不同課程、不同課程屬性下的適用性。結果表明，DL模型適用于專業(yè)課程，SVM模型適用于公共課程，回歸模型的成績預測受到離群數(shù)據(jù)影響較大，各模型對離群數(shù)據(jù)解釋能力較弱。

關鍵詞：學生成績預測;回歸模型;多模型對比;誤差分析

中圖分類號：TP301.6 文獻標志碼：A 文章編號：1673-8454（2020）17-0023-06

一、引言

在高校的教學過程中，學生課程成績是衡量學生知識掌握程度和教師教學質量的主要依據(jù)。當下，高校信息化建設逐步轉化為智慧校園建設，在此過程中積累了海量的數(shù)據(jù)，應用教育數(shù)據(jù)挖掘方法與數(shù)據(jù)相結合能夠實現(xiàn)學生未來的成績預測。周慶等[1]針對EDM（教育數(shù)據(jù)挖掘）的研究特點、不足及發(fā)展趨勢進行了歸納，闡述了各類預測算法的應用場景及優(yōu)缺點。利用數(shù)據(jù)挖掘技術進行回歸成績預測能夠給學生提供課程學習指引、幫助學生規(guī)避學業(yè)風險，也能夠為教師和管理者的教學重點和管理方案提供決策支持。

目前國內外有許多預測方面的研究，在學業(yè)預測方面，Goker H等[2]通過學生的基本信息與課程信息，應用貝葉斯分類方法改進早期預警系統(tǒng)預測學生未來學業(yè)成就，并發(fā)現(xiàn)影響學生學業(yè)的主要因素。Francis等[3]將學生特征分為人口特征、學術特征、行為特征和額外特征四個方面進行不同的組合，運用聚類算法和分類預測相結合的混合算法構建學習成績預測模型。劉博鵬等[4]通過動態(tài)特征提取和偏互信息（PMI）對學生特征進行選取，并通過交叉驗證方法對支持向量機（SVM）算法進行動態(tài)參數(shù)調整后實現(xiàn)成績預測。孫力等[5]運用C5.0決策樹方法，通過分析網(wǎng)絡學歷教育本科生的相關信息，實現(xiàn)英語統(tǒng)考的成績預測，并提出相應策略來提高英語學習水平和考試通過率。

數(shù)據(jù)挖掘預測方法在其它領域中應用也十分廣泛，張慧玲等[6]針對風電場的數(shù)據(jù)特征變化采用三種主流的預測算法進行適應性對比研究，通過預測精度、計算效率及模型適應性比較模型優(yōu)劣勢。李靜等[7]采用BP神經(jīng)網(wǎng)絡、支持向量機、LSTM模型針對基因工程領域未來研究熱點趨勢進行預測，并對比分析三種模型的優(yōu)劣。

現(xiàn)階段的EDM研究預測主要以分類問題為主，預測模型大多單一且相應的分類預測結果不能對預測結果進行有效的分析。在課程成績預測過程中，預測課程不同，相應模型擬合效果也不同。本文針對上述問題，擬進行回歸類型的成績預測，采用GLM（線性回歸模型）、Deep Learning（深度學習）、GBT（梯度提升樹）、SVM（支持向量機）四種主流的預測算法分析其在不同課程屬性下的特性。從預測精度、誤差分析、預測分布3個方面對四種算法進行比較，針對高校學生課程成績預測，選取不同訓練樣本，提供合適的預測算法參考依據(jù)。

二、預測對比流程

本文基于四種主流的學生成績回歸預測方法步驟如下：①從高校教務數(shù)據(jù)庫中獲取學生信息;②對抽取的數(shù)據(jù)完成數(shù)據(jù)清洗轉換;③對清洗后的數(shù)據(jù)進行數(shù)據(jù)預處理;④進行課程特征選擇，選取不同類型課程進行預測;⑤模型應用評估，選取合適算法進行對比分析，提供適合不同課程的算法。具體算法流程如圖1所示。

1.GLM模型

文章使用H2O（3.8.26版本）框架執(zhí)行GLM模型、DL模型、GBT模型，H2O是開源的、分布式的、基于內存的、可擴展的機器學習和預測分析框架。[8]廣義線性模型（GLM）是傳統(tǒng)線性模型的擴展。該算法通過使對數(shù)似然值最大來擬合廣義線性模型，彈性凈罰可用于參數(shù)正則化，模型擬合計算是并行的，速度極快，并且對有限數(shù)量的非零系數(shù)預測因子的模型具有極好的可伸縮性。廣義線性模型有三個組成部分——隨機部分、系統(tǒng)部分和聯(lián)結函數(shù)。

隨機部分：屬于指數(shù)分布族的相互獨立的隨機變量yi，密度函數(shù)為：

f（yi|θi，φ）=exp（c（yi，φ））（1）

其中θi和φ為參數(shù)，b和c為函數(shù)。yi的期望是μi方差為均值的函數(shù)，則E（yi）=μi=b'（θi），var（yi）=b'（θi）。其中b'（θ）和b''（θ）分別表示函數(shù)b的一階和二階導數(shù)。

系統(tǒng)部分：假設x1，x2，…，xp為對應于y1，y2，…，yn的p維自變的值，存在某線性預估量η，參數(shù)β1，β2，…，βp的線性函數(shù)有：

η=xTβ=∑p? ?i=1xi βi（2）

聯(lián)結函數(shù)：聯(lián)結函數(shù)是指觀測值xi與指數(shù)散布族的期望μi之間的函數(shù)關系。隨機部分和系統(tǒng)部分通過ηi=g（μi）連接在一起，g（x）稱為聯(lián)結函數(shù)。容易得到：

g（μij）=x' ij β，i=1，2，…，p.（3）

其中，β為未知實參數(shù)，xTi=（xi1，…，xin）表示第i個觀測向量。

2.Deep Learning模型

在H2O框架中深度學習是基于人工神經(jīng)網(wǎng)絡（ANN），是最常見的深度神經(jīng)網(wǎng)絡類型，也是H2O-3中唯一支持的類型。[9]該網(wǎng)絡采用反向傳播的隨機梯度下降訓練，可以包含大量的隱藏層，由具有tanh、整流器和maxout激活功能的神經(jīng)元組成。也可以實現(xiàn)如自適應學習率、率退火、動量訓練、L1或L2正則化和網(wǎng)格搜索，能夠使預測精度更加準確。在模型訓練過程中，每個計算節(jié)點使用多線程（或異步）在其本地數(shù)據(jù)上訓練全局模型參數(shù)的副本，并通過網(wǎng)絡模型定期平均地向全局模型傳輸參數(shù)。

應用深度學習算法需要設置激活函數(shù)、分布函數(shù)和損失函數(shù)兩個重要參數(shù)，在H2O框架中深度學習主要使用Tanh（雙曲正切函數(shù)）、Recrified Linear（線性整流器）、Maxout（最大輸出）三種主要激活函數(shù)，文章選用Recrified Linear。

f（α）=max（0，α）（4）

在H2O中常用的分布函數(shù)有AUTO（自適應分布）、Multinomial（多項式分布）、Gaussian（高斯分布）、Laplace（拉普拉斯分布）、Huber（霍爾分布）、Poisson（泊松分布）等，每一個分布都有對應的損失函數(shù)。Multinomial分布對應交叉熵損失函數(shù)（cross-entropy loss），Gaussian分布對應于均方差損失函數(shù)（Mean Squared Error Loss），Laplace分布對應于絕對值損失函數(shù)（Absolute Loss），Huber分布對應霍爾損失函數(shù)（Huber Loss），對于Poisson分布等一些函數(shù)損失函數(shù)不能改變，所以損失函數(shù)設置為AUTO。具體損失函數(shù)如下：

L（w，B|j）=‖tj-oj‖22（5）

3.GBT模型

梯度增強樹模型又可以稱為GBM（梯度增強機）是回歸或分類樹模型的集合。這兩種方法都是通過逐步改進的估計獲得預測結果的前向學習集成方法。該方法的指導思想是通過不斷改進的近似來獲得良好的預測結果。H2O 中構建的GBT以完全分布式的方式，在數(shù)據(jù)集的所有特征上依次構建回歸樹——其中每棵樹都是并行構建的。GMT計算步驟如下：

輸入訓練數(shù)據(jù)（xi，yi），構建提升樹模型fM（x），初始化f0（x）=0。對于第m個基學習器，首先計算梯度：

gm（xi）=f（x）=fm-1（x）（6）

根據(jù)梯度學習第m個學習器：

Θ'm=arg min∑N? i=1[-gm（xi）-βmΘ（xi）]2（7）

θ，β

通過line search求取最佳步長：

βm=arg min∑N? i=1L[yi，fm-1（xi）+βmΘ'm（xi）]（8）

β

令fm=βmΘ'm，更新模型，最后輸出f（xi）：

f（xi）=fm-1+fm（9）

4.SVM模型

SVM（支持向量機）的算法是一個易于使用、快速高效的SVM模式識別和回歸的軟件包。SVM在實際應用中可以分為SVC（支持向量分類）和SVR[10]（支持向量回歸）兩種方法。LIBSVM對于回歸任務支持epsilon-SVR和nu-SVR實現(xiàn)。支持向量回歸模型的目標是讓訓練集中的每個點（xi，yi）擬合到一個線性模型，形式如下：

yi=？棕×φ（xi）+b（10）

式中φ（xi）為非線性映射變量，？棕為向量和b偏移量，其次需要定義一個常量？鄣>0，設|yi-？棕×φ（xi）-b|為G，對于某個點（xi，yi），如果G≤？鄣，則完全沒有損失，如果G>？鄣，則對應的損失為|G-？鄣|。則SVM回歸模型損失度量為：

err（xi，yi）=? ?0? ? ? ? G≤？鄣G-？鄣? ? G>？鄣（11）

在回歸模型中，設立優(yōu)化目標函數(shù)可以與分類模型相同為||w||2，根據(jù)設定的損失函數(shù)度量，則最終損失函數(shù)S為：

S=C×■×∑n? ?i=1err（xi，yi）+■||w||2（12）

其中C是支持向量回歸的復雜度常數(shù)，表示對錯誤分類的容忍度，其中較高的C值產生“較軟”的邊界，較低的值產生“較硬”的邊界。在核函數(shù)的選擇上LIBSVM包常采用RBF核函數(shù)，RBF核函數(shù)適用于特征數(shù)量遠小于樣本數(shù)量的數(shù)據(jù)集。

Kradial（xi，yi）=e-■∑p? ?k=1（xik，xjk）2（13）

三、數(shù)據(jù)預處理及模型評估方法

1.數(shù)據(jù)

實現(xiàn)GLM、Deep Learning、GBT、SVM四種預測模型進行對比分析，以某高校計算機與通信工程學院下計算機科學技術專業(yè)2015級、2016級、2017級三個年級的大二上、下兩個學期的10門考試課程為實驗數(shù)據(jù)。由于高校課程的多樣性，遂剔除學生的選修課程和考查課程。數(shù)據(jù)集中課程屬性可以分為專業(yè)課程和公共課程，其中專業(yè)課程包括計算機組成原理、數(shù)據(jù)庫原理、面向對象程序設計、數(shù)據(jù)邏輯分析與設計、計算機網(wǎng)絡、數(shù)據(jù)結構;公共課程包括大學物理、大學英語讀寫譯Ⅲ、大學英語讀寫譯Ⅳ、馬克思主義基本原理。

2.數(shù)據(jù)清洗及預處理

由于從教務數(shù)據(jù)庫中抽取的數(shù)據(jù)并不能直接應用于預測模型，需要對抽取的數(shù)據(jù)進行清洗轉換來滿足模型預測要求的數(shù)據(jù)集，遂對數(shù)據(jù)做如下操作：

（1）數(shù)據(jù)清洗：運用Pentaho kettle數(shù)據(jù)倉庫軟件進行數(shù)據(jù)清洗。將教務抽取的數(shù)據(jù)按照年級劃分成三個子集，對每個子集進行特征篩選、數(shù)據(jù)去重操作，并將數(shù)據(jù)進行行列轉換形成滿足模型需求的數(shù)據(jù)集樣式，最終按照學號將三個子集合并成最終預測數(shù)據(jù)集。

（2）缺失值處理：對數(shù)據(jù)集進行簡單描述性分析，查看數(shù)據(jù)是否存在缺失值。學生課程數(shù)據(jù)的缺失由學生休學、調換專業(yè)等人為因素組成，且在數(shù)據(jù)集中占比極小，遂對缺失成績樣本進行剔除。

（3）建立訓練樣本：將樣本數(shù)據(jù)的60%作為訓練樣本，另外40%作為測試樣本。

3.模型評價指標

文章從預測精度、模型適用性兩個角度對GLM、Deep Learning、GBT、SVM四種預測模型進行評價分析：

（1）預測精度：不同模型的預測結果的評價指標有均方根誤差（RMSE）、平均絕對誤差（MAE），RSEM用來衡量預測值與真實值之間的偏差，MAE可以更好地反映預測誤差的實際情況。二者計算公式如下：

RSME=■（14）

MAE=■∑m? ?i=1（yi-■i）（15）

其中m為樣本數(shù)量，yi為真實值，■i為預測值。

（2）模型適用性：運用模型精度和數(shù)據(jù)擬合狀況，探索不同課程在不同預測模型中的預測誤差的分布差異，判定模型對課程的適用性。

四、結果分析

1.預測結果對比

將四種預測模型的預測值與真實值在40%驗證數(shù)據(jù)集中依照專業(yè)課程和公共課程兩種屬性，實現(xiàn)同一課程不同算法的預測結果對比，尋找四種模型的預測差異。選取專業(yè)課中數(shù)字邏輯分析與設計、面向對象程序設計，公共課程中馬克思主義基本原理、大學物理共四門課程為代表進行誤差分析，預測成績與真實成績的分布狀況如圖2、3、4、5所示。圖中真實值是已知的，圖中的每個點代表一個特定的預測值和它的真實值，黑色虛線為最優(yōu)模型，圖中各數(shù)據(jù)點越接近虛線——黑色虛線，預測模型越好。圖中陰影區(qū)域和深色線為添加的一條平滑曲線，便于觀測數(shù)據(jù)點的分布趨勢。在高校教學過程中，認定學生成績在60分以上（包含60分）為及格，依此做兩條淺色虛線為輔助線，按照順時針方向劃分為四個區(qū)域，每個區(qū)域表示了不同的成績分布屬性。區(qū)域1代表了真實成績在60分以上但預測成績在60分以下;區(qū)域2代表了真實成績和預測成績都在60分以上;區(qū)域3為真實成績60分以下且預測成績60分以上。區(qū)域4代表真實成績和預測成績都在60分以下。

（1）專業(yè)課程

圖2、3所示為面向對象程序設計、數(shù)字邏輯分析與設計的預測成績與真實成績的分布狀況，在面向對象程序設計課程中GLM模型擁有最優(yōu)的RSME和MAE，在數(shù)字邏輯分析與設計課程中Deep Learning模型擁有最優(yōu)的RSME和MAE。圖中當真實成績小于60分時，四種模型的成績分布回歸曲線在最佳模型上方，表示預測成績高于真實成績;在真實成績高于60分的區(qū)域數(shù)據(jù)分布回歸曲線在最佳模型下方，表示此部分預測成績低于真實成績。有部分數(shù)據(jù)點遠離分布的回歸曲線，表明模型對這些學生的預測能力差，預測相差較大，在專業(yè)課程中預測成績分布低于真實成績。

（2）公共課程

圖4為馬克思主義原理的預測成績與真實成績的分布狀況，在這門課程中數(shù)據(jù)分布較為集中且預測成績幾乎都超過60分，數(shù)據(jù)的回歸曲線在最佳模型上方，預測成績普遍高于真實成績。圖5為大學物理課程的成績分布，此門課程中當真實成績小于60分時，預測成績全部高于真實成績;當真實成績大于60分時，預測成績整體低于真實成績，類似于專業(yè)課程。

2.預測誤差分析

對上述四門課程的真實成績減去預測成績的差值進行描述性統(tǒng)計分析，基于誤差平均值、中位數(shù)、峰度、偏度等分析誤差分布的特征，兩門專業(yè)課程的誤差描述分析如表1所示。

在專業(yè)課程中誤差均值都大于0，表明模型預測成績均值低于真實成績均值。各模型誤差的最大值與最小值誤差較大，在部分極值狀況下模型預測結果不理想。在面向對象成績設計課程中GLM模型擁有最小的平均值和中位數(shù)，該課程的誤差最大值為35.5，此課程中的四種模型的峰度全部大于0，表明方差的增大是由低頻度的大于或小于平均值的計算差值引起的;且此課程的偏度大于0，表明分布具有正偏離，有少數(shù)變量值很大，使右側尾部拖長。在數(shù)字邏輯分析課程中Deep Learning模型的誤差平均值和中位數(shù)最小，四種模型的峰度和偏度都小于0，表明該課程在分布上峰度不足且屬于左偏態(tài)，且四種模型峰度偏度相差較小。

公共課程的誤差描述分析如表2所示，在公共課程中馬克思原理課程的誤差均值小于0且最小值較大，表明在某些極值狀況下該課程預測成績遠遠高出真實成績。馬克思主義原理在GBT模型擁有最好的誤差均值、標準誤差和中位數(shù)，在分布狀況呈現(xiàn)平峰和左偏態(tài)。在大學物理課程中SVM模型的誤差均值、標準誤差和中位數(shù)最小，誤差分布產生過度的峰度且呈現(xiàn)左偏態(tài)。大學物理課程的誤差最小值絕對值高于誤差最大值，但誤差總和為正數(shù)，預測成績總體低于真實成績。

3.預測模型精度

利用上述建立的GLM、Deep Learning、GBT、SVM四種預測模型對計算機科學與技術專業(yè)10門課程進行預測，預測模型評價指標由測試數(shù)據(jù)集進行計算驗證，4種模型在相同數(shù)量的訓練樣本下的預測精度如表3所示。

在表3中，字體加粗傾斜代表不同課程在四種預測模型中的最優(yōu)RSME和MAE。在實驗樣本中預測精度最好的是Deep Learning模型，其次是SVM預測模型，而GLM模型和GBT模型預測性能較為一般。在不同課程屬性中，模型的適用性也有所差別。在專業(yè)課程中Deep Learning模型的預測精度更好，Deep Learning模型的RSME和MAE最優(yōu)預測精度次數(shù)最多。在公共課程中SVM算法的預測精度優(yōu)于Deep Learning模型，在獲得最優(yōu)RSME的同時MAE也是最優(yōu)。

4.模型適用性建議

利用數(shù)據(jù)挖掘算法對高校學生進行回歸成績預測的過程中，Deep Learning模型在專業(yè)課程中擁有較好的預測能力，主要表現(xiàn)在擬合課程間相關性能力最好;而在公共課程中SVM模型擁有較好的預測能力，SVM對某些極值的預測能力優(yōu)勝于其他三種模型，若采用單一算法進行回歸成績預測可以選取SVM模型。GLM在預測能力上表現(xiàn)一般，主要是在極值的預測能力上受到限制，若考慮在剔除部分異常的數(shù)據(jù)前提下，GLM模型在專業(yè)課程上預測能力優(yōu)于Deep Learning。GBT模型在四種回歸模型中性能最低，但GBT模型的運行效率最高，且模型預測成績分布上更擬合正態(tài)分布。在學生成績回歸預測過程中，回歸預測模型對學生成績數(shù)據(jù)中的離群數(shù)據(jù)的解釋能力較差，在數(shù)據(jù)預處理階段可以剔除部分離群學生數(shù)據(jù)。

五、結語

針對常用的分類模型的成績預測結果單一和難以分析的問題，文章采用GLM、Deep Learning、GBT、SVM四種模型進行回歸成績預測，從模型預測精度、預測成績與真實成績分布和誤差分析進行對比分析，對各種模型在成績預測上的適用性給出自己的見解。回歸模型的成績預測結果可以進一步實現(xiàn)數(shù)據(jù)統(tǒng)計分析，能夠詳細展現(xiàn)預測學生成績的狀況，以直觀、清晰、多樣的形式為教師和學校管理者提供決策支持，也能為學生學習重點提供指導，對提升學生個性化教育起到推動作用。

參考文獻：

[1]周慶，牟超，楊丹.教育數(shù)據(jù)挖掘研究進展綜述[J].軟件學報，2015（11）：282-298.

[2]Goker H，Bulbul H I，Irmak E.The Estimation of Students' Academic Success by Data Mining Methods[C].International Conference on Machine Learning & Applications. IEEE Computer Society，2013.

[3]Francis B K，Babu S S.Predicting Academic Performance of Students Using a Hybrid Data Mining Approach[J].Journal of Medical Systems，2019，43（6）：162.

[4]劉博鵬，樊鐵成，楊紅.基于數(shù)據(jù)挖掘技術的學生成績預警應用研究[J].四川大學學報（自然科學版），2019（2）.

[5]孫力，程玉霞.大數(shù)據(jù)時代網(wǎng)絡教育學習成績預測的研究與實現(xiàn)——以本科公共課程統(tǒng)考英語為例[J].開放教育研究，2015（3）.

[6]張慧玲，高小力，劉永前等.三種主流風電場功率預測算法適應性對比研究[J].現(xiàn)代電力，2015（6）：7-13.

[7]李靜，徐路路.基于機器學習算法的研究熱點趨勢預測模型對比與分析——BP神經(jīng)網(wǎng)絡、支持向量機與LSTM模型[J].現(xiàn)代情報，2019（4）：24-34.

[8]H2O.ai.H2O-3框架使用說明[EB/OL].http：//docs.h2o.ai.

[9]Kumar K B S，Krishna G，Bhalaji N，et al.BCI cinematics-A pre-release analyser for movies using H 2 O deep learning platform[J].Computers & Electrical Engineering，2018：S0045790617315318.

[10]林鵬程.預測鋰電池充電時間的三段SVR模型[J].電源技術，2018（8）：67-69，144.

[11]陳德鑫，占袁圓，楊兵.深度學習技術在教育大數(shù)據(jù)挖掘領域的應用分析[J].電化教育研究，2019（2）：70-78.

（編輯：王天鵬）