李松江 蘇瑀 王鵬 黃春雨

【摘 要】針對現(xiàn)有成績預(yù)測方法不能有效利用學(xué)生成績數(shù)據(jù)本質(zhì)特征的問題，提出一種自編碼組合優(yōu)化的成績預(yù)測模型。該模型采用邊緣降噪自編碼與堆棧稀疏自編碼組合優(yōu)化的混合式自編碼器（HSAE），從歷史成績數(shù)據(jù)與學(xué)生行為數(shù)據(jù)中，經(jīng)過無監(jiān)督的網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)更具魯棒性和稀疏性的深層特征。在頂層連接BP神經(jīng)網(wǎng)絡(luò)，構(gòu)成HSAE-BP神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)學(xué)生成績預(yù)測。實驗結(jié)果表明：所提出預(yù)測模型的預(yù)測準(zhǔn)確率相比其他未進行特征學(xué)習(xí)的淺層預(yù)測模型都得到了較好的改善。

【關(guān)鍵詞】成績預(yù)測;深度學(xué)習(xí);邊緣降噪自編碼;堆棧稀疏自編碼;特征學(xué)習(xí);BP神經(jīng)網(wǎng)絡(luò)

【中圖分類號】TP391 【文獻標(biāo)識碼】A 【文章編號】1674-0688（2019）10-0049-03

0 引言

學(xué)生成績預(yù)測已經(jīng)成為EDM（教育數(shù)據(jù)挖掘）領(lǐng)域的熱門研究方向之一[1]，有效的成績預(yù)測對全面提高教學(xué)質(zhì)量等方面有重要作用。近年來，針對學(xué)生成績預(yù)測的相關(guān)研究在國內(nèi)外取得了一定的成果。QH Do等人[2]結(jié)合學(xué)生標(biāo)準(zhǔn)化的考試成績及影響成績的外在因素，將布谷鳥搜索（Cooperative Cuckoo Search）與自適應(yīng)神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)（ANFIS）進行組合用于學(xué)生學(xué)業(yè)成績預(yù)測。羅永國[3]提出了一種改進遺傳算法的BP神經(jīng)網(wǎng)絡(luò)建立學(xué)生成績預(yù)測模型。大多數(shù)成績預(yù)測模型主要集中在淺層學(xué)習(xí)中，很難從中提取影響學(xué)生成績的深層次特征，模型的泛化能力和魯棒性較差，影響預(yù)測的精度[4-6]。

本文將深度學(xué)習(xí)應(yīng)用到學(xué)生成績預(yù)測中，利用深度特征學(xué)習(xí)模型對歷史成績及學(xué)生行為等輸入數(shù)據(jù)進行特征學(xué)習(xí)，學(xué)習(xí)到學(xué)生成績相關(guān)數(shù)據(jù)的深層特征，然后利用深層特征表達(dá)輸入BP神經(jīng)網(wǎng)絡(luò)進行學(xué)生成績預(yù)測。

1 基于HSAE的學(xué)生成績特征學(xué)習(xí)

學(xué)生成績受多方面因素的影響，人工設(shè)計特征過程復(fù)雜且容易出錯，樣本本身分布不均等[7-8]。為防止這些影響因素導(dǎo)致的網(wǎng)絡(luò)魯棒性差、泛化能力弱等問題，同時為了更有效地利用學(xué)生成績和行為數(shù)據(jù)的本質(zhì)特性，自動學(xué)習(xí)到有價值的特征表達(dá)代替原始輸入特征[9]。

由圖1可以看出，整個特征學(xué)習(xí)過程是將成績預(yù)測的影響因素輸入樣本數(shù)據(jù)、經(jīng)過第一層學(xué)習(xí)得到比輸入維數(shù)大的隱藏特征表達(dá)，再將經(jīng)過稀疏自編碼的多次學(xué)習(xí)得到其n階的特征并輸出，最后一層隱藏層的值即為深層學(xué)習(xí)的特征表達(dá)。

HSAE特征學(xué)習(xí)的整個過程是通過輸入影響成績的特征向量，經(jīng)過多個隱藏層的深度網(wǎng)絡(luò)結(jié)構(gòu)自動學(xué)習(xí)得到深層表達(dá)的高維特征。由于HSAE具有邊緣降噪自編碼對噪聲干擾的魯棒性，又具有堆棧稀疏自編碼的稀疏性限制，因此能夠?qū)W習(xí)到更具有代表性和魯棒性的高維特征，將其代替預(yù)測模型的初始化輸入，可有效改善模型的泛化性能，提高學(xué)生成績預(yù)測精度。

2 學(xué)生成績預(yù)測模型構(gòu)建

在混合式自編碼的頂層連接一個BP神經(jīng)網(wǎng)絡(luò)模型來構(gòu)建HSAE-BP預(yù)測模型。將通過HSAE得到的深層特征表達(dá)輸入到BP神經(jīng)網(wǎng)絡(luò)進行預(yù)測，其預(yù)測流程框架如圖2所示。

預(yù)測框架主要包含3個部分：數(shù)據(jù)預(yù)處理、HSAE逐層訓(xùn)練和HSAE-BP預(yù)測，具體的預(yù)測流程如下。

（1）對采集到的異常數(shù)據(jù)進行清洗，將所有的歷史成績數(shù)據(jù)和各行為指標(biāo)數(shù)據(jù)進行歸一化處理。對所有樣本數(shù)據(jù)集進行處理后，滿足預(yù)測模型的輸入輸出要求。

（2）將訓(xùn)練樣本集作為HSAE-BP預(yù)測模型的輸入，利用HSAE逐層進行特征學(xué)習(xí)得到更深層次的特征表達(dá)，經(jīng)過有監(jiān)督預(yù)訓(xùn)練和無監(jiān)督微調(diào)使得預(yù)測模型達(dá)到最優(yōu)。

（3）將測試樣本集輸入至最優(yōu)的HSAE-BP預(yù)測模型中進行學(xué)生成績預(yù)測，并根據(jù)預(yù)測結(jié)果對模型性能進行評估。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)及參數(shù)設(shè)置

實驗數(shù)據(jù)來源于吉林省某高校采集的真實學(xué)生成績數(shù)據(jù)和學(xué)生行為數(shù)據(jù)。本文選取2014年9月—2017年8月14級學(xué)生的歷史成績及行為數(shù)據(jù)作為樣本數(shù)據(jù)集，數(shù)據(jù)量約5 000條。對樣本數(shù)據(jù)集進行數(shù)據(jù)重構(gòu)來產(chǎn)生輸入輸出向量（見表1）。選取90%的樣本數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，用于權(quán)重和網(wǎng)絡(luò)結(jié)構(gòu)的確定，10%的學(xué)生樣本數(shù)據(jù)集作為測試數(shù)據(jù)集對網(wǎng)絡(luò)性能進行評價。

本文采用Python深度學(xué)習(xí)庫實現(xiàn)基于HSAE-BP的學(xué)生成績預(yù)測模型，從表1中可以看出本實驗的輸入特征向量個數(shù)為9，輸出向量個數(shù)為1。HSAE模型包含一個邊緣降噪自編碼和3個稀疏自編碼構(gòu)成混合式自編碼器，BP神經(jīng)網(wǎng)絡(luò)模型包含了1個隱藏層、1個輸出層，模型參數(shù)設(shè)定為λ=1×10-4，γ=0.001，ρ=0.072，η為自適應(yīng)學(xué)習(xí)率[10-11]。

3.2 誤差評價指標(biāo)

為進一步對所提出的預(yù)測模型的性能進行評價，本文選用均方根誤差（RMSE）、平均絕對百分誤差（MAPE）這兩個性能指標(biāo)作為模型的評價標(biāo)準(zhǔn)。具體公式如下：

其中，N表示預(yù)測樣本數(shù)，yi表示真實數(shù)據(jù)，■i表示預(yù)測數(shù)據(jù)。

3.3 預(yù)測結(jié)果分析

為了更好地分析HSAE-BP深度學(xué)習(xí)模型的預(yù)測效果，本文從3個方面對該模型的有效性進行驗證。第一是通過學(xué)生真實成績和經(jīng)過BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個模型的預(yù)測成績進行對比，檢驗?zāi)Ｐ偷臄M合程度;第二是對比BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個模型的誤差，通過MAPE和RMSE來驗證本文提出模型的有效性。

實驗1：預(yù)測結(jié)果對比

使用相同的數(shù)據(jù)集將BP神經(jīng)網(wǎng)絡(luò)、SAE-BP和HSAE-BP 3個模型的預(yù)測成績與真實成績進行對比，用來檢驗?zāi)Ｐ偷挠行?。由于學(xué)生樣本數(shù)較多，圖3中只隨機選擇了60個學(xué)生樣本數(shù)據(jù)集進行成績預(yù)測所得預(yù)測值與實際成績值的分布對比圖。

從圖3中可以看出，在對實際學(xué)生成績的預(yù)測結(jié)果中，HSAE-BP模型的預(yù)測值與真實值之間的誤差相比其他兩個模型的誤差都要小，預(yù)測的學(xué)生成績可以在一定程度上擬合真實的學(xué)生成績數(shù)據(jù)，進而充分驗證了HSAE-BP在預(yù)測成績上的有效性。

實驗2：誤差比較

本文采用BP神經(jīng)網(wǎng)絡(luò)模型，SAE-BP神經(jīng)網(wǎng)絡(luò)模型和本文提出的HSAE-BP模型進行誤差對比實驗，驗證HSAE-BP模型的有效性?？紤]到不同數(shù)據(jù)集可能引起預(yù)測模型誤差變化的問題，使用不同的數(shù)據(jù)集分別進行模型預(yù)測性能對比實驗，實驗結(jié)果見表1。

從表1中可以看出，在不同的數(shù)據(jù)集下，不進行深層特征學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測性能受特征學(xué)習(xí)的影響波動較大，相比加入SAE的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，其預(yù)測誤差相對較大，泛化能力較差，這說明SAE-BP神經(jīng)網(wǎng)絡(luò)模型可對輸入數(shù)據(jù)進行有效提取。而本文提出的HSAE-BP模型相比前兩個算法在兩種數(shù)據(jù)集上取得了最好的預(yù)測效果，不同數(shù)據(jù)集中，MAPE的值最小為0.041 6，RMSE的值最小為12.48，相對于SAE-BP模型和不進行深層特征學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)模型，誤差下降程度很大，且本方法的誤差能很好地控制在5%以內(nèi)，說明本文提出的對初始化輸入向量使用混合式自編碼器進行特征提取，更好地提取更深層次的特征表達(dá)，能在一定程度上減小真實值與預(yù)測值誤差，提高了泛化能力，進而提高了模型預(yù)測性能，充分驗證了HSAE-BP在預(yù)測成績上的有效性。

4 結(jié)語

本文將深度學(xué)習(xí)引入學(xué)生成績預(yù)測領(lǐng)域，為更有效利用學(xué)生成績數(shù)據(jù)的本質(zhì)特征，采用邊緣降噪自編碼和堆棧稀疏自編碼組合優(yōu)化的混合式自編碼對特征進行深度變換，實現(xiàn)自動提取深層特征表達(dá)。在頂層加入BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建深度學(xué)習(xí)預(yù)測模型（HSAE-BP）。實驗結(jié)果表明：所提出模型具有較強自適應(yīng)學(xué)習(xí)能力，能夠?qū)W習(xí)更深層次的特征性能，泛化能力較強，其預(yù)測準(zhǔn)確率和時間復(fù)雜度相比傳統(tǒng)預(yù)測模型都得到了較好的改善。

參 考 文 獻

[1]Rocero C，Ventur S.Educational data mining：A review of the state of the art.IEEE Trans on Systems，Man and Cybemetics[J].Part C：Applications and Reviews，2010，40（6）：601-618.

[2]QH Do.A cooperative Cuckoo Search hierarchical adaptive neuro-fuzzy inference system approach for predicting student academic performance[J].Journal of Intelligent & Fuzzy Systems，2014（27）：2551–2561.

[3]羅永國.基于改進的遺傳算法的學(xué)生成績預(yù)測模型[J].科技通報，2012，28（10）：223-225.

[4]Huang W，Song G，Hong H，et al.Deep architecture for traffic flow prediction：deep belief networks with multitask learning[J].IEEE Transactions on Intelligent Transportation Systems，2014，15（5）：2191-2201.

[5]徐逸之，彭玲，林暉，等.基于棧式自編碼的上海地鐵短時流量預(yù)測[J].計算機工程與科學(xué)，2018，40（7）：1275-1280.

[6]Qu X，Kang X，Zhang C，et al.Short-Term Prediction of Wind Power Based on Deep Long Short-Term Memory[C].Power and Energy Engin-eering Conference（APPEEC）.Xian：IEEE，2016：1148-1152.

[7]吳潤澤，包正睿，宋雪瑩，等.基于深度學(xué)習(xí)的電網(wǎng)短期負(fù)荷預(yù)測方法研究[J].現(xiàn)代電力，2018，35（2）：43-48.

[8]徐培，蔡小路，何文偉，等.基于深度自編碼網(wǎng)絡(luò)的運動目標(biāo)檢測[J].計算機應(yīng)用，2014，34（10）：2934-2937.

[9]袁非牛，章琳，史勁亭，等.自編碼神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用綜述[J/OL].計算機學(xué)報，http：//kns.cnki.net/kcms/detail/11.1826.TP.20180921.1146.002.html，2018-12-21.

[10]Vincent P，Larochelle H，Bengio Y，et al.Extrac-ting and composing robust features with denoising autoen-coders[C].Proceedings of the 25th International Conference on Machine，2017：1001-1005.

[11]朱芳枚，趙力，梁瑞宇，等.面向中文語音情感識別的改進棧式自編碼結(jié)構(gòu)[J].東南大學(xué)學(xué)報，2017，47（4）：631-636.