張 陽，魯鳴鳴，鄭一基，李海峰

1.中南大學(xué) 計(jì)算機(jī)學(xué)院，長沙410083

2.中南大學(xué) 地球科學(xué)與信息物理學(xué)院，長沙410083

“數(shù)據(jù)驅(qū)動(dòng)學(xué)校，分析變革教育”的大數(shù)據(jù)時(shí)代已經(jīng)來臨，如何利用大數(shù)據(jù)的優(yōu)勢，挖掘出教育中的模式從而針對性改進(jìn)教學(xué)成為亟需解決的問題。經(jīng)濟(jì)合作與發(fā)展組織在2018 年發(fā)布的《2018 教育概覽》[1]調(diào)查數(shù)據(jù)發(fā)現(xiàn)，學(xué)生期末成績不合格之后再讓學(xué)生留級并不能達(dá)到讓學(xué)生跟上進(jìn)度的目的，想要學(xué)生跟上學(xué)業(yè)進(jìn)度，最好的方式是盡早干預(yù)。能夠根據(jù)學(xué)生的表現(xiàn)較早準(zhǔn)確預(yù)測學(xué)生成績，并分析影響學(xué)生成績的因素，可以便于學(xué)校盡早干預(yù)學(xué)生學(xué)習(xí)中出現(xiàn)的問題，使得學(xué)生能夠跟上學(xué)習(xí)進(jìn)度，也能為改進(jìn)培養(yǎng)方案、教學(xué)大綱，以及為學(xué)生選課提供指導(dǎo)意見。

現(xiàn)有的成績預(yù)測方法主要可分為貝葉斯網(wǎng)絡(luò)模型[2-4]、決策樹模型[5-7]和推薦算法[8-11]等。這些工作往往需要手動(dòng)提取特征、先驗(yàn)知識(shí)、專家知識(shí)，或者只能預(yù)測指定的某一門課程的成績，并且預(yù)測的效果往往也不太好。深度學(xué)習(xí)是一種新興的能自動(dòng)提取特征的算法，其中的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在處理圖像數(shù)據(jù)及序列化數(shù)據(jù)領(lǐng)域甚至超過了人類的水平。但是，卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)無法直接對圖結(jié)構(gòu)的數(shù)據(jù)進(jìn)行預(yù)測。為此，文獻(xiàn)[12-13]提出圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Networks，GCN）。將卷積神經(jīng)網(wǎng)絡(luò)拓展到圖結(jié)構(gòu)形式的數(shù)據(jù)輸入。GCN因?yàn)榭梢院芎玫厝诤蠄D結(jié)構(gòu)數(shù)據(jù)的結(jié)構(gòu)特征和屬性特征并且有較好的組合泛化能力，而被廣泛使用[14-16]。

由于學(xué)生選課的數(shù)據(jù)可以分為學(xué)生節(jié)點(diǎn)、課程節(jié)點(diǎn)和選課成績，比較適合建模成二分圖形式的圖結(jié)構(gòu)數(shù)據(jù)，因此本文提出基于GCN的成績預(yù)測模型，利用GCN對反映學(xué)生課程成績的二分圖進(jìn)行編碼，實(shí)現(xiàn)了特征的自動(dòng)提取并且不需要先驗(yàn)知識(shí)或?qū)＜抑R(shí)。成績預(yù)測問題本質(zhì)上是一個(gè)矩陣填充問題，其與推薦系統(tǒng)中使用矩陣填充模型預(yù)測推薦類似?？紤]到不同的課程都有各自的特點(diǎn)，不同學(xué)生之間也存在差異性，以及課程和學(xué)生之間存在著某種潛在的相關(guān)性，提出使用自編碼器中的高斯混合模型刻畫其分布，其中GCN[12]作為AE 的編碼部分。該模型將學(xué)生節(jié)點(diǎn)和課程節(jié)點(diǎn)特征信息以及節(jié)點(diǎn)間的成績關(guān)系矩陣輸入GCN 進(jìn)行編碼，從而獲得學(xué)生成績數(shù)據(jù)的內(nèi)在特征，得到節(jié)點(diǎn)的嵌入表達(dá)再輸入解碼器，最終獲得預(yù)測的學(xué)生成績矩陣。

為了驗(yàn)證本文所提出Graph-AE 模型在學(xué)生成績預(yù)測上的有效性，通過實(shí)驗(yàn)與3 種經(jīng)典的推薦算法：基于分類/聚類的推薦算法、基于矩陣分解的推薦算法、基于協(xié)同過濾的推薦算法，進(jìn)行了對比。實(shí)驗(yàn)結(jié)果表明，該模型在3 組數(shù)據(jù)集中RMSE 均低于經(jīng)典推薦算法0.097～2.563。

綜上所述，本文主要貢獻(xiàn)如下：（1）提出并實(shí)現(xiàn)一種基于無監(jiān)督學(xué)習(xí)模型Graph-AE 并運(yùn)用于學(xué)生成績預(yù)測；（2）通過大規(guī)模實(shí)驗(yàn)與目前比較好的4 種類型的推薦算法進(jìn)行了對比，驗(yàn)證了Graph-AE 模型在成績預(yù)測方面的有效性。

1 相關(guān)工作

當(dāng)前已有大量研究工作對學(xué)生成績進(jìn)行預(yù)測。比如，參考文獻(xiàn)[2]提出了基于貝葉斯網(wǎng)模型的成績預(yù)測模型對一門課程的成績進(jìn)行預(yù)測，但該模型需要手動(dòng)篩選特征。文獻(xiàn)[5]提出基于決策樹模型的成績預(yù)測，但需要大量先驗(yàn)知識(shí)作為輸入。文獻(xiàn)[6]提出利用電子簽到系統(tǒng)數(shù)據(jù)預(yù)測成績，但該工作需要從大量的考勤、作業(yè)和課堂位置信息數(shù)據(jù)中推理出學(xué)生心理狀態(tài)，從而預(yù)測學(xué)生成績。

本文提出的成績預(yù)測模型本質(zhì)上是一個(gè)矩陣填充問題，這一問題與推薦系統(tǒng)中使用矩陣填充模型預(yù)測推薦類似，因此可以借鑒推薦系統(tǒng)的算法。經(jīng)典的推薦算法可劃分以下幾大類：（1）協(xié)同過濾推薦算法[8]，包括基于鄰域的協(xié)同過濾[17]（基于用戶和基于項(xiàng)）和基于模型的協(xié)同過濾（受限玻爾茲曼機(jī)[18]、矩陣因子分解[19]（如奇異值分解，奇異值分解++）、貝葉斯網(wǎng)絡(luò)、聚類、分類、回歸等），這些方法面臨冷啟動(dòng)問題，并且難以解釋模型預(yù)測的依據(jù)；（2）基于內(nèi)容的推薦算法[10]，包括機(jī)器學(xué)習(xí)方法（樸素貝葉斯、支持向量機(jī)、決策樹等）和信息檢索（Term Frequency-Inverse Document Frequency，TF-IDF）算法、BM25（Best Match25）算法，這類方法的項(xiàng)內(nèi)容必須是機(jī)器可讀和有意義的，很難聯(lián)合多個(gè)項(xiàng)的特征；（3）混合推薦算法[11]，該類算法綜合利用協(xié)同過濾推薦算法和基于內(nèi)容的推薦算法各自的優(yōu)點(diǎn)同時(shí)抵消各自的缺點(diǎn)，算法輸入通常使用用戶和待推薦物品的內(nèi)容特性與歷史數(shù)據(jù)，同時(shí)從兩種輸入類型中獲益，該類算法沒有冷啟動(dòng)問題，沒有流行度偏見，可推薦有罕見性質(zhì)的物品，可以實(shí)現(xiàn)多向性，但是需要同時(shí)考慮協(xié)同過濾推薦算法和基于內(nèi)容推薦算法，才能得到優(yōu)缺點(diǎn)的恰當(dāng)平衡。

相比之下，本文提出成績預(yù)測模型主要從學(xué)生和課程的相關(guān)性進(jìn)行研究，利用自編碼器模型刻畫學(xué)生和課程之間的相關(guān)性以及差異性，不用手動(dòng)篩選特征，不需要大量先驗(yàn)知識(shí)和專家知識(shí)并且可以精確的預(yù)測成績區(qū)間。

2 Graph-AE模型介紹

自編碼器是一種無監(jiān)督學(xué)習(xí)算法，主要用于數(shù)據(jù)降維或特征提取[20]。它可以自適應(yīng)地學(xué)習(xí)到數(shù)據(jù)中的結(jié)構(gòu)，并使用學(xué)習(xí)到的特征來高效的表示數(shù)據(jù)，這種特性不僅可以適應(yīng)大數(shù)據(jù)環(huán)境中巨大的數(shù)據(jù)量和數(shù)據(jù)種類，而且可以克服經(jīng)驗(yàn)特征較大的設(shè)計(jì)代價(jià)和泛化性能差的問題，同時(shí)在深度學(xué)習(xí)中使用自編碼器來實(shí)現(xiàn)多層次的特征提取可以取得更好的分類精度[21]。自編碼器分為輸入層、隱藏層和輸出層，其目的是將輸入層的數(shù)據(jù)x通過轉(zhuǎn)換得到其隱含層的表示h(x)，然后由隱含層重構(gòu)，還原出接近原始數(shù)據(jù)的抽象的表示。因此，自編碼器也存在魯棒性較差和深度學(xué)習(xí)應(yīng)用中出現(xiàn)過擬合現(xiàn)象等問題[22]。

獲取圖數(shù)據(jù)中合適的節(jié)點(diǎn)嵌入表達(dá)非常不易，而如果能找到合適的嵌入表達(dá)，就能將它們用在其他任務(wù)中。本文提出的Graph-AE模型主要是基于自編碼器模型自適應(yīng)學(xué)習(xí)特點(diǎn)的改進(jìn)。將學(xué)生成績數(shù)據(jù)之間的關(guān)聯(lián)性刻畫成二分圖，使用GCN 代替自編碼器中的編碼操作進(jìn)行節(jié)點(diǎn)間的消息傳遞，提取特征。這樣可以將自編碼器應(yīng)用到圖數(shù)據(jù)上，并且將成績數(shù)據(jù)進(jìn)行等級劃分，使得數(shù)據(jù)更加稀疏，能更好地學(xué)習(xí)圖數(shù)據(jù)的特征并減少過擬合。

本章主要從成績數(shù)據(jù)的二分圖建模、模型的整體架構(gòu)、編碼器和解碼器的實(shí)現(xiàn)等四方面介紹本文的成績預(yù)測模型Graph-AE。

2.1 二分圖建模

本文將學(xué)生成績數(shù)據(jù)建模成二分圖結(jié)構(gòu)，如圖1（a）所示。每個(gè)學(xué)生/課程都當(dāng)成一個(gè)節(jié)點(diǎn)，學(xué)生如果選了課程則用無向邊連接兩個(gè)節(jié)點(diǎn)，無向邊的權(quán)重為學(xué)生的課程成績。這樣一個(gè)無向二分圖可以表示為G=(U,V,R)，U為學(xué)生節(jié)點(diǎn)集合，V為課程節(jié)點(diǎn)集合，R為圖G的邊集。ui∈U(i∈{1,2,…,m})表示第i個(gè)學(xué)生節(jié)點(diǎn)，vj∈V(j∈{1,2,…,n})表示第j個(gè)課程節(jié)點(diǎn)，m為學(xué)生總數(shù)，n為課程總數(shù)，圖的總節(jié)點(diǎn)數(shù)N=m+n。二分圖轉(zhuǎn)化成鄰接矩陣，M∈?N×N形式存儲(chǔ)，如圖1（b）所示，矩陣A大小為m×n，AT是A的轉(zhuǎn)置矩陣（無向圖的鄰接矩陣為對稱矩陣）。

不同成績等級存在的潛在模式不同，處于不同等級的學(xué)生之間有較大差別，不同的成績等級的課程間亦然，因此，將成績劃分成1～10共10個(gè)等級。并且分等級計(jì)算可以大大減少計(jì)算量。學(xué)生的成績數(shù)據(jù)是邊的權(quán)重r，將邊的權(quán)重劃分為10 個(gè)等級，r=└課程成績/10┘+1，r∈{1,2,…,10},Aui,vj=r，表示學(xué)生ui在課程vj上的成績區(qū)間為r，且按照權(quán)值r將鄰接矩陣M分解成10個(gè)等級的0-1矩陣M1,M2,…,M10如圖1（c）所示。第r等級的矩陣其中Ar 為大小為m×n的0-1矩陣，r∈{1,2,…,10}。若學(xué)生i所選課程j的成績區(qū)間為r，則Ar第i行第j列的值為1。而對于其他等級r′≠r，Ar′對應(yīng)的第i行第j列的值為0。

圖1 數(shù)據(jù)預(yù)處理

2.2 整體架構(gòu)

本文提出的學(xué)生成績預(yù)測模型Graph-AE整體架構(gòu)如圖2所示。將現(xiàn)有的課程信息、學(xué)生信息和成績數(shù)據(jù)整合成二分圖的形式，并將二分圖G的鄰接矩陣M和頂點(diǎn)的初始化表示X作為AE 編碼器（即GCN）的輸入。經(jīng)過GCN編碼之后的向量將通過解碼器輸出成績預(yù)測矩陣，完成矩陣填充的過程。Graph-AE模型主要包括編碼器Encoder 部分和解碼器Decoder 部分。輸入數(shù)據(jù)X經(jīng)過2 層GCN（ReLu 作為激活函數(shù)）之后輸出編碼的均值Z_mean 和標(biāo)準(zhǔn)差的對數(shù)Z_log_std，得到輸出Z，作為解碼器Decoder 的輸入部分，數(shù)據(jù)經(jīng)過解碼器Decoder 得到成績預(yù)測矩陣。其中，在卷積前節(jié)點(diǎn)只攜帶自身信息；第一層卷積時(shí)，節(jié)點(diǎn)將其攜帶信息傳遞到其相鄰節(jié)點(diǎn)，經(jīng)過卷積之后節(jié)點(diǎn)學(xué)習(xí)到其鄰居節(jié)點(diǎn)的信息；第二層卷積時(shí)，節(jié)點(diǎn)及其攜帶的鄰居節(jié)點(diǎn)的信息傳遞到其下一跳節(jié)點(diǎn)，經(jīng)過卷積之后節(jié)點(diǎn)學(xué)習(xí)到其兩跳鄰居節(jié)點(diǎn)的信息[23]。

2.2.1 GCN層簡介

本小節(jié)主要介紹圖2 中的編碼器Encoder 部分，如圖2所示，使用GCN作為編碼器，且它是序貫式堆疊（前一個(gè)編碼器的輸出作為下一個(gè)編碼器的輸入）以達(dá)到逐層抽取數(shù)據(jù)特征的目的。

圖2 模型整體架構(gòu)

GCN的整體結(jié)構(gòu)如圖3所示，其中圓形表示學(xué)生節(jié)點(diǎn)，矩形表示課程節(jié)點(diǎn)，節(jié)點(diǎn)右上角表示節(jié)點(diǎn)的特征X（分別用紅、橙、黃、綠、青、藍(lán)、紫顏色的矩形表示節(jié)點(diǎn)A、B、C、D、E、F、G自身所攜帶信息）。在GCN中網(wǎng)絡(luò)結(jié)構(gòu)是嵌套的，如圖3所示。外層網(wǎng)絡(luò)根據(jù)圖的鄰接矩陣等信息實(shí)現(xiàn)相鄰節(jié)點(diǎn)之間的特征傳播和融合，如圖3（a）所示。內(nèi)層網(wǎng)絡(luò)通過淺層全連接前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)部各維度特征的融合和降維，其中每個(gè)神經(jīng)元對應(yīng)單個(gè)特征維度的信息，如圖3（b）所示。內(nèi)層網(wǎng)絡(luò)是所有節(jié)點(diǎn)共享的，作為整體嵌入到外層網(wǎng)絡(luò)。以節(jié)點(diǎn)A 為例，在圖卷積操作前，節(jié)點(diǎn)只攜帶自身信息，即特征向量A，它是五維。經(jīng)過外層網(wǎng)絡(luò)的計(jì)算之后，節(jié)點(diǎn)A 融合了其鄰居節(jié)點(diǎn)D、E、F 和G 的特征，得到五維特征向量。再經(jīng)過內(nèi)層網(wǎng)絡(luò)計(jì)算之后，融合并壓縮了各維度特征，得到三維特征向量

圖3 GCN模型架構(gòu)

本文采用兩層的GCN 當(dāng)做編碼器，其中第一層的隱層神經(jīng)元個(gè)數(shù)為64，第二層的隱層神經(jīng)元個(gè)數(shù)為32。即第一層是64維特征的融合，然后降維為32維，第二層是32維特征的融合，然后降維為10維（輸出層節(jié)點(diǎn)個(gè)數(shù)）。特征融合可以將神經(jīng)元學(xué)到的局部特征進(jìn)行融合，降維是為了減少過擬合，降低運(yùn)算的復(fù)雜度。之所以設(shè)置兩層GCN是因?yàn)橐粚由窠?jīng)網(wǎng)絡(luò)不能解決非線性問題，而網(wǎng)絡(luò)層的疊加會(huì)造成運(yùn)算量的幾何倍增大，但是精度并不會(huì)提高，一般情況下神經(jīng)網(wǎng)絡(luò)層數(shù)不超過3層，層數(shù)過多會(huì)造成精度的下降以及運(yùn)算量的增大。這個(gè)特征維度的確定是根據(jù)常用的神經(jīng)網(wǎng)絡(luò)隱藏層單元數(shù)設(shè)置公式，然后根據(jù)實(shí)驗(yàn)結(jié)果在一定范圍內(nèi)的微調(diào)嘗試得出來的。

值得注意的是圖3中M表示圖的鄰接矩陣，X是所有節(jié)點(diǎn)的特征向量組成的矩陣，W是內(nèi)層網(wǎng)絡(luò)的參數(shù)矩陣。但GCN 實(shí)際采用的是GCN=σ(LXW)[24]，其中L是拉普拉斯矩陣，L=D-M，D為度矩陣。圖3采用M矩陣只是為了方便理解。實(shí)際上，對于圖中每個(gè)節(jié)點(diǎn)而言，拉普拉斯矩陣在鄰接矩陣的基礎(chǔ)上引入度矩陣所起到的作用是分別計(jì)算該節(jié)點(diǎn)與其各個(gè)鄰居節(jié)點(diǎn)特征信息的差異，并對差異值進(jìn)行加權(quán)求和[13]。在本文中，鄰接矩陣的值是學(xué)生對應(yīng)的課程成績。對節(jié)點(diǎn)差異值進(jìn)行加權(quán)求和就是將學(xué)生之間的成績差距進(jìn)行加權(quán)求和，以便網(wǎng)絡(luò)更好的了解學(xué)生之間的差異性。具體權(quán)重值是神經(jīng)網(wǎng)絡(luò)的權(quán)重系數(shù)，由機(jī)器自己學(xué)出來的。

圖G的鄰接矩陣M、度矩陣D和初始化的節(jié)點(diǎn)矩陣X輸入GCN編碼器學(xué)習(xí)數(shù)據(jù)之間的潛在相關(guān)性，經(jīng)過激活函數(shù)ReLU得到隱藏層表示，最終得到學(xué)生節(jié)點(diǎn)編碼矩陣Zu∈?m×K和課程節(jié)點(diǎn)編碼矩陣Zv∈?n×K（m名學(xué)生，n門課程，K是超參數(shù)，是編碼之后的特征維度）。

上述過程可以用公式（1）和（2）來刻畫。式（1）中的D-1MrXWr,r∈{1,2,…,10} 相當(dāng)于綜合度矩陣、鄰接矩陣、特征矩陣和權(quán)重矩陣的信息，其中D-1Mr對應(yīng)第r等級成績矩陣經(jīng)過標(biāo)準(zhǔn)化后的拉普拉斯矩陣。Wr對應(yīng)第r等級成績矩陣的內(nèi)層網(wǎng)絡(luò)參數(shù)矩陣，用來學(xué)習(xí)第r等級的成績模式（假設(shè)是不同等級成績的模式也不同）。sum(?)加和操作是對各成績等級學(xué)到的模式進(jìn)行融合，從而得到反映學(xué)生節(jié)點(diǎn)和課程節(jié)點(diǎn)特征的中間隱藏層表達(dá)Hu∈?m×K和Hv∈?n×K。式（2）所起到的作用是將是將式（1）所得到的Hu和Hv通過參數(shù)矩陣W∈?N×K所對應(yīng)的全連接前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行特征維度的進(jìn)一步融合，得到學(xué)生節(jié)點(diǎn)編碼矩陣Zu和課程節(jié)點(diǎn)編碼矩陣Zv。

2.2.2 解碼器

將成績數(shù)據(jù)分為10 個(gè)等級輸入編碼器，在GCN 編碼之后將10個(gè)等級數(shù)據(jù)通過融合在一起形成編碼向量Z，然后通過解碼器預(yù)測學(xué)生成績屬于10 個(gè)等級之中的哪一個(gè)等級。如圖4所示，即通過解碼器將編碼器輸出的節(jié)點(diǎn)特征矩陣Z作為輸入，得到每個(gè)等級成績對應(yīng)的中間結(jié)果，如公式（3）所示，然后通過歸一化函數(shù)確定中間結(jié)果屬于哪一個(gè)等級。

圖4 解碼過程

其中，Hr表示r通道的權(quán)重矩陣，表示第r通道的輸出，⊙表示矩陣點(diǎn)乘；Hr大小為N×K。

2.3 優(yōu)化目標(biāo)

不同的損失函數(shù)，對應(yīng)p(x|z)的不同概率分布假設(shè)，這里每個(gè)節(jié)點(diǎn)編碼向量zi所符合分布的均值μi和方差σi未知，用最大似然估計(jì)優(yōu)化M，使得有一組均值μi和方差σi可以讓生成向量的概率取lb 后最大。訓(xùn)練過程，最小化負(fù)的lb 似然值，并用交叉熵cost（見公式（5））來度量M和Mˉ的差異，cost越小，M和Mˉ越接近。

Graph-AE 模型從輸入到輸出所有運(yùn)算均可導(dǎo)，由此通過SGD[25]優(yōu)化該網(wǎng)絡(luò)。該模型訓(xùn)練過程利用學(xué)生節(jié)點(diǎn)和課程節(jié)點(diǎn)的信息X以及學(xué)生成績M作為輸入，編碼過程生成學(xué)生和課程節(jié)點(diǎn)的編碼Z，最后輸出學(xué)生成績，該過程是一個(gè)無監(jiān)督的學(xué)習(xí)，剛好適合成績數(shù)據(jù)。

3 實(shí)驗(yàn)評估

3.1 數(shù)據(jù)集描述

本文所采用的成績數(shù)據(jù)集取自中南大學(xué)信息科學(xué)與工程學(xué)院2010 年至2016 年的研究生成績數(shù)據(jù)，共有學(xué)生頂點(diǎn)數(shù)Nu=369，課程頂點(diǎn)數(shù)Nv=142。本文將總數(shù)據(jù)集分割為三部分：2015 年9 月—2016 年7 月（記為data1）、2012年9月—2016年7月（記為data2）以及2010年1月—2016年12月（記為data3）。data1用以觀察一年時(shí)間的數(shù)據(jù)情況，data2 用以觀察四年時(shí)間的數(shù)據(jù)情況（因?yàn)閷W(xué)校的培養(yǎng)方案是四年變動(dòng)一次），data3 是所有數(shù)據(jù)。

本文使用RMSE[26]（均方根誤差）來評估成績預(yù)測模型的預(yù)測誤差。RMSE是均方誤差的算術(shù)平方根，是最常用來評估預(yù)測數(shù)據(jù)與真實(shí)數(shù)據(jù)差異的一個(gè)指標(biāo)，其計(jì)算如公式（6）所示。該評價(jià)指標(biāo)反映預(yù)測值和真實(shí)值的差距，值越接近0，差距越小。

3.2 基礎(chǔ)實(shí)驗(yàn)

為了確定實(shí)驗(yàn)中的參數(shù)，做了4 個(gè)基礎(chǔ)實(shí)驗(yàn)。將data1、data2、data3數(shù)據(jù)集各自劃分成85%、10%和5%作為訓(xùn)練集、測試集、驗(yàn)證集。模型學(xué)習(xí)率為0.1，優(yōu)化算法為ADAM，Dropout 率為0.1。預(yù)設(shè)有兩個(gè)GCN 編碼器單元，前者特征維度K為64，后者特征維度K′為32。

為了確定數(shù)據(jù)分10 個(gè)等級的合理性，觀察了將數(shù)據(jù)分為1、2、4、6、8、10、12、15和20各個(gè)等級下的實(shí)驗(yàn)效果，如圖5所示，將學(xué)生成績分為10個(gè)等級的時(shí)候，效果最好。

圖5 各等級數(shù)據(jù)RMSE的變化

為了確定模型的迭代次數(shù)epochs，觀察了模型在3組數(shù)據(jù)集中訓(xùn)練集損失函數(shù)（loss）值隨迭代次數(shù)變化的情況，如圖6所示。實(shí)驗(yàn)結(jié)果表明模型在迭代數(shù)epochs達(dá)200時(shí)穩(wěn)定收斂，因此選定模型參數(shù)epochs為200。

圖6 3組數(shù)據(jù)訓(xùn)練loss值的變化

為了觀察不同時(shí)間段數(shù)據(jù)的區(qū)別，觀察了3組數(shù)據(jù)集隨著訓(xùn)練迭代次數(shù)的增加，RMSE值的變化情況。如圖7 所示，3 組數(shù)據(jù)集的RMSE 曲線變化的趨勢是一致的。從圖7可觀察到僅有規(guī)模較小的數(shù)據(jù)集data1的訓(xùn)練過程存在一個(gè)小幅度的波動(dòng)。這說明即使在不同時(shí)間跨度不同數(shù)量級的訓(xùn)練數(shù)據(jù)上，模型都能很好地學(xué)到數(shù)據(jù)的特征。

圖7 3組訓(xùn)練數(shù)據(jù)RMSE變化

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中一般采用對模型參數(shù)隨機(jī)初始化的方式初始化參數(shù)。由于每次訓(xùn)練隨機(jī)產(chǎn)生的初始值存在差異，因此模型訓(xùn)練的評價(jià)指標(biāo)以及預(yù)測結(jié)果會(huì)存在變化。為了確定模型的效果，觀察使用data1 數(shù)據(jù)集隨機(jī)實(shí)驗(yàn)10 次得到的測試集評估指標(biāo)，并且加入常用的MSE 和MAE 來輔助驗(yàn)證。如圖8 所示（橫軸表示實(shí)驗(yàn)次數(shù)，縱軸表示評價(jià)指標(biāo)具體數(shù)值）。從圖8 可以觀察到，隨機(jī)實(shí)驗(yàn)10 次后得到的各項(xiàng)評估指標(biāo)趨于穩(wěn)定。因此，后續(xù)實(shí)驗(yàn)中，采用隨機(jī)實(shí)驗(yàn)10次取均值的方式表示模型的訓(xùn)練效果。

圖8 模型指標(biāo)隨實(shí)驗(yàn)次數(shù)的變化趨勢

3.3 對比實(shí)驗(yàn)

為了驗(yàn)證模型的有效性，將Graph-AE 與3 種經(jīng)典的推薦算法（分類聚類成績預(yù)測、矩陣分解成績預(yù)測以及協(xié)同過濾成績預(yù)測）進(jìn)行對比。

典型的推薦算法大致分為分類/聚類、矩陣分解以及協(xié)同過濾三類。其中，分類/聚類成績預(yù)測主要包含基于學(xué)生用戶鄰域推薦的k近鄰算法（userKNN）、基于課程鄰域推薦的k近鄰算法（itemKNN）、基于學(xué)生用戶推薦的聚類算法（user cluster）、基于課程推薦的聚類算法（item cluster）等4種方法；矩陣分解方法成績預(yù)測主要包含奇異值分解++（SVDPP）、非負(fù)矩陣分解（NMF）、biased 矩陣分解（biasedMF）、局部低秩張量矩陣分解算法（LLORMA）以及貝葉斯概率矩陣分解算法（BPMF）等5種方法；協(xié)同過濾成績預(yù)測主要包含基于全局的協(xié)同過濾推薦算法（global average）、基于內(nèi)容的推薦算法（aspect model rating）、基于課程的協(xié)同過濾推薦（item average）、基于學(xué)生的協(xié)同過濾推薦（user average）等4種方法。

實(shí)驗(yàn)對比了以上3 大類方法，實(shí)驗(yàn)結(jié)果如圖9 所示。其中，圖9（a）展示的是Graph-AE與分類/聚類推薦算法對比，在數(shù)據(jù)集data1、data2 和data3 上，Graph-AE的RMSE 比分類/聚類推薦算法平均低0.097、0.364 和2.046；圖9（b）展示的是Graph-AE 與矩陣分解算法對比，在數(shù)據(jù)集data1、data2和data3上，Graph-AE的RMSE比矩陣分解算法平均低0.134、0.703 和1.748；圖9（c）展示的是Graph-AE 與協(xié)同過濾算法對比，在數(shù)據(jù)集data1、data2和data3上，Graph-AE的RMSE比協(xié)同過濾算法平均低0.666、0.253 和1.186。實(shí)驗(yàn)表明，Graph-AE的RMSE 均明顯小于這13 種推薦算法，且在數(shù)據(jù)集data3中尤為明顯，data3根據(jù)培養(yǎng)方案，有些課程可能存在變動(dòng)，此時(shí)其他模型不能很好地適應(yīng)這種更改，而本文模型可以很好地適應(yīng)。

圖9 Graph_AE模型與經(jīng)典推薦算法的RMSE對比

4 總結(jié)

成績預(yù)測可以幫助學(xué)校和老師盡早發(fā)現(xiàn)問題，對學(xué)生個(gè)體進(jìn)行建模并針對性改進(jìn)教學(xué)的手段，從而有效促進(jìn)學(xué)生學(xué)習(xí)。本文針對現(xiàn)有工作的問題，提出了一種Graph-AE 模型，相比以往模型這種模型能自動(dòng)抽取學(xué)生成績數(shù)據(jù)的關(guān)鍵特征，從而完成成績預(yù)測任務(wù)，促進(jìn)教育教學(xué)質(zhì)量的提升。本文分析了該模型的工作原理，并通過實(shí)驗(yàn)驗(yàn)證了模型的有效性。