姚 麗 崔超然 馬樂樂 王飛超,3 馬玉玲 陳 勐 尹義龍

1(山東大學(xué)軟件學(xué)院 濟(jì)南 250100)2(山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 濟(jì)南 250014)3(齊魯師范學(xué)院網(wǎng)絡(luò)信息中心 濟(jì)南 250001)4(山東建筑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 濟(jì)南 250101)

教育是立國之本，強(qiáng)國之基.隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，收集教育相關(guān)數(shù)據(jù)變得更為方便快捷，對教育大數(shù)據(jù)的分析、挖掘和應(yīng)用是教育發(fā)展的重要需求和必然趨勢[1].學(xué)生成績預(yù)測，又稱為學(xué)生學(xué)業(yè)表現(xiàn)預(yù)測，是指利用學(xué)生的相關(guān)信息預(yù)測其在未來的學(xué)業(yè)表現(xiàn)[2]，包括課程成績、學(xué)期末綜合成績以及是否存在退學(xué)風(fēng)險(xiǎn)等.借助學(xué)生成績預(yù)測技術(shù)，教師可以清晰洞察學(xué)生的學(xué)習(xí)狀態(tài)與質(zhì)量，并以此為基礎(chǔ)開展差異化教學(xué)，滿足學(xué)生的個(gè)性化學(xué)習(xí)需求，真正達(dá)到“以評促學(xué)”的目的.此外，學(xué)生成績預(yù)測技術(shù)也有助于高校開展學(xué)業(yè)預(yù)警工作，特別是根據(jù)對學(xué)生成績的實(shí)時(shí)預(yù)測結(jié)果建立動態(tài)的預(yù)警機(jī)制，及時(shí)發(fā)現(xiàn)可能無法正常完成學(xué)業(yè)的學(xué)生，引導(dǎo)他們走出困境，順利實(shí)現(xiàn)人才培養(yǎng)的目標(biāo).因此，無論是從提升教學(xué)效果還是從強(qiáng)化學(xué)生管理的角度來看，學(xué)生成績預(yù)測技術(shù)都具有重要的研究價(jià)值和實(shí)踐意義.

近年來，學(xué)生成績預(yù)測受到國內(nèi)外學(xué)者的廣泛關(guān)注，涌現(xiàn)出了一系列卓有成效的研究工作.早期的研究大多集中在教育學(xué)和心理學(xué)領(lǐng)域，試圖探索影響學(xué)生學(xué)業(yè)表現(xiàn)的關(guān)鍵因素，例如性格構(gòu)成、學(xué)習(xí)動機(jī)、家庭環(huán)境等.這類研究主要依據(jù)部分學(xué)生提供的自我評估報(bào)告，在樣本規(guī)模、時(shí)效性等方面存在較大的缺陷，所得出的結(jié)論也易受到受訪個(gè)體主觀意識的影響.部分研究采用學(xué)生在學(xué)習(xí)過程中的表現(xiàn)信息，例如出勤情況[3]、作業(yè)完成情況[4]、階段性測試成績[5]等，對學(xué)生的課程最終成績進(jìn)行預(yù)測.由于課程學(xué)習(xí)過程的表現(xiàn)信息與最終成績存在較強(qiáng)的關(guān)聯(lián)性，所得模型往往可以取得較好的預(yù)測性能.但是，此類研究需要課程開展之后一段時(shí)間方可進(jìn)行，因而無法預(yù)測學(xué)生在課程初始階段的學(xué)習(xí)表現(xiàn)，導(dǎo)致預(yù)測結(jié)果存在一定的滯后性[6].

值得注意的是，隨著我國高校信息化建設(shè)的持續(xù)推進(jìn)，大學(xué)校園網(wǎng)絡(luò)認(rèn)證系統(tǒng)越來越完善，學(xué)生可以通過個(gè)人電腦或者移動設(shè)備在校園內(nèi)方便地接入校園網(wǎng)絡(luò)，各高校也逐步積累了豐富的學(xué)生校園上網(wǎng)行為數(shù)據(jù).教育心理學(xué)領(lǐng)域的研究已經(jīng)表明：人的外在行為表現(xiàn)和學(xué)習(xí)能力密切相關(guān).受此啟發(fā)，我們認(rèn)為不同的上網(wǎng)行為可能也在一定程度上反映了學(xué)生不同的學(xué)習(xí)狀態(tài).例如，課余時(shí)間頻繁訪問教育類型網(wǎng)站表明學(xué)生持續(xù)保持學(xué)習(xí)狀態(tài)，因而在考試中更有可能取得優(yōu)異的成績.因此，本文提出以校園上網(wǎng)行為感知為切入點(diǎn)，對學(xué)生成績預(yù)測問題展開研究，通過分析挖掘?qū)W生的上網(wǎng)行為日志，構(gòu)建有效的學(xué)生行為特征，進(jìn)而預(yù)測學(xué)生未來的學(xué)業(yè)表現(xiàn).

然而，在實(shí)現(xiàn)上述目標(biāo)時(shí)仍面臨著諸多挑戰(zhàn)：

1) 學(xué)生的上網(wǎng)行為通常按照時(shí)間順序被記錄，因而對上網(wǎng)行為進(jìn)行分析可以被看作是一個(gè)典型的行為序列建模問題[7].但是，上網(wǎng)行為往往持續(xù)發(fā)生，導(dǎo)致行為序列的長度很大，傳統(tǒng)的序列分析方法難以對長序列數(shù)據(jù)進(jìn)行有效分析.

2) 現(xiàn)有的相關(guān)工作[8-9]需要通過特征工程對學(xué)生行為序列進(jìn)行處理并提取特征，特征的可靠性高度依賴于人工經(jīng)驗(yàn)和領(lǐng)域先驗(yàn)知識，設(shè)計(jì)合理有效的序列特征具有很高的難度.

3) 由于很難準(zhǔn)確地預(yù)測學(xué)生的具體成績分值，現(xiàn)有方法大多關(guān)注于預(yù)測學(xué)生在成績上的相對排名.但是，對于學(xué)生數(shù)量有限的專業(yè)，如何在訓(xùn)練時(shí)有效緩解數(shù)據(jù)稀疏性問題是一個(gè)亟待解決的問題.

針對上述問題，本文提出了一種雙層自注意力網(wǎng)絡(luò)(dual-level self-attention network, DEAN)來建模學(xué)生的上網(wǎng)行為特征.受到近年來自注意力機(jī)制在諸多序列建模任務(wù)上的良好表現(xiàn)[10]，該深度學(xué)習(xí)模型可以端到端地學(xué)習(xí)學(xué)生上網(wǎng)行為特征，避免引入特征工程.具體來說，首先利用低層級的自注意力層來建模學(xué)生一天內(nèi)不同時(shí)間段的上網(wǎng)行為，構(gòu)建局部上網(wǎng)行為特征；進(jìn)一步地，利用高層級的自注意力層將學(xué)生在不同日期的局部上網(wǎng)行為進(jìn)行融合，最終構(gòu)建全局上網(wǎng)行為特征.相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)等方法[11]，自注意力網(wǎng)絡(luò)被證明可以更為有效地捕獲序列數(shù)據(jù)之間的長時(shí)依賴關(guān)系[10]，而本文進(jìn)一步引入級聯(lián)式架構(gòu)來分別提取學(xué)生的局部上網(wǎng)行為特征和全局上網(wǎng)行為特征，從而可以更好地解決長序列數(shù)據(jù)建模問題.

此外，本文引入多任務(wù)學(xué)習(xí)策略[12].通過共享雙層自注意力層的模型參數(shù)，實(shí)現(xiàn)在統(tǒng)一的框架下同時(shí)訓(xùn)練面向不同專業(yè)的學(xué)生成績預(yù)測模型，從而有效緩解部分專業(yè)訓(xùn)練樣本不足的問題.最后，設(shè)計(jì)了一個(gè)基于學(xué)生排名差的代價(jià)敏感損失函數(shù)(cost-sensitive loss)[13]，進(jìn)一步提升了預(yù)測方法的準(zhǔn)確性.

本文工作的主要貢獻(xiàn)有3個(gè)方面：

1) 與傳統(tǒng)方法基于學(xué)生歷史學(xué)習(xí)表現(xiàn)或校園一卡通刷卡記錄等數(shù)據(jù)進(jìn)行研究的思路不同，本文從校園上網(wǎng)行為感知的角度來進(jìn)行學(xué)生成績預(yù)測，為后續(xù)研究提供了新思路、新視角.

2) 構(gòu)建了一個(gè)端到端的雙層自注意力網(wǎng)絡(luò)來有效建模學(xué)生的上網(wǎng)行為序列數(shù)據(jù)，進(jìn)而預(yù)測學(xué)生成績；同時(shí)，引入多任務(wù)學(xué)習(xí)策略將面向不同專業(yè)的學(xué)生成績預(yù)測問題進(jìn)行關(guān)聯(lián)，并設(shè)計(jì)了基于學(xué)生排名差的代價(jià)敏感損失函數(shù)進(jìn)一步提高預(yù)測性能.

3) 收集構(gòu)建了一個(gè)真實(shí)的校園上網(wǎng)行為數(shù)據(jù)集，并將學(xué)生上網(wǎng)行為數(shù)據(jù)和成績數(shù)據(jù)相關(guān)聯(lián).在該數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的序列分析方法，本文所提出的方法具有更好的性能.

1 相關(guān)工作

學(xué)生成績是衡量教育質(zhì)量和教學(xué)水平的關(guān)鍵指標(biāo).學(xué)生成績預(yù)測研究對于實(shí)現(xiàn)個(gè)性化教學(xué)、提升教學(xué)質(zhì)量具有重要意義，因而近年來受到研究人員的廣泛關(guān)注.

1.1 在線教學(xué)場景中的學(xué)生成績預(yù)測

面向在線教學(xué)場景，Ren等人[14]基于學(xué)生在慕課平臺上的視頻觀看時(shí)長、每日學(xué)習(xí)的模塊數(shù)目以及完成測驗(yàn)的次數(shù)等信息，采用多元線性回歸模型預(yù)測學(xué)生在課程上的最終成績.Jiang等人[15]根據(jù)學(xué)生開課后第一周的學(xué)習(xí)行為來預(yù)測他們最終的課程成績等級.He等人[16]根據(jù)學(xué)生每周的課程參與情況，采用遷移學(xué)習(xí)方法在每一周預(yù)測學(xué)生中途放棄課程學(xué)習(xí)的可能性.Macfadyen等人[17]考慮學(xué)生在課程討論區(qū)中的發(fā)帖數(shù)量和評測完成情況，分別利用回歸和分類方法預(yù)測學(xué)生最終的成績分值以及是否存在不及格的風(fēng)險(xiǎn).蔣卓軒等人[18]針對中文慕課中學(xué)習(xí)行為的特點(diǎn)將學(xué)生分類，并選擇開課后前幾周的學(xué)習(xí)行為特征，采用線性分類器預(yù)測學(xué)生是否能順利獲得課程結(jié)業(yè)證書.Li等人[19]將不同的在線學(xué)習(xí)行為看作學(xué)生的多視圖特征，利用半監(jiān)督多視圖學(xué)習(xí)算法預(yù)測學(xué)生是否能完成課程.Feng等人[20]基于學(xué)習(xí)行為對學(xué)生進(jìn)行聚類，并利用卷積神經(jīng)網(wǎng)絡(luò)融合學(xué)生個(gè)人學(xué)習(xí)行為、同一類別中的他人學(xué)習(xí)行為和課程信息來預(yù)測學(xué)生是否能完成課程.

在線教育更加需要個(gè)性化、多樣性以及適應(yīng)性的學(xué)習(xí).在學(xué)生數(shù)量龐大的情況下，跟蹤和了解每個(gè)學(xué)生的學(xué)習(xí)情況對于老師來說困難很大.因此，知識追蹤(knowledge tracing, KT)近年來受到越來越多的關(guān)注.知識追蹤的流行算法有貝葉斯知識追蹤(Bayesian knowledge tracing, BKT)[21]、深度知識追蹤(deep knowledge tracing, DKT)[22]等.當(dāng)學(xué)生完成一個(gè)練習(xí)后，模型會動態(tài)地更新學(xué)生的知識狀態(tài).從這個(gè)角度來看，知識追蹤的基本思想與典型的序列行為挖掘[23]相似，基于學(xué)生相關(guān)的靜態(tài)數(shù)據(jù)，如考試數(shù)據(jù)[24]等，發(fā)現(xiàn)和建模學(xué)生的潛在特征或技能熟練程度.Yu等人[25]收集了學(xué)生的練習(xí)記錄和習(xí)題信息，LSTM結(jié)合注意力機(jī)制來關(guān)注學(xué)生對于類似題目的訓(xùn)練情況.Chen等人[26]提出的KPT(knowledge proficiency tracing)模型通過加入教育先驗(yàn)知識提高了模型的可解釋性.

1.2 在校園教學(xué)場景中的學(xué)生成績預(yù)測

面向校園教學(xué)場景，Huang等人[5]根據(jù)學(xué)生在前導(dǎo)課程和開課后過程性考核中的成績，分別采用4種常見的機(jī)器學(xué)習(xí)模型來預(yù)測學(xué)生在期末考試中的成績.類似地，Polyzou等人[27]根據(jù)學(xué)生的過往成績，利用多種機(jī)器學(xué)習(xí)模型來嘗試在學(xué)期開始之前對學(xué)生的課程期末成績進(jìn)行預(yù)測.黃建明[28]根據(jù)不同課程之間的依賴關(guān)系以及學(xué)生在先導(dǎo)課程上的成績，提出了一種基于貝葉斯網(wǎng)絡(luò)模型的課程成績預(yù)測方法.Ma等人[29]在前期基于學(xué)生在已完成課程上的學(xué)習(xí)情況來預(yù)測其在新學(xué)期待開設(shè)課程上的成績.針對學(xué)生已完成課程不一致的問題，采用多示例學(xué)習(xí)方法將學(xué)生表示為包含不同課程的集合；并且采用多標(biāo)記學(xué)習(xí)方法同時(shí)建立多門待開設(shè)課程的預(yù)測模型，使得課程間的關(guān)聯(lián)關(guān)系得到潛在的利用.

考慮到人的外在行為表現(xiàn)和學(xué)習(xí)能力密切相關(guān)，目前已有少量研究將校園行為信息引入到學(xué)生成績預(yù)測中.例如Lian等人[30]根據(jù)學(xué)生的借書記錄數(shù)據(jù)，利用矩陣分解算法為學(xué)生推薦書目并預(yù)測學(xué)生的平均學(xué)分績點(diǎn)(grade point average, GPA)成績.此外，該研究組通過統(tǒng)計(jì)不同學(xué)生在同一地點(diǎn)共同出現(xiàn)的次數(shù)來度量學(xué)生之間的關(guān)系親密程度，并采用圖傳播算法預(yù)測學(xué)生的GPA等級[31].Cao等人[8]和Yao等人[32]根據(jù)校園一卡通刷卡記錄數(shù)據(jù)，人為定義了代表學(xué)生校園行為規(guī)律性、學(xué)習(xí)勤奮程度和睡眠習(xí)慣的指標(biāo)，并依據(jù)這些指標(biāo)預(yù)測學(xué)生的GPA排名.

對于學(xué)生上網(wǎng)行為，Cao等人[33]統(tǒng)計(jì)分析了505名手機(jī)社交網(wǎng)站用戶收集的日志數(shù)據(jù)，發(fā)現(xiàn)過度使用手機(jī)社交網(wǎng)站會對學(xué)業(yè)成績產(chǎn)生負(fù)面影響.Chen等人[34]利用問卷調(diào)查的方法探討了大學(xué)生網(wǎng)絡(luò)使用情況與學(xué)業(yè)成績、人際關(guān)系、社會心理適應(yīng)及自我評價(jià)之間的關(guān)系，發(fā)現(xiàn)輕度上網(wǎng)用戶的學(xué)業(yè)成績以及對學(xué)習(xí)狀況的滿意度均優(yōu)于重度上網(wǎng)用戶.Xu等人[9]人為定義了上網(wǎng)時(shí)間、上網(wǎng)頻率、上網(wǎng)流量和分時(shí)段上網(wǎng)時(shí)間4種特征，基于淺層機(jī)器學(xué)習(xí)的方法來預(yù)測學(xué)生成績.

近些年，深度學(xué)習(xí)發(fā)展迅速，大家開始將深度學(xué)習(xí)與時(shí)間序列的傳統(tǒng)模型結(jié)合起來，出現(xiàn)了一些新的時(shí)間序列建模方法.Salinas等人[35]在深度學(xué)習(xí)的基礎(chǔ)上，提出了深度自回歸模型(DeepAR)對時(shí)間序列數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，設(shè)計(jì)了基于LSTM(long short-term memory)的自回歸RNN架構(gòu)來解決概率預(yù)測問題.Vaswani等人[10]提出Transformer模型，該模型使用注意力機(jī)制來處理數(shù)據(jù)，Transformer模型可以使用任意的歷史數(shù)據(jù)，更加適合具有長期依賴的數(shù)據(jù).曹洪江等人[7]發(fā)現(xiàn)學(xué)生學(xué)習(xí)知識的時(shí)間是動態(tài)的，提出利用LSTM模型預(yù)測學(xué)生成績.

如上所述，盡管文獻(xiàn)[9,33-34]已經(jīng)從校園上網(wǎng)行為感知的角度開展學(xué)生成績預(yù)測工作，也有序列建模的方式來進(jìn)行學(xué)生成績預(yù)測，但在實(shí)現(xiàn)時(shí)都采用基本的統(tǒng)計(jì)分析方法或基于特征工程的淺層機(jī)器學(xué)習(xí)方法.與之相反，本文構(gòu)建了一個(gè)端到端的雙層自注意力網(wǎng)絡(luò)來有效建模學(xué)生的上網(wǎng)行為序列.

2 數(shù)據(jù)收集與分析

為了支撐研究順利開展，本文收集構(gòu)建了學(xué)生校園上網(wǎng)行為數(shù)據(jù)集，并將學(xué)生的上網(wǎng)行為數(shù)據(jù)和成績數(shù)據(jù)相關(guān)聯(lián).本節(jié)首先介紹數(shù)據(jù)集的收集過程，然后通過相關(guān)性分析來說明不同校園上網(wǎng)行為和學(xué)生成績之間的關(guān)系.

2.1 數(shù)據(jù)收集

隨著教育信息化的發(fā)展，校園網(wǎng)絡(luò)認(rèn)證系統(tǒng)在各高校內(nèi)迅速普及，每個(gè)學(xué)生海量的細(xì)粒度校園上網(wǎng)行為以一種完全隱蔽的方式被記錄下來.學(xué)生通過學(xué)生ID可接入校園網(wǎng)，一旦學(xué)生發(fā)出網(wǎng)絡(luò)訪問請求，都會在網(wǎng)絡(luò)日志文件中產(chǎn)生有良好格式和標(biāo)識符的相應(yīng)記錄，包括一個(gè)加密的學(xué)生ID、請求的URL、請求的時(shí)間、應(yīng)用類型、具體應(yīng)用、源和目標(biāo)IP地址，以及一些終端、服務(wù)器端口等信息.結(jié)合這些記錄可以將學(xué)生ID和他們的上網(wǎng)行為進(jìn)行一一對應(yīng).

本文中的學(xué)生校園上網(wǎng)行為數(shù)據(jù)來自于國內(nèi)一所公立大學(xué)，經(jīng)過網(wǎng)絡(luò)中心批準(zhǔn)，我們收集了7個(gè)不同的專業(yè)共519名學(xué)生80天內(nèi)的校園上網(wǎng)行為數(shù)據(jù)，時(shí)間跨度是從2020-10-01—2020-12-19.我們對上網(wǎng)行為數(shù)據(jù)進(jìn)行脫敏處理，用偽學(xué)號代替真實(shí)學(xué)號從而達(dá)到匿名化效果，把偽學(xué)號作為主鍵把其他不相關(guān)的字段刪除，確保不會泄露網(wǎng)絡(luò)用戶的隱私.具體專業(yè)以及各專業(yè)學(xué)生數(shù)量如表1所示:

Table 1 Number of Students of Different Majors表1 不同專業(yè)學(xué)生數(shù)量

在對學(xué)生的校園上網(wǎng)行為進(jìn)行分析的過程中發(fā)現(xiàn)，學(xué)生日常訪問站點(diǎn)的數(shù)量龐大，為了便于理解學(xué)生的上網(wǎng)行為模式，我們按照訪問站點(diǎn)的類型對學(xué)生的上網(wǎng)行為進(jìn)行了分類，分別將學(xué)生對于新聞、IT相關(guān)、教育、娛樂、Web應(yīng)用、生活相關(guān)、經(jīng)濟(jì)、流媒體、社交、網(wǎng)購、導(dǎo)航、移動下載以及其他類別網(wǎng)站的訪問作為13種不同類型的上網(wǎng)行為.考慮到絕大多數(shù)學(xué)生在夜晚休息期間較少進(jìn)行上網(wǎng)操作，本文以1 h為單位時(shí)間段，僅統(tǒng)計(jì)學(xué)生在每天早上6點(diǎn)至晚上12點(diǎn)共計(jì)18個(gè)時(shí)間段內(nèi)產(chǎn)生不同類型上網(wǎng)行為的頻次.

對于成績信息，我們通過學(xué)校教務(wù)系統(tǒng)獲取了全部學(xué)生在2020—2021學(xué)年秋季學(xué)期末在不同課程上取得的考試成績和課程學(xué)分，并進(jìn)一步計(jì)算得到學(xué)生的GPA.直接對學(xué)生的絕對GPA分?jǐn)?shù)進(jìn)行估計(jì)是相當(dāng)困難的，相比之下，更為可行的方式是預(yù)測學(xué)生在成績上的相對排名[8,32].為此，本文按照GPA分?jǐn)?shù)遞減的順序?qū)W(xué)生進(jìn)行排序，即成績較好的學(xué)生被排在較靠前的位置.

2.2 學(xué)生校園上網(wǎng)行為與成績的相關(guān)性分析

在獲取數(shù)據(jù)后，本文對學(xué)生的上網(wǎng)行為和成績進(jìn)行了相關(guān)性分析.圖1(a)和圖1(b)分別展示了各專業(yè)學(xué)生對于教育類型網(wǎng)站和娛樂類型網(wǎng)站的訪問頻率與他們成績排名之間的相關(guān)關(guān)系散點(diǎn)圖.

Fig. 1 The relationship between interview rating and score ranking圖1 訪問頻率與成績排名之間的關(guān)系

為了方便展示，我們對網(wǎng)站訪問頻率進(jìn)行了去均值化操作，即先統(tǒng)計(jì)出同一專業(yè)所有學(xué)生對某類型網(wǎng)站訪問頻率的平均值，再將該專業(yè)每一位學(xué)生對此類型網(wǎng)站訪問頻率減去平均值.同時(shí)，采用離差標(biāo)準(zhǔn)化(min-max normalization)方法將成績排名變量變化到0～1之間，即成績排名值越接近0，意味著成績越好.從圖上可以觀察到，越頻繁訪問教育類型網(wǎng)站的學(xué)生通常會取得更好的成績，而娛樂類型網(wǎng)站的訪問頻率卻與學(xué)生成績排名呈現(xiàn)明顯的負(fù)相關(guān)關(guān)系.

其次，本文統(tǒng)計(jì)了任意兩名學(xué)生在相同時(shí)間段產(chǎn)生同一種上網(wǎng)行為的頻率，以及他們在學(xué)期末成績排名上的差值.進(jìn)一步地，將成績排名差值相同的學(xué)生集合在一起，并統(tǒng)計(jì)集合內(nèi)每一對學(xué)生相同上網(wǎng)行為頻率的中位數(shù).圖2展示了學(xué)前教育專業(yè)的學(xué)生的成績排名差值與相同上網(wǎng)行為頻率中位數(shù)之間的相關(guān)關(guān)系散點(diǎn)圖.這里依舊采用了離差標(biāo)準(zhǔn)化方法將2個(gè)變量的值變化到0～1之間.可以看到，成績排名越接近的學(xué)生會更頻繁地在同一時(shí)間段內(nèi)產(chǎn)生相同類型的上網(wǎng)行為.這再次驗(yàn)證了，學(xué)生的校園上網(wǎng)行為和學(xué)習(xí)成績之間具有密切的關(guān)聯(lián)性.

Fig. 2 The relationship between the median of the same online behavior frequency and the ranking difference圖2 相同上網(wǎng)行為頻率的中位數(shù)與排名差值之間的關(guān)系

3 方 法

為了有效利用學(xué)生上網(wǎng)行為數(shù)據(jù)來預(yù)測他們的成績，本文構(gòu)建了一個(gè)端到端的雙層自注意力網(wǎng)絡(luò)DEAN.同時(shí),引入多任務(wù)學(xué)習(xí)機(jī)制，將面向不同專業(yè)學(xué)生的成績預(yù)測問題進(jìn)行關(guān)聯(lián)，并設(shè)計(jì)了一個(gè)代價(jià)敏感損失函數(shù)來進(jìn)一步提高方法的性能.

3.1 問題定義

給定一個(gè)學(xué)生，本文收集該學(xué)生連續(xù)n天的上網(wǎng)行為記錄，即學(xué)生對于不同類型網(wǎng)站的訪問頻率.具體來說，可以用矩陣Ai∈l×m編碼學(xué)生在第i天的上網(wǎng)行為，其中m表示一天中時(shí)間段的個(gè)數(shù)，l表示網(wǎng)站的類別個(gè)數(shù).設(shè)l為Ai的第j列，其進(jìn)一步表示了學(xué)生在第i天第j個(gè)時(shí)間段的上網(wǎng)行為，它的第k個(gè)元素代表了學(xué)生在該時(shí)間段內(nèi)對于第k種類型網(wǎng)站的訪問頻率.

遵循現(xiàn)有工作中的問題設(shè)定[8,32]，本文旨在預(yù)測學(xué)生之間在成績上的相對排名.形式上，方法需要找到一個(gè)映射函數(shù)f，該函數(shù)將一個(gè)學(xué)生的上網(wǎng)行為表示映射為一個(gè)成績值，并根據(jù)該值對學(xué)生進(jìn)行排序.設(shè)u和v代表2個(gè)學(xué)生，yuv∈{+1,-1}代表兩者之間真實(shí)的成績相對關(guān)系，即yuv=+1表示u的成績優(yōu)于v，yuv=-1表示u的成績落后于v.在訓(xùn)練中，方法的目標(biāo)是使得映射函數(shù)f的輸出盡可能地滿足學(xué)生u和v之間的成績相對關(guān)系.也就是說，若yuv=+1，則應(yīng)使得f(u)>f(v)；否則，則應(yīng)使得f(u)

(1)

其中S表示訓(xùn)練學(xué)生集合.

3.2 雙層自注意力網(wǎng)絡(luò)

由于學(xué)生上網(wǎng)行為序列的長度很大，傳統(tǒng)的序列建模方法難以對長序列數(shù)據(jù)進(jìn)行有效分析.為了解決該問題，本文提出的DEAN包含一個(gè)由局部自注意力層和全局自注意力層構(gòu)成的級聯(lián)式架構(gòu)，分層次建模學(xué)生一天內(nèi)的局部上網(wǎng)行為特征和整個(gè)時(shí)間跨度上的全局上網(wǎng)行為特征. DEAN的框架圖如圖3所示:

Fig. 3 Architecture of the proposed DEAN圖3 本文提出的DEAN架構(gòu)圖

3.2.1 局部自注意力層

(2)

(3)

(4)

其中,Vl∈d×l是另一個(gè)需要學(xué)習(xí)的變換矩陣.

本文采用多頭自注意力機(jī)制(multi-head self-attention mechanism)，學(xué)習(xí)h組不同的變換矩陣Ql,Kl和Vl，即同時(shí)在h個(gè)潛在空間內(nèi)進(jìn)行特征變換，然后將結(jié)果進(jìn)行拼接以實(shí)現(xiàn)信息互補(bǔ)，并通過參數(shù)矩陣Wl∈hd×d與它們相乘，獲取多頭注意力機(jī)制的輸出，計(jì)算過程：

(5)

(6)

3.2.2 全局自注意力層

(7)

最終，經(jīng)過求和操作整合不同天的上網(wǎng)行為特征以獲得學(xué)生的全局行為特征表示：

(8)

其中,n為總天數(shù).

3.2.3 預(yù)測層

給定學(xué)生u，DEAN將u的全局行為特征表示輸入一個(gè)帶有sigmoid激活函數(shù)的全連接層來預(yù)測u的成績水平，即:

f(u)=σ(wpg+b),

(9)

其中,σ代表sigmoid函數(shù)，wp代表權(quán)重向量，b代表偏置量.

3.3 多任務(wù)學(xué)習(xí)

由于不同專業(yè)的課程設(shè)置以及考試內(nèi)容不一致，不同專業(yè)的學(xué)生的成績無法進(jìn)行直接比較.本文將對各專業(yè)學(xué)生的成績預(yù)測問題視為一項(xiàng)單獨(dú)的任務(wù)，并引入多任務(wù)學(xué)習(xí)策略[38-39]，在一個(gè)統(tǒng)一的框架中同時(shí)建模多個(gè)任務(wù).遵循經(jīng)典的硬參數(shù)共享(hard parameter sharing)策略[40]，使不同任務(wù)共享局部自注意力層和全局自注意力層的模型參數(shù)，但分別構(gòu)建各自的預(yù)測層以實(shí)現(xiàn)特定任務(wù)的成績預(yù)測.通過多任務(wù)學(xué)習(xí)，DEAN可以利用不同任務(wù)之間潛在的關(guān)聯(lián)性，而且可以緩解由于某些專業(yè)的學(xué)生人數(shù)較少而導(dǎo)致的訓(xùn)練樣本不足的問題.

3.4 代價(jià)敏感學(xué)習(xí)

在模型實(shí)現(xiàn)過程中，我們發(fā)現(xiàn)模型可以較好地判斷2個(gè)排名差距較大的學(xué)生之間的成績相對關(guān)系，但對于排名較為接近的2個(gè)學(xué)生，在預(yù)測時(shí)卻經(jīng)常出現(xiàn)錯(cuò)誤.本文將前者稱為簡單樣本，將后者稱為困難樣本.直觀上解釋，困難樣本會導(dǎo)致更大的樣本損失和更多的反向傳播梯度；相反，簡單樣本在訓(xùn)練過程中的貢獻(xiàn)較小，在學(xué)習(xí)模型參數(shù)時(shí)作用有限.有鑒于此，本文進(jìn)一步引入代價(jià)敏感學(xué)習(xí)(cost-sensitive learning)的思想[41]，根據(jù)成績排名差距為不同的學(xué)生樣本對分配不同的權(quán)重.給定2個(gè)學(xué)生u和v，定義他們組成的學(xué)生樣本對的權(quán)重：

(10)

其中,r(u)和r(v)表示u和v真實(shí)的成績排名，|S|代表專業(yè)內(nèi)的學(xué)生總數(shù).式(10)表明若r(u)和r(v)的差別越小，則u和v構(gòu)成了一個(gè)困難樣本，對應(yīng)的權(quán)重wuv越大，在訓(xùn)練過程中更應(yīng)優(yōu)先確保對u和v之間成績相對關(guān)系預(yù)測的準(zhǔn)確性.相應(yīng)地，模型的損失函數(shù)被修改：

(11)

4 實(shí) 驗(yàn)

本文數(shù)據(jù)集為隨機(jī)抽取的20萬對學(xué)生對，實(shí)驗(yàn)過程中數(shù)據(jù)集的正負(fù)樣本比為1∶1.本文進(jìn)行了一系列實(shí)驗(yàn)，從不同角度對本文所提出的學(xué)生成績預(yù)測方法的有效性進(jìn)行了驗(yàn)證.數(shù)據(jù)集統(tǒng)計(jì)情況如表2所示.所有的實(shí)驗(yàn)均在配置有2核2.4 GHz Intel Xeon處理器和1塊NVIDIA Titan XP顯卡的工作站上進(jìn)行.

Table 2 Dataset Statistics表2 數(shù)據(jù)集統(tǒng)計(jì)情況

4.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)分別從每個(gè)專業(yè)中隨機(jī)挑選出70%和10%的學(xué)生用于訓(xùn)練和驗(yàn)證，將剩余20%的學(xué)生作為測試對象.基于深度學(xué)習(xí)框架Pytorch[42]對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測試.在訓(xùn)練時(shí)，采用Adam優(yōu)化器[43]，設(shè)批處理大小為32，所有網(wǎng)絡(luò)層的初始學(xué)習(xí)率為10-5.在訓(xùn)練過程中，每20個(gè)周期將學(xué)習(xí)率減半，總共訓(xùn)練50個(gè)周期.

4.2 評價(jià)指標(biāo)

準(zhǔn)確率(accuracy,Acc)和ROC曲線下方的面積大小(area under curve,AUC)都是被經(jīng)常采用的評價(jià)模型分類性能的評價(jià)指標(biāo).面向?qū)W生成績預(yù)測任務(wù)，本文遵循了先前工作[30-32]的做法，選擇了Acc和斯皮爾曼等級相關(guān)系數(shù)評價(jià)模型的好壞.本文首先度量算法對于成對學(xué)生之間成績好壞判斷的Acc.給定測試學(xué)生集合S，Acc指標(biāo)定義：

(12)

同時(shí)，采用斯皮爾曼等級相關(guān)系數(shù)[44]來度量算法預(yù)測的學(xué)生成績排序和真實(shí)成績排序之間的相關(guān)性.斯皮爾曼等級相關(guān)系數(shù)越高，表明算法對于學(xué)生成績排序的預(yù)測性能越好.斯皮爾曼等級相關(guān)系數(shù)ρ定義：

(13)

4.3 實(shí)驗(yàn)結(jié)果與分析

Fig. 4 Performance comparison between the methods across students of different majors圖4 不同專業(yè)學(xué)生在不同方法上的準(zhǔn)確率比較

4.3.1 對比實(shí)驗(yàn)

在實(shí)驗(yàn)中，將本文所提出的雙層自注意力網(wǎng)絡(luò)DEAN與3種傳統(tǒng)的深度序列建模方法進(jìn)行對比，包括：長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory, LSTM)[45]、時(shí)序卷積網(wǎng)絡(luò)(temporal convolutional network, TCN)[46]以及Transformer網(wǎng)絡(luò)[10].此外，實(shí)驗(yàn)還選擇分層注意力網(wǎng)絡(luò)(hierarchical attention network, HAN)[47]作為基線方法. 與DEAN類似，HAN基于LSTM采用雙層注意力機(jī)制首先融合學(xué)生一天內(nèi)不同時(shí)間段的上網(wǎng)行為，進(jìn)而將學(xué)生在不同天的上網(wǎng)行為進(jìn)行融合.不同方法之間的性能對比如表3所示:

Table 3 Performance Comparison of Different Methods表3 不同方法的性能比較 %

從表3中可以看出，相比其他4種方法，本文所提出的DEAN模型在學(xué)生成績預(yù)測任務(wù)上取得了最好的結(jié)果.具體地說，DEAN在準(zhǔn)確率和斯皮爾曼等級相關(guān)系數(shù)上分別達(dá)到了74.06%和65.85%的成績，大幅超過了次優(yōu)模型Transformer，在2個(gè)指標(biāo)上分別獲得了3.78%和4.68%的相對提升.

比較而言，LSTM，TCN和Transformer直接將學(xué)生長時(shí)間連續(xù)的行為序列作為輸入進(jìn)行學(xué)習(xí)，但如前文所分析，對長序列數(shù)據(jù)直接建模面臨著較大的困難.HAN和DEAN都采用了級聯(lián)式架構(gòu)，分別對學(xué)生每一天的局部上網(wǎng)行為特征和整體時(shí)間跨度上的全局上網(wǎng)行為特征進(jìn)行建模.我們認(rèn)為，DEAN優(yōu)于HAN的原因可能包括：1)HAN以LSTM作為模型主框架，而過往的工作[7,10]已經(jīng)證明LSTM在許多序列建模任務(wù)上的性能落后于DEAN所采用的自注意力網(wǎng)絡(luò)；2)DEAN引入了多頭注意力機(jī)制，從而可以同時(shí)在多個(gè)不同的潛在空間內(nèi)進(jìn)行特征學(xué)習(xí)，并通過融合不同空間的特征實(shí)現(xiàn)信息互補(bǔ)，有效提升了模型的預(yù)測能力.

不同專業(yè)的學(xué)生數(shù)量不同，會影響到實(shí)驗(yàn)結(jié)果.本文進(jìn)一步討論了不同方法對不同專業(yè)的學(xué)生進(jìn)行成績預(yù)測時(shí)的性能比較，圖4展示了實(shí)驗(yàn)結(jié)果.正如預(yù)期的那樣，本文所提出的DEAN在全部專業(yè)的預(yù)測結(jié)果都優(yōu)于其他的方法.

4.3.2 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文所提方法中關(guān)鍵部件的有效性，我們進(jìn)行了一系列消融研究：

1) 級聯(lián)式自注意力架構(gòu)的有效性

本實(shí)驗(yàn)對比了DEAN的變體，即僅考慮學(xué)生在各時(shí)間段局部上網(wǎng)行為的單層自注意力網(wǎng)絡(luò)DEAN-Local和僅融合學(xué)生在不同天上網(wǎng)行為的單層自注意力網(wǎng)絡(luò)DEAN-Global.DEAN-Local是指直接將學(xué)生在整個(gè)時(shí)間跨度上的上網(wǎng)行為按照時(shí)間段展開為一個(gè)長序列數(shù)據(jù)，輸入單層自注意力網(wǎng)絡(luò)進(jìn)行成績預(yù)測.DEAN-Global則是指直接統(tǒng)計(jì)學(xué)生在每一天訪問不同類型網(wǎng)站的頻次來獲得日期級別的行為特征，通過單層注意力網(wǎng)絡(luò)融合不同日期的上網(wǎng)行為進(jìn)行成績預(yù)測.

表4列出了DEAN，DEAN-Local以及DEAN-Global之間的性能對比.可以看到，DEAN在2個(gè)評價(jià)指標(biāo)上均明顯優(yōu)于僅基于單層注意力網(wǎng)絡(luò)的DEAN-Local和DEAN-Global，這表明DEAN中的級聯(lián)式自注意力網(wǎng)絡(luò)架構(gòu)可以有效提高模型的特征學(xué)習(xí)能力.

Table 4 Effect of Hierarchical Self-Attention Architecture表4 級聯(lián)式自注意力架構(gòu)的影響 %

2) 多任務(wù)學(xué)習(xí)的有效性

本文通過引入多任務(wù)學(xué)習(xí)策略來緩解面向單個(gè)專業(yè)的學(xué)生成績預(yù)測任務(wù)中訓(xùn)練數(shù)據(jù)較小的問題.表5比較了引入和不引入多任務(wù)學(xué)習(xí)策略的DEAN方法在性能上的差異.可以看到，前者在準(zhǔn)確率和斯皮爾曼等級相關(guān)系數(shù)上分別提高了2.16%和1.12%.這說明多任務(wù)學(xué)習(xí)策略確實(shí)使得模型可以充分利用不同任務(wù)之間潛在的關(guān)聯(lián)性，并在一定程度上緩解了數(shù)據(jù)不足的問題.

Table 5 Effect of Multi-Task Learning表5 引入多任務(wù)學(xué)習(xí)的影響 %

3) 代價(jià)敏感學(xué)習(xí)的有效性

為了緩解困難樣本帶來的預(yù)測準(zhǔn)確率低的問題，本文引入了基于學(xué)生排名差的代價(jià)敏感損失函數(shù)，即根據(jù)成對樣本中2個(gè)學(xué)生的成績排名差距，自適應(yīng)地為其生成一個(gè)權(quán)重，排名越相近的樣本權(quán)重越大.表6展示了在使用和沒有使用代價(jià)敏感損失的情況下所提出的DEAN方法的結(jié)果，即分別通過最小化式(1)和式(11)中的損失函數(shù)來訓(xùn)練模型.可以看到，基于學(xué)生排名差的代價(jià)敏感損失函數(shù)確實(shí)對方法性能提升起到了正向作用.

Table 6 Effect of Cost-Sensitive Loss表6 使用代價(jià)敏感損失的影響 %

4.3.3 不同類型上網(wǎng)行為對成績的影響比較

如2.2節(jié)所述，學(xué)生不同類型的上網(wǎng)行為與學(xué)習(xí)成績之間的關(guān)聯(lián)性是不同的.為了進(jìn)一步定量地分析這種差異性，我們分別利用單一類型上網(wǎng)行為數(shù)據(jù)進(jìn)行成績預(yù)測.圖5展示了各方法在利用不同類型上網(wǎng)行為時(shí)的預(yù)測準(zhǔn)確率.

Fig. 5 Performance comparison between different methods when using each type of online behavior data圖5 不同方法在利用單一類型上網(wǎng)行為數(shù)據(jù)時(shí)的性能比較

從圖5中可以得到3個(gè)結(jié)論：1)相比于表3中的結(jié)果，當(dāng)僅利用單一類型上網(wǎng)行為數(shù)據(jù)時(shí)，各方法的性能均出現(xiàn)了顯著下降，這說明有效融合多種類型的上網(wǎng)行為數(shù)據(jù)對于提升學(xué)生成績預(yù)測的精度至關(guān)重要；2)無論使用何種類型的上網(wǎng)行為數(shù)據(jù)，DEAN均優(yōu)于其他對比方法，再次驗(yàn)證了本文所提方法的有效性；3)基于學(xué)生對于教育、IT相關(guān)、新聞以及娛樂類型站點(diǎn)的訪問數(shù)據(jù)可以相對更為準(zhǔn)確地預(yù)測學(xué)生的成績，這與之前我們進(jìn)行數(shù)據(jù)分析的結(jié)果大致吻合.直觀上理解，頻繁地訪問教育、IT相關(guān)或新聞類型網(wǎng)站，可能代表學(xué)生在持續(xù)地?cái)U(kuò)充自己的知識面，反映了學(xué)生良好的學(xué)習(xí)態(tài)度，因而與學(xué)生成績密切相關(guān)；相反，長時(shí)間瀏覽娛樂類型站點(diǎn)的學(xué)生可能無法在學(xué)習(xí)中投入足夠的精力，導(dǎo)致相對落后的成績，這種負(fù)相關(guān)關(guān)系也可以幫助我們更好地進(jìn)行學(xué)生成績預(yù)測.

5 總結(jié)與展望

本文提出以校園上網(wǎng)行為感知為切入點(diǎn)，對學(xué)生成績預(yù)測問題展開研究，通過分析挖掘?qū)W生的上網(wǎng)行為日志，構(gòu)建有效的學(xué)生行為特征，進(jìn)而預(yù)測學(xué)生未來的學(xué)業(yè)表現(xiàn).本文提出了一種端到端的雙層自注意力網(wǎng)絡(luò)，引入級聯(lián)式的自注意力機(jī)制來分別提取學(xué)生每一天的局部上網(wǎng)行為特征和長時(shí)間的全局上網(wǎng)行為特征.同時(shí)，引入多任務(wù)學(xué)習(xí)策略將面向不同專業(yè)的學(xué)生成績預(yù)測問題進(jìn)行關(guān)聯(lián)，并設(shè)計(jì)了基于學(xué)生排名差的代價(jià)敏感損失函數(shù)進(jìn)一步提高預(yù)測性能.在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了本文提出的雙層自注意力網(wǎng)絡(luò)在學(xué)生成績預(yù)測問題上的有效性.

我們希望通過本研究，能夠激發(fā)人們對校園上網(wǎng)行為與學(xué)習(xí)成績關(guān)聯(lián)性的研究興趣.進(jìn)一步的研究可以通過分析更多類型的上網(wǎng)行為，為教育者開展學(xué)生學(xué)習(xí)管理提供更全面的參考.在未來的研究中，可以參考課程學(xué)習(xí)的思想，使模型先從容易的樣本開始學(xué)習(xí)，再逐漸進(jìn)階到困難的樣本并進(jìn)一步驗(yàn)證方法在更大規(guī)模數(shù)據(jù)集上的有效性.

作者貢獻(xiàn)聲明：姚麗為論文所述工作的主要完成人，負(fù)責(zé)收集數(shù)據(jù)、實(shí)驗(yàn)設(shè)計(jì)與實(shí)施、文章撰寫；崔超然對論文提出針對性修改意見，負(fù)責(zé)文章校審；馬樂樂負(fù)責(zé)處理數(shù)據(jù)、構(gòu)建數(shù)據(jù)集，并完善課題思路和實(shí)驗(yàn)設(shè)計(jì)；王飛超負(fù)責(zé)提供數(shù)據(jù)、收集數(shù)據(jù)、分析數(shù)據(jù)；馬玉玲負(fù)責(zé)論文排版與圖形繪制；陳勐負(fù)責(zé)對實(shí)驗(yàn)部分提供技術(shù)性指導(dǎo)；尹義龍對論文的方法缺陷提出改進(jìn)意見并完善最終版修訂.