李振華 張昭理 劉海

【摘要】? 針對(duì)慕課等在線學(xué)習(xí)課程存在的完成率低、輟課率高等問(wèn)題，不少研究者通過(guò)檢測(cè)學(xué)習(xí)者的學(xué)習(xí)投入度來(lái)發(fā)現(xiàn)“問(wèn)題”學(xué)生，對(duì)其進(jìn)行干預(yù)以保證學(xué)習(xí)效果。本文以構(gòu)建在線學(xué)習(xí)投入自動(dòng)化評(píng)測(cè)模型為目標(biāo)，通過(guò)構(gòu)建集成評(píng)測(cè)模型，利用學(xué)習(xí)過(guò)程中產(chǎn)生的視頻圖片和鼠標(biāo)流數(shù)據(jù)對(duì)學(xué)習(xí)者的投入水平進(jìn)行評(píng)測(cè)。集成模型由3個(gè)子模型組成，其中兩個(gè)子模型用于進(jìn)行圖片數(shù)據(jù)的處理，一個(gè)子模型用于進(jìn)行鼠標(biāo)流數(shù)據(jù)的處理，圖片部分的評(píng)測(cè)采用VGG16卷積神經(jīng)網(wǎng)絡(luò)對(duì)源圖片和相應(yīng)的LGCP特征進(jìn)行評(píng)測(cè)，鼠標(biāo)流數(shù)據(jù)采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行評(píng)測(cè)。最后，利用模型集成的方法對(duì)學(xué)習(xí)者的學(xué)習(xí)投入度進(jìn)行綜合評(píng)測(cè)，再將其結(jié)果與學(xué)習(xí)者填寫(xiě)的NSSE-China調(diào)查量表的結(jié)果進(jìn)行相關(guān)性分析，結(jié)果顯示兩者的評(píng)測(cè)結(jié)果顯著相關(guān)，表明該模型用于學(xué)習(xí)投入評(píng)測(cè)是可行且有效的。

【關(guān)鍵詞】? 在線學(xué)習(xí);學(xué)習(xí)投入;自動(dòng)化評(píng)價(jià);視頻圖片;鼠標(biāo)流數(shù)據(jù);卷積神經(jīng)網(wǎng)絡(luò);BP神經(jīng)網(wǎng)絡(luò);模型集成

【中圖分類(lèi)號(hào)】? G434? ? ? 【文獻(xiàn)標(biāo)識(shí)碼】? A? ? ? ?【文章編號(hào)】? 1009-458x（2020）10-0009-09

一、引言

自2012年“慕課元年”以來(lái)，大量在線學(xué)習(xí)平臺(tái)井噴式推出，涌現(xiàn)出許多具有影響力的慕課平臺(tái)，如國(guó)外的Coursera、EdX、Udacity和國(guó)內(nèi)的中國(guó)大學(xué)MOOC、學(xué)堂在線等。慕課憑借其“大規(guī)?！薄伴_(kāi)放”“在線”等特點(diǎn)吸引了大量學(xué)習(xí)者（陳肖庚， 等， 2013），但在實(shí)踐過(guò)程中研究者發(fā)現(xiàn)大部分在線學(xué)習(xí)平臺(tái)存在著輟課率高、完成率低的問(wèn)題。Ho等（Ho， et al.， 2014）研究了MIT推出的17門(mén)慕課課程的學(xué)習(xí)統(tǒng)計(jì)數(shù)據(jù)，發(fā)現(xiàn)最初的8.4萬(wàn)名學(xué)習(xí)者中只有5.1%的人順利拿到了證書(shū)。Jordan（2015）對(duì)多個(gè)慕課平臺(tái)課程的學(xué)習(xí)情況進(jìn)行研究后發(fā)現(xiàn)：慕課課程的平均完成率只有15%，最高也只能達(dá)到40%。蔣卓軒等（2015）分析了近8萬(wàn)人的中文慕課學(xué)習(xí)行為數(shù)據(jù)后也發(fā)現(xiàn)類(lèi)似的現(xiàn)象：學(xué)習(xí)者參與課程的情況總體呈現(xiàn)下降趨勢(shì)，且前期下降較為迅速，后期下降較為平緩。因此，提高在線學(xué)習(xí)的完成率、降低輟課率，提升在線學(xué)習(xí)的學(xué)習(xí)效果，成為研究者普遍關(guān)心的問(wèn)題。其實(shí)，輟課率高、課程完成率低的問(wèn)題在傳統(tǒng)的學(xué)校教育早已存在，并非在線教育所特有。早期的研究者認(rèn)為這些問(wèn)題的出現(xiàn)主要跟學(xué)習(xí)者的學(xué)習(xí)投入不高有關(guān)，不少研究發(fā)現(xiàn)學(xué)生學(xué)習(xí)結(jié)果與學(xué)習(xí)投入程度存在正向關(guān)系（Kuh， 2001， 2009）。因此，研究者們從學(xué)習(xí)者學(xué)習(xí)投入評(píng)測(cè)的角度出發(fā)，通過(guò)評(píng)測(cè)發(fā)現(xiàn)學(xué)習(xí)投入不高的學(xué)生并及時(shí)給予干預(yù)，以此保證學(xué)習(xí)效果。同時(shí)，對(duì)于學(xué)習(xí)者在線學(xué)習(xí)情況的精準(zhǔn)評(píng)測(cè)有助于推動(dòng)各類(lèi)在線教學(xué)平臺(tái)的迭代開(kāi)發(fā)以及為研制學(xué)科工具提供參考數(shù)據(jù)（劉海， 等， 2018），也為打造個(gè)性化、智能化的教學(xué)環(huán)境提供技術(shù)支持 （劉海， 等， 2018; 張昭理， 等， 2018）。

二、學(xué)習(xí)投入評(píng)測(cè)相關(guān)研究

界定學(xué)習(xí)投入概念的結(jié)構(gòu)是開(kāi)展評(píng)測(cè)分析的重要前提和基礎(chǔ)。學(xué)習(xí)投入被普遍認(rèn)為是一個(gè)多維度的元構(gòu)念，但學(xué)術(shù)界對(duì)于學(xué)習(xí)投入的維度構(gòu)成并未達(dá)成一致認(rèn)識(shí)，從二維度到四維度均有支持者。但是Fredricks等人（Fredricks， Blumenfeld， & Paris， 2004）提出的“行為、認(rèn)知、情感”三維度說(shuō)獲得了較多的支持和認(rèn)可。

學(xué)習(xí)投入的評(píng)測(cè)研究是在明確了概念維度的基礎(chǔ)上針對(duì)某一個(gè)或幾個(gè)維度，運(yùn)用特定的方法和技術(shù)手段來(lái)開(kāi)展的。常用的評(píng)測(cè)方法包括：①自我報(bào)告法（Shernoff， Csikszentmihalyi， Shneider， & Shernoff， 2003）;②經(jīng)驗(yàn)抽樣法 （Fredricks & McColskey， 2012）;③教師打分法 （Wigfield， et al.， 2008）;④訪談法;⑤觀察法（Greenwood， Horton， & Utley， 2002）。

學(xué)習(xí)投入的評(píng)測(cè)對(duì)于解決在線學(xué)習(xí)情境下學(xué)生輟課率高、完成率低的問(wèn)題同樣具有借鑒意義。不過(guò)，在在線學(xué)習(xí)過(guò)程中因受到師生時(shí)空分離、學(xué)生規(guī)模龐大、教師對(duì)學(xué)生的約束力減弱等因素影響，傳統(tǒng)教育情境下的評(píng)測(cè)方法并不能很好地勝任。因此，在線學(xué)習(xí)情境下日志數(shù)據(jù)分析通常是評(píng)測(cè)學(xué)習(xí)者行為投入的常用方法。例如，Hamane等人（2014）、Sundar等人（2016）以及李爽等人（2016）的研究都通過(guò)分析在線學(xué)習(xí)系統(tǒng)中產(chǎn)生的日志數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)學(xué)習(xí)投入的評(píng)測(cè)或成績(jī)的預(yù)測(cè)。他們通常的做法是從日志數(shù)據(jù)中抽取或構(gòu)建出反映學(xué)習(xí)投入不同維度的指標(biāo)變量，利用回歸分析、結(jié)構(gòu)方程等方法構(gòu)建評(píng)測(cè)模型。但是，日志數(shù)據(jù)主要針對(duì)學(xué)習(xí)行為進(jìn)行記錄，在表征情感和認(rèn)知維度的投入情況方面存在局限，而且其記錄的方式是基于事件觸發(fā)，這使得所記錄的投入狀態(tài)數(shù)據(jù)是離散且不均勻的，影響了評(píng)測(cè)的準(zhǔn)確性。而且在學(xué)習(xí)投入的各維度中認(rèn)知、情感方面的投入是學(xué)習(xí)過(guò)程中的實(shí)質(zhì)性投入，能促進(jìn)學(xué)生高階思維的發(fā)展并影響學(xué)習(xí)結(jié)果和體驗(yàn) （Nystrand & Gamoran， 1991）。因此，為了對(duì)情感和認(rèn)知投入進(jìn)行測(cè)量，不少研究者將腦電傳感器、皮膚感應(yīng)傳感器、血壓儀、心率儀等傳感設(shè)備用于對(duì)學(xué)習(xí)者的投入狀態(tài)和興奮水平進(jìn)行測(cè)量（Chaouachi， Chalfoun， Jraidi， & Frasson， 2010; Goldberg， Sottilare， Brawner， & Holden， 2011）。基于傳感器的評(píng)測(cè)方法可對(duì)學(xué)習(xí)過(guò)程中的生理指標(biāo)進(jìn)行全面的記錄，能對(duì)學(xué)習(xí)中的情感和認(rèn)知維度進(jìn)行有效的表征，但是這些設(shè)備主要適用于實(shí)驗(yàn)室環(huán)境，易用性和經(jīng)濟(jì)性不高。Booth等人（2017）則利用攝像頭對(duì)學(xué)習(xí)者的面部表情進(jìn)行識(shí)別以判斷學(xué)習(xí)投入。該方法主要利用計(jì)算機(jī)視覺(jué)方法對(duì)學(xué)生的表情狀態(tài)進(jìn)行判斷，因此對(duì)情感投入的評(píng)測(cè)具有較好的效果，加之使用方便、成本較低，易于普及。

從技術(shù)發(fā)展的視角來(lái)看，學(xué)習(xí)投入評(píng)測(cè)的發(fā)展過(guò)程大致呈現(xiàn)出從人工收集數(shù)據(jù)進(jìn)行分析到借助信息系統(tǒng)自動(dòng)收集數(shù)據(jù)進(jìn)行分析，從粗粒度分析到細(xì)粒度分析，從定性分析到定量分析的發(fā)展軌跡。評(píng)測(cè)效率和精度的提升在很大程度上得益于信息技術(shù)的采用或技術(shù)本身的更新、升級(jí)。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)的興起，各種新技術(shù)正嘗試尋找與在線學(xué)習(xí)評(píng)測(cè)領(lǐng)域的最佳結(jié)合點(diǎn)，助推學(xué)習(xí)投入評(píng)測(cè)向自動(dòng)化、智能化、精細(xì)化方向發(fā)展。

三、基于模型集成的學(xué)習(xí)投入評(píng)測(cè)

學(xué)習(xí)投入本身具有多維度的特點(diǎn)，涉及行為、情感和認(rèn)知多個(gè)維度（Fredricks， et al.， 2004）?，F(xiàn)有的研究大多以單一來(lái)源的數(shù)據(jù)作為基礎(chǔ)開(kāi)展評(píng)測(cè)以證實(shí)對(duì)于學(xué)習(xí)投入評(píng)測(cè)的有效性。在這些研究成果的基礎(chǔ)之上，我們希望能更進(jìn)一步探索基于多種來(lái)源數(shù)據(jù)的學(xué)習(xí)投入評(píng)測(cè)，這不僅有助于得到更為精準(zhǔn)的評(píng)測(cè)結(jié)果，而且是構(gòu)建自動(dòng)化評(píng)測(cè)系統(tǒng)的重要技術(shù)基礎(chǔ)。因此，我們期望將多個(gè)評(píng)測(cè)結(jié)果進(jìn)行融合來(lái)實(shí)現(xiàn)對(duì)多個(gè)維度投入的評(píng)測(cè)，提升評(píng)測(cè)的準(zhǔn)確性。本研究針對(duì)在線學(xué)習(xí)過(guò)程中的情感和認(rèn)知維度的評(píng)測(cè)開(kāi)展研究，采用攝像頭和鼠標(biāo)作為主要的數(shù)據(jù)采集裝置，對(duì)學(xué)習(xí)者的在線學(xué)習(xí)投入度進(jìn)行評(píng)測(cè)。

（一）實(shí)驗(yàn)設(shè)計(jì)的研究基礎(chǔ)

由于人類(lèi)的情感主要通過(guò)面部表情進(jìn)行表達(dá)，采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)攝像頭采集的人臉表情數(shù)據(jù)進(jìn)行分析可以了解學(xué)習(xí)者在線學(xué)習(xí)過(guò)程中的情感投入狀況。除此以外，也有研究發(fā)現(xiàn)學(xué)習(xí)者的頭部和身體姿態(tài)與情感和認(rèn)知投入之間存在確切的聯(lián)系，并通過(guò)實(shí)驗(yàn)證實(shí)了頭部或身體姿態(tài)用于情感和認(rèn)知投入分析的可行性（Ballenghein & Baccino， 2019; DMello & Graesser， 2009）。

認(rèn)知投入屬于學(xué)習(xí)者的內(nèi)隱狀態(tài)，除了通過(guò)量表進(jìn)行分析外，心理學(xué)領(lǐng)域通常對(duì)閱讀過(guò)程中的眼動(dòng)行為與認(rèn)知加工之間的關(guān)系進(jìn)行分析和研究。在接近一百多年的研究歷史中，研究者提出了多個(gè)眼動(dòng)控制模型，普遍認(rèn)為閱讀過(guò)程中的注視時(shí)間、凝視時(shí)間、眼跳距離、回掃頻率等眼動(dòng)行為參數(shù)與認(rèn)知加工之間存在著確切的基本對(duì)應(yīng)關(guān)系（趙晶， 等， 2007）。Miller（2015）在此基礎(chǔ)上通過(guò)分析閱讀者在自主閱讀情境下的眼動(dòng)行為實(shí)現(xiàn)了在微觀層面對(duì)學(xué)習(xí)投入進(jìn)行測(cè)量。在以自主閱讀為主要學(xué)習(xí)方式的在線學(xué)習(xí)中，眼動(dòng)分析是測(cè)量學(xué)習(xí)投入較為有效的方法之一，但較高的設(shè)備成本限制了眼動(dòng)分析方法的廣泛使用。

鼠標(biāo)作為學(xué)生與學(xué)習(xí)系統(tǒng)、學(xué)習(xí)資源進(jìn)行交互的主要輸入設(shè)備，具有較強(qiáng)的表征能力。鼠標(biāo)點(diǎn)擊流數(shù)據(jù)記錄了學(xué)習(xí)者進(jìn)出系統(tǒng)各學(xué)習(xí)模塊和頁(yè)面的時(shí)間、次數(shù)、先后順序等信息，基于這些信息所形成的日志數(shù)據(jù)常用于對(duì)學(xué)習(xí)行為投入進(jìn)行評(píng)測(cè)（李爽， 等， 2016; 李爽， 等， 2017; 李爽， 等， 2018）。此外，多項(xiàng)鼠標(biāo)軌跡和眼動(dòng)軌跡的相關(guān)性研究表明，在進(jìn)行在線閱讀或相關(guān)搜索任務(wù)的過(guò)程中，鼠標(biāo)的移動(dòng)軌跡和眼動(dòng)軌跡之間存在著較強(qiáng)的相關(guān)關(guān)系和固定的“眼-鼠”跟隨模式（Chen， Anderson， & Sohn， 2001; Huang， White， & Buscher， 2012; Liebling & Dumais， 2014），而且眼動(dòng)軌跡通常引導(dǎo)著鼠標(biāo)的移動(dòng)（Liebling & Dumais， 2014）。Lagun和Agichtein（2011）在更大規(guī)模下開(kāi)展實(shí)驗(yàn)后發(fā)現(xiàn)，在不使用眼動(dòng)設(shè)備的情況下，鼠標(biāo)移動(dòng)數(shù)據(jù)的結(jié)果與實(shí)驗(yàn)室環(huán)境下的眼動(dòng)跟蹤結(jié)果是相關(guān)聯(lián)的?？梢钥闯觯髽?biāo)數(shù)據(jù)本身不僅僅表征了學(xué)習(xí)者在行為方面的投入，而且在在線閱讀的情況下，通過(guò)鼠標(biāo)軌跡數(shù)據(jù)可以對(duì)學(xué)習(xí)者的閱讀速度、停留時(shí)長(zhǎng)和回視瀏覽等情況有較為細(xì)致的了解。因此，鼠標(biāo)移動(dòng)數(shù)據(jù)也具備和眼動(dòng)數(shù)據(jù)一樣的表征學(xué)習(xí)者認(rèn)知投入狀態(tài)的能力。

本研究以攝像頭和鼠標(biāo)流數(shù)據(jù)作為來(lái)源數(shù)據(jù)分別構(gòu)建評(píng)測(cè)模型，最后通過(guò)模型集成的方式將兩個(gè)維度的評(píng)測(cè)模型進(jìn)行融合，并將評(píng)測(cè)結(jié)果與學(xué)習(xí)者填寫(xiě)的量表數(shù)據(jù)進(jìn)行對(duì)比來(lái)檢測(cè)模型的實(shí)際評(píng)測(cè)效果。

（二）實(shí)驗(yàn)流程

實(shí)驗(yàn)分為四個(gè)主要部分：數(shù)據(jù)收集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練和模型檢驗(yàn)。

1. 數(shù)據(jù)收集

由于需要采集學(xué)習(xí)過(guò)程中的攝像頭數(shù)據(jù)和鼠標(biāo)數(shù)據(jù)，本研究主要針對(duì)學(xué)習(xí)者面對(duì)桌面電腦進(jìn)行“一對(duì)一”自主學(xué)習(xí)的學(xué)習(xí)情景。所謂“一對(duì)一”是指一個(gè)學(xué)習(xí)者面對(duì)一臺(tái)學(xué)習(xí)終端（臺(tái)式電腦或筆記本電腦）進(jìn)行學(xué)習(xí)的情況。其中，攝像頭固定于顯示屏上沿用來(lái)采集學(xué)習(xí)者的正面表情，鼠標(biāo)則記錄學(xué)習(xí)者對(duì)學(xué)習(xí)頁(yè)面的控制情況，實(shí)驗(yàn)中的學(xué)習(xí)頁(yè)面主要由圖片、文字、動(dòng)態(tài)圖和視頻構(gòu)成，以垂直滾動(dòng)的方式進(jìn)行瀏覽。整個(gè)實(shí)驗(yàn)示意圖見(jiàn)圖1。

待相關(guān)數(shù)據(jù)收集完畢后，學(xué)習(xí)者在學(xué)習(xí)結(jié)束時(shí)還需要填寫(xiě)NSSE-China調(diào)查表以確定實(shí)際的投入狀態(tài)水平，所謂NSSE-China是《全美學(xué)習(xí)投入調(diào)查量表》（National Survey of Student Engagement， NSSE）的中文版（羅燕， 等， 2009）。學(xué)習(xí)投入的評(píng)測(cè)量表除了NSSE-China外，還有《學(xué)生學(xué)習(xí)投入量表》（Utrech Work Engagement Scale-Student， UWES-S），不過(guò)UWES-S主要從動(dòng)機(jī)、精力和專(zhuān)注三個(gè)維度開(kāi)展評(píng)測(cè)，對(duì)于學(xué)習(xí)過(guò)程中的交互、情感和認(rèn)知維度的評(píng)測(cè)較為薄弱。相比之下，在對(duì)于行為、情感和認(rèn)知維度的覆蓋上NSSE-China問(wèn)卷要更為全面。

2. 數(shù)據(jù)標(biāo)注

采集到的視頻流數(shù)據(jù)需要處理為離散的圖片數(shù)據(jù)并進(jìn)行投入水平的標(biāo)注以方便進(jìn)行評(píng)測(cè)模型的訓(xùn)練。標(biāo)注人員對(duì)圖片數(shù)據(jù)進(jìn)行標(biāo)注，為所有離散圖片中學(xué)習(xí)者的投入狀態(tài)水平進(jìn)行打分，投入水平值為1、2、3，分別對(duì)應(yīng)“不投入”“一般性投入”“非常投入”三種投入狀態(tài)。

3. 模型訓(xùn)練

構(gòu)造多模態(tài)數(shù)據(jù)評(píng)測(cè)模型，對(duì)圖像數(shù)據(jù)和鼠標(biāo)移動(dòng)數(shù)據(jù)進(jìn)行綜合評(píng)測(cè)得到最終的學(xué)生學(xué)習(xí)投入水平。因?yàn)闃?biāo)記圖片數(shù)據(jù)規(guī)模依然偏小，因此通過(guò)增加噪聲、反轉(zhuǎn)、旋轉(zhuǎn)、尺度變換等操作擴(kuò)充數(shù)據(jù)并構(gòu)建訓(xùn)練數(shù)據(jù)集。在模型訓(xùn)練階段，將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集并對(duì)模型進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中采用10折交叉驗(yàn)證的方式進(jìn)行模型選擇。

4. 模型檢驗(yàn)

將評(píng)測(cè)模型得到的學(xué)生投入結(jié)果與學(xué)生填寫(xiě)的NSSE-China量表得到的投入結(jié)果進(jìn)行對(duì)比以檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確性，如果兩個(gè)結(jié)果存在較強(qiáng)的相關(guān)關(guān)系就說(shuō)明面部表情數(shù)據(jù)和鼠標(biāo)移動(dòng)數(shù)據(jù)能夠表征學(xué)習(xí)者在線學(xué)習(xí)投入狀態(tài)，可以作為學(xué)習(xí)投入評(píng)測(cè)的依據(jù)。

（三）實(shí)驗(yàn)組織

本研究以某高校2018年上學(xué)期網(wǎng)絡(luò)公共選修課“知識(shí)管理方法和實(shí)踐”的一個(gè)班學(xué)生作為研究對(duì)象，共47名同學(xué)，均來(lái)自各個(gè)學(xué)院研一研二年級(jí)。其中，男生19名，女生28名;最大的26歲，最小的23歲，整體平均年齡為24.47±0.87歲;學(xué)生的院系來(lái)源組成，生命科學(xué)學(xué)院10.6%，計(jì)算機(jī)學(xué)院21.3%，經(jīng)管學(xué)院17%，教育學(xué)院51.1%。主要的學(xué)習(xí)方式為學(xué)生使用電腦進(jìn)行“一對(duì)一”在線自主學(xué)習(xí)，教師通過(guò)在線互動(dòng)的方式開(kāi)展輔導(dǎo)，在整個(gè)學(xué)習(xí)過(guò)程中學(xué)生可以使用系統(tǒng)中的博客、留言、Wiki等模塊進(jìn)行學(xué)習(xí)、交互等活動(dòng)，同時(shí)也被要求盡量獨(dú)立進(jìn)行在線學(xué)習(xí)，不要出現(xiàn)多人同時(shí)學(xué)習(xí)交流的情況。在線學(xué)習(xí)管理系統(tǒng)記錄學(xué)生的日志行為數(shù)據(jù)，攝像頭記錄學(xué)生的學(xué)習(xí)視頻數(shù)據(jù)，鼠標(biāo)則記錄學(xué)習(xí)頁(yè)面的滾動(dòng)瀏覽情況和對(duì)應(yīng)的時(shí)間戳。

（四）圖片數(shù)據(jù)的標(biāo)注方法

由于在在線學(xué)習(xí)過(guò)程中學(xué)生表情較少且表情背后所代表的含義與一般情境下的表情含義有所不同，學(xué)習(xí)過(guò)程中主要以中立表情為主，其他表情則主要分布在無(wú)聊、困惑、滿足等幾種表情之中（DMello， 2013）。因此，通用的表情數(shù)據(jù)集并不適用于學(xué)習(xí)評(píng)測(cè)模型的構(gòu)建，而應(yīng)該使用專(zhuān)門(mén)的數(shù)據(jù)集進(jìn)行模型訓(xùn)練。本研究中采用Whitehill等人（Whitehill， Serpell， Lin， Foster， & Movellan， 2014）提出的從視頻數(shù)據(jù)中提取靜態(tài)圖像，然后進(jìn)行人工標(biāo)注的方法構(gòu)建訓(xùn)練數(shù)據(jù)集。這些視頻圖片均是從視頻數(shù)據(jù)中以固定時(shí)間間隔進(jìn)行提取的。在固定時(shí)間間隔的設(shè)置上，我們主要從圖像關(guān)鍵幀丟失和數(shù)據(jù)量大小兩方面進(jìn)行考慮：一方面，間隔時(shí)間如果設(shè)置過(guò)大會(huì)丟失含有關(guān)鍵表情的圖像幀;另一方面，如果間隔時(shí)間設(shè)置過(guò)小則會(huì)導(dǎo)致提取的圖片過(guò)多，進(jìn)而增加圖像標(biāo)注的工作量。我們參照Whitehill等人（2014）提出的方法，并通過(guò)對(duì)學(xué)習(xí)者的學(xué)習(xí)視頻進(jìn)行抽樣分析后發(fā)現(xiàn)以2秒為時(shí)間間隔將視頻數(shù)據(jù)轉(zhuǎn)換為圖片序列在圖像幀丟失和數(shù)據(jù)量大小方面滿足我們的要求。在獲取了圖像序列后，標(biāo)注人員觀察每張圖片和與該圖片時(shí)間戳相對(duì)應(yīng)時(shí)刻的鼠標(biāo)移動(dòng)數(shù)據(jù)，然后給圖片標(biāo)注1到3的學(xué)習(xí)投入水平值。最終得到每位學(xué)習(xí)者不同學(xué)習(xí)時(shí)間學(xué)習(xí)投入水平的序列值，不同學(xué)習(xí)投入水平的圖示見(jiàn)圖2。

該方案的優(yōu)點(diǎn)在于：①單張圖片便于進(jìn)行人工識(shí)別，處理上相對(duì)簡(jiǎn)單;②在統(tǒng)一的評(píng)判標(biāo)準(zhǔn)下，圖片中學(xué)生的投入水平容易確定且發(fā)生模棱兩可的情況較少。對(duì)此，我們基于Whitehill等人（2014）提出的標(biāo)注方法擬定了一個(gè)指導(dǎo)性的學(xué)習(xí)投入度評(píng)判標(biāo)準(zhǔn)。標(biāo)注人員根據(jù)標(biāo)準(zhǔn)分別從圖片中學(xué)習(xí)者的頭部姿態(tài)、視線位置、表情狀態(tài)和鼠標(biāo)軌跡對(duì)圖片進(jìn)行投入水平的評(píng)判。三種投入水平的參考標(biāo)準(zhǔn)為：

“非常投入”主要表現(xiàn)為學(xué)習(xí)者頭部姿態(tài)是正位或者前傾，視線點(diǎn)位置落在屏幕區(qū)域內(nèi)，表情以中性表情為主，并且主要呈現(xiàn)出聚精會(huì)神的狀態(tài)，鼠標(biāo)在整個(gè)學(xué)習(xí)頁(yè)面中位置變化的幅度較小;

“一般性投入”主要表現(xiàn)為學(xué)習(xí)者頭部基本處于正位或存在輕微偏斜，視線點(diǎn)位置在屏幕區(qū)域內(nèi)，表情以自然表情為主，精力集中的程度較“非常投入”的狀態(tài)要輕，鼠標(biāo)位置變化的幅度較大;

“不投入”主要表現(xiàn)為頭部姿態(tài)不正，無(wú)法看到正臉，視線不在屏幕上或呈現(xiàn)閉眼的狀態(tài)，表情方面主要表現(xiàn)為漫不經(jīng)心、無(wú)聊、沮喪等，鼠標(biāo)移動(dòng)的幅度變化一般處于靜止和劇烈變化兩個(gè)極端。

該標(biāo)準(zhǔn)對(duì)于標(biāo)注員來(lái)說(shuō)并不是硬性的，在實(shí)際標(biāo)注過(guò)程中很多情況下依然需要標(biāo)注員借助自身經(jīng)驗(yàn)進(jìn)行靈活判斷。因此，圖片標(biāo)注的準(zhǔn)確性受標(biāo)注人員自身專(zhuān)業(yè)素質(zhì)、圖片可辨析程度等因素影響，不同標(biāo)注人員針對(duì)同一圖像的標(biāo)注結(jié)果可能會(huì)有不一致的情況發(fā)生。我們通過(guò)Kendall系數(shù)來(lái)檢驗(yàn)不同標(biāo)注人員的標(biāo)注結(jié)果一致性，以保證標(biāo)注圖像具有較高的一致性。所有表情圖片的訓(xùn)練數(shù)據(jù)分為10個(gè)批次進(jìn)行標(biāo)注，每個(gè)批次圖像均分給8個(gè)標(biāo)注員完成，并確保標(biāo)注數(shù)據(jù)滿足一致性要求。最終，我們通過(guò)SPSS計(jì)算出所有標(biāo)注員標(biāo)注結(jié)果的Kendall系數(shù)，如表1所示。

（五）鼠標(biāo)移動(dòng)數(shù)據(jù)的獲取

學(xué)習(xí)者與在線學(xué)習(xí)管理系統(tǒng)間的互動(dòng)主要通過(guò)鼠標(biāo)來(lái)完成，尤其是學(xué)習(xí)者在學(xué)習(xí)頁(yè)面中的閱讀情況，譬如注視時(shí)間、閱讀速度、頁(yè)面滾動(dòng)或翻頁(yè)頻率等情況都可以借助鼠標(biāo)的移動(dòng)、停留、滾輪滾動(dòng)等數(shù)據(jù)反映出來(lái)。Navalpakkam等人（2013）就發(fā)現(xiàn)用戶在瀏覽網(wǎng)頁(yè)時(shí)鼠標(biāo)的移動(dòng)軌跡和視線移動(dòng)軌跡存在較大的相關(guān)性，而且可以用來(lái)預(yù)測(cè)用戶在訪問(wèn)網(wǎng)頁(yè)時(shí)的注意力。Huang等人（2012）總結(jié)出用戶在瀏覽網(wǎng)頁(yè)以及完成搜索任務(wù)時(shí)，鼠標(biāo)與視線之間還存在較為固定的跟隨模式。因此，通過(guò)檢測(cè)鼠標(biāo)在整個(gè)學(xué)習(xí)頁(yè)面中的位置能夠間接反映學(xué)習(xí)過(guò)程中學(xué)習(xí)者的視線和注意力的變化情況。但是和利用鼠標(biāo)軌跡進(jìn)行基于生物學(xué)測(cè)定的身份識(shí)別任務(wù)不同，身份識(shí)別的任務(wù)通常以100毫秒作為時(shí)間間隔（Rodden & Fu， 2007; 沈超， 等， 2010）詳細(xì)記錄鼠標(biāo)軌跡以及移動(dòng)過(guò)程中帶有個(gè)人特征的動(dòng)作細(xì)節(jié)，而本實(shí)驗(yàn)主要關(guān)注的是鼠標(biāo)的位置變化，采樣太過(guò)精細(xì)會(huì)增加與分析任務(wù)無(wú)關(guān)的冗余信息，因此實(shí)驗(yàn)中我們以200毫秒為間隔時(shí)間記錄鼠標(biāo)光標(biāo)在頁(yè)面中的絕對(duì)位置。該時(shí)間間隔下采集的軌跡數(shù)據(jù)在保留主要位置信息的同時(shí)也減弱了移動(dòng)軌跡的起始和結(jié)束端附近區(qū)域鼠標(biāo)點(diǎn)過(guò)于密集的情況。此外，在實(shí)驗(yàn)中與鼠標(biāo)位置同時(shí)記錄的還有時(shí)間戳信息。時(shí)間戳主要用于與視頻圖片的時(shí)間戳保持同步。在標(biāo)注階段，這些鼠標(biāo)移動(dòng)數(shù)據(jù)與圖片數(shù)據(jù)都被標(biāo)注相同的投入水平值。

（六）數(shù)據(jù)集的劃分

本研究以8∶2的比例劃分訓(xùn)練集和測(cè)試集，訓(xùn)練集的數(shù)據(jù)采用10折交叉驗(yàn)證（10-fold cross-validation）的方式進(jìn)行模型的訓(xùn)練和參數(shù)的調(diào)優(yōu)，測(cè)試集的數(shù)據(jù)用于測(cè)試模型的泛化能力。在標(biāo)記數(shù)據(jù)的過(guò)程中我們發(fā)現(xiàn)，學(xué)習(xí)者在每次學(xué)習(xí)過(guò)程中的投入行為并非均勻分布，表現(xiàn)出前段學(xué)習(xí)投入較高、中段較低、后段又較高的普遍情況。因此，為了確保訓(xùn)練集和測(cè)試集數(shù)據(jù)分布的一致性，我們根據(jù)課程時(shí)間段將數(shù)據(jù)分為前、中、后三部分，在三部分混合的基礎(chǔ)上再進(jìn)行訓(xùn)練集、測(cè)試集的劃分以確保數(shù)據(jù)分布盡量均勻。數(shù)據(jù)集的劃分方法如圖3所示。

（七）集成模型的構(gòu)建

針對(duì)本研究的數(shù)據(jù)特點(diǎn)，我們構(gòu)建了一個(gè)融合卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的集成評(píng)測(cè)模型，整個(gè)模型集成了三個(gè)子模型，其中兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)子模型用于對(duì)學(xué)習(xí)者的表情圖片進(jìn)行識(shí)別，一個(gè)BP神經(jīng)網(wǎng)絡(luò)子模型用于對(duì)學(xué)習(xí)者的鼠標(biāo)移動(dòng)數(shù)據(jù)進(jìn)行識(shí)別，整個(gè)模型如圖4所示。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）多用于圖像識(shí)別等視覺(jué)任務(wù)（Agrawal & Mittal， 2020），其“端到端”和“數(shù)據(jù)驅(qū)動(dòng)”的特點(diǎn)相比傳統(tǒng)視覺(jué)識(shí)別方法具有更好的識(shí)別效果。本研究中我們使用經(jīng)典的VGG16模型進(jìn)行圖片的識(shí)別。為加強(qiáng)圖片識(shí)別效果，其中一個(gè)子模型采用基于源圖像的自適應(yīng)加權(quán)局部格雷碼模式（Local Gray Code Patterns， LGCP）的特征提取方法（吉訓(xùn)生， 等， 2017）來(lái)進(jìn)行識(shí)別，該方法能夠克服LBP對(duì)非單調(diào)光線變化敏感的問(wèn)題。針對(duì)鼠標(biāo)移動(dòng)數(shù)據(jù)的識(shí)別采用BP神經(jīng)網(wǎng)絡(luò)模型，其中輸入層選取表情圖片所屬時(shí)間戳前20秒內(nèi)的鼠標(biāo)移動(dòng)數(shù)據(jù)作為輸入（總共100個(gè)鼠標(biāo)坐標(biāo)點(diǎn)），隱含層節(jié)點(diǎn)數(shù)為20，輸出節(jié)點(diǎn)數(shù)為3。三個(gè)子模型的輸出層節(jié)點(diǎn)數(shù)為3個(gè)，分別對(duì)應(yīng)1到3的學(xué)習(xí)投入度水平值。每個(gè)模型通過(guò)softmax函數(shù)計(jì)算出每個(gè)輸出節(jié)點(diǎn)取值的概率值大小，最后三個(gè)子模型通過(guò)投票法得到集成后的投入水平值。最終投入水平的計(jì)算公式為：

式中K代表分類(lèi)器總個(gè)數(shù)，[Rk]代表第k個(gè)分類(lèi)器的識(shí)別率。三個(gè)子模型的訓(xùn)練準(zhǔn)確性曲線如圖5所示。

（八）集成模型的檢驗(yàn)

集成模型的檢驗(yàn)是在三個(gè)子模型完成訓(xùn)練之后將三個(gè)模型利用投票的方法進(jìn)行集成，并利用測(cè)試集數(shù)據(jù)對(duì)集成模型進(jìn)行測(cè)試。最終，集成模型和子模型的對(duì)比結(jié)果如表 2所示。

可以看出，經(jīng)過(guò)集成后模型對(duì)測(cè)試數(shù)據(jù)的準(zhǔn)確率有一定的提升，這也說(shuō)明通過(guò)將多個(gè)模型進(jìn)行集成來(lái)提高評(píng)測(cè)準(zhǔn)確率的方法是有效的。

最后，將學(xué)生學(xué)習(xí)數(shù)據(jù)輸入集成模型計(jì)算出學(xué)生的投入水平，并計(jì)算這些結(jié)果與學(xué)生填寫(xiě)NSSE-China量表得到的投入水平結(jié)果之間的Spearman相關(guān)系數(shù)，進(jìn)行相關(guān)分析。其中，量表的投入水平值的計(jì)算方法是：將所有反向計(jì)分題的分值進(jìn)行反轉(zhuǎn)，求得各個(gè)維度的得分均值，將各維度均值求和作為最終的學(xué)習(xí)投入水平值。最終結(jié)果如表 3所示。

可以看出集成評(píng)價(jià)模型的最終評(píng)測(cè)結(jié)果與學(xué)生填寫(xiě)量表結(jié)果在P<0.05的水平上顯著相關(guān)，這說(shuō)明集成模型的評(píng)測(cè)結(jié)果與量表相近，即集成評(píng)測(cè)模型通過(guò)分析學(xué)習(xí)者的客觀數(shù)據(jù)能夠得到與量表評(píng)價(jià)相似的結(jié)果，也間接說(shuō)明了學(xué)生的學(xué)習(xí)投入狀態(tài)是會(huì)通過(guò)表情和閱讀行為表現(xiàn)出來(lái)的，通過(guò)相關(guān)傳感器設(shè)備對(duì)這些客觀數(shù)據(jù)進(jìn)行捕捉和分析能夠?qū)崿F(xiàn)學(xué)習(xí)投入度的自動(dòng)化評(píng)測(cè)。

四、結(jié)果討論

從本研究的結(jié)果可以明顯看出：

1. 從單個(gè)評(píng)測(cè)模型的準(zhǔn)確率來(lái)看，基于圖像的評(píng)測(cè)模型效果優(yōu)于基于鼠標(biāo)移動(dòng)數(shù)據(jù)的評(píng)測(cè)模型。我們認(rèn)為主要原因在于表情數(shù)據(jù)本身對(duì)情感維度的表征比較準(zhǔn)確，特定的情感狀態(tài)一定對(duì)應(yīng)著特定的表情，學(xué)習(xí)者不會(huì)在學(xué)習(xí)過(guò)程中露出與實(shí)際情感不相符的表情。鼠標(biāo)數(shù)據(jù)在表征閱讀行為時(shí)有一定的誤差，雖然鼠標(biāo)存在著追隨視線的固定移動(dòng)模式，但是在時(shí)間上存在著滯后性，而且存在一些突發(fā)的不可預(yù)知的鼠標(biāo)動(dòng)作，例如學(xué)習(xí)者左右晃動(dòng)鼠標(biāo)來(lái)確認(rèn)光標(biāo)位置的行為都會(huì)對(duì)分析造成影響。此外，鼠標(biāo)停留的狀態(tài)可能表示學(xué)習(xí)者在思考，也有可能表示學(xué)習(xí)者在開(kāi)小差。針對(duì)這個(gè)問(wèn)題，一方面可以參考其他傳感器數(shù)據(jù)來(lái)彌補(bǔ)僅依靠單傳感器進(jìn)行評(píng)測(cè)的不足，另一方面可以通過(guò)使用更合適的傳感器來(lái)解決，如眼動(dòng)儀等。

2. 基于多模態(tài)數(shù)據(jù)的集成模型比單模態(tài)數(shù)據(jù)模型有更好的評(píng)測(cè)準(zhǔn)確度，不過(guò)準(zhǔn)確度提升尚不夠顯著。對(duì)于集成模型能夠提升評(píng)測(cè)效果較容易理解：由于現(xiàn)實(shí)中很難找到一種模態(tài)數(shù)據(jù)能夠全面地表征學(xué)習(xí)投入，任何單一維度的數(shù)據(jù)只能從某一個(gè)或幾個(gè)方面對(duì)學(xué)習(xí)投入進(jìn)行表征。因此，對(duì)多維度數(shù)據(jù)進(jìn)行綜合分析能夠得到更為準(zhǔn)確的結(jié)果，增加其他模態(tài)的數(shù)據(jù)對(duì)于提升模型評(píng)測(cè)的準(zhǔn)確性是有益的。對(duì)于準(zhǔn)確度提升不夠明顯的問(wèn)題，我們認(rèn)為一方面是模型在融合策略的選擇以及子模型訓(xùn)練、參數(shù)優(yōu)化等方面存在不足，導(dǎo)致性能提升有限;另一方面，可能因?yàn)楸砬閿?shù)據(jù)和鼠標(biāo)移動(dòng)數(shù)據(jù)在表征學(xué)習(xí)投入的維度上存在重疊，使圖片數(shù)據(jù)和鼠標(biāo)數(shù)據(jù)對(duì)某一學(xué)習(xí)投入維度或者子維度進(jìn)行了重復(fù)評(píng)測(cè)。例如，本研究中我們認(rèn)為學(xué)習(xí)過(guò)程中的情感主要通過(guò)表情體現(xiàn)出來(lái)，因此主要采用表情數(shù)據(jù)進(jìn)行情感分析，但是一些基于具身認(rèn)知理論的研究發(fā)現(xiàn)鼠標(biāo)軌跡和情感之間同樣存在著相關(guān)性 （Yamauchi & Xiao， 2018）。在這種情況下，融合更多的模態(tài)數(shù)據(jù)以盡可能地全面覆蓋學(xué)習(xí)投入的所有維度似乎是提升評(píng)測(cè)準(zhǔn)確性的最佳解決辦法。當(dāng)然這也需要在后續(xù)的研究中進(jìn)一步驗(yàn)證。

此外，本研究的局限在于學(xué)生樣本數(shù)偏小，使得模型的通用性受到一定影響。另外，受實(shí)驗(yàn)組織的限制，學(xué)習(xí)內(nèi)容方面無(wú)法估計(jì)不同科目和不同難度系數(shù)的學(xué)習(xí)內(nèi)容對(duì)學(xué)習(xí)者的學(xué)習(xí)投入所造成的影響大小，這也使得收集到的與學(xué)習(xí)投入相關(guān)的表情和鼠標(biāo)數(shù)據(jù)不一定能覆蓋到所有可能的情況，進(jìn)而會(huì)對(duì)模型的識(shí)別能力造成一定影響。不過(guò)，考慮到模型本身是通過(guò)數(shù)據(jù)驅(qū)動(dòng)的，隨著訓(xùn)練數(shù)據(jù)集質(zhì)量的提高和數(shù)量規(guī)模的增大，集成模型的性能表現(xiàn)可能會(huì)得到進(jìn)一步提升。因此，如果能在較大范圍內(nèi)開(kāi)展試驗(yàn)，通過(guò)控制不同難度和不同學(xué)習(xí)內(nèi)容對(duì)學(xué)習(xí)者的影響，以獲得更為豐富和更具代表性的數(shù)據(jù)，對(duì)于提升模型的準(zhǔn)確性和通用性是非常有益的。

五、小結(jié)與展望

本研究針對(duì)“一對(duì)一”在線學(xué)習(xí)情境下學(xué)習(xí)者的在線學(xué)習(xí)投入自動(dòng)評(píng)測(cè)問(wèn)題開(kāi)展研究，通過(guò)構(gòu)建融合表情識(shí)別和鼠標(biāo)移動(dòng)數(shù)據(jù)分析的集成模型來(lái)進(jìn)行評(píng)測(cè)，其中子模型分別采用了VGG16深度網(wǎng)絡(luò)模型和BP神經(jīng)網(wǎng)絡(luò)模型，并利用自我標(biāo)注的數(shù)據(jù)集進(jìn)行訓(xùn)練。最終，集成模型的評(píng)測(cè)結(jié)果與學(xué)生填寫(xiě)的NSSE-China調(diào)查量表的結(jié)果顯著相關(guān)。本研究結(jié)果說(shuō)明在在線學(xué)習(xí)過(guò)程中學(xué)生所產(chǎn)生的各個(gè)維度的傳感數(shù)據(jù)可被捕捉、量化，并可用于對(duì)學(xué)習(xí)投入的分析，也進(jìn)一步說(shuō)明了采用多模態(tài)數(shù)據(jù)進(jìn)行學(xué)習(xí)投入評(píng)測(cè)的可行性。不過(guò)，由于實(shí)驗(yàn)數(shù)據(jù)來(lái)自較小的學(xué)生群體，影響了模型的通用性，需要在后續(xù)的研究中進(jìn)一步改進(jìn)和檢驗(yàn)。本研究為未來(lái)的研究提供了幾點(diǎn)思路：第一，在現(xiàn)有研究基礎(chǔ)上能否再進(jìn)一步集成多個(gè)模態(tài)的數(shù)據(jù)，且模型的表現(xiàn)隨著集成模態(tài)數(shù)據(jù)的增多是否呈現(xiàn)簡(jiǎn)單的線性關(guān)系值得更進(jìn)一步研究。第二，本研究的數(shù)據(jù)集中學(xué)生出現(xiàn)的表情類(lèi)型不夠豐富，而通用的表情數(shù)據(jù)集涵蓋了人類(lèi)較為典型的基本表情，這些表情數(shù)據(jù)能否用于評(píng)測(cè)模型的訓(xùn)練也需要進(jìn)一步驗(yàn)證。第三，本研究的應(yīng)用場(chǎng)景主要是針對(duì)使用桌面電腦或者筆記本的情況。對(duì)于使用手機(jī)和平板電腦的移動(dòng)學(xué)習(xí)場(chǎng)景，如何實(shí)施有效的學(xué)習(xí)投入評(píng)測(cè)值得進(jìn)一步探索。

[參考文獻(xiàn)]

陳肖庚，王頂明. 2013. MOOC的發(fā)展歷程與主要特征分析[J]. 現(xiàn)代教育技術(shù)，23（11）：5-10.

吉訓(xùn)生，王榮飛. 2017. 自適應(yīng)加權(quán)LGCP與快速稀疏表示的面部表情識(shí)別[J]. 計(jì)算機(jī)工程與應(yīng)用，53（1）：158-162.

蔣卓軒，張巖，李曉明. 2015. 基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測(cè)[J]. 計(jì)算機(jī)研究與發(fā)展，52（3）：614-628.

李爽，王增賢，喻忱，等. 2016. 在線學(xué)習(xí)行為投入分析框架與測(cè)量指標(biāo)研究——基于LMS數(shù)據(jù)的學(xué)習(xí)分析[J]. 開(kāi)放教育研究，22（2）：77-88.

李爽，鐘瑤，喻忱，等. 2017. 基于行為序列分析對(duì)在線學(xué)習(xí)參與模式的探索[J]. 中國(guó)電化教育（3）：88-95.

李爽，李榮芹，喻忱. 2018. 基于LMS數(shù)據(jù)的遠(yuǎn)程學(xué)習(xí)者學(xué)習(xí)投入評(píng)測(cè)模型[J]. 開(kāi)放教育研究，24（1）：91-102.

劉海，陳瑩瑩，張昭理，等. 2018. 多學(xué)科資源工具研制與教學(xué)實(shí)踐創(chuàng)新研究[J]. 電化教育研究，39（4）：46-51.

劉海，李姣姣，張維，等. 2018. 面向在線教學(xué)平臺(tái)的數(shù)據(jù)可視化方法及應(yīng)用[J]. 中國(guó)遠(yuǎn)程教育（1）：37-44.

羅燕，海蒂·羅斯，岑逾豪. 2009. 國(guó)際比較視野中的高等教育測(cè)量——NSSE-China工具的開(kāi)發(fā)：文化適應(yīng)與信度、效度報(bào)告[J]. 復(fù)旦教育論壇，7（5）：12-18.

沈超，蔡忠閩，管曉宏，等. 2010. 基于鼠標(biāo)行為特征的用戶身份認(rèn)證與監(jiān)控[J]. 通信學(xué)報(bào)，31（7）：68-75.

張昭理，李陽(yáng)，劉海. 2018. 多屏多點(diǎn)觸控教學(xué)系統(tǒng)支撐下教學(xué)創(chuàng)新與變革[J]. 電化教育研究，39（3）：82-89.

趙晶，陳巍，曹亮. 2007. 當(dāng)代眼動(dòng)研究對(duì)閱讀心理學(xué)介入綜述[J]. 浙江教育學(xué)院學(xué)報(bào)（1）：25-30.

Agrawal， A.， & Mittal， N. （2020）. Using CNN for facial expression recognition： A study of the effects of kernel size and number of filters on accuracy. The Visual Computer， 36（2）， 405-412.

Ballenghein， U.， & Baccino， T. （2019）. Referential processing during reading： Concurrent recordings of eye movements and head motion. Cognitive Processing， 20（3）， 371-384.

Booth， B. M.， Ali， A. M.， Narayanan， S. S.， Bennett， I.， & Farag， A. A. （2017）. Toward active and unobtrusive engagement assessment of distance learners. In 2017 Seventh International Conference on Affective Computing and Intelligent Interaction （ACII） （pp. 470-476）.

Chaouachi， M.， Chalfoun， P.， Jraidi， I.， & Frasson， C. （2010）. Affect and Mental Engagement： Towards Adaptability for Intelligent. In FLAIRS Conference.

Chen， M. C.， Anderson， J. R.， & Sohn， M. H. （2001）. What can a mouse cursor tell us more？ In J. A. Jacko， A. Sears， & J. Arnowitz （Eds.）， CHI 2001： Anyone， anywhere： CHI 2001 extended abstracts， conference on human factors in computing systems （p. 281）. New York， NY： Association for Computing Machinery.

DMello， S. （2013）. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology. Journal of educational psychology， 105（4）， 1082-1099.

DMello， S.， & Graesser， A. （2009）. Automatic Detection Of Learners Affect From Gross Body Language. Applied Artificial Intelligence， 23（2）， 123-150.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School Engagement： Potential of the Concept， State of the Evidence. Review of Educational Research， 74（1）， 59-109.

Fredricks， J. A.， & McColskey， W. （2012）. The Measurement of Student Engagement： A Comparative Analysis of Various Methods and Student Self-report Instruments. In S. Christenson， A. L. Reschly， & C. Wylie （Eds.）， Handbook of research on student engagement （pp. 763-782）. New York： Springer.

Goldberg， B. S.， Sottilare， R. A.， Brawner， K. W.， & Holden， H. K. （2011）. Predicting Learner Engagement during Well-Defined and Ill-Defined Computer-Based Intercultural Interactions. In S. DMello， A. Graesser， B. Schuller， & J.-C. Martin （Eds.）， Affective Computing and Intelligent Interaction （pp. 538-547）. Berlin， Heidelberg： Springer Berlin Heidelberg.

Greenwood， C. R.， Horton， B. T.， & Utley， C. A. （2002）. Academic engagement： Current perspectives in research and practice. School Psychology Review， 31（3）， 328-349.

Hamane， A. C. （2014）. Student engagement in an online course and its impact on student success （Doctoral dissertation）. Retrieved from Pepperdine University. （2014.3615910）.

Ho， A. D.， Reich， J.， Nesterko， S. O.， Seaton， D. T.， Mullaney， T.， Waldo， J.， et al. （2014）. HarvardX and MITx： The first year of open online courses， fall 2012-summer 2013. Social Science Research Network （2014）. http：//ssrn. com/abstract， 2381263.

Huang， J.， White， R. W.， Buscher， G. （2012）. User See， User Point： Gaze and Cursor Alignment in Web Search. Proceedings of the 2012 ACM annual conference on human factors in computing systems （pp. 1341-1350）.New York， NY： ACM.

Katy Jordan （2015， June 12）. MOOC completion rates. Retrieved Oct. 23，2019 from? http：//www.katyjordan.com/MOOCproject.html

Kuh， G. D. （2001）. The National Survey of Student Engagement： Conceptual framework and overview of psychometric properties. Bloomington， IN： Indiana University Center for Postsecondary Research， 126.

Kuh， G. D. （2009）. The national survey of student engagement： Conceptual and empirical foundations. New Directions for Institutional Research， 2009（141）， 5-20.

Lagun， D.， Agichtein， E. （2011）. ViewSer： enabling large-scale remote user studies of web search examination and interaction. In W.-Y. Ma （Ed.）： ACM Digital Library， Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval （p. 365）. New York， NY： ACM.

Liebling， D. J.， Dumais， S. T. （2014）. Gaze and mouse coordination in everyday work. In A. J. Brush， A. Friday， J. Kientz， J. Scott， & J. Song （Eds.）， UbiComp14 adjunct： Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing ： September 13-17， 2014， Seattle， WA， USA （pp. 1141-1150）. New York： Association for Computing Machinery.

Miller， B. W. （2015）. Using Reading Times and Eye-Movements to Measure Cognitive Engagement. Educational Psychologist， 50（1），31-42.

Navalpakkam， V.， Jentzsch， L.， Sayres， R.， Ravi， S.， Ahmed， A.， & Smola， A. （Eds.） （2013）. Measurement and Modeling of Eye-mouse Behavior in the Presence of Nonlinear Page Layouts： Proceedings of the 22nd international conference on World Wide Web.

Nystrand， M.， Gamoran， A. （1991）. Instructional discourse， student engagement， and literature achievement. Research in the Teaching of English， 261-290.

Rodden， K.， & Fu， X. （2007）. Exploring how mouse movements relate to eye movements on web search results pages. Proceedings of ACM SIGIR 2007， 29-32.

Shernoff， D. J.， Csikszentmihalyi， M.， Shneider， B.， Shernoff， E. S. （2003）. Student engagement in high school classrooms from the perspective of flow theory. School Psychology Quarterly， 18（2）， 158-176.

Sundar， P.， Kumar， A. S. （2016）. Disengagement detection in online learning using log file analysis. International journal of computer technology and applications， 9（27）， 195-301.

Whitehill， J.， Serpell， Z.， Lin， Y.-C.， Foster， A.， & Movellan， J. R. （2014）. The Faces of Engagement： Automatic Recognition of Student Engagement from Facial Expressions. IEEE Transactions on Affective Computing， 5（1）， 86-98.

Wigfield， A.， Guthrie， J. T.， Perencevich， K. C.， Taboada， A.， Klauda， S. L.， McRae， A.， et al. （2008）. Role of reading engagement in mediating effects of reading comprehension instruction on reading outcomes. Psychology in the Schools， 45（5）， 432-445.

Yamauchi， T.， & Xiao， K. （2018）. Reading Emotion From Mouse Cursor Motions： Affective Computing Approach. Cognitive Science， 42（3）， 771-819.

收稿日期：2019-10-28

定稿日期：2020-05-26

作者簡(jiǎn)介：李振華，博士研究生，高級(jí)實(shí)驗(yàn)師;張昭理，博士，教授，博士生導(dǎo)師;劉海，博士，副教授，碩士生導(dǎo)師，本文通訊作者。華中師范大學(xué)國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心（430079）。

責(zé)任編輯 單 玲