王麗英 何云帆 田俊華

【摘要】? 顯性化測(cè)量與評(píng)估在線學(xué)習(xí)行為和情感狀態(tài)是學(xué)習(xí)分析領(lǐng)域的研究熱點(diǎn)。為克服單模態(tài)數(shù)據(jù)分析片面和多模態(tài)數(shù)據(jù)融合模糊等問(wèn)題，全面感知和反饋在線學(xué)習(xí)過(guò)程狀態(tài)，本研究構(gòu)建了一種在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合模型。該模型利用自動(dòng)化操作行為事件監(jiān)聽(tīng)、表情識(shí)別、生理特征監(jiān)測(cè)等原理，從行為、情緒和認(rèn)知3個(gè)維度進(jìn)行時(shí)序數(shù)據(jù)同步融合、分層遞進(jìn)診斷評(píng)估和統(tǒng)計(jì)聚類(lèi)分析;考慮到對(duì)在線學(xué)習(xí)者具有較低的侵入性和干擾性，該模型在技術(shù)實(shí)現(xiàn)上采用分布式物聯(lián)網(wǎng)技術(shù)和開(kāi)放式Django Web服務(wù)器部署技術(shù)，形成學(xué)習(xí)過(guò)程狀態(tài)數(shù)據(jù)的自動(dòng)采集、分析、融合、評(píng)估和反饋等多層體系結(jié)構(gòu);應(yīng)用該系統(tǒng)對(duì)MOOC環(huán)境下在線學(xué)習(xí)行為評(píng)測(cè)實(shí)驗(yàn)，討論了本模型的準(zhǔn)確性、易用性和有用性等問(wèn)題。研究結(jié)果表明，本研究構(gòu)建的模型能夠?yàn)樵诰€學(xué)習(xí)分析提供一種有效的技術(shù)解決方案，為同類(lèi)研究可提供方法借鑒與技術(shù)實(shí)現(xiàn)參考。

【關(guān)鍵詞】? 多模態(tài)數(shù)據(jù)融合;在線學(xué)習(xí);學(xué)習(xí)投入;行為監(jiān)聽(tīng);情感計(jì)算;心率監(jiān)測(cè);物聯(lián)網(wǎng)技術(shù);人工智能

【中圖分類(lèi)號(hào)】? G434? ? ? ?【文獻(xiàn)標(biāo)識(shí)碼】? A? ? ? ?【文章編號(hào)】? 1009-458x（2020）6-0022-10

一、引言

隨著信息技術(shù)的快速發(fā)展與廣泛普及，E-Learning已成為各類(lèi)教育教學(xué)的新常態(tài)。與此同時(shí)，與傳統(tǒng)面對(duì)面教學(xué)相融合的混合學(xué)習(xí)，不僅改變了現(xiàn)有課程的教學(xué)模式，還產(chǎn)生了新的教學(xué)形態(tài)（Bonk & Graham， 2012）?；诰W(wǎng)絡(luò)技術(shù)的教學(xué)方式擴(kuò)大了教學(xué)規(guī)模，提高了教學(xué)效率，改善了學(xué)習(xí)效果，但同時(shí)也產(chǎn)生了很多新問(wèn)題，如MOOC學(xué)習(xí)中的高輟學(xué)率、網(wǎng)絡(luò)環(huán)境下學(xué)習(xí)者的無(wú)助感、學(xué)習(xí)任務(wù)的低完成率等（王宇， 2018）。

在線學(xué)習(xí)研究涉及多個(gè)領(lǐng)域，當(dāng)前主要集中在網(wǎng)絡(luò)環(huán)境下學(xué)習(xí)行為特點(diǎn)及其影響因素研究，學(xué)習(xí)者學(xué)習(xí)狀況的自我認(rèn)知和相關(guān)決策研究（魏順平， 2012），在線學(xué)習(xí)的發(fā)展動(dòng)力與學(xué)習(xí)績(jī)效研究，利用自我監(jiān)控、外部監(jiān)控策略檢查和督促學(xué)習(xí)者的學(xué)習(xí)狀態(tài)研究，等等。盡管有大量關(guān)于學(xué)習(xí)過(guò)程、學(xué)習(xí)工具、學(xué)習(xí)資源、學(xué)習(xí)效果分析等方面的研究，但對(duì)學(xué)習(xí)過(guò)程中學(xué)習(xí)者的認(rèn)知、情感和行為變化的研究仍處于一種“黑箱”狀態(tài)，如缺乏針對(duì)學(xué)習(xí)行為的深度跟蹤，尤其是情感狀態(tài)描述和心理活動(dòng)分析難以對(duì)學(xué)習(xí)狀態(tài)進(jìn)行自動(dòng)診斷與預(yù)測(cè)。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能等技術(shù)的不斷成熟，構(gòu)建自動(dòng)化或半自動(dòng)化的學(xué)習(xí)行為跟蹤與分析系統(tǒng)成為可能，顯性化在線學(xué)習(xí)行為及跟蹤與評(píng)估其情感狀態(tài)成為學(xué)習(xí)分析等教育研究的熱點(diǎn)問(wèn)題。

二、在線學(xué)習(xí)行為數(shù)據(jù)融合研究現(xiàn)狀

自動(dòng)化學(xué)習(xí)行為檢測(cè)手段在學(xué)習(xí)分析領(lǐng)域是一項(xiàng)十分重要的基礎(chǔ)工作。學(xué)習(xí)分析過(guò)程極大地依賴(lài)于使用技術(shù)手段跟蹤學(xué)習(xí)過(guò)程，監(jiān)控學(xué)習(xí)狀態(tài)，通過(guò)收集、分析和報(bào)告學(xué)習(xí)行為及其學(xué)習(xí)環(huán)境的相關(guān)數(shù)據(jù)，更好地理解和優(yōu)化學(xué)習(xí)過(guò)程及學(xué)習(xí)環(huán)境（Siemens， 2013）。目前，基于現(xiàn)代學(xué)習(xí)理論與心理學(xué)情緒模型的各種在線學(xué)習(xí)外顯狀態(tài)（行為反應(yīng)、心理反應(yīng)和生理反應(yīng)）評(píng)測(cè)技術(shù)得以廣泛應(yīng)用，評(píng)測(cè)結(jié)果已成為教育者理解學(xué)習(xí)者學(xué)習(xí)投入狀態(tài)的重要線索。

（一）單模態(tài)數(shù)據(jù)檢測(cè)技術(shù)及其理論基礎(chǔ)

美國(guó)學(xué)者弗雷德里克斯等人（Fredricks， Blumenfeld， & Paris， 2004）指出，學(xué)習(xí)投入包括行為投入、情感投入和認(rèn)知投入。因此，單模態(tài)數(shù)據(jù)檢測(cè)技術(shù)與理論可分別從行為事件監(jiān)聽(tīng)、面部表情識(shí)別與生理特征檢測(cè)等方面開(kāi)展相關(guān)研究。

1. 在線學(xué)習(xí)行為事件監(jiān)聽(tīng)與學(xué)習(xí)投入評(píng)價(jià)

依據(jù)行為主義和聯(lián)通主義理論，當(dāng)前大多數(shù)在線學(xué)習(xí)行為監(jiān)測(cè)系統(tǒng)是通過(guò)監(jiān)聽(tīng)學(xué)習(xí)過(guò)程、記錄學(xué)習(xí)數(shù)據(jù)建立學(xué)習(xí)行為與學(xué)習(xí)評(píng)價(jià)之間的相互關(guān)聯(lián)。比如，鄭勤華等人（2016）提出了投入度、完成度、主動(dòng)性、調(diào)控度和聯(lián)通度5個(gè)維度在線學(xué)習(xí)學(xué)生綜合評(píng)價(jià)指標(biāo)。早期的技術(shù)手段比較簡(jiǎn)單，多以點(diǎn)擊量和在線時(shí)間為依據(jù)給學(xué)習(xí)者施加學(xué)習(xí)壓力，以維持持久的學(xué)習(xí)動(dòng)機(jī)。以MOOC為代表的在線學(xué)習(xí)平臺(tái)則廣泛采用課件、作業(yè)、測(cè)驗(yàn)、考試、提問(wèn)、討論、互評(píng)等環(huán)節(jié)的參與度作為評(píng)測(cè)依據(jù)。有些在線學(xué)習(xí)平臺(tái)利用技術(shù)手段通過(guò)判定鼠標(biāo)靜止時(shí)長(zhǎng)或者課程窗口是否激活來(lái)控制課件播放達(dá)到有效監(jiān)控學(xué)習(xí)進(jìn)度的目的。有的研究則通過(guò)靜默方式記錄在線學(xué)習(xí)行為的痕跡，其依據(jù)是人機(jī)交互的頻率和類(lèi)型取決于個(gè)體對(duì)認(rèn)知需要的響應(yīng)程度。例如，書(shū)寫(xiě)、閱讀和搜索等都需要使用鍵盤(pán)、鼠標(biāo)和特定的軟件操作計(jì)算機(jī)。這種方法對(duì)學(xué)生不會(huì)造成額外負(fù)擔(dān)和壓力，卻能充分反映學(xué)習(xí)投入程度。典型的研究如黎孟雄等人（2015）對(duì)學(xué)生的鍵盤(pán)和鼠標(biāo)等常規(guī)輸入設(shè)備的擊鍵和滾輪等操作行為進(jìn)行監(jiān)測(cè)，獲得擊鍵特征（頻率和力度）和滾輪特征（頻率和速度）向量信息。該研究建立了操作行為特征與情緒類(lèi)型的量化關(guān)系，采用二維情緒空間模型，定量計(jì)算愉悅、沮喪、焦躁和冷靜4種基本情緒強(qiáng)度，實(shí)證了自適應(yīng)的正負(fù)向情緒交互調(diào)節(jié)策略。

對(duì)于情感識(shí)別，OCC模型（Ortony， 1980）是認(rèn)知心理學(xué)中經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型，共描述了22種不同情感類(lèi)型的認(rèn)知結(jié)構(gòu)，主要包括與事件結(jié)果相關(guān)的情感、與智能體行為相關(guān)的情感和與對(duì)象屬性相關(guān)的情感3個(gè)部分。雅克等人的研究基于OCC模型提出對(duì)遠(yuǎn)程學(xué)習(xí)者產(chǎn)生學(xué)習(xí)事件的情緒識(shí)別方法，宗陽(yáng)等人（2017）在此基礎(chǔ)之上計(jì)算Moodle平臺(tái)案例課程的論壇文本與事件相關(guān)的情感分值，探究行為與學(xué)業(yè)情緒之間的關(guān)系，得出教師情緒傾向會(huì)正向影響學(xué)業(yè)情緒、學(xué)業(yè)情緒與學(xué)習(xí)結(jié)果顯著相關(guān)的結(jié)論。

2. 情緒模型、面部表情及自動(dòng)識(shí)別技術(shù)

心理學(xué)對(duì)情緒模型的研究已有豐富的研究成果。普拉契克（Plutchic）認(rèn)為情緒包括相似性、兩極性和強(qiáng)度3個(gè)維度，由此提出了離散的8種基本情緒（狂怒、警惕、狂喜、接受、驚喜、恐懼、憎恨和悲痛）輪狀模型（喬建中， 等， 1991）。羅素（Russell， 1980）將情緒表征為愉悅度和喚醒度兩個(gè)維度，由此構(gòu)建了連續(xù)的環(huán)形情緒描述模型。然而，學(xué)習(xí)情境下的情感并不完全等同于基本情緒類(lèi)型。梅洛（Mello， Taylor， & Graesser， 2007）等人在基于智能導(dǎo)師系統(tǒng)的學(xué)生學(xué)習(xí)計(jì)算機(jī)基礎(chǔ)知識(shí)的情感變化監(jiān)控研究中提出了6種學(xué)習(xí)情感狀態(tài)（厭煩、熱情/專(zhuān)注、困惑、挫折、高興和驚奇）的轉(zhuǎn)換模型，孫波等人（2015）提出了7種學(xué)習(xí)情感類(lèi)型，即高興、驚訝、厭煩、困惑、疲勞、專(zhuān)注和自信。也就是說(shuō)，不同的研究工作往往要依據(jù)具體的研究需要調(diào)整情緒類(lèi)型。

情緒是人的內(nèi)在心理活動(dòng)，面部表情作為一種外顯心理狀態(tài)可以在一定程度上反映情緒。對(duì)于面部表情的識(shí)別，?？寺≒aul Ekman， 1966）等人依據(jù)面部動(dòng)作編碼系統(tǒng)（FACS）提出了6種基本表情，即高興、悲傷、驚訝、恐懼、憤怒和厭惡。此后，計(jì)算機(jī)領(lǐng)域?qū)W者廣泛將其用作表情識(shí)別的基本類(lèi)型。孟昭蘭（1987）從面部表情的先天程序化、全人類(lèi)普遍性、對(duì)嬰兒生存的適應(yīng)性及其對(duì)情緒的發(fā)生和顯示作用這4個(gè)方面闡述了面部表情與情緒間的關(guān)系。因此，表情識(shí)別常作為衡量情緒狀態(tài)的一種最直觀的維度。

近二十年來(lái)對(duì)面部表情自動(dòng)識(shí)別的研究和技術(shù)日益成熟，各種傳統(tǒng)的機(jī)器學(xué)習(xí)算法在表情識(shí)別上的正確率已高達(dá)85%以上。人臉檢測(cè)和表情識(shí)別技術(shù)對(duì)檢測(cè)者造成的心理干擾較少，廣泛應(yīng)用于實(shí)時(shí)持續(xù)性、大規(guī)模的公安、交通等領(lǐng)域的日常應(yīng)用場(chǎng)合。雖然該技術(shù)容易受到光照、遮擋、旋轉(zhuǎn)、背景等因素的干擾，但通過(guò)多次反復(fù)檢測(cè)可以彌補(bǔ)此缺陷。在教育領(lǐng)域，依據(jù)面部表情和身體行為特征，Hwang等（Hwang & Yang， 2009）將傳統(tǒng)算法用于自動(dòng)檢測(cè)注意力的集中狀態(tài)?；谝暰€、頭部姿態(tài)和手部跟蹤，Asteriadis等（Asteriadis， Tzouveli， Karpouzis， & Kollias， 2009）構(gòu)建了一種行為識(shí)別系統(tǒng)用于發(fā)現(xiàn)注意的興趣區(qū)域。2016年以來(lái)，深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法應(yīng)用在該問(wèn)題上，精度已達(dá)到90%以上。其中，有些知名公司開(kāi)放了其應(yīng)用接口，如微軟認(rèn)知服務(wù)、谷歌人臉?lè)?wù)、百度大腦、曠視科技等。還有一些開(kāi)源軟件如Openface、Fast RCNN等在Github上公開(kāi)發(fā)布，便于二次開(kāi)發(fā)。當(dāng)前，國(guó)內(nèi)有幾家公司關(guān)注AI技術(shù)在教育領(lǐng)域的應(yīng)用和研究，比如好未來(lái)科技的魔鏡、清帆科技的EduBrain，可以實(shí)現(xiàn)學(xué)習(xí)者的歷史數(shù)據(jù)云端存儲(chǔ)檢索，但還面臨綜合其他類(lèi)型的數(shù)據(jù)建立分析模型可靠診斷學(xué)習(xí)狀態(tài)的難題。

3. 情緒和認(rèn)知狀態(tài)的生理特征檢測(cè)研究

心理學(xué)研究表明，身體表面反饋出來(lái)的生物活動(dòng)能反映情感對(duì)自主神經(jīng)系統(tǒng)的影響（Kim， Bang， & Kim， 2004）。人的情緒會(huì)影響心率的變化，負(fù)向情緒時(shí)心率會(huì)比正向情緒時(shí)低。當(dāng)學(xué)習(xí)者承受壓力時(shí)，交感神經(jīng)系統(tǒng)會(huì)發(fā)揮作用，導(dǎo)致心率升高、心率變異性降低;當(dāng)學(xué)習(xí)者成功自控時(shí)，副交感神經(jīng)系統(tǒng)會(huì)發(fā)揮主要作用，導(dǎo)致心率降低、心率變異性升高，從而使學(xué)習(xí)者集中注意力并恢復(fù)心態(tài)平靜（張琪， 等， 2016）。因此，傳統(tǒng)心理學(xué)實(shí)驗(yàn)測(cè)量方法常應(yīng)用眼動(dòng)或腦電、心電、皮電等生理指標(biāo)研究注意力、情緒、認(rèn)知等。比如，眼動(dòng)儀在閱讀方式方面的研究，臺(tái)灣學(xué)者（Yang， Chang， Chien， Chien， & Tseng， 2013）應(yīng)用faceLab4.5開(kāi)展了注視點(diǎn)分布、持續(xù)時(shí)間及測(cè)試成績(jī)、學(xué)習(xí)效果的系列研究，為教學(xué)設(shè)計(jì)、多媒體應(yīng)用、學(xué)習(xí)者認(rèn)知模式構(gòu)建提供了理論依據(jù)。

對(duì)于認(rèn)知負(fù)荷，目前尚不能直接對(duì)其測(cè)量，常用的間接評(píng)估方法有任務(wù)績(jī)效、主觀評(píng)定和生理測(cè)量3類(lèi)。王超等人（2014）采用Tobii-TX300和16導(dǎo)無(wú)線生理記錄儀對(duì)空中管制員的認(rèn)知負(fù)荷開(kāi)展實(shí)驗(yàn)研究，結(jié)果表明認(rèn)知負(fù)荷越大，注視持續(xù)時(shí)間越短，注視頻率越大，瞳孔直徑越大，眼跳距離越小;心率顯著增加，心率變異性指標(biāo)RMSSD（相鄰NN間期差值的均方根）減小，低頻指標(biāo)增加。

心理學(xué)實(shí)驗(yàn)相關(guān)傳感器的測(cè)量精度高，在醫(yī)療診斷方面有著廣泛的應(yīng)用。但由于其設(shè)備價(jià)格昂貴，操作嚴(yán)格，多用于個(gè)體實(shí)驗(yàn)，而且不可避免地會(huì)對(duì)被測(cè)者產(chǎn)生干擾和影響。因此，此類(lèi)傳感器并不適合在教育心理測(cè)量領(lǐng)域大規(guī)模、常態(tài)化應(yīng)用。

隨著物聯(lián)網(wǎng)傳感技術(shù)的發(fā)展，硬件成本逐漸降低，測(cè)量精度不斷提高，采集生理特征已經(jīng)進(jìn)入了實(shí)用階段。一些可穿戴、便攜式的手環(huán)產(chǎn)品已經(jīng)在日常生活中用于監(jiān)測(cè)體溫、血壓、皮電、心電等主要體征。還有一些可進(jìn)行嵌入式開(kāi)發(fā)和集成的元器件級(jí)別的傳感器在工業(yè)和教育領(lǐng)域廣泛應(yīng)用。比如，PulseSensor用于實(shí)時(shí)監(jiān)測(cè)長(zhǎng)跑運(yùn)動(dòng)者的心率狀態(tài)，測(cè)得的穩(wěn)定心率數(shù)據(jù)誤差維持在每分鐘2次（陸佳斌， 等， 2017）。因此，借助物聯(lián)網(wǎng)技術(shù)跟蹤學(xué)習(xí)者的認(rèn)知路徑和情感發(fā)展過(guò)程具有較高的可行性和普適性。

（二）在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合相關(guān)研究

相比單模態(tài)數(shù)據(jù)檢測(cè)，利用多模態(tài)數(shù)據(jù)表征有利于全面而準(zhǔn)確地把握學(xué)習(xí)過(guò)程中人機(jī)交互的個(gè)體情緒狀態(tài)及認(rèn)知狀態(tài)的變化，在情緒建模、學(xué)習(xí)活動(dòng)跟蹤、學(xué)習(xí)者行為特征抽取、自適應(yīng)學(xué)習(xí)等領(lǐng)域具有極大的潛能（張琪， 等， 2016）。

詹澤慧等人（2013）根據(jù)OCC模型認(rèn)為學(xué)習(xí)者的認(rèn)知狀態(tài)與情感狀態(tài)是相互影響且可以相互推斷的，其構(gòu)建的智能 Agent的學(xué)習(xí)者情緒與認(rèn)知識(shí)別模型中，情感狀態(tài)識(shí)別結(jié)論由學(xué)習(xí)者表情數(shù)據(jù)和眼動(dòng)數(shù)據(jù)相比對(duì)驗(yàn)證，并以表情為主;認(rèn)知狀態(tài)識(shí)別結(jié)論由學(xué)習(xí)者情緒狀態(tài)、眼動(dòng)數(shù)據(jù)得出的視線路徑、學(xué)習(xí)內(nèi)容共同推理得出，輔以詢(xún)問(wèn)交互。該理論模型嘗試解決單一的情感模型或者單一的認(rèn)知模型都難以準(zhǔn)確、客觀地描述學(xué)習(xí)者的狀態(tài)這一問(wèn)題，采用情感識(shí)別與認(rèn)知識(shí)別過(guò)程相耦合來(lái)提高識(shí)別準(zhǔn)確率。

晉欣泉等人（2016）基于語(yǔ)音、姿態(tài)、生理、文本等大數(shù)據(jù)分析流程構(gòu)建了一個(gè)在線學(xué)習(xí)情緒測(cè)量模型，通過(guò)人體輪廓圖描述學(xué)習(xí)狀態(tài)。其認(rèn)為情緒類(lèi)型尚不統(tǒng)一，相同類(lèi)型的情緒通過(guò)采集語(yǔ)音、姿態(tài)、生理和文本等多種數(shù)據(jù)進(jìn)行測(cè)量，究竟應(yīng)該以哪一種指標(biāo)為主并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)，這為在線學(xué)習(xí)情緒的精準(zhǔn)識(shí)別帶來(lái)了挑戰(zhàn)。

鐘薇等人（2018）系統(tǒng)解讀了多模態(tài)數(shù)據(jù)的概念、多模態(tài)學(xué)習(xí)分析過(guò)程和技術(shù)發(fā)展趨勢(shì)，提出了一種結(jié)合線上線下真實(shí)情境的時(shí)序數(shù)據(jù)，分層級(jí)開(kāi)展可視化、評(píng)估、預(yù)測(cè)和干預(yù)，指導(dǎo)教學(xué)和環(huán)境改善的多模態(tài)學(xué)習(xí)數(shù)據(jù)分析流程。同時(shí)，作者對(duì)一門(mén)課程開(kāi)展了行為層和心理層的案例研究，主要采用了課堂行為實(shí)錄編碼、畢博文本話語(yǔ)分析和調(diào)查問(wèn)卷統(tǒng)計(jì)方法，發(fā)現(xiàn)個(gè)體和群體在混合學(xué)習(xí)中的特征。但是該研究未能全面收集和剖析學(xué)習(xí)者的行為層、心理層和生理層的多模態(tài)數(shù)據(jù)。

有研究通過(guò)跟蹤17名用戶在游戲中的點(diǎn)擊事件流（Giannakos， Sharma， Pappas， Kostakos， & Velloso， 2019）預(yù)測(cè)學(xué)習(xí)成績(jī)，當(dāng)采用傳統(tǒng)方法時(shí)錯(cuò)誤率高達(dá)39%;當(dāng)采用多模態(tài)數(shù)據(jù)，包括眼動(dòng)、EEG、視頻和腕部數(shù)據(jù)，錯(cuò)誤率可以降到12%。另一項(xiàng)研究收集了47名大學(xué)生在線學(xué)習(xí)的面部視頻和鍵鼠事件流（Zhang， Li， Liu， Cao， & Liu， 2019），然后人工標(biāo)記學(xué)習(xí)投入狀態(tài)，采用4種分類(lèi)算法在雙模態(tài)數(shù)據(jù)集上的識(shí)別率要高于單模態(tài)數(shù)據(jù)集上的識(shí)別率平均3.46%。

綜上所述，在線學(xué)習(xí)行為分析的研究已經(jīng)利用了語(yǔ)音、文本、視頻、生理、事件、問(wèn)卷等多種數(shù)據(jù)類(lèi)型。一方面，單模態(tài)數(shù)據(jù)分析不足以全面反映學(xué)習(xí)投入狀態(tài)，并且僅限于嚴(yán)格條件下的實(shí)驗(yàn)研究，難以解決復(fù)雜、真實(shí)情境下的情感和認(rèn)知識(shí)別。另一方面，多模態(tài)數(shù)據(jù)融合模型應(yīng)用兩種或多種類(lèi)型的數(shù)據(jù)進(jìn)行跟蹤分析，理論模型雖然清晰，但融合方法比較抽象和模糊。鑒于當(dāng)前智慧教育對(duì)精細(xì)化服務(wù)的需求十分迫切，需要更全面深入的學(xué)習(xí)狀態(tài)分析研究。本研究提出一種在線學(xué)習(xí)行為的多模態(tài)數(shù)據(jù)融合模型，并加以應(yīng)用實(shí)證，討論其準(zhǔn)確性、易用性和有用性，為未來(lái)的實(shí)踐提供一點(diǎn)啟示。

三、多模態(tài)數(shù)據(jù)融合模型

該模型旨在克服單模態(tài)數(shù)據(jù)分析片面和多模態(tài)數(shù)據(jù)融合模糊等問(wèn)題，全面感知在線學(xué)習(xí)過(guò)程狀態(tài)。根據(jù)弗雷德里克斯等人的觀點(diǎn)，學(xué)習(xí)投入包括行為、情感和認(rèn)知投入。Patrick（1993）等人認(rèn)為行為投入一般是指學(xué)生在學(xué)習(xí)過(guò)程中行為的積極程度。對(duì)于情感投入，Skinner和Belmont（1993）將情感投入定義為學(xué)生在與成就相關(guān)的活動(dòng)中產(chǎn)生的興趣、快樂(lè)、焦慮和憤怒，也有學(xué)者指出情感投入有6個(gè)基本要素，即孤僻、遵守規(guī)范、反叛、順從、革新和投入（connell， 1990）。對(duì)于大部分的研究可以總結(jié)為積極情緒、混合狀態(tài)和消極情緒3種類(lèi)型。認(rèn)知投入主要表現(xiàn)為學(xué)習(xí)策略的不同，其中也包括自我監(jiān)控方面的含義（Pintrich， 1992; Meece， Blumenfeld， & Hoyle， 1988）。不過(guò)，學(xué)習(xí)策略的使用一般難以用觀察進(jìn)行評(píng)估，本研究中使用學(xué)生學(xué)習(xí)過(guò)程中的生理狀態(tài)側(cè)面反映其學(xué)習(xí)認(rèn)知狀況。因此，本模型利用自動(dòng)化操作行為事件監(jiān)聽(tīng)、表情識(shí)別、生理特征監(jiān)測(cè)等原理，從學(xué)習(xí)投入的3個(gè)維度，即行為、情緒和認(rèn)知進(jìn)行時(shí)序數(shù)據(jù)分析?？紤]到對(duì)在線學(xué)習(xí)者的侵入和干擾應(yīng)盡可能較低，該模型在技術(shù)實(shí)現(xiàn)上采用分布式物聯(lián)網(wǎng)技術(shù)和開(kāi)放式Django Web服務(wù)器部署技術(shù)，形成學(xué)習(xí)過(guò)程狀態(tài)數(shù)據(jù)的自動(dòng)采集、分析、融合、評(píng)估與反饋多層體系結(jié)構(gòu)，如圖1所示。數(shù)據(jù)采集層全面覆蓋了行為、心理和生理3個(gè)通道的多模態(tài)數(shù)據(jù)。生理信號(hào)采集子系統(tǒng)采用通用的可擴(kuò)展的物聯(lián)網(wǎng)架構(gòu)，管理輕量級(jí)的人體生理傳感器，通過(guò)無(wú)線網(wǎng)絡(luò)分布式采集、存儲(chǔ)生理數(shù)據(jù)。本文僅選心率傳感器加以驗(yàn)證，如圖 2所示，Arduino開(kāi)發(fā)板帶有無(wú)線網(wǎng)絡(luò)模塊，通過(guò)IP地址和端口號(hào)與服務(wù)器連通，通過(guò)token號(hào)關(guān)聯(lián)到服務(wù)器中的設(shè)備，使用MQTT協(xié)議向服務(wù)器發(fā)送心率，在網(wǎng)絡(luò)帶寬允許的條件下可以滿足上千個(gè)用戶并發(fā)采集。分析層對(duì)三個(gè)通道不同類(lèi)型的時(shí)序數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理;融合層對(duì)時(shí)序數(shù)據(jù)進(jìn)行對(duì)齊同步整合，評(píng)估層對(duì)學(xué)習(xí)投入3要素分層遞進(jìn)診斷和評(píng)估，最后反饋層采用統(tǒng)計(jì)聚類(lèi)可視化在線學(xué)習(xí)過(guò)程。數(shù)據(jù)存儲(chǔ)和檢索的核心采用B/S模式的Web服務(wù)器框架和MySQL數(shù)據(jù)庫(kù)，客戶端基于RestAPIs開(kāi)發(fā)原理，采用Python實(shí)現(xiàn)業(yè)務(wù)邏輯，支持網(wǎng)頁(yè)嵌入各種ECharts圖表，易于用戶觀察結(jié)果。該模型既可以驗(yàn)證身份，又可以大規(guī)模跟蹤分析學(xué)習(xí)投入情況。該方案為以后基于教育大數(shù)據(jù)監(jiān)測(cè)的相關(guān)應(yīng)用建立了強(qiáng)大、開(kāi)放的后端基礎(chǔ)。

（一）多模態(tài)數(shù)據(jù)時(shí)序分析

采集層得到了3個(gè)通道的數(shù)據(jù)，如何解析多模態(tài)數(shù)據(jù)成為結(jié)構(gòu)化的數(shù)據(jù)對(duì)象以及便于后續(xù)使用成為首要任務(wù)。如圖1中分析層所示，多通道數(shù)據(jù)先獨(dú)立解析處理，提取出學(xué)習(xí)者在行為、心理和生理上的時(shí)序數(shù)據(jù)對(duì)象。

1. 操作事件以靜默方式監(jiān)聽(tīng)和記錄學(xué)習(xí)者在電腦上的操作?？紤]到要感知主動(dòng)學(xué)習(xí)的行為投入情況，因此選擇常規(guī)鍵鼠輸入和任務(wù)管理器特定應(yīng)用程序的進(jìn)程運(yùn)行情況等作為監(jiān)聽(tīng)的候選事件。其中，鍵鼠監(jiān)聽(tīng)器分別記錄鍵盤(pán)點(diǎn)擊的字符、鼠標(biāo)操作的類(lèi)型;進(jìn)程監(jiān)聽(tīng)器每隔15秒記錄一次任務(wù)管理器中的進(jìn)程信息。數(shù)據(jù)將以ID、時(shí)分秒、類(lèi)型和內(nèi)容的形式追加到各自的文本日志中，學(xué)習(xí)者未察覺(jué)受到干擾。對(duì)于學(xué)習(xí)過(guò)程進(jìn)行錄屏處理，建立應(yīng)用程序和網(wǎng)頁(yè)瀏覽黑名單，限制學(xué)習(xí)者在線學(xué)習(xí)行為，從而確保其行為與學(xué)習(xí)狀態(tài)的相關(guān)性。

操作行為分析過(guò)程如下：首先，提取日志中的行為數(shù)據(jù)，根據(jù)事件類(lèi)型統(tǒng)計(jì)同一時(shí)刻的行為次數(shù)。事件類(lèi)型包括鍵盤(pán)的擊鍵類(lèi)型（功能鍵或字符輸入）和鼠標(biāo)操作類(lèi)型（點(diǎn)擊、釋放或滾動(dòng)）。其次，計(jì)算相鄰時(shí)刻進(jìn)程集合Si和Si+1的差集，得到關(guān)閉的進(jìn)程集合Sclose=Si-Si+1和開(kāi)啟的進(jìn)程集合Sopen=Si+1-Si。再其次，根據(jù)事件類(lèi)型統(tǒng)計(jì)同一秒內(nèi)鍵盤(pán)輸入字符數(shù)、鼠標(biāo)點(diǎn)擊次數(shù)、與學(xué)習(xí)有關(guān)的開(kāi)啟和關(guān)閉的進(jìn)程數(shù)量和名稱(chēng)。最后，存儲(chǔ)行為數(shù)據(jù)對(duì)象（ID，時(shí)分秒，事件，內(nèi)容）。

2. 情緒分析部分利用曠視表情識(shí)別接口處理面部視頻的關(guān)鍵幀，標(biāo)識(shí)學(xué)習(xí)者的情緒類(lèi)型?；谝酝楦型度氲?種類(lèi)型和本研究需求，將表情識(shí)別的8種情緒類(lèi)型分為3種學(xué)習(xí)情感，分別是包括驚訝、喜悅、平靜的積極狀態(tài)，包括傷心、生氣、厭惡、恐懼的消極狀態(tài)和游離狀態(tài)。這樣做能盡可能減少情感狀態(tài)過(guò)多帶來(lái)的誤差。

首先，使用開(kāi)源工具FFmpeg轉(zhuǎn)碼離散化面部視頻，每五秒提取1張關(guān)鍵幀，輸出圖像集。然后，將圖片逐張傳入曠視表情識(shí)別接口，由曠視表情識(shí)別服務(wù)器返回情緒類(lèi)型。曠視科技提供給每個(gè)注冊(cè)用戶1個(gè)應(yīng)用程序可以使用的鍵名和密碼，通過(guò)發(fā)送Post方法在線請(qǐng)求調(diào)用表情識(shí)別接口，每傳入1張圖片，就返回圖片上的人物數(shù)組。人物數(shù)組中的每個(gè)元素包括屬性值，其內(nèi)部包括7種情緒類(lèi)型和置信度。情緒類(lèi)型是驚訝、高興、平靜、傷心、憤怒、厭惡和恐懼。通過(guò)置信度排序，找到置信度最大的情緒類(lèi)型。最后，存儲(chǔ)情緒數(shù)據(jù)對(duì)象（ID，時(shí)分秒，情緒類(lèi)型），而不用傳輸或保留視頻和圖片。

3. 生理數(shù)據(jù)選擇時(shí)，主要考慮了可操作實(shí)施且是有意義的宏觀生理信號(hào)這兩個(gè)方面。以往研究表明，心率可以用來(lái)反映認(rèn)知投入的負(fù)荷程度。

首先，從物聯(lián)網(wǎng)服務(wù)器上讀出每個(gè)傳感器采集到的心率，組成JSON數(shù)據(jù)集格式（ID，時(shí)分毫秒，心率）。因?yàn)椴杉瘯r(shí)間是毫秒數(shù)量級(jí)，則同一秒內(nèi)可能有多條數(shù)據(jù)，通過(guò)時(shí)間歸類(lèi)，統(tǒng)計(jì)出同一秒內(nèi)心率平均值。然后，存儲(chǔ)生理數(shù)據(jù)對(duì)象（ID，時(shí)分秒，心率均值）到心率表。

（二）多模態(tài)時(shí)序數(shù)據(jù)同步融合

3個(gè)通道的時(shí)序數(shù)據(jù)對(duì)象將以ID和時(shí)刻為線索，同步整合為1個(gè)學(xué)習(xí)者ID的學(xué)習(xí)投入狀態(tài)。首先，同一ID的多模態(tài)時(shí)序數(shù)據(jù)將在時(shí)間軸上進(jìn)行排序?qū)R。然后，合并生成學(xué)習(xí)投入數(shù)據(jù)對(duì)象（ID，時(shí)分秒，鍵盤(pán)輸入次數(shù)、鼠標(biāo)點(diǎn)擊次數(shù)和進(jìn)程開(kāi)啟次數(shù)，情緒類(lèi)型，心率數(shù)值）。最后，存儲(chǔ)學(xué)習(xí)投入數(shù)據(jù)對(duì)象到學(xué)習(xí)投入狀態(tài)表中。圖3展示了1名學(xué)習(xí)者的多模態(tài)時(shí)序數(shù)據(jù)同步融合之后的學(xué)習(xí)投入狀態(tài)圖。從中可以看出學(xué)習(xí)者的操作行為集中在時(shí)間軸最后部分;情緒在前半段更為積極，后半段更為消極;心率平均水平不高，后半段波動(dòng)小于前半段，說(shuō)明認(rèn)知負(fù)荷增加。

（三）基于多模態(tài)時(shí)序數(shù)據(jù)對(duì)相應(yīng)投入進(jìn)行分層遞進(jìn)診斷評(píng)估

首先，從行為投入、情感投入和認(rèn)知投入3個(gè)維度診斷相應(yīng)投入程度;然后，多維度聯(lián)合診斷學(xué)習(xí)投入程度，從而形成4個(gè)層次上遞進(jìn)關(guān)系的評(píng)估。

第一層次，統(tǒng)計(jì)時(shí)間區(qū)間內(nèi)的操作行為、表情類(lèi)型和生理信息的頻次，診斷相應(yīng)的行為投入、情感投入和認(rèn)知投入的狀態(tài)。按照統(tǒng)計(jì)值所占比例劃分操作行為、情感和認(rèn)知的定性狀態(tài)。以下的閾值可以根據(jù)實(shí)際需要的比例調(diào)整設(shè)置。

（1）行為投入的主動(dòng)狀況如圖4所示。

四、實(shí)證分析

采用實(shí)驗(yàn)法驗(yàn)證本模型的實(shí)用性。研究對(duì)象選取某高校教育技術(shù)專(zhuān)業(yè)“網(wǎng)絡(luò)安全與維護(hù)”課程的2017年選課學(xué)生，學(xué)習(xí)材料選取中國(guó)大學(xué)MOOC平臺(tái)某大學(xué)“計(jì)算機(jī)網(wǎng)絡(luò)”在線課程的第7章某一節(jié)。采集研究對(duì)象單次在線學(xué)習(xí)行為數(shù)據(jù)，以過(guò)程數(shù)據(jù)評(píng)價(jià)其學(xué)習(xí)投入狀態(tài)。實(shí)驗(yàn)時(shí)征得本人許可，在電腦屏幕上采用攝像頭捕捉面部視頻，心率傳感器佩戴在個(gè)人左手指面。7人組成一次實(shí)驗(yàn)。通過(guò)完整性分析，獲得有效數(shù)據(jù)25份。其學(xué)習(xí)時(shí)長(zhǎng)（均值，標(biāo)準(zhǔn)差）為（45.8，6.3）分鐘。

（一）模型準(zhǔn)確性分析

一方面，從3個(gè)通道模塊的準(zhǔn)確率角度進(jìn)行客觀分析。首先，通過(guò)人工審查錄屏視頻的關(guān)鍵幀確保操作行為都與學(xué)習(xí)相關(guān)。經(jīng)核對(duì)，行為監(jiān)聽(tīng)的準(zhǔn)確性為84%。其次，為驗(yàn)證表情識(shí)別程序的準(zhǔn)確性，隨機(jī)抽取其中的100張表情關(guān)鍵幀進(jìn)行人工標(biāo)記和表情識(shí)別，得到關(guān)鍵幀的情感類(lèi)型，即積極、消極和游離。計(jì)算出人工標(biāo)記和表情識(shí)別的混淆矩陣，計(jì)算以下評(píng)估指標(biāo)，分別是Kappa=0.825>0.8，宏平均精確率為0.853，宏平均召回率為0.831，F(xiàn)1值為0.838，結(jié)果表明表情分類(lèi)情況較好。最后，心率值誤差在每分鐘2次以?xún)?nèi)（陸佳斌， 等， 2017），同時(shí)受到傳感器與指面的接觸程度和噪聲干擾。綜上所述，本模型在準(zhǔn)確性要求不高的情況下可以使用。

另一方面，通過(guò)調(diào)查問(wèn)卷和系統(tǒng)評(píng)估的一致性進(jìn)行對(duì)比分析。雖然修編的UWES量表是用于大學(xué)生學(xué)習(xí)投入測(cè)量，但因?yàn)樗轻槍?duì)平時(shí)學(xué)習(xí)投入的調(diào)查，并不適用于本研究中單次在線學(xué)習(xí)實(shí)驗(yàn)狀態(tài)下的學(xué)習(xí)投入調(diào)查。首先，設(shè)計(jì)5級(jí)李克特量表在學(xué)習(xí)之后立刻開(kāi)展調(diào)查。問(wèn)卷包括5個(gè)維度的9個(gè)題目，分別是行為投入維度（1題）、情感投入維度（3題）、認(rèn)知投入維度（1題）、專(zhuān)注方面的學(xué)習(xí)心理狀態(tài)維度（1題）和在線學(xué)習(xí)投入狀態(tài)維度（上述6題+3題）。其次，采用獨(dú)立樣本t檢驗(yàn)對(duì)5個(gè)維度進(jìn)行分析。結(jié)果顯示，行為投入維度不滿足統(tǒng)計(jì)意義，因此刪除該維度，僅分析其余維度。再次，采用alpha信度分析，結(jié)果顯示基于標(biāo)準(zhǔn)化項(xiàng)的克隆巴赫 Alpha=0.803>0.75。采用因子分析得到KMO=0.592，巴特利特球形度檢驗(yàn)顯著性=0.000。說(shuō)明問(wèn)卷信度和效度可以接受。最后，依據(jù)公式（2）和公式（3）、表1和表2計(jì)算各維度的狀態(tài)。對(duì)比二者得到一致性統(tǒng)計(jì)數(shù)據(jù)，如表3所示。由此看出，調(diào)查評(píng)價(jià)會(huì)趨向于美化自我的選項(xiàng)。

（二）模型易用性分析

通過(guò)考查學(xué)生MOOC自主學(xué)習(xí)自我報(bào)告和實(shí)驗(yàn)后的成績(jī)分布進(jìn)行統(tǒng)計(jì)。結(jié)果發(fā)現(xiàn)實(shí)驗(yàn)后的成績(jī)高于自主學(xué)習(xí)成績(jī)的人數(shù)占比為64%。進(jìn)一步將自主學(xué)習(xí)成績(jī)作為因變量劃分區(qū)間，計(jì)算不同分?jǐn)?shù)段的成績(jī)均值，如表4所示。從中看出，實(shí)驗(yàn)后成績(jī)均值隨自主在線學(xué)習(xí)成績(jī)均值遞增。由此說(shuō)明，實(shí)驗(yàn)環(huán)境對(duì)學(xué)習(xí)成績(jī)的分布沒(méi)有太多影響。

進(jìn)一步分析發(fā)現(xiàn)，自主學(xué)習(xí)成績(jī)中等水平的群體占比為36%，其在實(shí)驗(yàn)后的學(xué)習(xí)成績(jī)均值有明顯降低。該結(jié)果產(chǎn)生的原因尚不明確，可能是自主學(xué)習(xí)成績(jī)自我報(bào)告偏高或者是實(shí)驗(yàn)環(huán)境會(huì)影響學(xué)習(xí)狀態(tài)導(dǎo)致實(shí)驗(yàn)后成績(jī)偏低。這提示我們需要進(jìn)一步改進(jìn)實(shí)驗(yàn)環(huán)境的舒適程度，比如減少組內(nèi)同時(shí)實(shí)驗(yàn)人數(shù)、調(diào)整心率傳感器佩戴位置等，以避免群體互相干擾，提高實(shí)驗(yàn)舒適度。

綜上所述，模型所采用的軟硬件技術(shù)具有良好的開(kāi)源統(tǒng)一擴(kuò)展性，設(shè)備低廉且配置簡(jiǎn)單。因此，模型具有可接受的易用性，但還有很大的改進(jìn)空間。盡管本模型的準(zhǔn)確度會(huì)受到采集和分析中所使用的技術(shù)本身精度的影響，但其多模態(tài)時(shí)序數(shù)據(jù)融合方法能夠較全面地感知在線學(xué)習(xí)投入狀態(tài)。

（三）模型有用性分析

通過(guò)統(tǒng)計(jì)和聚類(lèi)分析進(jìn)行驗(yàn)證，得出MOOC環(huán)境下的在線學(xué)習(xí)特征：

1. 在單次在線學(xué)習(xí)中，操作活躍的學(xué)習(xí)者居多，如圖7上圖所示。同時(shí)，鼠標(biāo)和進(jìn)程的每分鐘操作數(shù)均值都比較小;鍵盤(pán)輸入次數(shù)遠(yuǎn)小于一般每分鐘打字50字的數(shù)量。由此說(shuō)明，在開(kāi)展觀看視頻形式的在線學(xué)習(xí)時(shí)，認(rèn)知加工的形式主要是視聽(tīng)，而鍵盤(pán)輸入等書(shū)寫(xiě)、復(fù)述類(lèi)主動(dòng)學(xué)習(xí)行為偏少。因?yàn)閺?fù)雜認(rèn)知過(guò)程極少，由此判定學(xué)習(xí)層次大多未進(jìn)入深層次學(xué)習(xí)階段。教師可以結(jié)合翻轉(zhuǎn)課堂等混合學(xué)習(xí)模式加強(qiáng)交互。

2. 單次在線學(xué)習(xí)中的情緒以中性平靜居多，如圖7中圖左側(cè)所示。同時(shí)，未檢測(cè)到人臉的時(shí)長(zhǎng)也比較多，因?yàn)閷W(xué)習(xí)者低頭、側(cè)臉等原因造成檢測(cè)不到正臉。正負(fù)向情緒占比都較小，但負(fù)向比正向略高5%。右側(cè)圖顯示處于混合和游離狀態(tài)的人數(shù)占比達(dá)到84%，說(shuō)明學(xué)習(xí)過(guò)程急需干預(yù)。

3. 單次在線學(xué)習(xí)心率的生理指標(biāo)以平穩(wěn)狀態(tài)居多，如圖7下圖左側(cè)所示。右側(cè)圖顯示波動(dòng)大的人數(shù)占比達(dá)到48%，說(shuō)明在線學(xué)習(xí)有一定心理壓力。與學(xué)習(xí)者在清晨平靜時(shí)不學(xué)習(xí)時(shí)段測(cè)量的心率均值相比較，在線學(xué)習(xí)時(shí)生理指標(biāo)水平都有所增高，增幅均值在11%。這說(shuō)明，在線學(xué)習(xí)時(shí)整體認(rèn)知負(fù)荷有所增加，但幅值不大。

4. 從不同角度對(duì)學(xué)習(xí)者的學(xué)習(xí)投入狀態(tài)進(jìn)行聚類(lèi)分析。首先，按照情感3種狀態(tài)的比例值將學(xué)習(xí)者聚類(lèi)為4種，如圖8左圖所示。其次，選取情感、認(rèn)知、行為3個(gè)學(xué)習(xí)投入維度的5個(gè)屬性值（積極、消極、游離、平穩(wěn)心率和相關(guān)操作行為的比例值），將學(xué)習(xí)者聚類(lèi)為4種，如圖8右圖所示。教師可以針對(duì)不同類(lèi)型的學(xué)習(xí)者給予個(gè)性化的提示和指導(dǎo)，還可以通過(guò)客戶端定制診斷評(píng)估的時(shí)間區(qū)間、閾值和組合方式，關(guān)注特定群體。比如，給聚類(lèi)中的第2、3、4類(lèi)的學(xué)習(xí)者發(fā)送消息，提示其調(diào)整學(xué)習(xí)策略。

五、討論與結(jié)語(yǔ)

本研究構(gòu)建的在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合模型很好地解決了低侵入、分布式、大規(guī)模、顯性化、多維度、分層次跟蹤與評(píng)估在線學(xué)習(xí)投入分析的問(wèn)題，適用于處理在線學(xué)習(xí)環(huán)境下從行為采集、分析、評(píng)估到呈現(xiàn)反饋的個(gè)性化服務(wù)任務(wù)。通過(guò)MOOC在線學(xué)習(xí)實(shí)證表明，系統(tǒng)的準(zhǔn)確性不低于76%，易用性和有用性良好。因此，本研究完成了情感計(jì)算相關(guān)的大數(shù)據(jù)平臺(tái)從理論設(shè)想到應(yīng)用落地。

本研究在模型的實(shí)驗(yàn)設(shè)計(jì)、技術(shù)實(shí)現(xiàn)和實(shí)驗(yàn)操作等方面還不夠完善，存在一定的局限性。其一，在實(shí)驗(yàn)設(shè)計(jì)方面，行為監(jiān)聽(tīng)雖試圖確保與學(xué)習(xí)行為有關(guān)，但未能有針對(duì)性地提取出需要關(guān)注的學(xué)習(xí)事件的行為。在學(xué)習(xí)情感分析上，還不足以反映困惑等需要重點(diǎn)監(jiān)測(cè)的學(xué)習(xí)情感（Mello， et al， 2007）。其實(shí)，情感計(jì)算誤差不僅源于技術(shù)，也源于忽略了周?chē)h(huán)境。比如學(xué)習(xí)者與周?chē)藢?duì)話顯露出高興時(shí)，表情識(shí)別無(wú)法區(qū)分原因。在心率監(jiān)測(cè)上，心率傳感器在測(cè)量精度和范圍上會(huì)存在差異，所以心率參照值和實(shí)驗(yàn)值還需要合理的采樣統(tǒng)計(jì)，以去除心率值偏差。其二，在實(shí)驗(yàn)操作方面，心率傳感器佩戴在左手指尖，妨礙了鍵盤(pán)操作;采集軟件記錄從開(kāi)啟到關(guān)閉期間的操作行為，其運(yùn)行由用戶獨(dú)立控制，會(huì)導(dǎo)致啟動(dòng)或關(guān)閉的時(shí)機(jī)不同，從而產(chǎn)生數(shù)據(jù)記錄或多或少的不完善。

盡管如此，本研究將人工智能和物聯(lián)網(wǎng)技術(shù)加以集成，能夠?yàn)榻鉀Q教育領(lǐng)域中的在線學(xué)習(xí)分析提供一種有效的解決方案，并為同類(lèi)研究提供方法借鑒與技術(shù)實(shí)現(xiàn)參考。未來(lái)研究需要在數(shù)據(jù)采集實(shí)驗(yàn)上精細(xì)化處理，在技術(shù)實(shí)現(xiàn)上突破難點(diǎn)。比如，關(guān)聯(lián)學(xué)習(xí)行為與事件，結(jié)合環(huán)境信息，有針對(duì)性地關(guān)注學(xué)習(xí)情感，而不是普通情緒。最后還應(yīng)指出，學(xué)者仍然需要在技術(shù)為教育提供智能服務(wù)的同時(shí)保持合理的謹(jǐn)慎態(tài)度。

[參考文獻(xiàn)]

晉欣泉，王林麗，楊現(xiàn)民. 2016. 基于大數(shù)據(jù)的在線學(xué)習(xí)情緒測(cè)量模型構(gòu)建[J]. 現(xiàn)代教育技術(shù)，26（12）：5-10.

黎孟雄，郭鵬飛，黎知秋. 2015. 基于情緒識(shí)別的遠(yuǎn)程教學(xué)自適應(yīng)調(diào)節(jié)策略研究[J]. 中國(guó)遠(yuǎn)程教育（11）：18-24.

陸佳斌，吳飛青，吳成玉，謝穎，李慶. 2017. 基于單片機(jī)的運(yùn)動(dòng)者生理數(shù)據(jù)實(shí)時(shí)監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報(bào)，16（4）：17-21.

孟昭蘭. 1987. 為什么面部表情可以作為情緒研究的客觀指標(biāo)[J]. 心理學(xué)報(bào)（2）：124-134.

喬建中，高四新. 1991. 普拉契克的情緒進(jìn)化理論[J]. 心理學(xué)報(bào)（4）：433-440.

孫波，劉永娜，陳玖冰，羅繼鴻，張迪. 2015. 智慧學(xué)習(xí)環(huán)境中基于面部表情的情感分析[J]. 現(xiàn)代遠(yuǎn)程教育研究，134（2）：96-103.

王超，于超博. 2014. 基于多生理參數(shù)的空中交通管制員認(rèn)知負(fù)荷綜合評(píng)估[J]. 科學(xué)技術(shù)與工程，14（27）：295-300.

王宇. 2018. 慕課低完成率問(wèn)題的歸因與解法[J]. 現(xiàn)代教育技術(shù)，28（9）：80-85.

魏順平. 2012. 在線學(xué)習(xí)行為特點(diǎn)及其影響因素分析研究[J]. 開(kāi)放教育研究，18（4）：81-90.

詹澤慧. 2013. 基于智能Agent的遠(yuǎn)程學(xué)習(xí)者情感與認(rèn)知識(shí)別模型——眼動(dòng)追蹤與表情識(shí)別技術(shù)支持下的耦合[J]. 現(xiàn)代遠(yuǎn)程教育研究（5）：100-105.

張琪，武法提. 2016. 學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動(dòng)與多模態(tài)技術(shù)應(yīng)用前瞻[J]. 電化教育研究，281（9）：76-82.

鄭勤華，陳耀華，孫洪濤，陳麗. 2016. 基于學(xué)習(xí)分析的在線學(xué)習(xí)測(cè)評(píng)建模與應(yīng)用——學(xué)習(xí)者綜合評(píng)價(jià)參考模型研究[J]. 電化教育研究，281（1）：33-40.

鐘薇，李若晨，馬曉玲，吳永和. 2018. 學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國(guó)遠(yuǎn)程教育（11）：41-49，79-80.

宗陽(yáng)，陳麗，鄭勤華，胡紅梅. 2017. 基于在線學(xué)習(xí)行為數(shù)據(jù)的遠(yuǎn)程學(xué)習(xí)者學(xué)業(yè)情緒分析研究——以Moodle平臺(tái)為例[J]. 開(kāi)放學(xué)習(xí)研究，22（6）：11-20.

Asteriadis， S.， Tzouveli， P.， Karpouzis， K.， & Kollias， S. （2009）. Estimation of behavioral user state based on eye gaze and head pose - application in an E-learning environment. Multimedia Tools and Application， 41（3）， 469-493.

Connell， J. P. （1990）. Context， self， and action： A motivational analysis of self-system processes across the life span. The self in transition： Infancy to childhood， 8， 61-97.

Bonk， C. J.， & Graham， C. R. （2012）. The handbook of blended learning： Global perspectives， local designs. UK： John Wiley & Sons.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Giannakos， M. N.， Sharma， K.， Pappas， I. O.， Kostakos， V.， & Velloso， E. （2019）. Multimodal data as a means to understand the learning experience. International Journal of Information Management， 48， 108-119.

Hwang， K.A.， & Yang， C.H. （2009）. Learner attending auto-monitor in distance learning using image recognition and bayesian networks. Expert Systems with Applications， 36（9）， 11461-11469.

Kim， K.H.， Bang， S.W.， & Kim S.R. （2004）. Emotion recognition system using short-term monitoring of physiological signals. Medical and Biological Engineering and Computing， 42（3）， 419-427.

Meece， J. L.， Blumenfeld， P. C.， & Hoyle， R. H. （1988）. Students goal orientations and cognitive engagement in classroom activities. Journal of educational psychology， 80（4）， 514.

Mello， S.， Taylor， R.， & Graesser， A. （2007）. Monitoring affective trajectories during complex learning， in Proceedings of the 29th Annual Meeting of the Cognitive Science Society， Nashville， Tennessee， 203-208.

Ortony， Y. A. （1980）. The cognitive structure of emotions. New York： Cambridge University Press.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates childrens behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality and social Psychology， 65（4）， 781.

Pintrich， P. R.， & Schrauben， B. （1992）. Students motivational beliefs and their cognitive engagement in classroom academic tasks. Student perceptions in the classroom， 7， 149-183.

Russell， J.A. （1980）. A circumplex model of affect. Journal of Personality and Social Psychology， 6， 1161-1178.

Siemens， G. （2013）. Learning analytics： the Emergence of a discipline. American Behavioral Scientist， 57（10）， 1380-1400.

Skinner， E. A.， & Belmont， M. J. （1993）. Motivation in the classroom： Reciprocal effects of teacher behavior and student engagement across the school year. Journal of educational psychology， 85（4）， 571.

Yang， F. Y.， Chang， C. Y.， Chien， W. R.， Chien， Y. T.， & Tseng， Y. H.. （2013）. Tracking learners visual attention during a multimedia presentation in a real classroom. Computers & Education， 62（3）， 208-220.

Zhang， Z.， Li， Z.， Liu， H.， Cao， T.， & Liu， S. （2019）. Data-drived online learning engagement detection via facial expression and mouse behavior recognition technology. Journal of Educational Computing Research， 0735633119825575.

責(zé)任編輯 張志禎 劉 莉