穆肅 崔萌 黃曉地

摘要：多模態(tài)學(xué)習(xí)分析被認(rèn)為是學(xué)習(xí)分析研究的新生長點(diǎn)，其中，多模態(tài)數(shù)據(jù)如何整合是推進(jìn)學(xué)習(xí)分析研究的難點(diǎn)。利用系統(tǒng)文獻(xiàn)綜述及元分析方法，有助于為研究和實(shí)踐領(lǐng)域提供全景式的關(guān)于多模態(tài)數(shù)據(jù)整合的方法與策略指導(dǎo)。通過對國內(nèi)外363篇相關(guān)文獻(xiàn)的系統(tǒng)分析發(fā)現(xiàn)：（1）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型主要包含數(shù)字空間數(shù)據(jù)、物理空間數(shù)據(jù)、生理體征數(shù)據(jù)、心理測量數(shù)據(jù)和環(huán)境場景數(shù)據(jù)等5類。在技術(shù)支持的教與學(xué)環(huán)境中，高頻、精細(xì)、微觀的多模態(tài)學(xué)習(xí)數(shù)據(jù)變得可得、易得、準(zhǔn)確。（2）多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)主要有行為、注意、認(rèn)知、元認(rèn)知、情感、協(xié)作、交互、投入、學(xué)習(xí)績效和技能等。隨著技術(shù)的發(fā)展和人們對學(xué)習(xí)過程的深刻洞察，學(xué)習(xí)指標(biāo)也會變得更加精細(xì)化。（3）數(shù)據(jù)與指標(biāo)之間展現(xiàn)出“一對一”“一對多”和“多對一”三種對應(yīng)關(guān)系。把握數(shù)據(jù)與指標(biāo)之間的復(fù)雜關(guān)系是數(shù)據(jù)整合的前提，測量學(xué)習(xí)指標(biāo)時既要考慮最適合的數(shù)據(jù)，也要考慮其他模態(tài)數(shù)據(jù)的補(bǔ)充。（4）多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合方式主要有“多對一”“多對多”和“三角互證”三種，旨在提高測量的準(zhǔn)確性、信息的全面性和整合的科學(xué)性?？傊?，多模態(tài)數(shù)據(jù)整合具有數(shù)據(jù)的多模態(tài)、指標(biāo)的多維度和方法的多樣性等三維特性。將多模態(tài)數(shù)據(jù)時間線對齊是實(shí)現(xiàn)數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)，綜合考慮三維特性提高分析結(jié)果的準(zhǔn)確性是多模態(tài)數(shù)據(jù)整合未來研究的方向。

關(guān)鍵詞：多模態(tài)學(xué)習(xí)分析;數(shù)據(jù)類型;學(xué)習(xí)指標(biāo);數(shù)據(jù)整合;系統(tǒng)文獻(xiàn)綜述

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2021）01-0026-13? doi10.3969/j.issn.1009-5195.2021.01.003

基金項(xiàng)目：2018年度國家社科基金重大項(xiàng)目“信息化促進(jìn)新時代基礎(chǔ)教育公平的研究”（18ZDA334）子課題“面向基礎(chǔ)教育精準(zhǔn)幫扶的無縫學(xué)習(xí)體系研究”。

作者簡介：穆肅，教授，博士生導(dǎo)師，華南師范大學(xué)教育信息技術(shù)學(xué)院（廣東廣州 510631）;崔萌（通訊作者），博士研究生，華南師范大學(xué)教育信息技術(shù)學(xué)院（廣東廣州 510631）;黃曉地，副教授，澳大利亞查爾斯特大學(xué)計(jì)算機(jī)與數(shù)學(xué)學(xué)院（澳大利亞新南威爾士州奧爾伯里 2640）。

一、研究背景與問題

傳統(tǒng)的學(xué)習(xí)分析數(shù)據(jù)源通常是單維或單一模態(tài)的（Schwendimann et al.，2017），例如學(xué)習(xí)管理平臺（Learning Management System，LMS）記錄的學(xué)生日志數(shù)據(jù)。但是，并不是所有的學(xué)習(xí)過程都發(fā)生在LMS中，數(shù)據(jù)也不都是字符或數(shù)字，因而很多LMS之外的學(xué)習(xí)情況并沒有被記錄，但它們對于了解學(xué)習(xí)過程卻非常重要。同時，由于單維或單一模態(tài)數(shù)據(jù)僅能提供部分學(xué)習(xí)過程信息（Eradze et al.，2017），容易產(chǎn)生“路燈效應(yīng)”，有可能會降低分析結(jié)果的準(zhǔn)確性。而真實(shí)的學(xué)習(xí)過程往往是復(fù)雜多維的（Di Mitri et al.，2018），有可能是多平臺、多場所、多方式的混合。因此，為了更全面準(zhǔn)確地了解學(xué)習(xí)過程，研究者必須盡可能收集學(xué)習(xí)過程中的聲音、視頻、表情、生理等多模態(tài)數(shù)據(jù)（牟智佳，2020）。

在此背景之下，多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics，MMLA）成為學(xué)習(xí)分析領(lǐng)域新的研究分支（Blikstein，2013;Di Mitri et al.，2018）。多模態(tài)學(xué)習(xí)分析以學(xué)習(xí)機(jī)理為核心，利用多種分析技術(shù)對復(fù)雜學(xué)習(xí)過程中的多模態(tài)數(shù)據(jù)進(jìn)行同步采集和整合處理，旨在全面準(zhǔn)確地對學(xué)習(xí)特點(diǎn)和規(guī)律建模，為教與學(xué)提供支持（Worsley，2018）。多模態(tài)學(xué)習(xí)分析是典型的交叉學(xué)科研究，涉及教育技術(shù)、計(jì)算機(jī)科學(xué)、學(xué)習(xí)科學(xué)等多個學(xué)科領(lǐng)域（Di Mitri et al.，2018）。數(shù)據(jù)整合是多模態(tài)學(xué)習(xí)分析的重難點(diǎn)所在（張琪等，2020;Samuelsen et al.，2019），系統(tǒng)地理清數(shù)據(jù)整合的研究現(xiàn)狀具有重要意義。為此，本研究聚焦多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合問題，用系統(tǒng)文獻(xiàn)綜述方法進(jìn)行相關(guān)文獻(xiàn)綜述，聚焦如下三個研究問題：

第一，多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型有哪些？學(xué)習(xí)指標(biāo)有哪些？第二，數(shù)據(jù)與指標(biāo)之間的對應(yīng)關(guān)系如何？第三，多模態(tài)學(xué)習(xí)分析中數(shù)據(jù)整合的主要方式、關(guān)鍵環(huán)節(jié)以及主要特征有哪些？

二、研究設(shè)計(jì)與過程

本研究遵循系統(tǒng)文獻(xiàn)綜述及元分析方法（Preferred Reporting Items for Systematic Reviews and Meta-Analyses，PRISMA）的研究理路進(jìn)行文獻(xiàn)綜述。該方法是國際上常用的基于文獻(xiàn)證據(jù)的系統(tǒng)性綜述方法（Moher et al.，2009），其有標(biāo)準(zhǔn)化的文獻(xiàn)綜述流程和詳細(xì)的過程審查列表。根據(jù)PRISMA的流程和審核要求，本研究制定了如圖1所示的文獻(xiàn)分析流程。

文獻(xiàn)分析過程包括5個階段。第一是文獻(xiàn)檢索階段，即檢索與多模態(tài)學(xué)習(xí)分析相關(guān)的中英文文獻(xiàn)。第二是內(nèi)容相關(guān)度評分階段，即運(yùn)用制定的評分策略對文獻(xiàn)進(jìn)行評分，將與多模態(tài)學(xué)習(xí)分析不相關(guān)文獻(xiàn)賦分為0～2分，將相關(guān)文獻(xiàn)賦分為3～6分。第三是初步分類階段，該階段將相關(guān)文獻(xiàn)分成三類：（1）提及多模態(tài)學(xué)習(xí)分析，（2）多模態(tài)學(xué)習(xí)分析的理論探討，（3）多模態(tài)學(xué)習(xí)分析的實(shí)證研究。第四是實(shí)證類研究分析階段，即通過對實(shí)證研究論文的分析找出多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型和學(xué)習(xí)指標(biāo)，同時辨別出進(jìn)行數(shù)據(jù)整合的論文。第五是數(shù)據(jù)整合情況的綜合分析階段，即聚焦數(shù)據(jù)整合的實(shí)證研究論文，整理其數(shù)據(jù)整合的方法和方案。

多模態(tài)學(xué)習(xí)分析整體研究現(xiàn)狀如圖2所示。圖中數(shù)據(jù)顯示，中文文獻(xiàn)（不限年份且相關(guān)度≥3的文獻(xiàn)有51篇）遠(yuǎn)少于英文文獻(xiàn)（限定年份2017年之后且相關(guān)度≥3的文獻(xiàn)有312篇）。在“提及多模態(tài)學(xué)習(xí)分析”“多模態(tài)學(xué)習(xí)分析的理論研究”“多模態(tài)學(xué)習(xí)分析的實(shí)證研究”三類文獻(xiàn)的數(shù)量分布上，中文文獻(xiàn)分別有29篇、18篇和4篇，英文文獻(xiàn)分別有13篇、110篇和189篇。這表明國內(nèi)多模態(tài)學(xué)習(xí)分析的研究更關(guān)注引介和理論探討;而國外對多模態(tài)學(xué)習(xí)分析的理論探討和實(shí)證研究都很重視。在研究內(nèi)容方面，多模態(tài)學(xué)習(xí)分析的實(shí)證研究涉及“數(shù)據(jù)整合”與“非數(shù)據(jù)整合”的數(shù)量分別為：中文1篇與3篇、英文112篇與77篇，可見當(dāng)前國際研究更加關(guān)注多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合。從檢索到的文獻(xiàn)來看，目前不論國內(nèi)還是國外都沒有關(guān)于多模態(tài)數(shù)據(jù)整合分析的綜述文章，為此，為了給正在進(jìn)行或有興趣開展這一領(lǐng)域研究的同行提供一個全面、有深度的全景分析，本研究對多模態(tài)數(shù)據(jù)整合分析的文獻(xiàn)進(jìn)行系統(tǒng)分析并形成了元分析報告。

三、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型、學(xué)習(xí)指 標(biāo)及其對應(yīng)關(guān)系

1.多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)類型

現(xiàn)有的多模態(tài)學(xué)習(xí)分析研究大都關(guān)注到“多模態(tài)數(shù)據(jù)類型”，但數(shù)據(jù)分類不盡相同。比較典型的數(shù)據(jù)分類有：（1）行為數(shù)據(jù)（如運(yùn)動模態(tài)、生理模態(tài)）和情景數(shù)據(jù)（Di Mitri et al.，2018）;（2）學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)（牟智佳，2020）;（3）外顯數(shù)據(jù)、心理數(shù)據(jù)、生理數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)（陳凱泉等，2019）;（4）生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和基本信息數(shù)據(jù)（鐘薇等，2018）?，F(xiàn)有的數(shù)據(jù)分類結(jié)果各有優(yōu)劣，大多數(shù)屬于理論總結(jié)。本研究嘗試從現(xiàn)有的實(shí)證研究中總結(jié)數(shù)據(jù)類型，并結(jié)合理論上的分類總結(jié)最終形成了如圖3所示的多模態(tài)數(shù)據(jù)分類框架。同時，本研究也列出了多模態(tài)數(shù)據(jù)分類編碼及其對應(yīng)的實(shí)證研究文獻(xiàn)支撐（見表1）。為便于編碼分析，本研究除使用各類數(shù)據(jù)名稱常規(guī)的英文縮寫外，對沒有常規(guī)縮寫的數(shù)據(jù)名稱采用英文單詞首字母縮寫方式。例如，Electroencephalogram的常規(guī)縮寫為EEG，Body Language沒有常規(guī)縮寫，故將其縮寫為BL。

該分類框架根據(jù)數(shù)據(jù)產(chǎn)生的場域?qū)⒍嗄B(tài)數(shù)據(jù)分為數(shù)字空間數(shù)據(jù)（Di Mitri et al.，2018）、物理空間數(shù)據(jù)（Martinez-Maldonado et al.，2018）、生理體征數(shù)據(jù)（Yin et al.，2017）、心理測量數(shù)據(jù)、環(huán)境場景數(shù)據(jù)（Di Mitri et al.，2019）5類。其中，（1）數(shù)字空間數(shù)據(jù)是指由技術(shù)平臺記錄的、在學(xué)習(xí)中產(chǎn)生的各類數(shù)字痕跡，如在線學(xué)習(xí)平臺（Monkaresi et al.，2017）、虛擬實(shí)驗(yàn)平臺（Liu et al.，2019）、STEAM教育軟件（Spikol et al.，2018）平臺上學(xué)生進(jìn)行操作的行為數(shù)據(jù)。（2）物理空間數(shù)據(jù)是指由各類傳感器獲得的、與人的外在可見行為表現(xiàn)相關(guān)的數(shù)據(jù)，如身體各部分在物理空間中的運(yùn)動變化和位置等。伴隨傳感器技術(shù)的發(fā)展，能夠獲得且被應(yīng)用到學(xué)習(xí)分析中的身體數(shù)據(jù)越來越細(xì)化，如頭部移動的角度（Cukurova et al.，2020）和手指在平板電腦上的移動數(shù)據(jù)等（Duijzer et al.，2017）。物理空間數(shù)據(jù)感知與分析對學(xué)習(xí)過程的解讀具有重要意義（劉智等，2018;Martinez-Maldonado et al.，2018），現(xiàn)已形成重要的研究分支，如具身認(rèn)知理論與行為研究（Ibrahim-Didi et al.，2017）。（3）生理體征數(shù)據(jù)是指反映人的內(nèi)在生理體征的數(shù)據(jù)，包括眼動、腦電、皮電、心電等，能夠更加客觀地反映在線學(xué)習(xí)的狀態(tài)（Yin et al.，2017）。（4）心理測量數(shù)據(jù)是指各類自我報告數(shù)據(jù)，能夠主觀反映學(xué)習(xí)者的心理狀態(tài)，是比較傳統(tǒng)的學(xué)習(xí)狀態(tài)數(shù)據(jù)來源。（5）環(huán)境場景數(shù)據(jù)是指學(xué)習(xí)者所處學(xué)習(xí)場景的環(huán)境數(shù)據(jù)，如溫度、天氣等。已有研究表明，學(xué)習(xí)環(huán)境對學(xué)習(xí)有不同程度的影響（Di Mitri et al.，2018），增加環(huán)境數(shù)據(jù)分析是多模態(tài)學(xué)習(xí)分析的趨勢之一。因此，如何獲取以上類型的多模態(tài)數(shù)據(jù)、合理利用這些數(shù)據(jù)、解釋描述學(xué)習(xí)狀態(tài)、根據(jù)分析結(jié)果為學(xué)習(xí)者提供相應(yīng)學(xué)習(xí)服務(wù)已成為研究者面臨的現(xiàn)實(shí)問題（劉智等，2018）。

得益于物聯(lián)網(wǎng)、傳感器、可穿戴設(shè)備、云存儲以及大數(shù)據(jù)高性能計(jì)算等的發(fā)展，分布在每個空間里的各類高頻、精細(xì)、微觀的學(xué)習(xí)過程數(shù)據(jù)將得以準(zhǔn)確獲取。由于多模態(tài)數(shù)據(jù)更能反映學(xué)生真實(shí)的學(xué)習(xí)狀態(tài)（Di Mitri et al.，2018），因此在進(jìn)行多模態(tài)數(shù)據(jù)分析時，更應(yīng)考慮多空間或單個空間里的多種模態(tài)數(shù)據(jù)，尤其在一些實(shí)踐性強(qiáng)的課程中更是如此。例如在教學(xué)過程中，學(xué)生通過表情、語言、肢體動作等多種方式與教學(xué)內(nèi)容、學(xué)習(xí)同伴、教師和媒體平臺等進(jìn)行交互，各類交互的數(shù)據(jù)對學(xué)習(xí)過程分析至關(guān)重要，需要全方位的有效獲取并整合。

各種類型數(shù)據(jù)可以實(shí)現(xiàn)互補(bǔ)、驗(yàn)證、整合和轉(zhuǎn)化。數(shù)據(jù)互補(bǔ)性是多模態(tài)數(shù)據(jù)很重要的一個特性。任何一種模態(tài)的數(shù)據(jù)都能提供關(guān)于某一現(xiàn)象或過程的部分解釋，而這些解釋從其他模態(tài)的數(shù)據(jù)中可能無法獲得（鐘薇等，2018）。數(shù)據(jù)互補(bǔ)可通過不同數(shù)據(jù)來說明、描述或解釋同一研究對象和內(nèi)容，有利于交互證實(shí)所得出的結(jié)果（Di Mitri et al.，2018）。除此之外，多模態(tài)數(shù)據(jù)整合可以充分利用各類數(shù)據(jù)的特點(diǎn)對學(xué)習(xí)過程或?qū)W習(xí)狀態(tài)進(jìn)行更加全面而準(zhǔn)確的分析，如將身體的移動、手勢等物理空間里的數(shù)據(jù)與數(shù)字平臺中的日志數(shù)據(jù)進(jìn)行同步存儲，以便用于對學(xué)習(xí)過程的分析（Di Mitri et al.，2018）。數(shù)據(jù)轉(zhuǎn)化是指將一種空間中的數(shù)據(jù)轉(zhuǎn)化為另一空間的數(shù)據(jù)，如將物理空間數(shù)據(jù)轉(zhuǎn)化為數(shù)字空間數(shù)據(jù)（牟智佳，2020）。典型的研究有通過智能書寫筆技術(shù)將學(xué)生真實(shí)的書寫過程數(shù)字化，通過動態(tài)書寫特征數(shù)據(jù)預(yù)測學(xué)習(xí)績效（Oviatt et al.，2018）;還有研究將學(xué)生復(fù)習(xí)紙質(zhì)試卷的過程數(shù)字化，形成數(shù)字痕跡和數(shù)字腳注，以便用于分析真實(shí)的復(fù)習(xí)行為（Paredes et al.，2018）。這類研究的優(yōu)勢在于能夠?qū)W(xué)生學(xué)習(xí)最為真實(shí)的行為和狀態(tài)數(shù)據(jù)進(jìn)行技術(shù)化處理，從而幫助人們更加深入地認(rèn)識復(fù)雜的學(xué)習(xí)過程。

2.多模態(tài)學(xué)習(xí)分析中的學(xué)習(xí)指標(biāo)

研究發(fā)現(xiàn)，多模態(tài)學(xué)習(xí)分析中所應(yīng)用的學(xué)習(xí)指標(biāo)主要包括行為、注意、認(rèn)知、元認(rèn)知、情感、協(xié)作（Cukurova et al.，2017）、交互（Schneider et al.，2018）、投入（張琪等，2019）、學(xué)習(xí)績效和技能等。部分學(xué)習(xí)指標(biāo)還可進(jìn)一步細(xì)化分類。例如，行為指標(biāo)可分為在線學(xué)習(xí)行為（Oviatt et al.，2018;Paredes et al.，2018）、課堂學(xué)習(xí)行為（Watanabe et al.，2018）、具身學(xué)習(xí)行為（Gorham et al.，2019）、教師教學(xué)行為（Watanabe et al.，2018）等。注意指標(biāo)可分為個人注意（Mudrick et al.，2019）和聯(lián)合注意（Sharma et al.，2019）。情感指標(biāo)可分為自主學(xué)習(xí)中的情感（Munshi et al.，2019）和協(xié)作學(xué)習(xí)中的情感（Martin et al.，2019）。協(xié)作指標(biāo)可分為面對面協(xié)作（Ding et al.，2017）和遠(yuǎn)程協(xié)作（Andrade et al.，2019）。投入指標(biāo)可分為在線自主學(xué)習(xí)投入（Monkaresi et al.，2017）和課堂學(xué)習(xí)投入（Aslan et al.，2019）。學(xué)習(xí)績效指標(biāo)可分為結(jié)果性績效和過程性績效，既可涉及考試成績（Sriramulu et al.，2019;Dindar et al.，2020）、游戲得分（Giannakos et al.，2019）等較為簡單的數(shù)據(jù)，還可涉及協(xié)作學(xué)習(xí)質(zhì)量、任務(wù)得分和學(xué)習(xí)效果（Dich et al.，2018）等復(fù)雜多元的數(shù)據(jù)。

從已有研究對學(xué)習(xí)指標(biāo)的分析可知，學(xué)習(xí)指標(biāo)的種類繁多證實(shí)了學(xué)習(xí)過程的復(fù)雜性。部分學(xué)習(xí)指標(biāo)之間含義重疊交叉，如既可單獨(dú)分析協(xié)作（Reilly et al.，2018）和投入（Monkaresi et al.，2017），也可分析協(xié)作學(xué)習(xí)中的投入（Kim et al.，2020）。值得注意的是，學(xué)習(xí)指標(biāo)的選擇也有一些規(guī)律可循，如協(xié)作學(xué)習(xí)的指標(biāo)多關(guān)注協(xié)作特征（Cukurova et al.，2020）和協(xié)作交互（Malmberg et al.，2019），而自主學(xué)習(xí)指標(biāo)則多關(guān)注注意、認(rèn)知（Abdelrahman et al.，2017）和投入（Fwa et al.，2018）;面對面協(xié)作的指標(biāo)較多（Ding et al.，2017），而遠(yuǎn)程協(xié)作的指標(biāo)相對較少（DAngelo et al.，2017）。隨著學(xué)習(xí)過程洞察研究愈加深入，學(xué)習(xí)指標(biāo)也會更加細(xì)致。例如針對在線學(xué)習(xí)，有研究者深入到微觀角度，利用眼動數(shù)據(jù)關(guān)注學(xué)習(xí)者在每個學(xué)習(xí)頁面中的學(xué)習(xí)路徑（Mu et al.，2019）。

3.多模態(tài)數(shù)據(jù)與學(xué)習(xí)指標(biāo)的對應(yīng)關(guān)系

多模態(tài)數(shù)據(jù)指向復(fù)雜的學(xué)習(xí)過程，能夠揭示數(shù)據(jù)和指標(biāo)之間的復(fù)雜關(guān)系（Oviatt，2018）。從前文分析可知，數(shù)據(jù)與指標(biāo)之間存在三種對應(yīng)關(guān)系：一對一、多對一和一對多。“一對一”是指一類數(shù)據(jù)只適合度量一個學(xué)習(xí)指標(biāo)，此類對應(yīng)最為簡單且應(yīng)用較為普遍。隨著研究的深入和技術(shù)的發(fā)展，數(shù)據(jù)分析的細(xì)粒度逐步增加（張琪等，2020），每一類數(shù)據(jù)的測量潛力被逐步挖掘，一對一的情況將越來越少。例如，傳統(tǒng)的認(rèn)知過程測量方法是訪談和量表，而當(dāng)生理測量技術(shù)發(fā)展起來之后，生理數(shù)據(jù)如腦電也被用于認(rèn)知測量（Mills et al.，2017），由此便產(chǎn)生了第二類對應(yīng)關(guān)系?！岸鄬σ弧笔侵付鄠€數(shù)據(jù)均可度量同一指標(biāo)。例如，眼動、腦電和皮電都可用于測量學(xué)習(xí)投入（Sharmaet al.，2019）?！耙粚Χ唷笔侵敢活悢?shù)據(jù)可度量多個學(xué)習(xí)指標(biāo)。例如，眼動可以測量注意、認(rèn)知（Sommer et al.，2017）、情感（Zheng et al.，2019）、協(xié)作和投入（Thomas，2018）等。

在數(shù)據(jù)和指標(biāo)的對應(yīng)關(guān)系中，一對多和多對一的情況已較為普遍。數(shù)據(jù)與指標(biāo)之間對應(yīng)關(guān)系多樣化的本質(zhì)原因在于，在技術(shù)條件和相關(guān)理論的支持下，數(shù)據(jù)的測量范圍、測量準(zhǔn)確性和對指標(biāo)的表征能力有所差別。例如，眼動數(shù)據(jù)用于學(xué)習(xí)內(nèi)容關(guān)注焦點(diǎn)的挖掘效果較好（Mu et al.，2018），在量化學(xué)習(xí)者認(rèn)知狀態(tài)、注意力水平、信息加工過程（Minematsu et al.，2019）等方面具有優(yōu)勢。表情數(shù)據(jù)對情感（Tzirakis et al.，2017）和投入（Thomas，2018）的測量效果較好，它對強(qiáng)烈的情感（如“喜悅”和“生氣”）有較好的測量效果。生理數(shù)據(jù)對微妙情感有較好的測量效果（Pham et al.，2018）。已有研究明確指出，一個學(xué)習(xí)指標(biāo)既可用單一數(shù)據(jù)測量，也可用多模態(tài)數(shù)據(jù)測量（張琪等，2020;Pham et al.，2018）。因此，學(xué)習(xí)指標(biāo)測量既要考慮到最優(yōu)數(shù)據(jù)，也要考慮到其他數(shù)據(jù)的補(bǔ)充，這正是數(shù)據(jù)整合的意義所在。

四、多模態(tài)學(xué)習(xí)分析中的數(shù)據(jù)整合

為了進(jìn)一步挖掘?qū)W習(xí)分析層面的數(shù)據(jù)融合情況，本研究從數(shù)據(jù)整合方式、數(shù)據(jù)類型、學(xué)習(xí)指標(biāo)三方面對多模態(tài)數(shù)據(jù)整合分析的研究文獻(xiàn)進(jìn)行了歸納。由表2可知，已有文獻(xiàn)中的數(shù)據(jù)整合方式既有跨類型的多模態(tài)數(shù)據(jù)整合，例如跨越數(shù)字空間數(shù)據(jù)和物理空間數(shù)據(jù)整合（Alyuz et al.，2017），跨越心理測量數(shù)據(jù)和生理體征數(shù)據(jù)整合（Dindar et al.，2020）;也有非跨類型的多模態(tài)數(shù)據(jù)整合，例如生理體征數(shù)據(jù)類型中對具體數(shù)據(jù)的整合（Yin et al.，2017）。對于學(xué)習(xí)指標(biāo)，數(shù)據(jù)整合既有關(guān)注單一指標(biāo)的，如學(xué)習(xí)投入度（Thomas，2018）;也有同時關(guān)注多個指標(biāo)的，如同時關(guān)注協(xié)作、投入和學(xué)習(xí)績效（Worsley et al.，2018）?，F(xiàn)有的數(shù)據(jù)整合方式主要有三類（見圖4）：（1）多對一，即用多維度、多模態(tài)數(shù)據(jù)測量一個學(xué)習(xí)指標(biāo)，以提高測量的準(zhǔn)確性;（2）多對多，即用多維度、多模態(tài)數(shù)據(jù)測量多個學(xué)習(xí)指標(biāo)，以提高信息的全面性;（3）三角互證，即通過多方數(shù)據(jù)互相印證來提高對某一問題闡釋的合理性，是進(jìn)行整合研究的實(shí)證基礎(chǔ)。對比三類整合研究可發(fā)現(xiàn)，與單模態(tài)數(shù)據(jù)相比，數(shù)據(jù)整合的價值體現(xiàn)在整合能夠提高測量的準(zhǔn)確性和信息的全面性，并帶來更有意義的研究結(jié)論，從而起到“1+1>2”的效果。只有做到“多對一”分析才算真正走向了數(shù)據(jù)整合。

1. “多對一”：提高測量的準(zhǔn)確性

此類數(shù)據(jù)整合主要有兩大特點(diǎn)：一是有明確的數(shù)據(jù)整合算法模型，多模態(tài)數(shù)據(jù)（兩類以上）是模型輸入，學(xué)習(xí)指標(biāo)（通常只有一個）是模型輸出。二是數(shù)據(jù)整合有助于提高學(xué)習(xí)指標(biāo)測量的準(zhǔn)確性。例如，聲音數(shù)據(jù)可以測情感（Cukurova et al.，2019），表情數(shù)據(jù)也可以測情感（Martin et al.，2019）。有研究用深度神經(jīng)網(wǎng)絡(luò)算法將兩類數(shù)據(jù)進(jìn)行整合，用以提高情感測量的準(zhǔn)確性（Ez-zaouia et al.，2017）。

此類研究中，數(shù)據(jù)模態(tài)的增加、數(shù)據(jù)特征的選擇、數(shù)據(jù)整合比例劃分以及算法模型的選擇都會影響測量的準(zhǔn)確性。有研究對比了單模態(tài)數(shù)據(jù)和多模態(tài)數(shù)據(jù)的研究效果，結(jié)果證明多模態(tài)數(shù)據(jù)的研究準(zhǔn)確性較高（Cukurova et al.，2019）。在選擇用于分析的數(shù)據(jù)方面，有研究者直接選用原始數(shù)據(jù)進(jìn)行分析（Tzirakis et al.，2017），也有研究者通過在原始數(shù)據(jù)基礎(chǔ)上篩選（Thomas et al.，2018）或構(gòu)造與學(xué)習(xí)相關(guān)的數(shù)據(jù)進(jìn)行分析，以期增加分析結(jié)果的教學(xué)可解釋性。值得注意的是，不同數(shù)據(jù)對同一學(xué)習(xí)指標(biāo)測量的準(zhǔn)確性有可能存在差異，例如有研究者證實(shí)了眼動和腦電數(shù)據(jù)在預(yù)測情感的準(zhǔn)確性上就存在差異（Zheng et al.，2019）?？傊?dāng)采用“多對一”方式進(jìn)行數(shù)據(jù)整合時，不是簡單的1：1整合，而是要根據(jù)各類數(shù)據(jù)的測量準(zhǔn)確性、數(shù)據(jù)與學(xué)習(xí)指標(biāo)的相關(guān)性等因素綜合采用數(shù)據(jù)和算法。高效的算法模型是此類研究的關(guān)注點(diǎn)（Tzirakis et al.，2017），大部分研究通常會對比幾種不同算法模型的應(yīng)用效果，從而確定最優(yōu)的算法模型。

2. “多對多”：提高信息的全面性

此類數(shù)據(jù)整合具有如下特點(diǎn)：一是包括多維度學(xué)習(xí)指標(biāo)（兩個以上），二是數(shù)據(jù)與學(xué)習(xí)指標(biāo)一一對應(yīng)，三是沒有數(shù)據(jù)整合算法，四是數(shù)據(jù)整合能提高信息的全面性。例如，有研究者同時用眼動數(shù)據(jù)來測注意，用腦電數(shù)據(jù)來測認(rèn)知（Tamura et al.，2019）。

多對多的數(shù)據(jù)整合分析需要多個學(xué)習(xí)指標(biāo)，同時利用多方面的多模態(tài)數(shù)據(jù)進(jìn)行整合分析，以期全面、準(zhǔn)確地反映學(xué)習(xí)過程。當(dāng)前能夠支持?jǐn)?shù)據(jù)整合的分析系統(tǒng)有演講訓(xùn)練系統(tǒng)（Schneider et al.，2019）、書寫訓(xùn)練系統(tǒng)（Limbu et al.，2019）、醫(yī)學(xué)訓(xùn)練系統(tǒng)（Di Mitri et al.，2019）、自然情景下的學(xué)習(xí)分析系統(tǒng)（Okada et al.，2020）、課堂監(jiān)控整合系統(tǒng)（Anh et al.，2019）、跳舞訓(xùn)練系統(tǒng)（Romano et al.，2019）等。現(xiàn)有研究中有不少是用一種數(shù)據(jù)來測量和分析多個學(xué)習(xí)指標(biāo)，如用眼動數(shù)據(jù)來測量注意、期望和疲倦三個指標(biāo)，用腦電數(shù)據(jù)來測量認(rèn)知負(fù)荷、心理負(fù)荷和記憶負(fù)荷三個指標(biāo)（Sharmaet al.，2019）。顯然，只用一種數(shù)據(jù)來同時測量多個指標(biāo)會過于夸大單一數(shù)據(jù)的作用，在一定程度上也會降低結(jié)果解釋的準(zhǔn)確性。因此，在條件允許的情況下，應(yīng)盡量為每一個學(xué)習(xí)指標(biāo)選擇最適合的數(shù)據(jù)。

3.三角互證：提高整合的科學(xué)性

數(shù)據(jù)整合的三角互證研究旨在通過多模態(tài)數(shù)據(jù)之間的互證分析來獲得更多有價值的結(jié)論。在已有研究中，對各種數(shù)據(jù)的分析是單獨(dú)和平行的，即用不同數(shù)據(jù)同時測量同一指標(biāo)，通過對比分析不同數(shù)據(jù)對同一學(xué)習(xí)指標(biāo)的測量效能，為“多對一”和“多對多”的數(shù)據(jù)整合研究提供實(shí)證依據(jù)。例如，有研究者收集了多模態(tài)數(shù)據(jù)進(jìn)行協(xié)作學(xué)習(xí)分析（Starr et al.，2018），單獨(dú)分析了每一類數(shù)據(jù)對協(xié)作的測量情況，包括語言數(shù)據(jù)如何反應(yīng)協(xié)作情況（Reilly et al.，2019），人體姿態(tài)中哪些數(shù)據(jù)能夠體現(xiàn)協(xié)作（Reilly et al.，2018），眼動數(shù)據(jù)如何測量協(xié)作（Schneider et al.，2019），生理數(shù)據(jù)如何反應(yīng)協(xié)作時的狀態(tài)變化（Schneider et al.，2020）。也有研究者單獨(dú)分析了自我報告數(shù)據(jù)和眼動數(shù)據(jù)對學(xué)習(xí)投入的測量情況（Limbu et al.，2019）。還有研究者注重分析各類數(shù)據(jù)之間的互證關(guān)系（J?rvel? et al.，2019），如有研究重點(diǎn)分析生理數(shù)據(jù)和表情數(shù)據(jù)之間的互證關(guān)系;還有研究關(guān)注協(xié)作學(xué)習(xí)中生理數(shù)據(jù)與情緒數(shù)據(jù)之間的互證關(guān)系，即當(dāng)由生理數(shù)據(jù)得到的覺醒發(fā)生時，學(xué)生情緒（通過表情數(shù)據(jù)測量得到）是如何變化的（Malmberg et al.，2019）。

4.整合方式的補(bǔ)充

以上是目前已開展的多模態(tài)數(shù)據(jù)整合的主要方式，隨著研究的深入和技術(shù)的發(fā)展，未來數(shù)據(jù)整合的方式將會更加豐富多樣。例如，在對學(xué)習(xí)過程進(jìn)行分析時，可以根據(jù)不同的學(xué)習(xí)環(huán)境、階段和學(xué)習(xí)內(nèi)容，選擇不同維度和類型的數(shù)據(jù)進(jìn)行分析，然后整合形成完整的學(xué)習(xí)過程分析，這也是一種數(shù)據(jù)整合分析的思路（Mu et al.，2018）。在對在線學(xué)習(xí)過程進(jìn)行分析時，有研究者先用日志數(shù)據(jù)對整體學(xué)習(xí)軌跡的時間線進(jìn)行分析，根據(jù)具體學(xué)習(xí)階段確定需要深入分析的焦點(diǎn)時刻，然后用學(xué)習(xí)過程的錄屏視頻數(shù)據(jù)和語音數(shù)據(jù)對焦點(diǎn)時刻進(jìn)行詳細(xì)分析（Liu et al.，2019）。再如，有研究者先用日志數(shù)據(jù)對整體學(xué)習(xí)路徑進(jìn)行描述，然后用眼動數(shù)據(jù)和記錄學(xué)習(xí)過程的視頻數(shù)據(jù)對學(xué)習(xí)者觀看教學(xué)視頻和在線練習(xí)兩個關(guān)鍵學(xué)習(xí)環(huán)節(jié)進(jìn)行微觀分析，從而實(shí)現(xiàn)對學(xué)習(xí)者學(xué)習(xí)過程的細(xì)致畫像（Mu et al.，2019）。

需要說明的是，同步采集不同時間和不同粒度的多模態(tài)數(shù)據(jù)是有效開展數(shù)據(jù)整合的前提，這就需要通過部署數(shù)據(jù)同步采集系統(tǒng)來實(shí)現(xiàn)。數(shù)據(jù)整合系統(tǒng)通常包含表情分析模塊（Thomas，2018）、VR模塊（Schneider et al.，2019）、人體姿態(tài)模塊（Zaletelj et al.，2017）和自我報告模塊等。如果在采集數(shù)據(jù)時沒能實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的同步采集，則需要在數(shù)據(jù)清理時以時間為基線對各類數(shù)據(jù)進(jìn)行時間線對齊處理。例如，STREAMS系統(tǒng)可將符合格式要求的日志數(shù)據(jù)與其他多模態(tài)數(shù)據(jù)進(jìn)行整合處理（Liu et al.，2019）?？梢?，“時間線對齊”是數(shù)據(jù)整合的關(guān)鍵環(huán)節(jié)之一，也是數(shù)據(jù)清洗和整理的重點(diǎn)。

總之，數(shù)據(jù)整合分析既是多模態(tài)學(xué)習(xí)分析的核心，也是難點(diǎn)。多模態(tài)數(shù)據(jù)獲取相對容易，但真正整合起來進(jìn)行分析則存在較多困難，而且費(fèi)時費(fèi)力（Liu et al.，2019）。另外，數(shù)據(jù)的整合采集也并不意味著一定存在整合分析，有些研究雖然利用了數(shù)據(jù)整合采集系統(tǒng)，如演講訓(xùn)練系統(tǒng)（Schneider et al.，2019），但在具體分析中也只選擇了單一維度的數(shù)據(jù)進(jìn)行分析，而并未做到基于多模態(tài)數(shù)據(jù)的整合分析。

五、總結(jié)與展望

多模態(tài)數(shù)據(jù)整合分析研究的特點(diǎn)可歸納為三點(diǎn)：數(shù)據(jù)的多模態(tài)、指標(biāo)的多維度和方法的多樣性，如圖5所示。數(shù)據(jù)的多模態(tài)是最直觀的外在表現(xiàn)（X軸），指標(biāo)的多維度體現(xiàn)了學(xué)習(xí)過程的復(fù)雜性（Y軸），方法的多樣性體現(xiàn)了分析技術(shù)的特點(diǎn)（Z軸）。現(xiàn)有的數(shù)據(jù)整合研究或考慮數(shù)據(jù)的準(zhǔn)確性（A點(diǎn)），或考慮信息的全面性（B點(diǎn)），但最理想的應(yīng)是準(zhǔn)確性、全面性和多樣性共同作用下的分析，即C點(diǎn)。本研究認(rèn)為，未來的數(shù)據(jù)整合需要不斷提高測量準(zhǔn)確性和信息全面性，不斷建立有效的分析方法，以更智能、高效、準(zhǔn)確、全面地反映學(xué)習(xí)者的學(xué)習(xí)過程，呈現(xiàn)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和規(guī)律，進(jìn)而改進(jìn)教與學(xué)的效果。例如，可以用眼動和行為數(shù)據(jù)共同測量認(rèn)知，用表情數(shù)據(jù)且通過人工判斷和機(jī)器識別兩種方法整合測量情感，用訪談獲取元認(rèn)知自省數(shù)據(jù)和用自我報告測量動機(jī)水平（Munshi et al.，2019）。

總體而言，多模態(tài)學(xué)習(xí)分析不僅關(guān)注收集各種類型的數(shù)據(jù)，而且注重對各類數(shù)據(jù)的整合分析，以期更準(zhǔn)確、全面地體現(xiàn)學(xué)習(xí)過程的復(fù)雜性（鐘薇等，2018）。各類感知設(shè)備和技術(shù)將在無感情況下，獲取更多學(xué)習(xí)數(shù)據(jù)，豐富數(shù)據(jù)類型;對學(xué)習(xí)發(fā)生機(jī)理、腦科學(xué)和學(xué)習(xí)科學(xué)最新研究進(jìn)展的教育追問將促進(jìn)學(xué)習(xí)指標(biāo)的持續(xù)更新;同時隨著指向?qū)W習(xí)指標(biāo)的多模態(tài)數(shù)據(jù)整合分析技術(shù)的不斷發(fā)展，人工智能技術(shù)將為數(shù)據(jù)分析提供技術(shù)支撐（牟智佳，2020），并不斷提升數(shù)據(jù)整合分析的能力。因此，未來多模態(tài)學(xué)習(xí)分析如能緊緊把握數(shù)據(jù)整合這一難點(diǎn)問題并不斷嘗試新的解決方法和技術(shù)，將能凸顯數(shù)據(jù)多維整體、真實(shí)境脈、實(shí)時連續(xù)的優(yōu)勢，實(shí)現(xiàn)對教學(xué)過程和教學(xué)效果更加即時、多維、直觀、全面的分析。

參考文獻(xiàn)：

[1]陳凱泉，張春雪，吳玥玥等（2019）. 教育人工智能（EAI）中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J]. 遠(yuǎn)程教育雜志， 37（5）：24-34.

[2]劉智，劉三，康令云（2018）. 物理空間中的智能學(xué)伴系統(tǒng)：感知數(shù)據(jù)驅(qū)動的學(xué)習(xí)分析技術(shù)——訪柏林洪堡大學(xué)教育技術(shù)專家Niels Pinkwart教授[J]. 中國電化教育， （7）：67-72.

[3]牟智佳（2020）. 多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長點(diǎn)[J]. 電化教育研究， 41（5）：27-32，51.

[4]張琪，王紅梅（2019）. 學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J]. 電化教育研究， 40（12）：21-28.

[5]張琪，武法提，許文靜（2020）. 多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評測：現(xiàn)狀、啟示與研究趨向[J]. 遠(yuǎn)程教育雜志， 38（1）：76-86.

[6]鐘薇，李若晨，馬曉玲等（2018）. 學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國遠(yuǎn)程教育， （11）：41-49，79-80.

[7]Abdelrahman， Y.， Velloso， E.， & Dingler， T. et al. （2017）. Cognitive Heat： Exploring the Usage of Thermal Imaging to Unobtrusively Estimate Cognitive Load[J]. Proceedings of the ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies， 1（3）：1-20.

[8]Ahonen， L.， Cowley， B. U.， & Hellas， A. et al. （2018）. Biosignals Reflect Pair-Dynamics in Collaborative Work： EDA and ECG Study of Pair-Programming in a Classroom Environment[J]. Scientific Reports， 8（1）：1-16.

[9]Alyuz， N.， Okur， E.， & Genc， U. et al. （2017）. An Unobtrusive and Multimodal Approach for Behavioral Engagement Detection of Students[C]// Proceedings of the 1st ACM SIGCHI International Workshop on Multimodal Interaction for Education. UK， Glasgow：26-32.

[10]An， P.， Bakker， S.， & Ordanovski， S. et al. （2020）. Dandelion Diagram： Aggregating Positioning and Orientation Data in the Visualization of Classroom Proxemics[C]// Proceedings of the Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems. Honolulu， HI：1-8.

[11]Andrade， A.， Maddox， B.， & Edwards， D. et al. （2019）. Quantitative Multimodal Interaction Analysis for the Assessment of Problem-Solving Skills in a Collaborative Online Game[C]// Eagan， B.， Misfeldt， M.， & Siebert-Evenstone， A. （Eds.）. Proceedings of the Advances in Quantitative Ethnography. Madison， WI：281-290.

[12]Anh， B. N.， Son， N. T.， & Lam， P. T. et al. （2019）. A Computer-Vision Based Application for Student Behavior Monitoring in Classroom[J]. Applied Sciences， 9（22）：4729.

[13]Aslan， S.， Alyuz， N.， & Tanriover， C. et al. （2019）. Investigating the Impact of a Real-time， Multimodal Student Engagement Analytics Technology in Authentic Classrooms[C]// Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems（CHI19）. UK， Glasgow：1-12.

[14]Asadipour， A.， Debattista， K.， & Chalmers， A. （2017）. Visuohaptic Augmented Feedback for Enhancing Motor Skills Acquisition[J]. The Visual Computer， 33（4）：401-411.

[15]Blikstein， P. （2013）. Multimodal Learning Analytics[C]// Proceedings of the Third International Conference on Learning Analytics and Knowledge. Leuven， Belgium：102-106.

[16]Burnik， U.， Zaletelj， J.， & Ko?ir， A. （2018）. Video-Based Learners Observed Attention Estimates for Lecture Learning Gain Evaluation[J]. Multimedia Tools and Applications， 77（13）：16903-16926.

[17]Cukurova， M.， Kent， C.， & Luckin， R. （2019）. Artificial Intelligence and Multimodal Data in the Service of Human Decision-Making： A Case Study in Debate Tutoring[J]. British Journal of Educational Technology， 50（6）：3032-3046.

[18]Cukurova， M.， Luckin， R.， & Millán， E. et al. （2017）. The NISPI Framework： Analysing Collaborative Problem-Solving from Students Physical Interactions[J]. Computers & Education， 116：93-109.

[19]Cukurova， M.， Zhou， Q.， & Spikol， D. et al. （2020）. Modelling Collaborative Problem-Solving Competence with Transparent Learning Analytics： Is Video Data Enough？[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge.Germany，F(xiàn)rankfurt：270-275.

[20]DAngelo， S.， & Begel， A. （2017）. Improving Communication Between Pair Programmers Using Shared Gaze Awareness[C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. Denver， CO：6245-6290.

[21]Davidsen， J.， & Ryberg， T. （2017）. “This Is the Size of One Meter”： Childrens Bodily-Material Collaboration[J]. International Journal of Computer-Supported Collaborative Learning， 12：65-90.

[22]Di Mitri， D.， Schneider， J.， & Specht， M. et al. （2018）. From Signals to Knowledge： A Conceptual Model for Multimodal Learning Analytics[J]. Journal of Computer Assisted Learning， 34（4）：338-349.

[23]Di Mitri， D.， Schneider， J.， & Specht， M. et al. （2019）. Detecting Mistakes in CPR Training with Multimodal Data and Neural Networks[J]. Sensors， 19（14）：3099.

[24]Dich， Y.， Reilly， J.， & Schneider， B. （2018）. Using Physiological Synchrony as an Indicator of Collaboration Quality， Task Performance and Learning[M]// Penstein-Rosé C. et al. （Eds.）. Artificial Intelligence in Education. Switzerland，Cham， Springer International Publishing. 10947：98-110

[25]Dindar， M.， Malmberg， J.， & J?rvel?， S. et al. （2020）. Matching Self-Reports with Electrodermal Activity Data： Investigating Temporal Changes in Self-Regulated Learning[J]. Education and Information Technologies， 25（3）：1785-1802.

[26]Ding， Y.， Zhang， Y.， & Xiao， M. et al. （2017）. A Multifaceted Study on Eye Contact Based Speaker Identification in Three-party Conversations[C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. Denver， CO：3011-3021.

[27]Duijzer， C. A. C. G.， Shayan， S.， & Bakker， A. et al. （2017）. Touchscreen Tablets： Coordinating Action and Perception for Mathematical Cognition[J]. Frontiers in Psychology， 8：144.

[28]Edwards， A. A.， Massicci， A.， & Sridharan， S. et al. （2017）. Sensor-Based Methodological Observations for Studying Online Learning[C]// Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol， Cyprus：25-30.

[29]Eradze， M.， & Laanpere， M. （2017）. Lesson Observation Data in Learning Analytics Datasets： Observata[C]// Proceedings of the 12th European Conference on Technology-Enhanced Learning （EC-TEL 2017）. Tallinn， Estonia：504-508.

[30]Ez-zaouia， M.， & Lavoué， E. （2017）. EMODA： A Tutor Oriented Multimodal and Contextual Emotional Dashboard[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Canada， Vancouver：429-438.

[31]Fwa， H. L.， & Marshall， L. （2018）. Modeling Engagement of Programming Students Using Unsupervised Machine Learning Technique[J]. GSTF Journal on Computing， 6（1）：1-6.

[32]Gan， T.， Li， J.， & Wong， Y. et al. （2019）. A Multi-sensor Framework for Personal Presentation Analytics[J]. ACM Transactions on Multimedia Computing， Communications， and Applications， 15（2）：1-21.

[33]Giannakos， M. N.， Sharma， K.， & Pappas， I. O. et al. （2019）. Multimodal Data as a Means to Understand the Learning Experience[J]. International Journal of Information Management， 48：108-119.

[34]Gorham， T.， Jubaed， S.， & Sanyal， T. et al. （2019）. Assessing the Efficacy of VR for Foreign Language Learning Using Multimodal Learning Analytics[M]// Giannikas， C. N.， Kakoulli-Constantinou， E.， & Papadima-Sophocleous， S. （Eds.）. Professional Development in CALL： ASelection of Papers. France， Voillans： Research-publishing.Net：101-116.

[35]Hassib， M.， Khamis， M.， & Friedl， S. et al. （2017）. Brainatwork： Logging Cognitive Engagement and Tasks in the Workplace Using Electroencephalography[C]// Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia. Germany， Stuttgart：305-310.

[36]Healion， D.， Russell， S.， & Cukurova， M. et al. （2017）. Tracing Physical Movement During Practice-Based Learning Through Multimodal Learning Analytics[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Vancouver， BC：588-589.

[37]Henrie， C. R.， Bodily， R.， & Larsen， R. et al. （2018）. Exploring the Potential of LMS Log Data as a Proxy Measure of Student Engagement[J]. Journal of Computing in Higher Education， 30：344-362.

[38]J?rvel?， S.， Malmberg， J.， & Haataja， E. et al. （2019）. What Multimodal Data Can Tell Us about the Students Regulation of Their Learning Process？[J]. Learning and Instruction， 101203.

[39]Junokas， M. J.， Lindgren， R.， & Kang， J. et al. （2018）. Enhancing Multimodal Learning Through Personalized Gesture Recognition[J]. Journal of Computer Assisted Learning， 34（4）：350-357.

[40]Kim， Y.， Butail， S.， & Tscholl， M. et al. （2020）. An Exploratory Approach to Measuring Collaborative Engagement in Child Robot Interaction[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany， Frankfurt：209-217.

[41]Larmuseau， C.， Vanneste， P.， & Cornelis， J. et al. （2019）. Combining Physiological Data and Subjective Measurements to Investigate Cognitive Load During Complex Learning[J]. Frontline Learning Research， 7（2）：57-74.

[42]Ibrahim-Didi， K.， Hackling， M. W.， & Ramseger， J. et al. （2017）. Embodied Strategies in the Teaching and Learning of Science[M]// Hackling， M. W.， Ramseger， J.， & Chen， H.-L.S. （Eds.）. Quality Teaching in Primary Science Education： Cross-Cultural Perspectives.Cham， Switzerland，Springer International Publishing：181-221.

[43]Limbu， B. H.， Jarodzka， H.， & Klemke， R. et al. （2019）. Can You Ink While You Blink？ Assessing Mental Effort in a Sensor-Based Calligraphy Trainer[J]. Sensors， 19（14）：3244.

[44]Liu， R.， Stamper， J.， & Davenport， J. et al. （2019）. Learning Linkages： Integrating Data Streams of Multiple Modalities and Timescales[J]. Journal of Computer Assisted Learning， 35（1）：99-109.

[45]Loup-Escande， E.， Frenoy， R.， & Poplimont， G. et al. （2017）. Contributions of Mixed Reality in a Calligraphy Learning Task： Effects of Supplementary Visual Feedback and Expertise on Cognitive Load， User Experience and Gestural Performance[J]. Computers in Human Behavior， 75：42-49.

[46]Malmberg， J.， J?rvel?， S.， & Holappa， J. et al. （2019）. Going Beyond What Is Visible： What Multichannel Data Can Reveal about Interaction in the Context of Collaborative Learning？[J]. Computers in Human Behavior， 96：235-245.

[47]Martin， K.， Wang， E. Q.， & Bain， C. et al. （2019）. Computationally Augmented Ethnography： Emotion Tracking and Learning in Museum Games[C]// Eagan， B.， Misfeldt， M.， & Siebert-Evenstone， A. （Eds.）. Proceedings of the Advances in Quantitative Ethnography. Madison， WI： Springer International Publishing：141-153.

[48]Martinez-Maldonado， R.， Echeverria， V.， & Fernandez Nieto， G. et al. （2020）. From Data to Insights： A Layered Storytelling Approach for Multimodal Learning Analytics[C]// Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Honolulu， HI：1-15.

[49]Martinez-Maldonado， R.， Echeverria， V.， & Santos， O. C. et al. （2018）. Physical Learning Analytics： A Multimodal Perspective[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge （LAK18）. Australia， Sydney：375-379.

[50]Mills， C.， Fridman， I.， & Soussou， W. et al. （2017）. Put Your Thinking Cap on： Detecting Cognitive Load Using EEG During Learning[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference （LAK17）. Vancouver， BC：80-89.

[51]Minematsu， T.， Tamura， K.， & Shimada， A. et al. （2019）. Analytics of Reading Patterns Based on Eye Movements in an e-Learning System[C]// Proceedings of the Society for Information Technology & Teacher Education International Conference.Waynesville，NC：1054-1059.

[52]Moher， D.， Liberati， A.， & Tetzlaff， J. et al. （2009）. Preferred Reporting Items for Systematic Reviews and Meta-Analyses： The PRISMA Statement[J]. Open Medicine，3（2）：123-130.

[53]Monkaresi， H.， Bosch， N.， & Calvo， R. A. et al. （2017）. Automated Detection of Engagement Using Video-Based Estimation of Facial Expressions and Heart Rate[J]. IEEE Transactions on Affective Computing， 8（1）：5-8.

[54]Mu， S.， Cui， M.， & Wang， X. J. et al. （2018）. Learners Attention Preferences and Learning Paths on Online Learning Content： An Empirical Study Based on Eye Movement[C]// Proceedings of the 2018 Seventh International Conference of Educational Innovation Through Technology （EITT）. New Zealand， Auckland：32-35.

[55]Mu， S.， Cui， M.， & Wang， X. J. et al. （2019）. Learners Attention Preferences of Information in Online Learning： An Empirical Study Based on Eye-Tracking[J]. Interactive Technology and Smart Education，16（3）：186-203.

[56]Munshi， A.， & Biswas， G. （2019）. Personalization in OELEs： Developing a Data-Driven Framework to Model and Scaffold SRL Processes[M]// Isotani， S.， Millán， E.， & Ogan， A. et al. （Eds.）. Artificial Intelligence in Education. Switzerland， Cham： Springer International Publishing：354-358.

[57]Noel， R.， Riquelme， F.， & Lean， R. M. et al. （2018）. Exploring Collaborative Writing of User Stories with Multimodal Learning Analytics： A Case Study on a Software Engineering Course[J]. IEEE Access.

[58]Okada， M.， Kuroki， Y.， & Tada， M. （2020）. Multimodal Analytics to Understand Self-regulation Process of Cognitive and Behavioral Strategies in Real-world Learning[J]. IEICE Transactions on Information and Systems， E103.D（5）：1039-1054.

[59]Ou， L.， Andrade， A.， & Alberto， R. et al. （2020）. Using a Cluster-Based Regime-Switching Dynamic Model to Understand Embodied Mathematical Learning[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany， Frankfurt：496-501.

[60]Oviatt， S. （2018）. Ten Opportunities and Challenges for Advancing Student-Centered Multimodal Learning Analytics[C]// Proceedings of the 20th ACM International Conference on Multimodal Interaction. Boulder， CO：87-94.

[61]Oviatt， S.， Hang， K.， & Zhou， J. et al. （2018）. Dynamic Handwriting Signal Features Predict Domain Expertise[J]. ACM Transactions on Interactive Intelligent Systems， 8（3）：1-21.

[62]Paredes， Y. V.， Azcona， D.， & Hsiao， I.-H. et al. （2018）. Learning by Reviewing Paper-Based Programming Assessments[C]// Pammer-Schindler， V.， Pérez-Sanagustín， M.， & Drachsler， H. et al. （Eds.）. Proceedings of the Lifelong Technology-Enhanced Learning. Switzerland， Cham： Springer International Publishing：510-523.

[63]Pham， P.， & Wang， J. （2018）. Predicting Learners Emotions in Mobile MOOC Learning via a Multimodal Intelligent Tutor[C]// Nkambou， R.， Azevedo， R.， & Vassileva， J. （Eds.）. Proceedings of the Intelligent Tutoring Systems. Switzerland， Cham： Springer International Publishing：150-159.

[64]Pijeira-Díaz， H. J.， Drachsler， H.， & Kirschner， P. A. et al. （2018）. Profiling Sympathetic Arousal in a Physics Course： How Active Are Students？[J]. Journal of Computer Assisted Learning，34（4）：397-408.

[65]Paans， C.， Molenaar， I.， & Segers， E. et al. （2019）. Temporal Variation in Childrens Self-Regulated Hypermedia Learning[J]. Computers in Human Behavior， 96：246-258.

[66]Praharaj， S.， Scheffel， M.， & Drachsler， H. et al. （2019）. Group Coach for Co-located Collaboration[C]// Proceedings of the Transforming Learning with Meaningful Technologies. Netherlands， Delft：732-736.

[67]Prieto， L. P.， Sharma， K.， & Kidzinski， ?. et al. （2018）. Multimodal Teaching Analytics： Automated Extraction of Orchestration Graphs from Wearable Sensor Data[J]. Journal of Computer Assisted Learning，34（2）：193-203.

[68]Reilly， J. M.， & Schneider， B. （2019）. Predicting the Quality of Collaborative Problem Solving Through Linguistic Analysis of Discourse[C]// Proceedings of the 12th International Conference on Educational Data Mining （EDM 2019）. Montréal， QC：149-157.

[69]Reilly， J. M.， Ravenell， M.， & Schneider， B. （2018）. Exploring Collaboration Using Motion Sensors and Multi-Modal Learning Analytics[C]// Proceedings of the 11th International Conference on Educational Data Mining （EDM 2018）. Buffalo， NY.

[70]Romano， G.， Schneider， J.， & Drachsler， H. （2019）. Dancing Salsa with Machines-Filling the Gap of Dancing Learning Solutions[J]. Sensors， 19（17）：3661.

[71]Rosen， D.， Palatnik， A.， & Abrahamson， D. （2018）. A Better Story： An Embodied-Design Argument for Generic Manipulatives[M]// Calder， N.， Larkin， K.， & Sinclair， N. （Eds.）. Using Mobile Technologies in the Teaching and Learning of Mathematics. Switzerland， Cham： Springer International Publishing：189-211.

[72]Samuelsen， J.， Chen， W.， & Wasson， B. （2019）. Integrating Multiple Data Sources for Learning Analytics - Review of Literature[J]. Research and Practice in Technology Enhanced Learning， 14（1）：11.

[73]Schneider， B.， Dich， Y.， & Radu， I. （2020）. Unpacking the Relationship Between Existing and New Measures of Physiological Synchrony and Collaborative Learning： A Mixed Methods Study[J]. International Journal of Computer-Supported Collaborative Learning， 15（1）：89-113.

[74]Schneider， B.， Sharma， K.， & Cuendet， S. et al. （2018）. Leveraging Mobile Eye-Trackers to Capture Joint Visual Attention in Co-located Collaborative Learning Groups[J]. International Journal of Computer-Supported Collaborative Learning， 13（3）：241-261.

[75]Schneider， J.， Romano， G.， & Drachsler， H. （2019）. Beyond Reality - Extending a Presentation Trainer with an Immersive VR Module[J]. Sensors， 19（16）：3457.

[76]Schwendimann， B. A.， Rodríguez-Triana， M. J.， & Vozniuk， A. et al. （2017）. Perceiving Learning at a Glance： A Systematic Literature Review of Learning Dashboard Research[J]. IEEE Transactions on Learning Technologies， 10（1）：30-41.

[77]Sharma， K.， Papamitsiou， Z.， & Giannakos， M. （2019）. Building Pipelines for Educational Data Using AI and Multimodal Analytics： A “Grey-Box” Approach[J]. British Journal of Educational Technology， 50（6）：3004-3031.

[78]Sommer， S.， Hinojosa， L.， & Traut， H. et al. （2017）. Integrating Eye-Tracking Activities Into a Learning Environment to Promote Collaborative Meta-Semiotic Reflection and Discourse[C]// Proceedings of the 12th International Conference on Computer Supported Collaborative Learning. Philadelphia， PA：1-4.

[79]Spikol， D.， Ruffaldi， E.， & Dabisias， G. et al. （2018）. Supervised Machine Learning in Multimodal Learning Analytics for Estimating Success in Project-Based Learning[J]. Journal of Computer Assisted Learning， 34（4）：366-377.

[80]Sriramulu， A.， Lin， J.， & Oviatt， S. （2019）. Dynamic Adaptive Gesturing Predicts Domain Expertise in Mathematics[C]// Proceedings of the 2019 International Conference on Multimodal Interaction （ICMI19）. China， Suzhou：105-113.

[81]Montero， C. S.， & Suhonen， J. （2014）. Emotion Analysis Meets Learning Analytics： Online Learner Profiling Beyond Numerical Data[C]// Proceedings of the 14th Koli Calling International Conference on Computing Education Research. Koli， Finland：165-169.

[82]Tamura， K.， Lu， M.， & Konomi， S. et al. （2019）. Integrating Multimodal Learning Analytics and Inclusive Learning Support Systems for People of All Ages[C]// Proceedings of the Cross-Cultural Design. Orlando， FL： 469-481.

[83]Thomas， C. （2018）. Multimodal Teaching and Learning Analytics for Classroom and Online Educational Settings[C]// Proceedings of the 20th ACM International Conference on Multimodal Interaction. Boulder， CO：542-545.

[84]Tzirakis， P.， Trigeorgis， G.， & Nicolaou， M. A. et al. （2017）. End-to-End Multimodal Emotion Recognition Using Deep Neural Networks[J]. IEEE Journal of Selected Topics in Signal Processing，11（8）：1301-1309.

[85]Vrzakova， H.， Amon， M. J.， & Stewart， A. et al. （2020）. Focused or Stuck Together： Multimodal Patterns Reveal Triads Performance in Collaborative Problem Solving[C]// Proceedings of the Tenth International Conference on Learning Analytics & Knowledge. Germany，F(xiàn)rankfurt：295-304.

[86]Watanabe， E.， Ozeki， T.， & Kohama， T. （2018）. Analysis of Interactions Between Lecturers and Students[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge （LAK18）. Australia， Sydney：370-374.

[87]Worsley， M. （2018）. Multimodal Learning Analytics Past， Present， and Potential Futures[C]// Proceedings of the 8th International Conference on Learning Analytics & Knowledge （LAK18）. Australia， Sydney.

[88]Worsley， M.， & Blikstein， P. （2018）. A Multimodal Analysis of Making[J]. International Journal of Artificial Intelligence in Education， 28（3）：385-419.

[89]Yin， Z.， Zhao， M.， & Wang， Y. et al. （2017）. Recognition of Emotions Using Multimodal Physiological Signals and an Ensemble Deep Learning Model[J]. Computer Methods & Programs in Biomedicine， 140：93-10.

[90]Zaletelj， J.， & Ko?ir， A. （2017）. Predicting Students Attention in the Classroom from Kinect Facial and Body Features[J]. EURASIP Journal on Image and Video Processing， 2017：80.

[91]Zheng， W. L.， Liu， W.， & Lu， Y. et al. （2019）. EmotionMeter： A Multimodal Framework for Recognizing Human Emotions[J]. IEEE Transactions on Cybernetics， 49（3）：1110-1122.

收稿日期 2020-11-20 責(zé)任編輯 劉選

Data Fusion Method in Multimodal Learning Analytics： From a Panoramic Perspective

MU Su， CUI Meng， HUANG Xiaodi

Abstract： Multimodal data analysis helps us to understand the learning processes accurately. This paper systematically surveyed 312 articles in English and 51 articles in Chinese on multimodal data analysis and the findings show as follows. The analysis stages are collecting multimodal data in the learning process， converting multimodal data into learning indicators， and applying learning indicators to teaching and learning. High-frequency， fine-grained and micro-level multidimensional data in the learning processes are available， convenient and accurate， including digital data， physical data， physiological data， psychometric data and environment data. The learning indicators include behavior， cognition， emotion， collaboration and so on. The corresponding relationships between learning data and learning indicators are classified into one-to-one， one-to-many， and many-to-one. The complex relationship between learning data and learning indicators is the premise of data fusion. When measuring a learning indicator， two issues need to be considered： which type of data is the most effective one in measuring the indicator and whether there are any other types of data that contribute to more accurate measurements. Aligning the timeline of multimodal data is the key to data integration. In a word， the main characteristics of multimodal data analysis are characterized as multimodality of learning data， multi-dimension of learning indicators and diversity of analysis methods. Comprehensive consideration of the three-dimensional characteristics to improve the accuracy of analysis results is the direction of future research on multimodal data integration.

Keywords： Multimodal Learning Analytics; Types of Data; Learning Indicators; Data Fusion; Systematic Review