汪維富 毛美娟

[摘? ?要] 隨著物聯(lián)網(wǎng)、可穿戴傳感設(shè)備、人工智能的快速發(fā)展，多種模態(tài)數(shù)據(jù)的連續(xù)抓取與融合分析成為可能，促成了多模態(tài)學(xué)習(xí)分析研究的誕生，并成為學(xué)習(xí)分析領(lǐng)域的一個(gè)重要新興分支。多模態(tài)學(xué)習(xí)分析關(guān)注真實(shí)的學(xué)習(xí)情境與本真的學(xué)習(xí)交流方式，“返璞歸真”地聚焦更普遍的物理學(xué)習(xí)情境，克服了主流學(xué)習(xí)分析過度關(guān)注數(shù)字化學(xué)習(xí)環(huán)境的局限。研究主要采用文獻(xiàn)歸納法，闡述了多模態(tài)學(xué)習(xí)分析的發(fā)展動(dòng)因、概念理解，重點(diǎn)從身體、生理視角概述了多模態(tài)的數(shù)據(jù)類型，并對(duì)多模態(tài)學(xué)習(xí)分析的過程模型進(jìn)行了詳細(xì)描述。研究認(rèn)為，未來要充分借助人工智能處理多模態(tài)數(shù)據(jù)，借鑒認(rèn)知帶理論融合不同模態(tài)數(shù)據(jù)的意義，借力學(xué)習(xí)理論來理解真實(shí)的多模態(tài)學(xué)習(xí)交互過程，以進(jìn)一步完善基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)方法。

[關(guān)鍵詞] 多模態(tài)學(xué)習(xí)分析; 物理學(xué)習(xí)環(huán)境; 可穿戴設(shè)備; 生理數(shù)據(jù); 數(shù)據(jù)融合; 學(xué)習(xí)評(píng)價(jià); 認(rèn)知帶

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 汪維富（1986—），男，江西鄱陽人。博士研究生，主要從事遠(yuǎn)程開放教育、教師教育信息化研究。E-mail：wwf860127@163.com。

一、引? ?言

轉(zhuǎn)向建構(gòu)主義學(xué)習(xí)范式是當(dāng)下課程改革的主流方向，但是仍有不少學(xué)者對(duì)建構(gòu)性學(xué)習(xí)的有效性提出質(zhì)疑[1]，其潛在原因是建構(gòu)性學(xué)習(xí)支持的高階學(xué)習(xí)結(jié)果是極難衡量的，在學(xué)校情境中難以實(shí)現(xiàn)規(guī)?；u(píng)估，特別是在小組協(xié)作、任務(wù)復(fù)雜的開放學(xué)習(xí)環(huán)境中，傳統(tǒng)紙筆支持的標(biāo)準(zhǔn)化測量方法往往無法展現(xiàn)其積極的學(xué)習(xí)影響?！渡罨聲r(shí)代教育評(píng)價(jià)改革總體方案》提出，要“充分利用信息技術(shù)，提高教育評(píng)價(jià)的科學(xué)性、專業(yè)性、客觀性”[2]，尋求新技術(shù)支持的學(xué)習(xí)評(píng)價(jià)方法正成為教育評(píng)價(jià)改革的重要方向之一。

二、多模態(tài)學(xué)習(xí)分析的發(fā)展動(dòng)因

基于大數(shù)據(jù)的教育評(píng)價(jià)是教育現(xiàn)代化的重要特征。近年來，大數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)分析方法拓展了傳統(tǒng)標(biāo)準(zhǔn)化學(xué)習(xí)評(píng)估方法，如使用來自學(xué)習(xí)管理系統(tǒng)、MOOC、社交媒體環(huán)境、教育游戲等的大數(shù)據(jù)，對(duì)學(xué)習(xí)過程與結(jié)果有了更細(xì)致全面的刻畫方法。學(xué)習(xí)分析通過自動(dòng)化、全樣本的大數(shù)據(jù)收集和分析，開創(chuàng)了一種大數(shù)據(jù)支持的非標(biāo)準(zhǔn)化學(xué)習(xí)評(píng)估形式，擴(kuò)大了建構(gòu)性學(xué)習(xí)評(píng)價(jià)的規(guī)?；瘜?shí)施范圍，使原來復(fù)雜和費(fèi)力的形成性評(píng)價(jià)與個(gè)性化反饋成為可能。然而，目前大部分學(xué)習(xí)分析都集中在以計(jì)算機(jī)為中介的結(jié)構(gòu)化任務(wù)上，反而忽略了更經(jīng)常發(fā)生學(xué)習(xí)活動(dòng)的物理學(xué)習(xí)空間。因此，如何從現(xiàn)實(shí)世界或混合世界的學(xué)習(xí)環(huán)境中收集多種來源的學(xué)習(xí)痕跡，成為學(xué)習(xí)分析領(lǐng)域亟須開拓的研究領(lǐng)域。

隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展和創(chuàng)客運(yùn)動(dòng)的興起，一股新的技術(shù)創(chuàng)新浪潮正在發(fā)生。生物傳感器、全息攝像系統(tǒng)、手勢(shì)感應(yīng)、紅外成像、眼動(dòng)跟蹤等多模態(tài)數(shù)據(jù)收集方法正在迅速發(fā)展，特別是可穿戴傳感器的便攜性、微型化、非侵入性與低價(jià)格趨勢(shì)，讓收集高頻、細(xì)粒度、全樣本的多層次、多模態(tài)學(xué)習(xí)數(shù)據(jù)成為可能。將物理學(xué)習(xí)活動(dòng)、身體運(yùn)動(dòng)、生理數(shù)據(jù)與數(shù)字化日志、自我報(bào)告數(shù)據(jù)結(jié)合起來，獲取更為接近學(xué)習(xí)者與群體真實(shí)表現(xiàn)的細(xì)顆粒數(shù)據(jù)，使研究人員能夠洞察學(xué)習(xí)者或?qū)W習(xí)群體每分每秒的發(fā)展，對(duì)復(fù)雜的認(rèn)知、行為、情緒、動(dòng)機(jī)等進(jìn)行更全面的評(píng)估，從而促進(jìn)21世紀(jì)技能與核心素養(yǎng)的發(fā)展。

三、多模態(tài)學(xué)習(xí)分析的概念理解

每一種知覺來源或者媒介形式，都可以稱為一種模態(tài)。例如：人有觸覺、聽覺、視覺、嗅覺;從媒介表征形式看，有聲音、視頻、文字、手勢(shì)、姿勢(shì)、眼動(dòng)、表情、生理信號(hào)等。多模態(tài)融合了至少兩種模態(tài)及以上的數(shù)據(jù)來源。

（一）多模態(tài)學(xué)習(xí)分析的概念內(nèi)涵

作為學(xué)習(xí)分析的一個(gè)新興分支，多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics）于2012年在多模態(tài)交互國際會(huì)議上正式被提出[3]，旨在通過捕獲、融合和分析多種來源的數(shù)據(jù)，尤其是自然交流過程中產(chǎn)生的多源數(shù)據(jù)，如講話、凝視、手勢(shì)、姿勢(shì)、眼動(dòng)、面部表情、皮膚電、腦電圖、心率等，以實(shí)現(xiàn)對(duì)學(xué)習(xí)行為、認(rèn)知、信念、動(dòng)機(jī)與情緒等多方面的客觀理解與深刻洞察。Worsley發(fā)現(xiàn)，學(xué)習(xí)研究中最常用的五種模態(tài)是語音、視頻、生理、眼動(dòng)跟蹤和數(shù)字化日志[4]，其中超過一半的多模態(tài)學(xué)習(xí)分析實(shí)證研究使用了至少三種模態(tài)。

（二）多模態(tài)學(xué)習(xí)分析有利于克服當(dāng)下學(xué)習(xí)分析的研究局限

目前，主流學(xué)習(xí)分析聚焦計(jì)算機(jī)支持的學(xué)習(xí)系統(tǒng)環(huán)境，交互數(shù)據(jù)主要來自數(shù)字化空間，學(xué)習(xí)者通常坐在電腦屏幕的正前方，數(shù)據(jù)的噪音比較少，任務(wù)的結(jié)構(gòu)化和腳本化程度較高，推斷學(xué)生行為和學(xué)習(xí)構(gòu)念之間的關(guān)聯(lián)較為容易。然而，多模態(tài)也是人類與計(jì)算機(jī)交互時(shí)的典型特征，人類通過面部表情、語音語調(diào)或身體動(dòng)作等多種方式來表達(dá)自己的意圖和情感，如與智能導(dǎo)師系統(tǒng)交互時(shí)也可能緊鎖眉頭、打哈欠、東張西望，但現(xiàn)在還很少將這些因素納入學(xué)習(xí)分析。另一方面，多數(shù)學(xué)習(xí)發(fā)生在面對(duì)面的開放式物理環(huán)境中，只聚焦數(shù)字化環(huán)境明顯損害了學(xué)習(xí)分析對(duì)一般性學(xué)習(xí)的適用性。不管是基于項(xiàng)目的學(xué)習(xí)、具身化互動(dòng)、開放式的實(shí)踐活動(dòng)和協(xié)作學(xué)習(xí)活動(dòng)，還是更傳統(tǒng)的課堂教學(xué)，都蘊(yùn)含著對(duì)于學(xué)習(xí)分析來說具有重要價(jià)值的多模態(tài)數(shù)據(jù)。當(dāng)下，研究人員開始嘗試對(duì)數(shù)字化學(xué)習(xí)環(huán)境之外的學(xué)習(xí)和教學(xué)經(jīng)驗(yàn)進(jìn)行建模和分析，有學(xué)者甚至提出了“物理學(xué)習(xí)分析”（Physical Learning Analytics）概念，將學(xué)習(xí)分析引入真實(shí)的物理學(xué)習(xí)空間，并試圖利用物理空間數(shù)據(jù)來幫助改進(jìn)教學(xué)實(shí)踐和學(xué)習(xí)過程[5]。因此，將研究情境轉(zhuǎn)向更加真實(shí)、復(fù)雜、開放的學(xué)習(xí)環(huán)境是多模態(tài)學(xué)習(xí)分析的主要焦點(diǎn)。

（三）多模態(tài)更符合人類交流與學(xué)習(xí)的現(xiàn)實(shí)與本質(zhì)

“盲人摸象”的故事啟發(fā)人們，僅憑一種感官信息只可能獲得對(duì)事物的局部認(rèn)識(shí)。人類在正常情況下感知信息時(shí)一般都會(huì)同時(shí)利用多種感官，并經(jīng)過大腦整合處理之后才能形成完整的認(rèn)識(shí)。在傳統(tǒng)的課堂上，教師會(huì)采取多種方式來傳達(dá)不同的教學(xué)意義，例如：當(dāng)教師詢問是否聽懂了知識(shí)點(diǎn)時(shí)，學(xué)生會(huì)點(diǎn)頭;在強(qiáng)調(diào)某個(gè)主題時(shí)，教師會(huì)提高自己的聲音。同樣，學(xué)生利用多種方式來展示其對(duì)知識(shí)技能的掌握程度，如流暢的口頭闡述、持續(xù)的眼神交流、更快的答題速度、有節(jié)奏的全身運(yùn)動(dòng)等。此外，學(xué)生也經(jīng)常通過語言、面部表情和身體姿勢(shì)參與交流互動(dòng)，而教師通常會(huì)監(jiān)控這些線索，并實(shí)時(shí)做出相應(yīng)的回應(yīng)。當(dāng)然，與人類感知能力相比，計(jì)算設(shè)備感知的信號(hào)顆粒度可能會(huì)更細(xì)致、更全面。因此，多模態(tài)學(xué)習(xí)交互更符合人類交流現(xiàn)實(shí)的本質(zhì)與需求，為了獲得更廣泛、更正式的整體學(xué)習(xí)圖景，可以把從一種模態(tài)中收集的學(xué)習(xí)證據(jù)與從其他模態(tài)中收集的學(xué)習(xí)證據(jù)進(jìn)行相互補(bǔ)充或驗(yàn)證。

（四）多模態(tài)學(xué)習(xí)分析與傳統(tǒng)多模態(tài)教育實(shí)驗(yàn)研究的區(qū)別和聯(lián)系

在傳統(tǒng)的教育實(shí)驗(yàn)研究中，利用不同模態(tài)數(shù)據(jù)進(jìn)行學(xué)習(xí)研究比較常見，如腦電圖常用于情緒識(shí)別、大腦自我調(diào)節(jié)、動(dòng)作技能習(xí)得、深度學(xué)習(xí)、聯(lián)想學(xué)習(xí)等實(shí)驗(yàn)研究[6]。然而，傳統(tǒng)多模態(tài)教育實(shí)驗(yàn)研究與多模態(tài)學(xué)習(xí)分析有很大區(qū)別。前者采用的是實(shí)驗(yàn)對(duì)比研究范式，其主要問題是數(shù)據(jù)收集成本很高，只能在實(shí)驗(yàn)室層面開展受控研究，不利于擴(kuò)展到常態(tài)化課堂、開放式學(xué)習(xí)情境，而且研究成果一般無法直接為學(xué)生提供及時(shí)的學(xué)習(xí)反饋。多模態(tài)學(xué)習(xí)分析主張采用大數(shù)據(jù)驅(qū)動(dòng)的第四研究實(shí)證范式，直接從不同數(shù)據(jù)源提取多模態(tài)特征，利用機(jī)器學(xué)習(xí)自動(dòng)分析數(shù)據(jù)，試圖提供連續(xù)的、嵌入的實(shí)時(shí)反饋，以理解、改進(jìn)正在或?qū)⒁l(fā)生的學(xué)習(xí)。當(dāng)然，傳統(tǒng)多模態(tài)教育實(shí)驗(yàn)研究能為多模態(tài)學(xué)習(xí)分析提供重要的分析線索與理論依據(jù)。如生理低喚醒表示學(xué)習(xí)的消極狀態(tài)，而生理高喚醒則表示學(xué)習(xí)的積極或反應(yīng)狀態(tài)。因此，推動(dòng)多模態(tài)學(xué)習(xí)分析研究，除了要借助傳感器、人工智能、大數(shù)據(jù)等技術(shù)，也要充分借鑒學(xué)習(xí)科學(xué)、認(rèn)知心理、神經(jīng)科學(xué)和行為科學(xué)等理論，以啟發(fā)不同模態(tài)特征與關(guān)鍵學(xué)習(xí)構(gòu)念之間建立對(duì)應(yīng)關(guān)系，以及驗(yàn)證通過使用多模態(tài)數(shù)據(jù)源推斷認(rèn)知發(fā)展和社交進(jìn)步的可能性。

四、多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)分類

得益于智能化、便攜式傳感器的發(fā)展，多模態(tài)數(shù)據(jù)采集與分析才成為可能。Schneider等人分析了大量傳感器原型，并將可用于學(xué)習(xí)領(lǐng)域的傳感器分為24種，每個(gè)傳感器可以感知一種或多種數(shù)據(jù)類型，主要涉及活動(dòng)數(shù)據(jù)、情境數(shù)據(jù)、環(huán)境數(shù)據(jù)、身體生理數(shù)據(jù)等四種[7]。類似地，牟智佳基于多模態(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)對(duì)數(shù)據(jù)源進(jìn)行了分類，包括人機(jī)交互、學(xué)習(xí)資源、學(xué)習(xí)情境與學(xué)習(xí)體征等四種[8]。他們分類中的前三種都在教育技術(shù)領(lǐng)域中涉及較多，本研究重點(diǎn)對(duì)第四種數(shù)據(jù)（即身體生理或?qū)W習(xí)體征數(shù)據(jù)）進(jìn)行闡述。

與自我報(bào)告、數(shù)字化日志、訪談、任務(wù)績效等常用數(shù)據(jù)模態(tài)相比，身體生理數(shù)據(jù)是一種更加客觀、連續(xù)的信息來源，通常要借助專業(yè)設(shè)備或傳感器來采集。例如：麥克風(fēng)可以對(duì)語音信息通道進(jìn)行采樣，眼動(dòng)儀可以跟蹤眼睛的注視范圍和持續(xù)時(shí)間，多功能專業(yè)攝像機(jī)可以同時(shí)跟蹤語音、手勢(shì)、位置、動(dòng)作和面部等多源信號(hào)，而皮膚電設(shè)備（如Empatica智能手環(huán)）可以獲取皮膚電反應(yīng)信號(hào)?；贒i Mitri 等人的分析[9]，我們將身體生理數(shù)據(jù)模態(tài)分為兩種：自主可控的動(dòng)作型數(shù)據(jù)模態(tài)、伴隨生成的生理型數(shù)據(jù)模態(tài)，如圖1所示。

（一）動(dòng)作型數(shù)據(jù)模態(tài)

動(dòng)作型數(shù)據(jù)模態(tài)可以分為身軀、頭部，這屬于自主性的信號(hào)模態(tài)，具有一定可控、外顯的觀察特征。身軀又分為軀干、腿、手臂和手。通過軀干的全身運(yùn)動(dòng)能捕捉個(gè)體的大動(dòng)作技能嫻熟程度信息，也能為評(píng)估其他認(rèn)知信息提供重要線索。例如：Raca和Dillenbourg使用多功能攝像系統(tǒng)來觀察全身運(yùn)動(dòng)（Gross Body Movements，GBM）[10]，利用身體姿勢(shì)、手勢(shì)等線索來評(píng)估課堂中的學(xué)生注意力;Botha和Africa發(fā)現(xiàn)，小學(xué)生的全身運(yùn)動(dòng)和字母識(shí)字能力呈正相關(guān)，全身運(yùn)動(dòng)在一定程度上是觀察兒童識(shí)字能力的有效指標(biāo)[11]。計(jì)步器可以跟蹤腿部的運(yùn)動(dòng)，并為身體活動(dòng)提供良好的指示，而手臂和手是語義更豐富的身體部位。攝像機(jī)可以檢測到手臂的運(yùn)動(dòng)，如微軟Kinect可以識(shí)別手勢(shì)和身體姿勢(shì)，已經(jīng)被用于演講表達(dá)技巧的自動(dòng)化訓(xùn)練[12]。另一種手臂運(yùn)動(dòng)和手勢(shì)的檢測可以通過肌電圖（Electromyography，EMG）實(shí)現(xiàn)。例如：Hussain等人在情感檢測的研究中使用了臉部EMG、心電圖（Electrocardiogram，ECG）、皮膚電反應(yīng)（Galvanic Skin Response，GSR）和呼吸率等不同模態(tài)數(shù)據(jù)[13];Ekaterina等人將前臂肌電圖用于支持衛(wèi)生教育，對(duì)醫(yī)學(xué)生的手部清潔過程進(jìn)行評(píng)估[14]。通過手部運(yùn)動(dòng)數(shù)據(jù)可以洞察學(xué)習(xí)者的認(rèn)知發(fā)展，而手部運(yùn)動(dòng)可以通過搜索特定的手勢(shì)、跟蹤對(duì)物體的處理以及筆畫或繪畫草圖來檢測。例如：將筆畫與視頻、語音等模態(tài)結(jié)合起來，可從學(xué)生群體中發(fā)現(xiàn)高績效的專家型學(xué)生[15];還有學(xué)者根據(jù)具身認(rèn)知理論，利用觸摸屏輔助學(xué)生使用雙手來探索數(shù)學(xué)比例的概念[16]，將學(xué)習(xí)視為學(xué)生身體動(dòng)態(tài)協(xié)調(diào)模式的過程，以引發(fā)直接性或隱喻性的抽象概念化，促進(jìn)學(xué)習(xí)者在手部運(yùn)動(dòng)與抽象概念之間建立牢固的關(guān)系。

頭部動(dòng)作型模態(tài)主要包括臉部表情、眼動(dòng)和語音。臉部表情是非常微妙的身體反應(yīng)狀態(tài)，在學(xué)習(xí)分析中得到廣泛應(yīng)用。例如：Alyuz等人用攝像機(jī)采集大量的學(xué)生表情，用于構(gòu)建學(xué)生使用智能導(dǎo)師系統(tǒng)時(shí)的情感投入檢測器[17];Chikersa等人探索了群體面部表情等生理同步性與群體的集體智力、互動(dòng)滿意度的關(guān)系[18];Spikol等人結(jié)合學(xué)生手勢(shì)、面部表情、音頻、視頻以及與物理計(jì)算平臺(tái)的交互模式，預(yù)測項(xiàng)目解決方案的質(zhì)量和正確性[19]。眼動(dòng)跟蹤是評(píng)價(jià)注意力的關(guān)鍵指標(biāo)，如Li等人探究了不同空間視覺選擇題之間的眼動(dòng)差異，并根據(jù)眼動(dòng)追蹤數(shù)據(jù)預(yù)測問題難度，發(fā)現(xiàn)通過眼球運(yùn)動(dòng)（尤其是注視時(shí)間）可以很好地預(yù)測題目難度[20]。語音分析涵蓋了從副語言分析（如說話時(shí)長、關(guān)鍵詞或韻律特征）到對(duì)話情境中口語詞匯的識(shí)別[21]，具有多層次的多模態(tài)學(xué)習(xí)分析特征。語音可以從信號(hào)（如聲調(diào)）、活動(dòng)（如對(duì)話輪換）、內(nèi)容（如對(duì)話內(nèi)容）、人際（如社會(huì)性調(diào)節(jié)）和其他層面進(jìn)行融合分析。

（二）生理型數(shù)據(jù)模態(tài)

生理型數(shù)據(jù)模態(tài)屬于被動(dòng)性的信號(hào)數(shù)據(jù)，是機(jī)體在活動(dòng)中伴隨產(chǎn)生的，是當(dāng)人受到某種刺激時(shí)所表現(xiàn)出來的潛在反應(yīng)，這些反應(yīng)來自中樞和自主神經(jīng)系統(tǒng)的信號(hào)能自動(dòng)地激活、調(diào)節(jié)身體機(jī)能。其中，大腦、心臟、皮膚、呼吸系統(tǒng)是能夠獲得生理信號(hào)的主要器官?？疾齑竽X活躍程度的方法是使用腦電圖（EEG），可以測量大腦內(nèi)部的電位差。如Dikker等人將EEG用于跟蹤正常課堂活動(dòng)中小組互動(dòng)的腦部信號(hào)變化，發(fā)現(xiàn)學(xué)生腦腦同步程度可以預(yù)測學(xué)生在課堂中的投入度和社交關(guān)系，說明腦腦同步性可能是動(dòng)態(tài)社會(huì)互動(dòng)的神經(jīng)標(biāo)記[22]。此外，多種技術(shù)可以用來計(jì)算心率和心率變異性等心臟活動(dòng)的指標(biāo)，包括血容脈沖（Blood Volume Pulse，BVP）、光學(xué)體積描記（Photoplethysmography，PPG）、心電圖（ECG）等。皮膚電反應(yīng)（GSR）的變化被稱為皮膚電活動(dòng)（Electrodermal Activity，EDA），是通過測量皮膚導(dǎo)電性變化來了解身體喚醒程度。例如：Alzoubi等人使用腦電圖、心電圖和皮膚電反應(yīng)來檢測情感的自然表達(dá)[23];Grafsgaard等人使用EDA和從視頻、手勢(shì)和姿勢(shì)中獲得的面部表情來預(yù)測情緒[24]。呼吸量（Respiratory Volume）的測定包括呼吸的深度和速率，當(dāng)呼吸速率變得不規(guī)則時(shí)，可能有更多的特定情緒，如憤怒[25]。

可以看出，通過身體生理數(shù)據(jù)可以更加客觀、深刻地洞察真實(shí)的學(xué)習(xí)狀態(tài)，特別是已有研究發(fā)現(xiàn)了如喚醒度、同步性、傳染性、規(guī)律性等諸多具身性的學(xué)習(xí)體征指標(biāo)，為完善學(xué)習(xí)評(píng)價(jià)方法提供了重要的客觀性中介變量。

五、多模態(tài)學(xué)習(xí)分析的過程模型

過程模型對(duì)于大數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)研究具有重要的規(guī)范性與指導(dǎo)性價(jià)值。構(gòu)建多模態(tài)學(xué)習(xí)分析的過程模型可以幫助研究人員理解多模態(tài)支持的學(xué)習(xí)分析過程，形成多模態(tài)學(xué)習(xí)分析的操作規(guī)范。田陽等人在研究混合學(xué)習(xí)時(shí)，將多模態(tài)交互分析的主要流程總結(jié)為數(shù)據(jù)采集、加工與篩選、數(shù)據(jù)分析、數(shù)據(jù)表征可視化、反饋調(diào)節(jié)等[26]。Di Mitri等人提出了一個(gè)操作化的過程模型，主要包括傳感器捕獲多模態(tài)數(shù)據(jù)、人工注釋標(biāo)簽、機(jī)器學(xué)習(xí)預(yù)測結(jié)果、反饋解釋與行為轉(zhuǎn)變四個(gè)步驟[9]，突出了人工注釋與反饋、機(jī)器建模與預(yù)測的協(xié)同機(jī)制。然而，這些過程模型并未突出多模態(tài)學(xué)習(xí)分析與主流學(xué)習(xí)分析的不同之處。Shankar等人在考察多個(gè)典型多模態(tài)學(xué)習(xí)分析應(yīng)用場景之后，利用數(shù)據(jù)價(jià)值鏈（Data Value Chain，DVC）概念抽象出了多模態(tài)學(xué)習(xí)數(shù)據(jù)的過程模型[27]，具有普適性價(jià)值，如圖2所示。

DVC過程模型將多模態(tài)學(xué)習(xí)分析分為三個(gè)步驟：數(shù)據(jù)發(fā)現(xiàn)旨在完成不同數(shù)據(jù)的收集、注釋、清理、同步、轉(zhuǎn)換和結(jié)構(gòu)化工作;數(shù)據(jù)融合旨在根據(jù)關(guān)鍵特征來集成兩個(gè)及以上的數(shù)據(jù)集，生成基于多模態(tài)數(shù)據(jù)的連貫性、對(duì)齊性與互證性的證據(jù)圖景;數(shù)據(jù)利用旨在分析與應(yīng)用融合之后的多模態(tài)數(shù)據(jù)集，可視化分析報(bào)告并突出顯示關(guān)鍵發(fā)現(xiàn)以做出決策。從具體數(shù)據(jù)處理活動(dòng)來說，多模態(tài)學(xué)習(xí)分析過程包括：（1）數(shù)據(jù)收集與注釋。需要技術(shù)人員共同部署數(shù)據(jù)收集平臺(tái)、工具與傳感器，從數(shù)字化空間、物理學(xué)習(xí)空間等情境中收集多種模態(tài)的數(shù)據(jù)，如身體姿態(tài)、腦電信號(hào)、討論文本、行為日志等。生成數(shù)據(jù)集后，對(duì)需要再處理的屬性進(jìn)行人工注釋，將不同模態(tài)（如信號(hào)、動(dòng)作、文本）轉(zhuǎn)換為數(shù)字化表征，因?yàn)樵嫉亩嗄B(tài)數(shù)據(jù)通常非常嘈雜，具有大量屬性和低語義值。（2）數(shù)據(jù)準(zhǔn)備。在同一參考時(shí)間下同步來自不同平臺(tái)、不同模態(tài)的數(shù)據(jù)集，并根據(jù)需要?jiǎng)h除無效數(shù)據(jù)（如刪除缺失值）或特定的數(shù)據(jù)屬性。（3）數(shù)據(jù)組織。對(duì)數(shù)據(jù)集進(jìn)行轉(zhuǎn)換、結(jié)構(gòu)化和匯總，并從中提取選擇性特征，這需要教師或研究人員提供相應(yīng)的數(shù)據(jù)匯總和轉(zhuǎn)換方法，如根據(jù)平均成績來生成每個(gè)小組的觀察結(jié)果。（4）數(shù)據(jù)整合。根據(jù)一定的規(guī)則與關(guān)系對(duì)多個(gè)數(shù)據(jù)集進(jìn)行重新融合，如基于多個(gè)數(shù)據(jù)屬性的時(shí)間戳，將人工觀測結(jié)果與生理信號(hào)、數(shù)字化日志集成起來，其中，多模態(tài)數(shù)據(jù)融合的方法主要有數(shù)據(jù)級(jí)、特征級(jí)與決策級(jí)。（5）數(shù)據(jù)分析。使用從基本的統(tǒng)計(jì)函數(shù)到高級(jí)的機(jī)器學(xué)習(xí)算法對(duì)數(shù)據(jù)集進(jìn)行探索分析，包括對(duì)多模態(tài)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析、相關(guān)性分析、聚類和預(yù)測分析、模式識(shí)別等。（6）可視化。將分析結(jié)果以可視化的方式呈現(xiàn)給教師，需要選擇表現(xiàn)力較強(qiáng)的表征方式，或者直接顯示在相應(yīng)的學(xué)習(xí)儀表盤中，以作出下一步的教學(xué)決策。（7）決策。對(duì)可視化分析結(jié)果中突出的關(guān)鍵發(fā)現(xiàn)進(jìn)行合理解釋，結(jié)合學(xué)習(xí)理論、任務(wù)情境提出改進(jìn)策略，或者直接將分析結(jié)果用于學(xué)習(xí)者建模，以更好地適應(yīng)學(xué)習(xí)者的個(gè)性化學(xué)習(xí)需求。

六、多模態(tài)學(xué)習(xí)分析的研究趨勢(shì)

近年來，多模態(tài)學(xué)習(xí)分析研究聚焦建構(gòu)性教學(xué)法而生成了一些獨(dú)特的基礎(chǔ)性結(jié)論。例如：非言語互動(dòng)特征（同步性、個(gè)體責(zé)任感、平等性和個(gè)體動(dòng)態(tài)性）可以有效地解釋協(xié)作問題解決的復(fù)雜學(xué)習(xí)過程[28];基于口頭表達(dá)質(zhì)量數(shù)據(jù)語料庫，Chen等人驗(yàn)證了使用多模態(tài)評(píng)估公共演講技能的可行性[29];從程序員的身體動(dòng)作和手勢(shì)可以評(píng)估協(xié)作編程的質(zhì)量[30]。另一方面，多模態(tài)學(xué)習(xí)分析通常還能以師生可觀察、可操作的具體特征（如姿勢(shì)、手勢(shì)、音量、頭歪、俯身、眼神、表情等）來建模、預(yù)測非可觀察性的潛在表現(xiàn)（如動(dòng)機(jī)、信念、情緒等），有利于克服學(xué)習(xí)分析、教育數(shù)據(jù)挖掘中普遍存在的理解黑箱問題，及時(shí)開展形成性評(píng)估，以不引人注目的透明方式實(shí)時(shí)改進(jìn)課堂教學(xué)、提供學(xué)習(xí)支持。可以說，現(xiàn)有探索性研究說明了多模態(tài)學(xué)習(xí)分析具有與主流學(xué)習(xí)分析不同的重要價(jià)值與現(xiàn)實(shí)意義，但未來還需要推進(jìn)以下幾方面的研究：

（一）利用人工智能推動(dòng)多模態(tài)數(shù)據(jù)處理水平

多模態(tài)數(shù)據(jù)的復(fù)雜性和多樣性是一項(xiàng)重要挑戰(zhàn)。當(dāng)數(shù)據(jù)屬性大量增加時(shí)，研究人員就很難對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)可視化和充分性解釋。Lahat等人描述了多模態(tài)數(shù)據(jù)處理所面對(duì)的一些挑戰(zhàn)，包括數(shù)據(jù)的多維度、不同模態(tài)分辨率、數(shù)據(jù)噪聲、數(shù)據(jù)缺失、數(shù)據(jù)融合和計(jì)算模型的選擇[31]。相比之下，人工智能能夠更有效地處理多模態(tài)數(shù)據(jù)，如智能語音識(shí)別、表情識(shí)別等，可以被用于規(guī)?；幚泶罅繑?shù)據(jù)。因此，多模態(tài)機(jī)器學(xué)習(xí)逐漸成為一個(gè)潛力巨大的研究方向，旨在建立能夠處理和關(guān)聯(lián)多種模態(tài)信息的模型[32]，主要內(nèi)容包括：（1）表征數(shù)據(jù)，學(xué)習(xí)如何利用多模態(tài)的互補(bǔ)性和冗余性來表征和匯集數(shù)據(jù)，數(shù)據(jù)異構(gòu)性使得構(gòu)造這種表征極具挑戰(zhàn)性。例如：語言通常是文字符號(hào)，視頻通常是視覺符號(hào)，生理數(shù)據(jù)通常是信號(hào)，而交流互動(dòng)采用的是社交信號(hào)解釋系統(tǒng)。（2）轉(zhuǎn)換數(shù)據(jù)，模態(tài)之間的關(guān)系往往是開放的或主觀的，需要將數(shù)據(jù)從一種模態(tài)轉(zhuǎn)換到另一種模態(tài)來分析。（3）對(duì)齊數(shù)據(jù)，確定兩種或兩種以上不同模態(tài)屬性之間的直接對(duì)應(yīng)關(guān)系，找出不同模態(tài)之間的關(guān)聯(lián)性。（4）融合數(shù)據(jù)，結(jié)合兩個(gè)或更多模態(tài)的信息來執(zhí)行預(yù)測。（5）協(xié)同學(xué)習(xí)，在不同模態(tài)、數(shù)據(jù)表征及其預(yù)測模型之間實(shí)現(xiàn)泛在遷移，當(dāng)其中一種模態(tài)的數(shù)據(jù)有限時(shí)，這一點(diǎn)尤其重要。

（二）借助認(rèn)知帶理論促進(jìn)多模態(tài)數(shù)據(jù)的融合

從不同模態(tài)中提取的學(xué)習(xí)痕跡必然具有不同的特征，在時(shí)間粒度、確定程度上都可能有很大的差異，數(shù)據(jù)融合以及融合后的數(shù)據(jù)意義成為多模態(tài)學(xué)習(xí)分析中的核心問題，而認(rèn)知帶理論具有很好的指導(dǎo)價(jià)值。按照Newell的認(rèn)知帶理論（Bands of Cognition），人類行為可以在生物帶、認(rèn)知帶、理性帶和社會(huì)帶等多個(gè)時(shí)間尺度上得到解釋，每個(gè)帶可以捕獲三個(gè)數(shù)量級(jí)的數(shù)據(jù)，從100微秒（10-4秒）開始，一直到數(shù)月（107秒）[33]。具體來說，生物帶集中在微秒（10-4～10-2）的時(shí)間尺度上，認(rèn)知帶集中在秒（10-1～10）的時(shí)間尺度上，理性帶集中在數(shù)分鐘（102～104）的時(shí)間尺度上，社會(huì)帶集中在數(shù)周（105～107）的時(shí)間尺度上。該理論描述了每個(gè)時(shí)間尺度如何與不同的意圖層面、不同類型的活動(dòng)相關(guān)聯(lián)。例如：生物帶發(fā)生的行為有時(shí)被解釋為無意識(shí)、非故意的，而任務(wù)完成通常與理性帶的人類行為相關(guān)。Anderson討論了構(gòu)建跨越認(rèn)知帶的融合策略，并提出了三個(gè)重要論點(diǎn)[34]：分解論（Decomposition Thesis）認(rèn)為，發(fā)生在較長時(shí)間尺度上的行為可以分解為發(fā)生在較短時(shí)間尺度上的行為集合;關(guān)聯(lián)論（Relevance Thesis） 認(rèn)為，通過改進(jìn)較短時(shí)間尺度的行為可以提高較長時(shí)間尺度上的教學(xué)效果，這意味著短時(shí)間尺度行為對(duì)于診斷更長時(shí)間尺度的認(rèn)知發(fā)展具有重要意義;建模論（Modeling Thesis）認(rèn)為，通過對(duì)短時(shí)間尺度行為的微細(xì)顆粒數(shù)據(jù)進(jìn)行建模可以直接影響教學(xué)反饋，如使用生物帶上的微秒級(jí)信號(hào)可以獲得更高層次的結(jié)果，所以建模論為短時(shí)間尺度行為和長時(shí)間尺度預(yù)期結(jié)果之間的銜接提供了基礎(chǔ)。借助傳感器、人類觀察、計(jì)算機(jī)，現(xiàn)在幾乎能獲得所有認(rèn)知帶上的生理數(shù)據(jù)、認(rèn)知數(shù)據(jù)、理性數(shù)據(jù)與社會(huì)數(shù)據(jù)，而每個(gè)模態(tài)均為其他模態(tài)提供了一定的信息，各模態(tài)之間存在著一定的關(guān)聯(lián)性[35]。有效融合這些來自不同時(shí)間尺度的多模態(tài)數(shù)據(jù)、構(gòu)建不同認(rèn)知帶之間的橋梁、挖掘不同模態(tài)之間的關(guān)鍵聯(lián)系，對(duì)于多模態(tài)學(xué)習(xí)分析研究具有重要的基礎(chǔ)性意義。

（三）多模態(tài)學(xué)習(xí)分析更依賴學(xué)習(xí)理論的指導(dǎo)

如今研究者所能抓取的大數(shù)據(jù)達(dá)到前所未有的規(guī)模，但是足夠的大數(shù)據(jù)對(duì)于理解學(xué)習(xí)的復(fù)雜性還是不夠的。事實(shí)上，數(shù)據(jù)量如此之大，數(shù)據(jù)模態(tài)如此多樣，以至于很多無關(guān)或影響很小的特征或變量匯集起來可能會(huì)產(chǎn)生較大的影響，那什么才算是有意義的教育發(fā)現(xiàn)？理論此時(shí)就扮演著十分重要的角色，譬如公認(rèn)的心理構(gòu)念，可以指引研究者思考關(guān)于模型中應(yīng)包含哪些有意義的變量，有哪些噪音、亞組或協(xié)變量，關(guān)注哪些研究結(jié)果，解釋結(jié)果時(shí)使用什么框架，如何使結(jié)果具有泛化性和遷移性。多模態(tài)學(xué)習(xí)分析必須有一定的理論或構(gòu)念作為基礎(chǔ)，否則將跌入沙塵暴式實(shí)證論（Dustbowl Empiricism）[36]，即側(cè)重于經(jīng)驗(yàn)觀察的偶然積累和研究變量之間的關(guān)系，而不關(guān)注實(shí)際邏輯或真實(shí)意義。另一方面，如何讓多模態(tài)學(xué)習(xí)分析結(jié)論具有干預(yù)可行性也很重要。例如：性別、年齡等屬性經(jīng)常被用于建模預(yù)測，但問題是它們多數(shù)時(shí)候難以解釋相關(guān)結(jié)果發(fā)生的機(jī)制，或者很難指導(dǎo)人們?cè)O(shè)計(jì)相關(guān)干預(yù)措施。Van Der Maas和Wagenmakers發(fā)現(xiàn)，棋手的移動(dòng)速度可以預(yù)測出棋手的專業(yè)水平[37]，但告訴新手更快地移動(dòng)并不能直接幫助其改進(jìn)棋藝。因此，為了確保特征變量與分析結(jié)論具有教育性意義與操作化價(jià)值，已有理論（或構(gòu)念）是一個(gè)關(guān)鍵橋梁，可以指導(dǎo)研究者應(yīng)該關(guān)注哪些學(xué)習(xí)變量并為解釋結(jié)果提供框架。

多模態(tài)學(xué)習(xí)分析側(cè)重以貼近人類本真的交流方式來研究學(xué)習(xí)，完善了大數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)科學(xué)研究范式，為評(píng)估建構(gòu)性的高階學(xué)習(xí)提供了更全面、精準(zhǔn)、客觀的方法。然而，目前自動(dòng)收集與處理不同模態(tài)數(shù)據(jù)的方法和工具仍然不成熟，可用于表征學(xué)習(xí)的顯著性特征還沒有形成體系，不同學(xué)習(xí)場景中如何有效地組合不同模態(tài)數(shù)據(jù)還缺乏基礎(chǔ)性探索。不過，在新一輪人工智能、教育評(píng)價(jià)改革的推動(dòng)下，多模態(tài)學(xué)習(xí)分析勢(shì)必會(huì)成為驅(qū)動(dòng)學(xué)習(xí)科學(xué)發(fā)展的重要力量。

[參考文獻(xiàn)]

[1] KIRSCHNER P A， SWELLER J， CLARK R E. Why minimal guidance during instruction does not work： an analysis of the failure of constructivist， discovery， problem-based， experiential， and inquiry-based teaching[J]. Educational psychologist，2006，41（2）：75-86.

[2] 中共中央國務(wù)院.《深化新時(shí)代教育評(píng)價(jià)改革總體方案》[EB/OL].（2020-10-13）[2020-11-05].http：//www.xinhuanet.com/politics/zywj/2020-10/13/c_1126601551.htm.

[3] WORSLEY M. Multimodal learning analytics： enabling the future of learning through multimodal data analysis and interfaces[C]// Proceedings of the 14th ACM International Conference on Multimodal Interaction. New York：ACM，2012：353-356.

[4] WORSLEY M. Multimodal learning analytics' past， present， and， potential futures[C]//Proceedings of the Second Multimodal Learning Analytics Across （Physical and Digital） Spaces. Sidney，Australia： CEUR，2018： 1-16.

[5] MARTINEZ-MALDONADO R，ECHEVERRIA V，SANTOS O C，et al. Physical learning analytics： a multimodal perspective[C]//Proceedings of the 8th International Conference on Learning Analytics & Knowledge. New York：ACM，2018：375-379.

[6] 鄭旭東，馬云飛.腦電圖技術(shù)的教育研究圖景與趨勢(shì)——基于2000—2019年國際文獻(xiàn)的知識(shí)圖譜分析[J].現(xiàn)代遠(yuǎn)程教育研究，2020，32（4）：36-47.

[7] SCHNEIDER J，BRNER D，ROSMALEN P V，et al. Augmenting the senses： a review on sensor-based learning support[J]. Sensors，2015，15（2）：4097-4133.

[8] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長點(diǎn)[J].電化教育研究，2020，41（5）：27-32，51.

[9] DI MITRI D，SCHNEIDER J，SPECHT M，et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning，2018，34（4）： 338-349.

[10] RACA M， DILLENBOURG P. Holistic analysis of the classroom[C]//Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics Workshop and Grand Challenge. New York：ACM，2014：13-20.

[11] BOTHA S， AFRICA E K. The effect of a perceptual-motor intervention on the relationship between motor proficiency and letter knowledge[J]. Early childhood education journal，2020，48（6）：727-737.

[12] ECHEVERRA V， AVENDAO A， CHILUIZA K， et al. Presentation skills estimation based on video and kinect data analysis[C]//Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics. New York：ACM，2014：53-60.

[13] HUSSAIN M. S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[M]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， PANOURGIA K.ITS 2012： intelligent tutoring systems. Berlin， Heidelberg： Springer， 2012：78-83.

[14] EKATERINA K， DAVID L， STEPHAN M J. Wearable sensors in medical education： supporting hand hygiene training with a forearm EMG[C]//Proceedings of the 12th International Conference on Wearable Micro and Nano Technologies for Personalized Health. Amsterdam：IOS Press，2015：286-291.

[15] OVIATT S， COHEN A， HANG K， et al. Multimodal learning analytics data resources： description of math data corpus and coded documents[C]// Proceedings of the 15th ACM on International Conference on Multimodal Interaction. New York：ACM，2013：1-47.

[16] LU O， ANDRADE A， ALBERTO R， et al. Using a cluster-based regime-switching dynamic model to understand embodied mathematical learning[C]//Proceedings of the 10th International Conference on Learning Analytics and Knowledge. New York：ACM，2020： 496-501.

[17] ALYUZ N， OKUR E， OKTAY E， et al. Semi-supervised model personalization for improved detection of learner's emotional engagement[C]//Proceedings of the 18th ACM International Conference on Multimodal Interaction. New York：ACM，2016：100-107.

[18] CHIKERSA P， TOMPROU M， KIM Y J， et al. Deep structures of collaboration： physiological correlates of collective intelligence and group satisfaction[C]// Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing. New York：ACM，2017：873-888.

[19] SPIKOL D， RUFFALDI E， DABISIAS G， et al. Supervised machine learning in multimodal learning analytics for estimating success in project-based learning[J]. Journal of computer assisted learning，2018，34（4）：366-377.

[20] LI X，YOUNES R， BAIRAKTAROVA D， et al. Predicting spatial visualization problems' difficulty level from eye-tracking data[J]. Sensors，2020，20（7）：1949-1964.

[21] D'MELLO S K， OLNEY A M， BLANCHARD N， et al. Multimodal capture of teacher-student interactions for automated dialogic analysis in live classrooms[C]// Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. New York：ACM，2015：557-566.

[22] DIKKER S， WAN L， DAVIDESCO L， et al. Brain-to-brain synchrony tracks real-world dynamic group interactions in the classroom[J]. Current biology，2017，27（9）：1375-1380.

[23] ALZOUBI O， D'MELLO S K， CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals[J]. IEEE transactions on affective computing，2012，3（3）：298-310.

[24] GRAFSGAARD J F， WIGGINS J B， BOYER K E， et al. Predicting learning and affect from multimodal data streams in task-oriented tutorial dialogue[C]// Proceedings of the 7th International Conference on Educational Data Mining. London，UK： CEUR，2014：122-129.

[25] SOLEYMANI M J， LICHTENAUER T P， PANTIC M. A multimodal database for affect recognition and implicit tagging[J].IEEE transactions on affective computing，2012，3（1）：42-55.

[26] 田陽，陳鵬，黃榮懷，曾海軍.面向混合學(xué)習(xí)的多模態(tài)交互分析機(jī)制及優(yōu)化策略[J].電化教育研究，2019，40（9）：67-74.

[27] SHANKAR S K，? RUIZ-CALLEJA A， SERRANO-IGLESIAS S， et al. A data value chain to model the processing of multimodal evidence in authentic learning scenarios[C]// Proceedings of CEUR Workshop LASI Spain. Vigo，Spain： CEUR，2019：71-83.

[28] CUKUROVA M， LUCKIN R， MILLAN E， et al. The NISPI framework： analysing collaborative problem-solving from students' physical interactions[J]. Computers & education，2018（116）： 93-109.

[29] CHEN L， FENG G， JOE J， et al. Towards automated assessment of public speaking skills using multimodal cues[C]//Proceedings of the 16th International Conference on Multimodal Interaction. New York：ACM，2014：200-203.

[30] GROVER S， BIENKOWSKI M， TAMRAKAR A， et al. Multimodal analytics to study collaborative problem solving in pair programming[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York：ACM，2016：516-517.

[31] LAHAT D， ADAL T， JUTTEN C. Multimodal data fusion： an overview of methods， challenges， and prospects[J]. Proceedings of the IEEE，2015，103（9）：1449-1477.

[32] BALTRUAITIS T， AHUJA C， MORENCY L P. Multimodal machine learning： a survey and taxonomy[J]. IEEE transactions on pattern analysis and machine intelligence，2019，41（2）：423-443.

[33] NEWELL A. Unified theories of cognition[M]. Cambridge，MA：Harvard University Press，1994.

[34] ANDERSON J. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science，2002，26（1）：85-112.

[35] 王萍.人工智能在教育視頻中的應(yīng)用分析與設(shè)計(jì)[J].電化教育研究，2020，41（3）：93-100，121.

[36] WISE A F， SHAFFER D W. Why theory matters more than ever in the age of big data[J]. Journal of learning analytics，2015，2（2）： 5-13.

[37] VAN DER MAAS H L， WAGENMAKERS E J. A psychometric analysis of chess expertise[J]. The American journal of psychology， 2005，118（1）：29-60.