劉清堂 李小娟 謝魁 ?，r倍 鄭欣欣

[摘? ?要] 多模態(tài)學(xué)習(xí)分析（MMLA）是智能化探究有效學(xué)習(xí)發(fā)生機(jī)理的關(guān)鍵技術(shù)。研究對國外37篇實(shí)證文獻(xiàn)的任務(wù)情境設(shè)計(jì)和MMLA的四個過程進(jìn)行系統(tǒng)綜述，梳理出多模態(tài)數(shù)據(jù)集的生成場域多以發(fā)展認(rèn)知為主，少關(guān)注情感價值的培育;學(xué)習(xí)標(biāo)簽注釋以計(jì)算科學(xué)指導(dǎo)為主，缺乏不同時間尺度行為關(guān)聯(lián)的理論指導(dǎo);預(yù)測結(jié)果多關(guān)注學(xué)習(xí)行為表現(xiàn)，輕心智發(fā)展的過程解釋;多模態(tài)數(shù)據(jù)分析反饋聚焦個性化學(xué)習(xí)支持，忽視決策支持。未來實(shí)證研究發(fā)展應(yīng)聚焦有效學(xué)習(xí)與情感體驗(yàn)，融合計(jì)算科學(xué)和認(rèn)知帶理論，協(xié)同人機(jī)優(yōu)勢提供反饋支持，開展MMLA系統(tǒng)開發(fā)者和利益相關(guān)者的深度對話，不斷迭代設(shè)計(jì)與優(yōu)化分析系統(tǒng)和應(yīng)用模式，有效促進(jìn)“人工智能+教育”的發(fā)展。

[關(guān)鍵詞] 多模態(tài)學(xué)習(xí)分析; 學(xué)習(xí)行為; 學(xué)習(xí)標(biāo)簽; 正式學(xué)習(xí)情境; 實(shí)證研究

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 劉清堂（1969—），男，湖北仙桃人。教授，博士，主要從事數(shù)據(jù)挖掘、學(xué)習(xí)分析與知識服務(wù)方面的研究。E-mail：liuqtang@mail.ccnu.edu.cn。李小娟為通訊作者， E-mail：lixiaojuan2019@htu.edu.cn。

一、引? ?言

2020年10月國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》文件指出，基于教與學(xué)全過程數(shù)據(jù)，利用人工智能、大數(shù)據(jù)等現(xiàn)代技術(shù)創(chuàng)新評價工具和完善評價結(jié)果運(yùn)用，綜合發(fā)揮導(dǎo)向、鑒定、診斷、調(diào)控和改進(jìn)作用，以此加強(qiáng)教師教育評價能力的建設(shè)[1]。學(xué)習(xí)分析作為“以學(xué)習(xí)為中心”的過程性評價和有效學(xué)習(xí)規(guī)律揭示的關(guān)鍵技術(shù)[2]，其實(shí)證應(yīng)用是實(shí)現(xiàn)教師以學(xué)定教、以評定教、因材施教的有效途徑。同時，學(xué)習(xí)是一個與環(huán)境復(fù)雜交互的認(rèn)知過程[3]，學(xué)習(xí)過程的內(nèi)隱性、交互性和多維性特征，決定了僅僅借助傳統(tǒng)單一模態(tài)數(shù)據(jù)分析不能準(zhǔn)確揭示學(xué)習(xí)發(fā)生的認(rèn)知機(jī)理及個體內(nèi)在心理變化過程[4]。隨著智能數(shù)據(jù)采集工具在教育教學(xué)中的廣泛應(yīng)用，使多模態(tài)學(xué)習(xí)行為數(shù)據(jù)采集更加高效，加之社會網(wǎng)絡(luò)分析、機(jī)器學(xué)習(xí)等學(xué)習(xí)分析方法可深度挖掘孤立存在于特定學(xué)習(xí)情景中的具有相對固定和可知語義價值的數(shù)據(jù)[5]，有助于理解和解釋復(fù)雜的學(xué)習(xí)現(xiàn)象[6]、解釋學(xué)習(xí)交互行為規(guī)律。近年來，隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、傳感器等技術(shù)和“計(jì)算教育學(xué)”交叉學(xué)科的發(fā)展，數(shù)據(jù)密集型科學(xué)研究新范式開始崛起，教與學(xué)全過程的多模態(tài)學(xué)習(xí)分析實(shí)證應(yīng)用逐漸成為當(dāng)前研究的熱點(diǎn)[7]。因此，有必要對目前多模態(tài)學(xué)習(xí)分析實(shí)證研究的進(jìn)展情況進(jìn)行系統(tǒng)的梳理，進(jìn)而為多模態(tài)學(xué)習(xí)分析提供階段性研究材料。

二、研究背景與問題

（一）多模態(tài)學(xué)習(xí)分析

多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics，簡稱MMLA）是指利用多種分析技術(shù)對學(xué)習(xí)情境中產(chǎn)生的多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行同一化整合處理和建模分析，來預(yù)測學(xué)習(xí)行為風(fēng)險，為教師和學(xué)生提供教學(xué)支持和導(dǎo)學(xué)服務(wù)，以實(shí)現(xiàn)優(yōu)化學(xué)習(xí)過程和解釋學(xué)習(xí)機(jī)理的目的[8]。MMLA概念自2012年被Stefan Scherer等首次提出后，針對教育領(lǐng)域的復(fù)雜特性，利用學(xué)習(xí)分析技術(shù)對描述學(xué)習(xí)者的對話、策略和行為等多模態(tài)數(shù)據(jù)進(jìn)行分析，可以更好地解釋和預(yù)測學(xué)生的學(xué)習(xí)軌跡、學(xué)習(xí)結(jié)果、學(xué)習(xí)表現(xiàn)、學(xué)習(xí)參與度等。具體分析過程如Daniele Di Mitri等提出的多模態(tài)學(xué)習(xí)分析過程模型，該模型是由“P”引導(dǎo)學(xué)習(xí)行為分析過程，生成的“R”結(jié)果來解釋學(xué)習(xí)分析的結(jié)果，具體包括四個流程，即傳感器采集表征多模態(tài)數(shù)據(jù)（P1-R1）、人工/自動標(biāo)注解釋學(xué)習(xí)標(biāo)簽（P2-R2）、機(jī)器學(xué)習(xí)/統(tǒng)計(jì)分析建模預(yù)測學(xué)習(xí)狀態(tài)（P3-R3）、結(jié)合具體任務(wù)反饋解釋促成行為改變（P4-R4）[9]。因此，MMLA的核心本質(zhì)是通過建立學(xué)習(xí)情境中學(xué)習(xí)者多源異構(gòu)行為與內(nèi)在學(xué)習(xí)潛能（學(xué)習(xí)標(biāo)簽）間的橋梁關(guān)系，用智能技術(shù)支持學(xué)習(xí)者主動調(diào)整行為以增強(qiáng)學(xué)習(xí)體驗(yàn)的方法。

（二）學(xué)習(xí)行為和學(xué)習(xí)標(biāo)簽

學(xué)習(xí)是由身體在生理上、感知上與環(huán)境耦合或交互的自組織涌現(xiàn)而生成的復(fù)雜交互過程，是個體基于經(jīng)驗(yàn)而引起行為或行為潛能相對一致的變化過程[10]。在教育領(lǐng)域，多模態(tài)話語分析可通過分析教學(xué)活動/事件中教師和學(xué)生的言語模態(tài)（聲音、文字）和非言語模態(tài)（面部表情、目光注視、身體姿態(tài)、手勢、社會距離、環(huán)境）之間的互補(bǔ)、強(qiáng)化關(guān)系，來解釋和推測學(xué)習(xí)者學(xué)習(xí)目標(biāo)達(dá)成狀態(tài)和教師教學(xué)目標(biāo)實(shí)現(xiàn)程度[11]。在機(jī)器學(xué)習(xí)領(lǐng)域，為更好地建立和解釋外顯行為和潛在行為屬性間的對應(yīng)關(guān)系，將學(xué)習(xí)行為定義為輸入空間中的可被觀察或測量的學(xué)習(xí)者個體的運(yùn)動行為、生理行為及與環(huán)境交互行為，潛在行為屬性定義為假設(shè)空間中用來解釋行為數(shù)據(jù)意義的學(xué)習(xí)標(biāo)簽，是傳感器不可直接觀察到的，但可用數(shù)據(jù)表征的、由人類專家注釋完成的、可解釋學(xué)習(xí)者意義形成過程的與學(xué)習(xí)相關(guān)的屬性結(jié)構(gòu)，如情緒、動機(jī)或認(rèn)知[12]。本研究將學(xué)習(xí)行為界定為實(shí)現(xiàn)學(xué)習(xí)目標(biāo)過程中產(chǎn)生的言語和非言語行為，由可觀測到的言語模態(tài)和非言語模態(tài)數(shù)據(jù)表征。將學(xué)習(xí)標(biāo)簽界定為由人類專家依據(jù)教與學(xué)理論的推理，分配到特定時間間隔的多模態(tài)數(shù)據(jù)的認(rèn)知、情感、社交等屬性狀態(tài)值。

（三）正式學(xué)習(xí)情境中的多模態(tài)學(xué)習(xí)分析實(shí)證研究

正式學(xué)習(xí)情境是指有組織的、預(yù)先設(shè)定時間和地點(diǎn)的、有明確學(xué)習(xí)目標(biāo)的學(xué)習(xí)形式，例如校園中的課堂教學(xué)、在線協(xié)作學(xué)習(xí)等，是由一個或一系列學(xué)習(xí)事件或?qū)W習(xí)活動組成的[13]。在正式學(xué)習(xí)情境中產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)具有多源異構(gòu)性、多層關(guān)聯(lián)性、多維互補(bǔ)性等特征[14]。一方面，收集和分析用以解釋學(xué)習(xí)機(jī)理的多模態(tài)數(shù)據(jù)是極具挑戰(zhàn)的，會受到任務(wù)情境設(shè)計(jì)影響[15]。任務(wù)情境設(shè)計(jì)通?；谝欢ǖ慕膛c學(xué)理論，確定具體學(xué)習(xí)任務(wù)目標(biāo)及匹配的教學(xué)法[16]。實(shí)現(xiàn)學(xué)習(xí)任務(wù)目標(biāo)的教學(xué)法不同，學(xué)習(xí)者產(chǎn)生的一系列活動行為和評價目標(biāo)實(shí)現(xiàn)的關(guān)鍵行為特征也不同。另一方面，侵入式數(shù)據(jù)采集設(shè)備和基于多傳感器集成的MMLA系統(tǒng)的應(yīng)用不僅會影響學(xué)生的學(xué)習(xí)體驗(yàn)和知識掌握，還會影響學(xué)生動機(jī)、創(chuàng)造力和社會情感等[17]。

因此，如何準(zhǔn)確無干擾地獲取解釋學(xué)習(xí)機(jī)理的關(guān)鍵行為數(shù)據(jù)，以探究MMLA支持和優(yōu)化教與學(xué)過程的理論與實(shí)踐成為本研究的核心問題。在嚴(yán)格依照文獻(xiàn)系統(tǒng)綜述方法的基礎(chǔ)上，以MMLA應(yīng)用實(shí)證研究為對象，探討以下主要問題：

（1）MMLA實(shí)證研究的正式學(xué)習(xí)情境有哪些？在不同學(xué)習(xí)情境中開展實(shí)證研究的理論基礎(chǔ)、任務(wù)目標(biāo)和適配的教學(xué)法有哪些差異？

（2）MMLA從傳感器捕獲到多模態(tài)數(shù)據(jù)、注釋到學(xué)習(xí)標(biāo)簽、分析方法到預(yù)測和反饋解釋到行為改變四個過程在不同學(xué)習(xí)情境中有何差異？

三、研究設(shè)計(jì)

（一）多模態(tài)學(xué)習(xí)分析實(shí)證研究框架

多模態(tài)學(xué)習(xí)分析是一個過程模型，為多模態(tài)學(xué)習(xí)分析相關(guān)實(shí)證研究提供指導(dǎo)框架。實(shí)證研究是指利用數(shù)據(jù)分析技術(shù)，來分析和確定復(fù)雜情境中要素間的相互關(guān)聯(lián)關(guān)系的研究方法[18]。本研究以Daniele Di Mitri等提出的多模態(tài)學(xué)習(xí)分析過程模型為基礎(chǔ)[9]，構(gòu)建了多模態(tài)學(xué)習(xí)分析實(shí)證研究框架，具體如圖1所示，并將其作為系統(tǒng)綜述的框架。

（二）文獻(xiàn)檢索和篩選納入

研究依據(jù)Khan等提出的五步系統(tǒng)綜述法：（1）提出綜述問題;（2）明確綜述樣本;（3）評價樣本質(zhì)量;（4）總結(jié)實(shí)證發(fā)現(xiàn);（5）解釋研究結(jié)果。第一步，已在引言部分提及。第二步，明確綜述樣本，兩位研究者先將檢索主題設(shè)為關(guān)鍵術(shù)語：“multimodal learning analytics”、“multi-modal learning analytics”，分別在“Web of Science”“Science Direct”“Springer Link”數(shù)據(jù)庫中進(jìn)行檢索。然后，為確保綜述信度，遵循Webster & Watson檢索指南，對綜述樣本進(jìn)行了二次人工檢索。由于多模態(tài)學(xué)習(xí)分析是學(xué)習(xí)分析領(lǐng)域中的新興研究方向[19]，該概念的首次提出時間為2012年，因此，時間跨度設(shè)置為2012年至2021年3月。第三步，評價樣本質(zhì)量。依據(jù)綜述問題、納入標(biāo)準(zhǔn)甄別和評估文獻(xiàn)。具體納入標(biāo)準(zhǔn)包括：（1）教育領(lǐng)域?qū)嵶C研究;（2）正式學(xué)習(xí)場景;（3）使用多模態(tài)學(xué)習(xí)分析方法;（4）采用2種及以上模態(tài)數(shù)據(jù);（5）非綜述和概念性或理論性文獻(xiàn)。初次檢索得到135篇，剔除不符合納入標(biāo)準(zhǔn)和重復(fù)文獻(xiàn)，最終納入編碼的文獻(xiàn)為37篇。

（三）文獻(xiàn)編碼

由兩位研究者共編10篇（27%）檢驗(yàn)編碼體系的有效性，討論編制其他文獻(xiàn)，編碼一致性kappa值為0.82。依據(jù)多模態(tài)學(xué)習(xí)分析框架（如圖1所示）梳理文獻(xiàn)，具體編碼結(jié)果見表1，學(xué)習(xí)情境分五種情境，其中在線自主學(xué)習(xí)情境占32%，在線協(xié)作學(xué)習(xí)情境占24%，面對面協(xié)作學(xué)習(xí)情境占22%，面對面自主學(xué)習(xí)情境占14%，混合學(xué)習(xí)情境占8%，說明多模態(tài)學(xué)習(xí)分析技術(shù)可支持復(fù)雜學(xué)習(xí)情境的過程分析。

四、研究結(jié)果

（一）不同學(xué)習(xí)情境的任務(wù)情境分析

在不同學(xué)習(xí)情境中，多模態(tài)學(xué)習(xí)分析的任務(wù)情境設(shè)計(jì)需要選擇與任務(wù)目標(biāo)實(shí)現(xiàn)相匹配的理論基礎(chǔ)和教學(xué)法，學(xué)習(xí)分析前的情境任務(wù)設(shè)計(jì)決定了行為過程分析的數(shù)據(jù)集。

1. 自主學(xué)習(xí)情境

在線自主學(xué)習(xí)情境中，以具身認(rèn)知、自我調(diào)節(jié)和情感價值理論構(gòu)建知識習(xí)得的外部和內(nèi)部條件，通過自我調(diào)節(jié)學(xué)習(xí)策略不斷促進(jìn)知識的內(nèi)化，為知識習(xí)得效果的驗(yàn)證生成系列動作行為、認(rèn)知注意、情感狀態(tài)的數(shù)據(jù)集。比如Abelardo Pardo等基于具身認(rèn)知理論利用手部動作模擬控制捕食者—被捕食者生態(tài)系統(tǒng)，獲取目光注視和手勢動作序列，探究游戲化學(xué)習(xí)對學(xué)習(xí)績效的促進(jìn)作用[28]。面對面自主學(xué)習(xí)情境中，多以實(shí)現(xiàn)知識習(xí)得和提高協(xié)作溝通能力的目標(biāo)，采用項(xiàng)目式教學(xué)來促進(jìn)個體認(rèn)知發(fā)展和行為改變。比如Teppo Jakonen通過分析學(xué)生上半身的運(yùn)動狀態(tài)和注視點(diǎn)的轉(zhuǎn)變來判斷學(xué)生與學(xué)習(xí)材料的交互狀態(tài)及所關(guān)注的信息[21]。

2. 協(xié)作學(xué)習(xí)情境

在線協(xié)作學(xué)習(xí)情境中，以社會交互和認(rèn)知學(xué)習(xí)理論指導(dǎo)知識習(xí)得和能力發(fā)展目標(biāo)的實(shí)現(xiàn)過程，利用項(xiàng)目式學(xué)習(xí)、問題驅(qū)動和游戲化學(xué)習(xí)方式激勵學(xué)習(xí)者有效參與協(xié)作學(xué)習(xí)活動。比如，Ufuk Balaman等對在線協(xié)作活動視頻中的互動行為（開始點(diǎn)、偏移點(diǎn)）進(jìn)行標(biāo)注，從知識協(xié)同建構(gòu)的多層次、多維及層疊過程中探究學(xué)習(xí)者的認(rèn)知進(jìn)程[22]。面對面協(xié)作學(xué)習(xí)情境中，以社會交互、社會認(rèn)知、認(rèn)知神經(jīng)科學(xué)、行為聯(lián)合理論、具身認(rèn)知等多學(xué)科理論構(gòu)建問題解決能力和元認(rèn)知能力等高階目標(biāo)的理論框架，開展項(xiàng)目式教學(xué)促進(jìn)知識的遷移和應(yīng)用。比如Mutlu Cukurova等利用計(jì)算科學(xué)的方法分析學(xué)生互動過程中頭部和手勢等非語言指標(biāo)的關(guān)鍵參數(shù)（同步化、平等及個體貢獻(xiàn)率），解釋學(xué)生協(xié)作問題解決能力[23]。

3. 混合學(xué)習(xí)情境

混合學(xué)習(xí)情境中，因?qū)W習(xí)行為數(shù)據(jù)的時空關(guān)聯(lián)性，多用自我調(diào)節(jié)學(xué)習(xí)理論和知識建構(gòu)理論支持的教學(xué)法，側(cè)重于對課程內(nèi)容和實(shí)驗(yàn)內(nèi)容知識的掌握。比如Wilson Chango等對理論課、實(shí)踐課、Moodle在線平臺和期末測試四種不同的來源數(shù)據(jù)進(jìn)行多模態(tài)數(shù)據(jù)融合分析來預(yù)測大學(xué)生的最終學(xué)業(yè)成績[24]。

（二）MMLA分析過程在不同情境中的差異

1. P1-R1：從數(shù)據(jù)采集到多模態(tài)數(shù)據(jù)表征

從學(xué)習(xí)情境與采集工具、多模態(tài)數(shù)據(jù)對應(yīng)關(guān)系來看（如圖2、圖3所示），多用非侵入性工具采集言語和非言語模態(tài)組合數(shù)據(jù)，且手勢、身體動作和面部表情等非言語模態(tài)數(shù)據(jù)多通過視頻標(biāo)注獲得。但因不同學(xué)習(xí)情境的支持技術(shù)的不同，采集工具和學(xué)習(xí)行為表征模態(tài)存在差異。與面對面自主學(xué)習(xí)相比，在線自主學(xué)習(xí)情境中，除攝像頭、傳感器和系統(tǒng)平臺工具采集手勢、身體動作、面部表情、眼動和系統(tǒng)記錄的點(diǎn)擊流日志等多模態(tài)數(shù)據(jù)外，眼動儀器也是獲取眼動數(shù)據(jù)的主要工具。與在線協(xié)作學(xué)習(xí)相比，面對面協(xié)作學(xué)習(xí)情境中，采集工具比較豐富，既用攝像機(jī)、系統(tǒng)平臺、傳感器、眼動儀、問卷等來收集協(xié)作互動過程中面部表情、眼動、文本及日志數(shù)據(jù)[25]，又有多向麥克風(fēng)自動采集互動語音信息，且面對面協(xié)作中更偏重對語音和手勢、身體姿態(tài)等非言語行為數(shù)據(jù)的收集?；旌蠈W(xué)習(xí)情境中，攝像頭通常用來收集課堂數(shù)據(jù)，系統(tǒng)平臺收集線上數(shù)據(jù)，問卷調(diào)查收集情感態(tài)度類數(shù)據(jù)。

2. P2-R2：從注釋方式到關(guān)聯(lián)學(xué)習(xí)標(biāo)簽

該過程是用學(xué)習(xí)任務(wù)完成過程中可解釋的多模態(tài)行為數(shù)據(jù)證據(jù)，機(jī)器或人類專家結(jié)合學(xué)習(xí)理論給學(xué)習(xí)者不可觀測的學(xué)習(xí)狀態(tài)分配適當(dāng)?shù)膶W(xué)習(xí)標(biāo)簽，以建立外顯行為特征與內(nèi)隱行為潛能間的關(guān)聯(lián)關(guān)系。從多模態(tài)數(shù)據(jù)與學(xué)習(xí)標(biāo)簽間的映射關(guān)系圖4可知，視頻常用來注釋手勢、身體動作和面都表情來表征學(xué)習(xí)者的情感、認(rèn)知及社交狀態(tài)[20];語音的言語和韻律特征解讀學(xué)生知識習(xí)得績效;眼動追蹤用來研究注意力和瞳孔反應(yīng)，解釋任務(wù)表現(xiàn)難易程度;腦電圖、心率等生理數(shù)據(jù)多用來研究深度心理過程，如長時記憶、短時記憶和認(rèn)知負(fù)荷;面部表情了解學(xué)習(xí)者的情感狀態(tài)，如無聊、開心、難過和參與度。在線學(xué)習(xí)情境中多用自動注釋情感狀態(tài)和認(rèn)知狀態(tài)，比如，利用眼動儀和面部識別軟件獲取學(xué)習(xí)者自我調(diào)節(jié)學(xué)習(xí)過程中的目光數(shù)據(jù)和面部表情數(shù)據(jù)，定義興趣點(diǎn)范圍及判斷規(guī)則和離散情感狀態(tài)，自動分析學(xué)習(xí)者的注意力和情感反應(yīng)[26]。但在注釋在線協(xié)作學(xué)習(xí)的社交狀態(tài)標(biāo)簽時多用人工專家標(biāo)注的方法[22]。面對面協(xié)作學(xué)習(xí)情境中，人工標(biāo)注話語、手勢來解釋社交狀態(tài)和技能發(fā)展，半自動化標(biāo)注身體動作、手勢解釋注意力。面對面自主學(xué)習(xí)情境重點(diǎn)關(guān)注對情感狀態(tài)和活動績效的注釋，主要采用自動加人工專家標(biāo)注的方法?；旌蠈W(xué)習(xí)情境中重點(diǎn)關(guān)注對社交狀態(tài)和情感狀態(tài)的標(biāo)注，注釋的方式以人工專家為主。

3. P3-R3：從分析方法到預(yù)測結(jié)果

該過程分析的目的是將由人工專家驅(qū)動的注釋過程（P2）自動化，通過預(yù)處理采樣數(shù)據(jù)、后期處理選擇相關(guān)屬性、相關(guān)性診斷確定屬性預(yù)測學(xué)生實(shí)現(xiàn)某一任務(wù)的學(xué)習(xí)表現(xiàn)、學(xué)習(xí)軌跡、學(xué)習(xí)參與度和學(xué)習(xí)結(jié)果，為學(xué)習(xí)者提供促進(jìn)行為改變的適應(yīng)性反饋。研究表明預(yù)測某一學(xué)習(xí)狀態(tài)時所采用的學(xué)習(xí)分析方法和數(shù)據(jù)融合方法差異不大。比如，Wilson Chango等認(rèn)為常用的多模態(tài)數(shù)據(jù)融合方法包括特征級融合、決策級融合和混合融合，針對離散型數(shù)據(jù)的REPTree分類算法的預(yù)測準(zhǔn)確率最佳[24]。但具體使用的學(xué)習(xí)分析方法因數(shù)據(jù)分析支持的情境不同略有差異（如圖5、圖6所示）。差異表現(xiàn)在，在線學(xué)習(xí)情境中更側(cè)重用關(guān)系挖掘、預(yù)測的方法，比如，用隱馬爾可夫和決策樹等來解釋學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。面對面和混合學(xué)習(xí)情境中，多用人工萃取數(shù)據(jù)進(jìn)行可視化分析以發(fā)現(xiàn)學(xué)習(xí)軌跡和解釋學(xué)習(xí)表現(xiàn)。但關(guān)系挖掘、預(yù)測、聚類方法近幾年也比較常用[7]，比如，有研究將15名小學(xué)生具身學(xué)習(xí)過程中的手勢和目光數(shù)據(jù)聚類表征為5類動作序列，揭示不同動作序列與學(xué)習(xí)理解水平和學(xué)習(xí)結(jié)果的相關(guān)關(guān)系[20]。

4. P4-R4：從反饋解釋到行為改變

任務(wù)目標(biāo)類型和利益相關(guān)者決定反饋依據(jù)和行為支持[27]。以關(guān)注知識習(xí)得為主的自主學(xué)習(xí)情境中，反饋解釋多以行為表現(xiàn)和學(xué)習(xí)結(jié)果為依據(jù)，為學(xué)習(xí)者提供適應(yīng)性和個性化的支持型反饋，比如，為理解教學(xué)內(nèi)容存在困難的學(xué)生提供腳手架。在知識習(xí)得、問題解決和元認(rèn)知發(fā)展為主的協(xié)作學(xué)習(xí)情境中，多以行為表現(xiàn)為反饋依據(jù)，為教師和學(xué)生提供支持，但面對面協(xié)作情境大多未報告反饋依據(jù)和行為支持;比如，Daniel Spikol等分析了學(xué)習(xí)者、環(huán)境和學(xué)習(xí)活動中的多模態(tài)數(shù)據(jù)來預(yù)測學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀態(tài)，給予及時的學(xué)習(xí)支持[28]。由于混合學(xué)習(xí)中數(shù)據(jù)的多源異構(gòu)性特征，基本沒有報告多模態(tài)數(shù)據(jù)分析對行為改變的支持。

五、研究結(jié)論

（一）多模態(tài)數(shù)據(jù)集的生成場域多以發(fā)展認(rèn)知為主，少關(guān)注情感價值的培育

任務(wù)情境設(shè)計(jì)的理論基礎(chǔ)用以描述任務(wù)目標(biāo)，教學(xué)法決定了學(xué)習(xí)者實(shí)現(xiàn)任務(wù)目標(biāo)所參與的一系列活動行為，這一觀點(diǎn)與Daniele Di Mitri等選擇適切理論和教學(xué)法促進(jìn)學(xué)習(xí)者有效達(dá)成學(xué)習(xí)任務(wù)目標(biāo)，為有效學(xué)習(xí)機(jī)理的揭示生成多源數(shù)據(jù)集的觀點(diǎn)一致[9]。實(shí)證研究主要基于具身認(rèn)知、社會認(rèn)知及知識建構(gòu)等理論，采用自我調(diào)節(jié)學(xué)習(xí)、項(xiàng)目式學(xué)習(xí)、CSCL等教學(xué)法，收集學(xué)習(xí)者知識習(xí)得和能力發(fā)展的過程性數(shù)據(jù)。但對學(xué)習(xí)者情感發(fā)展的外顯行為和內(nèi)在潛能間的關(guān)聯(lián)關(guān)系性研究還不太多，且主要以心流和情感價值理論為框架收集數(shù)據(jù)。

（二）學(xué)習(xí)標(biāo)簽注釋以計(jì)算科學(xué)指導(dǎo)為主，缺乏不同時間尺度行為關(guān)聯(lián)的理論指導(dǎo)

實(shí)證分析過程多是基于計(jì)算科學(xué)理論，通過系統(tǒng)揭示多模態(tài)數(shù)據(jù)表征、融合、建模、預(yù)測和反饋的規(guī)范操作。已有MMLA框架關(guān)注焦點(diǎn)在數(shù)據(jù)的處理和解釋上，缺少從理論層面指導(dǎo)如何融合分析不同時間尺度的多模態(tài)數(shù)據(jù)。這一結(jié)論與認(rèn)知科學(xué)家和哲學(xué)家Shaun Gallagher[29]觀點(diǎn)一致，他認(rèn)為心智計(jì)算科學(xué)理論難以充分解釋認(rèn)知和經(jīng)驗(yàn)的本質(zhì)，需要融合認(rèn)知過程哲學(xué)的視角，關(guān)注認(rèn)知主體參與不同時間尺度學(xué)習(xí)活動時的行為過程、情感過程和社交過程。

（三）預(yù)測結(jié)果多關(guān)注學(xué)習(xí)行為表現(xiàn)，輕對心智發(fā)展的反饋支持

人工萃取和關(guān)系挖掘是常用預(yù)測學(xué)習(xí)表現(xiàn)的方法，但心智發(fā)展是認(rèn)知個體自組織演化的復(fù)雜性動力系統(tǒng)，且促進(jìn)學(xué)習(xí)者心智發(fā)展的任務(wù)多是高度情境化的。盡管Paulo Blikstein等認(rèn)為利用先進(jìn)計(jì)算方法分析任務(wù)完成過程的多模態(tài)數(shù)據(jù)有助于更好解釋任務(wù)表現(xiàn)和心智發(fā)展[6]。但大多實(shí)證文獻(xiàn)中通常以時間為因子，依據(jù)因變量形成聚合式多模態(tài)數(shù)據(jù)，采用深度學(xué)習(xí)的方法來預(yù)測學(xué)習(xí)績效、學(xué)習(xí)結(jié)果和學(xué)習(xí)軌跡。另外，研究表明學(xué)習(xí)者認(rèn)為系統(tǒng)反饋是有效且有意義的，在真實(shí)學(xué)習(xí)情境中更易感知反饋信息進(jìn)而改變學(xué)習(xí)行為，這一結(jié)論與Omid Noroozi等[30]的觀點(diǎn)一致，但利用多模態(tài)數(shù)據(jù)提供反饋的實(shí)證研究還不多。

（四）多模態(tài)數(shù)據(jù)分析反饋聚焦個性化學(xué)習(xí)支持，忽視決策支持

實(shí)證研究聚焦為學(xué)習(xí)者提供個性化學(xué)習(xí)支持，且高清攝像頭、系統(tǒng)/智能平臺（基于移動設(shè)備的）和傳感器等非侵入性設(shè)備是不同學(xué)習(xí)情境中常用的數(shù)據(jù)采集工具。比如常由視頻標(biāo)注而獲取的手勢、身體動作和面部表情等，以及系統(tǒng)平臺自動記錄的互動日志和傳感器收集到的語音韻律，這些學(xué)習(xí)者言語或非言語的行為數(shù)據(jù)與其專業(yè)知識記憶、概念理解、成果作品質(zhì)量、認(rèn)知負(fù)荷、動機(jī)以及學(xué)習(xí)中學(xué)生的心智和情感狀態(tài)有關(guān)。尤其在混合式學(xué)習(xí)情境中，個性化的學(xué)習(xí)支持更需要融合性、集成性的采集工具來捕獲具有時空特性的學(xué)習(xí)過程數(shù)據(jù)，現(xiàn)有研究表明基于智能移動手機(jī)的多模態(tài)學(xué)習(xí)分析系統(tǒng)被認(rèn)為是最佳捕獲學(xué)習(xí)者真實(shí)的認(rèn)知、情感和社交行為數(shù)據(jù)的工具[31]。但基于多模態(tài)數(shù)據(jù)分析結(jié)果為管理者提供決策支持的研究較少，這一點(diǎn)與人工智能改進(jìn)教學(xué)、管理的應(yīng)用導(dǎo)向不符。

六、研究展望

（一）聚焦有效學(xué)習(xí)與情感體驗(yàn)的價值取向

教學(xué)的核心本質(zhì)是促進(jìn)學(xué)習(xí)者有效學(xué)習(xí)的發(fā)生，而認(rèn)知發(fā)展、人際交互及伴隨的情感體驗(yàn)是有效學(xué)習(xí)發(fā)生的必要條件[32]。多模態(tài)學(xué)習(xí)行為分析實(shí)證研究的核心價值取向應(yīng)是圍繞學(xué)習(xí)機(jī)理，聚焦有效學(xué)習(xí)和情感體驗(yàn)，以人機(jī)協(xié)同的方式構(gòu)建多模態(tài)感知、互動分析和話語分析技術(shù)支持的結(jié)構(gòu)關(guān)系[19]，對學(xué)習(xí)者在跨時空的學(xué)習(xí)情境中產(chǎn)生的體征數(shù)據(jù)和學(xué)習(xí)過程行為數(shù)據(jù)進(jìn)行全樣本分析，來揭示和解釋認(rèn)知、情感和社交等學(xué)習(xí)潛能變化的機(jī)理和規(guī)律。

（二）融合計(jì)算科學(xué)與認(rèn)知哲學(xué)的理論指導(dǎo)

個體認(rèn)知過程的心理表征不是純粹命題式的，可以以身體的知覺表征作為原初表征，在基底層為認(rèn)知與行動提供因果說明，他提出用知覺的統(tǒng)一性理論來解決發(fā)生在物理世界的外顯行為表征與內(nèi)在心理世界的行為潛能間關(guān)聯(lián)的問題[33]。另外，Allen Newell提出關(guān)于人類行為解釋的認(rèn)知帶理論[34]，John R. Anderson在其基礎(chǔ)上從行為的分解、關(guān)聯(lián)、建模三個層面構(gòu)建的跨越認(rèn)知帶的融合策略[35]，這些觀點(diǎn)為解決多模態(tài)學(xué)習(xí)行為分析中，多源異構(gòu)數(shù)據(jù)在時間粒度和確定程度上的差異特征融合和意義解釋的問題提供了理論指導(dǎo)。

（三）協(xié)同人類專家與機(jī)器提供反饋支持

在正式學(xué)習(xí)情境中，學(xué)習(xí)者更易感知反饋信息，并借助儀表盤呈現(xiàn)的可視化學(xué)習(xí)報告洞悉學(xué)習(xí)狀況，有針對性地調(diào)整學(xué)習(xí)進(jìn)程，開展適應(yīng)性學(xué)習(xí)[36]。但系統(tǒng)采用何種方式提供反饋？反饋發(fā)起者是由誰來執(zhí)行（教師或系統(tǒng)智能代理）？提供多少行為反饋信息不會影響學(xué)生者的獨(dú)立思考？針對以上問題僅憑人類專家或機(jī)器都很難提供有效的反饋能力，機(jī)器學(xué)習(xí)使用面部視頻、系統(tǒng)日志和生理數(shù)據(jù)為學(xué)生提供可行性反饋，人類專家依靠人類智慧和經(jīng)驗(yàn)，借助數(shù)據(jù)分析為學(xué)生提供情感、決策反饋，只有將二者優(yōu)勢結(jié)合，多模態(tài)數(shù)據(jù)分析才能為利益相關(guān)者提供可操作、有價值的支持。

（四）加強(qiáng)多模態(tài)學(xué)習(xí)分析系統(tǒng)開發(fā)者與利益相關(guān)者的深度對話

隨著人工智能技術(shù)教育應(yīng)用的深入，人們越來越重視行為學(xué)習(xí)分析的反饋和支持環(huán)境[37]，以及人的主體性地位的體現(xiàn)，從人本主義的視角，明確哪些數(shù)據(jù)是系統(tǒng)可以自動采集的，哪些數(shù)據(jù)是可通過使用者選擇提供的。在實(shí)踐行動方面，一方面，基于現(xiàn)有學(xué)習(xí)管理系統(tǒng)、網(wǎng)絡(luò)學(xué)習(xí)空間平臺拓展多模態(tài)數(shù)據(jù)采集系統(tǒng)，側(cè)重對課堂教學(xué)視頻或屏幕錄制數(shù)據(jù)自動化分析技術(shù)的研發(fā)，比如，劉清堂等以S-T行為分析系統(tǒng)為理論基礎(chǔ)，融合深度學(xué)習(xí)技術(shù)，提出并驗(yàn)證了課堂教學(xué)行為智能分析技術(shù)[38];另一方面，關(guān)注學(xué)習(xí)過程中的活動或事件，及對促進(jìn)教學(xué)目標(biāo)實(shí)現(xiàn)的關(guān)鍵活動特征的識別技術(shù)，為有效學(xué)習(xí)評價提供技術(shù)支持和過程性數(shù)據(jù)。在未來多模態(tài)學(xué)習(xí)分析的實(shí)證應(yīng)用中，技術(shù)開發(fā)者要與一線教學(xué)實(shí)踐者或利益相關(guān)者加強(qiáng)有效溝通和深度對話，在深刻認(rèn)識理解多模態(tài)數(shù)據(jù)對學(xué)習(xí)行為內(nèi)在意向性解釋的重要意義和倫理規(guī)范使用的基礎(chǔ)上，開展人機(jī)協(xié)同的多模態(tài)學(xué)習(xí)行為分析系統(tǒng)研究，開展基于設(shè)計(jì)的教育實(shí)證研究，不斷迭代完善和優(yōu)化系統(tǒng)功能和應(yīng)用模式，這也是發(fā)展“人工智能+教育”實(shí)踐應(yīng)用的有效路徑。

因綜述側(cè)重于對正式學(xué)習(xí)情境中多模態(tài)學(xué)習(xí)行為數(shù)據(jù)對學(xué)習(xí)改變過程的分析，文獻(xiàn)以教學(xué)實(shí)證應(yīng)用為主，機(jī)器學(xué)習(xí)、人工智能、學(xué)習(xí)科學(xué)及計(jì)算科學(xué)等領(lǐng)域的相關(guān)研究成果并未納入系統(tǒng)分析。所以，在行為建模的方法和預(yù)測算法分析方面的深度不夠，接下來會將相關(guān)領(lǐng)域文獻(xiàn)作進(jìn)一步梳理，為有效學(xué)習(xí)評價提供算法和技術(shù)方面的支持。

[參考文獻(xiàn)]

[1] 中共中央，國務(wù)院. 深化新時代教育評價改革總體方案[EB/OL].（2020-10-13）[2021-05-06]. http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[2] 魏非，閆寒冰，祝智庭. 基于微認(rèn)證的教師信息技術(shù)應(yīng)用能力發(fā)展生態(tài)系統(tǒng)構(gòu)建研究[J]. 電化教育研究， 2017， 38（12）： 92-98.

[3] WONG L. A learner‐centric view of mobile seamless learning[J]. British journal of educational technology， 2012， 43（1）： E19-E23.

[4] GIANNAKOS M， SHARMA K， PAPPAS I-O. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（3）：108-119.

[5] HORVITZ E ， MULLIGAN D . Policy forum. Data， privacy， and the greater good[J]. Science， 2015（7）：235-255.

[6] BLIKSTEIN P. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[7] 田陽，陳鵬，黃榮懷，等. 面向混合學(xué)習(xí)的多模態(tài)交互分析機(jī)制及優(yōu)化策略[J]. 電化教育研究， 2019， 40（9）： 67-74.

[8] SCHERER S， WEIBEL N ， MORENCY L P ， et al. 1st international workshop on multimodal learning analytics extended abstract[C]//Proceedings of the 14th ACM international conference on multimodal interaction. New York： ACM，2012：353-356.

[9] DI MITRI， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[10] CLARK A. An embodied cognitive science[J]. Trends in cognitive sciences， 1999， 3（9）： 345-351.

[11] NORRIS S. Analyzing multimodal interaction： a methodological framework[M]. London， New York： Routledge， 2004： 163-164.

[12] DRAGANSKI B ， GASER C， BUSCH V， et al. Neuroplasticity： changes in grey matter induced by training[J]. Nature， 2004， 427（6972）： 311.

[13] 黃榮懷，陳庚，張進(jìn)寶，等. 關(guān)于技術(shù)促進(jìn)學(xué)習(xí)的五定律[J]. 開放教育研究， 2010（1）： 11-19.

[14] 穆肅，崔萌，黃曉地. 全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法[J]. 現(xiàn)代遠(yuǎn)程教育研究， 2021， 33（1）： 26-37.

[15] BAKER R， OCUMPAUGH J， et al. The oxford handbook of affective computing[M]// Interaction-Based Affect Detection in Educational Software，2015：110-113.

[16] WANG Q， QUEK C-L， HU X. Designing and improving a blended synchronous learning environment： an educational design research[J]. International review of research in open & distributed learning， 2017， 18（3）：99-118.

[17] OVIATT S. Ten opportunities and challenges for advancing student-centered multimodal learning analytics[C]// Proc. of the International Conference on Multimodal Interaction （ICMI'18）. Boulder， CO， USA， 2018：87-94.

[18] 王衛(wèi)華.教育思辨研究與教育實(shí)證研究：從分野到共生[J].教育研究，2019，40（9）：139-148.

[19] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長點(diǎn)[J].電化教育研究，2020，41（5）：27-32，51.

[20] PARDO A， HAN F， ELLIS R-A. Combining university student self-regulated learning indicators and engagement with online learning events to predict academic performance[J]. IEEE transactions on learning technologies， 2017， 10（1）： 82-92.

[21] JAKONEN， TEPPO. Handling knowledge： using classroom materials to construct and interpret information requests[J]. Journal of pragmatics， 2015（89）：100-112.

[22] BALAMAN U， SERT O. The coordination of online L2 interaction and orientations to task interface for epistemic progression[J]. Journal of pragmatics， 2017，2 ：115-129.

[23] CUKUROVA M， LUCKIN R， MILL？譧N E， et al. The NISPI framework： analysing collaborative problem-solving from students' physical interactions[J]. Computers & education， 2018（116）：93-109.

[24] WILSON C， CEREZO R， ROMERO C. Multi-source and multimodal data fusion for predicting academic performance in blended learning university courses[J]. Computers & electrical engineering， 2021（89）：106-119.

[25] EMERSON A， CLOUDE E-B， AZEVEDO R， et al. Multimodal learning analytics for game‐based learning[J]. British journal of educational technology， 2020， 51（5）：1505-1526.

[26] AHN B， HARLEY J. Facial expressions when learning with a Queer History App： application of the control value theory of achievement emotions[J]. British journal of educational technology， 2020， 51（5）： 1563-1576.

[27] PARDO A ， SIEMENS G . Ethical and privacy principles for learning analytics[J]. British journal of educational technology， 2014， 45（3）：438-450.

[28] DANIEL S，EMANUELE R， GIACOMO D， et al. Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning[J]. Journal of computer assisted learning，2018，34（4）：1-12.

[29] GALLAGHER S， ALLEN M. Active inference， enactivism and the hermeneutics of social cognition[J]. Synthese， 2018， 195（6）：2627-2648.

[30] NOROOZI O， IMAN A， SANNA J， et al. Multimodal data to design visual learning analytics for understanding regulation of learning[J]. Computers in human behavior， 2019（100）： 298-304.

[31] NOBLE C， BILLETT S， ARMIT L， et al. "It's yours to take"： generating learner feedback literacy in the workplace[J]. Advances in health sciences education， 2020， 25（1）： 55-74.

[32] LYTLE S-R， KUHL P-K. Social interaction and language acquisition[M]. John Wiley & Sons， Inc. 2017.

[33] SCHELLENBERG S. The unity of perception： content， consciousness， evidence[M].Oxford， UK： Oxford University Press， 2018. 212-213.

[34] NEWELL A. Unified theories of cognition[J]. Journal of cognitive neuroscience， 1991， 3（3）： 301.

[35] ANDERSON J-R. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science， 2002， 26（1）： 85-112.

[36] 董艷，李心怡，鄭婭峰，等. 智能教育應(yīng)用的人機(jī)雙向反饋：機(jī)理、模型與實(shí)施原則[J]. 開放教育研究， 2021， 27（2）： 26-33.

[37] SHARMA K， GIANNAKOS M. Multimodal data capabilities for learning： what can multimodal data tell us about learning？[J]. British journal of educational technology， 2020， 51（5）： 1450-1484.

[38] 劉清堂，何皓怡，吳林靜，等.基于人工智能的課堂教學(xué)行為分析方法及其應(yīng)用[J].中國電化教育，2019（9）：13-21.