[摘? ?要] 多模態(tài)學(xué)習(xí)分析是多模態(tài)交互、學(xué)習(xí)科學(xué)、機(jī)器學(xué)習(xí)等領(lǐng)域交叉形成的一個(gè)新方向，它利用多模態(tài)數(shù)據(jù)對(duì)復(fù)雜環(huán)境下的學(xué)習(xí)行為進(jìn)行分析以優(yōu)化學(xué)習(xí)體驗(yàn)。在空間結(jié)構(gòu)上，多模態(tài)學(xué)習(xí)分析以學(xué)習(xí)機(jī)理為核心，以多模態(tài)交互、多模態(tài)感知、多模態(tài)語(yǔ)義理解為技術(shù)支撐，形成跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析的獨(dú)特體系。在數(shù)據(jù)分類上，多模態(tài)學(xué)習(xí)分析涵蓋學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)，形成以學(xué)習(xí)者為中心的內(nèi)外數(shù)據(jù)鏈相融合的數(shù)據(jù)生態(tài)。在分析模型上，以傳感器捕獲、語(yǔ)義解析、機(jī)器學(xué)習(xí)、反饋解釋為分析過程，以模式識(shí)別、學(xué)習(xí)分類、預(yù)測(cè)、行為變化為分析結(jié)果。未來多模態(tài)學(xué)習(xí)分析在自動(dòng)化數(shù)據(jù)采集、跨空間分析建模、可擴(kuò)展分析工具、學(xué)習(xí)計(jì)算、數(shù)據(jù)隱私保護(hù)等方面還有進(jìn)一步的研究空間。

[關(guān)鍵詞] 多模態(tài)學(xué)習(xí)分析; 多模態(tài)交互; 學(xué)習(xí)科學(xué); 復(fù)雜學(xué)習(xí)環(huán)境; 學(xué)習(xí)行為數(shù)據(jù)

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 牟智佳（1987—），男，山東棲霞人。副教授，博士，主要從事學(xué)習(xí)分析、個(gè)性化學(xué)習(xí)、信息技術(shù)與課程整合等方面的研究。E-mail：ambitionyt@163.com。

一、學(xué)習(xí)分析組織研究的新路向

學(xué)習(xí)分析概念自提出以來，得到全球范圍內(nèi)研究者的廣泛關(guān)注和持續(xù)探索。從學(xué)習(xí)分析研究主題來看，學(xué)習(xí)分析研究已由初期關(guān)注學(xué)習(xí)者的行為、活動(dòng)、互動(dòng)、結(jié)果等外在表現(xiàn)，逐漸轉(zhuǎn)變到關(guān)注學(xué)習(xí)者的情感、認(rèn)知、自我調(diào)控、復(fù)雜問題解決等內(nèi)在學(xué)習(xí)機(jī)理問題。從數(shù)據(jù)采集來源來看，由初期的基于網(wǎng)絡(luò)平臺(tái)和視頻錄制技術(shù)采集的學(xué)習(xí)日志、互動(dòng)文本、學(xué)習(xí)表現(xiàn)等單一模態(tài)數(shù)據(jù)，拓展為基于可穿戴設(shè)備采集的腦電波、心跳、皮電、移動(dòng)位置等多模態(tài)數(shù)據(jù)。各類感知設(shè)備和學(xué)習(xí)生理數(shù)據(jù)的可獲取性作為外部因素推動(dòng)了學(xué)習(xí)分析數(shù)據(jù)集的發(fā)展，而對(duì)學(xué)習(xí)發(fā)生的機(jī)理及學(xué)習(xí)心理變化的教育追問則作為內(nèi)部因素推動(dòng)學(xué)術(shù)群體的持續(xù)探索，此外數(shù)字化學(xué)習(xí)時(shí)代下學(xué)習(xí)數(shù)據(jù)的分布式特征決定了單一模態(tài)數(shù)據(jù)難以準(zhǔn)確揭示學(xué)習(xí)規(guī)律，以上三方面的內(nèi)外動(dòng)力促使學(xué)習(xí)分析研究催生了新的研究方向：多模態(tài)學(xué)習(xí)分析。該方向通過采集和整合與學(xué)習(xí)者相關(guān)的多維數(shù)據(jù)，解釋和發(fā)現(xiàn)內(nèi)在學(xué)習(xí)過程、特征與變化，有助于進(jìn)一步改善學(xué)習(xí)體驗(yàn)，這與學(xué)習(xí)分析的宗旨一脈相承。同時(shí)，基于高維數(shù)據(jù)集進(jìn)行多模態(tài)學(xué)習(xí)分析，為發(fā)掘新的學(xué)習(xí)理論提供了可能性路徑，是學(xué)習(xí)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域新的研究路向。

二、多模態(tài)學(xué)習(xí)分析的興起與發(fā)展

（一）多模態(tài)學(xué)習(xí)研究的興起及成因

多模態(tài)是多種感官的融合，近二十年來功能語(yǔ)言學(xué)、會(huì)話分析、社會(huì)符號(hào)學(xué)等學(xué)科領(lǐng)域都對(duì)其進(jìn)行了研究探索，經(jīng)過發(fā)展已演變?yōu)橐环N統(tǒng)籌化的理論[1]。人工智能和機(jī)器人技術(shù)的發(fā)展進(jìn)一步催生了多模態(tài)交互，它是機(jī)器人與人之間通過文字、語(yǔ)音、動(dòng)作等進(jìn)行的一種交互方式。多模態(tài)交互研究主要探討不同的模態(tài)之間如何相互作用以及如何通過互補(bǔ)來傳遞和強(qiáng)化內(nèi)容與意義。在學(xué)習(xí)情境中，使用多模態(tài)數(shù)據(jù)進(jìn)行教育實(shí)驗(yàn)的探索可以追溯到20世紀(jì)90年代初，Ambady和Rosenthal發(fā)現(xiàn)，通過觀察大學(xué)生交互的“薄片”可以預(yù)測(cè)學(xué)生的期末表現(xiàn)，即通過短的視頻片段分析他們的身體和非語(yǔ)言行為[2]。這些早期發(fā)現(xiàn)為一種新的研究假設(shè)鋪平了道路，即利用多種數(shù)據(jù)源和社交信號(hào)處理推斷認(rèn)知和社交過程的可能性。

近年來，各類可穿戴傳感器技術(shù)、物聯(lián)網(wǎng)技術(shù)的發(fā)展和大數(shù)據(jù)計(jì)算能力的提升為多模態(tài)研究提供了必要的技術(shù)支撐。多模態(tài)學(xué)習(xí)研究的興起除了技術(shù)推動(dòng)的作用之外，還起源于對(duì)教育發(fā)展規(guī)律的持續(xù)探索，多模態(tài)與教育分析有著天然的契合度：（1）多模態(tài)方法更符合人類交流的本性。人類交流過程中對(duì)多種形態(tài)的使用較為豐富，且這些形態(tài)形成互補(bǔ)[3]。在人類交流過程中，通常會(huì)使用多種形態(tài)來表達(dá)他們的意圖和情緒，例如面部表情、聲調(diào)、肢體動(dòng)作等。而在教育傳播過程中，教師的授課以及師生之間的互動(dòng)也是通過多種形態(tài)進(jìn)行表達(dá)。（2）跨物理和數(shù)字世界的建模正成為一種日益增長(zhǎng)的需求。將物理空間和數(shù)字化空間中的學(xué)習(xí)交互聯(lián)系起來，對(duì)于分析學(xué)習(xí)機(jī)理和意義創(chuàng)造具有重要價(jià)值?？纱┐髯粉櫰骺梢允占锢韺W(xué)習(xí)空間中學(xué)習(xí)者的言語(yǔ)、肢體行為和手勢(shì)等交互操作，這些數(shù)據(jù)可以與網(wǎng)絡(luò)學(xué)習(xí)中的日志數(shù)據(jù)、檔案信息數(shù)據(jù)相整合。學(xué)習(xí)活動(dòng)與流程是分布式的，學(xué)習(xí)管理系統(tǒng)中發(fā)生的內(nèi)容交互及數(shù)據(jù)只占學(xué)習(xí)活動(dòng)中的一小部分，并不是整個(gè)學(xué)習(xí)過程。通過整合多模態(tài)數(shù)據(jù)可以使學(xué)習(xí)過程的追蹤和學(xué)習(xí)分析更完整。通過以上分析可以看出，時(shí)代的變遷、技術(shù)的深入發(fā)展以及研究者對(duì)教育求真的探索，促使多模態(tài)學(xué)習(xí)分析逐步形成獨(dú)特的學(xué)術(shù)共同體，推動(dòng)教育研究從單模態(tài)走向多模態(tài)。

（二）多模態(tài)學(xué)習(xí)分析組織及其研究

1. 多模態(tài)學(xué)習(xí)分析概念與目標(biāo)取向

多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics）概念最早是由美國(guó)南加州大學(xué)創(chuàng)新技術(shù)學(xué)院的Stefan Scherer和Louis-Philippe Morency、西北大學(xué)的Marcelo Worsley等于2012年在第十四屆《多模態(tài)交互國(guó)際會(huì)議》上正式提出并發(fā)表[4]。它是三個(gè)概念的交叉點(diǎn)：多模態(tài)教學(xué)與學(xué)習(xí)、多模態(tài)數(shù)據(jù)、計(jì)算機(jī)支持的分析，本質(zhì)上它利用非傳統(tǒng)和傳統(tǒng)數(shù)據(jù)形式在三個(gè)概念之間所形成的三角關(guān)系來描述或模擬復(fù)雜學(xué)習(xí)環(huán)境中的學(xué)生學(xué)習(xí)[5]。因此，多模態(tài)學(xué)習(xí)分析是一個(gè)橫跨學(xué)習(xí)科學(xué)和機(jī)器學(xué)習(xí)的研究領(lǐng)域，能夠?yàn)閺?fù)雜學(xué)習(xí)行為和學(xué)習(xí)理論之間搭建橋梁。它利用多模數(shù)據(jù)捕獲和信號(hào)處理技術(shù)研究復(fù)雜學(xué)習(xí)環(huán)境中的學(xué)習(xí)[6]。多模態(tài)學(xué)習(xí)分析的目標(biāo)是通過收集多種形式的數(shù)據(jù)，將復(fù)雜的學(xué)習(xí)行為與學(xué)習(xí)理論和學(xué)習(xí)策略聯(lián)系起來，以跟蹤學(xué)習(xí)體驗(yàn)[7]。在研究取向上，多模態(tài)學(xué)習(xí)分析側(cè)重對(duì)情境學(xué)習(xí)活動(dòng)中自然、豐富的交互進(jìn)行分析，包括演講、寫作、對(duì)象操作、工具使用、制品搭建、非語(yǔ)言交互（手勢(shì)、面部表情、注視）等。

2. 歷屆多模態(tài)學(xué)習(xí)分析工作坊議題進(jìn)展

Stefan Scherer等在2012年發(fā)起了第一屆多模態(tài)學(xué)習(xí)分析工作坊，并在“多模態(tài)交互國(guó)際會(huì)議”上連續(xù)舉辦四屆，之后依托其他國(guó)際會(huì)議繼續(xù)舉辦。首屆工作坊主要探討多模態(tài)學(xué)習(xí)分析的發(fā)展前景與應(yīng)用價(jià)值。該研究領(lǐng)域?qū)⒍嗄B(tài)分析技術(shù)與學(xué)習(xí)科學(xué)結(jié)合起來，并促使研究者能夠更好地理解學(xué)生的學(xué)習(xí)，以創(chuàng)造更自然、豐富的學(xué)習(xí)界面。第二屆工作坊目標(biāo)，一是聚集既有豐富教學(xué)經(jīng)驗(yàn)又有嚴(yán)格技術(shù)要求的人員，開發(fā)和傳播分析多模態(tài)學(xué)習(xí)數(shù)據(jù)的新技術(shù);二是開發(fā)新的學(xué)習(xí)分析技術(shù)以更好地適應(yīng)智能手機(jī)、平板電腦等現(xiàn)代化計(jì)算設(shè)備的多模態(tài)接口。第三屆工作坊集結(jié)了計(jì)算機(jī)科學(xué)、學(xué)習(xí)科學(xué)、學(xué)習(xí)技術(shù)和數(shù)據(jù)科學(xué)等領(lǐng)域?qū)＜?，包含一次研討?huì)和兩項(xiàng)分會(huì)（數(shù)據(jù)驅(qū)動(dòng)的巨大挑戰(zhàn)），其中研討會(huì)要求演講者集中討論學(xué)習(xí)信號(hào)的多模態(tài)分析過程中不同研究和技術(shù)方法的優(yōu)點(diǎn)和缺點(diǎn)，包含四項(xiàng)議題：不同形式多模數(shù)據(jù)融合的理論和概念思考、通過語(yǔ)音分析確定學(xué)習(xí)練習(xí)過程中的融洽程度、真實(shí)課堂中的視頻分析、復(fù)雜學(xué)習(xí)環(huán)境下的多模態(tài)分析作用。分會(huì)研究問題包括通過計(jì)算機(jī)自動(dòng)預(yù)測(cè)哪些數(shù)學(xué)問題能夠被正確解決、如何利用多模態(tài)技術(shù)評(píng)估演講質(zhì)量以及演講者行為等[8]。第四屆工作坊聚焦于通過新技術(shù)捕捉多模態(tài)學(xué)習(xí)數(shù)據(jù)，以及開發(fā)豐富的多模態(tài)學(xué)習(xí)應(yīng)用。包含兩項(xiàng)議題：（1）學(xué)習(xí)環(huán)境的多維捕獲。該挑戰(zhàn)強(qiáng)調(diào)需要開發(fā)用于從非結(jié)構(gòu)化環(huán)境中有效收集數(shù)據(jù)的多模態(tài)工具，雖然在實(shí)驗(yàn)室環(huán)境中可以合理地對(duì)少數(shù)實(shí)驗(yàn)學(xué)生完成多模態(tài)數(shù)據(jù)的采集，但在真實(shí)、日常學(xué)習(xí)環(huán)境中進(jìn)行課堂范圍內(nèi)的多模態(tài)數(shù)據(jù)采集和分析非常具有挑戰(zhàn)性。（2）整合人體運(yùn)動(dòng)的多模態(tài)學(xué)習(xí)應(yīng)用。該挑戰(zhàn)包含尋求軟件和硬件的解決方案、應(yīng)用類似Microsoft Kinect、Leap Motion等低成本運(yùn)動(dòng)傳感器進(jìn)行分析、利用現(xiàn)有軟件應(yīng)用程序進(jìn)行改編以簡(jiǎn)化軟件開發(fā)流程[9]。

通過對(duì)四屆工作坊議題內(nèi)容分析可以看出，多模態(tài)學(xué)習(xí)分析為物理空間和數(shù)字世界中的人、設(shè)備、資源之間所產(chǎn)生的學(xué)習(xí)測(cè)量與評(píng)價(jià)分析提供了新的視角，應(yīng)用多模態(tài)學(xué)習(xí)分析改善學(xué)習(xí)過程、優(yōu)化學(xué)習(xí)體驗(yàn)已成為研究共識(shí)。在研究挑戰(zhàn)上，數(shù)據(jù)源類型、采集技術(shù)與工具、分析方法是需要持續(xù)解決的技術(shù)問題，如何從教育實(shí)驗(yàn)環(huán)境下的個(gè)案分析走向真實(shí)教育場(chǎng)景下的全樣本分析是研究實(shí)踐所面臨的挑戰(zhàn)。

3. 學(xué)習(xí)分析研究協(xié)會(huì)下的多模態(tài)學(xué)習(xí)分析探討

Paulo Blikstein在第三屆“學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議”中提出多模態(tài)學(xué)習(xí)分析，拉開了該組織開始探討多模態(tài)學(xué)習(xí)分析的序幕。之后，Xavier Ochoa等在該組織下發(fā)起了首屆“多模態(tài)學(xué)習(xí)分析數(shù)據(jù)挑戰(zhàn)”工作坊，討論主題包括：易獲取的多模態(tài)數(shù)據(jù)、分享先進(jìn)的分析方法和技術(shù)、描繪多模態(tài)學(xué)習(xí)分析研究現(xiàn)狀、確定新的數(shù)據(jù)集[10]。第二屆工作坊旨在創(chuàng)造共同的研究基礎(chǔ)，以便更好地了解當(dāng)前的研究與實(shí)踐狀況。通過讓參與者提交個(gè)人數(shù)據(jù)集，進(jìn)一步討論哪些是利用多模態(tài)數(shù)據(jù)進(jìn)行設(shè)計(jì)和分析的優(yōu)秀實(shí)踐[11]。通過上述兩個(gè)組織的議題討論可以看出，圍繞同一主題，不同學(xué)科背景的研究者在不同學(xué)術(shù)組織中都進(jìn)行了一定程度的探討，有共性也有差異，后面需要進(jìn)一步破除學(xué)科壁壘，實(shí)現(xiàn)共同對(duì)話與磋商。

三、多模態(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)與數(shù)據(jù)分類

（一）多模態(tài)學(xué)習(xí)分析所形成的多維空間探索

學(xué)習(xí)分析領(lǐng)域早期關(guān)注的重點(diǎn)是分析學(xué)生使用某些數(shù)字化學(xué)習(xí)工具所產(chǎn)生的行為，這種基于計(jì)算機(jī)的學(xué)習(xí)環(huán)境來理解和優(yōu)化學(xué)習(xí)過程的方法存在一定的片面性，現(xiàn)實(shí)世界中還包括其他非計(jì)算機(jī)下的學(xué)習(xí)環(huán)境，包括課堂學(xué)習(xí)、校園學(xué)習(xí)、家庭學(xué)習(xí)等，在這些情境下可以通過物聯(lián)設(shè)備來盡可能追蹤學(xué)習(xí)痕跡以進(jìn)行多模態(tài)分析。Sharon Oviatt提出多模態(tài)學(xué)習(xí)分析所能創(chuàng)造的多維探索空間[12]，如圖1所示。其中左邊表示模態(tài)的分類，包括講話、寫作、手勢(shì)、表達(dá)、注視、身體活動(dòng);上邊表示分析的層級(jí)，包括信號(hào)、活動(dòng)、表征、元認(rèn)知、交互;橫向和縱向雙箭頭交叉表示可以支持開展更加全面、系統(tǒng)、復(fù)雜的學(xué)習(xí)過程分析，而這有助于進(jìn)一步生成新的學(xué)習(xí)理論。

（二）多模態(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)

多模態(tài)學(xué)習(xí)分析是在學(xué)習(xí)分析研究中為探索復(fù)雜的學(xué)習(xí)行為和過程，基于多維數(shù)據(jù)進(jìn)行分析以進(jìn)一步探索學(xué)習(xí)機(jī)理所形成的一個(gè)方向。以往學(xué)習(xí)分析研究側(cè)重搜集學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，通過外在行為推測(cè)學(xué)習(xí)表現(xiàn)，以此得出的研究結(jié)論存在一定局限性，也很難揭示學(xué)習(xí)的內(nèi)在原理及其變化。從對(duì)象結(jié)構(gòu)要素來看，信息化時(shí)代下的學(xué)習(xí)是以學(xué)習(xí)者、各類學(xué)習(xí)終端、多樣化的學(xué)習(xí)資源為基礎(chǔ)要素所構(gòu)成的一種學(xué)習(xí)方式，而多模態(tài)學(xué)習(xí)分析則是對(duì)這三類基礎(chǔ)要素之間的相互聯(lián)結(jié)所形成的一系列行為進(jìn)行立體分析，由此形成一個(gè)空間結(jié)構(gòu)，如圖2所示。其中，學(xué)習(xí)者與計(jì)算機(jī)之間形成多模態(tài)交互，包括文本交互、語(yǔ)音交互、界面交互等;學(xué)習(xí)者與學(xué)習(xí)資源之間通過視頻、圖片、動(dòng)畫等形成多模態(tài)感知;計(jì)算機(jī)與學(xué)習(xí)資源之間通過數(shù)據(jù)語(yǔ)義、知識(shí)語(yǔ)義、自然語(yǔ)言等形成多模態(tài)語(yǔ)義理解。在學(xué)習(xí)空間上，由學(xué)習(xí)者、計(jì)算機(jī)和學(xué)習(xí)資源之間相互聯(lián)結(jié)形成物理空間、網(wǎng)絡(luò)空間和虛擬空間，這三種空間是信息化時(shí)代下支撐學(xué)習(xí)的主要空間形式。因此，多模態(tài)學(xué)習(xí)分析是以學(xué)習(xí)機(jī)理為核心，以多模態(tài)交互、多模態(tài)感知、多模態(tài)語(yǔ)義理解為技術(shù)支撐的結(jié)構(gòu)關(guān)系，以跨學(xué)習(xí)空間為環(huán)境基礎(chǔ)，對(duì)圍繞學(xué)生所產(chǎn)生的學(xué)習(xí)體征數(shù)據(jù)和學(xué)習(xí)行為數(shù)據(jù)進(jìn)行立體分析，以揭示學(xué)習(xí)變化機(jī)理及其規(guī)律。

（三）多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)分類

可穿戴技術(shù)的發(fā)展與成熟使得對(duì)學(xué)習(xí)體征類數(shù)據(jù)的捕獲成為可能，也促使學(xué)習(xí)分析由關(guān)注學(xué)習(xí)顯性行為數(shù)據(jù)分析轉(zhuǎn)向整合學(xué)習(xí)心理數(shù)據(jù)和表現(xiàn)數(shù)據(jù)的分析與建模。學(xué)習(xí)數(shù)據(jù)的采集與分析是多模態(tài)學(xué)習(xí)分析的基礎(chǔ)與關(guān)鍵，對(duì)于揭示復(fù)雜環(huán)境下的學(xué)習(xí)行為和學(xué)習(xí)規(guī)律有直接影響作用?；诙嗄B(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)，從模塊分類視角對(duì)數(shù)據(jù)源進(jìn)行分類，包括學(xué)習(xí)體征數(shù)據(jù)、人機(jī)交互數(shù)據(jù)、學(xué)習(xí)資源數(shù)據(jù)和學(xué)習(xí)情境數(shù)據(jù)，如圖3所示。中間層表示每一部分的數(shù)據(jù)分類，最外層表示數(shù)據(jù)采集的具體對(duì)象，從中間到外層表示數(shù)據(jù)逐步分類、學(xué)習(xí)行為表征的過程。其中，學(xué)習(xí)體征數(shù)據(jù)主要包括肢體行為、頭部行為、生理行為等;人機(jī)交互數(shù)據(jù)包括移動(dòng)界面交互和多通道交互;學(xué)習(xí)情境數(shù)據(jù)包括物理空間、網(wǎng)絡(luò)空間、虛擬現(xiàn)實(shí)等環(huán)境類數(shù)據(jù);學(xué)習(xí)資源數(shù)據(jù)包括結(jié)構(gòu)化資源與非結(jié)構(gòu)化資源在應(yīng)用過程中所產(chǎn)生的多感知和交互性數(shù)據(jù)。需要說明的是，該分類框架只是學(xué)習(xí)數(shù)據(jù)的基本分類，除此之外，還包括由學(xué)習(xí)結(jié)構(gòu)要素之間相互整合所衍生形成的其他數(shù)據(jù)，如學(xué)習(xí)活動(dòng)、學(xué)習(xí)評(píng)價(jià)等，這些數(shù)據(jù)最終將從學(xué)習(xí)內(nèi)容、行為軌跡、學(xué)習(xí)表現(xiàn)等方面通過各類終端進(jìn)行采集和規(guī)整。該基礎(chǔ)數(shù)據(jù)分類為開展多模態(tài)數(shù)據(jù)源搜集提供了參考，需要說明的是，多模態(tài)學(xué)習(xí)分析研究并非以所有數(shù)據(jù)為采集標(biāo)準(zhǔn)，而是以學(xué)習(xí)者及其所在情境為中心，對(duì)所關(guān)聯(lián)及其影響的數(shù)據(jù)進(jìn)行搜集分析。

四、多模態(tài)學(xué)習(xí)分析模型與管道化的分析流程

（一）多模態(tài)學(xué)習(xí)分析模型

當(dāng)前關(guān)于多模態(tài)學(xué)習(xí)分析研究較多集中在課堂學(xué)習(xí)分析、人機(jī)交互與協(xié)作分析、學(xué)習(xí)注意力、可視化等方面，關(guān)于多模態(tài)學(xué)習(xí)分析模型的探討較少，特別是在學(xué)習(xí)過程中如何應(yīng)用多模態(tài)數(shù)據(jù)支持學(xué)習(xí)者，為其提供可操作的反饋和學(xué)習(xí)干預(yù)等方面缺乏相關(guān)研究。為進(jìn)一步厘清學(xué)習(xí)行為、多模態(tài)數(shù)據(jù)、學(xué)習(xí)反饋等主要環(huán)節(jié)之間的關(guān)系，Daniele Mitri等提出了多模態(tài)學(xué)習(xí)分析模型[13]。

該模型包括四個(gè)環(huán)節(jié)轉(zhuǎn)換：（1）從傳感器捕獲到多模態(tài)數(shù)據(jù)：利用傳感器對(duì)學(xué)習(xí)者行為及其環(huán)境數(shù)據(jù)進(jìn)行采集，并轉(zhuǎn)換為多種形式的數(shù)據(jù)流;（2）從注釋到學(xué)習(xí)標(biāo)簽：該過程由專家或?qū)W習(xí)者主導(dǎo)對(duì)數(shù)據(jù)進(jìn)行判斷和注釋，以豐富低語(yǔ)義多模態(tài)數(shù)據(jù);（3）從機(jī)器學(xué)習(xí)到預(yù)測(cè)：該過程利用監(jiān)視機(jī)器學(xué)習(xí)，從觀察到的多模態(tài)數(shù)據(jù)學(xué)習(xí)統(tǒng)計(jì)模型，并基于未觀察的數(shù)據(jù)構(gòu)建生成預(yù)測(cè);（4）從反饋解釋到行為改變：該過程是將分析結(jié)果進(jìn)行反饋解釋以引導(dǎo)學(xué)習(xí)者做出一些新的學(xué)習(xí)行為。該理論模型對(duì)多模態(tài)學(xué)習(xí)分析的主要環(huán)節(jié)、教育價(jià)值轉(zhuǎn)化、注意問題等進(jìn)行了描繪，形成了一個(gè)系統(tǒng)分析框架，這對(duì)于后面開展相關(guān)研究與設(shè)計(jì)具有一定的理論指導(dǎo)意義。

（二）面向多通道的多模態(tài)學(xué)習(xí)分析流程

通過多模態(tài)學(xué)習(xí)分析基礎(chǔ)數(shù)據(jù)的分類可以看出，雖然學(xué)習(xí)分析界在數(shù)據(jù)收集、分析、解釋、互操作等方面作了大量的探索，但這些努力并沒有達(dá)到多模態(tài)數(shù)據(jù)的要求。應(yīng)用多模態(tài)交互方法的研究者面臨著多種挑戰(zhàn)，這些挑戰(zhàn)源于多模態(tài)數(shù)據(jù)的復(fù)雜性。有研究者從工作流視角提出數(shù)據(jù)分析流程，并稱之為多模態(tài)學(xué)習(xí)分析管道[14]，如圖4所示。從區(qū)域模塊來看，該管道包括學(xué)習(xí)任務(wù)模型建立、數(shù)據(jù)生產(chǎn)、研究等部分，其中數(shù)據(jù)生產(chǎn)是主要工作流程，通過儀表盤和智能導(dǎo)師進(jìn)行輸出。從分析流程來看，包括數(shù)據(jù)收集、存儲(chǔ)、標(biāo)注、處理、開采等五個(gè)步驟。管道中有多條路線，研究人員可以在不必每次都創(chuàng)建數(shù)據(jù)分析流程的情況下快速建立多模態(tài)學(xué)習(xí)分析實(shí)驗(yàn)。該研究中提出四種開采策略，包括矯正反饋、預(yù)測(cè)、模式識(shí)別、歷史報(bào)告，針對(duì)不同類型的研究對(duì)象和目的并結(jié)合其他分析工具可以選擇不同的路線，例如對(duì)學(xué)習(xí)者言語(yǔ)和姿態(tài)分析可以選擇A路線;對(duì)學(xué)習(xí)結(jié)果進(jìn)行預(yù)測(cè)分析可以選擇B路線。

五、多模態(tài)學(xué)習(xí)分析的未來研究趨向

多模態(tài)學(xué)習(xí)分析作為一個(gè)跨學(xué)科、跨模態(tài)、跨技術(shù)的新興研究方向，具有宏大的學(xué)術(shù)氣象。它具有自身獨(dú)特的研究體系和方法，是探索學(xué)習(xí)機(jī)理和發(fā)掘新興學(xué)習(xí)理論的可能性路徑，也是探索教育規(guī)律、優(yōu)化學(xué)習(xí)體驗(yàn)的新的學(xué)術(shù)領(lǐng)域。在此，我們結(jié)合已有研究貢獻(xiàn)，從技術(shù)、理論、應(yīng)用、隱私等方面對(duì)多模態(tài)學(xué)習(xí)分析的未來研究趨向進(jìn)行闡述，勾勒其發(fā)展前景，以進(jìn)一步繁榮該研究領(lǐng)域。

（一）開發(fā)面向多模態(tài)數(shù)據(jù)的自動(dòng)化采集裝備與技術(shù)

在數(shù)據(jù)科學(xué)項(xiàng)目中，數(shù)據(jù)采集與規(guī)整占用了大量時(shí)間，既費(fèi)時(shí)又耗力。而多模態(tài)學(xué)習(xí)分析所依仗的高維、多樣化數(shù)據(jù)使得數(shù)據(jù)采集工程變得更加復(fù)雜。以學(xué)習(xí)者為中心的多模數(shù)據(jù)不僅包括學(xué)習(xí)過程中同時(shí)捕獲的各類生理、運(yùn)動(dòng)類狀態(tài)等學(xué)習(xí)橫向數(shù)據(jù)，還包括整個(gè)學(xué)習(xí)過程所積累的軌跡化、序列化等流程類的學(xué)習(xí)縱向數(shù)據(jù)。當(dāng)前，研究者可以通過體感交互設(shè)備、腦電設(shè)備等在實(shí)驗(yàn)室環(huán)境下采集學(xué)習(xí)狀態(tài)數(shù)據(jù)并進(jìn)行分析，這種非自然、試驗(yàn)性、獨(dú)立個(gè)體的研究分析對(duì)于學(xué)習(xí)狀態(tài)的規(guī)律探索存在一定的研究局限。后面如何開發(fā)面向常態(tài)化學(xué)習(xí)環(huán)境、低成本、多感知的自動(dòng)化采集設(shè)備，以及對(duì)數(shù)據(jù)進(jìn)行分類、校驗(yàn)評(píng)估、提取有效信號(hào)的處理技術(shù)，是數(shù)據(jù)采集與處理方向上所要解決的問題。

（二）跨物理空間和數(shù)字空間的多模態(tài)學(xué)習(xí)分析建模

模型是表征系統(tǒng)的典型表達(dá)形式，科學(xué)建模的方法只有在形成、評(píng)價(jià)、支持研究的情境中起作用。對(duì)建模來說，重要的是開發(fā)、修改、操作表征來解決問題、解釋事物，需要整合多種數(shù)學(xué)方法，而非簡(jiǎn)單應(yīng)用單一的解決方法。在復(fù)雜學(xué)習(xí)環(huán)境下，探索多維數(shù)據(jù)與學(xué)習(xí)之間更高階的關(guān)系映射，并進(jìn)行類推以形成系統(tǒng)分析模型是開展多模態(tài)學(xué)習(xí)分析研究的理論基礎(chǔ)。當(dāng)前學(xué)習(xí)空間、學(xué)習(xí)數(shù)據(jù)呈現(xiàn)分布式狀態(tài)，這使得學(xué)習(xí)方式和學(xué)習(xí)行為變得多樣化，需要整合物理和數(shù)字空間的學(xué)習(xí)表現(xiàn)進(jìn)行分析，對(duì)跨空間學(xué)習(xí)過程中的認(rèn)知、情緒、行為等關(guān)系進(jìn)行立體建模，揭示產(chǎn)生有效學(xué)習(xí)的生理信號(hào)與行為變化。

（三）多模態(tài)學(xué)習(xí)分析工具的系統(tǒng)設(shè)計(jì)與教學(xué)應(yīng)用

當(dāng)前學(xué)習(xí)分析領(lǐng)域中所開發(fā)的學(xué)習(xí)分析工具和儀表盤主要集中在對(duì)學(xué)習(xí)活動(dòng)行為、學(xué)習(xí)文本、學(xué)習(xí)社群、學(xué)習(xí)表現(xiàn)等單一模態(tài)數(shù)據(jù)的分析與可視化，這使得學(xué)習(xí)分析結(jié)果停留在對(duì)學(xué)習(xí)時(shí)間、資源使用、社交互動(dòng)、學(xué)習(xí)測(cè)評(píng)等外顯行為的分析上，較少觸及學(xué)習(xí)認(rèn)知、學(xué)習(xí)心理、學(xué)習(xí)規(guī)律等內(nèi)部心理機(jī)制的分析。近年來，多模態(tài)交互、自然語(yǔ)言理解技術(shù)逐步成熟，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)被廣泛應(yīng)用在圖像、視音頻、文本等非結(jié)構(gòu)化數(shù)據(jù)處理中，眾多應(yīng)用程序被高度簡(jiǎn)化，人工智能開放平臺(tái)技術(shù)能力日漸豐富?？梢砸劳鞋F(xiàn)有商業(yè)中的人工智能技術(shù)和成熟算法開發(fā)自動(dòng)化和可擴(kuò)展的多模態(tài)學(xué)習(xí)分析工具，并與當(dāng)下課堂教學(xué)以及網(wǎng)絡(luò)同步課堂等教學(xué)場(chǎng)景相銜接，提升個(gè)性化學(xué)習(xí)感知與學(xué)習(xí)反饋，實(shí)現(xiàn)多模態(tài)學(xué)習(xí)分析到個(gè)性化教學(xué)的轉(zhuǎn)化。

（四）統(tǒng)一學(xué)習(xí)科學(xué)與機(jī)器學(xué)習(xí)領(lǐng)域探索學(xué)習(xí)機(jī)理

多模態(tài)學(xué)習(xí)分析是多模態(tài)交互、信號(hào)處理、學(xué)習(xí)科學(xué)、機(jī)器學(xué)習(xí)等學(xué)科交叉形成的方向，而學(xué)習(xí)科學(xué)與機(jī)器學(xué)習(xí)又是其主要學(xué)科基礎(chǔ)，這兩個(gè)學(xué)科領(lǐng)域都對(duì)多模態(tài)學(xué)習(xí)分析開展獨(dú)立的研究探索。但兩者之間對(duì)于“學(xué)習(xí)”的討論并不一致，一個(gè)是研究學(xué)習(xí)認(rèn)知過程和社會(huì)化過程以產(chǎn)生最有效的學(xué)習(xí)，一個(gè)是研究計(jì)算機(jī)如何模擬和實(shí)現(xiàn)人的學(xué)習(xí)行為，從數(shù)據(jù)中學(xué)習(xí)規(guī)律并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)。而對(duì)學(xué)習(xí)過程的分析既需要來自認(rèn)知神經(jīng)科學(xué)的測(cè)量，也需要基于多模態(tài)數(shù)據(jù)的機(jī)器學(xué)習(xí)分析，兩大學(xué)科領(lǐng)域需要建立統(tǒng)一的學(xué)術(shù)話語(yǔ)體系與共同體，共享學(xué)習(xí)分析成果，共同磋商與探索學(xué)習(xí)內(nèi)在的機(jī)理與變化，為催生新型學(xué)習(xí)理論提供研究基礎(chǔ)。

（五）融合視覺、語(yǔ)音、情感、語(yǔ)義的多模態(tài)學(xué)習(xí)計(jì)算與學(xué)習(xí)狀態(tài)評(píng)估

學(xué)習(xí)計(jì)算是從數(shù)據(jù)分析的視角對(duì)學(xué)習(xí)過程和學(xué)習(xí)結(jié)果進(jìn)行評(píng)估和測(cè)量的一種方式。而多模態(tài)學(xué)習(xí)計(jì)算則通過融合視覺、語(yǔ)音、情感、語(yǔ)義等與學(xué)習(xí)過程相關(guān)的感官信息進(jìn)行機(jī)器學(xué)習(xí)與語(yǔ)義理解，提升計(jì)算機(jī)對(duì)學(xué)習(xí)過程及其行為的感知與認(rèn)知，是教育人工智能發(fā)展的一個(gè)重要趨勢(shì)。當(dāng)前多感知狀態(tài)分析主要包括頭部運(yùn)動(dòng)狀態(tài)和生理信號(hào)狀態(tài)，其中頭部狀態(tài)主要包括面部表情分析、眼動(dòng)分析和言語(yǔ)分析;生理狀態(tài)主要包括大腦、心臟和皮膚等信號(hào)數(shù)據(jù)。在具體模態(tài)分析上，已有研究主要集中使用某一區(qū)域模態(tài)對(duì)學(xué)習(xí)者進(jìn)行分析，后面需要依托多模態(tài)學(xué)習(xí)計(jì)算對(duì)學(xué)習(xí)狀態(tài)進(jìn)行評(píng)估和預(yù)測(cè)，以提高學(xué)習(xí)評(píng)估精準(zhǔn)度。

（六）整合多傳感系統(tǒng)分析提升個(gè)性化學(xué)習(xí)體驗(yàn)

隨著交互界面及交互空間越來越多地應(yīng)用于教室和其他教學(xué)環(huán)境中，學(xué)習(xí)活動(dòng)方式和學(xué)習(xí)體驗(yàn)也發(fā)生了很大變化。來自神經(jīng)科學(xué)強(qiáng)有力的證據(jù)表明，學(xué)習(xí)的任何一個(gè)階段在很大程度上都是同步發(fā)生的，因此，需要對(duì)學(xué)習(xí)過程中的各種感官進(jìn)行分析。例如，通過位置定位信息評(píng)估正式和非正式學(xué)習(xí)環(huán)境中的學(xué)習(xí)進(jìn)度以及探究一種環(huán)境中的學(xué)習(xí)是否能夠類推應(yīng)用到另一種情境中。在社群互動(dòng)上，通過多傳感數(shù)據(jù)可以分析哪種類型的交互及其內(nèi)部關(guān)系能夠產(chǎn)生最有效的學(xué)習(xí)。面向多模態(tài)的多傳感器能夠整合學(xué)生健康狀態(tài)、用戶位置、人機(jī)交互、社群互動(dòng)等個(gè)人信息，幫助我們更好地理解學(xué)習(xí)發(fā)生的過程及其學(xué)習(xí)感受，進(jìn)而改善交互空間與界面設(shè)計(jì)，對(duì)學(xué)習(xí)體驗(yàn)進(jìn)行重構(gòu)，更加注重每個(gè)學(xué)習(xí)者的學(xué)習(xí)習(xí)慣與交互方式，最終提升個(gè)性化學(xué)習(xí)體驗(yàn)。

（七）多模態(tài)學(xué)習(xí)分析數(shù)據(jù)的隱私保護(hù)

多模態(tài)學(xué)習(xí)分析，其中一個(gè)主要目標(biāo)是通過搜集用戶信息來更好地理解學(xué)習(xí)和改善學(xué)習(xí)質(zhì)量。在數(shù)據(jù)信息搜集過程中會(huì)涉及一些隱私和道德問題。多模態(tài)學(xué)習(xí)分析由于能夠搜集到用戶的生理、身體、認(rèn)知等方面的隱私數(shù)據(jù)，隱私保護(hù)問題變得更加突出。哪些數(shù)據(jù)適宜采集、哪些人和機(jī)構(gòu)是數(shù)據(jù)所有者與管理者、健康數(shù)據(jù)保護(hù)、原始隱私保護(hù)等問題是多模態(tài)學(xué)習(xí)分析研究群體所要解決的問題。

六、結(jié)? ?語(yǔ)

在教育研究范式轉(zhuǎn)型的大背景下，多模態(tài)學(xué)習(xí)分析所特有的跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析等獨(dú)特屬性，促使學(xué)習(xí)分析研究由單模態(tài)數(shù)據(jù)的學(xué)習(xí)行為分析走向多模態(tài)數(shù)據(jù)的學(xué)習(xí)機(jī)理分析，形成以學(xué)習(xí)者為中心的內(nèi)外數(shù)據(jù)鏈相融合的數(shù)據(jù)生態(tài)。多模態(tài)學(xué)習(xí)分析在對(duì)復(fù)雜環(huán)境下學(xué)習(xí)特征的推理與揭示、對(duì)學(xué)習(xí)體驗(yàn)的優(yōu)化以及促進(jìn)學(xué)習(xí)者產(chǎn)生最有效學(xué)習(xí)等方面能夠產(chǎn)生新的研究潛力。多模態(tài)學(xué)習(xí)分析研究能夠促使人類對(duì)“學(xué)習(xí)是什么”這一永恒課題形成新的認(rèn)識(shí)與理解，推動(dòng)學(xué)習(xí)分析和學(xué)習(xí)科學(xué)向?qū)W習(xí)真理方向邁進(jìn)一步。

[參考文獻(xiàn)]

[1] JEWITT C， BEZEMER J， HALLORAN K. Introducing multimodality[M]. London： Routledge， 2016.

[2] AMBADY N， ROSENTHAL R. Half a minute： predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness[J]. Journal of personality and social psychology， 1993， 64（3）：431-441.

[3] CALVO R A， DMELLO S， GRATCH J， et al. The Oxford handbook of affective computing[M]. Oxford： Oxford University Press， 2015： 37-38.

[4] SCHERER S， WORSLEY M， MORENCY L P. 1st international workshop on multimodal learning analytics： extended abstract[C]// Proceedings of the 14th ACM international conference on multimodal interaction. New York： ACM， 2012：353-356.

[5] WORSLEY M， ABRAHAMSON D， BLIKSTEIN P， et al. Multimodal learning analytics[C]//The 12th international conference of the learning sciences. New York： ACM， 2016： 1346-1349.

[6] OCHOA X， WORSLEY M. Augmenting learning analytics with multimodal sensory data[J]. Journal of learning analytics， 2016， 3（2）： 213-219.

[7] WORSLEY M. Multimodal learning analytics as a tool for bridging learning theory and complex learning behaviors[C]// In proceedings of the 2014 ACM workshop on multimodal learning analytics workshop and grand challenge. ACM： New York， 2014：1-4.

[8] OCHOA X， WORSLEY M， CHILUIZA K， et al. MLA14： third multimodal learning analytics workshop and grand challenges[C]//Proceedings of the 16th international conference on multimodal interaction. New York： ACM， 2014：531-532.

[9] WORSLEY M， CHILUIZA K， GRAFSGAARD J F， et al. Multimodal learning and analytics grand challenge[C]//The fourth international conference on multimodal interaction. New York： ACM， 2015：525-529.

[10] OCHOA X， WORSLEY M， WEIBEL N， et al. Multimodal learning analytics data challenges[C]//The sixth international conference on learning analytics and knowledge. New York： ACM， 2016：498-499.

[11] SPIKOL D， PRIETO L P， RODRIGUE T， et al. Current and future multimodal learning analytics data challenges[C]// Proceedings of the seventh international learning analytics & knowledge conference. New York： ACM， 2017：518-519.

[12] OVIATT S. Ten opportunities and challenges for advancing student-centered multimodal learning analytics[C]//proceeding of the international conference on multimodal interaction （ICMI18）. New York： ACM， 2018：87-94.

[13] DANIELE D M， JAN S， MARCUS S， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）：338-349.

[14] MITRI D， SCHNEIDER J， KLEMAK R， etc. Read between the lines： an annotation tool for multimodal data for learning[C]// The ninth international conference on learning analytics and knowledge. New York： ACM， 2019：51-60.