□ 彭紅超 姜雨晴

一、引言

教育數(shù)據(jù)已成為教育領域的巨大財富，正重塑著教學日常實踐與科學研究設計。目前常用的教育數(shù)據(jù)除了作業(yè)、測驗，還有在線學習平臺中的學習日志、互動文本等，這些數(shù)據(jù)雖然已經(jīng)能夠描繪較為細致的學習者畫像，但這仍然只是“側面肖像”，難以準確揭示學習者學習規(guī)律。可喜的是，隨著低成本、便攜式的可穿戴設備在教育中的應用，教育數(shù)據(jù)已經(jīng)開始擴展至腦電、心率、皮電等生理數(shù)據(jù)。這種多模態(tài)化的數(shù)據(jù)全方位、立體化地呈現(xiàn)了學習者的學習過程，為教育科學研究提供了更為豐富的數(shù)據(jù)源。研究發(fā)現(xiàn)，使用多模態(tài)數(shù)據(jù)分析學習者學習效果的準確率高于使用單一數(shù)據(jù)（Giannakos,Sharma,Pappas,Kostakos,&Velloso,2019），并且能夠為深入探究學習者行為的內(nèi)在學習機理提供機會和支持（牟智佳,2020）。多模態(tài)數(shù)據(jù)支持的教育科學研究是新興發(fā)展趨勢，但其事實上已有二十多年發(fā)展歷史。厘清其研究走勢與態(tài)勢、理念的發(fā)展變化以及發(fā)展瓶頸等問題，有利于學者與教學實踐者全面認識多模態(tài)數(shù)據(jù)，精準把握多模態(tài)數(shù)據(jù)在教學實踐與科學研究中的作用、價值與發(fā)展取向。

在目前已有研究綜述中，國內(nèi)學者翟雪松（2020）發(fā)現(xiàn)多模態(tài)數(shù)據(jù)中的生理數(shù)據(jù)主要用于支持監(jiān)測情緒與控制、探究認知與控制、監(jiān)測與改善健康三個方面，并探明了心率、呼吸、皮溫、皮電等模態(tài)數(shù)據(jù)指標表征的意義；學者穆肅（2021）發(fā)現(xiàn)用于學習分析的多模態(tài)數(shù)據(jù)有生理特征、心理測量、環(huán)境場景等五種，分析指標有行為、注意、投入等十余種，數(shù)據(jù)整合方式有“多對一”“多對多”“三角互證”三種。他們對多模態(tài)數(shù)據(jù)應用于教育研究的價值進行了挖掘，并對融合分析與解釋等發(fā)展瓶頸進行了探索，但并未系統(tǒng)回答上述系列問題。對此，本研究綜合運用計量統(tǒng)計分析與內(nèi)容分析方法，通過深入解讀中外核心期刊文獻，探索這些問題的答案。

二、文獻來源與分析

依據(jù)布拉德福文獻離散規(guī)律，“大多數(shù)關鍵文獻一般集中在少數(shù)核心期刊”（張斌賢,等,2009），本研究采用中文篇名詞“多模態(tài)數(shù)據(jù)、多模態(tài)+大數(shù)據(jù)、多模態(tài)+學習分析、多模態(tài)交互分析、多模態(tài)話語分析”和英文篇名詞“multimodal data、multimodal learning analytics、multimodal big data”分別在中國知網(wǎng)和Web of Science數(shù)據(jù)庫核心合集檢索CSSCI和SSCI兩類期刊，檢索時間為2022年1月20日。檢索到的文獻按以下標準遴選文獻：①文獻不能重復；②文獻的主題需與教育科學研究有關。最終得到文獻209篇，其中中文文獻81篇，英文文獻128篇。

首先，本研究采用文獻計量法，對國內(nèi)外多模態(tài)數(shù)據(jù)支持的教育科學研究走勢進行分析。之后，將文獻中的關鍵詞導入Bicomb2.02軟件，進行數(shù)據(jù)清洗與詞頻分析，并對詞頻大于等于3（李運福,等,2018）的高頻關鍵詞進行詞頻共現(xiàn)分析。最后，將共現(xiàn)矩陣導入Ucinet6軟件，并使用其中的NetDraw工具進行社會網(wǎng)絡中心度分析，得到可視化的研究態(tài)勢圖譜。同時，運用內(nèi)容分析法深入解讀研究內(nèi)容，探析其研究態(tài)勢、發(fā)展演變和面臨的挑戰(zhàn)。

三、研究熱度與研究態(tài)勢

（一）研究熱度

計量統(tǒng)計分析結果如圖1所示。由此可發(fā)現(xiàn)，多模態(tài)數(shù)據(jù)支持的教育科學研究最初并沒有得到學者們的廣泛關注，直到最近幾年才逐漸引起學者們的探索興趣?？v觀其研究歷程，國內(nèi)外均有較大波動幅度，特別是國內(nèi)，雖然起步晚，但發(fā)展迅速且具有明顯的趕超之勢。進一步內(nèi)容分析還發(fā)現(xiàn)，國內(nèi)外的研究熱度大致相同，均經(jīng)歷了萌芽期、擴列期、裂變期三個階段。

圖1 國內(nèi)外多模態(tài)數(shù)據(jù)支持的教育科學研究文獻分布

1.萌芽期（國外2000—2009年，國內(nèi)2007—2013年）

文獻統(tǒng)計顯示，倫敦大學學者凱里·朱伊特（Carey Jewitt）于2000年提出將多模態(tài)應用于語言學教學，國外由此進入了多模態(tài)數(shù)據(jù)支持的教育科學研究萌芽期。語言學認為學習是多模態(tài)的，在學習過程中學習者需要依據(jù)學習興趣和語境不斷切換語言、視覺和動作等模態(tài)以獲得知識與技能。數(shù)據(jù)顯示，直至2007年我國才開始有學者關注這方面的研究，標志性事件是學者顧曰國提出的較為公認的多模態(tài)學習行為研究假設，這一假設勾畫了研究多模態(tài)學習的提綱，成為后續(xù)多模態(tài)話語分析的參照標準。

這一階段的多模態(tài)主要是不同感官通道、語言、手勢等社會意義表達的不同樣態(tài)。有關這種多模態(tài)的研究，甚至深入到了諸如語言障礙、智力障礙、聽力障礙、自閉癥等特殊教育領域（Spinath,Wolf,Angleitner,Borkenau,&Riemann,2005）：通過自我報告、教師反饋、課堂觀察等方式收集特殊兒童學習與交互過程中的多模態(tài)數(shù)據(jù)，運用多模態(tài)數(shù)據(jù)分析了解特殊兒童的學習狀態(tài)與實時需求，并提供適應性支持以維持特殊兒童的認知和情感參與程度。統(tǒng)計數(shù)據(jù)顯示，國內(nèi)的萌芽期晚于國外，直到國外進入這一時期的尾端，國內(nèi)才開始步入多模態(tài)研究時代。

2.擴列期（國外2010—2016年，國內(nèi)2014—2016年）

在萌芽期，學者們關注的感官通道只有學習者的聽覺和視覺，并沒有關注觸覺等其他通道。直到2010年，阿姆斯特朗州立大學學者哈姆扎·盧普（Hamza-Lup）將觸覺感官引入多模態(tài)領域，他認為學習者的學習應是五大感官相互作用的結果，其中觸覺是極為重要的模態(tài)（Fernández-Cárdenas&Silveyra-De La Garza,2010）。法國知覺現(xiàn)象學家梅洛·龐蒂（Merleau-Ponty）提出人類對世界的認知主要依靠具身經(jīng)驗，觸覺是人類與外界物理環(huán)境交互所采用的最原初、最直接且最重要的感知系統(tǒng)（趙瑞斌,等,2021）。這種具身理論觀點為觸覺成為多模態(tài)數(shù)據(jù)重要組成部分提供了依據(jù)。由此多模態(tài)數(shù)據(jù)支持的教育科學研究也相繼進入擴列期。

這一時期，國外學者在課堂中開展了一系列多模態(tài)數(shù)據(jù)交互行為研究，如師生、生生之間的語言、肢體等交互行為的研究，甚至有學者通過體育教學中的身體互動數(shù)據(jù)來探究學習者的課堂互動特征與模式。隨著在線會議系統(tǒng)、網(wǎng)絡平臺、虛擬現(xiàn)實等技術在課堂中的應用，多模態(tài)數(shù)據(jù)的收集擴展至遠程學習領域，如利用Moodle、Skype、桌面視頻會議和三維軟件等工具開展的在線學習研究，開始注重收集手勢、目光接觸、語言交流、臉部頭像和平臺記錄（如學習日志）等模態(tài)數(shù)據(jù)。數(shù)據(jù)顯示，2014年我國開始進入擴列期，標志性事件是鄭瑤菲等學者（2014）在基于“云服務”的多模態(tài)課堂口頭報告研究中將觸覺、嗅覺、味覺等生命體感渠道納入學生的多模態(tài)交互中。這一時期，我國持續(xù)時間很短，并和國外同一年進入裂變期。

3.裂變期（國外2017年—至今，國內(nèi)2017年—至今）

隨著低成本、便攜式的可穿戴設備進入大眾視野，支持教育教學研究的多模態(tài)數(shù)據(jù)不再局限于師生、生生的互動數(shù)據(jù)，以及平臺記錄的學習印記數(shù)據(jù)，表征學習者自身生理狀態(tài)的數(shù)據(jù)也成為多模態(tài)數(shù)據(jù)的新興成員。其標志性事件是，2017年第七屆學習分析與知識國際會議明確將融合生理數(shù)據(jù)的學習分析作為其全面拓展實踐新取向的事實。其中緣由是，這種多模態(tài)分析能夠提供更為精細的數(shù)字畫像，做出更為精準的科學預測。有研究發(fā)現(xiàn)，單純以學習行為數(shù)據(jù)（如按鍵、觸屏、鼠標點擊等）作為證據(jù)預測學習效果的錯誤率高達39%，加入調(diào)查數(shù)據(jù)（如自我報告）后錯誤率可降至15%，而結合生理數(shù)據(jù)（如腦電、心率、皮電等）后，錯誤率則可低至6%（Giannakos,et al.,2019）。這種優(yōu)勢為多模態(tài)數(shù)據(jù)支持的教育科學研究帶來了新機遇，也是促使國內(nèi)外研究井噴式發(fā)展、進入裂變期的主要動力。

內(nèi)容分析顯示，國內(nèi)外幾乎同一時間采用生理數(shù)據(jù)開展研究（2017年）。這一時期，國內(nèi)外學者開始關注使用腦電、心率、皮電等生理數(shù)據(jù)分析學習者在學習過程中情感、認知和行為等方面的變化，研究側重點也相應地向學習者內(nèi)在學習機理轉變。隨著VR技術在教學中的廣泛應用，學習環(huán)境也出現(xiàn)了由傳統(tǒng)課堂向虛擬環(huán)境擴展的趨勢，表現(xiàn)為國內(nèi)外學者借助多模態(tài)數(shù)據(jù)追蹤學習者在虛擬世界中的行為、情感和認知狀態(tài)，探究VR技術對學習的促進作用。數(shù)據(jù)顯示，受新冠疫情影響，國外研究在2020年出現(xiàn)了明顯的拐點，而國內(nèi)由于疫情的有效控制，其相關研究發(fā)展趨勢并未發(fā)生明顯變化，且在2021年出現(xiàn)了超越國外的局勢。

（二）研究態(tài)勢

借助Ucinet6軟件中NetDraw工具進行社會網(wǎng)絡中心度分析，形成國內(nèi)外文獻高頻關鍵詞社群圖，如圖2和圖3所示。在此社群圖中，方框越大則關鍵詞的中心度越高，方框之間的距離越小則表示關鍵詞之間越親密（宋慧玲,等,2017）。

圖2 國外文獻高頻關鍵詞社群圖

圖3 國內(nèi)文獻高頻關鍵詞社群圖

1.研究關注的內(nèi)容

觀察圖2和圖3可發(fā)現(xiàn)，國內(nèi)研究比國外研究更具有“凝聚力”，即各內(nèi)容之間的關系更親密。當然這并不表示國內(nèi)研究比國外研究更精細。內(nèi)容分析發(fā)現(xiàn)，國內(nèi)研究大多關注理論的梳理與構建，但對其實際效用的驗證相對缺乏。

總體來看，國內(nèi)外研究各具特色：國外研究呈兩個“小宇宙”態(tài)勢，一個是多模態(tài)話語，一個是多模態(tài)生理，而在國內(nèi)后者是研究的核心問題，處于絕對中心位置。具體而言，國外在第一個“小宇宙”多模態(tài)話語方面，主要是以韓禮德（Halliday）的社會符號學為基礎，基于師生在語言教學中互動媒介的變化對以師生互動為主的多模態(tài)話語分析開展大量研究，而在第二個“小宇宙”多模態(tài)生理方面，主要是利用多樣的生理數(shù)據(jù)（特別是眼動數(shù)據(jù)），通過學習分析范式探究認知投入、情感投入等方面的學習內(nèi)部機制。這方面的研究已發(fā)現(xiàn)，學習者的情感狀態(tài)對于其認知、動機和調(diào)節(jié)過程均有影響，無論是積極還是消極的情感狀態(tài)，均能夠在學習過程中發(fā)揮重要作用（黃濤,等,2020;Ahn&Harley,2020）。

國內(nèi)研究和國外研究一樣，發(fā)起于語言學領域，并且有較長的發(fā)展史，但直到現(xiàn)在仍僅是以顧曰國為代表的少數(shù)學術團隊致力于此方面的研究，因此處在圖3社群圖的邊緣地帶。更有趣的是，國內(nèi)其他領域學者之所以關注到此方面主要緣于多模態(tài)生理數(shù)據(jù)的影響，受此影響，國內(nèi)學者在梳理多模態(tài)起源時追溯到此。從圖3社群圖看，多模態(tài)生理數(shù)據(jù)支持教育科學研究處于中心地帶，主要聚焦于多模態(tài)數(shù)據(jù)在學習行為、學習投入、學業(yè)情緒等方面的分析、解釋與畫像描繪，這方面國內(nèi)學者嘗試借助智能技術優(yōu)勢，關注智慧課堂環(huán)境，并追求深度學習。研究發(fā)現(xiàn)，通過人工智能及便攜式可穿戴設備捕捉和測量學習者的課堂參與行為，可以準確預測學習者的學習狀態(tài)（Sharma,Papamitsiou,&Giannakos,2019），也能夠為學者深入理解學習機制、發(fā)現(xiàn)學習規(guī)律提供可能（張琪,等,2019）。

另外，國外研究關注的對象較為廣泛，涉及幼兒、兒童、中學生、大學生，甚至成人學習者（如教師培訓）和特殊兒童。研究發(fā)現(xiàn)，通過多模態(tài)數(shù)據(jù)分析自閉癥、智力障礙、語言障礙等學習者的突出學習行為變化（Spinath,et al.,2005;Jansson,2011），可以為教師及時掌握其認知、行為、情感等參與狀態(tài)提供重要參考（Moon&Sokolikj,2020）。國內(nèi)研究關注的對象主要是大學生群體，這與近年來國內(nèi)加強人體實驗倫理審查有關，特別是對中小學生的倫理保護。

2.多模態(tài)數(shù)據(jù)分析方法

由圖2和圖3可知，在數(shù)據(jù)分析方面，國內(nèi)外的態(tài)勢大致相同，均涵蓋兩大類：多模態(tài)話語分析和多模態(tài)學習分析。這與國內(nèi)外的多模態(tài)數(shù)據(jù)發(fā)展歷程趨同有關。

內(nèi)容分析發(fā)現(xiàn)，早期多模態(tài)話語分析的內(nèi)容主要包括師生課堂對話，并主要局限于定性研究且多學科適應性較差。隨著多媒體技術應用于課堂，其內(nèi)容逐漸囊括了聲音、動態(tài)圖像、語料庫等，同時定量分析成為主要研究范式，多學科視角的對話與融合成為關注焦點。盡管國內(nèi)的多模態(tài)話語分析并未成為主流，但隨著視頻分析技術在教育研究中的應用，多模態(tài)話語分析也得到更多學者的青睞。

學習分析技術成為分析學習者學習流的主要范式得益于教育大數(shù)據(jù)的應用，學習分析的內(nèi)容既有平臺自動記錄的線上學習數(shù)據(jù)（鐘薇,等,2018），也有錄像、聲音、表情、手勢等模態(tài)數(shù)據(jù)（Worsley,2012）?？纱┐髟O備進一步豐富了可收集和分析的數(shù)據(jù)源，使得眼動、腦電、心率、皮電等生理數(shù)據(jù)在學習分析中得以關注（張琪,等,2016），學習者特征的刻畫也更為全面、準確。目前，多模態(tài)學習分析主要有兩個方面的作用：①為研究者提供證據(jù)；②為教師或學習者提供反饋。相比于前者，后者明顯不同的是，生理數(shù)據(jù)多局限于心率、血壓等智能腕表能夠監(jiān)測的數(shù)據(jù)，并且對于自動化分析的要求更高。在這方面，現(xiàn)有智能課堂主要通過低水平甚至零水平的數(shù)據(jù)融合來提高反饋的及時性，盡管學者均一致認為綜合分析多種模態(tài)數(shù)據(jù)是精準提供反饋與實時改進教學的前提（Bahreini&Westera,2016;Luo,Chen,Wang,&Liao,2020）。內(nèi)容分析發(fā)現(xiàn)，在為教師或學習者提供反饋方面，目前的研究主要集中在對學習者情感的反饋，而對學習過程中認知、行為等方面的反饋未見有研究涉及。

四、研究的發(fā)展脈絡與演變

通過文獻梳理和內(nèi)容分析發(fā)現(xiàn)，多模態(tài)數(shù)據(jù)支持的教育科學研究歷經(jīng)了三個方面的演變：①在數(shù)據(jù)證據(jù)方面，由行為證據(jù)擴展至生理證據(jù)；②在數(shù)據(jù)分析方面，由統(tǒng)計分析向多模態(tài)學習分析轉變；③在學習機制方面，由以事件為中心向以人為中心轉變。

（一）數(shù)據(jù)證據(jù)：由行為證據(jù)擴展至生理證據(jù)

語言學家認為學習是通過言語交流實現(xiàn)的，但也認為眼神、手勢、動作等非言語交流是重要的知識“傳播介質”，這些介質被認為是副語言因素。此時期的多模態(tài)數(shù)據(jù)證據(jù)主要是這些社會意義表達行為的模態(tài)。隨著在線教學與管理平臺的應用，特別是學習分析技術的加盟，在線學習的點擊流數(shù)據(jù)模態(tài)成為新型行為證據(jù)。相應地，多模態(tài)數(shù)據(jù)支持的教育科學研究也由線下面對面課堂擴展至在線學習空間。以行為數(shù)據(jù)為證據(jù)開展教育科學研究，遵循一個基本假設，即心理構念是導致外在行為的原因，且外在行為可以推斷心理構念（Kozak&Miller,1982）。近年來，腦科學、神經(jīng)科學等研究成果成為教育教學的重要理論支撐，特別是低成本、便攜式可穿戴設備的應用，使得心理構念這一“黑盒”得以公之于眾。相應地，多模態(tài)數(shù)據(jù)證據(jù)也由行為數(shù)據(jù)擴展至以腦電波為代表的生理數(shù)據(jù)。對于生理數(shù)據(jù)表征教育方面的心理構念，國內(nèi)外學者已經(jīng)進行了大量工作，如Jap（2009）嘗試利用 （α+θ）/β、α/β、（α+θ）/（α+/β）、θ/β組合指標表征疲勞，翟雪松等人（2020）對心率、皮溫、皮電等生理數(shù)據(jù)可以表征的心理狀態(tài)做了系統(tǒng)梳理。生理數(shù)據(jù)“解剖”心理構念的優(yōu)勢已經(jīng)得到教育學者的關注，它造就以生理數(shù)據(jù)為證據(jù)主體的多模態(tài)教育科學研究成為新的發(fā)展方向。

（二）數(shù)據(jù)分析：由統(tǒng)計分析向多模態(tài)學習分析轉變

小數(shù)據(jù)時代，教育科學研究的多模態(tài)數(shù)據(jù)分析方法主要是統(tǒng)計分析，包括描述性統(tǒng)計、假設檢驗、相關分析、時間序列分析等。這種統(tǒng)計分析與單模態(tài)統(tǒng)計分析沒有本質區(qū)別，只是不同模態(tài)數(shù)據(jù)如何表征心理構念需要額外關注。在這方面，學者采用的方式主要有兩種：第一，用不同模態(tài)數(shù)據(jù)同時從不同角度表征心理構念的整體情況，如巴塔查里亞等人（Bhattacharya,et al.,2021）使用面部表情（視覺方面）、語速語調(diào)（聽覺）、文本語義三種模態(tài)數(shù)據(jù)分別表征情緒的整體水平；第二，用不同模態(tài)數(shù)據(jù)表征心理構念的各個維度情況，如沙瑪?shù)热耍⊿harma,et al.,2020）分別用眼動、面部表情、腦電等模態(tài)數(shù)據(jù)表征學生學習注意力、學業(yè)情緒、認知負荷等維度的強弱。

2015年，教育步入大數(shù)據(jù)時代，多模態(tài)數(shù)據(jù)分析也相應地向學習分析范式（數(shù)據(jù)清洗、特征提取、數(shù)據(jù)融合、結果報告）發(fā)展，這種分析涉及文本分析、話語分析、筆記分析、草圖分析、情感分析、神經(jīng)生理標記分析、眼動分析、多模態(tài)整合分析幾大范疇（Blikstein,2016）。支撐這些范疇分析的基礎主要是算法模型，如社交網(wǎng)絡模型、滯后序列分析模型、神經(jīng)網(wǎng)絡模型等。內(nèi)容分析發(fā)現(xiàn)，多數(shù)學者主要是直接選用合適的算法模型開展相關教育研究，如胡欽太等人（2021）利用深度混合判別受限玻爾茲曼機神經(jīng)網(wǎng)絡模型來挖掘多模態(tài)學習行為的特征，并利用貝葉斯網(wǎng)絡模型研究多模態(tài)數(shù)據(jù)與學習成績的因果關系；曹曉明等人（2019）選用卷積神經(jīng)網(wǎng)絡中的ResNet50模型來探索利用面部圖像、腦電和學習日志等模態(tài)數(shù)據(jù)表征學習參與度?？上驳氖牵壳岸嗄B(tài)學習分析的新發(fā)展取向已初見端倪，即學者們開始嘗試探索算法模型的優(yōu)化與創(chuàng)新。例如，馬志強等人（2020）將社交網(wǎng)絡與群體認知網(wǎng)絡疊加，構建了一種社會認知網(wǎng)絡模型來綜合分析協(xié)作交互中的社會互動與認知互動水平；奧爾特加等人（Ortega,et al.,2019）在深度神經(jīng)網(wǎng)絡模型的基礎上構建了一種新型模型，提高了利用視頻、音頻、文本等模態(tài)數(shù)據(jù)融合分析情感的精準度。

（三）學習機制：由以事件為中心向以人為中心轉變

內(nèi)容分析發(fā)現(xiàn)，在無線腦電儀器、眼鏡式眼動儀等生物傳感設備應用于教育科學研究以前，多模態(tài)數(shù)據(jù)分析主要以自我報告或觀察到的行為數(shù)據(jù)為基礎，這類數(shù)據(jù)的局限性導致教育科學研究只能探索以事件為中心的學習機制（Reimann,Markauskaite,&Bannert,2014），即事件是不可分割的基本單元，學習機制通過事件之間的關系體現(xiàn)。從已有研究看，一般采用相關系數(shù)表征學習事件之間的相關或影響關系，采用序列圖表征學習事件內(nèi)隱的模式與規(guī)律，采用社交網(wǎng)絡表征事件主題的“親密”關系。限制于技術水平，已有研究對學習事件的描述僅停留在描述性解釋層面，且解釋能力有限（Reimann,et al.,2014），也未對學習交互的內(nèi)在學習機理進行深入探析。

以腦電、心電、皮電等生理數(shù)據(jù)在教育科學研究的應用為標志，多模態(tài)數(shù)據(jù)分析由以事件為中心發(fā)展至以人為中心。此時，學習事件這一“黑盒”得以打開，其內(nèi)在學習機理變得“可見”。相應地，研究內(nèi)容也由關注學習行為、活動、結果等外在表現(xiàn)事件轉向關注學習者的情感、認知、自我調(diào)控等內(nèi)在學習機理問題（嘗試學習規(guī)律與特征由人的內(nèi)在變化來表征）。內(nèi)容分析發(fā)現(xiàn)，基于生理模態(tài)數(shù)據(jù)，學者們發(fā)現(xiàn)了諸多新的學習機理。例如，潘等人（Pan,et al.,2020）發(fā)現(xiàn)師生之間的“大腦共鳴”是教學策略有效的內(nèi)在原因；梅蘇拉姆（Meshulam,et al.,2021）、迪克爾（Dikker,et al.,2017）等諸多學者均發(fā)現(xiàn)，學生—班級的腦際耦合（學生個體與班級平均腦活動的相似性）是該學生學習表現(xiàn)的重要參考機制。雖然，這種以人為中心的多模態(tài)數(shù)據(jù)分析具有高度復雜性，但在生物傳感器技術和大數(shù)據(jù)計算的支持下，其時間與人力成本已經(jīng)表現(xiàn)出顯著的降低趨勢。

五、研究的挑戰(zhàn)

由上述討論可知，多模態(tài)數(shù)據(jù)支持的教育科學研究已經(jīng)歷了長足的發(fā)展與演變，不過，依然面臨多模態(tài)數(shù)據(jù)融合、研究范式轉變和數(shù)據(jù)隱私保護等挑戰(zhàn)。

（一）多模態(tài)數(shù)據(jù)融合

互補性、時序性和層級性等特點造就多模態(tài)數(shù)據(jù)具有全面、精準、保真地表征學習者行為、認知、情緒等狀態(tài)變化的潛能，而多模態(tài)數(shù)據(jù)融合是激發(fā)此潛能，實現(xiàn)探索學習者內(nèi)隱心理變化和學習發(fā)生機制的關鍵，但這至少需要解決三個核心問題：①數(shù)據(jù)對齊或配準；②數(shù)據(jù)采樣；③數(shù)據(jù)關聯(lián)。對于第一個問題，內(nèi)容分析發(fā)現(xiàn)，應用于教育科學研究的多模態(tài)數(shù)據(jù)采集設備多具有自動時間戳功能，這為各種模態(tài)數(shù)據(jù)在時間維度上的“對齊”提供了便利條件。但解決第二、第三個問題，仍面臨許多挑戰(zhàn)。第一，各種模態(tài)數(shù)據(jù)往往具有不可通約性（Non-commensurability），即不同模態(tài)數(shù)據(jù)的采集設備對不同現(xiàn)象的不同側面敏感，導致各模態(tài)數(shù)據(jù)的物理單位不同且不可“通分”。在此情況下，如何實現(xiàn)不同模態(tài)數(shù)據(jù)的相互作用與啟發(fā)是多模態(tài)數(shù)據(jù)融合的首要任務（Mechelen&Smilde,2010）。第二，不同模態(tài)數(shù)據(jù)的分辨率往往不同，甚至非常懸殊，如腦電圖EEG的時間分辨率為毫秒級，而功能磁共振成像fMRI的時間分辨率為秒級。在這樣的情況下，如何在各模態(tài)數(shù)據(jù)中定位到有價值的信息是關鍵。第三，不同模態(tài)數(shù)據(jù)間既存在互補性信息，也存在不一致甚至沖突的信息。在這種情況下，如何去偽存真是發(fā)揮多模態(tài)數(shù)據(jù)優(yōu)勢必須要處理的問題。

不可通約性決定了在多模態(tài)數(shù)據(jù)融合時，首先需要確定適切的融合框架，這類框架主要有數(shù)據(jù)層融合、特征層融合、決策層融合三種。其中，數(shù)據(jù)層融合是對原始數(shù)據(jù)進行預處理后直接進行融合，當研究者收集的數(shù)據(jù)存在不可通約的情況時采用此融合框架通常比后兩者框架更加復雜，因為研究者需要引入額外的信息“橋接”這些模態(tài)數(shù)據(jù)，而這類信息的確定是一項極具挑戰(zhàn)性的工作。不同分辨率決定了在確定好融合框架后，還需完成數(shù)據(jù)采樣，以便在壓縮數(shù)據(jù)量的同時得到有價值的信息。紐厄爾（Newell）提出的認知帶理論和安德森（Anderson）提出的帶際間融合策略可作為采樣依據(jù)，前者確定了生物帶、認知帶、理性帶和社會帶的時間尺度，這些尺度是定位“富有價值的信息”的關鍵區(qū)，后者確定了不同時間尺度的關聯(lián)與拆解方案。不過，認知帶理論以及帶際間融合策略是否真的實用，還有待探究。對于多模態(tài)數(shù)據(jù)的互補與沖突，彭紅超（2021）提出的涵蓋關聯(lián)、疊加和拼接三種融合度的方案既顧及了去偽存真的解決路向，也提供了關聯(lián)互補信息的思路。拉哈特等人（Lahat,et al.,2015）則提出了系列數(shù)學解決方案，包括解決去偽存真順序處理模態(tài)思路以及互補信息的“軟”“硬”鏈接方案。但這些構想的效用，同樣需要經(jīng)過長期的驗證。

（二）多模態(tài)研究范式轉變

2007年，計算機科學家吉姆·格雷（Jim Gray）提出“數(shù)據(jù)密集型科學發(fā)現(xiàn)”將成為繼實驗、理論、計算機仿真之后的第四科學研究范式（Hey,Tansley,&Tolle,2011），強調(diào)通過儀器收集的各類大體量數(shù)據(jù)來認識與理解世界。多模態(tài)數(shù)據(jù)研究作為此范式在教育科學研究中的新代表，突破了學習過程“平面式描繪”的局限（因數(shù)據(jù)主要為平臺記錄的行為印記使然），轉而走向“立體畫像”的描繪（由生理、心理、行為等數(shù)據(jù)使然）（祝智庭,等,2020）；突破了第一范式將人看作“關系之事本”，第二范式將人看作“物之物本”，第三范式將人看作“實驗之樣本”的世界觀（米加寧,等,2018），為落實第四范式的“對象之人本”提供了方法論。

不過，分析納入研究的文獻樣本發(fā)現(xiàn)，以生理數(shù)據(jù)為主體的多模態(tài)數(shù)據(jù)研究并沒有形成統(tǒng)一的研究規(guī)范供研究者們參考。第一，實驗樣本的體量依然參照針對小數(shù)據(jù)的統(tǒng)計分析體量標準，這是否滿足多模態(tài)交互分析、多模態(tài)情感分析、多模態(tài)決策分析等新型分析方法的要求，還有待商榷。第二，多模態(tài)數(shù)據(jù)分析方法缺乏富有體系的前提條件檢驗準則，加之機器學習等智能算法分析的混入，導致研究結果可解性差的問題仍然沒有有效的解決方法。第三，與一般研究不同，多模態(tài)研究的參與者需要“武裝”更多種設備，會對被試造成更強烈的干擾，其霍桑效應也更明顯，但如何消減此問題，未發(fā)現(xiàn)有研究者涉及。第四，收集數(shù)據(jù)的設備與問卷等傳統(tǒng)測量工具一樣，也需要進行信效度檢驗，而這方面仍被研究者普遍忽視。第五，與一般量化研究采用提出假設-構建模型-設計實驗-測量分析的自上而下的研究范式不同（鄭永和,等,2020），多模態(tài)研究很多時候采用數(shù)據(jù)驅動的自下而上的研究范式，但這種范式的設計規(guī)范未見較有共識的范例。這些規(guī)范的缺失使得多模態(tài)研究的科學性、嚴謹性、有效性均無法精準評估，而這是教育科學研究向多模態(tài)研究范式轉變不可回避的問題。

（三）多模態(tài)數(shù)據(jù)隱私保護

多模態(tài)設備加之人工智能、5G等新技術的應用，推動了教育數(shù)據(jù)全過程、立體式采集、分析的智能升級，但目前仍然存在較大的數(shù)據(jù)隱私泄露等風險。像學習者的點擊流數(shù)據(jù)、學習印記等在線學習記錄均存在網(wǎng)絡泄露等安全隱患，另外皮電、心率和腦電等生理數(shù)據(jù)可在極大程度上揭示學習者的內(nèi)在心理機制，也可在一定程度上反映學習者的身心健康狀況（Chassang,2017），雖然此類數(shù)據(jù)尚未達到生物醫(yī)學研究水平，但依然是更為敏感的個人隱私，若被不法分子獲取，會產(chǎn)生更為嚴重的不良后果。因此，多模態(tài)數(shù)據(jù)的隱私保護給數(shù)據(jù)安全帶來更嚴峻的挑戰(zhàn)，但這方面還未引起研究者足夠的重視（Beardsley,Martínez Moreno,Vujovic,Santos,&Hernández,2020）。

對此，多模態(tài)數(shù)據(jù)支持的教育科學研究需要有數(shù)據(jù)安全與倫理的相關法律法規(guī)和從業(yè)規(guī)范的約束，并需要研究人員自身有較強的數(shù)據(jù)安全保護意識與能力。因為數(shù)據(jù)本身是中立的，研究者很難預估其收集的研究數(shù)據(jù)會對研究對象帶來何種風險，因此在開展研究前研究者有義務嚴格核對人體實驗倫理審查的條目、完成相應的申請，并與實驗對象及利益相關者簽訂知情同意書；研究收集的數(shù)據(jù)最好保存至本地磁盤后加密，而不轉存至網(wǎng)盤中，并且設置存留期限，達成數(shù)據(jù)分析目的后及時清理；報告研究結果前，去除個人身份等敏感信息。更為重要的是，數(shù)據(jù)隱私保護需要多方協(xié)同努力制定相應的技術制度與標準，構建面向實踐層面的數(shù)據(jù)脫敏機制（王一巖,等,2021），加強區(qū)塊鏈等新技術支持的數(shù)據(jù)安全防護體系建設。這是消減數(shù)據(jù)隱私保護與數(shù)據(jù)價值應用之間矛盾（學生、家長一方面期望通過個人學習過程數(shù)據(jù)的分析獲取全方位、精準化的學習支持服務，另一方面則會十分擔憂個人數(shù)據(jù)隱私泄露（Ifenthaler&Schumacher,2016））的關鍵措施。在這方面，我們還任重道遠，并且已有的保護舉措也存在不良反應，如知情同意書的引入明顯降低了實驗對象參與研究過程的程度（Beardsley,et al.,2020）。

六、結語

本研究通過對209篇相關研究文獻分析發(fā)現(xiàn)，歷經(jīng)二十余年，多模態(tài)數(shù)據(jù)支持的教育科學研究經(jīng)歷了萌芽期、擴列期、裂變期三個階段。目前，國外研究呈多模態(tài)話語和多模態(tài)生理兩個“小宇宙”之勢，國內(nèi)主要集中于后者；在數(shù)據(jù)分析方面，國內(nèi)外均呈多模態(tài)話語分析和多模態(tài)學習分析并駕齊驅之勢。在這二十多年里，多模態(tài)數(shù)據(jù)支持的教育科學研究歷經(jīng)了三個方面的演變：①在數(shù)據(jù)證據(jù)方面，由行為證據(jù)擴展至生理證據(jù)；②在數(shù)據(jù)分析方面，由統(tǒng)計分析向多模態(tài)學習分析轉變；③在學習機制方面，由以事件為中心向以人為中心轉變。不過目前依然面臨多模態(tài)數(shù)據(jù)融合、研究范式轉變和數(shù)據(jù)隱私保護等方面的挑戰(zhàn)。對此，本研究團隊將持續(xù)致力于應對這些挑戰(zhàn)的研究，特別是將聚焦研究多模態(tài)數(shù)據(jù)不可通約性的融合策略和數(shù)據(jù)驅動的自下而上的多模態(tài)研究范式設計。