彭紅超 魏 非 閆寒冰

(華東師范大學(xué) 開(kāi)放教育學(xué)院，上海 200062)

教師教育是教育事業(yè)的工作母機(jī)，是提升教育質(zhì)量的動(dòng)力源泉(中華人民共和國(guó)教育部等, 2018)。在AI+教師隊(duì)伍建設(shè)中，利用新技術(shù)收集教師教育的常態(tài)數(shù)據(jù)(如伴隨數(shù)據(jù))，刻畫(huà)教師數(shù)字畫(huà)像，成為提高精準(zhǔn)診斷、及時(shí)干預(yù)和個(gè)性化服務(wù)水平的(中華人民共和國(guó)教育部, 2019)重要舉措。

當(dāng)下，刻畫(huà)數(shù)字畫(huà)像的數(shù)據(jù)源主要有兩類：一類來(lái)自績(jī)效評(píng)估以及諸如問(wèn)卷的自我報(bào)告，另一類來(lái)自系統(tǒng)平臺(tái)隱式記錄的學(xué)習(xí)印記。這種數(shù)字畫(huà)像支撐的預(yù)測(cè)模型，預(yù)測(cè)學(xué)習(xí)表現(xiàn)的錯(cuò)誤率在11%～15%之間(Maldonado-Mahauad et al., 2018)。相比僅依靠學(xué)習(xí)印記數(shù)據(jù)的預(yù)測(cè)模型(錯(cuò)誤率為20%) (Moreno-Marcos et al., 2018)，準(zhǔn)確度提高了5%。不過(guò)，教師研修活動(dòng)并非僅發(fā)生于平臺(tái)上，自我報(bào)告等主觀數(shù)據(jù)表征的構(gòu)念(construct)或傾向也往往與實(shí)際不符(Zimmerman, 2008)，這勢(shì)必導(dǎo)致數(shù)字畫(huà)像的殘缺性與非精準(zhǔn)性。這一問(wèn)題可以通過(guò)增加諸如腦電、心電等生理數(shù)據(jù)解決。研究表明，補(bǔ)增這類數(shù)據(jù)后，數(shù)據(jù)模型的預(yù)測(cè)錯(cuò)誤率可降低至6% (Giannakos et al., 2019)。

上述三類數(shù)據(jù)往往來(lái)源于不同渠道，具有不同樣態(tài)，一般統(tǒng)稱為多模態(tài)數(shù)據(jù)(multimodal data)。隨著神經(jīng)科學(xué)、腦科學(xué)、學(xué)習(xí)科學(xué)研究成果的常態(tài)化應(yīng)用以及腦電、多導(dǎo)生理儀等非侵入傳感設(shè)備便攜式、可穿戴式的發(fā)展，以生理數(shù)據(jù)為重要組分的多模態(tài)數(shù)據(jù)成為全息化描繪個(gè)體畫(huà)像的新研究取向(張琪等, 2019)。

國(guó)內(nèi)教育領(lǐng)域?qū)€(gè)體畫(huà)像的研究主要集中于學(xué)習(xí)者，卻極少關(guān)注教師(胡小勇等, 2019)，多模態(tài)數(shù)據(jù)賦能全息化描繪教師畫(huà)像的潛力更沒(méi)有得到很好的發(fā)掘。本研究從多模態(tài)內(nèi)涵解析入手，構(gòu)建多模態(tài)數(shù)據(jù)全息臨摹教師畫(huà)像的機(jī)理及畫(huà)像模型，在此基礎(chǔ)上構(gòu)建基于全息畫(huà)像的個(gè)性化機(jī)制以及機(jī)制得以運(yùn)轉(zhuǎn)的多模態(tài)學(xué)習(xí)分析方略。

一、研究概述

大數(shù)據(jù)技術(shù)使用戶模型突破了僅依據(jù)個(gè)人特征數(shù)據(jù)靜態(tài)構(gòu)建的限制，開(kāi)始更多地利用過(guò)程數(shù)據(jù)動(dòng)態(tài)描摹。業(yè)界采用“畫(huà)像”一詞表征這種新型的用戶模型。學(xué)習(xí)是多模態(tài)的，教師研修過(guò)程中自然地加工不同感官感知到的多種模態(tài)信息(張琪等, 2020)。從這個(gè)角度講，難有某種單一模態(tài)數(shù)據(jù)能夠描摹教師研修的完整畫(huà)像(Zheng et al., 2018)，最多也只是某一方面的簡(jiǎn)筆畫(huà)。而多模態(tài)數(shù)據(jù)，能夠通過(guò)多種數(shù)據(jù)流的相互補(bǔ)充做到這一點(diǎn)。

(一)多模態(tài)內(nèi)涵解析

多模態(tài)的內(nèi)涵非常繁雜，難有共識(shí)。究其原因，是學(xué)術(shù)界多從自己的學(xué)科領(lǐng)域認(rèn)識(shí)模態(tài)(modality)。人類通過(guò)感官(如視覺(jué)、聽(tīng)覺(jué))獲得外部環(huán)境的信息，因此，學(xué)者將感官通道(傳輸?shù)氖巧窠?jīng)沖動(dòng))作為區(qū)分不同模態(tài)的依據(jù)，即信息由單一通道獲取則為單模態(tài)，由多個(gè)通道獲取則為多模態(tài)(王慧君, 2015)(神經(jīng)生物學(xué)感官通道說(shuō))。獲取的信息，在頭腦中會(huì)由不同神經(jīng)系統(tǒng)進(jìn)行加工和處理，形成意義，表現(xiàn)為不同大腦區(qū)域功能不同，模態(tài)也不同(認(rèn)知神經(jīng)科學(xué)認(rèn)知系統(tǒng)說(shuō))。在社會(huì)互動(dòng)中，信息在頭腦中形成意義后，面臨表達(dá)問(wèn)題。有學(xué)者認(rèn)為(Kress & Leeuwen, 2001)，表達(dá)的形式不同，模態(tài)也不同，比如語(yǔ)言、表情、手勢(shì)、眼神等均屬于不同的模態(tài)(寧雅南, 2017)(社會(huì)學(xué)意義表達(dá)說(shuō))?；ヂ?lián)網(wǎng)突破了意義表達(dá)的時(shí)空限制，借助遠(yuǎn)程交流的渠道和媒介，異位散布式的同異步互動(dòng)成為常態(tài)。傳播學(xué)從該角度將多模態(tài)視作意義的不同信息形態(tài)(如聲音、文字等)、存儲(chǔ)(如磁記錄、數(shù)字記錄等)或傳播方式(張琪等, 2020)(傳播學(xué)傳媒說(shuō))。這里的信息形態(tài)極易和媒體混淆，持此觀點(diǎn)的學(xué)者認(rèn)為，后者是前者的編碼手段和物質(zhì)基礎(chǔ) (張曉霞, 2020)。

人工智能旨在讓機(jī)器具備類人的能力。實(shí)現(xiàn)這一點(diǎn)，至少需要關(guān)注信息形態(tài)、信息通道、信息模型三個(gè)方面，它們對(duì)應(yīng)三種多模態(tài)觀點(diǎn)。與人類相似，人工智能同樣需要感知外界環(huán)境的文字、視頻等形態(tài)信息。由于每種形態(tài)的信息均需對(duì)應(yīng)的智能感知技術(shù)，所以不同信息形態(tài)即為不同模態(tài)(信息形態(tài)說(shuō))，這包括只有機(jī)器可以感知的信息(如紅外線與超聲等)，甚至不同的語(yǔ)言形態(tài)。感知到的信息以電脈沖、電磁波、聲波、光波等形式通過(guò)不同的通道傳輸，每種通道需不同的通信技術(shù)保證接收端高保真地接收，因此，通道類型也被作為界定模態(tài)的依據(jù)(Cukurova et al., 2019)(信息通道說(shuō))。對(duì)于接收到的不同信息，需要構(gòu)建不同的信息模型智能挖掘與分析隱含其中的價(jià)值，信息模型不同，模態(tài)也不同(Amer et al., 2014)(信息模型說(shuō))。

可以發(fā)現(xiàn)，雖然學(xué)者關(guān)注的角度不同，但他們的認(rèn)識(shí)相互聯(lián)通且成體系，均認(rèn)為人類認(rèn)知及其社會(huì)互動(dòng)是多模態(tài)的。在教師研修過(guò)程中，這種多模態(tài)通過(guò)生理、心理、行為的協(xié)同反應(yīng)表達(dá)(Takehana & Matsui, 2016)，不同的反應(yīng)可以描繪教師畫(huà)像的不同輪廓。筆者將表征不同生理、心理或行為反應(yīng)的不同形態(tài)數(shù)據(jù)視為多模態(tài)數(shù)據(jù)，不同模態(tài)數(shù)據(jù)的獲取方式往往不同。

(二)多模態(tài)數(shù)據(jù)的全息性

學(xué)習(xí)分析技術(shù)使教師畫(huà)像的刻畫(huà)由“快照式(特點(diǎn)是間歇性素描)”轉(zhuǎn)向“航拍式(特點(diǎn)是持續(xù)性描繪)”，特別是平臺(tái)數(shù)據(jù)(學(xué)習(xí)印記)的增入，極大地補(bǔ)充了畫(huà)像的細(xì)節(jié)，提高了“清晰度”。本質(zhì)上講，這類數(shù)據(jù)屬于行為數(shù)據(jù)，按照構(gòu)念理論(construct theory，CT)，心理構(gòu)念(即心理現(xiàn)象或活動(dòng)的屬性或?qū)嵸|(zhì))與外在行為互為因果(Kozak & Miller, 1982)，外在行為可以推測(cè)心理構(gòu)念(楊向東, 2007)，不過(guò)前提是行為數(shù)據(jù)本身具有良好的信效度。除平臺(tái)記錄的操作性印記外，教師研修時(shí)的眼動(dòng)數(shù)據(jù)、面部數(shù)據(jù)也是重要的行為數(shù)據(jù)，且有成熟的理論及技術(shù)支撐對(duì)心理構(gòu)念的推測(cè)(如表情識(shí)別)，增補(bǔ)這兩類模態(tài)數(shù)據(jù)(多模態(tài)數(shù)據(jù)具有互補(bǔ)性)可以極大地降低僅依據(jù)學(xué)習(xí)印記洞悉研修情況的片面性、局限性(Mangaroska & Giannakos, 2018)(見(jiàn)圖1)。

人們?cè)趫?zhí)行動(dòng)作時(shí)，也會(huì)隨之產(chǎn)生豐富的生理活動(dòng)。雖然支持學(xué)習(xí)的技術(shù)沒(méi)有充分關(guān)注這一點(diǎn)，但解析生理活動(dòng)的確可以得到更有價(jià)值的洞見(jiàn)(Pantazos & Vatrapu, 2016)(見(jiàn)圖1) 。大量研究表明，腦電、心電、皮電等生理數(shù)據(jù)均與人類的心理認(rèn)知、情緒密切相關(guān)(Szafir & Mutlu, 2013) ，對(duì)此類模態(tài)數(shù)據(jù)進(jìn)行分析能夠更精準(zhǔn)地估計(jì)心理活動(dòng)(Zheng, et al., 2018)，特別是事件相關(guān)電位(event-related potentials，ERP)分析能夠精準(zhǔn)識(shí)別微秒級(jí)心理活動(dòng)的變化(Goswami, 2004)。生理數(shù)據(jù)擴(kuò)寬了刻畫(huà)教師畫(huà)像的邊界，使畫(huà)像從以學(xué)習(xí)事件為中心的研修表現(xiàn)延展至以學(xué)習(xí)機(jī)制為中心的生理反應(yīng)(Reimann et al., 2014)，這種機(jī)制補(bǔ)足了因果解釋的三要素(第一個(gè)為觸發(fā)事件的情境，第二個(gè)為結(jié)果)，作為因果力(causal powers)，它揭示了情境要素如何相互作用從而導(dǎo)致相應(yīng)結(jié)果(Pawson, 2006)，這是提高數(shù)據(jù)解釋力的重要依據(jù)。

與行為不同，腦活動(dòng)、心跳等生理活動(dòng)由自主神經(jīng)系統(tǒng)(也稱植物性神經(jīng)系統(tǒng))調(diào)節(jié)，不受主觀意識(shí)支配，所以此類生理數(shù)據(jù)是真實(shí)的、不可偽造的。這樣的生理數(shù)據(jù)可以印證行為數(shù)據(jù)以及自我報(bào)告推測(cè)的心理數(shù)據(jù)之真?zhèn)?，提高兩者的信效?見(jiàn)圖1)。例如，眼動(dòng)儀可以記錄閱讀時(shí)眼睛移動(dòng)的過(guò)程，其記錄結(jié)果常被用作認(rèn)知投入或注意力的重要指標(biāo)，但眼動(dòng)行為無(wú)法甄別心智游移現(xiàn)象(mind wandering)，俗稱“走神”，閱讀時(shí)心智游移高達(dá)20% (Schooler et al., 2004)，而它可通過(guò)反映信息處理與注意力水平的腦電數(shù)據(jù)有效解決(主要是α波)(Klimesch, 2012)。

綜上可知，多模態(tài)數(shù)據(jù)能夠賦能更全面、精準(zhǔn)、真實(shí)地臨摹教師畫(huà)像，突破單一視圖無(wú)法觀測(cè)全貌的局限，從多個(gè)視圖多維度立體描繪教師研修情況；利用生理活動(dòng)顯化教師研修的內(nèi)在機(jī)制，并高分辨率地刻畫(huà)教師畫(huà)像的細(xì)節(jié)；通過(guò)多維驗(yàn)證去除“噪聲”數(shù)據(jù)，只用真實(shí)數(shù)據(jù)勾勒教師畫(huà)像的輪廓。此外，多模態(tài)數(shù)據(jù)往往由平臺(tái)記錄與生理傳感器超高頻率收集，能夠高保真地還原教師研修動(dòng)態(tài)，這四種特性(全面、精準(zhǔn)、真實(shí)、動(dòng)態(tài))造就了多模態(tài)數(shù)據(jù)全息臨摹教師畫(huà)像的潛能。

圖1 多模態(tài)數(shù)據(jù)全息臨摹教師畫(huà)像的機(jī)理

二、多模態(tài)數(shù)據(jù)臨摹教師全息畫(huà)像模型

大數(shù)據(jù)、人工智能與智能感知等高端技術(shù)使常態(tài)化、伴隨式收集與刻畫(huà)教師全息畫(huà)像成為可能。按照數(shù)據(jù)驅(qū)動(dòng)的智慧研修特點(diǎn)，教師全息數(shù)字畫(huà)像大致涵蓋三個(gè)層面：屬性層、學(xué)習(xí)層、愿景層(見(jiàn)圖2)。屬性層負(fù)責(zé)刻畫(huà)教師的本體特征，學(xué)習(xí)層負(fù)責(zé)描繪研修過(guò)程中教師的學(xué)習(xí)行為、生理反應(yīng)、心理活動(dòng)以及能力的發(fā)展變化，愿景層負(fù)責(zé)勾勒以校為本的發(fā)展期望。

(一)愿景層：發(fā)展期望的勾勒

教師研修以校為本、愿景驅(qū)動(dòng)，學(xué)校管理者在領(lǐng)導(dǎo)部門的指導(dǎo)下制定校本研修計(jì)劃，確定教師的能力提升目標(biāo)。不過(guò)，智慧的校本研修也是個(gè)性化的，需要考慮教師個(gè)人的發(fā)展期望，由此，全息畫(huà)像愿景層的發(fā)展目標(biāo)涵蓋兩方面，分別是學(xué)校指定的目標(biāo)和個(gè)人期望的目標(biāo)。前者為前驅(qū)，提供動(dòng)力也提供導(dǎo)向；后者為后驅(qū)，主要提供動(dòng)力(個(gè)人目標(biāo)應(yīng)與學(xué)校目標(biāo)吻合)。雙驅(qū)發(fā)展目標(biāo)數(shù)據(jù)一般需要學(xué)校管理者和教師以列表的形式錄入，這種自我報(bào)告數(shù)據(jù)是非結(jié)構(gòu)化的，用作反饋信息時(shí)無(wú)需特殊處理，但用于提供數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化研修服務(wù)時(shí)，需要利用語(yǔ)義分析等智能技術(shù)轉(zhuǎn)化為決策準(zhǔn)則。

高成效研修實(shí)時(shí)精準(zhǔn)聚焦教師學(xué)習(xí)需求(即當(dāng)前水平與期望水平的差距)，這種需求理應(yīng)成為畫(huà)像愿景層的組成部分。在智能技術(shù)特別是計(jì)算智能的賦能下，學(xué)習(xí)需求的動(dòng)態(tài)分析已成為基本服務(wù)，其基礎(chǔ)數(shù)據(jù)來(lái)源于學(xué)習(xí)層的能力水平數(shù)據(jù)。不過(guò)，這種模態(tài)數(shù)據(jù)一般只能用來(lái)勾勒“學(xué)什么”需求，要達(dá)到畫(huà)像全息性要求，至少還需補(bǔ)增對(duì)“如何學(xué)”需求的勾勒，這涉及教師的學(xué)習(xí)狀態(tài)以及風(fēng)格偏好，它們可通過(guò)計(jì)算智能技術(shù)解析學(xué)習(xí)層的學(xué)習(xí)行為與體驗(yàn)數(shù)據(jù)以及屬性層的風(fēng)格偏好數(shù)據(jù)獲得。向教師提供智慧研修服務(wù)時(shí)，“學(xué)什么”需求是研修資源適性推薦的依據(jù)，“如何學(xué)”需求是個(gè)性化研修活動(dòng)推送的依據(jù)，這兩種服務(wù)要?jiǎng)討B(tài)生成才夠精準(zhǔn)(彭紅超等, 2019)。

(二)學(xué)習(xí)層：研修動(dòng)態(tài)的描繪

學(xué)習(xí)層是教師全息畫(huà)像的核心基礎(chǔ)部件，這里描繪關(guān)于研修動(dòng)態(tài)的一切，包括學(xué)習(xí)行為、學(xué)習(xí)體驗(yàn)、能力水平等方面的發(fā)展變化。

學(xué)習(xí)行為包括平臺(tái)記錄的學(xué)習(xí)印記、攝像機(jī)等攝錄的言談舉止(含筆跡)以及眼動(dòng)儀追蹤的眼動(dòng)數(shù)據(jù)三個(gè)方面。目前，學(xué)習(xí)印記和話語(yǔ)的監(jiān)測(cè)已成為常態(tài)，肢體動(dòng)作和筆跡的記錄技術(shù)也已成熟，微軟發(fā)布的3D體感攝像機(jī)Kinect，能夠跟蹤人體的25個(gè)骨骼節(jié)點(diǎn)，并能同時(shí)監(jiān)控六個(gè)人的肢體姿勢(shì)和手勢(shì)(MICROSOFT, 2014)。傳感器(如慣性傳感器)感知的肢體動(dòng)作更精密，IDEEA分析儀器(Intelligent Device For Energy Expenditure And Physical Activity)可分析行為多達(dá)45種以上，并且準(zhǔn)確度均高達(dá)98%以上。對(duì)于筆跡數(shù)據(jù)，數(shù)碼筆借助高速攝像頭和光學(xué)點(diǎn)陣技術(shù)，可精準(zhǔn)捕捉筆尖的運(yùn)動(dòng)軌跡、速度與受壓變化，感壓板借助電磁感應(yīng)技術(shù)同樣可以“還原筆跡”，并能感知100多頁(yè)厚度紙張的筆跡信息(張曉梅等, 2020)，這兩種方案不會(huì)對(duì)教師造成干擾，教師在普通紙上按照原有習(xí)慣書(shū)寫即可(數(shù)碼筆的紙張要求印有點(diǎn)陣圖案，不過(guò)幾乎不可見(jiàn))。眼動(dòng)數(shù)據(jù)同樣已成為描繪畫(huà)像的重要模態(tài)數(shù)據(jù)。眼動(dòng)儀能夠精準(zhǔn)追蹤眼睛的視點(diǎn)軌跡、注視的時(shí)間與次數(shù)，甚至是瞳孔變化。無(wú)論是桌面眼動(dòng)儀還是眼鏡式眼動(dòng)儀，均不會(huì)對(duì)教師的研修造成干擾，特別是Dikablis Glass 3能夠允許教師佩戴眼鏡參與研修。

學(xué)習(xí)體驗(yàn)是學(xué)習(xí)過(guò)程中的情感、認(rèn)知等心理反應(yīng)與感受，如學(xué)業(yè)情緒、認(rèn)知負(fù)荷、注意力水平等。除面部表情等少數(shù)心理活動(dòng)數(shù)據(jù)可以直接獲得外(本質(zhì)上，表情也是由面部數(shù)據(jù)推測(cè)計(jì)算而來(lái))，多數(shù)心理體驗(yàn)需要由腦電(EEG)、心電(ECG)、皮電(GSR)等生理數(shù)據(jù)表征。對(duì)于表情數(shù)據(jù)的獲取，現(xiàn)有的識(shí)別系統(tǒng)可以精準(zhǔn)識(shí)別30多個(gè)面部特征，實(shí)時(shí)監(jiān)測(cè)高興、悲傷等6-8種表情變化，并開(kāi)始具備微表情(持續(xù)時(shí)間僅為1/25-1/5秒的表情)識(shí)別(賁晛燁等, 2014)、遮擋修復(fù)能力。腦電數(shù)據(jù)是用電生理指標(biāo)記錄的大腦活動(dòng)變化，能夠揭示心理活動(dòng)的腦機(jī)制，特別是對(duì)事件敏感的ERP，它還可以揭示認(rèn)知加工的具體階段(魏景漢等, 2010)。腦電具有α、β、θ、δ等節(jié)律波，這些節(jié)律波組合使用可以監(jiān)測(cè)更多的心理活動(dòng)，比如使用(α+θ)/β、α/β、(α+θ)/(α+/β)、θ/β四個(gè)指標(biāo)表征腦疲勞(Jap et al., 2009)。心電數(shù)據(jù)表征心臟跳動(dòng)的電活動(dòng)變化，常用指標(biāo)有心率(HR)和心率變異性(HRV)，它們能夠表征教師的正負(fù)向情緒、抗壓能力(張琪等, 2016)。情緒喚醒與波動(dòng)會(huì)導(dǎo)致汗腺分泌變化，從而致使皮膚導(dǎo)電率變化(Boucsein, 2012)，皮電依此檢測(cè)心理反應(yīng)，特別是監(jiān)測(cè)不可規(guī)避行為下的低強(qiáng)度負(fù)向情緒(Fowles, 1988)。在教師教育真實(shí)場(chǎng)景中，這些模態(tài)數(shù)據(jù)可以由無(wú)線、可穿戴、便攜式的生理儀實(shí)時(shí)監(jiān)測(cè)得到(問(wèn)卷等自我報(bào)告數(shù)據(jù)不便于持續(xù)性監(jiān)測(cè)，此處不考慮)。

能力水平是重要的教育成效指數(shù)，短時(shí)間、間歇性的測(cè)評(píng)足夠監(jiān)控能力發(fā)展?fàn)顩r(Binder & Watkins, 1990)，因此常用的測(cè)試、練習(xí)成績(jī)依然是有效的教師畫(huà)像數(shù)據(jù)。除此之外，也可以通過(guò)大數(shù)據(jù)技術(shù)挖掘與分析過(guò)程中的表現(xiàn)以及認(rèn)知或情感反應(yīng)，得到更精準(zhǔn)的能力水平，如問(wèn)題解決能力(胡藝齡等, 2019)。對(duì)于比較穩(wěn)定且難以用試題測(cè)量的能力(如學(xué)習(xí)力、創(chuàng)造力等)，可以采用低成本方式獲取描繪——通過(guò)問(wèn)卷式表單定期監(jiān)測(cè)。

(三)屬性層：本體特征的刻畫(huà)

屬性層包括教師的基本特征與體征、學(xué)習(xí)風(fēng)格與偏好、學(xué)習(xí)效能感等方面?；咎卣髦饕侨丝趯W(xué)特征(如性別、年齡等)和社會(huì)學(xué)特征(如所教學(xué)科等)。在多模態(tài)學(xué)習(xí)分析時(shí)，前者主要用于標(biāo)識(shí)參訓(xùn)教師，后者用于初步識(shí)別學(xué)習(xí)共同體。這類數(shù)據(jù)不常變動(dòng)且結(jié)構(gòu)簡(jiǎn)單，一般以表單的形式自我報(bào)告獲取，也常從其他研修或管理系統(tǒng)導(dǎo)入。生命體征包括體溫、脈搏、心率、血壓等，這類多模態(tài)數(shù)據(jù)主要反映教師的健康指數(shù)，目前采用腕表監(jiān)測(cè)最便捷。

學(xué)習(xí)風(fēng)格與偏好是影響學(xué)習(xí)過(guò)程的重要因素，也是提供個(gè)性化學(xué)習(xí)服務(wù)的重要依據(jù)。雖然利用腦電(Deenadayalan et al., 2019)、眼動(dòng)(Cao & Nishihara, 2012)等模態(tài)數(shù)據(jù)表征風(fēng)格偏好已成為新趨勢(shì)，但利用表單式的自我報(bào)告獲取學(xué)習(xí)風(fēng)格與通過(guò)智能計(jì)算學(xué)習(xí)層數(shù)據(jù)推測(cè)學(xué)習(xí)偏好，依然是最成熟、有效的方式。風(fēng)格與偏好均是個(gè)體獲得與處理信息的某種穩(wěn)定性傾向，不宜改變，所以通常教師的自我報(bào)告以及系統(tǒng)的智能計(jì)算均是一次性的，不會(huì)對(duì)他們?cè)斐蛇^(guò)多的負(fù)擔(dān)。

學(xué)習(xí)效能感會(huì)顯著影響學(xué)習(xí)表現(xiàn)，并對(duì)學(xué)業(yè)成就有直接的正向影響。有研究表明，在50個(gè)心理因素中，效能感最具影響力(Richardson et al., 2012)。與風(fēng)格偏好不同，學(xué)習(xí)效能感與任務(wù)相關(guān)，隨任務(wù)的改變以及對(duì)任務(wù)認(rèn)識(shí)的發(fā)展而變化，需要實(shí)時(shí)監(jiān)測(cè)。作為一種積極心理狀態(tài)，效能感可通過(guò)腦電設(shè)備做到這一點(diǎn)(常用的自我報(bào)告式問(wèn)卷只能間歇性測(cè)量，且費(fèi)時(shí)費(fèi)力)。研究表明，采用腦電模態(tài)數(shù)據(jù)評(píng)估效能感，準(zhǔn)確度高達(dá)95.06% (Yu et al., 2020)。

圖2 教師全息畫(huà)像模型

三、基于教師全息畫(huà)像的個(gè)性化機(jī)制

在智慧研修中，全息畫(huà)像的主要用途是支持精準(zhǔn)決策與個(gè)性化服務(wù)，這需要適切的機(jī)制驅(qū)動(dòng)(見(jiàn)圖3)。

(一)智慧研修系統(tǒng)的動(dòng)力機(jī)制

自適應(yīng)逆控制理論(adaptive inverse control，AIC)指出，系統(tǒng)輸入與輸出的差距會(huì)驅(qū)動(dòng)自適應(yīng)算法激活控制器作出適性反應(yīng)，直到輸入輸出的差距達(dá)到可接受的范圍(Widrow, 1987)。遵照此理論，可以構(gòu)建智慧研修系統(tǒng)的動(dòng)力機(jī)制：研修的產(chǎn)出是能力，特別是教師知識(shí)技能(即“學(xué)會(huì)”)的提升。智慧研修系統(tǒng)將發(fā)展目標(biāo)與教師的知識(shí)技能作為輸入與輸出信號(hào)，這樣它們的差值便成為驅(qū)動(dòng)系統(tǒng)作出反應(yīng)的動(dòng)力。按照智慧研修的特點(diǎn)，這種動(dòng)力需要驅(qū)動(dòng)研修系統(tǒng)作出三方面的適性反應(yīng)：定研修內(nèi)容、定研修行為、定研修步調(diào)。

內(nèi)容的確定依據(jù)研修待解決的問(wèn)題，這種問(wèn)題即是與發(fā)展目標(biāo)對(duì)應(yīng)的知識(shí)技能短板(見(jiàn)圖3)。短板的探尋，通過(guò)遞歸算法思想即可實(shí)現(xiàn)(祝智庭等, 2016) 。

研修行為的確定，需要關(guān)注四個(gè)方面：第一，教師是否真的參與了研修，這是保障研修成效的重要前提，特別是在線研修環(huán)節(jié)；第二，教師是否有完成任務(wù)的信心；第三，教師是否處于適當(dāng)?shù)膶W(xué)習(xí)共同體且具有良好的狀態(tài)；第四，研修活動(dòng)是否符合教師的風(fēng)格偏好。它們對(duì)應(yīng)學(xué)習(xí)投入、效能感、特征與體征、風(fēng)格偏好四個(gè)要素(見(jiàn)圖3)。表征中間兩要素以及風(fēng)格的多模態(tài)數(shù)據(jù)均可以從全息畫(huà)像的屬性層中提取，學(xué)習(xí)偏好也可以利用大數(shù)據(jù)技術(shù)以及計(jì)算智能解析教師的學(xué)習(xí)行為數(shù)據(jù)得到，但學(xué)習(xí)投入是圖2全息畫(huà)像未有的。較有共識(shí)的觀點(diǎn)認(rèn)為，學(xué)習(xí)投入包括三個(gè)維度：認(rèn)知投入、情感投入、行為投入(Fredricks et al., 2004)。認(rèn)知投入是信息加工或理解意義的心智努力程度；情感投入是研修過(guò)程中表現(xiàn)出來(lái)的積極情緒或態(tài)度；行為投入是行為卷入程度，如投入時(shí)間、活動(dòng)強(qiáng)度等。容易理解的是，學(xué)習(xí)體驗(yàn)的多模態(tài)生理數(shù)據(jù)可以獨(dú)立監(jiān)測(cè)情感投入，除此之外，均需要學(xué)習(xí)體驗(yàn)和學(xué)習(xí)行為兩類數(shù)據(jù)共同表征，才能保證投入監(jiān)測(cè)的真實(shí)性(如剔除眼動(dòng)行為的心智游移部分)。

適性確定研修主要針對(duì)自主研修模式，在此模式下研修推進(jìn)的標(biāo)準(zhǔn)由時(shí)間變?yōu)橹R(shí)技能的精熟掌握。步調(diào)的確定依據(jù)教師的學(xué)習(xí)能力，作為能力水平的“會(huì)學(xué)”方面，是學(xué)習(xí)者獲得、掌握新知，并利用新知解決問(wèn)題的本領(lǐng)與品性，包括認(rèn)知本領(lǐng)和學(xué)習(xí)品性兩方面。前者涉及聽(tīng)說(shuō)理解、閱讀理解、計(jì)算能力、模仿能力、質(zhì)疑發(fā)問(wèn)、工具使用六個(gè)監(jiān)測(cè)指標(biāo)，后者涉及自我調(diào)控、學(xué)習(xí)效率、學(xué)習(xí)耐力、學(xué)習(xí)定向、團(tuán)隊(duì)協(xié)作、溝通交流六個(gè)監(jiān)測(cè)指標(biāo)?？梢钥闯?，學(xué)習(xí)能力與知識(shí)技能不同，它的監(jiān)測(cè)不僅需要學(xué)習(xí)行為數(shù)據(jù)，也需要學(xué)習(xí)體驗(yàn)中情感、認(rèn)知等模態(tài)數(shù)據(jù)的補(bǔ)充?，F(xiàn)實(shí)中，研修的時(shí)間不可能沒(méi)有限制，因此，步調(diào)的確定還需要考慮教師的學(xué)習(xí)速度。速度的計(jì)算，可以借用精準(zhǔn)教學(xué)中發(fā)展變速線斜率的計(jì)算公式表征(彭紅超等, 2017)。這里，速度僅用于判定研修時(shí)間是否會(huì)超過(guò)時(shí)間容忍度極值，以便教師有更靈活的學(xué)習(xí)步調(diào)。

圖3 智慧研修系統(tǒng)的動(dòng)力機(jī)制

(二)研修的個(gè)人路徑生成機(jī)制

研修過(guò)程中，教師個(gè)人的學(xué)習(xí)需求會(huì)動(dòng)態(tài)變化。為確保提供的服務(wù)與決策實(shí)時(shí)適時(shí)，教師的個(gè)人路徑應(yīng)動(dòng)態(tài)生成，即每次生成少量環(huán)節(jié)的路徑(1-3步為宜)，且教師每完成一個(gè)環(huán)節(jié)，修正一次。

當(dāng)前，個(gè)性化生成的路徑多是知識(shí)點(diǎn)、活動(dòng)或資源的編列，這種編列只顧及到學(xué)習(xí)的單個(gè)要素，難以起到有效幫扶作用，所以筆者倡導(dǎo)由學(xué)習(xí)元/包的編列組成路徑(彭紅超等, 2019)。學(xué)習(xí)元/包包括學(xué)具、活動(dòng)、資源三個(gè)核心要素，邏輯為利用學(xué)具開(kāi)展活動(dòng)學(xué)習(xí)資源。其中，“利用學(xué)具開(kāi)展活動(dòng)”是動(dòng)力機(jī)制確定的行為，“資源”是確定的內(nèi)容?？紤]到學(xué)習(xí)元/包的復(fù)用性，研修步調(diào)不作為其要素，而由智慧研修系統(tǒng)的管理模塊負(fù)責(zé)適配。

動(dòng)力機(jī)制旨在驅(qū)使研修結(jié)果(即教師的知識(shí)技能)與發(fā)展目標(biāo)的偏差趨近于零，這要求導(dǎo)向個(gè)人路徑生成要以發(fā)展目標(biāo)為依據(jù)(見(jiàn)圖3)。按照生成的路徑研修，教師能力會(huì)越來(lái)越接近發(fā)展目標(biāo)，二者差距的縮小將導(dǎo)致智慧研修系統(tǒng)作出適性反應(yīng)的動(dòng)力逐漸消退，直到達(dá)到平衡狀態(tài)。這即是動(dòng)力機(jī)制的支架消減效應(yīng)：隨著教師能力的提升，系統(tǒng)作適性反應(yīng)的強(qiáng)度會(huì)消減，學(xué)習(xí)主動(dòng)權(quán)逐步還給教師。

四、基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析方略

動(dòng)力機(jī)制驅(qū)動(dòng)研修系統(tǒng)作出精準(zhǔn)適性反應(yīng)的關(guān)鍵是從多模態(tài)數(shù)據(jù)中獲得富有價(jià)值的洞見(jiàn)(彭紅超等，2018)，這可以通過(guò)基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)分析實(shí)現(xiàn)，包括融合分析與精準(zhǔn)決策兩個(gè)環(huán)節(jié)。

(一)多模態(tài)數(shù)據(jù)融合分析

從全息畫(huà)像的刻畫(huà)角度看，多模態(tài)數(shù)據(jù)融合分析有三個(gè)層面：去偽存真、多維共描、多面臨摹。多模態(tài)數(shù)據(jù)融合分析連續(xù)統(tǒng)顯示了這三個(gè)層面的數(shù)據(jù)融合度及其融合分析法(見(jiàn)圖4)。

圖4 多模態(tài)數(shù)據(jù)融合分析連續(xù)統(tǒng)

去偽存真即是用更真實(shí)可靠的模態(tài)數(shù)據(jù)校驗(yàn)易“偽裝”的模態(tài)數(shù)據(jù)，減少畫(huà)像的噪聲。此分析的數(shù)據(jù)融合處于關(guān)聯(lián)層面，即根據(jù)相關(guān)性剔除虛假的數(shù)據(jù)，這種操作在數(shù)據(jù)分析中屬于數(shù)據(jù)預(yù)處理。需要此處理的模態(tài)數(shù)據(jù)有兩類：自我報(bào)告類和學(xué)習(xí)行為類。前者可以利用眼動(dòng)數(shù)據(jù)(如視點(diǎn)軌跡、注視的時(shí)間和次數(shù))來(lái)檢驗(yàn)教師自我報(bào)告，是否真的仔細(xì)閱讀了表單中的題項(xiàng)，利用腦電數(shù)據(jù)檢驗(yàn)是否有因表單過(guò)長(zhǎng)而疲勞，利用心率數(shù)據(jù)檢驗(yàn)教師是否有負(fù)向情緒。后者可以利用ERP數(shù)據(jù)或皮電數(shù)據(jù)檢驗(yàn)學(xué)習(xí)行為背后是否伴有必要的認(rèn)知加工和情緒變化(如是否“皮笑肉不笑”)。一般來(lái)講，此處的預(yù)處理只需要布爾運(yùn)算得到數(shù)據(jù)的真假即可，無(wú)需關(guān)注各類模態(tài)數(shù)據(jù)表征的構(gòu)念水平。但很多時(shí)候，諸如生理反應(yīng)等校驗(yàn)數(shù)據(jù)要達(dá)到一定的強(qiáng)度才可驗(yàn)證真?zhèn)?，因此，需?jǐn)慎設(shè)定此類模態(tài)數(shù)據(jù)的閾值。

多維共描即利用多模態(tài)數(shù)據(jù)的共一性多維度地描繪同一局部畫(huà)像。此分析需要將畫(huà)像輪廓疊加在一起，以顯現(xiàn)局部畫(huà)像的全部輪廓特征，這對(duì)認(rèn)知與情緒等心理活動(dòng)的全息描繪尤為重要。認(rèn)知方面，將具有高時(shí)間分辨率優(yōu)勢(shì)的EEG和高空間分辨率的fMRI(功能磁共振成像)兩種模態(tài)數(shù)據(jù)疊加，可以得到精準(zhǔn)腦區(qū)位置的精細(xì)認(rèn)知活動(dòng)。常見(jiàn)的疊加方法有三種(Vitali et al., 2014)：基于fMRI數(shù)據(jù)的腦電分析法、基于腦電數(shù)據(jù)的fMRI分析法、聯(lián)合獨(dú)立分析法(independent component analysis， ICA)。情緒方面，將心率、心率變異性、呼吸變異性(respiration variability)等模態(tài)數(shù)據(jù)疊加，可以得到學(xué)業(yè)情緒的生理機(jī)制圖譜(Rainville et al., 2006)(見(jiàn)圖5)。多維共描主要涉及標(biāo)準(zhǔn)差、均方根、主成分分析、方差分析等統(tǒng)計(jì)方法，必要時(shí)還需構(gòu)建數(shù)學(xué)模型。

圖5 學(xué)業(yè)情緒的生理機(jī)制圖譜

多面臨摹即利用多模態(tài)數(shù)據(jù)的互補(bǔ)性多側(cè)面地描摹教師的研修畫(huà)像。此分析需要將局部畫(huà)像拼接在一起，形成研修畫(huà)像的完整視圖，其過(guò)程分三步：第一步，各局部畫(huà)像的特征向量匯聚在一起，形成高維特征向量空間；第二步，通過(guò)映射或變換(如距離可分性測(cè)度變換法)將高維空間降至更能突顯本質(zhì)特征的低維空間；第三步，通過(guò)大數(shù)據(jù)挖掘與學(xué)習(xí)分析技術(shù)(如決策樹(shù)算法、貝葉斯算法)獲悉低維空間中蘊(yùn)含的教師學(xué)習(xí)規(guī)律或趨勢(shì)(即學(xué)習(xí)模式)。容易發(fā)現(xiàn)，多面臨摹需要借助計(jì)算機(jī)算法完成，如果需要實(shí)時(shí)修正得到的學(xué)習(xí)模式，還需借助基于人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法(如深度學(xué)習(xí)算法)。另外，第一步匯聚局部畫(huà)像時(shí)，需要理論框架的支撐，明確完整視圖涵蓋哪些組成部分，著名的梅拉賓(Mehrabian)情感表達(dá)框架(Mehrabian, 1968)即是典型范例：55%面部表情、38聲調(diào)變化、7%語(yǔ)言表達(dá)。

(二)適應(yīng)性精準(zhǔn)決策

多模態(tài)數(shù)據(jù)融合分析的產(chǎn)出是教師的學(xué)習(xí)模式，即智能機(jī)器的知識(shí)，而人的知識(shí)是從信息中獲得的見(jiàn)解。在發(fā)展目標(biāo)轉(zhuǎn)化決策準(zhǔn)則指引下，智能機(jī)器可判定學(xué)習(xí)模式存在的問(wèn)題，作出適性的精準(zhǔn)決策。決策原理涉及精準(zhǔn)教學(xué)、失敗中學(xué)、個(gè)性化學(xué)習(xí)三種理念(見(jiàn)圖6)，即以精準(zhǔn)教學(xué)中的知能流暢度和學(xué)習(xí)速度為指標(biāo)(彭紅超等, 2017)，判定當(dāng)前是否存在問(wèn)題、預(yù)判未來(lái)是否存在問(wèn)題。如果當(dāng)前存在問(wèn)題，說(shuō)明教師的某個(gè)研修活動(dòng)已失敗，啟動(dòng)失敗中學(xué)機(jī)制，找到原因及時(shí)補(bǔ)救。如果未來(lái)存在問(wèn)題，則啟動(dòng)個(gè)性化學(xué)習(xí)機(jī)制，適性調(diào)整研修策略，改變結(jié)局。

當(dāng)智慧研修系統(tǒng)的教師研修數(shù)據(jù)量較小時(shí)，可采用米勒(Mill)因果判定三條件找尋原因：1)原因先于結(jié)果發(fā)生；2)原因與結(jié)果共變；3)原因不出現(xiàn)，結(jié)果就不出現(xiàn)。不過(guò)，教育是復(fù)雜的系統(tǒng)，有時(shí)難以判別第三個(gè)條件。鑒于腦電等生理模態(tài)數(shù)據(jù)多為時(shí)序數(shù)據(jù)，此時(shí)可改用格蘭杰(Granger)因果分析，事前需用迪基—富勒檢驗(yàn)變量的平穩(wěn)性(Granger, 1969)。當(dāng)智慧研修系統(tǒng)的研修數(shù)據(jù)龐大至大數(shù)據(jù)級(jí)別時(shí)，可直接用相關(guān)關(guān)系取代因果關(guān)系找尋原因，相關(guān)關(guān)系分析成熟且相對(duì)簡(jiǎn)易。

常用于個(gè)性化學(xué)習(xí)的算法有基于內(nèi)容的算法(按照過(guò)去的成功經(jīng)驗(yàn)決策)、基于知識(shí)的算法(教師與教師直接對(duì)話，根據(jù)得到的需求決策)、協(xié)同過(guò)濾算法(按照他人的成功經(jīng)驗(yàn)決策)、混合算法(三者融合)等。這幾種算法各有利弊，需要按照實(shí)際需求自動(dòng)切換，這涉及人工智能的機(jī)器學(xué)習(xí)算法，可用的三類算法是深度學(xué)習(xí)(對(duì)同問(wèn)題作出同決策)、強(qiáng)化學(xué)習(xí)(對(duì)同問(wèn)題作出新決策)、遷移學(xué)習(xí)(對(duì)類似問(wèn)題作出自動(dòng)決策)。不過(guò)，機(jī)器學(xué)習(xí)一般需要冗長(zhǎng)的迭代學(xué)習(xí)過(guò)程，且需要大量的數(shù)據(jù)集作為學(xué)習(xí)樣本。這可基于矩陣偽逆思想確定人工神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值，即權(quán)值直接確定法 (張雨濃等, 2010)。這種方法不用迭代訓(xùn)練，便可極大提高學(xué)習(xí)速度，并且精準(zhǔn)度遠(yuǎn)高于機(jī)器的迭代訓(xùn)練結(jié)果。

圖6 適應(yīng)性精準(zhǔn)決策儀表盤

五、結(jié) 語(yǔ)

雖然不同學(xué)科對(duì)多模態(tài)的認(rèn)識(shí)不同，但這些認(rèn)識(shí)相互聯(lián)通且成體系，并均認(rèn)為人的認(rèn)知和社會(huì)互動(dòng)是多模態(tài)的。多模態(tài)數(shù)據(jù)全面、精準(zhǔn)、真實(shí)、動(dòng)態(tài)的優(yōu)勢(shì)，造就其全息臨摹教師畫(huà)像的潛能，這種全息性涵蓋屬性層、學(xué)習(xí)層、愿景層三個(gè)層面，其中愿景層關(guān)注發(fā)展期望的勾勒，學(xué)習(xí)層關(guān)注研修動(dòng)態(tài)的描繪，屬性層關(guān)注本體特征的刻畫(huà)?；诖祟惾?huà)像的智慧研修系統(tǒng)需要適切的機(jī)制驅(qū)動(dòng)其提供多模態(tài)精準(zhǔn)決策與個(gè)性化服務(wù)，具體涉及適性的動(dòng)力機(jī)制和個(gè)人路徑生成機(jī)制。當(dāng)然，這需要適切的多模態(tài)學(xué)習(xí)分析方略，包括涵蓋去偽存真、多維共描、多面臨摹三個(gè)層面的多模態(tài)數(shù)據(jù)融合分析方略以及涉及精準(zhǔn)教學(xué)、失敗中學(xué)、個(gè)性化學(xué)習(xí)三種學(xué)習(xí)理念的適應(yīng)性精準(zhǔn)決策方略。

鑒于智能研修系統(tǒng)由原始決策水平進(jìn)步到適應(yīng)特定研修情境與模式的高精準(zhǔn)水平，需要一定的學(xué)習(xí)過(guò)程與時(shí)間(即使采用權(quán)值直接確定法，也需要時(shí)間制作訓(xùn)練樣本集)，并且不同研修主題的學(xué)習(xí)情境也不同，原本高精準(zhǔn)的決策可能因此變得低效，甚至無(wú)效。所以，基于多模態(tài)數(shù)據(jù)的智慧研修同樣需要人機(jī)協(xié)同。

多模態(tài)數(shù)據(jù)能夠更清晰地揭示教師的學(xué)習(xí)機(jī)理與狀態(tài)，幫助教師了解自己研修過(guò)程中無(wú)形的心理、認(rèn)知與元認(rèn)知過(guò)程。此類數(shù)據(jù)作為反饋信息反饋給教師，或許可增強(qiáng)教師自我調(diào)節(jié)的能力與意識(shí)，提高研修成效。這將是本研究團(tuán)隊(duì)后續(xù)的工作重點(diǎn)和方向。