吳彥文，邵風華，葛 迪，韓 園，熊栩捷，陳美依，杜昱銘

（1.華中師范大學 國家數(shù)字化學習工程技術研究中心；2.華中師范大學 物理科學與技術學院，湖北 武漢 430079；3.武漢朱雀聞天科技有限公司，湖北 武漢 430000）

0 引言

圍繞學習個體展開精準化教學診斷是提高教學質量的關鍵［1］。其中，評估學習投入是精準化教學診斷的重要內(nèi)容之一［2-3］。學習投入是指個體表現(xiàn)出的充沛精力、靈活性、熱情及心理韌性［4］，是學習過程的重要特征變量［5］。當前，大量研究仍圍繞傳統(tǒng)方法的組合或迭代探索學習投入測量指標，基于多模態(tài)數(shù)據(jù)表征學習投入狀態(tài)的研究較少［6］。多模態(tài)數(shù)據(jù)融合能利用數(shù)據(jù)間的信息互補機制［7-8］，從多維時空尺度實現(xiàn)精準刻畫學習投入［9-10］。因此，如何利用數(shù)據(jù)間的三角互證關系精準刻畫學習投入狀態(tài)是現(xiàn)階段亟需解決的問題。

本文助力教師精準評測學生學習狀態(tài)，擬建立基于多模態(tài)數(shù)據(jù)的學習投入測評框架，聯(lián)合文本模態(tài)與視覺模態(tài)數(shù)據(jù)輸出多維度學習投入特征值的分類結果，最終將實現(xiàn)學習投入畫像的可視化效果，為教學診斷提供新視角。同時，為了驗證模型的有效性，將依托華中師范大學“小雅”平臺采集學習數(shù)據(jù)并開展教學實踐。

1 學習投入相關研究

學習投入作為學習評估重要的觀測指標［11］，涵蓋了行為、認知、情感等因素［12］。張治等［13］構建學習行為投入測量指標，發(fā)現(xiàn)行為投入與學業(yè)成績間存在顯著關系。當學習行為從個體行為轉向涵蓋協(xié)作與討論活動的社會性行為，學習投入研究也面臨著從“個體—外顯特征”向“群體—內(nèi)隱特征”轉型。在早期研究中，馬志強等［14］發(fā)現(xiàn)社會性學習行為和情感投入、認知投入存在顯著相關性。隨后，研究發(fā)現(xiàn)多模態(tài)數(shù)據(jù)分析能實現(xiàn)學習行為與各類投入間的量化測評。王小根等［15］基于多模態(tài)數(shù)據(jù)探索了情感投入與協(xié)作學習間的內(nèi)在規(guī)律，實現(xiàn)了學習者的情感狀態(tài)識別。田浩等［16］基于多模態(tài)表征框架量化得到協(xié)作認知投入數(shù)值。

從多維學習投入分析出發(fā)，吳軍其等［17］從行為、認知和情感維度構建協(xié)作學習投入度分析模型，發(fā)現(xiàn)每一模態(tài)數(shù)據(jù)均具有與學習投入度呈相關關系的特征變量。然而，不同學習者在各維度的投入并不均衡，基于各維度的學習投入分析將更細致地表征學習者。李新等［18］將行為投入、認知投入和社會投入納入?yún)f(xié)同學習投入表征模型，發(fā)現(xiàn)各維度間的學習投入存在一定的內(nèi)生關系。以上研究表明，學習投入測評對評估學習者學習狀態(tài)具有積極作用，當前研究主要聚焦于多模態(tài)數(shù)據(jù)下行為投入、認知投入、情感投入和社交投入，但在學習行為模式、多維投入層次和教學實踐探索等整體結構性方面仍存在研究空間。

綜上所述，本文將綜合分析不同學習活動產(chǎn)生的數(shù)據(jù)，基于多模態(tài)數(shù)據(jù)的學習投入表征模型從學習者的不同投入維度特征劃分學習群體，輔助開展后續(xù)教學活動。相較于以往研究而言，本文采用多特征融合的學習投入模型預測學生不同維度的投入特征，并在協(xié)作學習模式上采取分組策略研究，以期在教學實踐應用方面有所突破。

2 多模態(tài)數(shù)據(jù)下的學習投入表征模型

本文從多維時空信息源出發(fā)，利用多模態(tài)數(shù)據(jù)互相輔助、監(jiān)督不同模態(tài)的語義信息，得到多維投入的高低特征。同時，將融合后的特征向量作為學習者的隱向量，實現(xiàn)學習投入特征分類，以提高教學診斷的細度。

2.1 多模態(tài)數(shù)據(jù)采集與預處理

本文以信息技術與物理課程整合課程為例，依托“小雅”平臺智能采集多模態(tài)數(shù)據(jù)，從參與行為、社會網(wǎng)絡、認知、情感4 個維度構建學習者的學習投入特征畫像，具體數(shù)據(jù)流程框架如圖1所示。

圖1 中s1為教學資源的獲取與利用，s2為信息化教學工具的運用，s3為移動教學模式下的教學設計，s4為小組協(xié)同模式下的教學設計，s5為基于社會化軟件的教學實踐，s6為信息化環(huán)境下的教學評價。在每次課程中，s1-s6過程均包括多個具體的學習活動，且交織形成多模態(tài)學習行為數(shù)據(jù)。例如，信息化教學環(huán)境下的教學評價的知識點課程教學過程中，學習活動包括觀看發(fā)布的視頻、提交自評和互評作業(yè)、在討論區(qū)參與發(fā)帖等。通過采集與后期分析處理多模態(tài)數(shù)據(jù)，能最大限度客觀全面地還原學生學習過程。

Fig.1 Data flow framework of multi-learning engagement feature portrait圖1 多維學習投入特征畫像的數(shù)據(jù)流程框架

本文采取Scrapy+Selenium 數(shù)據(jù)爬取方案，從“小雅”平臺上獲取靜態(tài)、動態(tài)頁面數(shù)據(jù)，解析得到目標元素。其中，文本資源主要包括協(xié)作學習文本、教學設計文本、在線平臺日志、調查問卷、自評互評文本；視頻資源包括教學實踐視頻和協(xié)作學習視頻。爬取數(shù)據(jù)后，通過數(shù)據(jù)清洗提高數(shù)據(jù)質量，主要步驟為：①去除重復數(shù)據(jù)、噪音數(shù)據(jù)和臟數(shù)據(jù)；②補全填充缺失數(shù)據(jù)；③依據(jù)資源ID 合并資源屬性。

由于教學設計文本的語義表達相對專業(yè)、視頻語音信息的語義表達更通俗，借助視覺數(shù)據(jù)補充能更準確地對齊多模態(tài)數(shù)據(jù)并表征視頻內(nèi)容。為此，針對視頻數(shù)據(jù)的預處理主要包括以下3 點：①根據(jù)教學設計文本，將視頻分割為語義相對完整的片段；②從視頻片段中抽取最能表征該片段特點的關鍵幀；③處理分割后的視頻片段，形成一段字幕文本。經(jīng)過數(shù)據(jù)爬取、清洗和預處理過程，將存儲具有語義結構的數(shù)據(jù)，作為學習投入特征提取的基點。

2.2 多特征融合的學習投入模型

多特征融合的學習投入模型主要由基于Transformer［19］的文本特征提取器、基于FasterR-CNN［20］的圖像特征提取器和多模態(tài)融合組件3 個部分構成。具體的，本文使用詞級預訓練Transformer 提取文本語義特征生成隱層特征向量；采用FasterRCNN 檢測視頻中與信息化教學行為相關的目標；通過多模態(tài)融合組件得到學習者特征向量并實現(xiàn)分類預測。模型整體架構如圖2所示。

Fig.2 Multi feature fusion learning engagement model architecture圖2 多特征融合的學習投入模型架構

2.2.1 Transformer文本特征提取器

由于學習文本數(shù)據(jù)為短文本，本文采用Transformer 提取特征。例如給定一個教學設計文本序列X={ω1，ω2，…，ωi}，其中ωi為輸入序列的詞語，i∈[1，n]，具體建模方法為：

模型輸入ωi經(jīng)過嵌入層We處理后，轉換為低維稠密的特征向量，向量維度為dmodel。采用與Transformer 原文一致的位置編碼，將初始化詞的嵌入ei和位置嵌入pi相加，通過Multi-head attention 挖掘文本信息hi。為充分挖掘文本數(shù)據(jù)到多維學習投入特征，本文對學習文本編碼的訓練目標是最小化網(wǎng)絡損失函數(shù)：①輸入文本信息hi，經(jīng)過平均池化后預測學習投入標簽類目；②將輸入文本信息的15%采用隨機遮蔽處理，使用Mask 標記替代，通過預測缺失提高語義表征能力。

2.2.2 FasterRCNN圖像特征提取器

物理教學實踐視頻由任意大小P×Q的圖像拼接而成，將關鍵幀圖像縮放到固定大小M×N后輸入特征提取網(wǎng)絡，經(jīng)過POI Pooling 得到候選區(qū)域特征圖，使用全連接層映射到固定維度。

其中，F(xiàn)v為全連接層，vj為FasterR-CNN 的卷積特征，為固定維度后的特征。

2.2.3 Attention多模態(tài)融合

將文本特征hi與圖像特征rj進行融合，并挖掘多模態(tài)間的關聯(lián)。計算學習文本中對應詞與圖像中對應區(qū)域間的相關度Si，j。

其中，為hi的轉置。

由于學習活動中的文本與關鍵幀圖像存在內(nèi)在關系，因此對齊文本語義信息與關鍵幀圖像的視覺信息。

其中，為詞的視覺信息表示為關鍵幀圖像的語義信息表示。

為保證不同量綱數(shù)值相乘的有效性，相同運算文本模態(tài)與視頻模態(tài)中的單個分量，采用Softmax 對注意力得分進行歸一化處理。

隨后，采用同一個投影層對拼接后的矩陣進行投影映射。

2.2.4 分類標簽輸出

經(jīng)過參數(shù)矩陣Fe得到學習者特征向量Uf，最大池化大小為1 ×dmodel，步長為1。將Uf作為隱藏向量經(jīng)過全連接層Ff，得到模型預測的學習投入類別。

3 實踐結果與分析

本文選取華中師范大學物理科學與技術學院近3 年390 名師范生，整合信息技術與物理課程48 752 條有效數(shù)據(jù)進行學習投入畫像研究。

3.1 在教學診斷評估中的應用

學習投入畫像能輔助教師監(jiān)測、了解學生學習態(tài)度和行為分布狀況，有利于教師實施教學干預，促進學生學業(yè)成就。為便于教師教學診斷應用，本文實現(xiàn)了學習投入特征的可視化呈現(xiàn)。同時，根據(jù)分類標簽將學習者劃分為高投入團結型、高投入散漫型、中投入普通型、低投入團結型和低投入散漫型5 類。限于篇幅，本文僅以A 學習者為例展示學習投入畫像，如圖3所示。

Fig.3 Learning engagement portrait of student A圖3 A學習者的學習投入畫像

由圖3 可見，高投入團結型群體占比12.3%，該群體善于在協(xié)作中提出問題，具備較強的思辯能力，教師可讓其擔任小組協(xié)作的主導者；高投入散漫型群體占比21.5%，該群體在協(xié)作學習中往往被動接受信息，但個體學習行為突出，教師可引導其認識協(xié)作的意義，促使學生投入?yún)f(xié)作共建；中投入普通型群體占比43.9%，該群體個性不突出，教師應加強關注該類學生，激發(fā)其學習興趣，促使學生向高投入團結型轉化；低投入團結型群體占比9.2%，該群體有時存在學習困難，但積極參與協(xié)作，教師可實施目標分層與作業(yè)分層，提高學生自我效能感；低投入散漫型群體占比13.1%，該群體的行為參與度與學習需求度均有所欠缺，教師應適時采取直接教學干預和督學檢查措施。

綜上，基于學習投入畫像的診斷評估方法可幫助教師快速、精準地了解學生學習投入狀況，促進教師分類分層教學，為協(xié)作分組提供決策依據(jù)，具有一定的現(xiàn)實意義。

3.2 在協(xié)作分組策略中的應用

學習者的學習投入特征是從多模態(tài)數(shù)據(jù)中抽象出的個人特質?；诮M間同質、組內(nèi)異質的分組策略開展協(xié)同學習，能有效開展合作學習。為此，本文要求學生以5 人為單位完成一份教學設計，每組角色包括提問者、回答者、爭論者、協(xié)調者和反思者。實驗選取40 名學生組成對照組和實驗組各4 個。其中，對照組采取隨機分組方式；實驗組提問者選取高投入團結型學生，其余4 名成員分別來自其他4 個類型。為了保證基于投入特征的協(xié)作分組有效性，實驗結束后分析8 個小組的學習效果（見圖4），然后對兩組學生開展?jié)M意度評價調查，如表1所示。

Fig.4 Learning situation analysis of differentiation team圖4 差異化小組學情統(tǒng)計

Table 1 Student satisfaction evaluation form in grouping strategy表1 學生分組滿意度評價表

由圖4、表1 可見，不同分組策略將影響協(xié)作學習效果。實驗組中，高投入團結型學生作為提問者充分發(fā)揮了學生主體作用；高投入散漫型和低投入團結型學生形成優(yōu)勢互補，促進了學生投入風格的“相互強化”；中投入普通型和低投入散漫型學生的角色責任落實明確，參與積極性顯著提高。因此，教師基于學習投入特征進行協(xié)作分組，采用互補方式劃分小組將有利于學生培養(yǎng)責任感，角色分工更明確，整體向協(xié)作精神更強的趨勢轉換。

4 結語

由于多模態(tài)學習數(shù)據(jù)極大豐富了學習投入的特征表示，本文提出基于多模態(tài)數(shù)據(jù)的學習投入特征模型。隨后根據(jù)學習投入畫像進行診斷評估，以期為教師實施個性化教學與協(xié)作分組策略提供參考，提升了學生投入水平和協(xié)作精神。

隨著信息化教學與學科知識的深度融合，下一階段將主要關注基于學習投入的認知圖譜助力教師“以學定教”。從學習投入特征中挖掘學習目標達成情況、學習偏好和認知水平等屬性。對于未達成的學習目標，利用認知圖譜歸因分析能有效輔助教師進行教學診斷，提升協(xié)作分組活動的效率。