林梓柔 閆寒冰

[摘 ? 要] 教師信息化教學能力是體現教育信息化深度融合成效的關鍵。為探索一種證據易獲得、分析自動化、反饋可持續(xù)的測評手段，文章提出了基于預訓練的教師信息化教學微能力自動識別方法。具體為，基于包含學情分析、教學設計、學法指導和學業(yè)評價4個維度的13項微能力，利用基于預訓練的深度學習模型對16，371條信息化課堂評課反饋文本進行實驗。遞進式實驗結果表明，相比傳統(tǒng)深度學習模型，預訓練模型普遍具有更高準確率，最高能提升16%。領域通用語料的預訓練有效解決了教育領域自建數據匱乏的現實問題；在預訓練模型中，ERNIE以86.43%的準確率取得了最優(yōu)性能，混淆誤差小。該方法能夠基于評課文本自動化識別并可視化表征教師信息化教學微能力，提供常態(tài)化反饋支持。最后，文章闡述了其在教師教研、能力畫像和發(fā)展決策中的應用場景，并提出后續(xù)研究方向。

[關鍵詞] 信息化教學； 微能力； 聽評課； 深度學習； 預訓練

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 林梓柔（1996—），女，廣東茂名人。博士研究生，主要從事智能教育、培訓專業(yè)化、信息化教學教研研究。E-mail：Lzirou@126.com。

一、引 ? 言

技術在推陳出新中不斷與教育教學深度融合，教師信息化教學能力是體現教育信息化深度融合的關鍵。教育部在《關于實施全國中小學教師信息技術應用能力提升工程2.0的意見》[1]中對通過“整校推進”提升教師信息化教學能力提出期待和要求。在工程推進中，能力測評作為反促教師信息化教學能力的手段，受到研究者的關注。2021年，教育部教師工作司發(fā)布《全國中小學教師信息技術應用能力提升工程2.0校本應用考核指南》[2]，將“教師信息化教學能力測評”作為重點內容。其依據微認證思路，將不同教學環(huán)境下的信息化教學能力解構為多項微能力，指明了能力本位、證據支持、精準測評的邏輯和取向，采用基于過程考核和成果考核的證據驅動測評方法。然而，在大規(guī)模信息化教學能力提升項目中，對全體教師進行教學研培證據收集、分析與認證是一項長周期、高難度、高成本的工程。在教育數字化轉型浪潮下，大數據與人工智能不斷驅動教育測評范式變革。能否在遵循測評內涵基礎上，探索一種證據易獲得、分析自動化、反饋可持續(xù)的信息化教學微能力識別方法是值得關注的問題。因此，本研究立足教師信息化教學微能力，采集信息化課堂評課文本，利用深度學習實現微能力自動識別，為課堂改進、教師教研、校本考核提供支撐。

二、相關研究

（一）教師信息化教學微能力

信息化教學微能力是對信息化教學能力的細粒度解構。盡管在不同視域下，研究者對信息化教學能力的內涵界定不盡相同，但指向一個共識：信息化教學能力立足課堂真實情境，關注教師如何應用信息技術支持教學活動設計、實施與評價，以促進教師的“教”與學生的“學”[3]。對信息化教學能力內涵解構的要素或維度是微能力自動識別的理論支撐。面向中小學教師，駱舒寒等從國培成效視角將教師信息化教學能力劃分為信息化教學知識、信息化教學技能、信息化教學能力和信息化教學教育觀念[4]；孫妍妍等則在“停課不停學”期間從教學效果、反思與計劃和信息技術能力角度開展大規(guī)模調研[5]；閆寒冰等從關注差異的角度評價信息化課堂中的教學設計、教學實施、教學效果、教師素質等[6]?？梢园l(fā)現，基于問卷調研進行主觀視角測評能夠靈活調整以適應各類情境，但具有粒度粗、主觀性強等不足。面向“改進結果評價、強化過程評價”的評價理念，教師信息化教學能力測評有必要更加聚焦課堂情境、關注微能力點，立足客觀證據。因此，《全國中小學教師信息技術應用能力提升工程2.0校本應用考核指南》提供了指導，所附的《中小學教師信息化教學能力測評指南》（簡稱《測評指南》）提出教師利用信息技術進行學情分析、教學設計、學法指導和學業(yè)評價所需的30項微能力，分別適于多媒體教學環(huán)境、混合學習環(huán)境、智慧學習環(huán)境。已有研究明確了信息化教學微能力識別的必要性，政策指南則為信息化教學微能力自動識別提供了理論依據。

（二）聚焦課堂情境的評課反饋文本

《測評指南》提出，過程考核關注教師個人信息化教學能力提升計劃、課程學習記錄，以及校本研修與實踐應用情況，成果考核關注教師與本校信息化環(huán)境相適應的信息化教學應用成果。這對能力提升工程成效檢驗非常重要，但長周期、多樣態(tài)的證據鏈不利于教師在常態(tài)化教學中獲得即時動態(tài)的反饋。隨著聽評課應用普及，依托信息化課堂實錄進行在線聽評課成為中小學教師在線教研的有效手段[7]?；谝苿勇犜u課，任何教師可在課堂實錄的任意時間戳發(fā)布評課反饋，為任課教師提供實時細微的點評和建議。這些反饋文本映射了任課教師在信息化教學設計、實施和評價過程中的表現[8]，為聚焦課堂情境的教師信息化教學微能力自動識別提供了可能。同時，利用文本模態(tài)的同伴反饋進行能力識別和分析是便捷可行的。Rico-Juan等利用機器學習檢測同伴評估分數和反饋文本的一致性，證明了反饋文本的語義特征能夠預測同伴任務水平[9]。此外，汪維富等構建了教師評課反饋分析模型，可依據文本內容判斷評課反饋傾向和類型[10]，印證了反饋文本分析對聽評課成效診斷的支持，以及反饋文本識別自動化的必要性?？傊?，利用評課反饋文本進行教師信息化教學微能力識別具有以下優(yōu)點：一是情境化。評課文本覆蓋課堂全程，反映教師在各個環(huán)節(jié)的能力，是教師信息化教學能力在課堂情境的集中體現。二是精準性。由于評課文本短小精悍，少了篇章文檔的前后文語境，因此一條評課文本通常僅描述一個問題，符合精準表征某項微能力的細粒度需求。三是客觀性。不同于主觀報告，評課文本是同伴教師對任課教師課堂教學客觀、真實的反饋。

（三）基于預訓練的深度學習文本分類方法

文本識別與分類是人工智能領域的研究熱點。國內外學者對文本分類問題開展了諸多研究，算法實現主要有機器學習和深度學習。機器學習算法包括樸素貝葉斯、邏輯回歸和支持向量機等[11]。但基于機器學習的文本分類忽略詞間和句間的關系，對高維數據的處理能力較差。自深度學習[12]被提出后，成了自然語言處理的主流選擇，卷積神經網絡（CNN）、深度金字塔卷積神經網絡（DPCNN）、循環(huán)神經網絡（RNN）、循環(huán)卷積神經網絡（RCNN）等模型在文本分類中取得更出色的效果[13]，同時也被引入教育領域進行應用[14-15]。深度學習模型解決文本分類問題的一般流程為：將數據集進行預處理和文本表征后輸入模型，通過迭代訓練實現學習并分類。數據數量和質量對模型的性能有直接影響，而教育領域特定主題的文本數量不夠龐大，傳統(tǒng)深度學習模型難以引入外部數據支持以優(yōu)化訓練樣本。為提升小樣本問題的分類準確性，基于預訓練的深度學習模型在文本分類中受到關注，常見模型有BERT、XLNET和 ERNIE等。其邏輯是先利用領域通用語料庫的大數據集進行訓練，在不需要人工標注的情況下模型自主學習并獲得較優(yōu)參數，在此基礎上再根據特定任務微調模型，實現更好的分類性能[16]。因此，本研究在信息化教學微能力自動識別任務中創(chuàng)新引入基于預訓練的深度學習模型。

三、研究設計

（一）教師信息化教學微能力框架

前期研究結果發(fā)現，當前我國60%～80%的中小學仍基于多媒體教學環(huán)境開展信息化教學[3]。因此，本研究從《測評指南》提取面向多媒體教學環(huán)境的微能力框架，信息化教學能力包括學情分析、教學設計、學法指導和學業(yè)評價4個維度，同時解構為技術支持的學情分析、教學資源設計、學習過程設計、學習活動設計、技術支持的課堂導入、技術支持的課堂講授、技術支持的總結與提升、技術支持的方法指導、技術支持的小組學習、技術支持的展示交流、評價量規(guī)設計與應用、評價數據的伴隨性采集、數據可視化呈現與解讀共13個微能力點，每個微能力點提供了對應的評課文本示例，具體見表1。

（二）數據來源

實驗數據由兩部分組成：其一是用于預訓練的教育通用語料庫，使用“清華大學自然語言處理與社會人文計算實驗室”提供的THUCNews數據集中的教育類子集，包含41，936篇文檔。其二是自建數據集，來源于某移動聽評課系統(tǒng)，該系統(tǒng)可支持教師直播課堂教學或回傳課堂實錄，評課教師可使用移動設備通過彈幕實時發(fā)布數量不限的評課文本。本研究采集了“能力提升工程2.0”項目部分單位的評課文本并進行脫敏處理，數據來源方對數據的研究用途已知情。

（三）實驗過程

基于預訓練的教師信息化教學微能力識別任務包括數據采集與清洗、語料標注、文本預處理、模型預訓練、模型調優(yōu)與驗證等步驟，實驗流程如圖1所示。

1. 數據采集與清洗

本研究從移動聽評課系統(tǒng)共采集到18，247條評課文本。為保證數據質量，將所采集的文本進行匯總后，按以下規(guī)則進行清洗：（1）刪除空值；（2）剔除重復的、復制轉發(fā)的、與課堂教學無關的內容；（3）校正分句、短句和拼寫錯誤。最終得到16，371條評課文本。

2. 語料標注

兩名研究助理對清洗后的評課文本進行語料標注。首先，研究者制定了“語料標注指南”，詳細介紹13項微能力的內涵與標準，并提供語料標注示例（見表1）。其次，兩名研究助理背對背共同標注1000條語料，統(tǒng)計兩者的標注結果。Kappa系數為0.87（0.81～1表示幾乎完全一致），說明研究助理對語料標注要求已達成高度共識，標注結果具有可靠性。最后，研究助理分工完成剩余語料標注工作，對標注結果按5%的比例進行質量抽查，準確率皆達到95%以上。

3. 文本預處理

首先去除評課文本的空格和表情符號，接著使用LAC（Lexical Analysis of Chinese）工具進行文本分詞，再使用哈工大中文停用詞表以優(yōu)化分詞結果，最后去除分詞中的低頻詞，低頻詞閾值為3。至此，用于微能力識別實驗的數據集就緒。

4. 模型預訓練

本研究選取BERT和ERNIE作為預訓練模型，以驗證它們在微能力識別任務中的效果。

（1）BERT模型。BERT（Bidirectional Encoder Representation from Transformers）是谷歌發(fā)布的基于Transformer的預訓練模型[17]。BERT引入兩個無監(jiān)督的學習任務進行預訓練：第一是預測句子詞語，對部分詞語隨機遮擋或替換，模型根據上下文信息預測該詞語。第二是預測下一個句子，模型從原句的下一個句子和隨機句子中進行學習。BERT在文本分類、問答推理等任務中表現優(yōu)異，適用于段落和句子級別的自然語言處理任務。由于原始BERT使用了以字為粒度切割的中文語料，并未考慮中文分詞，本研究選取基于全詞掩碼技術的BERT-wwm作為預訓練模型，使用THUCNews語料對 BERT-wwm進行預訓練。

（2）ERNIE模型。ERNIE（Enhanced Language Representation with Informative Entities）是百度在BERT基礎上提出的一種知識增強語義表示模型[18]。不同于BERT學習原始語言特征，ERNIE直接對先驗語義知識單元進行建模，增強了模型語義表示能力。在模型表現上，ERNIE在中英兩類語料測試中皆大幅度超越了BERT。ERNIE 3.0 使用包含純文本和知識圖譜的4TB語料庫進行預訓練，因此，本研究選取ERNIE 3.0作為預訓練模型。為了確保實驗有效性，本研究同樣使用THUCNews語料對ERNIE 3.0進行預訓練。

5. 模型調優(yōu)與驗證

模型調優(yōu)上，微調過程選擇了較小的學習率，使預訓練模型學習過程更加穩(wěn)定，從而得到較好的可行解。由于BERT等模型為適應大規(guī)模樣本預訓練，使用了省略偏移修正的Adam權重衰減方法作為優(yōu)化器，當其用在樣本較少的下游任務中會出現訓練不穩(wěn)定的問題，因此本實驗使用增加偏移修正的Adam權重衰減方法進行優(yōu)化。模型驗證上，使用準確率（Accuracy）、精準率（Precision）、召回率（Recall）和F1 Score作為評價指標。

四、研究結果

（一）數據集描述

本研究將16，371條評課文本按照6：2：2進行訓練集、驗證集和測試集劃分，最終得到訓練集9818條，驗證集3273條和測試集3280條，見表2。

（二）對比實驗設置

由于缺乏評課文本公開數據集和已有實驗，本研究利用自建數據集開展實驗，無法與基于同類數據集的已有識別任務進行效果比對，因此采用兩階段的遞進式實驗開展研究。第一階段，構建傳統(tǒng)深度學習模型對比實驗，使用的模型包括CNN、DPCNN、RNN和RCNN，以分析這些模型在微能力識別上的性能表現；第二階段，構建基于預訓練的深度學習模型對比實驗，使用的模型包括BERT、BERT-CNN、BERT-DPCNN、BERT-RNN、BERT-RCNN和ERNIE，評價與檢驗預訓練模型是否優(yōu)于傳統(tǒng)深度學習模型，同時選出性能最優(yōu)的模型，回答研究問題。

（三）模型參數設置

第一階段實驗各模型參數如下：詞向量的embedding維度為300，使用Xavier初始化模型參數，訓練數據集的批大小為128。其中，CNN的卷積核數量設置為256，RNN的hidden size設置為128。第二階段實驗各模型參數如下：訓練數據集的批大小為128。本實驗選取10次實驗結果的平均值作為該模型的最終性能表現。

（四）實驗結果分析

1. 微能力識別模型效果分析

本研究構建的微能力識別任務性能結果見表3。遞進式對比實驗表明，基于預訓練的深度學習模型比傳統(tǒng)深度學習模型的分類效果更好，這得益于預訓練模型可以額外引進更多外部知識進行學習和訓練，從而具備優(yōu)秀的語義表征和推理能力。

在傳統(tǒng)深度學習模型中，不同模型對微能力的識別效果有一定差異。其中 RCNN在微能力識別中效果最優(yōu)，比其他傳統(tǒng)的深度學習模型的性能高5%左右。該模型利用雙向循環(huán)結構較好地捕獲了上下文信息，并使用最大池化層提取文本的重要特征。實驗結果證明，RCNN可以很好地結合RNN和CNN的優(yōu)點，并克服兩者局限。RNN比CNN和DPCNN分類性能更優(yōu)，這是因為相比于CNN，RNN更有利于對文本進行序列建模，具有長文本記憶功能。DPCNN比CNN分類效果更好，這是因為DPCNN可以通過不斷加深網絡，從而抽取更長距離的文本依賴關系，提高詞語embedding的豐富性。

在基于預訓練的深度學習模型中，ERNIE在微能力識別中效果最優(yōu)，取得86.43%的準確率。因為ERNIE不僅從海量數據中學習語句結構和語義，而且還從大規(guī)模知識圖譜中進行學習，大幅提升了模型的語言推理能力。BERT-CNN和BERT-RNN都把BERT作為文本表征輸入，在實驗中BERT性能要比BERT-CNN和BERT-RNN分類性能更優(yōu)，這可能是因為在下游模型由于自身結構的局限性無法對BERT模型海量的語義信息進行有效提取，導致性能變差。BERT-RCNN比BERT性能更優(yōu)，結合第一階段實驗結果，說明RCNN可以很好地抽取BERT的重要語義特征，從而獲得更好的識別效果。

2. 微能力識別任務誤差分析

圖2 ? 基于ERNIE的教師信息化教學微能力識別混淆矩陣

為分析各項微能力預測準確率，本研究使用混淆矩陣（Confusion Matrix）進行表征。將分類精度表示在一個矩陣中，每列表示預測標簽，每行表示真實標簽，可直觀呈現和比較模型的分類精度和結果誤差。圖2呈現了最優(yōu)預訓練模型ERNIE的混淆矩陣。在矩陣對角線中，矩陣數值為A1-A13的預測準確率，矩陣顏色深淺表示該類別的預測準確程度；矩陣對角線外的區(qū)域為該微能力的混淆誤差值和混淆程度?？梢钥闯?，基于ERNIE進行微能力分類識別，13個微能力的預測準確率都達到0.6以上，混淆類別少，預測精度高。

分析A1、A3這兩個準確率低于0.7的類別：其一，A1“技術支持的學情分析”準確率為0.6，與之混淆較多的類別為A3“學習過程設計”，這因為學情分析結果通常影響教師對學習過程的設計。例如，評課文本“這堂課每個環(huán)節(jié)之間的過渡較快，這樣的節(jié)奏沒有考慮到是否所有學生都跟得上”。這表明了教師在設計這堂課的學習過程時沒有全面考慮學生的知識基礎是否跟得上，其本質原因是沒有借助工具或數據做好充分的“學情分析”，而主觀地認定學生符合自己的設計想象。因此，人工歸因為A1，但模型從A3的數據集學習到相似的內容而出現誤判。其二，A3和A6也易于混淆，20%的“學習過程設計”被錯誤預測為“技術支持的課堂講授”。由于在多媒體教學環(huán)境下，課堂講授與互動作為主要的課堂形態(tài)，是學習過程設計的重要環(huán)節(jié)，因此模型容易混淆評課教師是更加關注授課教師的課堂講授表現還是歸因其學習過程設計的準備程度?？傮w而言，由于信息化教學微能力多達13個，導致識別任務難度較大。相較于教育領域普遍在4至6維的分類任務，ERNIE在多維度微能力識別中仍取得了較高的預測準確率，達到了每個微能力的準確率0.6以上的效果，存在極個別子類誤差是可接受的?；煜仃嚱Y果表明，當理論框架本身的類別區(qū)分難度較大時，深度學習模型需要獲取和學習更多同類數據，才能繼續(xù)提高識別任務的準確率。

3. 微能力識別的可視化表征

依托基于預訓練的ERNIE模型，可以對信息化教學課堂進行微能力自動化識別和可視化表征。本研究選取上海市某中學周老師的一堂課作為案例，課程為滬教版初中化學九年級上冊2.1《認識空氣大家族》，該課依托移動聽評課平臺進行直播，獲得65條其他評課教師的反饋文本。利用ERNIE模型進行微能力識別預測并提取關鍵詞，識別結果覆蓋了9個微能力點，可視化結果如圖3所示。分析發(fā)現，這是一堂實驗操作課，實驗動畫資源（A2）、實操展示活動（A4）和教師對實驗的講解（A6）等是這堂課的重點，因此評課教師對這些部分給予了更多關注和反饋。此外，教師還對實驗演示過程中的失誤和誤差轉換成巧妙的學生討論活動（A8），啟發(fā)學生思考。值得一提的是，這堂課沒有完整覆蓋13個微能力點。這是由于每堂課因教學目標、內容和方法不同，課堂呈現各有側重，評課教師只能立足課堂特點進行肯定、點評和建議等反饋，未必都覆蓋13個微能力點。隨著教師累積的課堂數據不斷增多，則能夠獲得完整的個體信息化教學微能力畫像。與此同時，若基于大量課堂數據仍無法全覆蓋13個微能力點，這也反映出教師的能力短板。

圖3 ? 基于《認識空氣大家族》的教師信息化

教學微能力可視化表征

五、結 ? 語

本研究提出了一種利用評課文本自動化識別和可視化表征教師微能力的方法，基于預訓練的ERNIE模型取得最佳實驗效果，準確率達到86.43%，優(yōu)于一般的深度學習模型。這證明了預訓練模型能夠引入外部數據進行自主學習，這一優(yōu)勢恰好彌補了教育領域自建數據數量有限的不足。在能力測評方面，與大規(guī)模調研相比，該方法更加客觀便利，盤活教師教研過程生成的海量反饋文本資源，從他者視角分析教師在真實課堂中的信息化教學能力；與微認證相比，該方法更加常態(tài)高效，數據來源于教師日常教學，支持面向教師的常態(tài)化自動反饋，用較小成本豐富了教師成長的證據。需說明的是，教師信息化教學微能力自動識別是常態(tài)化反饋的支持手段，提供了強化過程和改進結果的教師專業(yè)發(fā)展證據視角，并非全盤否定大規(guī)模調研和微認證測評，對于“能力提升工程”等大規(guī)模、終結性評價需求而言，仍有必要采集教師的綜合性成長證據鏈進行能力認證。

將模型嵌入聽評課系統(tǒng)，可應用于以下教育場景：其一，生成評課標簽集，支持教學改進。評課文本被自動識別至13個微能力點，任課教師依此了解一堂課的高頻關注點，針對性復盤、采納建議和調整教學計劃。其二，輔助個體教師的信息化教學微能力畫像。隨著聽評課常態(tài)化開展，豐富的評課反饋能夠描摹出教師的信息化教學特征、偏好和不足，使個體畫像更加豐滿，為能力提升工程成效評估提供佐證。其三，形成群體教師的信息化教學微能力圖譜，體現學校信息化成效。信息化管理者和決策者能夠了解和評估學校各學段、各學科的信息化教學樣態(tài)，通過校本應用考核找準薄弱處并提供專業(yè)發(fā)展支持。同時，后續(xù)研究將不斷深耕以下方向：在微能力識別方面，利用基于預訓練的深度學習進一步實現混合學習環(huán)境和智慧學習環(huán)境下的微能力識別研究。此外，可基于更大數據體量和更多數據模態(tài)實現微能力的診斷、測評與預測，減輕人力資源負擔。在方法應用方面，未來可將基于預訓練的深度學習遷移至教育領域的其他小樣本、多分類任務場景，能夠有效提升任務效果，使教育領域的自然語言處理更細粒度、精準化和高效化。

[參考文獻]

[1] 教育部.關于實施全國中小學教師信息技術應用能力提升工程2.0的意見[EB/OL].（2019-04-02）[2022-07-15].http：//www.moe.gov.cn/srcsite/A10/s7034/201904/t20190402_376493.html.

[2] 教育部教師工作司.關于印發(fā)《全國中小學教師信息技術應用能力提升工程2.0校本應用考核指南》的通知[EB/OL].（2021-08-15）[2022-07-15].https：//www.edu.cn/xxh/focus/zc/202109/t20210910_2153759.shtml.

[3] 魏非，宮玲玲，章玉霞，祝智庭.基于微能力的教師信息化教學能力測評模型[J].現代遠程教育研究，2021，33（6）：94-102.

[4] 駱舒寒，林世員，馮曉英，王冬冬，馬小強.教師培訓助力教師信息化教學能力提升——基于培訓成效的年度比較研究[J].中國電化教育，2021（6）：128-134.

[5] 孫妍妍，吳雪琦，王超，顧小清.中小學教師信息化教學能力調研[J].開放教育研究，2021，27（1）：84-93.

[6] 閆寒冰，林梓柔，湯猛.關注差異的信息化教學課堂評價指標設計與應用[J].電化教育研究，2022，43（8）：92-100.

[7] 陳玲，楊丹，黃馨然.移動聽評課是否促進教師平等交流和深度協(xié)同——一項基于移動聽評課工具的實證研究[J].中國電化教育，2018（6）：107-114.

[8] KLEINKNECHT M， GR？魻SCHNER A. Fostering preservice teachers' noticing with structured video feedback： results of an online-and video-based intervention study[J]. Teaching and teacher education， 2016， 59： 45-56.

[9] RICO-JUAN J R， GALLEGO A J， CALVO-ZARAGOZA J. Automatic detection of inconsistencies between numerical scores and textual feedback in peer-assessment processes with machine learning[J]. Computers & education， 2019， 140： 103609.

[10] 汪維富，毛美娟，閆寒冰.精準教研視域下的教師評課反饋分析模型研究[J].電化教育研究，2022，43（1）：122-128.

[11] KADHIM A I. Survey on supervised machine learning techniques for automatic text classification[J]. Artificial intelligence review， 2019， 52（1）： 273-292.

[12] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）： 504-507.

[13] MINAEE S， KALCHBRENNER N， CAMBRIA E， et al. Deep learning based text classification： a comprehensive review[J]. ACM computing surveys （CSUR）， 2021， 54（3）： 1-40.

[14] 王保華，熊余，姚玉，儲雯，呂翊.基于深度學習的學生教學評價情感分析[J].電化教育研究，2021，42（4）：101-107.

[15] 馬玉慧，夏雪瑩，張文慧.基于深度學習的教師課堂提問分析方法研究[J].電化教育研究，2021，42（9）：108-114.

[16] LIU P， YUAN W， FU J， et al. Pre-train， prompt， and predict： a systematic survey of prompting methods in natural language processing[J]. arXiv preprint arXiv：2107.13586， 2021.

[17] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]//Proceedings of the 31st Annual Conference on Neural Information Processing Systems. IL： Long Beach， 2017.

[18] SUN Y， WANG S， LI Y， et al. Ernie： enhanced representation through knowledge integration[J]. arXiv preprint arXiv：1904.09223， 2019.

Research on Automatic Identification of Teachers' Micro-competence in Informatization Teaching Based on Pre-training

LIN Zirou1， ?YAN Hanbing2

（1.Department of Education Information Technology， East China Normal University， Shanghai 200062;

2.School of teacher development， East China Normal University， Shanghai 200062）

[Abstract] Teachers' informatization teaching ability is the key to reflect the effectiveness of deep integration of education informatization. In order to explore an assessment method with easy access to evidence， automatic analysis and sustainable feedback， this paper proposes an automatic identification method of teachers' micro-competence in informatization teaching based on pre-training. Specifically， based on 13 micro-competence including four dimensions of learning situation analysis， instructional design， learning method guidance and academic evaluation， a deep learning model based on pre-training is used to conduct an experiment on 16，371 feedback texts of informatization classroom. The progressive experimental results show that compared to traditional deep learning models， the pre-training model generally has higher accuracy， with a maximum improvement of 16%. The pre-training of domain-general corpus effectively solves the problem of lack of self-constructed data in education. In the pre-training model， ERNIE achieves the optimal performance with 86.43% accuracy and small confusion deviation. This method can automatically identify and visually represent teachers' micro-competence of informatization teaching based on the evaluation text， and provide regular feedback support. Finally， this paper expounds its application scenarios in teacher teaching and research， competency portrait and development decision-making， and puts forward future research directions.

[Keywords] Informatization Teaching; Micro-competence; Visiting and Evaluating Class Observation; Deep Learning; Pre-training