孫社兵 張巧榮 李田茖

摘 ?要：機(jī)器學(xué)習(xí)近幾年來(lái)逐漸被應(yīng)用于在線科學(xué)探究活動(dòng)的自動(dòng)評(píng)價(jià)、過(guò)程分析等方面，在輔助教師教學(xué)、提升學(xué)生科學(xué)學(xué)習(xí)效果上發(fā)揮了重要作用。機(jī)器學(xué)習(xí)融入并支持在線探究學(xué)習(xí)活動(dòng)是未來(lái)科學(xué)探究走向大規(guī)模多場(chǎng)景實(shí)踐應(yīng)用的重要技術(shù)支撐。為向國(guó)內(nèi)研究者和一線教師提供開(kāi)展相關(guān)研究和教學(xué)實(shí)踐的參考，在三個(gè)英文數(shù)據(jù)庫(kù)中篩選出了近10年發(fā)表的24篇英文文獻(xiàn)，總結(jié)分析了目前機(jī)器學(xué)習(xí)在在線科學(xué)探究中發(fā)揮的作用及具體應(yīng)用，并提出了未來(lái)展望。

關(guān)鍵詞：在線科學(xué)探究；虛擬探究；機(jī)器學(xué)習(xí)；科學(xué)教育

中圖分類(lèi)號(hào)：TP18；G434 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：2096-4706（2023）14-0103-08

Review Research on the Application of Machine Learning in Online Scientific Inquiry

SUN Shebing， ZHANG Qiaorong， LI Tiange

（Henan University of Economics and Law， Zhengzhou ?450046， China）

Abstract： In recent years， machine learning has been gradually applied to the automatic evaluation and process analysis of online scientific inquiry activities， and has played an important role in assisting teachers in teaching and improving students' scientific learning effect. It is an important technical support for machine learning to integrate into and support online inquiry learning activities of scientific inquiry to move to large-scale and multi-scene practical application in the future. In order to provide reference for domestic researchers and front-line teachers to carry out relevant research and teaching practice， 24 English literatures published in the past ten years are selected from three English databases. It summarizes and analyzes the role and specific application of machine learning in online scientific inquiry at present， and puts forward future prospects.

Keywords： online scientific inquiry; virtual inquiry; machine learning; science education

0 ?引 ?言

世界各地的科學(xué)教育標(biāo)準(zhǔn)強(qiáng)調(diào)讓學(xué)生通過(guò)探究學(xué)習(xí)科學(xué)的重要性[1]。在我國(guó)基礎(chǔ)教育改革中，新課程標(biāo)準(zhǔn)也明確提出“科學(xué)學(xué)習(xí)要以探究為核心”[2]。已有研究表明，科學(xué)探究學(xué)習(xí)能夠幫助學(xué)生理解科學(xué)的本質(zhì)及其推理過(guò)程，培養(yǎng)對(duì)科學(xué)的積極態(tài)度[3]?？茖W(xué)探究過(guò)程包括從發(fā)現(xiàn)問(wèn)題、猜想假設(shè)，到設(shè)計(jì)實(shí)驗(yàn)、收集證據(jù)，再到分析論證、交流評(píng)估的一系列活動(dòng)[4]。但在科學(xué)學(xué)習(xí)中，許多科學(xué)活動(dòng)由于其特殊性無(wú)法在課堂環(huán)境中開(kāi)展。計(jì)算機(jī)支持的在線探究環(huán)境在科學(xué)課堂上發(fā)揮著重要作用，為學(xué)生提供了使用多種呈現(xiàn)方法探索不同類(lèi)型科學(xué)現(xiàn)象的機(jī)會(huì)，例如模擬[5]、可視化[6]、增強(qiáng)現(xiàn)實(shí)[7]、遠(yuǎn)程實(shí)驗(yàn)室[8]等。以往的研究表明參與在線科學(xué)探究活動(dòng)的學(xué)生相比于使用傳統(tǒng)學(xué)習(xí)方法的表現(xiàn)更好[9]。因此，在線科學(xué)探究活動(dòng)成為當(dāng)前科學(xué)教育的重要發(fā)展方向之一。

關(guān)于學(xué)習(xí)科學(xué)和基于學(xué)科的教育研究的文獻(xiàn)表明，僅使用計(jì)算機(jī)支持的在線環(huán)境進(jìn)行探究活動(dòng)并不一定有助于學(xué)生進(jìn)行科學(xué)學(xué)習(xí)[10]。研究表明，提供基于研究和理論的適當(dāng)指導(dǎo)、支持，在線環(huán)境下的探究活動(dòng)才有利于改進(jìn)學(xué)生的學(xué)習(xí)[11]。要為學(xué)習(xí)者提供有效的支持則需要以其在探究過(guò)程中的具體行為和表現(xiàn)作為提供支持的依據(jù)，但跟蹤和檢查學(xué)生探究學(xué)習(xí)的過(guò)程是具有挑戰(zhàn)性的。之前的研究認(rèn)為，機(jī)器學(xué)習(xí)是一種有前途的自動(dòng)化技術(shù)，可以輔助教師為探究學(xué)習(xí)提供及時(shí)支持[12]。例如，機(jī)器學(xué)習(xí)可以通過(guò)識(shí)別學(xué)生探究過(guò)程中產(chǎn)生的行為數(shù)據(jù)，在學(xué)生出現(xiàn)無(wú)效或與探究活動(dòng)無(wú)關(guān)的行為時(shí)提供支持使其能夠?qū)Ｗ⒂谔骄咳蝿?wù)[13]。此外，與多項(xiàng)選擇題相比，科學(xué)探究中對(duì)建構(gòu)反應(yīng)式的題目進(jìn)行回答更能夠體現(xiàn)學(xué)生的思維和推理過(guò)程[14]。而人工對(duì)建構(gòu)反應(yīng)式題目進(jìn)行評(píng)分需要耗費(fèi)大量的時(shí)間和精力，且無(wú)法對(duì)學(xué)生的回答進(jìn)行即時(shí)的反饋。機(jī)器學(xué)習(xí)可以幫助教師幾乎立即評(píng)估和解釋學(xué)生在課堂上的復(fù)雜表現(xiàn)，從而支持教師調(diào)整教學(xué)方案[15]?；跈C(jī)器學(xué)習(xí)的自動(dòng)評(píng)分和與分?jǐn)?shù)相適應(yīng)的個(gè)性化反饋或指導(dǎo)也可以通過(guò)在線導(dǎo)師系統(tǒng)或自適應(yīng)系統(tǒng)實(shí)時(shí)提供給學(xué)習(xí)者，以指導(dǎo)學(xué)生的科學(xué)學(xué)習(xí)[16，17]。

盡管機(jī)器學(xué)習(xí)在在線科學(xué)探究中具有巨大的潛力，但目前仍缺少關(guān)于機(jī)器學(xué)習(xí)在在線科學(xué)探究中應(yīng)用的系統(tǒng)回顧。Zhai等人的研究綜述了機(jī)器學(xué)習(xí)在科學(xué)評(píng)估中的應(yīng)用，系統(tǒng)分析了應(yīng)用于科學(xué)評(píng)估的機(jī)器學(xué)習(xí)的技術(shù)特征、機(jī)器學(xué)習(xí)算法有效性的評(píng)估方法以及在科學(xué)評(píng)估中應(yīng)用機(jī)器學(xué)習(xí)算法的教學(xué)特點(diǎn)[18]。但Zhai等人綜述的研究范圍為所有使用了機(jī)器學(xué)習(xí)進(jìn)行科學(xué)評(píng)估的研究，而沒(méi)有關(guān)注在具體探究過(guò)程中機(jī)器學(xué)習(xí)是如何發(fā)揮作用的。本研究則將焦點(diǎn)集中在使用機(jī)器學(xué)習(xí)為在線科學(xué)探究活動(dòng)提供支持的研究上。目前，國(guó)內(nèi)在在線科學(xué)探究領(lǐng)域應(yīng)用機(jī)器學(xué)習(xí)的研究較少，以科學(xué)探究和機(jī)器學(xué)習(xí)相關(guān)關(guān)鍵詞的組合在知網(wǎng)檢索時(shí)得到的中文文獻(xiàn)數(shù)量屈指可數(shù)。因此，有必要對(duì)國(guó)外相關(guān)研究進(jìn)行綜述，分析機(jī)器學(xué)習(xí)在在線科學(xué)探究中發(fā)揮的作用及具體應(yīng)用，以期為國(guó)內(nèi)實(shí)施相關(guān)研究和教學(xué)提供指導(dǎo)。本研究對(duì)檢索出的近十年相關(guān)文獻(xiàn)24篇英文文獻(xiàn)進(jìn)行系統(tǒng)回顧，并提出以下兩個(gè)研究問(wèn)題：

1）機(jī)器學(xué)習(xí)應(yīng)用于在線科學(xué)探究的哪些方面？發(fā)揮了什么作用？

2）在線科學(xué)探究中采用了哪些類(lèi)型的機(jī)器學(xué)習(xí)算法？算法的有效性如何？

1 ?研究方法

1.1 ?文獻(xiàn)來(lái)源

為研究當(dāng)前機(jī)器學(xué)習(xí)應(yīng)用于在線科學(xué)探究的發(fā)展趨勢(shì)，本研究在Eric、ScienceDirect和Web of Science三個(gè)英文數(shù)據(jù)庫(kù)檢索了2012—2022近十年的相關(guān)研究。研究檢索關(guān)鍵詞為“Scienceinquiry”“Computer-supportedinquirylearning”“Web-basedinquirylearning”

“Virtual science inquiry”“Scientificargumentation”

“machine learning”“automatic scoring”“automatic guidance”和“automatic feedback”，將以上關(guān)鍵詞用“And”或“OR”進(jìn)行組合在數(shù)據(jù)庫(kù)中進(jìn)行檢索并將語(yǔ)言限定為英語(yǔ)，最終得到文獻(xiàn)636篇。研究者根據(jù)指定的納入/排除標(biāo)準(zhǔn)對(duì)文獻(xiàn)進(jìn)行篩選，標(biāo)準(zhǔn)如表1所示。

首先，研究者使用Endnote X9軟件排除了59篇重復(fù)文獻(xiàn)。然后使用納入/排除標(biāo)準(zhǔn)篩選了剩余577篇文獻(xiàn)的標(biāo)題和摘要，并最終保留了55篇文獻(xiàn)。之后，通過(guò)閱讀全文進(jìn)一步排除了36篇不合格的文獻(xiàn)。為擴(kuò)大樣本的代表性，在關(guān)鍵詞檢索的基礎(chǔ)上使用滾雪球的方法追加檢索結(jié)果，最終納入24篇文獻(xiàn)，文獻(xiàn)檢索和篩選流程如圖1所示。

1.2 ?文獻(xiàn)編碼方案

在使用納入/排除標(biāo)準(zhǔn)篩選出最終納入文獻(xiàn)之后，研究者對(duì)這24篇文獻(xiàn)進(jìn)行了編碼分析。在快速閱讀摘要和分析文獻(xiàn)框架的基礎(chǔ)上，本研究編碼了納入文獻(xiàn)的基本信息，包括文獻(xiàn)的作者、發(fā)表時(shí)間、地區(qū)、教育水平、在線科學(xué)探究任務(wù)的探究主題和探究平臺(tái)、開(kāi)發(fā)和部署機(jī)器學(xué)習(xí)算法的程序/工具。然后，針對(duì)第一個(gè)研究問(wèn)題，編碼了機(jī)器學(xué)習(xí)在在線科學(xué)探究中應(yīng)用范圍及發(fā)揮的作用。最后，針對(duì)第二個(gè)研究問(wèn)題，編碼了研究中應(yīng)用的具體的機(jī)器學(xué)習(xí)算法和評(píng)估算法有效性的標(biāo)準(zhǔn)。

2 ?研究結(jié)果

2.1 ?文獻(xiàn)基本信息

本研究統(tǒng)計(jì)了篩選出的24篇文獻(xiàn)的基本信息，如表2所示。

由表2可知，在在線科學(xué)探究任務(wù)中應(yīng)用機(jī)器學(xué)習(xí)的研究集中于少數(shù)團(tuán)隊(duì)。例如，文獻(xiàn)[1]、[4]、[6]、[7]是美國(guó)伍斯特理工學(xué)院學(xué)習(xí)科學(xué)與技術(shù)項(xiàng)目的Gobert團(tuán)隊(duì)的研究，該團(tuán)隊(duì)的主要研究?jī)?nèi)容是使用機(jī)器學(xué)習(xí)分析學(xué)生的日志行為數(shù)據(jù)為探究過(guò)程提供支持；文獻(xiàn)[15]、[16]、[18]、[23]和[24]是美國(guó)教育考試服務(wù)中心和康科德集團(tuán)的合作團(tuán)隊(duì)Lee團(tuán)隊(duì)的研究，該團(tuán)隊(duì)的研究方向是為學(xué)生的科學(xué)論證提供自動(dòng)評(píng)分和自動(dòng)反饋。其他還有中國(guó)臺(tái)灣國(guó)立政治大學(xué)Chen的團(tuán)隊(duì)、加拿大不列顛哥倫比亞大學(xué)Fratamico的團(tuán)隊(duì)等。此外，這些研究大多數(shù)是美國(guó)的科研機(jī)構(gòu)，占總研究數(shù)量的79.2%。研究對(duì)象的教育階段大多集中在中學(xué)，占總研究數(shù)量的62.5%，而涉及小學(xué)階段的僅有3項(xiàng)。應(yīng)用機(jī)器學(xué)習(xí)技術(shù)的在線科學(xué)探究任務(wù)的主題更多地集中在物理學(xué)科，一種可能的原因是物理相比于其他學(xué)科具有更多的線性因果結(jié)構(gòu)，使得對(duì)學(xué)生探究技能的評(píng)估更加簡(jiǎn)單[20]。

在24項(xiàng)研究中共使用了12個(gè)探究平臺(tái)開(kāi)展探究任務(wù)。其中使用最多的通用探究平臺(tái)是WISE（Web-based Inquiry Science Environment）。WISE平臺(tái)是由美國(guó)加利福尼亞大學(xué)伯克利分校Marcia.C.Linn主持的科學(xué)教育和教育技術(shù)研究團(tuán)隊(duì)在美國(guó)國(guó)家科學(xué)基金會(huì)NSF（National Science Foundation）的資助下開(kāi)發(fā)[41]。WISE有50多個(gè)免費(fèi)的開(kāi)放式科學(xué)探究學(xué)習(xí)任務(wù)，提供各種探究工具幫助學(xué)習(xí)者以自主探究的方式學(xué)習(xí)科學(xué)知識(shí)，同時(shí)WISE為教師提供了各種易操作的工具幫助教師監(jiān)督學(xué)生的學(xué)習(xí)情況、管理學(xué)生的學(xué)習(xí)活動(dòng)等。WISE系統(tǒng)集成了由ETS開(kāi)發(fā)的c-rater-ML工具，可以利用機(jī)器學(xué)習(xí)為學(xué)生提供自動(dòng)評(píng)分與反饋。2015年，華南師范大學(xué)對(duì)該平臺(tái)進(jìn)行了漢化，并被國(guó)內(nèi)多項(xiàng)開(kāi)展在線科學(xué)探究的研究使用[42]。

2.2 ?機(jī)器學(xué)習(xí)的應(yīng)用

在對(duì)回顧的24篇文獻(xiàn)編碼后發(fā)現(xiàn)，機(jī)器學(xué)習(xí)主要應(yīng)用于在線科學(xué)探究過(guò)程中學(xué)生的行為數(shù)據(jù)分析和學(xué)生提交的科學(xué)論證文本的自動(dòng)評(píng)分和反饋。

2.2.1 ?在線探究過(guò)程學(xué)生行為數(shù)據(jù)分析

基于計(jì)算機(jī)的在線探究環(huán)境可以自動(dòng)實(shí)時(shí)記錄學(xué)生的行為，由于這些日志文件是在學(xué)生探究過(guò)程中生成的，因此可以根據(jù)這些探究行為對(duì)探究生成的結(jié)果和學(xué)生的探究技能進(jìn)行評(píng)估。在回顧的24篇文獻(xiàn)中有12篇文獻(xiàn)使用機(jī)器學(xué)習(xí)算法處理學(xué)生在探究過(guò)程中生成的行為數(shù)據(jù)。其中，Gobert團(tuán)隊(duì)的研究使用機(jī)器學(xué)習(xí)算法對(duì)學(xué)生行為進(jìn)行預(yù)測(cè)，研究開(kāi)發(fā)了基于機(jī)器學(xué)習(xí)的探測(cè)器，該探測(cè)器通過(guò)對(duì)日志行為數(shù)據(jù)的分析判斷學(xué)生是否在正常進(jìn)行實(shí)驗(yàn)并對(duì)行為進(jìn)行預(yù)測(cè)，以期在學(xué)生出現(xiàn)偏離探究實(shí)驗(yàn)軌道的行為時(shí)，為學(xué)生提供幫助使其專(zhuān)注于探究任務(wù)[13，21，23，24]。Chen等人的研究使用機(jī)器學(xué)習(xí)識(shí)別影響學(xué)生學(xué)習(xí)成績(jī)的關(guān)鍵行為序列，研究在CWISE平臺(tái)中嵌入基于xAPI（體驗(yàn)應(yīng)用程序編程接口）的學(xué)習(xí)記錄存儲(chǔ)模塊，以記錄有關(guān)學(xué)生學(xué)習(xí)過(guò)程的詳細(xì)數(shù)據(jù)，并使用序列挖掘算法分析這些行為數(shù)據(jù)，識(shí)別不同學(xué)習(xí)成績(jī)和探究能力的學(xué)習(xí)者的學(xué)習(xí)行為[24，27]。Baker等人的研究使用機(jī)器學(xué)習(xí)中的分類(lèi)算法開(kāi)發(fā)了與教育相關(guān)的無(wú)傳感器情感模型，將探究行為分類(lèi)為無(wú)聊、困惑、喜悅、專(zhuān)注和沮喪五種情感狀態(tài)，檢查與特定情感狀態(tài)最密切相關(guān)的行為，通過(guò)為學(xué)生提供自適應(yīng)個(gè)性化指導(dǎo)提高學(xué)生參與度和學(xué)習(xí)能力[20]。

2.2.2 ?科學(xué)論證文本的自動(dòng)評(píng)分與反饋

在24篇文獻(xiàn)中，還有12篇文獻(xiàn)利用機(jī)器學(xué)習(xí)處理學(xué)生在探究過(guò)程中生成的文本數(shù)據(jù)。在科學(xué)探究過(guò)程的最后階段，對(duì)科學(xué)現(xiàn)象做出解釋或?qū)ψ约旱牟孪脒M(jìn)行論證是一種重要的探究產(chǎn)出，用以評(píng)估學(xué)生對(duì)科學(xué)現(xiàn)象的理解程度。機(jī)器學(xué)習(xí)的一個(gè)重要作用就是對(duì)解釋或論證的文本進(jìn)行自動(dòng)評(píng)分并提供與分?jǐn)?shù)相對(duì)應(yīng)的自動(dòng)反饋。自動(dòng)評(píng)分不但可以節(jié)省時(shí)間和精力、減少人工評(píng)分過(guò)程中的錯(cuò)誤和偏見(jiàn)，而且可以實(shí)現(xiàn)實(shí)時(shí)不斷的連續(xù)評(píng)分，這時(shí)使用人工評(píng)分很難達(dá)到的效果。例如，Lee團(tuán)隊(duì)的研究為學(xué)生的論證提供自動(dòng)評(píng)分與反饋，研究結(jié)果顯示，自動(dòng)評(píng)分與自動(dòng)反饋能夠促進(jìn)學(xué)生的修訂行為，提高學(xué)生的論證成績(jī)[31，32]。除對(duì)解釋和論證文本進(jìn)行自動(dòng)評(píng)分外，Sung等人的研究還使用機(jī)器學(xué)習(xí)對(duì)學(xué)生的熱力學(xué)回答進(jìn)行多標(biāo)簽文本分類(lèi)以快速評(píng)估學(xué)生的思維方式[38]，在在線學(xué)習(xí)環(huán)境的認(rèn)知科學(xué)領(lǐng)域取得了新進(jìn)展。在小組合作的在線探究環(huán)境中，小組內(nèi)還會(huì)產(chǎn)生一些交流的文本數(shù)據(jù)，Xing和Zhu等人的研究建立了機(jī)器學(xué)習(xí)模型來(lái)自動(dòng)識(shí)別協(xié)作環(huán)境中產(chǎn)生的大規(guī)模的變革性和非變革性討論，旨在發(fā)現(xiàn)小組內(nèi)的哪些討論有助于科學(xué)學(xué)習(xí)[35，36]。

2.3 ?算法及有效性評(píng)估

2.3.1 ?在線科學(xué)探究中應(yīng)用的機(jī)器學(xué)習(xí)算法

基于機(jī)器學(xué)習(xí)的算法可以分為有監(jiān)督、無(wú)監(jiān)督或半監(jiān)督，具體取決于訓(xùn)練算法的數(shù)據(jù)集使用、不使用或部分使用人類(lèi)專(zhuān)家標(biāo)簽/分?jǐn)?shù)。表3顯示了24篇文獻(xiàn)中各類(lèi)算法的使用情況。應(yīng)用于在線科學(xué)探究任務(wù)的機(jī)器學(xué)習(xí)算法中，主要使用的是有監(jiān)督的機(jī)器學(xué)習(xí)算法和無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法。

對(duì)于有監(jiān)督的機(jī)器學(xué)習(xí)，首先機(jī)器從人工標(biāo)記過(guò)的數(shù)據(jù)中學(xué)習(xí)，建立算法模型，然后使用該模型推斷并做出決策。因?yàn)橛?xùn)練數(shù)據(jù)提供標(biāo)簽并包含機(jī)器學(xué)習(xí)算法要學(xué)習(xí)的模式，因此被稱(chēng)為有監(jiān)督的機(jī)器學(xué)習(xí)。在24項(xiàng)研究中，有19項(xiàng)研究使用了有監(jiān)督的機(jī)器學(xué)習(xí)，占總研究數(shù)量的79.2%。其中回歸算法使用最為廣泛。在回歸中SVR（support vector regression）是使用最多的一種回歸算法。SVR基于機(jī)器學(xué)習(xí)技術(shù)，是專(zhuān)門(mén)用于處理具有大量相關(guān)預(yù)測(cè)變量的大型數(shù)據(jù)集的統(tǒng)計(jì)分析方法。ETS開(kāi)發(fā)的自動(dòng)評(píng)分工具c-rater-ML就是使用SVR來(lái)建立學(xué)生回答與分?jǐn)?shù)之間的關(guān)系模型，并識(shí)別從文本回答到分?jǐn)?shù)之間的映射。

與有監(jiān)督的機(jī)器學(xué)習(xí)不同，無(wú)監(jiān)督的機(jī)器學(xué)習(xí)不需要標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練機(jī)器，因此它減少了人力花費(fèi)。使用無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，機(jī)器可以根據(jù)個(gè)別案例特征的共性和差異識(shí)別數(shù)據(jù)集中的潛在結(jié)構(gòu)、分布或模式，以構(gòu)建算法。在24項(xiàng)研究中有6項(xiàng)研究使用了無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，占總研究數(shù)量的25%。其中，5項(xiàng)研究使用無(wú)監(jiān)督機(jī)器學(xué)習(xí)方法進(jìn)行序列挖掘。這些研究希望從學(xué)生的日志數(shù)據(jù)中挖掘出探究的有效行為，以期為學(xué)生提供支持。在這5項(xiàng)研究中有3項(xiàng)研究使用的是K-means聚類(lèi)算法，K-mans以空間中k個(gè)點(diǎn)為形心進(jìn)行聚類(lèi)，對(duì)最靠近他們的對(duì)象歸類(lèi)，通過(guò)迭代的方法，逐次更新各簇的形心的值，直至得到最好的聚類(lèi)結(jié)果，是最經(jīng)典的基于劃分的聚類(lèi)方法。例如，F(xiàn)ratamico等人的研究根據(jù)交互日志對(duì)學(xué)生的行為進(jìn)行聚類(lèi)，以識(shí)別具有相似行為的學(xué)生[27]。Chen等人的研究使用聚類(lèi)算法挖掘出學(xué)生探究過(guò)程中發(fā)生頻率足夠高的行為，分析這些行為和學(xué)習(xí)績(jī)效之間的關(guān)系，以預(yù)測(cè)學(xué)生的成績(jī)[28，37]。此外，1項(xiàng)研究使用了Bert深度學(xué)習(xí)方法。Sung等人的研究使用Bert實(shí)現(xiàn)了在科學(xué)教育的自動(dòng)化評(píng)估中對(duì)學(xué)生的書(shū)面回答進(jìn)行多標(biāo)簽分類(lèi)，以識(shí)別學(xué)生不同的思維方式，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)方法SVM取得了更好的分類(lèi)效果[38]。

半監(jiān)督的機(jī)器學(xué)習(xí)是指一部分訓(xùn)練數(shù)據(jù)被標(biāo)記，另一部分未標(biāo)記。半監(jiān)督的機(jī)器學(xué)習(xí)可用于分析輸入數(shù)據(jù)的結(jié)構(gòu)或預(yù)測(cè)未標(biāo)記數(shù)據(jù)中的模式。由于半監(jiān)督機(jī)器學(xué)習(xí)提高了無(wú)監(jiān)督機(jī)器學(xué)習(xí)的準(zhǔn)確性，并克服了為有監(jiān)督的機(jī)器學(xué)習(xí)準(zhǔn)備數(shù)據(jù)的時(shí)間和成本負(fù)擔(dān)，因此它具有很大的潛力。但在本研究篩選出來(lái)的24項(xiàng)研究中，沒(méi)有使用半監(jiān)督的機(jī)器學(xué)習(xí)算法。

2.3.2 ?算法的有效性

機(jī)器學(xué)習(xí)中需要評(píng)估算法的有效性，即機(jī)器為測(cè)試數(shù)據(jù)分配的分?jǐn)?shù)在多大程度上接近人類(lèi)專(zhuān)家生成的分?jǐn)?shù)。在某種程度上，人類(lèi)分配的分?jǐn)?shù)被視為評(píng)估機(jī)器學(xué)習(xí)性能的“金標(biāo)準(zhǔn)”[16]。在回顧的24篇文獻(xiàn)中，機(jī)器學(xué)習(xí)算法的有效性主要依據(jù)以下指標(biāo)進(jìn)行評(píng)估：

1）科恩的kappa值[13]。在24篇文獻(xiàn)中，使用最多的有效性指標(biāo)是科恩的kappa值，有9項(xiàng)研究使用了這一指標(biāo)?？贫鞯膋appa值范圍在-1.0～1.0之間，用于評(píng)估機(jī)器學(xué)習(xí)研究中機(jī)器分配的分?jǐn)?shù)和人工分配的分?jǐn)?shù)之間的一致程度或可比性。Kappa值為1，說(shuō)明對(duì)于每個(gè)回答，機(jī)器評(píng)分與人工評(píng)分是完全一致的，不存在偶然的一致；值為0表示機(jī)器評(píng)分和人工評(píng)分之間的所有一致性都是偶然的；值為負(fù)數(shù)表示機(jī)器評(píng)分和人工評(píng)分之間的一致性比偶然一致更差。一般認(rèn)為，科恩的kappa值大于0.75表示人機(jī)一致性好，0.40～0.75之間表示人機(jī)一致性尚可，小于0.4則表示人機(jī)一致性較差[43]。在使用了這一指標(biāo)的9篇文獻(xiàn)中，7篇文獻(xiàn)中的使用算法的kappa值在0.41～0.702，只有2項(xiàng)研究的kappa值低于0.4，及大部分機(jī)器學(xué)習(xí)算法的人機(jī)一致性取得了令人尚能滿(mǎn)意的結(jié)果。

2）精確率[13]。精確率指正樣本被預(yù)測(cè)正確的比率，該指標(biāo)表示機(jī)器識(shí)別標(biāo)記數(shù)據(jù)的有效性。有7項(xiàng)研究使用的有效性指標(biāo)是精確率。在使用了這一指標(biāo)的研究中，精確率值在0.7～0.95之間。

3）二次加權(quán)的kappa值（QWK）[39]。QWK根據(jù)編碼員之間的分歧程度，為不同的分歧分配不同的權(quán)重，QWK假設(shè)變量是在區(qū)間尺度上測(cè)量的，不適用于名義數(shù)據(jù)。在使用了這一指標(biāo)的研究中，精確率值在0.7～0.9之間。

4）A[23]。A是指當(dāng)給定兩個(gè)樣本，一個(gè)標(biāo)記為正樣本，一個(gè)標(biāo)記為負(fù)樣本，機(jī)器能夠正確識(shí)別每個(gè)樣本的概率。A的偶然值為0.5。有5項(xiàng)研究使用的有效性指標(biāo)是A。在使用了這一指標(biāo)的研究中，精確率值在0.56～0.94之間。

5）召回率[13]。召回率是指預(yù)測(cè)為正樣本的樣本中，正確的比例，該指標(biāo)表示機(jī)器識(shí)別標(biāo)簽數(shù)據(jù)的完整程度。有4項(xiàng)研究使用的有效性指標(biāo)是召回率。在使用了這一指標(biāo)的研究中，精確率值在0.46～0.94之間。

6）皮爾遜系數(shù)r [32]。皮爾遜系數(shù)r指機(jī)器評(píng)分與人工評(píng)分之間的皮爾遜相關(guān)性，但皮爾遜相關(guān)僅適用于區(qū)間或比率數(shù)據(jù)，并不適用于所有研究。有3項(xiàng)研究使用的有效性指標(biāo)是皮爾遜系數(shù)r。在使用了這一指標(biāo)的研究中，精確率值在0.7～0.72之間。

7）支持度[28]。支持度是評(píng)估序列挖掘算法的重要指標(biāo)，必須設(shè)置最小支持度，才能挖掘高于最小支持度的最大順序模式。有3項(xiàng)研究使用的有效性指標(biāo)是支持度。在使用了這一指標(biāo)的研究中，精確率值在0.43～0.79之間。

這些指標(biāo)通常用于機(jī)器學(xué)習(xí)，以相互補(bǔ)充，并測(cè)量機(jī)器性能的不同方面[18]。

3 ?結(jié)論與未來(lái)展望

機(jī)器學(xué)習(xí)在在線科學(xué)探究中具有巨大的應(yīng)用潛力。文獻(xiàn)綜述結(jié)果表明，當(dāng)前研究界已經(jīng)開(kāi)展了機(jī)器學(xué)習(xí)支持在線科學(xué)探究學(xué)習(xí)的探索，但研究仍處于起步階段，研究團(tuán)隊(duì)相對(duì)集中。同時(shí)，當(dāng)前研究仍較少關(guān)注低年齡段群體，且多局限在物理和地球科學(xué)學(xué)科，未有在更多樣的科學(xué)學(xué)科中進(jìn)行廣泛開(kāi)展與驗(yàn)證。在具體的應(yīng)用方面，機(jī)器學(xué)習(xí)主要被用來(lái)進(jìn)行行為分析、識(shí)別和預(yù)測(cè)，以及建構(gòu)類(lèi)文本的自動(dòng)評(píng)分。在適應(yīng)性的過(guò)程支持、資源推薦、路徑導(dǎo)航、個(gè)性化反饋方面還未有深入探索。在具體的算法應(yīng)用中，機(jī)器學(xué)習(xí)算法使用還相對(duì)單一，大量研究使用了有監(jiān)督的機(jī)器學(xué)習(xí)算法，少量研究使用了無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法，且大多取得了較好的效果，但半監(jiān)督的機(jī)器學(xué)習(xí)算法卻沒(méi)有得到很好的應(yīng)用。

為更好地指導(dǎo)我國(guó)研究者和一線教育工作者進(jìn)行科學(xué)教育，本研究在總結(jié)以往研究的基礎(chǔ)上提出以下展望。

3.1 ?挖掘機(jī)器學(xué)習(xí)應(yīng)用于在線科學(xué)探究的綜合支撐潛力

以往的研究已經(jīng)發(fā)現(xiàn)了機(jī)器學(xué)習(xí)在幫助教師監(jiān)控學(xué)生行為、自動(dòng)指導(dǎo)和提供反饋上具有巨大的潛力[18]。但目前在機(jī)器學(xué)習(xí)應(yīng)用于在線科學(xué)探究的相關(guān)研究中，機(jī)器學(xué)習(xí)技術(shù)在探究任務(wù)中只發(fā)揮一種作用，例如識(shí)別“跑題”行為或自動(dòng)評(píng)分。很少有研究使用機(jī)器學(xué)習(xí)在探究的各個(gè)過(guò)程中為學(xué)生提供支持。未來(lái)的研究可以考慮開(kāi)發(fā)智能系統(tǒng)，將多個(gè)機(jī)器學(xué)習(xí)算法集成在智能系統(tǒng)中，在多個(gè)方面為學(xué)生提供幫助。例如在探究過(guò)程中通過(guò)識(shí)別日志數(shù)據(jù)給遇到困難的學(xué)生提供支持，并在學(xué)生提交建構(gòu)式答案后進(jìn)行自動(dòng)評(píng)分并結(jié)合學(xué)生的日志行為數(shù)據(jù)提供即時(shí)的個(gè)性化反饋。此外，目前大多數(shù)研究將機(jī)器學(xué)習(xí)的應(yīng)用集中于在科學(xué)探究過(guò)程中生成的文本的識(shí)別和分類(lèi)，例如對(duì)解釋和論證進(jìn)行評(píng)分。還需要更多的研究探索學(xué)生的在探究過(guò)程中情緒、表現(xiàn)、信心等，以提升機(jī)器學(xué)習(xí)的教學(xué)潛力。最后，現(xiàn)有機(jī)器學(xué)習(xí)模型在在線科學(xué)探究任務(wù)中的表現(xiàn)仍有待提升。當(dāng)前研究中訓(xùn)練樣本較少可能是影響模型有效性的原因之一，未來(lái)研究中可以考慮收集數(shù)量更多、代表學(xué)生群體更廣泛的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練以提升模型精度。

3.2 ?提升機(jī)器學(xué)習(xí)在在線科學(xué)探究中的可遷移性

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)研究方向，主要研究如何將在一個(gè)任務(wù)上面學(xué)習(xí)到的知識(shí)遷移到另一個(gè)任務(wù)上，以提高機(jī)器學(xué)習(xí)模型的泛化性能。目前，在線科學(xué)探究中應(yīng)用機(jī)器學(xué)習(xí)研究的探究主題較為集中，這主要是因?yàn)闄C(jī)器學(xué)習(xí)的可遷移性較差。例如，Lee的團(tuán)隊(duì)的5項(xiàng)研究就將機(jī)器學(xué)習(xí)應(yīng)用主題限定在了地球科學(xué)，而沒(méi)有討論其模型在其他領(lǐng)域的應(yīng)用。他們的研究中也指出研究中提出的機(jī)器學(xué)習(xí)模型只適用于本研究的探究主題，要探究模型在其他主題上的表現(xiàn)則需要更多的研究。但Gobert團(tuán)隊(duì)的研究將在物理主題中開(kāi)發(fā)的基于機(jī)器學(xué)習(xí)方法的探測(cè)器應(yīng)用于生態(tài)學(xué)主題，探測(cè)器表現(xiàn)出了令人滿(mǎn)意的有效性。這說(shuō)明盡管探究主題之間可能有不同程度的復(fù)雜關(guān)系，但開(kāi)發(fā)可遷移的機(jī)器學(xué)習(xí)模型是可能實(shí)現(xiàn)的。因此，未來(lái)的研究中應(yīng)有更多的研究者開(kāi)發(fā)高性能的通用模型，提升模型的遷移能力，拓展機(jī)器學(xué)習(xí)在在線科學(xué)探究中的應(yīng)用領(lǐng)域。

3.3 ?加大我國(guó)在在線科學(xué)探究中應(yīng)用機(jī)器學(xué)習(xí)的研究力度

目前，我國(guó)機(jī)器學(xué)習(xí)技術(shù)較為成熟，在線科學(xué)探究的研究起步較晚但發(fā)展快速[44]，但在在線科學(xué)探究中應(yīng)用機(jī)器學(xué)習(xí)的研究相對(duì)較少。實(shí)現(xiàn)K-12框架[45]和NGSS[46]中指定的評(píng)估目標(biāo)的最大挑戰(zhàn)之一是開(kāi)發(fā)利用復(fù)雜結(jié)構(gòu)的評(píng)估任務(wù)，如實(shí)踐中的認(rèn)知能力，并在教學(xué)中應(yīng)用評(píng)估[47]。在教學(xué)實(shí)踐中，這種復(fù)雜的評(píng)估任務(wù)通常需要花費(fèi)教師大量時(shí)間和精力，如果沒(méi)有自動(dòng)化評(píng)分等技術(shù)的參與，這一挑戰(zhàn)不太可能得到完成[48]。因此，我國(guó)研究者需要在借鑒國(guó)外在線科學(xué)探究領(lǐng)域應(yīng)用機(jī)器學(xué)習(xí)的基礎(chǔ)上，使用機(jī)器學(xué)習(xí)的自動(dòng)化促進(jìn)我國(guó)科學(xué)教育改革，幫助教師更好實(shí)施科學(xué)教學(xué)，提升學(xué)生科學(xué)學(xué)習(xí)效果。此外，目前國(guó)外相關(guān)研究在小學(xué)階段的較少，但小學(xué)科學(xué)教育在培養(yǎng)國(guó)民科學(xué)素養(yǎng)方面有著不可替代的作用，它不僅能夠幫助學(xué)生正確認(rèn)識(shí)周?chē)澜?，適應(yīng)學(xué)生和生活的需要，還能夠幫助學(xué)生培養(yǎng)從小獨(dú)立思考的習(xí)慣和勇于創(chuàng)造的意識(shí)[49]。且根據(jù)皮亞杰的認(rèn)知發(fā)展理論，小學(xué)生處于具體運(yùn)算階段，其思維活動(dòng)需要更多的支持。因此在我國(guó)未來(lái)的相關(guān)研究中，要加大利用機(jī)器學(xué)習(xí)自動(dòng)化為小學(xué)生的在線科學(xué)探究學(xué)習(xí)提供支持的研究力度，助力提升小學(xué)生科學(xué)素養(yǎng)。

4 ?結(jié) ?論

機(jī)器學(xué)習(xí)近年來(lái)在在線科學(xué)探究的教學(xué)活動(dòng)中發(fā)揮了重要作用，將機(jī)器學(xué)習(xí)與在線科學(xué)探究活動(dòng)進(jìn)行深度融合也是未來(lái)科學(xué)教育的發(fā)展趨勢(shì)。本文通過(guò)對(duì)眾多研究工作的回顧和分析，對(duì)機(jī)器學(xué)習(xí)在在線科學(xué)探究中的應(yīng)用進(jìn)行了分類(lèi)梳理，總結(jié)了在在線科學(xué)探究中常見(jiàn)的機(jī)器學(xué)習(xí)方法及算法有效性評(píng)估指標(biāo)。最后本文對(duì)我國(guó)未來(lái)機(jī)器學(xué)習(xí)在在線科學(xué)探究中的應(yīng)用做出了未來(lái)展望?？梢灶A(yù)見(jiàn)，機(jī)器學(xué)習(xí)在在線科學(xué)探究中越來(lái)越廣泛地應(yīng)用，能夠顯著提升教師的教學(xué)效率和學(xué)生的科學(xué)學(xué)習(xí)水平。

參考文獻(xiàn)：

[1] AULIA E，AULIA E V. Improving Science Literacy Skills for High School Students Through Guided Inquiry-Based Learning [C]//Proceedings of the Mathematics，Informatics，Science，and Education International Conference （MISEIC 2019）.Surabaya：ATLANTIS PRESS，2019：124-128.

[2] 凌浩.基于科學(xué)探究的科技館科普教育活動(dòng)研究與實(shí)踐 [J].科技風(fēng)，2022（11）：37-39.

[3] MARX R W，BLUMENFELD P C，KRAJCIK J S，et al. Inquiry-based science in the middle grades： assessment of learning in urban systemic reform [J].Journal of Research in Science Teaching，2004，41（10），1063-1080.

[4] 董耀，孫偉軍，朱行建.要讓學(xué)生經(jīng)歷完整的科學(xué)探究過(guò)程——對(duì)“牛頓第一定律”教學(xué)的思考 [J].物理教學(xué)，2021，43（10）：47-49+16.

[5] JUSTIN D，UMESH R. The Effect of Simulation-Supported Inquiry on South African Natural Sciences Learners Understanding of Atomic and Molecular Structures [J]. Education Sciences，2020，10（10） ：280-280.

[6] Al-BALUSHI S M，Al-MUSAWI A S，AMBUSAIDI A K，et al. The Effectiveness of Interacting with Scientific Animations in Chemistry Using Mobile Devices on Grade 12 Students Spatial Ability and Scientific Reasoning Skills [J].Journal of Science Education and Technology，2017，26（1） ：70-81.

[7] JUANA W，RONG R，ZHUO W，et al. Integrating spherical video-based virtual reality into elementary school students scientific inquiry instruction：effects on their problem-solving performance [J].Interactive Learning Environments，2019，29（3） ：1-14.

[8] ANDUJAR J M，MEJIAS A，MARQUEZ M A. Augmented Reality for the Improvement of Remote Laboratories：An Augmented Remote Laboratory [J].IEEE Transactions on Education，2011，54（3） ：492-500.

[9] DONNELLY D F，LINN M C ，LUDVIGSEN S. Impacts and characteristics of computer-based science inquiry learning environments for precollege students [J].Review of Educational Research ，2014，84（4）：572-608.

[10] JOOLINGEN R V W，JONG D T，DIMITRAKOPOULOU A. Issues in computer supported inquiry learning in science [J].Journal of Computer Assisted Learning，2007，23（2）：111-119.

[11] SWAAK J，JONG D T. Discovery simulations and the assessment of intuitive knowledge [J].Journal of Computer Assisted Learning，2001，17（3）：284-294.

[12] VITALE J M，LAI K，LINN M C. Taking advantage of automated assessment of student-constructed graphs in science [J].Journal of Research in Science Teaching，2015，52（10），1426-1450.

[13] GOBERT J D，PEDRO S M，RAZIUDDIN J，et al. From Log Files to Assessment Metrics：Measuring Students' Science Inquiry Skills Using Educational Data Mining [J].Journal of the Learning Sciences，2013，22（4） ：521-563.

[14] KUECHLER W L，SIMKIN M G. Why is performance on multiple-choice tests and constructed-response tests not more closely related？ Theory and an empirical test [J]. Decision Sciences Journal of Innovative Education，2010，8（1），55-73.

[15] RAMLA G，S?BASTIEN O，CLAUDE F. LewiSpace： an Exploratory Study with a Machine Learning Model in an Educational Game [J].Journal of Education and Training Studies，2015，4（1） ：192-201.

[16] CHRISTOPHER M N，SYTIL K M，MICHAEL G C，et al. Automated analysis of short responses in an interactive synthetic tutoring system for introductory physics [J/OL].Physical Review Physics Education Research，2016，12（1） ：010122（2016-03-16）.https： //journals.aps.org/prper/abstract/10.1103/PhysRevPhysEducRes.12.010122.

[17] TANSOMBOON C，GERARD L F，VITALE J M，et al. Designing Automated Guidance to Promote Productive Revision of Science Explanations [J].International Journal of Artificial Intelligence in Education，2017，27（4），729-757.

[18] ZHAI X M，YIN Y，PELLEGRINO J W，et al. Applying machine learning in science assessment： a systematic review [J].Studies in Science Education，2020，56（1）：111-151.

[19] TING C Y，CHEAH W N，HO C C. 2013. Student Engagement Modeling Using Bayesian Networks [C]//2013 IEEE International Conference on Systems， Man， and Cybernetics.Manchester：2013：2939-2944.

[20] BAKER R S，OCUMPAUGH J，GOWDA S M，et al. Extending Log-Based Affect Detection to a Multi-User Virtual Environment for Science [C]//User Modeling， Adaptation， and Personalization（UMAP）.Springer：2014，290-300.

[21] PEDRO M S ，GOBERT J D，BETTS C G. Towards Scalable Assessment of Performance-Based Skills： Generalizing a Detector of Systematic Science Inquiry to a Simulation with a Complex Structure [C]//Intelligent Tutoring Systems（ITS）.Honolulu：Springer：2014：591-600.

[22] DONNELLY D F，VITALE1 J M，LINN M C. Automated Guidance for Thermodynamics Essays： Critiquing Versus Revisiting [J].Journal of Science Education and Technology，2015，24（6）：861-874.

[23] GOBERT J D，BAKER R S，WIXON M B. Operationalizing and Detecting Disengagement Within Online Science Microworlds [J].Educational Psychologist，2015，50（1）：43-57.

[24] GOBERT J D，KIM Y J，SAO P M A，et al. Using educational data mining to assess students skills at designing and conducting experiments within a complex systems microworld [J].Thinking Skills and Creativity，2015，18 ：81-90.

[25] GWEON G H，LEE H S，F(xiàn)INZER W. Measuring systematcity of students' experimentation in an open-ended simulation environment from logging data [C]//the Annual Meeting of the American Educational Research Association.2016.

[26] VITALE M J，MCBRIDE E，LINN M C. Distinguishing complex ideas about climate change： knowledge integration vs. specific guidance [J].International Journal of Science Education，2016，38（9）：1548-1569.

[27] FRATAMICO L，CONATI C，KARDAN S，et al. Applying a Framework for Student Modeling in Exploratory Learning Environments： Comparing Data Representation Granularity to Handle Environment Complexity [J].International Journal of Artificial Intelligence in Education，2017，27（2） ：320-352.

[28] LIN F C，CHEN C M，WANG W F. Learning Process Analysis Based on Sequential Pattern Mining and Lag Sequential Analysis in a Web-Based Inquiry Science Environment [C]//2017 6th IIAI International Congress on Advanced Applied Informatics （IIAI-AAI）. Hamamatsu：IEEE，2017：655-660.

[29] PEREZ S，MASSEY-ALLARD J，BUTLER D，et al. Identifying Productive Inquiry in Virtual Labs Using Sequence Mining [C]//Artificial Intelligence in Education（AIED）.Cham：Springer，2017，287-298.

[30] ROWE E，ASBELL-CLARKE J，BAKER R S，et al. Assessing implicit science learning in digital games [J].Computers in Human Behavior，2017，76 ：617-630.

[31] ZHU M X，LEE H S，WANG T，et al. Investigating the impact of automated feedback on students scientific argumentation [J].International Journal of Science Education，2017，39（12） ：1648-1668.

[32] MAO L Y，LIU O L，ROOHR K，et al. Validation of Automated Scoring for a Formative Assessment that Employs Scientific Argumentation [J].Educational Assessment，2018，23（2）：121-138.

[33] GERARD L，KIDRON A ，LINN M C. Guiding collaborative revision of science explanations [J].International Journal of Computer-Supported Collaborative，2019，14（2） ：291-324.

[34] LEE H L，PALLANT A，PRYPUTNIEWICZ S，et al. Automated text scoring and real‐time adjustable feedback： Supporting revision of scientific arguments involving uncertainty [J].Science Education，2019，103（3）：590-622.

[35] XING W L，POPOV V，ZHU G X，et al. The effects of transformative and non-transformative discourse on individual performance in collaborative-inquiry learning [J].Computers in Human Behavior，2019，98：267-276.

[36] ZHU G X，XING W，VITALIY POPOV V. Uncovering the sequential patterns in transformative and non-transformative discourse during collaborative inquiry learning [J].The Internet and Higher Education，2019，41 ：51-61.

[37] CHEN C M，WANG W F.Mining Effective Learning Behaviors in a Web-Based Inquiry Science Environment [J].Journal of Science Education and Technology，2020，29：1-17.

[38] SUNG S H，LI C L，CHEN G H，et al. How Does Augmented Observation Facilitate Multimodal Representational Thinking？ Applying Deep Learning to Decode Complex Student Construct [J].Journal of Science Education and Technology，2020，30：1-17.

[39] ZHU M X，LIU O L，LEE H S. The effect of automated feedback on revision behavior and learning gains in formative assessment of scientific argument writing [J/OL].Computers & Education，2020，143（C） ：103668（2019-08-19）.https： //www.sciencedirect.com/science/article/abs/pii/S0360131519302210.

[40] LEE H S，GWEON G H，LORD T，et al. Machine Learning-Enabled Automated Feedback： Supporting Students Revision of Scientific Arguments Based on Data Drawn from Simulation [J].Journal of Science Education and Technology，2021，30：168–192.

[41] 吳偉，趙陽(yáng)陽(yáng)，熊耀華.基于網(wǎng)絡(luò)的科學(xué)探究教學(xué)：來(lái)自WISE的啟示 [J].外國(guó)中小學(xué)教育，2011（2）：33-37.

[42] 張新華，劉美博，容梅.WISE項(xiàng)目移植于我國(guó)科學(xué)教學(xué)的實(shí)踐探索 [J].中國(guó)教育信息化，2018（10）：23-28+50.

[43] YANG Y W，BUCKENDAHL C W，JUSZKIEWICZ P J，et al. A Review of Strategies for Validating Computer-Automated Scoring [J].Applied Measurement in Education，2010，15（4）：391-412.

[44] 吳華君，陳其鐵，何聚厚.國(guó)內(nèi)虛擬實(shí)驗(yàn)研究的知識(shí)圖景及態(tài)勢(shì)展望——基于近二十年文獻(xiàn)計(jì)量的視角 [J].數(shù)字教育，2022，8（2）：10-19.

[45] National Research Council. A Framework for K-12 Science Education： Practices， Crosscutting Concepts， and Core Ideas ?[M].Washington，DC：The National Academies Press，2012.

[46] National Research Council. Next generation science standards： for states， by states [M].Washington，DC：The National Academies Press，2013.

[47] ERDURAN S. Developing assessments for the next generation science standards [J].Assessment in Education：Principles，Policy & Practice，2018，25（2）：224-226.

[48] BENNETT R E. Educational Assessment： What to Watch in a Rapidly Changing World [J].Educational Measurement：Issues and Practice，2018，37（4）：7-15.

[49] 楊曉鵬，梁芳，余翔.小學(xué)科學(xué)教育“低谷”現(xiàn)象探析——以南昌市部分小學(xué)為例 [J].教育導(dǎo)刊，2010（6）：80-82.

作者簡(jiǎn)介：孫社兵（1996—），女，漢族，河南濮陽(yáng)人，碩士在讀，研究方向：教育數(shù)據(jù)挖掘；通訊作者：張巧榮（1978—），女，漢族，河南鄭州人，副教授、碩士生導(dǎo)師，博士，研究方向：數(shù)字圖像處理、人工智能；李田茖?zhuān)?001—），女，漢族，河南鄭州人，本科在讀，研究方向：教育數(shù)據(jù)可視化。