李艷燕　董笑男　李新　張媛

摘要：STEM教育因其融合多學(xué)科知識、培養(yǎng)創(chuàng)新精神和實(shí)踐能力的特點(diǎn)受到廣大研究者和實(shí)踐者的關(guān)注。當(dāng)前國外真正聚焦到STEM教育質(zhì)量評價(jià)并具有較強(qiáng)可操作性的研究較少，而國內(nèi)少量相關(guān)研究主要是介紹國外STEM教育評價(jià)的研究進(jìn)展。嚴(yán)重缺乏成熟可行且適用于我國STEM教育發(fā)展的評價(jià)工具，很大程度上制約了我國STEM教育的可持續(xù)發(fā)展。經(jīng)過德爾菲法兩輪專家意見征詢以及層次分析法確定評價(jià)指標(biāo)權(quán)重后構(gòu)建的STEM教育教學(xué)質(zhì)量評價(jià)工具，既綜合考慮了STEM的本質(zhì)特征、已有STEM教育評價(jià)工具及指標(biāo)維度，又直接聚焦于課堂教學(xué)，最終包含課堂環(huán)境、課程結(jié)構(gòu)、教學(xué)內(nèi)容以及學(xué)生表現(xiàn)4個(gè)一級指標(biāo)和22個(gè)二級指標(biāo)。該指標(biāo)體系形式與我國教育教學(xué)中教師所用的教研表、評課表等類似，有助于教師更好地理解與使用;且經(jīng)過初步試用，具有較高的信度，能夠比較全面地評價(jià)STEM教育中的各方面要素，有助于促進(jìn)STEM教育的健康有序發(fā)展。

關(guān)鍵詞：STEM教育;質(zhì)量評價(jià);指標(biāo)體系;德爾菲法;層次分析法

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2020）02-0048-09? doi10.3969/j.issn.1009-5195.2020.02.006

*基金項(xiàng)目：北京市教育科學(xué)“十三五”規(guī)劃2016年度重點(diǎn)課題“STEM教育視角下中小學(xué)科學(xué)教學(xué)模式創(chuàng)新實(shí)踐研究”（CADA16038）。

作者簡介：李艷燕，博士，教授，博士生導(dǎo)師，北京師范大學(xué)智慧學(xué)習(xí)研究院（北京 100875）;董笑男（通訊作者），碩士，北大附中天津東麗湖學(xué)校（天津 300309）;李新，碩士，北京師范大學(xué)互聯(lián)網(wǎng)教育智能技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室（北京 100875）;張媛，碩士，國網(wǎng)大學(xué)國家電網(wǎng)公司高級培訓(xùn)中心（北京? 100192）。

一、引言

科學(xué)技術(shù)與教育教學(xué)的深度融合促進(jìn)了多樣化學(xué)習(xí)需求的快速增長，傳統(tǒng)教學(xué)模式與組織形式已無法滿足創(chuàng)造性與個(gè)性化的學(xué)習(xí)需求。STEM教育作為具有跨學(xué)科性、真實(shí)情境性、基于項(xiàng)目式學(xué)習(xí)等特征的新型教育模式，對培養(yǎng)學(xué)生的創(chuàng)新能力與核心素養(yǎng)，滿足學(xué)生的個(gè)性化學(xué)習(xí)需求等具有重要價(jià)值（余勝泉等，2015）。STEM教育實(shí)踐環(huán)節(jié)中，如何科學(xué)有效地評價(jià)STEM教育的教學(xué)效果已經(jīng)成為領(lǐng)域的研究重點(diǎn)。文獻(xiàn)分析發(fā)現(xiàn)，已有部分學(xué)者基于STEM教育系統(tǒng)及其特征等開發(fā)了STEM教育評價(jià)工具。如Lin等（2015）基于計(jì)算機(jī)理論模型以協(xié)同問題解決矩陣開發(fā)了評價(jià)學(xué)生協(xié)作問題解決能力的STEM評價(jià)系統(tǒng);Bicer等（2017）將STEM教育中科學(xué)與數(shù)學(xué)相結(jié)合，設(shè)計(jì)了評價(jià)高中生在STEM課堂中科學(xué)與數(shù)學(xué)成就的STEM教育評價(jià)指標(biāo)體系。然而，這些研究大多只關(guān)注STEM課堂中的學(xué)生表現(xiàn)或教師教學(xué)等單一方面，缺乏對師生以及教學(xué)效果的整體評價(jià)。STEM教育評價(jià)作為促進(jìn)STEM教育健康有序發(fā)展的關(guān)鍵，具有多元化、多角度、過程性、全方位等特征。開發(fā)適合我國STEM教育發(fā)展、符合國內(nèi)教學(xué)目標(biāo)與教學(xué)理念的STEM教育評價(jià)工具，是當(dāng)前我國STEM教育研究領(lǐng)域亟待解決的問題。本研究基于國內(nèi)外STEM教育評價(jià)工具、指標(biāo)體系以及本質(zhì)特征等，利用德爾菲法與層次分析法構(gòu)建STEM教育質(zhì)量評價(jià)體系，期望能為STEM教育評價(jià)提供支持，促進(jìn)我國STEM教育的科學(xué)發(fā)展。

二、STEM教育評價(jià)綜述

1.國外STEM教育評價(jià)工具

評價(jià)工具與維度指標(biāo)是評價(jià)STEM教育的關(guān)鍵。Kier等（2014）在職業(yè)意識背景下通過文獻(xiàn)分析、指標(biāo)初選、量表測試、結(jié)構(gòu)分析、驗(yàn)證性因素分析以及生成量表6個(gè)步驟開發(fā)了用來評價(jià)中學(xué)生STEM職業(yè)興趣的STEM-CIS評價(jià)工具。Milner等（2014）采用5點(diǎn)李克特量表開發(fā)了評價(jià)學(xué)生STEM興趣以及自我效能感的測試工具。Harwell等（2015）在借鑒已有評價(jià)工具的基礎(chǔ)上，針對4～8年級的學(xué)生，開發(fā)了包含科學(xué)、數(shù)學(xué)、工程三大領(lǐng)域的7個(gè)課程模塊，用來評價(jià)STEM課程對學(xué)生學(xué)習(xí)概念影響的評價(jià)工具。實(shí)踐證明該評價(jià)工具可以為學(xué)校STEM課程開展提供借鑒意義。Corlu（2013）以STEM社區(qū)、STEM教育以及STEM評估因素為基礎(chǔ)，采用形成性、總結(jié)性、真實(shí)性和自我調(diào)節(jié)四種評價(jià)方式，開發(fā)了用來評價(jià)STEM教學(xué)實(shí)踐的高校STEM課程評價(jià)工具。研究發(fā)現(xiàn)該課程評價(jià)結(jié)果能夠有效促進(jìn)STEM課程的高質(zhì)量發(fā)展以及STEM教師的專業(yè)成長。此外，Lee等（2013）以5點(diǎn)李克特量表的形式開發(fā)了用來評價(jià)學(xué)生STEM概念發(fā)展情況的STEM教育評價(jià)工具——COSA（Conceptions of Science Assessment），該評價(jià)工具的評價(jià)維度包括前概念、學(xué)習(xí)影響、問題解決、批判性判斷等。Eddy等（2015）開發(fā)的幫助教師促進(jìn)學(xué)生主動(dòng)學(xué)習(xí)的STEM課堂觀察工具——主動(dòng)學(xué)習(xí)評價(jià)量表（Practical Observation Rubric To Assess Active Learning，PORTAAL），包含教學(xué)實(shí)踐、邏輯、責(zé)任、減少負(fù)荷四個(gè)維度的21個(gè)觀察要點(diǎn)，可用于評價(jià)25節(jié)STEM課程。

系統(tǒng)梳理國外STEM教育評價(jià)工具（見表1），可以發(fā)現(xiàn)其主要評價(jià)對象聚焦在課堂、教師以及學(xué)生三方面，評價(jià)方法主要包括課堂觀察和問卷調(diào)查，評價(jià)內(nèi)容可以概括為課程內(nèi)容和教師教學(xué)兩方面。從研究方向和研究成果來看，國外在STEM教育評價(jià)方面開發(fā)了較多的評價(jià)工具，評價(jià)內(nèi)容也相對全面。其中UTOP（UTeach Observation Protocol）評價(jià)工具由美國國家自然科學(xué)基金會(huì)組織開發(fā)，是面向STEM教師培養(yǎng)、提升教師專業(yè)發(fā)展而開發(fā)的課堂觀察工具，關(guān)注教師是否考慮學(xué)生的前概念、教學(xué)設(shè)計(jì)，以及學(xué)生的學(xué)習(xí)投入，被廣泛應(yīng)用于STEM教育評價(jià)（Gee，2008）。該評價(jià)體系包含27個(gè)評分要點(diǎn)，從教學(xué)實(shí)踐角度出發(fā)，涉及環(huán)境、課程、效果和內(nèi)容四個(gè)方面，具有較高的借鑒價(jià)值（Walkington et al.，2018）。但是UTOP工具是基于美國教育教學(xué)特征而開發(fā)的，主要適用于數(shù)學(xué)和自然科學(xué)兩門學(xué)科的教師，對課堂教學(xué)氛圍以及學(xué)生間的互動(dòng)關(guān)注較少，在缺乏普適性的同時(shí)也忽略了對學(xué)生的關(guān)注與評價(jià)。

2.國內(nèi)STEM教育評價(jià)工具

與國外STEM教育評價(jià)研究相比，我國學(xué)者圍繞STEM教育的研究大多聚焦在STEM教學(xué)活動(dòng)的設(shè)計(jì)、實(shí)踐以及教師專業(yè)發(fā)展等方面。關(guān)于STEM教育評價(jià)方面的研究，相關(guān)研究也僅是在介紹國外STEM教育評價(jià)的研究進(jìn)展（曾寧等，2018）。從近兩年僅有的少數(shù)研究來看，樊雅琴等（2018）將小學(xué)生參與度劃分為認(rèn)知參與度、情感參與度、行為參與度以及社交參與度四個(gè)維度，基于此來開發(fā)STEM學(xué)生參與度評價(jià)工具，并將年齡、性別等作為評價(jià)要素，根據(jù)評價(jià)結(jié)果提出項(xiàng)目式STEM教學(xué)中學(xué)生參與度的提高策略。吳忭等（2018）提出了利用認(rèn)知網(wǎng)絡(luò)分析法對STEM教育開展評價(jià)的新思路。綜上可以看出，近年來我國雖然圍繞STEM教育理論、模式、應(yīng)用實(shí)踐等進(jìn)行了大量的探討，但是針對STEM教育評價(jià)的研究相對較少，而且僅有的相關(guān)研究大多數(shù)都在介紹美國、芬蘭等發(fā)達(dá)國家的STEM教育評價(jià)的實(shí)踐進(jìn)展，缺乏成熟可行且適用于我國STEM教育發(fā)展的評價(jià)工具，這在很大程度上制約了我國STEM教育的可持續(xù)發(fā)展，因此亟待研發(fā)能夠滿足我國STEM教育發(fā)展需求的評價(jià)工具，推進(jìn)我國STEM教育的健康有序發(fā)展。

三、STEM教育質(zhì)量評價(jià)指標(biāo)體系的設(shè)計(jì)與完善

1.評價(jià)指標(biāo)體系設(shè)計(jì)

STEM教育質(zhì)量評價(jià)指標(biāo)的初步構(gòu)建主要包括兩個(gè)步驟：一是對STEM教育本質(zhì)特征進(jìn)行分析，二是基于STEM教育特征以及對國內(nèi)外STEM教育評價(jià)工具的比較分析初步確定STEM教育質(zhì)量評價(jià)指標(biāo)體系。

（1）STEM教育特征分析

STEM教育是一種以真實(shí)問題解決為任務(wù)驅(qū)動(dòng)、立足學(xué)習(xí)過程、多技術(shù)交叉融合的跨學(xué)科教育，以培養(yǎng)具有全面科學(xué)素養(yǎng)和創(chuàng)新實(shí)踐能力的人才為根本目標(biāo)（秦瑾若等，2017）。余勝泉等（2015）將STEM教育的特征概括為跨學(xué)科、趣味性、體驗(yàn)性、情境性、協(xié)作性、設(shè)計(jì)性、藝術(shù)性、實(shí)證性、技術(shù)增強(qiáng)性9個(gè)核心特征。本研究綜合余勝泉等的觀點(diǎn)，認(rèn)為STEM教育具有跨學(xué)科性、真實(shí)情境性、基于項(xiàng)目的學(xué)習(xí)以及協(xié)作交流四個(gè)特征。

跨學(xué)科性?？鐚W(xué)科性是STEM教育區(qū)別于傳統(tǒng)教育的最大特征，是指教師不再將重點(diǎn)放在某個(gè)特定學(xué)科或者關(guān)注學(xué)科界限，而是將重心放在特定問題上，強(qiáng)調(diào)利用科學(xué)、技術(shù)、工程或數(shù)學(xué)等學(xué)科相互關(guān)聯(lián)的知識解決問題，實(shí)現(xiàn)跨越學(xué)科界限、從多學(xué)科知識綜合應(yīng)用的角度提高學(xué)生解決實(shí)際問題能力的教育目標(biāo)（余勝泉等，2015）。STEM的跨學(xué)科屬性倡導(dǎo)學(xué)生在多學(xué)科交叉中開展學(xué)習(xí)，不再僅關(guān)注某一個(gè)學(xué)科內(nèi)部的知識，而是強(qiáng)調(diào)不同學(xué)科之間的聯(lián)系及其相互影響。這樣不僅能夠提高學(xué)生各方面的素質(zhì)與能力，同時(shí)也有利于避免教育教學(xué)中的重復(fù)性與單一性。

真實(shí)情境性。STEM教育強(qiáng)調(diào)知識是學(xué)習(xí)者通過與學(xué)習(xí)環(huán)境、生活案例相互建構(gòu)的產(chǎn)物，而非來自教師等外部資源的灌輸，因此STEM教育的真實(shí)情境性主要體現(xiàn)在通過技術(shù)手段再現(xiàn)生活場景中的實(shí)際問題與真實(shí)案例來激發(fā)學(xué)生的學(xué)習(xí)興趣，刺激其回憶與之匹配的先前知識，在此基礎(chǔ)上建立新的知識體系。這有助于培養(yǎng)學(xué)生將所學(xué)知識進(jìn)行情境化應(yīng)用的能力，幫助學(xué)生理解和辨識不同情境的知識表現(xiàn)，進(jìn)而根據(jù)所學(xué)知識與背景信息發(fā)現(xiàn)問題本質(zhì)并靈活解決現(xiàn)實(shí)問題?？梢哉f，STEM教育的真實(shí)情境性不僅能使學(xué)生獲得知識，還能進(jìn)一步掌握知識的社會(huì)性、情境性以及遷移運(yùn)用的能力，進(jìn)而培養(yǎng)其創(chuàng)新精神與動(dòng)手能力。

基于項(xiàng)目的學(xué)習(xí)?；陧?xiàng)目的學(xué)習(xí)（PBL）是較為典型的STEM教學(xué)模式，廣泛應(yīng)用于STEM教學(xué)中。項(xiàng)目式學(xué)習(xí)活動(dòng)一般包括問題提出、項(xiàng)目設(shè)計(jì)、工作計(jì)劃、作品展示以及反饋評價(jià)等環(huán)節(jié)，具體包括內(nèi)容、活動(dòng)、情境以及結(jié)果，在真實(shí)生活情境中讓學(xué)生積極探索、決策，提升學(xué)生的綜合能力與科學(xué)素養(yǎng)。具體來看，基于項(xiàng)目的教學(xué)模式通常以問題提出為出發(fā)點(diǎn)，在此基礎(chǔ)上強(qiáng)調(diào)組建學(xué)習(xí)小組，進(jìn)行合作探究，小組內(nèi)確定學(xué)習(xí)目標(biāo)與小組分工，在協(xié)作探究中完成學(xué)習(xí)任務(wù)（李王偉等，2018），具有開放性、實(shí)踐性、可行性等特點(diǎn)。

協(xié)作交流。協(xié)作交流包括“協(xié)作”和“對話”兩個(gè)要素，“協(xié)作”是指學(xué)習(xí)者共同完成學(xué)習(xí)任務(wù)，“對話”是指學(xué)習(xí)者間的言語交流。STEM教育強(qiáng)調(diào)群體間的交流、協(xié)作以及共同完成知識建構(gòu)的學(xué)習(xí)任務(wù)。STEM教育中涉及到的學(xué)習(xí)任務(wù)往往來自真實(shí)情境，大多數(shù)任務(wù)需要同伴或老師的協(xié)助才能完成，因此在任務(wù)完成過程中，學(xué)生以小組為單位，共同分析問題、收集資料、討論交流、展示成果等，強(qiáng)調(diào)學(xué)生間的協(xié)作交流，評價(jià)環(huán)節(jié)也著重考慮小組成員的共同表現(xiàn)和小組間的協(xié)作情況，而不是個(gè)人表現(xiàn)（余勝泉等，2015）。

（2）初步確定STEM教育質(zhì)量評價(jià)指標(biāo)

在STEM教育實(shí)際開展過程中，需要將形成性評價(jià)和總結(jié)性評價(jià)相結(jié)合，制定全面完備的評價(jià)工具，將學(xué)生的表現(xiàn)外顯為操作化的評價(jià)指標(biāo)，從而對STEM課堂、教師、學(xué)生等進(jìn)行全面評價(jià)。本研究主要參照UTOP評價(jià)工具的環(huán)境、課程、內(nèi)容評價(jià)維度，并在此基礎(chǔ)上從課堂環(huán)境、課程結(jié)構(gòu)、教學(xué)內(nèi)容以及執(zhí)行效果四個(gè)方面進(jìn)行評價(jià)。由于UTOP評價(jià)工具在普適性和關(guān)注學(xué)生成長等方面存在一定的局限性，因此本研究構(gòu)建的STEM教育評價(jià)工具在借鑒UTOP評價(jià)工具優(yōu)勢的基礎(chǔ)上，兼顧了我國STEM教育的基本特征。其中跨學(xué)科性強(qiáng)調(diào)不同學(xué)科知識的交叉應(yīng)用，全面提升學(xué)生的綜合素質(zhì)，因此在教學(xué)內(nèi)容指標(biāo)下強(qiáng)調(diào)了對課程內(nèi)容相關(guān)性、交互性等跨學(xué)科屬性的評價(jià);真實(shí)情境性強(qiáng)調(diào)STEM教育知識體系來源于生活并應(yīng)用于生活，因此在課程結(jié)構(gòu)維度下突出課程探索、課程資源等二級指標(biāo)，關(guān)注教師是否能夠基于生活實(shí)際情況提出探索性問題，以及教師是否能夠利用視頻、音頻、模型等工具展示生活化的教學(xué)內(nèi)容;基于項(xiàng)目的學(xué)習(xí)強(qiáng)調(diào)問題意識與小組間的協(xié)作，因此特意設(shè)計(jì)了執(zhí)行效果這一維度，具體包括明確問題、明確方案、創(chuàng)建模型、交流結(jié)果等二級指標(biāo)，完全匹配基于項(xiàng)目的學(xué)習(xí)基本理念;協(xié)作交流強(qiáng)調(diào)學(xué)生間的合作探究精神，因此在執(zhí)行效果中強(qiáng)調(diào)考察學(xué)生的協(xié)作精神與交互性，并鼓勵(lì)小組進(jìn)行展示匯報(bào)。基于此，本研究初步設(shè)計(jì)了包含課堂環(huán)境、課程結(jié)構(gòu)、教學(xué)內(nèi)容以及執(zhí)行效果4個(gè)一級指標(biāo)維度以及28個(gè)二級指標(biāo)的STEM教育質(zhì)量評價(jià)指標(biāo)體系（見表2）。

2.評價(jià)指標(biāo)體系修訂

為了驗(yàn)證評價(jià)指標(biāo)的科學(xué)性以及可行性，研究采用德爾菲法，編制了專家意見征詢表，將維度重要性劃分為5個(gè)級別，選取20位STEM教育研究專家，采用發(fā)送郵件的方式進(jìn)行意見征詢。意見征詢的專家分為三類：第一類，STEM教育標(biāo)準(zhǔn)研究專家，從理論研究的視角修訂評價(jià)指標(biāo)體系;第二類，STEM教育教學(xué)研究專家，從教育教學(xué)的視角修訂評價(jià)指標(biāo)體系;第三類，STEM教育實(shí)踐專家，從教學(xué)應(yīng)用的視角修訂評價(jià)指標(biāo)體系。20位最終提供意見的研究專家，既有來自高校和科研機(jī)構(gòu)的教授，也有來自一線教學(xué)的高級教師。

（1）第一輪專家意見征詢

第一輪專家意見征詢的目的是征求專家對評價(jià)指標(biāo)劃分、語言表述的意見，并對重要性進(jìn)行打分。為了確保專家咨詢結(jié)果的可靠性，研究首先采用專家權(quán)威程度系數(shù)Cr對專家評分的可靠性進(jìn)行分析，Cr的值取決于專家熟悉程度系數(shù)值Cs和所有判斷系數(shù)和Ca，當(dāng)Cr>0.7時(shí)，說明信度較高。本研究Cr=0.825（Cr≥0.7）表明第一輪專家咨詢結(jié)果的可信度較高。專家們對于評價(jià)指標(biāo)體系的反饋意見可以概括為“修改指標(biāo)名稱”“修改指標(biāo)表述”“增加/刪除指標(biāo)”“指標(biāo)從屬領(lǐng)域變更”四大類。具體修改情況為：刪除“A1課堂參與”，該指標(biāo)與“課堂互動(dòng)”重復(fù);“A3課堂對話”改為“課堂指引”，突出教師的指導(dǎo)性;刪除“A4學(xué)生專注”，該指標(biāo)不應(yīng)在課堂環(huán)境維度下?！癇1課程順序”改為“課程結(jié)構(gòu)”，表述更加準(zhǔn)確;“B2重點(diǎn)突出”移動(dòng)到教學(xué)內(nèi)容維度，增加“課程設(shè)計(jì)”;“B6課程反思”改為“課程總結(jié)”，反思通過課堂觀察不易測量?！癈1意義”改為“教學(xué)意義”，表述更加準(zhǔn)確;“C2水平流暢性”改為“教學(xué)表達(dá)”，表述更加專業(yè);“C3準(zhǔn)確性”改為“教學(xué)準(zhǔn)確”，表述更加準(zhǔn)確;增加“重點(diǎn)突出”指標(biāo);“C7交互性”改為“跨學(xué)科性”;刪除“C4評價(jià)”“C5抽象”“C6相關(guān)性”“C8社會(huì)影響”?！癉1確定問題”改為“明確問題”，表述更加準(zhǔn)確;“D2限定條件”改為“尋找限定條件”。與此同時(shí)，對各指標(biāo)的具體表述進(jìn)行了較為仔細(xì)的修改，使具體表述更加準(zhǔn)確且通俗易懂。

（2）第二輪專家意見征詢

第二輪專家意見征詢的步驟與第一輪相同，繼續(xù)對第一輪修訂后的評價(jià)指標(biāo)體系征詢專家意見。第二輪只有5位專家提出修改意見，主要集中在指標(biāo)的描述上，建議指標(biāo)表述更加清晰，避免指標(biāo)之間的重復(fù)。主要對“D執(zhí)行效果”這一指標(biāo)進(jìn)行了重點(diǎn)修改，將其改為“學(xué)生表現(xiàn)”;并將“D1確定問題”改為“問題理解”，含義更加廣泛;將“D2限定條件”改為“活動(dòng)探究”，更加有助于師生理解其含義;“D3明確方案”改為“方案設(shè)計(jì)”，表述更加準(zhǔn)確;“D4創(chuàng)建模型”改為“模型創(chuàng)建”;“D6交流結(jié)果”改為“結(jié)果交流”，統(tǒng)一表述;“D7修改與再設(shè)計(jì)”改為“迭代設(shè)計(jì)”，表述更加準(zhǔn)確專業(yè)。此外還對各指標(biāo)的具體描述進(jìn)行了修改，使其更加準(zhǔn)確簡潔。

3.評價(jià)指標(biāo)體系解讀

經(jīng)過兩輪德爾菲法，指標(biāo)項(xiàng)平均值逐漸變大，變異系數(shù)逐漸縮小，表明指標(biāo)項(xiàng)逐漸趨于合理，專家意見達(dá)成一致。在指標(biāo)內(nèi)容層面，第一輪德爾菲法專家咨詢后，對指標(biāo)的結(jié)構(gòu)、維度和具體表述進(jìn)行了調(diào)整與修改，形成了比較科學(xué)、標(biāo)準(zhǔn)的評價(jià)指標(biāo)框架。在第一輪數(shù)據(jù)回收及專家意見的基礎(chǔ)上，第二輪專家咨詢數(shù)據(jù)均已達(dá)到標(biāo)準(zhǔn)水平，僅對少部分指標(biāo)的描述、順序進(jìn)行了調(diào)整與修改，以提升指標(biāo)的準(zhǔn)確性、科學(xué)性。綜上所述，經(jīng)過兩輪的德爾菲法專家咨詢后，本研究最終構(gòu)建了包含4個(gè)一級指標(biāo)、22個(gè)二級指標(biāo)的STEM教育評價(jià)工具（見表3）。與國外STEM教育評價(jià)工具相比，本研究構(gòu)建的STEM教育質(zhì)量評價(jià)工具直接聚焦于課堂教學(xué)，涵蓋課堂物理環(huán)境、課程體系、教學(xué)內(nèi)容以及學(xué)生表現(xiàn)四個(gè)方面，能夠比較全面地評價(jià)STEM教育的課堂情況。此外，各級指標(biāo)的設(shè)計(jì)以及指標(biāo)項(xiàng)的說明等形式與我國教育教學(xué)中教師所用教研表、評課表等類似，有助于教師更好地理解與使用該評價(jià)工具。

課堂

環(huán)境＼&A1空間布局＼&STEM課堂物理環(huán)境舒適，座位布局能夠滿足學(xué)生STEM協(xié)作學(xué)習(xí)及實(shí)踐需求，具有合理性＼&A2 STEM設(shè)備＼&STEM課堂中含有各類科學(xué)、技術(shù)、工程、數(shù)學(xué)類教具、儀器等教學(xué)設(shè)備，能夠滿足學(xué)生開展STEM活動(dòng)需求＼&A3教學(xué)引導(dǎo)＼&STEM課堂中，教師通過分析學(xué)生的對話與表現(xiàn)，能夠引導(dǎo)學(xué)生進(jìn)行積極深入地思考與討論＼&A4課堂管理＼&教師能夠根據(jù)學(xué)生學(xué)習(xí)表現(xiàn)與效果，合理把控課堂進(jìn)程，調(diào)整課堂內(nèi)容，創(chuàng)建良好的課堂環(huán)境＼&A5公平性＼&在STEM課堂中，教師對每個(gè)學(xué)生提供均等的學(xué)習(xí)機(jī)會(huì)＼&B

課程

結(jié)構(gòu)＼&B1課程目標(biāo)＼&STEM課程目標(biāo)包含科學(xué)知識、科學(xué)探究、科學(xué)態(tài)度以及科學(xué)、技術(shù)、社會(huì)與環(huán)境目標(biāo)，能夠促進(jìn)學(xué)生的STEM知識、STEM素養(yǎng)以及培養(yǎng)學(xué)生解決實(shí)際生活中問題的能力＼&B2課程內(nèi)容＼&STEM課程內(nèi)容明確，能夠培養(yǎng)學(xué)生的STEM興趣與技能，學(xué)生有清晰的學(xué)習(xí)目標(biāo)和學(xué)習(xí)成果＼&B3課程資源＼&視頻、音頻、模型、工具等課程資源豐富，學(xué)生能夠充分利用課程資源進(jìn)行學(xué)習(xí)＼&B4課程評價(jià)＼&教師能夠根據(jù)學(xué)生的課堂表現(xiàn)與理解程度，合理對課程內(nèi)容進(jìn)行評價(jià)與調(diào)整＼&B5課程總結(jié)＼&教師能夠在課程結(jié)束時(shí)，總結(jié)學(xué)生的課堂表現(xiàn)與學(xué)習(xí)成果，培養(yǎng)學(xué)生的創(chuàng)造性意識與提高學(xué)生的學(xué)習(xí)興趣＼&C

教學(xué)

內(nèi)容＼&C1教學(xué)價(jià)值＼&STEM教學(xué)內(nèi)容能夠培養(yǎng)與提高學(xué)生的科學(xué)、技術(shù)、工程、數(shù)學(xué)思維與素養(yǎng)，具有教學(xué)價(jià)值與意義，符合學(xué)生的認(rèn)知發(fā)展水平＼&C2教學(xué)準(zhǔn)確性＼&STEM教師對STEM概念的理解以及展示內(nèi)容具有準(zhǔn)確性與科學(xué)性，對學(xué)生探究的指導(dǎo)有效且流暢＼&C3內(nèi)容跨學(xué)科性＼&STEM教學(xué)內(nèi)容不僅僅局限于單一學(xué)科，注重學(xué)科之間的聯(lián)系，全面培養(yǎng)學(xué)生的STEM素養(yǎng)，具有跨學(xué)科性＼&C4重點(diǎn)突出＼&有限的課堂時(shí)間內(nèi)，教師能夠突出重要的STEM教學(xué)內(nèi)容，教學(xué)重點(diǎn)突出＼&C5內(nèi)容連貫性＼&提問、測試、任務(wù)、作業(yè)等內(nèi)容與教學(xué)目標(biāo)緊密結(jié)合，具有連貫性＼&D

學(xué)生

表現(xiàn)＼&D1問題理解＼&學(xué)生能夠在教師的指導(dǎo)下或協(xié)作學(xué)習(xí)中進(jìn)行積極思考與討論，明確要解決的問題＼&D2活動(dòng)探究＼&學(xué)生能夠積極思考或參與到小組活動(dòng)中，根據(jù)探究問題尋找限定條件＼&D3方案設(shè)計(jì)＼&學(xué)生能夠通過思考與協(xié)作學(xué)習(xí)尋找解決問題的方案，并確定最佳方案＼&D4模型創(chuàng)建＼&學(xué)生能夠在教師預(yù)留的探究時(shí)間內(nèi)，積極思考創(chuàng)建模型＼&D5測試與檢驗(yàn)＼&學(xué)生能夠利用以往的知識與經(jīng)驗(yàn)收集信息與數(shù)據(jù)，開展多次試驗(yàn)＼&D6結(jié)果交流＼&學(xué)生能夠?qū)f(xié)作學(xué)習(xí)的成果進(jìn)行展示與匯報(bào)，教師進(jìn)行評價(jià)與總結(jié)＼&D7迭代設(shè)計(jì)＼&學(xué)生能夠根據(jù)教師意見、反饋，進(jìn)行交流與迭代設(shè)計(jì)，完善設(shè)計(jì)方案＼&]

（1）課堂環(huán)境

課堂環(huán)境包含空間布局、STEM設(shè)備、教學(xué)引導(dǎo)、課堂管理、公平性5個(gè)二級指標(biāo)。新興的學(xué)習(xí)技術(shù)和智能學(xué)習(xí)環(huán)境正逐漸融入STEM教育，基于項(xiàng)目的學(xué)習(xí)注重學(xué)習(xí)空間的建設(shè)。因此，本研究將空間布局、STEM設(shè)備作為評價(jià)課堂環(huán)境的重要指標(biāo)。教師的教學(xué)引導(dǎo)、課堂有效管理以及是否為每位學(xué)生提供均等的學(xué)習(xí)機(jī)會(huì)，均會(huì)對課堂環(huán)境產(chǎn)生影響。

（2）課程結(jié)構(gòu)

課程結(jié)構(gòu)包含課程目標(biāo)、課程內(nèi)容、課程資源、課程評價(jià)、課程總結(jié)5個(gè)二級指標(biāo)。所謂課程結(jié)構(gòu)，就是課程實(shí)施活動(dòng)順利開展的依據(jù)，是課程各部分的協(xié)調(diào)與組織。在此維度下設(shè)立的評價(jià)指標(biāo)能夠評價(jià)教師對課程目標(biāo)的確定是否符合STEM教育培養(yǎng)目標(biāo)，課程內(nèi)容是否符合學(xué)生的認(rèn)知發(fā)展，以及教學(xué)資源是否應(yīng)用得當(dāng)?shù)取?/p>

（3）教學(xué)內(nèi)容

教學(xué)內(nèi)容包含教學(xué)價(jià)值、教學(xué)準(zhǔn)確性、內(nèi)容跨學(xué)科性、重點(diǎn)突出、內(nèi)容連貫性5個(gè)二級指標(biāo)。該維度重點(diǎn)評價(jià)教師的教學(xué)表現(xiàn)，其中教學(xué)價(jià)值是STEM教學(xué)內(nèi)容的基本要求，而教學(xué)準(zhǔn)確性則體現(xiàn)了STEM教師的專業(yè)素養(yǎng)，是評價(jià)STEM教師的重要指標(biāo)。內(nèi)容跨學(xué)科性、連貫性體現(xiàn)了STEM教師是否具有清晰的思路，以及對教學(xué)內(nèi)容的掌握情況和教學(xué)嚴(yán)謹(jǐn)性。重點(diǎn)突出是衡量教師能否在有限的時(shí)間內(nèi)，突出教學(xué)內(nèi)容的重點(diǎn)部分，評價(jià)教師對教學(xué)內(nèi)容的整體把握。

（4）學(xué)生表現(xiàn)

學(xué)生表現(xiàn)包含問題理解、活動(dòng)探究、方案設(shè)計(jì)、模型創(chuàng)建、測試與檢驗(yàn)、結(jié)果交流、迭代設(shè)計(jì)7個(gè)二級指標(biāo)。學(xué)生表現(xiàn)是指學(xué)生在STEM課堂中的學(xué)習(xí)投入與情感體驗(yàn)等。該維度下的指標(biāo)項(xiàng)是對學(xué)生STEM活動(dòng)表現(xiàn)的綜合評價(jià)，從協(xié)作學(xué)習(xí)中的表現(xiàn)到最終的成果展示均是對學(xué)生進(jìn)行表現(xiàn)型評價(jià)，以更好地掌握學(xué)生的學(xué)習(xí)情況，為教師提供教學(xué)參考。

本研究在具體操作中將評價(jià)指標(biāo)采用等級量表的形式劃分為A、B、C、D、E、F 6個(gè)評價(jià)等級，分別對應(yīng)100分、80分、60分、40分、20分、0分。A等級表示完全符合指標(biāo)評價(jià)標(biāo)準(zhǔn);B等級表示符合指標(biāo)評價(jià)標(biāo)準(zhǔn);C等級表示較為符合指標(biāo)評價(jià)標(biāo)準(zhǔn);D等級表示一般符合評價(jià)評價(jià)標(biāo)準(zhǔn);E等級表示不太符合指標(biāo)評價(jià)標(biāo)準(zhǔn);F等級表示完全不符合指標(biāo)評價(jià)標(biāo)準(zhǔn)。評價(jià)者在進(jìn)行評價(jià)時(shí)，只需根據(jù)指標(biāo)項(xiàng)符合程度評定等級打分，之后根據(jù)等級值折合成分?jǐn)?shù)，實(shí)行二次量化。

四、STEM教育質(zhì)量評價(jià)指標(biāo)體系權(quán)重計(jì)算

經(jīng)過兩輪專家意見征詢，評價(jià)指標(biāo)體系最終由4個(gè)一級指標(biāo)、22個(gè)二級指標(biāo)以及具體說明構(gòu)成。為了增加指標(biāo)體系的可操作性，需要對指標(biāo)權(quán)重進(jìn)行計(jì)算。本研究利用層次分析法設(shè)計(jì)了AHP問卷，并采用群體決策的方式判斷指標(biāo)權(quán)重，以避免指標(biāo)權(quán)重的局限性與片面性。本研究以“在 STEM 研究領(lǐng)域中，理論與實(shí)踐經(jīng)驗(yàn)豐富且研究時(shí)長為3年及以上”為標(biāo)準(zhǔn)，在德爾菲法專家咨詢名單中選取10位STEM教學(xué)經(jīng)驗(yàn)豐富、擁有豐碩研究成果的專家參加層次分析法決策，共回收9份有效問卷，問卷回收率為90%。

1.指標(biāo)權(quán)重值計(jì)算

針對回收后問卷，計(jì)算一級指標(biāo)的相對重要程度。為了有效得出各級指標(biāo)的相對權(quán)重值，本研究采用層次分析法軟件Yaahp 進(jìn)行分析，通過一致性檢驗(yàn)后，可得出各項(xiàng)評價(jià)指標(biāo)最終權(quán)重值。表4為其中一位專家的相對重要程度的判斷矩陣。分析判斷矩陣能夠確定專家打分的一致性，將判斷矩陣的賦值進(jìn)行2次歸一化處理，最終將得到一級指標(biāo)的初始權(quán)重值。

2.指標(biāo)一致性檢驗(yàn)

研究采用指標(biāo)的一致性CI值來檢驗(yàn)評分結(jié)果是否具有一致性。在進(jìn)行數(shù)據(jù)分析時(shí)，各專家的評分一致性均低于0.1，說明專家判斷結(jié)果具有內(nèi)部一致性，結(jié)果科學(xué)可行。研究使用 Yaahp層次分析軟件進(jìn)行處理分析，不一致矩陣通過“判斷矩陣一致性自動(dòng)調(diào)整”功能來實(shí)現(xiàn)。本研究在分析9位專家判斷矩陣一致性時(shí)，采用分別求出9個(gè)判斷矩陣的權(quán)重，再根據(jù)結(jié)果進(jìn)行加權(quán)平均的方式進(jìn)行處理，這種方法可以保存專家的原始意見，最終得出各個(gè)指標(biāo)的權(quán)重值，其中一級指標(biāo)的權(quán)重值如表5所示，二級指標(biāo)的權(quán)重值文中不再呈現(xiàn)。

3.指標(biāo)權(quán)重的確定

根據(jù)上述步驟，研究獲得了評價(jià)工具的一級指標(biāo)、二級指標(biāo)單層次的權(quán)重值。為了計(jì)算二級指標(biāo)相對于總目標(biāo)的權(quán)重，需要根據(jù)一級指標(biāo)、二級指標(biāo)相應(yīng)權(quán)重計(jì)算各項(xiàng)指標(biāo)的組合權(quán)重，最終計(jì)算結(jié)果如表6所示。

五、STEM教育質(zhì)量評價(jià)指標(biāo)體系試用

為更好地驗(yàn)證評價(jià)工具的有效性和可信性，本研究邀請兩位 STEM 教育專家對北京市某小學(xué)二年級的兩堂 STEM 課進(jìn)行試評，評價(jià)等級 A、B、C、D、E、F分別賦值 6、5、4、3、2、1，通過 Cronabach α系數(shù)檢驗(yàn)評價(jià)工具可信度。在第一堂課 K1中，Cronabach α系數(shù)值為 0.8350>0.8，第二堂課K2中，Cronabach α系數(shù)值為 0.7240>0.6，說明在兩堂課的評價(jià)中，兩位評價(jià)者評分可信度較高。因此，本研究構(gòu)建的STEM教育質(zhì)量評價(jià)指標(biāo)體系各指標(biāo)內(nèi)部一致性較好，信度較高，評價(jià)結(jié)果具有較高的可信度。

在試用指標(biāo)體系的同時(shí)，研究也收集了教師的反饋意見。從整體的評價(jià)維度來說，兩位教師一致認(rèn)為該評價(jià)工具維度完整，能夠比較全面系統(tǒng)地評價(jià) STEM 教育質(zhì)量，各二級維度的具體指標(biāo)內(nèi)容也比較全面，對于師生的評價(jià)比較豐富，符合 STEM 教育的特征。從具體評價(jià)指標(biāo)來說，教師 A 認(rèn)為有些評價(jià)指標(biāo)在課堂觀察中難以判定，比如“課程總結(jié)”，不是通過一節(jié) STEM課就能觀測到的，建議對評價(jià)指標(biāo)標(biāo)準(zhǔn)等級進(jìn)行細(xì)化;教師 B 認(rèn)為，雖然評價(jià)指標(biāo)較為全面，但仍有部分反應(yīng)STEM教學(xué)特色與特點(diǎn)的指標(biāo)沒有囊括，建議在評價(jià)工具中補(bǔ)充“加分項(xiàng)”以及“評語欄”，評分者可以全面地表達(dá)自己的意見，凸顯每堂STEM課的特點(diǎn)。同時(shí)，教師可以在評價(jià)STEM課堂的基礎(chǔ)上，衍生出學(xué)生自評、小組互評等工具，也可將評價(jià)工具與學(xué)生學(xué)習(xí)單結(jié)合，開展多樣化評價(jià)。從工具整體性上來說，教師 B 認(rèn)為該評價(jià)工具建立在STEM教學(xué)課堂基礎(chǔ)之上，評價(jià)工具較為完善，能夠?qū)TEM課堂的發(fā)展水平，尤其是教師的教與學(xué)生的學(xué)進(jìn)行觀察與量化。

六、總結(jié)

本研究通過對國內(nèi)外STEM教育評價(jià)工具的系統(tǒng)綜述，在分析STEM教育特征、評價(jià)方式、評價(jià)工具的基礎(chǔ)上，初步構(gòu)建了STEM教育質(zhì)量評價(jià)工具，并運(yùn)用德爾菲法、層次分析法對指標(biāo)的合理性、科學(xué)性進(jìn)行優(yōu)化，最終形成一套可行的STEM教育質(zhì)量評價(jià)工具。該評價(jià)工具包含課堂環(huán)境、課程結(jié)構(gòu)、教學(xué)內(nèi)容、學(xué)生表現(xiàn)4個(gè)一級維度以及22個(gè)二級評價(jià)指標(biāo)和指標(biāo)項(xiàng)說明。從一級指標(biāo)的權(quán)重來看，其權(quán)重順序很好地反映了指標(biāo)維度的重要程度，與理論意義與實(shí)踐操作都較為契合。在各個(gè)二級分類指標(biāo)中，內(nèi)容跨學(xué)科性、重點(diǎn)突出、模型創(chuàng)建、教學(xué)準(zhǔn)確性、課程內(nèi)容排在指標(biāo)項(xiàng)前5位，而這5項(xiàng)基本內(nèi)容正是STEM課堂教學(xué)的關(guān)鍵因素，也是進(jìn)行STEM教育評價(jià)時(shí)最為關(guān)注的幾個(gè)方面，同時(shí)更是STEM教師應(yīng)該具備的專業(yè)素養(yǎng)以及學(xué)生STEM活動(dòng)的中心環(huán)節(jié)。

整體來看，該評價(jià)工具能夠較為全面地評價(jià)STEM教育中的各方面要素，同時(shí)也填補(bǔ)了我國STEM教育在評價(jià)方面的研究缺失，對我國STEM教育的科學(xué)評價(jià)具有重要的參考價(jià)值。但同時(shí)，本研究也存在一些不足。在初步應(yīng)用評價(jià)工具時(shí)，選擇的評價(jià)樣本過少，評價(jià)課程單一、專家數(shù)量有限、未能開展大量的STEM教育評價(jià)，其信效度也只是從內(nèi)容以及評分者角度分析的，需要進(jìn)一步地研究與驗(yàn)證。接下來，為了更好地驗(yàn)證評價(jià)工具的信效度，本研究將評價(jià)工具應(yīng)用于STEM課堂教學(xué)中進(jìn)行課堂觀察評價(jià)，實(shí)現(xiàn)對評價(jià)指標(biāo)體系的迭代優(yōu)化，最終形成完整、成熟的STEM教育評價(jià)指標(biāo)體系。

參考文獻(xiàn)：

[1]樊雅琴，周東岱，楊君輝等（2018）.項(xiàng)目式STEM教學(xué)中學(xué)生參與度測量研究[J].現(xiàn)代教育技術(shù)，28（1）：121-126.

[2]李王偉，徐曉東（2018）.作為一種學(xué)習(xí)方式存在的STEAM教育：路徑何為[J].電化教育研究， 39（9）：28-36.

[3]秦瑾若，傅鋼善（2017）.STEM教育：基于真實(shí)問題情景的跨學(xué)科式教育[J].中國電化教育， （4）：67-74.

[4]吳忭，王戈，盛海曦（2018）.認(rèn)知網(wǎng)絡(luò)分析法：STEM教育中的學(xué)習(xí)評價(jià)新思路[J].遠(yuǎn)程教育雜志， 36（6）：3-10.

[5]余勝泉，胡翔（2015）.STEM教育理念與跨學(xué)科整合模式[J].開放教育研究， 21（4）：13-22.

[6]曾寧，張寶輝，王群利（2018）.近十年國內(nèi)外STEM教育研究的對比分析——基于內(nèi)容分析法[J].現(xiàn)代遠(yuǎn)距離教育， （5）：27-38.

[7]Bicer， A.， Capraro， R. M.， & Capraro， M. M. （2017）. Integrated STEM Assessment Model.[J]. Eurasia Journal of Mathematics Science & Technology Education， 13（7）：3959-3968.

[8]Corlu， M. S.（2013） . Insights into STEM Education Praxis： An Assessment Scheme for Course Syllabi[J]. Educational Sciences： Theory and Practice， 13（4）：1-9.

[9]Eddy， S. L.， Converse， M.， & Wenderoth， M. P.（2015）.Portaal： A Classroom Observation Tool Assessing Evidence-Based Teaching Practices for Active Learning in Large Science， Technology， Engineering， and Mathematics Classes[J]. CBE Life Sciences Education， 14（2）：14-23.

[10]Gee， J. P.（2008）. A Sociocultural Perspective on Opportunity to Learn[M]// Assessment， Equity， and Opportunity to Learn： Cambridge University Press： 76-108.

[11]Harwell， M.， Moreno， M.， & Phillips， A.， et al.（2015）. A Study of STEM Assessments in Engineering， Science， and Mathematics for Elementary and Middle School Students[J]. School Science and Mathematics，115（2）：66-74.

[12]Kier， M. W.， Blanchard， M. R.， & Osborne， J. W.， et al.（2014）. The Development of the STEM Career Interest Survey （STEM-CIS）[J]. Research in Science Education， 44（3）：461-481.

[13]Lee， M. H.， Lin， T. J.， & Tsai， C. C.（2013）. Proving or Improving Science Learning？ Understanding High School Students Conceptions of Science Assessment in Taiwan[J]. Science Education， 97（2）：244-270.

[14]Lin， K. Y.， Yu， K. C.， & Hsiao， H. S.， et al.（2015）. Design of an Assessment System for Collaborative Problem Solving in STEM Education[J]. Journal of Computers in Education， 2（3）：301-322.

[15]Milner， D. I.， Horan， J. J.， & Tracey， T. J. G. （2014）. Development and Evaluation of STEM Interest and Self-Efficacy Tests[J]. Journal of Career Assessment，22（4）： 642-653.

[16]Walkington， C.， & Marder， M.（2018）. Using the UTeach Observation Protocol （UTOP） to Understand the Quality of Mathematics Instruction[J]. Mathematics Education， （2）：1-13.

收稿日期 2019-12-25責(zé)任編輯 汪燕