梅松竹

（淮北師范大學(xué) 教育學(xué)院，安徽 淮北 235000）

試題，特別是大規(guī)模、高利害的試題，其命制是一項(xiàng)科學(xué)性、技術(shù)性、程序性和創(chuàng)造性都非常強(qiáng)的工作，其開發(fā)與維護(hù)也是一個(gè)復(fù)雜的、長期的、資源密集型的工作[1]。試題開發(fā)者期望獲得代表性、公平性的試卷來達(dá)到測量目的，并為考試分?jǐn)?shù)的解釋和使用提供充分依據(jù)。

一、ECD的緣起

傳統(tǒng)命題依賴于命題者個(gè)人經(jīng)驗(yàn)，難以證明學(xué)生是否已經(jīng)真正達(dá)到了預(yù)期標(biāo)準(zhǔn)。“證據(jù)中心”是教育評(píng)價(jià)的新興理念，它在考生應(yīng)答、測量目標(biāo)、分?jǐn)?shù)解釋之間建立起強(qiáng)大證據(jù)鏈，并以充分的理由為彼此提供證據(jù)支持?；谧C據(jù)中心的試題開發(fā)（Evidence-Centered Item Developing，ECD）是基于測量構(gòu)念的證據(jù)論斷而創(chuàng)建的一種教育評(píng)估方法，格外關(guān)注潛在影響力和意想不到的構(gòu)念[2]。ECD為課程、標(biāo)準(zhǔn)和評(píng)價(jià)的一致性提供堅(jiān)實(shí)的基礎(chǔ)，同時(shí)提高了分?jǐn)?shù)解釋的有效論斷[3]，形成學(xué)習(xí)結(jié)果的證據(jù)模型。期望的學(xué)習(xí)結(jié)果或相應(yīng)的學(xué)科能力、學(xué)業(yè)水平，作為評(píng)價(jià)審核測評(píng)目標(biāo)的依據(jù)；評(píng)價(jià)目標(biāo)以評(píng)價(jià)論斷為載體，并為評(píng)價(jià)論斷的形成提供證據(jù)；評(píng)價(jià)論斷是評(píng)價(jià)系統(tǒng)形成的重要組成部分，并為評(píng)價(jià)系統(tǒng)提供證據(jù)；評(píng)價(jià)系統(tǒng)為學(xué)習(xí)結(jié)果的測評(píng)提供手段和方法以及證據(jù)解釋；通過對(duì)學(xué)習(xí)結(jié)果的反思和評(píng)價(jià)改變教學(xué)策略和學(xué)習(xí)方法，以確保學(xué)生獲得學(xué)業(yè)成功；考試的能力水平和學(xué)業(yè)成就可以析出相關(guān)的多個(gè)證據(jù)，形成一個(gè)證據(jù)集合；被收集的證據(jù)可以用來判斷和評(píng)估學(xué)生是否達(dá)到了期望的學(xué)習(xí)結(jié)果。這是一個(gè)證據(jù)收集和驗(yàn)證環(huán)環(huán)相扣的過程，體現(xiàn)出基于證據(jù)中心的試題開發(fā)的科學(xué)性和嚴(yán)謹(jǐn)性。

二、ECD的工作原理

（一）ECD步驟

在試題命制和開發(fā)的過程中，每一步驟都需要有足夠的證據(jù)支持所做的決定。ECD要求每個(gè)測量目標(biāo)都要被表示成證據(jù)鏈的一環(huán)，并通過一個(gè)測量主線鉸接在一起，使得評(píng)價(jià)論斷、證據(jù)和任務(wù)模型組成一個(gè)具有證據(jù)性的論斷[4]。ECD的形成包括六個(gè)關(guān)鍵步驟：（1）定義測量內(nèi)容領(lǐng)域或范圍；（2）生成評(píng)價(jià)論斷；（3）定義知識(shí)、技能和能力；（4）鑒別證據(jù)類型；（5）創(chuàng)建任務(wù)模型；（6）開發(fā)試題任務(wù)。在上述六個(gè)步驟中[5]，定義測量內(nèi)容領(lǐng)域或范圍是前提，生成評(píng)價(jià)論斷是關(guān)鍵，定義知識(shí)、技能和能力是主導(dǎo)，鑒別證據(jù)類型是核心，創(chuàng)建任務(wù)模型是手段，開發(fā)試題任務(wù)是成果。六個(gè)步驟環(huán)環(huán)相扣，緊密聯(lián)系，構(gòu)成基于證據(jù)中心的試題開發(fā)與設(shè)計(jì)系統(tǒng)。

（二）證據(jù)的作用

共同核心州立標(biāo)準(zhǔn)（Common Core State Standards，CCSS）是美國絕大多數(shù)州普遍采用的教育評(píng)價(jià)標(biāo)準(zhǔn)，它對(duì)基礎(chǔ)教育質(zhì)量監(jiān)測、學(xué)業(yè)水平測評(píng)、大規(guī)模教育評(píng)價(jià)試題的開發(fā)具有重要指導(dǎo)意義，其形成經(jīng)歷了開發(fā)模型、析出證據(jù)、形成論斷和制定標(biāo)準(zhǔn)四個(gè)核心環(huán)節(jié)。

標(biāo)準(zhǔn)的形成過程如此，命題的過程正好與之相反。ECD正是發(fā)端于評(píng)價(jià)標(biāo)準(zhǔn)，智慧平衡評(píng)價(jià)聯(lián)盟（Smarter Balanced Assessmeat Consortium,SBAC）將ECD程序設(shè)計(jì)為：基于評(píng)價(jià)標(biāo)準(zhǔn)選擇恰當(dāng)?shù)恼摂?，根?jù)論斷尋找相應(yīng)證據(jù)鏈，依據(jù)證據(jù)開發(fā)任務(wù)模型，再通過任務(wù)模型來設(shè)計(jì)試題。

ECD在評(píng)價(jià)標(biāo)準(zhǔn)設(shè)定與分?jǐn)?shù)的解釋使用之間形成杠桿機(jī)制，以達(dá)到二者平衡與協(xié)調(diào)[6]。“證據(jù)”是基于證據(jù)中心試題命制模式的關(guān)鍵因素和內(nèi)隱主線，它是連接標(biāo)準(zhǔn)和試題的橋梁。一方面，證據(jù)可以解釋試題或任務(wù)模型是否體現(xiàn)了評(píng)價(jià)標(biāo)準(zhǔn)的相關(guān)要求；另一方面，證據(jù)可以用來確定評(píng)價(jià)標(biāo)準(zhǔn)或評(píng)價(jià)論斷是否落實(shí)于試題或評(píng)價(jià)任務(wù)之中[7]。

三、ECD舉例

ECD為教育評(píng)價(jià)的設(shè)計(jì)提供了概念和知識(shí)表征的結(jié)構(gòu)及其證據(jù)關(guān)系，對(duì)大規(guī)模教育測評(píng)和技術(shù)提升試題的開發(fā)特別有益[8]。以技術(shù)提升試題為例，其開發(fā)設(shè)計(jì)包含領(lǐng)域分析、領(lǐng)域建模、概念性評(píng)估框架、評(píng)估元素實(shí)現(xiàn)、評(píng)估運(yùn)行與交付等過程。

圖1中包含了指定功能模型，其目的是為了產(chǎn)生證據(jù)，用以表明學(xué)生可以創(chuàng)建分?jǐn)?shù)視覺表征。鑒于論斷、評(píng)價(jià)目標(biāo)、證據(jù)、任務(wù)模型與試題的一致性要求，該試題的設(shè)計(jì)用來收集恰當(dāng)?shù)淖C據(jù)，用以支持相應(yīng)的教育論斷?？忌梢越忉尯蛻?yīng)用數(shù)學(xué)概念和開展數(shù)學(xué)程序，流暢地展示對(duì)分?jǐn)?shù)的理解。

圖1 基于證據(jù)中心的試題設(shè)計(jì)樣題

四、ECD的發(fā)展與革新

（一）試題開發(fā)流程

根據(jù)ECD模式，基于試題命制的內(nèi)容規(guī)范、認(rèn)知規(guī)范、情境刺激規(guī)范、技術(shù)規(guī)范和評(píng)價(jià)審核等要素，將ECD流程較為詳細(xì)地描述為圖2。

圖2 基于證據(jù)中心的試題設(shè)計(jì)流程

該流程是ECD的總體框架，涵蓋了試題開發(fā)過程中的絕大多數(shù)要素，這些環(huán)節(jié)并非絕不可少，也不是唯一的順序關(guān)系。但是在客觀條件允許的情況下，遵循此流程來設(shè)計(jì)和開發(fā)試卷，無疑是以更高的行業(yè)規(guī)范和技術(shù)標(biāo)準(zhǔn)為試題開發(fā)提供質(zhì)量保障，增加命題環(huán)節(jié)的證據(jù)鏈接，為高質(zhì)量的試題開發(fā)提供充分的依據(jù)支持。

（二）試題開發(fā)技術(shù)卡

ECD流程為試題開發(fā)提供了思路指導(dǎo)和設(shè)計(jì)規(guī)范，確保了試題命制與內(nèi)容標(biāo)準(zhǔn)、認(rèn)知標(biāo)準(zhǔn)、評(píng)價(jià)標(biāo)準(zhǔn)的一致性，并以證據(jù)交互為中心，減少試題開發(fā)的盲目性、無序性和波動(dòng)性。為了給一線教師提供ECD的快捷渠道，給命題審核者提供簡潔對(duì)照表，建立基于證據(jù)中心的試題開發(fā)技術(shù)卡，如表1。

表1 基于證據(jù)中心的選擇反應(yīng)試題開發(fā)技術(shù)卡

設(shè)計(jì)此類試題開發(fā)技術(shù)卡的前提是廣泛認(rèn)同的測量領(lǐng)域、評(píng)估論斷和評(píng)價(jià)基準(zhǔn)，一致認(rèn)可的試題難度、知識(shí)深度和認(rèn)知復(fù)雜度的判斷標(biāo)準(zhǔn)，以及試題開發(fā)的行業(yè)規(guī)范和制度保障，只有這些條件均滿足，才能設(shè)計(jì)出“標(biāo)準(zhǔn)”的試題開發(fā)技術(shù)卡，進(jìn)而生成期望的試題。

續(xù)表1

五、幾點(diǎn)建議

ECD是在現(xiàn)代教育測量背景下發(fā)展而來的一項(xiàng)試題開發(fā)與評(píng)估的理論模型與技術(shù)模式，它建立在先進(jìn)的行業(yè)標(biāo)準(zhǔn)和技術(shù)規(guī)范之上，具有教育評(píng)估的前瞻性和引領(lǐng)性，對(duì)我國基礎(chǔ)教育質(zhì)量監(jiān)測與評(píng)價(jià)既有理念上的沖擊，又有技術(shù)上的震撼，值得我們深刻反思與全面借鑒。

（一）強(qiáng)化證據(jù)審核，形成證據(jù)的鉸接結(jié)構(gòu)

ECD的最大特點(diǎn)就是命題開發(fā)過程中關(guān)注證據(jù)的設(shè)計(jì)、析出與驗(yàn)證。因此，證據(jù)模型的每一步驟是否恰當(dāng)、充分，還需要進(jìn)一步審核：我們希望學(xué)生獲得什么樣的成就；其目的是什么；已有證據(jù)是否證明學(xué)生達(dá)到預(yù)期目標(biāo)；還需要補(bǔ)充哪些其它的證據(jù)來支持評(píng)價(jià)論斷；需要開發(fā)新的評(píng)價(jià)系統(tǒng)，還是沿用已有評(píng)價(jià)系統(tǒng)；需要何種制度變革來確保持久的成功；所收集的證據(jù)能否拓展到新的領(lǐng)域。這些證據(jù)審核可以形成有機(jī)的、復(fù)合的、完整的證據(jù)鏈和鉸接結(jié)構(gòu)，相互提供證據(jù)支持，從而保證所形成的教育論斷和教育決策的科學(xué)性和公信力。

（二）促進(jìn)證據(jù)析出，堅(jiān)持證據(jù)的中心原則

在試題開發(fā)的整個(gè)過程中，需要始終堅(jiān)持基于證據(jù)中心的設(shè)計(jì)原則?；谧C據(jù)的試題設(shè)計(jì)可以改善試題和任務(wù)的可獲得性，有助于澄清測量構(gòu)念和評(píng)價(jià)目標(biāo)，還可以應(yīng)用于開發(fā)樣題和任務(wù)模型，反映試卷開發(fā)過程中的證據(jù)收集和證據(jù)使用，并為評(píng)估論斷和評(píng)價(jià)目標(biāo)提供進(jìn)一步的證據(jù)支持。為此，需要完善證據(jù)的析出過程，仔細(xì)考慮基于評(píng)估結(jié)果的論斷和基于論斷的構(gòu)念，評(píng)估論斷和評(píng)價(jià)目標(biāo)的開發(fā)要先于試題規(guī)范的開發(fā)；給出支持評(píng)估論斷和評(píng)價(jià)目標(biāo)的具體證據(jù)；設(shè)計(jì)任務(wù)模型來析出需要的證據(jù)，提供試題和任務(wù)的關(guān)鍵特征；澄清欲測量的“目標(biāo)性構(gòu)念”和可能產(chǎn)生的“非目標(biāo)性構(gòu)念”，判斷先驗(yàn)知識(shí)和技能對(duì)測量構(gòu)念的影響。

（三）關(guān)注證據(jù)收集，提高證據(jù)的關(guān)鍵效應(yīng)

基于證據(jù)中心的試題開發(fā)設(shè)計(jì)系統(tǒng)是一個(gè)功能強(qiáng)大的工具，用以確保通過評(píng)價(jià)論斷的相關(guān)證據(jù)被收集。作為試題的開發(fā)和審核的核心工具，還有幾個(gè)關(guān)鍵問題需要注意。首先，通過試題理解被測量的評(píng)估目標(biāo)，識(shí)別要收集的證據(jù)，這一點(diǎn)非常重要。其次，通過檢查任務(wù)模型，理解試題開發(fā)和審核中的一些關(guān)鍵特征，并進(jìn)行證據(jù)搜集。最后，一旦確定試題很適合誘發(fā)相關(guān)證據(jù)，還要追問是否還存在其他試題特征對(duì)特定群體產(chǎn)生不必要的“偏見”，否則很難準(zhǔn)確地收集證據(jù)。

綜上，基于證據(jù)中心的試題開發(fā)是連接評(píng)價(jià)標(biāo)準(zhǔn)、測驗(yàn)試題、考生應(yīng)答和教育論斷的橋梁，強(qiáng)調(diào)證據(jù)的析出與支持，是對(duì)試題質(zhì)量偏低、命題指導(dǎo)不力、教育決策缺乏公信力的有力回應(yīng)，對(duì)我國基礎(chǔ)教育的考試改革和學(xué)科素養(yǎng)評(píng)價(jià)意義重大。