馮士季 趙光平 羅星凱

（廣西師范大學(xué) 科學(xué)教育研究所, 廣西 桂林 541004）

《建立中小學(xué)生學(xué)業(yè)質(zhì)量分析、反饋與指導(dǎo)系統(tǒng)（SAAE）》研究項(xiàng)目[1]一直致力于建立科學(xué)合理的中小學(xué)生學(xué)業(yè)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。筆者所在的科學(xué)學(xué)科項(xiàng)目組從2005年開(kāi)始承擔(dān)八年級(jí)科學(xué)學(xué)業(yè)質(zhì)量測(cè)試工具的研發(fā)任務(wù)，并長(zhǎng)期不懈地探索“分級(jí)計(jì)分”問(wèn)答題在紙筆型學(xué)業(yè)測(cè)評(píng)中的使用效果。

一、“分級(jí)計(jì)分”問(wèn)答題的特點(diǎn)

所謂“分級(jí)計(jì)分”問(wèn)答題，與我們常見(jiàn)考試中的問(wèn)答題相比，從形式上來(lái)說(shuō)，主要從三方面表現(xiàn)出獨(dú)特性：第一，試題具有情境性，考慮與學(xué)生生活經(jīng)驗(yàn)和知識(shí)基礎(chǔ)的關(guān)聯(lián)；第二，試題具有一定的開(kāi)放性，可以給予學(xué)生思維施展的空間，使得學(xué)生的答案類(lèi)型表現(xiàn)出豐富性；第三，這類(lèi)試題的評(píng)分方式為，通過(guò)對(duì)學(xué)生豐富多樣的回答進(jìn)行分類(lèi)，然后分別編碼賦分。對(duì)該類(lèi)試題命制和評(píng)分方式的探索，本文作者已經(jīng)撰文進(jìn)行了專(zhuān)門(mén)介紹[2]。

對(duì)答案類(lèi)型進(jìn)行編碼的方法，是國(guó)際大型學(xué)業(yè)測(cè)評(píng)項(xiàng)目如PISA（國(guó)際學(xué)生評(píng)價(jià)項(xiàng)目）、TIMSS（國(guó)際數(shù)學(xué)和科學(xué)趨勢(shì)研究）和NAEP（美國(guó)國(guó)家教育進(jìn)展評(píng)估）等常用的方法，稱(chēng)為“雙位編碼”評(píng)分方法（double-digit coding）。所謂“雙位編碼”，是指用兩位數(shù)字來(lái)作為學(xué)生的答案類(lèi)型代號(hào)，同時(shí)用文字描述對(duì)每類(lèi)答案進(jìn)行界定的評(píng)分方法（見(jiàn)圖1）。在對(duì)具體某個(gè)學(xué)生的答案進(jìn)行評(píng)分時(shí)，只要對(duì)其進(jìn)行合適的“編碼”即可。把這種方法用于對(duì)學(xué)生的答案進(jìn)行分類(lèi)別、分層次賦分，是非常有效的。

圖1 “雙位編碼”的含義

在對(duì)這類(lèi)試題進(jìn)行評(píng)分時(shí)，并不設(shè)置唯一正確的“標(biāo)準(zhǔn)答案”。對(duì)學(xué)生的答案進(jìn)行合理的類(lèi)別和層次劃分，是保障這類(lèi)試題測(cè)試效度的關(guān)鍵。由于題目本身給予了學(xué)生發(fā)揮的空間，這類(lèi)題目能夠?qū)W(xué)生的思維能力進(jìn)行有效的診斷。使用該類(lèi)試題，可以促進(jìn)教師對(duì)學(xué)生發(fā)展程度有更為深入和細(xì)致的了解。

此處以SAAE項(xiàng)目2010年的一道地球科學(xué)試題為例，展示和分析這類(lèi)試題的思維診斷功能。2010年，我國(guó)江蘇省、上海市、大連市、克拉瑪依市、深圳市和株洲市這六個(gè)參測(cè)地區(qū)的65172名八年級(jí)學(xué)生作答了該題目。

二、“分級(jí)計(jì)分”問(wèn)答題舉例

試題：下圖為一幅世界地圖。7月份時(shí)，我國(guó)處于夏季。此時(shí)下圖中的甲地處于四季中的什么季節(jié)？請(qǐng)說(shuō)明你的理由。

圖2 世界地圖

該題的情境和設(shè)問(wèn)并不復(fù)雜，不會(huì)給考生造成任何閱讀和理解障礙。為了適當(dāng)降低難度，圖中標(biāo)明“北京”所在的地理位置，意圖是給學(xué)生一個(gè)熟悉的地點(diǎn)作為參照，以更加容易對(duì)“甲”地進(jìn)行地理定位。根據(jù)試題的設(shè)問(wèn)，考生首先需要做出一個(gè)判斷，然后給出自己判斷的理由。

測(cè)試結(jié)束后，根據(jù)考生的作答情況，項(xiàng)目組經(jīng)過(guò)反復(fù)討論，最終把學(xué)生的答案分成如下所示的層次和類(lèi)別，形成評(píng)分標(biāo)準(zhǔn)（見(jiàn)表1、表2、表3、表4）：

表1 較高水平的回答（編碼3）

表2 中等水平的回答（編碼2）

表3 較低水平的回答（編碼1）

表4 錯(cuò)誤的回答（或未作答）（編碼7或9）

賦分辦法為：較高水平的答案（層次編碼3）得6分；中等水平的答案（層次編碼2）得4分；較低水平的答案（層次編碼1）得2分；錯(cuò)誤答案和未作答，得0分。

為了保證評(píng)分者效度，我們對(duì)每種答案編碼都給出了3-5個(gè)學(xué)生真實(shí)答案的樣例（如圖3、圖4、圖5），以使評(píng)分者對(duì)評(píng)分標(biāo)準(zhǔn)的理解更加到位；此外，必須經(jīng)過(guò)嚴(yán)密的培訓(xùn)程序并經(jīng)考核合格后，評(píng)分者才可以進(jìn)入實(shí)際評(píng)分工作階段。

圖3 編碼為“30”的答案樣例

圖4 編碼為“71”的答案樣例

圖5 編碼為“72”的答案樣例

三、對(duì)試題答案類(lèi)型的分析

由于該題需要考生做出判斷并陳述理由，這要求考生對(duì)全球范圍的大尺度地理事物具有一定的空間概念，特別是題目要求“陳述理由”，對(duì)于大多數(shù)八年級(jí)學(xué)生來(lái)說(shuō)，還是有一定難度的。2010年，全國(guó)六個(gè)參測(cè)地區(qū)的6.5萬(wàn)余名八年級(jí)學(xué)生作答該題目的數(shù)據(jù)統(tǒng)計(jì)結(jié)果顯示，題目難度達(dá)到了0.36。但是，試題的區(qū)分度高達(dá)0.54，從這一點(diǎn)來(lái)看，該試題對(duì)考生的水平具有非常好的鑒別作用。

要正確作答該題，學(xué)生需要能夠理解和闡明以下內(nèi)容：地球自轉(zhuǎn)軸與其公轉(zhuǎn)軌道面之間存在一個(gè)夾角，這一原因?qū)е绿?yáng)光在地球表面的直射點(diǎn)發(fā)生周期性的移動(dòng)，移動(dòng)范圍最北達(dá)到北回歸線，最南達(dá)到南回歸線。7月份時(shí)，太陽(yáng)直射點(diǎn)在北回歸線附近，北半球此時(shí)處于一年中得到太陽(yáng)光較多的時(shí)期，從而處于夏季；而南半球此時(shí)處于一年中得到太陽(yáng)光較少的時(shí)期，從而處于冬季。甲地位于南半球，故此時(shí)應(yīng)處于冬季。

從評(píng)分標(biāo)準(zhǔn)可以看出，學(xué)生的答案被分成了4個(gè)層次，17種類(lèi)型。其中每種學(xué)生答案類(lèi)型所占百分比的情況如表5所示：

表5 每種學(xué)生答案類(lèi)型所占百分比

答案為第一層次（代碼為30、31、32）的學(xué)生占13.9%。這部分學(xué)生能夠?qū)椎厮幍募竟?jié)作出合理的判斷。其闡述的理由表明他們能夠基本理解太陽(yáng)照射的年內(nèi)變化是導(dǎo)致某地季節(jié)更替的主要原因。

答案為第二層次（代碼為20、21、22）的學(xué)生占23.9%。這部分學(xué)生也能夠?qū)椎厮幍募竟?jié)作出合理的判斷，但是其闡述的理由沒(méi)有涉及最根本的影響因素——該地太陽(yáng)照射的年內(nèi)變化。

答案為第三層次（代碼為10、11、12）的學(xué)生占17.7%。這部分學(xué)生只能對(duì)甲地所處的季節(jié)作出正確的判斷，但是不能給出合理的理由。

答案為第四層次（代碼為70、71、72、73、74、75、76，99）的學(xué)生占44.2%。這部分學(xué)生不能作出正確判斷，給出的理由中也沒(méi)有合理成分。

四、題目的思維診斷功能及其啟示

1.試題的思維診斷功能分析

目前我國(guó)的地理考試中也廣泛地采用問(wèn)答題，但是一般是按照考生答案涉及知識(shí)點(diǎn)的完整性來(lái)評(píng)分的——能夠答對(duì)參考答案涉及的全部知識(shí)點(diǎn)的（或要求的知識(shí)點(diǎn)數(shù)量），得滿分；若答得不完整，就扣除一定的分?jǐn)?shù)。當(dāng)試題立意是考查學(xué)生對(duì)地理概念和原理的理解，甚至考查其問(wèn)題解決能力時(shí)，這種評(píng)分方式就很難更精細(xì)地區(qū)分學(xué)生的思維水平。

當(dāng)我們要求學(xué)生解釋地理現(xiàn)象、解決地理問(wèn)題時(shí)，實(shí)際是要求他們使用最基本的地理概念和原理，對(duì)地理現(xiàn)象做出分析和說(shuō)明，對(duì)地理問(wèn)題做出判斷和決策。這種能力是不能僅僅用答案中涉及的知識(shí)點(diǎn)多少來(lái)評(píng)價(jià)的。作為地理科學(xué)的研究對(duì)象，地理環(huán)境是一個(gè)“開(kāi)放的復(fù)雜巨系統(tǒng)”[3]。由于地理要素之間具有錯(cuò)綜復(fù)雜的聯(lián)系，很多地理現(xiàn)象的形成原因不是唯一的，地理問(wèn)題的解決途徑也可能不止一種。但是，在這些“原因”和“途徑”中，有本質(zhì)與表面之分，有主要與次要之別。考生在答題時(shí)，對(duì)本質(zhì)與表面、主要與次要的區(qū)分，就體現(xiàn)了其運(yùn)用知識(shí)的能力和水平。

對(duì)上述例題而言，從南、北半球接受太陽(yáng)光照射情況的差異來(lái)解釋某地所處季節(jié)的答案類(lèi)型，肯定比僅僅提到“南北半球季節(jié)相反”的答案體現(xiàn)了更高的思維水平。對(duì)于后一種類(lèi)型，國(guó)外的研究者常常將其稱(chēng)為“照本宣科的回答”（Textbook Response）[4]，以表征其僅僅照搬教材來(lái)回答問(wèn)題的特點(diǎn)。

該評(píng)分標(biāo)準(zhǔn)中，錯(cuò)誤的答案被分為7種。也許，這種分類(lèi)會(huì)被認(rèn)為沒(méi)有必要。但是，正是這些錯(cuò)誤的答案類(lèi)型，向我們展示了學(xué)生在學(xué)習(xí)全球的季節(jié)變化方面的困難所在。在編碼為“71”的答案類(lèi)型中，學(xué)生認(rèn)為甲地應(yīng)該處于春季或者秋季，其理由為季節(jié)是由地球自轉(zhuǎn)造成的。即認(rèn)為地球自西向東轉(zhuǎn)，當(dāng)北京為夏季時(shí)，處于北京西邊的甲地，應(yīng)比北京晚一個(gè)季節(jié)，處于春季；或比北京早一個(gè)季節(jié)，處于秋季。如果沒(méi)有這種詳細(xì)的劃分，誰(shuí)能想到有部分學(xué)生竟然把“季節(jié)”與“時(shí)區(qū)”的形成原因相混淆呢！教師職業(yè)的社會(huì)價(jià)值是培養(yǎng)人，是促進(jìn)學(xué)生的發(fā)展。思維發(fā)展水平較低的學(xué)生更需要得到教師的關(guān)照，對(duì)他們能力的培養(yǎng)和提升也更能增加教師職業(yè)的社會(huì)價(jià)值。因此，對(duì)低水平答案的詳細(xì)分類(lèi)和分析，不僅有必要，而且是診斷性學(xué)業(yè)評(píng)價(jià)的應(yīng)有之義。

2.案例帶來(lái)的啟示

通過(guò)對(duì)以上案例的分析，我們應(yīng)該可以得到如下一些啟示：

(1)診斷性評(píng)價(jià)的內(nèi)涵應(yīng)該得到擴(kuò)展

傳統(tǒng)觀念一般把診斷性評(píng)價(jià)、形成性評(píng)價(jià)、終結(jié)性評(píng)價(jià)作為三種基本的評(píng)價(jià)類(lèi)型，認(rèn)為診斷性評(píng)價(jià)是教學(xué)單元開(kāi)始之前診斷學(xué)生的發(fā)展水平和存在問(wèn)題的一種評(píng)價(jià)。實(shí)際上，筆者認(rèn)為，任何發(fā)展性、教育性評(píng)價(jià)本身都具有“診斷”的性質(zhì)，診斷性評(píng)價(jià)可以發(fā)生于教學(xué)過(guò)程的任何階段，并非僅僅是教學(xué)單元開(kāi)始之前。教學(xué)過(guò)程具有連續(xù)性，因此所有的日常學(xué)生評(píng)價(jià)活動(dòng)都應(yīng)該把“診斷性”作為其基本的價(jià)值追求。

(2)評(píng)價(jià)過(guò)程應(yīng)該給予學(xué)生更多發(fā)揮高級(jí)思維能力的空間

評(píng)價(jià)工具（如試題）看起來(lái)是復(fù)雜還是簡(jiǎn)單，是熟悉還是新奇，這并非判斷其好壞的根本標(biāo)準(zhǔn)。學(xué)生在評(píng)價(jià)活動(dòng)中所需經(jīng)歷的認(rèn)知過(guò)程才是檢驗(yàn)評(píng)價(jià)工具的關(guān)鍵。培養(yǎng)問(wèn)題解決能力和創(chuàng)造力是各學(xué)科教育的普遍追求，學(xué)業(yè)評(píng)價(jià)應(yīng)該為此目標(biāo)服務(wù)。目前，地理考試中普遍采用的按知識(shí)點(diǎn)“采點(diǎn)計(jì)分”的方式，很容易導(dǎo)致死記硬背答題框架，不利于學(xué)生高級(jí)思維能力的發(fā)展。在評(píng)價(jià)工具研發(fā)過(guò)程中，充分細(xì)致地分析學(xué)生答題的思維和認(rèn)知過(guò)程，為其預(yù)留合理的思維空間，是解決該問(wèn)題的基本方法。

(3)學(xué)科認(rèn)知和學(xué)科思維過(guò)程的研究應(yīng)該得到重視

要培養(yǎng)和評(píng)價(jià)學(xué)生的高級(jí)思維能力，就要對(duì)具有地理學(xué)科特性的高級(jí)思維能力進(jìn)行研究，將其理論化、系統(tǒng)化。這是有關(guān)地理學(xué)習(xí)心理的研究，處于一般教育學(xué)、地理教育學(xué)和教育心理學(xué)的交叉地帶。目前這方面的研究非常短缺，但這正是地理學(xué)科教育繼續(xù)深入發(fā)展的必經(jīng)之路。

(4)紙筆測(cè)驗(yàn)也可以實(shí)現(xiàn)高層次思維能力的評(píng)價(jià)

20世紀(jì)以來(lái)廣泛流行的標(biāo)準(zhǔn)化紙筆測(cè)驗(yàn)，由于過(guò)度追求標(biāo)準(zhǔn)化而削弱了評(píng)價(jià)本身的教育性，從而導(dǎo)致“舍本逐末”并招致諸多批評(píng)。但是，近些年對(duì)標(biāo)準(zhǔn)化測(cè)驗(yàn)的批評(píng)也有矯枉過(guò)正之嫌。實(shí)際上，如果使用經(jīng)過(guò)精心設(shè)計(jì)的試題（即使是選擇題），紙筆測(cè)驗(yàn)依然可以發(fā)揮強(qiáng)大的教育功能，在評(píng)價(jià)和診斷學(xué)生的高級(jí)思維能力發(fā)展方面具有不可替代的作用。特別是在我國(guó)學(xué)生多、班額大的前提下，合理使用紙筆測(cè)驗(yàn)?zāi)苡行岣呓虒W(xué)效率。

(5)評(píng)分理念的轉(zhuǎn)變是考試功能轉(zhuǎn)變的重要途徑之一

對(duì)學(xué)生的答案進(jìn)行評(píng)分，是獲取學(xué)生學(xué)業(yè)發(fā)展信息的重要一環(huán)。但是，按照學(xué)生答案涉及的知識(shí)點(diǎn)來(lái)評(píng)分的方式，顯然忽略了學(xué)生運(yùn)用知識(shí)的能力水平。目前，國(guó)際大規(guī)模學(xué)業(yè)測(cè)評(píng)項(xiàng)目普遍采用了編碼評(píng)分的方式，對(duì)學(xué)生在問(wèn)答題上的表現(xiàn)進(jìn)行評(píng)分。評(píng)分標(biāo)準(zhǔn)制定的依據(jù)是學(xué)生思維水平的高低，而不是其答案中涉及知識(shí)點(diǎn)的多少，這是現(xiàn)在學(xué)業(yè)評(píng)價(jià)理念在考試評(píng)分上的具體體現(xiàn)。對(duì)我國(guó)地理考試而言，評(píng)分理念的轉(zhuǎn)變將成為考試功能轉(zhuǎn)變的重要途徑之一。

五、結(jié)語(yǔ)

本項(xiàng)目組經(jīng)過(guò)幾年的探索，已經(jīng)通過(guò)嚴(yán)格的評(píng)分標(biāo)準(zhǔn)制訂程序和評(píng)分者培訓(xùn)程序、計(jì)算機(jī)網(wǎng)絡(luò)閱卷質(zhì)量控制等技術(shù)和手段，保證了對(duì)這類(lèi)試題進(jìn)行分類(lèi)別、分層次編碼計(jì)分的科學(xué)性和可操作性。使用大規(guī)模測(cè)驗(yàn)后的統(tǒng)計(jì)數(shù)據(jù)，我們可以在群體水平上對(duì)學(xué)生的學(xué)業(yè)水平發(fā)展特點(diǎn)做出更可靠的結(jié)論。當(dāng)然，該類(lèi)試題及評(píng)分方式的使用，還有許多方面需要繼續(xù)探索和研究，特別是怎樣把這種評(píng)價(jià)思想有效地運(yùn)用于課堂教學(xué)中的評(píng)價(jià)情境，還需要學(xué)界同仁一起探索和實(shí)踐。

[1]項(xiàng)目組.“建立中小學(xué)生學(xué)業(yè)質(zhì)量分析、反饋與指導(dǎo)系統(tǒng)”項(xiàng)目介紹[J].基礎(chǔ)教育課程,2009,(7): 49-52.

[2]趙光平,羅星凱,曾平飛,馮士季.大規(guī)模學(xué)業(yè)測(cè)評(píng)中開(kāi)放性分級(jí)計(jì)分問(wèn)答題的命制和評(píng)分[J].基礎(chǔ)教育課程,2010,(4):46-49.

[3]錢(qián)學(xué)森.談地理科學(xué)的內(nèi)容及研究方法[J].地理學(xué)報(bào),1991,(3):259.

[4]Zachary Stein, Theo Dawson, Kurt W.Fischer.Redesigning testing: Operationalizing the new science of learning[A].In Myint Swe Khine, Issa M.Saleh.New science of learning: Cognition, computers, and collaboration in education[C].New York:Springer, 2010.