南京師范大學(xué)教師教育學(xué)院（210046） 蘆怡婷

南京師范大學(xué)地理科學(xué)學(xué)院（210046） 趙 媛

一致性分析
——地理教學(xué)評(píng)價(jià)的又一視角

南京師范大學(xué)教師教育學(xué)院（210046） 蘆怡婷

南京師范大學(xué)地理科學(xué)學(xué)院（210046） 趙 媛

教師和學(xué)生是地理教學(xué)中的互動(dòng)主體，教師課堂教學(xué)評(píng)價(jià)和學(xué)生學(xué)業(yè)成就評(píng)價(jià)是地理教學(xué)評(píng)價(jià)的重要組成部分。作為我國(guó)第八輪基礎(chǔ)教育課程改革的重大成果，課程標(biāo)準(zhǔn)對(duì)教育實(shí)踐有著重大影響。《基礎(chǔ)教育課程改革綱要（試行）》中明確規(guī)定：“國(guó)家課程標(biāo)準(zhǔn)是教材編寫(xiě)、教學(xué)、評(píng)估和考試命題的依據(jù)，是國(guó)家管理和評(píng)價(jià)課程的基礎(chǔ)”[1]，這就要求課堂教學(xué)與學(xué)業(yè)評(píng)價(jià)要嚴(yán)格參照課程標(biāo)準(zhǔn)進(jìn)行，與課程標(biāo)準(zhǔn)的“相符程度”是衡量課堂教學(xué)質(zhì)量和學(xué)業(yè)評(píng)價(jià)質(zhì)量的重要指標(biāo)之一。“一致性分析”方法為地理教學(xué)評(píng)價(jià)中與課程標(biāo)準(zhǔn)“相符程度”的判斷提供了可能性，并可以進(jìn)行縱向或者橫向上的量化比較，是地理教學(xué)評(píng)價(jià)的又一視角和有效方法。

一、一致性分析的緣起

學(xué)界廣泛接受的“一致性”（Alignment）的定義是Bhola等人提出的：“某一學(xué)科的國(guó)家課程標(biāo)準(zhǔn)與衡量學(xué)生是否達(dá)到標(biāo)準(zhǔn)要求的測(cè)試之間的相符程度”[2]。

20世紀(jì)90年代初，基于標(biāo)準(zhǔn)的美國(guó)基礎(chǔ)教育改革在《美國(guó)2000：教育戰(zhàn)略》和《2000年目標(biāo)：美國(guó)教育法》兩個(gè)文件的指導(dǎo)下展開(kāi)，制定了全國(guó)性的課程標(biāo)準(zhǔn)和相應(yīng)的考試制度，力圖改變當(dāng)時(shí)美國(guó)教育水平日漸低下這一事實(shí)。在改革中，評(píng)價(jià)與國(guó)家課程標(biāo)準(zhǔn)的一致性引起了許多學(xué)者的關(guān)注。為此，1994年美國(guó)教育部與科學(xué)教育國(guó)家委員會(huì)合作建立了課程與評(píng)價(jià)一致性分析協(xié)會(huì)，推動(dòng)并專注于一致性研究范式的開(kāi)發(fā)。

隨后，2002年，美國(guó)總統(tǒng)布什正式簽署了《不讓一個(gè)孩子落伍》（NCLB）教育法案，引起了全社會(huì)對(duì)基礎(chǔ)教育階段教育質(zhì)量的關(guān)注，一致性的研究進(jìn)入了嶄新階段。研究的范圍從數(shù)學(xué)、物理等理科學(xué)科擴(kuò)展到了語(yǔ)言藝術(shù)、社會(huì)科學(xué)等人文學(xué)科，研究也不再局限于基礎(chǔ)教育階段；而且研究逐漸從理論走向?qū)嵺`，如：美國(guó)教育相關(guān)部門(mén)開(kāi)設(shè)的SEC On-Line網(wǎng)站，提供工具幫助教師測(cè)量課堂教學(xué)實(shí)踐與課程標(biāo)準(zhǔn)的一致性，并可以與在該網(wǎng)站注冊(cè)的其他學(xué)校及地區(qū)的教師進(jìn)行比較，為學(xué)校及老師進(jìn)一步提高教學(xué)質(zhì)量提供參考。

一致性分析傳入我國(guó)較晚，2008年以來(lái)有相關(guān)文獻(xiàn)發(fā)表，但是大多數(shù)還停留在理論層次，應(yīng)用分析的文章主要見(jiàn)于生物、物理和數(shù)學(xué)學(xué)科等，在地理教學(xué)評(píng)價(jià)方面的應(yīng)用幾乎還是空白。

二、一致性分析在地理教學(xué)評(píng)價(jià)中的意義

1. 促進(jìn)地理課程改革的深入推進(jìn)

國(guó)家課程標(biāo)準(zhǔn)是新一輪課程改革理念的集中體現(xiàn)。教師課堂教學(xué)、學(xué)生學(xué)業(yè)評(píng)價(jià)與課程標(biāo)準(zhǔn)的一致性大小從一定程度上反映新課改的理念是否已經(jīng)滲入了地理教學(xué)實(shí)踐中。一致性研究可以讓教育管理部門(mén)更好地認(rèn)識(shí)到課程標(biāo)準(zhǔn)以及地理教學(xué)實(shí)踐中存在的問(wèn)題，并進(jìn)行及時(shí)的調(diào)適。同時(shí)，與課程標(biāo)準(zhǔn)一致性程度較高的地理教學(xué)實(shí)踐可以很好地將地理課程標(biāo)準(zhǔn)落在實(shí)處，是新課程改革執(zhí)行力的體現(xiàn)，真實(shí)呈現(xiàn)課改進(jìn)程，便于教育管理部門(mén)進(jìn)行調(diào)控，促進(jìn)地理課程改革的進(jìn)一步深化。

2. 促進(jìn)有效課堂教學(xué)及學(xué)業(yè)評(píng)價(jià)的開(kāi)展

教師的課堂教學(xué)和學(xué)生的學(xué)業(yè)評(píng)價(jià)，都應(yīng)該以國(guó)家課程標(biāo)準(zhǔn)為依據(jù)，以促進(jìn)學(xué)生的學(xué)業(yè)成就為目的，教師的課堂教學(xué)內(nèi)容與課程標(biāo)準(zhǔn)要求一致應(yīng)該是教學(xué)實(shí)踐中必須注意的問(wèn)題。但實(shí)際情況中，受“考試指揮棒”的影響，學(xué)業(yè)評(píng)價(jià)可能與課程標(biāo)準(zhǔn)存在較大差異。于是，與課程標(biāo)準(zhǔn)不一致的學(xué)業(yè)評(píng)價(jià)又會(huì)導(dǎo)致教師課堂教學(xué)活動(dòng)的偏離，這樣一來(lái)也許學(xué)生的考試成績(jī)會(huì)得到提升，但是遠(yuǎn)遠(yuǎn)背離了新課程改革的初衷。因此，課堂教學(xué)、學(xué)業(yè)評(píng)價(jià)與課程標(biāo)準(zhǔn)的一致性應(yīng)該是相統(tǒng)一的整體。只有當(dāng)課堂教學(xué)、學(xué)業(yè)評(píng)價(jià)與課程標(biāo)準(zhǔn)均相適應(yīng)時(shí)，教師才可以在地理課堂上自由的“演繹”課標(biāo)，學(xué)生在學(xué)業(yè)評(píng)價(jià)中可以取得與自己實(shí)際水平相符的成績(jī)，形成良性循環(huán)。一致性分析方法可以對(duì)教師課堂教學(xué)活動(dòng)、學(xué)生學(xué)業(yè)評(píng)價(jià)與國(guó)家課程標(biāo)準(zhǔn)的一致性做出量化的評(píng)價(jià)，為地理教學(xué)評(píng)價(jià)提供新的方法，方便教師的自評(píng)與他評(píng)，也利于學(xué)校及教育管理部門(mén)對(duì)地理教學(xué)進(jìn)行調(diào)控。因此，應(yīng)加強(qiáng)一致性分析方法在地理教學(xué)評(píng)價(jià)中的應(yīng)用，從理論走向?qū)嵺`，加強(qiáng)校際、區(qū)域間的交流，共同推動(dòng)地理課程改革的深化。

三、一致性分析在地理教學(xué)評(píng)價(jià)中的應(yīng)用

1. 常用的一致性分析范式

自從一致性分析的必要性得到美國(guó)教育界的充分認(rèn)識(shí)后，眾多機(jī)構(gòu)和學(xué)者致力于一致性分析范式的開(kāi)發(fā)，如：韋伯（Webb）一致性分析范式，成功（Achieve）分析范式，SEC（Survey of the Enacted Curriculum）分析范式，威克森（Wixson）范式，2061計(jì)劃等。其中韋伯分析范式、成功分析范式和SEC分析范式在現(xiàn)階段的教育研究中應(yīng)用的最為廣泛。

三種分析范式的操作步驟基本相似，最大不同就是分析的維度不同，具體比較見(jiàn)表1。

表1 常用一致性研究范式比較

由于分析維度的不同導(dǎo)致三種一致性分析范式的使用對(duì)象存在差異，在帕特和史密森開(kāi)發(fā)出SEC分析范式之前，一致性研究范式還只能針對(duì)試卷或者教材等文本與課程標(biāo)準(zhǔn)之間的一致性進(jìn)行測(cè)量，而SEC研究范式可以針對(duì)教材、試卷、教師課堂教學(xué)、課程標(biāo)準(zhǔn)等任意兩者間的一致性進(jìn)行測(cè)量[3]，使用范圍大大拓寬。

2. 地理教學(xué)評(píng)價(jià)中的一致性分析

因?yàn)榈乩斫虒W(xué)評(píng)價(jià)中包括對(duì)教師課堂教學(xué)的評(píng)價(jià)，所以SEC一致性分析范式在地理教學(xué)評(píng)價(jià)中的應(yīng)用會(huì)更具有普遍性。下面就以SEC一致性研究范式為例，論述一致性分析方法在地理教學(xué)評(píng)價(jià)中的應(yīng)用，分析的對(duì)象是教師課堂教學(xué)或者紙筆測(cè)驗(yàn)的載體——試卷等。

（1）知識(shí)種類(lèi)深度分類(lèi)表的編制

分類(lèi)表的編制是一致性分析正式開(kāi)始后的第一步，也是最關(guān)鍵的一步，決定著后面分析的準(zhǔn)確性和質(zhì)量。

分類(lèi)表的橫坐標(biāo)是對(duì)知識(shí)深度的分類(lèi)，鑒于布魯姆的教育目標(biāo)分類(lèi)在教育研究領(lǐng)域的廣泛應(yīng)用，是公認(rèn)的客觀“參考系”。所以在一致性分析二維分類(lèi)表制訂時(shí)，知識(shí)深度分類(lèi)一般都采用布魯姆教育目標(biāo)分類(lèi)，按照認(rèn)知水平由低到高依次劃分為：記憶、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造[4]，并可以根據(jù)學(xué)科特點(diǎn)進(jìn)行一定的修訂。縱坐標(biāo)是研究對(duì)象及其涉及的課程標(biāo)準(zhǔn)的某一部分在知識(shí)種類(lèi)上的劃分，要根據(jù)研究對(duì)象的實(shí)際內(nèi)容進(jìn)行確定。劃分時(shí)需要保證研究對(duì)象所包含的所有知識(shí)點(diǎn)都有且只有一個(gè)知識(shí)分類(lèi)與其對(duì)應(yīng)，這就要求知識(shí)分類(lèi)對(duì)研究對(duì)象知識(shí)點(diǎn)的覆蓋率要達(dá)到100%，不能有遺漏；知識(shí)分類(lèi)的種類(lèi)必須具有互斥性，不能有重疊。知識(shí)種類(lèi)的分類(lèi)可以由研究者與課程專家、學(xué)科專家合作商討完成，力求分類(lèi)的合理性。例如，進(jìn)行地理學(xué)業(yè)水平測(cè)試卷中自然地理內(nèi)容和人文地理內(nèi)容與課程標(biāo)準(zhǔn)一致性分析時(shí)，知識(shí)種類(lèi)深度分類(lèi)二維表可如圖1、圖2所示。

圖1 自然地理部分知識(shí)種類(lèi)深度分類(lèi)

圖2 人文地理部分知識(shí)種類(lèi)深度分類(lèi)表

（2）數(shù)據(jù)的搜集、整理、填入

數(shù)據(jù)的搜集主要是對(duì)研究對(duì)象的獲得和記錄。一致性研究的參照標(biāo)準(zhǔn)——國(guó)家課程標(biāo)準(zhǔn)和試卷，比較容易獲得，并可以進(jìn)行反復(fù)分析，但是對(duì)于課堂教學(xué)活動(dòng)這類(lèi)研究對(duì)象的數(shù)據(jù)搜集相對(duì)比較困難。一種方法是進(jìn)行詳細(xì)的課堂觀察記錄，另一種方法是進(jìn)行課堂錄像，將影像資料作為研究載體。顯然后一種方法比較科學(xué)，可供重復(fù)分析。

接著，要從搜集到的資料中整理出所需要的研究數(shù)據(jù)并進(jìn)行歸類(lèi)、填入。對(duì)于國(guó)家課程標(biāo)準(zhǔn)，需要將二維表涉及的知識(shí)點(diǎn)提取出來(lái)并按照知識(shí)種類(lèi)和深度進(jìn)行歸類(lèi)，并將對(duì)應(yīng)的知識(shí)點(diǎn)的個(gè)數(shù)填入二維表對(duì)應(yīng)的單元格中。對(duì)于試卷這類(lèi)研究對(duì)象，需要將整張?jiān)嚲淼母鱾€(gè)小題按照二維表的知識(shí)種類(lèi)和深度進(jìn)行歸類(lèi)，并乘以各小題對(duì)應(yīng)的分值，然后將對(duì)應(yīng)知識(shí)種類(lèi)、深度的題目的總分填入對(duì)應(yīng)的單元格中。對(duì)于課堂教學(xué)活動(dòng)，則需要將整節(jié)課涉及的知識(shí)點(diǎn)按照二維表的分類(lèi)進(jìn)行歸類(lèi)，并乘以在每個(gè)知識(shí)點(diǎn)上所用時(shí)間，然后將對(duì)應(yīng)知識(shí)種類(lèi)、深度的知識(shí)點(diǎn)的總耗時(shí)填入對(duì)應(yīng)的單元格中。這里的歸類(lèi)可以邀請(qǐng)不同專家獨(dú)立完成，將每個(gè)專家的歸類(lèi)進(jìn)行相關(guān)性分析，當(dāng)相關(guān)良好時(shí)就可以作為最終結(jié)果填入，也可以請(qǐng)多個(gè)專家一同協(xié)商進(jìn)行歸類(lèi)，但最終目的就是保證歸類(lèi)的準(zhǔn)確性。

由于國(guó)家課程標(biāo)準(zhǔn)形成的二維表和研究對(duì)象形成的二維表中單元格內(nèi)數(shù)據(jù)的單位不同，不能進(jìn)行直接比較，所以要對(duì)各表進(jìn)行“標(biāo)準(zhǔn)化”處理，將每個(gè)單元格中的數(shù)據(jù)都除以對(duì)應(yīng)表格中所有單元格數(shù)據(jù)之和，讓二維表變?yōu)橐粡埍嚷时恚袉卧駭?shù)據(jù)之和為1。

（3）一致性指數(shù)P的計(jì)算

一致性指數(shù)P是表征研究對(duì)象與國(guó)家課程標(biāo)準(zhǔn)一致性程度的指標(biāo)，在SEC一致性分析范式中被定義為：

一致性指數(shù)P的范圍在0到1之間，數(shù)值越大表示一致性程度越高，P=0表示兩者完全不相符，P=1表示兩者完全一致。

（4）數(shù)據(jù)的分析

計(jì)算得到研究對(duì)象與國(guó)家課程標(biāo)準(zhǔn)的一致性指數(shù)P后，并不能簡(jiǎn)單地根據(jù)P的大小來(lái)認(rèn)定一致性高或者低，要根據(jù)實(shí)際情況設(shè)定一個(gè)P的參考值P0。若計(jì)算出的一致性指數(shù)大于P0，就可以認(rèn)為這個(gè)P在一定的顯著性水平上具有統(tǒng)計(jì)學(xué)意義，這時(shí)可以認(rèn)定研究對(duì)象與國(guó)家課程標(biāo)準(zhǔn)的一致性達(dá)到要求。

對(duì)于P0的確定不同的學(xué)者有不同的方法，與SEC開(kāi)發(fā)者帕特在方法上敘述最接近的是Xiufeng Liu等人的研究思路：運(yùn)用Microsoft Visual Basic編寫(xiě)一定的運(yùn)算法則，將課程標(biāo)準(zhǔn)和卷面分?jǐn)?shù)隨機(jī)賦值到一定結(jié)構(gòu)的表格中，計(jì)算出兩個(gè)隨機(jī)表格的一致性指數(shù)P，然后重復(fù)從隨機(jī)賦值到計(jì)算一致性指數(shù)P的過(guò)程20000次，得到關(guān)于這20000個(gè)P的正態(tài)分布，然后求得在此正態(tài)分布中要達(dá)到0.05的統(tǒng)計(jì)顯著水平的P值即為P0[5]。在實(shí)際操作中可以運(yùn)用Matlab，Excel等軟件完成上述過(guò)程。

計(jì)算出一致性參考指數(shù)P0后，就可以判斷研究對(duì)象與國(guó)家課程標(biāo)準(zhǔn)一致性的“好壞”，同時(shí)也可以根據(jù)研究目的進(jìn)行橫向或縱向的圖表比較。

一致性分析是一種有效的地理教學(xué)評(píng)價(jià)方法。但一致性分析方法起源于美國(guó)，廣泛運(yùn)用的幾種分析范式的開(kāi)發(fā)者也均為美國(guó)學(xué)者，由于文化及課程環(huán)境的差異，一致性分析方法在中國(guó)教育環(huán)境下的“本土化”，特別是知識(shí)種類(lèi)深度分類(lèi)等，仍是一個(gè)亟待解決的問(wèn)題。本土一致性研究范式的研究與開(kāi)發(fā)，將極大地有利于一致性分析在教育領(lǐng)域應(yīng)用的推廣。

[1] 中華人民共和國(guó)教育部.基礎(chǔ)教育課程改革綱要（試行）[S] .人民教育,2001(9):6-8.

[2] Bhola, D. S., Impara, J. S., Buckendahl, C. W.. Alignment tests with states’content standards: Methods and issues [J]. Educational Measurement: Issues and Practice, 2003,22(3), 21-29.

[3] Andrew C. Porter, John Smithson, Rolf Blank, Timothy Zeidner. Alignment as a Teacher Variable [J]. Applied Measurement in Education, 2007, 20(1): 27-51.

[4] L. W. 安德森等. 學(xué)習(xí)、教學(xué)和評(píng)估的分類(lèi)學(xué)[M]. 上海:華東師范大學(xué)出版社, 2008.

[5] Xiufeng Liu, Baohui Zhang, Ling L. Liang, Gavin Fulmer, Beaumie Kim, Haiquan Yuan. Alignment Between the Physics Content Standard and the Standardized Test: A Comparison Among the United States-New York States, Singapore, and China-Jiangsu [J] .Science Education, 2008, 22(12): 777-797.

（責(zé)任編校：戴心雨）