王 宇 章新平（湖南師范大學(xué) 資源與環(huán)境科學(xué)學(xué)院, 湖南 長沙 410081）

?

基于SEC范式的地理試卷與課程標(biāo)準(zhǔn)一致性研究

王 宇 章新平
（湖南師范大學(xué) 資源與環(huán)境科學(xué)學(xué)院, 湖南 長沙 410081）

摘要：試卷與課程標(biāo)準(zhǔn)的一致性是教師進行教學(xué)和對學(xué)生開展學(xué)習(xí)評價不可忽視的問題。本文選取2015年新課標(biāo)全國文綜卷I地理必修部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷為研究對象，采用SEC（Surveys of Enacted Curriculum）一致性分析范式，從內(nèi)容主題和認(rèn)知水平兩個方面對課程標(biāo)準(zhǔn)和試卷進行編碼，通過計算Porter一致性指數(shù)分析試卷與課程標(biāo)準(zhǔn)的一致性。研究結(jié)果表明，2015年全國新課標(biāo)文綜卷I地理必修部分和湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性水平較低，而且2015年全國新課標(biāo)文綜卷I地理必修部分與課程標(biāo)準(zhǔn)的一致性低于湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性。

關(guān)鍵詞：地理課程標(biāo)準(zhǔn)；地理高考試卷；一致性

一、問題的提出

地理學(xué)習(xí)質(zhì)量評價作為學(xué)習(xí)系統(tǒng)的反饋調(diào)節(jié)機制，在學(xué)習(xí)與教學(xué)過程中起著重要的作用。新課程改革和《普通高中地理課程標(biāo)準(zhǔn)（實驗）》頒布以來，對傳統(tǒng)的地理學(xué)習(xí)評價方式提出了許多新的要求和一些合理的建議。同時，地理學(xué)習(xí)評價又是地理課程評價的一部分，學(xué)習(xí)評價方式的選擇和質(zhì)量的高低直接影響著課程目標(biāo)的實現(xiàn)。目前，我國高考和學(xué)業(yè)水平考試是高中兩個十分重要的階段性考試，研究地理高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性，對于更好地在教學(xué)過程和試題命制中貫徹新課程改革的理念具有重要的參考價值。

二、研究方法的選擇

1.一致性研究范式的選擇

美國一致性研究范式以Webb分析范式的構(gòu)建為標(biāo)志，在開發(fā)Achieve、SEC和SRI等一致性分析工具的基礎(chǔ)上實現(xiàn)了一致性分析的轉(zhuǎn)型。本研究在綜合考慮以上四種研究范式之后，決定選取SEC一致性分析范式。SEC的開發(fā)者波特等人以內(nèi)容矩陣構(gòu)建為基礎(chǔ)，對不同來源的數(shù)據(jù)加以編碼，利用公式計算數(shù)據(jù)之間的一致性指數(shù)（alignment index），通過指數(shù)反映一致性程度的高低，并判斷是否具有良好的一致性。波特等人在研究中驗證了不同的一致性指數(shù)方法，得到了衡量試卷與課程標(biāo)準(zhǔn)一致性量化的Porter一致性指數(shù)（P），計算公式

為[1]：

公式中i表示二維矩陣的行，j表示二維矩陣的列，則Xij表示第一個二維矩陣ij單元格的數(shù)值，Yij表示第二個二維矩陣ij單元格的數(shù)值，Xij和Yij是從0到1的百分?jǐn)?shù)，兩個二維矩陣的差值是Xij-Yij，總的差值就是

2.研究對象的選擇

本研究選取了2015年新課標(biāo)全國文綜卷I地理中必修內(nèi)容和2015年湖南省普通高中地理學(xué)業(yè)水平考試試卷作為研究對象。其中全國新課標(biāo)文綜卷I必修部分90分，由11道選擇題和3道材料分析題構(gòu)成。湖南省學(xué)業(yè)水考試試卷題型包括25道選擇題和5道材料分析題，總分是100分。

三、研究過程

1.內(nèi)容標(biāo)準(zhǔn)的選擇

依據(jù)《普通高中地理課程標(biāo)準(zhǔn)（實驗）》高中地理課程由三個必修模塊和七個選修模塊組成，必修三個模塊中地理1側(cè)重自然地理，地理2側(cè)重人文地理，地理3在地理1和地理2的基礎(chǔ)上，探討區(qū)域可持續(xù)發(fā)展。本研究選取地理必修三個模塊進行編碼，由此確定《課程標(biāo)準(zhǔn)》的十個內(nèi)容主題為“宇宙中的地球”“自然環(huán)境中的物質(zhì)運動和能量轉(zhuǎn)換”“自然環(huán)境的整體性和差異性”“自然環(huán)境對人類活動的影響”“人口與城市”“生產(chǎn)活動與地域聯(lián)系”“人類與地理環(huán)境的協(xié)調(diào)發(fā)展”“區(qū)域環(huán)境與人類活動”“區(qū)域可持續(xù)發(fā)展”“地理信息技術(shù)運用”[2]。并且把地理三個模塊分別用1、2、3進行編碼，每個模塊下的內(nèi)容標(biāo)準(zhǔn)分別用1.1、1.2、1.3……來編碼。

2.認(rèn)知水平的劃分

布盧姆教育目標(biāo)分類理論從認(rèn)知、動作技能和情感等三大領(lǐng)域出發(fā)，確定認(rèn)知領(lǐng)域的目標(biāo)分為識記、領(lǐng)會、運用、分析、綜合和評價六個層次。地理課程標(biāo)準(zhǔn)中課程目標(biāo)從知識與技能、過程與方法、情感態(tài)度與價值觀三個維度來表述。本研究結(jié)合地理課程實際決定將認(rèn)知水平劃分為“了解”“理解”“運用”三個水平，每個水平下所用的行為動詞主要有：（1）了解：了解、知道、說出、舉例說出、描述、簡述、概括等；（2）理解：理解、解釋、說明、舉例說明、概述等；（3）運用：運用、分析、歸納、總結(jié)、掌握、解決等。

3.研究過程

（1）對內(nèi)容主題與認(rèn)知水平進行編碼，構(gòu)建“內(nèi)容主題×認(rèn)知水平”的二維表格。其中內(nèi)容主題按地理三個模塊，十個主題進行編碼，認(rèn)知水平按了解、理解和運用來編碼。同時對課程標(biāo)準(zhǔn)中的內(nèi)容主題進行分析，確定每條主題要求達到的認(rèn)知水平，進行統(tǒng)計后得到內(nèi)容主題共有60個知識點，每一個知識點對應(yīng)一個認(rèn)知水平，再次進行統(tǒng)計后填入構(gòu)建的二維表格中，由此得到一個“10×3”的二維矩陣。內(nèi)容主題中各認(rèn)知水平的知識點數(shù)目及比率如表1所示，其中，知識點數(shù)目比率值由知識點數(shù)目除以知識點總數(shù)（60）進行標(biāo)準(zhǔn)化得到。

表1　地理課程標(biāo)準(zhǔn)中的知識點數(shù)目及比率

（2）對2015年新課標(biāo)全國文綜卷I地理必修部分進行內(nèi)容分析，形成試卷“內(nèi)容主題×認(rèn)知水平”的二維表格。在對試卷進行分析時，首先確定該題目的知識點在內(nèi)容主題中的歸屬，其次重點分析該題的難易度，結(jié)合得分率來確定題目的認(rèn)知水平，將該題的分值填入所屬的二維表格之中。最后統(tǒng)計各個內(nèi)容主題在三個認(rèn)識水平層次上的總分值，以此得到一個“10×3”的二維矩陣。2015年新課標(biāo)全國文綜卷I地理必修部分的各內(nèi)容知識點分值及比率如表2所示，其中知識點分值比率由知識點分值除以試卷編碼分?jǐn)?shù)（90）標(biāo)準(zhǔn)化后得到。

表2　地理高考試卷知識點分值及比率

（3）采取同樣的方法對2015年湖南省高中地理學(xué)業(yè)水平考試試卷進行編碼，得到另一個“10×3”的二維矩陣。2015湖南省地理學(xué)業(yè)水平考試試卷內(nèi)容知識點分值及比率由表3所示，其中知識點分值比率由知識點分值除以試卷編碼分?jǐn)?shù)（100）標(biāo)準(zhǔn)化后得到。

表3　地理學(xué)業(yè)水平考試卷知識點分值及比率

（4）根據(jù)以上研究數(shù)據(jù)，計算Porter一致性指數(shù)。并從內(nèi)容主題和認(rèn)知水平兩方面繪制柱狀圖進行比較，以此來分析2015年全國新課標(biāo)文綜卷I地理必修部分和湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性水平。

四、研究結(jié)果

1.一致性指數(shù)

利用Excel中的函數(shù)功能，結(jié)合統(tǒng)計數(shù)據(jù)和Porter一致性計算公式，計算得2015年新課標(biāo)全國文綜卷I地理必修部分與課程標(biāo)準(zhǔn)一致性指數(shù)P1=0.295，2015湖南省普通高中地理學(xué)業(yè)水平考試卷與課程標(biāo)準(zhǔn)一致性指數(shù)P2=0.599。Porter一致性系數(shù)的數(shù)值介于0到1之間，當(dāng)P越接近0時表示試卷和課程標(biāo)準(zhǔn)之間的差異越大，當(dāng)P越接近1時表示二者差異越小。那用什么辦法才能檢測兩個矩陣在統(tǒng)計意義上的顯著一致性？本研究采取美國學(xué)者Fulmer的研究思路，利用matlab軟件里的unidrnd函數(shù)[3]，將60個知識點隨機賦值到一個矩陣中，將試卷分值隨機賦值到另一個矩陣中，對兩個矩陣標(biāo)準(zhǔn)化處理后計算出一個值，將這樣的過程重復(fù)20000次，就可以得到關(guān)于P的正態(tài)分布，根據(jù)統(tǒng)計學(xué)原理，對于10×3的矩陣，采用雙側(cè)檢驗。表4為P的正態(tài)分布的均值、標(biāo)準(zhǔn)差和95%水平的參考值。

表4　P的正態(tài)分布的均值、標(biāo)準(zhǔn)差和95%水平的參考值

從表中可以看出，要達到0.05水平統(tǒng)計學(xué)上的顯著性，則需要P≥0.8584。在本研究中，經(jīng)計算得高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性指數(shù)P均低于95%水平上的一致性臨界值，說明2015全國新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷與地理課程標(biāo)準(zhǔn)之間不存在統(tǒng)計學(xué)意義上的顯著一致性，而且地理高考試卷與課程標(biāo)準(zhǔn)的一致性程度要比地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性程度要低。

2.內(nèi)容主題比較

2015全國新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷在內(nèi)容主題與課程標(biāo)準(zhǔn)上的比較如圖1。

圖1　內(nèi)容標(biāo)準(zhǔn)比較

從內(nèi)容主題方面分析，課程標(biāo)準(zhǔn)各個內(nèi)容主題所占比例較為均勻，比例都沒有超過20%，其中在0.1和0.2之間的有“1.2自然環(huán)境物質(zhì)運動能量轉(zhuǎn)換”“2.1人口與城市”“2.2生產(chǎn)活動與地域聯(lián)系”“3.2區(qū)域可持續(xù)發(fā)展”四個部分。地理高考試卷則在“1.2自然環(huán)境物質(zhì)運動能量轉(zhuǎn)換”這一部分所占比例達到了0.556，另外在“1.3自然環(huán)境的整體性和差異性”“2.1人口與城市”“3.1區(qū)域環(huán)境與人類活動”“3.3地理信息技術(shù)運用”四個部分所占比例為0。地理學(xué)業(yè)水平考試試卷在各個內(nèi)容主題上都有一定的比例，從比率上看主要其中在0.1和0.2之間，有“1.1宇宙中的地球”“1.2自然環(huán)境物質(zhì)運動能量轉(zhuǎn)換”“2.1人口與城市”“2.2生產(chǎn)活動與地域聯(lián)系”“3.2區(qū)域可持續(xù)發(fā)展”五個部分，其中“1.2自然環(huán)境物質(zhì)運動能量轉(zhuǎn)換”比率最大，達到0.2。由此也可以看出，無論是地理高考或是學(xué)業(yè)水平考試在“自然環(huán)境物質(zhì)運動能量轉(zhuǎn)換”這一內(nèi)容主題上所占的比率都是最高的。

3.認(rèn)知水平方面的比較

2015全國新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)在認(rèn)知水平上的比較如圖2所示。從認(rèn)知水平方面來看，課程標(biāo)準(zhǔn)中三個認(rèn)知水平以理解為主，但總體上比例分布較為均勻。在2015全國新課標(biāo)卷I中，了解這一層次為0，但理解所占比例卻達到66.7%，與此相反的是學(xué)業(yè)水平考試試卷中，了解這一層次比例最大，運用層次比例最小。

圖2　認(rèn)知水平比較

由圖1可以看出，相對于課程標(biāo)準(zhǔn)，高考試卷提高了理解和運用這兩個層次的比例，加大了試題的難度，這反映了高考作為高等院校選拔性考試的特點，學(xué)業(yè)水平考試試卷則降低了理解和運用層次的比例，尤其是運用這一層次比例只有14%，而了解層次的比例卻達到了58%，這也體現(xiàn)了學(xué)業(yè)水平考試是檢測高中生在校期間學(xué)習(xí)情況的基礎(chǔ)性考試。

五、結(jié)論與反思

本研究表明2015年全國新課標(biāo)文綜卷I地理必修部分和湖南省普通高中地理學(xué)業(yè)水平考試與《普通高中地理課程標(biāo)準(zhǔn)（實驗）》之間的一致性水平較低，經(jīng)過計算得到的Porter一致性指數(shù)均低于參考的臨界值。從認(rèn)知水平和內(nèi)容主題兩個方面分析三者之間的差別時發(fā)現(xiàn)地理高考試卷在認(rèn)知水平層次上要高于課程標(biāo)準(zhǔn)，尤其是了解這一層次的題目在高考試卷中是沒有的。地理學(xué)業(yè)水平考試試卷在認(rèn)知水平層次上則要低于課程標(biāo)準(zhǔn)，表現(xiàn)為了解層次的題目增多，運用層次的題目明顯偏少。在內(nèi)容主題上，地理高考試卷主要集中在幾個主題上，在四個主題上的比例為0。而學(xué)業(yè)水平考試試卷則在內(nèi)容主題方面與課程標(biāo)準(zhǔn)一樣分布較為均勻。

本研究的結(jié)果對今后地理教師在平時教學(xué)中編制試題具有參考作用，尤其是在傳統(tǒng)的應(yīng)試教育理念下，很容易在命題時單一的追求繁難偏雜，而忽視了課程標(biāo)準(zhǔn)對教學(xué)和評價的指導(dǎo)作用，導(dǎo)致教師的教學(xué)與對學(xué)生的學(xué)習(xí)質(zhì)量評價偏離了正常軌道。通過對地理試卷與課程標(biāo)準(zhǔn)的一致性分析和研究能夠幫助地理教師很好的解決這些問題。但應(yīng)該說明的是，在實際的學(xué)習(xí)評價中，除了考慮課程標(biāo)準(zhǔn)之外，還有許多的因素，尤其是一些大型的選拔性考試，這其實也是地理高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)一致性水平較低的一個原因。另外SEC一致性分析范式本身也存在一些局限性，例如由于SEC一致性工具采用了編碼基礎(chǔ)上的比較研究方式，缺乏各要素之間學(xué)習(xí)目標(biāo)的直接匹配，因而也就無法提供一致性的細(xì)節(jié)信息，使得定性信息不夠豐富等[4]，這也使我們構(gòu)建本土化的學(xué)習(xí)評價與課程標(biāo)準(zhǔn)的一致性評價范式顯得尤為重要。

參考文獻：

[1] Porter,A.C.Measuring the contene of instrucyion: Uses in research and practice [J].Educational Researcher, 2002,31（7）:3-14.

[2] 中華人民共和國教育部.普通高中地理課程標(biāo)準(zhǔn)（實驗）[M].北京:人民教育出版社,2003.

[3] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction [J].Journal of Educational and Behavioral Statistics,2011,36（6）:381-402.

[4] 楊玉琴,王祖浩,張新宇,美國課程一致性研究的演進與啟示[J].外國教育研究,2012,39（1）:113-121.