莊曉松
在義務(wù)教育教學(xué)改革不斷深化的背景下,中考也正處于不斷變革之中,中考既對學(xué)生提出了“量”的要求,也對學(xué)生學(xué)習(xí)的“質(zhì)”提出了更高層次的要求。 而“質(zhì)”的評判要比“量”的評價困難的多,那么,在各級各類考試中能否找到一種比較有效的方法準(zhǔn)確考查并反映出學(xué)生學(xué)習(xí)的“質(zhì)”呢?本文嘗試以近四年(2017-2020 年)南通市中考化學(xué)試題的主觀題為例,應(yīng)用SOLO 分類評價理論對試題進(jìn)行解構(gòu)與分析,期望能為未來中考試題的命制提供一些參考。
SOLO 是 “Structure of the Observed Learning Outcome”的簡稱,意為可觀察到的學(xué)習(xí)結(jié)果的結(jié)構(gòu)。它是由澳大利亞心理學(xué)教授比格斯(J.B.Biggs)和他的同事在1982 年出版的 《學(xué)習(xí)質(zhì)量的評價—SOLO分類法》一書中最先提出的,是一種以等級描述為特征的質(zhì)性評價方法。比格斯認(rèn)為,一個人回答某個問題時所表現(xiàn)出來的思維結(jié)構(gòu), 與這個人總體的認(rèn)知結(jié)構(gòu)是沒有直接關(guān)聯(lián)的。 也就是說一個人的總體認(rèn)知結(jié)構(gòu)是一個純理論性的概念,是不可檢測的;而一個人回答某個問題時所表現(xiàn)出來的思維結(jié)構(gòu)卻是可以檢測的。因此,比格斯把學(xué)生對某個問題的學(xué)習(xí)結(jié)果由低到高劃分為五個層次:前結(jié)構(gòu)、單點結(jié)構(gòu)、多點結(jié)構(gòu)、關(guān)聯(lián)結(jié)構(gòu)和抽象拓展結(jié)構(gòu)[1,2]。在此思想基礎(chǔ)上,比格斯形成了SOLO 分類評價法。 他提出的思維分類結(jié)構(gòu)是一個由簡單到復(fù)雜的層次類型,是從點、線、面到立體、系統(tǒng)的發(fā)展過程,思維結(jié)構(gòu)越復(fù)雜,思維能力的層次也就越高, 其焦點集中在學(xué)生回答問題的“質(zhì)”,而不是“量”。
SOLO 分類評價法一般應(yīng)用于試題難度預(yù)估。我國最先由高凌飚和李勇等人將SOLO 分類評價理論應(yīng)用于高考物理試題的研究, 提出可借助SOLO 分類評價理論來確定高考物理試卷結(jié)構(gòu)的觀點。 近年來, 不少研究者運(yùn)用SOLO 分類評價理論對高考試題進(jìn)行橫向和縱向分析。 趙雪和畢華林等人還根據(jù)SOLO 分類評價理論提出了高考化學(xué)主觀題的SOLO 層次與試題的難度、區(qū)分度等具體技術(shù)指標(biāo)間的關(guān)系。 但是,將SOLO 分類評價理論應(yīng)用于中考化學(xué)試題的研究還比較少。
中考化學(xué)試題難度是否和高考試題一樣也可以運(yùn)用SOLO 分類評價理論進(jìn)行橫向和縱向分析? 中考試題SOLO 層次與試題的難度、 區(qū)分度等具體技術(shù)指標(biāo)間是否也存在某種關(guān)系? 當(dāng)前大部分地區(qū)的中考是兩考合一的,要兼顧畢業(yè)和升學(xué)兩大功能,是否基于SOLO 分類評價理論的分析能給予命題者一些啟示?目前,上述問題在中考化學(xué)試題中的研究仍未見到。 基于上述問題,本研究采用SOLO 分類評價理論作為理論基礎(chǔ)開發(fā)試題評估工具, 對2017-2020 年南通市中考化學(xué)試題主觀題的試題能力結(jié)構(gòu)進(jìn)行探究。 通過將試題在各個SOLO 能力層次上的分值分布情況與試題的難度、區(qū)分度等實測數(shù)據(jù)進(jìn)行比較,在前人對高考試題研究的基礎(chǔ)上嘗試發(fā)現(xiàn)中考化學(xué)試題SOLO 結(jié)構(gòu)與試題難度、區(qū)分度間的關(guān)系,以期能夠為中考命題難度、區(qū)分度的控制提供一些參考,滿足兩考合一的考試屬性。
南通市中考化學(xué)試題滿分為60 分,其中選擇題10 題,每題2 分,共20 分;主觀題5 題,共40 分。 南通市中考化學(xué)試卷始終以《義務(wù)教育化學(xué)課程標(biāo)準(zhǔn)(2011 版)》所要求的知識內(nèi)容、基本技能、基本方法為考試內(nèi)容,試卷的結(jié)構(gòu)、內(nèi)容一直保持高度的連續(xù)性和一致性,試卷的質(zhì)量較高,其試題具有一定代表性。 另外,南通市每年參考人數(shù)在5 萬左右,考生樣本的數(shù)量較大,具有一定的研究價值。 選擇題由于受題型限制,較難依據(jù)試題的答案來對學(xué)生的思維過程和思維方法進(jìn)行深層次的評價,因此,本研究僅選取2017 年至2020 年南通市中考化學(xué)主觀題為研究對象。
近年來, 南通市中考改革對初中化學(xué)學(xué)科提出的能力要求是:以初中化學(xué)知識和技能為載體,重點考查學(xué)生的信息加工和處理能力、實驗和探究能力、問題處理和加工能力等。不難發(fā)現(xiàn),南通市中考化學(xué)試題對學(xué)生能力考核的分類與SOLO 分類理論的相關(guān)層次存在一定相同點。
吳佳丹在將SOLO 分類理論應(yīng)用于高考化學(xué)試題的能力結(jié)構(gòu)研究時指出,鑒于“前結(jié)構(gòu)水平”在具體的試題操作中無法體現(xiàn)和測量,因此可將高考化學(xué)試題的內(nèi)部結(jié)構(gòu)按照SOLO 分類理論的后4 個思維水平進(jìn)行劃分[3]。借鑒吳佳丹的方法,并結(jié)合南通市中考化學(xué)的考查要求,對中考化學(xué)試題的內(nèi)部結(jié)構(gòu)進(jìn)行了劃分(見表1),以獲得對試題內(nèi)部結(jié)構(gòu)的整體認(rèn)知。
表1 中考化學(xué)試題內(nèi)部結(jié)構(gòu)的SOLO 分類
從表1 四個層次分類的含義中可以看到, 前兩個層次是基礎(chǔ)知識的積累, 而后兩個層次是理論思維的飛躍。而要實現(xiàn)思維能力的突破,卻又離不開基礎(chǔ)知識的積累。 與傳統(tǒng)的評價法相比,SOLO 評價法力求準(zhǔn)確評價學(xué)生思維能力所能達(dá)到的深度和廣度,而這些是傳統(tǒng)評價法無法達(dá)到的。
下面, 以2020 年南通市中考化學(xué)卷第24 題為例, 分析如何運(yùn)用SOLO 理論對試題內(nèi)部結(jié)構(gòu)進(jìn)行分類。
評析: 上述三小題中均是以學(xué)生比較熟悉的鐵生銹的原理為問題背景材料。第(1)小題要求學(xué)生根據(jù)試管a、b、c 中的現(xiàn)象推斷鐵釘銹蝕的條件;第(2)小題要求學(xué)生根據(jù)試管c、d 中的現(xiàn)象判斷鐵釘在食鹽水的環(huán)境下,影響鐵生銹的因素;第(3)小題是在第(2)小題基礎(chǔ)上的簡單應(yīng)用。 基于表1 的界定,第(1)小題屬于SOLO 分類理論中的多點層次結(jié)構(gòu)M,第(2)小題屬于關(guān)聯(lián)結(jié)構(gòu)層次結(jié)構(gòu)R,第(3)小題屬于單點結(jié)構(gòu)層次U。
評析:讓學(xué)生根據(jù)題意書寫Fe2O3與鹽酸反應(yīng)的化學(xué)方程式, 學(xué)生只需要根據(jù)復(fù)分解反應(yīng)原理這一單個化學(xué)知識即可解答。 因此,此問題屬于SOLO 分類理論中的單一結(jié)構(gòu)U。
評析: 第一個問題根據(jù)所給示意圖寫出儀器X的名稱, 此問題屬于SOLO 分類理論中的單一結(jié)構(gòu)U;第二個問題根據(jù)題意以及鐵和硫酸反應(yīng)的實驗事實可以得出氣體為H2, 此問題屬于SOLO 分類理論中的多點層次結(jié)構(gòu)M; 第三個問題需要學(xué)生設(shè)計實驗驗證“猜想2”,且試題要求實驗中必須用到K3[Fe(CN)6]溶液、FeCl3溶液和鐵釘,很明顯此問題需要學(xué)生根據(jù)試題所給的信息運(yùn)用邏輯和推理的方式,提煉出科學(xué)的假設(shè)或推論才能得到正確答案, 此問題屬于SOLO 分類理論中的關(guān)聯(lián)結(jié)構(gòu)層次E。
為考察本文提出的主觀題難度評估工具的實際效用,通過問卷調(diào)查方式征求了6 位專家(含命題專家、中學(xué)優(yōu)秀一線化學(xué)教師)對SOLO 分類效度標(biāo)準(zhǔn)的意見, 計算獲得其評估工具中條目水平的內(nèi)容效度指數(shù)I-CVI、隨機(jī)一致性概率估計值(PC)以及對專家意見隨機(jī)一致性進(jìn)行校正后計算調(diào)整的Kappa值(記為K*),具體分析數(shù)據(jù)見表2。
表2 “SOLO 分類效度”專家評分及內(nèi)容效度指數(shù)
由表2 可知,4 個條目的K* 值均大于0.74,均為優(yōu)秀;I-CVI 值均大于0.78,內(nèi)容效度較優(yōu)。
本研究中, 請2 位教學(xué)一線的初中化學(xué)教師利用表1 對2017-2020 年南通市中考化學(xué)試卷中的主觀題進(jìn)行SOLO 能力層次的評定,并利用SPSS 23.0進(jìn)行信度分析。 2 位評定者對4 年南通市中考試題主觀題中的60 個設(shè)問點進(jìn)行了評定。 并使用SPSS 23.0 對評分結(jié)果計算斯皮爾曼相關(guān)系數(shù)為0.964,在α= 0.01 顯著性水平下達(dá)到極高相關(guān), 說明上述表1中考化學(xué)試題SOLO 層次量表工具是可靠的, 在實際的試題分析中具有可操作性和穩(wěn)定性。
南通市化學(xué)中考試題的主觀題部分總分為40分,約占全卷的67%,分別由物質(zhì)構(gòu)成的奧秘,化學(xué)在科研、科技、生產(chǎn)中的流程,化學(xué)在社會中的應(yīng)用,實驗探究, 計算5 道大題組成。 表3 給出了2017-2020 年南通市中考化學(xué)主觀題在SOLO 層次上的賦分分值及在本題中的分值占比, 以及各層次分值占主觀題總分值的比例。 表3 中的數(shù)據(jù)括號外面是分值,括號內(nèi)是分值占比,單位為%。
表3 2017-2020 年南通市中考化學(xué)主觀題在SOLO 層次上的分類統(tǒng)計
從表3 可以看出, 南通市2017-2020 年中考化學(xué)主觀題中,U 和M 層次的題目占比大概維持在試卷總分的65%-80%之間, 占比較大;R 層次的試題較少,一般維持在20%(10%-27.5%)左右;E 層次的試題占比最小,2017 年和2018 年該層次的試題均為0,2019 年和2020 年分別僅占5%和7.5%。根據(jù)四年中試題在4 個層次上的賦分情況進(jìn)行卡方檢驗,χ2=12.716,p=0.048<0.05,差異性顯著;對2017 年、2019年以及2020 年三年的試題在4 個層次上的賦分情況進(jìn)行卡方檢驗,χ2=2.125,p=0.547>0.05, 不存在顯著差異性,說明2018 年的試題和2017 年、2019 年及2020 年的試題有差異,2017 年、2019 年和2020 年的試題之間無顯著差異。
從實測難度系數(shù)來看,2017 年、2019 年和2020年的實測難度系數(shù)分別位0.72、0.68 和0.65,而2018年的實測難度系數(shù)為0.80,明顯較另外三年簡單。從主觀題在SOLO 層次上的賦分占比來看,2017 年、2019 年和2020 年的賦分占比較接近,而2018 年的試題中僅U 層次的試題賦分占比就達(dá)65%,對于基礎(chǔ)性知識的考查較另外三年明顯偏多。
可見,南通市近四年的中考化學(xué)試卷基本將U、M 層次的試題分值保持在較高比例范圍之內(nèi),E 層次試題保持在較低比例范圍之內(nèi), 試題在一定程度上對課程標(biāo)準(zhǔn)中的核心知識的考查保持較強(qiáng)的基礎(chǔ)性。同時,讓各層次試題的賦分比例穩(wěn)定在一定范圍內(nèi),保證了考試的穩(wěn)定性,這也與當(dāng)前中考改革所提出的能力要求和目標(biāo)基本是一致的, 體現(xiàn)了對學(xué)生能力水平考查的長期穩(wěn)定。
中考試題的難度一直是社會公眾較為關(guān)心的議題, 從2017-2020 年南通市中考化學(xué)主觀題的實測難度數(shù)據(jù)來看,南通市中考化學(xué)試題的難度適中,兼顧了升學(xué)和畢業(yè)。 盡管2019 年和2020 年的試題較前兩年的試題的難度略有提升,但總體變化不大,試題難度較為平穩(wěn)。
那么, 化學(xué)試題在SOLO 層次上的分類結(jié)果與試題的難度有著怎樣的關(guān)系? 南京師范大學(xué)陶櫻櫻在基于SOLO 分類理論對江蘇省高考化學(xué)主觀試題進(jìn)行研究后,認(rèn)為U 與M 層次的分值比例之和與難度系數(shù)存在著一定的關(guān)系[4];趙雪和畢華林兩位研究者在基于SOLO 分類理論對高考化學(xué)主觀題的結(jié)構(gòu)進(jìn)行分析研究后也同樣認(rèn)為,U 與M 層次的分值比例之和與難度系數(shù)存在著一定的關(guān)系[5]。 即,U 與M層次在試卷中的分值比例之和越大, 其試卷的難度系數(shù)也就越大。
利用表3 中的數(shù)據(jù),運(yùn)用SPSS 23.0 進(jìn)行數(shù)據(jù)分析,以試題在U、M、R、E 各層次上的賦分比例為自變量(分別記作x1、x2、x3、x4), 實測難度系數(shù)為因變量(記作y)作多元線性回歸分析。 分析結(jié)果表明,x1的VIF(variance inflation factor,方差擴(kuò)大因子)值遠(yuǎn)大于30,說明x1與x2、x3、x4之間存在共線性的關(guān)系。x2、x3、x4在自變量α=0.05 的顯著水平下對因變量y 均顯著(p 值分別為0.012、0.009、0.044),且x2、x3、x4與y 之間存在顯著的線性回歸模型, 回歸方程為y=0.897-0.296 x2-0.276x3-0.803x4,說明增大M、R、E 層會使試題的難度增加,使試題的難度系數(shù)減小。通過比較它們的系數(shù)可以發(fā)現(xiàn),E 層次上試題賦分比例的改變對難度系數(shù)的影響要大于M 層和R 層上的試題的賦分比例。如果采用逐步回歸法,可獲得一元線性回歸方程:y=0.559+0.358 x1,表明增大U 層試題的賦分占比,整個試題的難度會降低。 其實,二者并不矛盾,因為增大U 層試題的賦分占比,意味著降低其他各層次的占比,2018 年試卷U 層的試題占比達(dá)65%,實測難度系數(shù)為0.80,試卷的難度較另外三年明顯偏低。
從2017-2020 年南通市中考化學(xué)主觀題試題各層次統(tǒng)計情況來看,R 層次的試題主要集中在第14題實驗探究題和第15 題以實驗為背景的計算題,可見南通中考較為重視化學(xué)實驗, 對化學(xué)實驗的能力要求較高; 第11、12、13 題主要以U、M 層次試題為主,考查學(xué)生的基礎(chǔ)知識和對基礎(chǔ)知識的簡單應(yīng)用,試題的背景在教材中都有跡可循, 能在教材中找到原型,有利于引導(dǎo)初中化學(xué)教學(xué)遵循課程標(biāo)準(zhǔn),回歸教材,避免知識的無限放大,在一定程度上減輕了學(xué)生的學(xué)業(yè)負(fù)擔(dān)。 2017 年和2018 年試題中E 層次的試題占比均為0, 而2019 年和2020 年試題中E 層次的試題分別占5%和7.5%,適當(dāng)降低了U 和M 層次試題的占比,這也是當(dāng)前“兩考合一”背景下尋求畢業(yè)和和升學(xué)平衡點的積極探索。 盡管U 和M 層次試題有所下降,但是U 和M 層次的試題還是控制在較高占比,使整個試卷具有較強(qiáng)的基礎(chǔ)性,難易度適當(dāng),符合當(dāng)前初中畢業(yè)和升學(xué)兩考合一的基本屬性,符合初中化學(xué)作為啟蒙學(xué)科的基本特征, 有利于引導(dǎo)初中化學(xué)在教學(xué)中依據(jù)課程標(biāo)準(zhǔn)重視基礎(chǔ)知識和基本技能。
在關(guān)注試題難度的同時, 區(qū)分度也是命題者需要關(guān)心的另一個指標(biāo)。由于缺乏相關(guān)的數(shù)據(jù),因此無法計算出2017-2020 年南通市中考化學(xué)主觀題的區(qū)分度。 不過,趙雪和畢華林兩位研究者在基于SOLO分類理論對高考化學(xué)主觀題的結(jié)構(gòu)進(jìn)行分析研究后發(fā)現(xiàn),隨著試題能力層次離散程度的減小,試題的區(qū)分度總體上呈現(xiàn)出增大趨勢[6]。 依據(jù)這一研究結(jié)論,可利用前文表3 先計算出每一道題的離散度。 具體計算方法是:先求出2017-2020 年所有主觀題在U、M、R、E 四個層次上賦分占各題滿分比例的平均值,再計算每道試題在各層次上實際賦分比例與均值之間差值的絕對值之和。 以2017 年第11 題為例:2017-2020 年所有主觀題在U、M、R、E 四個層次上賦分占各題滿分比例的平均值分別為:44.22%、33.52%、20.36%、2.41%;而第11 題在各能力層次上實際賦分比例與均值之間差值的絕對值分別為:39%、17%、20%、2%, 則該題的總離散度為78%,記為0.78。 利用同樣的方法計算了其余19 題的離散度,具體計算結(jié)果如表4 所示。
從表4 可以看出,2017 年的第11、15 題,2018年的第13、15 題,2019 年的第14、15 題,2020 年的第15 題離散度較大,這幾題的區(qū)分度有可能較小。
2017 年的第11 題和2018 年的第13 題在U 層次的賦分分別達(dá)83.33%和87.50%, 且這兩題在R和E 層次上的賦分均為0 分, 也就是說這兩題的結(jié)構(gòu)層中U 的比重較大, 可以較好地區(qū)分出能力差的學(xué)生,但可能會降低對整體學(xué)生的區(qū)分度。 2019 年的第14 題在R 和E 層次的賦分分別占36.36%和18.18%,合計54.6%。 盡管高層次的思維能力題有利于區(qū)分出能力較高的學(xué)生, 但也可能會降低對整體學(xué)生的區(qū)分度;2017 年至2020 年的第15 題是以實驗為背景的計算題,R 層次題的賦分分別占57.14%、57.14%、57.14%、71.43%,U 層次試題的賦分分別占14.29%、42.86%、28.57%、14.29%。 一方面,R層次題賦分占比較大有利于區(qū)分出具有較高層次思維能力的學(xué)生, 但可能會降低對全體學(xué)生的區(qū)分能力;另一方面,U 層次試題賦分較高,雖有利于區(qū)分出思維能力較低的學(xué)生, 但同樣也可能會降低對全體學(xué)生的區(qū)分能力。
表4 2017-2020 年南通市中考化學(xué)主觀題的離散度
中考不同于高考,既要考慮到畢業(yè)功能,也要考慮到升學(xué)的選拔功能, 通過考試區(qū)分出不同能力的學(xué)生, 命制試題中需要調(diào)整好各層次試題的賦分比例,對命題者而言難度的確非常大。另外需要注意的是, 南通市中考各層次的試題在5 道主觀題中的分布并不均衡,如2017 年的第11 題和2018 年的第13題在U 層次的賦分分別達(dá)83.33%和87.50%, 這樣會使較難題和容易題相對比較集中在某一道題中,這可能在一定程度上影響整個試題的區(qū)分度, 需要引起命題者的注意。
運(yùn)用SOLO 分類理論開發(fā)出試題的評價工具,對2017-2020 年南通市中考化學(xué)主觀題的能力結(jié)構(gòu)進(jìn)行解析和探討。 通過對各SOLO 層次上的分值比例與試題難度、區(qū)分度等進(jìn)行定量比較研究,構(gòu)建了各SOLO 層次上分值比例與試題難度的線性回歸方程。中考試題通常是由各個地區(qū)自行命題,命題質(zhì)量往往參差不齊,本研究是為中考試題尋找適宜的、既能較好地滿足畢業(yè)功能、 又能較好地滿足升學(xué)功能的試題結(jié)構(gòu)的一個有益嘗試。
另一方面,本研究還存在一定的局限性,主要如下:(1)本研究選擇近四年南通市中考化學(xué)試題中的主觀題作為研究對象,共只有20 道試題,試題的樣本數(shù)量明顯存在著不足;(2)因為缺乏相關(guān)的數(shù)據(jù)無法計算出試題的區(qū)分度, 只能根據(jù)已有文獻(xiàn)的研究結(jié)果對試題進(jìn)行區(qū)分度分析;(3) 考查本文提出的SOLO 分類評估工具的實際效用,雖然征求了6 位專家對SOLO 分類效度標(biāo)準(zhǔn)的意見, 但是仍然存在著一定的主觀性和經(jīng)驗性;(4)本研究所采用的難度是整題的實測數(shù)據(jù),而不是每個知識點的數(shù)據(jù),這同樣可能在一定程度上會影響結(jié)構(gòu)層次和難度系數(shù)等的關(guān)系。