任紅艷 姜海娟 李廣洲

1 引言

試題絕對(duì)難度，也稱為事前標(biāo)定難度，因其取決于試題本身（如問題的特征和解決的過程等）而與被試認(rèn)知情況無關(guān)，受到越來越多的心理學(xué)家和學(xué)科教育專家的關(guān)注。

目前，已有不少關(guān)于試題絕對(duì)難度的標(biāo)定方法，但都各具利弊。例如，Johnstone和Banna（1986）[1]提出了一種問題難度預(yù)估模型（Predictive Model），用解題所需步驟來確認(rèn)認(rèn)知負(fù)荷，進(jìn)而研究問題難度與學(xué)生記憶容量之間的關(guān)系，但是該方法僅考慮了工作記憶的加工功能而忽略了儲(chǔ)存功能。Dori和Hameiri（2003）[2]以及任紅艷等（2011，2012）[3][4]在三重表征思想基礎(chǔ)上提出的多維度分析系統(tǒng)（Multidimensional Analysis System）因其操作中需要具體到化學(xué)學(xué)科專題領(lǐng)域問題而削弱其適用范圍并提高了操作的復(fù)雜性；辛自強(qiáng)（2003）[5]提出了關(guān)系—表征復(fù)雜性模型，但其拋開要素和關(guān)系的內(nèi)容，忽略內(nèi)容而只關(guān)注形式的做法仍有待于檢驗(yàn)。邵志芳和余嵐（2008）[6]將認(rèn)知任務(wù)分析法應(yīng)用于數(shù)學(xué)試題絕對(duì)難度分析，并設(shè)計(jì)了標(biāo)定試題難度的數(shù)量化指標(biāo)，但仍存在概念界定不清等問題；Karen等（2011）[7]依據(jù)復(fù)雜性理論和認(rèn)知負(fù)荷理論，提出認(rèn)知復(fù)雜性評(píng)估法（Cognitive Complexity Rating Rubric），從概念、技能以及兩者間關(guān)系三個(gè)維度分析問題絕對(duì)難度，但仍存在忽視工作記憶的儲(chǔ)存功能及概念界定過于籠統(tǒng)等問題；毛競(jìng)飛（2008）[8]和程力等（2012）[9]從多元回歸等定量的角度探討了試題難度問題，但對(duì)不同各學(xué)科的建模及模型的穩(wěn)定性等尚待進(jìn)一步研究和驗(yàn)證。

分析上述各種絕對(duì)難度標(biāo)定方法可以發(fā)現(xiàn)，問題解決過程中所需的內(nèi)容知識(shí)及內(nèi)容知識(shí)之間的關(guān)系是標(biāo)定絕對(duì)難度不可或缺的指標(biāo)。鑒于前人所提的各類絕對(duì)難度標(biāo)定方法的特點(diǎn)及其不足，我們以智力的知識(shí)觀、工作記憶容量有限理論和問題空間理論為基礎(chǔ)，提出了“知識(shí)片段—注意—關(guān)系復(fù) 雜 性 ”（Knowledge Piece-Attention-Relationship Complexity，KPARC）模型，用于標(biāo)定試題的絕對(duì)難度，并以化學(xué)學(xué)科中的氧化還原問題為例進(jìn)行了較大規(guī)模的檢驗(yàn)。

2 KPARC模型的框架結(jié)構(gòu)

2.1 指標(biāo)體系

KPARC模型由三個(gè)指標(biāo)構(gòu)成：知識(shí)片段、注意程度和關(guān)系層次。

其中，知識(shí)片段由問題所包括的已知信息（即圖1中的A和B）和問題解決者頭腦中的相關(guān)知識(shí)（即圖1中的C、D和E）這兩部分組成。在綜合考慮每個(gè)知識(shí)片段的本身理解難度及其提取難度基礎(chǔ)上，將其認(rèn)知要求分為簡單、中等、較難三個(gè)等級(jí)。我們參照布盧姆認(rèn)知領(lǐng)域教育目標(biāo)的學(xué)習(xí)水平分類對(duì)知識(shí)片段的認(rèn)知要求予以操作性界定：僅要求辨別的知識(shí)片段，屬于簡單水平；若需提取該知識(shí)片段，屬于中等水平；若要掌握其適用范圍和應(yīng)用條件，則屬于較難水平。然后，利用評(píng)分規(guī)則將每個(gè)知識(shí)片段的認(rèn)知要求和知識(shí)片段的個(gè)數(shù)結(jié)合得到知識(shí)片段的總難度值（見表1）。

表1 知識(shí)片段的難度值的評(píng)分規(guī)則[7]

在本模型中提出的“注意”是指需要有意識(shí)地“注意”知識(shí)片段的程度，包括注意的廣度和注意的深度。注意的廣度是指需要注意的知識(shí)片段的個(gè)數(shù)，而注意的深度是根據(jù)倘若不注意會(huì)導(dǎo)致解題的完全失敗、部分失敗、稍有影響和沒有影響這四個(gè)程度來界定的。在整體上，注意的程度用0～3四個(gè)數(shù)值來表示，分別表示“幾乎不需要”到“非常需要”?！白⒁狻弊鳛橐粋€(gè)獨(dú)立的指標(biāo)，與知識(shí)片段的認(rèn)知要求并無過多關(guān)系，而往往與化學(xué)中的許多原理類知識(shí)表述中的限定詞及化學(xué)特殊或反常事實(shí)等有關(guān)。如氣體物質(zhì)的量計(jì)算過程中，“22.4L·mol-1”的使用限定的是氣體，若未注意到這個(gè)限定，則可能出現(xiàn)將液體的物質(zhì)的量也用“22.4L·mol-1”來計(jì)算導(dǎo)致問題解決的失敗。

關(guān)系層次表示知識(shí)狀態(tài)之間相互關(guān)聯(lián)的程度，即問題信息和知識(shí)片段之間相互作用所產(chǎn)生的中間狀態(tài)（G和F）和目標(biāo)狀態(tài)（H）之間的層級(jí)關(guān)系。相關(guān)研究表明，問題解決過程中包含的關(guān)系層級(jí)數(shù)越多，嵌套越復(fù)雜，問題就越復(fù)雜[5]。受啟發(fā)于Novak提出的概念圖、Polya關(guān)于數(shù)學(xué)解題過程的幾何表示圖以及信息加工心理學(xué)中的問題行為圖，我們用樹形圖將問題解決過程清晰地表示出來，用樹形圖來表示知識(shí)狀態(tài)之間的相互作用，用層級(jí)數(shù)來表示知識(shí)狀態(tài)相互關(guān)聯(lián)的程度（見圖1）。也可以認(rèn)為，此樹形圖是學(xué)生在解決問題過程中所形成的問題圖式的外顯。

圖1 樹形圖的簡單示意

2.2 標(biāo)定步驟

基于KPARC模型的問題絕對(duì)難度標(biāo)定的具體操作步驟如下：

研究者獨(dú)立完成每個(gè)問題，通過邏輯分析，畫出解決該問題的樹形圖；

列舉出解題所需的知識(shí)片段，并預(yù)估每個(gè)知識(shí)片段的認(rèn)知要求；

根據(jù)表1的評(píng)分規(guī)則將所有知識(shí)片段的難度值加和得到知識(shí)片段的總難度值；

確定樹形圖的關(guān)系層次（從倒數(shù)第三層計(jì)數(shù)為1開始向上數(shù)）；

整體考慮給出知識(shí)片段需要“注意”的程度；

將知識(shí)片段的總難度值、關(guān)系層次和注意程度加和，即為每個(gè)問題的絕對(duì)難度。

3 模型的檢驗(yàn)

3.1 問題選擇

本研究以化學(xué)教學(xué)中結(jié)構(gòu)化程度高、邏輯性較強(qiáng)的氧化還原內(nèi)容為例，嘗試分析利用KPARC模型計(jì)算試題絕對(duì)難度的可行性。全部試題選編自歷年高考試題，在征求學(xué)科教學(xué)專家的意見后進(jìn)行預(yù)測(cè)，以保證其質(zhì)量。高一年級(jí)的測(cè)試卷最終由與氧化還原內(nèi)容相關(guān)的41個(gè)選擇題構(gòu)成。為了保證被試人數(shù)且盡可能節(jié)約測(cè)試時(shí)間，以使相關(guān)問題能在中學(xué)化學(xué)課堂教學(xué)常態(tài)中進(jìn)行測(cè)試以減少測(cè)量誤差，將41個(gè)問題拆分為A、B、C三份測(cè)試卷，每份試卷含有5個(gè)相同的問題，即錨問題。同時(shí)，設(shè)計(jì)了一份高三年級(jí)的測(cè)試卷，由9個(gè)綜合性內(nèi)容的選擇題組成，其中含錨問題2個(gè)。通過問卷測(cè)試，獲得氧化還原專題試題的相對(duì)難度。另外，本研究還選擇了2007和2009年高考化學(xué)題全國卷的全部選擇題，并搜集到這兩年官方公布的相應(yīng)高考化學(xué)試題的相對(duì)難度數(shù)據(jù)。

3.2 被試和評(píng)定者

問卷測(cè)試在江蘇省內(nèi)進(jìn)行，研究樣本包括南京市的4所程度不同的典型高級(jí)中學(xué)的高一年級(jí)的三個(gè)班和高三年級(jí)的一個(gè)班。為保證學(xué)生的認(rèn)真參與，測(cè)試以平時(shí)練習(xí)的形式在課堂中進(jìn)行，參與各試卷測(cè)試的學(xué)生人數(shù)則是根據(jù)中學(xué)化學(xué)教學(xué)實(shí)際予以協(xié)調(diào)安排，A卷、B卷、C卷和高三卷的被試合計(jì)人數(shù)分別是161人、129人、119人和170人。

每一個(gè)試題分別由兩名評(píng)定者評(píng)定，評(píng)定者均為化學(xué)課程與教學(xué)論專業(yè)的碩士研究生，具備較好的化學(xué)學(xué)科知識(shí)和教育心理學(xué)的相關(guān)理論基礎(chǔ)，且在評(píng)定前接受了約20分鐘的培訓(xùn)與預(yù)評(píng)，以確保能正確理解并掌握評(píng)估的原則和方法。

3.3 結(jié)果分析

兩名評(píng)定者依據(jù)KPARC模型分別對(duì)各個(gè)問題標(biāo)定絕對(duì)難度，利用積差相關(guān)系數(shù)計(jì)算兩評(píng)定結(jié)果的一致性程度。從表2可知，各個(gè)測(cè)試的評(píng)分者信度均達(dá)到極其顯著相關(guān)（p＜0.01），說明基于該模型的評(píng)估指標(biāo)體系很容易為評(píng)定者掌握，具有較強(qiáng)的可操作性。對(duì)兩名評(píng)分者的評(píng)定結(jié)果取平均值獲得各個(gè)問題的絕對(duì)難度的平均值，以被試學(xué)生測(cè)試獲得的通過率以及國家發(fā)布的通過率經(jīng)轉(zhuǎn)換后的標(biāo)準(zhǔn)難度為各個(gè)問題的相對(duì)難度，計(jì)算各試題絕對(duì)難度的平均值與其標(biāo)準(zhǔn)難度之間的皮爾遜相關(guān)系數(shù)，通過和外在標(biāo)準(zhǔn)（相對(duì)難度）的一致性判斷標(biāo)定結(jié)果的可信性。從表2可知，試題的絕對(duì)難度與標(biāo)準(zhǔn)難度呈極其顯著（p＜0.01）或顯著（p＜0.05）的負(fù)相關(guān)。

表2 評(píng)價(jià)測(cè)試結(jié)果的兩個(gè)一致性系數(shù)

4 結(jié)論

本研究在前人研究基礎(chǔ)上，提出了“知識(shí)片段—注意—關(guān)系復(fù)雜性”（KPARC）模型，用于標(biāo)定試題的絕對(duì)難度，對(duì)該模型的各項(xiàng)指標(biāo)含義及難度標(biāo)定的操作步驟予以了較為詳細(xì)的闡述。研究者選擇化學(xué)學(xué)科中的氧化還原相關(guān)試題設(shè)計(jì)測(cè)試問卷，嚴(yán)格實(shí)施程序，進(jìn)行較大規(guī)模測(cè)試的結(jié)果顯示：（1）不同評(píng)定者基于KPARC模型的絕對(duì)難度標(biāo)定結(jié)果之間具有極其顯著的相關(guān)，評(píng)分者信度高。說明這種絕對(duì)難度標(biāo)定方法容易為評(píng)定者掌握，評(píng)分誤差小，有很好的實(shí)際操作可行性；（2）評(píng)定所得的各試題的絕對(duì)難度平均值和由通過率轉(zhuǎn)換后的標(biāo)準(zhǔn)難度值之間具有（極其）顯著的負(fù)相關(guān)，驗(yàn)證了基于KPARC模型的絕對(duì)難度標(biāo)定方法是合理的，標(biāo)定的結(jié)果是可信的。

[1]Johnstone，A.H.，El-Banna，H.Capacities，demands and processes—apredictive model for scienceeducation.Education in chemistry，1986（5）:79-84.

[2]Dori，Y.J.，Hameiri，M.Multidimensional analysis system for Quantitative Chemistry problems:Symbol，Macro，Micro，and Process aspects.Journal of Research in Science Teaching ，2003，40（3）:278-302.

[3]任紅艷，李幸，李廣洲.MAS法和CTA法標(biāo)定離子反應(yīng)試題絕對(duì)難度的研究[J].中國考試，2011（12）:17-21.

[4]任紅艷，李幸，李廣洲.基于多維分析系統(tǒng)的離子反應(yīng)試題絕對(duì)難度研究[J].化學(xué)教學(xué)，2012（6）:54-57.

[5]辛自強(qiáng).關(guān)系—表征復(fù)雜性模型的檢驗(yàn)[J].心理學(xué)報(bào)，2003，35（4）:504-513.

[6]邵志芳，余嵐.試題難度的事前認(rèn)知任務(wù)分析[J].心理科學(xué)，2008，31（3）:696-698.

[7]Karen，K.，etal.A valid and reliable instrument for cognitive complexity rating assignment of chemistry exam items.Journal of Chemical Education，2011，88（5）:554-560.

[8]毛競(jìng)飛.高考命題中試題難度預(yù)測(cè)方法探索[J].教育科學(xué)，2008（6）:22-26.

[9]程力，柳博.自學(xué)考試試題難度影響因素的多元回歸分析[J].教育科學(xué)，2012（3）:60-62.