Jorg Tobias Kuhn(奧地利) 張若儀 王海東
試題編制過程中的三十個(gè)技術(shù)細(xì)節(jié)
Jorg Tobias Kuhn(奧地利) 張若儀 王海東
本文對考試命題過程中需要注意的若干技術(shù)細(xì)節(jié)進(jìn)行了系統(tǒng)總結(jié),概括出有關(guān)試題內(nèi)容、樣式風(fēng)格和選項(xiàng)設(shè)計(jì)等3大方面的30個(gè)技術(shù)細(xì)節(jié)問題,并佐以實(shí)例說明。
試題編寫;注意事項(xiàng);題干;刺激材料;選項(xiàng)
在心理與教育測量中,試題(item)一詞指的是用來構(gòu)成測試和評價(jià)的獨(dú)立任務(wù)或問題。試題編寫(itemwriting)一直被認(rèn)為是大規(guī)模測驗(yàn)和評價(jià)的關(guān)鍵部分。[1]良好的試題編寫活動,要求具有準(zhǔn)確實(shí)用的考試藍(lán)圖、訓(xùn)練有素經(jīng)驗(yàn)豐富的命題人員、清晰明了準(zhǔn)確無誤的試題編寫指南、詳細(xì)的標(biāo)準(zhǔn)化審查程序、對經(jīng)驗(yàn)數(shù)據(jù)合理有效的分析等,此外,還需要試題編寫者和項(xiàng)目管理者之間不斷的交流以及相互監(jiān)管。
為了編寫出科學(xué)的、高質(zhì)量的試題,命題人員需要完全理解測試目標(biāo)和相關(guān)的心理測量結(jié)構(gòu),[2][3]并在測試目標(biāo)的基礎(chǔ)上,制定命題藍(lán)圖。命題藍(lán)圖是命題人員在編寫試題時(shí)用作指導(dǎo)的模板或者試題標(biāo)準(zhǔn)說明書。接下來,就是以指南或者以“基于規(guī)則”的試題編寫。[4]有指導(dǎo)的試題編寫活動是科學(xué)和藝術(shù)的結(jié)合。然而,命題本身又是一項(xiàng)具有高度創(chuàng)造性的活動。對試題編寫者的訓(xùn)練和提供試題編寫指南,不應(yīng)削弱編寫者的創(chuàng)造性。它們應(yīng)該為試題編寫者提供程序上的知識和指導(dǎo)。
在本文中,我們根據(jù)已有的研究成果和多年的實(shí)踐經(jīng)驗(yàn),整理歸納出試題編制過程中需要注意的30個(gè)技術(shù)細(xì)節(jié)。命題人員只有在工作中謹(jǐn)慎把握好這些技術(shù)細(xì)節(jié),才有可能命制出高質(zhì)量的試題。
1.每道試題都要反映測驗(yàn)藍(lán)圖中的內(nèi)容
題目應(yīng)該具有盡可能高的結(jié)構(gòu)效度,并且應(yīng)該盡可能地貼近并充分反映測驗(yàn)結(jié)構(gòu)的預(yù)定內(nèi)容。測驗(yàn)計(jì)劃把題庫中的試題依據(jù)不同性質(zhì)進(jìn)行合理分類。測驗(yàn)計(jì)劃以及其轉(zhuǎn)化為試題的能力,可以被看作結(jié)構(gòu)效度的核心方面。例如,閱讀理解題按計(jì)劃是用來測量精讀的,可當(dāng)一道閱讀題通過簡單地瀏覽文章就可以回答時(shí),它就不符合命題計(jì)劃的要求。
2.避免瑣碎信息
當(dāng)題干材料中包含一些瑣碎內(nèi)容或題目整體上有瑣碎信息時(shí),就會產(chǎn)生不利影響,因?yàn)檫@些題干材料可能不會反映預(yù)期的測驗(yàn)結(jié)構(gòu),而且,這些題干材料過于簡單可能會使測試者失去做題的動力。在這里,關(guān)鍵的問題是,什么是瑣碎信息?瑣碎信息是考生在未來的學(xué)習(xí)和語言獲得中最不重要的部分,它們只需考生簡單地回憶和認(rèn)知活動即可掌握。只要這些瑣碎內(nèi)容不是詳細(xì)地體現(xiàn)在命題藍(lán)圖和測試說明中,命題人員就應(yīng)該把它們的數(shù)量減到最少。
3.保持每道試題內(nèi)容上的獨(dú)立性
常常有這樣一種傾向,命題人員在一道試題里提供的信息有助于考生正確解答后面的題目,特別是在相同刺激材料的一組試題里,例如同一段閱讀理解之后的幾道問題。那么,命題人員應(yīng)該盡量在命題中避免這種傾向,因?yàn)樯朴趹?yīng)考的考生會發(fā)現(xiàn)并利用這一點(diǎn)。圖表1有這樣一個(gè)例子[5]。如果試題1的正確答案是C,那么善于應(yīng)考的考生就會在試題2中選B,因?yàn)锽是唯一沒在試題1中出現(xiàn)的答案。
圖表1 試題內(nèi)容的獨(dú)立性以下問題來自故事《伊巴拉的石頭》
4.如果試題中刺激材料引用的是現(xiàn)成的,則要注明資料來源
如果現(xiàn)有試題的刺激材料不是命題人員自己創(chuàng)作出來的,而是從別處借用來的(報(bào)紙、書、其他資料上的文章或圖片),命題人員必須在題目下方完整地提供這個(gè)資料的出處(作者姓名、時(shí)間和刊物、出版社、頁碼、網(wǎng)站等)。
5.避免偏頗觀點(diǎn)和其他不適當(dāng)內(nèi)容
試題中不能使用那些具有偏頗觀點(diǎn)的刺激材料。有爭議的或者敏感性的話題材料會引起誤解,最好避免編入試題中。例如,與死亡、災(zāi)難、宗教等有關(guān)的信息性刺激材料是不合適采用的。
6.避免陷阱題
Roberts總結(jié)了幾種被學(xué)生認(rèn)為是陷阱試題的情況,[6]如試題編寫者蒙蔽和誤導(dǎo)測試者的題目、有瑣碎信息的試題、選項(xiàng)差別極其微小的試題、有粉飾詞語或有很多無關(guān)信息的試題、有多個(gè)正確答案的試題、過于模棱兩可的試題,等等。
Withers在一段文字中簡潔地提到[7]:
我們的目標(biāo)始終都應(yīng)該是,那些認(rèn)真做題的或者已掌握相關(guān)技能的學(xué)生,能夠在考試中有良好表現(xiàn)。盡量選擇那些學(xué)生可能會誤解或容易犯錯(cuò)誤的材料或題目,或者是那些學(xué)生在學(xué)習(xí)該課程中的重點(diǎn)和難點(diǎn),但要確保它們是普遍性的和重要的內(nèi)容,不要僅僅是偏題怪題,也不要僅僅是你為粗心者設(shè)下的一個(gè)陷阱。
任何情況下都應(yīng)該始終避免陷阱題。Haladyna在圖表2中提到了一些典型的陷阱題例子[8]。
圖表2 陷阱題示例
7.校訂和復(fù)審試題
校訂和復(fù)審是試題編寫過程中關(guān)鍵的一部分。然而,所有的校訂都應(yīng)該在現(xiàn)場測試之前完成。因?yàn)樵谠囶}布局或結(jié)構(gòu)構(gòu)建中,即使很簡單的改變也會給它的參數(shù)帶來實(shí)質(zhì)上的影響。例如,干擾項(xiàng)的相似性,會使得其他可能的題目不斷變化,并使題目難度大幅度提高。[9]Haladyna區(qū)分了統(tǒng)計(jì)校訂和內(nèi)容校訂。[10]內(nèi)容校訂指的是在信息性刺激材料中所做的改變,而統(tǒng)計(jì)校訂指的是在多項(xiàng)選擇題選項(xiàng)中的改變。從Haladyna的觀點(diǎn)和經(jīng)驗(yàn)來看,統(tǒng)計(jì)校訂對題目影響很大,因而這些題目在進(jìn)入題庫前要經(jīng)過預(yù)先調(diào)查和復(fù)查。
8.使用正確的語法、標(biāo)點(diǎn)符號、大小寫和拼寫規(guī)則
題目中的語法錯(cuò)誤、標(biāo)點(diǎn)錯(cuò)誤、大寫錯(cuò)誤和拼寫錯(cuò)誤等,會導(dǎo)致實(shí)質(zhì)上的不利影響,即使是在低風(fēng)險(xiǎn)的測驗(yàn)中也要盡量避免。首先,這些錯(cuò)誤被界定為粗心錯(cuò)誤,并且總體來說會讓人對整個(gè)測試及其目的產(chǎn)生一種消極的看法。其次,受考試影響產(chǎn)生心理焦慮的測試者,會被這些錯(cuò)誤分散其注意力。[11]總體來說,沒有經(jīng)過有效校訂的測驗(yàn)會有更多的“統(tǒng)計(jì)干擾”,并且會以一種潛在的非系統(tǒng)的方式影響測試者的表現(xiàn)。
9.把每一道題的閱讀量減到最小
題目中的文字應(yīng)該盡可能簡潔,特別是關(guān)于題目的操作部分(如題干、選項(xiàng)等)。在相同的時(shí)間內(nèi),有更多文字的較長題目相對于比較短的題目所提供的信息要少。即使是在考察長篇閱讀能力的測試中,信息性的刺激材料也應(yīng)該盡量縮短。通過在相同時(shí)間內(nèi)提供更多有效可靠的題目,信度和效度這兩個(gè)主要的心理測量指標(biāo)能夠得以擴(kuò)大,從而提高測驗(yàn)的質(zhì)量。
10.保證題干的指向清晰
一個(gè)清晰而不模棱兩可的題干是非常必要的,因?yàn)樗鼤寽y試者明白他們應(yīng)該怎么做。一些題目質(zhì)量低的原因是因?yàn)轭}干的指向不明。圖表3展示了一個(gè)指向不清晰題干的示例[12]。
圖表3 不清晰的題干和清晰的題干
11.試題的中心思想應(yīng)包含在題干中,而不是在別的地方
無論是從測試公平性還是從試題質(zhì)量的角度,試題的中心思想應(yīng)該在題干部分被明確呈現(xiàn),而不是出現(xiàn)在選項(xiàng)中。對于考生來說,題目的意圖應(yīng)該在首次閱讀題干時(shí)就能夠明確地領(lǐng)會。題干中沒有中心觀點(diǎn)的題目(例如,只提供一個(gè)單獨(dú)的詞或者一個(gè)不完整句子的一小部分),總會給考生增加記憶負(fù)擔(dān),因?yàn)檫@些題干會給試題引入含混的因素。圖表4分別展示了沒有中心觀點(diǎn)和有中心觀點(diǎn)的題干例子。
圖表4 沒有中心觀點(diǎn)和有中心觀點(diǎn)的題干
然而事情也不絕對。在很多示例中,在題干中加入不完整的句子比加入完整的句子更合適。比如,如圖表5所示,選項(xiàng)中有過分的冗余贅述。在這個(gè)示例中,選項(xiàng)里給出很少的詞并且已經(jīng)把題干中題目的意圖陳述得更清晰,這時(shí)就需要一個(gè)沒有中心觀點(diǎn)的題干。總的來說,題干部分應(yīng)該明確地表達(dá)題目意圖。
圖表5 題干中完整的和不完整的句子
12.避免對題目的過度粉飾
題目中可能會包含與題干中提到的問題完全無關(guān)的詞語或者句子。它們被加進(jìn)題目中是為了使題目看起來更顯得真實(shí)。然而,只有從無關(guān)信息中篩選的相關(guān)信息屬于被測量內(nèi)容的一部分時(shí),多余信息才可以加入到題目中。在除此之外的其他情況中,過多的粉飾都應(yīng)該被避免。圖表6展示了一個(gè)被粉飾的題目和一個(gè)簡潔明了的題目[13]。
圖表6 繁冗多余的題干和清晰簡潔的題干繁冗多余的題干
清晰簡潔的題干
13.小心使用幽默
在測試題中,命題人員要小心使用幽默用語。盡管幽默可以幫助學(xué)生降低在學(xué)習(xí)中的緊張和不安,但在測試中常會帶來不適當(dāng)情況。首先,題目中的幽默內(nèi)容會束縛干擾項(xiàng)的范圍。其次,題目中的幽默會導(dǎo)致學(xué)生對待該考試的態(tài)度不夠認(rèn)真嚴(yán)肅。再次,幽默用語會模糊題目的目的。作為一般性的指導(dǎo)意見,只有在不影響題目的理解以及不會在實(shí)質(zhì)上分散考生注意力的情況下,幽默用語才可以使用。圖表7展示了一道由于使用幽默語言而導(dǎo)致測試目標(biāo)模糊的試題[14]。
圖表7 由于使用幽默語言而模糊了題目意圖的試題
14.題干中陳述要正面,避免負(fù)性用語(如“不是”“除了”)
很多調(diào)查都顯示,在題干中采用負(fù)面用語會對考生的表現(xiàn)有不利影響。負(fù)性詞語會導(dǎo)致考生不能理解題干的含義。[15]此外,負(fù)性詞語會被考生仔細(xì)閱讀,從而增加他們的閱讀和記憶負(fù)擔(dān)。如果一道題目中一定要用到負(fù)性詞語,就應(yīng)該把它們清晰標(biāo)注出來,例如,把它們印成大寫或粗體形式。
15.語言要盡量簡潔
聽力和閱讀測驗(yàn)的目的,是對學(xué)生這些方面的技能提供一個(gè)準(zhǔn)確的測量。在此情況下,題干和選項(xiàng)中的詞語應(yīng)該盡可能簡單易懂。畢竟,信息性刺激材料要測量的是聽力和閱讀的技能。題目的難度不應(yīng)該是來自其復(fù)雜的選項(xiàng)設(shè)計(jì)。例如,Abedi曾經(jīng)就什么樣的語言在測試中是恰當(dāng)?shù)?,提出過一些指導(dǎo)性建議[16](參見圖表8)。
圖表8 測試中應(yīng)使用什么樣的語言
16.盡可能多地編寫出可用選項(xiàng)(多選題、匹配題)
Rodriguez的研究結(jié)果發(fā)現(xiàn),[17]在教育測驗(yàn)的多項(xiàng)選擇題中,有兩個(gè)好的干擾項(xiàng)就足夠了。正如Halanyda等人提到的,[18]通常很難找到超過兩個(gè)以上的功能良好的干擾項(xiàng),特別是在較短的信息刺激材料中??紤]到會減低答題的猜測情況,選項(xiàng)多會更好一些,但只有在它們沒有被粉飾的時(shí)候,特別是在沒有增加閱讀負(fù)擔(dān)的情況下。易于辨認(rèn)的干擾項(xiàng)價(jià)值有限,同時(shí),大量的干擾項(xiàng)會對考生內(nèi)容的記憶有不利影響。[19]對于編制多項(xiàng)選擇題的一般建議是:首先編寫出盡可能多的選項(xiàng),然后從中選擇出最好的一些,納入最終試題設(shè)計(jì);在聽力和閱讀的多項(xiàng)選擇題示例中,每道多項(xiàng)選擇題都應(yīng)有三個(gè)干擾項(xiàng);干擾項(xiàng)的數(shù)量和猜測題目答案有關(guān),多一些選項(xiàng)會減少猜測因素的影響。
17.確保只有一個(gè)選項(xiàng)是正確的(多選題)
即使對于富有經(jīng)驗(yàn)的命題專家來說,偶爾也會在多項(xiàng)選擇題中同時(shí)出現(xiàn)兩個(gè)正確選項(xiàng)或者沒有正確選項(xiàng)的意外情況。通常情況下,這種失誤會在試題復(fù)審環(huán)節(jié)被發(fā)現(xiàn)。
18.答案選項(xiàng)要與題干的語法結(jié)構(gòu)一致
題干和選項(xiàng)要在語法上保持一致。如果題干中語法表明正確答案是關(guān)于一個(gè)女性或是負(fù)數(shù)的,確保所有的選項(xiàng)都是女性或負(fù)數(shù)。否則,不一致的干擾項(xiàng)會被考生最先排除。
19.答案選項(xiàng)不能比題干還長
有信息性刺激材料的題干,應(yīng)該包含能夠正確得出答案的所有相關(guān)信息。在選項(xiàng)中不宜出現(xiàn)額外的數(shù)據(jù)。(參見圖表9)
圖表9 題干和選項(xiàng)的適宜長度
20.題目中的正確選項(xiàng)/句子應(yīng)隨機(jī)分布(多選題、判斷正誤題)
考試過程中,考生會很快發(fā)現(xiàn)正確答案出現(xiàn)的位置規(guī)律,并且會適應(yīng)這種題型。因此,在多項(xiàng)選擇題中隨機(jī)安排正確選項(xiàng)的位置、在判斷正誤題中隨機(jī)放置正確的句子,就十分重要。隨機(jī)性比平衡(例如,每個(gè)選項(xiàng)在每一個(gè)位置出現(xiàn)的頻率均等)更有優(yōu)勢,因?yàn)闇y試者有一種避開正確選項(xiàng)在兩端位置的趨勢。[20]然而,如果考生受惠于符合邏輯的或數(shù)字順序的放置位置,那么這個(gè)順序要被選出來而不該隨機(jī)安排。
21.如果可能的話,把選項(xiàng)按邏輯的或者數(shù)字的順序排列(多選題)
如果題目允許,多項(xiàng)選擇題的選項(xiàng)應(yīng)該以邏輯的或數(shù)字的順序呈現(xiàn)。在此種情況下,不應(yīng)該要求考生在偶然放置的選項(xiàng)里“找”出正確答案。例如,圖表10展示了一道在數(shù)字順序允許的情況下,正確的和錯(cuò)誤的排列選項(xiàng)的題目。
圖表10 選項(xiàng)的邏輯和數(shù)字排列順序
22.保持選項(xiàng)相互獨(dú)立,含義不要有重疊(多選題)
在含義上有重疊的選項(xiàng)是不正確的,因?yàn)槿绻恍⌒木蜁诡}目包含兩個(gè)正確選項(xiàng),而且可能會迷惑考生。而且,它們可能會使得善于應(yīng)付考試的人即便不看題干也能發(fā)現(xiàn)正確答案。[21]圖表11展示了一個(gè)有重疊含義選項(xiàng)的題目。
圖表11 選項(xiàng)意思重疊
23.使選項(xiàng)在內(nèi)容和語法結(jié)構(gòu)上保持同質(zhì)性(多選題)
在多項(xiàng)選擇題中,在內(nèi)容和語法結(jié)構(gòu)上差別大的選項(xiàng)會給考生以找出正確答案的線索。舉例來說,如果選項(xiàng)在其特征上有區(qū)別,一般最特別的那個(gè)是正確選項(xiàng)。圖表12解釋了這一點(diǎn)[22]。由此看來,各選項(xiàng)在特征和語法結(jié)構(gòu)上應(yīng)該盡可能保持同質(zhì)性。
圖表12 題目選項(xiàng)的同質(zhì)性
24.選項(xiàng)長度要大致相同
在新編寫的多項(xiàng)選擇題中,當(dāng)題目問到具體的信息時(shí),最長的選項(xiàng)總是正確的。在這樣的情況下,善于應(yīng)付考試的人會選擇最長的那個(gè)。因此,選項(xiàng)應(yīng)該在長度上大致相同。
25.慎重使用“以上選項(xiàng)都不對”(多選題)
帶有短語“以上都不對”的選項(xiàng)會促使考生使用排除法,而不是積極主動地去解題。即使這個(gè)短語不會影響到題目的心理測量學(xué)屬性,[23]也應(yīng)該盡量少地使用。因?yàn)閺念}目中遺漏正確選項(xiàng)和暗示具體的解題方法,都是沒好處的。
26.避免使用“以上選項(xiàng)都對”(多選題)
帶有“以上所有選項(xiàng)都對”的選項(xiàng)應(yīng)該在試題中避免。它暗示有多個(gè)選項(xiàng)是正確的,這就與“只有一個(gè)選項(xiàng)正確”的通常指示相矛盾。此外,它會使考生使用應(yīng)試技巧,即如果他們發(fā)現(xiàn)在四個(gè)選項(xiàng)的多項(xiàng)選擇題中,三個(gè)選項(xiàng)中兩個(gè)都是正確的,他們就會自動推斷出要選“以上所有選項(xiàng)都對”的選項(xiàng),而不會再去考慮第三個(gè)選項(xiàng)。
27.選項(xiàng)措辭要積極,避免使用負(fù)性詞語如“不是”(多選題)
在題目中使用負(fù)性的詞語會增加考生錯(cuò)選的幾率,因?yàn)樗麄兛赡軙浽霈F(xiàn)的負(fù)性詞語,或者有意識地跳過它。如果在題目中不可避免地用到負(fù)性詞語,那就需要在測試說明中明顯地標(biāo)示出來,比如,使用大寫或者粗體字形式。
28.避免對正確選項(xiàng)做出提示
在題目中需要避免以下幾種對正確答案做出暗示的情況,[24][25]依次是:避免使用具體的限定詞(總是、從不、完全、絕對、只有);避免同義詞聯(lián)想,如與題干完全相同的選項(xiàng)或與題干有同義詞的選項(xiàng);避免語法的不一致暗示正確選項(xiàng);避免成對選項(xiàng)給考生提示正確答案;避免明顯錯(cuò)誤、滑稽的選項(xiàng)或者語句。
29.使干擾項(xiàng)或句子看似正確,具有干擾性(多選題)
多項(xiàng)選擇題的干擾項(xiàng)(或者判斷正誤的句子),對于那些技能或能力較低的考生應(yīng)具有一定迷惑性(看起來像是正確答案)。干擾項(xiàng)的質(zhì)量是多項(xiàng)選擇題質(zhì)量的決定因素。設(shè)計(jì)出有迷惑性的干擾項(xiàng)并不容易,但對于那些有一定經(jīng)驗(yàn)且了解考生的命題人員來說也不是難事。有迷惑性的干擾項(xiàng)可以以實(shí)驗(yàn)為基礎(chǔ)(如考生出現(xiàn)的典型錯(cuò)誤)收集,或者依據(jù)一個(gè)固定的有關(guān)評估能力或技能的認(rèn)知模式。考生的典型錯(cuò)誤對于試題編寫很有用,并且可以通過分析簡答題時(shí)收集到。
30.建構(gòu)一個(gè)指定題目的標(biāo)準(zhǔn)答案/評分細(xì)則(簡答題)
為了使得簡答題的評分更為客觀,命題人員必須編制好一個(gè)預(yù)先界定的評分規(guī)則(也叫評分細(xì)則或者標(biāo)準(zhǔn)答案)。這是一個(gè)不斷重復(fù)的程序,命題人員首先確定幾個(gè)可能被評為滿分的正確答案,同時(shí)也確定幾個(gè)可能的錯(cuò)誤答案。在對試題進(jìn)行現(xiàn)場試驗(yàn)之后,要在經(jīng)驗(yàn)數(shù)據(jù)(例如,測試者的真實(shí)回答)的基礎(chǔ)上進(jìn)一步修改標(biāo)準(zhǔn)答案。有時(shí)候,命題人員不能確定一個(gè)有迷惑性的、可能正確的答案如何評分,就有必要增補(bǔ)一種新類型(部分正確的答案)。然而,這也可能暗示著題干部分需要進(jìn)行修改。
[1][5][8][10][12][13][22]Haladyna,T.M.Developing and validating multiple-choice test items(3rd ed.).Mahwah, NJ:Erlbaum,2004.
[2][14][21]Case,S.M.,&Swanson,D.B.Constructing written test questions for the basic and clinical sciences(3rd ed.).Philadelphia,PA:National Board of MedicalExaminers, 2002.
[3][7]Withers,G.Itemwritingfortestsandexaminations. Paris:UNESCO International Institutes for Educational Planning,2005.
[4]Irvine,S.H.,&Kyllonen,P.C.(Eds.).Item generationfortestdevelopment.Mahwah,NJ:Erlbaum,2002.
[6]Roberts,D.M.Anempiricalstudyonthenatureoftrick questions.Journal of Educational Measurement,1993(30):331~344.
[9]Ascalon,M.E.,Meyers,L.S.,Davis,B.W.,&Smits,N. Distractor similarity and item-stem structure:Effects on item difficulty.AppliedMeasurementinEducation,2007(20):157~170.
[11][15][18][25]Haladyna,T.M.,Downing,S.M.,& Rodeiguez,M.C.A review of multiple-choice item-writing guidelines for classroom assessment.Applied Measurement in Education,2002(15):309~334.
[16]Abedi,J.Language issues in item development.In S. M.Downing&T.M.Haladyna(Eds.),Handbookoftestdesign. Mahwah,NJ:Erlbaum,2006.377~398.
[17]Rodriguez,M.C.Constant equivalence of multiplechoice and constructed-response items:A random effects synthesisofcorrelations.JournalofEducationalMeasurement,2003 (40):163~184.
[19]Butler,A.C.,Marsh,E.J.,Goode,M.K.,& Roedinger,H.L.Whenadditionalmutiple-choiceluresaidversus hinder later memory.Applied Cognitive Psychology,2006 (20):941~956.
[20]Attali,Y.,&Bar-Hillel,M.Guess where:The positionofcorrectanswersinmultiple-choicetestitemsasapsychometric variable.Journal of Educational Measurement,2003 (40):109~128.
[23]Knowles,S.L.,&Welch,C.A.A meta-analytic review of item discrimination and difficulty in multiple-choice items using“none-of-the-above”.Educational and PsychologicalMeasurement,1992(52):571~577.
[24]Fuhrman,M.Developing good multiple-choice tests andtestquestions.JournalofGeoscience Education,1996(44):379~384.
責(zé)任編輯/王彩霞
G449
A
1674-1536(2014)10-0049-06
本文由張若儀、王海東依據(jù)奧地利國家教育研究所Jorg Tobias Kuhn博士的英文報(bào)告《Item Writing Guide:E8 Listening and Reading》加以編譯整理而成。
張若儀/四川大學(xué)外國語學(xué)院英語系學(xué)生。
王海東/教育部考試中心副研究員。(北京 100084)