馮寶全,劉玉娟,劉春光
(沈陽汽車工業(yè)學(xué)院,遼寧 沈陽110015)
試題質(zhì)量取決于命題人對學(xué)科內(nèi)容與知識的把握、命題經(jīng)驗及對教育測量理論的掌握。評價試題質(zhì)量不能僅憑主觀評估,還要以量化的指標來分析。成人高等教育《機械制圖》課程考試試題的質(zhì)量評價可主要采用難度指標、區(qū)分度指標來量化分析。此外,成教《機械制圖》課程考試除了畫圖題,應(yīng)采用的其他題型也較多,其中就少不了選擇題,對成教機械制圖課程考試所用選擇題的質(zhì)量評價再加上的定量分析方法是干擾項分析?,F(xiàn)代教育測量理論對考試試題的量化分析指標較多,本文結(jié)合編制的機械制圖客觀性試題和主觀性試題,在我校18級成人汽車制造與裝配專業(yè)學(xué)生中開展試測的結(jié)果,談編制成教機械制圖課程考試試題適合采用的量化分析指標,并作簡要計算及分析。
難度是指試題的難易程度,用學(xué)生正確回答該試題的百分比或比例(得分率)來衡量。通常用難度系數(shù)表示試題難度的高低。
成教機械制圖課程考試判斷題、填空題和選擇題等客觀性試題可采用的難度系數(shù)計算公式為[1]:
式中Ri為對試題i做出正確應(yīng)答人數(shù);Ni為對試題i應(yīng)答的總?cè)藬?shù)。
例如,我校18級成人汽車制造與裝配專業(yè)機械制圖課程考試試題試測,三題(該題是選擇題),31名學(xué)生里有22名學(xué)生答對,9名學(xué)生答錯,那么該試題的難度系數(shù)就是0.71。計算過程如下:
成人高等教育機械制圖課程學(xué)業(yè)水平考試,應(yīng)以參加學(xué)習(xí)的一般水平的學(xué)生群體(剛達標的樣本)能夠作答好的概率來估計每個試題的難度,試題可分為容易題、中等偏易題、中等難度題、中等偏難題和難題五個層級。對應(yīng)這一樣本(一般水平的學(xué)生群體)中能夠作答好的學(xué)生占比分別為80%以上、60%~79%、40%~59%、20%~39%和19%以下;對應(yīng)難度值分別處于 0.80~ 1.00、0.60~0.79、0.40~0.59、0.20~0.39和0.01~0.19之間[2]。注意,難度系數(shù)與試題的實際難度成反序關(guān)系,也就是說難度系數(shù)越高,試題的實際難度越低,即容易題的難度指標較高,難題的難度指標較低,試題難度系數(shù)的范圍是0~1。成教機械制圖課程學(xué)業(yè)水平考試,試題的難度要適合考查成教學(xué)生工程制圖的水平與目標。此題為中等偏易題。
成教機械制圖課程考試畫圖題、問答題等主觀性試題可采用的難度系數(shù)計算公式為:
式中Mi為所有學(xué)生在該題上得分總和(所有人的總得分);Si為所有學(xué)生在該題上滿分總和(所有人的總滿分值)。
例如,我校18級成人汽車制造與裝配專業(yè)機械制圖課程考試試題試測,六題。該題是分類題,是分值為23分的一道用連續(xù)方式計分方法的試題,適合用主觀性試題的難度系數(shù)計算公式。所有學(xué)生在該題上得分總和(所有人的總得分):
所用學(xué)生在該題上滿分總和(所有人的總滿分值):
該試題的難度系數(shù)是0.76。計算過程如下:
此題亦為中等偏易題。
試題區(qū)分度指的是在測驗需要測量的結(jié)構(gòu)上,一個試題可以在多大程度上區(qū)分不同程度的考生。如,成教機械制圖課程考試某個試題,若測驗的目的是測量識讀零件圖,該試題區(qū)分度就是試題區(qū)分讀圖能力強和讀圖能力差的學(xué)生的能力。
成教機械制圖課程考試判斷題、填空題和選擇題等客觀性試題可采用的區(qū)分度指標計算公式為[3]:
式中pT為高分組(按得分排序,取占總?cè)藬?shù)前27%的學(xué)生)中答對該試題學(xué)生的比例,即該試題對高分組的難度;pB為低分組(按得分排序,取占總?cè)藬?shù)后27%的學(xué)生)中答對該試題學(xué)生的比例,即該試題對低分組的難度。
用上述公式計算試題的區(qū)分度,通常要求分別占總?cè)藬?shù)27%的兩個極端組(高分組與低分組)都應(yīng)至少包含100名學(xué)生,或者至少有370名學(xué)生參加考試[4]。當學(xué)生數(shù)少于370人時,成教機械制圖客觀性試題的區(qū)分度可用下列公式計算[2]。
式中p表示答對該題的學(xué)生占全體學(xué)生的比率,q表示答錯該題的學(xué)生占全體學(xué)生的比率,為答對該題學(xué)生卷面總分的平均分;為答錯該題學(xué)生卷面總分的平均分;S為所有學(xué)生卷面總分的標準差。
標準差計算公式如下:
此式表示,一組分數(shù)的每一個分數(shù)與平均分數(shù)的差的平方和的平均數(shù)(近似)的算術(shù)平方根。
我校18級成人汽車制造與裝配專業(yè)機械制圖課程考試試題試測,三題,按此計算其區(qū)分度指標過程為:第一,先計算標準差。31名學(xué)生的平均分數(shù)為78.06,第一名學(xué)生得分98分,與平均分的差為19.94,此差的平方為397.6;第三十一名學(xué)生得分52分,與平均分的差為-26.06,此差的平方為679.12,其余從略。代入上式得,S=14.08。第二,參數(shù)、的計算。答對三題的有22名學(xué)生,占比p=0.71,這22名學(xué)生的平均分答錯三題的有9名學(xué)生,占比q=0.29,這9名學(xué)生的平均分代入前式得,D=0.57。
試題區(qū)分度的評價標準為:數(shù)值大于0.39為優(yōu);0.30~0.39為良好;0.20~0.29為較差;小于0.20為差[2]。此題區(qū)分度為優(yōu)。但應(yīng)當強調(diào)對于成教機械制圖課程學(xué)業(yè)水平考試,考查的是水平與目標,有時區(qū)分度低一些也是允許的。
成教機械制圖課程考試畫圖題、問答題等主觀性試題可采用的區(qū)分度指標計算公式為[5]:
式中XH表示高分組學(xué)生得分總和,XL表示低分組學(xué)生得分總和,n表示高分組(也可為低分組,因為兩者相同)學(xué)生的人數(shù),取總?cè)藬?shù)的27%,H表示學(xué)生中該題得分的最高分,L表示學(xué)生中該題得分的最低分。
同上文所述,當學(xué)生數(shù)較少(少于370人)時,成教機械制圖主觀性試題的區(qū)分度可用下列公式計算[1]。
式中Xi是第i個學(xué)生在該題上的得分,Yi是第i個學(xué)生的卷面總分是學(xué)生作答該題的平均分,是學(xué)生卷面總分的平均分。該公式即相關(guān)系數(shù)(皮爾遜相關(guān)系數(shù)),是用試題與考試總分之間的相關(guān)系數(shù)來表示試題的區(qū)分度。
我校18級成人汽車制造與裝配專業(yè)機械制圖課程考試試題試測,六題,按此計算其區(qū)分度指標過程為:第一名學(xué)生六題得分卷面總分第三十一名學(xué)生六題得分卷面總分2 704其余從略。ΣX=22+… +6=540,ΣX2=484+… +36=10 742,ΣY=98+… +52=2 420,ΣY2=9 604+ … +2 704=194 860,Σ XY=2 156+… +312=44 410。代入上式得,D=0.80。此題區(qū)分度亦為優(yōu)。
在選擇題中,不正確的選項稱為干擾項,用來干擾不知道正確答案的學(xué)生。編制成教機械制圖課程考試選擇題,試測或考試后一定要對其結(jié)果進行檢查,分析每個干擾項的干擾性。
成教機械制圖選擇題干擾項分析可根據(jù)以下關(guān)系式計算:
假設(shè)一道選擇題,共四個選項(含三個干擾項)。有100名學(xué)生,40人答對,則答錯選項人數(shù)為60,按此關(guān)系式計算,理論上期望每個干擾項的選擇人數(shù)就是20。但現(xiàn)實中往往不會是這樣,這也是值得研究干擾項的問題。如果某個干擾項的實際選擇人數(shù)(選擇該干擾項的人數(shù))與期望的選擇人數(shù)大致相當,可以認為該干擾項具有比較好的迷惑性;如果兩者相差很大,說明該項迷惑效果不強。迷惑性差的干擾項需要改進。另外,要考慮干擾項吸引低分組的學(xué)生誘答選擇應(yīng)比高分組的學(xué)生多,否則有可能是干擾項使學(xué)生誤入歧途,這樣的干擾項也需要改進。
一道選擇題,如果沒有一個學(xué)生選擇其中的某個干擾項,它就沒有發(fā)揮它應(yīng)該發(fā)揮的作用,實則是無效的干擾項。例如,我校18級成人汽車制造與裝配專業(yè)機械制圖課程考試試題試測,四題,該題是選擇題,A、B、C、D四個選項,正確答案是選C。31名學(xué)生參加試測,結(jié)果A、B、D均無人選,說明都是無效的干擾項。另外,學(xué)生全選擇C,答對了此題,證明該題簡單,考試時不應(yīng)作為選擇題出現(xiàn)。要增加難度,建議將此題改為填空題。
一份成教機械制圖課程考試試卷,通常是既有主觀性試題又有客觀性試題??陀^性試題多為二值計分法,即正確或錯誤。而主觀性試題多是用連續(xù)方式計分的方法,如一道畫圖題的分值是10分,得分取決于學(xué)生作答的質(zhì)量,得分范圍是1~10分或不得分。這兩類試題的難度指標分析、區(qū)分度指標分析,計算公式不同,在使用時要注意區(qū)別。對編制的成教機械制圖選擇題,還要對干擾項進行逐項分析。另外,對成教機械制圖課程考試編制的試題作指標分析時,有的是計算鑒別指數(shù),有的是計算相關(guān)系數(shù),一般前者計算比較方便,后者計算比較麻煩。對于計算比較麻煩的,建議利用計算機及相關(guān)軟件進行。對編制的成教機械制圖課程考試試題,考試后可按本文列出的公式進行定量分析,以便將來改進;有條件的能先試測、分析和改進最好,這些都是按教育測量理論評估及改進試題質(zhì)量的好辦法。