[摘要]本文作者采用由廣東外語(yǔ)外貿(mào)大學(xué)自主研發(fā)的項(xiàng)目分析軟件GITEST，對(duì)大學(xué)英語(yǔ)非英語(yǔ)專業(yè)本科一定數(shù)量期末試卷中的多項(xiàng)選擇題進(jìn)行了分析，包括其信度、效度、難度及區(qū)分度等，得出定量分析數(shù)據(jù)，對(duì)同類考試起到一定的參考和借鑒作用。

[關(guān)鍵詞]多項(xiàng)選擇題 GITEST 信度 效度

一、引言

本文所采用的期末試卷屬于成就考試的一種。用于分析的試卷來(lái)自于2008年1月的非英語(yǔ)專業(yè)本科二年級(jí)上學(xué)期期末考試。參加本次考試的學(xué)生有1021人，筆者在自己所教班中（共132人）通過(guò)系統(tǒng)隨機(jī)抽樣選出40名學(xué)生的試卷作為本項(xiàng)目分析的對(duì)象。試題包括寫作（二選一）、聽(tīng)力理解（30題）、閱讀理解（20題）和詞匯（10題）四個(gè)部分。筆者將采用由廣東外語(yǔ)外貿(mào)大學(xué)自主研發(fā)的試題分析軟件GITEST對(duì)本份試卷中多項(xiàng)選擇題做項(xiàng)目分析（其中聽(tīng)力20題，閱讀理解15題），包括平均分、難度、區(qū)分度、信度等各項(xiàng)數(shù)據(jù)和效度分析，并對(duì)所得出的數(shù)據(jù)進(jìn)行分析解釋，對(duì)同類考試起到參考和借鑒作用。

二、項(xiàng)目分析

1.名詞解釋

（1）信度：測(cè)試的信度，指它的結(jié)果分?jǐn)?shù)對(duì)受試者的表現(xiàn)而言的可靠程度……具體說(shuō)來(lái)，就是代表分?jǐn)?shù)與試題，及試題與受試者（test population）的關(guān)系。（李筱菊，2001）

（2）效度：亦稱有效性，指測(cè)試所考的，是否就是所要考的。效度總體上來(lái)說(shuō)可分為四大類，包括內(nèi)在效度，外在效度，使用效度和超考試效度。其中，內(nèi)在效度是指測(cè)試本身的效度，包括內(nèi)容效度和結(jié)構(gòu)效度。前者是指測(cè)試是否考了考試大綱規(guī)定要考的。后者指考試的原則理論的效度。外在效度指利用測(cè)試之外的標(biāo)準(zhǔn)，包括同期效度和預(yù)測(cè)效度。同期效度要求兩次考試在同一時(shí)段進(jìn)行，或時(shí)間相近，為的是讓受試者不發(fā)生什么變化。預(yù)測(cè)效度則剛好相反，為的是讓受試者在目標(biāo)能力上有所發(fā)展或發(fā)生變化。使用效度指使用者反應(yīng)效度，包括表面效度和反應(yīng)效度。表面效度指受試者是否覺(jué)得它是一份有效的試卷。反應(yīng)效度指受試者是否按試題設(shè)計(jì)的要求去做題。超考試效度指超出考試的目的，說(shuō)明受試者的目標(biāo)能力狀況的為實(shí)效效度，對(duì)教學(xué)是不是有良好的作用的為反撥效應(yīng)。（李筱菊，2001）

（3）GITEST：為項(xiàng)目分析軟件，由廣東外語(yǔ)外貿(mào)大學(xué)自主研發(fā)，用于試卷分析。

2.數(shù)據(jù)分析

本次分析的多項(xiàng)選擇題題數(shù)有35道，按照每題1分來(lái)算，總分為35分。表1：

通過(guò)數(shù)據(jù)輸入，并運(yùn)用GITEST軟件分析，可以得出（表1）：被分析的試題平均分為25.20分，總區(qū)分度較好，Rbis=0.52。SD=3.01，偏態(tài)值Skew=0.04，峰值Kurt=-0.10，全距為13，總體呈正態(tài)分布（Skew>0），分?jǐn)?shù)分布正常。試題R11=0.40，a值為0.26，標(biāo)準(zhǔn)測(cè)量誤差為+- 2.34，表明所分析試題的信度不夠好，理想的R11值為0.9，a值為0.8。另外，所分析項(xiàng)目難度（pd）為10.66，P值為0.72，表明試題趨向容易。

表2：

從表2可以看出，在35道題當(dāng)中，非常難的題目占5%，較難的題目占15%，中等難度的題目占60%，15%的屬于較容易的題目，非常容易的題目占5%。此外，有8道題目沒(méi)達(dá)到考試要求，屬于不適宜試題，需要進(jìn)一步修改。

3.效度分析

根據(jù)效度的定義，可以看出，本次考試是基于大學(xué)英語(yǔ)考試大綱并圍繞教材內(nèi)容出題，因此具有較好的內(nèi)在效度。由于考試本身的性質(zhì)，無(wú)法將考試對(duì)同一類受試者分兩次進(jìn)行，故不具有外在效度。本次考試完全按照學(xué)校規(guī)定時(shí)間進(jìn)行，并以正規(guī)的書面試卷呈現(xiàn)給受試者，因此，具有表面效度，試卷各部分題目要求表達(dá)清晰，沒(méi)發(fā)現(xiàn)受試者有誤答和錯(cuò)答現(xiàn)象，所以也具有較好的反應(yīng)效度。本套試卷沒(méi)有涉及到口語(yǔ)測(cè)試，實(shí)效效度較差。但本次考試為公共英語(yǔ)考試，有著無(wú)可否認(rèn)的反撥效應(yīng)（李筱菊，2001）。

4.對(duì)不適宜試題的分析

鑒于篇幅，筆者從8道不適宜試題中選出兩道有代表性的題來(lái)做具體分析。

20.（A) History of Western dress.

（B) Functions of Western fashion.

（C) Western fashion and its future trend.

（D) Types of Western fashion.

表3：

本題是聽(tīng)力理解題，考的是對(duì)短文聽(tīng)力篇章的理解。本題難度系數(shù)P=1.00，屬于非常容易題，無(wú)人答錯(cuò)。本題要求學(xué)生選出最符合短文主題的一項(xiàng)。A， B， D選項(xiàng)同正確選項(xiàng)C的主題相差甚大，因此都可以排除，沒(méi)有起到干擾項(xiàng)的作用。建議將C選項(xiàng)后半部分的its future trend加在其他三個(gè)選項(xiàng)中，讓各選項(xiàng)結(jié)構(gòu)一致，從而起到干擾項(xiàng)的作用。

40. It can be inferred from the passage that.

（A）the best way of avoiding sharks is to put on heavy clothes

（B）the Great White sharks are the most dangerous

（C）taking sea fish as their rich diet， sharks no longer want to kill people

（D）most of the shark’s brain is used for looking for food in water

表4：

本題為閱讀理解題，難度系數(shù)P值為0.57，屬中等難度題。本題考的是邏輯推理能力。從表中可以看出，選A選項(xiàng)和C選項(xiàng)的人數(shù)極少，分別只有2人和1人，說(shuō)明A和C兩項(xiàng)基本上沒(méi)有起到干擾項(xiàng)的作用。從試題上來(lái)看，A選項(xiàng)和C選項(xiàng)明顯跟正常的邏輯相悖，就算沒(méi)有看閱讀文章，也可以排除掉。筆者建議，對(duì)于閱讀理解題，最好不要出現(xiàn)用正常邏輯思維就可以排除掉的無(wú)用的選項(xiàng)。

三、對(duì)未來(lái)研究的建議

1.該項(xiàng)目分析的不足之處

（1）被用于本次分析的試卷份數(shù)較少，且都來(lái)自同一個(gè)學(xué)校和年級(jí)，因此具有一定的局限性。（2）本次分析僅對(duì)多項(xiàng)選擇題做了項(xiàng)目分析，因此，不一定能反應(yīng)出整套試卷的情況。

2.未來(lái)研究的建議

建議在此類項(xiàng)目分析的基礎(chǔ)上，運(yùn)用更先進(jìn)更完善的分析手段，如利用Rasch模型對(duì)主觀題等進(jìn)行信度和效度的相關(guān)分析，進(jìn)一步完善整個(gè)語(yǔ)言測(cè)試的制度。

四、小結(jié)

通過(guò)分析表明，本套期末試卷呈正態(tài)分布，分?jǐn)?shù)分布正常，但整體難度較小，信度、效度和區(qū)分度不高。導(dǎo)致的原因是多方面的，主要因素為考試出題時(shí)，沒(méi)有對(duì)其進(jìn)行有效的信度和效度測(cè)試，出題過(guò)程過(guò)于簡(jiǎn)單化，并不是通過(guò)幾套模擬試題的機(jī)械組合就能達(dá)到測(cè)試的最終目的。

參考文獻(xiàn)：

[1]李筱菊.語(yǔ)言測(cè)試科學(xué)與藝術(shù).湖南教育出版社，2001.

[2]教育部高等教育司.大學(xué)英語(yǔ)課程教學(xué)要求（試行）.外語(yǔ)教學(xué)與研究出版社，2004.

（作者單位：華南師范大學(xué)南海校區(qū)）

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。