【摘要】該研究運用經(jīng)典的安哥夫標準設(shè)定法為新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)的單元測試設(shè)定分界分數(shù)， 從北京、上海、深圳、重慶四地挑選了40位專家參與研究。 在標準設(shè)定過程中采取一系列措施把誤差控制到最低。通過對專家們得出數(shù)據(jù)的計算和分析，該研究確定了單元測試的分界標準。

【關(guān)鍵詞】新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng); 單元測試; 分界分數(shù); 安哥夫標準設(shè)定法

【中圖分類號】G420 【文獻標識碼】B 【論文編號】1009—8097(2010)09—0076—04

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和迅速普及，互聯(lián)網(wǎng)介入了大學(xué)英語教學(xué)，這使得大學(xué)英語教學(xué)模式發(fā)生了巨大變化。大學(xué)英語教學(xué)從傳統(tǒng)的以教師講授為主的單一教學(xué)模式逐漸演變?yōu)椴捎没谟嬎銠C和課堂的英語教學(xué)相結(jié)合的模式。網(wǎng)絡(luò)英語教學(xué)作為一種新興的教學(xué)模式正在快速發(fā)展。這一教學(xué)模式改革順應(yīng)了社會發(fā)展的趨勢也符合學(xué)生對英語學(xué)習的要求。

與此同時，《大學(xué)英語課程教學(xué)要求》提出:“大學(xué)英語的教學(xué)目標是培養(yǎng)學(xué)生的英語綜合應(yīng)用能力，特別是聽說能力，使他們在今后學(xué)習、工作和社會交往中能用英語有效地進行交際，同時增強其自主學(xué)習能力，提高綜合文化素養(yǎng)，以適應(yīng)我國社會發(fā)展和國際交流的需要”。[1]要實現(xiàn)這一目標，培養(yǎng)學(xué)生自主學(xué)習能力是關(guān)鍵所在。大學(xué)英語網(wǎng)絡(luò)教學(xué)模式要求體現(xiàn)學(xué)生在教學(xué)過程中的主體地位:學(xué)生選擇適合自己的學(xué)習材料和方法學(xué)習，通過完成網(wǎng)絡(luò)單元測試，學(xué)生和老師得到即時的學(xué)習情況反饋，教師針對學(xué)生不同問題進行學(xué)習策略的指導(dǎo)，從而逐步提高學(xué)生自主學(xué)習的能力。

在上述基于計算機的英語學(xué)習過程中，網(wǎng)絡(luò)單元測試是一個重要的環(huán)節(jié)。通過單元測試，老師可以了解學(xué)生的知識掌握情況，如果單元測試合格，學(xué)生自動進入下一單元的學(xué)習;如果不合格，學(xué)生則返回學(xué)習課程，重新開始本單元學(xué)習。如何設(shè)定單元測試及格分數(shù)是這一重要環(huán)節(jié)中的重點。它的設(shè)定直接影響學(xué)生的學(xué)習進度、自信心和學(xué)習興趣。

我國多年來一直把百分制的60分設(shè)為考試及格分數(shù)，這樣的設(shè)置往往缺乏科學(xué)性，因為忽略了試題的難度、考生之間的差異、試題內(nèi)容的差異等重要因素。在心理與教育測量領(lǐng)域，采用不同的分界標準會得到不同的及格分數(shù)。即使是同一次測試，也會出現(xiàn)幾個不同的及格分數(shù)。對一些同學(xué)來說，用一個及格分數(shù)可以通過測試，而用另一個及格分數(shù)卻不能通過。分界標準究竟如何確定和在哪里確定，這一問題一直爭論不斷。本文將運用眾多標準設(shè)定法中最經(jīng)典，最常用的安哥夫標準設(shè)定法設(shè)定新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)中單元測試的及格分數(shù)，希望能運用該分數(shù)去準確區(qū)分掌握單元知識和沒掌握單元知識的同學(xué)。

一 為何選用安哥夫標準設(shè)定法

在客觀標準化測驗中常用的制定及格線的方法很多，如:對照組標準設(shè)定法，邊緣組標準設(shè)定法，聶習思基標準設(shè)定法及安哥夫標準設(shè)定法等等。這些標準設(shè)定法各有利弊。其中安哥夫標準設(shè)定法由于其可靠性高，易于操作，便于計算切分點，適于成績分析的特點而被廣泛運用。[2]

安哥夫標準設(shè)定法是現(xiàn)今最流行，應(yīng)用最廣泛的標準設(shè)定法。[3]正如Berk所指出，該標準設(shè)定法與其他方法比較有其獨特的優(yōu)勢:它能提供適當?shù)姆诸愋畔?，充分可靠的統(tǒng)計信息并能識別真正的標準。[4]這些都是完成本次研究最重要的部分。然而美國國家教育局的報告也指出其局限性:對測試每一題的判斷非常難，而判斷得出的結(jié)果與被挑選參與的專家直接相關(guān)。[6]在比較了諸多分界方法以及安哥夫標準設(shè)定法的利弊后，本文決定采用安哥夫標準設(shè)定法，并針對其局限性在專家的選擇和標準設(shè)置過程中采取一些彌補措施，力求把誤差控制到最低。

二 安哥夫標準設(shè)定法簡介

安哥夫標準設(shè)定法(1971)分為三個步驟。在前兩步，專家們分別獨立找出及格分數(shù)，并估計出可以達到某一個標準的最低水平的學(xué)生，我們稱之為邊緣組。在最后一步，專家們互相討論并調(diào)整他們的標準。該方法需要專家們對測試的每一個題目進行研究，然后估計邊緣組可以正確回答每一道題的概率。使用此種方法主要需參照測驗本身的信息，如試題內(nèi)容和難度等，所以我們稱之為以測驗為中心的方法。在使用安哥夫標準設(shè)定法時有兩個關(guān)鍵點:一為邊緣組，是指可以達到某一標準的最低水平的考生群體(既最低勝任能力的考生群體);二為可能正確回答每一道題的概率，是指100名最低勝任能力的考生中，有多少人能正確回答某題。

三 研究過程及結(jié)果

1 研究樣本

本次研究選用新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)第四冊第三，四單元后的測試(第四冊第二次單元測試)作為研究試題樣本。由于少數(shù)同學(xué)在網(wǎng)上完成第一，二單元測試時還不太熟悉測試過程，甚至因電腦操作失誤而丟分，本文為了讓統(tǒng)計數(shù)據(jù)更真實、準確的反映學(xué)生情況，選擇第二次測試作為研究樣本，給學(xué)生一個熟悉的過程。

完成兩個單元的學(xué)習內(nèi)容后，同學(xué)即可開始單元測試進行自我檢測。單元測試主要檢測各位同學(xué)的聽力能力是否達到該階段要求。單元測試聽力部分總分為70分，分為:短對話(10%)，填表(20%)，聽短文判斷正誤(10%)，聽短文選擇(10%)，短文填空(10%)及看視頻判斷正誤(10%)六種題型，共80小題。研究試題樣本與其余單元測試在題型、分值分布及題目數(shù)量上完全相同， 測試難度隨著學(xué)習知識的增多相應(yīng)加大，所以研究得出的分界分數(shù)可用于其余的單元測試，具有一定參考價值。本次研究主要為聽力部分設(shè)定分界標準。

2 專家的選擇與培訓(xùn)

專家的選擇與培訓(xùn)是安哥夫標準設(shè)定法非常重要的組成部分，因為專家組的判斷直接影響最后及格分數(shù)的高低。研究中，為了彌補安哥夫標準設(shè)定法的局限性并盡量將誤差值控制得最小，在選擇專家時考慮到了專家的代表性。挑選專家時以性別、年齡、職稱、工作地點等不同因素為參考，進行平衡選擇。最后從北京，上海，深圳，重慶四地分別選擇了10名經(jīng)驗豐富的大學(xué)英語教師(共40人)，其中男教師20名，女教師20名，專家組的年齡在30—55歲之間，分別包括講師、副教授和教授。他們不僅教學(xué)經(jīng)驗豐富，而且非常熟悉學(xué)生情況。

確定專家后，下一步需向他們介紹單元測試的性質(zhì)、目的、內(nèi)容和形式。由于大部分專家是首次參與該類評估，他們對安哥夫標準設(shè)定法的步驟并不熟悉，這些都需在培訓(xùn)環(huán)節(jié)中給專家們解釋清楚。

培訓(xùn)中需要向?qū)＜覀冴U明大學(xué)英語課程教學(xué)對學(xué)生聽力的三個層次要求，讓專家們以此作為標尺對題目難度進行判斷。它們分別為:

一般要求:能聽懂英語授課，能聽懂日常英語談話和一般性題材的講座，能聽懂語速較慢(每分鐘130-150詞)的英語廣播和電視節(jié)目，能掌握其中心大意，抓住要點。能運用基本的聽力技巧。

較高要求:能聽懂英語談話和講座，能基本聽懂題材熟悉、篇幅較長的英語廣播和電視節(jié)目，語速為每分鐘150-180詞，能掌握其中心大意，抓住要點和相關(guān)細節(jié)。能基本聽懂用英語講授的專業(yè)課程。

更高要求:能基本聽懂英語國家的廣播電視節(jié)目，掌握其中心大意，抓住要點。能聽懂英語國家人士正常語速的談話。能聽懂用英語講授的專業(yè)課程和英語講座。[1]

以這三個層次的要求作為標準，專家們對單元測試的所有題目進行試聽、分類、比較，最后以答對題目學(xué)生的百分比來判斷每一題的難度。

培訓(xùn)的最后環(huán)節(jié)是讓專家對單元測試樣題進行試評。首先從樣題中分別選出題型、難度各異的10題。然后讓專家根據(jù)自己對邊緣組同學(xué)聽力能力的理解來判斷他們答對該10道題的概率。概率越大，證明答對該題的同學(xué)越多，既該題難度就越小;反之則難度越大。為了降低專家判斷難度，縮小判斷誤差，本次研究根據(jù)題目難度事先設(shè)定9種概率:高難度，5%、15%、25%;中等難度，40%、50%、60%;容易，75%、 85%、95%。專家仔細研究題目后，從9種概率中進行獨立選擇判斷。最后專家們對比各自的數(shù)據(jù)，對出現(xiàn)的差異進行討論，并試圖找出出現(xiàn)差異的原因。

3 界定最低勝任能力的考生群體

界定最低勝任能力的考生群體(即邊緣組考生)，是使用安哥夫標準設(shè)定法的關(guān)鍵，并直接影響最后數(shù)據(jù)的準確性。邊緣組學(xué)生是聽力能力剛好能通過新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)單元測試的同學(xué)。由于各班同學(xué)英語程度不同，邊緣組可能是一個班里的差等生，也可能是一個班里的中等生，需根據(jù)具體情況而定。

由于專家教學(xué)經(jīng)驗豐富且熟悉學(xué)生情況，他們首先根據(jù)大學(xué)英語課程教學(xué)對聽力的三個層次要求、考試的性質(zhì)和目的以及自己對學(xué)科認識討論出最低勝任能力考生所應(yīng)具備的知識和技能，從而界定出最低勝任能力的考生群體。在此過程中，專家還需進行討論，并指出最低勝任能力的考生在該測試中的一些具體表現(xiàn)和特征。這樣能使隨后的概率判斷更容易、清晰、準確，從而控制誤差，保證最后數(shù)據(jù)的準確性。

4 正式評判

經(jīng)過培訓(xùn)、試評、討論和對邊緣組考生的界定，專家對該研究有更深的了解，同時對題目難度的判斷也把握得更準確，更一致。有了這樣的前提，專家可以開始正式評判了。

專家們首先獨立完成樣本試題的6個題型(共80小題)， 并根據(jù)事先設(shè)定的9種概率:高難度，5%、15%、25%;中等難度，40%、50%、60%;容易，75%、85%、95%對題目難度進行選擇判斷，全部完成后專家根據(jù)聽力正確答案調(diào)整自己的判斷。整個過程需要一小時左右，專家一氣呵成對所有題目的判斷，中間不設(shè)休息時間，這樣有利于判斷標準的統(tǒng)一，同時專家也更能體會考生做題的感受，有助于提高判斷的準確性。

為了讓最終結(jié)果更為準確一致，在第一輪判斷結(jié)束后，本次研究最后采用了由Livingston 和Ziekey提出的改良安哥夫標準設(shè)定法。[5]專家公布各自的判斷結(jié)果，并就判定的結(jié)果進行討論，闡述判定理由。針對判定結(jié)果差異較大的題目，專家認真比較研究。討論結(jié)束后，專家們再各自進行第二輪題目判斷。通過兩次判斷，專家們得出的最終判定結(jié)果更為準確一致。

5 數(shù)據(jù)匯總，計算合格線

使用安哥夫標準設(shè)定法最大的優(yōu)勢就是數(shù)據(jù)容易匯總統(tǒng)計。在專家估計出邊緣組考生能夠正確回答樣本試題每小題的概率后，將專家對樣本試題中80小題估計的概率值求和， 既為專家估計的分界分數(shù)，再將每位專家的分界分數(shù)求平均既為樣本試題的分界分數(shù)。具體情況如下表:

如上表所示，來自北京、上海、深圳、重慶的40位專家判定的樣本試題分界分數(shù)各不相同。為了便于比較，本文按地區(qū)分類，分別算出了每地區(qū)10位專家判斷的平均分界分數(shù)，分別是:北京38.10、上海38.58、深圳38.02、重慶37.44。從專家們得出的具體結(jié)果來看，上海的測試分界分數(shù)最高，北京次之，深圳居于第三位，重慶最低。這些計算結(jié)果證明了各地學(xué)生英語水平各不相同的事實，因此我們在設(shè)定測試及格分數(shù)時也應(yīng)有所差異。上表不同的數(shù)據(jù)為我們今后在各地使用新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)設(shè)定具體的單元測試分界分數(shù)提供了依據(jù)。

數(shù)據(jù)匯總最后一步是把各地的平均分界分數(shù)相加并再次求出平均值，得出樣本試題的分界分數(shù):38.04。該分界分數(shù)為新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)單元測試的參考分界分數(shù)。

6 數(shù)據(jù)分析

根據(jù)離差公式:離差分數(shù) = - (其中 為樣本數(shù)據(jù)，即專家對考生回答樣本試題的判斷數(shù)據(jù); 為樣本均值，即專家判斷結(jié)果的均值)可以判斷，本次研究題目判斷的最大離差為.41，最小離差為.00。離差表明了樣本與均值之間的差距。本次研究離差偏大的情況僅存在于少數(shù)專家對少量題目的判斷中。由于采取了不同措施控制和減少誤差，并在研究最后一步采用了改良的安哥夫標準設(shè)定法，專家得出的最后數(shù)據(jù)較接近，存在的個體差異也較小，這證明了本次研究數(shù)據(jù)的準確性。

四 與實測數(shù)據(jù)比較

截止2009年4月23日，本次研究收集匯總了深圳大學(xué)二年級1974名同學(xué)完成研究樣本(新理念大學(xué)英語網(wǎng)絡(luò)教學(xué)系統(tǒng)第四冊三，四單元測試)的數(shù)據(jù)，并把實測數(shù)據(jù)與研究數(shù)據(jù)進行了對比，結(jié)果如下表:

通過對比，我們發(fā)現(xiàn)深圳大學(xué)實測結(jié)果比研究算出的分界分數(shù)低1.79分，與研究結(jié)果相差不大。從單項題型來看，深圳大學(xué)的實測分數(shù)在聽短文選擇和短文填空分別高出專家判斷的平均值;而在短對話、填表和判斷題上，深圳大學(xué)的實測結(jié)果分數(shù)落后于各地平均值。

五 結(jié)論

從總體上看，本次研究各位專家得出的分界分數(shù)數(shù)據(jù)接近，個體差異較小，最后數(shù)據(jù)與實測數(shù)據(jù)比較也相差不大。這些都證明了結(jié)論數(shù)據(jù)的準確性，同時也說明了本次研究專家判斷的及格分數(shù)是符合實際情況要求的。本次研究得出的數(shù)據(jù)和為樣本試題設(shè)定的分界分數(shù)為今后大學(xué)英語網(wǎng)絡(luò)教學(xué)單元測試設(shè)定分界分數(shù)提供了科學(xué)的依據(jù)。

綜上所述，為了能讓《大學(xué)英語課程教學(xué)要求》得到進一步的貫徹和實施，更加有效的完成大學(xué)英語的教學(xué)目標，我們在基于計算機的英語教學(xué)過程中，一定要認真研究測試這一重要環(huán)節(jié)。本文雖然運用安哥夫標準設(shè)定法設(shè)定了單元測試的分界標準，但是由于地區(qū)差異和各專家之間存在主觀差異，他們對邊緣組的理解不盡相同，所以專家評判得出的結(jié)果也有差異。[7]這些都是本次研究出現(xiàn)細微差異的主要原因。在今后的工作和研究中，我們要以《大學(xué)英語課程教學(xué)要求》為指導(dǎo)，結(jié)合學(xué)校的具體情況，準確、合理地設(shè)定單元測試分界分數(shù)，抓好教學(xué)評估這一環(huán)節(jié)，從而更加客觀、全面、科學(xué)地評定學(xué)生的學(xué)習成績，促進學(xué)生更好地學(xué)習。

參考文獻

[1] 教育部高等教育司.大學(xué)英語課堂教學(xué)要求[M].北京:外語教學(xué)與研究出版社，2007:1.

[2] 弓嫣嫣，孫寶志.用安哥夫方法制定及格線的研究[J].醫(yī)學(xué)教育，1995，(2):40-42.

[3] Angoff，W.H.Scales，Norms and Equivalent Scores，in: R.L.

Thorndike(Ed.)[J]Educational Measurement，1971，2:508-600.

[4] Berk，R.A Consumer’s Guide to Setting Standards on Criterion-referenced Tests[J].Review of Educational Research， 1986，56:137-172.

[5] Livingston，S.，Zieky，M.Passing Score:A manual for setting standards of performance on educational and occupational tests[M].Princeton，New Jersey:Educational Testing Service， 1982.

[6] Shepard， L.A.，Glaser，R.，Linn，R.L.Setting Performance Standards for Student Achievement [M].Stanford， CA:Stanford University， National Academy of Education，1993.

[7] ireci，S.G.，Robin，F(xiàn).，Pateils，T.Using Cluster Analysis to Facilitate Standard Setting[J].Applied Measurement in Education， 1999， 12: 301-325.