鄒 申

（上海外國語大學(xué)，上海，200083）

1.引言

當前，“公平”已成為人們評價教育的重要標桿。比如，義務(wù)教育階段適齡學(xué)童能否都享受到優(yōu)質(zhì)教育資源；同等能力的高考考生在錄取時能否不受地域影響。換言之，社會給予每個人的機遇（求學(xué)、求職等）是否均等。在這個大背景下，考試作為選拔人才和檢查（教與學(xué)）質(zhì)量的一種手段，也應(yīng)該接受“公平”考量，來檢驗其是否具備公平性。然而，一個考試是否公平，除了外部因素，在一定程度上與相關(guān)人員對考試公平性的認識和實踐有關(guān)。也就是說，考試公平性有其外部和內(nèi)部因素組成。本文將通過問卷方式，調(diào)查英語教師對考試公平性的認識和做法，并在此基礎(chǔ)上提出相關(guān)建議。

2.文獻綜述

2.1 考試公平性定義

Xi（2010：149-53）指出學(xué)界對考試公平性有三種解釋維度：公平性是一獨立于效度之外的測試特質(zhì)；公平性是一種涵蓋并超越效度的測試特質(zhì)；公平性與效度直接關(guān)聯(lián)。

美國教育研究學(xué)會等機構(gòu)編制的《教育與心理測量標準》（以下簡稱“標準”）（1999）從第三個維度闡述和規(guī)范測試中的公平性。該“標準”共分三個部分，其中一個部分涉及考試公平性。公平性在教育和心理測量中舉足輕重的地位由此可見一斑。

“標準”對公平性作了如下詮釋。第一，公平性即為無偏頗（lack of bias）。偏頗可產(chǎn)生于考試本身的缺陷，或者由于考試的使用導(dǎo)致不同考生群體的考試結(jié)果具有不同意義。比如，考試內(nèi)容包括測試技能或能力范疇和測試材料的體裁或題材。如果所選擇的內(nèi)容樣本缺乏代表性或覆蓋面，其結(jié)果就可能會影響部分考生的成績。鑒于此，考試有可能產(chǎn)生偏頗。另外，考試偏頗也有可能來自考試的答題形式。比如，考試采用某種答題形式，但該形式對部分學(xué)生來說是陌生的。那么，選用該形式會影響這部分考生的成績。因此，偏頗會使考試成績出現(xiàn)偏差，無法真實反映所測試的技能或能力（即測試構(gòu)念）。也就是說，偏頗屬于與測試構(gòu)念無關(guān)的因素，它的存在會降低考試構(gòu)念效度。因此，要提升考試公平性，我們就需要關(guān)注并盡可能地消除影響考試構(gòu)念效度的偏頗。

第二，公平性體現(xiàn)在考試過程的公平上。具體而言，就是在施考過程給予所有考生公正待遇。比如，考生都應(yīng)該獲得均等機會，來展示考試所要測試的技能或能力。又如，要給考生提供恰當?shù)目荚嚄l件，以便他們發(fā)揮理想。另外，在考前準備上，考生都應(yīng)有機會接觸考試復(fù)習材料。與第一點相比，第二點所關(guān)注的是考試外部因素（考試條件和考前準備）。但是，它們對保證考試公平性有著同等重要作用。

第三，公平性也體現(xiàn)在基于考試結(jié)果的決策之上。一個具有公平性的考試（標準參照）應(yīng)該保證不同考生群體之間的通過率具有可比性。如果是選拔性考試（常模參照），那么同類表現(xiàn)的考生應(yīng)該享有均等的選拔機遇。由此可見，公平性不僅體現(xiàn)在考試本身質(zhì)量上，也應(yīng)體現(xiàn)在基于考試分數(shù)的決策上。

第四，公平性指均等的學(xué)習機會。這條標準主要針對標準參照性考試如學(xué)業(yè)考試。在多數(shù)情況下，學(xué)業(yè)考試旨在檢查考生經(jīng)過學(xué)習后知識或能力掌握程度。如果有些學(xué)生未有機會學(xué)習相關(guān)內(nèi)容，但考試又包括了這些內(nèi)容，那么學(xué)生很有可能得低分。特別是當考試成績要用來決定升留級或是否頒發(fā)證書之時，學(xué)習機會均等就顯得尤為重要。

另外，Spaan（2001：35）認為公平性的提升具有社會性，即需要考試有關(guān)人員參與，比如考試開發(fā)人員、教師、考試使用人員、考生等。只有當他們之間形成一種合作型良性循環(huán)和互動，考試公平性才能得以提升。Bachman（2001：40）曾在一篇文章中呼吁：對語言測試工作者而言，考試公平性不僅需要體現(xiàn)在語言測試的設(shè)計和實施之中，而且（或許更為重要的）需要培養(yǎng)和培訓(xùn)未來的語言測試工作者。

由以上論述我們可以看出，考試公平性涉及諸多方面：考試效度、考試實施過程、考前準備、考試結(jié)果使用及考試內(nèi)容的學(xué)習機會。這里既有考試本身質(zhì)量，也有考試外部條件；既有考試用途，也有考試成績；既涉及考前、也涉及過程和考后階段。由此可見，考試公平性與效度密切相關(guān)，且貫穿整個考試過程，是任何類別考試賴以存在或使用的基礎(chǔ)。

2.2 考試公平性與考試開發(fā)

公正性牽涉考試的方方面面。那么，在考試設(shè)計和開發(fā)過程中我們?nèi)绾蝸硖岣吆捅ＷC考試公正性呢？Kunnan（2001：1-10）在總結(jié)Code of Fair Testinh Practices in Education（Joint Committee on Testing Practices 1988）的基礎(chǔ)上，提出考試公平性包括三個維度：validity（效度）、access（可行性）和justice（公正）。效度關(guān)注對不同考生群體分數(shù)解釋的公平性?？尚行詡?cè)重考試是否能從以下方面有利于考生：考試費用、考點設(shè)置、所考內(nèi)容的學(xué)習以及對考試形式和設(shè)備的熟悉程度等。公正指社會公平（societal equity）。這個維度已超越考試本身，它關(guān)注考試結(jié)果的使用能否維護社會公正。根據(jù)Kunnan的觀點，這三個維度貫穿考試開發(fā)的各個階段，即規(guī)劃階段（thinking）、命題階段（writing）、預(yù)測階段（piloting）、分析階段（analyzing）和持續(xù)研究階段（maintenance and research）。

在Kunnan的論述中，每個階段有其側(cè)重點，但公平性的三個維度貫穿始終。以效度為例。效度作為考試公平性的重要指標，在不同階段顯現(xiàn)不同涵義。在規(guī)劃階段，效度主要關(guān)注測試構(gòu)念和范疇的科學(xué)界定以及測試形式的確立。與此同時，該階段的效度還包括對評分和報分的考慮。在命題階段，效度則側(cè)重測試任務(wù)設(shè)計、話題選擇等。預(yù)測階段的效度則體現(xiàn)在標準和建模樣本的確定上。在分析階段，人們通過多層面的數(shù)據(jù)統(tǒng)計分析來建立效度。持續(xù)研究階段的效度則涵蓋上述階段的所有內(nèi)容。另外值得一提的是，公正作為公平性的指標是評判每個階段工作的最終標準。也就是說，我們在考試開發(fā)過程中的所作所為都應(yīng)該有助于社會公平。

總而言之，考試公平性是檢驗考試的重要標準。語言測試工作者和語言教師在實際操作過程中要把促進考試公平性放在首位，并落實到考試的每個步驟或階段。

2.3 考試公平性相關(guān)研究

“標準”和之后出現(xiàn)的考試公平性理論框架（Kunnan 2001，2005）積極地推動了對考試公平性的研究。迄今為止，相關(guān)研究大致聚焦以下幾個方面：（1）檢驗不同類別考試的效度，以驗證考試在測試構(gòu)念、測試內(nèi)容等方面的公平性（Lowenberg 2001；Douglas&Myers 2001；Elder 2001；Stansfieldet al.2001）；（2）口語測試中考官行為、考生（考官）性別、評分之間的相互作用或?qū)忌憩F(xiàn)的影響（Meiron&Schick 2001；O'Loughlin 2002；Brown 2003）；（3）寫作評分法研究（Sakyi 2001）；（4）題目偏頗性研究（Lee 2001；Eerne&Rupp 2007）；（5）選擇題特質(zhì)研究（Brown 1999；Khodadady&Herriman 2001）；（6）公平性檢驗框架（Xi 2010）。

從上述簡述中我們可以看出，研究內(nèi)容涉及考試的多個層面，且研究對象多為考試過程中的參與者（考官、考生）。也就是說，公平性研究基本集中在分析階段和持續(xù)研究階段（即考后階段），而針對規(guī)劃、命題等考前階段的公平性研究則較少。然而，根據(jù)Kunnan（2001）的觀點，規(guī)劃、命題階段也是考試開發(fā)的必要環(huán)節(jié)，對于實現(xiàn)和保證公平性具有同等重要的意義。同時，在這個過程中有一個群體不容忽視，值得我們?nèi)パ芯浚耗蔷褪且痪€教師。因為，除了少數(shù)大規(guī)模標準化考試外，現(xiàn)實中的大部分考試都是由教師參與設(shè)計、命題和實施。他們對公平性的理解對于促進考試公平性具有舉足輕重的作用。因此，本研究擬通過問卷調(diào)查形式，了解英語教師對考試公平性的看法以及在教學(xué)實踐中的具體做法。

3.研究設(shè)計

3.1 研究問題

如前所述，考試公平性已成為語言測試研究領(lǐng)域的一個重要課題，眾多研究已從多種角度探討考試如何體現(xiàn)其公平性。本研究擬從另一個角度（即教師角度）調(diào)查和分析語言測試相關(guān)人員對公平性的認識以及對語言測試實踐的影響。在此基礎(chǔ)上，本文將提出如何提升和保障考試公平性的建議。鑒于此，本文主要研究以下兩個問題：

（1）英語教師如何理解公平性？

（2）英語教師如何在實際過程中體現(xiàn)公平性？

3.2 研究工具

本研究采用問卷為研究工具①。問卷由筆者本人設(shè)計，設(shè)計理論基礎(chǔ)為“標準”以及Kunnan（2001）對公平性的闡述和論述。問卷共有35題：第1～4題為個人信息題，包括性別、學(xué)歷、職稱和教齡；第5～35題為正式調(diào)查題。該部分調(diào)查兩大主題：教師對公平性的認識和理解（第5～18題）和教師在實際操作過程中的做法（第19～35題）。為了能最大限度獲取信息量，問卷回答均采用五級量表形式。問卷在正式使用前曾在小范圍內(nèi)征求相關(guān)專家意見并作修改。

3.3 研究對象

問卷調(diào)查于2013年5月中旬進行，調(diào)查對象為當時參加高等學(xué)校英語專業(yè)4級考試閱卷的英語教師。調(diào)查開始之前筆者通過閱卷組長和閱卷網(wǎng)絡(luò)中心，告知各位教師本項調(diào)查的目的及意義。今年共有213名教師參加閱卷，他們來自全國約160所院校。

3.4 數(shù)據(jù)收集

共有210名教師在網(wǎng)上回答問卷題目，最后回收有效問卷為197份，有效率為93.8%。隨后數(shù)據(jù)輸入SPSS 17.0（SPSS Inc.2008）進行處理。表1為第1～4題信息匯總：

表1 教師信息匯總

筆者對其余的31題進行信度檢驗，Cronbach's Alpha系數(shù)為.934，數(shù)據(jù)較為理想，可以作進一步分析。筆者隨后計算了每道題的平均值、中位數(shù)和標準差，并運用非參數(shù)獨立樣本方法檢驗不同教齡組之間是否存在差異。此外，KMO檢驗表明變量間的偏相關(guān)非常理想，已達到.90，Bartlett球形檢驗結(jié)果也顯示變量間的相關(guān)顯著（p＜.01），說明數(shù)據(jù)適合作因子分析（表2）。

表2 KMO&Bartlett球形檢驗

本文采用主成分提取法，共提取了6個特征值大于1的因子，可解釋方差總量的63.86%。然而，碎石圖顯示比較明顯的因子只有兩個（圖1）。

圖1 碎石圖

鑒于此，本文采用Alpha因子提取法和斜交旋轉(zhuǎn)以了解這兩個因子的相關(guān)情況。由此產(chǎn)生的因子結(jié)構(gòu)矩陣較為清晰地顯示了變量（31道題目）和因子的關(guān)系（表3）。第5～18題屬于第二因子，而第19～35題（除第16題外）屬于第一因子。對照問卷題目內(nèi)容后，筆者發(fā)現(xiàn)第一因子與語言測試實踐的公平性有關(guān)，第二因子與對語言測試公平性的認識相關(guān)。本文第4部分便按此分類進行分析和討論。

表3 因子結(jié)構(gòu)矩陣

4.分析與討論

4.1 教師對考試公平性的認識

表4顯示有關(guān)公平性觀念題目的平均值、標準差以及選第4、5選項（基本同意或完全同意）的百分比。教師按照教齡分成四組后用Kruskal Wallis檢驗，未發(fā)現(xiàn)組間差異在任何題目上達到顯著性水平（p＜.05）。

表4 5-18題平均值、標準差和贊同度百分比

本部分有6道題目的標準差小于1，這從一定程度上表明教師回答時的觀點相對集中。對于第5題（考試應(yīng)該做到對每個考生都公平），教師不僅觀點較為集中，而且贊同度達到92.4%。這說明教師在考試應(yīng)不應(yīng)該公平這點上看法一致且持肯定態(tài)度。相比之下，第6題的贊同率略低，因為相當一部分教師（約20%）持不確定態(tài)度。這表明在一定程度上部分教師對考試能不能做到對每個考生都公平心存疑慮。第12題調(diào)查教師對答題要求的公平性看法，大部分教師持肯定態(tài)度，但還是有約12%的教師不確定，其余持否定態(tài)度。然而，至少數(shù)據(jù)表明，在答題要求上還是能夠做到公平性。第15題調(diào)查把保證考試公平性作為教師職責的認同程度。我們可以看到，教師的認同程度非常高，達到89.9%。這說明大部分教師自覺地把保證公平性作為己任。第17、18題涉及公平性在檢驗教學(xué)質(zhì)量和考試效度中的重要性。從數(shù)據(jù)中我們可以看出，教師的看法集中且具有較高的認可程度。這也從一個角度表明，教師在公平性的重要作用上有一定共識。

本部分其余8道題目的標準差均大于1，故也集中一起分析。其中有3道題（8、9、16）的標準差均在1.2左右，且贊同度未超過51%。第8和第9題均涉及及格線設(shè)定與考試公平性的問題。數(shù)據(jù)顯示，教師在這兩道題上的意見分散，且持不確定的比例較高，特別是第9題達到24.9%，為本部分14題中的最高比例。這似乎表明，教師對該問題的認識尚未明確。第16題的贊同率最低，可能是導(dǎo)致其不屬于第二因子的原因。但是它從另外一個角度佐證了教師對第15題的反饋：教師已意識到保證考試公平性是自己的職責。第7題調(diào)查公平性與分數(shù)用途關(guān)系。數(shù)據(jù)顯示，教師的看法比較分散，贊同比例僅為62.5%，17.3%的教師持不確定態(tài)度，說明部分教師不清楚公平性與分數(shù)用途之間的關(guān)系。第10、11、13、14題的標準差非常接近，但第10、11題和13、14題的平均值與贊同率不盡相同。第10、11題調(diào)查施考程序和考試內(nèi)容的公平性，平均值不到4，教師贊同率也未達到70%，且兩題的不確定比例分別為19.3%和22.8%。這說明部分教師對施考程序和考試內(nèi)容能否做到公平持懷疑或否定態(tài)度。相比之下，教師對第13、14題的肯定程度要高得多，平均值和贊同率均反映這個事實，說明教師認為公平性涵蓋考前均等學(xué)習機會和對考試熟悉程度。

綜上所述，參與問卷調(diào)查的大部分教師顯示較強的公平意識，視保證公平性為己任，并且能意識到公平性對保障教學(xué)質(zhì)量和考試效度的重要意義。下面筆者參照“標準”，對數(shù)據(jù)作進一步討論。“標準”認為，公平性指考試內(nèi)容、答題形式/要求等無偏頗，即避兔考生因上述原因而影響其成績。在答題要求上教師的認識與“標準”比較一致，而在考試內(nèi)容無偏頗上教師的認可度與“標準”要求有一定距離。這也從某種程度上反映兩個問題：（1）教師或許缺乏這方面的培訓(xùn)，在教學(xué)實踐過程不知從何入手；（2）在考試內(nèi)容上做到無偏頗只是相對而言，所謂的無偏頗要根據(jù)具體考試目的和考生特征等因素來確定?！皹藴省庇种赋龉叫约礊檫^程公平，包括施考程序和對考試的熟悉程度等。教師對施考過程公平性的認識與“標準”有差距，而對后者的看法與“標準”較為一致。這說明施考程序的公平性在實際過程中可能會受到一些阻礙，但程序公平是考試公平性的一個重要基礎(chǔ)，不可忽略或輕視?！皹藴省敝袑叫缘牡谌齻€定義涉及基于分數(shù)的決策公平性（即分數(shù)用途）。在這點上僅三分之二的教師（第7題）與“標準”持相同觀點。如果把對及格線的界定也作為一種決策的話（第8、9題），那么與“標準”相近觀點的比例剛達到50%。也就是說，在決策中如何體現(xiàn)公平性，教師的認識還有待于進一步提高。教師的認識模糊性可能與缺乏專業(yè)培訓(xùn)有關(guān)，這足以證明培訓(xùn)的重要性。正如Bachman之前（2001：40）所說，公平性的一個重要體現(xiàn)就是培養(yǎng)和培訓(xùn)相關(guān)人員。“標準”的第四條定義提及均等的學(xué)習機會。在這點上大部分教師的認識程度與“標準”相吻合（第13題），表明這已成為一線教師的共識。

4.2 教師采取的考試公平性保障措施

表5顯示有關(guān)公平性措施題目的平均值、標準差以及選第4、5選項（基本同意或完全同意）的百分比。教師按照教齡分成四組后用Kruskal Wallis檢驗，未發(fā)現(xiàn)組間差異在任何題目上達到顯著性水平（p＜.05）。

表5 19-35題平均值、標準差和符合度百分比

本部分17題中標準差小于1的共13題，這反映在多數(shù)題目上教師的做法較為一致。第19-24題調(diào)查教師在規(guī)劃階段考慮的因素（考試目的、分數(shù)用途、測試技能、考試效度、分數(shù)報道以及預(yù)期效應(yīng)）。除第20題外，題目的平均值均高于4，標準差低于.90，符合程度達到80%以上。這表明大多數(shù)教師會在此階段兼顧上述因素。第20題數(shù)據(jù)顯示，只有略高于三分之一的教師表示會在規(guī)劃階段考慮分數(shù)用途，而且選擇不確定的比例為13.2%，為該類6題中最高。這顯示部分教師在該階段未把考試分數(shù)用途作為規(guī)劃要素。第25～28題調(diào)查命題階段的考慮因素：話題、難度、材料及考生特征。縱觀數(shù)據(jù)，符合程度均達到85%以上，第26題甚至高達95%。這說明上述四個因素均在大多數(shù)教師考慮范圍之內(nèi)，其中語言難度最為關(guān)注。相比之下，避兔使用帶有歧視性內(nèi)容材料的教師比例略低，另外一些教師表示未能做到避兔該類內(nèi)容，故標準差大于1。第29～30題調(diào)查翻譯/寫作評分標準和評分方式。大多數(shù)教師表示會制定翻譯/寫作評分標準；但評閱時采用雙評模式的比例只有64.5%，另有19.3%的教師選擇不確定。同時，第30題也是本部分標準差值最大的題目，說明雙評并不是一個普遍采用的評閱模式。第31～33題有關(guān)考試結(jié)果分析和反饋。數(shù)據(jù)顯示，大多數(shù)教師會作簡單分析，然而作進一步的分析（比如信度）或向?qū)W生反饋分析的比例略低。第32、33題的不確定比例分別為20.8%和12.2%。這意味著教師在深度分析和分析反饋方面還需要改進。第34-35題涉及考試對教學(xué)的影響和促進。數(shù)據(jù)明確顯示，絕大部分教師會關(guān)注考試效應(yīng)并根據(jù)考試結(jié)果調(diào)整教學(xué)，這也與教師在規(guī)劃階段關(guān)注點相吻合。

考試的各個階段是保障公平性的重要環(huán)節(jié)，只有當我們關(guān)注每個具體環(huán)節(jié)并確保其效度，才有可能真正實現(xiàn)公平性（Kunnan 2001）。以下部分從規(guī)劃、命題和分析階段分析教師行為。在規(guī)劃階段教師的表現(xiàn)總體較為理想：他們能夠考慮考試預(yù)期目的和效應(yīng)、采用的分數(shù)報道形式以及測試技能的界定。這些效度因素都是建立考試公平性的基本條件。然而，對于另一個基本條件（分數(shù)用途），部分教師顯然未作考慮。這對分數(shù)解釋或在此基礎(chǔ)上的決策可能會帶來問題，或影響考試的公平性。教師在命題階段能夠考慮到相關(guān)因素，且關(guān)注面較廣。其中最關(guān)注的是語言難度，但他們對材料選擇的關(guān)注度略低。這意味著關(guān)注程度不太均衡，或許部分教師未意識到材料選擇對實現(xiàn)考試公平性的重要作用。在本階段教師對主觀題（翻譯/寫作）效度給予足夠重視，大部分教師提到命題時制定評分標準。這也是提高公平性的一個先決條件。但是，實際評分過程中采用雙評模式的教師并非占絕大多數(shù)，這顯然會影響信度，乃至效度及公平性。在分析階段大部分教師表示會分析題目/試卷，但分析缺乏一定深度，且一部分教師未向?qū)W生反饋分析結(jié)果。盡管如此，教師很重視考試對教學(xué)的影響，并能適時作教學(xué)調(diào)整。由此可見，分析階段的教師行為具有雙重性：一方面有利于效度和公平性的提升，另一方面可能對效度和公平性產(chǎn)生負面影響。

5.結(jié)語

公平性是考試的重要特征，實現(xiàn)和維護公平性需要相關(guān)人員的共同努力。其中，教師是一個關(guān)鍵群體，這是本文選擇教師作為研究對象的目的所在。研究結(jié)果顯示，教師對公平性的認識與“標準”既有相近之處也有偏離之點；在操作層面上也存在非均衡性：他們能考慮一些與公平性關(guān)聯(lián)的環(huán)節(jié)，但同時又忽略其他同等重要的環(huán)節(jié)。這從一個方面表明培訓(xùn)的重要性。正如Spaan（2001：35）和Bachman（2001：40）所指出的，公平性的提升需要有關(guān)人員的參與，需要加強對他們（包括教師）的培養(yǎng)和培訓(xùn)。為此，筆者最后建議：重視考試公平性就要重視對教師的培訓(xùn)。只有當教師對公平性有了更全面的認識，才可能在實踐中采取更有效措施實現(xiàn)公平性。

附注

①如需查詢問卷，請與作者聯(lián)系。