朱 燕 祁 穎 張 寧

（北京城市學(xué)院 北京 100083）

影響口語測(cè)試評(píng)分的因素分析*

朱 燕 祁 穎 張 寧

（北京城市學(xué)院 北京 100083）

本文旨在研究口語測(cè)試中影響評(píng)分的因素，包括語言因素與非語言因素影響兩個(gè)方面。本研究結(jié)果對(duì)口語測(cè)試的評(píng)分員如何更好地把控評(píng)分標(biāo)準(zhǔn)有一定的啟示。

語言因素 非語言因素 差異性

在語言測(cè)試領(lǐng)域，對(duì)口語評(píng)分的研究一直是口試研究的重點(diǎn)之一。然而口語測(cè)試的實(shí)施非常困難，它難就難在語言既是測(cè)試的目標(biāo)又是測(cè)試的工具［1］。因?yàn)橛⒄Z口語測(cè)試的評(píng)分是主觀的，因此評(píng)分差異是不可避免的。一些語言及非語言因素，例如評(píng)價(jià)標(biāo)準(zhǔn)和個(gè)人喜好，都可能會(huì)影響他們的評(píng)分結(jié)果。本文以一次大學(xué)英語應(yīng)用能力口語測(cè)試（TEP Oral）的數(shù)據(jù)為樣本，旨在對(duì)影響其評(píng)分的因素進(jìn)行分析研究。

一、研究背景

北京市屬12家高校聯(lián)合申請(qǐng)的教學(xué)改革項(xiàng)目“三位一體市屬高校大學(xué)英語教育改革模式研究”，目標(biāo)是構(gòu)建一套“測(cè)試－教學(xué)－資源庫(kù)”三位一體的、具有綜合性、體系化和前瞻性的大學(xué)英語教育改革模式。本項(xiàng)目已經(jīng)研發(fā)了一套具有高信度和效度的大學(xué)生英語口語測(cè)試模式——大學(xué)英語應(yīng)用能力口語測(cè)試（簡(jiǎn)稱TEP），并在北京市18所高校成功推廣該測(cè)試的《指南》已由國(guó)內(nèi)知名出版社出版。該模式作為一項(xiàng)教育測(cè)試，具有教學(xué)檢查性、教學(xué)指導(dǎo)性和教學(xué)形成性的功能，是大學(xué)英語課程體系建設(shè)的重要組成部分。

1.理論研究

語言測(cè)試研究中對(duì)評(píng)分員和評(píng)分方法的研究是一個(gè)重要的組成部分。目前，大量的口語測(cè)試研究都基于此展開，如：評(píng)分員在口試中對(duì)語言功能和話題的選擇［2］；評(píng)分員在口試中的提問及提問的方式［3］；評(píng)分員在口試中根據(jù)受試的水平調(diào)整自己語言的程度和方式［4］；以及評(píng)分員的性別對(duì)口試結(jié)果的影響［5］等。而國(guó)內(nèi)學(xué)者的研究主要集中在以下三個(gè)方面：評(píng)價(jià)的可靠性，任務(wù)的有效性，以及錄音口語能力測(cè)試。

2.研究問題

在口語測(cè)試中，評(píng)分員會(huì)表現(xiàn)出不同的傾向性并受到多種因素的影響，評(píng)分員中受評(píng)分方法和評(píng)分標(biāo)準(zhǔn)影響的同時(shí)還會(huì)受自身背景的影響，如：性別、年齡、教學(xué)經(jīng)驗(yàn)及評(píng)分經(jīng)驗(yàn)的影響。本研究旨在探討哪些因素會(huì)影響其評(píng)分。

諸多因素中，由評(píng)分員主觀評(píng)分引入的誤差是影響考生最后得分最為直接的因素?？谡Z測(cè)試評(píng)分，需要評(píng)分員在觀察考生表現(xiàn)的基礎(chǔ)上依據(jù)評(píng)分標(biāo)準(zhǔn)進(jìn)行主觀判斷［6］。因此，評(píng)分員在口語測(cè)試中不僅是考試操作實(shí)施環(huán)節(jié)中的一部分，更是決定分?jǐn)?shù)含義的重要環(huán)節(jié)，評(píng)分的準(zhǔn)確性和一致性是決定考試信度甚至是效度的最為重要的因素之一。在影響因素方面，筆者著重分析了語言因素和非語言因素。前者包括交際效果、內(nèi)容和組織、語法和詞匯、語音語調(diào)、流暢性和可理解性；后者則包括任務(wù)完成情況、對(duì)考生的第一印象、考生的自信程度、考生之間的溝通以及身體語言等。

二、研究方法

本次研究樣本為參與TEP口語測(cè)試的評(píng)分員。參與本次研究的評(píng)分員共18名，其中男性5名，女性13名。所有評(píng)分員均為高校的英語教師，在測(cè)試前進(jìn)行培訓(xùn)并全部合格。測(cè)試前對(duì)所有評(píng)分員隨機(jī)分配了主副考官職責(zé)，在測(cè)試過程中，主考官負(fù)責(zé)提問及與考生交流，最后根據(jù)考生表現(xiàn)給出一個(gè)整體分?jǐn)?shù)，而副考官則全程不參與交流，根據(jù)測(cè)試評(píng)分標(biāo)準(zhǔn)進(jìn)行分項(xiàng)打分。測(cè)試后所有評(píng)分員均完成了調(diào)查問卷的填寫并對(duì)部分評(píng)分員進(jìn)行了訪談。

三、研究結(jié)果

本次測(cè)試的考生是隨機(jī)從7個(gè)專業(yè)進(jìn)行選取，筆者對(duì)測(cè)試結(jié)果進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，專業(yè)差異對(duì)考生成績(jī)的影響不顯著。女性考生的成績(jī)均值略高于男性考生，差異不明顯。因此，筆者在測(cè)試結(jié)束以后，筆者對(duì)評(píng)分員進(jìn)行了問卷調(diào)查。問卷的第一部分對(duì)評(píng)分員的基本信息進(jìn)行了采集，包括性別、年齡、專業(yè)、教學(xué)經(jīng)驗(yàn)和口試評(píng)分經(jīng)驗(yàn)。問卷的第二部分則涵蓋了可能影響評(píng)分的語言因素和非語言因素。問卷結(jié)束以后，又對(duì)部分評(píng)分員進(jìn)行了訪談，以期發(fā)現(xiàn)問卷調(diào)查可能遺漏的問題。

1.評(píng)分員基本情況

在所有的18位評(píng)分員中，女性13名，男性5名，大部分評(píng)分員的年齡在30到40歲之間，另有一人低于30歲，一人高于50歲，兩人介于40到50歲。9名評(píng)分員的專業(yè)為語言學(xué)，5名為文學(xué)，還有4名為其他專業(yè)。大部分評(píng)分員有五年以上的教學(xué)經(jīng)驗(yàn)，所有評(píng)分員都有口語測(cè)試的評(píng)分經(jīng)驗(yàn)。

2.語言因素

在問卷調(diào)查過程中，筆者要求所有評(píng)分員根據(jù)以下六種因素對(duì)其評(píng)分的影響程度進(jìn)行排序：交際效果、內(nèi)容與組織、語法與詞匯、語音語調(diào)、流利程度、可理解性。

對(duì)九位采用整體評(píng)分法的主考官而言，影響因素排名前三的分別是：交際效果、可理解性和流利程度。這一結(jié)果表明主考官更加注重考生的整體表現(xiàn)。而采用分項(xiàng)評(píng)分法的副考官則認(rèn)為以下三項(xiàng)影響最大，依次為：可理解性、語法與詞匯、內(nèi)容與組織。這表明副考官更注重評(píng)分標(biāo)準(zhǔn)里所列舉的項(xiàng)目。從而這一結(jié)果也表明，評(píng)分方法的差異對(duì)評(píng)分也會(huì)產(chǎn)生一定程度的影響。所以，在設(shè)計(jì)評(píng)分標(biāo)準(zhǔn)的過程中，設(shè)計(jì)者必須準(zhǔn)確把握各評(píng)分項(xiàng)的權(quán)重，以期能得到更為全面和客觀的評(píng)分。

3.非語言因素

對(duì)于影響評(píng)分過程的非語言因素，問卷包含五個(gè)方面：任務(wù)完成情況、對(duì)考生的第一印象、考生的自信程度、考生之間的交流和考生的身體語言。調(diào)查結(jié)果顯示，所有評(píng)分員均認(rèn)為排序前三的影響因素為：任務(wù)完成情況、考生之間的交流和考生的自信程度。這表明在非語言因素方面，采用整體評(píng)分法的主考官和采用分項(xiàng)評(píng)分法的副考官之間沒有顯著差異。這一結(jié)果表明非語言因素對(duì)采取不同評(píng)分法的評(píng)分員沒有產(chǎn)生明顯的差異性影響。

4.補(bǔ)充性訪談

問卷調(diào)查結(jié)束以后，筆者對(duì)部分評(píng)分員進(jìn)行了訪談。其中一名評(píng)分員指出，評(píng)分員在測(cè)試中的身體和心理狀態(tài)可能會(huì)影響測(cè)試結(jié)果；有四名員指出評(píng)分員的性格，內(nèi)向和外向性格的不同會(huì)在把握評(píng)分標(biāo)準(zhǔn)的松緊程度上有差異；有兩名評(píng)分員指出，評(píng)分員的評(píng)分經(jīng)驗(yàn)對(duì)評(píng)分的影響也不容忽視。

四、結(jié)語

綜合考慮以上因素，筆者發(fā)現(xiàn)在評(píng)分過程中，評(píng)分員很容易受各種語言與非語言因素的影響，從而造成評(píng)分從差異，因此評(píng)分員在測(cè)試過程中必須準(zhǔn)確地把握評(píng)分標(biāo)準(zhǔn)，盡量避免其他因素的干擾。

有些因素，如評(píng)分員的情緒和身體狀態(tài)，是不可控的。因此，測(cè)試機(jī)構(gòu)必須對(duì)可控因素有一個(gè)很好的把握，如制定一個(gè)更詳細(xì)和明確的評(píng)分標(biāo)準(zhǔn)，以縮小評(píng)分員之間的差異；加強(qiáng)對(duì)評(píng)分員的培訓(xùn)和測(cè)評(píng)，以提高評(píng)分員的素質(zhì)并淘汰不合格的評(píng)分員。對(duì)于影響測(cè)試分?jǐn)?shù)的因素和實(shí)際測(cè)試過程中這些因素所造成的影響，筆者認(rèn)為可以開展進(jìn)一步的研究。

［1］Bachman，L. F. Fundamental Considerations in Language Testing. Oxford：Oxford University Press，1990.

［2］Brown，A. & T. Lumley. Interviewer variability in specific purpose language performance tests ［J］.Language Testing，1998（1）：43-64.

［3］Brown，A. Interviewer variation and the co-construction of speaking proficiency ［J］. Language Testing，2003（20）：1-25.

［4］Ross，S. Accommodative questions in oral proficiency interviews［J］. Language Testing，1992（9）：173-186.

［5］O’Loughlin，K. The impact of gender in oral proficiency testing ［J］. Language Testing，2002（19）：169-192.

［6］Myford. C. M. & E. W. Wolfe. Strengthening the ties that bind：improving the linking network in sparsely connected rating designs. TOEFL Technical Report TR-15：Princeton. NJ：Educational Testing Service，2000.

1.民促京津冀一體化項(xiàng)目——“京津冀一體化背景下英語口語應(yīng)用人才培養(yǎng)模式研究子項(xiàng)目”；2.北京市教委重點(diǎn)、委托、聯(lián)合項(xiàng)目“三位一體市屬高校大學(xué)英語教育改革模式研究”（2014-lh03）