甘 利

(廣東工程職業(yè)技術(shù)學(xué)院 外語(yǔ)系，廣東 廣州 510000)

1．引言

近些年來(lái)，語(yǔ)言測(cè)試的研究中心開(kāi)始從經(jīng)典理論的信、效度的研究轉(zhuǎn)移至測(cè)試行為和過(guò)程的研究(曾用強(qiáng)，2012)。目前，雖然每年都舉行全校、全省以至全國(guó)的英語(yǔ)考試，包括英語(yǔ)四、六級(jí)考試，大專(zhuān)水平的應(yīng)用能力考試，但是各校一般只追求過(guò)級(jí)率，未能充分發(fā)揮測(cè)試應(yīng)起的作用。上述考試都有相當(dāng)?shù)臋?quán)威，考試的區(qū)分度、難度、信度、效度等都經(jīng)過(guò)嚴(yán)格的檢驗(yàn)，考生的成績(jī)很大程度上反映出學(xué)生的學(xué)習(xí)成果和教學(xué)效果。若我們以這些考試所反饋的數(shù)據(jù)為基礎(chǔ)，加上科學(xué)的分析，利用學(xué)生入學(xué)后由學(xué)校組織，按英語(yǔ)考試大綱要求所設(shè)計(jì)的英語(yǔ)水平考試，綜合檢測(cè)教學(xué)效果，便可以對(duì)英語(yǔ)教學(xué)質(zhì)量進(jìn)行科學(xué)的定量分析、跟蹤與監(jiān)控，從而對(duì)英語(yǔ)教學(xué)質(zhì)量進(jìn)行宏觀調(diào)控。

國(guó)內(nèi)外有關(guān)英語(yǔ)測(cè)試研究由來(lái)已久。Bachman(1990:155)指出，語(yǔ)言測(cè)試研究的目標(biāo)之一就是考察影響語(yǔ)言測(cè)試行為的因素，語(yǔ)言測(cè)試成績(jī)的多變是考生個(gè)人語(yǔ)言能力和測(cè)試方法特點(diǎn)共同作用的結(jié)果，并將測(cè)試方法細(xì)分為五大方面，其中包括測(cè)試環(huán)境、試題要求、輸入性質(zhì)等。因此，大量研究都致力于探究某些因素的特定層面對(duì)語(yǔ)言測(cè)試的影響或不同層面對(duì)測(cè)試的交互影響，如對(duì)語(yǔ)言測(cè)試的整體研究(Liying et al．，2011;Jungok et al．，2011)/、聽(tīng)力測(cè)試(Berne，1995;Ginther，2001，2002)、完形填空測(cè)試(JM O’et al．，2011)等各方面的專(zhuān)項(xiàng)研究。但是將數(shù)據(jù)統(tǒng)計(jì)分析應(yīng)用到外語(yǔ)教學(xué)和測(cè)試尤其是高職英語(yǔ)教學(xué)和測(cè)試的研究遠(yuǎn)未到達(dá)滿意的程度。為了彌補(bǔ)此項(xiàng)研究的不足，本文嘗試展開(kāi)了一項(xiàng)關(guān)于高職英語(yǔ)的實(shí)證研究，旨在發(fā)揮數(shù)據(jù)統(tǒng)計(jì)分析在此類(lèi)研究中應(yīng)有的作用，從而提高高職英語(yǔ)教學(xué)質(zhì)量。

2．研究方法

2．1 研究描述

本研究通過(guò)自主研發(fā)的高職英語(yǔ)課程測(cè)試與教學(xué)質(zhì)量量化監(jiān)控系統(tǒng)軟件采集學(xué)生的測(cè)試數(shù)據(jù)并進(jìn)行系統(tǒng)的自動(dòng)分析。對(duì)比學(xué)生的測(cè)試成績(jī)和按要求所測(cè)試的測(cè)試組成元素和技能，監(jiān)控教師的教學(xué)表現(xiàn)、學(xué)生的學(xué)習(xí)效果和試卷的質(zhì)量。例如比較學(xué)生成績(jī)、按要求測(cè)試的技能點(diǎn)和相關(guān)因素，從而達(dá)到對(duì)以下三個(gè)方面進(jìn)行監(jiān)控:(1)課堂教學(xué)表現(xiàn);(2)師生個(gè)體表現(xiàn);(3)試卷質(zhì)量。

2．2 研究問(wèn)題

本研究采用定性和定量的研究方法，研究問(wèn)題如下;

(1)該系統(tǒng)是否能監(jiān)控課堂教學(xué)效果;

(2)該系統(tǒng)是否能監(jiān)控師生個(gè)體表現(xiàn);

(3)該系統(tǒng)是否能監(jiān)控試卷質(zhì)量嗎。

2．3 研究對(duì)象

受試來(lái)自廣東工程職業(yè)技術(shù)學(xué)院三個(gè)系11個(gè)班的789名2008級(jí)新生。研究對(duì)象是學(xué)習(xí)公共英語(yǔ)的全體學(xué)生，平均年齡19歲，來(lái)自廣東省的不同縣市。

2．4 研究過(guò)程

為了了解受試的英語(yǔ)基礎(chǔ)，2008年9月對(duì)其進(jìn)行了一場(chǎng)英語(yǔ)水平測(cè)試并獲取第一次考試的成績(jī)。受試完成該學(xué)期80學(xué)時(shí)的英語(yǔ)學(xué)習(xí)后，期末參加了由學(xué)院統(tǒng)一組織的期末考試，考試時(shí)間均為120分鐘，試卷類(lèi)型相同，均包括六道大題，滿分100分。考試試卷由幾名教授根據(jù)教學(xué)大綱和命題要求編寫(xiě)，例如要具有一定的現(xiàn)實(shí)可行性、可比較性、可復(fù)制性、基礎(chǔ)性，每道小題都要達(dá)到所定的質(zhì)量標(biāo)準(zhǔn)，題目要求編寫(xiě)簡(jiǎn)明易懂。不同考試分別使用的AB卷是平行卷，每次考試都要做項(xiàng)目分析。具體的聽(tīng)、讀、譯要求單獨(dú)列表如下:其中聽(tīng)讀譯各部分的比例分配是依據(jù)高職英語(yǔ)課程教學(xué)能力目標(biāo)(培養(yǎng)高職類(lèi)學(xué)生的語(yǔ)言綜合能力和實(shí)際應(yīng)用能力，即用英語(yǔ)做事的能力)的要求并結(jié)合本校的教學(xué)實(shí)際(學(xué)生語(yǔ)言基礎(chǔ)普遍薄弱，技能欠缺，可供支配的教學(xué)資源有限)而定的。其中第一部分聽(tīng)力的Section A五小題，聽(tīng)5個(gè)句子，然后回答5個(gè)問(wèn)題。Section B十小題，聽(tīng)十組男女對(duì)話，然后回答十個(gè)問(wèn)題。其目的是要測(cè)試學(xué)生對(duì)句子、對(duì)話的掌握。題材源于日常生活，難度由淺入深，這個(gè)部分的題型設(shè)計(jì)，一般與全國(guó)統(tǒng)考的題型大致相同，目的在于強(qiáng)化對(duì)比度，與全國(guó)考試接軌。第二部分詞語(yǔ)結(jié)構(gòu)與語(yǔ)法包括詞匯和語(yǔ)法兩個(gè)方面。詞匯方面，第一次水平考試所覆蓋的詞匯(含詞組)約在2000個(gè)基本單詞以下，以后每次期末水平考試遞增1000個(gè)左右，都是學(xué)生應(yīng)該掌握的常用語(yǔ)，目的在于考核學(xué)生常用語(yǔ)的掌握程度。語(yǔ)法方面為英語(yǔ)的基本語(yǔ)法，初始階段測(cè)試學(xué)生對(duì)基本語(yǔ)法的掌握程度。以后逐漸深化。最后著重考核學(xué)生在語(yǔ)法方面的應(yīng)用能力及熟悉程度。第三部分閱讀理解四篇文章，從不同角度分別測(cè)試學(xué)生判斷、邏輯思維、運(yùn)用能力，強(qiáng)調(diào)實(shí)用性、基礎(chǔ)性。試題設(shè)計(jì)由淺入深。第一次水平測(cè)試以簡(jiǎn)單形式的閱讀理解為主，逐漸過(guò)渡到理解句子字里行間的邏輯關(guān)系、分析作者的態(tài)度等。第四部分閱讀判斷目的是考察學(xué)生能否區(qū)分信息正誤及信息有無(wú)提及的能力。第五部分完形填空旨在考察學(xué)生綜合運(yùn)用語(yǔ)言的能力，包括詞匯、基本語(yǔ)法、邏輯思維、同義詞反義詞。第六題翻譯都是基礎(chǔ)、實(shí)用型的題，目的在于考察學(xué)生英漢互譯中的綜合技能?？傊?，試題設(shè)計(jì)把聽(tīng)、讀、譯及綜合能力都考慮在內(nèi)。說(shuō)和寫(xiě)的能力在時(shí)機(jī)成熟時(shí)，都要包括在內(nèi)。

聽(tīng)力播放由播音室將錄音通過(guò)揚(yáng)聲器清晰地傳送到每間考室，機(jī)讀卡由機(jī)器閱卷直接生成數(shù)據(jù)庫(kù)并自動(dòng)錄入數(shù)據(jù)統(tǒng)計(jì)軟件包。全過(guò)程由考務(wù)部門(mén)的技術(shù)人員完成。主觀題的評(píng)分由任課教師集中統(tǒng)一評(píng)分，并事先進(jìn)行試評(píng)，統(tǒng)一標(biāo)準(zhǔn)，試評(píng)結(jié)果顯示評(píng)分員之間的相關(guān)系數(shù)均達(dá)到0．8以上，在此過(guò)程中排除掉評(píng)分標(biāo)準(zhǔn)前后不一致的評(píng)分員，這樣單個(gè)評(píng)分員的前后評(píng)分標(biāo)準(zhǔn)也得到了控制，以保證評(píng)分的信度和效度。

對(duì)于本研究采集的數(shù)據(jù)，我們使用了不同的統(tǒng)計(jì)分析方法。每道題的項(xiàng)目分析標(biāo)準(zhǔn)如下表所示:

表1 項(xiàng)目分析標(biāo)準(zhǔn)(Li，1997:274)

考試分?jǐn)?shù)通過(guò)SPSS軟件分析處理，結(jié)果有:平均分、標(biāo)準(zhǔn)誤(S．D．)、Z 值、圖表等。

3．?dāng)?shù)據(jù)收集與分析

第一次測(cè)試于2008年9月舉行，第二次測(cè)試于2009年2月舉行，即期末考試。所有的受試在同一時(shí)間考試，時(shí)長(zhǎng)2小時(shí)。每次考試均按高考標(biāo)準(zhǔn)嚴(yán)格施行。所有答題卡回收后交付教務(wù)處專(zhuān)門(mén)的技術(shù)人員進(jìn)行評(píng)分。

每學(xué)期的每次考試都按實(shí)施、分析、監(jiān)控和跟蹤的流程進(jìn)行，包括每次的不同班級(jí)不同專(zhuān)業(yè)和不同系別的分?jǐn)?shù)比較。每次測(cè)試的分析結(jié)果包括平均分、通過(guò)率、標(biāo)準(zhǔn)誤等。通過(guò)比較每次考試的相同題目的作答情況，我們能清晰地看出某位學(xué)生在此項(xiàng)考點(diǎn)技能上是進(jìn)步還是退步了，同時(shí)也能得知他/她的英語(yǔ)總成績(jī)和分項(xiàng)成績(jī)?cè)诎嗉?jí)年級(jí)系以及整個(gè)學(xué)院的排名。還可以根據(jù)進(jìn)退的絕對(duì)值而不僅是最終值或最終排名看出其進(jìn)退的程度，例如某個(gè)學(xué)生的成績(jī)或某個(gè)班級(jí)的平均分從60上升到75，而另一個(gè)學(xué)生的成績(jī)或另一個(gè)班級(jí)的平均分從90上升到95，如果從最終值來(lái)看，后者肯定優(yōu)于前者，但從進(jìn)退程度和教學(xué)效果來(lái)看，前者顯然優(yōu)于后者。

既然有很多分?jǐn)?shù)之外的因素影響教學(xué)，監(jiān)控系統(tǒng)不能僅通過(guò)分?jǐn)?shù)還要通過(guò)一些輔助手段來(lái)做出判斷或決策，例如應(yīng)該對(duì)教師教學(xué)態(tài)度、教學(xué)水平、教學(xué)表現(xiàn)、教學(xué)指導(dǎo)、教學(xué)方法進(jìn)行測(cè)評(píng)和定量分析，但這些因素較主觀，在總評(píng)成績(jī)中的比重不應(yīng)超過(guò)20%。

有了這個(gè)系統(tǒng)，我們既可以發(fā)現(xiàn)問(wèn)題還能對(duì)某些班級(jí)在某些題目上提供建議，還能對(duì)某位學(xué)生的所有考試成績(jī)或某個(gè)題目的得分提供分析和建議。該系統(tǒng)還可以監(jiān)控某位學(xué)生整個(gè)的學(xué)習(xí)進(jìn)程或某位教師的英語(yǔ)教學(xué)中出現(xiàn)的問(wèn)題。通過(guò)分析，我們可以了解到某個(gè)班在某個(gè)題目上得分最高，我們由此找出原因，總結(jié)經(jīng)驗(yàn)并加以推廣。例如通過(guò)兩次考試比較我們找出進(jìn)步最大的一個(gè)班級(jí)和退步最嚴(yán)重的一個(gè)班級(jí)進(jìn)行實(shí)地案例研究，通過(guò)隨時(shí)深入課堂聽(tīng)課錄像，師生座談等形式找到其背后原因。在我們的實(shí)地調(diào)查中，發(fā)現(xiàn)了一些原來(lái)沒(méi)考慮到的影響教學(xué)質(zhì)量的因素，例如教師在課堂教學(xué)中的語(yǔ)碼轉(zhuǎn)換風(fēng)格、個(gè)性化語(yǔ)言風(fēng)格、人格魅力、感染力、駕馭力、情感情緒狀態(tài)、教師本人的語(yǔ)言觀和跨文化意識(shí)、教師變更頻繁等。據(jù)此，每年都要評(píng)選出最優(yōu)秀的教師加以表?yè)P(yáng)獎(jiǎng)勵(lì)或委以重任，表現(xiàn)不佳的需要再學(xué)習(xí)再培訓(xùn)，仍達(dá)不到要求的為了確保教學(xué)質(zhì)量的調(diào)換崗位。

4．研究結(jié)果和討論

4．1 課堂教學(xué)效果的監(jiān)控

此次實(shí)驗(yàn)中，來(lái)自三個(gè)系的789名受試被分成11個(gè)教學(xué)班。以下是兩次考試分?jǐn)?shù)的描述性數(shù)據(jù)分析。

表2 第一次考試描述性統(tǒng)計(jì)數(shù)據(jù)

表3 第二次考試描述性統(tǒng)計(jì)數(shù)據(jù)

由上圖可知兩次考試的總體情況:第一次考試分?jǐn)?shù)為正態(tài)分布(斜率值為0．009)，即“兩頭少，中間多”，高分和低分人數(shù)少，中間段分?jǐn)?shù)居多;第二次考試分?jǐn)?shù)呈負(fù)偏態(tài)分布(斜率值為－1．248);中高分段人數(shù)居多，低分段人數(shù)顯著減少。第二次平均分也遠(yuǎn)高于第一次，從方差值來(lái)看，第一次分?jǐn)?shù)分布比較集中均勻，第二次比較分散參差不齊。這也說(shuō)明了受試剛?cè)雽W(xué)時(shí)的英語(yǔ)水平分布均勻，經(jīng)過(guò)半年的學(xué)習(xí)后，開(kāi)始出現(xiàn)了分化和差距，大部分經(jīng)過(guò)半學(xué)期的學(xué)習(xí)取得了相應(yīng)的提高，達(dá)到了預(yù)期學(xué)習(xí)目標(biāo)和教學(xué)效果。

下表是兩次考試分?jǐn)?shù)的平均分比較的一個(gè)實(shí)例。

表4 兩次考試分?jǐn)?shù)的獨(dú)立樣本T檢驗(yàn)

由上表知，P值是．000遠(yuǎn)小于0．05，因此我們可以說(shuō)兩次平均數(shù)之間的差異達(dá)到了統(tǒng)計(jì)學(xué)上的顯著程度，拒絕零假設(shè)。也就是說(shuō)，受試第二次比第一次表現(xiàn)更好。

為了獲得更多的有用信息，類(lèi)似的比較還可以用于每個(gè)班每個(gè)系兩次考試分?jǐn)?shù)以及三個(gè)系11個(gè)班之間某一次的分?jǐn)?shù)比較。

4．2 師生個(gè)體表現(xiàn)監(jiān)控

該系統(tǒng)可以自動(dòng)生成每次每個(gè)系的每個(gè)學(xué)生的分?jǐn)?shù)。我們把每次所有的結(jié)果發(fā)布給每個(gè)系和每個(gè)教師。這樣當(dāng)教學(xué)管理人員和教師們得知每個(gè)學(xué)生的考試情況后，就會(huì)去尋找背后的原因，并采取改進(jìn)措施。例如，A受試的兩次考試成績(jī)，兩次年級(jí)排名和進(jìn)退情況。在第一次考試中，A受試考了27分，但在第二次考試中上升至900分，這個(gè)進(jìn)步很巨大;B受試第一次考了819分，第二次降至639分。

我們還可分析比較每個(gè)班的兩次考試的具體分?jǐn)?shù)以及三個(gè)系11個(gè)班之間某一次的分?jǐn)?shù)比較。如兩次考試中，第2次考試進(jìn)步最大的班為商管系3班，其平均分從入學(xué)35分升為46分。退步最大的班為計(jì)算機(jī)1班，其平均分從入學(xué)48分下降到45分。其原因主要是該班任課教師不穩(wěn)定，頻繁調(diào)換過(guò)三位。由于學(xué)習(xí)方式和手段趨向多樣化，教師要想給眾多學(xué)習(xí)者提供足夠的幫助已力不從心。解決這一問(wèn)題的有效辦法之一就是利用計(jì)算機(jī)實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)過(guò)程跟蹤檢測(cè)的診斷測(cè)試，電腦化診斷測(cè)試。計(jì)算機(jī)的采用推進(jìn)了個(gè)別化自主學(xué)習(xí)的發(fā)展，學(xué)習(xí)者更加需要及時(shí)、詳盡的指導(dǎo)。(杜金榜、桂詩(shī)春，2000)

4．3 試卷監(jiān)控

該系統(tǒng)能保存并分析每次考試每個(gè)學(xué)生的總分和分項(xiàng)得分情況，由此我們就能分析出此次試卷是否達(dá)標(biāo)，是否能有效區(qū)分學(xué)生成績(jī)的好壞。

經(jīng)統(tǒng)計(jì)，我們得知題目6的FV值是1．199，題目55的FV值是1．213，意味著他們是最容易的。題目3的FV值是 －0．2，題目62的FV是 －0．014，意味著他們是最難的，題目71的FV值是0．5，此難度值比較理想，因?yàn)檫@意味著一半的受試正確作答一般的受試作答錯(cuò)誤。根據(jù)標(biāo)準(zhǔn)差，0．3至0．7認(rèn)為是可接受的難度值。還有大量題目的難度值變化幅度很大，下一步將對(duì)試題區(qū)分度和效度作進(jìn)一步研究。

基于以上的研究，我們可以得出結(jié)論:該系統(tǒng)通過(guò)對(duì)兩次考試的平均分、最高分、最低分、集中趨勢(shì)、分?jǐn)?shù)升降的比較，能對(duì)課堂教學(xué)效果進(jìn)行量化監(jiān)控此次實(shí)驗(yàn)結(jié)果告訴我們第二次考試總體取得了進(jìn)步，這是師生共同努力的結(jié)果，但仍有許多細(xì)節(jié)問(wèn)題需要解決。通過(guò)對(duì)進(jìn)步和退步背后原因的仔細(xì)分析，我們獲得了能反映師生個(gè)體表現(xiàn)的除了成績(jī)之外的更多的有用信息，這些信息大大完善和提高了分?jǐn)?shù)的解釋力和監(jiān)控力。同時(shí)也說(shuō)明該系統(tǒng)能監(jiān)控師生個(gè)體表現(xiàn)。

從考試的每道題目的分項(xiàng)數(shù)據(jù)來(lái)看，它不僅反映了師生在每個(gè)技能模塊的教學(xué)表現(xiàn)，還能提前獲得關(guān)于試卷質(zhì)量控制的一些關(guān)鍵技術(shù)指標(biāo)值，例如信度、效度、區(qū)分度、難度等。有了這些數(shù)據(jù)反饋信息，以后我們每次編寫(xiě)試題的時(shí)候都能據(jù)此做相應(yīng)的改善以提高試卷編寫(xiě)質(zhì)量。這也說(shuō)明該系統(tǒng)能監(jiān)控試卷質(zhì)量。

5．結(jié)語(yǔ)

通過(guò)現(xiàn)代化的測(cè)試手段，利用電腦軟件包，提供數(shù)據(jù)分析(學(xué)生成績(jī))，監(jiān)控學(xué)生學(xué)習(xí)成績(jī)、教師教學(xué)效果所用測(cè)試試卷。通過(guò)量化的形式監(jiān)控教學(xué)質(zhì)量。此研究?jī)r(jià)值如下:(1)突破傳統(tǒng);(2)以現(xiàn)代測(cè)試手段，通過(guò)量化的形式監(jiān)控教學(xué)質(zhì)量;(3)不僅跟蹤學(xué)生學(xué)習(xí)成績(jī)，更能跟蹤教師的教學(xué)成果，還能監(jiān)控考試試卷，便于動(dòng)態(tài)管理;(4)數(shù)據(jù)正確，行之有效，說(shuō)服力強(qiáng)，判斷科學(xué);(5)操作方便，應(yīng)推廣應(yīng)用到各種語(yǔ)言教學(xué)測(cè)試的監(jiān)控中，特別是人財(cái)物稀缺的高職院校。桂詩(shī)春(1989)指出，教育技術(shù)(educational technology)在語(yǔ)言測(cè)試中占有重要的位置。計(jì)算機(jī)為語(yǔ)言測(cè)試開(kāi)辟了誘人的前景，目前所能做到的僅是一些初步的嘗試，它的潛力還有待發(fā)揮。語(yǔ)言測(cè)試在中國(guó)教育界特別是高職教育方面還有漫漫長(zhǎng)路要走。

［1］Bachman，L．F．Fundamental Considerations in Language Testing［M］．Oxford:Oxford University Press，1990．

［2］Berne，J．How does Varying Pre-Listening Activities Affect Second Language Listening Comprehension?［J］.Hispania，1995(78):316－329．

［3］Ginther，A．Effects of the Presence and Absence of Visuals on Performance on TOEFL CBT Listening-Comprehension Stimuli(Research Report No．66)［C］．Princeton，NJ:Educational Testing Service，2001．

［4］Ginther，A．Context and Content Visuals and Performance on Listening Comprehension Stimuli［J］．Language Testing，2002(2):133－167．

［5］JM O’T．＆ K．RAR．The Deceptive Mean:Conceptual Scoring of Cloze Entries Differentially Advantages More able Readers［J］．Language Testing，2011(28):127 －144．

［6］Jungok，B．＆ L．Yae-Sheik．The Validation of Parallel Test Forms:“Mountain”and“Beach”P(pán)icture Series for Assessment of Language Skills［J］．Language Testing，2011(28):155－177．

［7］Liying，C．，Stephen，A．＆ Y．Ying．Impact and Consequences of School-based Assessment(SBA):Students’and Parents’Views of SBA in Hong Kong［J］．Language Testing，2011(28):221－249．

［8］曾用強(qiáng)．自信心與語(yǔ)言測(cè)試行為［J］．現(xiàn)代外語(yǔ)，2012(2)．