白潤(rùn)冰

(西安工業(yè)大學(xué)外語(yǔ)學(xué)院 陜西 西安 710032)

近年來，國(guó)內(nèi)語(yǔ)言測(cè)試領(lǐng)域?qū)ET4和CET6的信度和效度有了較多的研究，也取得了明顯的成果（陸巧玲，2008；石英，2004；富冬青，2005；辜向東,李志芳,張書奎，2009；文慧,聶建中，2007等）。但是對(duì)于持續(xù)進(jìn)行的國(guó)家級(jí)大規(guī)模標(biāo)準(zhǔn)化考試來說，對(duì)其試題歷時(shí)穩(wěn)定性的研究更有現(xiàn)實(shí)意義。本文僅對(duì)歷年CET4試題中兩個(gè)完形填空題目從巴赫曼傳統(tǒng)正確分值測(cè)量理論中平行測(cè)試這一角度進(jìn)行研究。

1 平行測(cè)試?yán)碚?/h2>

平行測(cè)試是傳統(tǒng)正確分值測(cè)量理論中的重要概念。巴赫曼認(rèn)為，同一組考生參加兩次測(cè)試，如果兩次測(cè)試的正確分?jǐn)?shù)相等并且誤差方差相等，那么這兩次測(cè)試就是平行測(cè)試。（Bachman，1990）用公式表示就是：x=x’，s2x=s2x’，rxy=rx’y。其中，x和x’是兩次測(cè)試的正確分值，s2x和s2x’為兩次測(cè)試的方差，rxy和rx’y分別為兩次測(cè)試與第三次測(cè)試的相關(guān)系數(shù)。在實(shí)踐中，盡管我們沒辦法獲得真正的嚴(yán)格意義的平行測(cè)試，如果它們的均值和方差沒有統(tǒng)計(jì)學(xué)意義上的明顯差異，我們就認(rèn)為它們是平行測(cè)試。為了便于操作，巴赫曼還提出了如下的圖式：

圖1 平行測(cè)試中正確分值和觀察分值的相關(guān)性

其中，rxx’是兩次測(cè)試觀察分值的相關(guān)系數(shù)，從統(tǒng)計(jì)學(xué)意義上講，相關(guān)系數(shù)越接近1，二者是平行測(cè)試的可能性越高。這樣我們?cè)谶M(jìn)行平行測(cè)試檢驗(yàn)判斷時(shí)就不需要有第三次測(cè)試，直接觀察它們之間的相關(guān)系數(shù)就可以做出判斷。另外，要使這一圖式具有可操作性，我們必須假定兩次觀察分?jǐn)?shù)之間在實(shí)驗(yàn)層面上是相互獨(dú)立的，也就是說，考生在第二次測(cè)試的表現(xiàn)不依賴于第一次測(cè)試時(shí)的表現(xiàn)。如果第一次測(cè)試的表現(xiàn)對(duì)第二次測(cè)試產(chǎn)生影響，我們就不能做出推斷：兩次觀察分值的相關(guān)性是受相同能力的影響。

2 實(shí)驗(yàn)設(shè)計(jì)和實(shí)驗(yàn)步驟

筆者分別選用2000年1月和2010年6月的cet4真題中的完形填空作為實(shí)驗(yàn)對(duì)象。修旭東和王俊菊認(rèn)為，CTS-理論只能計(jì)算同源誤差。（修旭東和王俊菊，2001）因此選取同一種題型進(jìn)行研究可以有效地降低測(cè)量誤差。在試卷設(shè)計(jì)和題目測(cè)試過程中，筆者采用了王俊菊描述的均衡 (counter--balanced)方法：進(jìn)行對(duì)等信度計(jì)算時(shí)，應(yīng)保證平行試卷的對(duì)等性，尤其是在難度上的對(duì)等，標(biāo)準(zhǔn)差也應(yīng)相近測(cè)試過程是用兩份對(duì)等試卷對(duì)同一批考生同時(shí)進(jìn)行測(cè)試由于測(cè)試時(shí)會(huì)因先發(fā)試卷A后發(fā)試卷B而產(chǎn)生“實(shí)踐效應(yīng)”因而做試卷B時(shí)會(huì)比做試卷A好此為了解決這一問題可以采用均衡方法來盡量減少“實(shí)踐效應(yīng)”現(xiàn)象，即:將考生再分成兩部分，一部分考生先發(fā)試卷A后發(fā)試卷B另一部分先發(fā)試卷B后發(fā)試卷A。（王俊菊和修旭東，2003）依照上述方法，筆者設(shè)計(jì)了兩套試卷，A卷2000年1月完形為試卷的前半部分，2010年6月完形為后半部分，B卷前后做調(diào)換。之后對(duì)我校10級(jí)某班進(jìn)行課堂測(cè)試，測(cè)試前告知學(xué)生此次練習(xí)只作為研究使用，與學(xué)期成績(jī)無(wú)關(guān)。共發(fā)放33份試卷，有效回收30份。每個(gè)考點(diǎn)選對(duì)得1分，選錯(cuò)得0分，兩個(gè)完形的滿分均為20分。最后將對(duì)兩個(gè)完形的測(cè)試結(jié)果輸入軟件SPSS19.0進(jìn)行相關(guān)分析。

3 實(shí)驗(yàn)結(jié)果和原因分析

3.1 實(shí)驗(yàn)結(jié)果

軟件分析結(jié)果顯示：2000年1月題目的標(biāo)準(zhǔn)差為2.26，均值為 5.83；2010年 6月題目的標(biāo)準(zhǔn)差為 2.58，均值為10.43；二者的相關(guān)系數(shù)為0.36。對(duì)照巴赫曼上述的三個(gè)公式，不難發(fā)現(xiàn)，只有s2x=s2x’近似地滿足條件，而x=x’二者均值有較大的差異，對(duì)于rxy=rx’y，我們直接對(duì)二者進(jìn)行相關(guān)分析，而沒有使用第三次測(cè)試進(jìn)程實(shí)驗(yàn)，但是0.36的相關(guān)系數(shù)沒有到達(dá)統(tǒng)計(jì)學(xué)上顯著相關(guān)（此樣本的顯著相關(guān)系數(shù)﹥0.85）。因此這兩個(gè)完形測(cè)試整體上沒有滿足平行測(cè)試的條件，不能看作是平行測(cè)試。

3.2 原因分析

教學(xué)大綱的改變，使測(cè)試的側(cè)重點(diǎn)發(fā)生了轉(zhuǎn)移?！洞髮W(xué)英語(yǔ)課程教學(xué)要求 (試行)》指出：“大學(xué)英語(yǔ)的教學(xué)目標(biāo)是培養(yǎng)學(xué)生的英語(yǔ)綜合應(yīng)用能力，特別是聽說能力，使他們?cè)诮窈蠊ぷ骱蜕鐣?huì)交往中能用英語(yǔ)有效地進(jìn)行口頭和書面的信息交流，同時(shí)增強(qiáng)其自主學(xué)習(xí)能力，提高綜合文化素養(yǎng)，以適應(yīng)我國(guó)社會(huì)發(fā)展和國(guó)際交流的需要。”（教育部高等教育司，2004）新的課程教學(xué)要求特別強(qiáng)調(diào)聽說能力的培養(yǎng)，這就有可能使得學(xué)習(xí)者在英語(yǔ)學(xué)習(xí)過程中注重語(yǔ)言的流利性而忽視其準(zhǔn)確性，因而對(duì)語(yǔ)法知識(shí)的掌握不夠理想。2000年1月的完形中有6個(gè)以上的語(yǔ)法結(jié)構(gòu)題，而2010年6月的完形中沒有語(yǔ)法結(jié)構(gòu)方面的考點(diǎn)。 “完型填空（Cloze）測(cè)試學(xué)生各個(gè)層面上的語(yǔ)言理解能力及語(yǔ)言運(yùn)用能力。短文長(zhǎng)度為220-250詞，內(nèi)容是學(xué)生所熟悉的題材?！保ㄈ珖?guó)大學(xué)英語(yǔ)四、六級(jí)考試委員會(huì)，2006）2000年1月完形話題內(nèi)容為人的認(rèn)知習(xí)慣的一個(gè)調(diào)查分析，而2010年6月完形話題內(nèi)容為電子商務(wù)。對(duì)于現(xiàn)在的學(xué)生來說，前者話題抽象不熟悉，后者熟悉貼近生活。以上兩點(diǎn)是本次試驗(yàn)中均值差異較大的主要原因。另外，前者全文字長(zhǎng)為216，平均每個(gè)填空有不到10個(gè)字信息支持；后者為249，單個(gè)填空超過10個(gè)字信息支持。這就使得前者的難度有所增大。這也可能是分值差異的一個(gè)原因。

4 結(jié)論和研究不足

通過實(shí)驗(yàn)和分析，由于多種因素，這兩次完形測(cè)試不滿足巴赫曼平行測(cè)試的條件，可以認(rèn)為它們不是嚴(yán)格意義上的平行測(cè)試。本次研究也有一些不足之處，如參與實(shí)驗(yàn)的學(xué)生人數(shù)較少，兩個(gè)研究對(duì)象的選取時(shí)間跨度較大，課堂測(cè)試對(duì)學(xué)生參與實(shí)驗(yàn)的態(tài)度影響等，都可能會(huì)產(chǎn)生偶然因素，對(duì)實(shí)驗(yàn)結(jié)果有不利影響。

［1］Bachman Lyle F.Fundamental Considerations in Language Testing[M].Shanghai:Shanghai Foreign Language Education Press,1999.

［2］富冬青.大學(xué)英語(yǔ)四級(jí)測(cè)試中信度與效度的矛盾與統(tǒng)一[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2005，3.

［3］辜向東,李志芳,張書奎.大學(xué)英語(yǔ)四級(jí)考試快速閱讀部分內(nèi)容效度研究[J].西南民族大學(xué)學(xué)報(bào)：人文社科版，2009（1）.

［4］教育部高等教育司.大學(xué)英語(yǔ)課程教學(xué)要求：試行[Z].北京:高等教育出版社，2004.

［5］陸巧玲.CET-4 閱讀理解內(nèi)容效度分析[J].高教論壇，2008（5）.

［6］全國(guó)大學(xué)英語(yǔ)四、六級(jí)考試委員會(huì).大學(xué)英語(yǔ)四級(jí)考試大綱：修訂版[Z].北京：清華大學(xué)出版社，2006.

［7］石英.CET效度下降的原因與對(duì)策[J].鄭州航空工業(yè)管理學(xué)院學(xué)報(bào)：社會(huì)科學(xué)版，2004，12.

［8］王俊菊，修旭東.語(yǔ)言測(cè)試中信度計(jì)算的三種理論模式探討[J].外語(yǔ)與外語(yǔ)學(xué)，2003（9）.

［9］文慧,聶建中.大學(xué)英語(yǔ)四級(jí)考試完形填空試題的考點(diǎn)效度分析[J].山西農(nóng)業(yè)大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2007（3）.

［10］修旭東，王俊菊.Bachman的語(yǔ)言測(cè)試信度計(jì)算模式[J].煙臺(tái)師范學(xué)院學(xué)報(bào)：哲學(xué)社會(huì)科學(xué)版，2001，9.