邢 宏

(海南大學外國語學院，海南 海口570228)

從入學測試看學生英語應(yīng)用能力發(fā)展態(tài)勢*
——以自建題庫為例

邢 宏

(海南大學外國語學院，海南 海口570228)

本文采用Bachman的語言能力觀，以自建題庫的學生入學摸底考試的試做和試測考卷為藍本，將聽力部分的應(yīng)用型篇章和題目作為目標參照，依據(jù)準則參照測量和項目反映理論，利用GITEST軟件包對試卷本身及測試結(jié)果進行了信度、效度尤其是結(jié)構(gòu)效度的驗證，用定量的方式提供解釋依據(jù)。發(fā)現(xiàn)學生的英語應(yīng)用能力并非想象得那樣差，有相當一部分學生已經(jīng)顯示了基本的英語應(yīng)用能力素養(yǎng)，還有部分學生已經(jīng)具備一定的綜合應(yīng)用能力。這也為教師今后的教學實踐提供了參考依據(jù):教師的責任應(yīng)該是如何將這種能力挖掘延伸使其具備可持續(xù)發(fā)展的態(tài)勢，而不僅僅只在”培養(yǎng)”上下功夫。

信度效度;自創(chuàng)題庫;入學摸底測試;應(yīng)用能力;發(fā)展態(tài)勢

著力培養(yǎng)學生的“綜合應(yīng)用能力”是大學英語《教學要求》突出強調(diào)的教學目標。是當前大學英語教學的重中之重。下大力氣培養(yǎng)學生的“綜合應(yīng)用能力”，言下之意就是學生的英語應(yīng)用能力弱或者根本未達到應(yīng)有的程度。事實是否如此，我們先研究一下高中英語畢業(yè)學生需達到的標準?！陡咧杏⒄Z新課標》表述高中英語課程的總目標是培養(yǎng)學生的綜合語言運用能力。七級是高中階段必須達到的級別要求，八級和九級是為愿意進一步提高英語綜合語言運用能力的高中學生設(shè)計的目標。如此說來，完成高中英語七級的學習就意味著學生入大學之初就已經(jīng)具有了一定水平的英語綜合能力了。在大學英語的教學中，學生的英語應(yīng)用能力到底需要‘培養(yǎng)’還是‘提高延伸’?就此引發(fā)了我們課題的一項核心研究:創(chuàng)建以深化能力立意，突出能力考查為宗旨的入學摸底試題庫，以便考察、預(yù)測和確認學生英語應(yīng)用能力態(tài)勢及發(fā)展走向。

一、題庫創(chuàng)建的理論框架——語言測試理論的語言能力觀

語言能力是語言習得過程和測試研究的對象，在語言教學和測試中具有非常重要的作用。反過來，語言測試也能提供實證以研究語言能力的本質(zhì)。就語言測試而言，決定結(jié)構(gòu)效度的先決條件就是對語言能力的操作性定義［1］(Bachman，1990)。

語言測試理論就語言能力的討論至今已一個多世紀，經(jīng)歷了四個時期即:前科學時期、心理測量一結(jié)構(gòu)主義的結(jié)構(gòu)主義時期、心理語言學一社會語言學時期和交際語用時期［8］(Spolsky，1978轉(zhuǎn)引自王克非，2000)。前三個時期中，無論是Lado為代表的語言能力模型，還是以O(shè)ller和Spolsky為代表的語言能力模式，在科學性或理論性上備受詬病:它們對語言能力的概括都是靜態(tài)的，都是從知識和結(jié)構(gòu)的角度，而不是從應(yīng)用的角度來概括。這些模式關(guān)注對語言能力的描寫，其研究僅局限于語言系統(tǒng)內(nèi)部，出發(fā)點和歸宿點在于追求對純語言結(jié)構(gòu)的分解。上世紀90年代，繼Hymes及Canale＆Swain提出交際能力之后，Bachman［1］(1990:81－109)提出了新的交際語言能力模式。他突破了結(jié)構(gòu)主義局限，把語言能力看成是由認知因素貫穿的，在應(yīng)用中體現(xiàn)出來的能力。Bachman認為，語言交際能力就是把語言知識和語言使用的場景特征結(jié)合起來創(chuàng)造并解釋意義的能力。按照這種模型開發(fā)的語言測試既注重被測試者的語言知識，又考慮到受試者在有意義的語境中能否恰當?shù)皿w地使用這種語言的能力。Bachman的交際語用模式博采眾長，全面描述了語言能力的性質(zhì)及其組成部分?？梢哉f是迄今為止最完善的一個理論模式，代表了90年代語言測試界在探討語言能力性質(zhì)方面的進展。

Bachman的理論尤其對交際語言能力測試方面的概念定義研究起了十分重要的推動作用，如對測試構(gòu)想的定義和交際測試的定義［8］。在語言測試中，構(gòu)想的定義非常重要，因為對考生在考試中的表現(xiàn)的解釋必須依據(jù)測試的構(gòu)想［3］。“所謂構(gòu)想，就是假設(shè)的概念”［4］。題庫的理論框架依據(jù)Bachman的語言能力觀將綜合應(yīng)用能力定義為語言能力。在語言測試理論及語言習得研究中“語言能力”即是一種構(gòu)想。構(gòu)想是一種潛在的理論形式，其具體的體現(xiàn)是試卷和測試成績，也就是說測試成績是學生語言能力的外部表現(xiàn)。我們就是在假設(shè)，我們借助測試和他所包含的每個題目所引發(fā)的這一種語言行為可以恰當、充分、有意義，從而有效的反映這一種語言能力［10］。測試本身以及測試的結(jié)果是否真實有效以及所測的語言能力是否真實反映了學生的實際狀況，正是本文論述的焦點。

二、研究方法

本研究是課題“大學英語電腦調(diào)適性測試系統(tǒng)(CALT)及題庫創(chuàng)建”的后半部分，目的在于“創(chuàng)建一個信度效度較高、有診斷性，有預(yù)測性，重語言應(yīng)用能力和交際功能，以新生為對象的，以大學英語入學摸底測試為內(nèi)容的標準化試題庫”。題庫的指向是英語入學摸底測試針對性非常明確:考察學生的英語綜合應(yīng)用能力，特別通過加大聽力和閱讀應(yīng)用類題型的權(quán)重來觀察分析學生英語應(yīng)用能力的態(tài)勢及發(fā)展走向。

本研究采用定量分析手段，首先依據(jù)準則參照測量設(shè)計、開發(fā)試題.測試結(jié)果是依據(jù)一個準則或能力范圍，而不是其他考生的表現(xiàn)來解釋的。換句話說，分數(shù)分析不依靠考生之間的差異或分數(shù)分布的一種常態(tài)來解釋。此外，項目反應(yīng)理論“一個受試者在某個測試題或測試項上的表現(xiàn)受測試項的難度和受試者的能力的影響”［1］，不僅為我們的計算機化調(diào)適性測試提供理論支持，幫助我們揭示測試項目的難度與受試者能力之間的關(guān)系;更為測試驗證收集了證據(jù)、為試題的效度提供了強有力地理論解釋。

重視語言測試理論的研究，掌握命題的原則，在試卷編制過程中努力把握信度、效度及其它評價指標之間的平衡關(guān)系是題庫創(chuàng)建前必做的功課。試題生產(chǎn)的流程基本按照分任務(wù)——選材料——審材料——改寫材料——寫 題——審題——改題——填覆蓋分析表——拼題——試做——審全套題——試測——結(jié)果分析等十六個步驟進行［6］，07年至今，完成所有備選題目的生產(chǎn)，并以紙質(zhì)試卷的形式抽樣請08級新生進行3套試題的試做，請09級新生完成8套題目的試測工作。全部的題目采用GITEST軟件包進行統(tǒng)計分析。檢驗合格的題目將按照計算機適應(yīng)性語言測試的技術(shù)要求進行編程入庫，供學生在電腦上完成做答。

(一)題庫前測情況

闡釋特定的考試成績是否準確反映了學生的語言能力，信度和效度是在設(shè)計和使用測試時首要關(guān)注的特征。Bachman［2］(1996)將信度定義為“測試的一致性”也就是指測試結(jié)果的可信度、可靠度。測試信度是測試效度的前提和基礎(chǔ)，一份試卷的測試結(jié)果如果缺乏信度，就沒有使用價值。為了確保試題的質(zhì)量控制，我們先在08級入學初期小范圍對三套題目試做，三套題的客觀題目均由聽力(20題)，詞匯與語法結(jié)構(gòu)(10題)，綜合填空(20題)以及閱讀(20題)組成，每題一分，滿分70分。試做的結(jié)果檢驗用GITEST軟件包進行全面的分析評估。

衡量一套試卷質(zhì)量的信度指標不僅可以從它的平均值(Mean)，標準差(Sd)，答對率(P)，及難度(Pd)，區(qū)分度(Rbis)反映出信度的高低，更可以通過計算R11和信度系數(shù)α來確定信度值的高低范疇。單就重要指標來說，首先是答對率，多項選擇題的答對率以0.6左右為好.難度(Pd)的取值范圍在1～25之間，13為理想值;理想的R11要求達到0.9，合格的信度取值在0～1之間;α值達到0.80最佳。宏觀的區(qū)分度為Rbis，通常Rbis≥0.3定為考試的質(zhì)量分析指標之一(李筱菊，2001:126－128).依據(jù)以上的各項指標，從表1可以看出，08級試做的三套題目信度良好，雖然難度系數(shù)Pd，R11和α未到達理想值，但是三套試卷的質(zhì)量是過關(guān)的.試做為我們提供了詳實的數(shù)據(jù)和難得的經(jīng)驗.表2顯示，09級經(jīng)修改重組試測的八套卷的各項質(zhì)量控制指標都達到要求。題目數(shù)量增大(聽力和詞匯與語法結(jié)構(gòu)部分各增加了10題，使客觀題總數(shù)達90題)，難度系數(shù)提高但試卷質(zhì)量更優(yōu)，關(guān)鍵指標R11已接近0.9的理想值，α值也達到0.80或者近似0.8的最佳水平，Rbis全部超過≥0.3的合格標準?？梢哉f09級試測的八套卷信度更高。

表2 09級八套試測客觀題目客觀信度數(shù)據(jù)(90分)

表2顯示，信度參照指標說明試卷具有可靠性，試卷的測試結(jié)果具有較高的可信度。然而效度對于我們的摸底考試至關(guān)重要。無論08級的試做還是09級的前測其信度指標旨在為考試效度驗證提供理論指導和方法框架。測試分數(shù)在多大程度上準確代表了受試者的語言能力是我們最為關(guān)注的問題:它表明測試與測試目標的關(guān)聯(lián)程度。效度高的測試說明測試在內(nèi)容和結(jié)構(gòu)等方面達到了測試和學生語言能力的高度結(jié)合，而效度低的測試則不能反映出學生的真實語言能力(周世界2009)。構(gòu)想效度一方面指測試測到理論假設(shè)的某種特質(zhì)的程度，另一方面指測試能夠證實的理論本身的合理性和有效程度。構(gòu)想效度在操作方面的主要挑戰(zhàn)仍然是語言能力的定義問題 (Bachman，1990)。因此效度驗證十分必要，本文主要依據(jù)前測試卷中的聽力數(shù)據(jù)結(jié)果，在構(gòu)想效度概念下，對客觀試題從實證的角度進行效度驗證。

(二)聽力題型設(shè)計

如前所述，學生的英語綜合應(yīng)用能力是入學測試考察的重點，題型設(shè)置是關(guān)鍵。為了提高考試的效度，試卷中主要通過加大聽力和閱讀應(yīng)用型語篇的權(quán)重得以體現(xiàn)。寫題的原則更是突出能力考查。目的是通過測試對象在有限的測試任務(wù)樣本中的表現(xiàn)推斷出測試對象的語言能力。聽力題型的設(shè)計側(cè)重在創(chuàng)建真實情景下測量受試者語言的交際能力，即在正常真實的交際環(huán)境下學生能否聽懂對話、獨白等各種類型的材料，能否提取材料大意和重要細節(jié)，明白說話人言外之意，推斷類型、語用含義和語言的社會語言恰當性等。相比08級試做題目的專人朗讀錄音，09級試測的音頻內(nèi)容盡量采用真人真語來營造真實的場景以突出真實生活的特征，如廣播電視的新聞播報，訪談或現(xiàn)場節(jié)目等。確保聽力測試任務(wù)的真實性、明確目的語使用場景的聽力需要來實現(xiàn)聽力測試構(gòu)想，是使聽力測試具有效度，尤其是構(gòu)想效度的重要保證(何勇斌2005)。

為了準確把握每道題目的質(zhì)量和層次，我們對即將入庫的備選篇章每一篇每一題都做了如下的記錄(見表3)。這樣的記錄統(tǒng)計一目了然，對后期的題目效度研究大有裨益。聽力篇章的最后一篇，題目相對難一些。偏重選擇實用性材料。對理解的要求會更高:需要綜合概括或間接推斷才能獲取信息。本文主要以這8篇的32個題目為藍本，用定量的方式提供解釋依據(jù)。

表3 備選篇章信息記錄樣卡

三、結(jié)果分析

驗證學生對英語應(yīng)用型題目的把握程度，就是將聽力實用型篇章及題目作為目標參照，將其測試結(jié)果與全套試卷及聽力II做宏觀和微觀的數(shù)據(jù)分析對比。第一步先利用相關(guān)證據(jù)對試卷外部結(jié)構(gòu)進行整體效度剖析。假設(shè)整套題與聽力II有明顯相關(guān)性，聽力II又與各大題呈顯著相關(guān)，就揭示考卷各大題之間具有同質(zhì)性，證明試卷考到了它要考的構(gòu)念，即考卷效度高。第二步再通過題目答對率，區(qū)分度，難易度這些指標對內(nèi)部數(shù)據(jù)進行梳理。如果整套題的難易度與聽力II的難易度以及備選篇章題目的難易度大致相當，三部分的答對率變化幅度不大，則說明加權(quán)的應(yīng)用型題目對于部分學生是可接受的。另外如果數(shù)據(jù)顯示宏觀區(qū)分度，，篇章各小題區(qū)分度以及答案項答對率都達到質(zhì)量控制指標要求，從構(gòu)想效度的角度觀察則說明分數(shù)意義的一致性程度高，因而對目標行為推測的可信度也就較高，推論的結(jié)果也就具有說服力，從而印證了我們的測試構(gòu)想:即學生在入學初始已顯現(xiàn)或者具備一定的英語應(yīng)用能力。

(一)相關(guān)性分析

表4 相關(guān)數(shù)據(jù)統(tǒng)計

表4反映出聽力II`和整套題的相關(guān)度最低0.65，最高0.84，說明每套題的聽力II與總分都呈強相關(guān)，考得是同一構(gòu)念，完全體現(xiàn)了考試凸顯應(yīng)用能力的宗旨。此外還可以看出聽力II與聽力I相關(guān)度在0.33～0.55之間，與語法在0.40到0.63之間，與 Cloze的相關(guān)度在 0.3～0.63之間，與閱讀 1在0.33～0.58之間(閱讀2是我們課題的實驗性嘗試，包括5段公共場所閱讀資源，每段一題一分，共5分。這里只列表)，說明它們既不是強相關(guān)，也不是相互獨立，各項之間相互有關(guān)聯(lián)，但又不互相包含，意味著這幾部分在考同一個構(gòu)想時有其獨立性。揭示出各大題均考到預(yù)設(shè)的內(nèi)容，考點有別于其他大題。所有這些相關(guān)證據(jù)都表明前測的八套試卷具有構(gòu)想效度，即在測試語言應(yīng)用能力上具有有效性。同時聽力II與各大題之間的這種趨同關(guān)系也證明考卷考到了學生的應(yīng)用能力。測試題目和所假設(shè)的語言能力基本吻合，即測試有良好的效度。

(二)測試分數(shù)的描述統(tǒng)計結(jié)果

題目的區(qū)分度是反映題目質(zhì)量的一個重要指標。區(qū)分度可以反映出測試內(nèi)容能否把被測試者中高水平考生的和低水平考生區(qū)分開來。其質(zhì)量合格指標是≥0.3，越高越好。表5中聽力II宏觀區(qū)分度Rbis全部合格，多數(shù)趨于≥0.5的理想值，說明篇章聽力具有不錯的區(qū)分度，能區(qū)分出中高水平學生和成績偏弱的學生。

答案項區(qū)分度rbis，的合格指標也是≥0.3，32題中系數(shù)超過0.6有5題，0.5 ～0.59 有8題。0.4～0.49 有10 題，0.3～0.39有6題，0.24～0.28有3題。除了這3題需謹慎對待外，其余的每一題都可以判定中高水平考生對應(yīng)用型題目的解答好于偏差的考生。答案項平均分m的數(shù)值幅度為1～25，大于14為佳，除2題未達標，其余30題均達到要求，從一個側(cè)面反映出答對題目的學生對這種應(yīng)用型題目已基本掌握，顯示他們具備一定的英語應(yīng)用能力。

表5還反映出，整套的難易度Pt同聽力II難易度Pi以及篇章各小題難易度Pd大致相當，32個小題中有一半達到或超過13的理想值。說明至少有50%學生答對最后一篇一半以上的題目。說明部分中等程度的學生也能夠應(yīng)付具有一定難度的題目。從答對率分析，聽力II絕大多數(shù)都超過60%理想比率，跟表2中整套題的答對率大致相當。答案項達到60%答對率的題目13個(占32題的40.6%)，達到50% 的7題，兩項加總就表明答案項答對率超過50%的題目達20題，占32題的62.5%。再次證明并不是單有程度好的學生才答對難題。具體到答案項答對率低于40%的9題，即F27，F(xiàn)29，G28，H29，I29，J28，J30，L27，L30，難易度 Pd 最低 14.45，最高17.99，無疑顯示它們統(tǒng)統(tǒng)都是困難度很大的題目，而題目的區(qū)分度卻表明除H29和J28未達到0.3的合格線外，其它7題區(qū)分度良好，9題答案項平均分m均保持在14.18至15.82之間，更加證明答對這些題目的學生并不是靠猜測得到答案而是真正會做。同時9道難題(占32題的28%)的答對率接近30%，將真正很棒的考生凸顯出來，也進一步說明這部分學生已經(jīng)具備一定的英語應(yīng)用能力。

構(gòu)想效度是分數(shù)解釋的證據(jù)基礎(chǔ)，它保證了分數(shù)解釋的合理性，使得以分數(shù)為基礎(chǔ)的理論推斷具備有用性(李清華)。同時效度又是一個多層面的整體概念，需要采用多維的、多層次的、多側(cè)面的證據(jù)支持。這些證據(jù)之間是互補而不是互相替代的關(guān)系。綜合以上分析可以推斷，聽力測試題目很好地反映出學生的語言水平，試卷具有很高的構(gòu)想效度，統(tǒng)計過程中所采用多種方法、多種指標，從不同角度都驗證同一構(gòu)想效度即考生已經(jīng)顯示或具備一定的英語應(yīng)用能力。

表5 測試分數(shù)的統(tǒng)計結(jié)果

H 卷 11.38 11.75 .62 .55 Pd 12.09 12.92 14.67 13.00 P .59 .51 .34 .50 rbis .62 .60 .27 .40 m 14.63 14.90 14.18 14.27 I卷 12.38 13.68 .43 .34 Pd 11.80 12.62 14.55 13.42 P .62 .54 .35 .46 rbis .39 .28 .60 .53 m 13.91 14.39 13.86 15.19 K 卷 10.89 11.86 .61 .43 Pd 5.70 12.74 9.07 11.29 P .97 .53 .84 .67 rbis .41 .44 .45 .42 m 14.01 14.30 14.89 14.45 J 卷 12.17 12.31 .57 .44 Pd 11.51 15.48 9.71 14.45 P .65 .27 .79 .36 rbis .45 .39 .57 .62 m 13.14 14.17 13.66 14.35 L 卷 12.24 12.83 .52 .40 Pd 17.99 14.49 11.26 9.60 P .11 .36 .67 .80 rbis .40 .32 .57 .48 m 15.74 14.33 14.25 13.66

四、結(jié)語

通過對摸底測試本身以及測試結(jié)果的信度效度檢測幫助教師認清學生英語綜合應(yīng)用能力的態(tài)勢是一項一舉多得的研究。首先創(chuàng)建一套科學可行試題庫實屬必要，而對入庫的題目進行試做試測更是必不可少，它使得符合各自學校校情的自建題庫更有目的性和針對性。其次，經(jīng)過效驗的數(shù)據(jù)結(jié)果對教師的教學無疑起到良好的引領(lǐng)作用。本研究就發(fā)現(xiàn)學生的英語應(yīng)用能力并非想象的差，相反有相當一部分學生已經(jīng)顯示了基本的英語應(yīng)用能力素養(yǎng)，還有部分學生已經(jīng)具備一定的綜合應(yīng)用能力。教師的責任應(yīng)該是如何將這種能力挖掘延伸使它們進一步發(fā)揚光大，而不是只在‘培養(yǎng)’上下功夫。同時我們也認識到，效度是一個相對的概念，它總是針對于一定的測試對象和目的而言的。作為一種間接的測量手段，通過抽樣的形式完成對學生語言能力的測試任務(wù)，因而，它不可能達到百分之百的準確。另外，經(jīng)審核合格的題目目前只是通過了紙質(zhì)考試檢測評估，最后還需采用項目反應(yīng)理論為數(shù)學模型建立CALT題庫，從題庫中選取符合受測者語言水平的題目進行測試，屆時或許可以更加迅速準確地估計受測者的語言能力水平，使得我們的研究得到進一步地完善。

［1］Alderson，J.C.，C.Clapham ＆ D.Wall.Language Test Construction and Evaluation［M］.Cambridge:CUP，1995.

［2］Alderson，J.C.＆ J.Banerjee.Language testing and assessment(Part Two)［J］.Language Teaching，2002，(35):79 －113.

［3］Bachman，L.F.Modern language testing at the turn of the century:assuring that what we count counts［J］.Language Testing，2000，17(1):1－42.

［4］Bachman，L.F.Statistical Analyses for Language Assessment［M］.Cambridge:CUP，2004.

［5］Bachman，L.F.Fundamental Considerations in Language Testing［M］.Oxford University Press，1990.

［6］Bachman，L.F，Palmer，A.Language Testing in Practice［M］.Oxford:Oxford University Press，1996.

［7］Cyril J.Weir Communicative Language Testing［M］.Prentice Hall，1990.

［8］J.Charles Alderson語言測試的設(shè)計與評估外［M］.北京:外語教學與研究出版社，2000.

［9］Douglas，D.Developments in language testing［J］.Annual Review of Applied Linguistics，1995，(15):167 －187.

［10］Shohamy，E.The relationship between language testing and second language acquisition，revisited［J］.System，2000，28(4):541－553.

［11］何勇斌.聽力測試的構(gòu)想效度及其實現(xiàn)［J］.外語教學，2005，26(3).

［12］李清華.語言測試之效度理論發(fā)展五十年［J］.現(xiàn)代外語(季刊)，2006，29(1).

［13］李清華.語言測試與效度驗證——基于證據(jù)的研究方法述介［J］.現(xiàn)代外語(季刊)，2007，3(2).

［14］李筱菊.語言測試科學與藝術(shù)［M］.長沙:湖南教育出版社，2001.

［15］李燕.計算機化口語考試的構(gòu)念效度研究［D］.廣州:廣東外語外貿(mào)大學，2005.

［16］李妍.語言測試的語言能力理論對認知因素的開掘過程［D］.北京:北京語言大學，2003.

［17］劉保權(quán).語言測試與跨文化交際能力研究的接口［M］.保定:河北大學出版社，2008.

［18］王立非.現(xiàn)代外語教學論［M］.上海:上海教育出版社，2000.

［19］汪順玉，劉世英.英語專業(yè)八級考試人文知識部分測試效度分析［J］.外語教學，2007，28(5).

［20］汪順玉.語言測試構(gòu)念效度研究［M］.成都:四川大學出版社，2009.

［13］魏紅梅.SPSS對語言測試題信度和效度的檢測分析［J］.四川教育學院學報，2007，(11).

［21］徐蔚.博士生英語運用能力測試的理論分析［A］.第二屆中國研究生教育學術(shù)論壇論文集［C］.2007.

［22］楊滿珍.20世紀90年代國外語言測試的發(fā)展［J］.外語教學，2002，(9).

［23］周世界，鹿學軍.以因子統(tǒng)計方法分析語言測試中的構(gòu)想效度［J］.大連海事大學學報(社會科學版)，2009，8(2).

［24］鄒申，楊任明.簡明英語測試教程［M］.北京:高等教育出版社，2000.

2012－05－23

海南省教育廳高校科學研究項目(Hjsk200927;Hjsk201230)

邢宏(1965－)，女，海南?？谌?，副教授。