張珺嘉

(大連外國語大學(xué) 英語學(xué)院，遼寧 大連 116044)

完形填空因考查受試者語言綜合能力一直存在于大型英語考試中，并可劃分為選擇性、填空性完形填空等類型。TEM4完形填空屬于選擇性這一類別，具有考查受試者語言基礎(chǔ)知識與語篇理解能力、評分客觀、效率高等特點。

效度作為語言測試的基本出發(fā)點，是衡量語言測試試題質(zhì)量的一個重要標準。內(nèi)容效度指測試內(nèi)容是否真實體現(xiàn)所要測量的內(nèi)容。Bachman將內(nèi)容效度劃分為內(nèi)容關(guān)聯(lián)性和內(nèi)容覆蓋面。內(nèi)容關(guān)聯(lián)性是指測試任務(wù)與測試目標是否具有相關(guān)性，內(nèi)容覆蓋面則是指測試任務(wù)是否具有代表性[1]。內(nèi)容效度研究對于命題者和考生都具有一定意義。

1 文獻綜述

目前，研究者們從考點(董曼霞, 2014)[2]、結(jié)構(gòu)(陳曉扣和李紹山, 2016)[3]、內(nèi)容(梅麗, 2010)[4]效度等方面對完形填空測試效度進行了研究。目前TEM4和TEM8研究主要圍繞2016年改革前的測試展開，缺少改革后完形填空新題型的歷時研究，而利用語料庫的研究更為缺乏。

測試內(nèi)容普遍來源于真實的語言文本。國內(nèi)學(xué)者利用語料庫開展效度研究的案例較少(鄒申和楊任明, 2008；穆惠峰, 2011；詹先君, 2015)[6-8]，語料庫的作用有待進一步挖掘和發(fā)揮。語料庫包含了語言使用過程中真實存在的語料，因此語料庫資源為語言測試的內(nèi)容效度研究提供了科學(xué)的依據(jù)[5]，具有良好的實踐意義。

本文的研究問題為：

(1) 2016—2019年TEM4完形填空所選文本是否具有相關(guān)性與代表性？具體特點是什么？

(2) 2016—2019年TEM4完形填空考點設(shè)計是否具有典型性？具體特點是什么？

2 研究設(shè)計

2.1 TEM4完形填空題型簡介

TEM4是一項針對我國英語專業(yè)大二年級學(xué)生的英語水平考試，既可以測試學(xué)生的綜合能力，又便于評估教學(xué)的質(zhì)量。根據(jù)2015年《關(guān)于英語專業(yè)四級考試題型調(diào)整的說明》，完形填空測試這一部分作出了以下調(diào)整：

(1)完型填空測試中共10處空白，每個空白為一題，要求學(xué)生從所給詞庫的15個詞匯中選擇最佳答案，改變了改革前四選一的命題方式。該題型的文本材料包含約250個單詞，題材為考生較熟悉的話題內(nèi)容且難度處于中等水平。

(2)測試時間由改革前的15分鐘減少到10分鐘。

以上調(diào)整要求命題者設(shè)計出較為全面檢測考生語言綜合能力的考點，即文章中10處空白與所給詞庫中15個詞匯。同時，材料的文本詞匯數(shù)量、題材、難度等方面均與考試說明相符。

2.2 語料選取

由于2015年外語專業(yè)教學(xué)測試委員會發(fā)出調(diào)整說明，故選取2016年專四完形填空試題作為研究起點，共4套試題。之所以選擇美國當(dāng)代英語語料庫(COCA)和中國學(xué)習(xí)者英語語料庫(CLEC)，是因為二者均包含書面和口語語料，可直接在線檢索，提供了相關(guān)詞匯及其搭配頻率，使研究結(jié)果更具科學(xué)性和說服力。CLEC由中國開發(fā)并包含中國學(xué)生的英語學(xué)習(xí)語料?；谶@些代表性較強的語料庫，將所給詞庫詞匯與國內(nèi)外英語語料數(shù)據(jù)庫的情況相匹配，通過頻率檢測試題考查的全面性和典型性。

2.3 數(shù)據(jù)收集與分析

首先建立微型文本語料庫，把2016—2019年專四的完形填空試題手工輸入電腦；結(jié)合考試說明，統(tǒng)計該文本材料的主要內(nèi)容、體裁和題材。隨后應(yīng)用AntConc 3.5.8這一語料庫檢索軟件統(tǒng)計文章長度和TTR(類符—形符比)，應(yīng)用word軟件的拼寫檢查項目選擇顯示可讀性。接著按詞類把詞庫中的全部詞匯分類，運用計算機語料庫資源比較COCA與CLEC中所顯示的數(shù)據(jù)。最后對詞庫中所考察的部分詞匯搭配進行顯著性檢驗。

3 研究結(jié)果與討論

3.1 文本材料的相關(guān)性和代表性

3.1.1 體裁和題材

由表1可知，文章體裁比較固定，說明文和議論文各占比50%。試題題材以科技類為主，占比50%；話題多樣性有待豐富，但較為貼合考生的日常生活。比如2018年試題從正面引導(dǎo)考生，提及的回報法則頗具實用性和教育意義，既幫助考生擴展知識面，又有益于樹立積極的情感態(tài)度以及正確的世界觀、人生觀和價值觀，有機統(tǒng)一語言測試目標與“立德樹人”教育理念。

表1 體裁和題材

3.1.2 文本詞匯

文本詞匯，作為顯示文本語言特征的一個組成部分，其重要性在統(tǒng)計中不言而喻。文本的詞匯密度一定程度上可以說明文本材料的詞匯難度，采用文本的類符數(shù)除以其形符數(shù)來計算。計算結(jié)果的值越大，說明文本密度越大，進而證明文本語言特征越復(fù)雜。

由表2可知，近4年詞匯密度在59.6%(2019年)到68.7%(2017年)之間；初步推斷2017年完形填空試題難度較大，2019年較小，其余2年較穩(wěn)定，約在65%左右。4篇文章長度在276—297詞之間，符合調(diào)整說明“約250詞”這一規(guī)定。

表2 文本詞匯

3.1.3 易讀度

易讀度可以表明文章易于理解的程度，與句子的長度、語法的復(fù)雜程度呈現(xiàn)負相關(guān)，即句子長度越長，語法復(fù)雜程度越高，文章更不易于理解。易讀度的值與文章難度也呈現(xiàn)負相關(guān)，即數(shù)值越大，文章難度越低，更便于讀者理解。本研究應(yīng)用了word文檔中的顯示可讀性功能對2016—2019年完形填空文本材料的易讀度進行統(tǒng)計，表3為Flesh易讀度參照量表。

表3 Flesh易讀度參照量表

統(tǒng)計結(jié)果如表4所示，改革后平均易讀度為50.35，介于難和略難之間。4篇易讀度的數(shù)值相差較大，每年難度值分布不均，應(yīng)給予較平均的難度考察。

表4 易讀度

3.2 考點設(shè)計的典型性

由表5可知，TEM4這一題型主要側(cè)重于考查動詞、名詞的掌握程度，同時也兼顧到副詞、形容詞和表示上下文邏輯關(guān)系的連詞的考查。從統(tǒng)計結(jié)果來看，更值得關(guān)注的是，到目前為止，代詞one被連續(xù)考查過2次。因篇幅有限，故利用語料庫對位列考點第一位的動詞搭配頻率進行分析。

表5 考點分布

以2019年考題為例，通過COCA語料庫對考查的4個動詞出現(xiàn)頻率做了統(tǒng)計。表6統(tǒng)計結(jié)果顯示，頻率高的H選項 making為180 560次，低的J選項resides僅達2 427次；個別低頻詞如38題J選項，則為所提供題庫中的正確選項。因此，該年考題中存在所考查的詞匯頻率不平衡的現(xiàn)象。此外，正確選項與干擾項出現(xiàn)的頻率不平衡。運用CLEC語料庫檢索發(fā)現(xiàn)選項 L和H、G和J的出現(xiàn)頻率比較接近，說明這兩題的干擾度可能均較高。這些詞在兩個語料庫中檢索結(jié)果不太一樣，COCA語料庫中語料多為小說、雜志和學(xué)術(shù)期刊；CLEC語料庫收集的語料以中國學(xué)生的作文居多，所以CLEC所包含的詞匯遠不如COCA豐富。鑒于以上兩個方面，可以初步判斷考點設(shè)計一定程度上缺乏典型性。

表6 正確選項(HJ)和干擾選項(LG)的頻率對比

為使研究更加嚴謹，通過卡方檢驗對比詞匯的出現(xiàn)頻數(shù)確定是否存在顯著性差異。若卡方檢驗所示數(shù)值α大于3.84，說明該考點詞匯的出現(xiàn)頻數(shù)在兩個語料庫間存在明顯差異。參照COCA，統(tǒng)計發(fā)現(xiàn)38題考點與自建TEM4完形填空文本語料庫的α值大于3.84，由此可見該考點的考查不具有一定的典型性，并對試題的內(nèi)容效度造成影響。

4 啟示與建議

4.1 針對TEM4完形填空命題

4.1.1 豐富文章的體裁和題材

這4年中，TEM4所涉及的完形填空文本體裁為說明文和議論文。今后，其他體裁也可納入考查范圍，盡量避免體裁單一。題材以科技類為主，較少涉及其他題材。今后的命題可以嘗試選擇其他話題的文本，拓寬考生的知識面，發(fā)揮專四測試對教學(xué)的反撥作用，加強考生的語言能力以及英語學(xué)科素養(yǎng)。

4.1.2 加強文章詞類考查的全面性并控制詞匯難度

近4年的試題考查動詞類最多，名詞、形容詞類次之。命題者今后可適當(dāng)平衡各種詞類的考查，兼顧實詞與虛詞的考查力度，盡可能全面考查所有詞類，加大干擾選項干擾力度。文章長度和文本詞匯均為影響文本理解的重要因素。文本越短，意味著文本提供的信息越少，若在同時過度增加生詞量的話，無疑會增加文章的閱讀難度。因此應(yīng)控制文章長度和文本詞匯的難度以保證歷年試題難度的穩(wěn)定性。

文本詞匯會影響考生對文本的理解。文本詞匯越少，說明材料提供的有效信息和解題線索越少。如果此時再增加生詞量，考生對文本詞匯的認知難度也會提升，進而不易于其閱讀理解。因此,命題者需要把握好文章長度、題庫所考察的15個詞匯以及文本材料的生詞量,以保證每年試題易于理解程度和答題難度的穩(wěn)定性。

4.1.3 運用語料庫提高考點設(shè)計的典型性

今后在設(shè)計考點時，命題者可以借助語料庫輔助設(shè)計出更具典型性的正確選項和更有效的干擾選項。比如，在動詞選項設(shè)置時可在國內(nèi)外大型語料庫中搜索，觀察該詞或者該動詞短語搭配的出現(xiàn)頻率，避免選取出現(xiàn)頻率極高或極低的詞匯或短語搭配，以便一定程度上提高試題的內(nèi)容效度，使考查更具有效性。

4.2 針對大學(xué)英語專業(yè)教學(xué)

4.2.1 提升學(xué)生語言能力

為了更好地發(fā)揮考試評價對大學(xué)英語專業(yè)教學(xué)重要的反撥和導(dǎo)向作用，大學(xué)英語專業(yè)教師應(yīng)該在課上拓展一定量的課外內(nèi)容，加強學(xué)生不同題材和體裁文章的閱讀，以促進學(xué)生各領(lǐng)域知識的學(xué)習(xí)。在課外，教師可以推薦如BBC、VOA等英語材料，擴大可理解性語言輸入，提升學(xué)生的綜合語言運用能力。

4.2.2 學(xué)習(xí)測試理論，利用語料庫提升測試的科學(xué)性

目前越來越多的專家和學(xué)者關(guān)注到語料庫在語言測試中的應(yīng)用。對于教學(xué)者來說，平時應(yīng)主動學(xué)習(xí)英語測試相關(guān)的理論知識，掌握試題編制的理論依據(jù)，可以閱讀《英語測試》《英語測試的理論與實踐》等專業(yè)書籍中有關(guān)正確項和干擾項的設(shè)置技巧、完形填空試題的設(shè)計等章節(jié)提高自己的理論素養(yǎng)，增強命題的科學(xué)性和有效性。

同時，語料庫也為測試研究提供了新視角。教師通過研讀語料庫文獻、了解基礎(chǔ)知識、熟悉基本操作、掌握語料庫檢索等方法，進一步應(yīng)用計算機資源輔助測試的命題，以保證試題的真實性，提高測試質(zhì)量。

5 結(jié)語

本文從所選文本的相關(guān)性與代表性、考點設(shè)計的典型性兩方面對TEM4完形填空測試進行了內(nèi)容效度研究。從文本材料的體裁和題材、文本詞匯以及易讀度考察了前者；通過統(tǒng)計及對比部分考點在COCA、CLEC語料庫中的頻率對后者作出了驗證。

實施測試效度研究對測試的可持續(xù)發(fā)展具有十分重要的意義[9]。內(nèi)容效度研究，作為效度研究的重要組成部分之一，可以推動未來測試命題質(zhì)量的提高。從2016年開始對TEM4的題型進行調(diào)整，由于該測試對于英專學(xué)生的重要性和影響力，因此對改革后的試題進行內(nèi)容效度研究非常必要。由于本研究僅考慮到從試題內(nèi)容角度而未從考生的答題角度進行效度研究，所以不能全面地證明該測試的效度。此外，僅分析了部分考點，所涉及語料較少。因此，本研究具有一定的局限性，有待今后深入研究。