朱麗瑤（上海交通大學，上?！?00240）

口語能力量表研究
——以大學英語四、六級口語考試評分量表為例

朱麗瑤
（上海交通大學，上海200240）

摘要：大學英語四、六級口語考試（CET-SET）是國內大規(guī)模的、面向非英語專業(yè)大學生的計算機口語水平考試。本研究以CET-SET為例，探討英語口語評分量表的實證性研究及改進建議。本實驗就樣本的口語表現展開結構化訪談，探討對評分員口頭報告分析總結得出評分標準及子評分標準，與現有CET-SET量表的差異、評分標準重要性排序、整體評分與分項評分對比等主要問題。

關鍵詞：CET-SET口語表現評分量表評分標準

一、引言

在過去的半個世紀中，英語作為第二語言的測試受到社會各界如語言教學測試機構、移民局、語言學者的廣泛關注。最早的語言能力測試量表是由美國外交學院（Foreign Language Institute，以下簡稱FSI）制定，旨在對口語表現的評判給出指導。FSI量表對語言量表后來在美國、歐洲、澳大利亞、加拿大、日本等國家的發(fā)展產生影響，其中目前影響范圍最廣的是歐洲共同框架（Common European Framework of Reference for Languages-Learning，Teaching，and Assessment，以下簡稱CEFR），該量表旨在統(tǒng)一歐洲的語言能力等級標準。國內的英語測試領域目前無統(tǒng)一的語言能力量表，各量表也主要出現在不同的教學大綱中，如《高等學校英語專業(yè)教學大綱》、《大學英語課程教學要求：試行》等。目前國內最大規(guī)模之一的英語口語考試是四、六級口語考試（College English Test-Spoken English Test，以下簡稱CET-SET），由CET-SET考委會于1999年正式實施，主要面向于英語四級筆試高于500分或者六級筆試高于425的考生。在過去的十多年中，CET-SET已由傳統(tǒng)的面對面的考試形式逐漸轉為機考形式，目前的機考閱卷中評分員對考生在機考中自我回答問題及雙人討論環(huán)節(jié)的表現評分，CET-SET的評分量表在過去的十多年中一直未有任何改動。現有的CET-SET量表是由考委會專家們參考國外其他口語量表，通過直覺法制定評分標準及描述語的。盡管目前對該量表是否準確地描述并區(qū)分了考生的口語表現有些擔憂，然而，對于CET-SET量表的評分標準及描述語的實證性研究及改進的研究非常少。目前關于量表構建的主要研究都集中在通過定量研究的方法研究評分員一致性方面（Lado，1961；Fulcher，2003；Shohamy，1983；Morrison &Lee，1985）。本研究通過定性研究評分員在結構化采訪中對口語表現及評分量表的觀點和評論，對現有CET-SET評分量表作出實證性研究及提出改進建議。

二、研究背景

一直以來，口語能力都被認為是英語聽說讀寫四項技能中最難測量的?？谡Z考試是測量考生使用目標語言進行口語交際的能力。一般認為，口語水平主要從詞匯、語法、發(fā)音、流利度和社會語言學五個方面考慮。Bachman，楊慧中，Luoma都在交際語言能力中提到了口語能力有如下特征構成：語言應用能力，如語音、詞匯和語法結構的準確性；話語組織能力，如連詞的使用、語句長度、句子及段落間的銜接；社會語言學能力，如交際的適切性、有效參與討論、交際策略的使用。Higgs和Clifford的研究表明，評分員在對不同等級的口語考生評分時，對評分量表五個方面的側重不一樣，提出了一個各評分標準的相對貢獻模型。如在給所有口語等級的考生評分時，詞匯和語法兩個評分標準的重要性都是第一位的，但是隨著口語能力的提高，其他評分標準如發(fā)音、流利度、社會語言學也越來越重要。

評分量表主要分為整體評分量表和分項評分量表，整體評分量表是對口語表現給出一個整體印象分，分項評分量表對口語表現的不同方面 （一般是3-5個方面）給出不同分數。一般而言，整體評分信度高，分項評分效度高。CET-SET整體評分量表給出了A、B、C、D四個等級及相應的等級描述語，分項評分量表給出了準確性和范圍、話語的長短和連貫性、靈活性和適切性三個評分標準及相應的描述語。

口語量表的開發(fā)主要有三種方法，即直覺法、定性法、定量法。直覺法憑借在語言測試領域有豐富經驗的一組專家的認知，參考已有的教學大綱、考試量表而設計，如目前的CET-SET量表制定采用的是直覺法。定性法要求專家們分析報告描述語或者樣本口語表現，如王海貞開展了一項關于全國英語專業(yè)四級口試 （TEM4-Oral）評分員對評分標準的理解和使用研究，對收集到的24名TEM4-Oral評分員在評分時的口頭報告數據進行定性分析。定量法基于大樣本數理統(tǒng)計，如Fucher通過統(tǒng)計并回歸分析口語表現中各種流利度特征出現的頻率，判斷哪些因素對考生成績有顯著性影響。Milanovic，Saville和Shen采用了項目反應理論證實評分員能否準確區(qū)分量表上不同等級考生的口語表現。

通過回顧目前國外廣泛使用的英語語言量表，如美國的ACTFL量表、加拿大的CLB量表、澳大利亞的ISLPR量表，了解國內主流量表的背景及構建特點，如目前語言量表領域影響范圍最大，被各種課程大綱、考試等參照的CEFR量表的構建，以Bachman的交際語言能力為理論，通過開展大范圍的定性和定量研究，對描述語池進行實證研究而完成。

三、實驗設計

本實驗挑選了六個經四、六級考委會專家給出整體等級分和各分項分，并曾作為評分員培訓材料的機考口語表現樣本，將樣本分為三組。第一組樣本由口語等級為C+（在實驗中編號為NO.1）和A（NO.2）的考生組成；第二組樣本口語等級分別為B+（NO.3）和A+（NO.4）；第三組樣本口語等級分別為B（NO.5）和C（NO.6）。由于獲取的實驗材料的有限性，每組樣本中的兩名考生在雙人討論環(huán)節(jié)并不是與組內的另一名考生互動，而是分別與本實驗未提及的其他考生互動。參加本實驗的評分員是九名有豐富大學英語口語教學經驗的老師（在實驗中分別編號為R1，R2等），每名評分員被邀請根據某一組的考生口語表現（如評分員R1，R4，R7評判第一組樣本的口語表現；R2，R5，R8評判第二組樣本；R3，R6，R9評判第三組樣本），在研究員的主導下展開結構性訪談。本實驗旨在探索三個問題：對評分員口頭報告分析總結得到評分標準及子評分標準，以及上述評分標準與現有CET-SET量表的差異、三個最重要的評分標準、整體評分與分項評分對比。

為了解實驗的可操作性，對實驗設計作出改進，在正式實驗之前展開了預備實驗，實驗形式為結構化采訪，實驗全程錄音，共邀請兩名評分員（R1和R2）分別參加。實驗過程共分六部，為了更好地開展結構性采訪，實驗中輔以PPT說明。第一步是向評分員介紹實驗的目的、CET-SET機考流程，了解評分員是否參加過CET-SET閱卷。第二步是請評分員（以R1為例）分別聽完第一組兩名考生（NO.1和NO.2）的口語表現錄音，作出兩位考生水平孰高的判斷，并給出清晰、詳細的理由說明為什么一名考生的口語表現比另一名考生好。第三步是提供給評分員CET-SET整體評分量表，要求評分員根據整體評分量表對剛聽到的兩名考生的口語表現分別給出等級，并說明在評分過程中，評分員可以使用“+”。第四步是提供給評分員CET-SET分項評分量表，要求評分員根據量表給出考生在三個標準，即準確性和范圍、話語的長短和連貫性、靈活性和適切性上的分項分。第五步是評分員被問到如下問題：上述評分量表上述評分標準是否覆蓋了評價學生口語能力的所有方面；評分過程中，有哪些上述評分量表未提到卻會影響對學生口語能力的評判的評分標準，并且指出評分中看重的三個評分標準。第六步是評分員被進一步問到更多開放性問題：對目前的CET-SET量表的建議；評價CET-SET評分的整體評分和分項評分；CET-SET考查了學生的什么能力；對本實驗的建議。預備研究的順利進行及經初步分析得出的數據有效性證實了正式研究的可實施性，同時預備研究的數據被納入后期分析討論中。

在完成了所有評分員的采訪后，對實驗錄音進行整理，實驗錄音時長平均為50分鐘。對數據的分析如下：首先對比評分員給出的分項分與整體分與樣本由CET-SET考委會專家給定的分數對比得出分數的差異，并結合評分員是否有CET-SET閱卷背景作出分析。為了回答本實驗的第一個問題，評分員闡述口語表現樣本中一考生優(yōu)于另一考生的原因被總結，并借鑒文獻綜述中所提及的口語表現特征、評分標準進行分類。然后，通過對評分員對CET-SET量表是否覆蓋了評分員對于口語表現特征的分析，總結評分員評分信念與現有CET-SET量表的差異。為了回答第二個問題，評分員對于三個最重要的評分標準的觀點被一一總結并以表格的形式呈現，并附上該評分標準是否被現有CET-SET標準覆蓋。除此之外，評分員對現有CET-SET量表的建議也被分析。為了回答最后一個問題，評分員對整體評分及分項評分的觀點也被一一總結。

四、分析與討論

分數分析評分員根據CET-SET分項評分量表提出的準確性和范圍、話語的長短和連貫性、靈活性和適切性三個方面，對口語表現的分項評分，根據CET-SET整體評分量表，對口語表現的等級評分，與CET-SET考委會專家組給定的分數存在差異。將所有評分員給出的分項分進行加權匯總轉換為18個等級分，與CET-SET專家給定的整體分進行對比，共有3個等級分完全一致，13個等級分相隔半個等級（如A和B+相差半個等級），2個等級分相差一個等級（如B和C相差1個等級）。一般認為，相差半個等級以內的評分是有效的，因此評分員分項評分的加權匯總等級分的有效率高達88.9%。將評分員給出的整體評分與CET-SET專家給定的整體分進行對比，評分員整體評分的有效率高達83.3%。結合評分員的背景，對比評分員的評分與專家評定分數，得出評分員是否有CET-SET評分經驗對評分一致性沒有影響。

五、評分標準及子評分標準的分類

通過同時參考Higgs和Clifford，Bachman，楊慧中，Luoma對口語能力的界定，以及國外廣泛使用的口語能力量表，對評分員提及的口語表現特征的口頭報告進行分類，得出六個評分標準：（1）準確性包括發(fā)音的準確性、詞匯的準確性、語法的準確性、口誤；（2）范圍包括詞匯量大小、語法結構的豐富度；（3）話語管理包括流利度和語速、停頓和結巴、重復和自我糾正；（4）邏輯與銜接包括清晰的、有論據支撐的思維框架、句子間自然的過渡；（5）內容包括內容的豐富度、內容的深度；（6）交際策略包括交際的有效性、互動、交際技巧的使用。

六、評分員評分信念與CET-SET量表的差異

九名評分員中有七名認為現有的CET-SET量表未完全覆蓋口語表現特征。通過分析總結評分員對該問題的回答及對CET-SET量表的建議，可以得出內容是被提及次數最多的，其次是邏輯。評分員還指出交際策略一直被忽視，其中R2指出現有的CET-SET量表雖部分提及但并未重視交際策略，R7指出任務完成度是否可以作為綜合印象分的標準之一。

七、評分標準的重要性排序

通過分析總結不同評分員對最重要的三個評分標準的排序，可以得出評分員對于評分標準的重要性的差異非常大，并且與現有的量表所覆蓋的標準存在差異。總的來說，評分員提到的首先重要、其次重要卻與現CET-SET量表中未覆蓋的評分標準大體相同，主要是內容、邏輯、連貫性。評分員提到的再次重要卻在現量表中未覆蓋的評分標準與上面所提及的也大體相同，除了新增交際策略和認為完成度。

八、總體評分與分項評分

評分員在被問及對整體評分和分項評分的看法時，5名支持分項評分的評分員認為分項評分更加實用、易于操作、容易遵循、清晰易懂、更加客觀公正等；4名支持整體評分的評分員認為整體評分是整體印象分、在國際上被更多采納、適用于大型口語考試、口語表現特征本身不可分等。

九、結語

本實驗通過對評分員在采訪中口頭報告的定性分析，對現有的CET-SET量表展開了實證性研究，并對CET-SET量表的改進提出如下建議：（1）由于評分員的評分信念與現有的CET-SET量表的差異，建議將內容的深度和豐富度、邏輯和連貫性、交際策略整合到現有的量表中；（2）分項評分時評分員對不同方面的側重點不一樣，因此，在設計分項評分量表的時候應該考慮權重；（3）對評分員的培訓對提高評分員評分信念與量表的一致性很重要，Ingram就曾提到考試工具的信度很大部分取決于對評分員培訓的質量及評分員對量表的理解和使用；（4）整體評分量表的改進可以參照外國的口語量表如：ACTFL，CEFR等，使用更加詳細的描述語更加清晰地描述不同等級的口語表現。

參考文獻：

［1］Bachman，L.F.Fundamental Considerations inLanguage Testing.Oxford：Oxford University Press，1990.

［2］Fulcher，G.Testing Second Language Speaking.Pearson Education.2003.Higgs，T.V.&Clifford，R.The push Toward Communication，in Higgs，T.V.（ed.）Curriculum，Competence，and the Foreign Language Teacher，Lincolnwood，IL：National Textbook Co.，1982.

［3］Ingram，D.E.Reporton the Formal Trialling of the Australian Second Language Proficiency Ratings.Canberra：Australian Government Publishing Service/Department of Immigration and Ethnic Affairs，1985.

［4］Lado R.Language Testing：The Construction and Use of Foreign Language Tests.A Teacher’s Book.New York：Mc-Graw-Hill Book Company，1961.

［5］Luoma S.Assessing Speaking.Cambridge：Cambridge languageassessmentseries，2004.

［6］Milanovic，M.，Saville，N.andShen，Shuhong.A study of decision-making behavior of composition markers，in Milanovic，M.&Saville，N.（eds.）Studies in Language Testing 3：Performance，cognition and assessment.Cambridge：Cambridge University Press，1996．

［7］Shohamy，E.Rater Reliability of the Oral Interview Speaking Test.Foreign Language S，1983，16：3，pp.219-222.

［8］王海貞.全國英語專業(yè)四級口試評分員對評分標準的理解和使用.外語教學理論與實踐，2008（2）：33-39.

［9］楊惠中.大學英語口語考試設計原則.外語界，1999 （3）：48-57.