高旭峰
(三峽大學 外國語學院,湖北 宜昌443002)
HSK(六級)考試信度和效度的評析
高旭峰
(三峽大學 外國語學院,湖北 宜昌443002)
語言測試是通過測試目標能力的表征行為,去推論目標能力。信度與效度是評價測試的兩個重要依據(jù),文章首先介紹了新漢語水平考試的背景、語言測試種類和對效度和信度的理解,并對HSK(六級)測試試卷的信度與效度進行分析得出,只有對主客觀題型在一定比例上的兼顧才能保證考試的可靠性與準確性。
HSK(六級)考試;信度;效度
為使?jié)h語水平考試更好地服務于漢語學習者,中國國家漢辦組織中外漢語教學、語言學、心理學和教育測量學等領域的專家,在允許充分調查、了解海外漢語教學實際情況的基礎上,吸收原有HSK的優(yōu)點,借鑒近年來國際語言測試研究最新成果,推出新漢語水平考試(HSK)。新HSK是一項國際漢語能力標準考試,終點是考察漢語非第一語言的考生在生活、學習和工作中運用漢語進行交際的能力。新HSK分筆試和口試兩部分,筆試和口試是相互獨立的。筆試包括HSK(一級)、HSK(二級)、HSK(三級)、HSK(三級)、HSK(四級)、HSK(五級)、HSK(六級);口試包括HSK(初級)、HSK(中級)、HSK(高級),口試采取錄音形式。
隨著漢語國際推廣形勢的發(fā)展,以及語言測試、對外漢語教學、語言學及應用語言學等學科的最新發(fā)展,HSK逐漸表現(xiàn)出等級分數(shù)劃分的不合理,主觀性考試所占的比重較小等一些不足。本文運用語言測試學的相關理論,從考試效度和信度的角度出發(fā),以HSK(六級)某次考試試卷作為樣卷材料來對HSK(六級)考試的信度和效度進行分析。
(一)語言測試的種類
從測試目的來看,語言測試主要可分為水平測試、等級測試、成就測試以及診斷性測試。無論我們采用哪一種類型,測試都必須是客觀的,有目的、有意義的,換言之,其信度和效度都必須得到高度的重視。正如Bachman所示,信度和效度是對語言能力測量的使用和說明的重要質素,“假如我們將對所給測試的分數(shù)進行說明,作為個人能力的標記的話,那么,該分數(shù)就必須是可信且有效的”(1990:24)。HSK考試屬于水平測試考試。
(二)語言測試的信度與效度
考試信度對于任何一種有效考試來說都是必不可少的。效度—信度的區(qū)分是語言能力的區(qū)分,也是標準與測試的區(qū)分。應該說沒有一種考試是完全依賴于信度與效度的。顯而易見,完全依賴信度的測試,是什么也測不出來的,而完全依賴于效度的測試,也是什么都不能測試的。簡單來說,信度是指一份試卷的測試結果在多大程度上具有一致性,即考試結果不受考試時間、監(jiān)考人員、考場等外在因素的影響。其實影響信度的因素有很多,諸如題目的質量問題,不管是主觀考試還是客觀考試,題目質量的優(yōu)劣直接關系到考試的信度;題目的難度也會影響到信度,此外,施考中的一些問題也會間接的影響信度,如考場紀律、考場周邊環(huán)境、考試要求等。衡量考試的另一個標準是考試效度??荚囆Ф染褪沁_到其預期測試意圖的程度。效度是指一份試卷能在多大程度上滿足考察的目的。它是針對某一目的來正確解釋和使用分數(shù)的問題。假如一份試卷同時考查數(shù)種語言技能或考查內容超出了考查目的,那么其效度就大大降低。簡單說,也就是考試是否考了要考和想考的內容。在分別討論了考試的信度與效度后,那么我們來看一下它們之間又有什么關系呢?如前所說,信度指的是考試結果的可靠性;效度指的是考試達到預定目的的程度。一個考試有時可能信度很高,不一定效度也高,但是要具有效度的話,首先必須具有信度??偠灾?,對于考試來說,信度與效度都是必不可少的:信度是保證效度的基礎;撇開效度只談信度是沒有實際意義的。
(一)HSK(六級)介紹
HSK(六級)考查考生的漢語應用能力,它對應于《國際漢語能力標準》五級、《歐洲語言共同參考框架(CEF)》C2級。據(jù)HSK(六級)考試大綱要求,通過HSK(六級)的考生可以輕松地理解聽到或讀到的漢語信息,以口頭或書面的形式用漢語流利地表達自己的見解。HSK(六級)成績報告提供聽力(100)、閱讀(100)、書寫(100)和總分四個分數(shù)??偡?80分為合格。
(二)HSK考試測試的信度
從試題的角度來說,首先,HSK(六級)測試的題量較充足。從理論上說,題量越大,抽樣越多,信度就越高。HSK(六級)考試內容共101題,分聽力。閱讀和書寫三部分。其中有100題均為選擇題(客觀題),只有一題為主觀題。它在135分鐘內要求受試者做完個200個得分點,再加上一篇作文,這對HSK(六級)測試信度有較大的保證。
從測試實施的角度來看,HSK(六級)測試實施的各種條件對所有受試者是一致的。每年全國在六月和十二月統(tǒng)一的時間舉行兩次測試,其操作方式、聽力時間等都是一致的,當然,并不能排除個別考場的突發(fā)事故。但總體上這并不影響確保HSK(六級)測試的信度。
從評分的角度來看,HSK(六級)測試有嚴格一致的評分標準,再加上客觀題比例大,便于機器閱卷,成績(得分)毫無人為因素,并且主觀題的比例不大(只有一篇作文)在分數(shù)這個問題上穩(wěn)定性相對不會過于偏差。這也是這項測試的最大優(yōu)點,極大地保證了其信度。
(三)HSK(六級)考試測試的效度
關于效度分析,筆者想從以下這兩方面進行分析。
一是從試題設計。一方面,結合整個考試試題,該試卷設計共有100題為選擇題,一題為主觀題。從題型設計上就缺少效度,因為選擇題存在蒙題和猜題的可能性,所以這樣并不能考出實際想考知識的學生的掌握情況:另一方面,從題的考試類型上并沒有達到他所提出的大綱要求:即通過考試學生可以口頭或書面的形式用漢語流利地表達自己的見解的目的。因為考試內容分閱讀、縮寫和聽力,但是其中聽力和閱讀都為客觀題,同樣也是有蒙題的可能性存在,所以學生的所得分數(shù)并不能代表他已經(jīng)掌握了該項知識。例如聽力有50個題目,如果一個學生做對了40個,其中不乏很多是舞弊或是猜測等方式所得,因此并不能夠實際測試到學生的聽力能力。從而該級考試的效度也就得不到保證。
二是從考試題型。在此筆者主要認為閱讀這一題型設計缺少效度。在閱讀這一大題中,主要分為四小部分。其中前兩部分筆者認為缺少效度,因為他并沒有考所要考的知識。大家都知道閱讀題項的設置,是為了測量考生的閱讀理解能力。但是這兩部分和閱讀能力并沒有相關的聯(lián)系。下面將以實例為證。
例一:第一部分 請選擇出有語病的一項(正確答案是D)
51.A.他突然提出辭職,讓我們感到很意外
B.矛盾的童年生活,是他創(chuàng)作《春蠶》的源泉
C.勞動時間縮短,是大眾旅游得以發(fā)展的基本條件
D.他除了班里和學生會的工作外,還承擔了廣播站的主持人
這是選自HSK(六級)某次考試試卷的一道題目,題目中有四個選項要求考生選出有病句的一項,在這個題目中,其中D項是有語病的一項,因為承擔要和……的工作搭配,其實這是考察學生對漢語句子語法知識的掌握,和閱讀理解并沒有太大關系。閱讀,顧名思義就是通過閱讀理解文章或所讀內容大意。就我們的常識來講,通過這四個句子,我們都可以理解到每句所表達的意思,盡管答案D是一項語病句,但是它并不會影響人們獲得該句話的含義。因此該項題目的側重點并不是考察學生的閱讀理解能力,而是對漢語的語法知識的掌握。
例二:第二部分 選詞填空
61.椅子的舒適問題,只要設計時考慮人體結構的( ),便可以解決。設計一把椅子而()了人體的結構,就像設計蛋盒而不顧蛋的()。(正確答案是A)
A.特征 忽略 形狀
B.本質 忽視 形態(tài)
C.特點 忘記 外觀
D.構造 違反 外貌
這同樣也是選擇HSK(六級)某次考試試卷中閱讀第二部分的一道題,題目要求考試選詞填空,這道題其實考的是漢語詞語的搭配和近義詞的區(qū)分,并用排除法也可以直接選出,和閱讀無太大關系。
從以上兩例,可以得出整個試卷的效度難以得到保證。在閱讀題項中,其中第一部分和第二部分的題型缺少效度。
以上分別從HSK(六級)測試信度與效度的角度評析了其信度和效度。在客觀上,測試的信度與效度并不總是保持一致,而常常出現(xiàn)矛盾的一面。其一,語言測試檢測的是語言運用能力(HSK測試也是如此),而能力是不可數(shù)的,不能用數(shù)字加數(shù)量單位表示。這樣,若將測試設計成定量型的,則信度高,效度低;若將試題設計成定性型的,則效度高,信度低。HSK(六級)測試大體上屬定量型的。其二,HSK(六級)測試中99%的測試點都是“對”與“錯”這種兩分判斷,而只有1%的主觀試題,即能體現(xiàn)受試者英語的得體性、流利性、有效性。從理論上講,語言的運用不能單純用對或錯來衡量,應該反映受試者語言熟練程度。從這個意義上講,HSK(六級)測試的效度低。
像其它所有語言測試一樣,HSK(六級)測試的信度也比較容易獲得有關數(shù)據(jù),因而容易確定;相比之下,其效度則顯得抽象些,難以獲得確切數(shù)據(jù),因而比較難確定。筆者建議一方面可以將客觀考試主觀化,將閱讀部分的第一部分題直接以改錯形式出現(xiàn),要學生找出病句的問題之處,并改正。這樣可以避免猜題現(xiàn)象,并且改錯和學生的實際知識水平相聯(lián)系,知識的掌握直接決定題目的正誤;另一方面,可以涉及一些情景對話的題目,因為既然要考學生的實際應用能力,就可以在語言中交流得以體現(xiàn)。總而言之,一套試題中兼有客觀題與主觀題,且主客觀題的比例適中,才能保證考試的可靠性與準確性,增強測試的目的性,從而提高測試的質量。
[1]BACHMAN,L.F.Fundamental Considerations in Language Testing [M].Oxford University Press,1990.
[2]阿蘭·戴維期著.語言測試原理[M].北京:經(jīng)濟科學出版社,1997.
[3]國家漢辦.新漢語水平考試大綱 HSK(六級).北京:商務印書館,2001.
[4]宋瑩.關于留學生HSK考試的分析與研究[J].科教縱橫,2008,(8).
[5]謝小慶.關于HSK(初中等)長度適當性的研究[J].語言教學與研究,1999,(1).
[6]鄒申,楊任明.簡明英語測試教程[M].北京:高等教育出版社,2007.