□沈規(guī)利 宋春陽
漢語高級精讀測試信度分析
□沈規(guī)利 宋春陽
本文以留學(xué)生期末測試試卷和測試成績?yōu)榉治鰧ο?,采用SPSS軟件對試卷進行分析,主要包括試卷結(jié)構(gòu)、正態(tài)分布、信度、難度、相關(guān)性等,重點分析了試卷的結(jié)構(gòu)、信度、相關(guān)度,目的是為了評估該試卷的質(zhì)量及可靠性,也為反饋教學(xué)效果和科學(xué)編制試題提供依據(jù)。
試卷分析 信度 相關(guān)性
語言測試與評估是對外漢語教學(xué)的四大環(huán)節(jié)之一,對教學(xué)起著非常重要的作用。對學(xué)生來說,通過測試成績能夠客觀地評價自身的學(xué)習進展和成果,認識到自己有哪些方面的不足,然后調(diào)整學(xué)習。對于教師來說,成績測試結(jié)果在一定程度上反映了教學(xué)效果,可以了解到學(xué)生在成績測試中哪些是普遍薄弱的環(huán)節(jié),哪些是全班均掌握的知識技能。為了使語言測試更加科學(xué)合理,需要對試卷進行全面綜合的分析。
本文以上海交通大學(xué)留學(xué)生2015年6月高級漢語期末考試精讀試卷為研究對象,被試為35人,試卷共有67道題目。借助SPSS統(tǒng)計軟件,對試卷的結(jié)構(gòu)、試卷內(nèi)容、測試成績及試卷質(zhì)量分析如下:
(一)試卷結(jié)構(gòu)
表1:試卷結(jié)構(gòu)
本次考試的題目量為67,其中客觀題36題,包括選詞填空、選擇、填空、排序、選詞改句中的填寫成語部分,共計37分;主觀題31題,包括完成句子、選詞改句、改換句式、閱讀等,共計63分。主客觀題比例分布處于一個比較合理的比重范圍。
(二)試卷內(nèi)容
表2:試卷內(nèi)容
從表1、表2可以看出,本試卷總體設(shè)計比較合理,知識類試題占45%,理解類占23%,運用類占32%,從知識、理解和運用類題目比重來看,該試卷比較注重考查學(xué)生的理解運用能力,試卷的設(shè)計基本符合高級漢語大綱要求。
(一)測試成績的基本描述指標
考試成績的基本描述指標選擇算術(shù)平均數(shù)、中位數(shù)、標準差、偏度系數(shù)、峰度系數(shù)、最小值和最大值等統(tǒng)計量。見表3和圖1。
表3:試卷成績的統(tǒng)計描述部分指標
我們把35名學(xué)生的聽力總分進行了Q-Q圖檢驗。檢驗結(jié)果如下圖,從圖中可以看出,各點近似圍繞著直線,說明數(shù)據(jù)呈近似正態(tài)分布。
圖1:試卷成績頻數(shù)分布總分的正態(tài)Q-Q圖
(二)試卷的難度
適合本次統(tǒng)計分析的難度系數(shù)的計算公式為P=X/W,其中X為平均得分,W為滿分值。難度系數(shù)越大說明試題越容易;難度系數(shù)越小說明試題困難程度越高。對于期末考試,一般難度范圍應(yīng)控制在0.3~0.8之間。在統(tǒng)計出各大題平均分后我們可以計算出各個題型和試卷整體的難度系數(shù),如表4所示。
表4:試卷各大題和整體的難度
從表中可以看出,選擇、填寫關(guān)聯(lián)詞和選詞改句在0.8以上,屬于較容易的題型,其他題型基本符合難度范圍0.3~0.8之間,屬于正常難度的題型。上圖沒有低于0.3的題型,說明缺少難題??偝煽兊碾y度是0.7597,在正常的難度范圍內(nèi),但是數(shù)值偏高,說明總體來說題目偏容易。因此,試卷需要適當?shù)脑黾宇}目的整體難度,增加難題的數(shù)量,讓題目的難易分布更加合理。
(三)試卷各題型的相關(guān)性分析
本文對試卷的各個題型進行相關(guān)分析后發(fā)現(xiàn),總分與各題型的相關(guān)系數(shù)最高,均呈正相關(guān)且接近1。其他題型之間的相關(guān)系數(shù)較為復(fù)雜,有正相關(guān)、負相關(guān),也有趨近于0的不相關(guān)。選詞填空、選擇題、填空題都與閱讀有較高的相關(guān)性;排序題與所有題型的相關(guān)性都不高;完成句子與改換句式有較高的相關(guān)性。題目的相關(guān)性研究對試卷的編排有著重要的意義,應(yīng)該努力提高題型之間的相關(guān)性,讓試卷內(nèi)容整體上的聯(lián)系更加緊密。
表5:各題型之間的相關(guān)性
(四)信度分析
本次測試主要采用Cronbach的α信度系數(shù)法,表6為本次測試的信度系數(shù),其結(jié)果顯示α信度系數(shù)為0.718,基于標準化項的α信度系數(shù)為0.784,兩項數(shù)值均大于0.60,說明本次測試內(nèi)部信度較高,測試各部分反映了同一種能力。
表6:α信度系數(shù)
本次測試以漢語高級班期末考試成績?yōu)閷ο?,從統(tǒng)計數(shù)據(jù)中可以看出:試卷內(nèi)容結(jié)構(gòu)符合高級階段高級漢語的教學(xué)目標重點;試卷難度雖然偏低,但從另一方面說明學(xué)生對知識和技能的掌握較好;試卷和題型相關(guān)性較好,內(nèi)部信度較高,反映出所測能力的一致性。但學(xué)生的排序題分數(shù)較低,反映出語段表達能力有待提高。
[1]楊端和.語言研究應(yīng)用SPSS軟件實例大全[M].北京:中國社會科學(xué)出版社,2004.
[2]王萍,宋春陽.留學(xué)生漢語聽力試卷內(nèi)在信度相關(guān)因素分析[J].現(xiàn)代語文(語言研究版),2010,(7).
[3]劉潤清,韓寶成.語言測試和它的方法(修訂版)[M].北京:外語教學(xué)與研究出版社,2002.
[4]秦曉晴.外語教學(xué)研究中的定量數(shù)據(jù)分析[M].武漢:華中科技大學(xué)出版社,2004.
[5]陸曉紅.對外漢語成績測試試題設(shè)計研究[D].上海:華東師范大學(xué)碩士學(xué)位論文,2008.
(沈規(guī)利 宋春陽 上海交通大學(xué)人文學(xué)院漢語國際教育中心 200030)