杜文博

摘 要： 本文利用SPSS統(tǒng)計(jì)軟件對(duì)建立好的一套認(rèn)知診斷閱讀測(cè)試題進(jìn)行信效度檢驗(yàn)。結(jié)果顯示：本套閱讀試題的信度為0.794，達(dá)到可接受信度0.7，試題的內(nèi)部相關(guān)性較高，并能區(qū)分不同水平的學(xué)生?；谏鲜霭l(fā)現(xiàn)，本試題可以用來(lái)對(duì)學(xué)生的閱讀水平進(jìn)行診斷測(cè)試。

關(guān)鍵詞： 認(rèn)知診斷 閱讀測(cè)試 信效度

1.研究背景

認(rèn)知診斷理論是認(rèn)知心理學(xué)與心理測(cè)量學(xué)相結(jié)合的新型心理測(cè)量理論。它旨在通過(guò)對(duì)學(xué)習(xí)者技能掌握情況的細(xì)致分析，為學(xué)習(xí)者提供有效的診斷反饋。（涂東波等2012）通過(guò)認(rèn)知診斷，對(duì)個(gè)體的評(píng)估不再局限于宏觀能力層面，而對(duì)個(gè)體內(nèi)部微觀認(rèn)知結(jié)構(gòu)進(jìn)行剖析，有助于人們更好地了解個(gè)體內(nèi)部心理活動(dòng)規(guī)律及加工機(jī)制，準(zhǔn)確發(fā)現(xiàn)個(gè)體的優(yōu)缺點(diǎn)，及時(shí)補(bǔ)救以促進(jìn)個(gè)體全面發(fā)展。（Lee et al.2009；關(guān)丹丹2009）

將認(rèn)知診斷應(yīng)用于英語(yǔ)閱讀測(cè)試旨在發(fā)現(xiàn)學(xué)生對(duì)不同閱讀技能的掌握情況，從而為他們提供針對(duì)性的補(bǔ)救措施。英語(yǔ)閱讀認(rèn)知診斷試題的構(gòu)建是實(shí)現(xiàn)診斷過(guò)程的重要步驟，試題的信效度的高低直接決定了它是否可作為診斷工具應(yīng)用于大規(guī)模診斷測(cè)試。因此對(duì)試題信效度的檢驗(yàn)尤為重要。本文研究的試題為西安交通大學(xué)PELDiaG課題組設(shè)計(jì)的一套具有診斷功能的英語(yǔ)閱讀測(cè)試題。該套試題分為三大部分，合計(jì)43道多項(xiàng)選擇題，每一道題包含若干認(rèn)知閱讀屬性。第一部分是一篇約800詞的泛讀題，要求學(xué)生快速瀏覽文章選出相應(yīng)答案。第一部分結(jié)尾設(shè)有兩道策略題，旨在了解學(xué)生完成該部分試題的技巧。第二部分為三篇精讀題，分別含有12道、5道和6道題目。第三部分為10道完形填空題，難度與四級(jí)試題相當(dāng)。整套試題的結(jié)構(gòu)見表。

2.相關(guān)理論

英語(yǔ)閱讀認(rèn)知屬性指的是被試在完成題目時(shí)采用的知識(shí)、技能、策略、思維過(guò)程、閱讀技巧等。通過(guò)對(duì)大量文獻(xiàn)回顧及理論指導(dǎo)，課題組定義了8種被試最常用的閱讀屬性，見表1。

“Q矩陣”是一個(gè)描述測(cè)驗(yàn)項(xiàng)目與屬性之間關(guān)系的矩陣，首先由Embreston提出，后經(jīng)Tatsuoka完善形成“Q矩陣?yán)碚摗?。本文采用的認(rèn)知診斷閱讀題共包含43道題目。經(jīng)7位專家標(biāo)注，形成屬性與題目之間的Q矩陣如下表所示。其中橫排為屬性，豎排為題項(xiàng)，并采用0/1標(biāo)注。0代表正確答對(duì)該題不需要掌握此屬性，1代表正確答對(duì)該題該屬性是必須掌握的。由于空間限制，部分矩陣予以省略。

根據(jù)信效度相關(guān)理論，本文提出如下假設(shè)：

1：試題的內(nèi)部一致性應(yīng)較高，Cronbachs alpha應(yīng)高于0.7。

2：試題的各組成部分應(yīng)該顯著相關(guān)。

3：試題應(yīng)能區(qū)分不同水平的學(xué)生，不同水平學(xué)生的作答情況顯著不同。

3.研究方法

為驗(yàn)證提出的假設(shè)，本文利用SPSS軟件對(duì)學(xué)生作答數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。參加閱讀測(cè)試的學(xué)生為西安交通大學(xué)非英語(yǔ)專業(yè)的本科生，合計(jì)401人。正確回答一道題得1分，合計(jì)41分。根據(jù)學(xué)生的作答情況，將學(xué)生分為高水平組（分?jǐn)?shù)大于28）與低水平組（分?jǐn)?shù)等于或低于28）

401份學(xué)生數(shù)據(jù)分組后，高水平組共215份，低水平組共186份。將學(xué)生數(shù)據(jù)導(dǎo)入SPSS軟件，進(jìn)行一系列統(tǒng)計(jì)分析：信度分析考察試題的內(nèi)部一致性。內(nèi)部相關(guān)性、因子分析及單維ANOVA分析考察試題的結(jié)構(gòu)效度。本文顯著性水平設(shè)為0.05。

4.數(shù)據(jù)分析及討論

試題良好的信度是效度的必要條件。本試題的Cronbachs alpha值為0.794，高于可接受值0.7。說(shuō)明本試題基本可靠，假設(shè)1得到證實(shí)。

試題結(jié)構(gòu)效度可通過(guò)試題各部分的相關(guān)系數(shù)，以及與總分的相關(guān)系數(shù)得出，見表。從表中看出，試題的三部分，泛讀、精讀和完形填空顯著相關(guān)。雖然三部分都測(cè)試閱讀，但所測(cè)屬性不同，我們期待它們之間的相關(guān)較低，在（+0.3，+0.5）的水平（Alderson，Clapham，& Wall，1995）。數(shù)據(jù)顯示三部分之間的相關(guān)系數(shù)在0.3左右。說(shuō)明三部分所測(cè)屬性分布清晰。其次，精讀與完型與總分的相關(guān)系數(shù)均高于0.7（分別為0.872，和0.753），說(shuō)明這兩部分在該試題中占有比重最大。本試題的效度可靠，假設(shè)2得到證實(shí)。

一套有效的試題應(yīng)該能夠區(qū)分不同水平組的學(xué)生。單維Anova分析顯示高水平組的平均分在三部分閱讀題中均高于低水平組。兩組在每一部分的變量都顯著不同。說(shuō)明該試題可以區(qū)分不同水平組的學(xué)生，見表5。

5.結(jié)語(yǔ)

根據(jù)信效度統(tǒng)計(jì)分析顯示，本試題的信度和效度可觀，所有假設(shè)得到證實(shí)。試題內(nèi)部一致性較高，三個(gè)子試題的相關(guān)性在可接受范圍內(nèi)，并能區(qū)分不同水平組的學(xué)生，該套閱讀認(rèn)知診斷試題可以用于診斷測(cè)試。

參考文獻(xiàn)：

[1]關(guān)丹丹.認(rèn)知診斷理論與考試評(píng)價(jià)[J].評(píng)價(jià)與測(cè)量，2009（4）：8-12.

[2]馬曉梅課題組.個(gè)性化英語(yǔ)學(xué)習(xí)診斷與指導(dǎo)系統(tǒng)實(shí)證研究與系統(tǒng)構(gòu)架概要[J].外語(yǔ)教學(xué)與研究，2008（3）：184-187.

[3]涂東波，蔡艷，丁樹良.認(rèn)知診斷理論、方法與應(yīng)用[M].北京：北京師范大學(xué)出版社，2012.

[4]Alderson，J.，Clapham，C.and Wall，D.1995.Language test construction and evaluation.Cambridge：Cambridge University Press.

[5]Lee，Yong-Won，& Yasuyo，S.Cognitive Diagnosis Approaches to Language Assessment：An Overview.Language Assessment Quarterly，2009，（6）：172-189.

[6]Rupp A.，Templin J.，Henson R.A.Diagnostic Measurement：Theory，Methods，and Applications[M].New York：The Guilford Press，2010.