叢曉
摘 要:本文對多維自適應(yīng)測驗(yàn)在教育測量中的應(yīng)用進(jìn)行了研究。研究表明,它可以提高測量效率。在測量精度不變的情況下,相對于一維自適應(yīng)測試,使用項(xiàng)目數(shù)目減少30%~50%,提高了測量效率。此外,又可以進(jìn)行多種能力的測量,說明它是一個(gè)非常有效的方法。
關(guān)鍵詞:計(jì)算機(jī)自適應(yīng)測試;項(xiàng)目反應(yīng)理論;多維自適應(yīng)測試;教育測量
一、前言
計(jì)算機(jī)自適應(yīng)測試(Computerized Adaptive Testing,CAT)根據(jù)學(xué)生對先前項(xiàng)目(item)的反應(yīng),選擇項(xiàng)目并提供給學(xué)生進(jìn)行測試。這種項(xiàng)目選擇程序的目標(biāo)是為學(xué)生選擇適合其能力水平的測試項(xiàng)目,主要優(yōu)點(diǎn)是從實(shí)質(zhì)上提高了測量的效率。測量效率即為測量精度與測試長度的比率。[1]
實(shí)際中,大多數(shù)CAT都使用一維項(xiàng)目反應(yīng)理論模型。然而,當(dāng)前教育測量理論都涉及學(xué)生的多種能力結(jié)構(gòu),因此,學(xué)者們又提出了多維自適應(yīng)測試(Multidimensional Adaptive Testing,MAT)的模型和理論。[2]MAT的優(yōu)點(diǎn)包括:第一,與一維測量模型相比,MAT更緊密地契合概念化的多重結(jié)構(gòu)理論模型與統(tǒng)計(jì)測量模型;第二, 與傳統(tǒng)測試或CAT相比,產(chǎn)生了減少項(xiàng)目數(shù)目和提高測量精度的效果。
二、多維自適應(yīng)測試的實(shí)施
MAT包括四個(gè)基本要素:多維項(xiàng)目反應(yīng)理論模型、項(xiàng)目選擇方法、測試終止準(zhǔn)則、能力估計(jì)方法。下面對這四個(gè)部分進(jìn)行詳細(xì)論述。
1.多維項(xiàng)目反應(yīng)理論模型
多維項(xiàng)目反應(yīng)理論模型指的是依賴于p個(gè)能力θ=(θ1,θ2,…, θp)對項(xiàng)目i(U1=1)的正確反應(yīng)概率,項(xiàng)
目涵蓋一個(gè)或多個(gè)項(xiàng)目參數(shù)。通常,使
用多維三參數(shù)logistic模型:P(U1= 1∣θ)=ci+ — ①
其中,ai'為(1×p)向量的區(qū)分度參數(shù),bi為難度參數(shù),ci為偽猜測參數(shù)。1是(p×1)向量在多維空間上的難度參數(shù)。
2.項(xiàng)目選擇方法
項(xiàng)目選擇方法是多維自適應(yīng)測試的核心,確定了如何從題庫中為學(xué)生選擇合適的項(xiàng)目。一般情況下,能力的極大似然估計(jì)在均值θ和方差(θ∣θ)=
I(θ,θ)-1上是漸進(jìn)正態(tài)的,其中I(θ,θ)是Fisher信息矩陣。
I(θ,θ)=-E(—) ②
假設(shè)所有潛在能力變量線性合并,并保持能力的權(quán)重不變λ=(λ1,λ2,…,λp)'
根據(jù)最小方差準(zhǔn)則,從題庫中選擇一個(gè)合適的項(xiàng)目,如下等式所示:
arg mini[Var(λ'θ∣θ)]=arg mini[λ'Var(θ∣θ)λ] ③
由于MAT選擇的項(xiàng)目僅考慮項(xiàng)目參數(shù)以及能力估計(jì)的標(biāo)準(zhǔn),所以選擇并呈現(xiàn)給學(xué)生的項(xiàng)目內(nèi)容可能不平衡。這可能會(huì)導(dǎo)致不同維度的精度不同,并可能會(huì)導(dǎo)致測量精度的整體損失。
3.測試終止準(zhǔn)則
采用的終止標(biāo)準(zhǔn)包括展示項(xiàng)目的數(shù)目、測量精度等,或者是多種方法的結(jié)合。多維自適應(yīng)測試常采用展示的項(xiàng)目數(shù)目作為終止標(biāo)準(zhǔn),這樣做可以達(dá)到增強(qiáng)與常規(guī)測試可比性的目的。而使用測量精度則在很大程度上依賴于所使用的項(xiàng)目池的特性。因此,對于MAT的應(yīng)用,應(yīng)該合并測量精度與最大測試項(xiàng)目數(shù)目和最小測試項(xiàng)目數(shù)目作為測試終止標(biāo)準(zhǔn)。
4.能力估計(jì)方法
在項(xiàng)目反應(yīng)理論中,本地獨(dú)立性假設(shè)意味著學(xué)生對于不同項(xiàng)目的反應(yīng)預(yù)期是統(tǒng)計(jì)獨(dú)立的,并用極大似然方法進(jìn)行能力估計(jì)。對于能力向量θ=(θ1,θ2,…,θp)估計(jì),為了保證收斂,通常使用Newton-Raphson方法或者Fisher的方法,直到達(dá)到一個(gè)或更多的終止標(biāo)準(zhǔn)。
三、總結(jié)
與CAT傳統(tǒng)測試相比,MAT可以大幅提高測量效率,在不損失測量精度的條件下,為考生展示的項(xiàng)目數(shù)目約為CAT的30%~50%。重要的是,MAT對具有多重結(jié)構(gòu)的高效率的能力測試是非常有效的方法。為把理論模型用于實(shí)際的測量開辟了新的階段,可以增強(qiáng)教育測量中測試得分解釋的有效性。
參考文獻(xiàn):
[1]Segall,D.O..Multidimensional adaptive testing.Psychometrika[J]. 1996,61(02).
[2]Pommerich,M.,&Segall,D.O.Local Dependence in an Operational CAT:Diagnosis and Implications[J].Journal of Educational Measurement,2008,45(03).
(作者單位:東北電力大學(xué)理學(xué)院)