汪文義,鄭娟娟,宋麗紅,胡海洋

(1.江西師范大學(xué)計算機信息工程學(xué)院,江西 南昌 330022;2.江西師范大學(xué)教育學(xué)院,江西 南昌 330022)

0 引言

認(rèn)知診斷評估(cognitive diagnostic assessment)是20世紀(jì)中后期興起的一種新的測驗方式,它以心理學(xué)、教育學(xué)為指導(dǎo),同時借助現(xiàn)代測量學(xué),對被試答錯的項目進(jìn)行深入分析與解釋,能夠分析被試對項目所考察的所有知識點(屬性)的掌握情況,基于此可以對癥下藥制定補救措施,加強短板的學(xué)習(xí).認(rèn)知診斷評估通常借助于認(rèn)知診斷模型(cognitive diagnostic model,CDM),根據(jù)設(shè)定好的Q矩陣,建立被試的屬性掌握情況與項目反應(yīng)之間的關(guān)系[1].

現(xiàn)有的認(rèn)知診斷模型有100種以上,主要分為簡化模型、飽和模型2個大類,其中簡化模型又分為補償模型和非補償模型,它們的最常用模型分別為DINO模型[2]和DINA模型[3],在飽和模型中最常用的模型為G-DINA模型.然而要想借助于認(rèn)知診斷模型實現(xiàn)認(rèn)知診斷,就必然離不開認(rèn)知診斷模型的參數(shù)估計方法,故參數(shù)估計對于模型的發(fā)展與實現(xiàn)有著非常重要的意義.

J. de la Torre等[4]將馬爾可夫鏈蒙特卡羅方法(Monte Carlo Markov chain,MCMC)用于高階DINA模型參數(shù)估計.J.L. Templin等[2]也將MCMC方法用于DINO模型參數(shù)估計.J. de la Torre[3]提出DINA模型EM參數(shù)估計算法并考查了EM算法的表現(xiàn),但沒有通過模擬研究去比較EM參數(shù)估計算法和MCMC參數(shù)估計算法的表現(xiàn).S. Sen等[5]對可用于DINA模型參數(shù)估計(EM方法)的6個軟件表現(xiàn)進(jìn)行比較,結(jié)果顯示各軟件表現(xiàn)基本相當(dāng).J. de la Torre[6]提出G-DINA模型及其EM估計算法.有研究將變分貝葉斯推斷方法用于DINA模型和G-DINA模型參數(shù)估計[7-8].

Zhan Peida等[9]為G-DINA模型(與對數(shù)線性認(rèn)知診斷模型LCDM等價)提供了MCMC估計的JAGS代碼.S.A. Culpepper等[10]基于數(shù)據(jù)擴張的MCMC方法,并采用吉布斯方法對屬性條件概率下的知識狀態(tài)進(jìn)行取樣,用于簡化的重新參數(shù)化融合模型參數(shù)估計,以提高M(jìn)CMC效率.隨后,Wang Juntao等[11]將其推廣用于G-DINA模型參數(shù)估計,然而也沒有與EM算法比較.Jiang Zhehan等[12]還使用MCMC的其他變形形式實現(xiàn)了G-DINA模型的參數(shù)估計.

通過對已有文獻(xiàn)分析發(fā)現(xiàn),這2類方法各有優(yōu)劣,如EM算法(或變分法)收斂速度較快,但會受初值影響且可能收斂到局部最優(yōu)值[8],而MCMC算法比較費時但不依賴于初值.于是,有必要在不同樣本量、不同測驗長度、不同題目質(zhì)量的條件組合下,對DINA模型、DINO模型、GDINA模型下的EM算法和MCMC算法的表現(xiàn)進(jìn)行系統(tǒng)比較.因為認(rèn)知診斷模型常規(guī)的EM算法(非變分法)可借助于各種軟件包(如R語言實現(xiàn)的CDM或GDINA)來實現(xiàn),并且JAGS代碼實現(xiàn)認(rèn)知診斷模型的MCMC十分簡單,所以,本文主要考慮在認(rèn)知診斷中常規(guī)的EM算法和JAGS代碼實現(xiàn)的MCMC算法,不考慮它們的其他變形方法.在簡要介紹了認(rèn)知診斷模型下的EM算法和MCMC算法后,通過模擬研究,在不同樣本量、不同測驗長度、不同題目質(zhì)量的條件組合下,在DINO模型、DINA模型和GDINA模型下比較了EM算法和MCMC算法的表現(xiàn),可供讀者根據(jù)不同條件為各個模型選擇最適合的參數(shù)估計算法.

1 模型與方法

1.1 認(rèn)知診斷模型

(i)DINA模型.確定性輸入噪音與門(DINA)模型是認(rèn)知診斷中運用最廣的模型,同時也是一種完全非補償?shù)恼J(rèn)知診斷模型,它要求被試需掌握項目所考察的所有屬性,缺少其中任何一個屬性都會降低答對項目的概率[6].DINA模型的項目反應(yīng)函數(shù)為

(ii)DINO模型.確定性輸入噪音或門(DINO)模型恰好與DINA模型相反,在該模型中被試只要掌握了項目考察的任何一個屬性就能正確答對該項目,即屬性間可以相互替代或補償[7].DINO模型的項目反應(yīng)函數(shù)為

1.2 EM算法

EM算法是一種迭代優(yōu)化策略,該策略在每次迭代中都分成了2個步驟:第1步是期望步,簡稱為E步;第2步為極大步,簡稱為M步.EM算法是數(shù)據(jù)挖掘經(jīng)典算法之一,它最初是為了解決在數(shù)據(jù)缺失情況下進(jìn)行參數(shù)估計的問題而提出的,后來被用于尋找在缺失數(shù)據(jù)統(tǒng)計模型中參數(shù)的最大似然估計或者最大后驗估計[9].

1.2.1 DINA、DINO模型的EM算法 通過上述介紹的EM算法,給定知識狀態(tài)αi,在條件獨立假設(shè)下(即同一被試對各個項目的作答是相互獨立的),被試在M個項目上的得分向量為Xi=(xi1,xi2,…,xiM),在N個被試的作答模式相互獨立假設(shè)下,得分矩陣X的條件似然函數(shù)為

將所有被試看成是來自同一母體,且給定屬性掌握模式的先驗分布為P(αc),αc∈Qs,其中Qs為知識狀態(tài)全集,如在含K個屬性的獨立結(jié)構(gòu)下Qs包含2K列,于是可得邊際似然函數(shù)(邊際分布)為

即在DINA和DINO模型上邊際似然函數(shù)表示為

1.2.2 G-DINA模型的EM算法 在G-DINA模型上邊際似然函數(shù)表示為

(1)

(2)

(3)

(4)

最后將式(2)～(3)求得的數(shù)據(jù)代入式(1)來求得極大似然估計值,進(jìn)而得到相對應(yīng)的項目參數(shù)估計值.

1.3 MCMC算法

MCMC是馬爾可夫鏈與蒙特卡羅方法的結(jié)合,即構(gòu)造合適的馬爾可夫鏈進(jìn)行抽樣并使用蒙特卡羅方法進(jìn)行積分計算,進(jìn)而使馬爾可夫鏈最后達(dá)到收斂平穩(wěn)的狀態(tài),Metropolis方法與W.K. Hastings的概括奠定了MCMC方法的基石[13-14].此方法在以π(x)為平穩(wěn)分布的馬氏鏈上產(chǎn)生相互依賴的樣本,即MCMC方法在本質(zhì)上是一個蒙特卡羅綜合程序,它的隨機樣本的產(chǎn)生與一條馬氏鏈有關(guān).基于條件分布的迭代取樣是另一種重要的MCMC方法,其中最著名的特殊情況就是Gibbs抽樣,它現(xiàn)已成為統(tǒng)計計算的標(biāo)準(zhǔn)工具,其最吸引人的特征是其潛在的馬氏鏈?zhǔn)峭ㄟ^分解一系列條件分布建立起來的.W.K. Hastings[14]推廣了Metropolis采樣法,在吉布抽樣中采用Metropolis采樣法對條件分布進(jìn)行抽樣,可以避免計算條件分布的正規(guī)化常數(shù)現(xiàn)象,被稱為MH within Gibbs[15].

本文在這3個模型下的MCMC估計均采取吉布斯的MH采樣法,通過Gibbs采樣法對未知參數(shù)的聯(lián)合后驗分布進(jìn)行分解,然后應(yīng)用MH采樣法對各個參數(shù)的全條件分布進(jìn)行取樣,以構(gòu)建未知參數(shù)后驗分布為平穩(wěn)分布的可逆的馬爾可夫鏈,從而進(jìn)行取樣,這樣就可以將取樣所得到的樣本分布近似為目標(biāo)分布,通過對近似分布推斷來實現(xiàn)參數(shù)估計.在DINA模型、DINO模型以及G-DINA模型上分別采用MCMC算法進(jìn)行項目參數(shù)估計,具體步驟如下:

(i)確立未知參數(shù)的聯(lián)合后驗分布為目標(biāo)分布(平穩(wěn)分布).在局部獨立性假設(shè)滿足情況下,DINA模型的聯(lián)合似然函數(shù)為

DINO模型的聯(lián)合似然函數(shù)為

GDINA模型的聯(lián)合似然函數(shù)為

在貝葉斯框架中,給定得分矩陣的條件,所有參數(shù)的聯(lián)合后驗分布(即平穩(wěn)分布)為

P(α,s,g|X)∝p(X|α,s,g)P(α,s,g)∝p(X|α,s,g)p(α)p(s)p(g),

P(α,δ|X)∝p(X|α,δ)P(α,δ)∝p(X|α,δ)p(α)p(δ).

在給定得分矩陣和其余參數(shù)條件下,各個參數(shù)的全條件分布為

p(α|X,s,g)∝L(α,s,g)p(α),p(g|X,α,s)∝L(α,s,g)p(g),p(s|X,α,g)∝L(α,s,g)p(s),p(δ|X,α)∝L(α,δ)p(δ),p(α|X,δ)∝L(α,δ)p(α),

αik～Bernoulli(0.5),s～Beta(1,1),g～Beta(1,1)∈

(ii)設(shè)定各參數(shù)初值,即按各參數(shù)的先驗分布生成參數(shù)初值.

(5)

(6)

將式(5)和式(6)計算出的轉(zhuǎn)移概率與隨機數(shù)r～U(0,1)進(jìn)行比較,若轉(zhuǎn)移概率大于等于r則接受轉(zhuǎn)移,否則不轉(zhuǎn)移.

1.4 知識狀態(tài)估計

在EM算法估計出項目參數(shù)后,可采用屬性的邊際后驗概率(MPPE/EAP)估計被試知識狀態(tài)(即被試i掌握屬性K的邊際概率),其計算公式為

知識狀態(tài)在MCMC算法中為未知的隨機向量,可直接從近似平穩(wěn)分布中所取的樣本計算均值,然后通過上述同樣的劃界分?jǐn)?shù)方法可得到被試在各屬性上的知識狀態(tài)估計,進(jìn)而得到估計的知識狀態(tài).

2 模擬研究

2.1 研究目的

在不同條件組合下,探討DINA模型、DINO模型和G-DINA模型下的EM算法和MCMC算法估計參數(shù)的表現(xiàn).

2.2 研究設(shè)計

考慮到4個主要的影響因素:3種類型認(rèn)知診斷模型(3個水平)、樣本量(在DINA模型和DINO模型上為2個水平,在GDINA模型上為3個水平)、題目參數(shù)(2個水平)、測驗長度(2個水平).所采用的Q矩陣如圖1所示,其中20題和30題分別對應(yīng)Q1、Q2,參照J(rèn). de la Torre等[4]的設(shè)定:在30道題目上考察5個相互獨立屬性,1～10道題考察了1個屬性,11～20題考察了2個屬性,21～30題與1～10題一樣只考察了1個屬性.樣本量在DINA模型和DINO模型上分別設(shè)定為500、1 000.考慮到G-DINA模型的復(fù)雜性,在該模型上的3個水平樣本量分別設(shè)定為500、1 000以及2 000.題目質(zhì)量分別設(shè)定了高質(zhì)量、低質(zhì)量2個水平的項目參數(shù),參照文獻(xiàn)[16]在DINA模型上猜測參數(shù)與失誤參數(shù)分別服從U(0.05,0.25)和U(0.05,0.40)的設(shè)定,并在此基礎(chǔ)上進(jìn)行細(xì)化,其中在DINA模型、DINO模型下高質(zhì)量題目參數(shù)滿足失誤參數(shù)s和猜測參數(shù)g都服從均勻分布U～(0.05,0.15),低質(zhì)量題目參數(shù)滿足失誤參數(shù)s和猜測參數(shù)g都服從均勻分布U～(0.25,0.35).而在G-DINA模型上,未掌握的概率與答對題目概率參數(shù)在高質(zhì)量水平下分別服從均勻分布U～(0.05,0.15)和U～(0.85,0.95),在低質(zhì)量水平下分別服從均勻分布U～(0.25,0.35)和U～(0.65,0.75).程序通過R語言編寫,其中EM算法使用Ma Wenchao等[17]所開發(fā)的GDINA包,MCMC算法使用JAGS來實現(xiàn)[9].

2.3 評價指標(biāo)

(i)采用偏差(fBIAS)、均方根誤差(fRMSE)和絕對偏差(fABS)指標(biāo)來考察參數(shù)估計的精度,這3指標(biāo)值越接近0說明估計精度越高,由估計精度的高低來評價參數(shù)估計的返真性.

(ii)運用模擬的平均屬性判準(zhǔn)率(attribute accuracy rate)來評價知識狀態(tài)判準(zhǔn)率,其值越高模型的表現(xiàn)越好,其計算公式為

2.4 實驗結(jié)果

表1～表4分別是EM算法與MCMC算法在DINA模型、DINO模型和G-DINA模型上的參數(shù)估計的偏差、均方根誤差以及絕對偏差.

從表1可以看出:在DINA模型上,無論哪種條件,EM算法的失誤參數(shù)都會對出現(xiàn)低估現(xiàn)象,而在DINO模型上卻相反,這可能跟模型本身類型有關(guān);同時在題目質(zhì)量低的情況下,在DINA模型和DINO模型上,EM算法對猜測參數(shù)也會出現(xiàn)低估現(xiàn)象.從整體來看,在題目質(zhì)量較低、樣本量N=500以及測驗長度L=20的組合條件下,MCMC算法在DINA模型和DINO模型上的表現(xiàn)更優(yōu)于EM算法的表現(xiàn).從表4可以看出:在G-DINA模型上,無論是高質(zhì)量題目還是低質(zhì)量題目,在樣本量N=1 000與測驗長度L=20的條件組合下,MCMC算法均優(yōu)于EM算法.但隨著樣本量的增大和測驗長度變長,EM算法估計出的項目參數(shù)越來接近真值.

從表2～表4可以看出:無論哪個模型的哪種條件,MCMC算法下參數(shù)估計的均方根誤差均優(yōu)于EM算法下參數(shù)估計的均方根誤差,尤其是在題目質(zhì)量較低和小樣本量的組合下,有著非常明顯的效果,均方根誤差差值均超過0.020;在DINA模型和DINO模型上的參數(shù)估計偏差的差值為0.015左右,在G-DINA模型上超過0.020.這表明了MCMC算法對參數(shù)估計的精確度高,且更適用于題目質(zhì)量較低和小樣本量的組合條件.但隨著樣本量的增大,EM算法在3個模型上的表現(xiàn)在大多數(shù)情況下卻是都略優(yōu)于MCMC算法在3個模型上的表現(xiàn).

表1 2種算法在DINA模型和DINO模型上的參數(shù)估計偏差

表2 2種算法在DINA模型和DINO模型上的參數(shù)估計均方根誤差

表3 2種算法在DINA模型和DINO模型上的參數(shù)估計平均絕對離差

表4 2種算法在G-DINA模型上的參數(shù)估計偏差、均方根誤差以及估計平均絕對離差

表5和表6分別是EM算法與MCMC算法在DINA模型、DINO模型和GDINA模型上得到的平均屬性判準(zhǔn)率,由表5和表6可以看出:隨著題目質(zhì)量的提高、樣本量的增大以及測驗長度的增長,這2種算法的平均屬性判準(zhǔn)率增大,且越來越趨于一致.但在題目質(zhì)量較低時,MCMC算法下得到的平均屬性判準(zhǔn)率明顯優(yōu)于EM算法下的平均屬性判準(zhǔn)率,特別是在GDINA模型上,當(dāng)測驗長度L=20與樣本量N=500或者N=1 000的條件組合時,在這2種算法下得到的平均屬性判準(zhǔn)率差值為0.04左右,這說明了MCMC算法在題目質(zhì)量較低與短測驗長度組合條件下的優(yōu)越性.

表5 2種算法在DINA模型和DINO模型上的平均屬性判準(zhǔn)率

表6 2種算法在GDINA模型上的平均屬性判準(zhǔn)率

3 結(jié)論和討論

本文通過引入EM算法和MCMC算法,基于認(rèn)知診斷3種模型,在多種條件組合下進(jìn)行項目參數(shù)估計,通過比較偏差、均方根誤差、絕對偏差、平均屬性判準(zhǔn)率來詳細(xì)分析在不同條件組合下這2種算法在這3種模型上進(jìn)行參數(shù)估計的效果.

當(dāng)題目質(zhì)量較低、測驗短以及小樣本這3種條件的組合時,MCMC算法得到的偏差、均方根誤差、絕對偏差、平均屬性判準(zhǔn)率的值均優(yōu)于EM算法下得到的值.但若項目質(zhì)量變高或者測驗變長、樣本量變大,則EM算法下得到的數(shù)據(jù)就略優(yōu)于MCMC算法下得到的值,同時在該條件下,考慮到MCMC算法在R程序中的運行時間過長,不如EM算法計算快捷,故在題目質(zhì)量較高或者測驗長、樣本量大的條件下推薦使用EM算法進(jìn)行參數(shù)估計,在題目質(zhì)量較低、測驗短以及小樣本的條件下使用MCMC算法進(jìn)行參數(shù)估計.

本文只考慮了在認(rèn)知診斷中常用的3個模型,在其他模型上不同條件下,EM算法和MCMC算法進(jìn)行參數(shù)估計的效果如何,值得思考.如本文所采用的Q矩陣僅考察了2個屬性,而在實際應(yīng)用中可能不限于2個屬性,在3個屬性甚至多個屬性下EM算法和MCMC算法進(jìn)行參數(shù)估計的效果如何;有些研究在屬性層級模型下考慮了EM算法的表現(xiàn)[18],在不同知識狀態(tài)分布和Q矩陣設(shè)計[19]條件下,這2種算法表現(xiàn)如何.Liu Yanlou等[20]將這2種算法用于在DINA模型下的誤差估計.縱向認(rèn)知診斷模型的參數(shù)估計算法大多數(shù)采用MCMC算法[9],也有些研究針對縱向GDINA模型提出了EM算法[21],故在縱向認(rèn)知診斷模型下這2種算法的表現(xiàn)也有待進(jìn)行比較研究.另外,在估計未知參數(shù)標(biāo)準(zhǔn)誤方面[22],MCMC算法表現(xiàn)如何,有待考慮.