分類號(hào) B841

1引言

認(rèn)知診斷理論（cognitive diagnostic theory， CDT.Leightonamp;Gierl，2007）作為新一代測(cè)量理論的核心，可以促進(jìn)形成性評(píng)價(jià)和個(gè)性化學(xué)習(xí)。在認(rèn)知診斷實(shí)踐中，通過認(rèn)知心理學(xué)的分析，從個(gè)體的認(rèn)知過程、加工技能或知識(shí)結(jié)構(gòu)中抽取出細(xì)粒度多維度的認(rèn)知屬性，認(rèn)知屬性也是刻畫測(cè)驗(yàn)項(xiàng)目的最重要的特征，通過各種心理計(jì)量模型對(duì)被試在項(xiàng)目上的作答反應(yīng)進(jìn)行分析，進(jìn)而對(duì)被試的屬性掌握情況進(jìn)行診斷分類。測(cè)驗(yàn)項(xiàng)目與認(rèn)知屬性之間的映射關(guān)系通過Q矩陣表征（Tatsuoka，1983，1985）。同時(shí)，一個(gè)認(rèn)知診斷測(cè)驗(yàn)中包含的認(rèn)知屬性之間通常具有某種心理上或邏輯上的層級(jí)關(guān)系，屬性層級(jí)關(guān)系是認(rèn)知模型構(gòu)建的核心（丁樹良等，2012），而認(rèn)知模型正是認(rèn)知診斷測(cè)驗(yàn)所要回答的核心問題——受試者在測(cè)驗(yàn)領(lǐng)域的認(rèn)知加工過程是怎樣的（姜宇，2020）。Q矩陣和屬性層級(jí)關(guān)系的構(gòu)建正確與否都會(huì)影響認(rèn)知診斷模型參數(shù)估計(jì)的準(zhǔn)確性以及被試的分類準(zhǔn)確率（Chiu，2013;dela Torre，2009;Liu et al.，2017;Ruppamp;Templin，2008）。通常情況下，屬性層級(jí)關(guān)系和Q矩陣主要都是依賴領(lǐng)域?qū)＜业慕?jīng)驗(yàn)判斷實(shí)現(xiàn)，不同專家根據(jù)自身經(jīng)驗(yàn)確定的Q矩陣和屬性層級(jí)關(guān)系可能存在著差異，與被試在作答過程中的真實(shí)認(rèn)知過程也可能存在差異，即原始的Q矩陣和屬性層級(jí)關(guān)系都有較大可能包含錯(cuò)誤的設(shè)定。鑒于二者對(duì)于模型參數(shù)估計(jì)非常重要，所以有必要對(duì)專家主觀判斷的Q矩陣和屬性層級(jí)關(guān)系進(jìn)行檢驗(yàn)修正。

在屬性層級(jí)關(guān)系檢驗(yàn)方面，有研究者在規(guī)則空間模型（RSM）及屬性層級(jí)模型（AHM）的框架下提出層級(jí)一致性指標(biāo)（Hierarchy Consistency Index，HCI，Cui，2007；Cuiamp;Leighton，2009；Wangamp; Gierl，2011）對(duì)屬性層級(jí)關(guān)系進(jìn)行檢驗(yàn)。喻曉鋒等（2011）提出使用貝葉斯網(wǎng)方法進(jìn)行結(jié)構(gòu)學(xué)習(xí)，從被試的作答反應(yīng)所獲得的屬性掌握模式中挖掘?qū)傩詫蛹?jí)關(guān)系，研究顯示，通過該方法獲得的屬性層級(jí)關(guān)系可作為確定實(shí)際屬性層級(jí)關(guān)系的參考。但該方法所直接分析的數(shù)據(jù)是被試的屬性掌握模式，需要通過分析被試的作答反應(yīng)和Q矩陣去估計(jì)，而且其估計(jì)方法較為初級(jí)，“將被試正確作答的項(xiàng)目包含的屬性向量進(jìn)行或運(yùn)算，得到所有被試的屬性掌握模式\"在復(fù)雜情況下這種不依賴診斷模型估計(jì)屬性模式的方法不能完全保證估計(jì)的準(zhǔn)確性。還有研究者在參數(shù)化的對(duì)數(shù)線性認(rèn)知診斷模型（LCDM，Henson，etal.，2009）基礎(chǔ)上開發(fā)了層級(jí)診斷分類模型（HDCM），創(chuàng)建了一個(gè)能夠?qū)傩詫哟谓Y(jié)構(gòu)參數(shù)化的心理測(cè)量模型和框架，用以證明或證偽某種屬性層次結(jié)構(gòu)（Templinamp;Bradshaw，2014b）。HDCM中，Templin和Bradshaw（2014b）提出采用似然比檢驗(yàn)（likelihoodratiotest，LR，簡(jiǎn)稱LR統(tǒng)計(jì)量）的方法對(duì)屬性層級(jí)關(guān)系進(jìn)行檢驗(yàn)。這種檢驗(yàn)通常是針對(duì)某一事先設(shè)定的屬性層級(jí)結(jié)構(gòu)的整體進(jìn)行檢驗(yàn)，接受或者拒絕該結(jié)構(gòu)，并不能直接提供對(duì)該屬性層級(jí)結(jié)構(gòu)進(jìn)行修正的參考信息。

另一方面，對(duì)專家初步標(biāo)定的Q矩陣進(jìn)行檢驗(yàn)和修正的方法已經(jīng)有很多研究。例如，非參數(shù)方法包括歐氏距離法（Chiu，2013）、海明距離（汪大勛等，2018）等，這些方法具有樣本量要求小、易實(shí)現(xiàn)等優(yōu)點(diǎn)，但嚴(yán)格的前提條件限制了這些方法的拓展性及實(shí)用性（劉彥樓，吳瓊瓊，2023）。研究者開發(fā)的參數(shù)化修正方法主要有： δ 法（dela Torre，2008）、γ法（涂冬波等，2012）、S統(tǒng)計(jì)量方法（Liuetal.，2012）、迭代修正序列搜索（iterative modified sequential search;Terziamp;dela Torre，2018）RMSEA統(tǒng)計(jì)量（Kang etal.，2019）、加權(quán)殘差R法（Yuamp;Cheng，2020）、最優(yōu)反應(yīng)分布純度方法（李佳等，2022）等。以上方法主要是在特殊的CDM框架下（如DINA、DINO、R-RUM等）開發(fā)的方法。在飽和CDM框架下（如G-DINA，generalized deterministic input noisy output “and\"gate;delaTorre，2011）的參數(shù)化Q 矩陣修正方法主要包括：GDI （G-DINA discrimination index）方法（delaTorre amp; Chiu，2016）、TLP（truncated L1 penaltyfunction）方法（Xuamp;Shang，2018）、相對(duì)擬合統(tǒng)計(jì)量方法（Wang etal.，2020；汪大勛 等，2020）等。其中Ma和delaTorre（2020）提出的GDI和Wald檢驗(yàn)相結(jié)合的Stepwise方法對(duì)多級(jí)計(jì)分模型中的Q矩陣進(jìn)行修正，同時(shí)這種方法也適用于0-1計(jì)分的GDINA模型的Q矩陣修正。

在以上介紹的Q矩陣檢驗(yàn)方法研究中，通常假定屬性是相互獨(dú)立的，沒有考慮屬性層級(jí)關(guān)系對(duì)方法的影響。同樣，已有的檢驗(yàn)屬性層級(jí)關(guān)系的方法通常假設(shè)Q矩陣界定是準(zhǔn)確的，而沒有考慮包含失誤信息的Q矩陣界定情況。而在實(shí)踐中，這二者之間是密不可分相互影響的，并且由于專家經(jīng)驗(yàn)界定的主觀性，二者都不可避免同時(shí)存在一些界定偏差信息。Wang和Lu（2021）提出兩種探索性方法直接從數(shù)據(jù)中學(xué)習(xí)屬性層級(jí)關(guān)系，并且這種對(duì)屬性層級(jí)的估計(jì)方法是在未知Q矩陣信息的情況下進(jìn)行的。Ma 等（2022）提出一種懲罰似然法，從數(shù)據(jù)中首先確定屬性個(gè)數(shù)，然后聯(lián)合估計(jì)屬性層級(jí)關(guān)系和Q矩陣，這種方法有很強(qiáng)的統(tǒng)計(jì)學(xué)理論意義，同時(shí)也非常復(fù)雜。綜上，以上兩種方法雖然都同時(shí)考慮了屬性層級(jí)關(guān)系和Q矩陣，但是其運(yùn)行邏輯都是從帶有噪音的數(shù)據(jù)中直接估計(jì)Q矩陣和屬性層級(jí)關(guān)系，計(jì)算較為復(fù)雜，所以以上兩個(gè)研究其模擬實(shí)驗(yàn)所采用的屬性個(gè)數(shù)都比較少：3＼～4個(gè)。雖然兩種方法都是從無到有的更一般化的方法，但是當(dāng)屬性個(gè)數(shù)較多時(shí)，這兩種直接從噪音數(shù)據(jù)中聯(lián)合估計(jì)Q矩陣和屬性層級(jí)關(guān)系的方法其運(yùn)行復(fù)雜度可想而知。而在具體的認(rèn)知診斷評(píng)估實(shí)踐中通常是：在開發(fā)的認(rèn)知診斷測(cè)驗(yàn)中，專家根據(jù)經(jīng)驗(yàn)?zāi)軌驅(qū)傩詫蛹?jí)關(guān)系和Q矩陣進(jìn)行初步界定，提供相當(dāng)程度的有價(jià)值的先驗(yàn)信息，只不過這種根據(jù)主觀經(jīng)驗(yàn)確定的質(zhì)性方法難免包含錯(cuò)誤，所對(duì)已經(jīng)界定的屬性層級(jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合檢驗(yàn)和修正的方法同樣為實(shí)踐所急需。基于此，本研究提出了一種基于貝葉斯網(wǎng)視角的屬性層級(jí)關(guān)系和Q矩陣的聯(lián)合檢驗(yàn)修正方法。本文接下來介紹基于貝葉斯網(wǎng)的聯(lián)合驗(yàn)證方法的原理和具體算法實(shí)現(xiàn)流程。第三、四部分通過模擬和實(shí)證研究對(duì)該方法的檢驗(yàn)修正效能和影響因素進(jìn)行評(píng)估，最后討論總結(jié)。

2基于貝葉斯網(wǎng)的聯(lián)合驗(yàn)證方法實(shí)現(xiàn)原理

貝葉斯網(wǎng)絡(luò)（Bayesian Networks，BN）是結(jié)合概率論與圖論的概率模型（張連文，郭海鵬，2006）。一個(gè)貝葉斯網(wǎng)絡(luò)由一個(gè)結(jié)構(gòu)模型和一組條件概率組成，其中結(jié)構(gòu)模型是有向無環(huán)圖，圖中的節(jié)點(diǎn)表示隨機(jī)變量，有向邊表示變量之間的相關(guān)或因果依賴關(guān)系，有向邊所聯(lián)結(jié)的兩個(gè)節(jié)點(diǎn)，發(fā)起的節(jié)點(diǎn)稱為父節(jié)點(diǎn)，指向的節(jié)點(diǎn)稱為子節(jié)點(diǎn)。這種依賴關(guān)系用網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)在給定父節(jié)點(diǎn)前提下的條件概率來量化。認(rèn)知診斷中的屬性層級(jí)關(guān)系和Q矩陣信息可以表征為貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)。例如圖1所示，在一個(gè)包含3個(gè)屬性和5個(gè)題目的認(rèn)知診斷測(cè)驗(yàn)中，屬性層級(jí)關(guān)系以及Q矩陣信息可以綜合的使用貝葉斯網(wǎng)的結(jié)構(gòu)來表征，其中橢圓表示認(rèn)知屬性，而矩形則表示測(cè)驗(yàn)題目，從該網(wǎng)絡(luò)結(jié)構(gòu)中可看到每個(gè)題目與所測(cè)量的屬性之間的連接關(guān)系，這是Q矩陣所包含的信息；另外，該網(wǎng)絡(luò)還呈現(xiàn)了各屬性之間的層級(jí)關(guān)系，如屬性A1是屬性A2的先決屬性，而這兩個(gè)屬性也是A3的先決屬性。貝葉斯網(wǎng)絡(luò)中，屬性和題目之間的單向箭頭（稱為“邊\"表示Q矩陣中元素“1”，即各測(cè)驗(yàn)題目所考察的認(rèn)知屬性，同理屬性之間的邊則表示屬性之間具有相關(guān)關(guān)系。貝葉斯網(wǎng)絡(luò)可以對(duì)網(wǎng)絡(luò)中的各條邊進(jìn)行顯著性檢驗(yàn)，以明確各條邊是否具有存在的意義，如此，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中每一條邊進(jìn)行顯著性檢驗(yàn)，等價(jià)于檢驗(yàn)Q矩陣中每一個(gè)題目的屬性標(biāo)定是否正確，與此同時(shí)也能夠檢驗(yàn)各屬性之間的邊的顯著性，即檢驗(yàn)了屬性層級(jí)關(guān)系的合理性。

在貝葉斯網(wǎng)中，可以通過檢驗(yàn)兩個(gè)節(jié)點(diǎn)變量之間的條件獨(dú)立性來檢驗(yàn)聯(lián)結(jié)它們之間的邊的存在的合理性。這種檢驗(yàn)可以通過條件卡方檢驗(yàn)（Pearson Chi-square）或條件對(duì)數(shù)似然比檢驗(yàn)（LoglikelihoodRatio）實(shí)現(xiàn)（薛薇，陳歡歌，2012）。條件獨(dú)立性檢驗(yàn)的虛無假設(shè)為兩個(gè)節(jié)點(diǎn)之間是條件獨(dú)立的，即不存在邊，如果檢驗(yàn)得到的顯著性水平非常低，那么就可以拒絕虛無假設(shè)，認(rèn)為兩個(gè)節(jié)點(diǎn)之間存在邊的聯(lián)結(jié)，說明該題目測(cè)量了這個(gè)屬性，或者這條邊連接的兩個(gè)屬性之間具有層級(jí)關(guān)系。在這兩種檢驗(yàn)中，檢驗(yàn)統(tǒng)計(jì)量都服從漸近卡方分布。這個(gè)條件卡方統(tǒng)計(jì)量定義為以下形式：

其中 N（x_i^m，x_jⁿ，s_k） 表示變量 X_i=x_i^m，X_j=x_jⁿ，S=s_h 時(shí)的實(shí)際觀測(cè)次數(shù)，其他的符號(hào)標(biāo)記類同。在認(rèn)知診斷評(píng)估情境下，所有變量都是0-1二值計(jì)分，所以這時(shí)卡方統(tǒng)計(jì)量的計(jì)算非常快捷。

綜上可知，使用貝葉斯網(wǎng)可以聯(lián)合的同時(shí)驗(yàn)證Q矩陣和屬性層級(jí)關(guān)系的正確性，同時(shí)對(duì)于題目標(biāo)定錯(cuò)誤的屬性，或者錯(cuò)誤設(shè)定的屬性之間的關(guān)系，也能夠通過貝葉斯網(wǎng)中節(jié)點(diǎn)之間的獨(dú)立性檢驗(yàn)進(jìn)行修正。與條件獨(dú)立性檢驗(yàn)針對(duì)網(wǎng)絡(luò)中每一條邊的合理性進(jìn)行檢驗(yàn)不同的是，網(wǎng)絡(luò)分?jǐn)?shù)（networkscore）能夠整體的評(píng)估一個(gè)貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)與實(shí)際數(shù)據(jù)的擬合情況，網(wǎng)絡(luò)分?jǐn)?shù)通常包括AIC（Akaike，1974），BIC（Schwarz，1978），和對(duì)數(shù)似然值（loglikelihoodcriterion，Pinheiroamp;Bates，1995）。在bnlearnR軟件包中，除了常見的BIC指標(biāo)，還有一個(gè)BDeu 指標(biāo)（Bayesian Dirichlet equivalent uniformscore，Heckermanetal.，1995），這兩個(gè)指標(biāo)都能夠直接實(shí)現(xiàn)。綜上，貝葉斯網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)可以通過條件獨(dú)立性檢驗(yàn)或者描述模型數(shù)據(jù)擬合總體情況的網(wǎng)絡(luò)分?jǐn)?shù)進(jìn)行驗(yàn)證。所以，根據(jù)貝葉斯網(wǎng)的這種性質(zhì)可以對(duì)綜合表征屬性層級(jí)關(guān)系和Q矩陣的貝葉斯網(wǎng)結(jié)構(gòu)進(jìn)行檢驗(yàn)修正。使用貝葉斯網(wǎng)絡(luò)進(jìn)行屬性層級(jí)關(guān)系和Q矩陣檢驗(yàn)和修正的具體實(shí)現(xiàn)步驟如下：

步驟1：根據(jù)初始構(gòu)建的Q矩陣和屬性層級(jí)關(guān)系估計(jì)被試的屬性掌握模式。

步驟2：初始Q矩陣可能存在屬性冗余，也可能存在屬性缺失，初始的屬性層級(jí)關(guān)系也可能存在冗余和缺失。如果初始的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)僅僅根據(jù)初始Q矩陣和初始屬性層級(jí)關(guān)系進(jìn)行建構(gòu)，那么根據(jù)條件獨(dú)立性檢驗(yàn)只能檢驗(yàn)出冗余的邊，而對(duì)于缺失的邊無法檢測(cè)到。所以我們初始構(gòu)建一個(gè)貝葉斯網(wǎng)的飽和模型，也就是假設(shè)每個(gè)題目測(cè)量了所有屬性，任意兩個(gè)屬性之間都有邊的聯(lián)結(jié)，所有節(jié)點(diǎn)變量之間都存在邊的連接，這樣能夠?qū)γ恳粭l邊進(jìn)行檢驗(yàn)。

步驟3：將作答反應(yīng)數(shù)據(jù)和已經(jīng)估計(jì)的被試屬性掌握模式輸入這個(gè)貝葉斯網(wǎng)的飽和結(jié)構(gòu)模型，并檢驗(yàn)其中每一條邊存在的強(qiáng)度，也就是屬性節(jié)點(diǎn)與題目節(jié)點(diǎn)之間或者兩個(gè)屬性節(jié)點(diǎn)之間條件獨(dú)立性關(guān)系的顯著性水平，保留檢驗(yàn)顯著的邊，進(jìn)而得到一個(gè)校正的Q矩陣和校正的屬性層級(jí)關(guān)系。根據(jù)預(yù)實(shí)驗(yàn)研究，本研究所采用的顯著性水平為0.001。需要指出的是在BN中，對(duì)所有邊存在的顯著性檢驗(yàn)是一次同時(shí)進(jìn)行的，而不是每一條邊分別進(jìn)行，這也保證了該算法的計(jì)算效率。

步驟4：由于依賴初始的Q矩陣和屬性層級(jí)關(guān)系估計(jì)的被試屬性掌握模式存在誤差，所以根據(jù)這批帶有噪聲的數(shù)據(jù)進(jìn)行條件獨(dú)立性檢驗(yàn)所修正的BN結(jié)構(gòu)并不完全準(zhǔn)確，需要繼續(xù)結(jié)合模型數(shù)據(jù)擬合指數(shù)（networkscore）進(jìn)行校正。對(duì)于Q矩陣和屬性層級(jí)關(guān)系中每一個(gè)被修正的元素，計(jì)算修正之后的BN結(jié)構(gòu)的擬合指數(shù)（本研究采用BIC指標(biāo)，經(jīng)預(yù)實(shí)驗(yàn)，BIC和BDeu兩個(gè)指標(biāo)的修正效果沒有明顯差異），并與未修正之前的BN結(jié)構(gòu)的擬合指數(shù)進(jìn)行比較，如果修正之后降低了擬合指標(biāo)BIC，則保留此次修正結(jié)果，反之則保留未修正之前的結(jié)果。根據(jù)總體模型數(shù)據(jù)擬合指標(biāo)再次對(duì)BN的結(jié)構(gòu)，也就是Q矩陣和屬性層級(jí)關(guān)系進(jìn)行優(yōu)化和校正。

步驟5：根據(jù)校正的Q矩陣和屬性層級(jí)關(guān)系重新估計(jì)被試的屬性掌握模式。

步驟6：將重新估計(jì)的被試屬性掌握模式和作答反應(yīng)數(shù)據(jù)再次輸入BN模型中，重復(fù)步驟3、4、5，可以預(yù)見第二次的迭代中，被試的屬性掌握模式估計(jì)更精確，所以這批輸入數(shù)據(jù)的噪聲降低，進(jìn)而根據(jù)條件獨(dú)立性和模型數(shù)據(jù)擬合指標(biāo)綜合之后修正的BN結(jié)構(gòu)更加準(zhǔn)確，進(jìn)而估計(jì)的被試的屬性掌握模式也更加準(zhǔn)確。根據(jù)預(yù)實(shí)驗(yàn)研究，通常3次迭代之后，便可以達(dá)到穩(wěn)定的BN結(jié)構(gòu)，也就是穩(wěn)定的Q矩陣和屬性層級(jí)關(guān)系，繼續(xù)迭代并不能顯著提高Q矩陣和屬性層級(jí)關(guān)系的修正準(zhǔn)確率。需要指出的是該算法的計(jì)算效率比較高，即使是3次迭代，仍然能夠保證比較高的計(jì)算效率。在模擬研究中，將最后求取的Q矩陣與真值比較，計(jì)算這種方法的修正準(zhǔn)確率，同樣的將最后確定的屬性層級(jí)關(guān)系與生成數(shù)據(jù)的真值比較，確認(rèn)是否修正成功。檢驗(yàn)貝葉斯網(wǎng)邊的存在強(qiáng)度以及計(jì)算模型整體擬合指標(biāo)的過程都可以通過R軟件包（bnlearn；Scutariamp;Denis，2021）實(shí)現(xiàn)。

3Q矩陣和屬性層級(jí)關(guān)系的聯(lián)合檢驗(yàn)修正方法的影響因素分析

下面我們通過兩個(gè)模擬研究具體考察各種影響因素對(duì)貝葉斯網(wǎng)檢驗(yàn)修正Q矩陣和屬性層級(jí)關(guān)系準(zhǔn)確性的影響。模擬研究可以控制一些額外變量，只考查抽象的測(cè)驗(yàn)情景下該方法的表現(xiàn)，它可以提供基于貝葉斯網(wǎng)的檢驗(yàn)方法基本的數(shù)值穩(wěn)定性與精確性。另外，目前已經(jīng)開發(fā)很多Q矩陣修正方法，這些方法通常都不考慮屬性層級(jí)關(guān)系的影響。以往對(duì)屬性層級(jí)關(guān)系檢驗(yàn)的研究中，并沒有嚴(yán)格的考察其修正準(zhǔn)確率，而且沒有考慮Q矩陣的界定正確與否。已有的兩項(xiàng)關(guān)于Q矩陣和屬性層級(jí)關(guān)系的研究是聯(lián)合估計(jì)，而非聯(lián)合檢驗(yàn)，綜上，本研究并沒有基線方法作為對(duì)照。所以，作為一項(xiàng)初步探索研究，本文通過模擬研究探查該方法對(duì)屬性層級(jí)關(guān)系和Q矩陣的修正準(zhǔn)確率，以及具體的影響因素，以期為認(rèn)知診斷評(píng)估的實(shí)踐應(yīng)用者提供有價(jià)值的參考信息。

3.1 模擬研究一

3.1.1 研究設(shè)計(jì)

本研究的Q矩陣測(cè)量5個(gè)屬性，測(cè)驗(yàn)長(zhǎng)度分別25，40兩種水平，25題的Q矩陣具體設(shè)計(jì)參照姜宇（2020）和Zhang等（2024）的研究，在25題基礎(chǔ)上，重復(fù)前15題并保證屬性測(cè)量次數(shù)的平衡設(shè)計(jì)40題的Q 矩陣。不失一般性，認(rèn)知診斷模型選取飽和GDINA模型。被試樣本量設(shè)為兩個(gè)水平1000，2000。題目參數(shù)的設(shè)置參照已有同類研究（李佳等，2022）：掌握項(xiàng)目i所測(cè)量的所有屬性的被試和項(xiàng)目i的屬性都沒有掌握的被試對(duì)項(xiàng)目i作答正確的概率分別記為Pi（1）和Pi（O），項(xiàng)目質(zhì)量分為高、低兩個(gè)水平，高質(zhì)量項(xiàng)目的參數(shù)為：Pi（O）～U（0.05，0.25）且Pi（1）～U（0.75，0.95），低質(zhì)量的項(xiàng)目參數(shù)為：Pi （0）～U （0.05，0.4）且 Pi（1）＼～U（0.6，0.95）。然后模擬錯(cuò)誤的Q矩陣，錯(cuò)誤率設(shè)置為0（沒有錯(cuò)誤）， 10% 20% 30% 四個(gè)水平，在真實(shí)Q矩陣的基礎(chǔ)上按錯(cuò)誤率隨機(jī)確定相應(yīng)比例的項(xiàng)目，錯(cuò)誤設(shè)定參考已有研究（劉彥樓，吳瓊瓊，2023），在兩個(gè)約束條件下隨機(jī)引入：（1）所有項(xiàng)目必須至少測(cè)量一個(gè)屬性；（2）始終保留一個(gè)單位矩陣，以滿足模型可識(shí)別條件（Guetal.，2018）。該測(cè)驗(yàn)的屬性層級(jí)關(guān)系設(shè)定為直線型、收斂型、發(fā)散型和無結(jié)構(gòu)型四種類型，具體設(shè)置如圖2所示。然后生成各種屬性層級(jí)關(guān)系下的被試屬性掌握模式真值，被試從所有可能的屬性掌握模式中隨機(jī)抽取產(chǎn)生。根據(jù)所采用的認(rèn)知診斷模型和題目參數(shù)模擬被試在題目上的作答反應(yīng)，生成被試作答反應(yīng)數(shù)據(jù)。

產(chǎn)生模擬數(shù)據(jù)之后，使用HDCM估計(jì)被試的屬性掌握模式（通過R軟件包GDINA實(shí)現(xiàn)），在估計(jì)之前設(shè)定認(rèn)知屬性的層級(jí)關(guān)系，在原有的屬性層級(jí)關(guān)系真值的基礎(chǔ)上，分別產(chǎn)生有缺失邊，冗余邊的屬性層級(jí)關(guān)系，以隨機(jī)產(chǎn)生的這些模擬的屬性層級(jí)關(guān)系為初值，估計(jì)被試的屬性掌握模式。然后根據(jù)前面所述步驟使用貝葉斯網(wǎng)聯(lián)合修正屬性層級(jí)關(guān)系和Q矩陣。需要特別說明的是，在4種基本的屬性層級(jí)模型中，可以隨機(jī)生成具有缺失值的邊，具體如下：在每一種層級(jí)關(guān)系中，對(duì)于任意兩個(gè)屬性之間的連接關(guān)系，隨機(jī)選定一對(duì)屬性，將其連接關(guān)系置為缺失。在生成冗余邊時(shí)，對(duì)于發(fā)散型和無結(jié)構(gòu)型，仍存在5個(gè)屬性之間的冗余關(guān)系，例如在圖2所示的發(fā)散型結(jié)構(gòu)中，可能存在冗余邊的屬性對(duì)有（A2，A3）， （A4，A5）， （A3，A4），（A3，A5），在無結(jié)構(gòu)型中，可能存在冗余的屬性對(duì)有（A2，A3），（A3，A4），（A4，A5），（A2，A4），（A2，A5），（A3，A4），（A3，A5），（A4，A5）。而在直線型中，5個(gè)屬性之間已經(jīng)完全聯(lián)結(jié)，在任意兩個(gè)屬性對(duì)之間即使沒有直接的邊聯(lián)結(jié)，但是也會(huì)存在通過其他節(jié)點(diǎn)的聯(lián)結(jié)，所以并不能生成有效的屬性冗余關(guān)系。同樣道理，在收斂型結(jié)構(gòu)中，只有一個(gè)有效冗余邊，即（A2，A3），但由于模擬研究需要多次模擬隨機(jī)生成冗余邊，故在生成冗余邊時(shí)，也不再考慮收斂型結(jié)構(gòu)。綜上，在缺失邊的情境下，4種屬性層級(jí)結(jié)構(gòu)都考慮，在冗余邊的情境下，僅使用發(fā)散型和無結(jié)構(gòu)型兩種結(jié)構(gòu)。綜上，本研究在屬性邊缺失情境下模擬數(shù)據(jù)的設(shè)置有：2 （測(cè)驗(yàn)長(zhǎng)度） ×2 （樣本量水平） ×2 （題目參數(shù)水平） ×4 （屬性層級(jí)類型） ×4 （Q矩陣錯(cuò)誤率） Σ=Σ 128種情況，在屬性邊冗余情境下模擬數(shù)據(jù)的設(shè)置為：2 （測(cè)驗(yàn)長(zhǎng)度） ×2 （樣本量水平） ×2 （題目參數(shù)水平） ×2 （屬性層級(jí)類型） ×4 （Q矩陣錯(cuò)誤率） =64 種情況。

3.1.2 評(píng)價(jià)指標(biāo)

在以上設(shè)計(jì)的每種實(shí)驗(yàn)條件下，分別隨機(jī)產(chǎn)生100批模擬數(shù)據(jù)，然后使用模擬的帶有錯(cuò)誤信息的屬性層級(jí)初始值估計(jì)屬性掌握模式，通過貝葉斯網(wǎng)條件獨(dú)立性檢驗(yàn)和模型數(shù)據(jù)擬合指標(biāo)的結(jié)合，最后得到修正的屬性層級(jí)關(guān)系和修正的Q矩陣，將最終的修正結(jié)果與屬性層級(jí)關(guān)系真值進(jìn)行比較，如果完全相同，則代表修正正確一次，最后計(jì)算每種情境下100次修正屬性層級(jí)關(guān)系的正確次數(shù)作為評(píng)價(jià)指標(biāo)。Q矩陣的修正準(zhǔn)確率所采用的指標(biāo)為每次修正后的Q矩陣與真實(shí)Q矩陣題目測(cè)量模式的一致性作為模式判準(zhǔn)率（Patternclassificationrate，PCR）和每次修正后的Q矩陣與真實(shí)Q矩陣屬性的一致性作為平均屬性判準(zhǔn)率（Averageattributeclassificationrate.AACR），以及 TPR（True positive rate）和 TNR（Truenegativerate）。其中TPR指錯(cuò)誤標(biāo)定的屬性正確修改的比率，TNR指正確界定的屬性未被修改的比率（由于篇幅限制，這部分評(píng)價(jià)指標(biāo)結(jié)果可以聯(lián)系作者提供）。所有實(shí)驗(yàn)均重復(fù)100次，然后計(jì)算每個(gè)指標(biāo)100次的平均值。

3.1.3 研究結(jié)果

使用貝葉斯網(wǎng)條件獨(dú)立性檢驗(yàn)方法修正屬性層級(jí)關(guān)系的結(jié)果如表1、表2所示，在Q矩陣設(shè)定完全正確的情況下，無論題目是高質(zhì)量還是低質(zhì)量無論屬性關(guān)系是缺失還是冗余，無論樣本量是較大還是較小，無論測(cè)驗(yàn)長(zhǎng)短，在各種屬性層級(jí)結(jié)構(gòu)中，該算法都能夠完全準(zhǔn)確的修正屬性層級(jí)關(guān)系，在100次的模擬中，完全修正正確次數(shù)達(dá)到 100% 。而當(dāng)Q矩陣存在界定錯(cuò)誤時(shí)，隨著Q矩陣中錯(cuò)誤元素的占比增大，在各種條件下，對(duì)屬性層級(jí)的修正準(zhǔn)確率逐漸降低。具體而言，在Q矩陣失誤概率為10% 的情況下，無論題目質(zhì)量高低，樣本量大小，測(cè)驗(yàn)長(zhǎng)短，在4種屬性層級(jí)結(jié)構(gòu)下，無論屬性關(guān)系缺失還是冗余，仍然能夠達(dá)到較高的完全正確的修正比例，除個(gè)別情況，大部分情況下，仍能達(dá) 90% 或以上的比例。隨著Q矩陣中錯(cuò)誤率的提高，對(duì)屬性層級(jí)完全修正正確的比例逐漸降低，這時(shí)這種比例也受到測(cè)驗(yàn)長(zhǎng)度，題目質(zhì)量和樣本量的同時(shí)影響，例如在Q矩陣錯(cuò)誤率為 20% 時(shí)，當(dāng)題目質(zhì)量較低時(shí)，測(cè)驗(yàn)長(zhǎng)度和樣本量能夠顯著提高這種完全修正正確的比例，除極個(gè)別情況，大多情況下的完全正確的比例仍達(dá)到 80% 以上。4種不同的屬性層級(jí)類型下，無結(jié)構(gòu)型的修正正確次數(shù)在樣本量較低時(shí)受題目質(zhì)量和Q矩陣錯(cuò)誤率影響較大，其他幾種類型的屬性層級(jí)中，BN在各種情況下的表現(xiàn)并沒有明顯的差異，在其他條件設(shè)置相同的情況下，屬性缺失和屬性冗余不同的錯(cuò)誤類型中，BN的表現(xiàn)沒有明顯的差異。

在屬性層級(jí)界定存在缺失或者冗余的情況下，使用貝葉斯網(wǎng)方法對(duì)界定失誤的Q矩陣進(jìn)行修正的準(zhǔn)確率（包括PCR和AACR）如表3、表4所示。在Q矩陣錯(cuò)誤率在 10% 時(shí)，4種屬性層級(jí)結(jié)構(gòu)存在缺失和冗余時(shí)，無論題目質(zhì)量高低，無論樣本量大小，無論測(cè)驗(yàn)長(zhǎng)短，貝葉斯網(wǎng)方法對(duì)Q矩陣的修正準(zhǔn)確率能夠達(dá)到較高水平，即使在題目質(zhì)量較低的情況下，除個(gè)別情況，模式判準(zhǔn)率都能夠達(dá)到 70% 以上，平均屬性判準(zhǔn)率除個(gè)別情況都能達(dá)到 95% 以上。在Q矩陣錯(cuò)誤率為 20% 的情況下，題目質(zhì)量較高時(shí)，PCR仍然能夠達(dá)到 70% 以上，AACR能夠達(dá)到 92% 以上，而在題目質(zhì)量較低的情況下，PCR在較多情境下能夠達(dá)到 50% 以上，除極個(gè)別，AACR達(dá)到 90% 以上。

在Q矩陣錯(cuò)誤率為 30% 時(shí)，PCR在短測(cè)驗(yàn)題目質(zhì)量較高的情況下能夠達(dá)到 53% 以上，除極個(gè)別AACR達(dá)到 90% 以上，長(zhǎng)測(cè)驗(yàn)情境能夠一定程度上彌補(bǔ)題目質(zhì)量較低的影響，除無結(jié)構(gòu)型的屬性關(guān)系，其他情況下，PCR仍然能夠達(dá)到 50% 以上，在題目質(zhì)量較低并且短測(cè)驗(yàn)情境下，PCR和AACR都比較低。從總體上看，樣本量對(duì)該方法的修正準(zhǔn)確率的影響也比較大，在樣本量從1000提高到2000時(shí)，每種情境下的修正準(zhǔn)確率都得到較大的提高。測(cè)驗(yàn)長(zhǎng)度對(duì)修正準(zhǔn)確率也有明顯的影響，尤其是在Q矩陣錯(cuò)誤率較高或者題目質(zhì)量較低的情況下，相比短測(cè)驗(yàn)情境，長(zhǎng)測(cè)驗(yàn)情境下BN的修正準(zhǔn)確率提高更多。

3.2 模擬研究二

3.2.1 研究設(shè)計(jì)

為了進(jìn)一步探查貝葉斯網(wǎng)算法在屬性個(gè)數(shù)較多的情境下的表現(xiàn)，本研究設(shè)定屬性個(gè)數(shù)為7個(gè)，根據(jù)模擬研究一的結(jié)果，各種類型的屬性層級(jí)結(jié)構(gòu)下，BN的修正準(zhǔn)確率相差不大，不失一般性，本研究隨機(jī)設(shè)定屬性層級(jí)結(jié)構(gòu)為發(fā)散結(jié)構(gòu)，7個(gè)屬性的測(cè)驗(yàn)長(zhǎng)度固定為40個(gè)題目，樣本量同研究一的設(shè)置，為2000，1000。在模擬研究一中由于屬性個(gè)數(shù)有限，所設(shè)定的屬性關(guān)系缺失或冗余的水平僅限定為一個(gè)邊，在本研究中進(jìn)一步設(shè)定更多的屬性缺失和冗余情況，在原有的如圖3所示的7個(gè)發(fā)散屬性結(jié)構(gòu)的基礎(chǔ)上共設(shè)定5種錯(cuò)誤屬性層級(jí)結(jié)構(gòu)：（1）隨機(jī)缺失一個(gè)邊;（2）隨機(jī)缺失兩個(gè)邊;（3）隨機(jī)冗余一個(gè)邊;（4）隨機(jī)冗余兩個(gè)邊;（5）既有隨機(jī)缺失邊又有隨機(jī)冗余邊。其他實(shí)驗(yàn)條件的設(shè)定：題目質(zhì)量，Q矩陣錯(cuò)誤率等完全與模擬一相同，模擬數(shù)據(jù)產(chǎn)生模型依然采用GDINA模型。

3.2.2 評(píng)價(jià)指標(biāo)

在本研究中，主要考察在屬性個(gè)數(shù)較多的情況下，不同屬性缺失情況（5個(gè)水平） × 不同題目質(zhì)量（2個(gè)水平） × 不同Q矩陣錯(cuò)誤率水平（4個(gè)水平） × 不同樣本量水平（2個(gè)水平） =80 種情況下的檢驗(yàn)修正準(zhǔn)確率，評(píng)價(jià)指標(biāo)同模擬研究一，依然采用PCR和AACR，以及100次模擬中屬性層級(jí)完全修正正確的次數(shù)。

3.2.3 研究結(jié)果

表5為7個(gè)屬性的發(fā)散型結(jié)構(gòu)的屬性層級(jí)下，在樣本量為2000時(shí)，5種不同屬性層級(jí)關(guān)系錯(cuò)誤的情況下，各種實(shí)驗(yàn)情境下，貝葉斯網(wǎng)對(duì)Q矩陣的修正準(zhǔn)確率（PCR，AACR）。由表可知，在各種類型的屬性層級(jí)錯(cuò)誤類型，其他條件相同的情況下，貝葉斯網(wǎng)對(duì)Q矩陣的修正準(zhǔn)確率相差不大。在Q矩陣錯(cuò)誤率為 10% 時(shí)，無論題目質(zhì)量高低，該方法對(duì)Q矩陣的修正準(zhǔn)確率都達(dá)到很高的水平，在錯(cuò)誤率為20% 時(shí)，題目質(zhì)量較高的情況下，Q矩陣修正準(zhǔn)確率仍能夠保持較高的水平，隨著題目質(zhì)量降低，修正準(zhǔn)確率逐漸下降。當(dāng)Q矩陣錯(cuò)誤率為 30% 時(shí)，修正準(zhǔn)確率隨著題目質(zhì)量降低而逐漸降低。在5種不同屬性錯(cuò)誤類型下，貝葉斯網(wǎng)同時(shí)對(duì)屬性層級(jí)完全修正正確的次數(shù)（100次實(shí)驗(yàn)）如圖4所示，當(dāng)Q矩陣完全正確時(shí)，無論題目質(zhì)量高低，貝葉斯網(wǎng)都能夠完全正確的修正屬性層級(jí)關(guān)系，之后隨著Q矩陣錯(cuò)誤率提高，題目質(zhì)量降低，貝葉斯網(wǎng)對(duì)屬性層級(jí)關(guān)系完全修正正確的次數(shù)逐漸下降?？梢园l(fā)現(xiàn)，即使在7個(gè)屬性的診斷測(cè)驗(yàn)中，當(dāng)Q矩陣錯(cuò)誤率控制在中等水平 （20% 以下）或者題目質(zhì)量較好時(shí)，貝葉斯網(wǎng)仍然能夠有效的識(shí)別屬性層級(jí)界定中的錯(cuò)誤信息。表6為樣本量1000時(shí)，算法在各種實(shí)驗(yàn)條件下的表現(xiàn)，相比于樣本量2000的情況下，各情境下的判準(zhǔn)率稍有降低。圖5為樣本量1000時(shí)，貝葉斯網(wǎng)在100次實(shí)驗(yàn)中，對(duì)屬性層級(jí)關(guān)系完全修正正確的次數(shù)，可以看到相比于樣本量為2000時(shí)的各種情境下，算法的修正準(zhǔn)確率稍有下降，而且在樣本量為1000時(shí)幾種不同屬性錯(cuò)誤類型下的修正準(zhǔn)確率之間的差異更大一些。

4聯(lián)合檢驗(yàn)修正方法在實(shí)證數(shù)據(jù)中的應(yīng)用

本部分進(jìn)一步驗(yàn)證該方法在實(shí)證數(shù)據(jù)中的有效性，該數(shù)據(jù)來自于美國(guó)大學(xué)生英語(yǔ)測(cè)驗(yàn)實(shí)際數(shù)據(jù)（ECPE），Templin和Bradshaw（2014a）使用ECPE的數(shù)據(jù)研究并開發(fā)了HDCM，并試圖采用HDCM發(fā)現(xiàn)并解釋真實(shí)的ECPE數(shù)據(jù)的屬性層級(jí)關(guān)系。ECPE數(shù)據(jù)共28道題目，測(cè)量三個(gè)屬性：詞匯規(guī)則（a），整合規(guī)則（b）語(yǔ)法規(guī)則（c）。根據(jù)Templin和Bradshaw（2014a）的研究，這3個(gè)屬性呈直線型關(guān)系，即a?b?c 。測(cè)驗(yàn)的Q矩陣和被試數(shù)據(jù)可以公開從CDMR軟件包獲得。

使用貝葉斯網(wǎng)進(jìn)行檢驗(yàn)修正的具體分析過程如下：先構(gòu)建一個(gè)飽和的貝葉斯網(wǎng)，即3個(gè)屬性之間都包含有向邊（邊的方向性依照初始建構(gòu)的理論關(guān)系，即共有三條邊， a?b bc ， a?c ，每個(gè)題目與每個(gè)屬性之間也包含有向邊（不失一般性，方向性統(tǒng)一為屬性指向題目），注意這個(gè)飽和模型的構(gòu)建僅僅是為了完整的檢驗(yàn)該測(cè)驗(yàn)中每一個(gè)可能存在的題目與屬性以及屬性與屬性之間的聯(lián)系，同模擬研究設(shè)置。根據(jù)已有的實(shí)證數(shù)據(jù)估計(jì)被試對(duì)3個(gè)認(rèn)知屬性的知識(shí)掌握狀態(tài)，然后將被試作答反應(yīng)數(shù)據(jù)和估計(jì)的知識(shí)掌握狀態(tài)數(shù)據(jù)輸入網(wǎng)絡(luò)，對(duì)這一網(wǎng)絡(luò)中的每一條邊進(jìn)行條件獨(dú)立性檢驗(yàn)。這個(gè)過程本質(zhì)上也是對(duì)通過理論建構(gòu)的模型（同時(shí)包含Q矩陣和屬性層級(jí)關(guān)系）和實(shí)證數(shù)據(jù)之間的擬合程度進(jìn)行檢驗(yàn)的一個(gè)過程。通過假設(shè)檢驗(yàn)得到的信息可以為進(jìn)一步修正原有的理論建構(gòu)的模型提供啟示。但是在實(shí)證數(shù)據(jù)中，模型修正的過程并非完全依靠統(tǒng)計(jì)檢驗(yàn)的結(jié)果，也要結(jié)合領(lǐng)域?qū)＜覍?duì)實(shí)際問題的判斷。

使用貝葉斯網(wǎng)對(duì)初始建構(gòu)的屬性層級(jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合檢驗(yàn)后，發(fā)現(xiàn)原來設(shè)定的屬性層級(jí)關(guān)系以及屬性和題目之間的聯(lián)結(jié)關(guān)系一部分得到了統(tǒng)計(jì)上的驗(yàn)證，但是也有一部分檢驗(yàn)顯示這些邊的存在強(qiáng)度并不高，就是說兩個(gè)節(jié)點(diǎn)之間可能是條件獨(dú)立的，也有少量原來Q矩陣中沒有發(fā)現(xiàn)的題目與屬性之間的聯(lián)系在經(jīng)過貝葉斯網(wǎng)條件獨(dú)立檢驗(yàn)之后發(fā)現(xiàn)兩個(gè)節(jié)點(diǎn)之間并非獨(dú)立，而是具有依賴關(guān)系的，初次經(jīng)過貝葉斯網(wǎng)條件獨(dú)立檢驗(yàn)發(fā)現(xiàn)屬性之間的關(guān)系為： bc 。然后邀請(qǐng)專家再次對(duì)這些有爭(zhēng)議存在的邊進(jìn)行討論判定，包括屬性層級(jí)的邊。這樣結(jié)合貝葉斯網(wǎng)條件獨(dú)立性檢驗(yàn)的結(jié)果，該認(rèn)知診斷測(cè)驗(yàn)中所初始構(gòu)建的3個(gè)認(rèn)知屬性之間的層級(jí)關(guān)系在經(jīng)過統(tǒng)計(jì)檢驗(yàn)和專家再次判定之后仍然保持原來的關(guān)系，但是Q矩陣有一些修正（具體修正過程信息可以聯(lián)系作者提供）。接下來，根據(jù)貝葉斯網(wǎng)方法所驗(yàn)證的屬性層級(jí)關(guān)系以及所修正的新的Q矩陣，重新估計(jì)被試的屬性掌握模式。最后對(duì)初始建構(gòu)的理論模型和經(jīng)過檢驗(yàn)修正之后的模型進(jìn)行比較，以模型數(shù)據(jù)擬合指數(shù)進(jìn)行評(píng)估。通過BIC擬合指標(biāo)的數(shù)據(jù)顯示經(jīng)過統(tǒng)計(jì)檢驗(yàn)和專家判定結(jié)合修正的新模型（屬性層級(jí)保持原有關(guān)系，Q矩陣有修正）與數(shù)據(jù)擬合是更好的（見表7。所以基于貝葉斯網(wǎng)的條件獨(dú)立性檢驗(yàn)的方法能夠?qū)傩詫蛹?jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合驗(yàn)證，并為最終優(yōu)化模型提供有價(jià)值的信息。

5結(jié)論與討論

本研究提出了一種基于貝葉斯網(wǎng)條件獨(dú)立性檢驗(yàn)的屬性層級(jí)關(guān)系和Q矩陣的聯(lián)合檢驗(yàn)方法。通過兩個(gè)模擬研究系統(tǒng)的考察了樣本量、Q矩陣錯(cuò)誤率、題自質(zhì)量高低、測(cè)驗(yàn)長(zhǎng)度、屬性層級(jí)關(guān)系類型、屬性標(biāo)定錯(cuò)誤類型，認(rèn)知屬性個(gè)數(shù)等因素對(duì)BN方法在檢驗(yàn)Q矩陣和屬性層級(jí)關(guān)系方面的準(zhǔn)確性。結(jié)果表明，當(dāng)Q矩陣界定完全正確時(shí)，在各種實(shí)驗(yàn)條件下，BN方法都能夠完全有效的修正屬性層級(jí)關(guān)系。當(dāng)Q矩陣中的錯(cuò)誤率控制在中等水平或以下0 20% 以下）時(shí)，在各種屬性層級(jí)結(jié)構(gòu)類型，各種屬性層級(jí)錯(cuò)誤類型下，BN方法都能夠較好的同時(shí)修正屬性層級(jí)關(guān)系和Q矩陣，隨著Q矩陣錯(cuò)誤率的增加，二者的修正準(zhǔn)確率都逐漸下降，尤其當(dāng)題目質(zhì)量較低時(shí)，Q矩陣和屬性層級(jí)關(guān)系的修正準(zhǔn)確率都降到最低。除此之外，樣本量對(duì)屬性層級(jí)關(guān)系和Q矩陣的修正準(zhǔn)確率也有明顯的影響，在樣本量為2000時(shí)各種情況下的修正準(zhǔn)確率明顯高于樣本量為1000時(shí)的結(jié)果；測(cè)驗(yàn)長(zhǎng)度對(duì)修正準(zhǔn)確率的影響也非常明顯，這主要是由于，當(dāng)測(cè)驗(yàn)長(zhǎng)度增加后，能夠有更充分的題目證據(jù)估計(jì)初始的知識(shí)狀態(tài)。并且該方法在屬性個(gè)數(shù)較多的情況下，對(duì)Q矩陣和屬性層級(jí)的修正結(jié)果依然較好，尤其是Q矩陣錯(cuò)誤率較低和題目質(zhì)量較高時(shí)。另一方面，不同的屬性層級(jí)錯(cuò)誤類型或者錯(cuò)誤嚴(yán)重程度在一定程度上對(duì)修正準(zhǔn)確率的影響較低。綜合以上分析結(jié)果，本研究建議，在對(duì)屬性層級(jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合修正時(shí)要注意題目質(zhì)量，并盡可能的保證樣本量的充足，在保證題目質(zhì)量的情況下盡量擴(kuò)大測(cè)驗(yàn)長(zhǎng)度。此外，雖然本研究也考察了在Q矩陣錯(cuò)誤率較高時(shí)該算法的表現(xiàn)，但是通常情況下，在實(shí)際應(yīng)用情境中，如果Q矩陣錯(cuò)誤率達(dá)到 30%～40% ，一般建議重新標(biāo)定Q矩陣。而在模擬實(shí)驗(yàn)中，設(shè)置高錯(cuò)誤率的Q矩陣是為了更能直接考察方法的效能。

進(jìn)一步的，為了充分探查該算法在實(shí)踐應(yīng)用中的可擴(kuò)展性，本研究將該算法用于實(shí)證數(shù)據(jù)，結(jié)果表明BN算法能夠?yàn)閷＜页跏冀?gòu)的屬性層級(jí)關(guān)系和Q矩陣的修正提供有價(jià)值的參考信息，結(jié)合專家的最終判斷，修正之后的新模型與實(shí)證數(shù)據(jù)的擬合指標(biāo)更優(yōu)。值得指出的是，與其他所有Q矩陣修正方法類似，即使在模擬研究中BN方法能夠保證對(duì)屬性層級(jí)關(guān)系和Q矩陣的修正準(zhǔn)確性，但是在實(shí)踐應(yīng)用中，仍然不能完全依靠數(shù)據(jù)驅(qū)動(dòng)的算法確定最后的屬性層級(jí)關(guān)系和Q矩陣，這些修正算法能提供可靠的Q矩陣和屬性層級(jí)關(guān)系的修正信息，但是對(duì)于一些有爭(zhēng)議的題自或?qū)傩匀匀恍枰I(lǐng)域內(nèi)容專家的判斷才能最后確定。

需要特別指出的是，在本研究中使用BN方法進(jìn)行聯(lián)合驗(yàn)證之前需要對(duì)被試的屬性掌握模式做初始的估計(jì)，在本文的模擬研究部分采納傳統(tǒng)的認(rèn)知診斷模型實(shí)現(xiàn)。在實(shí)踐中，還需要根據(jù)實(shí)證數(shù)據(jù)恰當(dāng)?shù)倪x擇診斷模型，如果不考慮數(shù)據(jù)的模型選擇也可以使用貝葉斯網(wǎng)直接實(shí)現(xiàn)估計(jì)（Wangamp;Lu2021）。并且由于該算法的實(shí)現(xiàn)依賴傳統(tǒng)認(rèn)知診斷模型估計(jì)被試的屬性掌握模式，所以本研究的模擬實(shí)驗(yàn)部分的樣本量采用1000，2000。而在Wang和Lu （2021）的聯(lián)合估計(jì)方法中所使用的最小樣本量也是1000。在最新的只有Q矩陣估計(jì)或修正的相關(guān)研究中，設(shè)置了樣本量較小情境下，例如N為500時(shí)算法的表現(xiàn)，在更小樣本條件下檢驗(yàn)方法的性能，能夠更好地貼合實(shí)際應(yīng)用場(chǎng)景。但是因?yàn)槟壳氨狙芯康乃惴ㄟ\(yùn)行依賴傳統(tǒng)認(rèn)知診斷模型估計(jì)被試屬性掌握模式，并且由于篇幅的限制，本研究作為一項(xiàng)初始的探索性研究，所考察的變量個(gè)數(shù)也有限，所采用的生成數(shù)據(jù)的模型只有GDINA模型，模型需要估計(jì)的參數(shù)較多，所以要達(dá)到較高精度的參數(shù)估計(jì)對(duì)樣本量的需求較大。未來研究應(yīng)繼續(xù)考察該方法在簡(jiǎn)單模型（如DINA、DINO、ACDM等）中的效果，與此同時(shí)，可以考慮這些簡(jiǎn)單模型在樣本量較小（如 N=500^? 時(shí)算法的性能。

此外本研究采用迭代的方式進(jìn)行聯(lián)合驗(yàn)證，但是根據(jù)前期預(yù)實(shí)驗(yàn)，這種迭代次數(shù)不是越多越好，迭代次數(shù)對(duì)修正準(zhǔn)確率優(yōu)化的效果邊際效益遞減，基本3次迭代后即可達(dá)到對(duì)屬性層級(jí)和Q矩陣的穩(wěn)定的修正結(jié)果，而在實(shí)證研究中，可以根據(jù)具體情況再設(shè)定具體的迭代次數(shù)，如果一次聯(lián)合驗(yàn)證即可以提供非常豐富的修正信息，那么也可以使用一次修正的結(jié)果，然后結(jié)合專家的經(jīng)驗(yàn)判斷最后確定屬性層級(jí)和Q矩陣。雖然BN方法實(shí)現(xiàn)的是對(duì)屬性層級(jí)和Q矩陣的聯(lián)合驗(yàn)證，但是該算法的計(jì)算效率仍然能夠得到一定程度的保證，根據(jù)本研究的結(jié)果，測(cè)驗(yàn)長(zhǎng)度為25，樣本量為2000迭代3次對(duì)Q矩陣和屬性層級(jí)進(jìn)行一次聯(lián)合驗(yàn)證的算法運(yùn)行時(shí)間為123s 根據(jù)李佳等（2022）對(duì)Q矩陣修正方法的研究中的報(bào)告，在測(cè)驗(yàn)長(zhǎng)度為20，樣本量為300時(shí)，基尼系數(shù)方法的循環(huán)修正運(yùn)行時(shí)間為147s，不考慮其他硬件條件等細(xì)微的差異，可以看到雖然本研究在Q矩陣修正基礎(chǔ)上聯(lián)合修正了屬性層級(jí)關(guān)系，但是在算法運(yùn)行時(shí)間上與同類的單獨(dú)修正Q矩陣的算法仍然保持在一個(gè)同等的時(shí)間復(fù)雜度水平上。

最后，雖然已經(jīng)有研究（喻曉鋒等，2011）提出使用貝葉斯網(wǎng)結(jié)構(gòu)學(xué)習(xí)K2算法進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的屬性層級(jí)關(guān)系探索，但是在其算法中，根據(jù)模擬得到的觀察反應(yīng)模式和測(cè)驗(yàn)項(xiàng)目，將被試正確作答的項(xiàng)目包含的屬性向量進(jìn)行“或\"運(yùn)算，得到所有被試的屬性掌握模式，將它作為結(jié)構(gòu)學(xué)習(xí)的數(shù)據(jù)集。這實(shí)際就是在根據(jù)Q矩陣和作答反應(yīng)估計(jì)被試的屬性模式，但是這種估計(jì)方法比較初級(jí)，遇到復(fù)雜模型時(shí)不一定有效。而且這種方法估計(jì)的被試屬性掌握模式之前，已經(jīng)根據(jù)專家界定的屬性層級(jí)關(guān)系編制題目確定Q矩陣，所以初始對(duì)被試的估計(jì)過程依靠的就是專家預(yù)先確定的屬性層級(jí)關(guān)系。盡管已有少量研究提出了使用LR檢驗(yàn)對(duì)屬性層級(jí)進(jìn)行驗(yàn)證的方法（Templinamp;Bradshaw，2014a），但是該方法更多的是對(duì)屬性層級(jí)進(jìn)行整體的檢驗(yàn)，通過模型比較的方式檢驗(yàn)每一種假設(shè)屬性層級(jí)的合理性，并沒有對(duì)屬性層級(jí)的修正準(zhǔn)確率進(jìn)行探查。而本研究可以對(duì)屬性層級(jí)中任意兩個(gè)認(rèn)知屬性之間的關(guān)系進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的檢驗(yàn)修正，而且這種修正是同時(shí)進(jìn)行的也就是說只要執(zhí)行一次BN的條件獨(dú)立性檢驗(yàn)，能夠得到所有聯(lián)結(jié)邊的合理性檢驗(yàn)結(jié)果。未來研究中可以考慮在Q矩陣設(shè)定完全正確的情況下，比較本研究的BN方法和LR 檢驗(yàn)（Templinamp;Bradshaw，2014a）對(duì)屬性層級(jí)關(guān)系的修正效率。

目前，還沒有研究提出能夠?qū)傩詫蛹?jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合驗(yàn)證的方法。有研究者提出不帶任何先驗(yàn)信息的情況下從噪音數(shù)據(jù)中聯(lián)合估計(jì)屬性層級(jí)和Q矩陣（Wangamp;Lu，2021;Maetal.，2022），這兩個(gè)研究都有著非常強(qiáng)的統(tǒng)計(jì)學(xué)理論意義，同時(shí)算法的復(fù)雜性也顯而易見，所以其模擬研究都采用較少的屬性個(gè)數(shù)（3＼～4個(gè)）。而在認(rèn)知診斷評(píng)估實(shí)踐中，領(lǐng)域?qū)＜一蛘邷y(cè)驗(yàn)開發(fā)者通常對(duì)屬性層級(jí)關(guān)系以及Q矩陣會(huì)提供相當(dāng)?shù)南闰?yàn)知識(shí)，所以面對(duì)實(shí)踐需求，更需要一種能夠同時(shí)檢驗(yàn)和修正已有的屬性層級(jí)關(guān)系和Q矩陣的方法，對(duì)已經(jīng)提出的認(rèn)知屬性層級(jí)的理論模型和測(cè)驗(yàn)Q矩陣進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的驗(yàn)證并根據(jù)實(shí)證的作答反應(yīng)數(shù)據(jù)提供修正信息。所以，本研究并沒有對(duì)BN方法的聯(lián)合驗(yàn)證的準(zhǔn)確性進(jìn)行基線比較，因?yàn)槟壳斑€沒有研究能夠同時(shí)對(duì)屬性層級(jí)關(guān)系和Q矩陣進(jìn)行聯(lián)合驗(yàn)證。但是本研究從另一個(gè)角度，在控制屬性獨(dú)立的情況下，對(duì)BN方法修正Q矩陣的準(zhǔn)確性進(jìn)行對(duì)比評(píng)估，結(jié)果表明，在屬性獨(dú)立的情況下，與已有的Stepwise方法（Maamp;delaTorre，2020）相比，BN方法在Q矩陣錯(cuò)誤率較高時(shí)更有優(yōu)勢(shì)（由于篇幅限制這部分的研究結(jié)果可以聯(lián)系作者提供）。

參考文獻(xiàn)

Akaike，H.（1974）.A new look at the statistical model identification.IEEE Transactions on AutomaticControl， 19（6），716-723.http：//dx.doi.org/10.1109/TAC.1974.1100705

Cui，Y.（2oo7）.Thehierarchy consistency index：Development and analysis [Unpublished doctoral dissertation]. University ofAlberta.

Cui，Y.，amp; Leighton， J.P. （2009）. The hierarchy consistency index： Evaluating person fit for cognitive diagnostic assessment. Journal of Educational Measurement， 46（4）， 429-449.

Chiu，C.-Y. （2013）. Statistical refinement of the Q-Matrix in cognitive diagnosis.Applied Psychological Measurement， 37（8），598-618. https：//doi.0rg/10.1177/0146621613488436

de la Torre， J. （2008）. An empirically based method of Q-matrix validation for the DINA model： Development and applications. Journal of Educational Measurement， 45（4）， 346-362.

de la Torre， J. （2009）. DINA model and parameter estimation： Adidactic.Journal of Educational and Behavioral Statistics， 34（1），115-130.

de la Torre， J. （2011）. The generalized DINA model framework. Psychometrika，76（2），179-199.

dela Torre，J.，amp; Chiu，C.Y.（2016）.A general method of empirical Q-matrix validation. Psychometrika，81（2），253- 273.

Ding，S.L.，Mao， M. M.， Wang，W. Y.， Luo， F.，amp; Cui， Y. （2012）.Evaluating the consistency of test items relative to the cognitive model for educational cognitive diagnosis. Acta Psychologica Sinica， 44（11），1535-1546.

[丁樹良，毛萌萌，汪文義，羅芬，Cui，Y.（2012）.教育認(rèn)知 診斷測(cè)驗(yàn)與認(rèn)知模型一致性的評(píng)估，心理學(xué)報(bào)，44（11）， 1535-1546.]

Gu，Y.， Liu， J.， Xu， G.，amp; Ying， Z. （2018）. Hypothesis testing oftheQ-matrix.Psychometrika，83（3），515-537.

Heckerman，D.，Geiger，D.，amp; Chickering，D.M.（1995）. Learning Bayesian networks： The combinationof knowledge and statistical data. Machine Learning， 20（3）， 197-243.

Henson，R.，Templin，J.，amp; Wilse，J. （20o9）.Defining a family of cognitive diagnosis models using log-linear models with latent variables.Psychometrika， 74（3），191-210.

Jiang，Y. （2020）. Research on the test method of attribute hierarchy based on information matrix [Unpublished doctoral dissertation]. Beijing Normal University.

[姜宇.（2020）.基于信息矩陣的屬性層級(jí)關(guān)系檢驗(yàn)方法研究 （博士學(xué)位論文）.北京師范大學(xué).]

Kang，C.H.， Yang，Y.K.，amp; Zeng，P.H. （2019）.Q-matrix refinement based on item fit statistic RMSEA. Applied Psychological Measurement， 43（7），527-542.

Leighton，J.P.，amp; Gierl，M.J.（Eds.）.（2007）.Cognitive diagnostic assessment for education： Theory and application. Cambridge： Cambridge University Press.

Li，J.，Mao，X.，amp; Wei， J. （2022）.A simple and effective new method of Q-matrix validation. Acta Psychologica Sinica， 54（8），996-1008.

[李佳，毛秀珍，韋嘉.（2022）．一種簡(jiǎn)單有效的Q矩陣修正 新方法．心理學(xué)報(bào)，54（8），996-1008.]

Liu， J.， Xu， G.， amp; Ying， Z. （2012）. Data-driven learning of QMatrix. Applied Psychological Measurement， 36（7）， 548-564.

Liu，R.， Huggins-Manley， A.C.，amp; Bradshaw，L. （2017）. The impact of Q-matrix designs on diagnostic classification accuracyinthepresenceofattributehierarchies.Educational and Psychological Measurement，77（2），220-240

Liu，Y.， amp; Wu， Q. （2023）. An empirical Q-matrix validation method using complete information matrix in cognitive diagnostic models. Acta Psychologica Sinica， 55（1）， 142-158.

[劉彥樓，吳瓊瓊.（2023）.認(rèn)知診斷模型Q矩陣修正：完整 信自鉅陣的作用心理學(xué)報(bào)55（1）142-1581

Ma，C.，Ouyang，J.，amp; Xu，G. （2022）.Learning latent and hierarchical structures in cognitive diagnosis models. Psychometrika， 88（1），175-207.

Ma，W.，amp; de la Torre，J.（2020）.An empirical Q-matrix validation method for the sequential generalized DINA model.British Journal of Mathematical and Statistical Psychology， 73（1）， 142-163.

Pinheiro，J.C.，amp;Bates，D.M.（1995）.Approximationsto the log-likelihood function in the nonlinear mixed-effects model. Journal of Computational and Graphical Statistics，4（1）， 12-35.

Rupp，A.A.，Templin，J. （2008）. The effects of Q-matrix misspecification on parameter estimates and classification accuracy intheDINA model.Educational andPsychological Measurement，68（1），78-96.

Schwarz， G. （1978）. Estimating the dimension of a model. Annals of Statistics，6（2），461-464.

Scutari，M.，amp; Denis，J.B.（2021）.Bayesian networkswith examples in R.New York： Chapman and Hall/CRC.

Tatsuoka， K. （l985）. A probabilistic model for diagnosing misconceptions by the pattern classification approach. JournalofEducational Statistics，10（1），55-73.

Tatsuoka，K.K. （1983）. Rule space： An approach for dealing with misconceptions based on item response theory. JournalofEducational Measurement，20（4），345-354.

Templin，J.，amp;Bradshaw，L.（2014a）.Hierarchicaldiagnostic classification models： A family of models for estimating and testing attribute hierarchies. Psychometrika，79（2）， 317-339.

Templin，J.，amp; Bradshaw，L.（2014b）.The use and misuseof psychometric models.Psychometrika，79（2）， 347-354.

Terzi，R.，amp;dela Torre，J.（2018）.An iterative method for empirically-based Q-matrixvalidation.International Journal ofAssessment Tools in Education，5（2），248-262.

Tu，D.B.， Cai， Y.， amp; Dai， H. Q. （2012）. A new method of Qmatrix validation based on DINA model. Acta Psychologica Sinica， 44（4），558-568.

[涂冬波，蔡艷，戴海琦.（2012）.基于DINA模型的Q矩陣 修正方法．心理學(xué)報(bào)，44（4），558-568.]

Wang，C.，amp; Gierl，M.（2011）.Using the attribute hierarchy method to make diagnostic inferences about examinees' cognitiveskillsincritical reading.Journal ofEducational Measurement，48（2），165-187

Wang，D.，Gao，X.，Cai，Y.，amp; Tu，D.（2020）.Amethodof Q-matrix validation for polytomous response cognitive diagnosis model based on relative fit statistics.Acta Psychologica Sinica，52（1），93-106.

[汪大勛，高旭亮，蔡艷，涂冬波．（2020）.基于類別水平的 多級(jí)計(jì)分認(rèn)知診斷Q矩陣修正：相對(duì)擬合統(tǒng)計(jì)量視角. 心理學(xué)報(bào)，52（1），93-106.]

Wang，D. X.， Cai， Y.，amp; Tu，D.B.（2020）.Q-matrix estimation methods for cognitive diagnosis models：Based on partial knownQ-matrix.MultivariateBehavioralResearch.https：// doi.org/10.1080/00273171.2020.1746901

Wang，D.-X.，Gao，X.-L.，Han，Y.-T.，amp; Tu，D.-B.（2018）.A simple and effective Q-matrix estimation method： From non-parametric perspective. Journal of Psychological Science，41（1），180-188.

[汪大勛，高旭亮，韓雨婷，涂冬波．（2018）.一種簡(jiǎn)單有效 的Q 矩陣估計(jì)方法開發(fā)：基于非參數(shù)化方法視角．心理 科學(xué)，41（1），180-188.]

Wang，C.，amp;Lu，J.（2o21）.Learningattributehierarchies from data： Two exploratory approaches. Journal of Educational and Behavioral Statistics，46（1），1-27. https：//doi.org/ 10.3102/1076998620931094

Xu，G.，amp; Shang，Z.（2018）.Identifying latent structuresin restricted latent class models.Journal of the American Statistical Association， 113（523），1284-1295.

Xue，W.，amp; Chen，H.G.（2012）.Data mining basedon Clementine.ChinaRenminUniversity Press.

[薛薇，陳歡歌.（2012）．基于Clementine的數(shù)據(jù)挖掘．中國(guó) 人民大學(xué)出版社.]

Yu，X.F.，amp; Cheng，Y. （2020）.Data- driven Q-matrix validation using a residual-based statistic in cognitive diagnostic assessment.British Journal ofMathematical and Statistical Psychology，73（Suppl1），145-179.

Yu，X.F.，Ding，S.L.，Qin，C.Y.，amp;Lu，Y.N.（2011）. Application of Bayesian networks to identify hierarchical relation among attributes in cognitive diagnosis.Acta Psychologica Sinica， 43（3），338-346.

[喻曉鋒，丁樹良，秦春影，陸云娜． （2011）.貝葉斯網(wǎng)在認(rèn) 知診斷屬性層級(jí)結(jié)構(gòu)確定中的應(yīng)用．心理學(xué)報(bào)，43（3）， 338-346.]

Zhang，L.W.，amp; Guo，H.P.（2006）. Introduction to Bayesian networks.Beijing：Science Press.

[張連文，郭海鵬.（2006）.貝葉斯網(wǎng)引論.北京：科學(xué)出版社.]

Zhang， X.Q.， Jiang， Y.， Xin， T.，amp; Liu， Y.L. （2024）.Iterative attribute hierarchy exploration methods for cognitive diagnosismodels.JournalofEducationalandBehavioral Statistics，https：//doi.0rg/10.3102/10769986241268906

An approach that can validate both Q-matrices and attribute hierarchies in cognitive diagnosis models： From the empirical application perspective

WANGLing-Ling1，SUN Xiao-Jian2 （School ofEducational Science，Shenyang Normal University，Shenyang11oo34，China） （CollegeofTeacher Education，Southwest University，Chongqing 40o715，China）

Abstract

Cognitive diagnostic models （CDMs） are developed to diagnostically evaluate subjects’cognitive strengths and weaknesses based on the Q-matrix mapping of the items and atributes.The traditional calibration of cognitive attributes in the Q-matrix mainly relies on the subjective judgment of experts.Due to the subjective process of Q-matrix construction，there inevitably are more or less misspecifications in the Q-matrix， which， if left unchecked，may result in a serious negative impact on cognitive diagnostic assssment.From another important perspective， in the empirical applications of CDMs，cognitive attributes generally do not operate independently but rather belong to an interrelated network， and a certain psychological order，logical order， or hierarchical relationship may be present among the cognitive atributes.The correctness of both the Q-matrix and the atribute hierarchy significantly impacts the parameter estimation ability ofa CDM and the accuracy of the examinee's classification result. Recently， considerable studies have developed approaches for validating Q-matrices or testing attribute hierarchies respectively. However， there is no method that can validate both he Q-matrix and the attribute hierarchy simultaneously. From the empirical application perspective， an approach that can simultaneously validate both a prespecified Q-matrix and an attribute hierarchy is more desirable.

An approach based on Bayesian networks （BN） for validating both Q-matrices and attribute hierarchies simultaneously is proposed in this research.To explore the performance of the BNmethod，this article conducted two simulation studies and one empirical data analysis to theoretically and practically evaluate the accuracy of the Q-matrix validation and attribute hierarchy correction processes.The correctness of each element in the Q matrix and the attributes hierarchy can be checked by testing the strength of edge existence in the network structure.

When validating the atribute hierarchy relationships and the Q-matrix jointly in the first simulation， we explore the effects of Q-matrix error rate，item quality，test length，sample size，and the atribute hierarchy type on the correction accuracy of both the Q-matrix and the attribute hierarchy.The results show that the BN method can effctively correct the Q-matrix and theatribute hierarchy simultaneously when the error rate of the Q-matrix is at a medium or low level， especially when the item quality is high or the sample size is sufficient or thetest length is long，the accuracy of the correction is generally high.As the Q-matrix error rate increases and the quality of the items decreases，the correction accuracy gradually decreases.The BN method can correct the attribute hierarchies exactly right when the Q matrix is correct. The results in the second simulation show that when the attribute number in te Q-matrix increases，the BN method is still performing well. Different types of atribute hierarchy errors have a small impact on the correction accuracy across different conditions.The effectiveness of the BN method in the empirical dataset was demonstrated by the beter model data fit index of BIC.

In conclusion， the initial specified Q-matrix and atribute hierarchy can be simultaneously validated via the BN method.Then the corrected Q-matrix and the refined attribute hierarchy obtained from the data-driven BN method can again be combined with the theoretical judgments of experts to obtain a more optimized model， finally achieving more accurate diagnostic outcomes in CDA practice.

Keywordscognitive diagnosis，attribute hierarchy relationships， Q-matrix，Bayesian network