白娟

（教育部考試中心，北京 100084）

基于多元概化理論的全國碩士研究生中醫(yī)綜合考試質(zhì)量分析*

白娟

（教育部考試中心，北京 100084）

中醫(yī)綜合考試；多元概化理論；試卷結(jié)構(gòu)；測量精度

全國碩士研究生入學(xué)中醫(yī)綜合考試的目的是科學(xué)、公平、有效地測試考生是否具備繼續(xù)攻讀中醫(yī)碩士學(xué)位所需要的中醫(yī)藥學(xué)基礎(chǔ)知識(shí)和基本技能?！吨嗅t(yī)綜合考試大綱》規(guī)定考試涵蓋中醫(yī)基礎(chǔ)理論、中醫(yī)診斷學(xué)、中藥學(xué)、方劑學(xué)、中醫(yī)內(nèi)科學(xué)和針灸學(xué)6門課程，設(shè)有A型、B型、X型3種題型。對(duì)照《考試大綱》，多元概化理論為試卷結(jié)構(gòu)、學(xué)科比例分配、信度等問題的研究與論證提供了框架[1]。

概化理論（GT）是一種把測量誤差作為模型參數(shù)來處理的測量理論，是經(jīng)典測量理論與實(shí)驗(yàn)設(shè)計(jì)、方差分析相結(jié)合的產(chǎn)物。根據(jù)測量目的的不同，研究者可以設(shè)計(jì)不同的概括全域，通過多個(gè)決策研究計(jì)算出不同概括全域上的多個(gè)信度指標(biāo)，尤其是多元概化理論，在處理含有多個(gè)潛在能力因子，且因子之間存在相關(guān)的測量問題方面有獨(dú)到之處[2]。

本文應(yīng)用多元概化理論評(píng)估2010—2012年全國碩士研究生入學(xué)中醫(yī)綜合考試的試卷結(jié)構(gòu)和測量精度等，獲取“平均”或“趨勢(shì)”的結(jié)果，從整體上評(píng)價(jià)中醫(yī)綜合考試，并為今后修訂《考試大綱》、改進(jìn)命題方案、提高考試質(zhì)量提供參考依據(jù)。

1 資料與方法

1.1 研究樣本本研究采取分層等距抽樣法，各年度考生抽取人數(shù)及考試數(shù)據(jù)的描述統(tǒng)計(jì)見表1。

1.2 測量的設(shè)計(jì)根據(jù)多元概化理論的研究設(shè)計(jì)，從測量學(xué)科能力的角度，可以將中醫(yī)綜合能力看成是包含中醫(yī)基礎(chǔ)理論、中醫(yī)診斷學(xué)、中藥學(xué)、方劑學(xué)、中醫(yī)內(nèi)科學(xué)、針灸學(xué)共6個(gè)學(xué)科因子的單面p0×i0設(shè)計(jì)。另外，可以將中醫(yī)綜合考試看成是包含A型題、B型題、X型題3種題型因子的p0×i0設(shè)計(jì)。

表1 2010—2012年中醫(yī)綜合考試的描述統(tǒng)計(jì)

2 研究結(jié)果

2.1 關(guān)于6個(gè)學(xué)科因子的分析

2.1.1 G研究各效應(yīng)在6種學(xué)科因子上的方差協(xié)方差分量。

運(yùn)用mGENOVA軟件可以得到考生（p）、試題（i）以及考生與試題之間交互效應(yīng)（p×i）在6個(gè)學(xué)科因子上的方差和協(xié)方差分量的估計(jì)矩陣，見表2。

在6個(gè)學(xué)科因子中，2010—2012年方差分量最大的均是方劑學(xué)和中藥學(xué)，其次為針灸學(xué)和中醫(yī)內(nèi)科學(xué)，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的方差分量相對(duì)較低。這說明在研究生入學(xué)中醫(yī)綜合考試中，方劑學(xué)和中藥學(xué)發(fā)揮作用最大，其次為針灸學(xué)和中醫(yī)內(nèi)科學(xué)，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的作用還應(yīng)進(jìn)一步加強(qiáng)。同時(shí)，根據(jù)協(xié)方差分量的估計(jì)值，發(fā)現(xiàn)連續(xù)3年各個(gè)學(xué)科與其它5個(gè)因子的協(xié)方差分量值都小于0.1，說明考生在各學(xué)科所得分?jǐn)?shù)高低的一致性程度相對(duì)較低，各學(xué)科因子在預(yù)測考生能力水平方面發(fā)揮各自不同的作用[3]。

2.1.2 D研究各學(xué)科因子全域分估計(jì)及全域總分估計(jì)的精度問題。

按照6個(gè)學(xué)科因子試題量所占比重來決定權(quán)系數(shù)，對(duì)6個(gè)學(xué)科因子全域分進(jìn)行合成，可以得到全域總分的方差以及相應(yīng)誤差的方差分量估計(jì)，進(jìn)而估計(jì)全域總分的概化系數(shù)，見表3。

表2 G研究中各效應(yīng)在6個(gè)學(xué)科因子上的方差協(xié)方差分量估計(jì)

表3 考生全域分?jǐn)?shù)等在6個(gè)學(xué)科因子以及全域總分上估計(jì)的方差分量值

綜合2010—2012年3年的考試數(shù)據(jù)，方劑學(xué)、中藥學(xué)、中醫(yī)內(nèi)科學(xué)和針灸學(xué)測量的相對(duì)誤差小，概化系數(shù)高，這表明在中醫(yī)綜合考試中，這4門學(xué)科的測量精度相對(duì)較高。中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的概化系數(shù)介于0.6～0.7之間，其測量精度處于可接受水平，但與其它4門學(xué)科相比相對(duì)較低，有待進(jìn)一步提高。總體上，分析3年考后數(shù)據(jù)，按照6個(gè)學(xué)科因子合成的全域總分的相對(duì)誤差很?。ㄐ∮?.005），概化系數(shù)均在0.93以上，表明中醫(yī)綜合考試的整體測量精度比較理想。

2.2 關(guān)于3種題型因子的分析

2.2.1 G研究各效應(yīng)在3種題型因子上的方差協(xié)方差分量。

運(yùn)用mGENOVA軟件可以得到考生（p）、試題（i）以及考生與試題之間交互效應(yīng)（p×i）在三種題型因子上的方差和協(xié)方差分量的估計(jì)矩陣，見表4。

表4 G研究中各效應(yīng)在3個(gè)題型因子上的方差協(xié)方差分量估計(jì)

由表4可知，2010—2012年連續(xù)3年，在3種題型因子中，方差分量最大的是X型題，其次為B型題，最小的是A型題。這說明在中醫(yī)綜合考試中，X型題的作用最大，A型題的作用最小。同時(shí)，根據(jù)協(xié)方差分量的估計(jì)值，發(fā)現(xiàn)各個(gè)題型與其它2個(gè)因子的協(xié)方差分量值都小于0.1，說明考生在各題型上所得分?jǐn)?shù)高低確定順序的一致性程度相對(duì)較低。

2.2.2 D研究各題型因子全域分估計(jì)及全域總分估計(jì)的精度問題。

按照3個(gè)題型因子試題量所占比重來決定權(quán)系數(shù)，對(duì)3種題型因子全域分進(jìn)行合成，可以得到全域總分的方差以及相應(yīng)誤差的方差分量估計(jì)，進(jìn)而估計(jì)全域總分的概化系數(shù)，見表5。

表5 考生全域分?jǐn)?shù)等在3個(gè)題型因子以及全域總分上估計(jì)的方差分量值

綜合2010—2012年3年數(shù)據(jù)，由于A型題測量誤差最小，因而相對(duì)于其它兩種題型，A型題概化系數(shù)最高，測量精度最高。X型題和B型題的相對(duì)誤差也較小，概化系數(shù)在0.8以上，測量精度也較高?？傮w上，3年中醫(yī)綜合考試各題型全域總分的相對(duì)誤差都很小，概化系數(shù)高，這表明，從題型合成角度來看，整體測量精度非常理想。

3 討論與結(jié)論

本文運(yùn)用多元概化理論分別從學(xué)科和題型的角度探討了全國碩士研究生入學(xué)中醫(yī)綜合考試的試卷結(jié)構(gòu)和測量精度問題，結(jié)果發(fā)現(xiàn)有以下幾個(gè)方面。

3.1 從考試內(nèi)容看中醫(yī)綜合考試從考試內(nèi)容來看，各學(xué)科因子的方差和協(xié)方差成分的估計(jì)是比較穩(wěn)定的，這說明各個(gè)學(xué)科試題的命制是嚴(yán)格遵循《考試大綱》的，各個(gè)學(xué)科的分量分配是基本合適的。相對(duì)而言，方劑學(xué)、中藥學(xué)、針灸學(xué)和中醫(yī)內(nèi)科學(xué)的貢獻(xiàn)總體較高，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的分量和貢獻(xiàn)還需要進(jìn)一步平衡。從D研究的結(jié)果看，中醫(yī)綜合考試的整體測量精度較高，中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的測量精度有待進(jìn)一步加強(qiáng)[4-6]。

從概化理論D研究的角度來講，提高樣本容量，信度會(huì)有一定程度的提高。但是考慮到中醫(yī)綜合試卷共有180道題，已經(jīng)是一個(gè)比較長的試卷，完全靠增加題量提高信度是不太可行的。對(duì)中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的試題本身進(jìn)行分析發(fā)現(xiàn)，這兩門學(xué)科的試題難度總體上低于整張綜合試卷的平均難度，不同水平的考生答對(duì)概率相對(duì)較高，導(dǎo)致題目的區(qū)分度相對(duì)較低，為此，適當(dāng)提高題目難度，提高區(qū)分度可能是改進(jìn)中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)試題的一個(gè)方向。另外，考慮到中醫(yī)基礎(chǔ)理論和中醫(yī)診斷學(xué)的學(xué)科本身，有一些知識(shí)點(diǎn)存在一定爭議，不十分明確的知識(shí)點(diǎn)相對(duì)其它學(xué)科較多，在一定程度上增加了命題難度。

3.2 從題型設(shè)計(jì)看中醫(yī)綜合考試從題型來看，各題型的方差和協(xié)方差成分的估計(jì)是比較穩(wěn)定的，不同年度的試卷在結(jié)構(gòu)上可看成是“平行的”。從D研究的結(jié)果來看，按照題型合成分?jǐn)?shù)，由于都是客觀選擇題型，總體上測量誤差小，測量精度非常理想。

中醫(yī)綜合考試連續(xù)多年采用的都是客觀題的形式，題型相對(duì)一致統(tǒng)一，答案精確，評(píng)分誤差影響很小，因此采用多元概化理論進(jìn)行試卷分析的適用度很高。但是，由于國家大規(guī)?？荚嚨木窒扌?，本研究在使用多元概化理論分析試卷時(shí)也存在一定不足，例如，由于是國家統(tǒng)一考試，每年都使用不同的試卷，沒有共同題和共同人，無法對(duì)不同年度的分?jǐn)?shù)進(jìn)行等值處理，可能會(huì)在一定程度上影響到分?jǐn)?shù)的可比性。

[1]張伯禮，于越，周桂彤.中醫(yī)藥高等教育教學(xué)改革思路探討[J].天津中醫(yī)藥大學(xué)學(xué)報(bào)，2008，27（2）：87-88.

[2]楊志明,張雷.測評(píng)的概化理論及其應(yīng)用[M].北京:教育科學(xué)出版社,2003.

[3]關(guān)丹丹,王博,車宏生.2007—2010年心理學(xué)專業(yè)基礎(chǔ)綜合考試的多元概化理論研究[J].心理科學(xué),2011,34 (4):950-956.

[4]張艷軍，于虹，高秀梅.加強(qiáng)實(shí)踐教學(xué)環(huán)節(jié)，增強(qiáng)藥學(xué)類專業(yè)學(xué)生創(chuàng)新實(shí)踐能力[J].天津中醫(yī)藥大學(xué)學(xué)報(bào)，2006，25（3）：153-154.

[5]于河，王思成，白俊杰，等.中醫(yī)教育循證決策研究方法與應(yīng)用舉隅[J].天津中醫(yī)藥大學(xué)學(xué)報(bào)，2012，31（3）：166-168.

[6]張?zhí)燔?，何?qiáng)，周桂桐，等.中醫(yī)學(xué)專業(yè)認(rèn)證管理模式研究[J].天津中醫(yī)藥大學(xué)學(xué)報(bào)，2013，32（4）：232-233.

G424.74

A

1673－9043（2014）01－0044-03

10.11656/j.issn.1673-9043.2014.01.15

2013-12-10）

全國教育科學(xué)規(guī)劃2011年度教育部重點(diǎn)課題資助項(xiàng)目（GFA111012）。

白娟（1980-），女，助理研究員，研究方向?yàn)榻逃荚嚴(yán)碚撆c評(píng)價(jià)。