徐燚，陳紅，周慶環(huán)，王杉

(北京大學人民醫(yī)院，北京100044)

●專題—醫(yī)學教育實踐教學的改革與研究

醫(yī)學生臨床見習效果評價評分員間信度的多系列相關(guān)分析

徐燚，陳紅*，周慶環(huán)，王杉

(北京大學人民醫(yī)院，北京100044)

目的:測算醫(yī)學生臨床見習效果評價過程中評分員(帶教教師)間信度系數(shù)。方法:通過多系列相關(guān)分析方法，對9名帶教教師對43名醫(yī)學生橋梁課階段四門課程臨床見習效果進行評價這一過程中評分員間整體信度系數(shù)進行測算。結(jié)果:通過測算，在這一評價過程中，9名評分員(帶教教師)之間整體信度系數(shù)為0．73，具有一定的一致性和穩(wěn)定性，處于技術(shù)上可以接受的范圍內(nèi)(0．6-0．9)。結(jié)論:多系列相關(guān)分析法是一種基于連續(xù)型數(shù)據(jù)的評價多個評分員之間整體一致性程度的方法，但是，這種方法沒有考慮單個評分員之間的關(guān)聯(lián)程度。在實際的教學評價過程中，需要進一步研究評分員個體差異對于評分的影響，以便客觀而全面地評價評分員間信度。

評分員信度;相關(guān)分析;評價;醫(yī)學生

評分員信度是信度的一種，指同一評分員內(nèi)部或不同評分員之間，在對測量結(jié)果評分上的一致性［1］。本次研究通過多系列相關(guān)分析法對9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果評價評分員間信度進行測算，了解這一評價方法可靠性和穩(wěn)定性，為建立醫(yī)學生橋梁課階段臨床見習效果有效評價手段提供依據(jù)。

一、研究對象

(一)評分員。

北京大學人民醫(yī)院臨床醫(yī)學專業(yè)八年制橋梁課階段四門課程(包括:體檢診斷學、外科學總論、影像診斷學以及實驗診斷學)臨床見習帶教教師共計9人。

(二)被評估對象。

北京大學人民醫(yī)院2010級八年制臨床醫(yī)學生共計43人。

(三)評估方法。

通過北京大學人民醫(yī)院研發(fā)的《師生雙向360度評估系統(tǒng)》，9名帶教教師分別對43名醫(yī)學生橋梁課階段四門課程的臨床見習效果進行評價，評價覆蓋“基本理論知識掌握情況”、“臨床技能操作情況”、“職業(yè)素養(yǎng)”、“主動學習能力”、“學習效果情況”、“溝通能力”、“團隊合作能力”、“遵守學習紀律”、“儀容儀表整潔大方”九個維度，每一維度采用1-5評分的方法，即5分:好、4分:較好、3分:一般、2分:較差、1分:差。最后分值為九個維度合計值并折合為百分制得分。

二、研究方法

通過多系列相關(guān)分析法［2］對9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果進行評價中評分員之間信度進行分析，具體步驟如下:

第一，計算所有評分員(帶教教師)評價分數(shù)的相關(guān)系數(shù)矩陣。

第二，由于上述所得相關(guān)系數(shù)不是等距的，需要對其進行費希爾(Fisher)Z轉(zhuǎn)換，可以在統(tǒng)計學書上查r值的Zr轉(zhuǎn)換表實現(xiàn)，并求出Z值的算數(shù)平均數(shù)。

第三，為了獲得9名評分員(帶教教師)間整體信度，需要通過斯皮爾曼—布朗矯正公式［3］對Z值的算數(shù)平均數(shù)進行調(diào)整，通過查r值的Zr轉(zhuǎn)換表將其還原為相關(guān)系數(shù)r，即為9名評分員(帶教教師)的整體評分信度。

所有數(shù)據(jù)均利用SPSS 11．5進行統(tǒng)計學分析。

三、結(jié)果

(一)評分結(jié)果的基本情況。

9名評分員(帶教教師)評分的分數(shù)范圍在86．30-94．63之間(滿分為100分)，

8號和9號評分員(實驗診斷學)評分的平均分分別為最低分86．30和最高分94．63;體現(xiàn)每名評分員(帶教教師)評分內(nèi)部差異性的標準差在2．38-7．76之間，4號評分員(外科學總論)標準差最小，為2．38，8號評分員(實驗診斷學)標準差最大，為7．76(見表1)。

(二)評分員(帶教教師)評分相關(guān)系數(shù)矩陣和相關(guān)系數(shù)Z值矩陣。

在SPSS軟件中，調(diào)用“分析(Analyze)”→“相關(guān)(Correlation)”→“兩因素(Bivariate)”得到9名評分員(帶教教師)評分相關(guān)系數(shù)矩陣(見表2)。

除4號評分員(外科學總論)與1號和2號評分員(均為體檢診斷學)之間相關(guān)系數(shù)0．287、0．262在0．05水平上無顯著性之外，其他相關(guān)系數(shù)均達到了0．05水平上的顯著性。對矩陣中的相關(guān)系數(shù)進行費希爾(Fisher)Z轉(zhuǎn)換，即通過查詢統(tǒng)計學教材中r值的Zr轉(zhuǎn)換表［4］，得到相關(guān)系數(shù)的Z值矩陣(見表3)。

表1 9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果評分基本情況

表2 9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果評分相關(guān)系數(shù)矩陣

表3 9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果評分相關(guān)系數(shù)Z值矩陣

(三)運用斯皮爾曼—布朗矯正公式進行調(diào)整。

首先計算Z值矩陣中所有Z值的算數(shù)平均數(shù):Z值總和/Z值個數(shù)=20．29/36=0．564，將此值代入斯皮爾曼—布朗調(diào)整公式:Ru=nrab/1+(n-1)rab在此公式中，n為評分員人數(shù)(本研究中n=9)，rab為Z值的算數(shù)平均數(shù)，本研究中為0．564，代入計算如下:

Ru=9×0．564/1+(9-1)×0．564=0．922，但0．922仍為Z值，需要查r值的Zr轉(zhuǎn)換表，得到Ru值為0．73。即為本次研究中9名評分員(帶教教師)對43名醫(yī)學生橋梁課階段四門課程臨床見習效果評價評分員之間整體信度。

四、討論

研究表明，信度在0．60至0．90之間都是可以接受的，本次研究得到的信度系數(shù)0．73處于技術(shù)上可以接受的范圍內(nèi)，說明9名來自不同學科的帶教教師對43名醫(yī)學生橋梁課四門課程臨床見習效果評價具有一定的一致性和穩(wěn)定性。也就是說，將9名臨床帶教教師對橋梁課階段醫(yī)學生在四門課程(體檢診斷學、外科學總論、影像診斷學以及實驗診斷學)臨床見習過程中表現(xiàn)的綜合評分在反映其臨床見習效果方面具備一定的可信度和穩(wěn)定性。但是，評價過程中仍然有27%的變異來自測量誤差即評分員之間評分的不一致性。可以通過對評分員(帶教教師)進行培訓使其明確評分表中的各個指標體系的具體含義以及量化不同分值所表示的優(yōu)劣程度以及使用更加清晰明了的評分表等方法降低測量誤差，提高評分員間的一致性。

多系列相關(guān)分析法是一種基于連續(xù)型數(shù)據(jù)(而不是字符或其他形式)的計算多個評分員之間整體一致性程度的方法，可以較好地彌補其他方法(如克隆巴赫α系數(shù)需要受到諸多因素的影響等)的不足，但是，多系列相關(guān)分析法卻是以犧牲評分員個體之間關(guān)聯(lián)程度為代價的。本次研究，評分員之間的信度是0．73，一致性程度可以接受，但是對評分員相關(guān)系數(shù)矩陣進行分析，可以發(fā)現(xiàn)，不同課程(即不同專業(yè)背景)的評分員(帶教教師)之間的相關(guān)程度存在一定差異。因此，在實際工作中，在測算評分員之間整體一致性的同時，還需要針對評分員(帶教教師)個體特征進行分析，以便更加全面地了解教學評價過程中的評分員信度。

［1］黃光揚．教育測量與評價［M］．第二版．上海:華東師范大學出版社，2013:46-55．

［2］汪順玉，吳世銀．評分員信度的多系列相關(guān)分析方法原理及運用［J］．重慶郵電學院學報(社會科學版)，2006，18(6):945-947．

［3］李燦，辛玲．調(diào)查問卷的信度與效度的評價方法研究［J］．中國衛(wèi)生統(tǒng)計，2008，25(5):541-544．

［4］王孝玲．教育統(tǒng)計學［M］．第四版．上海:華東師范大學出版社，2007:200-202．

G420

A

1002-1701(2015)01-0014-02

2014-01

徐燚，女，碩士，助理研究員，研究方向:臨床教學管理。

*通訊作者

10．3969/j．issn．1002-1701．2015．01．008