苗 壯,逯欣宇,呂正帥,王 芳,聞慶平
(大連醫(yī)科大學(xué)附屬第一醫(yī)院,遼寧 大連 116011)
客觀結(jié)構(gòu)化臨床考試(Objective Structured Clinical Examination,OSCE)又稱臨床多站考試(Multiple-station Clinical Examination,MSE),是由Harden R M等于1975年提出的一種考核模式[1],考核者可根據(jù)被考核者的專業(yè)以及考核目的自行設(shè)計(jì)考核內(nèi)容。醫(yī)學(xué)OSCE考站包括病史采集、體格檢查、臨床溝通、病例分析等,采用標(biāo)準(zhǔn)化病人(Standardized Patient,SP)模擬臨床真實(shí)場(chǎng)景,能更客觀評(píng)價(jià)醫(yī)學(xué)生或臨床醫(yī)生的職業(yè)技能,被認(rèn)為是評(píng)價(jià)知識(shí)、技能和溝通能力等臨床綜合能力的“金標(biāo)準(zhǔn)”,被廣泛應(yīng)用[2]。
大連醫(yī)科大學(xué)麻醉學(xué)專業(yè)本科臨床實(shí)習(xí)考核包括3部分:臨床實(shí)習(xí)準(zhǔn)入考試、實(shí)習(xí)階段考核及出科考試。2018年,麻醉學(xué)系首次將OSCE引入麻醉學(xué)專業(yè)本科臨床實(shí)習(xí)考核,以期綜合評(píng)價(jià)學(xué)生臨床能力,通過以考促改的方式提升臨床教學(xué)質(zhì)量。1對(duì)象與方法
研究對(duì)象為大連醫(yī)科大學(xué)麻醉學(xué)專業(yè)四年級(jí)本科生,剛剛通過麻醉臨床技能培訓(xùn)、臨床麻醉學(xué)考試及外科臨床技能OSCE。
本科臨床實(shí)習(xí)準(zhǔn)入考試為百分制,60分為及格,通過者可進(jìn)入臨床實(shí)習(xí)。OSCE內(nèi)容涉及外科及麻醉臨床技能操作和臨床麻醉學(xué),共設(shè)5個(gè)考站,包括技能操作(3站)、臨床問診(1站)和病例分析(1站)。其中臨床問診考站為SP考站,SP由麻醉科臨床醫(yī)師扮演。病例分析考站為理論答題,內(nèi)容涉及輔助檢查報(bào)告閱讀與分析、病情分析和急診處理等。每個(gè)考站6分鐘,總考核時(shí)間為30分鐘,每站滿分100分,將各考站成績(jī)換算成百分制即為考生總成績(jī)。
共有兩個(gè)班62名學(xué)生參加考試。每個(gè)班按學(xué)號(hào)分成6組,無缺考。
考試結(jié)束后舉行考試總結(jié)會(huì),由考官對(duì)各考站存在的問題進(jìn)行分析。對(duì)所有考生進(jìn)行問卷調(diào)查,獲得考生對(duì)本次考試的主觀評(píng)價(jià),了解其對(duì)考核方法的認(rèn)可度。所有問卷均由經(jīng)培訓(xùn)的專業(yè)調(diào)查員現(xiàn)場(chǎng)調(diào)查、收回并錄入數(shù)據(jù)庫。
描述性分析:計(jì)量資料采用Kolomogorov-Simirnov進(jìn)行正態(tài)分布檢驗(yàn),根據(jù)資料類型選擇均值、標(biāo)準(zhǔn)差或中位數(shù)、四分位間距、最大值和最小值進(jìn)行描述;計(jì)數(shù)資料采用合格率及構(gòu)成比等描述。
信度和效度分析:各考站內(nèi)部一致性信度采用Cronbach’s α系數(shù)評(píng)價(jià),效度采用Spearman相關(guān)分析評(píng)價(jià)。
難度和區(qū)分度分析:試卷難度以P表示:P=X/M(X為試卷平均得分,M為試卷滿分);試卷區(qū)分度(D)=2(XH-XL)/W,其中D為試卷區(qū)分度,XH為高分組(前26%的考生)平均分,XL為低分組(后26%的考生)平均分,W為試卷總分。
采用SPSS 22.0軟件進(jìn)行統(tǒng)計(jì)學(xué)分析,檢驗(yàn)水準(zhǔn)α=0.05,P<0.05表示差異有顯著性。
本次考試合格率為100.0%,OSCE總成績(jī)呈正態(tài)分布(P=0.200),為(79.81±6.43)分,各考站平均成績(jī)及合格率見表1。
表1 臨床實(shí)習(xí)準(zhǔn)入考試各考站平均成績(jī)及合格率
對(duì)各考站成績(jī)進(jìn)行正態(tài)性檢驗(yàn),結(jié)果顯示,除第一站外,其余各站成績(jī)均呈非正態(tài)分布(P<0.05),故本研究用中位數(shù)描述其集中均勢(shì),用最小值、下四分位數(shù)、上四分位數(shù)和最大值描述離散程度,見表2。
表2 臨床實(shí)習(xí)準(zhǔn)入考試各考站成績(jī)正態(tài)性檢驗(yàn)和描述性分析
2.2.1 信度 各考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.240,提示OSCE內(nèi)部一致性信度一般;技能操作類考站內(nèi)部一致性系數(shù)為0.675,說明內(nèi)部一致性信度較好。
2.2.2 效度 對(duì)考生OSCE總成績(jī)與麻醉臨床技能考試成績(jī)進(jìn)行Spearman相關(guān)性分析(r=0.263,P=0.039),兩者顯著正相關(guān)。除SP臨床問診考站外,各考站成績(jī)與總成績(jī)之間均顯著相關(guān)。不同考站間Spearman相關(guān)分析結(jié)果見表3。
表3 臨床實(shí)習(xí)準(zhǔn)入考試各考站間Spearman相關(guān)性分析結(jié)果
5個(gè)考站的難度系數(shù)為0.71~0.92,OSCE總體難度系數(shù)為0.80,說明試題偏簡(jiǎn)單。5個(gè)考站的區(qū)分度為0.37~0.81,OSCE總體區(qū)分度為0.30,說明本次OSCE對(duì)不同能力學(xué)生的區(qū)分度較高。各考站難度系數(shù)及區(qū)分度見表4。
表4 臨床實(shí)習(xí)準(zhǔn)入考試各考站難度及區(qū)分度
發(fā)放調(diào)查問卷62份,回收有效問卷62份,有效回收率100.0%,問卷調(diào)查結(jié)果見表5。
表5 問卷調(diào)查結(jié)果
98.4%的學(xué)生認(rèn)為開展OSCE非常必要,88.72%的學(xué)生認(rèn)為考站數(shù)目設(shè)置合理,91.94%的學(xué)生認(rèn)為考站時(shí)間設(shè)計(jì)比較合理,96.77%的學(xué)生認(rèn)為有助于了解自身薄弱環(huán)節(jié),提高對(duì)臨床技能和臨床思維的重視程度。
臨床實(shí)習(xí)是培養(yǎng)醫(yī)學(xué)生邏輯思維和實(shí)踐能力的重要階段,對(duì)學(xué)生理論知識(shí)和基本技能有一定要求[3]。實(shí)行臨床實(shí)習(xí)準(zhǔn)入制度有利于提高學(xué)生對(duì)實(shí)習(xí)的重視程度,發(fā)現(xiàn)學(xué)生薄弱之處,使學(xué)生在實(shí)習(xí)過程中有目的和針對(duì)性地進(jìn)行學(xué)習(xí)與訓(xùn)練。本次研究對(duì)象剛剛通過麻醉臨床技能培訓(xùn)、臨床麻醉學(xué)考試及外科臨床技能OSCE,對(duì)于臨床麻醉學(xué)的基礎(chǔ)知識(shí)和基本技能以及OSCE形式均有一定了解,不會(huì)有畏難情緒,因此本次考試時(shí)間點(diǎn)選擇適宜。
本次考試各考站合格率為79.00%~96.80%,說明考生臨床技能操作掌握較好,但缺乏臨床思維。
信度是指測(cè)驗(yàn)結(jié)果的精確度、一致性和可重復(fù)性,是評(píng)價(jià)考試成績(jī)可靠性的一個(gè)重要指標(biāo)[4],目前最常用Cronbach’s α系數(shù)判斷。Cronbach’s α系數(shù)與考試結(jié)果的關(guān)系為:α<0.3時(shí)結(jié)果不可信,0.3≤α<0.4時(shí)結(jié)果勉強(qiáng)可信,0.4≤α<0.5時(shí)結(jié)果可信,0.5≤α<0.7時(shí)結(jié)果較可信(最常見),0.7≤α<0.9時(shí)結(jié)果很可信(次常見),α≥0.9時(shí)結(jié)果十分可信[5]。
本次考試所有考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.240,前3站技能操作類考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.675。
OSCE的內(nèi)部一致性信度通常較低,且由于各考站側(cè)重點(diǎn)不同,考生技能掌握程度也不盡相同,因此信度系數(shù)范圍較大,已報(bào)道的 OSCE 的 Cronbach’s α 系數(shù)多為 0.100[6]~0.929[7],國內(nèi)相關(guān)研究認(rèn)為OSCE考站信度在0.12~0.9為可接受信度[7]。2014年,一項(xiàng)Meta分析顯示,國內(nèi)OSCE的Cronbach’s α系數(shù)為0.648,國外為0.745,略高于國內(nèi)[8]。本次考試結(jié)果處于可接受的信度范圍。影響本次考試信度的因素主要有以下兩方面:第一,考站數(shù)目較少。為減少財(cái)務(wù)支出,減輕考生、考官負(fù)擔(dān),本次考試僅設(shè)置5個(gè)考站,較其他研究少。第二,考站內(nèi)容涉及范圍廣,影響考試信度。影響OSCE信度的因素主要有考站設(shè)計(jì)和考生表現(xiàn)兩方面。若提高考試信度,可縮小考核范圍,適當(dāng)增加考站數(shù)量或考核內(nèi)容相似的考站數(shù)量,也可通過細(xì)化評(píng)分表、延長(zhǎng)考試時(shí)間、增加考官數(shù)量、設(shè)置書面測(cè)驗(yàn)考站等手段提高OSCE的可靠性[9-12]。
效度是評(píng)價(jià)考試有效性的重要指標(biāo)。本次OSCE總成績(jī)與麻醉臨床技能考試成績(jī)顯著正相關(guān)。除SP臨床問診考站,其他考站成績(jī)與總成績(jī)之間的相關(guān)系數(shù)較高,考站內(nèi)部相關(guān)系數(shù)也較高,說明本次考試結(jié)構(gòu)效度尚可。但由于OSCE各考站內(nèi)容的關(guān)聯(lián)程度不高,且考生掌握程度也不盡相同,因此OSCE結(jié)構(gòu)效度一般都不高,國內(nèi)外相關(guān)研究也較少。
難度和區(qū)分度是檢驗(yàn)試題及試卷質(zhì)量的主要指標(biāo)。本研究中,5個(gè)考站的難度系數(shù)為0.71~0.92,OSCE總體難度系數(shù)為0.80,難度不高,這與本次OSCE以基本知識(shí)和技能考查為主有關(guān),提示在未來應(yīng)適當(dāng)增加試題難度。
區(qū)分度反映考試對(duì)考生學(xué)習(xí)能力的區(qū)分情況。區(qū)分度(D)的評(píng)價(jià)標(biāo)準(zhǔn)為:D<0.2時(shí)區(qū)分不好,0.2≤D<0.3時(shí)區(qū)分尚可,0.3≤D<0.4時(shí)區(qū)分良好,D≥0.4時(shí)區(qū)分非常好[13],<0.2的試題區(qū)分度不好應(yīng)被淘汰。本次考試5個(gè)考站的區(qū)分度為0.37~0.81,總體區(qū)分度為0.30,說明對(duì)不同能力考生區(qū)分度較好,適宜性尚可。
問卷調(diào)查結(jié)果顯示,大部分考生認(rèn)為開展OSCE非常必要,并對(duì)考試時(shí)機(jī)選擇、考站內(nèi)容及數(shù)目設(shè)置比較滿意,對(duì)SP認(rèn)可度較高,認(rèn)為OSCE能夠較好地評(píng)價(jià)學(xué)生理論知識(shí)、臨床思維能力和技能水平,提高學(xué)生對(duì)臨床技能及臨床思維的重視程度。然而問卷調(diào)查也發(fā)現(xiàn)一些問題,如7名學(xué)生反映SP臨床問診考站時(shí)間太短,還有的學(xué)生建議可將OSCE應(yīng)用于畢業(yè)考試等。
總之,本次研究通過分析OSCE成績(jī)以及問卷調(diào)查,證實(shí)OSCE的適宜性及有效性,即全面評(píng)價(jià)學(xué)生臨床綜合能力,反饋學(xué)習(xí)的薄弱環(huán)節(jié),可針對(duì)性地指導(dǎo)后續(xù)教學(xué)工作,是一項(xiàng)有效的測(cè)評(píng)方法。未來將優(yōu)化考試方案,逐步將OSCE應(yīng)用于臨床麻醉實(shí)習(xí)階段考核、出科考試及畢業(yè)考試。
本研究也存在一些問題,比如SP臨床問診考站僅由SP一人打分,信度相對(duì)較低,未來可增設(shè)一名考官,取兩者平均值。此外,還應(yīng)細(xì)化評(píng)分標(biāo)準(zhǔn),加強(qiáng)考官和SP同質(zhì)化培訓(xùn),優(yōu)化考站時(shí)間和考站數(shù)目等,提高考試信度和效度。