金世柱，劉冰熔，劉自帥，張菲菲，張春偉，阮夢婷

改良Angoff法在臨床醫(yī)學(xué)OSCE考試中的應(yīng)用

金世柱，劉冰熔*，劉自帥，張菲菲，張春偉，阮夢婷

（哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院，黑龍江哈爾濱150086）

目的探討改良Angoff法在臨床醫(yī)學(xué)OSCE考試中運用的可行性。方法隨機抽取2011級臨床醫(yī)學(xué)七年制1班45名學(xué)生在2014—2015學(xué)年第一學(xué)期的OSCE考試成績作為數(shù)據(jù)樣本，選取18名經(jīng)驗豐富的內(nèi)科學(xué)專家組成考核小組，由其設(shè)定改良Angoff法的合格線，對比運用邊界法（BorderlineGroup，BG）、邊界回歸法（BorderlineRegressionGroup，BRG）和改良Angoff法的合格線和考試通過率。結(jié)果通過改良Angoff法得出的合格分?jǐn)?shù)線要低于BG法和BRG法（P<0.01）。結(jié)論研究表明，使用改良Angoff法確定臨床醫(yī)學(xué)七年制OSCE考試合格分?jǐn)?shù)線是可行的，運用這種方法確定的合格線較為科學(xué)、準(zhǔn)確。

OSCE；改良Angoff法；臨床醫(yī)學(xué)

隨著國家醫(yī)療衛(wèi)生體制的不斷深化改革，不僅對醫(yī)學(xué)專業(yè)人員數(shù)量的需求不斷增加，而且對質(zhì)量的要求也更加苛刻。高等醫(yī)學(xué)教育的目的在于培養(yǎng)基礎(chǔ)扎實、實踐技能嫻熟、能獨立從事實際工作的高級應(yīng)用人才。臨床醫(yī)學(xué)七年制學(xué)生是我國醫(yī)學(xué)教育培養(yǎng)的重點對象，他們不僅需要掌握扎實的專業(yè)理論知識，更需要掌握過硬的臨床技能。根據(jù)七年制醫(yī)學(xué)教育的要求和特點，哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院自2009年以來，一直運用OSCE考核學(xué)生的臨床思維能力和臨床實踐技能。OSCE的概念始于1975年[1]，其基本思想是“以操作為基礎(chǔ)的測驗”，它是一種以客觀的方式評估臨床能力的考核方法，即在模擬臨床場景下，使用模型、標(biāo)準(zhǔn)病人[2]甚至病人來測試醫(yī)學(xué)生的臨床能力。同時它也是一種知識、技能和態(tài)度并重的綜合能力評估方法，還是一種與國際醫(yī)學(xué)教育基本要求相匹配的新型考核評價體系，在目前國內(nèi)外的醫(yī)學(xué)教育和醫(yī)師資格考試中廣泛應(yīng)用[3]。本研究將探討在國內(nèi)外執(zhí)業(yè)醫(yī)師考試中常用的改良Angoff法是否適用于臨床醫(yī)學(xué)七年制OSCE考試合格標(biāo)準(zhǔn)的設(shè)定，現(xiàn)介紹如下。

1　OSCE考站介紹

因本次研究使用了哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)學(xué)院2011級臨床醫(yī)學(xué)七年制1班45名學(xué)生在2014—2015學(xué)年第一學(xué)期的OSCE考試成績作為數(shù)據(jù)樣本，所以本次OSCE考試模擬的考站數(shù)量、試題數(shù)量、考試題型及難易度、每個考站的通過時間等因素均參考上述考試的模型，將考試模式、題型變化等對研究的影響降到最低。OSCE考試共有6站，每一站分為若干小項并有3位評委按照操作考核評分表負(fù)責(zé)打分，總分為50分，每一位考生完成所有考核的時間約60～75分鐘。

2　方法與對象

2.1改良Ango ff法

改良Angoff法是以考試內(nèi)容為中心的專家判斷法的典型代表，改良Angoff法要求專家根據(jù)試題判定邊界考生（指具備所承擔(dān)某項特定工作任務(wù)要求的最低知識水平和技能的人群）能夠?qū)δ骋辉囶}回答的“對”與“錯”和能夠正確回答某一試題的概率。

2.1.1工作流程合格分?jǐn)?shù)線的設(shè)定從組織各學(xué)科專家代表參加培訓(xùn)開始，選取18名具有豐富命題、教學(xué)經(jīng)驗的專家教授，其中消化內(nèi)科3名、呼吸內(nèi)科3名、心血管內(nèi)科3名、腎內(nèi)科2名、血液內(nèi)科2名、風(fēng)濕免疫科2名、傳染科2名、內(nèi)分泌與代謝科1名，專家的遴選兼顧了專業(yè)、性別等因素。將所有專家按照考站數(shù)量隨機分成6組，投票選出1名資歷最高的專家擔(dān)任組長，并由1名工作人員對全體專家進行集訓(xùn)，內(nèi)容包括：介紹OSCE考試的性質(zhì)和設(shè)定合格分?jǐn)?shù)線的意義、講解判斷方法的基本思路和步驟、描述邊界考生的基本性質(zhì)。集訓(xùn)完成后，各專家在組長的帶領(lǐng)下完成下面的任務(wù)。

（1）討論邊界考生。組長組織全組討論邊界考生的基本特征，初步完成對邊界考生的認(rèn)識。（2）對錯判斷。首先，進行練習(xí)。提供6～10道樣題，專家逐題練習(xí)判斷“邊界考生能否答對試題”，專家只需回答“能”或“否”。其次，反饋練習(xí)結(jié)果。練習(xí)結(jié)束時，組長組織全體成員逐題查看本組練習(xí)結(jié)果，對于偏離小組判斷結(jié)果的專家，組長請他們解釋原因并組織討論，共同討論和鞏固對邊界考生的統(tǒng)一認(rèn)識。待小組討論完畢后，專家按照分組獨立對臨床醫(yī)學(xué)七年制2014—2015學(xué)年第一學(xué)期的OSCE考題進行對錯判斷。（3）區(qū)間（概率）判斷。首先，進行練習(xí)。練習(xí)的樣題與對錯判斷練習(xí)時相同，專家逐題練習(xí)判斷邊界考生答對試題的百分比區(qū)間是多少，各區(qū)間間隔10%，專家可從0%～10%、5%～15%、10%～20%……90%～100%這19種情況中任選其一。其次，反饋練習(xí)結(jié)果。練習(xí)結(jié)束時，對偏離小組判斷結(jié)果的專家，組長請他們解釋原因并組織討論，共同探討和鞏固對邊界考生的統(tǒng)一認(rèn)識。待小組討論完畢后，專家按照分組獨立對臨床醫(yī)學(xué)七年制2014—2015學(xué)年第一學(xué)期的OSCE考題進行概率區(qū)間判斷。

2.1.2合格分?jǐn)?shù)線的計算合格分?jǐn)?shù)線的計算分為4個步驟：（1）統(tǒng)計各位專家對錯判斷設(shè)定的合格分?jǐn)?shù)線，即將專家判斷邊界考生能答對的試題計1分，否則計為0分[4]，統(tǒng)計每道試題該專家組的判斷平均值，再次計算每個考站各位專家判斷的所有試題的平均值之和。（2）統(tǒng)計各位專家區(qū)間概率判斷設(shè)定的合格分?jǐn)?shù)線，即將百分比轉(zhuǎn)換為小數(shù)，分別統(tǒng)計每道試題專家判斷的區(qū)間下限平均值和區(qū)間上限平均值，再分別計算專家組判斷的所有試題的區(qū)間下限平均值之和以及區(qū)間上限平均值之和。（3）統(tǒng)計專家組區(qū)間下限和區(qū)間上限間的中值。（4）統(tǒng)計專家組對錯判斷和區(qū)間（概率）判斷中值間的平均值，將專家組兩輪判斷的平均值求和，四舍五入取整，即專家給出的合格分?jǐn)?shù)線。結(jié)果見表1。

表1　改良Angoff法專家評分結(jié)果

2.2邊界法

邊界法是指在考生完成每站考核后，由每站的3位專家分別根據(jù)考生在該站的表現(xiàn)評分，3位專家的平均分即考生在該站的成績，最后統(tǒng)計每位考生的各站得分，取每站得分的中位數(shù)，即該站的及格分?jǐn)?shù)線，最后合計各站的及格分?jǐn)?shù)，即OSCE的總分及格分?jǐn)?shù)線[5-6]。

2.3邊界回歸法

邊界回歸法是運用回歸方程計算及格分?jǐn)?shù)線，以各站的總分為獨立變量，以各站得分為相對變量[7]，由每站的3位專家分別根據(jù)考生在該站的表現(xiàn)評分，3位專家的平均分即考生在該站的成績，最后將每位考生各站的得分帶入回歸方程，合格分?jǐn)?shù)線即回歸方程和邊界組的交點[8-9]。

3　結(jié)果

運用改良Angoff法、BG法、BRG法得出的合格分?jǐn)?shù)線見表2。從表2我們可以看出，通過改良Angoff法得出的合格分?jǐn)?shù)線與BG法和BRG法相比，改良Angoff法的合格分?jǐn)?shù)線要低于BG法和BRG法（P＜0.01）。運用改良Angoff法、BG法、BRG法得到的不合格人數(shù)見表3。從表3我們可以得知，使用BG法有8.9%（4/45）的學(xué)生不合格，使用BRG法有11.1%（5/45）的學(xué)生不合格，使用改良Angoff法有11.1%（5/45）的學(xué)生不合格。

4　討論

盡管OSCE考試有很多優(yōu)點，但是它的評分體系沒有完全統(tǒng)一，較常用的有BG法和BRG法，這兩種方法都是在考試結(jié)束后根據(jù)學(xué)生的答題情況統(tǒng)計、計算合格分?jǐn)?shù)線，是比較被動的方法。而改良Angoff法則是在考試前根據(jù)專家組對邊界考生和試題的評估，合理設(shè)定合格分?jǐn)?shù)線，是一種比較主動的方法。探討和研究將在國內(nèi)外執(zhí)業(yè)醫(yī)師考試時常用的改良Angoff法應(yīng)用于臨床醫(yī)學(xué)OSCE考試合格標(biāo)準(zhǔn)的設(shè)定，對于提升考試的公平、權(quán)威、有效性至關(guān)重要。每一種及格線的設(shè)定方法都有各自的優(yōu)缺點。Angoff法單獨采用概率判斷或?qū)﹀e判斷，其流程相對簡單，但每位專家界定的邊界考生可能存在差異且會受趨中效應(yīng)和趨端效應(yīng)的影響。有研究表明，概率判斷存在趨中效應(yīng)，當(dāng)專家在判斷邊界考生答對試題的百分比區(qū)間時，對于很難或很容易的試題，不太傾向于給出極端值，而傾向于中等的概率值。相反，對錯判斷存在趨端效應(yīng)，這是由對錯判斷的形式?jīng)Q定的。而改良Angoff法將對錯判斷和概率判斷相結(jié)合，中和了趨端效應(yīng)和趨中效應(yīng)的影響，設(shè)定的合格分?jǐn)?shù)線更為準(zhǔn)確，同時增加了專家代表的意見，但是也會受到專家界定邊界考生的影響。2000年，Kaufman等人對比改良Angoff法和BG法，發(fā)現(xiàn)這兩種方法在醫(yī)學(xué)考試及格限定中均可以得到合理的結(jié)果。Kramer等人[7]研究表明，與改良Angoff法相比，BRG法更加可靠。通過表2我們可以看出，在本次研究過程中，改良Angoff法的合格分?jǐn)?shù)線要低于BG法和BRG法（P＜0.01），而通過表3關(guān)于不合格率的對比顯示，3種評分標(biāo)準(zhǔn)比較，無顯著性差異（P＞0.05）。經(jīng)過對3種評分方法的研究和對比分析得出，這種截然相反的結(jié)果可能是由評委專家的數(shù)量或評委專家的質(zhì)量導(dǎo)致的，尤其是那些對改良Angoff法沒有足夠認(rèn)識并且沒有參加多種方式評分的專家。因此在實施改良Angoff法時還需注意以下幾點：（1）體現(xiàn)專家的代表性，開展更為有效的專家培訓(xùn)；（2）更為清晰地界定邊界考生；（3）增加信息反饋，使用合理的統(tǒng)計方法計算合格分?jǐn)?shù)線。

表2　改良Angoff法與BG法和BRG法合格分?jǐn)?shù)線的對比（分）

表3　改良Angoff法的不合格人數(shù)與BG法和BRG法比較（人）

5　結(jié)語

本研究針對Angoff法、BG法、BRG法在現(xiàn)行OSCE考試合格分?jǐn)?shù)線設(shè)定中存在的不足提出了一種新的方法：改良Angoff法，這種方法將對錯判斷和概率判斷相結(jié)合，消除了趨端效應(yīng)和趨中效應(yīng)，可以在考試前合理確定合格分?jǐn)?shù)線。從實踐運用來看，使用改良Angoff法確定臨床醫(yī)學(xué)七年制OSCE考試合格分?jǐn)?shù)線是可行的、可靠的，運用這種方法確定的合格分?jǐn)?shù)線較為科學(xué)、準(zhǔn)確。

[1]Khan KZ，Ramachandran S，Gaunt K，et al.The Objective Structured Clinical Examination（OSCE）：AMEE Guide No.81.Part I：an historical and theoretical perspective[J].Med Teach，2013，35（9）：1437-1446.

[2]金世柱，劉冰熔，劉中宏，等.學(xué)生角色扮演標(biāo)準(zhǔn)化病人在消化內(nèi)科臨床實習(xí)教學(xué)中的應(yīng)用研究[J].中國高等醫(yī)學(xué)教育，2015（9）：78-79.

[3]孫保亮，張輝，李昌英.提高實習(xí)生臨床實踐能力的若干思考[J].中國高等醫(yī)學(xué)教育，2006（3）：92-93.

[4]Schoonheim-Klein M，Muijtjens A，Habets L，et al.Who will pass the dental OSCE？Comparison of the Angoff and the borderline regression standard settingmethods[J].Eur JDent Educ，2009，13（3）：162-171.

[5]Newble D.Techniques for measuring clinical competence：objective structured clinical examinations[J].Med Educ，2004，38（2）：199-203.

[6]Wilkinson TJ，Newble DI，F(xiàn)rampton CM.Standard setting in an objective structured clinical examination：use of global ratings of borderline performance to determine the passing score[J].Med Educ，2001，35（11）：1043-1049.

[7]Kramer A，Muijtjens A，Jansen K，et al.Comparison of a rational and an empirical standard setting procedure for an OSCE Objective structured clinical examinations[J].Med Educ，2003，37（2）：132-139.

[8]Hejri SM，Jalili M，Muijtjens AM，et al.Assessing the reliability of the borderline regression method as a standard setting procedure for objective structured clinical examination[J].JRes Med Sci，2013，18（10）：887-891.

[9]Wood TJ，Humphrey-Murto SM，Norman GR.Standard setting in a small scale OSCE：a comparison of the Modified Borderline-Group Method and the Borderline Regression Method[J].Adv Health Sci Educ Theory Pract，2006，11（2）：115-122.

（*通訊作者：劉冰熔）

G526.5

B

1671-1246（2016）20-0111-03

黑龍江省高等醫(yī)學(xué)教育“十二五”高等教育科研課題“5E循環(huán)模型聯(lián)合PBL學(xué)習(xí)方法在留學(xué)生本科教學(xué)中的應(yīng)用研究”（14G058）