馬 莉,房清麗△,王建賓,榮 芳,張 莉
(1.山西大同大學醫(yī)學院臨床技能實訓中心,山西 大同 037009;2.山西大同大學醫(yī)學院臨床醫(yī)學系,山西 大同 037009)
客觀結構化臨床考核(OSCE)是評估臨床醫(yī)師、護士及醫(yī)學生等臨床操作技能的新方式[1],其由一系列模擬臨床情景的考站組成,考生在規(guī)定時間內依次通過各考點,完成站內考核內容,并由每個站內考官給出考核成績[2]。自1975年由美國HARDEN博士倡導以來,OSCE已在世界許多國家和地區(qū)廣為運用[3]。近些年,臨床醫(yī)學專業(yè)的技能操作考試逐漸采用OSCE形式。隨著醫(yī)學模式的轉變,理論性和實踐性很強的臨床技能教學面臨著前所未有的壓力。醫(yī)學院校招生規(guī)模的擴大及統(tǒng)計分析要求的提高,傳統(tǒng)OSCE的一些不足逐漸顯現(xiàn)出來[4]。目前,國內大多數院校的OSCE考核是基于人工運轉考生和紙板評分的模式[5]。而本校臨床醫(yī)學專業(yè)屬于較大規(guī)模招生,為公平、公正、客觀考核畢業(yè)生臨床技能,本院臨床技能實訓中心教學團隊借助強大的計算機信息技術,初步嘗試利用人工智能、大數據分析、機器學習等新興技術,將各考試站點的信息利用局域網連接起來,利用信息化技術優(yōu)化各站點設置,建立智能化OSCE考站與各類型評價、反饋系統(tǒng)來彌補傳統(tǒng)OSCE的不足,畢業(yè)技能考核采用智能化OSCE模式進行。
本研究對2015屆臨床醫(yī)學專業(yè)本科畢業(yè)生智能化OSCE問卷調查結果進行分析,旨在客觀了解臨床畢業(yè)生的臨床綜合能力,尋找適合本校規(guī)模的臨床醫(yī)學專業(yè)畢業(yè)生的考核模式,分析本校臨床實踐教學中存在的薄弱環(huán)節(jié),為臨床教學改革和培養(yǎng)方案的修訂提供客觀依據。
1.1一般資料 選取醫(yī)學院2015級參加完臨床輪轉實習的162名臨床醫(yī)學本科生作為研究對象,其中男49人、女113人,年齡20~23歲,平均(21.03±0.75)歲??荚囋诒拘ER床技能實訓中心進行,考官從本校臨床學院及附屬醫(yī)院遴選,均有10年以上臨床教學經驗,中級以上職稱,碩士以上學歷,其中講師10名,副教授以上8名。
1.2方法
1.2.1建立智能化OSCE畢業(yè)臨床技能考核系統(tǒng) 2019年10月,臨床技能實訓中心建立基于局域網的智能化OSCE考試運行系統(tǒng),該系統(tǒng)由OSCE管理系統(tǒng)、總控系統(tǒng)、待考信息顯示系統(tǒng)、考站信息顯示系統(tǒng)、手持評分系統(tǒng)和成績顯示6個核心子系統(tǒng)構成。智能化OSCE憑借智能規(guī)劃排考、智能剪輯視頻、智能評委評分、智能添加標記和智能成績分析等智能特征和完善的系統(tǒng),不僅達到了考試結束考務結束的需求,而且滿足了回顧點評及Debriefing教學素材及應用的需要。(1)創(chuàng)建數字化題庫。將以往紙質試題資料數字化,如評分表、答題卡,實現(xiàn)無紙化,便于維護、更新。既便于題庫的分層管理,將不同專業(yè)的考試和考試對象與相應的題庫對應,提高考前準備效率,又使得考試簡潔環(huán)保。(2)利用智能化考務系統(tǒng)。我國醫(yī)學專業(yè)學制多樣,OSCE設計復雜多樣。智能化軟件可提供多種臨床技能考試模板,便捷地從題庫中添加考題,又可一鍵導入學生名單,自動完成考試場次和學生安排。提供最全面的排考策略,包含單站排考、多站隊列排考、多站輪循排考和長短站排考的智能排考。(3)智能評分。該系統(tǒng)提供無紙化評分及成績實時發(fā)布,具有最多樣的考試評分,如手持評分系統(tǒng)、遠程評分系統(tǒng),還提供多個評委同時進行評分按權重進行評分的策略。提交的分數進入系統(tǒng)可實時發(fā)布。此外,還有倒計時功能-倒計時提醒,讓考官能夠掌握考試和評分的時間。(4)考核過程清晰錄制、智能剪輯、標記。各考站內的高清攝像頭可清晰錄制考生操作的整個過程,該系統(tǒng)按排考計劃自動錄像并按考站及考生自動剪輯??荚囘M行視頻錄像自動開啟,按考生進入考站的考試時間自動剪輯視頻,便于根據考生獲取考試視頻資料。其次,還有標記功能,在錄像的同時可通過圖標、文字、語音和扣分點等多種形式進行標記。(5)考試內容自動化分析。智能化OSCE可對考試全部信息進行數據統(tǒng)計和成績分析并且可以查看評分詳細,以圖表、圖形等多種形式呈現(xiàn)分析結果。成績統(tǒng)計分析,包括統(tǒng)計班級、學生成績,能對多個學生成績進行對比,以圖形形式展現(xiàn)。
1.2.2考核內容和方法 (1)設置OSCE考站。根據本校臨床醫(yī)學專業(yè)的培養(yǎng)目標及教學大綱、實習大綱,結合本校多年畢業(yè)技能考核的內容,并參考執(zhí)業(yè)醫(yī)師考試內容,討論并制定周密的OSCE多站輪循式考核細則和方案??己藘热葜饕ú∈凡杉?、病例分析、體格檢查、臨床技能操作、輔助檢查結果及分析、職業(yè)道德/人文素養(yǎng)等方面,共設10個考站,每站考試時間均為7 min,換站時間1 min??荚囋诒拘ER床技能實訓中心進行,其中第1站病史采集與病例分析,采用SP進行,SP的遴選與培訓由臨床技能實訓中心負責??脊購谋拘8綄籴t(yī)院、臨床學院遴選,均為經過培訓的臨床教師。OSCE智能化管理平臺控制中心對考場進行全局監(jiān)控。考前應用智能化OSCE管理平臺進行人臉識別,以防存在替考現(xiàn)象。(2)評分方法。每個考站的考核內容均為100制。每站由2名考官分別在移動端登錄后自動加載相應考站同一評分標準評分,取平均值為考生最終得分。(3)具體考核安排。見表1。
表1 2015級臨床醫(yī)學專業(yè)畢業(yè)生OSCE考站結構
1.2.3評價方法 根據研究目的、內容,參考相關文獻資料自行設計問卷《智能化OSCE調研問卷調查表》[6]考試結束后,所有考官、學生掃描微信二維碼進行問卷調查,收集考官、學生對智能化OSCE應用的感受及看法,進行調查統(tǒng)計。問卷內容包括:(1)一般資料。包括調查對象的性別、年齡、班級等。(2)問卷共編制10個條目。主要包括OSCE智能化管理平臺的考試環(huán)境、考試安排及考試時間3個維度,分別為總體設計(5個條目)、考核效果(2個條目)及考核效果影響因素(3個條目)。問卷采用Likert5級評分法,1=非常不滿意,2=不滿意,3=一般,4=滿意,5=非常滿意,得分越高,說明考生對智能化OSCE運行系統(tǒng)的應用滿意度越高。對智能化OSCE考試運行系統(tǒng)應用的看法與建議:采用開放性問題進行調查。參加調查問卷的學生均知情同意。
1.3統(tǒng)計學處理 數據采用Excel2013進行錄入,SPSS20.0統(tǒng)計軟件進行數據分析,智能化OSCE考試系統(tǒng)平臺的總體設計和組織的評價及考核效果采用描述性統(tǒng)計分析及百分比表示。開放性意見采用率(%)進行描述,并進行分類歸納整理??己诵Ч绊懸蛩氐姆治霾捎枚嘣€性回歸分析。P<0.05為差異有統(tǒng)計學意義。
2.1162名學生對智能化OSCE考試系統(tǒng)總體設計的調查滿意度 83.6%的考生對智能化OSCE的考試環(huán)境滿意,62.3%的考生對考試時間安排滿意,79.7%的考生對OSCE站點的數量設置滿意,77.2%的考生認為此次OSCE考試的難易程度適中,77.9%的考生對智能化OSCE考試總體滿意。見表2。
表2 162名學生對智能化OSCE考試系統(tǒng)總體設計的調查結果[n(% )]
2.2162名學生對OSCE智能化考試系統(tǒng)應用效果的滿意度 智能化OSCE考試系統(tǒng)有助于技能考核的實施、提高了考試參與度及學習積極性、有助于臨床思維綜合能力的培養(yǎng)、有助于醫(yī)學人文素養(yǎng)的培養(yǎng)、有助于實踐教學同質化的考生贊同度(分別為87.6%、92%、81.4%、80.8%、80.8%)。 見表3。
表3 162名學生對OSCE智能化考試系統(tǒng)應用效果的調查結果[n(% )]
2.3對智能化OSCE考試系統(tǒng)應用的意見及建議 162名考生中,65名考生填寫了開放性意見和建議,其中69.75%的考生對信息化考試運行系統(tǒng)的應用表示滿意,認為其結合高科技,有先進性且考試安排明確,節(jié)省時間;30.25%的考生認為系統(tǒng)反應和考試安排有待改進,以增加考生流動速度,避免長時間的等待導致緊張焦慮。
2.4智能化OSCE考試系統(tǒng)考核效果的影響因素分析 本次線性回歸模型的擬合度良好,R=0.719代表本次的統(tǒng)計結果可以真實可靠地反映是否了解過智能化OSCE、學生當前考研壓力、臨床技能學課程的學習興趣、與SP溝通情況、性別對智能化OSCE的考核效果的影響情況。考生是否了解過智能化OSCE可以顯著影響考核效果(β=0.539,P<0.05);臨床技能學課程的學習興趣可以顯著影響考核效果(β=0.316,P<0.05);當前學生考研壓力可以顯著影響考核效果(β=0.311,P<0.05);與SP溝通情況可以顯著影響考核效果(β=0.201,P<0.05);學生的出生地不會顯著影響考核效果(β=0.101,P>0.05);性別不會顯著影響考核效果(β=0.159,P>0.05)。見表4。
表4 智能化OSCE考核效果的影響因素分析
利用網絡化和信息化技術手段搭建的考試運行系統(tǒng)平臺,實現(xiàn)考試的無紙化、信息化,以滿足考生、考核教師和管理教師對考試的多種需求,提高考試的運行效率和滿意度??忌鷮π畔⒒荚囘\行系統(tǒng)在OSCE考試中應用整體較滿意,尤其對運行的考試環(huán)境持肯定態(tài)度。本調查顯示,考生對智能化OSCE考試系統(tǒng)的組織實施的總體滿意度為77.9%,與邵進等[7]研究結果一致。智能化OSCE的新穎性與客觀性得到學生的高度認可。因此,智能化OSCE在能力考核的客觀性與全面性、考試過程的有序性和先進性、評價統(tǒng)計的便利性和高效性等方面具有一定的優(yōu)勢??己酥?,教師和考生通過各自的PAD終端和屏幕終端,能夠清晰知曉各自的考核任務和考核狀態(tài),使得整個考核過程井然有序,無噪而順暢,提高了考試效率[8]。14.1%的考生不滿意主要體現(xiàn)在考站時間安排及考題的難易程度。如2站體格檢查和3站技能操作,都是學生抽簽決定考題,部分考試時間、考生成績受抽題的影響不能排除,今后在考核內容設置上會權衡考慮,保證學生抽取的試題總體難度相當。同時,嘗試設置長短考站,適當延長技能操作時間,合理優(yōu)化各考站的考核內容和安排,均衡每一考站的考試時間。
87.6%的考生認為智能化OSCE考試系統(tǒng)在有助于技能考核的實施。通過此次OSCE智能化管理平臺的引入,使得考試智能化,節(jié)省了人力、物力和財力,有助于考試的常規(guī)化??荚嚨某B(tài)化有助于提高學生的考試參與度及學習積極性;75.6%考生認為通過視頻回放有助于操作規(guī)范性地改正,通過考試常態(tài)化、教師整理視頻等方法改善這一現(xiàn)象,達到“以考促教”“以考促學”的目的;同時通過視頻回放有助于學生發(fā)現(xiàn)考試過程醫(yī)學人文意識的欠缺,提高醫(yī)學人文素養(yǎng)的認知和提高[9]。考生綜合能力影響因素調查問卷顯示:考前是否了解過智能化OSCE、當前考研壓力、臨床技能學課程的學習興趣、與SP溝通情況均為影響OSCE考試結果的影響因素(P<0.05),提示我們在以后的教學中應注意以上影響因素。
將考試相關信息導入能化OSCE考試系統(tǒng),自動生成電子考生指引、考核流程圖、考核單、考核成績單等,考試安排明確,考核流程清晰,考核環(huán)境有序,實現(xiàn)了將考試系統(tǒng)移植到互聯(lián)網的功能。相比傳統(tǒng)OSCE,嚴格了考試標準,同時明顯節(jié)省了人力和物力,也為之后的各種數據分析提供可能和便利,極大地提高了考試效率和滿意度,達到了以考促教,充分發(fā)揮考試的導向作用[10]。另外,從學生的反饋中了解到大部分學生認為,這種考核模式不但可以檢測學生的臨床實踐能力,還為以后的執(zhí)業(yè)醫(yī)師及住院醫(yī)師規(guī)范化培訓操作考試奠定了基礎。考前人臉識別功能可節(jié)省考官核對學生證、準考證的時間,避免替考;智能化排考系統(tǒng)有助于考生更合理地安排時間;考后成績的反饋有助于考生清楚自己的失分點,有助于下一步的學習、練習[11]。該系統(tǒng)由于程序設計為首次運行,也存在一些問題,如信息化考試運行系統(tǒng)的運行完全依賴網絡系統(tǒng),若設備或網絡系統(tǒng)故障,考試系統(tǒng)將無法運行,應需準備一套應急方案。部分考官由于年齡偏大、首次使用、網絡的不穩(wěn)定性等因素對智能化管理平臺持有異議,下一步我們會加強考前培訓、考前網絡調試等。
本院的智能化OSCE處于不斷的嘗試階段,針對當前存在的不足及時調整考核評價方法,進一步優(yōu)化和改進考試模式,將教學過程與考試模式接軌,形成“教學-評價-反饋-教學改進-再評價”的良性循環(huán),進而探索智能化OSCE思想精髓引導的教學考核一體化的實踐教學模式。