張健　吳華章

?

醫(yī)師考核360度評價法的可靠性、有效性及可行性的系統(tǒng)研究

張健1吳華章2

【摘要】目的 研究醫(yī)師績效考核360度評價法的可靠性、普遍性、有效性及可行性。方法 檢索EMBASE、MEDLINE及PubMed數(shù)據(jù)庫中經(jīng)同行評議過的、1975～2013年12月發(fā)表的英文文獻(xiàn)。檢索標(biāo)準(zhǔn)：使用360度評價法工具考核醫(yī)師績效；有關(guān)360度評價法可靠性、概化系數(shù)和建構(gòu)效度的報道證據(jù)；文獻(xiàn)中涉及收集反饋數(shù)據(jù)過程可行性的信息。結(jié)果 （1）入選43篇同行評議研究，其中家庭醫(yī)學(xué)、兒科與內(nèi)科專業(yè)各5篇，外科4篇，婦產(chǎn)科3篇，精神病學(xué)3篇，麻醉2篇以及急救醫(yī)學(xué)、實驗病理、組織病理、放射學(xué)、運動醫(yī)學(xué)和康復(fù)專業(yè)各1篇。（2）38篇（91%）研究由醫(yī)生的醫(yī)療同行完成360度評價法調(diào)查問卷；32篇（74%）研究由醫(yī)生的非醫(yī)生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。（3）自我評價項目4～57條，醫(yī)療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。（4）26篇（62%）報道了360度評價法工具的可靠性，360度評價法工具的α應(yīng)該≥0．90，醫(yī)療同行0．89～0．99，同事0．91～0．96，患者0．93～0．99。17篇（40%）描述了普遍性系數(shù)，醫(yī)療同行評價工具的普遍性系數(shù)為0．61～0．88，同事評價工具為0．56～0．87，患者評價工具為0．65～0．85。（5）至少由8名醫(yī)療同行、8名同事和25名患者評價才能達(dá)到可靠性系數(shù)≥0．90，普遍性系數(shù)≥0．80的要求。結(jié)論 應(yīng)用360度評價法考核醫(yī)師績效具有較高的可靠性、有效性及可行性。

【關(guān)鍵詞】360度評價法；可靠性；可行性；有效性；系統(tǒng)綜述

醫(yī)師績效考核評價對于提高患者醫(yī)療安全、醫(yī)師專業(yè)技能及人際溝通技巧具有重要意義。目前，考核醫(yī)師績效已經(jīng)從單一的評價臨床專業(yè)技能發(fā)展到對于醫(yī)師各方面能力的全方位評價。360度評價法是工作機(jī)構(gòu)評價員工專業(yè)技能、行為和態(tài)度的重要方法。1970年代360度評價法最初是被醫(yī)療機(jī)構(gòu)用來考核住院醫(yī)師，目前360度評價法已經(jīng)成為北美和歐洲的醫(yī)療機(jī)構(gòu)考核各專業(yè)醫(yī)療技術(shù)人員的重要工具。為了幫助醫(yī)療機(jī)構(gòu)考核醫(yī)師的臨床實踐和患者醫(yī)療安全，1990年代后期，加拿大最先引進(jìn)了一種可行的360度評價法考核醫(yī)師績效。通常，這種評價方法是設(shè)計一種調(diào)查問卷用來收集各方調(diào)查對象對于所調(diào)查醫(yī)師的評價反應(yīng)及醫(yī)師的自我評價。在360度評價法中，被測評醫(yī)師可能要完成一項自我評價項目，并會獲得醫(yī)療同事、上級主管、心理醫(yī)師、護(hù)師、藥師以及他們自己患者等的反饋評價。不同的調(diào)查對象對于被測評醫(yī)師所關(guān)注的焦點是不同的，比如患者不太可能獲知一名醫(yī)師的臨床經(jīng)驗如何，因此，這種評價法方法綜合考慮了多方面的因素影響，避免了單一考核主體測評所帶來的片面性，實現(xiàn)全方位測評[1]。目前，360度評價法主要被用于考核醫(yī)師的臨床專業(yè)技能、溝通能力、與其他醫(yī)療技術(shù)人員的合作能力、職業(yè)道德能力及患者管理能力[2]。本系統(tǒng)研究的目的是探索不同類型的360度評價法工具在考核醫(yī)師績效過程的可靠性、普遍性、有效性及可行性。

1　資料與方法

1.1檢索策略

選擇MEDLINE、PubMed、EMBASE等數(shù)據(jù)庫中收錄的1975～2013年12月發(fā)表的經(jīng)同行評議過的英文文獻(xiàn)。使用檢索詞“multisource-feedback”、“360 degree evaluation”以限定360度評價法相關(guān)研究，并與其他檢索詞（assessment of physician competencies/assessment of physician professionalism/assessment of physician in practice）合并以獲取醫(yī)師考核相關(guān)的研究，并對所檢索到的文獻(xiàn)中涉及的相關(guān)參考文獻(xiàn)進(jìn)行篩選。

1.2納入與排除標(biāo)準(zhǔn)

納入標(biāo)準(zhǔn)：（1）如果研究中應(yīng)用了一個或多個360度評價法工具（比如自我評價、單位同事或患者評價反饋）以考核醫(yī)生的綜合績效；（2）研究中描述了360度評價法工具或其設(shè)計方法；（3）在收集反饋數(shù)據(jù)過程中報道了有關(guān)360度評價法工具可靠性、普遍性和（或）可行性的心理學(xué)證據(jù)；（4）發(fā)表在同行評議的英文期刊。排除標(biāo)準(zhǔn)：（1）應(yīng)用360度評價法工具考核醫(yī)學(xué)生或非臨床醫(yī)生專業(yè)人員（如護(hù)士、藥劑師、檢驗科醫(yī)師等）；（2）無法提供有關(guān)360度評價法心理測驗學(xué)證據(jù)（可靠性和有效性）的足夠信息。

1.3數(shù)據(jù)評估方法

嚴(yán)格按照文獻(xiàn)檢索策略及納入與排除標(biāo)準(zhǔn)進(jìn)行篩檢，每篇文獻(xiàn)都要經(jīng)過兩名人員的獨立評估與編碼，首先，評估文獻(xiàn)全文前，先篩選評估文獻(xiàn)的題目和摘要。文獻(xiàn)篩選完畢后，提取入選文獻(xiàn)信息：360度評價法工具名稱（如無特定名稱，則使用一般名稱“360度評價法”或者“多維度反饋法”），參評醫(yī)師專業(yè)，參加者數(shù)量，評估類型，360度評價法評估的結(jié)構(gòu)或因素，可行性問題，反饋的比例，可靠性/普遍性/組內(nèi)相關(guān)系數(shù)，結(jié)構(gòu)和標(biāo)準(zhǔn)相關(guān)的有效性分析。

2　結(jié)果

2.1入選文獻(xiàn)基本情況

通過數(shù)據(jù)庫共檢索到1 062篇文獻(xiàn)，然后審核文獻(xiàn)題目，入選970篇，進(jìn)一步審核文獻(xiàn)摘要，入選383篇，進(jìn)一步審核文獻(xiàn)全文，入選96篇，排除53篇不合格文獻(xiàn)，最終入選43篇同行評議研究符合本研究標(biāo)準(zhǔn)。

2.2應(yīng)用360度評價法被考核醫(yī)生的專業(yè)情況

家庭醫(yī)學(xué)專業(yè)（n=5），兒科專業(yè)（n=5），內(nèi)科專業(yè)（n=5），外科專業(yè)（n=4），婦產(chǎn)科專業(yè)（n=3），精神病學(xué)專業(yè)（n=3），麻醉專業(yè)（n=2），急救醫(yī)學(xué)專業(yè)（n=1），實驗病理專業(yè)（n=1），組織病理專業(yè)（n=1），放射專業(yè)（n=1），運動醫(yī)學(xué)專業(yè)（n=1）及康復(fù)專業(yè)（n=1）。

2.3調(diào)查問卷的評估者及評估項目長度

43篇研究中，38篇（91%）研究由醫(yī)生的醫(yī)療同行完成360度評價法調(diào)查問卷；32篇（74%）研究由醫(yī)生的非醫(yī)生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。360度評價法調(diào)查問卷的涉及項目多少隨評估者不同，其中自我評價項目4～57條，醫(yī)療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。醫(yī)生評估審查研究對評估者應(yīng)用了多種360度評價法工具，患者評價項目11～40條，同事評價項目12～22條，醫(yī)療同行評價項目22～39條，自我評價項目21～39條。其中2篇研究中醫(yī)學(xué)生也被納入評估者行列。

2.4評價指標(biāo)

360度評價法可以評價的項目包括：職業(yè)道德、臨床技能、溝通能力、管理能力及人際關(guān)系。職業(yè)道德又包括一系列社會心理學(xué)技能指標(biāo)，職業(yè)責(zé)任感，人文素養(yǎng)，同情心，職業(yè)態(tài)度及職業(yè)發(fā)展觀等。臨床技能包括臨床護(hù)理，良好的臨床實踐能力，患者護(hù)理，安全實踐能力，臨床技能，臨床知識，批判性思維，診斷及復(fù)雜問題的處理能力。溝通能力、管理能力及人際關(guān)系項目同樣也包括一系列評價指標(biāo)。

2.5評價過程及可行性情況

每篇研究均描述了評價過程的一般情況信息和（或）可行性情況。研究者均認(rèn)為，當(dāng)360度評價法工具用于患者、同事及醫(yī)療同行并結(jié)合醫(yī)生自我評價時是有效的。一些研究者認(rèn)為，當(dāng)涉及醫(yī)生的關(guān)鍵績效指標(biāo)考核時，反饋意見有可能會在實際應(yīng)用時改變。也有研究認(rèn)為，應(yīng)用360度評價法工具考核每名醫(yī)生的估計成本是可行的，但是建議每五年對醫(yī)生進(jìn)行一次重估。有一篇研究對家庭醫(yī)生進(jìn)行了考核，并在5年后又進(jìn)行了一次重評，以此來評估考核指標(biāo)的穩(wěn)定性。在一些研究中，應(yīng)用360度評價法工具考核多專業(yè)醫(yī)生的過程是可行而易接受的，比如兒科專業(yè)、外科專業(yè)、急救專業(yè)、家庭醫(yī)生專業(yè)、精神病學(xué)專業(yè)。

2.6360度評價法工具的可靠性及普遍性

26篇（62%）研究報道了360度評價法工具的可靠性?？煽啃韵禂?shù)一般用α表示，反映了各指標(biāo)條目間的內(nèi)部一致性。360度評價法工具的α應(yīng)該≥0.90，醫(yī)療同行0.89～0.99，同事0.91～0.96，患者0.93～0.99。只有一篇研究將醫(yī)療同行和同事合并，可靠性系統(tǒng)α=0.98。其中5篇研究計算了標(biāo)準(zhǔn)誤差。17篇（40%）研究描述了普遍性系數(shù)（Ep2）。醫(yī)療同行評價工具的普遍性系數(shù)為0.61～0.88，同事評價工具為0.56～0.87，患者評價工具為0.65～0.85。大多數(shù)評價工具至少由8名醫(yī)療同行、8名同事和25名患者評價才能得出可靠性系數(shù)≥0.90，普遍性系數(shù)≥0.80的結(jié)果。

3　討論

360度評價法是目前廣受國內(nèi)外企業(yè)界高度關(guān)注的個人能力和企業(yè)績效評價方法,它以心理測量學(xué)的真分?jǐn)?shù)理論為基礎(chǔ),以促進(jìn)個人發(fā)展、重視信息反饋、講求實事求是和全方位、多角度觀察問題為核心理念,有特定的適用范圍和實施程序。一篇系統(tǒng)綜述研究表明，應(yīng)用360度評價法對各專業(yè)醫(yī)生進(jìn)行考核是可行的，尤其應(yīng)用自我評價、醫(yī)療同行評價、同事評價和患者評價時。大多數(shù)研究描述了應(yīng)用360度評價法工具考核醫(yī)生績效時的可靠性、普遍性及有效性情況，并且這項評價法已經(jīng)在加拿大和英國應(yīng)用了10余年。還有一些來自美國的360度評價法工具應(yīng)用研究，每項研究均將重點聚焦在一項新的360度評價法工具開發(fā)或現(xiàn)存360度評價法工具的修改版及指南評估方面。

一般來說，應(yīng)用360度評價法工具考核醫(yī)生績效至少應(yīng)招募8名醫(yī)療同行、8名同事和25名患者，結(jié)果才能達(dá)到可靠性系數(shù)≥0.90，普遍性系數(shù)≥0.80的要求。盡管有一系列的評價項目可以考核醫(yī)生，但是360度評價法工具中最關(guān)鍵的5項是職業(yè)道德、臨床技能、溝通能力、管理能力及人際關(guān)系。大多數(shù)研究提供了360度評價法工具的建構(gòu)效度。一般來說，患者評價醫(yī)生傾向于更積極的評價，其次為同事，住院醫(yī)師和教學(xué)顧問，而Lodckyer 等[3]研究發(fā)現(xiàn)，在一所國際性醫(yī)學(xué)院中，自我評價的分?jǐn)?shù)要比其他人評價的分?jǐn)?shù)更高。雖然360度評價法調(diào)查問卷的建構(gòu)效度在一定合理區(qū)間內(nèi)，一些研究指出，醫(yī)生考核的評價項目得分在醫(yī)生不同專業(yè)間存在不同，比如在不同醫(yī)生專業(yè)間，方差比例與患者管理、臨床評價、溝通能力和（或）職業(yè)發(fā)展有關(guān)[4-7]。Lockyer JM和Violato C[5]研究發(fā)現(xiàn)，應(yīng)用360度評價法在醫(yī)療同行間進(jìn)行問卷調(diào)查，在患者管理、臨床評價、溝通能力和職業(yè)發(fā)展這四項指標(biāo)得分中，內(nèi)科專業(yè)方差為73.4%，精神病學(xué)專業(yè)為70%，而兒科專業(yè)僅為67.6%。

盡管本系統(tǒng)研究非常嚴(yán)格，然而仍存在一些局限性。首先，應(yīng)用360度評價法工具和評價項目的數(shù)量會存在不均質(zhì)性問題，而且單獨應(yīng)用一項360度評價法工具考核醫(yī)生是困難的，不論這項工具多有效。其次，應(yīng)用360度評價法考核醫(yī)生的可行性主要依賴于所報告的評估反饋率比例，而不是醫(yī)生考核所涉及的成本和管理方面的問題。第三，由于不同文獻(xiàn)報告的可靠性和有效性指標(biāo)的不同，很難將不同報告的指標(biāo)進(jìn)行統(tǒng)一。最后，本研究僅限于英文的同行評議研究文獻(xiàn)，并不能全面反映360度評價法的實際應(yīng)用情況。

綜上所述，應(yīng)用360度評價法工具對醫(yī)生績效進(jìn)行考核是可靠、有效而可行的，360度評價法將繼續(xù)在醫(yī)生績效考核中發(fā)揮重要作用。而目前有關(guān)醫(yī)生績效考核的理論、方法很多，所考核內(nèi)容的側(cè)重點各有不同，而盡快制定出科學(xué)、實用、適用于各級不同類型醫(yī)院的績效評估指標(biāo)體系，已成為醫(yī)院科學(xué)化管理的必然趨勢[8]。

參考文獻(xiàn)

[1] Sala F，Dwight S． Predicting executive performance with multi-rater surveys： Whom you ask makes a difference[J]． J Consult Psych Res Pract，2002（54）：166-172．

[2]Fidler H， Lockyer J， Violato C． Changing physicians' practices： The effect of individual feedback[J]． Acad Med，1999，74（6）：702-714．

[3] Lockyer J， Blackmore D， Fidler H， et al． A study of multi-source feedback system for international medical graduates holding defined licences[J]． Med Educ，2006，40（4）：340-347．

[4]Violato C， Lockyer J． Self and peer assessment of pediatricians，psychiatrists and medicine specialists： Implications for self-directed learning[J]． Adv Health Sci Educ Theory Pract，2006，11（3）：235-244．

[5]Lockyer JM， Violato C． An examination of the appropriateness of using a common peer assessment instrument to assess physician skills across specialties[J]． Acad Med，2004，79（10 suppl）：S5-S8．

[6]Archer J， McGraw M， Davies H． Assuring validity of multisource feedback in a national programme[J]． Postgrad Med J，2010，86 （1019）：526-531．

[7]Ramsey PG， Wenrich MD， Carline JD， et al． Use of peer ratings to evaluate physician performance[J]． JAMA，1993，269（13）：1655-1660．

[8]金新政，籍國章． 醫(yī)院經(jīng)營管理績效考核方法的研究[J]． 中國醫(yī)院統(tǒng)計，2004，11（3）：258-262．

A Systematic Review of the Reliability, Validity and Feasibility of 360-degree Evaluation Physician Assessment

ZHANG Jian1WU Huazhang2, 1 Stomatology College of Chinese Medical University, Shenyang 110002, China, 2 Chinese Medical University, Shenyang 110122, China

[Abstract]Objective To investigate the reliability, validity, and feasibility of 360-degree evaluation for the assessment of physicians. Methods We searched the EMBASE, MEDLINE and PubMed databases for peerreviewed, English-language articles published from 1975 to December 2013. Studies inclusion criteria was following: used 360-degree evaluation instruments to assess physician performance; reported psychometric evidence of the 360-degree evaluation instruments in the form of reliability, coefficients, and construct or criterion-related validity; and information regarding the feasibility of the feedback data. Results (1) A total of 43 articles were included, the specialties as following: family medicine(n=5), pediatrics(n=5), internal medicine(n=5), surgery(n=4),obstetricsgynecology(n=3), psychiatry(n=3), anesthesia(n=2), and emergency medicine(n=1), pathology(n=1), histopathology(n=1), radiology(n=1). (2) A total of 38(91%) studies were completed by the physicians’peers or medical colleagues, and nonphysician coworkers(n=32,74%), patients(n=23,53%), and self-assessments(n=22,51%). (3) The number of items was 4 to 57 items for self-assessment, 4 to 60 items for peers, 3 to 49 items for patient questionnaires. (4) The reliability of the 360-degree evaluation instruments was reported in 26(62%) of the studies. The instruments should have anα≥0.90, and medical colleague(0.89 to 0.99), coworker (0.91 to 0.96), and patient(0.93 to 0.99). The generalizability coeficients were derived in 17 studies(40%), and the coefficients for the medical colleague instrument ranged from 0.61 to 0.88, 0.56 to 0.87 for the coworker instrument, and 0.65 to 0.85 for patient instrument. (5) The assessment of physician performance was based on the completion of the 360-degree evaluation instruments by 8 medical colleagues, 8 coworkers, and 25 patients to achieve α≥0.90 and coeficients≥0.80, respectively. Conclusion The 360-degree evaluation as a method to assess physicians has been shown to have high reliability, validity, and feasibility.

[Key words]360-degree evaluation, Reliability, Validity, Feasibility, Systematic review

通訊作者：張健，E-mail：99982025@qq．com

doi：10．3969/j．issn．1674-9308．2016．03．001

【文章編號】1674-9308（2016）03-0001-03

【中圖分類號】R197

【文獻(xiàn)標(biāo)識碼】A

作者單位：1 110002沈陽，中國醫(yī)科大學(xué)口腔醫(yī)學(xué)院；2 110122沈陽，中國醫(yī)科大學(xué)人文社科學(xué)院