李玉革,馬 瑾,單志桂,俞 婧

(新疆醫(yī)科大學(xué)第一附屬醫(yī)院科技管理科，烏魯木齊 830011)

根據(jù)《關(guān)于自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所現(xiàn)場(chǎng)勘驗(yàn)結(jié)果的通報(bào)》(新衛(wèi)科教發(fā)2013年23號(hào))，新疆醫(yī)藥研究所存在的問題主要有：未形成明確、穩(wěn)定的科研發(fā)展方向、人才梯隊(duì)發(fā)展不均衡、科研工作原始創(chuàng)新不足、技術(shù)輻射作用有待加強(qiáng)、實(shí)驗(yàn)室基礎(chǔ)條件薄弱、組織管理能力欠缺等。隨著科技創(chuàng)新驅(qū)動(dòng)戰(zhàn)略的實(shí)施，自治區(qū)對(duì)醫(yī)藥研究所的管理尚未形成科學(xué)的考核標(biāo)準(zhǔn)，尚未建立相應(yīng)的績效評(píng)價(jià)體系。建立一套完善的指標(biāo)評(píng)價(jià)體系，客觀公正地評(píng)價(jià)醫(yī)藥研究所的醫(yī)療、科研、學(xué)術(shù)、團(tuán)隊(duì)、運(yùn)行管理等工作，是自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所管理中亟待解決的問題。

1 對(duì)象和方法

1.1參與專家按照代表性與權(quán)威性的原則及學(xué)術(shù)專家與管理專家相結(jié)合的原則，依據(jù)專家知識(shí)結(jié)構(gòu)、社會(huì)職務(wù)結(jié)構(gòu)和年齡結(jié)構(gòu)遴選專家。課題組邀請(qǐng)專家19名，包括：大學(xué)主管科技工作副校長2名，烏魯木齊市三級(jí)甲等醫(yī)院領(lǐng)導(dǎo)2名、科研管理人員4名、工作15年以上的臨床專家11名。2016年11月至2017年6月進(jìn)行兩輪專家咨詢。

1.2研究方法采用文獻(xiàn)綜述法、德爾菲法(兩輪專家咨詢后形成評(píng)價(jià)指標(biāo))確定新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系。

1.3研究過程

1.3.1 指標(biāo)體系的初建 指標(biāo)體系草案的擬定分為4個(gè)步驟：①課題組對(duì)新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)進(jìn)行分析和分解，找到績效評(píng)價(jià)的主要節(jié)點(diǎn)；②課題組制定統(tǒng)一的檢索策略，檢索國內(nèi)外相關(guān)數(shù)據(jù)庫和網(wǎng)絡(luò)資源，全面收集有關(guān)醫(yī)藥研究所管理、績效評(píng)價(jià)等方面的文獻(xiàn)，對(duì)文獻(xiàn)進(jìn)行循證評(píng)價(jià)；③對(duì)文獻(xiàn)循證評(píng)價(jià)結(jié)果組織院內(nèi)專家進(jìn)行專題小組討論，提出初步構(gòu)建的評(píng)價(jià)指標(biāo)體系；④對(duì)初步構(gòu)建的研究所績效評(píng)價(jià)指標(biāo)體系，在本院研究所管理人員中進(jìn)行指標(biāo)重要性的評(píng)價(jià)。結(jié)合以上4個(gè)步驟，最終擬定指標(biāo)體系草案。整個(gè)指標(biāo)體系分2級(jí)，一級(jí)指標(biāo)5個(gè)、二級(jí)指標(biāo)33個(gè)。

1.3.2 專家咨詢問卷的設(shè)計(jì) 本研究專家咨詢表共分為4個(gè)部分。①指導(dǎo)語：簡(jiǎn)要介紹本次課題研究的背景、內(nèi)容及寫明本次專家咨詢的目的和意義；②專家基本信息，包括年齡、性別、職務(wù)、職稱、專業(yè)、學(xué)歷、工作時(shí)間等；③新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系的主體部分，專家咨詢表的主體部分由新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)構(gòu)成，分為一、二級(jí)指標(biāo)。對(duì)于各級(jí)指標(biāo)的重要性采用Likert 5級(jí)計(jì)分法，5=非常重要，4=重要，3=一般，2=不重要，1=非常不重要；④專家的權(quán)威程度表，包括專家對(duì)指標(biāo)的熟悉程度及判斷依據(jù)，熟悉程度采用1(很不熟悉)～5(熟悉)分進(jìn)行評(píng)估；判斷依據(jù)設(shè)計(jì)4個(gè)方面：理論分析、工作經(jīng)驗(yàn)、對(duì)國內(nèi)外同行了解程度和直觀感覺對(duì)專家作出判斷的影響，采用3分法(1分為“影響小”，2分為“影響一般”，3分為“影響大”)。

1.3.3 Delphi法的具體實(shí)施 研究者本人以面對(duì)面的形式向各位專家發(fā)放咨詢表，并了解其評(píng)判時(shí)的想法，進(jìn)一步對(duì)課題的研究內(nèi)容進(jìn)行溝通。在收取第一輪咨詢表后，根據(jù)專家的意見對(duì)部分條目進(jìn)行刪除、修改和增加，在對(duì)第一輪咨詢表修正的基礎(chǔ)上，形成第二輪咨詢表，并進(jìn)行第二輪專家咨詢。

1.4統(tǒng)計(jì)方法采用積極系數(shù)、權(quán)威程度、協(xié)調(diào)程度3個(gè)指標(biāo)檢驗(yàn)專家咨詢的可靠性。積極系數(shù)為回收有效咨詢問卷的專家占全部專家人數(shù)比；權(quán)威程度由專家對(duì)評(píng)價(jià)方案的判斷依據(jù)和專家對(duì)問題的熟悉程度來決定；協(xié)調(diào)程度采用肯德爾和諧系數(shù)進(jìn)行檢驗(yàn)。數(shù)據(jù)采用SPSS 17.0統(tǒng)計(jì)學(xué)軟件進(jìn)行分析。

2 結(jié) 果

2.1專家一般情況本次德爾菲專家咨詢共兩輪，每輪均有19位專家參加，反饋有效問卷的18位專家中，來自醫(yī)院的有16人、占88.9%，大學(xué)主管科技工作副校長2人。18名專家的年齡為53.56±4.22歲，最小年齡為46歲，最大為59歲；工齡為32.50±6.87年，最小工齡為18年，最大為42年。18名專家中，男性占77.8%，正高技術(shù)職稱100%，醫(yī)學(xué)博士學(xué)位的占88.9%；漢族占66.7%，蒙古族占11.1%，維吾爾族占11.1%，哈薩克族占5.6%，回族占5.6%。

2.2專家積極程度專家積極程度用每輪問卷的有效回復(fù)率及專家意見提出率表示。本研究兩輪咨詢的回復(fù)率分別為94.7%、94.7%,平均有效回復(fù)率為94.7%；第1、2輪分別有6名(33.3%)、1名(5.60%)專家針對(duì)新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系提出意見和建議。

2.3專家意見權(quán)威程度專家的權(quán)威系數(shù)(Cr)由專家對(duì)咨詢內(nèi)容做出判斷的依據(jù)(Ca)和專家對(duì)咨詢內(nèi)容的熟悉程度(Cs)2個(gè)因素決定,Cr=(Ca+Cs) /2。權(quán)威系數(shù)在0～1，數(shù)值越大說明專家越權(quán)威[1]。本研究兩輪咨詢專家Cr分別為0.88、0.91,專家權(quán)威性均大于0.8，專家權(quán)威性較好。

2.4專家意見協(xié)調(diào)程度專家意見協(xié)調(diào)程度指所有專家對(duì)所調(diào)查內(nèi)容的全部指標(biāo)的評(píng)價(jià)意見是否存在較大分歧。用變異系數(shù)(Vj)表示單個(gè)課程條目協(xié)調(diào)程度，用肯德爾和諧系數(shù)(Kendall’s W)表示所有指標(biāo)協(xié)調(diào)程度。

① Vj:Vj越小說明專家的協(xié)調(diào)程度越高。本研究第1輪函詢Vj為0.000～0.454，平均值0.227；第2輪函詢Vj為0.077～0.311，平均值0.117。

② 協(xié)調(diào)系數(shù)：Delphi法的Kendall’s W越大協(xié)調(diào)性越好。顯著性檢驗(yàn)是專家意見一致性程度的可信性檢驗(yàn)，P值越小，可信度越高。在兩輪函詢中，Kendall’s W經(jīng)檢驗(yàn)后均有統(tǒng)計(jì)學(xué)意義(P<0.001)(表1)，說明專家協(xié)調(diào)程度好。

表1 Kendall協(xié)調(diào)系數(shù)及顯著性檢驗(yàn)

2.5確定新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系本研究經(jīng)兩輪專家咨詢，最終形成“新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系”，包括5項(xiàng)一級(jí)指標(biāo)，28項(xiàng)二級(jí)指標(biāo)(表2)。

表2 第2輪專家咨詢結(jié)果

3 討 論

專家咨詢的可信度Delphi法是一種對(duì)意見的價(jià)值進(jìn)行判斷的方法，其可靠性和科學(xué)性可以從專家意見的權(quán)威性、積極性、代表性、協(xié)調(diào)程度、指標(biāo)的篩選、問卷的回收等方面來綜合分析與判斷[2-4]。本研究在全疆范圍內(nèi)開展較大規(guī)模和較高層次的專家咨詢，構(gòu)建新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系。

3.1咨詢專家的遴選本研究選邀的咨詢專家涉及普外、骨外、胸心外、神外、心血管病、腎病、血液病、內(nèi)分泌與代謝病、影像醫(yī)學(xué)與核醫(yī)學(xué)、口腔臨床醫(yī)學(xué)、麻醉學(xué)、衛(wèi)生事業(yè)管理等學(xué)科領(lǐng)域。此外，專家中既有從事醫(yī)院管理的專家，又有從事醫(yī)療服務(wù)的臨床資深專家及青年學(xué)者，結(jié)構(gòu)層次互補(bǔ)。

3.2指標(biāo)體系草案的擬定及調(diào)查問卷設(shè)計(jì)本研究特別注重和強(qiáng)調(diào)指標(biāo)體系草案構(gòu)建過程的嚴(yán)謹(jǐn)性和科學(xué)性。課題組先從自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所管理的角度分析研究所管理的主要節(jié)點(diǎn)，然后運(yùn)用循證醫(yī)學(xué)的原理和方法，對(duì)國內(nèi)外所有有關(guān)文獻(xiàn)的質(zhì)量進(jìn)行循證評(píng)價(jià)，根據(jù)引用頻次和文獻(xiàn)證據(jù)等級(jí)提取指標(biāo)。在此基礎(chǔ)上進(jìn)行專題小組討論，以確保同一級(jí)的指標(biāo)能夠很好地反映上一級(jí)目標(biāo)包含的內(nèi)容，且避免出現(xiàn)指標(biāo)條目間的交叉性。最后，在本院研究所管理人員中做了有關(guān)指標(biāo)重要性評(píng)價(jià)的調(diào)查研究，最終擬定指標(biāo)體系草案。為保證專家填答的積極性和完整性，每輪問卷在設(shè)計(jì)時(shí)，力求表格簡(jiǎn)潔、問題集中、表述清楚、用詞確切，避免因表格過于復(fù)雜而影響專家做出正確的評(píng)價(jià)。同時(shí)每輪問卷均附有詳細(xì)的指導(dǎo)語，表格中留有足夠的空白，便于專家闡明自己的意見。咨詢表以面對(duì)面的方式發(fā)放，回收后逐條審核。對(duì)漏答和明顯錯(cuò)誤者，及時(shí)請(qǐng)專家進(jìn)行重填，避免缺失項(xiàng)，盡可能地保證問卷質(zhì)量。

3.3咨詢專家的可靠性及指標(biāo)體系的兩輪專家咨詢本研究所進(jìn)行的兩輪德爾菲法專家咨詢函詢調(diào)查，問卷返回率均是94.7%，回收率高。同時(shí)，針對(duì)整個(gè)問卷提出建設(shè)性意見的專家分別占總?cè)藬?shù)的33.3%和5.60%，再次證明專家的關(guān)注度及積極性高。本研究兩輪咨詢專家權(quán)威程度分別為0.88、0.91，說明專家對(duì)指標(biāo)非常熟悉，權(quán)威程度比較高，預(yù)測(cè)結(jié)果可靠性好。本研究采用肯德爾和諧系數(shù)分析檢驗(yàn)專家意見的協(xié)調(diào)程度，以此作為Delphi法應(yīng)用可靠性的重要判斷尺度之一[5-6]。根據(jù)國內(nèi)幾項(xiàng)大型的Delphi法在衛(wèi)生系統(tǒng)的應(yīng)用研究，經(jīng)2～3輪咨詢后，誤差控制較好，協(xié)調(diào)系數(shù)在0.4～0.5波動(dòng)[7-8]。相比這個(gè)標(biāo)準(zhǔn)，本次研究中第一輪專家的肯德爾和諧系數(shù)是0.255，第二輪專家的肯德爾和諧系數(shù)是0.668，二輪咨詢的專家意見協(xié)調(diào)系數(shù)波動(dòng)值為0.413，說明專家意見的協(xié)調(diào)程度較高，結(jié)果可取。

本研究通過兩輪專家咨詢構(gòu)建的多維度指標(biāo)體系，緊緊圍繞自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)原理，從“醫(yī)療服務(wù)條件”、“科研實(shí)力”、“學(xué)術(shù)影響力”、“團(tuán)隊(duì)建設(shè)”、“運(yùn)行管理”等方面進(jìn)行全面系統(tǒng)的評(píng)價(jià)。整個(gè)指標(biāo)體系分為二級(jí)，其中一級(jí)指標(biāo)“醫(yī)療服務(wù)條件”包括4個(gè)二級(jí)指標(biāo)；一級(jí)指標(biāo)“科研實(shí)力”包括9個(gè)二級(jí)指標(biāo)；一級(jí)指標(biāo)“學(xué)術(shù)影響力”包括3個(gè)二級(jí)指標(biāo)；一級(jí)指標(biāo)“團(tuán)隊(duì)建設(shè)”包括4個(gè)二級(jí)指標(biāo)；一級(jí)指標(biāo)“運(yùn)行管理”包括8個(gè)二級(jí)指標(biāo)?？傮w來說，所有二級(jí)指標(biāo)的變異系數(shù)隨咨詢輪數(shù)增加而減少。第二輪的一級(jí)指標(biāo)重要性評(píng)分均值從高到低依次是“運(yùn)行管理”、“團(tuán)隊(duì)建設(shè)”、“科研實(shí)力”、“學(xué)術(shù)影響力”、“醫(yī)療服務(wù)條件”。28項(xiàng)二級(jí)指標(biāo)中“新增國家級(jí)科研項(xiàng)目至少3項(xiàng)/年”在第一輪(5.00±0.00)和第二輪(4.11±0.316)的重要性評(píng)分均值均為最高。二級(jí)指標(biāo)中“發(fā)表SCI收錄論文影響因子總分達(dá)到15分以上，其中5分以上至少3篇”、“至少有1項(xiàng)省部級(jí)科技進(jìn)步獎(jiǎng)勵(lì)”、“人均課題中標(biāo)率(%)”、“疾病(主要研究方向的)流行病學(xué)基線調(diào)查實(shí)施情況”、“研究所秘書輪轉(zhuǎn)情況”等重要性評(píng)分均值均較高。

本研究存在以下局限性。本次研究構(gòu)建新疆自治區(qū)級(jí)附設(shè)性醫(yī)藥研究所績效評(píng)價(jià)指標(biāo)體系，但未對(duì)評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行研究。進(jìn)一步使用該指標(biāo)體系，將從評(píng)價(jià)標(biāo)準(zhǔn)和操作細(xì)則方面研究。另外，評(píng)價(jià)指標(biāo)體系及標(biāo)準(zhǔn)建立后，還需要進(jìn)行大樣本的實(shí)證研究，以檢驗(yàn)其可操作性和有效性，為推廣應(yīng)用提供證據(jù)依據(jù)。總的來說，兩輪專家咨詢后，專家對(duì)指標(biāo)評(píng)分集中趨勢(shì)明顯，變異系數(shù)趨向減小，協(xié)調(diào)系數(shù)趨向增大，表明專家對(duì)各級(jí)指標(biāo)協(xié)調(diào)程度增高，指標(biāo)體系框架合理。