楊存霞,孫瑞華,顧澤龍,黃 傲,王雨萌,李 歡
(1.北京中醫(yī)藥大學(xué) 管理學(xué)院,北京 100029;2.中日友好醫(yī)院 科研和學(xué)科建設(shè)部,北京 100029)
中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系[1]是結(jié)合院級課題的特點以及“重立項審批,輕結(jié)題評估”的現(xiàn)象確定,旨在通過建立指標(biāo)體系加強課題結(jié)題管理。 通過實際應(yīng)用效果評價中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系,將為指標(biāo)體系進(jìn)一步的完善和應(yīng)用提供依據(jù)。
本研究以已建立的中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系[1]為研究對象,該指標(biāo)體系分為計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預(yù)期3 個部分。滿分100 分,計劃執(zhí)行情況35 分、項目產(chǎn)出情況40 分、課題產(chǎn)出預(yù)期25 分[1]。
從學(xué)術(shù)委員會成員中選取課題研究領(lǐng)域與評價項目相關(guān)的12 名專家, 除1 名專家缺席外,其余11 名專家在聽取課題負(fù)責(zé)人的總結(jié)報告之后,應(yīng)用中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系`,根據(jù)答辯情況,分別對2010 年中日友好醫(yī)院12 個院級科研課題重點項目結(jié)題績效進(jìn)行評價。
通過可信度評價指標(biāo)獲取數(shù)據(jù)的可靠程度[2],指標(biāo)的可信度反映指標(biāo)取得所需數(shù)據(jù)的難易程度,表現(xiàn)為不同專家評價同一指標(biāo)的一致性程度。一致性程度較大, 專家可以依據(jù)指標(biāo)標(biāo)準(zhǔn)較統(tǒng)一地做出評價,評價數(shù)據(jù)是可信的。 相反,一致性程度較小,可認(rèn)為專家對指標(biāo)標(biāo)準(zhǔn)的理解有分歧,指標(biāo)的評價數(shù)據(jù)不可信。 通過可區(qū)分度評價指標(biāo)區(qū)分項目不同水平的能力, 可區(qū)分度表現(xiàn)為評價不同項目時專家評分的離散程度, 離散程度越大說明指標(biāo)包含信息越多, 專家區(qū)分項目水平的標(biāo)準(zhǔn)越多,指標(biāo)區(qū)分不同項目水平的能力越強。
通過專家的橫向離散率評價指標(biāo)可信度的可靠程度, 橫向離散率反映某專家評分與其他專家評分的一致程度, 橫向離散率越小說明專家評分越接近專家總體評價結(jié)果。 可信度反映評價過程中專家的總體離散程度, 而無法體現(xiàn)單個專家評價結(jié)果與整體結(jié)果的一致性。 剔除橫向離散率異常的專家,可提高指標(biāo)可信度的可靠性。 同樣,指標(biāo)的可區(qū)分度無法體現(xiàn)個別專家對項目的區(qū)分情況, 可通過專家縱向離散率評價指標(biāo)可區(qū)分程度的可靠性, 專家的縱向離散率是專家評價不同項目時,評分的差異大小[3]。 剔除縱向離散率明顯區(qū)別于其他專家的縱向離散率的專家可提高指標(biāo)可區(qū)分度的可靠性。 本研究為保證離散率的單位與原數(shù)據(jù)單位一致,數(shù)據(jù)結(jié)果更具說服力,采用離散率標(biāo)準(zhǔn)差的形式衡量專家評分的波動情況[4]。
指標(biāo)體系的評價內(nèi)容包括計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預(yù)期情況。計劃執(zhí)行情況對課題的目標(biāo)、內(nèi)容完成情況評價,是課題管理的重要方面,引導(dǎo)課題方向,體現(xiàn)課題管理的功能。 實際產(chǎn)出情況反映在結(jié)題評價時課題已體現(xiàn)的產(chǎn)出情況,是依據(jù)具體的產(chǎn)出結(jié)果得出,其滯后性將不能使課題的成果在結(jié)題時充分體現(xiàn)。 產(chǎn)出預(yù)期評價是依據(jù)課題完成的工作, 對課題完成預(yù)期結(jié)果可能性的判斷,可能性越大,項目的績效情況越好,產(chǎn)出預(yù)期情況的評價提高了項目績效評價的完整性,有利于項目管理。
表1 指標(biāo)體系評價結(jié)果(分)
表2 指標(biāo)體系的三部分指標(biāo)兩兩之間的相關(guān)度
表3 專家橫向離散率、縱向離散率結(jié)果
應(yīng)用指標(biāo)體系評價12 個項目, 結(jié)果見表1。各項目績效總分經(jīng)正態(tài)性檢驗,W=0.96,P=0.81,服從正態(tài)分布。 各項目90%分位數(shù)為84.06,10%分位數(shù)為64.93,按照評價10%的項目績效為優(yōu),10%的項目績效為差的管理模式,3 號和5 號項目績效評價等級為優(yōu),11 號和12 號項目績效評價等級為差,其他項目等級為中、良,符合科研過程目標(biāo)管理,一定程度上達(dá)到科研管理目的,顯示指標(biāo)體系能夠有效、 合理地評價出不同績效水平的課題。
指標(biāo)體系整體可區(qū)分度95.44,結(jié)合各課題績效評價結(jié)果,表明指標(biāo)體系指標(biāo)信息充分,能較好地區(qū)分不同績效水平課題。對指標(biāo)體系整體、計劃執(zhí)行情況和產(chǎn)出預(yù)期情況做可信度分析, 指標(biāo)體系整體可信度為60.13,計劃執(zhí)行情況、預(yù)期產(chǎn)出情況的可信度分別為276.55 和221.88。 本研究數(shù)據(jù)與參考文獻(xiàn)[2]數(shù)據(jù)均已經(jīng)過標(biāo)準(zhǔn)化,具有可比性。 文獻(xiàn)中認(rèn)為可信度在300~400 就比較可靠[2],可信度得分越低,可信度越高,本研究均<300,說明指標(biāo)體系及計劃執(zhí)行情況、 預(yù)期產(chǎn)出情況結(jié)果均可信,各指標(biāo)不易使專家產(chǎn)生誤解。分析指標(biāo)體系的計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預(yù)期情況間的相關(guān)度,結(jié)果見表2。 結(jié)果顯示,各相關(guān)系數(shù)均無統(tǒng)計學(xué)差異(均P>0.05),顯示指標(biāo)間不存在相關(guān)性, 即指標(biāo)體系的三部分指標(biāo)均為獨立指標(biāo),評價內(nèi)容不重復(fù),可從不同角度反映課題情況,反映了指標(biāo)體系指標(biāo)設(shè)置的合理性。
專家橫向離散率會影響指標(biāo)的可信度, 專家縱向離散率會影響指標(biāo)體系可區(qū)分程度。 分析專家橫向離散率與縱向離散率, 檢驗指標(biāo)體系可信度可區(qū)分度的可靠性。計算離散率時,認(rèn)為大多數(shù)專家的評價結(jié)果可靠[3],各專家的評價結(jié)果與專家平均的整體評價結(jié)果趨勢一致, 說明各專家對各課題績效的優(yōu)劣認(rèn)知是一致的。
橫向離散率結(jié)果見表3, 經(jīng)正態(tài)性檢驗W=0.95,P=0.63,服從正態(tài)分布,均值7.39,95%置信區(qū)間為(5.74,9.05),7 號、8 號、9 號專家的橫向離散率大于總體均數(shù)95%置信區(qū)間上限,顯示這三位專家評分與平均評分相差相對較大, 但三位專家評價結(jié)果的取向與總體評價一致, 說明原因是三位專家的評價尺度與專家平均的評價尺度有一定差別,但優(yōu)劣的判斷是相同的。縱向離散率結(jié)果見表3,經(jīng)正態(tài)性檢驗W=0.93,P=0.39,服從正態(tài)分布,均值11.22,95%置信區(qū)間為(9.61,12.83),5號、8 號、10 號專家的評分大于可信區(qū)間上限,提示可能夸大課題間的差別,4 號、7 號專家的評分小于可信區(qū)間下限, 提示可能未能將課題間的差別充分體現(xiàn)。
分別對各位專家評價結(jié)果與專家的平均分進(jìn)行Pearson 相關(guān)檢驗, 各相關(guān)系數(shù)的P值均小于0.05, 說明各專家評分與專家平均分之間均存在良好的相關(guān)性。 綜合各專家的橫向離散率、 縱向離散率及相關(guān)系數(shù)的分析顯示, 盡管評審專家在使用指標(biāo)體系時存在個體差異, 但其屬于合理的系統(tǒng)誤差和隨機誤差, 沒有導(dǎo)致評審結(jié)果的取向不同,指標(biāo)體系有較好的可信度可區(qū)分度。
中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系用于評價院級課題結(jié)題績效合理可行,且可以此評價加強結(jié)題績效管理。 指標(biāo)體系的可信度、可區(qū)分度結(jié)果較好,說明運用該指標(biāo)體系可全面有效地評價課題結(jié)題績效, 能夠?qū)崿F(xiàn)對課題結(jié)題的績效評價和管理。
與醫(yī)院戰(zhàn)略實施相脫節(jié)是很多績效評價方法存在的問題,課題結(jié)題績效評價,以往大多局限于評價課題的單純產(chǎn)出, 但課題產(chǎn)出的滯后性導(dǎo)致結(jié)題時產(chǎn)出并不全面完整, 且評價忽略了課題計劃的執(zhí)行情況,以及課題的期望產(chǎn)出評價。評價指標(biāo)體系計劃執(zhí)行情況既可反映課題計劃的依從性,又可以引導(dǎo)課題按計劃方向進(jìn)行;評價預(yù)期產(chǎn)出可較好的評價課題目標(biāo)完成情況, 體現(xiàn)結(jié)題績效評價的合理性和公平性, 能夠?qū)φn題產(chǎn)出的滯后性進(jìn)行一定的提前預(yù)評, 相對完善地評價課題結(jié)題績效。 中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系評價計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預(yù)期情況,能夠較好的實現(xiàn)科研管理功能,結(jié)果更加全面合理。 通過從各個角度評估指標(biāo)體系的實際應(yīng)用情況, 顯示指標(biāo)體系的實際應(yīng)用效果令人滿意。
根據(jù)赫伯特·西蒙的有限理性理論,“‘管理人’的知識、信息、經(jīng)驗和能力都是有限的,他不可能也不企望達(dá)到絕對的最優(yōu)解, 而只以找到滿意解為滿足。 ”該指標(biāo)體系旨在成為一個初步的,現(xiàn)階段合理可行的評估模型。根據(jù)研究結(jié)果,該指標(biāo)體系的應(yīng)用結(jié)果是令人滿意的, 在實際應(yīng)用過程中是合理可行的,隨著未來的實踐應(yīng)用,還將得到進(jìn)一步的完善和改進(jìn)。
[1] 王媛媛,孫瑞華,樊凡,等.醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系的建立與研究[J].中華醫(yī)學(xué)科研管理雜志,2013,26(5):303-308.
[2] 劉魯寧. 科技項目同行評議體系反評估模型分析與設(shè)計[D].哈爾濱工業(yè)大學(xué),2007.
[3] 張立軍,羅珍,曹瑋,等.科技成果獎勵評價中對專家的反評估分析[J].統(tǒng)計與信息論壇,2008,23(10):14-17,51.
[4] 樊凡,孫瑞華,楊存霞,等.醫(yī)院自主科研課題結(jié)題質(zhì)量評估研究[J].中華醫(yī)院管理雜志,2013,29(10):795-798.