楊存霞，孫瑞華，顧澤龍，黃 傲，王雨萌，李 歡

（1.北京中醫(yī)藥大學(xué) 管理學(xué)院，北京 100029；2.中日友好醫(yī)院 科研和學(xué)科建設(shè)部，北京 100029）

中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系[1]是結(jié)合院級課題的特點以及“重立項審批，輕結(jié)題評估”的現(xiàn)象確定，旨在通過建立指標(biāo)體系加強課題結(jié)題管理。 通過實際應(yīng)用效果評價中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系，將為指標(biāo)體系進(jìn)一步的完善和應(yīng)用提供依據(jù)。

1 對象與方法

1.1 研究對象

本研究以已建立的中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系[1]為研究對象，該指標(biāo)體系分為計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預(yù)期3 個部分。滿分100 分，計劃執(zhí)行情況35 分、項目產(chǎn)出情況40 分、課題產(chǎn)出預(yù)期25 分[1]。

1.2 研究方法

從學(xué)術(shù)委員會成員中選取課題研究領(lǐng)域與評價項目相關(guān)的12 名專家， 除1 名專家缺席外，其余11 名專家在聽取課題負(fù)責(zé)人的總結(jié)報告之后，應(yīng)用中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系`，根據(jù)答辯情況，分別對2010 年中日友好醫(yī)院12 個院級科研課題重點項目結(jié)題績效進(jìn)行評價。

通過可信度評價指標(biāo)獲取數(shù)據(jù)的可靠程度[2]，指標(biāo)的可信度反映指標(biāo)取得所需數(shù)據(jù)的難易程度，表現(xiàn)為不同專家評價同一指標(biāo)的一致性程度。一致性程度較大， 專家可以依據(jù)指標(biāo)標(biāo)準(zhǔn)較統(tǒng)一地做出評價，評價數(shù)據(jù)是可信的。 相反，一致性程度較小，可認(rèn)為專家對指標(biāo)標(biāo)準(zhǔn)的理解有分歧，指標(biāo)的評價數(shù)據(jù)不可信。 通過可區(qū)分度評價指標(biāo)區(qū)分項目不同水平的能力， 可區(qū)分度表現(xiàn)為評價不同項目時專家評分的離散程度， 離散程度越大說明指標(biāo)包含信息越多， 專家區(qū)分項目水平的標(biāo)準(zhǔn)越多，指標(biāo)區(qū)分不同項目水平的能力越強。

通過專家的橫向離散率評價指標(biāo)可信度的可靠程度， 橫向離散率反映某專家評分與其他專家評分的一致程度， 橫向離散率越小說明專家評分越接近專家總體評價結(jié)果。 可信度反映評價過程中專家的總體離散程度， 而無法體現(xiàn)單個專家評價結(jié)果與整體結(jié)果的一致性。 剔除橫向離散率異常的專家，可提高指標(biāo)可信度的可靠性。 同樣，指標(biāo)的可區(qū)分度無法體現(xiàn)個別專家對項目的區(qū)分情況， 可通過專家縱向離散率評價指標(biāo)可區(qū)分程度的可靠性， 專家的縱向離散率是專家評價不同項目時，評分的差異大小[3]。 剔除縱向離散率明顯區(qū)別于其他專家的縱向離散率的專家可提高指標(biāo)可區(qū)分度的可靠性。 本研究為保證離散率的單位與原數(shù)據(jù)單位一致，數(shù)據(jù)結(jié)果更具說服力，采用離散率標(biāo)準(zhǔn)差的形式衡量專家評分的波動情況[4]。

2 結(jié)果

指標(biāo)體系的評價內(nèi)容包括計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預(yù)期情況。計劃執(zhí)行情況對課題的目標(biāo)、內(nèi)容完成情況評價，是課題管理的重要方面，引導(dǎo)課題方向，體現(xiàn)課題管理的功能。 實際產(chǎn)出情況反映在結(jié)題評價時課題已體現(xiàn)的產(chǎn)出情況，是依據(jù)具體的產(chǎn)出結(jié)果得出，其滯后性將不能使課題的成果在結(jié)題時充分體現(xiàn)。 產(chǎn)出預(yù)期評價是依據(jù)課題完成的工作， 對課題完成預(yù)期結(jié)果可能性的判斷，可能性越大，項目的績效情況越好，產(chǎn)出預(yù)期情況的評價提高了項目績效評價的完整性，有利于項目管理。

表1 指標(biāo)體系評價結(jié)果（分）

表2 指標(biāo)體系的三部分指標(biāo)兩兩之間的相關(guān)度

表3 專家橫向離散率、縱向離散率結(jié)果

應(yīng)用指標(biāo)體系評價12 個項目， 結(jié)果見表1。各項目績效總分經(jīng)正態(tài)性檢驗，W=0.96，P=0.81，服從正態(tài)分布。 各項目90%分位數(shù)為84.06，10%分位數(shù)為64.93，按照評價10%的項目績效為優(yōu)，10%的項目績效為差的管理模式，3 號和5 號項目績效評價等級為優(yōu)，11 號和12 號項目績效評價等級為差，其他項目等級為中、良，符合科研過程目標(biāo)管理，一定程度上達(dá)到科研管理目的，顯示指標(biāo)體系能夠有效、 合理地評價出不同績效水平的課題。

指標(biāo)體系整體可區(qū)分度95.44，結(jié)合各課題績效評價結(jié)果，表明指標(biāo)體系指標(biāo)信息充分，能較好地區(qū)分不同績效水平課題。對指標(biāo)體系整體、計劃執(zhí)行情況和產(chǎn)出預(yù)期情況做可信度分析， 指標(biāo)體系整體可信度為60.13，計劃執(zhí)行情況、預(yù)期產(chǎn)出情況的可信度分別為276.55 和221.88。 本研究數(shù)據(jù)與參考文獻(xiàn)[2]數(shù)據(jù)均已經(jīng)過標(biāo)準(zhǔn)化，具有可比性。 文獻(xiàn)中認(rèn)為可信度在300～400 就比較可靠[2]，可信度得分越低，可信度越高，本研究均＜300，說明指標(biāo)體系及計劃執(zhí)行情況、 預(yù)期產(chǎn)出情況結(jié)果均可信，各指標(biāo)不易使專家產(chǎn)生誤解。分析指標(biāo)體系的計劃執(zhí)行情況、項目產(chǎn)出情況、課題產(chǎn)出預(yù)期情況間的相關(guān)度，結(jié)果見表2。 結(jié)果顯示，各相關(guān)系數(shù)均無統(tǒng)計學(xué)差異（均P＞0.05），顯示指標(biāo)間不存在相關(guān)性， 即指標(biāo)體系的三部分指標(biāo)均為獨立指標(biāo)，評價內(nèi)容不重復(fù)，可從不同角度反映課題情況，反映了指標(biāo)體系指標(biāo)設(shè)置的合理性。

專家橫向離散率會影響指標(biāo)的可信度， 專家縱向離散率會影響指標(biāo)體系可區(qū)分程度。 分析專家橫向離散率與縱向離散率， 檢驗指標(biāo)體系可信度可區(qū)分度的可靠性。計算離散率時，認(rèn)為大多數(shù)專家的評價結(jié)果可靠[3]，各專家的評價結(jié)果與專家平均的整體評價結(jié)果趨勢一致， 說明各專家對各課題績效的優(yōu)劣認(rèn)知是一致的。

橫向離散率結(jié)果見表3， 經(jīng)正態(tài)性檢驗W=0.95，P=0.63，服從正態(tài)分布，均值7.39，95%置信區(qū)間為（5.74，9.05），7 號、8 號、9 號專家的橫向離散率大于總體均數(shù)95%置信區(qū)間上限，顯示這三位專家評分與平均評分相差相對較大， 但三位專家評價結(jié)果的取向與總體評價一致， 說明原因是三位專家的評價尺度與專家平均的評價尺度有一定差別，但優(yōu)劣的判斷是相同的。縱向離散率結(jié)果見表3，經(jīng)正態(tài)性檢驗W=0.93，P=0.39，服從正態(tài)分布，均值11.22，95%置信區(qū)間為（9.61，12.83），5號、8 號、10 號專家的評分大于可信區(qū)間上限，提示可能夸大課題間的差別，4 號、7 號專家的評分小于可信區(qū)間下限， 提示可能未能將課題間的差別充分體現(xiàn)。

分別對各位專家評價結(jié)果與專家的平均分進(jìn)行Pearson 相關(guān)檢驗， 各相關(guān)系數(shù)的P值均小于0.05， 說明各專家評分與專家平均分之間均存在良好的相關(guān)性。 綜合各專家的橫向離散率、 縱向離散率及相關(guān)系數(shù)的分析顯示， 盡管評審專家在使用指標(biāo)體系時存在個體差異， 但其屬于合理的系統(tǒng)誤差和隨機誤差， 沒有導(dǎo)致評審結(jié)果的取向不同，指標(biāo)體系有較好的可信度可區(qū)分度。

3 討論

中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系用于評價院級課題結(jié)題績效合理可行，且可以此評價加強結(jié)題績效管理。 指標(biāo)體系的可信度、可區(qū)分度結(jié)果較好，說明運用該指標(biāo)體系可全面有效地評價課題結(jié)題績效， 能夠?qū)崿F(xiàn)對課題結(jié)題的績效評價和管理。

與醫(yī)院戰(zhàn)略實施相脫節(jié)是很多績效評價方法存在的問題，課題結(jié)題績效評價，以往大多局限于評價課題的單純產(chǎn)出， 但課題產(chǎn)出的滯后性導(dǎo)致結(jié)題時產(chǎn)出并不全面完整， 且評價忽略了課題計劃的執(zhí)行情況，以及課題的期望產(chǎn)出評價。評價指標(biāo)體系計劃執(zhí)行情況既可反映課題計劃的依從性，又可以引導(dǎo)課題按計劃方向進(jìn)行；評價預(yù)期產(chǎn)出可較好的評價課題目標(biāo)完成情況， 體現(xiàn)結(jié)題績效評價的合理性和公平性， 能夠?qū)φn題產(chǎn)出的滯后性進(jìn)行一定的提前預(yù)評， 相對完善地評價課題結(jié)題績效。 中日友好醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系評價計劃執(zhí)行情況、實際產(chǎn)出情況、產(chǎn)出預(yù)期情況，能夠較好的實現(xiàn)科研管理功能，結(jié)果更加全面合理。 通過從各個角度評估指標(biāo)體系的實際應(yīng)用情況， 顯示指標(biāo)體系的實際應(yīng)用效果令人滿意。

根據(jù)赫伯特·西蒙的有限理性理論，“‘管理人’的知識、信息、經(jīng)驗和能力都是有限的，他不可能也不企望達(dá)到絕對的最優(yōu)解， 而只以找到滿意解為滿足。 ”該指標(biāo)體系旨在成為一個初步的，現(xiàn)階段合理可行的評估模型。根據(jù)研究結(jié)果，該指標(biāo)體系的應(yīng)用結(jié)果是令人滿意的， 在實際應(yīng)用過程中是合理可行的，隨著未來的實踐應(yīng)用，還將得到進(jìn)一步的完善和改進(jìn)。

[1] 王媛媛，孫瑞華，樊凡，等.醫(yī)院自主科研課題結(jié)題績效評估指標(biāo)體系的建立與研究[J].中華醫(yī)學(xué)科研管理雜志，2013，26（5）：303-308.

[2] 劉魯寧. 科技項目同行評議體系反評估模型分析與設(shè)計[D].哈爾濱工業(yè)大學(xué)，2007.

[3] 張立軍，羅珍，曹瑋，等.科技成果獎勵評價中對專家的反評估分析[J].統(tǒng)計與信息論壇，2008，23（10）：14-17，51.

[4] 樊凡，孫瑞華，楊存霞，等.醫(yī)院自主科研課題結(jié)題質(zhì)量評估研究[J].中華醫(yī)院管理雜志，2013，29（10）：795-798.