■ 姚麗波 王媛媛 高文紅 杜 君 田 古 王迎紅楊 慧 田曉佳 馬伶俐 鐘 梅
在科技信用評價中,建立科學、公正、客觀和全面的科技信用指標體系是具有關鍵意義的一項基礎性工作。隨著中共中央辦公廳、國務院辦公廳、科技部、國家自然科學基金委員會等部門陸續(xù)出臺系列文件,推進科研項目(課題)過程管理責任由課題負責人逐漸向承擔單位法人負責轉變。具體措施包括對項目承擔單位進行信用評級,并按信用評級實行分類管理,建立“黑名單”制度,將嚴重不良信用記錄者記入“黑名單”,階段性或永久取消其申請中央財政資助項目的資格,且間接費用的核定、項目結余經費的處理與項目承擔單位的信用評價相關。因此,承擔單位的科研信用變得尤為重要,如果項目(課題)在進行過程中出現失信行為,將會影響承擔單位的信譽程度,對承擔單位造成嚴重的影響。
國內學者對科研信用的研究主要是針對我國目前存在的科研失信現象、產生的原因以及科研信用體系建設等方面[1-2]。關于建立科研信用評價指標體系方面,一些學者提出了建立科研信用評價系統(tǒng)的設想,并對其進行了理論上的構建,涉及的內容主要包括科研人員在科研活動中表現出的品德、性格、行為和作風;科研能力和管理能力;工作環(huán)境和社會關系網絡以及科研經費等[3-6]。
目前,國內外學者關于科技信用研究均基于科研項目組織機構,或者第三方評價機構的角度設計,評價對象包括科研項目評審專家、項目負責人、項目承擔單位、項目組織單位。但是關于承擔單位如何通過內部科研信用評價體系建設,以達到提升自身科研信用等級的研究并沒有涉及。
一項科研項目的實施也必將獲得科室的支持才能順利完成。筆者考慮可以發(fā)動各科室加入到醫(yī)院科研項目的管理過程中。因此本研究擬探索建立一套基于科室層面的,科學、合理、可行、符合中國醫(yī)學科學院腫瘤醫(yī)院(以下簡稱“我院”)實際情況的科研信用評價體系。這樣不但可以加強科室對于所承擔課題的管理,及時發(fā)現可能存在的問題,并予以幫助,從而保障我院科研信用維持在良好的水平,切實落實科研項目管理法人責任,而且還可加強各科室對本科室科研項目管理,有利于本學科建設。
本研究選擇27名專家就科研信用評價體系的指標構成和權重,進行兩輪德爾菲法調查。專家可對指標體系進行修改,并對每個一級指標和二級指標的重要性按5個維度(非常不重要、不重要、一般、重要、非常重要)賦1~5分。入選專家需為碩士以上學歷的臨床、科研管理、財務管理方面的專家,了解科研科室績效考評和信用評價。
通過查閱國家和北京市的相關管理規(guī)定,及科研信用評價的相關文獻,初步構建了科研信用指標體系的框架,采用專家訪談法進一步細化指標體系,形成第1輪調查問卷。采用德爾菲法進行兩輪問卷調查,以集中專家的意見與建議。采用層次分析法計算指標體系的權重。
參與調查的27名專家中,有24名本院人員、3名外院專家,其中2名來自項目主管部門,1名來自其他三甲醫(yī)院。專業(yè)構成方面,20名專家來自16個臨床科室,他們均是本科室主管科研的科室主任或者科研秘書,對科室績效考評和信用評價較為了解。5名專家的專業(yè)領域是科研管理,1名是財務管理專家,1名是基礎研究專家。
發(fā)放調查問卷27份,回收27份,回收率和有效率均達到100%。提出修改意見的專家共8人,占30%,涉及23條修改內容。專家意見的權威程度為0.84,大于0.7,說明選擇專家具有較高的權威性,且專家對調查內容較熟悉,對調查內容的判斷依據主要是實踐經驗和理論分析。
整體指標采用肯德爾和諧性分析,第2輪調查的專家意見協(xié)調系數高于第一輪調查的協(xié)調系數,且兩輪調查結果w值均有統(tǒng)計學意義,說明第2輪調查專家意見的收斂性要好于第1輪調查。
本研究遵循科學性、公正性、全面性、可操作性、系統(tǒng)優(yōu)化性、實用性原則,對科研信用評價相關的影響因素進行梳理,初步建立我院科研信用評價的框架。經過兩輪問卷調查,確定指標體系分為必要性指標和基礎性指標,其中必要性指標包括8項,基礎性指標包括4個一級指標、11個二級指標,詳見表1。
必要性指標是基于國家及北京市科研信用評價相關的管理文件[7-15]中對科研信用記錄有影響的內容,主要包括學術不端行為、科技計劃經費管理中嚴重違規(guī)問題、匹配經費到位情況、技術保密、科技報告、未通過結題驗收并造成負面影響,未按要求調整研究任務、未及時上報重大問題造成嚴重后果。
基礎性指標主要包括兩個方面,一部分考核內容可能不會對本單位的科研信用評級造成負面影響,但是如果出現類似問題,提示科研項目管理可能會存在潛在風險。此類指標主要包括課題結題驗收情況(未對單位科研信用造成負面影響)、年度研究工作執(zhí)行情況、科技計劃經費管理問題、經費平均支出率、研究是否符合醫(yī)學倫理、是否符合人類遺傳資源管理的要求、是否均按要求配備財務助理等幾個方面。另一部分內容與本科室內的科研項目過程管理沒有直接聯系,主要考核科室對于本科室內科研項目的監(jiān)管情況,包括科室年度組織監(jiān)督檢查情況、配備主管科研主任情況、配備科研秘書情況、制定科室科研工作管理制度。
根據第2輪調查的重要性得分,通過層次分析軟件可以得到每個專家同層次指標的權重值結果。本研究考慮到每位專家的權威系數不同,因此單層次排序權重由專家權威系數進行加權平均,并進行歸一化處理,得到表2中的一級指標和二級指標的單排序權重。組合權重為各二級指標權重×所屬一級指標的權重。判斷構造的矩陣是否合理,還需要進行一致性檢驗。經檢驗,以上矩陣的一致性比值CR值均<0.1,表明構造的判斷矩陣具有滿意的一致性。
通過表1我院科研信用評價體系的構建,對相關定性和定量指標的數據進行收集,并且進行數據整理與分析,核查定性數據的內容??蒲行庞迷u價指標體系采用100分制,如果涉及必要性指標中存在某項問題,其所在科室本年度科研信用得分為0,基礎性指標各科室根據具體實際情況計分。同時,結合國際上對信用的5級計分法,將科研信用等級分為5類,既AAA、AA、A、B、C,具體劃分標準如表3。
承擔單位可以根據科室科研信用評價結果,準確評定科室的科研信用等級,有針對性的加強管理。對科室的科研信用評價等級為B、C的,應加大檢查力度,同時配合科室管理,及時協(xié)助課題負責人解決問題,重點對科室內課題負責人和財務助理的培訓,以免造成影響單位科研信用的違規(guī)事件。
中國醫(yī)學科學院腫瘤醫(yī)院是集醫(yī)教研防于一體,全方位開展腫瘤相關基礎研究和臨床診治的國家標志性腫瘤??漆t(yī)院。2017年承擔在研課題500余項,其中國家級課題144項、經費合計3億元,省部級課題64項、經費合計近4 000萬元。如何應對科研項目過程管理責任轉變,保持我院良好的科研信用狀態(tài),成為一項亟待解決的問題。除了加強醫(yī)院層面的科研管理,更要深入學科,發(fā)動科室加入到科學研究的全過程管理。各科室可針對本學科特殊情況,開展各類科研管理活動,不定期組織對所承擔的科研項目進行檢查,開展學術交流等,針對發(fā)現的問題,與職能處室討論,提出解決方案。在及時發(fā)現本科室科研工作可能出現問題的同時,還可整合本學科的科研資源,有利于學科科研發(fā)展。如何實現科室對本學科項目的監(jiān)管,我院在基礎性指標里設立了一級指標“科室科研項目管理”??紤]科室可以對本科室內的科研項目進展、研究原始記錄、人員配備、參與單位合作等研究工作管理情況每年至少組織一次督導,并且要有書面記錄,配備1名主管科研的科室主任和1名科研秘書,主持和組織本科室的科研工作。同時要結合科室特點,制定本學科的科室科研工作管理制度。財政資助金額大于50萬元的在研課題要求配備財務助理??剖遗c科研管理部門互動,及時發(fā)現可能存在的問題,并予以幫助,從而保障我院科研信用維持在良好的水平,切實落實科研項目管理法人責任,而且還可加強各科室對本科室科研項目管理,有利于本學科建設。
表1 中國醫(yī)學科學院腫瘤醫(yī)院科研信用評價指標體系
表2 科研信用評價體系基礎指標的層次總排序結果
表3 國際上科研信用等級5級計分法
目前國內外學者對于科研信用評價均基于科研項目(課題)組織機構,或者第三方評價機構的角度設計,科研信用評價體系的對象是評審專家、課題負責人、承擔單位及組織機構,對于承擔單位如何在本單位內建立信用評價體系,加強本單位的科研信用建設并沒有涉及,相關理論研究和實踐經驗完全空白。本研究是從項目承擔單位角度考量,結合本單位實際情況,基于學科層面的科研信用評價體系。而且科研信用評價體系建立完成后,將作為我院臨床科室科研績效評價的一部分[16],直接應用到臨床科室科研績效考評中。科研信用評價體系將從科研項目管理、科研經費管理以及科研工作的規(guī)范性方面,加強我院科研項目的全過程管理?;诒狙芯繛榍腥朦c,可以對各臨床科室進行科研信用評級,針對重點科室加強檢查,協(xié)助處理存在的問題,加強培訓。由于相關的理論與實踐經驗空白,本研究所列信用考核內容可能會遺漏對科研信用產生影響的要素,作為對項目承擔單位科研信用評價的一種探索,可以在今后的實際運行過程中不斷完善、改進,將來可以考慮擴展至基礎研究組[17],課題負責人、財務助理的科研信用評級,從而構建我院整個科研項目的信用管理體系。