李 倩，陳志余，曹玉瑩，郭逸靜，陳 果，覃雪靜，魏 巍△

(1.四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所，成都 610041；2.四川大學(xué)華西公共衛(wèi)生學(xué)院/華西第四醫(yī)院，成都 610041)

科技成果評價指受托方根據(jù)委托方明確的目的，按照規(guī)定的原則、程序和標準，運用科學(xué)、可行的方法對科學(xué)技術(shù)活動及與科學(xué)技術(shù)活動相關(guān)的事項所進行的論證、評審、評議、評估、驗收等活動[1]。四川省科學(xué)技術(shù)廳2017年7月印發(fā)《四川省科技成果評價改革試點方案》的通知，指出“為適應(yīng)新形勢新要求，必須加緊改進和規(guī)范科技成果評價，通過采取先行試點、總結(jié)經(jīng)驗、穩(wěn)步推進的工作方式，積極探索科學(xué)明晰、規(guī)范高效、客觀公正的科技成果評價指標、評價規(guī)范和評價機構(gòu)，逐步建立和完善適應(yīng)社會主義市場經(jīng)濟和科技發(fā)展要求的科技成果評價體系。”[2]并授予四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所、四川西部國際技術(shù)轉(zhuǎn)移中心、成都生產(chǎn)力促進中心等10家單位為試點單位。

作為四川省內(nèi)10家試點單位中唯一的一家醫(yī)療衛(wèi)生機構(gòu)，四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所組織專家，根據(jù)分類評價的原則，針對醫(yī)藥衛(wèi)生類科技成果的特點，建立了四川省醫(yī)藥衛(wèi)生社會公益類、成果推廣類、技術(shù)開發(fā)類、軟科學(xué)類4套第三方科技成果評價指標體系，其中社會公益類評價指標體系包括4個維度11個條目。本研究旨在對已建立的四川省醫(yī)藥衛(wèi)生社會公益類第三方科技成果評價指標體系的信度與效度進行驗證，現(xiàn)報道如下。

1 資料與方法

1.1 一般資料

采用隨機數(shù)字表法，在四川省衛(wèi)生健康政策和醫(yī)學(xué)情報研究所2019年完成的醫(yī)藥衛(wèi)生社會公益類第三方科技成果評價項目中抽取9項，對參與項目評審的63名專家的63份量表進行統(tǒng)計分析。

1.2 方法

1.2.1研究方法

采用隨機數(shù)字表法分別從9項社會公益類項目的評審專家中各抽取3名，共計27名專家，邀請其對所參與的項目再次進行測評打分，對再次測評的27份量表進行統(tǒng)計分析，以考察量表的重測信度。根據(jù)國際量表設(shè)計原則[3],量表中的1個條目至少對應(yīng)5～10個樣本量，量表共有11個條目，本次研究共統(tǒng)計專家測評量表90份，基本滿足統(tǒng)計學(xué)的經(jīng)驗做法。

1.2.2研究工具

前期綜合運用文獻薈萃分析、專題小組討論、小型專家會議、專家咨詢法、層次分析法等研究方法建立了四川省醫(yī)藥衛(wèi)生社會公益類第三方科技成果評價指標體系用于評價醫(yī)藥衛(wèi)生社會公益類成果，包括4個維度：科技水平(4條目)、推廣應(yīng)用(4條目)、成果效益(2條目)、成果產(chǎn)出(1條目)，維度分等于相應(yīng)條目分之和，量表分等于相應(yīng)維度分之和。各條目具體得分按照相關(guān)權(quán)重計算，量表總分為100分，分數(shù)越高，表明項目的質(zhì)量越高。

1.3 統(tǒng)計學(xué)處理

2 結(jié) 果

2.1 信度檢驗結(jié)果

2.1.1內(nèi)部一致性檢驗

將63名專家的測評結(jié)果以各條目得分整理后納入統(tǒng)計分析。內(nèi)部一致性檢驗結(jié)果顯示，指標體系的Cronbach′s α系數(shù)為0.957，當(dāng)刪除任意條目后，Cronbach′s α系數(shù)波動于0.949～0.961。

2.1.2重測信度

將27名專家的首次測評結(jié)果和重測結(jié)果按照總得分、各維度得分進行整理，結(jié)果顯示兩次測評的總得分及兩次測評的各維度得分比較，差異無統(tǒng)計學(xué)意義(P>0.05)。相關(guān)性分析顯示，相關(guān)系數(shù)r最高為成果產(chǎn)出0.983，最低為成果效益0.749，兩次得分的相關(guān)程度高，見表1。

表1 總得分及各維度重測信度檢驗結(jié)果分)

2.2 效度檢驗結(jié)果

2.2.1內(nèi)容效度

將63名專家的測評結(jié)果以各維度得分整理后納入統(tǒng)計分析，結(jié)果顯示各維度得分與總得分之間的相關(guān)系數(shù)為0.815～0.971；各維度之間的相關(guān)系數(shù)為0.631～0.830(P<0.05)，見表2。

表2 社會公益類成果評價總得分與各維度得分之間的相關(guān)系數(shù)(r)

2.2.2結(jié)構(gòu)效度

將27名專家再次測評的結(jié)果以各條目得分整理后納入統(tǒng)計分析，結(jié)果顯示KMO=0.916，Bartlett球形度檢驗P<0.001，適合因子分析。采用主成分分析方法，固定公因子數(shù)量為4，累積方差貢獻率為91.223%。采用最大方差法正交旋轉(zhuǎn)，經(jīng)13次迭代后，各條目在其對應(yīng)的因子上載荷在0.500～0.879，見表3。

表3 社會公益類成果評價旋轉(zhuǎn)后各條目因子載荷

3 討 論

3.1 指標體系具有良好的信度

信度指測量結(jié)果的可靠性、精確性、穩(wěn)定性和一致性[4]。目前評價信度的方法較多，但主要采用內(nèi)部一致性Cronbach′s α系數(shù)和重測信度[5]。Cronbach′s α系數(shù)反映測量指標的各組成部分與整體間的一致性[6]。通常Cronbach′s α系數(shù)大于0.8表明量表信度好[7-8]。四川省醫(yī)藥衛(wèi)生社會公益類第三方科技成果評價指標體系的Cronbach′s α系數(shù)為0.957，當(dāng)刪除任意條目后Cronbach′s α系數(shù)波動范圍為0.949～0.961，表明評價指標內(nèi)部一致性非常好且穩(wěn)定性非常高。

重測信度是指同一量表對同一研究對象先后測量兩次，以評價兩次測量的相關(guān)性，反映評測跨越時間的穩(wěn)定性和一致性[9]。重測信度用相關(guān)系數(shù)r來衡量,一般要求達到0.4以上[10]。兩次測評的總得分及兩次測評的各維度得分的相關(guān)系數(shù)最高為0.983，最低為0.749。配對t檢驗顯示兩次測評比較，差異無統(tǒng)計學(xué)意義(P<0.05)。證實兩次得分的相關(guān)程度高，評價指標具有跨時間的穩(wěn)定性與一致性。

3.2 指標體系具有良好的效度

效度是指量表的有效性和準確性[11]，本研究的效度評價分為內(nèi)容效度和結(jié)構(gòu)效度。內(nèi)容效度是指條目樣本對所要測量概念的反映程度[12]，內(nèi)容效度分析采用定量的方法進行分析，使用單項與總和相關(guān)分析法獲得評價結(jié)果[13]，計算每個維度得分與總得分的相關(guān)系數(shù)。分析結(jié)果顯示，各維度得分與總得分之間的相關(guān)系數(shù)均較高，說明評價指標的內(nèi)容關(guān)聯(lián)性較強，內(nèi)容效度較好。

結(jié)構(gòu)效度是指實驗與理論之間的一致性，即實驗是否真正測量到假設(shè)的理論[14]，采用因子分析法進行分析[15]。一般來說，公因子累計方差貢獻率應(yīng)大于40%，且每個條目在其公因子上的載荷值大于0.4，公因子就能很好地解釋條目[16]。本研究中公因子的累計方差貢獻率為91.223%，各條目在其對應(yīng)的因子上載荷為0.500～0.879，均符合上述兩項條件。各條目按照因子分析歸類后歸為4個公因子，分別為成果產(chǎn)出、推廣應(yīng)用、科技水平、成果效益，各公因子均可獲得專業(yè)上的解釋，并且各公因子解釋內(nèi)容與預(yù)先設(shè)計的指標體系結(jié)構(gòu)相符。提示評價指標體系結(jié)構(gòu)與預(yù)先設(shè)計的結(jié)構(gòu)相符，具有較好的結(jié)構(gòu)效度。

綜上所述，四川省醫(yī)藥衛(wèi)生社會公益類第三方科技成果指標體系具有較好的信度和效度，說明指標體系所測結(jié)果既具有較好的穩(wěn)定性又有較強的真實性，為該類科技成果提供了標準化的測評工具。由于目前受理的項目有限，今后將進一步在實踐中收集統(tǒng)計數(shù)據(jù)，對指標進行進一步的調(diào)整、驗證。