趙 磊 邵偉文

(1. 河北建筑工程學(xué)院圖書館 張家口 075024; 2. 中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心 北京 100190)

·管理論壇·

基于SCI的科研成果綜合評(píng)價(jià)模型的構(gòu)建

趙 磊1邵偉文2

(1. 河北建筑工程學(xué)院圖書館 張家口 075024; 2. 中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心 北京 100190)

構(gòu)建了科研成果多指標(biāo)綜合評(píng)價(jià)模型，介紹了評(píng)價(jià)模型的建模過(guò)程，以SCI數(shù)據(jù)庫(kù)收錄的某科研單位科研成果為數(shù)據(jù)來(lái)源，選取七個(gè)單項(xiàng)指標(biāo)，運(yùn)用評(píng)價(jià)模型得出科研人員科研成果的綜合評(píng)價(jià)結(jié)果。

科研評(píng)價(jià) 評(píng)價(jià)模型 科研管理

1 引言

科研成果評(píng)價(jià)是一個(gè)極其復(fù)雜和重要的問(wèn)題，評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)方法直接關(guān)系到評(píng)價(jià)結(jié)果的科學(xué)性、合理性，也關(guān)系到能否客觀公正地反映科技工作者的勞動(dòng)價(jià)值[1]。目前，國(guó)內(nèi)運(yùn)用較多的科研績(jī)效評(píng)價(jià)工具是《科學(xué)引文索引》(簡(jiǎn)稱SCI)數(shù)據(jù)庫(kù)。但是，在使用SCI進(jìn)行科研成果評(píng)價(jià)的過(guò)程中也存在一些問(wèn)題。譬如當(dāng)前的科研成果評(píng)價(jià)存在過(guò)分強(qiáng)調(diào)量化的傾向，過(guò)分強(qiáng)調(diào)論文的數(shù)量，忽視或不夠重視科研成果的質(zhì)量和實(shí)際效益等[2-4]。筆者認(rèn)為，科研成果評(píng)價(jià)是一個(gè)復(fù)雜的過(guò)程，應(yīng)該建立健全評(píng)價(jià)機(jī)制和評(píng)價(jià)程序，在利用SCI進(jìn)行科研評(píng)價(jià)時(shí)不應(yīng)該只使用單個(gè)指標(biāo)，而是要把SCI的多種評(píng)價(jià)指標(biāo)結(jié)合起來(lái)對(duì)科研成果進(jìn)行綜合性的、定量化的評(píng)價(jià)。鑒于此，我們構(gòu)建了基于SCI的多指標(biāo)綜合評(píng)價(jià)模型，旨在科學(xué)合理地利用SCI這一分析工具，為科研成果評(píng)價(jià)提供參考。

2 多指標(biāo)綜合評(píng)價(jià)模型的構(gòu)建

2.1 指標(biāo)選取

為了避免單一指標(biāo)評(píng)價(jià)的片面性，本文選取論文數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、h指數(shù)、單篇最高被引用次數(shù)和單篇年均被引用次數(shù)7個(gè)指標(biāo)作為評(píng)價(jià)模型的指標(biāo)來(lái)源。各指標(biāo)的含義如下：

論文數(shù)是指?jìng)€(gè)人在一定時(shí)間內(nèi)發(fā)表的論文總數(shù)。論文數(shù)是對(duì)科研生產(chǎn)力的直接反映，但是論文總數(shù)無(wú)法測(cè)度論文的重要性和影響力。

論文總被引用次數(shù)是指已發(fā)表論文在發(fā)表后的一段時(shí)間內(nèi)被引用的次數(shù)之和。它直接反映了論文產(chǎn)生的影響力，能夠在很大程度上測(cè)度研究成果對(duì)科學(xué)發(fā)展所做的貢獻(xiàn)，但是不適于測(cè)度論文引證數(shù)分布極不均衡的情形。如果只有少數(shù)論文被大量引用，而其他多數(shù)論文的引證數(shù)卻很低，那么采用總引證數(shù)的評(píng)價(jià)結(jié)果就會(huì)被夸大。

論文篇均被引用次數(shù)是指總引證數(shù)除以總論文數(shù)的結(jié)果。這個(gè)指標(biāo)對(duì)發(fā)表論文少但每篇論文引證數(shù)較高的人比較有利，而可能不太利于論文多產(chǎn)者。

論文年均被引用次數(shù)用來(lái)表征論文作者的成果持續(xù)影響程度。

h指數(shù)把論文引證數(shù)作為衡量研究工作的內(nèi)在指標(biāo)，論文數(shù)量作為參考指標(biāo)，h指數(shù)本身是在這兩種指標(biāo)之間取一個(gè)平衡，從而綜合考察論文的數(shù)量和影響力[5]。

單篇最高被引用次數(shù)和單篇年均被引用次數(shù)兩個(gè)指標(biāo)的作用在于突出單篇論文的重要性。因?yàn)橛械淖髡唠m然發(fā)表論文數(shù)量極少但是論文質(zhì)量非常高，影響力非常大。這兩個(gè)指標(biāo)可以突出核心論文的重要性。

2.2 評(píng)價(jià)模型關(guān)鍵步驟解析

本文提出的多指標(biāo)綜合評(píng)價(jià)模型的構(gòu)建分為單指標(biāo)平滑處理、計(jì)算單項(xiàng)指標(biāo)得分、計(jì)算多指標(biāo)綜合得分三個(gè)部分。其中，單項(xiàng)指標(biāo)數(shù)據(jù)序列對(duì)平均值和最大值的確定、單項(xiàng)指標(biāo)權(quán)重的設(shè)定都由專家根據(jù)經(jīng)驗(yàn)而定。因此，本文所利用的多指標(biāo)評(píng)價(jià)方法是定性與定量評(píng)價(jià)的結(jié)合、主觀評(píng)價(jià)與客觀評(píng)價(jià)的統(tǒng)一，既融入了專家經(jīng)驗(yàn)，又通過(guò)客觀的指標(biāo)選取與分值計(jì)算得出相對(duì)定量化的評(píng)價(jià)結(jié)果。需要注意的是，各個(gè)單項(xiàng)指標(biāo)的選擇不是固定的，本文選取了論文數(shù)、論文總被引用次數(shù)、h指數(shù)等七項(xiàng)指標(biāo)，具體操作中可以根據(jù)需要適當(dāng)增減評(píng)價(jià)指標(biāo)。模型構(gòu)建流程圖如圖1所示。

圖1 多指標(biāo)綜合評(píng)價(jià)模型構(gòu)建流程圖

2.2.1 單指標(biāo)平滑處理 將科研人員論文總數(shù)作為科研成果評(píng)價(jià)指標(biāo)之一，數(shù)據(jù)序列A表示某科研單位所有科研人員在某一段時(shí)間內(nèi)發(fā)表的論文數(shù)量，A=(a1，a2，……，an)。對(duì)數(shù)據(jù)系列A進(jìn)行排序是很簡(jiǎn)單的，但是僅憑發(fā)表論文數(shù)量的多少，只能直接反映該科研人員的科研生產(chǎn)力，而無(wú)法測(cè)度論文的重要性和影響力。比如，某科研人員發(fā)表了10篇論文，他可能比發(fā)表5篇論文的科研人員的科研水平高一些，但如果據(jù)此認(rèn)為他們之間有兩倍的差距，可能會(huì)導(dǎo)致不合理的評(píng)價(jià)。為了使數(shù)據(jù)不至于有太劇烈的變動(dòng)，減少指標(biāo)賦予權(quán)值時(shí)偶然因素的干擾，首先將數(shù)據(jù)做對(duì)數(shù)平滑化處理。即對(duì)數(shù)據(jù)序列A取自然對(duì)數(shù)：

logA=(loga1，loga2，……，logan)

2.2.2 單指標(biāo)分值確定

第一步，對(duì)平滑處理后的數(shù)據(jù)序列取平均值，即：ElogA=(loga1+loga2+……+logan)/n；

第二步，對(duì)平滑處理后的數(shù)據(jù)序列取最大值，即：maxlogA；

第三步，對(duì)獲得平均值的對(duì)象賦予一個(gè)合適的分值S0，對(duì)獲得最大值的對(duì)象賦予分值S。比如若采用百分制，可以取S0=80，S=100(S0和S的取值根據(jù)專家經(jīng)驗(yàn)設(shè)定)，其他對(duì)象得分根據(jù)距離平均值遠(yuǎn)近的比例計(jì)算，即采用以下公式計(jì)算分值：

Sk=S0+(S-S0)*(logak-ElogA)/(maxlogA-ElogA)

(1)

由此，可以得到某科研單位所有科研人員在論文總數(shù)這一指標(biāo)的得分情況。同理，也可以對(duì)其他指標(biāo)采用相同的方法得出具體分值，最后對(duì)所有指標(biāo)進(jìn)行平均或者加權(quán)平均計(jì)算總評(píng)分。

2.2.3 計(jì)算綜合評(píng)分 對(duì)每一項(xiàng)指標(biāo)進(jìn)行定量分析并給出合適的單項(xiàng)分值后，然后根據(jù)專家經(jīng)驗(yàn)設(shè)定各單項(xiàng)指標(biāo)的權(quán)重，最后進(jìn)行總的加權(quán)平均獲得綜合評(píng)分。

3 實(shí)證分析

3.1 數(shù)據(jù)來(lái)源

以筆者對(duì)口服務(wù)的某科研單位為例，從SCI數(shù)據(jù)庫(kù)中檢索出該機(jī)構(gòu)所有論文，然后對(duì)每位在崗科研人員的論文情況提取論文總數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、單篇論文最高被引用次數(shù)、單篇論文年均被引用次數(shù)等數(shù)據(jù)(原始數(shù)據(jù)見表1)。需要注意的是，考慮到不同學(xué)科的差異性，本模型只適合對(duì)特定的學(xué)科科研人員的科研成果做綜合評(píng)價(jià)。

表1 原始數(shù)據(jù)(采集日期：2011年5月24日)

如2.2所述，首先對(duì)每項(xiàng)指標(biāo)進(jìn)行定量分析并給出合適的單項(xiàng)分值，然后進(jìn)行總的加權(quán)平均獲得總評(píng)分，最后進(jìn)行比較分析。在本研究中，各指標(biāo)的權(quán)重根據(jù)專家經(jīng)驗(yàn)分別設(shè)為15%、10%、15%、20%、20%、10%、10%。綜合評(píng)分計(jì)算如下：

綜合評(píng)分=論文數(shù)×15%+總被引×10%+篇均被引×15%+年均被引×20%+h指數(shù)×20%+單篇最高被引×10%+單篇年均被引×10%

3.2 數(shù)據(jù)處理與結(jié)果分析

筆者采用多指標(biāo)綜合評(píng)價(jià)模型，將上述數(shù)據(jù)代入模型公式(1)進(jìn)行計(jì)算，為了防止有些科研人員某些指標(biāo)為0而導(dǎo)致無(wú)法進(jìn)行取對(duì)數(shù)運(yùn)算，對(duì)原始數(shù)據(jù)做了技術(shù)處理，即將原有數(shù)據(jù)指標(biāo)統(tǒng)一加上1。這也可以看成該指標(biāo)有潛在增加1的可能性，比如論文數(shù)，可以默認(rèn)將正在撰寫的論文算成1篇，以方便取對(duì)數(shù)值，從而得出各單項(xiàng)指標(biāo)的得分。然后，為各指標(biāo)賦予權(quán)重，計(jì)算總評(píng)分。各指標(biāo)具體得分情況見表2，各項(xiàng)指標(biāo)排名前20名的名單見表3。

表2 各指標(biāo)得分情況及綜合評(píng)分

表3 各項(xiàng)指標(biāo)前20名的作者

從表3可以看出，各項(xiàng)指標(biāo)比較靠前的一般排名比較靠前，如果只有個(gè)別指標(biāo)靠前的話，排名一般會(huì)比較靠后。根據(jù)此表，可以分析每個(gè)科研人員各項(xiàng)指標(biāo)在全體科研人員中間的相對(duì)位置，也有助于科研人員個(gè)人調(diào)整自己的研究目標(biāo)，比如論文較多的科研人員可以考慮多做難度和影響較大的工作，論文被引用頻次較多的科研人員可以多考慮挑戰(zhàn)性比較大的問(wèn)題。

另外，我們?nèi)】傇u(píng)分名次前20名的科研人員，對(duì)其他指標(biāo)重新排序(h指數(shù)除外，并列排名較多，意義不大)，確定其在此20人中的相對(duì)排名，得到如下雷達(dá)圖(如圖2所示)。該雷達(dá)圖的每一根射線代表一位科研人員，射線上的點(diǎn)代表該科研人員各指標(biāo)取得的名次，點(diǎn)越靠近中心，表明該科研人員的名次越靠前。

從圖2中可以看出，各項(xiàng)指標(biāo)都靠近中心位置的科研人員，總名次也靠近中心位置，這些科研人員往往是團(tuán)隊(duì)的核心人員。然而大部分科研人員各個(gè)指標(biāo)的排名分布并不均勻，有靠近中心位置的指標(biāo)，也有偏離中心位置的指標(biāo)，從圖中可以清晰地看出各科研人員不同指標(biāo)的排名情況，進(jìn)而可以分析得出導(dǎo)致綜合排名先后的原因。同時(shí)，該模型的作用之一是有利于發(fā)現(xiàn)有潛力的科研人員。如圖，總評(píng)分排名靠后，而論文數(shù)量不多，論文被引用情況良好的人員通常是從業(yè)時(shí)間不長(zhǎng)的有潛力的科研人員。反之，有的科研人員綜合評(píng)分較靠前，但仔細(xì)分析可能會(huì)發(fā)現(xiàn)其主要是在發(fā)表論文數(shù)量方面取勝。根據(jù)此模型和排名圖，可以發(fā)現(xiàn)有潛力的科研人員、多產(chǎn)科研人員、科研成果影響較大的科研人員等，這對(duì)于科研管理部門進(jìn)行項(xiàng)目管理、成果評(píng)價(jià)、挖掘潛在人才等具有較好的參考作用。

圖2 科研成果各指標(biāo)排名圖

4 結(jié)語(yǔ)

本文提出了多指標(biāo)綜合評(píng)價(jià)模型，據(jù)此對(duì)科研成果的各項(xiàng)指標(biāo)進(jìn)行排序，同時(shí)根據(jù)總評(píng)分得出了總體排名情況，評(píng)價(jià)結(jié)果具有一定的可取性，能夠在一定程度上反映各科研人員科研工作的實(shí)際效果和科研貢獻(xiàn)，具有較強(qiáng)的客觀性。本模型的數(shù)據(jù)來(lái)源主要來(lái)自SCI數(shù)據(jù)庫(kù)，我們也可以統(tǒng)計(jì)科研人員所有發(fā)表的論文數(shù)據(jù)，還可以增加統(tǒng)計(jì)科研人員主持或者參與的科研項(xiàng)目、主持或者參與的各種國(guó)際國(guó)內(nèi)學(xué)術(shù)會(huì)議等數(shù)據(jù)進(jìn)行分析和建模。該模型中總評(píng)分的權(quán)重是根據(jù)筆者經(jīng)驗(yàn)設(shè)定的，還有待進(jìn)一步研究，比如可以對(duì)科研人員進(jìn)行調(diào)查或由專家確定各指標(biāo)的權(quán)重，也可以考慮將兩者結(jié)合起來(lái)確定各指標(biāo)的權(quán)重，從而保證評(píng)價(jià)結(jié)果的公正性和客觀性。此外，模型考慮的仍然是簡(jiǎn)單的科研成果的數(shù)量關(guān)系，對(duì)科研成果的質(zhì)量判斷不足，所以還可以考慮引入科研成果同行專家評(píng)價(jià)、評(píng)論等指標(biāo)，提高評(píng)價(jià)結(jié)果的科學(xué)性。

[1] 劉作義,陳曉田. 科學(xué)研究評(píng)價(jià)的性質(zhì)、作用、方法及程序[J]. 科研管理,2002,23(2):35.

[2] 初景利,張冬榮. 第二代學(xué)科館員與學(xué)科化服務(wù)[J]. 圖書情報(bào)工作,2008,52(6):6-10,68.

[3] 張喜愛.正確發(fā)揮SCI評(píng)價(jià)作用 促進(jìn)我國(guó)高?？蒲兴絒J].科研管理研究,2006(8):188-190.

[4] 王 卉. 科研評(píng)價(jià)：扔掉SCI?[J]. 評(píng)價(jià)與管理,2007,5(2):77-79.

[5] 劉輝鋒. h指數(shù)與科研評(píng)價(jià)的新視野[J]. 中國(guó)科技論壇,2008(5):24-28.

ConstructionofSCI-basedScientificResearchComprehensiveEvaluationModel

Zhao Lei1, Shao Weiwen2

1. Library of Hebei Institute of Architecture Civil Engineering, Zhangjiakou 075024, China; 2. Library of Chinese Academy of Sciences, Beijing 100190, China

A multi-indicator comprehensive evaluation model for scientific research is proposed. This paper detailedly introduces the process of establishing the evaluation model. It selects the SCI database as the data source, which embodies the research papers from a certain academic institute. By selecting seven indicators and applying the evaluation model, the final comprehensive evaluation results of these scientific researches are obtained.

scientific research evaluation; evaluation indicator; evaluation method

G311

趙 磊，男，1984年生，助理館員，發(fā)表論文2篇；邵偉文，男，1970年生，館員，發(fā)表論文5篇。