宗張建

(南京醫(yī)科大學(xué) 圖書(shū)館,江蘇 南京 211166)

0 引言

學(xué)術(shù)評(píng)價(jià)是圖書(shū)情報(bào)學(xué)十類(lèi)研究問(wèn)題之一[1]。自E.Garfield博士創(chuàng)建科學(xué)引文索引(SCI)以來(lái),文獻(xiàn)計(jì)量學(xué)逐漸形成被引頻次、影響因子、H指數(shù)等一系列核心計(jì)量指標(biāo),用以表征論文、期刊、學(xué)者等評(píng)價(jià)主體的學(xué)術(shù)影響力。然而,上述指標(biāo)的使用正面臨嚴(yán)峻挑戰(zhàn)。2018年下半年,中共中央辦公廳和國(guó)務(wù)院辦公廳印發(fā)的《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的若干意見(jiàn)》,從宏觀角度對(duì)科研評(píng)價(jià)提出了目標(biāo)方向,破除“五唯”,注重成果的質(zhì)量、貢獻(xiàn)、影響已成共識(shí)。2020年,科技部等印發(fā)的《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》《關(guān)于規(guī)范高等院校SCI論文相關(guān)指標(biāo)使用、樹(shù)立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》等一系列通知,從微觀角度對(duì)科技評(píng)價(jià)提出了具體要求,建立分類(lèi)評(píng)價(jià)體系、實(shí)行代表作制度等辦法將進(jìn)一步探索。總之,單純以SCI相關(guān)指標(biāo)進(jìn)行學(xué)術(shù)評(píng)價(jià)已經(jīng)走到了歷史的盡頭,學(xué)界正形成“以學(xué)術(shù)成果為指向、以同行評(píng)議為主導(dǎo)、以價(jià)值判斷為引領(lǐng)、以數(shù)據(jù)分析為支撐”的“復(fù)合評(píng)價(jià)”理念[2]。

負(fù)責(zé)任計(jì)量是當(dāng)前計(jì)量潮下的科學(xué)評(píng)價(jià)原則之一,這一思想是由歐洲科學(xué)技術(shù)政策負(fù)責(zé)任研究創(chuàng)新理念驅(qū)動(dòng)的。負(fù)責(zé)任計(jì)量體現(xiàn)在指標(biāo)設(shè)計(jì)的合理性、應(yīng)用的正確性及其多維性[3]。目前,基于引用的計(jì)量指標(biāo)依然是負(fù)責(zé)任計(jì)量的研究方向之一,因?yàn)橐梅从沉酥R(shí)在科學(xué)共同體中的擴(kuò)散過(guò)程,具有相對(duì)客觀、易于度量的天然優(yōu)勢(shì)。然而單純引用計(jì)次并不完美,易受主觀因素和客觀因素影響,前者包括作者引用的動(dòng)機(jī)和目的,后者常受學(xué)科、時(shí)間的限制。

針對(duì)引用計(jì)次的改進(jìn)主要有三類(lèi)方法。第一類(lèi)是對(duì)被引頻次進(jìn)行標(biāo)準(zhǔn)化或規(guī)范化處理,比如引用百分位、CNCI、FWCI指標(biāo)等,該類(lèi)指標(biāo)可直接反映學(xué)術(shù)論文相對(duì)于總體或平均學(xué)科水平的差異。第二類(lèi)是H指數(shù)和類(lèi)H指數(shù)[4]等,該類(lèi)指標(biāo)考慮了不同引證文獻(xiàn)后續(xù)的引用頻次,改善了引文同質(zhì)化計(jì)數(shù)的缺陷,但該類(lèi)指標(biāo)存在時(shí)間依賴性。第三類(lèi)是整體綜合測(cè)度指標(biāo),此類(lèi)方法包括學(xué)術(shù)跡[5]、影響矩[5]、Pq指數(shù)[6]、Pc指數(shù)[6]等,該類(lèi)指標(biāo)不僅考查引證文獻(xiàn)的表現(xiàn),更將二級(jí)引證文獻(xiàn)或參考文獻(xiàn)納入測(cè)度范疇。

上述改進(jìn)指標(biāo)有效完善了學(xué)術(shù)論文評(píng)價(jià)的方法,對(duì)論文學(xué)術(shù)影響力研究起到重要的推動(dòng)作用。目前,學(xué)界對(duì)引證期刊影響力差異已有關(guān)注,產(chǎn)生如特征因子之類(lèi)的指標(biāo),但該指標(biāo)是用于學(xué)術(shù)期刊評(píng)價(jià)的,用于學(xué)術(shù)論文影響力評(píng)價(jià)的指標(biāo)或方法鮮見(jiàn)報(bào)道。因此,本文擬從引證文獻(xiàn)的整體綜合測(cè)度視角入手,通過(guò)分析論文引證期刊聲譽(yù)的差異,構(gòu)建基于引證期刊影響力差異的量化指標(biāo),并進(jìn)行相關(guān)實(shí)證檢驗(yàn),以為學(xué)術(shù)論文評(píng)價(jià)提供新的研究視角和方法。

1 研究方法

論文引證文獻(xiàn)的影響力是存在差異的。比如在醫(yī)學(xué)領(lǐng)域,綜述、臨床指南、權(quán)威著作等“共識(shí)型”的文獻(xiàn)對(duì)論文后續(xù)的引用往往起到了關(guān)鍵作用[7]。又如,在睡美人文獻(xiàn)喚醒過(guò)程中,起決定性作用的王子文獻(xiàn),其刊載期刊通常是高影響因子期刊,并且影響因子通常是睡美人文獻(xiàn)期刊的2倍[8]。沈利華等[9]曾提出一種基于引文分析法的“客觀同行評(píng)議”方法,其基本思路就是篩選權(quán)威期刊上的綜述性引文,以此來(lái)保證引文評(píng)論功能。上述發(fā)現(xiàn)或方法均客觀反映了權(quán)威或高影響因子期刊引證文獻(xiàn)的重要性。

本研究構(gòu)建基于引證期刊聲譽(yù)差異的學(xué)術(shù)論文加權(quán)引用影響力(Weighted Citation Influence,WCI)指標(biāo),通過(guò)引入“加權(quán)”思想,對(duì)不同影響力的引證期刊賦予一定的權(quán)重,以改善被引頻次指標(biāo)引文同質(zhì)計(jì)算的不足,其計(jì)算公式為:。式中:ai為引證期刊影響力區(qū)間對(duì)應(yīng)的系數(shù);n(ai)表示進(jìn)入影響力區(qū)間的引證文獻(xiàn)數(shù)量;k為設(shè)定的期刊影響力區(qū)間的個(gè)數(shù)。

對(duì)于期刊影響力區(qū)間的設(shè)定,本文參考了影響因子平均百分位(AJIFP)指標(biāo)的數(shù)值分布。AJIFP由JCR在2015年推出,其原理是將同學(xué)科期刊按影響因子數(shù)值排序,并基于排序位次進(jìn)行非參數(shù)轉(zhuǎn)換。轉(zhuǎn)化后AJIFP數(shù)值分布在0～100,期刊影響因子越高,排序越靠前,其數(shù)值也就越大。本文依據(jù)AJIFP數(shù)值分布將期刊影響力劃分為6個(gè)區(qū)間,其中(100,95]區(qū)間表示一組影響力最高的期刊,而(20,0]表示一組影響力最低的期刊。同時(shí),采用序關(guān)系分析法對(duì)不同影響力區(qū)間期刊賦予不同的權(quán)重,定義相鄰兩區(qū)間期刊中高影響力區(qū)間期刊權(quán)重是低影響力區(qū)間期刊權(quán)重的2倍,權(quán)重系數(shù)ai為0.125～4,具體如表1所示。

表1 期刊影響力區(qū)間劃分以及對(duì)應(yīng)系數(shù)

2 實(shí)證研究

2.1 數(shù)據(jù)獲取

為實(shí)證分析WCI指標(biāo)評(píng)估論文學(xué)術(shù)影響力的效果和優(yōu)勢(shì),本研究選取腫瘤學(xué)(Oncology)學(xué)科論文進(jìn)行初步驗(yàn)證。首先,選擇Web of Science核心合集Science Citation Index-Expla子庫(kù),通過(guò)高級(jí)檢索方式檢索主題為“SU=Oncology”的論文,時(shí)間限定在2020年,出版類(lèi)型限定為Article。檢索時(shí)間為2021年9月30日。其次,選擇引用頻次最高的100篇論文為研究樣本,下載樣本論文的引用數(shù)據(jù)以及詳細(xì)SCI/SSCI引文題錄。論文引用數(shù)據(jù)包括被引頻次、使用數(shù)據(jù)(Usage)等影響力計(jì)量指標(biāo)。引文題錄包含引證文獻(xiàn)刊名等字段,通過(guò)Excel的VLOOKUP函數(shù)為每篇樣本論文的引證文獻(xiàn)期刊匹配當(dāng)年的AJIFP值。最后,統(tǒng)計(jì)各樣本論文引證期刊影響力區(qū)間的數(shù)量。

2.2 WCI的計(jì)算

以被引頻次最高的論文“Cancer statistics, 2020”為例,該論文于2020年1月刊載在著名學(xué)術(shù)期刊CAACancerJournalforClinicals上。截至檢索日期,文章累積被SCI/SSCI論文引用3 830次。引證期刊AJIFP區(qū)間分布如下:(100,95]區(qū)間期刊引用141次;(95,80]區(qū)間期刊引用848次;(80,60]區(qū)間期刊引用1 598次;(60,40]區(qū)間期刊引用786次;(40,20]區(qū)間期刊引用303次;(20,0]區(qū)間期刊引用131次;數(shù)據(jù)缺失期刊引用23次。AJIFP數(shù)據(jù)缺失期刊多為影響力缺失或失真的期刊,本文將該部分期刊AJIFP值定義為0。因此,該論文WCI=141×4+848×2+1 598×1+786×0.5+303×0.25+131×0.125+23×0.125=4 346.0。按照上述方法依次可得到100篇樣本論文WCI數(shù)值。表2列舉了按被引頻次排序前10的論文的相關(guān)指標(biāo)數(shù)值。

2.3 結(jié)果分析

2.3.1 WCI特點(diǎn)分析

通過(guò)比較論文WCI和被引頻次數(shù)值發(fā)現(xiàn),100篇樣本論文中,91篇論文的WCI高于其被引頻次,僅9篇論文的WCI低于其被引頻次。本次研究的樣本來(lái)源于高被引論文,高被引論文研究主題普遍為當(dāng)前學(xué)術(shù)研究較為關(guān)注的內(nèi)容,因而在一定程度上也影響期刊編審稿件接收的偏好,高被引論文的后續(xù)研究也較容易在高影響力期刊上發(fā)表。因此,體現(xiàn)在本次研究上,樣本論文WCI值普遍高于論文被引頻次。

但是,本文在設(shè)計(jì)WCI指標(biāo)時(shí),對(duì)高影響力期刊賦予了2～4倍的權(quán)重,對(duì)低影響力期刊逐漸降低權(quán)重標(biāo)準(zhǔn)。因而就單篇論文而言,WCI值依然體現(xiàn)了引證期刊影響力的結(jié)構(gòu)性差異。如表2中,序號(hào)4論文被引529次,其中,(100,95]區(qū)間期刊引用占5.67%,(95,80]區(qū)間期刊引用占23.06%;而序號(hào)6論文雖被引432次,但(100,95]區(qū)間期刊引用占比達(dá)16.20%,(95,80]區(qū)間期刊引用占比高達(dá)33.56%,引證期刊影響力的結(jié)構(gòu)性優(yōu)于序號(hào)4論文。因而,序號(hào)6論文WCI達(dá)到761.250,顯著高于序號(hào)4論文的596.625。

表2 腫瘤學(xué)樣本論文引用、WCI和Usage指標(biāo)值(部分)

進(jìn)一步觀察論文WCI與被引頻次數(shù)比值(WCI/C)的分布。WCI/C表明論文平均加權(quán)引用影響力,其基準(zhǔn)值為1。研究發(fā)現(xiàn),100篇樣本論文WCI/C數(shù)值為0.60～2.40,均數(shù)為1.39,表明大多數(shù)論文的平均加權(quán)引用影響力較高。頻數(shù)分布分析表明,WCI/C接近正態(tài)分布(見(jiàn)圖1)。

圖1 WCI與被引頻次數(shù)比值的分布

2.3.2 WCI與其他指標(biāo)相關(guān)性分析

利用SPSS 18.0軟件對(duì)WCI、被引頻次、Usage、WCI/C指標(biāo)之間的相關(guān)性進(jìn)行分析,分析采用斯皮爾曼(Spearman)相關(guān)系數(shù),結(jié)果如表3所示。研究表明,WCI與被引頻次相關(guān)性較強(qiáng),相關(guān)系數(shù)達(dá)到0.891;與Usage呈中等相關(guān),相關(guān)系數(shù)為0.493。WCI與被引頻次顯著相關(guān),說(shuō)明WCI與被引頻次具有較高的一致性。綜合WCI指標(biāo)的科學(xué)性、包容性、合理性分析,說(shuō)明WCI指標(biāo)用于學(xué)術(shù)論文影響力評(píng)價(jià)是可行的。

表3 論文影響力各指標(biāo)相關(guān)性分析

3 結(jié)語(yǔ)

本研究從引證文獻(xiàn)的整體綜合視角入手,提出基于引證期刊聲譽(yù)差異的學(xué)術(shù)論文加權(quán)引用影響力指標(biāo)WCI。該指標(biāo)從論文引證數(shù)量和引證結(jié)構(gòu)反映了論文的學(xué)術(shù)影響力,理論上相對(duì)科學(xué)合理;WCI未采用引證文獻(xiàn)后續(xù)的引用情況,因而沒(méi)有引文的時(shí)間依賴性。通過(guò)對(duì)100篇腫瘤學(xué)引用頻次最高的學(xué)術(shù)論文進(jìn)行實(shí)證評(píng)價(jià),發(fā)現(xiàn)WCI與被引頻次具有較高的一致性,可作為論文被引頻次的補(bǔ)充指標(biāo),能夠更好地反映論文在“高影響力”這一維度的特征。

學(xué)術(shù)論文評(píng)價(jià)具有復(fù)雜性,沒(méi)有完美的指標(biāo),不同測(cè)度或指標(biāo)僅提供某種評(píng)判視角,提供特定條件下的對(duì)比參考。WCI僅從論文引證數(shù)量和引證期刊結(jié)構(gòu)層面體現(xiàn)了學(xué)術(shù)論文的影響力,但表征學(xué)術(shù)論文影響力的因素有很多,如原生影響力(期刊影響因子等)、社會(huì)影響力(Altmetrics評(píng)分等)。此外,本文采用AJIFP作為引證期刊聲譽(yù)的度量指標(biāo),但該指標(biāo)也存在諸如數(shù)值依賴學(xué)科規(guī)模等不足。因此,WCI在學(xué)術(shù)論文影響力評(píng)價(jià)中仍會(huì)存在評(píng)價(jià)誤差。后期研究中將綜合考慮多種影響因素,通過(guò)科學(xué)的方法確定不同影響力期刊區(qū)間并通過(guò)科學(xué)的方法賦予權(quán)重,以實(shí)現(xiàn)對(duì)學(xué)術(shù)論文影響力更加科學(xué)合理的評(píng)價(jià)。