王 凱
(南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院 南京 210095)
科學(xué)技術(shù)是第一生產(chǎn)力,影響著一個(gè)國家的經(jīng)濟(jì)發(fā)展和國際競(jìng)爭(zhēng)力。科研績(jī)效評(píng)價(jià)[1],是科研管理工作中的一個(gè)重要手段,管理人員通過合理的評(píng)價(jià)方法,可以選拔出優(yōu)秀的科研人員,合理地分配資源,從而進(jìn)一步推動(dòng)國家科學(xué)研究的發(fā)展。
美國的科研評(píng)價(jià)體系在很長(zhǎng)一段時(shí)間內(nèi)都以同行評(píng)議為主要評(píng)價(jià)方式,但同行評(píng)議的方式也存在耗時(shí)長(zhǎng),成本大、公正性難以保證等缺點(diǎn),于是從2001年開始逐步引入定量評(píng)價(jià),2008-2009年間又對(duì)評(píng)估方法進(jìn)行改進(jìn),其中量化指標(biāo)如發(fā)文量、引用頻次等主要基于SCI。在歐洲,早期英國采取的評(píng)價(jià)體系為RAE(Research Assessment Exercise),其主要為同行評(píng)議,但成本高、耗時(shí)長(zhǎng),在2008年,英國推行新的評(píng)價(jià)體系——REF(Research Excellence Framework),主要引入了基于SCI 論文的計(jì)量評(píng)價(jià)指標(biāo),同時(shí)也看重科研成果的社會(huì)應(yīng)用性[2];自2003年后,荷蘭大學(xué)的評(píng)價(jià)體系開始采用標(biāo)準(zhǔn)評(píng)價(jià)體系SEP(The Standard Evaluation Protocol);意大利建立了一套通過結(jié)合同行評(píng)審和定量評(píng)價(jià)的評(píng)估體系VQR(Valutazione della Qualita della Ricerca)。
綜上所述,國外的科研評(píng)價(jià)體系大多采用以同行評(píng)議與文獻(xiàn)計(jì)量指標(biāo)相結(jié)合的方法,同時(shí)看重科研成果的社會(huì)效益[3]。而中國從上世紀(jì)80年代開始引入科研評(píng)價(jià)體系后,基于計(jì)量指標(biāo)的定量評(píng)價(jià)在評(píng)價(jià)體系的權(quán)重越來越高。如今,中國每年SCI 論文的發(fā)文總量已躍居世界第二,僅次于美國??茖W(xué)研究是科學(xué)知識(shí)生產(chǎn)勞動(dòng)的過程,是科研工作者創(chuàng)造和生產(chǎn)知識(shí)的活動(dòng)[4]。以科學(xué)論文為代表的科研成果影響力評(píng)價(jià)是文獻(xiàn)計(jì)量學(xué)研究的重要內(nèi)容之一[5],也是科研活動(dòng)管理、科研戰(zhàn)略制定和資源分配的重要參考。
科學(xué)家既是科學(xué)研究活動(dòng)的主導(dǎo)者和研究成果的生產(chǎn)者,也是科研評(píng)價(jià)的主要對(duì)象[6]。由于科技發(fā)展水平、政治、經(jīng)濟(jì)和文化等因素的影響,不同學(xué)術(shù)群體的科研成果的國際影響力表現(xiàn)會(huì)有所不同。因此,本研究以作物學(xué)領(lǐng)域的科學(xué)家為研究對(duì)象,采用文獻(xiàn)計(jì)量學(xué)的方法,對(duì)比分析不同的科研評(píng)價(jià)體系下,各地區(qū)學(xué)者期刊論文學(xué)術(shù)成果在多個(gè)統(tǒng)計(jì)口徑下的影響力。
本研究以中國、美國和歐洲三個(gè)全球主要區(qū)域在作物學(xué)領(lǐng)域的權(quán)威期刊 《作物學(xué)報(bào)》,Crop Science和European Journal of Agronomy作 為 學(xué)者選取的來源。為了充分反映三個(gè)區(qū)域的代表性研究成果及其影響力,本研究從這三本期刊發(fā)表于2014-2016 間的所有論文中,隨機(jī)抽取100 篇論文,查詢每位作者的履歷信息,剔除部分履歷不詳?shù)淖髡撸瑥氖S嘧髡呷后w中選擇了具有教授職稱或者同等職稱的作者作為研究對(duì)象。最終,共獲得中國學(xué)者22 位,美國學(xué)者14 位,歐洲各國學(xué)者12 位,共48 人構(gòu)成了本研究的樣本集合。
由于Ovid 平臺(tái)的多個(gè)數(shù)據(jù)庫對(duì)作物學(xué)領(lǐng)域的論文覆蓋率較高,因此本研究以該平臺(tái)提供的“CAB ABSTRACTS”、“AGRIS”、“AGRICOLA”三個(gè)數(shù)據(jù)庫為論文數(shù)據(jù)來源。為了保證查全率,在通過“author”字段利用學(xué)者名進(jìn)行論文檢索時(shí),作者名稱采用了全寫、部分縮寫和全縮寫等多種檢索形式相互組合的方法,得到了上述所有學(xué)者所發(fā)表的論文初步數(shù)據(jù)。
由于作者重名、機(jī)構(gòu)變遷、以及數(shù)據(jù)錯(cuò)誤匹配等原因,導(dǎo)致初步論文集合存在大量不屬于檢索對(duì)象的論文,因此需要再次對(duì)初步論文集合進(jìn)行清洗和二次過濾。主要采用的數(shù)據(jù)清洗策略如下:
(1)因?yàn)闄z索式中有部分名字的拼音簡(jiǎn)寫成首字母的情況,所以檢索結(jié)果中有部分論文,其作者的名字與目標(biāo)學(xué)者不同,這部分?jǐn)?shù)據(jù)便可以直接刪去。
(2)檢出論文中的作者與目標(biāo)作者重名情況,重名的情況可細(xì)分為兩種,一是作者名的簡(jiǎn)寫與目標(biāo)作者一致,二是作者名的全拼與目標(biāo)作者一致。通過觀察數(shù)據(jù)中論文的摘要部分,提取其關(guān)鍵信息,再與該學(xué)者的研究方向?qū)Ρ龋粽闹黝}信息與其對(duì)應(yīng),則這該篇論文屬于目標(biāo)作者的概率較大。此外,本研究也結(jié)合該學(xué)者發(fā)文的共同作者和工作單位等信息,來進(jìn)一步確認(rèn)該論文是否屬于目標(biāo)作者。需要注意的是,有些學(xué)者的工作單位并非一成不變,因此在使用名稱+工作單位的方式時(shí),要結(jié)合作者履歷信息和論文的發(fā)表時(shí)間,來對(duì)應(yīng)目標(biāo)學(xué)者當(dāng)時(shí)的工作單位。
通過數(shù)據(jù)清洗,最終獲得發(fā)表日期截止2017年底的研究論文共4028 篇。為了實(shí)現(xiàn)影響因子、引用指標(biāo)和SCI 論文比例等指標(biāo)的對(duì)比分析,本研究使用的引用相關(guān)指標(biāo)數(shù)據(jù)均來自于Web of Science。在單篇論文影響因子分析中,采用論文發(fā)表當(dāng)年的影響因子作為統(tǒng)計(jì)數(shù)據(jù)。
SCI 論文是我國科研評(píng)價(jià)體系中重要的評(píng)價(jià)指標(biāo),很多高校和科研機(jī)構(gòu)的人才招聘和職稱晉升政策都與SCI 論文數(shù)量和質(zhì)量密切相關(guān)[7]。因此,筆者對(duì)三個(gè)地區(qū)學(xué)者SCI 論文的人均年發(fā)文量和SCI 論文占比進(jìn)行比較分析,結(jié)果如表1所示。
表1 發(fā)文量指標(biāo)
從表1中的數(shù)據(jù)可以發(fā)現(xiàn),中國、美國和歐洲學(xué)術(shù)群體作物學(xué)領(lǐng)域?qū)W者的論文被SCI 收錄的比例情況也是有所不同。中國學(xué)者SCI 論文占總論文產(chǎn)出的比例最低,僅為31.9%,而美國學(xué)者SCI 論文的比例最高,有66.3%,歐洲學(xué)者次之,有56.3%。出現(xiàn)這種現(xiàn)象的可能原因較多,比如中國被SCI 收錄的科學(xué)期刊數(shù)量與美國和歐洲地區(qū)相比較少,在影響力方面在也存在較大差距,導(dǎo)致很多國內(nèi)的學(xué)者傾向于將論文投向國外的SCI 期刊。此外,國外SCI 期刊大多是英文期刊,這導(dǎo)致中國學(xué)者在向SCI 期刊投遞論文時(shí),不僅要保證科研論文的質(zhì)量,還需面對(duì)語言這一門檻。
自從1963年加菲爾德創(chuàng)建了SCI,基于期刊影響因子的引文分析法開始在全世界盛行[8]。中國在上世紀(jì)80年代引入SCI 之后,很快就將其作為主要的量化指標(biāo)來對(duì)科研產(chǎn)出進(jìn)行評(píng)價(jià),并且在全國各高校及科研機(jī)構(gòu)內(nèi)盛行[9]。由于影響因子的計(jì)算需期刊前兩年論文的引文數(shù)據(jù),因此JCR(Journal Citation Reports)未能呈現(xiàn)近兩年內(nèi)剛被SCI 收錄期刊的影響因子,對(duì)于這部分的SCI 期刊和論文,筆者未做統(tǒng)計(jì)。
圖1 平均影響因子趨勢(shì)圖
對(duì)比統(tǒng)計(jì)數(shù)據(jù),可以發(fā)現(xiàn)中國學(xué)者發(fā)文期刊的平均影響因子為2.54,歐洲學(xué)者次之,為2.40,美國學(xué)者最低為2.06,這與發(fā)文量指標(biāo)所呈現(xiàn)的結(jié)果正相反,中國學(xué)者SCI 發(fā)文期刊的平均影響因子在三個(gè)地區(qū)中處于領(lǐng)先地位。
從圖1可以發(fā)現(xiàn),在2000年以來的近20年內(nèi),三個(gè)學(xué)術(shù)群體SCI 發(fā)文期刊平均影響因子整體上呈上升趨勢(shì),造成這一現(xiàn)象的原因除了學(xué)者的學(xué)術(shù)能力不斷加強(qiáng),能夠發(fā)表影響力更高的論文外,也與整個(gè)國際學(xué)術(shù)交流的發(fā)展緊密相關(guān)。這是因?yàn)殡S著學(xué)術(shù)交流的加強(qiáng)以及信息技術(shù)的普及,使得科研學(xué)者能夠閱讀并引用更多的科研論文,這就直接造成了整體科研期刊的影響因子不斷上升。再分析三個(gè)學(xué)術(shù)群體發(fā)文期刊影響因子的變化,發(fā)現(xiàn)中國學(xué)者起初發(fā)文期刊的平均影響因子并不高,但在2005年猛然增加到接近4,這是因?yàn)?005年有學(xué)者在《自然》雜志上合作發(fā)表過論文,而2005年中國樣本學(xué)者發(fā)表的SCI論文又相對(duì)較少,因此導(dǎo)致了2005年平均影響因子陡增的現(xiàn)象。在這之后,中國學(xué)者發(fā)文期刊的影響因子一直穩(wěn)步上升,整體上高于美國學(xué)者但低于歐洲學(xué)者,這與之前三個(gè)學(xué)術(shù)群體發(fā)文期刊影響因子的對(duì)比情況一致。
由于論文的引文次數(shù)受時(shí)間的影響比較顯著,因此有必要為引文指標(biāo)加上時(shí)間的限制條件[10]。筆者提取中美歐三個(gè)學(xué)術(shù)群體近10年內(nèi)發(fā)表的SCI 論文(2008-2017),分別計(jì)算這三個(gè)學(xué)術(shù)群體SCI 論文的篇均引文數(shù)。統(tǒng)計(jì)結(jié)果顯示,中美歐在過去10年內(nèi)年發(fā)表的論文篇均被引次數(shù)分別為11.01 次、16.09 次和17.33 次。
數(shù)據(jù)顯示,可以看到中國學(xué)者SCI 論文的篇均引文數(shù)較低,美國學(xué)者的篇均引文數(shù)稍高,而歐洲學(xué)者的篇均引文數(shù)最高??梢钥闯鲋袊鴮W(xué)者的篇均引文數(shù)是三個(gè)學(xué)術(shù)群體中最低的,這與三個(gè)學(xué)術(shù)群體影響因子的對(duì)比情況正好相反。
由于論文的引文數(shù)受時(shí)間的影響,發(fā)文時(shí)間越長(zhǎng)的論文,其引文數(shù)相對(duì)較高,特別對(duì)處于被引峰值階段的論文。為了進(jìn)一步減小時(shí)間因素的影響,以驗(yàn)證三個(gè)學(xué)術(shù)群體SCI論文的引文情況,作者計(jì)算了三個(gè)學(xué)術(shù)群體10年內(nèi)發(fā)表的SCI 論文的年均引文數(shù)。中國學(xué)者的SCI 論文年均引文數(shù)依舊是最低,為2.05,美國學(xué)者和歐洲學(xué)者的年均引文數(shù)分別為2.41 和2.87,可見,中國學(xué)者的年均引文數(shù)依舊是三個(gè)學(xué)術(shù)群體中最低的,與篇均引文數(shù)的對(duì)比結(jié)果一致。綜合來看,以論文的引文數(shù)為指標(biāo),所得的結(jié)果表明,歐洲學(xué)者SCI論文的影響力最高,美國學(xué)者次之,中國學(xué)者SCI論文的影響力在三個(gè)學(xué)術(shù)群體中最低。
比較三個(gè)學(xué)術(shù)群體的論文影響力,某種程度上也是比較這三個(gè)學(xué)術(shù)群體各自的研究成果。與期刊影響因子默認(rèn)作者的貢獻(xiàn)等于期刊的平均值不同,H 指數(shù)同時(shí)考慮一個(gè)學(xué)者發(fā)文的數(shù)量和影響力[11]。H 指數(shù)能較準(zhǔn)確的反映一個(gè)學(xué)者的學(xué)術(shù)成就,因此作者選擇以三個(gè)學(xué)術(shù)群體SCI論文的H 指數(shù)作為對(duì)比的指標(biāo)。
數(shù)據(jù)反映,中國學(xué)者SCI 論文的H 指數(shù)最低,為7.64,美國學(xué)者SCI 論文的H 指數(shù)較高,為19.43,而歐洲學(xué)者SCI 論文的H 指數(shù)最高,為21.00,這說明中國學(xué)者的學(xué)術(shù)影響力與歐美地區(qū)的學(xué)者有明顯的差距。但是H 指數(shù)也有其不足之處,例如它不能很好地反映學(xué)者高被引論文的情況,為了彌補(bǔ)這一缺陷,科學(xué)家們提出了對(duì)高被引論文更敏感的G 指數(shù)[12]。中國學(xué)者SCI 發(fā)文的G 指數(shù)為12.77,美國學(xué)者SCI 論文的G 指數(shù)較高,為33.57,而歐洲學(xué)者SCI 論文的G 指數(shù)最高,為36.00。以G 指數(shù)為指標(biāo),美國學(xué)者和歐洲學(xué)者的學(xué)術(shù)影響力十分接近,歐洲學(xué)者略高一些。
隨著社會(huì)化網(wǎng)絡(luò)的應(yīng)用普及,社交媒體對(duì)于學(xué)術(shù)論文的傳播產(chǎn)生了重要的影響[13]。多項(xiàng)國內(nèi)外研究表明,以網(wǎng)絡(luò)影響力為主的社會(huì)影響力指標(biāo)和文獻(xiàn)引用指標(biāo)之間存在顯著的相關(guān)關(guān)系[14-15]。它反映了學(xué)術(shù)論文在網(wǎng)絡(luò)上的傳播范圍、傳播速度和大眾的關(guān)注程度[16],是對(duì)傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)的有效補(bǔ)充。此外,社會(huì)影響力評(píng)價(jià)部分本文以三個(gè)學(xué)術(shù)群體的英文論文作為統(tǒng)計(jì)樣本,以盡可能改善語種、政治、文化或者地域因素導(dǎo)致的統(tǒng)計(jì)偏差。
為進(jìn)一步了解這三個(gè)學(xué)術(shù)群體產(chǎn)出論文的社會(huì)影響力情況,筆者以國際上最成熟的數(shù)據(jù)平臺(tái)altmetric.com 為工具,采集了本文涉及的研究樣本的社會(huì)影響力指標(biāo)。其中最主要的 Attention Score 指的是論文收到的所有關(guān)注度的自動(dòng)計(jì)算加權(quán)計(jì)數(shù),它是基于3 個(gè)主要因素:Volume、Sources、Authors 的綜合結(jié)果,因而Attention Score 代表了研究成果所獲得的所有關(guān)注度。
圖2 Altmetrics 網(wǎng)絡(luò)關(guān)注度得分情況
如圖2所示,中國學(xué)者的論文的關(guān)注度都是三個(gè)學(xué)術(shù)群體中最低的,為2.06,美國學(xué)者的關(guān)注度得分為3.44,歐洲學(xué)者的網(wǎng)絡(luò)關(guān)注度最高,為7.95??梢姡袊鴮W(xué)者的SCI 論文在網(wǎng)絡(luò)平臺(tái)上的影響力與美國和歐洲學(xué)者相比,依舊有一定的差距。雖然Altmetrics 工具都是基于國外的社交平臺(tái),但中國學(xué)者所發(fā)的SCI 論文本身也是英文期刊,因此論文書寫語言并不能成為中國學(xué)者論文影響力低的原因。
本文以中美歐三個(gè)學(xué)術(shù)群體作物學(xué)領(lǐng)域科學(xué)家科研論文為研究數(shù)據(jù),分析三個(gè)學(xué)術(shù)群體論文的影響力情況。統(tǒng)計(jì)數(shù)據(jù)顯示,中國學(xué)者SCI論文期刊的影響因子在三個(gè)學(xué)術(shù)群體中數(shù)值較高,但以引文量、H 指數(shù)、Altmetrics 分別為指標(biāo)對(duì)比之后,發(fā)現(xiàn)中國學(xué)者SCI 論文的影響力與美國和歐洲學(xué)者相比,處于劣勢(shì)地位。根據(jù)中國、美國和歐洲三個(gè)學(xué)術(shù)群體論文影響力所表現(xiàn)出來的特征,結(jié)合我國科研評(píng)價(jià)體系的具體情況,作者認(rèn)為,提升我國科研成果的影響力,可以從以下幾個(gè)方面進(jìn)行有效引導(dǎo):
(1)加強(qiáng)同行評(píng)議,完善科研評(píng)價(jià)體系。
目前SCI 指標(biāo)在中國科研評(píng)價(jià)體系中占據(jù)了重要地位,部分科研單位甚至直接將SCI 論文數(shù)量和影響因子高低與學(xué)者的聘任和晉升直接掛鉤,這種評(píng)價(jià)導(dǎo)向過分夸大了“以刊評(píng)文”的作用和以影響因子為基礎(chǔ)的量化評(píng)價(jià)方法的作用。本研究中,中國學(xué)者的論文影響因子和實(shí)際影響力之間的不一致性,較好地說明了這一點(diǎn)。因此,需要政府部門、高校和科研機(jī)構(gòu)積極構(gòu)建多元化的科研評(píng)價(jià)指標(biāo),加強(qiáng)同行評(píng)議,尤其是國際同行評(píng)議,完善科研評(píng)價(jià)體系,以推動(dòng)我國科研發(fā)展的步伐,提升學(xué)術(shù)影響力。
(2)積極舉辦國際學(xué)術(shù)交流會(huì)議,提高學(xué)術(shù)知名度。
學(xué)術(shù)會(huì)議是以促進(jìn)學(xué)術(shù)交流與專業(yè)學(xué)科發(fā)展為目的的學(xué)術(shù)活動(dòng),與會(huì)者一般為各學(xué)科資深研究人員。不管是分享自身的科研成果,讓同行提出建議,還是對(duì)于同行的研究動(dòng)態(tài)進(jìn)行討論,通過高互動(dòng)性的學(xué)術(shù)交流,與會(huì)者都能夠提升自己在學(xué)術(shù)同行中的影響力。學(xué)術(shù)會(huì)議中各種思想的碰撞,也能夠幫助與會(huì)者開拓思路,激發(fā)靈感,進(jìn)而優(yōu)化自己的學(xué)術(shù)體系。因此國內(nèi)的學(xué)術(shù)群體應(yīng)積極舉辦和參與國際學(xué)術(shù)交流會(huì)議,提高學(xué)術(shù)知名度。
(3)加強(qiáng)國內(nèi)高水平學(xué)術(shù)期刊建設(shè),提升學(xué)術(shù)話語權(quán)。
根據(jù)上文的比較結(jié)果,我國學(xué)者SCI 論文的影響力與美國和歐洲學(xué)者相比存在一定的差距,除了科研能力的因素外,也是因?yàn)槲覈鴮W(xué)者大多傾向于將科研成果投到國外的SCI 期刊,導(dǎo)致國內(nèi)論文的受眾群體相對(duì)減少。以本文中的學(xué)科對(duì)象作物學(xué)為例,很多的研究成果都基于中國特定的自然環(huán)境,國外的學(xué)者對(duì)此的關(guān)注度相應(yīng)會(huì)較低。因此,中國政府及相關(guān)部門應(yīng)制定相應(yīng)的政策,加快創(chuàng)辦一批高水平英文期刊,吸引包括中國在內(nèi)的世界范圍的高水平學(xué)術(shù)論文投稿,搭建國際學(xué)術(shù)交流平臺(tái),提升學(xué)術(shù)話語權(quán)。
為了解決這些問題,我國科研體系需要從宏觀上進(jìn)行把握,將科學(xué)研究與管理工作分開,在微觀上完善對(duì)科研工作者的準(zhǔn)確評(píng)價(jià)和定位,實(shí)現(xiàn)資源效率的優(yōu)化,提升我國科研實(shí)力。總的來說,科研資源的合理分配和有效利用,需要科研評(píng)價(jià)體系的進(jìn)一步完善。