蔣德鳳
〔摘 要〕ESI學科科研績效評價不僅需要對現(xiàn)有的數(shù)據(jù)分析,更需要從歷史性的數(shù)據(jù)和連續(xù)性的數(shù)據(jù)中找出學科發(fā)展規(guī)律。Incites數(shù)據(jù)庫作為科研績效分析工具,在ESI學科評價分析中具有舉足輕重的作用。本文分析了Incites數(shù)據(jù)庫的連續(xù)數(shù)據(jù)對學校ESI學科進行動態(tài)性評價和持續(xù)追蹤分析的重要意義,并提出了如何使用縱向維度與橫向維度動態(tài)數(shù)據(jù)以及同類機構差異化數(shù)據(jù)實現(xiàn)ESI學科動態(tài)性評價和持續(xù)追蹤分析。
〔關鍵詞〕ESI學科;Incites;學科評價;動態(tài)評價;持續(xù)追蹤
DOI:10.3969/j.issn.1008-0821.2018.04.022
〔中圖分類號〕G258 〔文獻標識碼〕A 〔文章編號〕1008-0821(2018)04-0149-07
〔Abstract〕ESI Subject performance evaluation requires not only existing data analysis,but also historical data and continuous data to find the discipline development law.As an analytical tool for scientific research performance analysis,incites database plays an important role in the evaluation and analysis of ESI discipline.This paper analysed the significance of continuous data of Incites database on the dynamic evaluation and continuous tracking analysis of the schools ESI discipline.The dynamic data of the ESI discipline and the analysis of the continuous tracking were presented in this paper.
〔Key words〕ESI discipline;Incites;evaluation;dynamic evaluation;continuous tracking
學科發(fā)展是大學建設的靈魂,一流學科建設是每所大學努力目標,為促進國內高校的發(fā)展,國務院于2015年10月提出世界“雙一流建設”方案?!半p一流建設”目標下,學校極力推進學科建設管理決策或者人才培養(yǎng)引進,需要針對科學研究績效進行專業(yè)評價[1]。高校圖書館具有豐富文獻資源和過硬技術支撐的先天優(yōu)勢,更便于開展基于科學計量學的科研績效評價,科研評價服務日益已成為高校圖書館利用計量學進行研究和工作的重點,成為協(xié)助學校制訂科研規(guī)劃,開展科研管理的重要支撐工具[2]。
近年來,ESI(全稱Essential Science Indicators)和Incites數(shù)據(jù)庫作為引文分析評價工具,成為國際學科與科研評價的標桿數(shù)據(jù)庫[3]。Incites數(shù)據(jù)庫作為科研績效分析分析工具,既彌補了ESI數(shù)據(jù)庫學科范圍的局限和無法獲取歷史數(shù)據(jù)的缺陷,也憑借自身豐富的數(shù)據(jù)來源和學科評價指標體系,可以為機構、單學科以及個人提供全面的分析,在ESI學科評價分析中具有舉足輕重的作用。
國內有關Incites數(shù)據(jù)庫的研究文獻主要在全球、國內外、機構、學科以及人才等方面學科績效評價方面,Incites數(shù)據(jù)庫的功能與應用也有一定研究。但尚未利用Incites數(shù)據(jù)庫進行動態(tài)性評價和預測分析,同時也沒有深入研究在沒有保存Incites和ESI數(shù)據(jù)庫歷史數(shù)據(jù)的情況下,如何進行科研績效的對比分析。本文立足于實踐工作,根據(jù)廣西大學潛力學科的持續(xù)跟蹤監(jiān)測工作、廣西大學ESI學科評估和獎勵工作,提出如何使用Incites數(shù)據(jù)庫進行動態(tài)持續(xù)性的學科績效評價分析。
1 Incites數(shù)據(jù)庫應用于科研績效評估的研究現(xiàn)狀
Incites數(shù)據(jù)庫是基于科睿唯安公司W(wǎng)OS(全稱Web of Science)核心合集七大索引數(shù)據(jù)庫的數(shù)據(jù)進行出版物計數(shù)和指標計算。采用更加清晰、準確的可視化方式來呈現(xiàn)數(shù)據(jù),可以在WOS中自定義檢索數(shù)據(jù),也可以實現(xiàn)自建、存儲并重新導出帶有分析指標的報告。相較于WoS,InCites的評價功能更加強大和全面,除具有WoS的一般評價指標(如論文數(shù)、論文被引頻次)之外,InCites的評價范圍更廣,包括了學科、機構、世界范圍內的相對評價指標[4]。InCites可以根據(jù)需求為報告選擇合適的時間范圍,綜合了各種計量指標和30年來各學科各年度的全球基準數(shù)據(jù)[5],可以多角度、多指標進行評價科研績效。
Incites數(shù)據(jù)庫已廣泛應用于在學科發(fā)展分析和科研績效評價,現(xiàn)主要可以從宏觀層面和微觀層面梳理出Incites數(shù)據(jù)庫在學科評價評估中的研究成果。
宏觀層面,對Incites數(shù)據(jù)庫在全球范圍、國家、地區(qū)以及機構科研績效進行對比分析。國家層面,張詩樂利用InCites數(shù)據(jù)庫對發(fā)文量排名前50國家的科研實力作比較”[6]。葉偉萍等對比中美兩國科研實力在1981-2011年間發(fā)生的變化趨勢[7]。莫蕾鈺等基于InCites數(shù)據(jù)3所美國頂尖公立大學與我國大陸的北京大學與清華大學進行比較分析[8]。徐娟從發(fā)文數(shù)量等角度對比了我國高??蒲懈偁幜υ?981-2013年的變化趨勢[9]。機構層面,劉雪立等詳細介紹了應用ESI和InCites數(shù)據(jù)庫對中國C9高校學科建設的績效評價和預測方法[10]。汪靜、鐘鈴分別以合肥工業(yè)大學和深圳大學城某入駐院校為研究對象[1,11]對相關學校的科研績效進行分析。
微觀層面,主要涉及單學科績效分析(不同機構的對比分析和單學科未來發(fā)展預測)、人才評估、期刊評價、分析工具比較等方面的研究。在單學科績效分析方面,高偉利用InCites數(shù)據(jù)庫對大氣科學研究的國家、中國機構分別進行了文獻計量分析[12]。董政娥等以東華大學為案例,探討學科進入ESI世界前1%進行預測[13]。分析工具的比較方面,馮花樸介紹了InCites數(shù)據(jù)庫及其使用方法[14]。付佳佳對InCites和SciVal Spotlight這兩個綜合型科研評價工具進行比較[15]。
2 對ESI學科進行動態(tài)評價與持續(xù)追蹤分析功能的重要意義
現(xiàn)有的學科分析數(shù)據(jù)庫WOS、ESI帶有一定的分析功能,但是連續(xù)性的數(shù)據(jù)分析功能不全,ESI學科績效評價不僅需要對現(xiàn)有的數(shù)據(jù)分析,更需要從歷史性的數(shù)據(jù)和連續(xù)性的數(shù)據(jù)中找出學科發(fā)展規(guī)律,分析優(yōu)勢與劣勢,進而揚長避短。
2.1 獲取連續(xù)性數(shù)據(jù),動態(tài)反映科研成果的變化
Incites、ESI數(shù)據(jù)庫更新后歷史數(shù)據(jù)不可重現(xiàn),如果沒有前期研究,沒有持續(xù)下載兩個數(shù)據(jù)庫的數(shù)據(jù),很難獲取歷史數(shù)據(jù)。而在ESI學科評價中,連續(xù)性的跟蹤和進行動態(tài)分析評價,才能反映一個學科的歷史發(fā)展脈絡,才能更好地對學科未來的發(fā)展進行預測。通過及時監(jiān)測Incites數(shù)據(jù)庫,每次更新與ESI數(shù)據(jù)庫進行對接;在無更新數(shù)據(jù)的情況下,利用連續(xù)性時間段來下載數(shù)據(jù)和提煉數(shù)據(jù)。
2.2 便于實時監(jiān)控,能對學科未來進行合理預測
在ESI數(shù)據(jù)庫中能查詢到入選全球前1%的機構,對于尚未入選的機構無法查詢,也無法預測。在Incites數(shù)據(jù)庫中則可以查詢所有定制了數(shù)據(jù)的高?;蛘邔W科。使用數(shù)據(jù)庫ESI學科的被引次數(shù),與該學科ESI當期的閾值進行比較,獲取該學科潛力值,可以判斷出該學科與ESI學科閾值的差距。再結合其他數(shù)據(jù)進行連續(xù)性的監(jiān)測,可以判斷潛力值增長的平均速率,預測學科未來進入ESI全球前1%的可能性和時間。
2.3 通過動態(tài)對比,發(fā)現(xiàn)機構或學科的競爭優(yōu)勢或劣勢
Incites數(shù)據(jù)庫為機構或學科提供一個同類對比分析的功能,既可以進行“國家或地區(qū)之間的科研績效對比,也可以進行機構之間學科科研績效的對比”[14]在對比分析中,可以利用不同時間段的數(shù)據(jù)開展機構或學科的差異化比較,準確地評價機構與學科的發(fā)展水平。
3 ESI學科持續(xù)追蹤分析的實現(xiàn)模式
學科發(fā)展持續(xù)跟蹤在學科評估中有著重要意義,現(xiàn)在學科發(fā)展預測多數(shù)采用學科比重[13]、總被引頻次[16-17]等量化指標來分析預測入圍ESI前1%的可能性。ESI學科的動態(tài)變化和發(fā)展趨勢判斷僅靠個別指標來監(jiān)測是不夠的,不能反映學科的發(fā)展全景和未來趨勢。對于ESI學科,無論是優(yōu)勢學科還是潛力學科,需進行長期的跟蹤監(jiān)測,或以連續(xù)性的數(shù)據(jù)來監(jiān)測學科動態(tài)變化,才能全面評估和掌握學科科研績效的整體發(fā)展脈絡。
廣西大學圖書館對ESI學科評估采取持續(xù)跟蹤,通過橫向與縱向的維度動態(tài)評估找出學科發(fā)展的特點、優(yōu)勢及劣勢。以下以廣西大學圖書館持續(xù)跟蹤和動態(tài)分析廣西大學ESI學科評價為例,尤其是對化學學科的深入追蹤分析。廣西大學化學學科盡管不是ESI優(yōu)勢學科,但在學校學科建設具有重要作用,對我校整體ESI學科的貢獻到達20%以上,進入教育部學位中心學科評估排名前10%,為廣西石化產業(yè)提供科技支撐和技術保障,是我校未來發(fā)展的重點學科之一。并且廣西大學化學學科潛力值在我校位列第二,成為學校第二個有望較入圍ESI前1%的學科。
3.1 實現(xiàn)縱向和橫向維度的數(shù)據(jù)動態(tài)對比分析
Incites數(shù)據(jù)庫具有發(fā)現(xiàn)優(yōu)勢可持續(xù)發(fā)展性發(fā)展的功能和一定的預測潛在學科發(fā)展空間的功能,在進行縱向監(jiān)測和橫向對比具有獨特作用,縱向維度主要是利用不同時間段機構或學科的連續(xù)變化進行比較,通常使用學科的國內排名變化和學科潛力值兩個指標的結合使用來預測學科未來發(fā)展趨勢;橫向維度的動態(tài)對比主要是通過同類機構在不同時間段的多維度指標比較開展。
3.1.1 縱向維度動態(tài)跟蹤監(jiān)測
縱向維度動態(tài)監(jiān)測通過不同時間段ESI學科發(fā)展的發(fā)展動態(tài)進行定期跟蹤。通過Incites數(shù)據(jù)庫的數(shù)據(jù)與ESI數(shù)據(jù)庫的數(shù)據(jù)對比分析,定期監(jiān)測學科發(fā)展態(tài)勢,或者利用Incites數(shù)據(jù)庫即時查看對不同時間段該學科發(fā)展情況。
1)ESI學科潛力值的動態(tài)變化跟蹤
ESI學科潛力值是指某機構某ESI學科與進入全球前1%機構的相對接近程度,通過ESI潛力值可以預知學科入圍ESI全球前1%的可能性,是對ESI學科發(fā)展態(tài)勢最直接的預測和跟蹤指標。其計算公式為:ESI學科潛力值=某機構某ESI學科總被引次數(shù)/該學科進入全球前1%最后1名機構的總被引次數(shù)(以下稱為“閾值”)。ESI學科潛力值超過1,表明該學科已經(jīng)入圍ESI全球前1%;而潛力值數(shù)值在1以下,數(shù)據(jù)值越高,進入ESI全球前1%的可能性可能就越大。
ESI數(shù)據(jù)庫每2個月更新1次,通過定期跟蹤監(jiān)測每次更新和連續(xù)性數(shù)據(jù)變化,判斷出學科潛力值增長速率,從而進一步預測該學科未來入圍ESI全球前1%的時間,如表1、圖1所示。廣西大學圖書館對本校ESI潛力學科進行定期監(jiān)測,并以每期增長速度推算出平均增長速率,再通過增長速率推算出學科潛力值到達1時的時間。以最后一期更新ESI學科潛力值為x,每期潛力值平均增長速率為y,計算學科潛力值到達1時所用期數(shù)為n。計算公式為:x(1+y)n=1。通過計算,可以預測出廣西大學植物與動物科學潛力值達到1時需約8個月時間(即4期),而化學學科潛力值到達1則需要12~14月時間(即6~7期),其他學科由于潛力值較低需要較長的時間。
2)ESI學科排名變化監(jiān)測
學科潛力值的跟蹤監(jiān)測能很好地判斷出一個學科與該學科閾值的差距,但是在實際監(jiān)測中會發(fā)現(xiàn)有些機構該學科的潛力值已經(jīng)很高,甚至已經(jīng)超過1,卻一直盤旋未動,遲遲未入圍ESI前1%。這時需要通過其他指標輔助監(jiān)測,發(fā)現(xiàn)未能入圍的原因。學科潛力值是一個定量指標,可以判斷差距,但是難以發(fā)現(xiàn)問題。通過長期跟蹤,發(fā)展機構國內排名變化對機構入圍ESI前1%也有明顯的影響,學科潛力值已經(jīng)很接近閾值機構,但是就是無法入圍,這和多個機構有一定的競爭相關,如果通過國內排名進行跟蹤,很容易發(fā)現(xiàn)問題,查找出競爭機構。學科排名變化的監(jiān)測主要通過兩種方式實現(xiàn),一種是即時動態(tài)變化的跟蹤,即根據(jù)每一次更新的數(shù)據(jù),及時進行匯總統(tǒng)計;另一種不同時段動態(tài)變化,在Incites數(shù)據(jù)庫中分不同時間段進行檢索,再統(tǒng)計相關信息。
為更好地觀察和監(jiān)測我?;瘜W學科在國內外排名整體狀況,我們選擇以10年為1個區(qū)間的4個時間維度進行分析,即2003-2013年、2004-2014年、2005-2015年(前3個時間段數(shù)據(jù)在2016年5月下載)、2006-2016年、2007-2017年(后2個時間段數(shù)據(jù)在2017年7月下載)如表2所示。從表中,可以發(fā)現(xiàn)廣西大學化學學科國內排名基本穩(wěn)定,緩中略升;世界排名上升快速,從2013-2016年被引頻次的世界排名提升了193名,發(fā)文量世界排名提升了133名。
世界排名能反映出學科在全球范圍的排名情況,但由于在Incites中有些機構可能沒有定制數(shù)據(jù)無法查詢,世界排名有可能不全。學校職能部門希望重要分析學科在國內高校中的具體和差跟,也為了適應與教育部評估需要,將分析重點放在監(jiān)測國內高校的排名進展,圖2跟蹤了廣西大學化學學科在國內ESI化學學科的發(fā)文量及被引量排名,并且與國內進入ESI大陸高校數(shù)進行比較。由圖2可以看出廣西大學化學學科的發(fā)文量排名和被引頻次排名連續(xù)幾期相對保持穩(wěn)定,而國內入圍ESI前1%的高校機構數(shù)呈增長趨勢。通過比較分析得出,盡管廣西大學化學學科ESI學科潛力值呈現(xiàn)較快的增長速度,世界排名也在不斷增長,但與國內高校ESI學科相比,發(fā)現(xiàn)被引頻次排名明顯落后于發(fā)文量排名,與國內高?;瘜W學科相比也相對落后,提高學科的被引頻次成為當務之急。
3.1.2 同類機構差異化動態(tài)比較
同時使用學科潛力值與學科國內外排名可以有效地監(jiān)測潛力學科入圍ESI前1%學科的差距。但要分析出機構該學科到底存在哪些優(yōu)勢與劣勢,還有哪些地方有待于提升,需要通過其他多角度的對比和監(jiān)測才能進一步找出原因和發(fā)現(xiàn)問題。與同類機構進行多維度的比較,可以進一步找出本校的優(yōu)勢與差距,找準發(fā)力點,明確學科今后的努力方向。對廣西大學化學學科進行跟蹤時,為加強與其他高校之間差距的監(jiān)測,以閾值機構為標的,選取排名比閾值機構靠前的幾所國內高校,選取幾所未進入ESI的國內高校,再選取與我校化學學科、閾值機構化學學科相近的幾所高校進行對比分析,如表3所示,從各個指標和角度對2007-2017年間廣西大學ESI化學學科與其他9所高校ESI化學學科進行全面比較。
Incites數(shù)據(jù)庫在2016年重新增加了5年趨勢對比圖,為機構和學科在不同時間段的發(fā)展趨勢提供連續(xù)性的比較分析。并采用5年趨勢對比圖進行差異化比較,圖3、圖4、圖5、圖6、圖7分別對幾所高校的被引頻次年趨勢、發(fā)文量5年趨勢、篇均被引頻次5年趨勢、排名前10%的論文百分比5年趨勢、國際合作百分比5年趨勢進行立體化的對比。
通過比較,可以看出廣西大學化學學科在發(fā)文數(shù)量和國際合作方面都具有一定的優(yōu)勢,但總被引頻次和篇均被引頻次還比較低,相比低于發(fā)文量較低的山東農業(yè)大學、桂林理工大學、深圳大學、煙臺大學;“被引次數(shù)排名前10%的論文百分比”論文占比也低于其他高校。通過近期的比較很明顯看出,我?;瘜W學科的發(fā)文量較高,在絕對指標上還有一定的優(yōu)勢,當在相對指標和論文的影響力方面存在較大的不足。
4 利用Incites進行績效評估的對策及思考
4.1 Incites與ESI獲取數(shù)據(jù)存在一定的差別
首先,兩個數(shù)據(jù)庫更新日期不一致。ESI是每2個月更新1次,Incites是每半個月左右更新1次,利用兩個數(shù)據(jù)庫數(shù)據(jù)進行對比時,必須等兩個數(shù)據(jù)庫同時更新才能進行對比。其次,數(shù)據(jù)來源不一致。Incites來源更廣泛,論文篇數(shù)和被引頻次均來源于7個數(shù)據(jù)庫。在利用Incites的學科總被引頻次計算學科潛力值,要根據(jù)各個學科發(fā)文情況總被引頻次要剩以0.7~0.9系數(shù)。另外,用十年間的ESI期刊列表在WOS中檢索出的論文數(shù)與Incites中導出十年間的論文數(shù)有1%~2%左右的誤差。
4.2 長期跟蹤要注重指標的彈性可變
1)注重相對指標與絕對指標結合使用?!敖^對指標反映的是一定時間、一定條件下的絕對數(shù)值,且只能進行同類估測”[18],而相對指標是質量指標的一種表現(xiàn)形式,通過兩個有聯(lián)系的統(tǒng)計指標對比而得到的,把現(xiàn)象的絕對差異抽象化,使原來無法直接對比的指標變?yōu)榭杀龋趯W科評估中可以使不同學科、不同時間、不同機構的兩個指標進行對比分析[18]。
2)單一指標預測,多指標跟蹤。使用單一指標對學科發(fā)展規(guī)律進行預測,同時采用多種指標和從多種角度進行長期跟蹤和反復驗證。
3)定量分析與內容分析同時開展。在ESI學科評估中,既要注重定量指標比較分析,也要注重對學科內容的分析,要從學科發(fā)展的主題演進、作者合作、機構與地區(qū)合作以及期刊信息等角度找到學科發(fā)展的突破口。
5 結 論
通過縱橫角度的對比深入分析,可以看出廣西大學化學學科潛力值持續(xù)處于較好的上升趨勢,在學科發(fā)文量方面有絕對的優(yōu)勢,有望在未來1~2年內有機會入圍ESI全球前1%。但通過對長期數(shù)據(jù)的持續(xù)對比,發(fā)現(xiàn)除了學科發(fā)文量具有絕對優(yōu)勢,但一些指標如篇均被引量、高被引論文占比、國際合作論文等方面,與排名相近的一些高校還是有一定的差距,需重點提高論文的影響力,進一步推動該學科的發(fā)展。
ESI學科評價和預測是對學科科研績效趨勢性發(fā)展變化的綜合預測和判斷,需要結合多種評價指標進行綜合判定,既要有量單指標也要有相對指標,既要有直接反映指標也要有間接反映指標,避免單一指標判斷出現(xiàn)偏頗,增強指標的普適度。通過對多種分析角度、多種分析工具、多種分析指標以及對學科科研數(shù)據(jù)的長期跟蹤,更能全面分析出學科發(fā)展概貌,更加準確地預測學科發(fā)展趨勢。
參考文獻
[1]鐘鈴. 基于新一代InCites平臺的科研績效評價實踐研究[J/OL]. 圖書館雜志:1.http://kns.cnki.net/kcms/detail/31.1108.G2.20161116.1058.016.html,2016-11-16.
[2]王颯.“985”高校圖書館科研評價服務實踐調研與分析[J]. 圖書情報工作,2016,60(1):26-31.
[3]鄭燕,楊頡. 地方高??茖W研究的現(xiàn)狀及趨勢——基于ESI世界前1%學科統(tǒng)計結果的分析[J]. 教育發(fā)展研究,2013,33(17):24-29.
[4]劉雪立,張詩樂,蓋雙雙. 基于論文產出的科研績效評價——ESI和InCites應用研究綜述[J]. 現(xiàn)代情報,2016,36(3):172-177.
[5]付佳佳,潘衛(wèi). InCites和Spotlight在學科服務中的作用比較研究[J]. 圖書館雜志,2014,33(3):37-42.
[6]張詩樂.基于ESI和InCites數(shù)據(jù)庫對我國科研論文產出力和學術影響力的統(tǒng)計分析[D].新鄉(xiāng):新鄉(xiāng)醫(yī)學院,2015.
[7]葉偉萍,唐一鵬,胡詠梅.中國科研實力距美國有多遠——基于InCites數(shù)據(jù)庫的比較研究[J].中國高教研究,2013,(10):40-44,49.
[8]莫蕾鈺,洪成文.中美頂尖公立大學一流學科學術發(fā)展比較——基于InCites數(shù)據(jù)分析[J].中國高教研究,2016,(8):61-69.
[9]徐娟. 我國高校的科研競爭力——基于InCites數(shù)據(jù)庫的比較分析[J]. 復旦教育論壇,2016,14(2):37-43.
[10]劉雪立,周晶,蓋雙雙. C9高校學科建設的績效評價與預測——基于ESI和InCites數(shù)據(jù)庫[J]. 中國科技論壇,2016,(5):130-135.
[11]汪靜,楊友文,方焱松,等. 合肥工業(yè)大學科研實力分析——基于InCites數(shù)據(jù)庫2004-2013年的數(shù)據(jù)[J]. 合肥工業(yè)大學學報:社會科學版,2015,(6):124-129.
[12]高偉,陳喆.基于InCites數(shù)據(jù)庫的大氣科學領域科研績效分析[J].圖書情報導刊,2017,(6):66-73.
[13] 董政娥,陳惠蘭. 基于ESI和InCites數(shù)據(jù)庫的東華大學學科發(fā)展預測[J]. 東華大學學報:自然科學版,2013,(5):689-694.
[14]馮花樸.InCites數(shù)據(jù)庫科研績效評估的有效工具[J].現(xiàn)代情報,2014,(1):147-154.
[15]付佳佳,潘衛(wèi).InCites和Spotlight在學科服務中的作用比較研究[J].圖書館雜志,2014,(3):37-42.
[16]顧東蕾,武瑩,邱家學,等. 基于WOS的學科發(fā)展預測研究[J]. 現(xiàn)代情報,2014,34(6):32-40.
[17]管翠中,范愛紅,賀維平,等. 學術機構入圍ESI前1%學科時間的曲線擬合預測方法研究——以清華大學為例[J]. 圖書情報工作,2016,60(22):88-93.
[18] 李峰. 圖書館如何開展學科競爭力評價——由《英國科研表現(xiàn)之國際比較》報告得到的啟示[J]. 大學圖書館學報,2015,33(2):72-76.
(責任編輯:郭沫含)