張曉陽 韋 恒

（江蘇大學科技信息研究所 鎮(zhèn)江 212013）

中國高校ESI學科排名與教育部學科評估結果相關性分析*

張曉陽 韋 恒

（江蘇大學科技信息研究所 鎮(zhèn)江 212013）

對中國高校ESI學科排名與教育部第三次學科評估結果進行相關性分析，結果發(fā)現(xiàn)，大部分學科呈現(xiàn)高度線性相關，平均相關系數(shù)超過0.7?；诖?，運用ESI的排名結果可以為學科整體評價作參考，宏觀上把握學科的國際影響力。

基本科學指標集 ESI學科排名 學科評估 相關性分析

1 引言

關于同行評審與文獻計量評估的相關性，國外已有報道：Garfield[1]認為單個作者的出版數(shù)和被引次數(shù)與諾貝爾獎具有相關性；Charles等[2]對英國研究水平評估活動（RAE）進行了研究，發(fā)現(xiàn)在一些研究類的學科中，RAE的評估和基于引文分析的文獻計量指標之間存在著顯著的相關性；Rinia等[3]發(fā)現(xiàn)荷蘭物理學研究機構的文獻計量指標和同行評價之間存在著顯著的正等級相關，相關系數(shù)約為0.5；Abramo等[4]比較了由意大利評估機構通過同行評審得出的大學排名與通過文獻計量模擬得出的結果，卻有很大的差異；Aksnes和Taxt[5]以挪威的卑爾根大學一個研究小組的個案分析顯示了文獻計量學指標與專家委員會給出的評價等級具有很弱的相關性。相關研究似乎存在不一致的地方。

教育部學位與研究生教育發(fā)展中心邀請了約5 000名專家開展了第三次學科評估，評估結果受到廣泛好評。ESI（基本科學指標集）根據(jù)SCI/SSCI的數(shù)據(jù)對進入全球前1%的機構學科影響力進行排名。這兩者之間（同名學科）是否具有相關性？本文試對這一問題作一探討。

2 數(shù)據(jù)來源與處理

2.1 數(shù)據(jù)來源

基本科學指標數(shù)據(jù)庫（ESI）[6]2001年由美國科技情報所研制，可以按照科學家、機構、國家/地區(qū)和期刊通過近10年SCI/SSCI收錄的論文數(shù)據(jù)挖掘發(fā)布排名榜。ESI對進入全球前1%機構的相關學科公布總論文數(shù)、總被引數(shù)和篇均被引數(shù)。本文采用的數(shù)據(jù)是基本科學指標數(shù)據(jù)庫2013年5月公布的2002年1月1日至2013年2月28日SCI和SSCI收錄的論文。

學科評估的數(shù)據(jù)來源于中國學位與研究生教育信息網(wǎng)的官方網(wǎng)站（http://www.chinadegrees.cn）[7]，該網(wǎng)站公布了2012年教育部第三次學科評估結果。該評估采用“客觀評價與主觀評價相結合、以客觀評價為主”的指標體系，包括“師資隊伍與資源”、“科學研究水平”、“人才培養(yǎng)質量”和“學科聲譽”4個一級指標，指標權重全部由參與學科聲譽調查的約5 000名專家確定。其中科研水平的二級指標為：代表性學術論文質量、科學研究獲獎情況、出版學術專著或轉化成果專利情況、代表性科研項目情況等。

2.2 數(shù)據(jù)處理

按照學科名稱進行比對，提煉出10個相關學科，分別是：臨床醫(yī)學、計算機科學、材料科學、藥學、生態(tài)學、生物學、數(shù)學、物理學、化學、地質學，見表1：

表1 ESI與學科評估學科名稱對比

本次ESI學科數(shù)據(jù)收錄了全球5 252所機構，從中篩選出中國高校，并保留在兩個排行榜中共有的高校。

由于教育部的學科評估是按照學科評估的整體得分只取整數(shù)進行排序，所以存在少量得分相同的院校，這些院校只是按照學校代碼順序排列，沒有進一步排名，本文根據(jù)ESI中這些高校的總被引數(shù)進行區(qū)分排序。

3 結果與分析

3.1 典型學科分析

以臨床醫(yī)學為例，該學科按照總被引數(shù)、總論文數(shù)量以及篇均被引數(shù)的學科排名與在教育部學科評估中的排名經(jīng)過整理后的結果見表2：

表2 臨床醫(yī)學按照三種指標在兩種評估中的排名對比

從表2可見，前9位高校ESI總被引數(shù)排名、論文量排名與教育部學科評估幾乎完全一致，而篇均被引數(shù)與學科評估在前4位高校較一致，其它高校排名大部分相差很大。為考察整體排名是否一致，筆者對臨床醫(yī)學進行等級相關分析，發(fā)現(xiàn)該學科教育部評估結果與ESI中按總被引數(shù)排名相關系數(shù)為0.932，這是本文所做的10個學科中相關系數(shù)最高的，可以看出該學科論文的總被引數(shù)可以較好地反映各高校臨床醫(yī)學總體實力。按照總論文數(shù)量的排名與教育部學科評估排名的相關系數(shù)也高達0.924，屬于高度線性相關；而基于ESI的篇均被引數(shù)排名與教育部學科評估排名的相關系數(shù)只有0.326，屬于低度相關。表明臨床醫(yī)學學科的論文總量也能在較高水平上反映學科的總體實力，而篇均被引數(shù)則不能完全代表其實力。

3.2 10個學科情況

3.2.1 按照總被引數(shù)排名的相關度匯總 本文所選10個學科按照總被引數(shù)排名與學科評估結果相關系數(shù)匯總見圖1：

圖1 10個學科總被引數(shù)排名與學科評估結果的相關系數(shù)

由圖1可以看出，10個學科中呈現(xiàn)高度線性相關（相關系數(shù)達到0.7以上）的共有7個學科，占據(jù)了總量的70%。其中臨床醫(yī)學、化學、地質學、物理學4個學科的相關系數(shù)更是超過了0.85；計算機科學相關系數(shù)為0.604，介于0.4～0.7之間，屬于顯著性相關；只有數(shù)學與生態(tài)學兩個學科呈現(xiàn)低度相關。

按照總被引數(shù)來排序，中國高校ESI學科排名與教育部學位與研究生教育發(fā)展中心2012年公布的學科排名有較高的相關性，對于大部分學科來講，本領域發(fā)表論文的總被引數(shù)可以反映本學科的總體實力，因而用被引頻次來排名具有高度的客觀性。

3.2.2 按照論文量排名的相關度匯總 本文所選10個學科按照論文量排名與學科評估結果的相關系數(shù)匯總見圖2：

圖2 10個學科論文量排名與學科評估結果相關系數(shù)

不難看出，論文量的相關系數(shù)與總被引數(shù)的相關系數(shù)大致相同，變化比較大的學科是數(shù)學與生物學，數(shù)學按照總被引數(shù)排名與學科評估的相關系數(shù)只有0.386，屬于低度相關，而按照論文量相關系數(shù)為0.754，屬于高度線性相關。而生物學情況相反，生物學按照總被引數(shù)的相關系數(shù)為0.747，而按照論文量的相關系數(shù)降低為0.418。國內數(shù)學學科排名第一的北京大學的論文量為1 419篇，總量與臨床醫(yī)學相比并不算多。究其原因，可能與學科性質有關。

3.2.3 按照篇均被引數(shù)排名的相關度匯總 本文所選10個學科按照篇均被引數(shù)排名與學科評估結果的相關系數(shù)匯總見圖3：

圖3 10個學科篇均被引數(shù)排名與學科評估結果相關系數(shù)

篇均被引數(shù)的相關系數(shù)除了生物學與化學相關度較高外，其他8個學科相關系數(shù)都低于0.4，屬于低度相關，其中數(shù)學與藥學相關系數(shù)為負值，即為負相關。所以以篇均被引數(shù)來對學科進行排名要謹慎使用。

3.2.4 平均相關系數(shù) 以上所做的都是按不同學科類別來進行相關性分析的，為了了解整體的相關性，本文對各學科相關系數(shù)進行了算術平均運算，見表3：

表3 平均相關系數(shù)匯總

就數(shù)值來說，按照總被引數(shù)與論文量的平均相關系數(shù)已經(jīng)超過了臨界值0.7，屬于高度線性相關，這也符合前文所做的各個學科的總體情況，絕大部分呈現(xiàn)高相關趨勢，也可以初步預測其總體應該屬于高相關關系。而按照篇均被引數(shù)得到的平均相關系數(shù)僅為0.189 2，屬于低度相關。

4 討論

4.1 利用文獻計量指標與學科評估結果之間的相關性可以研判學科競爭實力

本研究發(fā)現(xiàn)教育部學位中心學科評估與ESI中國高校的文獻計量指標，如總被引數(shù)和總論文數(shù)量排序具有較高的一致性，平均相關系數(shù)超過了0.7，類似于國外學者的同類研究，其中臨床醫(yī)學、物理學、化學等7個學科屬于高度相關，這說明本研究具有一定的現(xiàn)實意義，大規(guī)模學科評估幾年才能做一次，而通過ESI文獻計量數(shù)據(jù)則可以從一個側面動態(tài)了解我國相關研究機構部分學科在全球或全國的位置，這對于監(jiān)測這部分學科科研發(fā)展、了解競爭態(tài)勢具有較好的參考作用，對于教育部門和高校開展大型學科評估也可起到前期調研預判的作用。

4.2 運用ESI指標進行學科評估需慎重，必須結合專家評審才能更準確

學科評估是學科整體水平評估，它涵蓋了培養(yǎng)機構學科建設的方方面面，而ESI指標主要體現(xiàn)科研成果的數(shù)量與影響力，是學科建設的一部分數(shù)據(jù)；并且我國學科評估中的學科分類依據(jù)國務院學位委員會和教育部頒布的《學位授予和人才培養(yǎng)學科目錄》[8]，有110個一級學科，而ESI中學科劃分主要依據(jù)論文所載的期刊，只有22個學科，對學科分類的界定不是一一對應關系，考察時間也不一樣；在本研究中也發(fā)現(xiàn)部分學科兩種排名的相關性不高，如生態(tài)學、數(shù)學。因此運用ESI指標只能粗略地反映學科發(fā)展的實力，更為準確的學科水平評估需要采用更多更全的數(shù)據(jù)，并要組織專家評審。

5 結語

科研是學科發(fā)展的基礎，論文是科研成果的主要指標，利用ESI數(shù)據(jù)進行學科評估具有一定的合理性，本文以教育部學位中心第三輪部分學科評估結果與ESI中國高校學科排名的高度相關性證實了這一觀點。ESI數(shù)據(jù)具有動態(tài)性、及時性、簡便性特征，可作為學科實力評估的輔助工具。為使ESI數(shù)據(jù)更直接地反映學科科研的變化，建議科研人員以期刊為載體研制基于《學位授予和人才培養(yǎng)學科目錄》的ESI論文歸類系統(tǒng)，一方面便于我國科研人員按學科投稿，另一方面便于培養(yǎng)機構對學科發(fā)展態(tài)勢進行監(jiān)測分析。

［1］Garfield E,Welljams-Dorof A.Of Nobel class：A citation perspective on high impact research authors［J］.Theoretial Medicine，1992，13（2）：117-135.

［2］Michael N，Charles O.Citation counts and the Research Assessment Exercise V：Archaeology and the 2001 RAE［J］.Journal Of Documentation，2003，59（6）：709-730.

［3］［荷］亨克·F.莫德.科研評價中的引文分析［M］.佟賀豐，王煉，曹 燕，等，譯.北京：科學技術文獻出版社，2010：157.

［4］Abramo G D，Angelo C，Di Costa F.National research assessment exercises：a comparison of peer review and bibliometrics rankings［J］.Scientometrics，2011，89（3）：929-941.

［5］Aksnes D W，Taxt R.Peer reviews and bibliometric indicators：a comparative study at a Norwegian university［J］.Research Evaluation，2004，13（1）：33-41.

［6］Essential Science Indicators［DB/OL］.［2013-05-01］.http://esi.webofknowledge.com/home.cgi.

［7］教育部學位中心2012年學科評估結果［EB/OL］.［2013-01-29］.http://www.chinadegrees.cn/xwyyjsjyxx/xxsbdxz/index.shtml.

［8］學位授予和人才培養(yǎng)學科目錄（2011年）［EB/OL］.［2013-03-22］.http://www.cdgdc.edu.cn/xwyyjsjyxx/sy/glmd/272726.shtml.

（責任編校 駱雪松）

Correlation Analysis on the Results of the Ministry of Education of China’s Disciplinary Evaluation and ESI Discipline Ranking of Chinese Colleges and Universities

Zhang Xiaoyang,Wei Heng
Institute of Science and Technology Information,Jiangsu University,Zhenjiang 212013,China

The present article makes an analysis of the correlation between the results of the Ministry of Education of China’s 3rd round of disciplinary evaluation and ESI discipline ranking of Chinese colleges and universities and shows a high correlation between the two rankings in most disciplines,the average correlation coefficient being higher than 0.7.So it concludes that ESI discipline ranking can provide a reference for the international influence of disciplines at the macro level for general disciplinary evaluation.

Essential Science Indicators;ESI discipline ranking;disciplinary evaluation; correlation analysis

G350

張曉陽，男，1969年生，研究館員，碩士生導師，江蘇大學圖書館副館長，研究方向為科學計量學，發(fā)表論文27篇；韋恒，男，1989年生，2012級圖書情報與檔案管理專業(yè)碩士研究生，研究方向為科學計量學。

*本文系江蘇省研究生教改項目“江蘇高校優(yōu)勢學科進入ESI數(shù)據(jù)庫前1%動態(tài)監(jiān)測研究”（項目編號：JGZZ13_099）的研究成果之一