莊 赟，應含馨，趙 楠

(1.集美大學財經(jīng)學院，福建 廈門 361021；2.北京師范大學統(tǒng)計學院，北京 100875)

一、研究背景

伴隨高等教育國際化的全球趨勢，世界各地高等教育質(zhì)量的競爭情況加劇，世界大學排行榜應運而生，大學的國際排名對公眾輿論有很大的影響。歷史較長且在國際上較受關(guān)注同時在國內(nèi)知名度較高的四大世界排行榜分別是中國上海軟科教育信息咨詢有限公司的世界大學學術(shù)排名(ShanghaiRanking’s Academic Ranking of World Universities，簡稱“軟科排行榜”)、英國QS Quacquarelli Symonds 公司的QS世界大學排名(QS World University Rankings，簡稱“QS排行榜”)、《泰晤士報高等教育副刊》的世界大學排名(The Times Higher Education World University Rankings，簡稱“THE排行榜”)和《美國新聞與世界報道》的全球最佳大學排名(U.S. News &World Report Best Global Universities rankings，簡稱“U.S. News排行榜”)。越來越多的利益相關(guān)者包括大學本身、學生、家長和學者等，對大學排名越來越感興趣和重視，各大排名網(wǎng)站點擊量和排名結(jié)果被新聞媒體報道引用的次數(shù)屢創(chuàng)新高(1)如QS世界大學排行榜網(wǎng)站發(fā)布的數(shù)據(jù)顯示：2019年，QS的旗艦網(wǎng)站www.TopUniversities.com的瀏覽量為1.49億次，全球媒體發(fā)布了超過9.4萬篇與QS相關(guān)或提及QS的報道。。

大學都在努力提高國際知名度和影響力，爭取在排名中表現(xiàn)好，即使是世界一流大學也很重視排名，如THE排行榜發(fā)布2022版世界大學排名的當天，牛津大學網(wǎng)站隨即發(fā)布新聞對連續(xù)第六年蟬聯(lián)該大學排行榜榜首進行宣傳，同時也專門對泰晤士報的世界大學排行榜進行了介紹[1]。QS排行榜2022版世界大學排名發(fā)布后，麻省理工學院新聞辦公室也在其網(wǎng)站發(fā)布連續(xù)10年被QS評為世界排名第一大學的報道[2]。其他大學同樣關(guān)注在排行榜中的排名變化，并選擇有利于自己的排行榜進行宣傳，如在QS排行榜中排名第8而在其他排行榜中沒入選前10名的倫敦大學學院在其網(wǎng)站首頁也只引用QS排名進行宣傳報道[3]。這4個世界大學排行榜同時也是國內(nèi)多地人才政策制定時認定畢業(yè)院校排名的依據(jù)，如2022年上海為助力復工復產(chǎn)實施人才特殊支持舉措加大世界名校留學人員引進力度，其中世界排名前50名、前100名院校的認定由相關(guān)主管部門參照上述四個大學排行榜發(fā)布的排名進行認定[4]；又如《福建省高層次人才認定和支持辦法(試行)》中認定的國際知名三大世界大學排名同樣指“軟科排行榜”“QS排行榜”和“THE排行榜”[5]。

可見，這些世界大學排行榜已經(jīng)對一些國家政府的高等教育政策、眾多大學的辦學理念、方向和行為、普通大眾對高等教育的認識等產(chǎn)生了不可低估的影響[6]。相應地，不同大學排行榜排名結(jié)果的差異以及由此引出的大學排行榜本身能否有效反映人們所關(guān)心的大學“質(zhì)量”的優(yōu)劣、排名方法是否科學合理也成了學界討論的焦點。對于學生、家長和其他利益相關(guān)者來說，在分析、解釋和使用排名結(jié)果之前，了解各種排名結(jié)果差異的影響因素是至關(guān)重要的，需要通過分析不同排行榜評價內(nèi)容的側(cè)重點和評價方法的區(qū)別，以明確排名結(jié)果是否都像其宣稱的是大學整體質(zhì)量的衡量。

顯然，不同的排名方法會產(chǎn)生不同的結(jié)果，但如果不同的排行榜反映的是共同的評價目的的話，即排名都是為了體現(xiàn)大學潛在的實力和質(zhì)量水平，則各排行榜排名結(jié)果應該相對一致。而且從高等教育機構(gòu)的質(zhì)量變化來看，無論是其教學質(zhì)量、畢業(yè)生的質(zhì)量抑或是科研質(zhì)量等，都是一個緩慢積累的過程，是長期沉淀后的結(jié)果，所以在合理的評價指標體系下，同一排行榜每年的排名結(jié)果也不應有太大的波動?？梢酝ㄟ^計算歷年排名之間的斯皮爾曼等級相關(guān)系數(shù)來檢驗各年排名的穩(wěn)定程度，隨著時間的推移，這些相關(guān)性應該會略有下降，但應該保持相對較高的水平，因為大學是緩慢演變的機構(gòu)[7-8]。Friso Selten等人(2020)也分別計算了軟科、THE、QS三大排行榜，2013-2018年每年進入前100名的重疊大學數(shù)量及其排名的Spearman等級相關(guān)系數(shù)的逐年變動趨勢，研究得出結(jié)論是，重疊大學的排名在幾年間變化不大，隨著時間的推移，其中軟科排名最穩(wěn)定，THE的排名相對不穩(wěn)定[9]。但這種只基于重疊大學的一致性檢驗只針對歷年都上榜的大學計算其排名等級相關(guān)系數(shù)，本身就把排名波動比較大的學校排除在外，得出排名穩(wěn)定性的分析結(jié)論依據(jù)不夠，結(jié)果的可靠性會因此降低。

綜上，本文對4個大學排行榜兩兩之間的相似度分不同排名區(qū)間進行比較，采用重疊度和等級相關(guān)兩個指標相互配合進行比較分析，從而對不同排行榜排名結(jié)果的一致性進行較客觀全面的衡量，進一步從評價指標體系、權(quán)重設置、數(shù)據(jù)來源、指標標準化方法和引文的學科差異處理方式等方面分析排名結(jié)果差異的原因，幫助公眾更科學地解讀排行榜，并在此基礎上對現(xiàn)有世界大學排行榜排名方法的合理性進行評價。

二、四大世界大學排行榜概覽

(一)上海軟科的“世界大學學術(shù)排名”

世界大學學術(shù)排名(ARWU)最早由上海交通大學世界一流大學研究中心于2003年6月首次發(fā)布，是世界范圍內(nèi)首個綜合性的全球大學排名，以后每年更新一次。自2009年起，世界大學學術(shù)排名 (ARWU)(軟科)由上海軟科教育信息咨詢有限公司(ShanghaiRanking Consultancy)出版并擁有版權(quán)。ARWU(軟科)使用6個客觀指標對世界大學進行排名，包括獲得諾貝爾獎和菲爾茲獎的校友和教職員工的數(shù)量、由科睿唯安(Clarivate Analytics)數(shù)據(jù)平臺確定的高被引研究人員的數(shù)量，在《Nature》和《Science》刊物上發(fā)表的論文數(shù)量，被SCIE (Science Citation Index-Expanded)和SSCI(Social Sciences Citation Index)數(shù)據(jù)庫收錄的論文數(shù)，以及大學的師均學術(shù)表現(xiàn)。每年，ARWU(軟科)都會對1 800多所大學進行排名，并公布最佳的1 000所大學排行榜。2021年8月15日，上海軟科(2)上海軟科教育信息咨詢有限公司是一家完全獨立的高等教育咨詢機構(gòu)，不隸屬于任何大學或政府機構(gòu)。發(fā)布了2021年世界大學學術(shù)排名[10]，排行榜包含世界最為領(lǐng)先的前1 000所大學的名單，哈佛大學連續(xù)第19年位居榜首，斯坦福大學和劍橋大學分列第2和第3位。有38所大學首次進入前1 000名。來自美國的大學在前1 000所大學中仍占據(jù)主導地位，前100名中有40所，前500名中有129所，前1 000名中有200所。英國有65所大學進入前1 000名，其中38所大學進入前500名，8所大學進入前100名。在亞洲大學中，東京大學(第24位)保持領(lǐng)先地位。中國有180所大學進入前1 000名，其中有84所大學進入前500名，7所大學進入前100名。清華大學(第28位)上升1位次，繼續(xù)保持亞洲第2名的位置，北京大學保持前50名，位居第45位。

(二)《美國新聞與世界報道》的“全球最佳大學排名”

2021年10月26日，《美國新聞與世界報道》(3)U.S. News是一家多元化的數(shù)字媒體公司，成立于1933年，總部位于美國華盛頓特區(qū)，擁有教育、健康、新聞等平臺，提供排名、獨立報道、數(shù)據(jù)新聞、消費者建議等。(U.S. News &World Report，以下簡稱U.S. News)公布了最新的“2022全球最佳大學排名”(2022 Best Global Universities Rankings)[11]。該排行榜對來自91個國家的1 750多所大學根據(jù)13項指標進行排名，這些指標衡量的是大學的學術(shù)研究表現(xiàn)及其在全球和地區(qū)的學術(shù)聲譽[12]。一所大學的學術(shù)聲譽和學術(shù)研究的衡量是基于數(shù)據(jù)分析公司科睿唯安(Clarivate)的兩大數(shù)據(jù)平臺Web of Science和InCites提供的指標，包括出版物、引文和國際合作等文獻計量指標，這為那些對學校學術(shù)研究水平感興趣的潛在學生提供了更多的信息。U.S. News全球最佳大學排名要求參與評估的高等教育機構(gòu)，2015—2019年，由Web of Science平臺統(tǒng)計的發(fā)表論文數(shù)達到1 250篇的最低門檻，在這個標準下，2022年全球最佳大學排行榜共包含1 750所學校，比2021年增加了200多所，擁有上榜高等教育機構(gòu)總數(shù)前5位的國家分別是，美國271所(占所有排名學校的15.5%)，中國253所(占比14.5%)，日本93所(占比5.3%)，英國89所(占比5.1%)，德國70所(占4%)。美國大學在總排名中處于領(lǐng)先地位，包攬前4名，排名第1的是哈佛大學(Harvard University)，緊隨其后的是麻省理工學院 (Massachusetts Institute of Technology)、斯坦福大學(stanford University)和加州大學伯克利分校(University of California-Berkeley)，分別位居第2、第3和第4。排在前5名的是英國的牛津大學(University of Oxford)。中國的清華大學和北京大學躋身全球前50名，分別位于第26和45名。

(三)《泰晤士報高等教育副刊》的“世界大學排名”

2021年9月2日，《泰晤士報高等教育副刊》發(fā)布了“世界大學排名2022”(The Times Higher Education World University Rankings 2022)[13]。該排行榜基于教學(學習環(huán)境)、研究(發(fā)表量、收入和聲譽)、引用(研究影響力)、國際展望(國際教師、學生和國際合著)和行業(yè)收入(知識轉(zhuǎn)移)等5個領(lǐng)域的 13個績效指標，根據(jù)愛思唯爾的文獻計量數(shù)據(jù)庫(Elsevier’s Scopus database)統(tǒng)計2016—2020年間發(fā)表的1 400多萬份研究成果在2016—2021年的被引情況，合計1.08億次引文數(shù)據(jù)，以及對包括全球近2.2萬名學者的調(diào)查數(shù)據(jù)，對2 100多所提交排名數(shù)據(jù)的高等教育機構(gòu)進行了分析，最終對來自 99 個國家和地區(qū)符合其排名標準的1 662所的大學進行了排名。牛津大學連續(xù)第六年位居榜首，美國有 183 所大學入選排行榜，是上榜學校數(shù)量最多的國家，也是前200名大學中入選數(shù)量最多的國家，共57所大學上榜，但相較于之前年份美國在前20名精英大學中所占份額正在減少。中國大陸有兩所院校首次進入前20名：北京大學和清華大學并列第16位。

(四)QS Quacquarelli Symonds公司的“QS世界大學排名”

2021年3月29號，從事全球高等教育服務的QS Quacquarelli Symonds有限公司[14]發(fā)布了最新一期排行榜“世界大學排名2022”(QS World University Rankings 2022)[15]。QS智庫自2004年發(fā)布第一期排行榜以來，基本沿用了根據(jù)學術(shù)聲譽、雇主評價、師生比、國際教師及留學生的比例和師均論文引用率等6個關(guān)鍵指標比較世界各地的大學在教學、研究影響、聲譽、學生就業(yè)能力和國際化方面的績效表現(xiàn)并進行分析評估[16]?；诔^13萬名高等教育領(lǐng)域的專家關(guān)于世界大學教學和研究質(zhì)量的學術(shù)意見調(diào)查，和基于超過7.5萬份的雇主調(diào)查反饋，以及根據(jù)愛思唯爾出版公司的Scopus數(shù)據(jù)庫(Elsevier’s Scopus database)中，2015—2019年發(fā)表的1 470萬篇論文，在2015—2020年，共計9 600萬引文數(shù)據(jù)，2022版的大學排名囊括了來自世界各地的符合排名條件的1 300所大學，比去年增長了10%，這是QS迄今為止發(fā)布規(guī)模最大的排行榜。麻省理工學院(MIT)連續(xù)第10年摘取桂冠，哈佛大學排名第5跌出前3甲，排名降至歷史最低，取而代之的是牛津大學從第5名升至第2名，劍橋大學與斯坦福大學并列第3。美國總共上榜177所大學，是所有國家中上榜大學數(shù)量最多的。亞洲排名最高的大學是新加坡國立大學(NUS)，在全球排名第11位，2022年在學術(shù)聲譽指標上獲得了全球最高的分數(shù)。中國大陸共有56所大學上榜，清華大學和北京大學表現(xiàn)最好，分別排第17和18名。

三、四大排行榜上榜高校地區(qū)分布比較分析

4個世界大學排行榜出版方來自3個國家，分別是中國的軟科排行榜、英國的THE排行榜、QS排行榜和美國的U.S.News排行榜。從前文排行榜概覽中我們已經(jīng)看出，U.S.News排行榜中美國學校在1 750所大學排名中占據(jù)或接近榜首的主導地位。前20名中有15所美國學校，前25名中有19所美國學校，前50名中有24所美國學校，前100名中有43所美國學校。這意味著美國大學在本國的U.S.News排行榜中占排名前100的43%，美國大學在世界排行榜中以絕對的優(yōu)勢領(lǐng)先歐洲的大學，這也是排行榜在歐洲引起很大反響的原因之一。不同排行榜的排名結(jié)果存在差異，那么不同的排行榜是否存在對不同地區(qū)的大學甚至是自已國家大學的偏倚呢？本文通過對前10名、前50名、前100名、前200名和前500名這幾個不同排名上榜高校數(shù)量的地區(qū)分布進行比較分析，試圖從中找到答案。4大排行榜2021年最新發(fā)布的排名結(jié)果中，中國(中國大陸、中國香港和中國臺灣)、英國和美國高校的數(shù)量分布(見表1)。

表1 2021年四大世界大學排行榜上榜高校地區(qū)分布

表1顯示，英語國家的大學在排行榜中占領(lǐng)絕對優(yōu)勢。這也支持了學界普遍的這樣一種批評，即排名方法有益于西方，尤其是英語國家的大學，盡管越來越多的非英語國家的大學主要以英語出版研究成果，但在所有排名中，都可以看到英語國家大學在研究表現(xiàn)方面的巨大優(yōu)勢(Van Raan，2005；Salmi，2009)[17-18]。雖然英美高校都是入選數(shù)量最多的，特別是美國高校，但由英國出版的QS和THE排行榜的美國高校明顯較美國出版的U.S.News排行榜中美國高校的數(shù)量少，特別是排行榜越往后這個情況越明顯，可能和QS和THE排行榜，使用Scopus數(shù)據(jù)庫考慮更多非英語論文有關(guān)，給了其他地區(qū)高校更多的機會。Elsevier的Scopus數(shù)據(jù)庫覆蓋所有地理區(qū)域的研究論文，包括非英語論文，只要文章可以提供英文摘要。事實上，Scopus中大約22%的標題是用英語以外的語言出版的，加起來有40種當?shù)卣Z言(或同時用英語和其他語言出版)。此外，Scopus超過一半的內(nèi)容來自北美以外的國家，代表歐洲、拉丁美洲和亞太地區(qū)的各個國家。然而，盡管THE和QS的排名都采用了不同的數(shù)據(jù)庫來降低非英語文章被引用較少的影響，英語國家的大學仍然排名領(lǐng)先。這當然一定程度上能說明北美和歐洲大學的整體實力，但也可能和排名指標體系中聲譽調(diào)查有關(guān)，畢竟基于學者主觀判斷，而普遍對歷史悠久的英美國家的大學的熟悉度是最高的。而且不同的受訪者被邀請參與調(diào)查。他們并不熟悉所有的大學，他們的觀點受大學的受歡迎程度的影響更大，而不是實際表現(xiàn)或目前的優(yōu)秀程度，因此之前歷史悠久的歐美大學之前的聲譽會繼續(xù)延續(xù)，導致聲譽調(diào)查實際上有自我強化的作用，英美大學則會長期占優(yōu)勢。

另外由表1中的地區(qū)分布可以看出，確實存在本國發(fā)布的排行榜對本國高校評價高于其他排行榜對本國高校評價的情況。最明顯的是英國的THE排行榜和QS排行榜，各個排名段中英國高校在這兩個排行中上榜的學校數(shù)量均高于其他排行榜。美國U.S.News排行榜對美國高校的評價也高于其他排行榜，特別是高于英國排行榜對美國高校的評價，這個情況在排名前500的階段尤其明顯，U.S.News排行榜中美國高校有130所，遠遠高于QS排行榜中美國高校的87所。中國高校在中國軟科排行榜中的上榜學校數(shù)也是遠高于其他排行榜，軟科排行榜中前500名中國高校一共有84所(其中中國大陸72所)，遠高于U.S.News排行榜的53所、QS排行榜的43所和THE排行榜的37所，其中QS排行榜和THE排行榜中中國大陸上榜學校數(shù)量僅為軟科排行榜的1/3左右。

綜上所述，各國排行榜確實對于自己國家高校存在偏重，這個結(jié)果產(chǎn)生的原因可能是：由于對本國的高校更加了解且數(shù)據(jù)更容易獲取，而獲取其他國家數(shù)據(jù)時有偏差甚至缺失；也可能是在設計排名方法時出于幫助提升本國高校在國際高校中競爭力的目的，從而從對本國有利的方面出發(fā)進行指標選取。但排行榜顯示出的最明顯的偏倚是對英美等英語國家大學的偏倚，特別是表1上榜高校的區(qū)域分布定量分析結(jié)果驗證了學界之前提出的批評觀點。

四、四大排行榜排名結(jié)果相似度比較

2021年軟科和THE排名有一個積極的特點，那就是前10名中有9所大學是兩者共同的：哈佛大學、斯坦福大學、劍橋大學、加州理工學院、加州大學伯克利分校、麻省理工學院和哥倫比亞大學、芝加哥大學和牛津大學(見表2)。在軟科前10名中也有8所大學在U.S.News的前10榜單中。換句話說，盡管使用的指標各不相同，但這3項排名識別出了類似的世界級大學。但是，QS排行榜前10榜單和其他排行榜的重合大學只有6～7所。而且在排名的中下游，我們觀察到的差異要大得多，例如，大阪大學(Osaka University)在2022年世界排名中在QS排行榜排名72，在軟科排名176，而在THS排名326，這種現(xiàn)象在其他排名靠后的大學中也一樣普遍存在。

表2 四大排行榜前10名榜單

排名不一致的問題，這是排行榜最引爭議的地方，比較而言，一些大型和成熟的綜合性高校不太受排名標準的影響，顯然基于規(guī)模的總量指標對綜合性大學有利，基于大學人均科研產(chǎn)出指標進行科研績效總體水平的估計，其不確定性也同樣受規(guī)模大小的影響，規(guī)模較小的學校，由于其人均指標較大的變異性，往往使排名出現(xiàn)“極端情況”。因此頂尖大學排名相對穩(wěn)定的，但排名越靠后的大學排名存在強烈分歧(不同排行榜中重合大學數(shù)越來越少，而且重合里面的排序也不一樣，說明差異非常大)，這與大學質(zhì)量變化是一個緩慢積累過程的特點相違背，因些需要進一步對不同排行榜不同排名區(qū)間的排名結(jié)果進行一致性比較，以驗證大學排名方法是否反映大學發(fā)展的本質(zhì)特征。

(一)測量方法

本文對所研究的4個大學排行榜兩兩之間的相似度采用重疊度和等級相關(guān)兩個指標相互配合進行比較分析，從而對不同排行榜排名結(jié)果的一致性進行判斷。首先計算排行榜兩兩之間重疊度，即計算同時出現(xiàn)在每兩個排行榜中的大學的數(shù)目(The number of overlapping)，用N.O.表示，如比較兩個排行榜前10名列表，若其中有5所大學重復，則這兩個榜單的重疊度N.O.記為5。由于上榜的學校不一樣，只能根據(jù)重疊大學計算相關(guān)性，又由于得分計算標準不一樣，為了研究排名一致性，基于等級相關(guān)系數(shù)的計算方法構(gòu)造測量排名一致性指標。根據(jù)Diaconis等(1977)[19]提出的與著名的斯皮爾曼簡捷相關(guān)系數(shù)(Spearman footrule)相關(guān)的度量方法，計算重疊大學在不同排行榜中排名秩差(名次差別)的絕對值之和D，并進一步將其轉(zhuǎn)換成具有相關(guān)系數(shù)性質(zhì)的F指標，以此進一步衡量重疊大學在不同排行榜中排名等級的一致性。

假設原始的兩個排行榜A、B中各有10所學校，但是只有a、b和c是同時出現(xiàn)在兩個排行榜中的大學，則兩個排行榜的重疊度N.O.記為3。然后將兩個排榜中的重疊大學分別重新排序，在排行榜A中a、b和c這三所學校分別排名第7、2和8，于是重新排序，a排名2，b排名1，c排名3，得到一個重新排名的列表σ1=(2，1，3)；在排行榜B中這三所學校分別排名第5、6和4，則同樣對B榜中這三所學校重新排名，a排名2，b排名3，c排名1，得到另一個重新排名列表σ2=(2，3，1)。這樣就可以進一步計算兩個排行榜對重疊這部分大學排名等級的一致性。

根據(jù)兩個排行榜重疊大學重新生成的排名列表σ1、σ2計算排名秩差絕對值之和D：

(1)

式(1)中，i是同時出現(xiàn)在兩個排行榜中的大學，i=1…Z，Z是兩個排行榜中重疊大學的數(shù)量，σ1(i)代表大學i在第1個重排名列表σ1中的名次，σ2(i)代表大學i在第2個重排名列表σ2中的名次。

顯然公式(1)計算得出的排名秩差絕對值之和D(σ1，σ2)受排序列表長度的影響，進而采用Aguillo等(2010)[20]的標準化方法，用公式(1)的計算結(jié)果除以最大值，將其轉(zhuǎn)換為一個與排序列表長度Z無關(guān)且取值落在0到1之間的度量值D’(σ1，σ2)。當Z>1時有：

(2)

此時，當兩個排序列表完全相同時，D’(σ1，σ2)=0，反之則為1。為了進一步得到與傳統(tǒng)的相似度指標一致的衡量方法，利用公式(2)將結(jié)果正向化，得到度量兩個排序列表等級相關(guān)度指標F

F=1-D’(σ1，σ2)

(3)

式(3)中0

公式(3)只衡量了兩個排行榜中重疊大學的排名等級的相似度，還需要結(jié)合兩個排行榜的重疊度，來衡量兩個排名結(jié)果之間一致性的程度。兩個排行榜重疊的學校數(shù)量越多，重疊學校排名的等級相關(guān)度F值越高，則兩個排行榜的一致性越好。

(二)結(jié)果分析

根據(jù)式(1)-式(3)描述的方法，對軟科、THE、QS和U.S.News 4大排行榜進行相似度分析，由于軟科排行榜中，只對前100名的學校進行具體的排名，故本文在此分別對2021年4大世界大學排行榜的前10名、前50名和前100名榜單進行兩兩對比分析，得到兩兩間的重疊度N.O.和重疊大學排名等級相關(guān)度F值，最終的結(jié)果(見表3)。

表3 2021年四大排行榜相似度比較

以表2中四大排行榜前10名榜單為例結(jié)合表3指標進行分析。先比較前10名榜單中軟科排行榜和其他3個排行榜的一致性：軟科和THE排行榜重疊學校數(shù)量最多，重疊度N.O.=9，與U.S.News排行榜雖然重疊學校的個數(shù)為8，但進一步比較重疊學校的等級相關(guān)度F值，軟科與U.S.News的F值最高，F(xiàn)=0.6875高于軟科與THE排行榜的F值(0.45)，綜合比較而言前10名排名結(jié)果，軟科排行榜與U.S.News排行榜的相似度更高；而軟科與QS的重疊度最低，N.O.=7，同時等級相關(guān)度F值僅為0.39，說明軟科與QS排行榜的相似度最低。再比較其他排行榜之間的相似度，前10名中U.S.News排行榜與QS排行榜重疊度最低，僅有6所學校同時上榜，相比THE排行榜與U.S.News重合學校多了1所，但F值最低，僅為0.25，從排行榜中也可以看出，哈佛大學、麻省理工、牛津大學、劍橋大學這4所名校在THE與U.S.News這兩個排行榜中的名次差別還是比較明顯的?？偟膩碚f，在前10名榜單中，軟科排行榜和U.S.News排行榜相似度最高，而THE排行榜與U.S.News排行榜一致性程度最低。

在前50名榜單中，軟科和U.S.News兩個排行榜有41所學校重合，而且F值最高，F(xiàn)=0.81，說明相似度最高；而科軟和QS的重疊度只有33，等級相關(guān)度F值僅為0.61，說明軟科和QS的相似度最低。前50名中QS和THE的重疊度為40，F(xiàn)值為0.645，兩項指標均高于QS和其他兩個排行榜的重疊度和F值，說明相對而言QS排行榜和THE排行榜相似度更高一些。

同樣的方法比較前100名榜單，不難發(fā)現(xiàn)在前100名的對比中所有排行榜與QS排行榜的重疊度和相關(guān)度F值都最低，說明QS與其他3個排行榜的一致性程度最低，但比較發(fā)現(xiàn)，相對而言，THE排行榜和QS的相似度較高，F(xiàn)值為0.672，重疊學校72所，均高于QS和其它兩個排行榜的相似度，這與前50名榜單比較的結(jié)論一致。同樣比較發(fā)現(xiàn)軟科和U.S.News兩個排行榜的相似度較高。

綜上所述，在4個世界大學排行榜中，隨排名長度增加，相似度指標F值下降，雖然前10名相似度F值更低，但由于樣本容量太小，不能說明問題。從重合度可以看出，榜單越長，重合的比例越低，所以相對而言，對頂尖大學的評價相對一致。另外，無論是從重疊大學的數(shù)量N.O.還是從重疊大學的排名等級相關(guān)度F值來看，軟科排行榜和U.S.News排行榜的一致性程度最高；而QS排行榜與其他排行榜的相似度明顯較低，但相對其他3個排行榜而言，THE排行榜與QS排行榜相似度略高一些。

五、大學排行榜排名結(jié)果差異的原因分析

根據(jù)以上分析，就單個排行榜來說，無論是從重合度N.O.值還是相似度F值的綜合對比來看，QS排行榜與其他排行榜的相似度較低。但在前10名，QS與其他排行榜重合度都高于排名靠后階段，說明各排行榜對頂尖大學生的評價保持較高的一致性。但隨著排名靠后，排名方法包括指標體系、具體權(quán)重、標準化方案的選擇和數(shù)據(jù)來源等，都是最終排名順序的重要決定因素，以上4個世界大學排行榜都是采用多指標加權(quán)算術(shù)平均的綜合評價方法，排名結(jié)果取決于評價指標和權(quán)重的選擇，這些因素因排名機構(gòu)而異，根據(jù)4個排行榜官網(wǎng)公布的最新排名方法，我們基于影響排名結(jié)果的統(tǒng)計綜合評價各要素出發(fā)，深入探討排名結(jié)果差異的原因。

(一)指標體系側(cè)重點不同

影響排行榜排名結(jié)果差異的主要因素是指標體系，雖然軟科排名、U.S.News排名、THE排名和QS排名這四個排名都使用了類似的概念，如教學、研究、聲譽或國際影響力，來衡量大學質(zhì)量的不同方面，但不同的排行榜的側(cè)重點并不相同，并且選用不同的指標來評估這些概念，也是導致排行榜排名結(jié)果差異的原因。

軟科排名和U.S.News排名基于科研類指標，只關(guān)注研究結(jié)果，完全忽略了高等教育質(zhì)量的其他方面，盡管軟科使用諾貝爾獎或菲爾茲獎(用于校友或?qū)W術(shù)人員)的數(shù)量來衡量教育質(zhì)量或教師質(zhì)量，但實際上并不能全面衡量教育質(zhì)量；THE排名則采用了多種標準，教學、研究、聲譽或國際影響力多個方面均有體現(xiàn)在指標體系中；QS排名的兩項聲譽調(diào)查指標占比50%，相比其他排行榜更強調(diào)聲譽。

總體而言，4個排名中軟科排行榜和U.S.News排行榜與THE的相關(guān)性都比他們與QS強。這是因為QS排名更強調(diào)聲譽，其聲譽指標占比達50%，而相比之下THE排行榜的聲譽指標只有33%。同時，QS排名更少強調(diào)基于證據(jù)的研究指標，其文獻計量指標占比僅占20%，并且僅使用每位教師的引用數(shù)(20%)來衡量，而THE排行榜的文獻指標占比38.5%，包括引文影響力(30%)、國際合著比例(2.5%)和人均發(fā)表數(shù)(6%)。

將排行榜兩兩比較，軟科排名與QS排名最不相同，這是因為軟科排名只強調(diào)學術(shù)成就，而QS排名的指標體系中大比重地使用主觀非學術(shù)指標。QS和THE的指標體系都基于大比重的聲譽，兩者都以大學聲譽和同行評審為特征，所以兩兩更相近。

軟科排名關(guān)于大學構(gòu)成的概念與THE排名使用的概念有很大的不同。雖然它們都對同一所大學進行評估和排名，但它們使用的排名標準顯然截然不同。雖然軟科排名基本上是一個研究排名，但它被廣泛解讀為大學排名。相比之下，THE排名將研究、教學、勞動力市場資格和國際化方面的因素混合在一起，方式相當隨意。這也是導致兩個排行榜差異的原因。

(二)指標的權(quán)重不同

指標權(quán)重的不同也是大學排行榜排名結(jié)果差異的原因之一，以研究類指標和聲譽類指標為例，不同的指標體系對于基于研究和聲譽的指標具有不同的權(quán)重。

科研指標的權(quán)重差異：軟科排名和U.S.News排名科研指標權(quán)重分別是60%和65%，而THE只有38.5%，QS排名則更少，只有20%的權(quán)重用于唯一一個衡量科研的指標，即每位教師的引用次數(shù)。

聲譽指標權(quán)重不同：QS、THE和U.S.News分別將50%、33%和25%用于聲譽調(diào)查。QS進行了2次聲譽調(diào)查(學術(shù)調(diào)查40%，雇主10%)，THE進行了兩次聲譽調(diào)查(研究聲譽調(diào)查18%，教學聲譽調(diào)查15%)，而USNWR進行了2次研究調(diào)查(全球12.5%和地區(qū)12.5%)。

(三)數(shù)據(jù)來源不同和指標規(guī)范化標準不同

研究指標的數(shù)據(jù)來源不同。THE和QS使用Scopus數(shù)據(jù)庫，而ARWU使用WoS數(shù)據(jù)庫，U.S.News排名相關(guān)指標則由科睿維安(Clarivate)旗下兩大平臺 Web of Science和InCites提供。

聲譽指標數(shù)據(jù)來源不同。50%的QS分數(shù)是基于兩個聲譽調(diào)查(學者和雇主)，而ARWU沒有使用任何調(diào)查。一個排名系統(tǒng)只使用定量數(shù)據(jù)，另一個系統(tǒng)同時使用定量數(shù)據(jù)和收集人們的意見(基于主觀意見的指標)，因此，ARWU和QS的結(jié)果是所研究的全球排名中重疊程度最低。另外THE的聲譽指標來自“愛思唯爾”獲得的個人受訪者數(shù)據(jù)，U.S.News排名的聲譽指標由“科睿唯安”(Clarivate)2017—2021年學術(shù)聲譽調(diào)查結(jié)果匯總而成的。

其他指標數(shù)據(jù)來源不同。ARWU只使用來自開放資源的定量數(shù)據(jù)，如教師數(shù)來自各國的教育部、國家統(tǒng)計局和大學校長協(xié)會等，而QS收集來自大學本身的關(guān)鍵數(shù)據(jù)(整體及國際學術(shù)教職員工和學生的數(shù)量)，并從統(tǒng)計問卷中收集人們的觀點，THE排名的數(shù)據(jù)則可以由機構(gòu)自行提交。

規(guī)范化標準不同。N.S.News全球最佳排名的學?？偡謹?shù)是根據(jù)排名中使用的13項指標的權(quán)重和標準正態(tài)化z分數(shù)綜合計算得出的。THE和QS對大學規(guī)模的科研績效指標進行了標準化處理，而軟科則使用了原始數(shù)據(jù)(按和最高的得分計算比例)。

(四)對引文的學科差異處理方式不同

不同學科的出版物和引用數(shù)據(jù)差異很大，在硬科學中，引文分析的使用已經(jīng)得到了認可，然而，在軟科學中，引文和績效之間的關(guān)系卻不太清晰。這有很多原因：首先，與硬科學不同，軟科學的期刊文章往往不是研究的主要傳播方式，文章的被引用率可能很低；其次，在社會科學和經(jīng)濟及商業(yè)領(lǐng)域。當一個學者引用另一部著作時，常常會引起爭論或討論，這與自然科學相反。在自然科學中，引用另一部著作的理由通常是效用或影響。以數(shù)學學科為例，雖然期刊文章是主要的交流方式，但與其他領(lǐng)域相比，期刊文章的被引時間往往較長，數(shù)學論文的整體被引率也往往較低。各個排行榜對于該情況都有各自的處理方式，這也是導致排行榜結(jié)果差異的原因之一。

軟科排名中對于學術(shù)研究成果的指標占比較大，考慮到社會科學的學者相對于其他領(lǐng)域的學者來說，其學術(shù)成果常通過著作等形式來體現(xiàn)，于是對于社學科學領(lǐng)域在SSCI收錄的論文賦予兩倍的權(quán)重。

U.S.News排名分析中使用的學科領(lǐng)域來自科睿唯安的學科分類，考慮到藝術(shù)和人文學科的特點，在基于引文的指標統(tǒng)計中不包括在藝術(shù)和人文學科期刊上發(fā)表的文章，但來自藝術(shù)和人文期刊的文章有被納入“論文發(fā)表”指標的統(tǒng)計中。這是因為由于不同學科領(lǐng)域的不同出版特點，藝術(shù)和人文期刊的引文積累較少，引文分析不夠穩(wěn)??；因此，U.S.News刻意排除藝術(shù)和人文學科可以提高結(jié)果的穩(wěn)健性。

THE排名對于不同學科的特點，在排名中可能造成的差異，所采取的整體方法是根據(jù)學科仔細重新校準，改變權(quán)重以最適合各個領(lǐng)域。特別是，研究指標的權(quán)重的修改，以更緊密地貼合每個學科的研究文化，反映出不同的出版習慣。例如，在藝術(shù)和人文領(lǐng)域，產(chǎn)出范圍遠遠超出同行評議期刊，因此對論文引用的權(quán)重較低。相應地，給予“引用：研究影響”的權(quán)重從總體排名的30%減少了一半，藝術(shù)和人文學科的權(quán)重僅為15%。更多的權(quán)重被賦予了其他研究指標，包括學術(shù)聲譽調(diào)查。在社會科學和法律領(lǐng)域，人們也不太相信僅僅將引文的強度作為研究的指標，衡量的權(quán)重降低到25%。教育、工程和計算機科學的權(quán)重也降低到27.5%。出于同樣的原因，在那些絕大多數(shù)研究成果來自期刊文章、對引文數(shù)據(jù)強度有高度信心的學科中，THE排名增加了研究影響的權(quán)重，如物理、生命科學、心理學以及臨床和健康等學科權(quán)重高達35%。

QS世界大學排名采用了每個教員的引文指標(Citations per Faculty)，為了克服出版統(tǒng)計在某個專業(yè)領(lǐng)域嚴重傾斜的情況(例如，物理出版在歷史上的主導地位)。這種方法的目標是推導出“Normalized Total Citation Count(NTCC)標準化總引用計數(shù)”。主要的方法是簡單地平衡在學術(shù)聲譽分析中已經(jīng)部署的相同的5個教員領(lǐng)域的影響：藝術(shù)與人文、工程與技術(shù)、生命科學與醫(yī)學、自然科學、社會科學與管理。不同學科領(lǐng)域的引文分布是不平衡的現(xiàn)象，如果不進行這一調(diào)整，將導致引文指標得分以及最終的整體排名將更傾向于強調(diào)科學的機構(gòu)。

六、分析與討論

綜上可知，一方面認識到排名結(jié)果不一致是排行榜的方法差異所致；另一方面也使排行榜使用者了解不同排行榜評價的內(nèi)容側(cè)重點，認識到排名結(jié)果并不是都像其宣稱的是大學整體質(zhì)量的衡量。雖然4個排行榜都對同一所大學進行評估和排名，但它們使用的排名標準有很大的不同，導致排名結(jié)果存在差異。因此，公眾在使用排行榜之前，還是應該首先了解排名指標體系及方法的區(qū)別，從而解讀排名。如Cakir等(2015)從排名指標、覆蓋范圍和排名結(jié)果等方面，對國內(nèi)和全球大學排名系統(tǒng)進行了全面系統(tǒng)的比較，他們注意到，各國大學排名有大量主要集中于教育和制度措施的指標，而相反全球排名的關(guān)鍵特征是專注于科研指標[21]。因此，如果使用排行榜的目的是選擇留學學校，關(guān)注的是學習成效，需要了解排名指標體系是否反映教學教育質(zhì)量。雖然軟科排名基本上是一個研究水平排名，U.S.News其實也明確是研究型大學比較，而QS以及THE宣稱加入教學質(zhì)量的衡量，但四個排行榜都被廣泛解讀為大學排名，排名使用者在引用排名時通常沒有加以區(qū)別。

大學在不同排行榜位次的變化本身就說明，如果公眾要把排行榜作為大學質(zhì)量水平的唯一衡量標準就值得商榷，如果確實是唯一標準，則不應有如此巨大的差異，所以本文對不同大學排行榜的相似度進行定量比較的基礎上，通過對指標體系和排名方法的定性分析說明差異的原因，在下一步的分析研究中將對排名指標數(shù)據(jù)進行定量分析，通過因子分析提煉評價指標體系衡量的維度，揭示排行榜評價指標體系衡量的主要方面，進一步探討現(xiàn)有世界大學排行榜能否真正提供利益相關(guān)各方所關(guān)心的關(guān)于世界高等教育質(zhì)量水平的可靠信息，進一步驗證排名方法的合理性。

大學的使命、概況以及它們所處的環(huán)境是極其多樣化的，大學之間的質(zhì)量差異是一個長期的歷史過程的結(jié)果，是科學習慣的差異和不同的制度背景的結(jié)果，因此不可能把一所大學或一個系的“質(zhì)量”降低到一個數(shù)字或幾個標準。一所大學在不同的排名中可能會取得不同的結(jié)果，這取決于排名的具體目標和方法。比較不同的結(jié)果可以為大學在各自的高等教育系統(tǒng)中的地位提供一個更全面的認識。因此，未來的學生以及任何其他排名信息的“用戶”在可能將其納入考慮之前，需要謹慎地解讀排名，并了解每個排名背后的方法是否準確反映大學真實實力和文化底蘊。而對大學而言，大學排行榜其實是對大學的一種社會評價，大學可以把大學排名作為學校辦學的參考，從中分析辦學的進展，存在的不足與問題，但不能“唯排名論”，這才是理性對待大學排名的方式，實現(xiàn)大學高質(zhì)量發(fā)展還需進一步加強大學的專業(yè)化評價。