沈　勇

(清華大學(xué) 公共管理學(xué)院，北京 100084)

?

論文指標(biāo)與一級(jí)學(xué)科評(píng)估結(jié)果之比較

沈勇

(清華大學(xué) 公共管理學(xué)院，北京 100084)

在評(píng)價(jià)學(xué)術(shù)水平時(shí)，與占主導(dǎo)地位的一級(jí)學(xué)科評(píng)估相比，論文所代表的客觀指標(biāo)有效嗎？研究產(chǎn)出在多大程度上影響了一級(jí)學(xué)科評(píng)估結(jié)果？現(xiàn)有文獻(xiàn)對(duì)二者在評(píng)價(jià)學(xué)術(shù)水平時(shí)的關(guān)系尚無(wú)實(shí)證研究。以CSSCI論文數(shù)、引用數(shù)、頂級(jí)期刊論文數(shù)和人均論文數(shù)為解釋變量，以一級(jí)學(xué)科評(píng)估分?jǐn)?shù)為因變量，運(yùn)用主成分回歸分析方法，對(duì)研究產(chǎn)出與一級(jí)學(xué)科評(píng)估結(jié)果進(jìn)行比較。研究發(fā)現(xiàn)，基于論文指標(biāo)的客觀評(píng)價(jià)與一級(jí)學(xué)科評(píng)估結(jié)果高度正相關(guān)，由規(guī)模因子和質(zhì)量因子構(gòu)成的綜合指標(biāo)能解釋83%的學(xué)科評(píng)估結(jié)果。研究產(chǎn)出很大程度上決定了學(xué)科排序結(jié)果，基于論文的綜合指標(biāo)是學(xué)科評(píng)估的一種可行的替代方法。

論文指標(biāo)；論文引用率；一級(jí)學(xué)科；學(xué)科評(píng)估；學(xué)科排序

對(duì)高等教育機(jī)構(gòu)的學(xué)術(shù)評(píng)價(jià)，經(jīng)歷了從早期主觀指標(biāo)到更重視綜合指標(biāo)的變化。據(jù)美國(guó)的有關(guān)研究，自20世紀(jì)70年代以來(lái)，在人文、社科、生物和工程等36個(gè)學(xué)科的評(píng)價(jià)都是采取主觀調(diào)查的方式。這類(lèi)采用聲譽(yù)等主觀指標(biāo)的研究方法，其引發(fā)的持續(xù)爭(zhēng)議在于測(cè)度實(shí)際生產(chǎn)率時(shí)是否可靠[1-2]。隨著各類(lèi)大學(xué)排行榜的興起，為避免指標(biāo)的非均衡化，人們?cè)絹?lái)越多地采用主觀和客觀相結(jié)合的方式評(píng)價(jià)機(jī)構(gòu)學(xué)術(shù)水平。評(píng)估指標(biāo)的綜合化和復(fù)雜化趨勢(shì)更加明顯，根據(jù)楊天平等人的文章，在12個(gè)各類(lèi)大學(xué)排行榜中，平均指標(biāo)數(shù)達(dá)到22個(gè)[3]。研究產(chǎn)出作為衡量高校特別是研究型大學(xué)學(xué)科建設(shè)水平的重要指標(biāo)，在研究領(lǐng)域和大學(xué)實(shí)踐中得到重視。

盡管基于研究產(chǎn)出的客觀方法和市場(chǎng)導(dǎo)向的排行榜評(píng)估目的不盡相同，但現(xiàn)有文獻(xiàn)對(duì)二者在評(píng)價(jià)學(xué)術(shù)績(jī)效時(shí)的關(guān)系尚無(wú)有力的實(shí)證研究。鑒于一級(jí)學(xué)科評(píng)估的重要性，評(píng)估結(jié)果會(huì)影響資源配置，并對(duì)高校學(xué)科建設(shè)具有導(dǎo)向作用，其作為研究的比較對(duì)象是有意義的。本研究的主要問(wèn)題是：基于論文指標(biāo)的客觀方法在評(píng)估學(xué)科水平時(shí)有效嗎？一級(jí)學(xué)科評(píng)估結(jié)果在多大程度上體現(xiàn)了研究產(chǎn)出的貢獻(xiàn)？二者之間是否存在可替代性？

一、文獻(xiàn)綜述

1.關(guān)于研究產(chǎn)出指標(biāo)的選取

采用同行評(píng)議期刊的文章數(shù)量來(lái)評(píng)價(jià)研究產(chǎn)出是近幾十年來(lái)國(guó)外較普遍的做法[4-6]。盡管書(shū)籍和專著等也屬于研究產(chǎn)出，但由于信息獲取較難，且不易確定不同形式產(chǎn)出的權(quán)重，Morgan建議采用期刊發(fā)表作為研究產(chǎn)出的客觀測(cè)度指標(biāo)，認(rèn)為學(xué)術(shù)期刊重視原創(chuàng)性和同行評(píng)議，可能是最適合學(xué)科范圍的評(píng)價(jià)工具。作者選取10種專業(yè)領(lǐng)域期刊，不做權(quán)重區(qū)別，對(duì)教師研究產(chǎn)出進(jìn)行測(cè)度。這類(lèi)分析通常是基于文章數(shù)量，計(jì)數(shù)作為一個(gè)合理的替代，用來(lái)表明某一學(xué)院通過(guò)專業(yè)媒介所產(chǎn)生的理論與實(shí)踐貢獻(xiàn)[7]537。

Bloom等認(rèn)為，學(xué)術(shù)產(chǎn)出依靠大量教師的參與，機(jī)構(gòu)產(chǎn)出的一個(gè)重要因素是大量關(guān)鍵學(xué)者的加總的貢獻(xiàn)[8]377。但是，學(xué)術(shù)產(chǎn)出的計(jì)量易受到規(guī)模影響，簡(jiǎn)單的加總可能對(duì)小的院系不利。Jordan等認(rèn)為院系的規(guī)模和發(fā)表論文之間存在積極的關(guān)系[9]。根據(jù)Ferris等的研究，教師產(chǎn)出通常是用某一領(lǐng)域核心期刊的產(chǎn)出率來(lái)測(cè)度的，并建議使用人均產(chǎn)出概念[10]309。林夢(mèng)泉等也建議在學(xué)科評(píng)估中應(yīng)增加“人均指標(biāo)”[11]。

當(dāng)然，僅僅采用論文數(shù)量作為指標(biāo)難以恰當(dāng)評(píng)價(jià)學(xué)術(shù)影響力。Farber等認(rèn)為引用情況是衡量學(xué)術(shù)產(chǎn)出影響力的更好的分析單位，并通過(guò)SSCI檢索工具獲取引用數(shù)據(jù)來(lái)分析學(xué)院的學(xué)術(shù)產(chǎn)出[12]。

也有學(xué)者對(duì)采用論文數(shù)量或引用率等單一指標(biāo)提出批評(píng)，建議對(duì)研究績(jī)效的評(píng)價(jià)要考慮不同因素的權(quán)重[13]。除了引用情況作為質(zhì)量指標(biāo)外，研究人員還建議考慮期刊性質(zhì)，最好的雜志傾向于發(fā)表對(duì)該領(lǐng)域核心發(fā)展最重要的文章[14]。

2.關(guān)于指標(biāo)間的關(guān)系

在生產(chǎn)率所代表的客觀指標(biāo)和反映主觀指標(biāo)的聲譽(yù)變量之間，研究發(fā)現(xiàn)，二者存在積極的關(guān)系[15]。然而，一項(xiàng)早期對(duì)生物化學(xué)學(xué)者的研究有相反的發(fā)現(xiàn)，即二者之間不存在顯著關(guān)系[16]。盡管不同研究結(jié)果有差異，更多的研究表明，主、客觀指標(biāo)之間存在一致性，二者具有中等程度的關(guān)系[10]325。

中國(guó)學(xué)者也發(fā)現(xiàn)，上海交通大學(xué)世界大學(xué)學(xué)術(shù)綜合排名和論文數(shù)之間的相關(guān)性為0.563 (P<0.001)[17]。另一項(xiàng)對(duì)中國(guó)50所重點(diǎn)大學(xué)論文產(chǎn)出的研究表明，綜合引用和數(shù)量因素的h指數(shù)與載文量、總被引之間的相關(guān)系數(shù)分別為0.81和0.93[18]?？傮w看，機(jī)構(gòu)的論文產(chǎn)出與引用數(shù)之間存在較強(qiáng)的相關(guān)性(r=0.829)[8]387。

3.研究方法

早期有關(guān)論文產(chǎn)出研究以描述性統(tǒng)計(jì)為主，近來(lái)主成分分析等多元統(tǒng)計(jì)方法陸續(xù)被用于論文產(chǎn)出研究。古繼寶等基于SCI收錄的25個(gè)國(guó)家19個(gè)學(xué)科領(lǐng)域的論文統(tǒng)計(jì)數(shù)據(jù),運(yùn)用主成分和因子分析得出反映論文產(chǎn)出差距的3個(gè)獨(dú)立因子,進(jìn)而從科研實(shí)力和科研質(zhì)量等角度對(duì)各個(gè)科技主體的科研水平進(jìn)行新的排名和詮釋[19]107。

另有一篇文章對(duì)36所“985工程”高校的ESI科技論文進(jìn)行綜合評(píng)價(jià)排名，在論文總數(shù)、被引頻次、篇均被引及頂級(jí)論文數(shù)等原始指標(biāo)的基礎(chǔ)上，合成反映論文總體實(shí)力的第一主因子和反映單篇論文的學(xué)術(shù)影響力的第二主因子[20]106。

國(guó)外有學(xué)者建議，對(duì)于計(jì)數(shù)資料，原則上可以使用多元線性回歸分析[21]。這無(wú)疑有助于更好地解釋變量之間的關(guān)系。

二、數(shù)據(jù)與方法

1.數(shù)據(jù)來(lái)源

研究樣本為公共管理學(xué)科，這是基于作者對(duì)學(xué)科熟悉程度和數(shù)據(jù)采集復(fù)雜度的權(quán)衡。考慮到公共管理學(xué)包含政治學(xué)、經(jīng)濟(jì)學(xué)、管理學(xué)、社會(huì)學(xué)和法學(xué)等多學(xué)科特點(diǎn)，在一定程度上能緩和樣本學(xué)科的局限性。為便于比較，本研究樣本從參與2012年全國(guó)公共管理一級(jí)學(xué)科評(píng)估的60所院校中選取，不考慮在該評(píng)估期沒(méi)有獨(dú)立的公共管理學(xué)院或以公共管理學(xué)科為主體的辦學(xué)實(shí)體的院校，最后確定38所學(xué)院作為評(píng)價(jià)對(duì)象。

本研究認(rèn)為，在人文社科領(lǐng)域，入選CSSCI的刊物基本能反映當(dāng)前中國(guó)人文社會(huì)科學(xué)界各個(gè)學(xué)科的最新研究成果，且學(xué)術(shù)水平較高、影響較大、編輯出版較為規(guī)范，因此已被多篇研究用于高等院校社會(huì)科學(xué)領(lǐng)域的論文產(chǎn)出分析[22-23]。本研究利用中國(guó)知網(wǎng)(CNKI)，檢索38所學(xué)院作為第一作者機(jī)構(gòu)在2009-2013年間發(fā)表的CSSCI論文，檢索核查截止時(shí)間為2014年12月30日。作者標(biāo)注多個(gè)單位的，只計(jì)算第一單位。其中，對(duì)機(jī)構(gòu)名稱發(fā)生變化或采用簡(jiǎn)稱的，在甄別后也一并計(jì)入。在剔除書(shū)評(píng)類(lèi)、會(huì)議綜述類(lèi)、訪談?lì)惣耙桓宥嗤段恼潞螅詈蟮玫? 840篇文獻(xiàn)。

2.變量選擇

在變量設(shè)計(jì)上，本研究以2012年公共管理一級(jí)學(xué)科評(píng)估分?jǐn)?shù)為因變量，以論文總數(shù)、引用數(shù)、頂級(jí)論文數(shù)、人均論文數(shù)作為自變量。論文總數(shù)：指樣本學(xué)院的CSSCI論文合計(jì)數(shù)。經(jīng)過(guò)一定機(jī)制篩選的CSSCI期刊大體涵蓋了本學(xué)科最主要的中文論文產(chǎn)出。引用數(shù)量：由于中國(guó)社科論文引用率普遍偏低，參照一級(jí)學(xué)科評(píng)估的做法，選取各學(xué)院引用率最高的前20篇CSSCI論文來(lái)統(tǒng)計(jì)引用率。頂級(jí)論文數(shù)：這一指標(biāo)用來(lái)反映公共管理學(xué)科對(duì)基礎(chǔ)研究和理論研究的貢獻(xiàn)[24]。在管理學(xué)、經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)及法學(xué)這五個(gè)公共管理學(xué)科的主要支撐學(xué)科中，根據(jù)中文核心期刊要目總覽和CSSCI的期刊評(píng)價(jià)，選取這五個(gè)學(xué)科門(mén)類(lèi)中排名最高的期刊，即《管理世界》、《經(jīng)濟(jì)研究》、《政治學(xué)研究》、《社會(huì)學(xué)研究》和《法學(xué)研究》五種期刊，另外增加綜合性的《中國(guó)社會(huì)科學(xué)》期刊。人均論文數(shù)：反映各學(xué)院教師的人均CSSCI論文產(chǎn)出量。教師界定為該學(xué)院的全職在崗教師，其數(shù)據(jù)通過(guò)受訪學(xué)院的主頁(yè)獲取。

3.分析工具

本研究采用SPSS18軟件進(jìn)行主成分回歸分析。采用主成分回歸分析方法有利于消除多重共線性的影響，且能把多個(gè)指標(biāo)化為少數(shù)幾個(gè)綜合指標(biāo)，盡量不改變指標(biāo)體系對(duì)因變量的解釋程度[25-26]。在主成分分析的基礎(chǔ)上，通過(guò)回歸分析比較學(xué)術(shù)產(chǎn)出與一級(jí)學(xué)科評(píng)估結(jié)果之間的相關(guān)關(guān)系。

三、分析結(jié)果

1.描述統(tǒng)計(jì)

表1顯示各變量的均值、標(biāo)準(zhǔn)差和樣本數(shù)，其中，頂級(jí)論文指標(biāo)差異性最大，學(xué)科評(píng)估分?jǐn)?shù)指標(biāo)差異性最小。

表1　描述統(tǒng)計(jì)量

2.相關(guān)性判定

表2為相關(guān)系數(shù)矩陣，論文總數(shù)、引用數(shù)、頂級(jí)論文數(shù)、人均論文數(shù)變量之間都存在顯著相關(guān)性，為消除多重共線性影響，采用主成分方法降維。

表2　相關(guān)性矩陣

首先進(jìn)行KMO檢驗(yàn)和巴特利球體檢驗(yàn)，其結(jié)果如表3所示。根據(jù)Kaiser給出的度量標(biāo)準(zhǔn)，KMO大于0.8，說(shuō)明適合做因子分析。本表中的Bartlett值大于129(P<0.001)，球度檢驗(yàn)表明相關(guān)陣不是一個(gè)單位矩陣，因子模型合適。

表3　KMO和Bartlett 的檢驗(yàn)

3.確定主成分

如何提取主成分的數(shù)量，文獻(xiàn)建議有不同的準(zhǔn)則，一般根據(jù)特征值大于1的標(biāo)準(zhǔn)，或者方差貢獻(xiàn)率大于85%的閾值[27]。由于第一個(gè)主成分解釋總變差為81.95%，第二個(gè)主成分特征值雖小于1，但其方差解釋力超過(guò)10%，因此人工確定提取兩個(gè)主成分，二者合計(jì)貢獻(xiàn)率為92.47%，并進(jìn)行正交旋轉(zhuǎn)，其結(jié)果如表4所示。

表4　方差解釋

4.特征向量矩陣表

表5為旋轉(zhuǎn)前后的主成分載荷矩陣，顯然，旋轉(zhuǎn)后的特征值及主成分負(fù)荷有很大改善，主成分1主要與論文總數(shù)、引用數(shù)和人均指標(biāo)有關(guān)，而主成分2則主要與頂級(jí)論文指標(biāo)有關(guān)。因此，本研究把主成分1命名為規(guī)模因子，反映的是與論文數(shù)量、影響力等有關(guān)的總體實(shí)力；主成分2命名為質(zhì)量因子，反映的是高水平論文質(zhì)量。

表5　旋轉(zhuǎn)前后的成份矩陣

注：提取方法為主成分分析法。

5.因子分值

利用SPSS軟件可自動(dòng)計(jì)算因子1和因子2的分值，同時(shí)，根據(jù)F綜=0.655*F1+0.345*F2的表達(dá)式，計(jì)算出綜合因子分值及排序，如表6所示。

表6　學(xué)科評(píng)估、因子得分及排序

續(xù)表6

學(xué)院名稱評(píng)估分?jǐn)?shù)評(píng)估排序F1規(guī)模因子F2質(zhì)量因子F綜合因子因子排序華東師范大學(xué)公共管理學(xué)院7515-0.19-0.70-0.3721湘潭大學(xué)公共管理學(xué)院74170.56-0.420.2212東北財(cái)經(jīng)大學(xué)公共管理學(xué)院7218-0.81-0.41-0.6732中南財(cái)經(jīng)政法大學(xué)公共管理學(xué)院7218-0.38-0.21-0.3219重慶大學(xué)公共管理學(xué)院72180.45-0.620.0815中央財(cái)經(jīng)大學(xué)政府管理學(xué)院7021-0.63-0.28-0.5127對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)公共管理學(xué)院7021-0.48-0.55-0.5127大連理工大學(xué)公共管理與法學(xué)學(xué)院7021-0.56-0.51-0.5529燕山大學(xué)公共管理學(xué)院7021-0.29-0.71-0.4325鄭州大學(xué)公共管理學(xué)院7021-0.580.03-0.3721內(nèi)蒙古大學(xué)公共管理學(xué)院6826-0.75-0.48-0.6631上海財(cái)經(jīng)大學(xué)公共經(jīng)濟(jì)與管理學(xué)院68260.070.340.1614河海大學(xué)公共管理學(xué)院6826-0.11-0.77-0.3320湖南農(nóng)業(yè)大學(xué)公共管理與法學(xué)學(xué)院6826-1.27-0.07-0.8638西南交通大學(xué)公共管理學(xué)院6826-0.91-0.19-0.6732西南大學(xué)政治與公共管理學(xué)院6826-0.52-0.34-0.4626西北大學(xué)公共管理學(xué)院6826-0.25-0.66-0.3923浙江工業(yè)大學(xué)政治與公共管理學(xué)院6733-1.10-0.33-0.8437浙江工商大學(xué)公共管理學(xué)院6733-1.130.09-0.7134華僑大學(xué)公共管理學(xué)院6733-0.61-0.48-0.5730河南大學(xué)哲學(xué)與公共管理學(xué)院6733-0.95-0.40-0.7636中南民族大學(xué)公共管理學(xué)院6733-0.94-0.39-0.7535浙江財(cái)經(jīng)大學(xué)財(cái)政與公共管理學(xué)院6733-1.631.89-0.4124

學(xué)科評(píng)估前5位的院校是人民大學(xué)、清華大學(xué)、北京大學(xué)、武漢大學(xué)和華中科技大學(xué)，這五校也同時(shí)進(jìn)入綜合因子排序前五位。與學(xué)科評(píng)估排序相比，綜合因子排序前10位學(xué)院中，有9所同時(shí)出現(xiàn)在學(xué)科評(píng)估前10名中。如果考慮前一半院校排序情況，有17所學(xué)校同時(shí)出現(xiàn)在一級(jí)學(xué)科評(píng)估結(jié)果的前19名中?？傮w看，盡管院校排序有微調(diào)，但兩種評(píng)估結(jié)果的一致性比較高。

其中，廈門(mén)大學(xué)因規(guī)模因素未進(jìn)入因子得分前10名，吉林大學(xué)則因較高的質(zhì)量因子從學(xué)科評(píng)估第12位進(jìn)入因子得分前10名。此外，排序變化較大的是，東北財(cái)大和湖南農(nóng)大均因規(guī)模實(shí)力較弱分別下降了14位和12位，上海財(cái)大則因質(zhì)量和規(guī)模因素表現(xiàn)不錯(cuò)而上升12位。

6.主成分回歸分析

主成分分析主要是對(duì)現(xiàn)有變量的簡(jiǎn)化和提煉，其結(jié)果體現(xiàn)了38所學(xué)院基于規(guī)模因子和質(zhì)量因子得分的總排序，為進(jìn)一步了解這一結(jié)果與學(xué)科評(píng)估排序之間的關(guān)系，以因子1和因子2作為自變量，評(píng)估分?jǐn)?shù)的標(biāo)準(zhǔn)化值作為因變量進(jìn)行多元線性回歸分析，其結(jié)果如表7和表8所示。

表7　回歸分析的R值和R2值

表8　回歸系數(shù)

根據(jù)回歸分析的結(jié)果，解釋變量與因變量高度正相關(guān)(R=0.91)，模型通過(guò)F檢驗(yàn)(p<0.001)，說(shuō)明模型的擬合優(yōu)度還是不錯(cuò)的，從決定系數(shù)看，規(guī)模因子和質(zhì)量因子能解釋因變量約83%的變差。

從回歸系數(shù)看，規(guī)模因子標(biāo)準(zhǔn)化系數(shù)為0.824，質(zhì)量因子的系數(shù)為0.386，二者均通過(guò)顯著性檢驗(yàn)(p<0.001)，規(guī)模因素較質(zhì)量因素解釋力更強(qiáng)。

由于前述回歸結(jié)果是基于主成分分析，且變量已標(biāo)準(zhǔn)化，為便于理解，對(duì)標(biāo)準(zhǔn)化變量進(jìn)行還原后，得到如下方程式：

Y=35.4+0.076X1+0.042X2+0.059X3+0.518X4

從回歸方程看，人均指標(biāo)(X4)的回歸系數(shù)為0.518，在所有自變量中貢獻(xiàn)最大，即人均指標(biāo)每增加1篇，學(xué)科評(píng)估分?jǐn)?shù)會(huì)增加超過(guò)0.5分。按貢獻(xiàn)大小，其他變量依次為論文總數(shù)指標(biāo)(X1)、頂級(jí)論文指標(biāo)(X3)和引用率指標(biāo)(X2)。

四、結(jié)　　論

根據(jù)主成分分析的結(jié)果，以論文總數(shù)、引用率、人均指標(biāo)和頂級(jí)論文為代表的客觀指標(biāo)，可以提煉為代表學(xué)科研究實(shí)力的規(guī)模因子和質(zhì)量因子兩個(gè)成分，二者反映原始變量92.47%的信息。對(duì)比前述文獻(xiàn)，古繼寶一文提取三個(gè)因子的方差為78.9%[19]113，胡瑤一文提取兩個(gè)因子的累計(jì)貢獻(xiàn)率為92.09%[20]120。因此，客觀指標(biāo)較好地保留了學(xué)術(shù)產(chǎn)出指標(biāo)的原始信息，具有較高的區(qū)分度，能夠清晰地區(qū)分樣本學(xué)科的研究產(chǎn)出績(jī)效。

回歸分析結(jié)果也表明，客觀指標(biāo)與一級(jí)學(xué)科結(jié)果具有高度的相關(guān)性(R=0.91，p<0.001)，研究產(chǎn)出對(duì)一級(jí)學(xué)科評(píng)估結(jié)果的貢獻(xiàn)占比約83%，對(duì)學(xué)科評(píng)估結(jié)果具有很強(qiáng)的解釋力。從兩種方法的排名結(jié)果比較，有9所學(xué)校同時(shí)進(jìn)入了兩種排序的前10名，二者具有較高的一致性。從一級(jí)學(xué)科評(píng)估“科學(xué)研究水平”一級(jí)指標(biāo)的得分看，前10名中有7所學(xué)校也同時(shí)位居綜合因子前10名，這也進(jìn)一步驗(yàn)證了客觀指標(biāo)排序的有效性。

實(shí)證研究發(fā)現(xiàn)：研究產(chǎn)出指標(biāo)是決定學(xué)科排序結(jié)果的支配性因素。應(yīng)該說(shuō)，衡量學(xué)科水平的指標(biāo)并非是單一的，為什么客觀化方法與綜合指標(biāo)在評(píng)價(jià)學(xué)科績(jī)效時(shí)具有高度的一致性？這也許與質(zhì)量概念的特性有關(guān)，教育質(zhì)量是一個(gè)難以琢磨的抽象的概念，很難定義和測(cè)度[28]。這一概念所包含的心理特性增強(qiáng)了其模糊性，雖然學(xué)術(shù)水平包括不同的側(cè)面，但這些指標(biāo)間存在一定的相關(guān)性。例如，當(dāng)我們指稱某一學(xué)科水平較高時(shí)，通常也暗含了高水平的師資、高質(zhì)量的學(xué)生和高水平的研究產(chǎn)出等評(píng)價(jià)。以論文形式衡量的學(xué)術(shù)產(chǎn)出，經(jīng)過(guò)了嚴(yán)格的學(xué)術(shù)共同體檢驗(yàn)，是反映學(xué)術(shù)水平更直接、更集中、更容易測(cè)度的指標(biāo)。

對(duì)評(píng)估實(shí)踐而言，兩種方法各有其特點(diǎn)及針對(duì)性，很難有“最好的方法”。學(xué)科評(píng)估是對(duì)一級(jí)學(xué)科整體情況的判斷，具有綜合性的優(yōu)點(diǎn)，能為機(jī)構(gòu)提供綜合排序和更全面的診斷?？陀^方法更簡(jiǎn)潔、清晰，適于分析學(xué)科這類(lèi)專業(yè)性較強(qiáng)的學(xué)術(shù)產(chǎn)出績(jī)效，而且可以進(jìn)一步用于比較研究。

研究建議：研究產(chǎn)出評(píng)價(jià)可以在某種程度上作為學(xué)科評(píng)估的替代性方法。由于一級(jí)學(xué)科評(píng)估包含四類(lèi)一級(jí)指標(biāo)和14個(gè)二級(jí)指標(biāo)，大量主客觀信息的采集與處理增加了評(píng)估的復(fù)雜性，且評(píng)估材料是自行申報(bào)的，這些填報(bào)的數(shù)據(jù)難以核實(shí)，可能導(dǎo)致評(píng)估結(jié)果的較大偏差[29]。而且，這些其他因素加起來(lái)只是解釋了剩余17%的變差，從成本角度看，未必是有效的。因此，對(duì)于大學(xué)排名而言，應(yīng)把產(chǎn)出作為重點(diǎn)比較的指標(biāo)，如無(wú)特別必要，建議盡可能利用公開(kāi)數(shù)據(jù)源、采用客觀方法進(jìn)行評(píng)價(jià)[30]。

由于研究產(chǎn)出是一個(gè)多維度的概念，僅以論文指標(biāo)來(lái)衡量產(chǎn)出也反映了本文的局限性[7]566。事實(shí)上，研究產(chǎn)出通常還包括國(guó)際發(fā)表、專著、研究報(bào)告等，基于可行性的考慮，為避免多種形式產(chǎn)出的加總可能造成的爭(zhēng)議，本文未計(jì)算這部分成果，這無(wú)疑會(huì)對(duì)學(xué)術(shù)績(jī)效的評(píng)價(jià)有一定影響。而且，本研究是基于2009-2013年間的公共管理學(xué)科的數(shù)據(jù)，其結(jié)論是否能推廣至其他學(xué)科以及是否反映了長(zhǎng)期趨勢(shì)還有待后續(xù)驗(yàn)證。

[1]Drew D E and Karpf R. Ranking Academic Departments:Empirical findings and a Theoretical Perspective[J].Research in Higher Education,1981(4):305-320.

[2]Morgan D R, Meier K J, Kearney R C, Hays S W and Birch H B. Reputation and Productivity among U.S. Public Administration and Public Affairs Programs[J].Public Administration Review,1981(6):666-673.

[3]楊天平,任永燦.國(guó)內(nèi)外大學(xué)評(píng)價(jià)指標(biāo)體系的發(fā)展趨勢(shì)[J].高教發(fā)展與評(píng)估,2014(5):1-11.

[4]Wyer, J C, Conrad, C F. Institutional Inbreeding Reexamined[J].American Educational Research Journal,1984(1):213-225.

[5]Levin, S G, Stephan, P E. Research Productivity over the Life Cycle:Evidence for Academic Scientists[J].The American Economic Review,1991(1):114-132.

[6]Horta H. Deepening our Understanding of Academic Inbreeding Effects on Research Information Exchange and Scientific Output: New Insights for Academic Based Research[J]. Higher Education,2013(65):487-510.

[7]Forrester J P. Public Administration Productivity:An Assessment of Faculty in PA Programs[J].Administration & Society,1996(4).

[8]Bloom M., Klein W C. Publications and Citations:A Study of Faculty at Leading Schools of Social Work[J].Journal of Social Work Education,1995(3).

[9]Jordan J M, Meador M and Walters S J K. Effects of Departmental Size and Organization on the Research Productivity of Academic Economists[J].Economics of Education Review,1988(2):251-255.

[10]Ferris J M, Stallings R A. Sources of Reputation among Public Administration and Public Affairs Programs[J].American Review of Public Administration,1988(2).

[11]林夢(mèng)泉,姜輝,任超.學(xué)科評(píng)估發(fā)展與改革探究[J].中國(guó)高等教育,2010(21):43-44.

[12]Farber M, Powers P and Thompson F. Assessing Faculty Research Productivity in Graduate Public Policy Programs[J].Policy Sciences,1984(16):281-289.

[13]Hattie J & Marsh H W. The Telationship Between Research and Teaching:A Meta-analysis[J].Review of Educational Research,1996(4):507-542.

[14]Forrester J P,Watson S S. An Assessment of Public Administration Journals:The Perspective of Editors and Editorial Board Members[J].Public Administration Review,1994(5):474-482.

[15]Ehrenberg R G and Hurst P J. The 1995 NRC ratings of Doctoral Programs:A Hedonic Model[J].Change,1996(6):46-50.

[16]Long J S. Productivity and Academic Position in the Scientific Career[J].American Sociological Review,1978(12):889-908.

[17]周志峰,萬(wàn)榮根,俞樹(shù)文.h指數(shù)視角的高校學(xué)術(shù)水平分析[J].情報(bào)雜志,2009(3):71-74.

[18]萬(wàn)錦堃,花平寰,趙呈剛.中國(guó)部分重點(diǎn)大學(xué)h指數(shù)的探討[J].科學(xué)觀察,2007(3):9-16.

[19]古繼寶,陳玉娣,梁樑.基于論文產(chǎn)出的科研實(shí)力和質(zhì)量評(píng)價(jià)指標(biāo)體系研究[J].研究與發(fā)展管理,2008(2).

[20]胡瑤,王惠文,關(guān)蓉.基于ESI 科技論文評(píng)價(jià)與比較分析[J].北京航空航天大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版,2013(2).

[21]Inanc O & Tuncer O. The Effect of Academic Inbreeding on Scientific Effectiveness[J].Scientometrics,2011(88):885-898.

[22]姜春林,劉則淵,劉樹(shù)高.研究型大學(xué)人文社會(huì)科學(xué)學(xué)科論文產(chǎn)出差距的計(jì)量分析[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2006(1):92-98.

[23]李樹(shù)青,蘇新寧,袁培國(guó).我國(guó)高等院校社會(huì)科學(xué)學(xué)科的機(jī)構(gòu)被引分析[J].情報(bào)科學(xué),2005,23(11):1735-1740.

[24]馬駿.中國(guó)公共行政學(xué):回顧與展望[J].中國(guó)行政管理,2012(4):7-11.

[25]郭顯光.如何用SPSS 軟件進(jìn)行主成分分析[J].統(tǒng)計(jì)與信息論壇,1998(2):60-64.

[26]郭呈全,陳希鎮(zhèn).主成分回歸的SPSS實(shí)現(xiàn)[J].統(tǒng)計(jì)與決策,2011(5):157-159.

[27]高策理,蔡斌.使用主成分分析進(jìn)行綜合排名時(shí)出現(xiàn)高相關(guān)指標(biāo)的研究[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí),2004(12):21-24.

[28]Brown S W & Swartz T A. A Gap Analysis of Professional Dervice Quality[J]. Journal of Marketing,1989(2):92-98.

[29]朱允衛(wèi),易開(kāi)剛.目前我國(guó)一級(jí)學(xué)科評(píng)估中存在的問(wèn)題及對(duì)策[J].中國(guó)高教研究,2004(12):28-30.

[30]林曉青.大學(xué)排名的危機(jī)及對(duì)策建議[J].中國(guó)高教研究,2009(8):43.

10.3963/j.issn.1672-8742.2016.02.007

沈勇(1968-)，男，河南信陽(yáng)人，管理學(xué)博士，研究方向?yàn)楦叩冉逃卜?wù)質(zhì)量評(píng)價(jià)。

G40-058.1

A

1672-8742(2016)02-0049-09

2015-10-20；編輯：榮翠紅)