張 潔/編譯

研究績效評估：具有一定局限性

張 潔/編譯

●在澳大利亞和新西蘭，年輕學(xué)者和交叉學(xué)科的研究績效往往被低估。本文作者安娜貝爾·麥吉利夫雷（Annabel MCGilvlay）如此認(rèn)為。

在和我聊天的前一天，喬納森.波士頓（Jonathan Boston）收到了同事的一封郵件。郵件談到了一位因新西蘭學(xué)術(shù)績效研究基金要求，學(xué)術(shù)生涯受到“怪異扭曲”的年輕學(xué)者。波士頓告訴我，“過去幾年，我收到過許多類似的，討論學(xué)術(shù)業(yè)績研究基金利弊的郵件?！?/p>

波士頓是惠靈頓維多利亞大學(xué)的公共政策系教授，同時他也參與了新西蘭政府的政策制定。他表示：硬性要求發(fā)表高影響力的國際文獻(xiàn)，而不鼓勵由國內(nèi)出版商出版學(xué)術(shù)著作；迫于壓力，將研究轉(zhuǎn)向更熱門或更受推崇的領(lǐng)域；鼓勵接受非學(xué)術(shù)業(yè)績研究基金組織的教學(xué)職位，降低科研強(qiáng)度，是影響科研的三大因素。究其原因，三者都與學(xué)術(shù)績效研究基金評價科研績效的方式，及其對國家的研究基金環(huán)境的影響有關(guān)。

1999年成立之初，學(xué)術(shù)績效研究基金壯志滿懷，目標(biāo)是通過評估研究績效來提高新西蘭諸多研究機(jī)構(gòu)的水準(zhǔn)。機(jī)構(gòu)設(shè)立時，旨在補(bǔ)救科研部門對科研管理的疏忽。當(dāng)時科研部門負(fù)責(zé)的范疇包括碩士生教育，文獻(xiàn)審閱，科研基金評審發(fā)放等?？蒲胁块T職能過于冗雜，隨著90年代中期大量非大學(xué)高等教育機(jī)構(gòu)（比如技校和?？拼髮W(xué)）開展研究生教育，這一缺點(diǎn)表現(xiàn)非常明顯。更多機(jī)構(gòu)開始開展科研活動，但其中一部分的科研能力非常薄弱，一時出現(xiàn)科研機(jī)構(gòu)研究能力良莠不齊的情況。1999年，海倫·克拉克（Helen Clark）的工黨政府上臺，包括克拉克在內(nèi)的5位學(xué)者（克拉克是政治研究領(lǐng)域的佼佼者），立志改善新西蘭的科研基金管理情況，增加科研可信度。“當(dāng)時唯一的有效途徑就是科研績效評估制度?！辈ㄊ款D這樣評價道。

學(xué)術(shù)績效研究基金是基于個人的，這一點(diǎn)和國家的科研績效評估不同。每六年，學(xué)術(shù)績效研究基金評估并報道新西蘭近6000位高校學(xué)者的科研水平?？蒲袡C(jī)構(gòu)的科研能力有四個等級：A，B，C和R，其中A等最優(yōu)，往后依次下降。而學(xué)者也可申請個人科研績效排名。評價結(jié)果是以科研成果的質(zhì)量和其領(lǐng)域發(fā)展（各領(lǐng)域資源不同）綜合考慮。個人科研成果由其所在機(jī)構(gòu)匯總，科研基金主要依此分配。同時還會考慮個人申請到的外部基金以及其教學(xué)成就 （碩博士學(xué)位完成情況）。學(xué)術(shù)績效研究基金目前是新西蘭最大的第三方科研基金提供機(jī)構(gòu)，在2013年基金總數(shù)達(dá)2.625億新西蘭元（折合美元2.242億）。

橫跨塔斯曼海的澳大利亞研究理事會（ARC）正準(zhǔn)備第三輪科研質(zhì)量評估。澳大利亞卓越研究（ERA）評估，三年一次，范圍涵蓋全國41所大學(xué)。即將舉行的2015年ERA評估，將分類并評估國家所有高等教育的研究成果，即40多萬本出版物。ERA按學(xué)科評估工作，評估結(jié)果將直接影響小部分高?？蒲薪?jīng)費(fèi)的申請。

“有些人擔(dān)心，學(xué)術(shù)績效的評估方式可能阻礙青年研究人員的職業(yè)發(fā)展?！?/h2>

結(jié)果表明，自從引入國家科研評估系統(tǒng)后，新西蘭和澳大利亞兩國的綜合科研能力均有所提高。在新西蘭，更多的研究者學(xué)術(shù)績效達(dá)A級水平；在澳大利亞，更多的學(xué)科被評定為“世界領(lǐng)先水平”。但無論是PBRF，還是ERA，關(guān)注的都是科研成果對學(xué)界內(nèi)的影響。人們逐漸意識到，學(xué)術(shù)研究的社會影響也十分重要，只重學(xué)術(shù)績效意義不大。同時，研究者們也擔(dān)心，關(guān)注學(xué)科內(nèi)的科研績效評估，可能無法正確評估跨學(xué)科研究的價值。此外，正如波士頓最近收到的郵件暗示的一樣，學(xué)術(shù)績效的評估方式——特別是只看期刊雜志影響因子——可阻礙年輕研究者的職業(yè)生涯發(fā)展。

PBRF和ERA均有系統(tǒng)的質(zhì)量指標(biāo)和同行評議作為評估依據(jù)。這些指標(biāo)被廣泛用于世界各地各類學(xué)術(shù)研究評估。然而，對PBRF來說，所有提名的出版物和其他研究成果均有指定評委評估 ——這是一個依據(jù)個人主觀判斷的定性過程。

相比之下，ERA更看重文獻(xiàn)引用次數(shù)。 “引用次數(shù)和參考次數(shù)在學(xué)界內(nèi)能夠很好地反映文獻(xiàn)在學(xué)界內(nèi)的影響力?！卑拇罄麃喲芯坷硎聲紫瘓?zhí)行官艾丹·伯恩（Aidan Byrne）這樣說道。

悉尼科技大學(xué)研究部副部長阿提拉·布隆斯(Attila Brungs)評價說，這些學(xué)術(shù)績效評估可能對青年研究者的職業(yè)生涯發(fā)展產(chǎn)生障礙。 “這些指標(biāo)能造成一些非常奇怪的現(xiàn)象。博士生通常發(fā)表的文章比較多，但是影響因子比較低?！?/p>

更廣泛地說，青年研究者的成果通常較難通過較權(quán)威雜志的審核，這是以個人為中心的績效評估體系的缺陷。學(xué)術(shù)績效評估更多的是鼓勵機(jī)構(gòu)雇用比較知名的研究者，而不是具有潛力的年輕研究人員，因?yàn)檫@類研究者發(fā)表量不夠。有證據(jù)顯示科研機(jī)構(gòu)不愿雇用青年研究人員。有研究顯示，第一輪和第二輪全國學(xué)術(shù)績效評估之間，35歲以下科研人員的人數(shù)有14%的下降。

事實(shí)上，2008年P(guān)BRF的一個獨(dú)立審查發(fā)現(xiàn)，很多優(yōu)秀的年輕研究人員由于較低的評價科研熱情受到傷害。該審查由監(jiān)督PBRF的高等教育委員會（TEC）實(shí)施。其結(jié)果表明，“一個‘C’級評價能極大打擊青年研究者的研究熱情，同時對其職稱評定產(chǎn)生極大的阻力。波士頓說，PBRF設(shè)立之初，無意透露個人科研績效評定結(jié)果。 系統(tǒng)建立之后，波士頓和他的同事們意識到，他們不得不將評價結(jié)果透露給研究者們。 “我們無法真正保障落實(shí)保密法和官方信息法，”“如果我早知道，評價結(jié)果需要告知個人，同時其他人也可能知道這個結(jié)果，那我當(dāng)時不會支持它?！?/p>

在新一輪全國學(xué)術(shù)績效評定來臨之際，高等教育委員會推出了一套新的、專門針對青年研究者的評定方法，以解決當(dāng)前青年研究者的雇用危機(jī)。該評定系統(tǒng)中，青年研究者可以采用新的C（NE）評估方法，并且可以參與機(jī)構(gòu)的基金申請和分配?？冃гu定結(jié)果是以其已有科研成果與其科研年限加權(quán)評定，一般來說，每個青年學(xué)者至少需要兩篇文獻(xiàn)。

但很多人，包括波士頓和彼得格.魯克曼（新西蘭總理的首席科學(xué)顧問）認(rèn)為，學(xué)術(shù)績效評定中的個人評定，為青年研究人員施加了發(fā)表高影響因子文獻(xiàn)的“過分”壓力。 “我見過幾個年輕的研究人員，迫于這種壓力，勞心勞力想發(fā)一篇 《自然》。”格魯克曼說，“如果他們專心于在合適的期刊上發(fā)表扎實(shí)的、優(yōu)秀的文獻(xiàn)，他們的科研生涯會更順利。 ”

跨學(xué)科研究評價：貌合神離

跨學(xué)科科研工作者也深感委屈。新西蘭和澳大利亞的大學(xué)越來越鼓勵跨學(xué)科研究項(xiàng)目——從硬科學(xué)到人文科學(xué)——從整體來看待社會問題?？鐚W(xué)科研究包括環(huán)境可持續(xù)性，醫(yī)學(xué)研究等。大部分情況下，這類科研活動由大學(xué)或者機(jī)構(gòu)的研究中心實(shí)施。

如果說跨學(xué)科項(xiàng)目是多彩畫面，那么PBRF和ERA的評估則是通過單學(xué)科的單色濾鏡來評估學(xué)術(shù)績效。2012年P(guān)BRF的最終報告中指出，一共評估42個學(xué)科領(lǐng)域，這些學(xué)科領(lǐng)域并不能“準(zhǔn)確反映研究活動的組織和進(jìn)行的方式”。新西蘭教育部首席策略分析師馬爾尼.迪克森（Marny Dickson）對此的評價是，盡管由此聲明，PBRF和ERA并沒有提出審核的具體計(jì)劃。

澳大利亞的情形也不容樂觀。澳大利亞學(xué)者委員會（ACOLA）——代表澳大利亞四大學(xué)術(shù)團(tuán)體：澳大利亞科學(xué)院，澳大利亞社會科學(xué)院，澳大利亞人文科學(xué)院，澳大利亞技術(shù)科學(xué)與工程院——正在尋求和跨學(xué)科研究直接相關(guān)的政策條例。在2012年的一份報告中，ACOLA發(fā)現(xiàn)，ERA“已經(jīng)難以評估和報告跨學(xué)科研究績效”。ERA和PBRF都更強(qiáng)調(diào)高影響因子。由于大學(xué)以ERA的評價結(jié)果作為依據(jù)，但跨學(xué)科研究成果通常影響因子不高。情況仍在惡化。

例如，悉尼科技大學(xué)社會研究中心做了很多關(guān)于政策的研究，為地方、州和聯(lián)邦政府做了許多工作。該中心的研究人員發(fā)表文章時，會選擇發(fā)表在其更擅長的領(lǐng)域，市場營銷，商業(yè)，經(jīng)濟(jì)，或社會科學(xué)和人文科學(xué)等等。這所大學(xué)在評估時，從各個學(xué)科分別評估其績效，而不是把研究中心的項(xiàng)目看成一個整體。 布隆斯說，“在ERA類似的評估體系中，這種研究中心的工作幾乎等于零?！?/p>

布隆斯表示，評估的失真目前還沒有影響大學(xué)的研究重點(diǎn)，畢竟ERA相關(guān)的基金還是比較少的。在2014年，ERA總金額僅有6,900萬澳元，僅占教育部批準(zhǔn)基金的4%。但是，ERA基金的比例將在增大，這意味著可能會減少跨學(xué)科合作。 布隆斯還說道，“大學(xué)不會允許這種扭曲的評估影響其整個科研，但如果我們不改變現(xiàn)狀，它確實(shí)會危及跨學(xué)科研究的發(fā)展?！?/p>

提高學(xué)術(shù)評分：一場博弈游戲

如果PBRF和ERA變得更加重要，大學(xué)的招聘政策難免會傾向于那些會為學(xué)術(shù)績效評分加分的研究人員。一些人擔(dān)心，這會導(dǎo)致研究機(jī)構(gòu)采取各種投機(jī)取巧的方式提高其學(xué)術(shù)績效評分。

澳大利亞全國高等教育工會發(fā)現(xiàn)，ERA的博弈時代已然開始。個人，部門和機(jī)構(gòu)都在努力爭取高的評分，以期獲得三年的基金支持。PBRF的結(jié)果則能影響6年的基金支持。這種情況下，個人和機(jī)構(gòu)更傾向于參與這場博弈游戲。墨爾本大學(xué)原副校長弗蘭克拉金斯對此的意見是，“這種情況仍將繼續(xù)。大學(xué)有很多聰明人，他們很快能掌握最優(yōu)化績效的方法。 ”

ERA同行評審小組審查時需要克制帶入個人偏好，而ARC目前能夠交叉查閱往年可疑的意見書。然而，沒有什么方法可以阻止大學(xué)在一輪ERA評估之前雇用研究人員，有時甚至是整個研究部門來提高績效。澳大利亞報紙稱，這種“挖人”現(xiàn)象導(dǎo)致相關(guān)部門規(guī)定2014年3月31日之前確定機(jī)構(gòu)人員名單。此日期后雇用的任何工作人員，沒有資格參與ERA 2015年的學(xué)術(shù)績效評估。不過，在去年夏天，澳大利亞天主教大學(xué)，中央昆士蘭大學(xué)和查爾斯特大學(xué)就已經(jīng)雇用了研究團(tuán)體，甚至整個研究部門。

ARC負(fù)責(zé)人伯恩并不贊同這樣行為。但是他表示，ERA排名的目的是資源的再分配，這并不一定是壞事。 “我們不希望阻止機(jī)構(gòu)決策其研究目標(biāo)。”由機(jī)構(gòu)選擇性雇用研究人員和團(tuán)體，以及機(jī)構(gòu)內(nèi)部制定績效標(biāo)準(zhǔn)，更好地符合ARC規(guī)則中，我們不難知道ERA在澳大利亞大學(xué)管理系統(tǒng)中的重要性。因此，大學(xué)紛紛設(shè)立院系滿足全校的出版物量和質(zhì)的硬性要求。

最震驚的玩弄體制的案例是2006年發(fā)生在新西蘭的一例。一所重點(diǎn)大學(xué)為了提高學(xué)術(shù)績效評分，把科研團(tuán)隊(duì)重新分類，尤其是把擁有PBRF資質(zhì)卻很少進(jìn)行科研的教研人員由原本的經(jīng)濟(jì)學(xué)和生物學(xué)等領(lǐng)域，重新分類到哲學(xué)和宗教研究領(lǐng)域。這一舉措，大大提升了該大學(xué)在生物、經(jīng)濟(jì)等領(lǐng)域的地位。哲學(xué)研究人員數(shù)目的激增引起了PBRF評審員的注意，最終發(fā)現(xiàn)了這一黑幕。

呼吁更靈活的衡量標(biāo)準(zhǔn)

ERA和PBRF的目標(biāo)和結(jié)構(gòu)幾乎沒有變化，但現(xiàn)狀如此，研究影響力應(yīng)當(dāng)明確納入學(xué)術(shù)績效評估。布隆斯在悉尼科技大學(xué)表示，對影響力的強(qiáng)調(diào)可能提高學(xué)術(shù)績效評估對跨學(xué)科研究的認(rèn)可。例如，與政策相關(guān)的工作比與純學(xué)術(shù)更具價值。 “在《自然》上發(fā)表文獻(xiàn)能顯示卓越的研究績效，改變一項(xiàng)國家政策（比如飲水）也是卓越學(xué)術(shù)績效的體現(xiàn)。”

ARC正在考慮如何評估學(xué)術(shù)的影響力。但伯恩表示，ARC并不打算將其納入現(xiàn)有體系，并且ARC并沒有足夠的資源來支持獨(dú)立的影響力測量系統(tǒng)。澳大利亞政府目前比較厭惡增加繁文縟節(jié)手續(xù)流程。

在新西蘭，2008年P(guān)BRF的審查結(jié)果提示，必須將政府創(chuàng)新政策也作為學(xué)術(shù)績效評估的一個方面。然而，重新評估也會帶來很多問題，具體包括：產(chǎn)業(yè)投資更加能夠影響整體學(xué)術(shù)基金總額；學(xué)術(shù)評估的重視程度也有相應(yīng)降低。據(jù)教育部表示，這些變化反映了一個事實(shí)，即外部研究資金是知識產(chǎn)業(yè)化的一個“強(qiáng)有力的指標(biāo)”，并且鼓勵“解決實(shí)際問題，能用于終端用戶的科研”。這種知識產(chǎn)業(yè)化是研究影響力的有力證據(jù)。

但波士頓并不認(rèn)為，即使出現(xiàn)這樣的變化，PBRF和ERA之類的評估，仍將具有重大意義。他引用了古德哈特定律，該定律指出，一項(xiàng)社會指標(biāo)或經(jīng)濟(jì)指標(biāo)，一旦成為一個用以指引宏觀政策制定的既定目標(biāo)，那么該指標(biāo)就會喪失其原本具有的信息價值?！拔也焕斫忾L久地每六年進(jìn)行一次同樣的、帶有輕度偏差的評估有什么意義。評估本身鼓勵提高科研質(zhì)量，但總有些扭曲?！?/p>

波士頓還提到，政府需要加大資金和其他資源，或者改善衡量標(biāo)準(zhǔn)（比如不斷引入新標(biāo)準(zhǔn)）來提高學(xué)術(shù)績效。對于有效資源的不斷重新分配，政府能做的也確實(shí)有限。 “畢竟只有一個橙子，再怎么也只能擠出一杯橙汁?！?/p>

[資料來源：Nature][責(zé)任編輯：李 輝]