馬永霞 仇笳熙
摘要:成果評(píng)價(jià)是人文社科科研評(píng)價(jià)的重要內(nèi)容。破“四唯”、破“五唯”不是摒棄評(píng)價(jià),而是要通過(guò)建立科學(xué)有效的評(píng)價(jià)方法實(shí)現(xiàn)“破立并舉”。文章以國(guó)家社科基金年度項(xiàng)目的成果鑒定為研究對(duì)象,綜合運(yùn)用數(shù)據(jù)包絡(luò)分析法(DEA)及方差分析法得出結(jié)論:以同行評(píng)議為主的定性評(píng)價(jià)在人文社科成果評(píng)價(jià)中具有一定的合理性,是人文社科成果評(píng)價(jià)應(yīng)該遵循的主要方式;同時(shí),針對(duì)階段性成果開(kāi)展計(jì)量評(píng)價(jià)可作為同行評(píng)議的重要補(bǔ)充,尤其是在以應(yīng)用研究為主的學(xué)科成果評(píng)價(jià)中,兩種評(píng)價(jià)方式的結(jié)合顯得尤為重要。通過(guò)研究分析提出人文社科成果評(píng)價(jià)方式改進(jìn)的新思路:將階段性成果與最終成果共同作為評(píng)價(jià)對(duì)象;開(kāi)展以同行評(píng)議為主,計(jì)量評(píng)價(jià)為輔的綜合評(píng)價(jià)方式;按照研究類型不同實(shí)行分類評(píng)價(jià);并輔之以元評(píng)價(jià)理念對(duì)現(xiàn)有評(píng)價(jià)體系進(jìn)行動(dòng)態(tài)監(jiān)控與糾偏。
關(guān)鍵詞:人文社會(huì)科學(xué);科研評(píng)價(jià);成果評(píng)價(jià);綜合評(píng)價(jià);分類評(píng)價(jià);階段性成果;元評(píng)價(jià);破“四唯”;破“五唯”
中圖分類號(hào):C12 ? 文獻(xiàn)標(biāo)志碼:A ? 文章編號(hào):1008-5831(2021)03-0054-13
一、研究背景與文獻(xiàn)分析
(一)背景及意義
1.三個(gè)文件的政策指向:破“四唯”、破“五唯”
清理“四唯”“五唯”是當(dāng)下乃至今后相當(dāng)長(zhǎng)一段時(shí)間的熱點(diǎn)話題。2018年,自科技部、教育部、人力資源社會(huì)保障部、中科院和中國(guó)工程院五部門聯(lián)合發(fā)布《關(guān)于開(kāi)展清理“唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》后,在科研評(píng)價(jià)及人才評(píng)價(jià)領(lǐng)域引發(fā)熱議。人民日?qǐng)?bào)曾發(fā)表評(píng)論,對(duì)清理“四唯”的內(nèi)涵[1]進(jìn)行闡釋。學(xué)界也相繼對(duì)人文社科領(lǐng)域清理“四唯”的著力點(diǎn)[2]、清理“四唯”對(duì)科研管理轉(zhuǎn)型的必要性[3]等內(nèi)容展開(kāi)了探討,初步形成了改進(jìn)科研評(píng)價(jià)方式和評(píng)價(jià)理念的一些基礎(chǔ)性觀點(diǎn)。2020年2月17日,為改進(jìn)科技評(píng)價(jià)體系,破除科技評(píng)價(jià)中過(guò)度看重論文數(shù)量、影響因子等指標(biāo),忽視標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響等“唯論文”的不良導(dǎo)向,科技部發(fā)布37號(hào)文《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》,提出了九個(gè)方面共27條具體舉措。九個(gè)方面主要是針對(duì)國(guó)家層面的科技管理改革舉措,但同時(shí)也對(duì)承擔(dān)項(xiàng)目單位提出了部分要求,尤其是在“突出成果質(zhì)量與貢獻(xiàn)”方面,提出不可把論文作為唯一的評(píng)價(jià)依據(jù)和考核指標(biāo),而應(yīng)考慮開(kāi)展通過(guò)強(qiáng)化分類考核導(dǎo)向注重標(biāo)志性成果的評(píng)價(jià)模式。2020年2月18日,教育部、科技部聯(lián)合發(fā)布了《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹(shù)立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》。該意見(jiàn)旨在破除唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的“五唯”頑瘴痼疾,破除論文“SCI至上”,從而探索建立科學(xué)的評(píng)價(jià)體系,營(yíng)造良好的創(chuàng)新環(huán)境,加快提升教育治理體系和治理能力現(xiàn)代化水平。意見(jiàn)共十條,其中包含了建立分類評(píng)價(jià)體系、完善同行評(píng)議、規(guī)范評(píng)價(jià)活動(dòng)等具體要求。
可以認(rèn)為,以上三個(gè)文件所推動(dòng)的改革的核心是通過(guò)建立科學(xué)合理的評(píng)價(jià)體系,營(yíng)造有利于創(chuàng)新的學(xué)術(shù)生態(tài)環(huán)境。因此,所謂的“不唯”絕非“不評(píng)”。無(wú)論是破“四唯”還是破“五唯”,其本質(zhì)都是相同的,改革重點(diǎn)不僅僅是在擬要破除的指標(biāo)維度等具體內(nèi)容上,重要的是務(wù)必要實(shí)現(xiàn)評(píng)價(jià)理念上的改變。通過(guò)“破唯”糾正目前僅以單一維度和指標(biāo)開(kāi)展評(píng)價(jià)的浮躁之風(fēng),力求將評(píng)價(jià)的重心從評(píng)價(jià)學(xué)者個(gè)人轉(zhuǎn)移為評(píng)價(jià)學(xué)術(shù)成果。
2.高校評(píng)價(jià)轉(zhuǎn)型的實(shí)踐成果寥寥
針對(duì)五部門聯(lián)合發(fā)布的《通知》,以及科技部、教育部相繼下發(fā)的若干“措施”和“意見(jiàn)”,國(guó)內(nèi)部分高校通過(guò)對(duì)成果評(píng)價(jià)的反思,已逐步開(kāi)展評(píng)價(jià)轉(zhuǎn)型的探索與實(shí)踐。以國(guó)內(nèi)最早落實(shí)破“四唯”的清華大學(xué)為例。2018年已將“完善學(xué)術(shù)評(píng)價(jià)標(biāo)準(zhǔn)”列為年度重點(diǎn)工作,同時(shí)作為落實(shí)中辦、國(guó)辦關(guān)于深化“項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革”要求的具體舉措。并由校學(xué)術(shù)委員會(huì)牽頭成立工作組和專家組,歷時(shí)一年于2019年4月正式發(fā)布《清華大學(xué)關(guān)于完善學(xué)術(shù)評(píng)價(jià)制度的若干意見(jiàn)》,其中明確了學(xué)術(shù)成果在學(xué)術(shù)評(píng)價(jià)中的重要地位,鼓勵(lì)教師以高質(zhì)量的學(xué)術(shù)成果服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展;并規(guī)定高質(zhì)量的學(xué)術(shù)成果是“作為職務(wù)晉升和工作考評(píng)的重要學(xué)術(shù)業(yè)績(jī)”;此外,強(qiáng)調(diào)要“尊重學(xué)科差異,根據(jù)各學(xué)科的特點(diǎn)制定相應(yīng)的學(xué)術(shù)評(píng)價(jià)標(biāo)準(zhǔn)”,實(shí)現(xiàn)學(xué)術(shù)評(píng)價(jià)從重?cái)?shù)量向重質(zhì)量、比貢獻(xiàn)的轉(zhuǎn)變[4]。然而改革的嘗試尚局限于部分高校,尤其是對(duì)于人文社科成果評(píng)價(jià)的改革探索更是鳳毛麟角,絕大多數(shù)高校及科研機(jī)構(gòu)仍處于觀望階段。
3.科學(xué)有效成果評(píng)價(jià)體系的意義彰顯
人文社科成果評(píng)價(jià)要實(shí)現(xiàn)“破立并舉”,落實(shí)政策的過(guò)程務(wù)必處理好破與立的關(guān)系。破“四唯”“五唯”是手段而非目的,不能將原有評(píng)價(jià)體系集體廢除,而是要通過(guò)厘清科研成果產(chǎn)生的內(nèi)在邏輯,在尊重知識(shí)生產(chǎn)方式和學(xué)科特點(diǎn)的基礎(chǔ)上,構(gòu)建恰當(dāng)合理的評(píng)價(jià)方式。這是由于我國(guó)科研建制以項(xiàng)目制為主要開(kāi)展形式,國(guó)家通過(guò)經(jīng)費(fèi)投入支持學(xué)科發(fā)展。對(duì)科研成果開(kāi)展評(píng)價(jià)是實(shí)現(xiàn)科研績(jī)效測(cè)評(píng)及資源分配的依據(jù),更是“以評(píng)促進(jìn)”的重要環(huán)節(jié)。需要注意的是,人文社科領(lǐng)域的科研成果具有一定的隱性特質(zhì),很難像自然科學(xué)成果一樣通過(guò)生產(chǎn)力的轉(zhuǎn)化進(jìn)行效益評(píng)估,但不可因?yàn)椤半y評(píng)價(jià)”而“棄評(píng)價(jià)”。顯然,人文社科破“四唯”“五唯”的重點(diǎn)是建立科學(xué)有效的成果評(píng)價(jià)體系,其意義有三:(1)成果評(píng)價(jià)是成果質(zhì)量的保障。近年來(lái),大部分高校重視各類基金項(xiàng)目的申報(bào),實(shí)行目標(biāo)任務(wù)制的考評(píng)方式,導(dǎo)致科研人員“重立項(xiàng)、輕結(jié)項(xiàng)”,使得國(guó)撥經(jīng)費(fèi)利用率低、優(yōu)秀成果產(chǎn)出匱乏。因此建立以成果評(píng)價(jià)為載體的約束機(jī)制不僅能借助基金這一政策杠桿撬動(dòng)優(yōu)秀成果,保障科研成果質(zhì)量,而且能科學(xué)地評(píng)價(jià)投入資源是否得到合理利用,實(shí)現(xiàn)管理目標(biāo)。(2)成果評(píng)價(jià)是科研目標(biāo)的導(dǎo)引?;痤愴?xiàng)目的立項(xiàng)原則是“堅(jiān)持問(wèn)題導(dǎo)向,以嚴(yán)謹(jǐn)回答重大理論和現(xiàn)實(shí)問(wèn)題為主攻方向”。因而對(duì)項(xiàng)目成果進(jìn)行評(píng)價(jià)具有重要的標(biāo)尺作用,一則可以判斷實(shí)際產(chǎn)出的成果價(jià)值與預(yù)期價(jià)值是否相符;二則可遴選出高影響力的優(yōu)秀成果,在同類研究中樹(shù)立標(biāo)桿、推舉典范。(3)成果評(píng)價(jià)是對(duì)存在問(wèn)題的反饋。通過(guò)成果評(píng)價(jià),可將存在問(wèn)題及專家建議反饋給研究者,有利于研究者發(fā)現(xiàn)研究缺陷及盲區(qū)。同時(shí),成果評(píng)價(jià)作為項(xiàng)目制管理的重要環(huán)節(jié),間接反映了基金管理流程組織與開(kāi)展情況,實(shí)現(xiàn)及時(shí)改進(jìn)與調(diào)適。因此,以破“四唯”“五唯”為契機(jī),通過(guò)反觀人文社科成果評(píng)價(jià)活動(dòng),對(duì)現(xiàn)有評(píng)價(jià)體系進(jìn)行把脈,找出問(wèn)題和癥結(jié),實(shí)現(xiàn)破舊立新,具有重要意義。
(二)學(xué)術(shù)進(jìn)展
在評(píng)價(jià)理念轉(zhuǎn)型的大背景下,學(xué)界對(duì)人文社科成果評(píng)價(jià)的研究之風(fēng)日盛。實(shí)踐中,人文社科成果的范疇界定與分類方法眾多。按照成果產(chǎn)出的階段,可分為階段性成果及最終成果兩類,但二者之間存在成果形式的交集,比如階段性成果與最終成果均包含有學(xué)術(shù)論文、研究報(bào)告等成果形式。按照成果性質(zhì)的類型,一般分為基礎(chǔ)型研究和應(yīng)用型研究?jī)深?。按學(xué)科層面的分類,又分為人文學(xué)科與社會(huì)學(xué)科[5]。然而其成果無(wú)論以何種分類界定,學(xué)界對(duì)人文社科成果評(píng)價(jià)的研究不外乎三種,即評(píng)價(jià)構(gòu)建理論的研究(理論依據(jù))、評(píng)價(jià)內(nèi)容的研究(評(píng)什么)、評(píng)價(jià)方式的研究(怎么評(píng))。
1.關(guān)于評(píng)價(jià)理論的研究
績(jī)效評(píng)價(jià)是人文社科成果評(píng)價(jià)的主要實(shí)現(xiàn)形式。早在1980年,Beamon就提出,任何企業(yè)都要通過(guò)制定適用于自身的績(jī)效管理模式來(lái)保證運(yùn)營(yíng)與協(xié)調(diào)發(fā)展[6]。隨著各國(guó)科研管理的興起,績(jī)效管理的研究及理論成果被廣泛運(yùn)用于科研評(píng)價(jià)的多個(gè)方面。美國(guó)是最早開(kāi)展科研績(jī)效評(píng)價(jià)的國(guó)家,而英國(guó)政府推行的REF模式在注重績(jī)效的前提下,更加強(qiáng)化了成果的質(zhì)量導(dǎo)向。近年來(lái),各國(guó)科研評(píng)價(jià)研究表現(xiàn)出以下共性:(1)以績(jī)效評(píng)價(jià)為主要理念。包括我國(guó)在內(nèi)多數(shù)國(guó)家的科研評(píng)價(jià)基本都以政府為主體或者具有政府背景,而項(xiàng)目制是科研開(kāi)展的主要實(shí)現(xiàn)形式,因此對(duì)基礎(chǔ)研究的資助及考核依賴于整體績(jī)效評(píng)價(jià),通過(guò)對(duì)投入產(chǎn)出的測(cè)算來(lái)實(shí)現(xiàn)管理。(2)成果評(píng)價(jià)是科研績(jī)效評(píng)價(jià)的主要內(nèi)容[7]。在美、德、英、法等科研強(qiáng)國(guó)的科研評(píng)價(jià)中,成果質(zhì)量及創(chuàng)新成果的評(píng)價(jià)均在科研評(píng)價(jià)體系中占主要內(nèi)容和較高權(quán)重。事實(shí)上,績(jī)效評(píng)價(jià)是科研評(píng)價(jià)的主要實(shí)現(xiàn)形式,而成果評(píng)價(jià)則是科研績(jī)效評(píng)價(jià)的主要內(nèi)容。
2.關(guān)于評(píng)價(jià)內(nèi)容的研究
人文社科成果的形式主要體現(xiàn)為學(xué)術(shù)論文、學(xué)術(shù)專著、學(xué)術(shù)研究報(bào)告三類。因此,對(duì)人文社科成果評(píng)價(jià)內(nèi)容的研究也主要集中于對(duì)這三種成果載體的單一評(píng)價(jià)或綜合評(píng)價(jià)。目前,針對(duì)三種不同成果形式而開(kāi)展的評(píng)價(jià)方法各自有別。高自龍等提出,要對(duì)人文社科學(xué)術(shù)論文開(kāi)展分類評(píng)價(jià),其方案設(shè)計(jì)中提出的按照論述體裁及一級(jí)學(xué)科進(jìn)行論文分類評(píng)價(jià)的思想具有可操作性和合理性[8];黃煒等運(yùn)用績(jī)效評(píng)價(jià)模式對(duì)2001—2013年20門人文社科學(xué)科的論文產(chǎn)出進(jìn)行效率分析,得出論文產(chǎn)出效率較低的結(jié)論[9];姚莉等針對(duì)以專著形式為成果載體的《成果文庫(kù)》,提出了一套影響力評(píng)價(jià)的指標(biāo)體系[10];張玉等人構(gòu)建了對(duì)中文著作學(xué)術(shù)影響力進(jìn)行評(píng)價(jià)的指標(biāo)體系,該體系包含4個(gè)維度27個(gè)指標(biāo)因子,并采用書(shū)評(píng)、引文、同行評(píng)議等多種方式開(kāi)展評(píng)價(jià)[11];魏慶肖采用傳統(tǒng)計(jì)量指標(biāo)與補(bǔ)充計(jì)量指標(biāo)相結(jié)合的模式,構(gòu)建了定性定量相結(jié)合的指標(biāo)體系,用于完善人文社科學(xué)術(shù)專著的評(píng)價(jià)方法[12];賴永兵通過(guò)構(gòu)建模型實(shí)現(xiàn)對(duì)情報(bào)研究報(bào)告的綜合質(zhì)量測(cè)評(píng)[13]。
3.關(guān)于評(píng)價(jià)方式的研究
人文社科成果的評(píng)價(jià)方式一般分為三類,即以同行評(píng)議為主的定性評(píng)價(jià)、以指標(biāo)計(jì)量為主的定量評(píng)價(jià)和定性與定量相結(jié)合的綜合評(píng)價(jià)。其中,同行評(píng)議是國(guó)際上通用的人文社科科研成果評(píng)價(jià)的經(jīng)典做法。但隨著圖情學(xué)和文獻(xiàn)計(jì)量學(xué)的發(fā)展,指標(biāo)計(jì)量與同行評(píng)議在人文社科成果評(píng)價(jià)中的主體地位開(kāi)始處于爭(zhēng)論及博弈狀態(tài)。(1)以同行評(píng)議為主的定性評(píng)價(jià)研究。同行評(píng)議是人文社科領(lǐng)域認(rèn)同度較高的一種評(píng)價(jià)方法,由默頓在20世紀(jì)六七十年代于《科學(xué)社會(huì)學(xué):理論研究與經(jīng)驗(yàn)調(diào)查》一書(shū)中首次提出[14],這是同行評(píng)議的雛形和基礎(chǔ),之后對(duì)同行評(píng)議的研究大都基于“默頓學(xué)派”的理論進(jìn)行拓展。國(guó)內(nèi)較有影響力的研究是卜衛(wèi)[15]等在1998年發(fā)表的《社會(huì)科學(xué)成果價(jià)值評(píng)估》中,提出人文社科的成果價(jià)值以“科學(xué)共同體”的評(píng)價(jià)作為判斷的直接指標(biāo);胡明銘等[16]認(rèn)為,同行評(píng)議盡管是一種主觀的方法,但在人文社科評(píng)價(jià)領(lǐng)域尚沒(méi)有更好的方法取而代之。(2)以指標(biāo)計(jì)量為主的定量評(píng)價(jià)研究。人文社科成果定量評(píng)價(jià)方式主要有兩種:一是根據(jù)指標(biāo)因子及權(quán)重實(shí)現(xiàn)量化評(píng)級(jí)。比如,陸宇飛以學(xué)術(shù)著作為研究載體,研究構(gòu)建了國(guó)家社科基金后期資助項(xiàng)目的成果評(píng)價(jià)指標(biāo)體系[17];二是依據(jù)績(jī)效管理理論對(duì)被評(píng)價(jià)單元進(jìn)行績(jī)效考核,其中數(shù)據(jù)包絡(luò)分析法(即DEA)最為經(jīng)典和實(shí)用[18]。比如,姜彤彤等將DEA法用于高校的科研績(jī)效評(píng)估,避免了傳統(tǒng)評(píng)價(jià)指標(biāo)體系僅注重絕對(duì)數(shù)量和規(guī)模的缺陷,可用于不同評(píng)價(jià)單元的橫向比較[19]。(3)定性與定量相結(jié)合的綜合評(píng)價(jià)研究。定性與定量相結(jié)合的綜合評(píng)價(jià)方式是近年的研究熱點(diǎn)。2015年《萊頓宣言》提出的首條原則即為“量化評(píng)估應(yīng)當(dāng)支持而非取代質(zhì)化的專家評(píng)審”[20];英國(guó)科研卓越框架(REF)采用專家評(píng)議為主、計(jì)量評(píng)價(jià)為輔的綜合評(píng)價(jià)方式,并且將“科研成果”作為主要考察因素[21];鄭德俊等在原有同行評(píng)議的基礎(chǔ)上加入定量評(píng)價(jià)指標(biāo),減少了專家評(píng)議的主觀影響[22];葉繼元提出以同行專家主導(dǎo)、量化評(píng)價(jià)輔助的方式構(gòu)建學(xué)術(shù)“全評(píng)價(jià)”體系[23];張獻(xiàn)鋒24探討了通過(guò)增加評(píng)議專家群體,實(shí)現(xiàn)評(píng)價(jià)主體多元化,從而最大程度減少同行評(píng)議的主觀性和隨意性[24]。
(三)筆者的研究思路與期待
通過(guò)對(duì)已有文獻(xiàn)的梳理可以發(fā)現(xiàn),隨著學(xué)術(shù)共同體的發(fā)展及科研環(huán)境的變化,經(jīng)典的同行評(píng)議日漸暴露出一些問(wèn)題和局限性,比如:隨機(jī)性較強(qiáng)[25]、遴選過(guò)程影響評(píng)價(jià)結(jié)果的主體決策性[26],帶有偏見(jiàn)的“小同行”阻礙新興研究領(lǐng)域的學(xué)科發(fā)展[27]等。事實(shí)上,當(dāng)前的科研體制不可避免地會(huì)摻入官本位思想及小學(xué)術(shù)團(tuán)體等人情關(guān)系因素,進(jìn)而引發(fā)了學(xué)界對(duì)某些簡(jiǎn)單“懶政”式的同行評(píng)議的質(zhì)疑及討論。但如果單純以指標(biāo)計(jì)量來(lái)考評(píng)人文社科科研成果的價(jià)值則容易陷入“四唯”“五唯”誤區(qū)。教師唯“數(shù)量論”“唯結(jié)果論”,學(xué)校“唯排名論”,導(dǎo)致科研成果“重量輕質(zhì)”的現(xiàn)象日益突出[28]。
基于以上研究及其存在的問(wèn)題,筆者擬選取人文社科領(lǐng)域具有較大覆蓋面和影響力的國(guó)家社科基金年度項(xiàng)目(以下簡(jiǎn)稱“國(guó)家社科基金項(xiàng)目”)的成果鑒定為研究對(duì)象。這是我國(guó)人文社科領(lǐng)域最高級(jí)別的國(guó)家項(xiàng)目,而成果評(píng)價(jià)作為其中的重要環(huán)節(jié)之一,是科學(xué)評(píng)價(jià)項(xiàng)目成果、提高成果質(zhì)量、促進(jìn)優(yōu)秀成果及優(yōu)秀人才產(chǎn)出的重要手段和保障,對(duì)人文社科整體評(píng)價(jià)具有示范作用。目前,國(guó)家社科基金項(xiàng)目成果評(píng)價(jià)方式是針對(duì)最終成果實(shí)行的雙向匿名同行評(píng)議制度。暫未納入階段性成果這一定量評(píng)價(jià)維度,缺乏對(duì)研究過(guò)程的跟蹤和考核。而對(duì)國(guó)家社科基金項(xiàng)目的現(xiàn)有研究也多為單一案例分析或者局限于定性討論的模式,缺乏大規(guī)模面板數(shù)據(jù)的實(shí)證研究。為此,筆者擬以國(guó)家社科基金項(xiàng)目成果鑒定數(shù)據(jù)為樣本,期待研究以下問(wèn)題:國(guó)家社科基金項(xiàng)目成果鑒定的定量評(píng)價(jià)與定性評(píng)價(jià)之間是否存在差異?差異是否具有學(xué)科特異性?階段性成果是否有必要納入現(xiàn)有成果評(píng)價(jià)體系?定量評(píng)價(jià)與定性評(píng)價(jià)之間的主次關(guān)系如何安排才能實(shí)現(xiàn)優(yōu)缺點(diǎn)互補(bǔ)?
二、數(shù)據(jù)采集與研究方法
(一)數(shù)據(jù)采集
自2017年10月至2019年2月,研究組走訪多所在京高校的人文社科科研管理部門及相關(guān)國(guó)家社科基金管理部門,調(diào)研獲取了38所在京高校2013—2017年國(guó)家社科基金項(xiàng)目成果鑒定數(shù)據(jù)樣本978份:包括免于鑒定項(xiàng)目74項(xiàng),鑒定結(jié)果為優(yōu)秀的項(xiàng)目45項(xiàng),良好289項(xiàng),合格441項(xiàng)、不合格88項(xiàng)。根據(jù)研究樣本統(tǒng)一性原則,數(shù)據(jù)清洗去除74項(xiàng)免于鑒定項(xiàng)目,最終納入數(shù)據(jù)分析的樣本為863項(xiàng)。所取樣本包含了國(guó)家社科基金管理劃分的全部23個(gè)學(xué)科,每個(gè)項(xiàng)目樣本數(shù)據(jù)包含階段性成果數(shù)據(jù)及專家鑒定等級(jí)數(shù)據(jù)。樣本覆蓋面廣,數(shù)據(jù)齊全,適于定量分析。此外,本研究收集整理了2012—2018年《國(guó)家社會(huì)科學(xué)基金年度報(bào)告》里有關(guān)年度項(xiàng)目成果鑒定的數(shù)據(jù),用于分析全國(guó)整體概況。
(二)研究方法
本研究綜合運(yùn)用數(shù)據(jù)包絡(luò)分析法(Data Envelopment Analysis,簡(jiǎn)稱DEA法)及方差分析法等多種計(jì)量方法開(kāi)展定量研究。
首先,提取整理2012—2018年《國(guó)家社會(huì)科學(xué)基金年度報(bào)告》數(shù)據(jù),根據(jù)國(guó)家社科基金在全國(guó)范圍內(nèi)的成果鑒定概況進(jìn)行趨勢(shì)分析。
其次,以在京高校863個(gè)結(jié)項(xiàng)樣本的階段性成果數(shù)據(jù)為分析對(duì)象,運(yùn)用DEA法對(duì)38所在京高校2013—2017年間的國(guó)家社科基金階段性成果投入產(chǎn)出效率數(shù)據(jù)進(jìn)行績(jī)效分析。DEA在處理多投入、多產(chǎn)出的有效性評(píng)價(jià)方面具有絕對(duì)優(yōu)勢(shì),其要求投入與產(chǎn)出指標(biāo)之間具有正相關(guān)關(guān)系,即增加投入指標(biāo),不會(huì)導(dǎo)致產(chǎn)出指標(biāo)的減少。從一般思維邏輯上看,國(guó)家社科基金階段性成果投入產(chǎn)出數(shù)據(jù)符合DEA法的使用要求。因此,根據(jù)DEA模型選定決策單元、投入指標(biāo)、產(chǎn)出指標(biāo),即依據(jù)國(guó)家社科基金的學(xué)科劃分原則選定決策單元(DMU)為23個(gè)人文社會(huì)學(xué)科;根據(jù)數(shù)據(jù)完備性、獨(dú)立性、可得性、關(guān)聯(lián)性的原則,選定投入指標(biāo)兩項(xiàng),即項(xiàng)目數(shù)、經(jīng)費(fèi)數(shù),產(chǎn)出指標(biāo)三項(xiàng),即研究報(bào)告(以下簡(jiǎn)稱研報(bào))、專著、中外期刊論文。本研究綜合運(yùn)用規(guī)模收益不變的C2R模型和規(guī)模收益可變的BC2模型進(jìn)行分析,評(píng)估前沿生產(chǎn)函數(shù),計(jì)算各DMU的技術(shù)效率、純技術(shù)效率、規(guī)模效率,以及規(guī)模收益情況。
再次,以863個(gè)結(jié)項(xiàng)樣本的最終成果專家鑒定等級(jí)數(shù)據(jù)為分析對(duì)象,計(jì)算成果鑒定等級(jí)為優(yōu)秀或良好的項(xiàng)目百分比(優(yōu)良率)。將此數(shù)據(jù)與DEA結(jié)果進(jìn)行比較,觀察23類學(xué)科中的哪些學(xué)科存在定量評(píng)價(jià)與定性評(píng)價(jià)差異較大的現(xiàn)象。
最后,將以上步驟得到的定性數(shù)據(jù)及定量數(shù)據(jù)統(tǒng)一進(jìn)行無(wú)量綱化處理,采用SPSS進(jìn)行方差分析,遴選出兩種評(píng)價(jià)方法處理下差異較大的學(xué)科,尋找學(xué)科分布規(guī)律。
三、實(shí)證分析與研究結(jié)果
(一)全國(guó)項(xiàng)目結(jié)項(xiàng)與成果鑒定概況及趨勢(shì)分析
選取《國(guó)家社會(huì)科學(xué)基金年度報(bào)告》(以下簡(jiǎn)稱“《報(bào)告》”)作為分析的數(shù)據(jù)來(lái)源。該報(bào)告由全國(guó)哲學(xué)社會(huì)科學(xué)規(guī)劃辦公室統(tǒng)一編撰發(fā)布,是目前國(guó)家社科基金最新最全的官方統(tǒng)計(jì)年鑒資料。報(bào)告自2012年起發(fā)行出版,每年5月發(fā)行上一年度報(bào)告。截至2020年3月,本研究系統(tǒng)收集了迄今為止已發(fā)行的所有報(bào)告,選取了國(guó)家社科基金中覆蓋面最廣且影響力最大的年度項(xiàng)目作為研究對(duì)象,統(tǒng)計(jì)繪制2012—2018年項(xiàng)目結(jié)項(xiàng)與成果鑒定情況表(表1)。
本研究通過(guò)訪談國(guó)家社科基金項(xiàng)目管理人員得知,近年來(lái)基金項(xiàng)目的經(jīng)費(fèi)支持每年呈現(xiàn)遞增趨勢(shì)。該情況在表1數(shù)據(jù)中體現(xiàn)為:2012—2018年間申請(qǐng)結(jié)項(xiàng)數(shù)大體呈增長(zhǎng)趨勢(shì);結(jié)項(xiàng)率穩(wěn)定,體現(xiàn)了項(xiàng)目進(jìn)度與驗(yàn)收情況良好。然而,優(yōu)良率卻出現(xiàn)逐年降低的趨勢(shì)(圖1),這表明國(guó)家社科基金盡管加大了投入支持力度,但是優(yōu)良率并未隨投入增多而增大。研究顯示,從全國(guó)范圍看,科研績(jī)效產(chǎn)出情況不夠理想,國(guó)家社科基金項(xiàng)目的研究水平及研究成果質(zhì)量仍存在一定的提升空間。因此本研究認(rèn)為,通過(guò)建立適當(dāng)?shù)某晒u(píng)價(jià)體系以導(dǎo)向性提高國(guó)家社科基金項(xiàng)目成果質(zhì)量勢(shì)在必行。
(二)定量評(píng)價(jià)與定性評(píng)價(jià)在成果評(píng)價(jià)中的差異性和同質(zhì)性分析
將收集到的863個(gè)在京高校結(jié)項(xiàng)樣本數(shù)據(jù)按照學(xué)科分類分解為23個(gè)決策單元(DMU)。首先,采用DEA法計(jì)算23個(gè)學(xué)科5年內(nèi)階段性成果的投入產(chǎn)出績(jī)效值。然后,計(jì)算各學(xué)科專家評(píng)議模式下成果鑒定的優(yōu)良率。最后,將兩組數(shù)據(jù)(DEA數(shù)據(jù)與優(yōu)良率數(shù)據(jù))進(jìn)行直觀比較。在此基礎(chǔ)上對(duì)兩組數(shù)據(jù)進(jìn)行無(wú)量綱化處理并計(jì)算方差,確定組間存在顯著差異的學(xué)科及分布規(guī)律。
1.階段性成果的計(jì)量評(píng)價(jià)分析
表2數(shù)據(jù)是定量評(píng)價(jià)與定性評(píng)價(jià)結(jié)果的匯總。對(duì)表2中采用DEA法計(jì)算績(jī)效的定量評(píng)價(jià)結(jié)果進(jìn)行分析,得出結(jié)論如下:(1)23個(gè)學(xué)科的科研成果產(chǎn)出綜合技術(shù)效率平均值為0.829,純技術(shù)效率平均值為0.899,規(guī)模效率平均值0.923。反映出2013—2017年間北京地區(qū)38所樣本高校的研究效率總體情況較好,項(xiàng)目總體上得到了良好的運(yùn)行和開(kāi)展。(2)4個(gè)學(xué)科技術(shù)效率有效,分別是理論經(jīng)濟(jì)、人口學(xué)、體育學(xué)、宗教學(xué)。這些學(xué)科的技術(shù)效率、純技術(shù)效率及規(guī)模效率均為1,定量評(píng)價(jià)的結(jié)果說(shuō)明這些單元投入合理,產(chǎn)出效率高,處于規(guī)模報(bào)酬最優(yōu)階段。(3)9個(gè)學(xué)科雖然技術(shù)效率無(wú)效,但純技術(shù)效率有效(vrsre=1),包括:法學(xué)、管理學(xué)、考古學(xué)、社會(huì)學(xué)、世界歷史、統(tǒng)計(jì)學(xué)、應(yīng)用經(jīng)濟(jì)、哲學(xué)、中國(guó)歷史。這些學(xué)科可根據(jù)其所處的規(guī)模收益階段,適當(dāng)調(diào)整投入產(chǎn)出規(guī)模實(shí)現(xiàn)DEA有效。(4)9個(gè)學(xué)科綜合技術(shù)效率及純技術(shù)效率均無(wú)效。包括:黨史黨建、國(guó)際問(wèn)題研究、考古學(xué)、馬列科社、圖情、新聞與傳播學(xué)、語(yǔ)言學(xué)、政治學(xué)、中國(guó)文學(xué)。在調(diào)研訪談中得知,這些學(xué)科多數(shù)是屬于理論研究或基礎(chǔ)性研究,成果產(chǎn)出周期長(zhǎng),階段成果的發(fā)表存在一定困難。對(duì)于這類學(xué)科,不能簡(jiǎn)單地通過(guò)定量計(jì)數(shù)的方式來(lái)評(píng)價(jià)其科研效率,而此時(shí)同行評(píng)議無(wú)疑成為了不可替代的評(píng)價(jià)方式。
2.針對(duì)最終成果的同行評(píng)議分析
國(guó)家社科基金最終成果評(píng)價(jià)是在綜合考慮5位同行專家鑒定分?jǐn)?shù)、等級(jí)建議、鑒定意見(jiàn)的基礎(chǔ)上確定結(jié)項(xiàng)等級(jí)。根據(jù)結(jié)項(xiàng)管理規(guī)定,鑒定等級(jí)按表3所示劃分為四類。本研究根據(jù)該等級(jí)劃分標(biāo)準(zhǔn),計(jì)算統(tǒng)計(jì)了863個(gè)樣本中每個(gè)學(xué)科所包含鑒定等級(jí)為優(yōu)秀或良好的項(xiàng)目數(shù),并計(jì)算優(yōu)良率(表2)。從結(jié)果看出,優(yōu)良率大于50%的學(xué)科為:世界歷史、外國(guó)文學(xué)、語(yǔ)言學(xué)、哲學(xué)、中國(guó)歷史、中國(guó)文學(xué)。
3.計(jì)量評(píng)價(jià)與同行評(píng)議的對(duì)比分析
將表2中的定量評(píng)價(jià)(技術(shù)效率)及定性評(píng)價(jià)(優(yōu)良率)兩組數(shù)據(jù)單獨(dú)挑出進(jìn)行對(duì)比分析(圖2)。單就某一觀測(cè)單元(即學(xué)科)而言,兩組折線圖中數(shù)值點(diǎn)距離較近表示評(píng)價(jià)結(jié)果趨同性較強(qiáng),如:外國(guó)文學(xué)、法學(xué)、圖情、國(guó)際問(wèn)題、哲學(xué)、考古、黨史黨建等學(xué)科。這類學(xué)科中定性評(píng)價(jià)與定量評(píng)價(jià)的結(jié)果變化趨勢(shì)一致。而兩組折線圖中數(shù)值點(diǎn)距離較遠(yuǎn)的學(xué)科則表示評(píng)價(jià)結(jié)果差異性較強(qiáng)。如:體育學(xué)、管理學(xué)、人口學(xué)、理論經(jīng)濟(jì)等學(xué)科,這類學(xué)科中定性評(píng)價(jià)與定量評(píng)價(jià)的結(jié)果變化趨勢(shì)相反。
總體上看,本研究得出的結(jié)果符合學(xué)界的常規(guī)認(rèn)識(shí)。首先,定性和定量?jī)煞N評(píng)價(jià)方式在大多數(shù)人文社科學(xué)科中的評(píng)價(jià)結(jié)果存在同質(zhì)性,不存在較大的極端情況;其次,根據(jù)現(xiàn)有研究趨勢(shì),學(xué)界多倡導(dǎo)推行定性與定量相結(jié)合的綜合評(píng)價(jià)模式。這與本研究得出結(jié)論一致,即同行評(píng)議在人文社科的部分學(xué)科成果評(píng)價(jià)中具有不可替代的作用,而計(jì)量評(píng)價(jià)對(duì)同行評(píng)議具有輔助作用。
4.定性、定量評(píng)價(jià)方式差異較大的學(xué)科情況分析
從以上研究得知,在人文社科成果評(píng)價(jià)中,定量評(píng)價(jià)與定性評(píng)價(jià)具有同質(zhì)性和差異性。為進(jìn)一步探究?jī)煞N評(píng)價(jià)方式差異性存在的學(xué)科分布情況,本研究利用線性函數(shù)將兩種評(píng)價(jià)結(jié)果的數(shù)據(jù)進(jìn)行無(wú)量綱化轉(zhuǎn)換。首先按以下公式將兩種評(píng)價(jià)方法得到的結(jié)果統(tǒng)一量綱:轉(zhuǎn)換后的值=(轉(zhuǎn)換前的值-樣本最小值)/(樣本最大值-樣本最小值)。然后對(duì)兩組數(shù)據(jù)進(jìn)行無(wú)重復(fù)雙因素方差分析。從表4數(shù)據(jù)結(jié)果得出:(1)組間方差值較大(大于0.1)的學(xué)科為管理學(xué)、理論經(jīng)濟(jì)、人口學(xué)、社會(huì)學(xué)、體育學(xué)、統(tǒng)計(jì)學(xué)、應(yīng)用經(jīng)濟(jì)。說(shuō)明在這幾個(gè)學(xué)科中,定性評(píng)價(jià)與定量評(píng)價(jià)的結(jié)果差異較大,階段性成果評(píng)價(jià)在這類學(xué)科中存在的影響不可忽視。(2)組間方差值較小(小于0.01)的學(xué)科為語(yǔ)言學(xué)、宗教學(xué)、新聞與傳播、中國(guó)文學(xué)、世界歷史、政治學(xué)、馬列科社、民族學(xué)、黨史黨建、考古學(xué)、哲學(xué)、國(guó)際問(wèn)題研究、圖情、外國(guó)文學(xué)、法學(xué)、中國(guó)歷史。說(shuō)明在這幾個(gè)學(xué)科中,定性評(píng)價(jià)與定量評(píng)價(jià)的結(jié)果差異不大,階段性成果評(píng)價(jià)與專家同行評(píng)議的結(jié)果具有同質(zhì)性。
為探尋組間差異較大學(xué)科之間的共性,本研究將863個(gè)結(jié)項(xiàng)數(shù)據(jù)樣本按照各項(xiàng)目研究類型的占比不同分為兩類,即基礎(chǔ)研究為主的學(xué)科和應(yīng)用研究為主的學(xué)科。圖3顯示了全樣本中23個(gè)學(xué)科的應(yīng)用類/基礎(chǔ)類占比。由圖3可知,應(yīng)用類研究為主(占比大于1)的學(xué)科為管理學(xué)、人口學(xué)、社會(huì)學(xué)、體育學(xué)、統(tǒng)計(jì)學(xué)、圖情、新聞傳播、應(yīng)用經(jīng)濟(jì);其余學(xué)科均為基礎(chǔ)類研究為主(占比小于1)的學(xué)科。結(jié)合方差分析的結(jié)果可知,兩種評(píng)價(jià)方法差異較大的情況存在于管理學(xué)、理論經(jīng)濟(jì)、人口學(xué)、社會(huì)學(xué)、體育學(xué)、統(tǒng)計(jì)學(xué)、應(yīng)用經(jīng)濟(jì)這七類學(xué)科中,其中除了理論經(jīng)濟(jì)(應(yīng)用基礎(chǔ)占比小于1)外,其余學(xué)科均為以應(yīng)用類研究為主的學(xué)科。說(shuō)明兩種評(píng)價(jià)結(jié)果差異較大的學(xué)科基本上都分布于應(yīng)用類學(xué)科。因此得出結(jié)論,階段性成果的定量評(píng)價(jià)對(duì)應(yīng)用型學(xué)科存在不可忽視的作用。
四、主要結(jié)論與政策建議
(一)主要結(jié)論
1.定性、定量評(píng)價(jià)的同質(zhì)性
定性、定量?jī)煞N評(píng)價(jià)方式在大部分學(xué)科評(píng)價(jià)中存在同質(zhì)性。本研究對(duì)23個(gè)人文社科學(xué)科分別開(kāi)展了定性評(píng)價(jià)及定量評(píng)價(jià)。對(duì)比后發(fā)現(xiàn),兩種評(píng)價(jià)方法所得結(jié)果趨同的學(xué)科共16個(gè),約占70%。說(shuō)明在人文社科成果評(píng)價(jià)領(lǐng)域,兩種評(píng)價(jià)方法對(duì)于大多數(shù)學(xué)科的評(píng)價(jià)結(jié)果差異不大,具有同質(zhì)性。這也驗(yàn)證了,盡管同行評(píng)議存在爭(zhēng)議,但就目前來(lái)看,這種評(píng)價(jià)方式在人文社科成果評(píng)價(jià)領(lǐng)域確實(shí)是無(wú)可替代的。尤其對(duì)于基礎(chǔ)類人文社科研究,其成果具有隱形特質(zhì),成果周期較長(zhǎng),依靠同行專家根據(jù)以往研究經(jīng)驗(yàn)和判斷給出的評(píng)價(jià)可以最大程度地降低由單一計(jì)量評(píng)價(jià)引起的“短視效應(yīng)”。因此,堅(jiān)持以同行評(píng)議為主的評(píng)價(jià)方式具有合理性和科學(xué)性。
2.定性、定量評(píng)價(jià)的差異性
定性、定量?jī)煞N評(píng)價(jià)方式在少部分學(xué)科評(píng)價(jià)中存在差異性。從以上研究得出結(jié)論,在23個(gè)樣本學(xué)科中有7個(gè)學(xué)科,如果對(duì)其采用單一的定量或定性評(píng)價(jià),則評(píng)價(jià)結(jié)果存在較大的差異性。具體表現(xiàn)為在階段性成果定量評(píng)價(jià)中,這7個(gè)學(xué)科的DEA純技術(shù)效率為1,績(jī)效測(cè)評(píng)結(jié)果表現(xiàn)優(yōu)秀。但在同行評(píng)議時(shí),優(yōu)良率均低于平均值(37%)。因此,本研究認(rèn)為,在評(píng)價(jià)以應(yīng)用型研究為主的學(xué)科時(shí),要考慮到這類學(xué)科成果產(chǎn)出的特點(diǎn),即在研究過(guò)程中的論文發(fā)表或階段成果的公布,具有時(shí)效性。實(shí)際上代表了較大比重的成果產(chǎn)出。不能搞“一刀切”,更不能為了“一碗水端平”而采用與基礎(chǔ)研究為主的學(xué)科相同的評(píng)價(jià)方式。在這一類學(xué)科中,計(jì)量評(píng)價(jià)有必要成為同行評(píng)議的重要補(bǔ)充。
3.階段性成果評(píng)價(jià)的必要性
階段性成果的計(jì)量評(píng)價(jià)有必要作為同行評(píng)議的輔助方式納入綜合考評(píng)。本研究實(shí)證分析結(jié)果表明,在多數(shù)應(yīng)用類學(xué)科中,存在同行評(píng)議部分失靈的情況(圖情學(xué)、新聞傳播學(xué)除外),因此,如果能在傳統(tǒng)同行評(píng)議的基礎(chǔ)上考慮這部分學(xué)科的階段性成果產(chǎn)出狀況,并將其納入成果評(píng)價(jià)中進(jìn)行綜合測(cè)評(píng),或可解決目前依靠單一同行評(píng)議對(duì)應(yīng)用型學(xué)科成果評(píng)價(jià)產(chǎn)生的片面性。此外,對(duì)于部分基礎(chǔ)類學(xué)科,例如理論經(jīng)濟(jì),在DEA測(cè)評(píng)中表現(xiàn)出不俗的成績(jī)(三項(xiàng)績(jī)效指標(biāo)均有效,位于生產(chǎn)前沿面上),但同行評(píng)議結(jié)果不甚理想。對(duì)于存在個(gè)別差異現(xiàn)象的基礎(chǔ)性學(xué)科,假如將其階段性成果的產(chǎn)出狀況納入綜合考評(píng),或可為同行評(píng)議提供數(shù)據(jù)參考。
(二)政策建議
1.引入元評(píng)價(jià)理念,動(dòng)態(tài)監(jiān)控評(píng)價(jià)偏差
“四唯”“五唯”不良傾向在以往學(xué)術(shù)評(píng)價(jià)領(lǐng)域長(zhǎng)期盛行的深層次原因是對(duì)原有評(píng)價(jià)體系缺乏監(jiān)督與糾偏,即缺乏對(duì)原有評(píng)價(jià)體系的元評(píng)價(jià)研究。同樣,人文社科成果評(píng)價(jià)缺乏相應(yīng)的元評(píng)價(jià)監(jiān)控也會(huì)引起評(píng)價(jià)“偏差大”。美國(guó)州立威諾納大學(xué)校長(zhǎng)R.Krugman曾經(jīng)指出,“無(wú)論哪一類評(píng)價(jià),其結(jié)果經(jīng)得起推敲的前提都必須經(jīng)過(guò)元評(píng)價(jià)的檢驗(yàn)”。目前世界各科研強(qiáng)國(guó)大多采用元評(píng)價(jià)的方式實(shí)現(xiàn)對(duì)現(xiàn)行評(píng)價(jià)體系的監(jiān)控與糾偏。如:美國(guó)通過(guò)采用Join Committee提出的元評(píng)價(jià)標(biāo)準(zhǔn)對(duì)教育、科研等評(píng)價(jià)活動(dòng)進(jìn)行監(jiān)控與再評(píng)價(jià);日本在科研評(píng)價(jià)中運(yùn)用元評(píng)價(jià)理念采取自評(píng)與他評(píng)相結(jié)合,重視戴明循環(huán)在科研成果評(píng)價(jià)中的作用[29]。我國(guó)的科研元評(píng)價(jià)尚處于理論探索階段,尤其是針對(duì)人文社科成果評(píng)價(jià)的元評(píng)價(jià)更為缺乏。破“四唯”“五唯”不良傾向的提出,雖未提及“元評(píng)價(jià)”一詞,但其實(shí)質(zhì)是通過(guò)反觀現(xiàn)有評(píng)價(jià)體系的漏洞及不足,提出修正和糾偏策略,完全屬于元評(píng)價(jià)的理念范疇。如上所述,現(xiàn)行的人文社科成果評(píng)價(jià)多為科研績(jī)效評(píng)價(jià)??蒲锌?jī)效評(píng)價(jià)雖然能夠引導(dǎo)科研發(fā)展的方向,但在績(jī)效評(píng)價(jià)的過(guò)程中,由于對(duì)事物發(fā)展形態(tài)存在認(rèn)知局限性,或是由于存在系統(tǒng)內(nèi)外環(huán)境中可變因素的影響,使得科研績(jī)效評(píng)價(jià)出現(xiàn)偏差,不能達(dá)到預(yù)期的評(píng)價(jià)效果。對(duì)科研績(jī)效評(píng)價(jià)開(kāi)展元評(píng)價(jià),能夠?qū)崿F(xiàn)科研績(jī)效評(píng)價(jià)角色的轉(zhuǎn)變,使其由評(píng)價(jià)行為的發(fā)出主體變?yōu)楸辉u(píng)價(jià)的客體對(duì)象,對(duì)原有體系開(kāi)展檢驗(yàn)及審視。因此,務(wù)必利用破“四唯”“五唯”的良好機(jī)會(huì),采用元評(píng)價(jià)的理念及方法開(kāi)展對(duì)舊評(píng)價(jià)體系的調(diào)整,歸正我國(guó)現(xiàn)有人文社科成果評(píng)價(jià)體系缺乏適時(shí)監(jiān)控及評(píng)價(jià)反饋等弊端,從而在破舊立新中提升人文社科成果評(píng)價(jià)質(zhì)量。
2.引入過(guò)程性評(píng)價(jià),妥善區(qū)分“不唯”與“不評(píng)”
國(guó)家社科基金項(xiàng)目的成果既包含最終成果,也包含階段性成果。目前對(duì)國(guó)家社科基金項(xiàng)目成果鑒定主要針對(duì)的是最終成果,而階段性成果僅作為數(shù)據(jù)提供給相關(guān)管理部門參考。但是階段性成果作為反應(yīng)研究過(guò)程科研績(jī)效的重要數(shù)據(jù),尤其是對(duì)應(yīng)用類學(xué)科的項(xiàng)目成果鑒定具有重要的參考價(jià)值。階段性成果包含:獲獎(jiǎng)、四大期刊轉(zhuǎn)載、發(fā)表國(guó)內(nèi)外論文、階段研報(bào)、專著等指標(biāo)。其中學(xué)術(shù)論文、學(xué)術(shù)專著、學(xué)術(shù)研究報(bào)告是人文社科成果形式的主要體現(xiàn)。首先,學(xué)術(shù)論文不僅是人文社科科研成果的主要表現(xiàn)形式,也是科研質(zhì)量的主要評(píng)價(jià)維度。學(xué)術(shù)論文具有直觀、體現(xiàn)研究熱點(diǎn)、成果使用方便的優(yōu)點(diǎn),體現(xiàn)了人文社科科研的最新研究思想。“不唯論文”與“不評(píng)論文”是兩個(gè)不同的概念,事實(shí)上,論文在人文社科成果中體現(xiàn)重要的載體作用?!安晃ā钡膬?nèi)在要求是不以論文作為單一的成果評(píng)價(jià)指標(biāo)。而應(yīng)注重改變?cè)u(píng)價(jià)的實(shí)質(zhì)內(nèi)涵,將這一指標(biāo)正本清源,推行代表作制度,通過(guò)構(gòu)建人文社科成果評(píng)價(jià)體系引導(dǎo)論文質(zhì)量提升。學(xué)界對(duì)類似指標(biāo)的研究也較為成熟,比如邱均平等人提出將轉(zhuǎn)載作為評(píng)價(jià)指標(biāo)之一的文摘評(píng)價(jià)法,是對(duì)論文水平進(jìn)行間接評(píng)價(jià)的良好手段,可在很大程度上彌補(bǔ)由單一引文分析帶來(lái)的公允性爭(zhēng)議[30]。其次,學(xué)術(shù)專著是學(xué)術(shù)圖書(shū)的主要類型,相比其他如譯著、教材等圖書(shū),學(xué)術(shù)專著包含了較高的思想性及原創(chuàng)性,具備更強(qiáng)的問(wèn)題導(dǎo)向性。對(duì)學(xué)術(shù)專著的評(píng)價(jià)是人文社科成果長(zhǎng)效評(píng)價(jià)形式的體現(xiàn)。比如著名的《成果文庫(kù)》多以專著形式為主。《成果文庫(kù)》是全國(guó)規(guī)劃辦組織的對(duì)國(guó)家社科科研優(yōu)秀成果進(jìn)行集中推介的一項(xiàng)重點(diǎn)工作,旨在發(fā)揮優(yōu)秀成果和科研人才的引領(lǐng)及示范作用,提升精品人文社科成果的產(chǎn)出效率。最后,研究報(bào)告是人文社科科研階段性成果及最終成果較為廣泛的提交形式。研究報(bào)告作為人文社科成果主要形式之一,其重要性體現(xiàn)在通過(guò)研究發(fā)現(xiàn)經(jīng)濟(jì)社會(huì)發(fā)展中存在的問(wèn)題,并對(duì)問(wèn)題的解決提出符合實(shí)際的新思路或?qū)Σ撸哂泻艽蟮膽?yīng)用價(jià)值和理論價(jià)值。對(duì)研報(bào)成果的評(píng)價(jià)主要是價(jià)值判斷,即注重其適用性和可操作性。因此,通過(guò)加強(qiáng)人文社科的過(guò)程管理,利用好階段性成果指標(biāo)時(shí)效性強(qiáng)的優(yōu)點(diǎn),更利于知識(shí)的擴(kuò)散與傳播,并且數(shù)據(jù)易于計(jì)量,納入考評(píng)的可操作性也很強(qiáng)??梢钥闯觯A段性成果評(píng)價(jià)是對(duì)科研過(guò)程的評(píng)價(jià)。目前國(guó)內(nèi)評(píng)價(jià)中普遍只對(duì)結(jié)果進(jìn)行考評(píng),缺乏對(duì)科研過(guò)程的監(jiān)督與管理。注重過(guò)程評(píng)價(jià)與結(jié)果評(píng)價(jià)相結(jié)合,可以更全面、更有針對(duì)性地開(kāi)展科研評(píng)價(jià),避免教師僅盯著最終成果目標(biāo)來(lái)搞科研的急功近利行為。因此,可通過(guò)建立相對(duì)齊備的項(xiàng)目階段性成果數(shù)據(jù)庫(kù),分析研究過(guò)程中存在的問(wèn)題、研究過(guò)程與研究結(jié)果之間的關(guān)系。在原有的最終成果鑒定的基礎(chǔ)上,增加對(duì)科研過(guò)程的績(jī)效評(píng)價(jià)模塊,形成完備的人文社科科研成果評(píng)價(jià)體系。
3.引入分類評(píng)價(jià),處理好共性與個(gè)性問(wèn)題
破“四唯”“五唯”,就是要避免“一把尺子量所有”的一刀切式評(píng)價(jià)。要根據(jù)評(píng)價(jià)對(duì)象的不同,選擇具有適切性的評(píng)價(jià)方法。人文社科科研按照研究類型不同分為基礎(chǔ)研究及應(yīng)用研究?jī)深悺;A(chǔ)研究的主要目的是為了獲取基本理論,并不十分關(guān)注研究成果的直接應(yīng)用問(wèn)題,成果常表現(xiàn)為一般的原則、理論或規(guī)律。而應(yīng)用研究則是為了獲得特定的應(yīng)用成果,比如為解決某一實(shí)際問(wèn)題提供新方法、新途徑等,其成果形式多以論文、研報(bào)等為主。因此,人文社科的評(píng)價(jià)要根據(jù)各學(xué)科研究類型及成果產(chǎn)出形式的不同,充分考慮學(xué)科特點(diǎn)及差異,開(kāi)展分類評(píng)價(jià)??蓞⒄杖舜髲?fù)印報(bào)刊資料對(duì)不同學(xué)科論文的評(píng)價(jià)方式,通過(guò)提取普適性較高的標(biāo)準(zhǔn),設(shè)置為通用指標(biāo),之后再針對(duì)不同學(xué)科或成果體裁類型分配不同指標(biāo)權(quán)重的評(píng)價(jià)方法。即采用“共識(shí)性評(píng)估標(biāo)準(zhǔn)”與不同權(quán)重配比相結(jié)合的分類評(píng)價(jià)方式,開(kāi)展復(fù)合型人文社科學(xué)術(shù)成果評(píng)價(jià)模式[31]。
4.建立質(zhì)量導(dǎo)向型綜合評(píng)價(jià)體系,破除科研評(píng)價(jià)中的“四唯”“五唯”不良傾向
破除舊“四唯”“五唯”后,如何避免新構(gòu)建的評(píng)價(jià)體系不會(huì)邁入另一種新“四唯”“五唯”,這是需要思考的問(wèn)題。根據(jù)以上實(shí)證分析,本研究認(rèn)為在開(kāi)展人文社科成果評(píng)價(jià)時(shí),要遵從學(xué)科特點(diǎn),開(kāi)展以專家評(píng)議最終成果為主,計(jì)量評(píng)價(jià)階段性成果為輔的綜合評(píng)價(jià)方式,且在評(píng)價(jià)方式上開(kāi)展二者結(jié)合,是徹底破除“唯指標(biāo)論”“唯專家論”的有效手段。
首先,定性定量相結(jié)合的綜合評(píng)價(jià)是當(dāng)前學(xué)界最主流、最科學(xué)的評(píng)價(jià)方式。同行評(píng)議既保證了科研質(zhì)量,又對(duì)人文社科成果的隱性特質(zhì)進(jìn)行了最大程度的發(fā)掘,是人文社科成果評(píng)價(jià)中應(yīng)當(dāng)堅(jiān)持的主體評(píng)價(jià)方式。而計(jì)量評(píng)價(jià)的指標(biāo)具有易于量化、數(shù)據(jù)客觀等特點(diǎn),能規(guī)避一部分由同行評(píng)議帶來(lái)的個(gè)人主觀因素的干擾,對(duì)同行評(píng)議具有重要的補(bǔ)充,是同行評(píng)議的重要輔助方式。國(guó)家社科基金項(xiàng)目的成果鑒定方式雖然從表面上看是單一的定性評(píng)價(jià)模式,但實(shí)質(zhì)上也包含了定量評(píng)價(jià)的理念和思維,專家評(píng)分歸根到底也是一種量化的評(píng)價(jià)方式。可見(jiàn),定性評(píng)價(jià)與定量評(píng)價(jià)可以相互滲透、互為補(bǔ)充。
其次,從本文的數(shù)據(jù)分析中可知,階段性成果的計(jì)量評(píng)價(jià)對(duì)國(guó)家社科項(xiàng)目成果鑒定,尤其是對(duì)于應(yīng)用類學(xué)科的成果鑒定具有重要的參考價(jià)值。階段性成果指標(biāo)中諸如轉(zhuǎn)載、獲獎(jiǎng)等指標(biāo),也反映了同行專家經(jīng)過(guò)評(píng)價(jià)后的認(rèn)可程度。因此,建立定性為主定量為輔的綜合評(píng)價(jià)方式,對(duì)“階段成果+代表成果”開(kāi)展全面評(píng)價(jià),既能克服同行評(píng)議的主觀性,又能消除“四唯”“五唯”可能帶來(lái)的不良影響,是實(shí)現(xiàn)破立并舉的重要途徑。通過(guò)建立人文社科成果評(píng)價(jià)新體系,確定良好科研導(dǎo)向,建立科研良性循環(huán),可以使更多優(yōu)秀的人文社科成果脫穎而出。
參考文獻(xiàn):
[1]人才評(píng)價(jià)、學(xué)科評(píng)價(jià)要反對(duì)“四唯”[N].人民日?qǐng)?bào)評(píng)論,2018-11-01.
[2]范軍.比“四唯”危害更大的是“唯項(xiàng)目”[J].社會(huì)科學(xué)動(dòng)態(tài),2018(12):15-17.
[3]陳先哲.清理“四唯”推動(dòng)科研管理轉(zhuǎn)型[N].中國(guó)教育報(bào),2018-10-26(02).
[4]清華大學(xué)關(guān)于完善學(xué)術(shù)評(píng)價(jià)制度的若干意見(jiàn)[S].清委發(fā)〔2019〕11號(hào),2019-04.
[5]劉大椿.人文社會(huì)科學(xué)研究成果評(píng)價(jià)體系研究[M].北京: 經(jīng)濟(jì)科學(xué)出版社,2009:61-70.
[6]BEAMON B M.Supply chain design and analysis: Models and methods[J].International Journal of Production Economics,1988, 55(3):281-294.
[7]馬恩斯,周靜,王峻嶺.比較研究下高??萍荚u(píng)價(jià)指標(biāo)的優(yōu)化[J].中國(guó)高??萍迹?019(10):47-50.
[8]高自龍,劉峰.人文社科學(xué)術(shù)論文評(píng)價(jià)中分類方案的優(yōu)化探析[J].江淮論壇,2011(6):8-12.
[9]黃煒,程慧平.我國(guó)人文社會(huì)科學(xué)學(xué)科學(xué)術(shù)論文產(chǎn)出的效率研究[J].情報(bào)雜志,2016(4):137-140.
[10]姚莉,陳祖琴.《國(guó)家哲學(xué)社會(huì)科學(xué)成果文庫(kù)》影響力評(píng)價(jià)體系研究[J].西南民族大學(xué)學(xué)報(bào)(人文社科版),2016(6):232-236.
[11]張玉,潘云濤,袁軍鵬,等.論多維視角下中文科技圖書(shū)學(xué)術(shù)影響力評(píng)價(jià)體系的構(gòu)建[J].圖書(shū)情報(bào)工作,2015(7):69-76.
[12]魏慶肖.人文社科學(xué)術(shù)專著影響力評(píng)價(jià)指標(biāo)體系構(gòu)建及實(shí)現(xiàn)機(jī)制研究[D].大連:大連理工大學(xué),2018.
[13]賴永兵.情報(bào)研究報(bào)告質(zhì)量評(píng)價(jià)體系的研究[J].情報(bào)科學(xué),1991(1):9-18.
[14] R.K.默頓.科學(xué)社會(huì)學(xué):理論與經(jīng)驗(yàn)研究[M].魯旭東,等譯.北京:商務(wù)印書(shū)館,2009.
[15]卜衛(wèi),周海宏,劉曉紅.社會(huì)科學(xué)成果價(jià)值評(píng)估[M].北京:社會(huì)科學(xué)文獻(xiàn)出版社,1999.
[16]胡明銘,黃菊芳.同行評(píng)議研究綜述[J].中國(guó)科學(xué)基金,2005(4):251-253.
[17]陸宇飛.國(guó)家哲學(xué)社會(huì)科學(xué)基金后期資助項(xiàng)目評(píng)價(jià)體系分析[J].西南民族大學(xué)學(xué)報(bào)(人文社科版),2016(6):237-240.
[18]CHARNES A,COOPER W W,RHODES E.Measuring the efficiency of decision making units[J].European Journal of Operational Research, 1978, 2(6): 429-444.
[19]姜彤彤,吳修國(guó).教育部直屬高校產(chǎn)學(xué)研協(xié)同創(chuàng)新全要素生產(chǎn)率研究[J].科技管理研究,2016(17):97-101.
[20]羅納德·魯索,全薇.期刊影響因子,舊金山宣言和萊頓宣言:評(píng)論和意見(jiàn)[J].圖書(shū)情報(bào)知識(shí),2016(1):4-14.
[21]Research Excellence Framework[EB/OL].[2020-02-15].https://www.ref.ac.uk/2014/.
[22]鄭德俊,高風(fēng)華.高校人文社會(huì)科學(xué)科研績(jī)效評(píng)價(jià)指標(biāo)體系構(gòu)建[J].科技進(jìn)步與對(duì)策,2009(7):150-153.
[23]葉繼元.學(xué)術(shù)“全評(píng)價(jià)”分析框架與創(chuàng)新質(zhì)量評(píng)價(jià)的難點(diǎn)及其對(duì)策[J].河南大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2016(5):151-156.
[24]張獻(xiàn)鋒.中國(guó)社科類學(xué)術(shù)期刊評(píng)價(jià)體系的若干思考[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2015(5):116-120.
[25]蔡蓉華.同行評(píng)議的難點(diǎn)[J].甘肅社會(huì)科學(xué),2015(4):25-27.
[26]SUN Y H,MA J, FAN Z P,et al.A group decision support approach to evaluate experts for R&D project selection[J].IEEE Transactions on Engineering Management,2008,55(1): 158-170.
[27]KENNEDY D. Disclosure and disinterest[J].Science,2004,303(5654):15.
[28]馬永霞,仇笳熙.“雙一流”建設(shè)背景下我國(guó)高校學(xué)術(shù)論文評(píng)價(jià)改革的思考[C]//2017年中國(guó)高等教育學(xué)會(huì)高等教育專業(yè)委員會(huì)第十七屆年會(huì)會(huì)議論文集,2017.
[29]日本參議院.政策評(píng)価法[EB/OL].(2016-06-16)[2019-12-08].http://law.e-gov.go.jp/data /H13/H13HO086.html.
[30]邱均平,王菲菲.社會(huì)科學(xué)研究成果綜合評(píng)價(jià)方法研究[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2010(1):110-114.
[31]錢蓉.基于同行評(píng)議的復(fù)合型人文社科學(xué)術(shù)評(píng)價(jià):以復(fù)印報(bào)刊資料為例[J].河南大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2016(5):138-144.
Abstract: Achievement evaluation is an important part in the scientific research evaluation of humanities and social sciences. Breaking the “four-only” and the “five-only” is not to abolish the evaluation, but to establish scientific and effective evaluation methods. This paper takes the achievement result of the annual project of the National Social Science Fund of China as the research object. The DEA method and variance analysis method are used to draw the conclusion as follow: qualitative evaluation mainly based on peer review has certain rationality and should be the main method in the evaluation of achievements in humanities and social sciences; quantitative evaluation of stage achievements can be used as an important supplement to peer review, especially in the applied research based subject achievement evaluation. This paper provides new ideas to improve the evaluation of achievements in humanities and social sciences: take stage achievement and final achievement together as the evaluation objects; develop a comprehensive evaluation method which mainly based on peer review and supplemented by quantitative evaluation; carry out classification evaluation according to different research types; use meta-evaluation to monitor the existing evaluation system.
Key words: humanities and social sciences; scientific research evaluation; achievement evaluation; comprehensive evaluation; classified evaluation; stage achievements; meta-evaluation; break the “four-only”; break the “five-only”
(責(zé)任編輯 彭建國(guó))