摘要:為使論文及其相關(guān)評價指標(biāo)在基礎(chǔ)研究評價活動中回歸其評價“初心”,更大程度地發(fā)揮論文相關(guān)指標(biāo)在績效評價中的效能,在分析基礎(chǔ)研究的內(nèi)涵與本質(zhì)以及論文在基礎(chǔ)研究系統(tǒng)內(nèi)外的功能與定位的基礎(chǔ)上,重新點明了論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價中所具有的核心地位—是衡量基礎(chǔ)研究績效最為可靠且最易獲得的指標(biāo)。指出了論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價實踐中使用的問題:“目的”與“手段”“評價指標(biāo)”與“專家評議”“研究進程”與“實際應(yīng)用”的3種錯位現(xiàn)象,并就此對論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價中的合理使用與歸位提出了合理化建議:第一,將論文相關(guān)指標(biāo)回歸其作為“手段”的本質(zhì);第二,多種方法并用,系統(tǒng)展示論文價值;第三,促進評價領(lǐng)域研究成果與實踐的銜接。
關(guān)鍵詞:基礎(chǔ)研究;績效評價;論文相關(guān)指標(biāo)
中圖分類號:G353文獻標(biāo)志碼:A
0引言
基礎(chǔ)研究在科技與社會發(fā)展中的基礎(chǔ)性地位和重要作用已經(jīng)得到世界各國的廣泛認(rèn)可。中國作為發(fā)展中國家,提升原始創(chuàng)新能力、加強基礎(chǔ)研究,既是有效應(yīng)對外部風(fēng)險、實現(xiàn)科技自立自強的迫切要求,也是面向長遠(yuǎn)發(fā)展、構(gòu)建先發(fā)優(yōu)勢、建設(shè)世界強國、實現(xiàn)中華民族偉大復(fù)興的重要戰(zhàn)略支撐[1]。盡管國家對基礎(chǔ)研究的投入無論從資金金額還是在科技研發(fā)總投入量中所占比重均逐年增加,然而基礎(chǔ)研究所占比重仍然偏低,基礎(chǔ)研究資源依然相對較為稀缺。在有限的資源投入情況下,通過基礎(chǔ)研究績效評價優(yōu)化資源配置,來提高基礎(chǔ)研究質(zhì)量與效率以及資源利用率,進而提高科技創(chuàng)新能力、提升科技管理水平、保障國家科學(xué)事業(yè)健康發(fā)展的有效手段[2]。其中,科學(xué)合理的績效評價指標(biāo)體系作為基礎(chǔ)研究評價的“風(fēng)向標(biāo)”,為基礎(chǔ)研究各個層面起到戰(zhàn)略性引導(dǎo)作用。宏觀層面上,科學(xué)的績效評價指標(biāo)體系能夠檢驗基礎(chǔ)研究的效率,說明公共資金對基礎(chǔ)研究的投資價值,從而為政府及其他組織繼續(xù)加大對基礎(chǔ)研究的投入提供堅實的理論和現(xiàn)實依據(jù)。微觀層面上,科學(xué)的績效評價指標(biāo)體系能夠引導(dǎo)和激勵研究機構(gòu)和研究人員,并能夠有效地影響與規(guī)范他們的科研價值觀與科研行為[3]。然而,在實踐中廣泛存在的將論文數(shù)量、被引次數(shù)、期刊影響因子等論文相關(guān)指標(biāo)簡單機械地作為績效評估的硬性指標(biāo)甚至唯一依據(jù)等問題,使得論文等基礎(chǔ)研究成果出現(xiàn)“目的錯位”,基礎(chǔ)研究績效評價脫離了其評價初衷,嚴(yán)重影響了基礎(chǔ)研究績效評價功能與實際評價效果,甚至導(dǎo)致基礎(chǔ)研究領(lǐng)域出現(xiàn)急功近利的風(fēng)氣,同時也反映出當(dāng)前論文相關(guān)評價指標(biāo)在實踐中運用的問題,甚至基礎(chǔ)研究評價體系的不合理。
為破除科技管理與評價中過度看重論文數(shù)量多少、影響因子高低,忽視研究成果的質(zhì)量、貢獻和影響等“唯論文”不良導(dǎo)向,轉(zhuǎn)而以創(chuàng)新與實際貢獻為主要導(dǎo)向,科技部于2020年2月17日發(fā)布了《關(guān)于破除科技評價中“唯論文”不良導(dǎo)向的若干措施(試行)》,明確指出對于基礎(chǔ)研究類科技活動,注重評價新發(fā)現(xiàn)、新觀點、新原理、新機制等標(biāo)志性成果的質(zhì)量、貢獻和影響。強化代表作同行評議,實行定量評價與定性評價相結(jié)合,重點評價其學(xué)術(shù)價值及影響、與當(dāng)次科技評價的相關(guān)性以及相關(guān)人員的貢獻等,不把代表作的數(shù)量多少、影響因子高低作為量化考核評價指標(biāo)[4]。指明了科技評價應(yīng)秉持的分類考核評價原則與導(dǎo)向,也為基礎(chǔ)研究績效評價提供了基本方向。
論文作為科學(xué)研究尤其是基礎(chǔ)研究的主要成果之一,與基礎(chǔ)研究的聯(lián)系是天然且最為密切的,在基礎(chǔ)研究績效評價實踐中扮演著重要角色。在基礎(chǔ)研究績效評價領(lǐng)域破解“唯論文”,需要科學(xué)地把握使用論文相關(guān)指標(biāo)進行評價的尺度。為此,不僅需要將論文及其相關(guān)指標(biāo)回歸科學(xué)本真,回歸其作為評價指標(biāo)的“初心與使命”[5],還需要按照分類評價、注重實效的原則,將其放置在基礎(chǔ)研究評價系統(tǒng)中的合理位置。重新梳理論文在基礎(chǔ)研究系統(tǒng)中的功能與定位,進而理順論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價體系中的位置,對于科學(xué)有效地使用論文相關(guān)指標(biāo)進行績效評價,從而發(fā)揮論文相關(guān)指標(biāo)在績效評價中的效能,建立符合基礎(chǔ)研究特點的績效評價機制具有重要意義。
1基礎(chǔ)研究的內(nèi)涵與本質(zhì)
目前對于基礎(chǔ)研究尚無統(tǒng)一的定義,通過梳理各權(quán)威機構(gòu)對基礎(chǔ)研究的定義,從中總結(jié)出基礎(chǔ)研究的本質(zhì)與核心任務(wù)。
經(jīng)濟合作與發(fā)展組織(OECD)在《弗拉斯卡蒂手冊》(《Frascati Manual》)中對基礎(chǔ)研究的定義是“為了獲得關(guān)于現(xiàn)象和可觀察事實的基本原理的新知識(揭示客觀事物的本質(zhì)、運動規(guī)律,獲得新發(fā)現(xiàn)、新學(xué)說)而進行的實驗性或理論性研究,它不以任何專門或特定的應(yīng)用或使用為目的”[6]。
美國國家科學(xué)基金會對基礎(chǔ)研究的定義是“增加新的科學(xué)知識的活動,沒有特定的、直接的商業(yè)目的,但并不排除這一研究可能會在當(dāng)前或其他潛在的領(lǐng)域具有商業(yè)價值”[7]。
《國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006—2020年)》對于基礎(chǔ)研究的描述是:“基礎(chǔ)研究以深刻認(rèn)識自然現(xiàn)象、揭示自然規(guī)律,獲取新知識、新原理、新方法和培養(yǎng)高素質(zhì)創(chuàng)新人才等為基本使命”。
上述各定義雖表述不同,但均指明了基礎(chǔ)研究以“認(rèn)識”為要務(wù)的本質(zhì),其根本任務(wù)是探索未知,拓展人類認(rèn)識自然的邊界,即都是以獲取知識為目的,其本質(zhì)都是從“0”到“1”的認(rèn)識過程,且無論其成果是否能夠立即被應(yīng)用于實踐,其成果均填補或拓展了人類對世界的“認(rèn)識地圖”?;A(chǔ)研究的價值核心就在于開拓認(rèn)識領(lǐng)域,完成從“0”到“1”的跨越,相應(yīng)地衡量基礎(chǔ)研究價值的標(biāo)準(zhǔn)也應(yīng)當(dāng)涵蓋基礎(chǔ)研究從“0”到“1”的全過程?;A(chǔ)研究領(lǐng)域的成果通常主要表現(xiàn)為研究論文或?qū)V?,然而,基礎(chǔ)研究所具備的內(nèi)在價值與外在影響卻不僅僅體現(xiàn)在論文的外顯形式上。從基礎(chǔ)研究價值這一角度來講,一方面,基礎(chǔ)研究從“0”到“1”的過程中所產(chǎn)生的外溢效應(yīng),是基礎(chǔ)研究價值常常被忽略的一個重要層面;另一方面,價值考量需要向基礎(chǔ)研究成果的微觀與宏觀兩個方向拓展如圖1所示。從微觀層面來看,需深入到研究成果的“知識層面”,考查其對于“認(rèn)識”這一本質(zhì)的完成情況。從宏觀層面來看,基礎(chǔ)研究成果的價值也不僅僅停留在基礎(chǔ)研究成果本身,其在整個科學(xué)研究到技術(shù)突破的創(chuàng)新體系中,將產(chǎn)生以點帶面的輻射效應(yīng)與影響,這是基礎(chǔ)研究在整個科技創(chuàng)新領(lǐng)域中的獨特價值所在。
2基礎(chǔ)研究績效
OECD對于基礎(chǔ)研究績效的界定如圖2所示,其將“產(chǎn)出”(Output)定義為“通過活動實施而產(chǎn)生的產(chǎn)品、商品和服務(wù),也可以包括由活動引起的變化”;“產(chǎn)效”(Outcome)定義為“產(chǎn)出將要實現(xiàn)的,或已實現(xiàn)的短期和中期效果”,在此基礎(chǔ)上進一步產(chǎn)生的對整個社會的更長期的效果被稱為“影響(Im?pact)”?!爱a(chǎn)效”是相對較為直接的效應(yīng),可能在相對較短的時期內(nèi)就能觀測到,“影響”則是更為間接的效應(yīng),需要相當(dāng)長的時期才能體現(xiàn)出來。但“產(chǎn)效”和“影響”均是基礎(chǔ)研究的“產(chǎn)出”作用于除了該研究以外的領(lǐng)域所產(chǎn)生的“效應(yīng)”。由于基礎(chǔ)研究所產(chǎn)生效應(yīng)的間接性和時滯性,長期以來理論研究始終未能找到系統(tǒng)的方法衡量基礎(chǔ)研究的實際價值,實踐中績效評價指標(biāo)體系對此更是力所不及,也正是因此,才造成在評價實踐中過分偏重論文等直接產(chǎn)出指標(biāo)的狀況,而忽視或低估了基礎(chǔ)研究在其他層面所產(chǎn)生的實際價值。
績效概念本身強調(diào)對研究過程的管理,研究過程中所產(chǎn)生的外溢效應(yīng)也應(yīng)當(dāng)納入基礎(chǔ)研究所產(chǎn)生的績效范圍內(nèi)。例如,在基礎(chǔ)研究過程中培養(yǎng)出的研究生、年輕科學(xué)家,以及由此所帶來的效益;承擔(dān)研究項目的組織與個人在基礎(chǔ)研究過程中研究能力的提高、管理研究項目的機構(gòu)在管理過程中管理能力的提高,以及基礎(chǔ)研究管理制度的不斷完善,均是在基礎(chǔ)研究過程中所產(chǎn)生的外溢效應(yīng)。
根據(jù)文章前述對基礎(chǔ)研究價值的分析,由基礎(chǔ)研究所產(chǎn)生的論文、專著等出版物是基礎(chǔ)研究的直接成果,是基礎(chǔ)研究成果在知識增量方面的外顯形式。在基礎(chǔ)研究領(lǐng)域使用論文相關(guān)指標(biāo)進行績效評價具有簡單、便捷等優(yōu)點,但論文數(shù)量、外在質(zhì)量等相關(guān)指標(biāo)并不能有效代表基礎(chǔ)研究所具備的內(nèi)在價值。從基礎(chǔ)研究成果的微觀層面入手,對論文等顯性成果進行深入的知識挖掘,衡量其在知識增量方面的貢獻,能夠有效避免單獨使用論文相關(guān)指標(biāo)等對基礎(chǔ)研究進行評價時所造成的片面結(jié)論。
3基礎(chǔ)研究績效評價
根據(jù)績效的理念,基礎(chǔ)研究績效評價應(yīng)當(dāng)不僅涉及到研究活動的直接產(chǎn)品,即基礎(chǔ)研究理論的論文、專著等直接成果,還應(yīng)當(dāng)重視研究成果所帶來的多方面的影響和長期效果的綜合評價,以及對國家或組織目標(biāo)的完成與實現(xiàn)情況。同時,基礎(chǔ)研究所產(chǎn)生的直接成果或間接影響等,其所帶來的效益是多維的,價值也是多元化的。基礎(chǔ)研究所產(chǎn)生的直接成果以及由此所帶來的知識增量,不僅拓展了人類認(rèn)識世界的邊界,為科學(xué)研究領(lǐng)域帶來質(zhì)的飛躍,也為新學(xué)科的建立、現(xiàn)有學(xué)科的深化發(fā)展以及學(xué)科交叉發(fā)展等提供了原材料,為教育領(lǐng)域提供了發(fā)展動力;根據(jù)科技創(chuàng)新線性模型,技術(shù)的發(fā)展有賴于科學(xué)的進步,基礎(chǔ)研究在科技創(chuàng)新鏈條中由“0”到“1”的起始作用,對于促進新產(chǎn)品、新工藝、新技術(shù)的產(chǎn)生做出重要貢獻。基礎(chǔ)研究的直接成果進一步在社會中的傳播,所產(chǎn)生的中、短期影響(產(chǎn)效)與長期影響則更為廣泛,不僅涉及科學(xué)、教育、技術(shù)領(lǐng)域,更進一步向社會經(jīng)濟、文化等領(lǐng)域擴散,帶來難以估量的影響如圖3所示。因此,基礎(chǔ)研究績效評價是一個多元、動態(tài)、綜合的評價活動,對基礎(chǔ)研究所產(chǎn)生的成果、產(chǎn)效以及影響的展現(xiàn)是全面的。
4論文及其相關(guān)指標(biāo)在基礎(chǔ)研究績效評價中的作用
科學(xué)論文是在調(diào)查研究或?qū)嶒炑芯康纫幌盗谢A(chǔ)研究過程的基礎(chǔ)上,經(jīng)過分析論證的深化認(rèn)識過程,把研究成果具象化、文字化、知識化,形成論文。它既是對研究的科學(xué)問題進行探討、呈現(xiàn)的一種手段,又是對科學(xué)研究成果進行交流的一種工具??茖W(xué)社會學(xué)家默頓認(rèn)為,科學(xué)論文的意義在于其對科學(xué)知識的承載能力,它是科學(xué)知識最主要的存儲方式。論文對科學(xué)知識的承載與存儲功能使得科學(xué)知識跨越語言、國別、空間、時間,在人類認(rèn)識領(lǐng)域得以積累與存儲,科學(xué)得以在已有研究基礎(chǔ)上不斷向前發(fā)展。從科學(xué)發(fā)展史來看,發(fā)表論文最初是為了與同行進行學(xué)術(shù)交流,促進科學(xué)的新發(fā)現(xiàn)與新知識的傳播。在橫向上,通過公開發(fā)表的論文,研究者得以借鑒他人研究成果、發(fā)現(xiàn)并填補研究領(lǐng)域空白,擴展人類的認(rèn)識地圖;縱向上,論文將其所承載的科學(xué)知識向后世傳遞,科學(xué)得以在前人研究的基礎(chǔ)上向更高的層次發(fā)展,這是科學(xué)論文在基礎(chǔ)研究系統(tǒng)所承擔(dān)的另一個功能——傳播。
通過論文的公開發(fā)表,科學(xué)知識一方面在基礎(chǔ)研究領(lǐng)域內(nèi)不斷積累與傳播。另一方面則向基礎(chǔ)研究自身以外的領(lǐng)域擴散,向外產(chǎn)生溢出效應(yīng)并進一步發(fā)揮其對經(jīng)濟社會各方面的影響力,從這一角度來講,研究論文的發(fā)表并不是科學(xué)研究的終點。從整個創(chuàng)新鏈的視角來看,研究論文的公開發(fā)表是基礎(chǔ)研究科學(xué)知識進入創(chuàng)新鏈的起點,也是基礎(chǔ)研究成果進一步產(chǎn)生效應(yīng)以及對社會經(jīng)濟等各方面產(chǎn)生影響的一個作用點。從基礎(chǔ)研究績效產(chǎn)生過程來看,科學(xué)論文的發(fā)表只是基礎(chǔ)研究績效的第一個層面(即成果),由基礎(chǔ)研究成果進一步所產(chǎn)生的效應(yīng)與影響,則可能需要通過公開發(fā)表的論文所承載的知識擴散至社會各領(lǐng)域發(fā)揮作用,進而促進社會各領(lǐng)域向前發(fā)展。因此,論文不僅在基礎(chǔ)研究系統(tǒng)內(nèi)承擔(dān)著積累與存儲科學(xué)知識并在系統(tǒng)內(nèi)部交流傳播的作用,也是向基礎(chǔ)研究系統(tǒng)外部產(chǎn)生績效的重要媒介。
正是由于論文在基礎(chǔ)研究系統(tǒng)內(nèi)外所承擔(dān)的重要作用,論文相關(guān)指標(biāo)在評價實踐中得到廣泛應(yīng)用。與評價領(lǐng)域其他指標(biāo)一樣,實踐中所運用的論文相關(guān)指標(biāo)也分為定量指標(biāo)和定性指標(biāo)。常見的論文相關(guān)定量指標(biāo)包括論文數(shù)量、被引次數(shù)、期刊影響因子等量化指標(biāo)。其中,論文數(shù)量用來測度知識的產(chǎn)量,期刊影響因子用來代表該研究成果質(zhì)量,論文的被引次數(shù)則近似作為研究成果影響力的測度。論文在某一期刊發(fā)表前都要經(jīng)過同行評議過程,該過程主要對論文的科學(xué)意義、結(jié)果的可信度、與期刊宗旨的相似性以及學(xué)術(shù)水平等方面進行評議,通過同行評議過程實現(xiàn)用來源期刊的質(zhì)量(影響因子)對論文質(zhì)量的前期控制。而被引次數(shù)則是同行對論文的后期評估,論文發(fā)表后,其被引用的次數(shù)不僅反映了該論文在研究領(lǐng)域受到的關(guān)注程度,而且能夠一定程度地反映該研究成果在同行中的認(rèn)可度[8]。因此,這些指標(biāo)可近似用于基礎(chǔ)研究產(chǎn)出水平的評價指標(biāo),在績效評價活動中扮演著不可或缺的角色。定性指標(biāo)諸如借助領(lǐng)域?qū)<业膶I(yè)知識對評價對象進行定性判斷時所使用的諸如論文的創(chuàng)新性、科學(xué)性、重要性等方面的描述性指標(biāo)。定性指標(biāo)能夠?qū)o法計量卻反映了評價對象某方面狀況的潛在因素納入評價范圍,通過分析判斷,輔助驗證定量指標(biāo)評價結(jié)果得出綜合評價結(jié)論。由于基礎(chǔ)研究所產(chǎn)生效應(yīng)所具有的長期性、間接性、多元性和復(fù)雜性等特點,在實踐中以同行評議為主的定性評估,由于能夠集合專家所具備的隱性知識,以及評估過程的綜合性與動態(tài)性,是目前最適合基礎(chǔ)研究績效評估的手段[9]。但同時由于其自身的彈性過大,極易摻雜過多人為因素,論文相關(guān)的定量指標(biāo)能夠在一定程度上規(guī)范評議標(biāo)準(zhǔn),并為定性評價提供了較為可靠的支撐數(shù)據(jù),提高了定性評估的信度與效度[10]。
與應(yīng)用研究及技術(shù)開發(fā)等其他創(chuàng)新活動不同,基礎(chǔ)研究的本質(zhì)任務(wù)就是知識生產(chǎn),科學(xué)論文的產(chǎn)出是基礎(chǔ)研究最核心的成果,在基礎(chǔ)研究績效評價中占據(jù)重要地位,因而論文相關(guān)指標(biāo)也就成為基礎(chǔ)研究績效評價中舉足輕重的部分。同時,論文相關(guān)指標(biāo)還能夠提供其他方面的重要信息,例如研究生發(fā)表的論文質(zhì)量來衡量由基礎(chǔ)研究所帶來的人才培養(yǎng)方面的績效,又如用論文的專利引用量來衡量基礎(chǔ)研究所產(chǎn)生的技術(shù)方面的績效。此外,由于基礎(chǔ)研究在其他方面所產(chǎn)生績效大多難以量化,且其量化數(shù)據(jù)可獲得性較低,能夠用于基礎(chǔ)研究績效評價實踐的量化指標(biāo)有限。因此,論文相關(guān)指標(biāo)就成為衡量基礎(chǔ)研究績效最為可靠且最易獲得的指標(biāo)。
5論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價實踐中的“錯位”
論文作為基礎(chǔ)研究主要的直接產(chǎn)出,其相關(guān)指標(biāo)能夠為績效評價提供最直觀的可量化數(shù)據(jù)。然而,論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價實踐中的應(yīng)用卻飽受詬病,究其原因,在于論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價實踐中的不當(dāng)使用,造成論文相關(guān)指標(biāo)在評價體系運用中的“錯位”現(xiàn)象。
5.1“目的”與“手段”錯位
單純采用論文單一維度量化指標(biāo)進行評價,會產(chǎn)生“目的”與“手段”錯位的后果,即論文的生產(chǎn)反而成為目的,而不是在科學(xué)研究過程中自然而然產(chǎn)生的成果。針對定量評價指標(biāo)使用不當(dāng)?shù)膯栴},早已在全球范圍內(nèi)引起了反思和討論[11],國內(nèi)也有很多學(xué)者就論文相關(guān)指標(biāo)的誤用進行了討論[12-13],均指出論文相關(guān)指標(biāo)本身是合理的,飽受詬病的原因就在于機械地、單一地使用量化指標(biāo)所帶來的評價偏差。從文獻學(xué)角度來講,實踐中所采用的諸如論文數(shù)量、被引次數(shù)、期刊影響因子等量化指標(biāo)本質(zhì)上屬于論文的外部要素,即論文內(nèi)容以外的外部特征,其對研究成果及其所產(chǎn)生績效的評價作用與效果是有限的。由于基礎(chǔ)研究系統(tǒng)的復(fù)雜性,其研究成果質(zhì)量的影響因素是多維度的,涉及研究過程、認(rèn)知方面(研究的前沿性)、成果應(yīng)用(社會價值)等諸多方面,僅靠論文的量化指標(biāo)無法全面代表某一研究人員的科研表現(xiàn)或某一研究的研究質(zhì)量與實際價值。將論文相關(guān)指標(biāo)作為首要評價要素甚至唯一評價要素,就導(dǎo)致研究人員、機構(gòu)等盲目追求量化結(jié)果,而非探索未知領(lǐng)域、提升研究質(zhì)量。
5.2“評價指標(biāo)”與“專家評議”錯位
盡管論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價領(lǐng)域占有重要地位,但其本質(zhì)仍然是在績效評價過程中所使用的一種評價工具,這些指標(biāo)只能在一定的限定范圍內(nèi)按照一定的規(guī)則使用。例如在領(lǐng)域?qū)<覍蒲腥藛T及團隊等評價對象做出評估時,利用論文等成果方面的評價指標(biāo)作為基礎(chǔ)數(shù)據(jù)輔助支撐,進而從知識貢獻、創(chuàng)新潛力、影響力等方面進行綜合的績效評價。同時,以論文等成果為主的相關(guān)評價指標(biāo)作為輔助工具,則能夠克服同行評議自身所固有的主觀性強、人情關(guān)系等先天性缺陷。而實踐中過分依賴論文等研究成果相關(guān)指標(biāo),甚至用簡化的指標(biāo)評價替代合理的評價流程,將“評價指標(biāo)”與“專家評議”的地位主次顛倒,弱化了領(lǐng)域?qū)<以谠u價活動中的地位,更嚴(yán)重的是,忽視了對基礎(chǔ)研究成果價值的本質(zhì)性衡量,即基礎(chǔ)研究績效評價的根本任務(wù)——衡量由研究成果所帶來的知識增量以及由該成果所進一步產(chǎn)生的效應(yīng)。
5.3“研究進程”與“實際應(yīng)用”的錯位
從科學(xué)評價領(lǐng)域?qū)υu價指標(biāo)與方法的研究來看,一方面,研究者們一直在不斷尋找更為有效的評價指標(biāo),例如在學(xué)術(shù)環(huán)境更加開放的當(dāng)下,利用研究者們在網(wǎng)絡(luò)環(huán)境中開展學(xué)術(shù)交流、獲取與分享科研成果的過程中所產(chǎn)生的記錄性數(shù)據(jù),將研究者或研究成果在網(wǎng)絡(luò)環(huán)境中的影響力進行補充評價的替代計量學(xué)指標(biāo)[14],引起科學(xué)評價領(lǐng)域的廣泛關(guān)注,力圖在引文指標(biāo)等傳統(tǒng)評價指標(biāo)觸及不到的領(lǐng)域進行補充評價,從而更大程度地拓展評價維度。另一方面,研究者們也在追求更加合理的評價體系的高度進行探索[15-16]。然而在實際應(yīng)用層面,盡管國家在政策層面已經(jīng)開始了分類評價、強化代表作同行評議等正向引導(dǎo),但在實踐層面,出于節(jié)省時間成本、人力成本等方面的考慮,用簡化的指標(biāo)評價替代合理的評價流程的現(xiàn)象仍舊廣泛存在。于是形成了科學(xué)評價領(lǐng)域“研究進程”與“實際應(yīng)用”的錯位,研究成果在實踐中未得到充分利用,不僅無法發(fā)揮各類評價指標(biāo)甚至整個評價體系的效能,也是對投入評價領(lǐng)域的各類研究資源的浪費。
6論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價中的“歸位”
如上文所述,論文相關(guān)指標(biāo)本身是合理的,其在基礎(chǔ)研究績效評價中的合理使用與“歸位”才是破解“唯論文”的關(guān)鍵,研究成果和影響是多維概念,當(dāng)用論文等指標(biāo)來評估個人和團隊時,這些指標(biāo)必須受到嚴(yán)格的限制[17]。只有把論文相關(guān)指標(biāo)放置在整個基礎(chǔ)研究績效評價體系框架內(nèi),綜合運用反映基礎(chǔ)研究績效的各維度信息并運用各種方法,才能更加充分地發(fā)揮基于論文開發(fā)出的各類定量指標(biāo)的評價功能。
6.1將論文相關(guān)指標(biāo)回歸其作為“手段”的本質(zhì)
如前文所述,論文相關(guān)指標(biāo)等量化指標(biāo)的誤用導(dǎo)致其在基礎(chǔ)研究評價中“手段”與“目的”的錯位,將量化指標(biāo)回歸其作為評價指標(biāo)的本質(zhì),關(guān)鍵在于以下2個要點:
(1)定量評價與定性評價相結(jié)合。在基礎(chǔ)研究績效評價中,既要有論文相關(guān)指標(biāo)等客觀數(shù)據(jù)作為支撐,又不能僅靠數(shù)據(jù)模型進行簡單量化;既要定性地綜合評議,又不能出現(xiàn)主觀印象的無限放大。定量與定性相結(jié)合是績效評價指標(biāo)使用的基本前提,定量指標(biāo)只有與專家知識相結(jié)合才能發(fā)揮其作為績效指標(biāo)的基本功能,這一結(jié)論已在整個科學(xué)評價領(lǐng)域達(dá)成共識。同行評議等定性評價所具備的專家智慧等優(yōu)勢能夠有效去除定量指標(biāo)的外部虛假性所引起的偏差,尤其是在績效評價中運用論文相關(guān)指標(biāo)時,利用專家知識能夠進一步挖掘論文所具備的實際價值,理想狀態(tài)下,能夠以研究質(zhì)量和實質(zhì)貢獻為根本遵循,科學(xué)合理地界定評價對象。而利用論文相關(guān)指標(biāo)等定量指標(biāo)作為定性評價的支撐數(shù)據(jù),使定性評價有了更充分的依據(jù),一定程度上限制了定性評價自身的主觀性缺陷。因此,論文相關(guān)指標(biāo)作為基礎(chǔ)研究成果評價指標(biāo)中的一個評價維度,其在評價過程中的使用不僅要結(jié)合績效評價的其他方面,同時也要合理規(guī)范與限定論文相關(guān)指標(biāo)在評價實踐中的使用范圍與方法。
(2)重視長期評價。由于基礎(chǔ)研究自身的長期性,加之其作用于經(jīng)濟社會等各領(lǐng)域產(chǎn)生效益的長周期,對基礎(chǔ)研究的短期評價無法體現(xiàn)其研究價值,需要結(jié)合長期動態(tài)監(jiān)測對評價對象進行評估。例如生命科學(xué)等需要長期深耕的領(lǐng)域,相對于頻繁考核其研究成果,定期追蹤監(jiān)測其研究進展更具有現(xiàn)實意義。具體到利用論文等成果對評價對象進行績效評估時,作者認(rèn)為可以對單篇和系列論文分別加權(quán)評估。以研究者為評價對象為例,將單篇論文和系列論文分別加權(quán)評估,是評價研究者在該領(lǐng)域研究深度的有效方法。對研究者發(fā)表的某一領(lǐng)域相關(guān)的系列論文給予較高權(quán)重,一方面能夠有力地支持研究人員在自身擅長或感興趣的領(lǐng)域深入研究,對“甘坐冷板凳”的研究人員給予更大支持,讓他們在自己的研究領(lǐng)域深掘出更多有價值的成果。另一方面能夠在一定程度上規(guī)避一些研究人員盲目追求成果數(shù)量而追“熱點”、跟“易出成果領(lǐng)域”的不正之風(fēng),引導(dǎo)他們回歸科學(xué)研究的“初心”。6.2多種方法并用,系統(tǒng)展示論文價值由于論文承載著基礎(chǔ)研究活動產(chǎn)出的直接成果,充分利用論文的有形實體來評估研究者等評價對象,是目前應(yīng)對基礎(chǔ)研究績效評價復(fù)雜性較理想的方式。但又不能過于簡化績效評價,避免簡單使用論文數(shù)量、引文數(shù)、影響因子等單一指標(biāo)進行績效評估,而是以論文相關(guān)指標(biāo)作為輔助,充分挖掘論文等研究成果的研究水平、創(chuàng)新能力以及影響力等多方面價值,全面展示由其所產(chǎn)生績效的多維度信息。例如,就某篇論文來說,施引文獻的質(zhì)量也與其學(xué)術(shù)水平成正比,如果在該論文的基礎(chǔ)上能夠產(chǎn)出更優(yōu)秀的成果,那么它的影響力和學(xué)術(shù)貢獻是毋庸置疑的,因此可以通過施引文獻的質(zhì)量評價其學(xué)術(shù)貢獻與影響力[18-19]。
隨著可視化等技術(shù)日漸成熟,利用知識圖譜,通過挖掘科學(xué)知識之間的合作、共現(xiàn)、引用等關(guān)系,構(gòu)建出網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),可以用來反映科學(xué)知識節(jié)點的特點與影響力[20]??祁Nò财煜驴茖W(xué)信息研究所發(fā)表的全球研究報告指出,每一個被過度簡化或誤用的指標(biāo),可以尋求更優(yōu)的信息表達(dá)方式[21],通過對研究者等評價對象進行全面畫像,取代利用單點指標(biāo)進行評價?;谠敱M準(zhǔn)確的數(shù)據(jù),以多個維度互補的圖表形式進行數(shù)據(jù)可視化,同時通過展開數(shù)據(jù),將指標(biāo)置于具體案例背景下,通過挖掘新的特征來展示更全面的科研績效信息[22]。
此外,單篇論文評價指標(biāo)逐漸豐富[23],構(gòu)建單篇論文評價體系的條件已經(jīng)具備,在使用論文在基礎(chǔ)研究領(lǐng)域進行微觀評價時(例如研究者評價),開展單篇論文的綜合評價相對于單純使用被引次數(shù)和期刊影響因子評價可能是更好的選擇[24],從論文自身內(nèi)容出發(fā)全面展現(xiàn)基礎(chǔ)研究成果的影響力、創(chuàng)新性、學(xué)科貢獻等各個方面,能夠為基礎(chǔ)研究績效評價提供更為可靠的數(shù)據(jù)支撐。
6.3促進評價領(lǐng)域研究成果與實踐的銜接
在我國基礎(chǔ)研究領(lǐng)域發(fā)展初期,對論文數(shù)量等量化指標(biāo)的要求的確曾在很大程度上促進了基礎(chǔ)研究的發(fā)展[25],然而隨著時代形勢與科研環(huán)境的巨大改變,這種簡單的量化要求已不適應(yīng)我國當(dāng)前基礎(chǔ)研究的發(fā)展,并且有可能在一定程度上阻礙基礎(chǔ)研究的可持續(xù)發(fā)展??茖W(xué)評價領(lǐng)域研究人員積極探索更加適應(yīng)當(dāng)前科研環(huán)境與更加符合科學(xué)研究自身特點的評價指標(biāo)[26-27]并致力于構(gòu)建更為有效的評價體系[28],各方評價主體將研究成果運用于實踐不僅是當(dāng)前科學(xué)發(fā)展的必然要求,而且是對科學(xué)評價領(lǐng)域各類資源投入的正向反饋,并能夠促進科學(xué)評價領(lǐng)域產(chǎn)出更多貼合實踐的研究成果。研究成果向應(yīng)用的轉(zhuǎn)化知易行難,面臨著實際操作難、成本高等重重阻礙,然而在國家大力推行的分類評價、強化代表作同行評議等積極政策進一步完善的條件下,將更加符合基礎(chǔ)研究發(fā)展規(guī)律、能夠激發(fā)研究人員創(chuàng)新潛力的評價方法、評價指標(biāo)等評價領(lǐng)域研究成果應(yīng)用到評價實踐中是勢在必行的。不積跬步無以至千里,客觀地看待論文等直接成果,科學(xué)地運用由論文等直接成果衍生出的各項評價指標(biāo),率先在破解“唯論文”層面有所突破,是基礎(chǔ)研究評價領(lǐng)域成果向?qū)嵺`轉(zhuǎn)化的重要甚至首要環(huán)節(jié),也是引導(dǎo)科研人員回歸科研“初心”的第一步。
7結(jié)論
在國家破除“唯論文”等一系列科技評價制度改革的背景下,論文這一基礎(chǔ)研究的直接成果以及利用論文相關(guān)指標(biāo)進行基礎(chǔ)研究績效評價的實踐活動均應(yīng)被重新審視。破除“唯論文”并不是否定論文的重要性,尤其在基礎(chǔ)研究領(lǐng)域,論文仍然是承載、儲存和傳播基礎(chǔ)研究新發(fā)現(xiàn)、新認(rèn)識、新理論等研究成果的重要載體和手段,對基礎(chǔ)研究領(lǐng)域的持續(xù)創(chuàng)新具有重要意義。破除“唯論文”,是要破除簡單利用論文相關(guān)量化指標(biāo)進行科學(xué)研究評價的形式主義本質(zhì),使績效評價發(fā)揮其引導(dǎo)基礎(chǔ)研究回歸理性、專注于創(chuàng)新“初心”的功能。破除“唯論文”也不是不再使用論文相關(guān)指標(biāo)等科學(xué)量化數(shù)據(jù),方法的創(chuàng)新不是目的,合理運用評價指標(biāo)以發(fā)揮績效評價在基礎(chǔ)研究領(lǐng)域的引導(dǎo)與規(guī)范作用,從而提高基礎(chǔ)研究領(lǐng)域創(chuàng)新成效才是績效評價的目標(biāo)?;A(chǔ)研究績效評價是一項復(fù)雜而艱巨的系統(tǒng)工程,構(gòu)建科學(xué)合理的基礎(chǔ)研究績效評價體系任重而道遠(yuǎn)。文中歸納了論文相關(guān)指標(biāo)在基礎(chǔ)研究績效評價實踐活動中合理運用的幾個要點:一是將論文相關(guān)指標(biāo)回歸其作為“手段”的本質(zhì);二是多種方法并用,系統(tǒng)展示論文價值;三是促進評價領(lǐng)域研究成果與實踐的銜接。針對每一要點提出了合理化建議,并就每一條建議詳細(xì)闡述了一些可行性較強的措施,以期為基礎(chǔ)研究績效評價體系的構(gòu)建與完善添磚加瓦。
參考文獻:
[1]葉玉江.持之以恒加強基礎(chǔ)研究夯實科技自立自強根基[J].中國科學(xué)院院刊,2022,37(5):589-595.
[2]邱均平,張裕晨,周子番.新時代我國科研評價體系重構(gòu)中必須處理好八大關(guān)系[J].中國圖書館學(xué)報,2021,47(1):47-60.
[3]鄭棟偉,陳宏民.我國基礎(chǔ)研究績效評估體系研究[J].科學(xué)管理研究,2009,27(5):24-27.
[4]中華人民共和國科學(xué)技術(shù)部.科技部印發(fā)《關(guān)于破除科技評價中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知-中華人民共和國科學(xué)技術(shù)部[EB/OL].(2020-02-17)[2023- 11- 20]. https://www.most.gov.cn/xxgk/xinxi?fenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html.
[5]陳云偉,張志強.科技評價走出“破”與“立”困局的思考與建議[J].情報學(xué)報,2020,39(8):796-805.
[6]經(jīng)濟合作與發(fā)展組織.弗拉斯卡蒂手冊[M].張玉勤,譯.北京:科學(xué)技術(shù)文獻出版社,2010.
[7] NSF. Science&Engineering indicators[R]. National Sci?ence Foundation,Ann Arbor,MI:1993.
[8]林德明,姜磊.科技論文評價體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2012,33(10):11-17.
[9]趙立雨.基礎(chǔ)研究績效評估的國際比較及啟示[J].科技進步與對策,2011,28(24):140-144.
[10] Wainer J,Vieira P. Correlations between bibliometrics andpeer evaluation for all disciplines:The evaluation of Bra?zilian scientists[J]. Scientometrics,2013,96(2):395-410.
[11]陳云偉.科技評價方法與應(yīng)用[M].北京:科學(xué)出版社,2021.
[12]王嘉,王賀,徐雷鳴.樹立正確科技評價導(dǎo)向破解科技經(jīng)濟“兩張皮”難題[J].農(nóng)業(yè)科技管理,2022,41(1):45-47.
[13]李牧南,周科宇. SCI論文價值的再錨定:兼論如何破解“唯論文”的科技評價弊端[J].情報雜志,2021,40(10):179-185.
[14]曾燕,楊曉,吳京晶.替代計量指標(biāo)的應(yīng)用、問題和反思:基于發(fā)達(dá)國家科技評價政策和實踐的調(diào)查[J].情報理論與實踐,2022,45(6):74-83
[15]章熙春.我國科技評價體系的困境與優(yōu)化[J].學(xué)術(shù)研究,2020(, 10):38-46.
[16]吳星.學(xué)術(shù)論文代表作評價指標(biāo)體系研究[D].鄭州:鄭州航空工業(yè)管理學(xué)院,2023.
[17] Moed H F. Appropriate use of metrics in research as?sessment of autonomous academic institutions[J]. Schol?arly Assessment Reports,2020,2(1).
[18]何春建.單篇論文學(xué)術(shù)影響力評價指標(biāo)構(gòu)建[J].圖書情報工作,2017,61(4):98-107.
[19] Iman T,Lutz B. Creativity in science and the link tocited references:Is the creative potential of papers re?flected in their cited references?[J]. Journal of Infor?metrics,2018,12(3):906-930.
[20]陳必坤.學(xué)科知識可視化分析研究[D].武漢:武漢大學(xué),2017.
[21] Adams J,McVeigh M,Pendlebury D,et al.全面畫像而非簡單指標(biāo)[J].科學(xué)觀察,2019,14(4):58-65.
[22]何薇,王琳.全面畫像,而非簡單指標(biāo):利用可視化手段全面揭示單點指標(biāo)的蘊含信息[J].世界科技研究與發(fā)展,2020,42(1):107-118.
[23]姜磊.單篇學(xué)術(shù)論文的評價指標(biāo)體系研究[D].大連:大連理工大學(xué),2014.
[24]王賢文,方志超,王虹茵.連續(xù)、動態(tài)和復(fù)合的單篇論文評價體系構(gòu)建研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2015,36(8):37-48.
[25]陳云偉,張志強.科學(xué)計量學(xué)迎接新挑戰(zhàn)與新機遇:2018科學(xué)計量與科技評價天府論壇綜述[J].圖書與情報,2018(, 5):134-140.
[26] Priem J,Piwowar H A,Hemminger B M. Altmetrics inthe wild:Using social media to explore scholarly im?pact[J]. Computer Science,2012.
[27]高錫榮,楊娜.基于社會網(wǎng)絡(luò)分析方法的論文評價指標(biāo)體系構(gòu)建[J].情報科學(xué),2017,35(4):97-102.
[28]錢玲飛,賀婉瑩,楊建林.論文學(xué)術(shù)創(chuàng)新力特征指標(biāo)體系研究[J].情報科學(xué),2021,39(1):56-64.
The Positioning of Paper Related Indicators in The PerformanceEvaluation of Basic Research
ZHAO Rong
(Gansu Agricultural University Library,Lanzhou Gansu 730000,China)
Abstract:In order to make the paper and its related evaluation indicators return to the“original intention”ofevaluation in basic research evaluation activities, give full play to the effectiveness of relevant indicators in perfor?mance evaluation of the paper to a greater extent, and on the basis of analyzing the connotation and essence of basicresearch as well as the function and positioning of the paper inside and outside the basic research system, The paperpoints out the core position of the relevant index in the evaluation of the performance of basic research - it is themost reliable and easy to obtain index to measure the performance of basic research. This paper points out the prob?lems in the use of paper related indicators in the performance evaluation of basic research:“purpose”and“means”,“evaluation index”and“expert review”“, research process”and“practical application”, and puts forward reasonablesuggestions on the rational use and placement of paper related indicators in the performance evaluation of basic re?search: First, the paper related indicators return to its essence as a“means”. Second, use a variety of methods to sys?tematically demonstrate the value of the paper. Third, promote the convergence of research results and practice in
the field of evaluation.
Key words:basic research; performance evaluation; paper related indicators