(廣東海洋大學(xué)圖書館，廣東 湛江 524088)

科研評估作為科研管理的重要手段之一，擔(dān)負(fù)著管理、監(jiān)督和引導(dǎo)科研活動、維護(hù)根本科學(xué)主旨和原則的使命?？蒲性u估的結(jié)果具有較強(qiáng)的導(dǎo)向性，通常作為政府制定科技規(guī)劃和配置科研資源的重要依據(jù)，直接影響科學(xué)研究未來的發(fā)展、經(jīng)濟(jì)社會的發(fā)展以及研究人員的積極性。同行評議和文獻(xiàn)計(jì)量是科研評估中運(yùn)用最廣泛的兩種方法，分別從內(nèi)容屬性和外部屬性兩個角度對科學(xué)研究進(jìn)行評估。因評估角度各有側(cè)重，評估方法各有利弊，同行評議和文獻(xiàn)計(jì)量在科研評估中的作用孰優(yōu)孰劣，學(xué)界一直存在爭議。近年來，我國科研評估實(shí)踐中文獻(xiàn)計(jì)量指標(biāo)及方法運(yùn)用失當(dāng)，導(dǎo)致重?cái)?shù)量、輕質(zhì)量評估失衡現(xiàn)象的發(fā)生，文獻(xiàn)計(jì)量一度遭遇是否還有存在必要的質(zhì)疑。本文擬從科研評估性質(zhì)分類的角度，探討學(xué)術(shù)性評估和管理性評估的特點(diǎn)及其方法契合，辨析文獻(xiàn)計(jì)量法在管理性評估中的獨(dú)特作用，揭示文獻(xiàn)計(jì)量法應(yīng)用于科研管理性評估的現(xiàn)存問題并提出對策與建議。

1 科研評估的性質(zhì)分類及其方法契合

分類評估是當(dāng)今科研評估改革的共識，在評估實(shí)踐中理清評估的分類邏輯并進(jìn)行契合方法的選擇是改革的關(guān)鍵。從科研評估涉及的依據(jù)、指標(biāo)、過程和結(jié)論形式等方面去分析，可以看到科研評估存在著性質(zhì)上的差別。按照評估性質(zhì)的不同，科研評估可以分為學(xué)術(shù)性評估和管理性評估。學(xué)術(shù)性評估主要是針對某一項(xiàng)具體的研究項(xiàng)目的內(nèi)容屬性所做的評估，得出關(guān)于這一項(xiàng)目的學(xué)術(shù)質(zhì)量或?qū)W術(shù)價(jià)值的分析與判斷。管理性評估則是對某一范圍內(nèi)的一批研究項(xiàng)目的外部屬性(如論文數(shù)量、引用量等)所做的定量評估，以從中探尋科學(xué)活動的規(guī)律。

學(xué)術(shù)性評估具有小樣本的特點(diǎn)，屬于針對單一研究成果的微觀評估。這類評估較多采用同行評議方法，利用同行評審專家的學(xué)科背景和專業(yè)修養(yǎng)對成果的學(xué)術(shù)水準(zhǔn)和科學(xué)價(jià)值進(jìn)行獨(dú)立評估。由于學(xué)術(shù)性評估在小范圍內(nèi)進(jìn)行，規(guī)模不大，所需專家數(shù)量不多，評估行為相對較易控制。與之相比，管理性評估則具有大樣本的特點(diǎn)，通常適用于宏觀層面的評估。隨著評估范圍的擴(kuò)大、評估項(xiàng)目數(shù)量的增加、評估涉及學(xué)科領(lǐng)域的增多，同行評審專家可以發(fā)揮的作用越來越小，這為以定量評估為特征的文獻(xiàn)計(jì)量方法在管理性評估中的運(yùn)用贏得了存在的合理性。尤其是在科研成果按指數(shù)增長的今天，要想從國家、地區(qū)、機(jī)構(gòu)等宏觀層面了解科學(xué)活動的產(chǎn)出效率和發(fā)展規(guī)律，文獻(xiàn)計(jì)量無疑是管理性評估最契合的方法選擇。

2 文獻(xiàn)計(jì)量法在科研管理性評估中的作用辨析

從以上科研評估的性質(zhì)分類及契合方法選擇的分析視角來看，學(xué)界由來已久的、關(guān)于同行評議與文獻(xiàn)計(jì)量的優(yōu)劣之爭是立足于科研評估的微觀層面，即從學(xué)術(shù)性評估層面開展的爭論。不可否認(rèn)，采用同行評議對單一研究成果的學(xué)術(shù)性評估更符合科學(xué)研究的本質(zhì)規(guī)定性，與學(xué)術(shù)共同體追求自治的目標(biāo)相一致，但對于學(xué)科種類和研究項(xiàng)目繁多、時間范圍和地域范圍寬泛、規(guī)模巨大的管理性評估而言，文獻(xiàn)計(jì)量的評估結(jié)果無疑更具有說服力。

文獻(xiàn)計(jì)量法作為科學(xué)學(xué)中定量分析研究的有力工具，可以解釋許多分布機(jī)制相似的科學(xué)研究現(xiàn)象，可以從宏觀層面對科學(xué)系統(tǒng)的運(yùn)行機(jī)制以及科學(xué)活動的產(chǎn)出和過程進(jìn)行評估和觀測。管理性評估與科技決策密切相連，國家對科學(xué)研究的投入力度逐漸加大，對投入效益的評估日益重視，對學(xué)術(shù)共同體之外的第三方評估需求越來越多，這為文獻(xiàn)計(jì)量方法在管理性評估中的作用發(fā)揮提供了現(xiàn)實(shí)土壤。文獻(xiàn)計(jì)量對大量科研數(shù)據(jù)進(jìn)行的分析與評估，是立足于學(xué)術(shù)共同體之外對科研工作的一種宏觀審視，可以讓管理者有一個量的判斷、多一些思維空間、多一個觀察的視角。從這個角度看，文獻(xiàn)計(jì)量方法在科研管理性評估中所起的作用非同行評議或其他方法所能夠替代。

文獻(xiàn)計(jì)量學(xué)自情報(bào)學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)三門學(xué)科交叉融合而來。作為一門交叉學(xué)科，文獻(xiàn)計(jì)量學(xué)具有與生俱來的學(xué)科兼容性和延展性，容易與相關(guān)學(xué)科及其方法相互共生、有效融合，最終為拓展文獻(xiàn)計(jì)量在管理性評估中的應(yīng)用領(lǐng)域提供理論和方法基礎(chǔ)。在近幾年的評估實(shí)踐中，文獻(xiàn)計(jì)量不斷突破傳統(tǒng)方法的局限，有效融合新技術(shù)或方法，較好地適應(yīng)了管理性評估升級的需求。比如，在數(shù)據(jù)統(tǒng)計(jì)和分析階段，與定標(biāo)比超方法結(jié)合進(jìn)行科研競爭力評估，通過橫向比較尋找區(qū)域和研究機(jī)構(gòu)間的優(yōu)勢與差距，最終為科研決策提供參考。在科學(xué)合作研究評估中，引入社會網(wǎng)絡(luò)分析法，能夠挖掘出傳統(tǒng)文獻(xiàn)計(jì)量法所不能發(fā)現(xiàn)的各種合作關(guān)系。在數(shù)據(jù)分析結(jié)果呈現(xiàn)方面，結(jié)合知識圖譜、雷達(dá)圖等數(shù)據(jù)可視化技術(shù)，用圖形、圖像、動畫等方式直觀呈現(xiàn)數(shù)據(jù)分析結(jié)果。實(shí)踐表明，文獻(xiàn)計(jì)量學(xué)的這種明顯的多學(xué)科知識結(jié)構(gòu)特征，能夠不斷地實(shí)現(xiàn)理論和方法上的自我改進(jìn)和創(chuàng)新，從容應(yīng)對管理性評估工作的新需求和新挑戰(zhàn)。

3 利用文獻(xiàn)計(jì)量法開展管理性評估的現(xiàn)存問題

3.1 評估實(shí)施主體不確定

利用文獻(xiàn)計(jì)量法進(jìn)行科研管理性評估的活動雖然已經(jīng)普遍開展，但科研管理部門對評估實(shí)施主體進(jìn)行遴選并形成制度的不多。從當(dāng)前的評估實(shí)踐來看，多由圖書館主動為科研管理部門提供科研評估服務(wù)，科研管理部門較少對評估實(shí)施主體進(jìn)行遴選與評估能力判斷。誠然，圖書館員開展此類工作有其得天獨(dú)厚的優(yōu)勢，他們掌握文獻(xiàn)計(jì)量知識，擁有信息和數(shù)據(jù)的搜集與分析能力，積累通過文獻(xiàn)計(jì)量應(yīng)用研究開展信息服務(wù)的豐富經(jīng)驗(yàn)，主動服務(wù)科研管理部門的意愿強(qiáng)烈。但是這種合作關(guān)系如果不以制度的形式加以明確，僅靠圖書館單方面主動服務(wù)，評估過程中難免存在問題，比如：圖書館員對科研管理部門的評估需求和評估意圖識別不充分；在評估方案的確定、評估指標(biāo)體系的構(gòu)建等環(huán)節(jié)中，科研管理部門的參與度不高；評估工作沒有定期開展，評估缺乏規(guī)劃性和連續(xù)性；圖書館員對各類項(xiàng)目成果材料難于判斷、對各個學(xué)科特點(diǎn)難以把握；評估過程缺乏監(jiān)控等?？梢哉f，沒有嚴(yán)格的制度約束，就沒有人對評估的效果和結(jié)果承擔(dān)責(zé)任，從而導(dǎo)致評估的權(quán)威性與嚴(yán)肅性受到影響。

3.2 評估結(jié)果的實(shí)際作用未得到發(fā)揮

科研評估工作能否持續(xù)開展并真正取得實(shí)效，評估結(jié)果的有效運(yùn)用極為關(guān)鍵。從目前管理性評估實(shí)踐來看，缺乏評估結(jié)果應(yīng)用的研究及其對促進(jìn)科學(xué)研究發(fā)展作用的專門討論。部分管理性評估工作為了評估而評估，評估僅限于得出評估結(jié)論，對評估中發(fā)現(xiàn)的問題和得出的建議沒有真正重視和運(yùn)用，沒有真正將評估結(jié)論與科研管理結(jié)合起來，以切實(shí)發(fā)揮評估工作價(jià)值導(dǎo)向、衡量績效、支撐決策的作用。此外，管理性評估結(jié)果及其運(yùn)用情況不夠公開透明，學(xué)界對相關(guān)情況的知情權(quán)實(shí)現(xiàn)不充分，導(dǎo)致評估的實(shí)效性、公信力以及學(xué)界對此的滿意度大打折扣。

3.3 缺乏科研資源投入與成果產(chǎn)出關(guān)系的評估

科學(xué)研究也是一個生態(tài)系統(tǒng)，科研產(chǎn)出的數(shù)量與規(guī)模除了受研究能力和水平影響外，經(jīng)費(fèi)、人力等主要科研資源的投入也會直接影響科研的產(chǎn)出。在當(dāng)前各類科研指標(biāo)的文獻(xiàn)計(jì)量分析中，只注重對科研成果即科研產(chǎn)出進(jìn)行統(tǒng)計(jì)分析，缺乏對科研資源投入與成果產(chǎn)出關(guān)系的分析，這顯然有失偏頗。管理性評估在某種程度上被視為是對科研實(shí)力的評估，只有在考量科研資源對成果產(chǎn)出貢獻(xiàn)度的前提下，進(jìn)行科研產(chǎn)出能力和水平的比較分析，評估結(jié)果才更為客觀、合理。如何將科研資源的投入與成果產(chǎn)出關(guān)系作為指標(biāo)納入評估體系，彌補(bǔ)評估現(xiàn)有的缺陷，是管理性評估有待解決的問題。

3.4 評估指標(biāo)體系欠合理

從當(dāng)前的評估實(shí)踐來看，評估指標(biāo)設(shè)置不合理、甚至誤用的問題是直接導(dǎo)致管理性評估結(jié)果難以獲得學(xué)術(shù)共同體廣泛認(rèn)同的主要原因。評估指標(biāo)存在的主要問題有：1)規(guī)模指標(biāo)偏多，人均指標(biāo)、比例指標(biāo)等相對指標(biāo)偏少。規(guī)模指標(biāo)反映的是某個時間范圍內(nèi)的絕對數(shù)值，如發(fā)表論文總數(shù)等。規(guī)模指標(biāo)的單一運(yùn)用被指存在負(fù)面導(dǎo)向，如引導(dǎo)被評估對象走規(guī)模擴(kuò)張之路，不利于培養(yǎng)被評估對象的質(zhì)量發(fā)展意識。2)缺乏表征行進(jìn)狀態(tài)的指標(biāo)?，F(xiàn)有評估中多采用靜態(tài)數(shù)值指標(biāo)，無法表征科研產(chǎn)出的行進(jìn)狀態(tài)，即成果產(chǎn)出隨著時間變化的速度。3)缺乏內(nèi)容層面的分析指標(biāo)。目前，管理性評估對科研發(fā)展態(tài)勢的分析大多基于文獻(xiàn)外部特征數(shù)據(jù)的統(tǒng)計(jì)視角，缺乏對文獻(xiàn)內(nèi)容的揭示指標(biāo)。基于文獻(xiàn)數(shù)量的分析有助于科研管理者從宏觀層面把握科學(xué)系統(tǒng)的運(yùn)行機(jī)制，但對于研究人員來說，他們更希望獲得基于文獻(xiàn)內(nèi)容的分析結(jié)果(如關(guān)鍵詞統(tǒng)計(jì)等)，以從內(nèi)容文本的信息統(tǒng)計(jì)中找出學(xué)科的發(fā)展規(guī)律和內(nèi)在聯(lián)系，為其研究工作提供參考。

3.5 評估數(shù)據(jù)的數(shù)量和質(zhì)量存在不足

評估工作普遍遇到的困難是數(shù)據(jù)失準(zhǔn)和來源不充分，這些問題影響了評估的客觀性和科學(xué)性。目前，評估所采用的數(shù)據(jù)主要源自中外文檢索系統(tǒng)，這種單一的數(shù)據(jù)來源方式導(dǎo)致了評估數(shù)據(jù)存在局限性。中外文檢索系統(tǒng)以收錄學(xué)術(shù)論文為主，而論文只是眾多學(xué)術(shù)成果類型中的一種，忽視非論文形式的成果產(chǎn)出類型顯然無法如實(shí)反映科學(xué)研究活動實(shí)際。電子出版、開放獲取等網(wǎng)絡(luò)出版模式日趨成熟，但這一部分?jǐn)?shù)據(jù)尚未納入評估的數(shù)據(jù)來源，也令數(shù)據(jù)的完整性受到質(zhì)疑。不同檢索系統(tǒng)收錄的來源期刊在數(shù)量和學(xué)科歸屬劃分上存在差異，導(dǎo)致從不同系統(tǒng)中獲得的評估數(shù)據(jù)不一致，難以進(jìn)行數(shù)據(jù)歸并。來源數(shù)據(jù)存在的問題影響了評估結(jié)果的客觀性和準(zhǔn)確性。

4 利用文獻(xiàn)計(jì)量法開展管理性評估的建議

4.1 明確評估實(shí)施主體，逐漸規(guī)范評估組織工作

從評估組織看，評估工作要逐漸走向評估過程的程序化、規(guī)范化和公開化?？蒲泄芾聿块T應(yīng)對評估實(shí)施主體及其評估能力進(jìn)行遴選和識別，確定相對固定的評估實(shí)施主體及其職責(zé)。把評估工作作為目標(biāo)管理的一部分，將其作為制定戰(zhàn)略規(guī)劃的有機(jī)整體，加強(qiáng)對評估目的、實(shí)施程序和監(jiān)督程序等方面的研究，以制度形式加以確定，使評估工作落到實(shí)處，避免空泛、流于表面。提升評估過程的透明度，公開評估數(shù)據(jù)、方法與過程，以便于學(xué)界對評估工作進(jìn)行檢驗(yàn)和質(zhì)疑。

4.2 開展評估結(jié)果應(yīng)用研究，切實(shí)發(fā)揮評估作用

科研管理性評估是科技管理的重要手段和工具，開展評估結(jié)果應(yīng)用研究，重視發(fā)揮管理性評估的作用，可以為科研管理部門提供改進(jìn)的方向與路徑。管理性評估結(jié)果的用途具有多樣性。從科研管理部門的角度來看，評估結(jié)果有助于他們從宏觀層面了解科研整體發(fā)展態(tài)勢，為制定科研戰(zhàn)略規(guī)劃、政策分析、樹立標(biāo)桿、分配資源和經(jīng)費(fèi)、進(jìn)行項(xiàng)目和質(zhì)量監(jiān)控、績效問責(zé)等提供依據(jù)。對于研究機(jī)構(gòu)而言，評估結(jié)果有助于促進(jìn)研究機(jī)構(gòu)之間的競爭，提高科研整體水平，這是科研管理部門所樂見的，同時還有利于研究機(jī)構(gòu)客觀評價(jià)自身在行業(yè)內(nèi)或區(qū)域內(nèi)的位置。從研究人員的角度來看，評估結(jié)果有助于他們了解所屬學(xué)科領(lǐng)域的整體發(fā)展水平，是下一步確定研究方向的重要參考。同時，向被評估對象和學(xué)界公開評估結(jié)果，開展評估結(jié)果的應(yīng)用研究，讓評估工作的效用得到最大程度的發(fā)揮。

4.3 量化科研資源投入對成果產(chǎn)出的影響，提升評估的公正性

量化科研資源投入對成果產(chǎn)出的影響有其現(xiàn)實(shí)難度。有學(xué)者將論文數(shù)量等指標(biāo)根據(jù)科研人員數(shù)量或經(jīng)費(fèi)投入數(shù)量等進(jìn)行標(biāo)準(zhǔn)化，得出描述生產(chǎn)率的相關(guān)指標(biāo)，再進(jìn)行后續(xù)的分析比較。有學(xué)者提出通過大樣本分析或?qū)＜抑饔^評定給出每項(xiàng)科研資源投入在成果產(chǎn)出上的貢獻(xiàn)度值。將被評估對象具有的各項(xiàng)科研資源投入貢獻(xiàn)度值作為前置條件計(jì)算出在該條件滿足下的成果產(chǎn)出概率。一般地，前置條件滿足量越多，其成果產(chǎn)出概率值越高。上述科研資源投入?yún)⒄障档姆治?，是進(jìn)行科研資源投入與成果產(chǎn)出關(guān)系評估的有益嘗試。如何在評估中增加科研資源投入貢獻(xiàn)度和成果產(chǎn)出概率的計(jì)量，盡可能公正合理地開展評估，需要學(xué)者們持續(xù)關(guān)注并尋找合理解決方案。

4.4 加強(qiáng)對評估指標(biāo)的研究，合理設(shè)置評估指標(biāo)體系

隨著文獻(xiàn)計(jì)量學(xué)理論和方法研究的逐步推進(jìn)，越來越多的新指標(biāo)被創(chuàng)建并引入評估實(shí)踐。我們需要用一種關(guān)聯(lián)的視角、結(jié)構(gòu)的視角和發(fā)展的視角來對新舊指標(biāo)進(jìn)行綜合，盡可能采用國際通用的指標(biāo)，設(shè)置系統(tǒng)的、合理的評估指標(biāo)體系。針對上文提出的評估指標(biāo)存在的問題，有以下解決思路：1)從規(guī)模指標(biāo)向人均指標(biāo)和比例指標(biāo)等相對指標(biāo)轉(zhuǎn)變，對于一些不適合直接比對的數(shù)據(jù)，計(jì)算其人均數(shù)值或比例數(shù)值，采用數(shù)量與占比相結(jié)合的方式來進(jìn)行比對，為原來不能直接比較的兩個絕對數(shù)值找到可以比較的基礎(chǔ)，從而使評估結(jié)論更為客觀、合理，減少評估中的規(guī)模導(dǎo)向。2)增加表征行進(jìn)狀態(tài)的指標(biāo)，通過計(jì)算不同時間段成果產(chǎn)出數(shù)量的變化，找出成果產(chǎn)出隨著時間推移的效率或速度。3)增加基于內(nèi)容層面的分析，可以對科學(xué)研究未來的發(fā)展趨勢進(jìn)行預(yù)測和規(guī)劃，進(jìn)而推動和引導(dǎo)科學(xué)研究朝著一定方向發(fā)展。

4.5 拓寬來源數(shù)據(jù)范圍，提高來源數(shù)據(jù)質(zhì)量

系統(tǒng)、準(zhǔn)確地采集原始數(shù)據(jù)是評估的基礎(chǔ)，來源數(shù)據(jù)越完備，評估結(jié)論越可靠。評估人員要制定一套來源數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范，為來源數(shù)據(jù)的采集和使用提供依據(jù)。拓寬數(shù)據(jù)來源范圍，重視學(xué)術(shù)專著、統(tǒng)計(jì)報(bào)告、專利、標(biāo)準(zhǔn)等非論文形式的成果以及通過網(wǎng)絡(luò)傳播和擴(kuò)散的研究成果。重視數(shù)據(jù)清洗和歸并工作，將人工判別方式與借助數(shù)據(jù)清洗工具相結(jié)合，以確保來源數(shù)據(jù)的可靠性和準(zhǔn)確性。建立國內(nèi)外學(xué)科間的映射關(guān)系，盡可能降低學(xué)科歸屬的誤差。有條件的區(qū)域或機(jī)構(gòu)還可以根據(jù)評估的個性化需求，逐步建立起內(nèi)部共享科研成果數(shù)據(jù)平臺，確保來源數(shù)據(jù)的質(zhì)量和完整性。

5 結(jié) 語

科研評估是促進(jìn)并引導(dǎo)科學(xué)研究發(fā)展的重要管理手段。在大數(shù)據(jù)時代背景下，科研管理信息化手段不斷豐富，中外文數(shù)字資源的使用趨于便利，加之文獻(xiàn)計(jì)量方法自身的同步發(fā)展，促使管理性評估的量化趨勢日益顯化。文獻(xiàn)計(jì)量方法固然有其自身的局限性和片面性，但無疑也是管理性評估最契合的方法選擇。加強(qiáng)對管理性評估本身的研究，努力發(fā)現(xiàn)和發(fā)揮文獻(xiàn)計(jì)量方法的優(yōu)勢和積極作用，不斷規(guī)范與完善評估組織工作，促使評估工作回歸其科學(xué)之本真，將會是未來科研管理改革無法回避的研究課題。