高 慧
(湖北省社會科學院,武漢 430077)
哲學社會科學研究成果評價是廣受關注的難題。哲學社會科學研究成果自身多樣性的特點,決定了其評價的特殊性。與自然科學相比,哲學社會科學研究成果具有自身的特點:哲學社會科學研究成果是解釋性的,即主要是由文本、理論和概念驅(qū)動的,而自然科學則是通過研究回答具體的問題并且是由進步驅(qū)動的;哲學社會科學研究成果是反思性的,通過培養(yǎng)話語爭議和競爭性視角在學術界引入新的觀點;哲學社會科學研究成果主要是個體性的,合作撰寫的較少;生產(chǎn)力對于哲學社會科學研究成果來說并不重要;哲學社會科學研究成果的社會導向很重要,即哲學社會科學研究成果旨在影響社會,與社會的直接互動是哲學社會科學研究的一部分[1]5。建立健全中國特色哲學社會科學評價體系,需要正確認識知識生產(chǎn)模式轉(zhuǎn)型下哲學社會科學研究成果評價面臨的改革壓力以及當前的評價困境。歐洲高校在哲學社會科學研究成果評價方面的探索在國際層面上提供了有價值的貢獻。鑒于此,本文選取了德國、法國、瑞典三個國家的哲學社會科學評價案例,分析并總結(jié)了歐洲高校哲學社會科學研究成果評價的典型特征,并對我國哲學社會科學成果評價的改進提出建議,以期使哲學社會科學研究成果評價工作與時俱進,并真正起到促進哲學社會科學蓬勃發(fā)展的作用。
1.德國:對同行評議進行審視
2011—2012年,由德國科學委員會、德國科學與人文委員會組織的全國性科研同行評議活動在德國高校的英語系展開。杜塞爾多夫大學的Ingo Plag教授對于同行評議的過程提出了以下質(zhì)疑:評審員的個人判斷有多可靠?不同評審員對于無法量化的標準有多大程度的共識?不同評價指標之間的關系是什么?外部資金的數(shù)量是否能反映研究者的研究成果質(zhì)量?根據(jù)19位評審員提供的4110個評分,Ingo Plag教授對此次評價活動的方法進行了批判性的實證研究,重點在于考察評價指標的分類形式以及各類評價指標的可靠性。
在這次的大規(guī)模同行評議活動中,19位評審人員被分成了四個小組,分別對應英語系的四個分支:英國文學與文化、美國研究、語言學、英語教學。評議小組建立了一個對高校英語系科研總體情況的評價體系,其中關于研究成果的評價維度和指標如表1所示。
表1 高校英語系研究成果評價指標體系[2]237
每個指標的評分被分為九個等級,5分為杰出,4.5分為介于優(yōu)秀與杰出之間,4分為優(yōu)秀,3.5分為介于優(yōu)秀與良好之間,3分為良好,2.5分為介于良好與合格之間,2分為合格,1.5分為介于合格與不合格之間,1分為不合格[2]238。首先,每個評審員對表中的所有指標進行獨立評分;然后四個小組分別召集其評審員開會,討論得出每組在四個維度上的得分;最后,所有評審員在全體會議上給出某個高校的英語系在四個維度上的最終得分。
Ingo Plag教授為了研究該評價活動的評價指標和評價信度,收集了兩套數(shù)據(jù)集,第一套數(shù)據(jù)集包含所有評審員的獨立評分,用于調(diào)查評審員的內(nèi)部一致性以及不同指標之間的關系。第二套數(shù)據(jù)集包含全體會議中對每個高校四個維度的評分,該數(shù)據(jù)集用于調(diào)查四個評價維度的相關性。結(jié)果表明,所有評審員的同質(zhì)性較強,評價結(jié)果的總體可靠性較大。大多數(shù)評價指標高度相互關聯(lián),只有“轉(zhuǎn)移”的兩項指標與其他指標之間沒有太大的聯(lián)系,此外,“外部資金支持”并不是衡量研究成果質(zhì)量的有效指標。
2.自下而上:法國SSH1研究評價的新視角
尼古拉·薩科齊總統(tǒng)任期內(nèi)(2007—2012),法國的頂尖大學在上海交大軟科公布的世界最好大學排行上一直置于前50名和前100名的末端,與此同時,法國的大學和科研機構(gòu)在對其科研人員和研究成果的同行評議過程中常常因為評價標準模糊而出現(xiàn)混亂。種種因素促使法國政府明確提出“要創(chuàng)造10個高績效的高等教育研究機構(gòu)”;此外,政府希望通過提高學術標準、建立合理的科研評價體系,來提升法國高等教育的國際競爭力。無論是分配資金、設計研究策略、支持團隊發(fā)展還是展示物有所值,在過去的十年中,更客觀的評估方法已經(jīng)成為法國的一項重要需求。
為了在高校的哲學社會科學領域落實上述政策,2007年《大學責任與義務法》頒布后,法國成立了新的科研評價機構(gòu)——“最高評價理事會”(High Council of the Evaluation,HCERES),用于評價人文和社會科學(Social Sciences and Humanities,SSH)的科研情況[3]181。不僅如此,一些創(chuàng)造性的科研評價項目為法國人文社科成果的評價開辟了全新的視角。本文主要介紹由布列塔尼人文科學研究所支持的DisValHum和 IMPRESHS 項目。
DisValHum和 IMPRESHS 項目的出發(fā)點是基于法國研究評價中由于對所評價領域觀察不充分或?qū)λu價領域沒有進行觀察,以及缺乏與利益相關者的接觸等而產(chǎn)生的許多問題,這兩個項目都致力于改善這種情況。項目采取的是一套自下而上的研究評價體系,該評價體系專注于SSH的研究實踐,并反思如何采用自己的方法而不是應用和調(diào)整用于評價自然科學和生命科學的方法來評價SSH研究[3]189。它們不同于自上而下的評價活動,有先入為主的固定評價體系。此項目旨在通過對研究人員的資料收集和訪問調(diào)查,制定最佳的人文社科成果評價指標體系,同時聽取基層研究人員的意見,以公開透明的方式展開成果評價。這兩個項目探究了不同學科的研究人員選擇研究成果傳播途徑的動機及其差異,試圖在研究成果的影響力與其傳播途徑之間建立一種關系。
項目將調(diào)查范圍鎖定在法國布列塔尼地區(qū)的四所大學,這四所大學屬于被稱為歐洲大學布列塔尼分校的一個集群,每一所大學在所研究的各個領域都保持一定程度的專業(yè)化。這四所學校中有兩所綜合類大學(Brest和 Bretagne-Sud)、一所理工類大學(含法律、經(jīng)濟學院,Rennes 1)、一所人文和社會科學類大學(Rennes 2)。這兩項項目旨在:一是分析研究成果的傳播形式;二是觀察研究人員的生產(chǎn)率曲線和平均值;三是分析協(xié)作研究實踐,即SSH學科的合著頻率和形式;四是觀察傳播渠道;五是了解研究人員選擇這些渠道的原因。為了實現(xiàn)這些目標,需要建立一個研究成果數(shù)據(jù)庫。項目實施小組盡可能多地收集了四所大學人文社科學者的簡歷,幫助改進數(shù)據(jù)庫的類別和結(jié)構(gòu)。在數(shù)據(jù)庫建設的同時,項目實施小組對布列塔尼各研究單位的SSH學者進行了一系列的小組訪談,旨在幫助改進數(shù)據(jù)庫中包含的產(chǎn)品類型。項目小組統(tǒng)計了不同學科學者的各類研究成果數(shù)量,以四個學科為例,數(shù)據(jù)收集結(jié)果如表2所示。
表2 不同學科學者研究成果傳播形式分布情況 (百分比)[3]195
基于上表數(shù)據(jù),在歷史和文學研究中,書籍和書籍章節(jié)的主導地位是顯而易見的。民法和文學的期刊文章、書籍章節(jié)、專著、百科全書的數(shù)量較多,其研究成果偏重于在學術界制造影響力;而法律史、歷史學的會議報告、報刊報道、其他出版物數(shù)量較多,其研究成果在社會大眾中的影響力較大。每個學科都有自己的出版模式和自己的渠道,法律史和歷史甚至都沒有相似之處,民法和法律史即使作為相同研究領域下的分支,其研究成果的發(fā)表途徑也大不相同。
綜合簡歷和訪談的調(diào)查結(jié)果,項目小組發(fā)現(xiàn),人文社會學科中,不同學科的研究人員選擇研究成果出版物的動機存在巨大差異:社會經(jīng)濟學、心理學學者偏向于將作品發(fā)表在高影響力的期刊上,他們希望在國家和國際層面制造較大的學術影響力,吸引國際合作伙伴;研究歷史的學者具有強烈的大眾吸引力,因此其研究成果大量地在無線電廣播上傳播;而法律研究人員則將他們的研究報告直接與當?shù)胤ㄔ郝?lián)系起來,在法律、制度變革上產(chǎn)生影響;視覺藝術研究者,尤其是那些研究電影作品的人,與非學術受眾的互動密切,他們的作品傳播方式更集中于媒體渠道。
3.替代計量方法:瑞典SSH研究評價的創(chuàng)新
近年來,高速發(fā)展的互聯(lián)網(wǎng)平臺吸引了大量的學術研究人員利用網(wǎng)絡媒介傳播和分享科研成果,這種科研成果傳播方式的變化不僅對傳統(tǒng)的出版形式提出挑戰(zhàn),還對傳統(tǒng)的衡量科研成果影響力的方式提出質(zhì)疑。為了解決這一問題,替代計量學方法應運而生,它超越了文獻計量學(Bibliometrics)、科學計量學(Scientometrics)、信息計量學(Informetrics)的計量方法,將科研成果在社交網(wǎng)站上的傳播形式納入評價范圍內(nèi),強調(diào)評價學術成果時要考慮多個發(fā)布平臺和多種瀏覽指標。
瑞典使用替代計量學對哲學社會科學成果進行評價,主要基于兩個方面的原因。一方面,替代計量學考慮到了研究成果的影響并非局限于學術人員范圍內(nèi),它把研究成果的讀者分為四種——研究人員、專業(yè)人士、大學生和有興趣的公眾,并用“網(wǎng)絡影響力”體現(xiàn)研究成果的綜合影響力[4]1423。衡量研究成果的綜合影響力對哲學社會科學來說是極其有意義的,比如歷史或文學研究,其針對的群體大部分來自學術界以外的廣泛受眾。使用替代計量學方法除了可以衡量學術影響以外的社會影響,還能比較不同社交軟件的傳播能力。另一方面,傳統(tǒng)的文獻計量學收集引文數(shù)據(jù)需要相當長的時間,一般在兩到五年之內(nèi)才能反映一篇文章的引用情況,而在哲學社會科學領域,有學者建議應設置比自然科學更長的引文考量時間。然而,替代計量學方法收集到的閱讀量、轉(zhuǎn)發(fā)量(比如tweets或Mendeley計數(shù))是即時可用的,比引文分析更快速,該方法提高了哲學社會科學成果評價的效率[4]1428。
2012年,瑞典建立了SwePub數(shù)據(jù)庫,該數(shù)據(jù)庫收錄了來自30所瑞典大學的出版物。該數(shù)據(jù)庫中的所有學術成果都至少包含一名來自瑞典的作者,還有一些出版物是與外國研究人員合著的[4]1423。為了評估數(shù)據(jù)庫中“人文科學”的所有出版物,評估人員首先確定了數(shù)據(jù)庫中的“人文科學”的范圍,所有在數(shù)據(jù)庫中作為2012年“人文學科”登記的出版物都被選作進一步的分析材料,據(jù)統(tǒng)計一共包含25個研究領域。通過替代計量資源管理器(Altmetric Explorer)收集來自Twitter、Mendeley、Cite U Like、blogs和Facebook等不同來源的相關數(shù)據(jù)。在2012年,“人文學科”索引的出版物總數(shù)為5091份,通過進一步的分類與計數(shù),結(jié)果如表3所示。
表3 SwePub數(shù)據(jù)庫中人文科學出版物的統(tǒng)計結(jié)果[4]1424
初步統(tǒng)計之后,評估人員利用替代計量資源管理器(Altmetric Explorer)從上述社交軟件中收集上表所有“人文科學”作品的單個瀏覽量、下載量、轉(zhuǎn)載量,用來測量每項作品的“網(wǎng)絡影響力”,最后得出每個種類中所有作品的影響力排名。以期刊文章的測量結(jié)果為例,評估人員評選出了6篇具有最高“網(wǎng)絡影響力”的“人文科學”期刊文章,并發(fā)現(xiàn)這6篇文章中有4篇是跨學科合作的作品,結(jié)果如表4所示。
表4 期刊文章最佳作品[4]1427
替代計量學在Mendeley、Twitter、Cite U Like、blogs、Facebook、Google Scholar等社交平臺利用altmetric.com、Impact Story和 Plum analytics等工具計算學術論文的網(wǎng)絡影響力,統(tǒng)計的數(shù)據(jù)可能包括點擊、查看、下載、保存、注釋、喜歡、推文、分享、評論、推薦、討論、文章、標簽、引用、書簽等等[5]122-124。相比于傳統(tǒng)的評價方法,替代計量學的數(shù)據(jù)源覆蓋面廣、統(tǒng)計指標多樣化、統(tǒng)計結(jié)果實時更新。概括來說,替代計量獲得的支持主要來源于替代計量學在分析交流傳播渠道的多樣性、檢索數(shù)據(jù)的速度、方法的開放性、衡量超越“學術領域”的影響的能力等方面的優(yōu)勢[6]852。
在德國開展的對于評價高校英語系研究成果的評價指標與評價人員的研究,對于構(gòu)建科學的評價體系以及考察評價人員的專業(yè)度有非常積極的作用。通過分析評價指標、評價維度之間的關聯(lián)程度,可以幫助評價人員在指標體系中剔除無效指標,也方便其在后期工作中為高??蒲星闆r改進提出相關建議。法國采用的自下而上的評價方法因為考慮到了人文社會科學研究者的科學研究和交流實踐,而被認為是改進評價過程的一種很好的解決方案。這種評價程序不僅意味著評價更適應現(xiàn)實,而且也意味著學術界從一開始就更容易接受結(jié)果[3]196。基于自下而上程序的客觀研究將有利于人們更好地了解成果類型和研究人員選擇這些產(chǎn)出渠道背后的動機。只有這樣,才有可能將研究成果與可能的社會影響聯(lián)系起來。瑞典所使用的替代計量方法在分析和測量哲學社會科學研究的影響方面優(yōu)于傳統(tǒng)的文獻計量方法這一點是值得肯定的,但要實現(xiàn)其潛力必須解決以下幾個問題:學者在哲學社會科學學科中使用的不同的出版渠道,在許多學科中對印刷的持續(xù)依賴、以及非英語出版物的覆蓋性。因此,哲學社會科學的許多領域的學術實踐可能限制了替代計量數(shù)據(jù)的可用性。從上述評價實踐可以看出,歐洲高校哲學社會科學研究成果評價呈現(xiàn)出以下特征:
第一,重視非學術受眾的評價。西方學者將哲學社會科學研究成果的受眾分為三種:國際學者、國內(nèi)研究人員和非學術受眾[7]115-131。前二者為專業(yè)的評價主體,后者為非專業(yè)的評價主體。歐洲國家的專業(yè)評價主體由政府行政機構(gòu)以及第三方評價機構(gòu)構(gòu)成,包括德國科學與人文委員會(German Council of Science and Humanities)、荷蘭皇家藝術和科學院(Royal Netherlands Academy of Arts and Sciences)、瑞士人文社會科學院等。此外,許多歐洲高校內(nèi)部也組建了同行評議會用于評價教師的科研績效。與此同時,歐洲國家也相當重視讓非專業(yè)的社會大眾參與到研究成果的社會效益的評估中。學者們提出了各種各樣的術語來描述哲學社會科學研究成果的社會效益概念,如“社會相關性”、“公共價值”以及“社會質(zhì)量”。英國的大學利用社區(qū)服務把他們的文學藝術研究成果傳達給社區(qū)居民,在社區(qū)范圍的互動內(nèi)收集群眾的反饋[8]219-233。
第二,注重學術成果的外部影響。長期以來,歐洲學者的注意力主要集中在學術成果的產(chǎn)出及其學術影響上。近年來,他們的興趣開始轉(zhuǎn)向研究成果在科學界以外的影響上,即研究所產(chǎn)生的經(jīng)濟、環(huán)境、社會和文化影響。哲學社會科學一直保持建立與社會的互動,當焦點集中在經(jīng)濟影響上時,這些互動往往是隱性的;當以人為本、解決問題、和以社會為導向的活動成為焦點時,哲學社會科學與社會的互動才更加凸顯。歐盟委員會充分認識到哲學社會科學在社會發(fā)展中,特別是其在應對重大的社會挑戰(zhàn)方面的關鍵作用,哲學社會科學研究成果的社會影響逐漸被納入科研評估方案。英國已將影響的案例研究納入其研究卓越框架(REF),與2008年的科研評估(RAE)相比,2014年的REF新增了權(quán)重為20%的科研影響力。荷蘭則在其標準評估協(xié)議(SEP2015-2021)中評估社會相關性,如荷蘭皇家藝術和科學院于2011年5月發(fā)布的《人文學科研究質(zhì)量指標》報告顯示,人文學科研究成果可從“學術產(chǎn)出”與“社會效益”兩方面分別計算得分,“學術產(chǎn)出”維度包括“學術出版物”、“學術用途”、“學術認可”三項指標;“社會效益”維度包括“社會出版物”、“社會用途”、“社會認可”三項指標[9]47-48。意大利在其研究質(zhì)量評價(VQR2011-2014)中也考慮了社會影響。
第三,提倡自下而上的評價程序。歐洲高校的哲學社會科學評價活動有自上而下(top-down)和自下而上(bottom-up)之分,自上而下的評價活動即正式的評價,由政府或第三方評價機構(gòu)組織;自下而上的評價活動又稱非正式的評價,由一個地區(qū)或一個國家的人文社科學者自行組織[1]2。隨著歐洲學者對哲學社會科學研究評價中的方法論問題及評價程序問題等的批判,歐洲高校哲學社會科學學者開始采取一些自下而上的舉措。這些舉措涉及從簡單地改善哲學社會科學數(shù)據(jù)可用性和準確性,到廣泛質(zhì)量標準和指標的復雜的評價程序等不同的范圍。它致力于打破傳統(tǒng)的、僵化的評價體系,構(gòu)造基于各學科研究實踐的、靈活的、有針對性的新型科研評價模式。如挪威于2004年創(chuàng)立了“挪威模式”用于評價該國高等教育機構(gòu)的學術出版物,并以“出版物加權(quán)得分”決定政府對各高校的科研撥款的再分配情況,挪威的評價活動后來被丹麥、比利時等國家效仿[10]79-90。又如2011年瑞士蘇黎世大學進行的“開發(fā)與測試人文學科研究質(zhì)量指標”項目,該項目聚集了一群專家學者組成評價團隊,從大規(guī)模調(diào)研中尋找研究“質(zhì)量”的明確定義與學科之間的通用衡量標準[11]369-383。
在過去半個多世紀中,科學知識經(jīng)歷爆炸性增長的同時,人類社會的知識及其生產(chǎn)過程出現(xiàn)了重大變化,知識生產(chǎn)的組織、知識生產(chǎn)的資助者、知識生產(chǎn)者的范圍、知識創(chuàng)新的方式等都發(fā)生了重大變化,引發(fā)了知識生產(chǎn)方式的系統(tǒng)性轉(zhuǎn)變?!按罂茖W”[12]、“巴斯德象限”[13]、“三螺旋”[14]、“創(chuàng)業(yè)科學”[15]、“后學院科學”[16]、“學術資本主義”[17]、“知識生產(chǎn)模式2”[18]等概念的提出都對知識生產(chǎn)方式變革的現(xiàn)象作出解釋,這其中最為廣泛引用的就是“模式2”概念?;谀J?導致的知識生產(chǎn)的經(jīng)濟化、功利化傾向,對科學研究自身和外部社會發(fā)展、生態(tài)環(huán)境等產(chǎn)生了一定的負面效應,卡拉雅尼斯探討了一種新的知識生產(chǎn)模式,提出了注重公民參與及社會力量、關注經(jīng)濟發(fā)展生態(tài)平衡、倡導持續(xù)性競爭與社會繁榮為特征的知識生產(chǎn)模式3。[19]新的知識生產(chǎn)模式的出現(xiàn),揭示了知識生產(chǎn)日益顯示出在生產(chǎn)主體、組織方式、評價方式等方面所發(fā)生的重大變化,高校哲學社會科學研究成果評價必然隨著知識生產(chǎn)模式的轉(zhuǎn)型而與時俱進。
第一,知識生產(chǎn)的集體性和跨學科性要求研究成果評價要考慮不同學科之間的研究實踐和研究類型之間的差異,重視跨界、跨地區(qū)合作以及跨學科視角的考量。知識生產(chǎn)的集體性和跨學科性,不僅預示著不同學科之間的合作,還預示著科研是一種集體的、團隊的活動,它們在共同的目標指引下獲得學科和知識生產(chǎn)的共同發(fā)展[20]58。對哲學社會科學研究活動的評價一直是一項有爭議和復雜的任務,目前對該領域特別是作為研究成果的出版物的評價提出的大多數(shù)批評,主要集中在:評價程序與哲學社會科學的研究實踐及交流實踐不相一致[21]1-12。傳統(tǒng)的知識生產(chǎn)是高度個人主義的,這種個人主義,由學術專業(yè)強大卻高度分散的結(jié)構(gòu)得以維持,它和圍繞“首席研究者”或者其他公認的科學領袖的專業(yè)化研究小組的發(fā)展并不矛盾,但真實存在的多學科團隊合作從各個方面挑戰(zhàn)了這種傳統(tǒng)結(jié)構(gòu),影響著個人自治、業(yè)績標準、知識產(chǎn)權(quán)等。因此,這種知識生產(chǎn)方式要求哲學社會科學研究成果評價要考慮這種跨學科團隊合作的研究實踐。
第二,知識生產(chǎn)的社會責任性要求研究成果評價納入社會化程度、社會影響力等指標。知識對社會和經(jīng)濟的影響不僅限于商業(yè)化。強調(diào)哲學社會科學研究成果對社會影響的證明,被解釋為一種接受類似市場的或工具價值的壓力,同時犧牲哲學社會科學研究和文化的非工具本質(zhì)。社會問責的矛盾性壓力已經(jīng)以特殊的形式施加給哲學社會科學學科,需要向公眾證明公共資助的研究活動的結(jié)果并向公眾證明其合理性,促使了評價的產(chǎn)生。和其他知識生產(chǎn)領域一樣,日益增長的社會問責的要求引發(fā)了質(zhì)量標準的轉(zhuǎn)變,質(zhì)量標準不再由學術團體來單獨定義,其他外部的、通常是彌散性的力量也參與進來。哲學社會科學作為研究人類、研究社會的科學,其研究成果的傳播不應局限于課本、課堂,而要擴大到某個地區(qū)、某個國家的日常媒體中,從而引起大眾的共鳴,甚至改變?nèi)祟惖木裆睢T谠u價體系中納入與社會影響力相關的指標,有利于引導哲學社會科學成果發(fā)揮為大眾服務的功能。
第三,知識生產(chǎn)的雜合式質(zhì)量控制標準,推動著評價主體多元化發(fā)展以及評價維度的擴充。質(zhì)量控制有兩個主要的組成部分:一個部分是體制上的,關乎于一項特定研究活動中認知圖景上的空間位置;另一部分是認知上的,屬于研究活動所在的社會組織[18]28。當今的哲學社會科學研究往往是圍繞市場驅(qū)動與學術驅(qū)動開展的有目的的活動,對于研究成果的價值評判不能全由學術專家決定,相關利益團體、社會大眾也應享有發(fā)言權(quán)。由于不同的評價群體擁有不同的評價視角,多元評價主體勢必會導致評價維度的變化與更新。這里涉及從定位于學科的控制到更加分散的體現(xiàn)問題所定義的跨學科本質(zhì)的控制。由于知識生產(chǎn)模式的轉(zhuǎn)變,由學科同行所定義的質(zhì)量控制被附加了諸如效率和實用性等從應用的情境中產(chǎn)生的一些額外的標準,這些標準的界定所依據(jù)的是研究工作對跨學科問題的整體解決所作的貢獻。
1.評價標準:忽視研究實踐與學科類型的差異
我國哲學社會科學包括哲學、文學、歷史學、經(jīng)濟學、法學、教育學、管理學、藝術學八大學科門類,大多數(shù)高校評價哲學社會科學研究成果時都按照學校制定的《人文社會科學研究成果分類標準》等文件,將所有學科門類的研究成果劃分為若干等級打分[22]11-12。在上述評分文件中,一般對學術論文和著作的等級規(guī)定得較為詳細,而并未對其他服務社會的科學研究成果作具體等級劃分。圖書和科學期刊的排名、分類或質(zhì)量標簽是幾乎所有評價過程中使用的工具。在某種程度上,這些來源的使用證實了在科學產(chǎn)出方面提供客觀指標的需要。但評價過程過于簡化和自動化,將期刊或出版物在排名中的位置自動轉(zhuǎn)化成科學貢獻的價值。而且,部分學科的應用與發(fā)展類學術成果占據(jù)較大比重,若單純“以論文論英雄”,則不能突出此類學科的特殊功能與使命。
此外,哲學社會科學學科的多樣性可能導致某些評價指標在一門學科中比在另一門學科中更具有適用性。例如,在某一學科領域中,大量的研究人員可能同時致力于發(fā)展和完善同一理論,而在另一學科領域,研究人員的研究主題各不相同,這對引文分析文獻計量指標的適用性產(chǎn)生了重大影響,并且對各學科的文獻計量可比性設置了限制。
2.評價維度:客觀界定和區(qū)分研究質(zhì)量的領域偏窄
哲學社會科學的研究目的除了有系統(tǒng)地增加和澄清對現(xiàn)實的認識等以外,也包括社會相關性,即學術知識通常與政策制定者、文化機構(gòu)、教育者和其他相關方組成的更廣泛的目標群體共享。自20世紀90年代以來,科學和學術的社會相關性日益受到重視。認為質(zhì)量在一定程度上取決于使用情境的觀點,使得社會質(zhì)量日益受到關注。如今,哲學社會科學研究的質(zhì)量和相關性不僅受到同行的檢驗,也受到社會的直接檢驗。
當前我國高校哲學社會科學研究成果的評價指標是圍繞學術價值而建構(gòu)的,通常評價指標中會考慮研究成果的內(nèi)在質(zhì)量,即難度、學術規(guī)范性、創(chuàng)新性等,也會顧及研究成果的外在質(zhì)量,即下載量、引用量、轉(zhuǎn)載量。而有關社會公眾認可度、企業(yè)利用價值、政策利用價值等指標卻很少被納入評價指標體系內(nèi)?!皩W術至上”的評價視角往往會誤導科研工作者集中追求研究成果的學術價值,棄社會價值于不顧。
3.評價方法:怠忽對現(xiàn)代信息技術的恰當運用
長期以來,我國高校哲學社會科學研究成果的評價方法以同行評議與文獻計量學為主,但研究過程的數(shù)字化以及同行之間和整個社會共享研究知識的網(wǎng)絡化方式可能會導致研究生產(chǎn)系統(tǒng)發(fā)生重大變化,并對研究成果的質(zhì)量評價指標產(chǎn)生影響。數(shù)字化使科學和學術研究過程更加透明,與過去相比,質(zhì)量作為標簽也可以附加到這些過程本身,而不僅僅是通過結(jié)果呈現(xiàn)。學術出版物是研究的物化、有形和可衡量的結(jié)果。從這個角度來看,出版物是判斷研究活動的一個基本要素。然而,當今社會不僅需要科學知識的產(chǎn)生和出版,而且還需要它對社會的影響和效用。數(shù)字化可以通過在研究過程中分享知識的方式,例如通過學術博客的方式獲得承認,將其作為研究成果的組成部分,并顯示其質(zhì)量。所有這一切意味著,只關注這種物化的學術出版物是不夠的。
另一方面,傳統(tǒng)的同行評議和文獻計量評價方式對應用與發(fā)展研究成果并不管用。應用與發(fā)展研究成果面向社會實踐問題而產(chǎn)生,對其的考核與評價應該在實際驗證的過程中完成,而不能只通過專家主觀評判或引文數(shù)據(jù)庫考察。而且,同行評議的評價主體限于專家學者,文獻計量學的統(tǒng)計量基本反映的是學術圈內(nèi)的下載、引用情況,兩者均未將學術圈以外的人員加入評價主體內(nèi),在一定程度上窄化了評價主體的范圍。
根據(jù)英國學者托尼·比徹根據(jù)社會性和文化性進行區(qū)分的學科分類,哲學社會科學可分為軟-純科學(文學、藝術學、歷史學、哲學)和軟-應用科學(經(jīng)濟學、管理學、教育學、法學)[23]289。利用學科之間的相通性,高??梢詮奈膶W-藝術、經(jīng)濟-管理等學科群入手開展研究成果評價。評價的首選方法是知情同行評議,通過采用公平的評價流程,賦予評價的學者對流程及其結(jié)果進行評論的可能性。其次,必須考慮廣泛的質(zhì)量標準。質(zhì)量標準必須從下至上地制定,并反映被評價學科領域?qū)W者的質(zhì)量概念,因為只有他們自己才能判斷自己學科的實際質(zhì)量。質(zhì)量標準的制定,要對需要評價的學科領域的學者進行調(diào)查,組建相關學科的專家形成調(diào)研團隊,調(diào)查目標學科群的研究成果類型,對于學者達成共識的質(zhì)量標準,可以確定為指標,以此搭建研究成果評價指標體系。另外,學者們要對這些指標如何充分衡量標準進行評估。根據(jù)學者一致同意的質(zhì)量標準和指標,進行評價實驗,最后對評價結(jié)果進行統(tǒng)計分析,篩選出目標學科群的研究成果評價指標。評價指標體系既包括可以用指標衡量的標準,也包括無法用指標衡量的標準,其他利益相關者的標準也可以納入評價指標體系中,以考慮學術研究質(zhì)量以外的其他研究目標。
由于哲學社會科學研究的選題越來越傾向于解決社會問題,研究基金來源的多樣化決定了評價主體形成的多元化,同時學術視角與社會視角也會產(chǎn)生不同的價值判斷標準[24]65。歐洲研究咨詢委員會曾建議在評估過程中突出人文社會科學對問題導向研究的貢獻[25]43-57。產(chǎn)品或服務的質(zhì)量在很多方面是相對的,這是某些人所賦予的,它與某些目標即使用情境密切相關。在哲學社會科學方面,質(zhì)量存在于研究成果對學術界及其他人的意義上。鑒于質(zhì)量與使用情境有關,產(chǎn)品是否滿足了用戶的期待?所有這一切也適用于學術研究的質(zhì)量,這也被其他人,特別是同事或同行所認可。他們決定研究是否提供了用戶可以期待的內(nèi)容。學術界期望新的知識和新的見解、對未來研究的展望和新的討論。其他用戶,如政府、企業(yè)、文化和公民社會機構(gòu)等,也有自己合理的期望。人們希冀研究成果能夠達到這些期望,并對具體研究成果是否符合這些預期進行評估。因此,需要一系列相當廣泛的評價指標,這些指標能正確地反映該領域內(nèi)產(chǎn)品、目標群體和出版文化的多樣性。組建多元的評價主體,可囊括學界同行、??蒲泄芾聿块T、政府機構(gòu)、社會受眾等。評價主體的擴充使評價維度不再受到制約,評價維度隨之可發(fā)展為文化更新、科研投入與產(chǎn)出、政策變革、社會效益等層面,而多重評價維度又反作用于研究成果本身,保障研究成果的利用價值與物質(zhì)形態(tài)多方面發(fā)展。
哲學社會科學研究以不同的方式展示其成果,而不僅僅通過一種出版物??紤]到不同的交流渠道、與出版物不同的其他成果以及數(shù)字化及跨領域開放存取,這是評價過程中需要解決的挑戰(zhàn)之一。與封閉式數(shù)據(jù)庫相比,通過開放來源對研究活動進行評價的評價實踐等,都要求開發(fā)更完整的數(shù)據(jù)平臺,提供關于廣泛的期刊、出版商和其他傳播渠道的信息。這些平臺應將研究主題、方法等與選擇出版文本的質(zhì)量嚴格結(jié)合起來。開放資源的存在能夠收集關于學術影響的更完整的數(shù)據(jù)。民意調(diào)查、社會反饋等方法需要在應用與發(fā)展研究成果的評價上引起重視。在新媒體環(huán)境下,基礎理論成果的評價要充分運用互聯(lián)網(wǎng)、移動客戶端等平臺?;谛旅襟w平臺的評價方法不僅能夠作為同行評議、文獻計量學的補充,還對形成開放、自由的學術交流環(huán)境有促進作用。社會大眾以及專家學者對于研究成果的推薦、分享、評論等行為能夠及時被研究人員捕捉到,評價主體與被評價者可以實現(xiàn)快捷高效的互動。