馬永霞 仇笳熙

摘 要：科研成果評價是高校人文社科教師評價的重要內容，是完善科研評價機制，實現科研育人的重要保障。成果評價的科學性、合理性、準確性決定人文社科的發(fā)展方向，但由于現有績效評價模式固有的弱彈性弊端，不可避免地產生評價偏差與評價風險。實施元評價有利于糾正人文社科成果評價進程中出現的“難評、錯評、漏評”等問題，是績效評價的重要環(huán)節(jié)和必要補充。文章選取在高校人文社科教師中覆蓋面最廣的國家社科基金年度項目（以下簡稱“國社科”）的成果評價為案例。首先，界定了國社科成果評價的全生命周期概念，系統梳理了國社科全生命周期成果評價的實施現狀及潛在風險;其次，設計了 “一個閉環(huán)、兩個周期、三個主體”的國社科成果評價全生命周期閉環(huán)式元評價框架;最后，在元評價理論及方法指導下，構建了基于全生命周期的國社科成果元評價模型及量表，并通過了信效度檢驗。文章擬通過對典型案例的研究分析，構建一套全生命周期視域下人文社科成果評價的元評價體系，以期從個案研究推導至人文社科成果元評價的一般規(guī)律，實現對我國人文社科成果評價模式的提升。

關鍵詞：人文社科;成果評價;元評價;全生命周期

一、問題的提出

科學研究是高校教師的重要職責之一，科研成果評價是高校教師評價的重要內容。科研成果的產出質量不僅反映了高校教師的學術水平，同時也會影響到教師的教學質量。2018年7月，中共中央辦公廳、國務院辦公廳印發(fā)《關于深化項目評審、人才評價、機構評估改革的意見》，提出要發(fā)揮好評價的風向標和指揮棒作用。在對科技人才開展評價時，要將代表成果的質量和影響作為評價的重要指標。2020年12月，教育部印發(fā)了《關于破除高校哲學社會科學研究評價中“唯論文”不良導向的若干意見》，指出人文社科教師的科研成果是“知識傳承的載體”，要求高校人文社科教師要將教書育人的首要職責貫穿于科研活動與成果產出的全過程中，要努力做到“強化科研育人”“改進科研評價方式”。因此，建立有利于教師潛心研究和創(chuàng)新創(chuàng)造的人文社科科研成果評價制度，能夠引導教師潛心開展教學工作及學生培養(yǎng)工作，不斷提升成果產出質量，形成科研反哺教學科研育人的旨趣。

人文社科成果評價的合理性、科學性、準確性事關人文社科的價值取向及發(fā)展方向。然而，現階段我國高校人文社科成果評價中存在的現實問題日益凸顯，主要體現在三方面。一是由于人文社科成果的特殊屬性導致“評價困難”。人文社科成果大多具有隱形特質，成果產出周期較長，更具復雜性和社會性。二是由于人文社科成果評價缺乏監(jiān)控機制產生“評價偏差”。人文社科成果評價屬于科研評價的子領域，存在科研評價領域固有的評價偏差，由于監(jiān)控機制的缺失，使得既有評價偏差難以被及時發(fā)現和糾正。三是由于人文社科成果評價方式不盡合理引起“評價缺陷”。當前評價中存在的問題及改革訴求凸顯，各方利益主體對成果評價存在爭議，引發(fā)了各部委及各高校對既有評價體系自身局限性和科學性的思考及再審視，相繼頒布了“清四唯”、破除論文“SCI至上”等文件和措施?！捌啤钡母灸康氖且蚱啤拔ā钡酿蠹?。通過審視既有評價體制的現實境遇，建立評價反饋與過程監(jiān)控體系，是突破舊有評價桎梏，切實推進成果評價改革的重要手段。

元評價作為對已有評價開展再評價的經典方法，廣泛應用于各類評價領域中，能在一定范圍內糾正因決策失誤導致的評價偏差，控制評價負效應，提高評價準確性。元評價的理論及方法最初用于教育評價，隨著研究的深入及發(fā)展，應用范圍擴展至科研評價、管理評價等多個領域。但是，針對人文社科成果評價的元評價研究較少，現有研究多為質性探討，缺乏元評價的體系構建及整體流程設計。其主要原因在于：元評價在人文社科成果評價中的研究尚處于初級階段，未形成系統的評價體系;整體設計上缺乏元評價理論及方法的規(guī)范性;現有研究僅針對指標體系而展開，缺乏全生命周期監(jiān)管的理念等等。然而，現實中對人文社科成果評價的“問責”事件時有發(fā)生?！皢栘煛钡哪康牟⒉皇菫榱恕白坟煛?，而是要通過提升各方主體職能來實現評價的“改進”。因此，亟需建立科學有效的元評價體系實現對人文社科成果評價的改革與提升。

有鑒于此，本文基于人文社科成果評價中存在的“難評、錯評、漏評”等現實問題，以評價全生命周期為視角切入點，選取在高校人文社科領域覆蓋面最廣、影響力最大的國家社會科學基金年度項目的成果評價（以下簡稱國社科成果評價）為案例，通過構建以成果評價監(jiān)控與糾偏為目標的元評價體系，提升既有成果評價體系的科學性及準確性。研究具體包含以下幾個問題：一是通過梳理國社科成果既有評價的發(fā)展與歷史沿革，歸納演繹國社科成果評價全生命周期環(huán)節(jié)及流程;二是詳細剖析國社科成果評價全生命周期六要素的現狀及特點，分析現存問題及潛在風險，為模型構建提供基礎和依據;三是通過界定國社科成果評價全生命周期的元評價對象，設計元評價框架，實現國社科成果評價全生命周期的元評價體系構建，并對構建的體系進行信效度檢驗。

二、全生命周期元評價意涵

全生命周期視域下科研評價的元評價是按照確定的標準和原則，采用合理的方法和程序，以建立模型或評價量表的形式，對原有的科研評價本身進行的再評價活動。元評價作為一種科學的系統評價方法，在多年來的研究與理論演進過程中，形成了一套完整的方法論。

·高教管理·人文社科成果評價的元評價體系建構

（一）元評價的內涵與目的

元評價（Meta-evaluation）是指按照一定的理論框架和評價標準對原有評價體系本身進行的再評價。這一理論概念是由美國學者斯克里文（Michael Scriven）在1969年時首次提出，最早應用于對教育質量評價項目開展再次評價[1]。20世紀80年代，元評價理論被引入我國。田騰飛等探析了專業(yè)化教育評估的內涵及方法[2];朱少強提出對學術評價的元評價應包含評價活動的全部要素[3];張榮娟通過分析美國高等教育元評估制度，提出將元評估法制化的重要性[4]。

開展元評價的目的是為了糾正既有評價中存在的偏差。評價偏差不僅存在于評價本身的內部要素中，同時也存在于評價活動的外部要素中。沃森（Worthen）認為對評價活動的全過程開展元評價，有利于提高評價質量并實現評價經驗的累積。[5]克萊嫩（Klejinen）等以元視角反觀績效評價存在的弊端[6]，對內外部要素的劃分體現了全生命周期的理念。

（二）元評價的方法與程序

評價方法和評價程序的建立是科研元評價理論由模糊走向清晰的標志。元評價包含三個步驟：確定元評價框架、設計元評價量表、遴選元評價方法。

1.確定元評價框架

元評價框架的構建思路為通過反思既有評價的缺陷和劣勢，形成反饋與監(jiān)控機制，構建更具適用性的新評價體系?？蚣馨ǎ捍_定目的對象、設計分析指標、元分析評價、結果處理與反饋，并逐漸加入風險管理及全生命周期的視角?？『瓯保↗un H B）提出通過對產品全生命周期進行閉環(huán)管理，優(yōu)化管理策略，提升管理效率。[7]克里斯特（Kiritsis D）以智能市場一體化為案例，提出閉環(huán)式全生命周期管理在信息網絡時代運用于智能產業(yè)產品生產管理的必要性。[8]王曉剛提出基于全生命周期的科研評價風險管理模式，按照風險產生于發(fā)展的不同階段分為風險識別、風險評價、風險應對、風險管理。[9]

2.設計元評價量表

1981年美國教育評估標準聯合委員會（以下簡稱JCSEE）集中組織了美國12家教育科研機構共200多位專家進行調查研究，制定并公布了《教育項目、計劃、材料評價的專業(yè)標準》，并經過1994年版、2010年版兩次修訂，形成現行通用的元評估量表——項目評估標準（表1）[10]，包含“實用性、可行性、適當性、準確性”四個一級維度。多輪修訂的歷程與多個實際案例的檢驗保證了該標準優(yōu)良的信效度。學界對元評價研究的思路基本都是參照該量表的一級指標，根據特定案例制定相應的二三級指標來構建元評價體系。嚴芳等選用經典的JCSEE四維度模型提出一套適合我國國情的教育元評估指標體系[11];蔣悅構建了基于績效評估政府評價的四維度元評價模型[12];周碧華參照JCSEE標準，構建基層政府績效考核活動元評價體系[13]。

3.遴選元評價方法

元評價方法是運用系統科學的理論和方法，從整體到局部對各因素逐一檢驗，包括問卷、統計、訪談等定性與定量方法的結合。馮暉借鑒軟件工程的方法和原理提出了黑白盒測試的元評價方法[14]。賀祖斌提出，內容分析法是元評價的重要方法論。內容分析法是根據評價目的和要求對評價材料的內容及有效性進行逐一對標[15]。戚湧等通過計算肯德爾和諧系數（w值）檢驗參評專家意見的一致性[16]。

綜上，基于全生命周期的科研績效成果評價的元評價體系構建的實現途徑為：通過架構合理的評價框架，設計恰當的評價量表，選取科學的評價方法，實現對既有評價體系的檢驗糾偏與風險監(jiān)管。全生命周期理念要求完整的元評價體系應包括對評價體系（即內部視角）和評價活動（即外部視角）的審查，二者共同構成了全生命周期元評價體系的評價對象。

三、基于國社科成果評價全生命周期的評價現狀及潛在風險

按照羅伯特·K·殷（R.K.Yin）的觀點，元評價研究應優(yōu)先選用案例研究法，通過選取具有代表性的既有評價作為研究對象，提高對“確定問題及其相關數據”的針對性和準確性[17]。據此，本文選取人文社科成果評價領域極具代表性和示范性的國社科成果評價為案例，并選取其中覆蓋面最廣、影響力最大的年度項目作為樣本。案例選取依據為：首先，國社科基金是人文社科領域最重要的項目資助形式，其研究成果在一定程度上反映了高校人文社科教師的科研能力;其次，國社科基金為學生參與教師科研項目提供了實訓平臺，有利于鍛煉高校學生的科研實踐能力，提升高等教育的人才培養(yǎng)質量，實現“科研育人”目標;最后，國社科的眾多研究成果陸續(xù)被教師引入到課堂教學，使得科研成果轉化成為教學資源，實現了“科研反哺教學”的目的。本課題組于2017年10月至2020年1月間，走訪多所在京高校的人文社科科研管理部門及有關國家社科基金管理部門，對不同學科教師代表及科研管理人員開展調研，收集獲取2013-2019年間年度項目成果評價管理規(guī)范及制度7項，評價指標體系量表3套，評價數據樣本1008份（2013-2019年），采用內容分析法開展數據清洗及訪談整理，提取了各類材料中的有效內容進行分析。

（一）評價背景及歷史沿革

國社科成果評價在不同發(fā)展時期呈現出不同特點，按照其“里程碑”式的變革歷程分為三個階段。第一階段，確立同行評議制度（2004-2010年）。國社科基金項目最早設立于1991年，同行評議在早期僅是一種約定俗成的模式，并未形成制度化的規(guī)范。2004年2月20日，全國哲學社會科學規(guī)劃辦（以下簡稱規(guī)劃辦）發(fā)布《關于加強和改進國家社會科學基金項目成果鑒定結項工作的意見》，首次明確了同行評議的主體地位，標志著同行評議制度的正式確立。第二階段，加強成果質量管理（2011-2018年）。2011年教育部出臺了《高等學校哲學社會科學繁榮計劃（2011-2020年）》，提出在這一階段內要大力推進人文社科建設，努力打造學術精品、促進科研成果轉化、積極發(fā)展智庫建設，使得這一時期成為國社科基金項目獲得大力繁榮與發(fā)展的階段。國家投入力度逐漸增加，規(guī)模不斷擴張，涌現出不少優(yōu)秀研究成果，同時也存在著部分質量問題。為扭轉“重立項、輕結項”的現象，規(guī)劃辦出臺了一攬子政策，如建立清理制度、確立學術規(guī)范、審查階段成果等。第三階段，探索評價機制改革（2019年至今）。2019年4月，規(guī)劃辦出臺《關于進一步完善國家社會科學基金項目管理的有關規(guī)定》，提出要注重代表作成果的評價，標志著國社科成果評價改革進入了新的探索階段。針對人文社科成果評價體系的改革與發(fā)展等議題成為了時代的新訴求，研究熱點集中在探索如何構建全方位、全要素的人文社科成果評價新體系。該理念雖然未提到“全生命周期”一詞，但是本質上體現了成果評價全生命周期理念的核心要義。

（二）評價程序及實施步驟

本文采用政策文本分析法與實地調研相結合，繪制了國社科成果評價全生命周期流程圖（如圖1）。規(guī)劃辦負責全面領導國社科項目成果評價工作，其職責范圍涵蓋委派責任主體、組織成果評價、監(jiān)管主體職責，形成了自上而下的組織架構模式及自下而上的信息反饋機制。國社科成果評價“從始至終”的全生命周期流程為：第一步，項目負責人在結項期滿30日內提交結項申請，按照規(guī)定需要提交的材料為基金項目研究的最終成果報告。第二步，項目負責人所在單位的科研管理部門初審材料真實性及有效性，確認無誤后報送各地規(guī)劃辦或在京委托管理機構（以下簡稱“管理機構”）。本案例中的管理機構為教育部社科司下屬“高校社科管理中心”。第三步，管理機構遴選鑒定評審專家，并組織雙向匿名制的同行評議。第四步，管理機構審核同行評議結果，匯總鑒定意見，報送全國規(guī)劃辦。第五步，全國規(guī)劃辦審核鑒定結果及鑒定意見，決定提呈的項目成果是否通過評審以及是否允許結項。第六步，通過結項鑒定評審的項目可按照相應評分體系確定其成果鑒定等級并下發(fā)結項證書，未通過結項的項目則納入“暫緩結項”管理。根據成果質量及同行評議意見，又將暫緩結項項目分為兩類：修改后復審及修改后重新鑒定。其中，修改后復審的成果，由負責人根據評議意見修改后再次提交全國規(guī)劃辦審查;修改后重新鑒定的成果則需退回至管理機構，有待修改后重新組織專家評議。以上兩類成果通過復議后可按結項處理，如再次評審未通過則做終止或撤項處理。

（三）評價特點及潛在風險

根據全生命周期評價理論的內涵要求，研究范圍應包括某項活動“從始至終”的全部要素。因此，將國社科成果評價的全生命周期定義為六大核心要素的合集，即在評價中所涉及的各個環(huán)節(jié)和內容包括評價對象、評價方式、評價體系、評價目標、評價活動、評價監(jiān)管，涵蓋了成果評價的“全過程、全方位、全要素”。以下對國社科成果評價中六大核心要素的實施現狀進行逐一解析，歸納各自特點并找出可能存在的風險源。

1.評價對象界定：以最終成果報告為主

最終成果報告是國社科成果評價的主要對象。按照產出階段不同，國社科項目成果可分為階段性成果及最終成果兩類。階段性成果是指在研究過程中取得的中期成果;最終成果是指研究的結項報告。目前國社科成果評價以最終成果報告為評價對象，缺乏對階段性成果的評價考核，僅對其做形式審查，雖然節(jié)約了評價成本，提高了評價效率，但也增加了由于片面評價引起的風險。階段性成果作為研究過程中的重要產出，是成果評價中不可缺少的過程性評價指標，在一定程度上能輔助最終成果的考核評判。尤其是在應用型學科中，由于成果時效性顯著，階段性成果評價可能發(fā)揮不容忽視的重要作用。根據國家提出的“破唯”及“多元評價”等理念，采用多維度、多對象、多方式的評價體系更有利于提高評價結果的準確度，而如何實現這一理念在國社科成果評價中的實踐運用，需要進一步探索。

2.評價方式選?。阂酝袑＜以u議為主

雙向匿名的同行評議制度是國社科成果評價的主要方式。國社科項目成果評價是從專家?guī)熘绣噙x5位同行專家對項目進行評審。專家?guī)焓菄缈乒芾砉ぷ鞯牧咙c，其優(yōu)勢體現在四方面：其一，準確性。專家遴選充分考慮了大同行、小同行的學科匹配度。其二，公平性。為避免人情因素，規(guī)定外省市專家等不少于3人，且項目負責人所在單位及課題組成員務必規(guī)避。其三，科學性。在參評的最終成果報告里隱去負責人信息，嚴格實行雙向匿名評審制度。其四，合理性。為保護主體利益，項目負責人可提出少于3位的回避專家名單。同行評議是國社科成果評價的經典模式，具有不可替代的作用。但是，由于學術共同體及學術圈層的存在，有可能導致同行評議的雙向匿名制度成為表面文章，影響評價的公平公正。調研時了解到，國社科成果評價建立了專家信譽檔案制度，但目前該制度處于試行期，有待進一步完善。另外，國社科管理中心X老師提到“基于階段性成果的計量評價或可成為彌補這一風險（即同行評議主觀性）的有效手段”。因此，在未來成果評價的改革中，或可通過改進既有評價方式，即采取以同行評議為主、計量評價為輔的綜合評價方式，提升評價公平性與準確性。

3.評價體系設計：采用分級分類指標體系

國社科成果評價采用分級分類的指標體系。分級是指多級多層的指標體系設置，每級指標是對上一級指標的詮釋;分類是指根據不同成果形式分為三類：專著類、論文集類、研究報告類。分級分類的指標體系體現了國社科成果評價的規(guī)范性和學理性。同行評議的測評方式包括量表打分及主觀評議兩部分。第一部分為量表打分：管理機構根據成果類型將不同量表發(fā)放給專家進行打分（見表2）;第二部分為主觀評議：要求評議專家撰寫成果鑒定意見，并對所評成果給出質量等級判定，包含優(yōu)秀、良好、合格、不合格四檔。這種定性定量相結合的評價體系設計在一定程度上體現了國社科成果評價的科學性，但對量表指標及權重設定的合理性仍有待商榷。此外，由專家自行判斷確定成果等級的做法具有較強的主觀性，是否能保證評價信效度達標仍有待檢驗。

4.評價目標達成：導向提升成果質量

國社科成果評價的目標定位旨在提升成果產出質量的同時，提高基金項目成果的使用效益，發(fā)揮示范引導、傳承文明、理論創(chuàng)新、咨政育人、服務社會等重要作用，以此創(chuàng)造有利于人才成長的科研環(huán)境。[18]從表2可見，三類成果形式的評價量表均設置了成果價值、學術價值、社會價值等維度。國內外通過科研評價促進成果質量提升的手段通常有兩種：一種是英美日推行與項目經費申請相掛鉤的績效評定模式;另一種是不與科研經費的分配相關聯，單獨核定的成果績效評價模式。國社科成果評價屬于第二種模式，缺乏一定的約束考核機制，造成國內學界“重立項，輕結項”的問題。此外，由于國社科成果評價的最終目標是服務社會，對成果后期推廣與跟蹤具有更高要求，既往產出的成果是否會在項目結題后即“束之高閣”，是否能納入到精品成果的范疇，是否通過項目研究實現了人才培養(yǎng)的耦合效應，諸如此類問題及對標達成情況均有待探討。

5. 評價活動組織：多部門耦合聯動機制

國社科成果評價主體自上而下包括：全國規(guī)劃辦、各級管理機構、各單位科研管理部門、項目負責人（見圖1）。評價活動的開展有賴于全部評價主體的協作配合，任何一個環(huán)節(jié)的失誤即可導致評價誤差的產生，進而影響評價結果。本研究根據調研情況分析了可能存在的誤差點如下：第一，總體設計缺乏元評價監(jiān)管。規(guī)劃辦負責評價活動的總體設計和流程管控，目前評價執(zhí)行情況較好，但仍需牢固樹立事先發(fā)現問題的主人翁意識，對評價中出現的問題進行及時糾偏。第二，管理部門可能存在瀆職風險。管理部門負責評價的核心環(huán)節(jié)，目前在規(guī)章與制度建設方面對管理部門任職人員的監(jiān)管不足，存在一定的“人情因素”“主觀因素”的可能性。如專家遴選是否嚴格執(zhí)行雙向匿名原則，評審意見匯總是否客觀準確等此類因素均會對評價結果造成影響。第三，主客體雙方對評價支持度各異。評價主體方是否能實現多部門的耦合聯動，評價客體方是否能積極參與成果評價，雙方對評價的接納程度如何都會影響成果評價活動的推進。第四，延期結項現象嚴重。國社科項目存在較為普遍的延期結項情況，影響成果時效性及科研效率，缺乏后期原因追蹤與分析，極不利于整體成果績效的提升。

6.評價風險監(jiān)管：風險監(jiān)督與管控機制

國社科成果評價活動包括評價設計、評價實施、評價反饋三個階段。首先，在評價設計階段，設立了國家哲學社會科學研究專家咨詢委員會，主要發(fā)揮為評價規(guī)劃提供咨詢建議的智庫作用。但由于目前的咨委會成員組成較為單一，缺乏元評價機制的監(jiān)管，難以回應被評價者對于評價偏差引起的“問責”。其次，在評價實施階段，多方主體參與其中，流程環(huán)節(jié)繁復，存在評價風險。總體設計上元評價制度的缺失，導致目前主體職能部門的注意力仍然集中在評價本身，反思評價的意識薄弱，缺乏良好的風險預警機制及風險監(jiān)管策略。最后，在評價反饋階段，既有成果評價雖然建立了鑒定意見反饋、鑒定結果復議、鑒定登記公示等制度，但在調研時收到部分二級單位的項目負責人反映，評價后期的反饋渠道不夠暢通，缺乏相應的約束政策及詳細的復議流程?？傮w來說，目前國社科成果評價活動組織運行較為有序，稍有不足體現在頂層設計上，沒有對評價結果的再次核驗及對評價活動的監(jiān)管機制，由此可能會存在一定程度的評價偏差及評價風險。

四、基于國社科成果評價全生命周期的元評價模型及分析框架

根據上文定義的國社科成果評價全生命周期概念，以及國社科成果評價全生命周期流程解析和風險預估，本研究采用元評價理論及方法，構建了基于全生命周期的國社科成果元評價模型及分析框架。

（一）界定元評價對象

根據元評價理論，要求既有評價中所有環(huán)節(jié)均需被界定為元評價的研究對象，接受元評價的再審視，最終實現評價體系的調試及改進。[19]因此，基于全生命周期的國社科成果元評價對象的界定務必要包含既有評價的全體要素及環(huán)節(jié)，即內部要素和外部要素。內部要素為評價對象、評價方式、評價體系;外部要素為評價目標、評價活動、評價監(jiān)管。

（二）設計元評價框架

本文在梳理國社科全生命周期各要素及環(huán)節(jié)的基礎上，構建了以國社科為案例的人文社科成果評價全生命周期的元評價框架（如圖2）。該框架特點為“一個閉環(huán)、兩個周期、三個主體”?！耙粋€閉環(huán)”是指既有評價、元評價、風險監(jiān)管三者之間形成閉環(huán)反饋系統。其一，通過元評價發(fā)現既有評價存在的問題，對其開展糾偏控制;其二，元評價的結果指導風險監(jiān)管策略的構建，實現在下一輪的評價中開展適時監(jiān)控，有效規(guī)避評價風險;其三，在新一輪評價開展過程中暴露的問題亦可傳遞給元評價體系形成同期反饋?！皟蓚€周期”是指該框架包含了兩個全生命周期循環(huán)體系。其一為成果評價的全生命周期，即六大核心要素的合集;其二為風險管理的全生命周期，涵蓋了風險管理全過程的四個階段?！叭齻€主體”指既有評價、元評價、風險監(jiān)管三者之間形成耦合聯動機制。首先，既有評價全過程、全方面、全要素的架構設置決定了實施元評價對象和方法的選取;其次，元評價的結論指導既有評價進行糾偏和構建風險監(jiān)管體系;最后，風險監(jiān)管可對下一輪的評價開展實時監(jiān)督，并將預警風險反饋給元評價體系?？梢?，三位一體可持續(xù)提升的閉環(huán)架構能在一定程度上彌補國社科成果評價缺乏元評價及風險監(jiān)管的現狀，提升評價結果的合理性及評價過程的穩(wěn)定性，減少由于評價不確定性產生的偏差，為成果評價的改革提供依據。

（三）構建元評價體系

構建科學合理的元評價體系是保證元評價規(guī)范開展的首要前提及核心任務。元評價體系包含評價內容和評價方法兩部分。已有研究基本均是選取JCSEE項目元評價量表為模板，多采用定量定性相結合的方式構建元評價體系。JCSEE量表是經過大量元評價的實踐案例檢驗的成熟量表，具有較高的信效度及可操作性。

首先，在評價內容設計上，借鑒了JCSEE量表的四個一級指標作為擬建體系的一級評價維度。并以全生命周期六要素為對象，綜合調研訪談及文本內容分析，結合文獻對國社科成果評價進行案例適用性調整，以此設計提取了二級指標。

其次，在評價方法設計上，根據元評價的兩種類型將該體系評價方法按照視角不同分為內部元評價和外部元評價。內部元評價，是從內部審查的視角出發(fā)，綜合采用定性法及定量法對既有評價全生命周期六要素進行分析;外部元評價，是從外部專家的視角出發(fā)，采用不同形式的訪談，對內部元評價分析所得結果進行論證和闡釋。

最后，整合各要素得出全生命周期視域下國社科成果評價的元評價體系。該體系由4個一級維度、12個二級維度組成，并界定了各維度的指標內涵、評價方法。每一指標均對應了全生命周期六大要素之一，是對六要素的測評與考察（見表3）。該體系是在全生命周期理論及元評價理論指導下設計形成的，在目的、方法、評價、監(jiān)管等方面形成閉環(huán)反饋及監(jiān)管嵌入，目標是通過發(fā)現既有評價存在的問題，提升評價效率，降低評價風險。

1.實用性分析框架

實用性分析是指通過評價使管理者了解被評者情況，確保評價為實際需求服務。國社科成果評價的實用性研究分為三個維度：U1范圍選擇合理性、U2評價結果可靠性、U3評價結果有效性。U1指標考察點為既有評價全生命周期六要素中的“評價對象”，主要考核評價對象選取界定的合理性，檢驗目前僅以同行評議為對象的考評方式是否科學?？刹捎枚螠y量法，對特定成果樣本同時開展兩種不同的評價方案，即方案一僅針對最終成果的評價方案，方案二針對最終成果及階段性成果的評價方案。比較兩種方案評價結果的一致性與差異性，分析差異顯著的學科分布特點及原因。U2指標考察點為六要素中的“評價體系”，考察既有評價結果的合理性，包括評價得分計算體系設計是否科學，評價得分分布是否合理?？赏ㄟ^測量評價各等級分布，驗證得分計算體系的科學性。合理的得分計算體系應該體現出各等級的區(qū)分度，如果出現大規(guī)模的非正態(tài)分布，說明既有體系設置不能很好地區(qū)分各樣本的研究成果質量，有待調試完善。U3指標考察點為六要素中的“評價方式”。由于同行評議時常因主觀意見、認知程度、理解能力的差異影響評價結果，因此，該指標是通過肯德爾和諧系數法檢驗同行評議的一致性，探索影響機制及風險規(guī)避方式。

2.可行性分析框架

可行性分析是考察評價能否在自然狀態(tài)下開展，程序設置是否具有可操作性，能否獲取各方利益主體支持，從而實現評價的穩(wěn)健運行。其分為三個維度：F1項目可行性、F2政治可行性、F3經濟可行性。F1指標考察點為六要素中的“評價活動”?？疾煸u價活動設置的可行性，包括評價程序設置是否合理，評價的各階段環(huán)節(jié)是否存在障礙。對該指標的評測可通過對各方利益主體開展訪談，了解評價推行過程中存在的障礙及困難、評價風險預警機制是否健全。F2指標考察點為六要素中的“評價活動”。政治環(huán)境關系到評價的頂層設計，是保證評價穩(wěn)定持續(xù)開展的關鍵。通過實地調研及訪談分析政府參與度、被評價方支持度、主客體雙方互動性等實際情況。F3指標考察點為六要素中的“評價目標”。經濟指標主要指資源制約，考核既有評價是否實現預定的效益及效率目標?？赏ㄟ^訪談管理部門人員及二級單位人員，探尋是否存在經費制約，是否存在因內部聯動低效而造成 “中層擁堵”現象[20]。

3.適當性分析框架

適當性分析是為了保護被評價方的權益，反對評價方采用不合理的方式、不恰當的行為損害被評方利益，確保評價合理、合法、合乎道德地實施。它分為三個維度：P1評價方法適切性、P2公開性與合法性、P3利益沖突協調度。P1指標考察點為六要素中的“評價方式”，考核國社科目前采用單一的定性方式（即同行評議）是否合理。運用數據包絡分析法（DEA）與計量法，分析不同評價方式引起的評價差異性。即對同一樣本分別采用定量評價及定性評價，比較兩種評價方法在同一樣本中的差異性，改進單一評價方式引起的偏差。P2指標考察點為六要素中的“評價監(jiān)督”。可通過訪談評價主客體雙方，尋找沖突點。公開性與合法性是評價獲得支持的必要條件，訪談重點應包含專家名單公布是否全面、評價結果公開是否準確、評審意見反饋是否及時等。P3指標同樣對應六要素中的“評價監(jiān)督”，考核在評價雙方利益發(fā)生沖突時，協調機制是否健全，評價風險的應對處理是否得當。該指標同時也是對參與評價的各級管理部門人員專業(yè)素質進行的考核。國社科成果評價報告是由各級管理部門專職人員匯總5位評審專家意見而形成，因此專職人員的職業(yè)素養(yǎng)及學科知曉度情況是評價報告清晰度和準確性的主要影響因素。由于我國不具備類似日本“評價士”制度，對專職管理人員的選拔和職業(yè)培訓缺乏專業(yè)性，可能會出現評價報告受管理人員認知局限而造成的制約性影響，進而引發(fā)評價主客體雙方意見的沖突。

4.準確性分析框架

準確性分析考察評價結果對客觀實際反映的契合度，即評價結果反映被評價方客觀情況的程度越高，則評價的準確性越高。其分為三個維度：A1評價信息真實性、A2評價目標適配性、A3評價指標科學性。A1指標考察點為六要素中的“評價對象”，考察提交的參評材料是否真實有效。可通過典型案例檢驗成果報告中是否存在學術抄襲，是否存在大量濫竽充數的自引（如博士論文），是否有抄襲剽竊的情況，是否存在“一果多用”現象等等。A2指標考察點為六要素中的“評價目標”，考察評價是否實現了既定目標。國社科成果評價是質量導向型評價。理論上，假如評價實施達到既定目標，則會在特定閉合時間段內表現出成果質量的提升，實現“以評促建”?？赏ㄟ^“證據審查”的方法，尋找目標實現程度的證據支持。A3指標考察點為六要素中的“評價體系”，考察評價指標設置是否科學合理?？赏ㄟ^因素分析法對既有評價指標效度及關聯度進行檢驗，如果指標間關聯度為高相關，說明指標設置重復，評價效率低。只有在各指標具有較弱關聯度的前提下，才能體現測評指標的維度區(qū)分。

（四）信度與效度分析

本文構建的元評價體系及量表在一級維度的設計上借鑒了JCSEE的四個一級指標。JCSEE量表的評價效度已被大量研究所證實，是元評價領域的經典量表。而對二三級指標的設計，則是在JCSEE量表基礎上，針對案例特點進行了調整，并且經過了多輪實地調研與焦點團體訪談，集中了領域專家對國社科成果元評價的建議，因此，可以保證該元評價量表的效度。信度方面，本文采用肯德爾和諧系數法，選取6位領域專家對已構建的元評價量表進行打分，運用肯德爾和諧系數的計算公式進行一致性分析。公式如下：

w=s112 m2（ n3-n），其中s=∑ n j=1 R2 j-1n（∑ n j=1 R j2。

其中，m為專家人數，n為元評價指標個數，Rj為第j個評價指標的得分數，s為第j個評價指標得分數與所有指標得分數的平均數之差的平方和。根據公式得出，6位專家打分的Rj總和471，其平方和21591。s=3104.25，w=0.603。根據肯德爾和諧系數法的要求，w≥0.5即可認為專家之間的評價意見顯著一致。由此可以得出，本文構建的元評價量表具有較高的評價信度。

五、結語

開展全生命周期視域下元評價是人文社科成果評價的必要環(huán)節(jié)。首先，元評價是人文社科成果績效評價的核驗與再審視。通過元評價可以實現人文社科成果績效評價角色的轉變，使其由評價行為的發(fā)出主體變?yōu)楸辉u價的對象客體，從而實現對原有體系的檢驗及糾偏。其次，元評價體系的構建是實施與開展元評價的基石。體系構建是元評價的靈魂，是開展元評價的依據，是元評價理論發(fā)展與完善的必經之路。

本文選取人文社科領域具有示范效應的國社科成果評價活動作為載體，通過構建具有良好信效度的元評價體系，實現對既有評價在全生命周期視域下的再評價，歸正人文社科成果績效評價固有的弱彈性弊端，及時糾正評價誤差，并形成風險控制策略指導下一輪評價的實施，以此保證評價預期目標的實現及評價的順利開展。

參考文獻：

[1]SCRIVEN M.An Introduction to Metaevaluation[J].Educational Product Report，1969（2）：36-38.

[2]田騰飛，劉任露.元評估：教育評估專業(yè)化發(fā)展之必需[J].外國教育研究，2014，41（6）：111-119.

[3]朱少強，唐林，柯青.學術評價的元評價機制[J].重慶大學學報（社會科學版），2010，16（3）：81-85.

[4]張榮娟，徐魁鴻.美國高等教育元評估制度探析：以高等教育認證委員會為例[J].高教探索，2018（2）：65-69.

[5]WORTHEN B R.Whither Evaluation？ That All Depends[J].American Journal of Evaluation，2001，22（3）：409.

[6]KLEJINEN S.Performance Metrics in Supply Chain Management [J].Journal of the Operational Research Society，2003，54（5）：507-514.

[7]JUN H B，SHIN J H ，KIRITSIS D，et al .System Architecture for Closed-loop PLM[J].International Journalof Computer Integrated Manufacturing，2007，20（7）：684-698.

[8]KIRITSIS D.Closed-loop PLM for Intelligent Products in the Era of the Internet of Things[J].Computer Aided Design，2011，43（5）：479-501.

[9]王曉剛. 基于全生命周期的高鐵技術知識產權風險管理研究[D].中國鐵道科學研究院，2019.

[10] Program Evaluation Standards[EB/OL].（2010-07-01）[2020-12-20].https：//www.cdc.gov/eval/standards/2010.

[11]嚴芳，汪建華.我國教育元評估指標體系構建[J].上海教育評估研究，2020，9（2）：75-80.

[12]蔣悅，卞曰瑭，錢鋼.基于元評價的政府績效評估模型研究[J].情報雜志，2008，27（12）：26-30.

[13]周碧華，方建云，楊婉貞.基層政府績效考核的元評估分析：以福建某縣級市為例[J].新視野，2015（4）：71-78.

[14]馮暉.基于測試的元評價技術[J].上海師范大學學報（哲學社會科學版），2007（5）：128 -132.

[15]賀祖斌.高等教育評價的元評價及其量化分析模型[J].教育科學，2001（3）：56-58.

[16]戚湧，李千目.科學研究績效評價的理論與方法[M].北京：科學出版社，1999：270.

[17]羅伯特·K·殷.案例研究：設計與方法[M].重慶：重慶大學出版社，2004：19.

[18]全國哲學社會科學工作辦公室.關于加強和改進國家社會科學基金項目成果鑒定結項工作的意見[EB/OL].（2007-12-24）[2020-12-20].http：//www.sss.net.cn/111001/32686.aspx.

[19]孫賀群.基于有效性驗證經驗的美國早期教育質量評價的元評價研究[J].四川師范大學學報（社會科學版），2018，45（3）：69-77.

[20]趙曉軍.“萬人評議政府”的元評估分析[D].蘭州大學，2018.

（責任編輯 陳志萍）