朱志凌+柳春

摘要： 通過(guò)國(guó)家工程技術(shù)研究中心運(yùn)行評(píng)估的實(shí)踐，綜述了評(píng)估對(duì)象、原則和程序，探討了評(píng)估指標(biāo)體系的設(shè)計(jì)，以及評(píng)估方法的使用，建立了專(zhuān)家評(píng)議結(jié)果相關(guān)模型，為合理利用綜合評(píng)價(jià)結(jié)果提供實(shí)踐參考。

Abstract： Via operational evaluation practice of Chinese National Engineering Research Center（CNERC）， this paper summarizes the objects， principles and procedures of the evaluation， discusses the application of the evaluation method， then establishes a frame model for expert evaluation results， and proposes practical reference for the application of comprehensive appraisal results.

關(guān)鍵詞： 運(yùn)行評(píng)估；綜合評(píng)價(jià)；國(guó)家工程技術(shù)研究中心

Key words： operational evaluation；synthesized appraisal；CNERC

中圖分類(lèi)號(hào)：G322.2；F124.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2014）19-0014-03

0 引言

國(guó)家工程技術(shù)研究中心（以下簡(jiǎn)稱(chēng)“工程中心”）是國(guó)家科技創(chuàng)新體系建設(shè)和國(guó)家科技發(fā)展計(jì)劃的重要組成部分，代表行業(yè)或領(lǐng)域的最高研究水平。旨在“創(chuàng)新、產(chǎn)業(yè)化”方針指導(dǎo)下，探索科技與經(jīng)濟(jì)結(jié)合的新途徑，加強(qiáng)科技成果向生產(chǎn)力轉(zhuǎn)化的中間環(huán)節(jié)，促進(jìn)科技產(chǎn)業(yè)化；面向企業(yè)規(guī)模生產(chǎn)的需要，推動(dòng)集成、配套的工程化成果向相關(guān)行業(yè)輻射、轉(zhuǎn)移與擴(kuò)散，促進(jìn)新興產(chǎn)業(yè)的崛起和傳統(tǒng)產(chǎn)業(yè)的升級(jí)改造；促進(jìn)科技體制改革，培養(yǎng)一流的工程技術(shù)人才，建設(shè)一流的工程化實(shí)驗(yàn)條件，形成我國(guó)科研開(kāi)發(fā)、技術(shù)創(chuàng)新和產(chǎn)業(yè)化基地[1]。

截止到2011年，已有156家工程中心通過(guò)驗(yàn)收、投入正式運(yùn)行，為進(jìn)一步加強(qiáng)對(duì)工程中心的運(yùn)行管理和分類(lèi)指導(dǎo)，工程中心的管理重點(diǎn)正逐步由組建轉(zhuǎn)移到監(jiān)督管理和優(yōu)化調(diào)整上來(lái)。開(kāi)展運(yùn)行評(píng)估作為一種有效的技術(shù)手段，在工程中心的監(jiān)督管理中發(fā)揮了積極的作用，對(duì)各工程中心的自身發(fā)展也起到了一定的激勵(lì)與引導(dǎo)作用[2-3]。

根據(jù)《國(guó)家工程技術(shù)研究中心暫行管理辦法》相關(guān)規(guī)定的要求，2011年對(duì)工程中心四年來(lái)（2007～2010年）運(yùn)行效果的客觀評(píng)價(jià)及運(yùn)行狀態(tài)的分析，對(duì)比工程中心的組建宗旨及職責(zé)定位，對(duì)各工程中心的運(yùn)行狀況進(jìn)行分析評(píng)價(jià)；通過(guò)動(dòng)態(tài)管理，為加強(qiáng)和規(guī)范工程中心的管理提供決策依據(jù)[4]。

目前關(guān)于工程中心評(píng)估的文獻(xiàn)主要涉及省級(jí)工程中心評(píng)估實(shí)踐，從科研管理層面，針對(duì)評(píng)估指標(biāo)體系的建立和評(píng)估方法進(jìn)行研究探討，例如江蘇省開(kāi)展了省級(jí)工程中心的驗(yàn)收評(píng)估實(shí)踐[5]，陜西省對(duì)省級(jí)工程中心進(jìn)行了專(zhuān)項(xiàng)績(jī)效評(píng)估實(shí)踐等[6]。本文通過(guò)國(guó)家工程中心運(yùn)行評(píng)估的實(shí)踐，綜述了評(píng)估對(duì)象、原則和程序，探討了評(píng)估指標(biāo)體系的設(shè)計(jì)，以及評(píng)估方法的使用，建立了專(zhuān)家評(píng)議結(jié)果相關(guān)模型，為合理利用綜合評(píng)價(jià)結(jié)果提供實(shí)踐參考。

1 評(píng)估對(duì)象、原則和程序

1.1 評(píng)估對(duì)象 本文涉及的評(píng)估對(duì)象為2008年以前（含2008年）通過(guò)驗(yàn)收，正式投入運(yùn)行兩年以上的高新技術(shù)類(lèi)工程中心。

1.2 評(píng)估原則 主要包括：①導(dǎo)向性原則。評(píng)估工作立足于工程中心的發(fā)展戰(zhàn)略，緊密?chē)@工程中心的組建宗旨、目標(biāo)定位，引導(dǎo)、鼓勵(lì)工程中心向規(guī)定建設(shè)目標(biāo)發(fā)展，實(shí)現(xiàn)國(guó)家戰(zhàn)略目標(biāo)。②客觀公正原則。評(píng)估工作做到公開(kāi)、透明，鼓勵(lì)利益相關(guān)方的有效參與，充分發(fā)揚(yáng)民主，客觀、公正地評(píng)價(jià)工程中心的運(yùn)行績(jī)效。③科學(xué)、可行、高效原則。針對(duì)運(yùn)行評(píng)估的目的和基本特點(diǎn)，選擇科學(xué)、可行的評(píng)估模式和技術(shù)路線(xiàn)，在保證質(zhì)量前提下，簡(jiǎn)化程序、易于實(shí)施、提高效率；評(píng)估指標(biāo)的設(shè)計(jì)做到概念準(zhǔn)確、含義明晰、層次合理、完整全面反應(yīng)評(píng)估對(duì)象特征。

1.3 評(píng)估程序 本次評(píng)估工作采用“統(tǒng)一框架與標(biāo)準(zhǔn)，分領(lǐng)域組織實(shí)施”的工作方案。通過(guò)工程中心自評(píng)價(jià)、同行專(zhuān)家評(píng)議（包括會(huì)議評(píng)估與通信評(píng)估兩種形式）、管理部門(mén)評(píng)價(jià)和現(xiàn)場(chǎng)調(diào)研等多種評(píng)價(jià)活動(dòng)，對(duì)各工程中心的工程化能力與水平、行業(yè)作用以及運(yùn)行管理三個(gè)方面的運(yùn)行績(jī)效進(jìn)行了綜合評(píng)價(jià)。

2 評(píng)估方法和指標(biāo)體系

2.1 評(píng)估方法的選擇 本次運(yùn)行評(píng)估采用定性評(píng)估與定量評(píng)估相結(jié)合，會(huì)議評(píng)估、通信評(píng)估與現(xiàn)場(chǎng)考察相結(jié)合，綜合評(píng)估與專(zhuān)業(yè)評(píng)估相結(jié)合的方法，以評(píng)估指標(biāo)的判斷準(zhǔn)則為絕對(duì)標(biāo)準(zhǔn)，將中心運(yùn)行表現(xiàn)與指標(biāo)判斷準(zhǔn)則的對(duì)比作為主要依據(jù)，輔之以中心之間的橫向?qū)Ρ?，評(píng)價(jià)各工程中心的運(yùn)行狀況。

2.2 指標(biāo)體系的建立 本次運(yùn)行評(píng)估按照《工程中心管理辦法》及其他相關(guān)的政策文件，根據(jù)工程中心組建宗旨、職責(zé)、職能的相關(guān)要求，建立了評(píng)估框架、設(shè)計(jì)了評(píng)估指標(biāo)體系。該指標(biāo)體系建立在歷次績(jī)效運(yùn)行評(píng)估指標(biāo)體系的基礎(chǔ)上，依據(jù)工程中心發(fā)展目標(biāo)要求[7]。

指標(biāo)體系共設(shè)工程化能力、行業(yè)作用和運(yùn)行管理3項(xiàng)一級(jí)指標(biāo)8項(xiàng)二級(jí)指標(biāo)，各項(xiàng)指標(biāo)及說(shuō)明見(jiàn)表1。

3 同行專(zhuān)家評(píng)議

工程中心運(yùn)行評(píng)估同行專(zhuān)家評(píng)議采取分領(lǐng)域答辯評(píng)議和通信評(píng)議相結(jié)合的方法，該同行專(zhuān)家評(píng)議方法在美國(guó)國(guó)家科學(xué)基金會(huì)與國(guó)立衛(wèi)生研究院等科學(xué)基金資助機(jī)構(gòu)的項(xiàng)目評(píng)價(jià)中已經(jīng)得到廣泛應(yīng)用[8-9]。

3.1 專(zhuān)家的遴選 根據(jù)《科學(xué)技術(shù)評(píng)價(jià)（試行）》及相關(guān)政策文件的要求[10-17]，評(píng)議專(zhuān)家應(yīng)具有較高的專(zhuān)業(yè)知識(shí)水平和實(shí)踐經(jīng)驗(yàn)、敏銳的洞察力和較強(qiáng)的判斷能力，熟悉被評(píng)價(jià)內(nèi)容及國(guó)內(nèi)外相關(guān)領(lǐng)域的發(fā)展?fàn)顩r；同時(shí)具有良好的資信和科學(xué)道德，認(rèn)真嚴(yán)謹(jǐn)，秉公辦事，客觀公正，熱心科學(xué)技術(shù)事業(yè)，敢于承擔(dān)責(zé)任。遴選專(zhuān)家應(yīng)遵循隨機(jī)、回避和更換的原則，突出評(píng)估專(zhuān)家組年齡結(jié)構(gòu)、知識(shí)結(jié)構(gòu)和學(xué)緣結(jié)構(gòu)的合理性。endprint

本次參與評(píng)估的工程中心按領(lǐng)域分為五組（以下簡(jiǎn)稱(chēng)為A、B、C、D和E組），各組評(píng)議專(zhuān)家來(lái)源涵蓋高校、軍隊(duì)、研究院所、協(xié)會(huì)/學(xué)會(huì)、企業(yè)，以行業(yè)技術(shù)專(zhuān)家和管理專(zhuān)家為主；通信評(píng)議專(zhuān)家以小同行技術(shù)專(zhuān)家為主。

3.2 專(zhuān)家評(píng)議表的設(shè)計(jì) 為便于評(píng)議專(zhuān)家對(duì)評(píng)估指標(biāo)的理解和實(shí)際操作，將每項(xiàng)二級(jí)指標(biāo)抽象提煉出具體的2-4項(xiàng)評(píng)價(jià)判斷，專(zhuān)家根據(jù)工程中心運(yùn)行情況，對(duì)所設(shè)選項(xiàng)進(jìn)行選擇，并參考評(píng)價(jià)判斷的選擇情況對(duì)該二級(jí)指標(biāo)進(jìn)行打分。每項(xiàng)指標(biāo)打分滿(mǎn)分為10分，優(yōu)秀為9～10分，良好為7～8分，合格為5～6分，問(wèn)題較多為5分以下。例如對(duì)二級(jí)指標(biāo)“工程化研發(fā)方向”的評(píng)價(jià)設(shè)計(jì)見(jiàn)表2。

在上述專(zhuān)家評(píng)議表的基礎(chǔ)上，針對(duì)會(huì)評(píng)專(zhuān)家參與現(xiàn)場(chǎng)答辯的特點(diǎn)，設(shè)計(jì)各組綜合評(píng)議意見(jiàn)表。會(huì)評(píng)專(zhuān)家組應(yīng)對(duì)本領(lǐng)域工程中心提出綜合性意見(jiàn)，其主要內(nèi)容包括工程中心在評(píng)估期內(nèi)的取得的主要成績(jī)、存在的主要問(wèn)題及未來(lái)發(fā)展建議。

4 同行評(píng)議結(jié)果分析

4.1 同行評(píng)議評(píng)分模型 參考相關(guān)文獻(xiàn)并綜合考慮會(huì)議評(píng)估和通信評(píng)估兩種形式，設(shè)計(jì)同行評(píng)議評(píng)分模型。以A組為例，若m位會(huì)議評(píng)估專(zhuān)家，n位通信評(píng)估專(zhuān)家對(duì)p個(gè)工程中心進(jìn)行評(píng)估，設(shè)YmA，YnA分別為A組工程中心會(huì)議評(píng)估和通信評(píng)估評(píng)分矩陣，則YmA=（ym1，ym2，ym3，…，ymp）T，YnA=（yn1，yn2，yn3，…，ynp）T，設(shè)XmA，XnA分別為A組會(huì)議評(píng)估和通信評(píng)估專(zhuān)家評(píng)分矩陣，則

XmA=■，XnA=■

式中，xab為第b個(gè)專(zhuān)家對(duì)第a個(gè)工程中心的評(píng)分值。YmA表示m位會(huì)議評(píng)估專(zhuān)家對(duì)p個(gè)工程中心進(jìn)行評(píng)分，YnA表示n位通信評(píng)估專(zhuān)家對(duì)p個(gè)工程中心進(jìn)行評(píng)分。按照評(píng)估專(zhuān)家評(píng)分統(tǒng)計(jì)方法，分別計(jì)算兩者的算術(shù)平均值和標(biāo)準(zhǔn)差[18-19]，即

yma=■xab/m（b為正整數(shù)，且l？燮b？燮m），標(biāo)準(zhǔn)差為SDma，

yna=■xab/n（b為正整數(shù)，且l？燮b？燮n），標(biāo)準(zhǔn)差為SDna。

4.2 專(zhuān)家評(píng)議結(jié)果偏差模型 由于評(píng)估專(zhuān)家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標(biāo)準(zhǔn)把握等都有可能存在較大的差異，因此評(píng)估專(zhuān)家對(duì)于同一客觀事實(shí)的認(rèn)識(shí)和判斷就有可能形成偏差，評(píng)估的結(jié)果就不能夠準(zhǔn)確地反映客觀情況[20-23]。針對(duì)本次評(píng)估特點(diǎn)，對(duì)專(zhuān)家評(píng)分偏差分析如下：

由于專(zhuān)家的個(gè)體差異以及評(píng)分尺度把握的不同，個(gè)別專(zhuān)家評(píng)分可能整體偏高或偏低，表現(xiàn)為專(zhuān)家評(píng)分偏離整體評(píng)分的標(biāo)準(zhǔn)，此類(lèi)偏差稱(chēng)作個(gè)體偏差，用△1表示。內(nèi)部影響偏差是專(zhuān)家基于對(duì)自身熟悉領(lǐng)域的偏好所產(chǎn)生的偏差，特別在小同行技術(shù)專(zhuān)家評(píng)分中易出現(xiàn)，用△2表示。條件影響偏差是基于會(huì)議評(píng)估和通信評(píng)估兩種不同形式下，各位專(zhuān)家對(duì)打分原則掌握的尺度不一致，對(duì)某個(gè)工程中心的評(píng)估沒(méi)有達(dá)成共識(shí)而產(chǎn)生的偏差，用△3表示。由于各專(zhuān)家組間評(píng)分的尺度存在差異，導(dǎo)致各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町?，從而產(chǎn)生組間偏差，用△4表示。

綜上分析，建立專(zhuān)家評(píng)議結(jié)果偏差模型：

△=△1+△2+△3+△4

式中，個(gè)體偏差為△1，內(nèi)部影響偏差為△2，條件影響偏差為△3，組間偏差為△4。

4.3 同行評(píng)議結(jié)果綜合分析 通過(guò)分析專(zhuān)家評(píng)議結(jié)果偏差模型可知，實(shí)際評(píng)估活動(dòng)中所產(chǎn)生的偏差都有可能影響到工程中心運(yùn)行評(píng)估最終結(jié)果的準(zhǔn)確性。本次評(píng)估實(shí)踐采取了相應(yīng)措施保證評(píng)估結(jié)果的準(zhǔn)確性，盡可能消除上述偏差，具體分析如下：

根據(jù)本次評(píng)估活動(dòng)特點(diǎn)進(jìn)行分析，△1是由專(zhuān)家的個(gè)體差異決定的，通過(guò)計(jì)算平均值和標(biāo)準(zhǔn)差，并采取篩除同組內(nèi)異常值的辦法消除個(gè)體偏差，從而不影響整體評(píng)估結(jié)果。

△2主要表現(xiàn)在小同行技術(shù)專(zhuān)家評(píng)分中出現(xiàn)明顯偏離均值的現(xiàn)象，綜合分析會(huì)議評(píng)估和通信評(píng)估評(píng)分結(jié)果，以統(tǒng)計(jì)學(xué)方法為手段，可以鑒別出無(wú)效數(shù)據(jù)。

△3主要表現(xiàn)在通信專(zhuān)家與會(huì)評(píng)專(zhuān)家在個(gè)別工程中心的打分上，具有較大的差異，其原因主要是會(huì)評(píng)專(zhuān)家聽(tīng)取中心答辯，部分疑問(wèn)通過(guò)提問(wèn)進(jìn)行了解，對(duì)情況了解更加深入，而通信專(zhuān)家只通過(guò)中心提交材料進(jìn)行打分，兩者所掌握的信息量及準(zhǔn)確度存在一定的差異，導(dǎo)致非共識(shí)性差異，針對(duì)上述情況對(duì)個(gè)別中心進(jìn)行現(xiàn)場(chǎng)評(píng)議，整合多方意見(jiàn)得出評(píng)議結(jié)果。

△4主要表現(xiàn)在各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町?，各組分?jǐn)?shù)之間的差異除了本組工程中心總體水平不一致外，還要考慮每組專(zhuān)家不同，各自掌握的打分原則也不相同，需要綜合考慮平衡。對(duì)不同分?jǐn)?shù)段內(nèi)各組中心數(shù)量分布以及不同比例內(nèi)各組中心分?jǐn)?shù)分布進(jìn)行列表分析，見(jiàn)表3、表4。通過(guò)組間橫向?qū)Ρ?，?duì)評(píng)分結(jié)果進(jìn)行校正，在較大程度上消除組間偏差的影響。

5 結(jié)語(yǔ)

本文綜述了工程中心運(yùn)行評(píng)估原則、程序、評(píng)估指標(biāo)體系和方法，并以同行評(píng)議為研究重點(diǎn)，探討了專(zhuān)家遴選機(jī)制和原則，建立了同行評(píng)議評(píng)分模型和專(zhuān)家評(píng)議結(jié)果偏差模型，深入分析個(gè)體偏差、內(nèi)部影響偏差、條件影響偏差和組間偏差的產(chǎn)生原因、表現(xiàn)形式以及消除（減弱）方法；通過(guò)數(shù)理統(tǒng)計(jì)的方法，合理利用同行專(zhuān)家評(píng)議結(jié)果，為工程中心運(yùn)行評(píng)估綜合評(píng)價(jià)提供科學(xué)的數(shù)據(jù)支持，同時(shí)也為同行評(píng)議方法的應(yīng)用提供較為全面的實(shí)踐參考。

參考文獻(xiàn)：

[1]王發(fā)明，蔡寧.國(guó)家工程技術(shù)研究中心理想運(yùn)行目標(biāo)體系研究[J].科技進(jìn)步與對(duì)策，2009，26（6）：25-28.

[2]曹煜中，王發(fā)明.國(guó)家工程技術(shù)研究中心運(yùn)行模式及路徑選擇研究[J].技術(shù)經(jīng)濟(jì)，2008，27（2）：22-25.

[3]李鋼.國(guó)家工程技術(shù)研究中心的運(yùn)行及其機(jī)制研究[D].杭州，浙江大學(xué)經(jīng)濟(jì)學(xué)院，2003.

[4]關(guān)于開(kāi)展2011年度國(guó)家工程技術(shù)研究中心運(yùn)行評(píng)估的通知，國(guó)科計(jì)函[2011]18號(hào).

[5]孫興蓮，白冬梅.江蘇省工程技術(shù)研究中心運(yùn)行管理現(xiàn)狀與政策建議[J].江蘇科技信息，2008（2）：42-43.endprint

[6]賀福明.省級(jí)研究機(jī)構(gòu)績(jī)效評(píng)估探討與實(shí)踐[J].管理觀察，2011（24）：132-133.

[7]國(guó)家工程技術(shù)研究中心暫行管理辦法，國(guó)科發(fā)計(jì)字060號(hào).

[8]張彥.論同行評(píng)議的改進(jìn)[J].社會(huì)科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國(guó)外同行評(píng)議的不同模式與共同趨勢(shì)[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對(duì)同行評(píng)議專(zhuān)家評(píng)議工作進(jìn)行評(píng)估的一些思考[J].中國(guó)科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評(píng)議專(zhuān)家定量評(píng)估指標(biāo)研究的幾個(gè)新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對(duì)我國(guó)同行評(píng)議專(zhuān)家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項(xiàng)目同行評(píng)議專(zhuān)家水平的評(píng)價(jià)研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)?，張宏?同行評(píng)議形式的爭(zhēng)論及發(fā)展現(xiàn)狀[J].中國(guó)科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評(píng)議自我評(píng)價(jià)規(guī)避方法的若干問(wèn)題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項(xiàng)目同行評(píng)議的一些政策性分析[J].中國(guó)科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國(guó)家自然科學(xué)基金項(xiàng)目同行評(píng)議現(xiàn)狀研究[J].中國(guó)科技博覽，2009（12）：151.

[18]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家評(píng)分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào)，2007，29（7）：80-82.

[21]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家的若干問(wèn)題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估若干問(wèn)題的思考[J].中國(guó)科學(xué)基金，2003（02）：111-113.

[23]鄭稱(chēng)德.同行評(píng)議專(zhuān)家工作業(yè)績(jī)測(cè)評(píng)及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]賀福明.省級(jí)研究機(jī)構(gòu)績(jī)效評(píng)估探討與實(shí)踐[J].管理觀察，2011（24）：132-133.

[7]國(guó)家工程技術(shù)研究中心暫行管理辦法，國(guó)科發(fā)計(jì)字060號(hào).

[8]張彥.論同行評(píng)議的改進(jìn)[J].社會(huì)科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國(guó)外同行評(píng)議的不同模式與共同趨勢(shì)[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對(duì)同行評(píng)議專(zhuān)家評(píng)議工作進(jìn)行評(píng)估的一些思考[J].中國(guó)科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評(píng)議專(zhuān)家定量評(píng)估指標(biāo)研究的幾個(gè)新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對(duì)我國(guó)同行評(píng)議專(zhuān)家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項(xiàng)目同行評(píng)議專(zhuān)家水平的評(píng)價(jià)研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)瘢瑥埡晗?同行評(píng)議形式的爭(zhēng)論及發(fā)展現(xiàn)狀[J].中國(guó)科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評(píng)議自我評(píng)價(jià)規(guī)避方法的若干問(wèn)題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項(xiàng)目同行評(píng)議的一些政策性分析[J].中國(guó)科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國(guó)家自然科學(xué)基金項(xiàng)目同行評(píng)議現(xiàn)狀研究[J].中國(guó)科技博覽，2009（12）：151.

[18]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家評(píng)分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào)，2007，29（7）：80-82.

[21]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家的若干問(wèn)題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估若干問(wèn)題的思考[J].中國(guó)科學(xué)基金，2003（02）：111-113.

[23]鄭稱(chēng)德.同行評(píng)議專(zhuān)家工作業(yè)績(jī)測(cè)評(píng)及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]賀福明.省級(jí)研究機(jī)構(gòu)績(jī)效評(píng)估探討與實(shí)踐[J].管理觀察，2011（24）：132-133.

[7]國(guó)家工程技術(shù)研究中心暫行管理辦法，國(guó)科發(fā)計(jì)字060號(hào).

[8]張彥.論同行評(píng)議的改進(jìn)[J].社會(huì)科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國(guó)外同行評(píng)議的不同模式與共同趨勢(shì)[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對(duì)同行評(píng)議專(zhuān)家評(píng)議工作進(jìn)行評(píng)估的一些思考[J].中國(guó)科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評(píng)議專(zhuān)家定量評(píng)估指標(biāo)研究的幾個(gè)新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對(duì)我國(guó)同行評(píng)議專(zhuān)家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項(xiàng)目同行評(píng)議專(zhuān)家水平的評(píng)價(jià)研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)?，張宏?同行評(píng)議形式的爭(zhēng)論及發(fā)展現(xiàn)狀[J].中國(guó)科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評(píng)議自我評(píng)價(jià)規(guī)避方法的若干問(wèn)題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項(xiàng)目同行評(píng)議的一些政策性分析[J].中國(guó)科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國(guó)家自然科學(xué)基金項(xiàng)目同行評(píng)議現(xiàn)狀研究[J].中國(guó)科技博覽，2009（12）：151.

[18]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家評(píng)分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào)，2007，29（7）：80-82.

[21]謝煥瑛.國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估專(zhuān)家的若干問(wèn)題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估若干問(wèn)題的思考[J].中國(guó)科學(xué)基金，2003（02）：111-113.

[23]鄭稱(chēng)德.同行評(píng)議專(zhuān)家工作業(yè)績(jī)測(cè)評(píng)及其模型研究[J].科研管理，2002，23（2）：41-45.endprint