朱艷華 孫黎然 胡良霖 黎建輝

（中國科學(xué)院計算機網(wǎng)絡(luò)信息中心，北京 100190）

科技數(shù)據(jù)管理與共享服務(wù)效果評價研究探索

朱艷華 孫黎然 胡良霖 黎建輝

（中國科學(xué)院計算機網(wǎng)絡(luò)信息中心，北京 100190）

采用文獻(xiàn)調(diào)研和專家訪談等方式，深入研究科技數(shù)據(jù)資源后評估方法和機制，通過借鑒國際上科技項目管理后評估模式以及國內(nèi)科技數(shù)據(jù)資源建設(shè)和服務(wù)后評估實踐，提出科技數(shù)據(jù)應(yīng)用服務(wù)效果評價指標(biāo)選擇的基本原則和內(nèi)容框架。期待通過制定完善的數(shù)據(jù)服務(wù)效果評價體系及有效的實施方案，提高科技數(shù)據(jù)建設(shè)與運行管理的規(guī)范性、公正性和科學(xué)性，推進(jìn)數(shù)據(jù)資源檢索和服務(wù)的持續(xù)發(fā)展，提升科技數(shù)據(jù)的集成和共享水平。

科技數(shù)據(jù)；共享服務(wù)；資源共享；服務(wù)評價; 后評估

1 引言

當(dāng)前我國科技數(shù)據(jù)建設(shè)、共享與應(yīng)用的一個顯著特點是項目運作機制，這種運作模式具有階段離散性的顯著特點，與科技數(shù)據(jù)資源持續(xù)積累的連續(xù)性不相適應(yīng)。科學(xué)數(shù)據(jù)庫建設(shè)是一個長期積累的過程，尤其對于那些反映客觀世界發(fā)展規(guī)律的數(shù)據(jù)，長期收集整理具有更大的分析、研究和利用價值。以項目形式運作，各個數(shù)據(jù)庫得到的支持力度不同。那些獲得持續(xù)支持的數(shù)據(jù)庫，建庫時間長，資源豐富，更新及時；服務(wù)形式多樣，很大程度上滿足了用戶的特定需求，逐步形成了穩(wěn)定的用戶群；相反，那些只得到離散支持的建庫單位，持續(xù)建庫時間短，有些還停留在自建自用階段，能提供的資源有限，服務(wù)形式單調(diào)。數(shù)據(jù)庫建設(shè)服務(wù)成效與有無經(jīng)費支持以及支持力度有關(guān)。

數(shù)據(jù)庫項目運作機制在國內(nèi)外具有普遍性，因此以上問題一直被大家關(guān)注，國內(nèi)外的研究機構(gòu)和管理部門針對這種情況先后進(jìn)行了深入的探索，后評估模式就是在這個過程中提出并逐漸發(fā)展起來的。所謂科研項目后評估，指在科研項目完成后的一段時間內(nèi)，由獨立的、專業(yè)化咨詢服務(wù)機構(gòu)或項目執(zhí)行部門相對獨立的專門評估機構(gòu)，遵循一定的原則、程序和評價指標(biāo)，運用科學(xué)、公正和可行的方法，按照有關(guān)規(guī)定和規(guī)范化要求，依據(jù)項目的實際數(shù)據(jù)和必要的預(yù)測數(shù)據(jù)，對科研項目的執(zhí)行過程、效益作用和影響等進(jìn)行系統(tǒng)、客觀的專業(yè)化評判[1]。在數(shù)據(jù)庫科研項目管理中引入后評估機制，制定完善的科技數(shù)據(jù)共享效果評價體系，可以在一定程度上弱化目前數(shù)據(jù)庫項目運作離散性與數(shù)據(jù)資源持續(xù)積累連續(xù)性之間的矛盾，對于推進(jìn)數(shù)據(jù)資源持續(xù)發(fā)展具有現(xiàn)實意義。

筆者在總結(jié)和借鑒國內(nèi)外現(xiàn)有科技資源共享效果評估的理論和實踐的基礎(chǔ)上，實地走訪了中國科學(xué)院具有代表性的6家研究所，收集和整理了這些單位從事科學(xué)數(shù)據(jù)庫建設(shè)和研究的領(lǐng)域?qū)＜覍?shù)據(jù)共享效果評價的意見和建議。通過數(shù)據(jù)資源共享評價方法和機制的研究，結(jié)合信息技術(shù)的最新發(fā)展，立足當(dāng)下面向未來，探索科技數(shù)據(jù)共享服務(wù)效益評價指標(biāo)選取原則和指導(dǎo)性內(nèi)容框架。下一步計劃結(jié)合中國科學(xué)院信息化項目的具體要求和特點，細(xì)化指導(dǎo)性框架中的各項指標(biāo)，制定面對科學(xué)數(shù)據(jù)庫實施層面的指標(biāo)體系和評分模型。

本文將在分析研究國外科技項目管理評價和我國平臺認(rèn)定和服務(wù)績效考核指標(biāo)體系的基礎(chǔ)上，通過對中國科學(xué)院科技數(shù)據(jù)資源及其服務(wù)的建設(shè)與應(yīng)用的調(diào)查分析，提出科學(xué)數(shù)據(jù)服務(wù)效果評價指標(biāo)框架。

2 國外科技項目管理評價研究

當(dāng)前，國外在科技資源共享評估研究和實踐方面還十分有限，更多的是針對科技基礎(chǔ)設(shè)施共享政策和科研項目管理的研究。國外，科技評估已經(jīng)形成了較為成熟的理論框架體系，科技評估在一些發(fā)達(dá)國家已成為制度化、經(jīng)常性的工作行為，并建立了科技評估支持系統(tǒng)[2]。從更廣的角度看，科技資源共享評估也屬于科研活動的范疇，是科技項目評價的組成部分，因此，在科技資源共享評價方面，我們可以借鑒國外績效管理與評估的有關(guān)理論和實踐。為此分別對美國、英國及澳大利亞的科技數(shù)據(jù)績效評估機構(gòu)進(jìn)行了調(diào)研，內(nèi)容涉及數(shù)據(jù)開放、數(shù)據(jù)質(zhì)量、數(shù)據(jù)共享及管理評價體系等多個方面。

2.1 美國

美國科研經(jīng)費的來源主要包括政府基金和非政府基金兩部分。本文著重對美國政府基金資助的科研機構(gòu)績效評估模式進(jìn)行調(diào)研，調(diào)研機構(gòu)主要是美國國家科學(xué)基金會、美國國立衛(wèi)生研究院及美國航空航天局。

（1）美國國家科學(xué)基金會

美國國家科學(xué)基金會（National Science Foundation，NSF）是根據(jù)美國國家科學(xué)基金法設(shè)立，用于支持美國國內(nèi)大學(xué)、學(xué)院和科研機構(gòu)基礎(chǔ)學(xué)科的研究和教育。NSF的績效評估采取一種自下而上的方式，先從項目評估開始，逐步向上到與機構(gòu)具體的計劃目標(biāo)相對應(yīng)的“產(chǎn)出”，再到上一層次與機構(gòu)戰(zhàn)略性計劃目標(biāo)相對應(yīng)的“成果”，最后評估科技活動對NSF長期使命以及對國家、社會的整體影響[3]。

1993年，美國國會通過《政府績效與結(jié)果法案》 （Government Perform ance and Results Act，GPRA），第一次以立法的形式引入了績效評估對政府行政管理及結(jié)果的評估，從以往的“投入—產(chǎn)出”模式改變?yōu)椤澳繕?biāo)—結(jié)果”模式，即根據(jù)各機構(gòu)所設(shè)定的任務(wù)目標(biāo)來衡量其結(jié)果，并首次提出要把聯(lián)邦政府機構(gòu)的“結(jié)果”與制定預(yù)算過程統(tǒng)一起來，內(nèi)容包括整體戰(zhàn)略計劃及年度績效計劃[4]。美國國家科學(xué)基金會的績效評估就在此法案指導(dǎo)下實施。NSF在2006年9月發(fā)布的2006-2011年度規(guī)劃中將其績效目標(biāo)定位為發(fā)現(xiàn)、學(xué)習(xí)、基礎(chǔ)設(shè)施研究及服務(wù)。“發(fā)現(xiàn)”旨在鼓勵前沿領(lǐng)域知識創(chuàng)新；“學(xué)習(xí)”意在培養(yǎng)有廣泛基礎(chǔ)的科技人力資源、提高公民的科學(xué)素養(yǎng)；“基礎(chǔ)設(shè)施研究”通過建設(shè)關(guān)鍵領(lǐng)域先進(jìn)儀器設(shè)備提升國家的研究能力；“服務(wù)”著重在為教育和科學(xué)與工程領(lǐng)域研究提供卓越支持。

（2）美國國立衛(wèi)生研究院

美國國立衛(wèi)生研究院（National Institutes of Health，NIH）成立于1887年，是美國聯(lián)邦政府唯一的國家級公立生物醫(yī)學(xué)研究機構(gòu)。NIH的績效管理是一個系統(tǒng)過程，由相互關(guān)聯(lián)、相互依存的5個部分組成，即績效計劃的制定、實施與管理、績效評估、績效反饋及評估結(jié)果的應(yīng)用[5]。NIH 的績效目標(biāo)按照職能領(lǐng)域來組織，NIH的每個科研項目都有5個功能領(lǐng)域，具體考核科學(xué)研究結(jié)果、研究結(jié)果的交流與轉(zhuǎn)移、能力建設(shè)和研究資源、人力資源的戰(zhàn)略管理和項目監(jiān)管和改進(jìn)[6]。

（3）美國國家航天局

美國國家航天局（National Aeronautics and Space Adm inistration，NASA）是美國負(fù)責(zé)太空計劃的政府機構(gòu)，擁有最先進(jìn)的航空航天技術(shù)，它在載人空間飛行、航空學(xué)、空間科學(xué)等方面取得很大的成就。由于NASA所從事的項目多以規(guī)模大、周期長、風(fēng)險高、復(fù)雜程度高的航天產(chǎn)品和能力的研究、開發(fā)為主，而且新項目在NASA內(nèi)部產(chǎn)生的頻率很高。故此，NASA的項目組織形式多以項目和常設(shè)的矩陣組織為主，評估內(nèi)容包括關(guān)鍵里程碑評審、技術(shù)監(jiān)控評審和產(chǎn)品完整性評審。

2.2 英國

英國政府有一套完善的科研績效評估體系，政府力求通過績效評估保證科技投資滿足國家的戰(zhàn)略需求。英國研究理事會（RCUK）是國家層面的戰(zhàn)略投資機構(gòu)，其績效評估在國家層面、研究理事會層面和各獨立研究理事會層面遵循一定的程序和準(zhǔn)則開展，確保評估工作的規(guī)范化和日?；?，共同構(gòu)成了在目標(biāo)導(dǎo)向下的績效評估與管理體系。英國研究理事會績效管理與評估包括兩個層面，一是在整體層面上績效管理與評估，二是在各研究理事會層面上的管理與評估。政府采用一套完整的科研績效評估體系為科技決策、資源分配和科技管理提供支撐，通過績效評估保證其科技投資的價值和效率。研究理事會年度執(zhí)行計劃圍繞國家戰(zhàn)略計劃展開，執(zhí)行報告以年度執(zhí)行計劃設(shè)定的目標(biāo)和時間節(jié)點為依據(jù)展開評估[7]。在研究理事會層面，學(xué)科評估、科技影響力評估以及各研究理事會圍繞各自使命和學(xué)科特點展開的各項評估，均已在國家績效評價體系中設(shè)定了目標(biāo)，評估方法與評估結(jié)果向社會公布，接受公眾的質(zhì)詢[8]。

2.3 澳大利亞

澳大利亞研究理事會（ARC）于1988年依據(jù)《就業(yè)、教育與培訓(xùn)法》成立，成為國家就業(yè)、教育與培訓(xùn)委員會的組成部分，負(fù)責(zé)資助與管理大學(xué)和大學(xué)以外的科學(xué)研究及其教育計劃及項目，指導(dǎo)績效評估。ARC的資助類型分為“發(fā)現(xiàn)”和“合作”兩種。“發(fā)現(xiàn)”旨在發(fā)展和保持澳大利亞在廣泛的學(xué)科領(lǐng)域內(nèi)具有國際水準(zhǔn)的高水平科學(xué)基礎(chǔ)；而“合作”則是試圖通過加強澳大利亞國家創(chuàng)新系統(tǒng)內(nèi)部以及與國外創(chuàng)新系統(tǒng)的聯(lián)系，鼓勵和拓展各種合作方式，以使科學(xué)研究更好地為社會經(jīng)濟(jì)發(fā)展服務(wù)[9]。ARC制定計劃的指導(dǎo)原則為卓越性、集中性、靈活性、戰(zhàn)略性、伙伴關(guān)系、橋梁作用和績效管理。與之相對應(yīng)的7個戰(zhàn)略行動領(lǐng)域是：發(fā)現(xiàn)、合作、研究培訓(xùn)與職業(yè)發(fā)展、研究設(shè)施、優(yōu)先領(lǐng)域制定、公眾理解科學(xué)和績效管理[10]。

3 我國平臺認(rèn)定和服務(wù)績效考核指標(biāo)體系

我國科技部科學(xué)數(shù)據(jù)共享工程采用“平臺認(rèn)定”和“服務(wù)績效考核”的工作模式，發(fā)布了國家科技基礎(chǔ)條件平臺認(rèn)定和運行服務(wù)績效考核指標(biāo)[11]。其中，認(rèn)定指標(biāo)從科技基礎(chǔ)條件平臺“整合、共享、完善、提高”的理念出發(fā)，重點考察科技基礎(chǔ)條件平臺資源整合狀況以及運行、管理機制和長效發(fā)展能力，主要包括數(shù)據(jù)資源整合、組織管理、運行服務(wù)和持續(xù)發(fā)展能力等4個一級指標(biāo)和13個二級指標(biāo)。服務(wù)績效考核指標(biāo)在“認(rèn)定指標(biāo)”基礎(chǔ)上，突出科技基礎(chǔ)條件平臺的共享作用，重點考察科技基礎(chǔ)條件平臺的服務(wù)數(shù)量與服務(wù)成效，重視用戶評價的反饋，主要包括服務(wù)數(shù)量、服務(wù)成效、運行管理和資源整合等4個一級指標(biāo)和12個二級指標(biāo)?？己酥笜?biāo)是落實國家科技基礎(chǔ)條件平臺以獎代補制度、撥發(fā)共享平臺分中心經(jīng)費的重要依據(jù)，也是共享平臺分中心動態(tài)調(diào)整的重要參考。

各平臺分中心依據(jù)《國家科技基礎(chǔ)條件平臺認(rèn)定指標(biāo)》和《國家科技基礎(chǔ)條件平臺運行服務(wù)績效考核指標(biāo)》，制定了適合本分中心的認(rèn)定指標(biāo)和績效考核指標(biāo)。如，地球系統(tǒng)科學(xué)數(shù)據(jù)共享平臺作為認(rèn)定的國家科技基礎(chǔ)條件平臺之一，結(jié)合本平臺實際情況，細(xì)化和量化了認(rèn)定指標(biāo)和績效考核指標(biāo)，制定了《地球系統(tǒng)科學(xué)數(shù)據(jù)共享平臺分中心認(rèn)定指標(biāo)》和《地球系統(tǒng)科學(xué)數(shù)據(jù)共享平臺分中心運行服務(wù)績效考核指標(biāo)》，對本中心各項工作完成程度進(jìn)行評價。其中，認(rèn)定指標(biāo)包括資源整合、組織管理、網(wǎng)站建設(shè)、運行服務(wù)和持續(xù)發(fā)展能力等5個一級指標(biāo)和16個二級指標(biāo)，重點考察平臺資源整合狀況以及運行、管理機制和長效發(fā)展能力；績效考核包括服務(wù)數(shù)量、服務(wù)成效、網(wǎng)站平臺、運行管理和資源整合等5個一級指標(biāo)和16個二級指標(biāo)，重點考核運行服務(wù)，如服務(wù)的數(shù)量、服務(wù)成效和典型案例，突出對重大項目的服務(wù)成效以及創(chuàng)新性服務(wù)模式和持續(xù)資源整合機制的建立。

政策引導(dǎo)和需求驅(qū)動是數(shù)據(jù)庫平臺建設(shè)階段有效轉(zhuǎn)入運行服務(wù)階段的重要保障。我國“十二五”科技規(guī)劃中提到要加強重點科技平臺建設(shè)，建立國家科技平臺認(rèn)定、績效考核評估和以獎代補制度，推動平臺運行服務(wù)?？冃Э己酥笜?biāo)反映共享平臺工作重點和發(fā)展導(dǎo)向，是對共享平臺分中心各項工作完成程度評價的標(biāo)準(zhǔn)和依據(jù)?？冃гu價也是確?？萍紬l件資源的高效匯聚和利用的重要手段和政策工具，政府需要這樣的評估結(jié)果信息以確定對平臺的支持和獎勵，以便進(jìn)一步地激勵其發(fā)展[12]。

研究國外科技項目管理后評估模式，特別是科技數(shù)據(jù)資源建設(shè)和應(yīng)用服務(wù)類項目評估模式的實踐，對我們具有重要的借鑒和指導(dǎo)意義。參考國外績效指標(biāo)制定的基本原則，如澳大利亞研究理事會（ARC）制定計劃的7項指導(dǎo)原則和歐盟通用績效評估框架（CAF），制定我們的科技數(shù)據(jù)共享服務(wù)評價指標(biāo)選擇原則；通過借鑒國外績效評估指標(biāo)及其評價細(xì)則，拓寬數(shù)據(jù)共享服務(wù)評價思路，反思評價體系中針對服務(wù)成效、人才隊伍、學(xué)生培養(yǎng)等指標(biāo)的評估方法，如美國NSF績效評估指標(biāo)如何衡量其創(chuàng)意成果、人員成果、基礎(chǔ)設(shè)施和服務(wù)目標(biāo)；學(xué)習(xí)吸收國外績效評估流程和評估工具，體現(xiàn)評價工作的公正性、專業(yè)性和靈活性。如，美國政府為實施績效方案開發(fā)了專門的績效評價系統(tǒng)PART，使用者可對各個問題的分值進(jìn)行調(diào)整；英國研究理事會RCUK將績效評價結(jié)果及時公布于眾，并要求被評價機構(gòu)及時制定出相應(yīng)的績效改善計劃。

4 案例分析

4.1 評價現(xiàn)狀分析

中國科學(xué)院科技數(shù)據(jù)資源及其服務(wù)的建設(shè)與應(yīng)用已經(jīng)持續(xù)了20多年，截至“十一五”“數(shù)據(jù)應(yīng)用環(huán)境的建設(shè)和服務(wù)”項目順利驗收，公開共享了人地系統(tǒng)數(shù)據(jù)庫、資源環(huán)境遙感數(shù)據(jù)庫、空間科學(xué)數(shù)據(jù)庫、天文科學(xué)數(shù)據(jù)庫、微生物與病毒數(shù)據(jù)庫、動物數(shù)據(jù)庫、材料科學(xué)數(shù)據(jù)庫、化學(xué)數(shù)據(jù)庫等8個主題數(shù)據(jù)庫；化學(xué)參考型數(shù)據(jù)庫和中國植物物種信息數(shù)據(jù)庫等2個參考型數(shù)據(jù)庫；冰雪凍土環(huán)境數(shù)據(jù)庫、聚變數(shù)據(jù)庫、青海湖聯(lián)合科研基地數(shù)據(jù)庫和生態(tài)系統(tǒng)與功能區(qū)劃數(shù)據(jù)庫等4個專題數(shù)據(jù)庫；并從“十五”期間已支持且服務(wù)比較好、使用比較廣泛的數(shù)據(jù)庫中擇優(yōu)確定了37個重點專業(yè)數(shù)據(jù)庫。此外，還積極引進(jìn)/鏡像常用的國際優(yōu)質(zhì)數(shù)據(jù)資源，努力建成國際重要科學(xué)數(shù)據(jù)資源集結(jié)點[13]?？萍紨?shù)據(jù)資源共計148TB，累計訪問量達(dá)2606萬人次，數(shù)據(jù)下載量累計達(dá)243TB，服務(wù)科研項目120余項，取得了豐碩的科技成果和良好的社會效益。

目前，中科院科技數(shù)據(jù)建設(shè)、共享服務(wù)與應(yīng)用也是采用項目運作機制，因此科技數(shù)據(jù)共享評價也是圍繞著技術(shù)檢查和評審驗收加以實施。中國科學(xué)院科技數(shù)據(jù)共享服務(wù)評價現(xiàn)狀如圖1所示。

從圖1中可以看出，中國科學(xué)院科技數(shù)據(jù)共享服務(wù)評價指標(biāo)主要包括數(shù)據(jù)量/訪問量/下載量/支持服務(wù)項數(shù)量、技術(shù)檢查、同行專家的定性評議以及項目評審驗收。數(shù)據(jù)資源量、訪問量、下載量和服務(wù)科研項目數(shù)從4個方面反映了科技數(shù)據(jù)資源建設(shè)和應(yīng)用服務(wù)的情況，也是較為公認(rèn)的客觀指標(biāo)，但這些指標(biāo)尚不能反映數(shù)據(jù)服務(wù)的全貌，不能充分彰顯科技數(shù)據(jù)服務(wù)社會所得到的綜合效益。

不完善的科技數(shù)據(jù)應(yīng)用效果評價方式可能會誤導(dǎo)資源建設(shè)者“建設(shè)追求資源量、服務(wù)追求訪問量（含下載量）、應(yīng)用（項目）計數(shù)不計質(zhì)”。客觀評價科技數(shù)據(jù)的共享應(yīng)用機制和效益已是科技數(shù)據(jù)資源的持續(xù)建設(shè)和良性發(fā)展的重要內(nèi)容，通過完善的科技數(shù)據(jù)共享應(yīng)用機制和效益評估實現(xiàn)對科技數(shù)據(jù)資源建設(shè)的方向性引導(dǎo)，實現(xiàn)科技資源“質(zhì)與量并重”的建設(shè)，推進(jìn)科技數(shù)據(jù)資源建設(shè)和共享應(yīng)用的可持續(xù)發(fā)展。通過后評估舉措為科技數(shù)據(jù)的持續(xù)建設(shè)和共享應(yīng)用提供科學(xué)的決策依據(jù)，促進(jìn)中科院科技數(shù)據(jù)資源工作的良性可持續(xù)發(fā)展。

圖1 中國科學(xué)院科技數(shù)據(jù)共享服務(wù)評價現(xiàn)狀

4.2 專家走訪調(diào)研

我們選取了中國科學(xué)院地學(xué)遙感、生命科學(xué)、天文、空間和物理等學(xué)科領(lǐng)域，實地調(diào)研地理科學(xué)與資源研究所、微生物研究所、植物研究所、國家天文臺、國家空間科學(xué)中心和高能物理研究所從事數(shù)據(jù)庫建設(shè)和研究的專家，詳細(xì)了解這些單位數(shù)據(jù)資源建設(shè)和運行服務(wù)情況，總結(jié)和分析一線研究人員對數(shù)據(jù)服務(wù)效果評估的意見和建議。

目前，科技數(shù)據(jù)評價指標(biāo)存在不足。有些專家認(rèn)為，現(xiàn)有考核指標(biāo)未能充分體現(xiàn)科技數(shù)據(jù)與商業(yè)數(shù)據(jù)的區(qū)別，建議科技數(shù)據(jù)評價重點放在其對科研的支撐作用，考核科技數(shù)據(jù)的領(lǐng)先性、前瞻性、對科學(xué)家的作用等。有些專家認(rèn)為，目前的數(shù)據(jù)服務(wù)沒有考慮到一般民眾的需求，科技數(shù)據(jù)服務(wù)效果評價范圍應(yīng)再寬一些。科技數(shù)據(jù)的價值不僅體現(xiàn)在對科學(xué)研究的貢獻(xiàn)上，還要體現(xiàn)在全民科普能力的提高上，雖然暫時不會產(chǎn)生明顯的經(jīng)濟(jì)效益。

針對將來的數(shù)據(jù)服務(wù)評價指標(biāo)，專家總體建議評價方法要客觀和簡單。具體建議包括：（1）目前數(shù)據(jù)服務(wù)缺乏共享的氛圍，影響數(shù)據(jù)公開共享和應(yīng)用服務(wù)，評估指標(biāo)應(yīng)對共享意識加以引導(dǎo)；（2）數(shù)據(jù)質(zhì)量和規(guī)范的提升對服務(wù)效果影響非常大，是個漸進(jìn)的過程，評價指標(biāo)應(yīng)予以加強；（3）評價指標(biāo)要考慮每一個學(xué)科的實際情況，有些領(lǐng)域研究范圍窄，難以提供大量數(shù)據(jù)服務(wù)案例，不能單純追求數(shù)量；（4）數(shù)據(jù)服務(wù)效果要考慮其品牌和質(zhì)量，國際同行影響力也可以作為其評價指標(biāo)的重要組成部分；（5）注冊用戶是否作為評價指標(biāo)值得商榷，注冊手續(xù)繁瑣影響用戶的積極性，數(shù)據(jù)量不大的情況下應(yīng)該讓用戶直接下載，在離線拷貝大數(shù)據(jù)的情況下則可以要求他們填寫下載申請表；（6）數(shù)據(jù)工作也是一項研究工作，數(shù)據(jù)下載量和訪問量不應(yīng)成為唯一的考核標(biāo)準(zhǔn)，應(yīng)充分考慮學(xué)科的差異，采用定量指標(biāo)和定性指標(biāo)相結(jié)合的方式，如考慮數(shù)據(jù)支撐和數(shù)據(jù)加工意義，建立科學(xué)數(shù)據(jù)引用機制，評價數(shù)據(jù)提供者和數(shù)據(jù)集成者的服務(wù)價值；（7）讓真正使用數(shù)據(jù)庫的用戶實施應(yīng)用效果評估，建議采用典型用戶座談會等形式。

科學(xué)數(shù)據(jù)庫建設(shè)是一項長期性和基礎(chǔ)性的工作，科技數(shù)據(jù)評價是數(shù)據(jù)庫科研項目管理的重要環(huán)節(jié)。在科技數(shù)據(jù)評價工作中引入后評估機制，制定完善的數(shù)據(jù)共享服務(wù)機制和效益評價標(biāo)準(zhǔn)對于推進(jìn)數(shù)據(jù)資源良性發(fā)展具有重要意義，在一定程度上解決了目前項目運作階段離散性與數(shù)據(jù)資源持續(xù)積累連續(xù)性的矛盾。科技數(shù)據(jù)服務(wù)后評估遵照先運行服務(wù)后擇優(yōu)補貼的方式，對數(shù)據(jù)庫運行服務(wù)進(jìn)行統(tǒng)一的監(jiān)控評估，定期實施數(shù)據(jù)服務(wù)效果評價，并根據(jù)評估結(jié)果以獎代補，支持?jǐn)?shù)據(jù)庫持續(xù)發(fā)展和運行服務(wù)?？萍紨?shù)據(jù)服務(wù)效果后評估的主要目的是：反映數(shù)據(jù)庫工作的重點并引導(dǎo)數(shù)據(jù)庫發(fā)展的方向，是數(shù)據(jù)庫建設(shè)單位各項工作完成情況評價的標(biāo)準(zhǔn)和依據(jù)；提高數(shù)據(jù)庫建設(shè)與運行管理的規(guī)范性、公正性、科學(xué)性和合理性；作為科技數(shù)據(jù)資源的高效匯聚和利用的重要手段和政策工具，對建庫單位進(jìn)行支持和獎勵，并進(jìn)一步促進(jìn)其發(fā)展。

5 科技數(shù)據(jù)服務(wù)效果評價指標(biāo)框架探索

5.1 指標(biāo)選取原則

影響科技數(shù)據(jù)共享應(yīng)用效果的因素有很多，評估指標(biāo)的確定也是評估工作的難點和重點，參考國際上歐盟通用績效評價框架（CAF）和澳大利亞研究理事會（ARC）指導(dǎo)原則以及我國科技數(shù)據(jù)共享服務(wù)與應(yīng)用的現(xiàn)狀，我們確定了科技數(shù)據(jù)效果評價指標(biāo)選擇原則：一是系統(tǒng)全面原則，即為提高評估的科學(xué)性，需要全面考察影響科技數(shù)據(jù)應(yīng)用效果的各內(nèi)容要素；二是科學(xué)合理原則，即評價方法需要客觀、簡單，具有較強的可操作性；三是靈活試用原則，即指標(biāo)的選擇要有一定伸縮性，適合不同的情況；四是量化為主（自動采集）原則，即遵循科學(xué)數(shù)據(jù)管理與共享服務(wù)的質(zhì)與量并重準(zhǔn)則，采用定量與定性相結(jié)合的評估方法，其中以量化指標(biāo)為主，盡量減少人為主觀因素的影響；五是漸進(jìn)完善原則，即評估指標(biāo)體系是一個開放和擴展的系統(tǒng)，應(yīng)根據(jù)實際需要做出調(diào)整和更新。

5.2 評價指標(biāo)框架模型

一個富有成效、運作良好的數(shù)據(jù)共享服務(wù)系統(tǒng)依賴于數(shù)據(jù)資源建設(shè)情況、在線服務(wù)能力、組織管理模式以及應(yīng)用服務(wù)實際產(chǎn)生的效果?，F(xiàn)階段科技數(shù)據(jù)建設(shè)已經(jīng)從資源整合和集成發(fā)展到運行服務(wù)和維護(hù)，平臺建設(shè)已經(jīng)逐漸由以資源建設(shè)為主轉(zhuǎn)向以數(shù)據(jù)共享和應(yīng)用為主。因此，數(shù)據(jù)服務(wù)效果評價指標(biāo)側(cè)重于服務(wù)產(chǎn)生的真實效果。參考有關(guān)評價框架[14]，我們提出了科技數(shù)據(jù)服務(wù)效果評價指標(biāo)要素關(guān)系圖，詳見圖2所示。

數(shù)據(jù)資源是共享服務(wù)的基礎(chǔ)，重點評估數(shù)據(jù)所采用的標(biāo)準(zhǔn)規(guī)范和數(shù)據(jù)資源量?？己藘?nèi)容包括科技數(shù)據(jù)庫是否采用學(xué)科領(lǐng)域公認(rèn)的國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)等內(nèi)容標(biāo)準(zhǔn)或技術(shù)規(guī)范；發(fā)布數(shù)據(jù)的同時是否發(fā)布完整的文檔；資源量是否在本領(lǐng)域同類資源中具有較高的覆蓋范圍等。

在線系統(tǒng)是共享服務(wù)的支撐，重點評估在線平臺服務(wù)能力，尤其是特色專題服務(wù)?？己藘?nèi)容包括是否實現(xiàn)數(shù)據(jù)瀏覽、檢索、下載等基本服務(wù)功能；保證欄目更新頻率；面向科研人員的各種需求，開展多元化、集成化、主動式的專題特色數(shù)據(jù)服務(wù)，探索數(shù)據(jù)服務(wù)可持續(xù)發(fā)展機制等。

組織管理是共享服務(wù)的保障，重點評估科技數(shù)據(jù)庫支持服務(wù)團(tuán)隊?？己藘?nèi)容包括領(lǐng)域?qū)＜?、平臺運行管理、技術(shù)支撐、共享服務(wù)人員比例合理，并保障落實等；制定有效的人員績效考核和激勵制度等。

服務(wù)成效是共享服務(wù)的結(jié)果，重點評估用戶訪問下載和支撐科研情況。考核內(nèi)容包括科技數(shù)據(jù)庫服務(wù)用戶的數(shù)量和效果；支撐科學(xué)研究和技術(shù)創(chuàng)新的貢獻(xiàn)情況；支持國家重大研究課題、企業(yè)自主創(chuàng)新和研發(fā)、國家宏觀決策、經(jīng)濟(jì)社會發(fā)展、服務(wù)民主、提升民眾科學(xué)素養(yǎng)、國際同行使用等典型應(yīng)用案例等。

科技數(shù)據(jù)應(yīng)用效果評估指導(dǎo)性指標(biāo)體系包括4個一級指標(biāo)和若干二級指標(biāo)。其中，二級指標(biāo)又分為核心二級指標(biāo)和非核心二級指標(biāo)。核心二級指標(biāo)是必選指標(biāo)，由評估單位結(jié)合自身情況，細(xì)化成三級考核指標(biāo)；非核心指標(biāo)是可選指標(biāo)，評估單位可自行決定是否采用以及如何細(xì)化。在此基礎(chǔ)上，我們還探索了指標(biāo)評估模型。我們的模型包括賦予每個一級指標(biāo)相應(yīng)的分值和權(quán)重，賦予每個二級指標(biāo)權(quán)重范圍。在實施評估的過程中，評估單位根據(jù)每個指標(biāo)完成情況進(jìn)行打分，并按照其所占權(quán)重，計算出總得分。

以數(shù)據(jù)資源一級指標(biāo)為例，我們初步設(shè)計該指標(biāo)包括“數(shù)據(jù)量”、“標(biāo)準(zhǔn)規(guī)范”、“可持續(xù)發(fā)展”和“整合模式”4個二級指標(biāo)。其中，“數(shù)據(jù)量”、“標(biāo)準(zhǔn)規(guī)范”和“可持續(xù)發(fā)展”是核心二級指標(biāo)，也是必選指標(biāo)，最低權(quán)重分別為40%、20%和20%；“整合模式”是非核心二級指標(biāo)，屬可選指標(biāo)，最高權(quán)重為20%。若評估機構(gòu)不采用“整合模式”這個非核心指標(biāo)，那么該指標(biāo)的權(quán)重為0，原有的20%的權(quán)重就可以分配給3個核心指標(biāo)，具體每個核心指標(biāo)分配多少，也由評估單位自行決定，但需保證所有二級指標(biāo)權(quán)重之和不超過100%。評估單位可以將整合模式指標(biāo)20%的權(quán)重平均分給數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范和可持續(xù)發(fā)展3個核心二級指標(biāo)，也可以全部分給其中任意一個二級指標(biāo)。因此，數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范、可持續(xù)發(fā)展、整合模式等指標(biāo)權(quán)重范圍分別為：40% ～60%、20% ～ 40%、20% ～ 40%和0 ～ 20%。

落實到中科院科學(xué)數(shù)據(jù)庫項目實施性指標(biāo)方案，我們將指導(dǎo)性指標(biāo)體系中的二級指標(biāo)細(xì)化成多個三級指標(biāo)，每個三級指標(biāo)賦予不同的權(quán)重和分值，并通過開發(fā)“科學(xué)數(shù)據(jù)服務(wù)效果評測系統(tǒng)”對申請中國科學(xué)院“十二五”科技數(shù)據(jù)資源整合與共享工程資助的專業(yè)數(shù)據(jù)庫實施評估。在該評估系統(tǒng)中，所有指標(biāo)劃分為定量指標(biāo)和定性指標(biāo)兩大類。其中，定量指標(biāo)通過我們開發(fā)的系統(tǒng)工具自動采集數(shù)據(jù)，并根據(jù)評分標(biāo)準(zhǔn)計算得分；定性指標(biāo)由我們邀請的領(lǐng)域?qū)＜腋鶕?jù)被評價單位提交的說明材料，在線評審打分；以綜合得分作為該數(shù)據(jù)庫最終得分。

6 結(jié)語

通過對國內(nèi)外科技數(shù)據(jù)資源共享后評估方法和機制的研究，借鑒國際上科技項目管理后評估模式和國內(nèi)科技數(shù)據(jù)資源建設(shè)和服務(wù)項目評估實踐，我們提出了面向科技數(shù)據(jù)服務(wù)應(yīng)用效果的指導(dǎo)性評價指標(biāo)框架模型，探索各指標(biāo)要素的評估重點和主要考核內(nèi)容。研究發(fā)現(xiàn)，數(shù)據(jù)資源建設(shè)情況、在線服務(wù)能力、組織管理模式以及共享應(yīng)用服務(wù)成效是影響一個數(shù)據(jù)服務(wù)系統(tǒng)平臺有效和穩(wěn)定運行的重要因素。本文以此作為科技數(shù)據(jù)應(yīng)用效果評估指導(dǎo)性指標(biāo)體系的4個一級指標(biāo)。同時，在實踐中，評估單位可以結(jié)合自身情況，細(xì)化其對應(yīng)的二級指標(biāo)和三級指標(biāo)，并根據(jù)各自評估側(cè)重點的不同，確定每個二級指標(biāo)的權(quán)重和三級指標(biāo)的分值。由此可見該指標(biāo)性評估指標(biāo)體系具有一定的穩(wěn)定性、靈活性和適用性。我們下一步計劃基于該指標(biāo)性指標(biāo)框架，結(jié)合中科院科技數(shù)據(jù)共享服務(wù)的現(xiàn)狀和特點，制定適合中科院科學(xué)數(shù)據(jù)庫項目的數(shù)據(jù)服務(wù)評價實施性指標(biāo)體系和評分模型；在若干領(lǐng)域示范驗證完善后，探索符合中科院實際情況的科技數(shù)據(jù)共享應(yīng)用長效機制，指導(dǎo)我院科技數(shù)據(jù)共享服務(wù)評價工作的順利開展；通過后評估舉措為科技數(shù)據(jù)的持續(xù)建設(shè)和共享應(yīng)用提供科學(xué)決策依據(jù)，促進(jìn)中科院科技數(shù)據(jù)資源工作的良性發(fā)展。

[1] 丁娜,王堅,趙霞,等.中國科研項目后評估發(fā)展現(xiàn)狀[J].科技信息,2010(33):64-65.

[2] 蕭鳴政.現(xiàn)代績效考評技術(shù)及其應(yīng)用[M].北京:北京大學(xué)出版社,2007.

[3] National Science Foundation. FY2006 Performance and Accountability Report [R]. 2006.

[4] National Science Foundation. National Science Foundation’s GPRA Strategic Plan for Finical Years 1997 -2003[R]. 1997.

[5] NIH Overview-How NIH Research Has Bene f ted the Nation [EB/OL]. [2007-06-19]. http://www.nih.gov/ about/NIHoverview.htm l.

[6] 顏敏.美國國立衛(wèi)生研究院(NIH)績效管理研究[J].醫(yī)學(xué)信息學(xué)雜志,2009,30(6):38-41.

[7] Research Councils UK (RCUK). Research Councils UK’s Updated Position Statement on Access to Research Outputs [EB/OL]. [2013-03-05]. http://www. rcuk.ac.uk/access/Pages/Accessibility.aspx.

[8] 孟溦,劉智淵.英國研究理事會績效管理與評估[J].中國科學(xué)基金,2009(4):247-252.

[9] Department of Education, Training and Youth A ffairs. Know ledge and Innovation: A Statement on Research and Research Training[EB/OL]. [2013-04-05]. http:// www.detya.gov.au/archive/highered/whitepaper.

[10] 龔旭.澳大利亞科技政策研究與戰(zhàn)略制定的范例分析[J]. 研究與發(fā)展管理,2004,16(2):26-32.

[11] 科技部.國家科技基礎(chǔ)條件平臺運行服務(wù)績效考核指標(biāo)[EB/OL].[2013-04-15].http://www.most.gov.cn/fggw/ zfw j/zfw j2011/201108/t20110805_88853.htm.

[12] 劉潤達(dá),褚文博,諸云強.國家科技基礎(chǔ)條件平臺運行服務(wù)階段關(guān)鍵問題探析[J].現(xiàn)代情報,2012,32(11):51-53.

[13] 中國科學(xué)院數(shù)據(jù)應(yīng)用環(huán)境[EB/OL]. [2013-04-18]. http://www.csdb.cn.

[14] 樊秀娥,龔瓊宇.科學(xué)數(shù)據(jù)共享系統(tǒng)評估方法的探討[J].中國衛(wèi)生工程學(xué),2009,8(3):179-180.

Searching after Estimate of S&T Data M anagement and Sharing Service Effect

Zhu Yanhua, Sun Liran, Hu Lianglin, Li Jianhui
(Computer Network Information Center of CAS, Beijing 100190)

Objective evaluation of scientif c data sharing service and application benef ts has become an important part of continuous construction and healthy development of data resources. We use literature research and expert interviews, studying the post-evaluation’s methods and mechanism s of scientific data resources. By draw ing on international science and technology project management’s post-evaluation pattern and domestic data resources construction and service’s evaluation practice, We present the basic principles of evaluation index selection and content framework of scientific data service evaluation. Through the perfect evaluation system and effective imp lem entation program s, we are looking forward to im proving scientific data construction and m anagement’s normalization, impartiality and scientif city, promoting the sustainable development of data resources and enhancing the level of data integration and sharing.

scientif c data, sharing service, resources sharing, service evaluation, post-evaluation

圖2 數(shù)據(jù)服務(wù)效果評價指標(biāo)要素關(guān)系圖

G35

：ADOI：10.3772/j.issn.1674-1544.2013.04.003

朱艷華（1982- ），女，工程師，碩士，主要研究方向：為數(shù)據(jù)庫技術(shù)與標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)應(yīng)用服務(wù)。

中國科學(xué)院信息化專項項目“科技數(shù)據(jù)共享應(yīng)用機制與效益評估研究”（XXH12510-02）。

2013年5月27日。