張 潔/編譯

研究影響力：有成果才有基金

張 潔/編譯

● 世界各國政府都在思考，科研基金的投入是否得到了足夠的回報(bào)。這無可厚非。正如新西蘭總理首席科學(xué)顧問彼得·格魯克曼所說，“這是國家科學(xué)政策的目的所在。無論作為直接還是間接標(biāo)準(zhǔn)，科研成果的影響力都是科學(xué)政策制定的重要考慮因素。比如說，公共部門和工業(yè)部門資金投入的比例，以及醫(yī)療領(lǐng)域和環(huán)境領(lǐng)域投資比例，這些都離不開影響力的考量。”

大型經(jīng)濟(jì)體有實(shí)力投資于包括從納米技術(shù)到宇宙學(xué)在內(nèi)的各個(gè)學(xué)科的科學(xué)研究。較小的國家，如澳大利亞和新西蘭就需要精打細(xì)算。格魯克曼說：“國家越小，更受限制。所以，對(duì)待科學(xué)創(chuàng)新體系，政策制定者會(huì)更加謹(jǐn)慎，更注重優(yōu)先次序。畢竟此時(shí)科研基金的分配更具戰(zhàn)略意義?！?/p>

確定科研對(duì)整個(gè)社會(huì)而非僅學(xué)界的影響，能幫助組織和機(jī)構(gòu)的決策者進(jìn)行決策。但是，困擾格魯克曼等人的是如何定義對(duì)社會(huì)的影響。他說，“你必須對(duì)社會(huì)、世界有非常清晰的認(rèn)識(shí)，影響的種類多，而每個(gè)人的看法又有差別。各國政府必須確定，他們需要的是哪方面的影響?！爆F(xiàn)在人們困惑的三個(gè)問題是：1、影響力的具體標(biāo)準(zhǔn)包括哪些？2、在科研項(xiàng)目的哪個(gè)階段來評(píng)定影響力？是項(xiàng)目進(jìn)展中期，還是項(xiàng)目完成之后？3、影響力帶有一定的主觀性，而且是定性的，有可能合理評(píng)估影響力嗎？

價(jià)值評(píng)估

格魯克曼在奧克蘭的辦公室是小型發(fā)達(dá)經(jīng)濟(jì)體倡議協(xié)會(huì)（SAEI）在科學(xué)，技術(shù)和創(chuàng)新領(lǐng)域的行政總部。SAEI是主要討論小型發(fā)達(dá)經(jīng)濟(jì)體面臨的重要挑戰(zhàn)，機(jī)遇和政策的機(jī)構(gòu)。對(duì)于這些國家，確定優(yōu)先投資的科學(xué)和創(chuàng)新領(lǐng)域?qū)?jīng)濟(jì)繁榮有重要意義。

SAEI已開始開發(fā)一種“影響力分類法”，用于幫助對(duì)科研項(xiàng)目造成的影響進(jìn)行分類。該方法不僅包括直接的經(jīng)濟(jì)效應(yīng)，也包括無形的因素。例如，諾貝爾獲獎(jiǎng)?wù)吣芴嵘粋€(gè)國家的科學(xué)聲譽(yù)，這也是一種影響力。格魯克曼說，一個(gè)全面的科學(xué)體系必須考慮所有對(duì)人們有益的影響力。他認(rèn)為，影響力分類法有助于全面考慮影響力。 他舉例說道，“生物安全研究，減少了手足口病的發(fā)生，或讓一個(gè)國家能更好地抵御地震，這種研究的價(jià)值如何評(píng)價(jià)？如果我們只關(guān)注一種影響力，這種類型的研究很容易就被遺忘。 ”

不過，研究產(chǎn)生影響力，往往在多年之后才有體現(xiàn)，這意味著影響力的評(píng)估又面臨嚴(yán)峻挑戰(zhàn)。評(píng)估者需要確定調(diào)查機(jī)構(gòu)和中間成果來衡量研究進(jìn)行的方向。位于新西蘭威靈頓的Motu經(jīng)濟(jì)和公共政策研究所負(fù)責(zé)人、經(jīng)濟(jì)學(xué)家亞當(dāng).賈菲（Adam Jaff）目前正在從事這類工作。賈菲目前在建立一個(gè)評(píng)價(jià)框架，該框架將影響力分為五大類：經(jīng)濟(jì)，社會(huì)，環(huán)境，公共政策和軍事能力。該框架旨在幫助決策者全方位考慮科研項(xiàng)目潛在成果，并幫助他們決策哪些項(xiàng)目繼續(xù)追蹤，以及如何追蹤。

而批評(píng)者認(rèn)為，許多科學(xué)發(fā)現(xiàn)是偶然的，這種面向目標(biāo)的方法可能會(huì)導(dǎo)致更少科研經(jīng)費(fèi)投向這種不考慮用途的研究。格魯克曼并不認(rèn)同這種觀點(diǎn)。他說，知識(shí)的進(jìn)步本身就是一個(gè)目標(biāo)。賈菲，作為一個(gè)美國人，則用棒球隊(duì)比喻來維護(hù)影響力評(píng)估，“有人說，影響力評(píng)估讓科研工作者遠(yuǎn)離基礎(chǔ)科研，而重影響。我認(rèn)為這種說法有失偏頗。這就好比，棒球賽里，有時(shí)你三振出局，有時(shí)候你打得很棒，但我們會(huì)更重視平均水準(zhǔn)。我們要看的是在眾多標(biāo)準(zhǔn)中，哪種方式能夠產(chǎn)生最好的平均結(jié)果和成就。這個(gè)過程中，不可避免有一定隨機(jī)性，但這種隨機(jī)性并不能說明，評(píng)價(jià)體系阻礙科研的進(jìn)步。”使用這種從多維度多指標(biāo)分析的評(píng)價(jià)框架，最大程度地減小遺漏重要影響的概率。

這種框架可能對(duì)新西蘭最近推出的國家科學(xué)挑戰(zhàn)計(jì)劃（NSCs）很有吸引力。NASs為對(duì)國家有重大意義的科研領(lǐng)域配置基金。NSCs的投資時(shí)間為10年，是新西蘭政府支持更長時(shí)間跨度科研項(xiàng)目的重大舉措。一般來說，大多數(shù)機(jī)構(gòu)，都只提供三到五年的基金支持。在他們的計(jì)劃里，申請(qǐng)者需描述他們的十年愿景，預(yù)期成果和影響。

奧克蘭大學(xué)的物理學(xué)家肖恩·亨迪和他的團(tuán)隊(duì)最近向NSC提交了一份名為“科學(xué)技術(shù)創(chuàng)新”的申請(qǐng)。該申請(qǐng)項(xiàng)目的研究目的為“增強(qiáng)新西蘭利用物理和工程科學(xué)來促進(jìn)經(jīng)濟(jì)增長的能力”。亨迪同時(shí)也是奧克蘭大學(xué)復(fù)雜系統(tǒng)和網(wǎng)絡(luò)研究中心的負(fù)責(zé)人，在申請(qǐng)過程中發(fā)現(xiàn)研究影響力討論部分阻礙了他的申請(qǐng)。他表示，“我們的計(jì)劃涵蓋了非常廣泛的學(xué)科和工業(yè)領(lǐng)域。制造技術(shù)的變化太快，為了達(dá)到影響力的要求，我們不得不努力設(shè)計(jì)一個(gè)能夠產(chǎn)生短期影響，但對(duì)未來十年都有意義的研究計(jì)劃。”

被授予國科會(huì)資助的研究小組需要擬定一個(gè)“影響力途徑”計(jì)劃，其中包括監(jiān)測和評(píng)價(jià)部分。亨迪認(rèn)為，從長遠(yuǎn)來看，這種評(píng)估益處不大，因?yàn)樵擉w系不衡量機(jī)會(huì)成本。 他表示，要確定國家科學(xué)挑戰(zhàn)計(jì)劃能夠帶來的實(shí)際益處，經(jīng)濟(jì)學(xué)家需要了解我們基金支持的項(xiàng)目，還需要了解我們沒有支持的項(xiàng)目。“而目前的這些評(píng)估方式，更多的是官方做選擇題，而不是真正去衡量科學(xué)對(duì)社會(huì)的價(jià)值?！?/p>

澳洲規(guī)則

聯(lián)邦科學(xué)與研究組織（CSIRO）是澳洲最大的政府資助的研究機(jī)構(gòu)。其總部設(shè)在堪培拉。 據(jù)CSIRO的馬克.約翰（Mark Johnson）表示，CSIRO是一所研究計(jì)劃正式且透明，并且自我監(jiān)控和評(píng)估其研究的影響的公共研發(fā)機(jī)構(gòu)。這在澳大利亞甚至世界范圍內(nèi)都是比較少見的。馬克.約翰是“2020年影響力”的項(xiàng)目經(jīng)理。該項(xiàng)目于四年前推出，旨在為評(píng)估CSIRO重點(diǎn)科研項(xiàng)目在經(jīng)濟(jì)，環(huán)境和社會(huì)方面的影響力評(píng)估制定一個(gè)框架。對(duì)于CSIRO，影響力用于指導(dǎo)其“4A”工作的展開，即分配（資源），宣傳，問責(zé)制（對(duì)政府和其他主要利益相關(guān)者而言）和分析（旨在性能提高）。

CSIRO依據(jù)影響途徑模型來做分析，該模型描述一個(gè)項(xiàng)目的投入，活動(dòng)，產(chǎn)出，預(yù)期成果，以及最終影響。例如，通過新研究出的方案提高生產(chǎn)率。在一重大項(xiàng)目中，項(xiàng)目負(fù)責(zé)人可以根據(jù)資源的變化，或者CSIRO或其客戶和合作伙伴的目標(biāo)，修改這些途徑。

CSIRO的研究影響計(jì)劃是一個(gè)動(dòng)態(tài)的過程，該組織不斷追蹤學(xué)科以外的變化，以此評(píng)估研究項(xiàng)目的重點(diǎn)是否仍然合時(shí)。這種著眼于更廣闊的世界的做法也有利于提高內(nèi)部參與度。 “很多人對(duì)于長期影響力評(píng)估非常不安，因?yàn)殚L期影響顯得太過遙遠(yuǎn)，脫離實(shí)際。他們因此也懶于參與?！盋SIRO績效評(píng)估部門的執(zhí)行經(jīng)理馬克.巴扎克（Mark Bazzacco）如是說。他表示，“監(jiān)測實(shí)現(xiàn)影響力的每一個(gè)進(jìn)步”，而不是“監(jiān)督影響力”，有助于科學(xué)家關(guān)注其項(xiàng)目目標(biāo)，并更好地理解其自身在改變世界過程中起到的作用。

巴扎克給出了一個(gè)例子。一些研究的影響力是幾十年工作累積的成果。墨累達(dá)令管理計(jì)劃是一個(gè)以對(duì)墨累達(dá)令河流域測量和建模的大型合作研究項(xiàng)目。除了收集數(shù)據(jù)，相關(guān)研究人員也幫助決策者了解他們的模型以及研究結(jié)果，從而幫助其制定關(guān)于用水的規(guī)則。但是，一旦新政策被制定，采納與否取決于州或聯(lián)邦政府，而實(shí)施效果則取決于實(shí)施者。要看到該項(xiàng)目的最終影響力（包括環(huán)境，農(nóng)業(yè)，社會(huì)和經(jīng)濟(jì)等）至少需要另外一個(gè)十年。與此同時(shí)，本項(xiàng)目研究人員已經(jīng)轉(zhuǎn)移到其他項(xiàng)目。影響力最終檢測有助于鑒定研究者在哪些方面起到了作用（例如，項(xiàng)目指導(dǎo)，以及和相關(guān)政府或工業(yè)部門的溝通），并避免了將超出了研究人員的控制范圍的不利影響歸因于研究者（比如，在此例中，政策的執(zhí)行）。

無線局域網(wǎng)(Wireless LAN)：CSIRO科學(xué)家解決了電子設(shè)備的無線網(wǎng)絡(luò)速度慢的主要問題——即房間內(nèi)信號(hào)的混響。該組織申請(qǐng)多項(xiàng)國家專利，并在1996年獲得了美國無線局域網(wǎng)（WLAN或無線網(wǎng)絡(luò)）的專利。這一成果帶來了重大的社會(huì)和經(jīng)濟(jì)影響，并徹底改變了通訊。該技術(shù)目前已被全球約十億設(shè)備使用。 CSIRO與20多家國際企業(yè)有許可協(xié)議，價(jià)值超過 4.3億澳元（折合 4億美元）。

墨累一達(dá)令流域管理計(jì)劃 (Murray-Darling basin plan)：墨累 -達(dá)令是澳大利亞最大的河流系統(tǒng)。它為約10%的人口提供生活用水，并為全國農(nóng)業(yè)提供了40%的用水。多變的流量引起社區(qū)和產(chǎn)業(yè)界的廣泛關(guān)注。 CSIRO科學(xué)家測量流域內(nèi)的可用水，并創(chuàng)建了一個(gè)模型。 2011年，他們發(fā)表了一份關(guān)于該流域水資源計(jì)劃、管理和投資的報(bào)告，并且對(duì)2011-2030年期間集水區(qū)的建立，地下水開采及此對(duì)氣候條件的影響均建立了模型。該報(bào)告直接幫助政府投資決策，該項(xiàng)目的影響力體現(xiàn)在幫助政府和公司更合理分配投資，提高水利基礎(chǔ)設(shè)施效率。據(jù)估計(jì)，該項(xiàng)目至少幫助節(jié)約了28億澳元（約合26億美金）。

虎蝦和水產(chǎn)養(yǎng)殖 (Tiger prawn and Aquaculture feeds)：2010年，CSIRO宣布，其與澳大利亞養(yǎng)蝦農(nóng)民的10年合作碩果累累，成果選育了在咸水中生長率和成活率大大提高并可持續(xù)繁殖的黑虎蝦。這一成果對(duì)行業(yè)的經(jīng)濟(jì)影響約為每年1.2億澳元（約合1.12億美元）。同時(shí)，另一CSIRO研究小組開發(fā)出一種新的水產(chǎn)飼料成分（Novacq）。該成分從海洋微生物提取，能使黑虎蝦的生長率提高30%。這二者預(yù)計(jì)造成的蝦產(chǎn)量增加經(jīng)濟(jì)收益約為4.3億澳元元（約合4億美元）。

堪培拉合作研究中心（CRC）計(jì)劃，由聯(lián)邦政府于1990年成立，也同樣從相關(guān)應(yīng)用領(lǐng)域來考察研究的影響力。CRC支持跨學(xué)科團(tuán)隊(duì)（其中通常包括來自CSIRO的研究團(tuán)隊(duì)），并對(duì)各個(gè)科研團(tuán)隊(duì)精心管理，評(píng)估影響。CRC協(xié)會(huì)的首席執(zhí)行長托尼.皮克爾如此介紹道。所有的CRC項(xiàng)目從一開始就包括最終用戶的參與，確保項(xiàng)目始終以解決實(shí)際問題為目的。CRC的任何項(xiàng)目申請(qǐng)也需要完成類似CSIRO“影響途徑圖”的影響力描述。

在過去十年中，相關(guān)部門已對(duì)CRC項(xiàng)目進(jìn)行了三次彼此獨(dú)立的回顧性分析。分析采用的方法先獲得了政府官員的認(rèn)可，采用反事實(shí)視角。也就是說，他們假設(shè)，如果每個(gè)CRC研究項(xiàng)目都未發(fā)生，對(duì)世界產(chǎn)生的影響。這三種分析均表明，CRC已對(duì)社會(huì)產(chǎn)生了積極的影響，包括經(jīng)濟(jì)指標(biāo)上的影響（如國內(nèi)生產(chǎn)總值）。皮科克對(duì)于這種分析評(píng)估過程非常坦然。他說：“說服公眾研究的價(jià)值是有意義的，公眾希望知道我們?cè)谧鍪裁?。而這些回顧性研究，直接針對(duì)那些有權(quán)決定是否繼續(xù)為CRC項(xiàng)目投錢的人?！?/p>

高校面臨挑戰(zhàn)

澳大利亞的高等教育，其中包括全國所有大學(xué)和將近全國三分之二的科學(xué)家，都不經(jīng)常進(jìn)行針對(duì)研究項(xiàng)目的影響力評(píng)估。而如今，這些機(jī)構(gòu)，不得不通過澳洲學(xué)術(shù)績效評(píng)估計(jì)劃ERA監(jiān)測其研究質(zhì)量。

2003年，當(dāng)時(shí)的自由黨政府開始制定一個(gè)評(píng)估系統(tǒng)，也就是所謂的研究質(zhì)量體系（NQF）。NQF關(guān)注研究的影響力，同時(shí)也關(guān)注研究質(zhì)量。但在2007年12月，在NQF即將完成的前幾周，上臺(tái)的工黨政府廢除了這個(gè)系統(tǒng)。澳大利亞技術(shù)網(wǎng)絡(luò)大學(xué)（ATN）阿德萊德校區(qū)研究部高級(jí)策略分析師馬特·布朗認(rèn)為，此舉造成了一個(gè)有效決策工具的丟失。他說，“我們都知道，汽車制造業(yè)突然從澳大利亞消失了，人人都在疑惑，國家將來的工業(yè)產(chǎn)業(yè)怎樣發(fā)展。研究影響力評(píng)估將有助于引導(dǎo)現(xiàn)在的政策決策。”

另一試圖推動(dòng)研究評(píng)估的舉動(dòng)是在2012年，12所澳洲大學(xué)參加了澳洲創(chuàng)新績效計(jì)劃 （EIA）試驗(yàn)。EIA采用的是基于案例分析的評(píng)估方法，這種做法可以用于系統(tǒng)地評(píng)估大學(xué)多種學(xué)科和領(lǐng)域的研究影響力。布朗說，“12年的時(shí)候，國家也確實(shí)需要把評(píng)估學(xué)術(shù)績效提上日程。試圖說服政策制定者時(shí)，你需要拿出證據(jù)?！痹贓IA的報(bào)告中，作者們指出，他們實(shí)現(xiàn)了計(jì)劃的目標(biāo)，即“評(píng)估由澳洲大學(xué)研究衍生出來的創(chuàng)新”，并且他們完善了科研項(xiàng)目影響力評(píng)估的方法學(xué)。

“如果衡量影響力的目的是告訴政客研究的價(jià)值，那么我們接受這些吧?！?/h2>

澳大利亞首席科學(xué)家伊恩·查布，似乎對(duì)于影響力評(píng)估體系對(duì)高校的益處并不確定，并對(duì)回顧性案例分析的研究評(píng)估方法存有懷疑。最近英國啟動(dòng)了新研究績效評(píng)估體系。這種方法也具有高度選擇性，大學(xué)選擇性提交那些最優(yōu)秀的研究項(xiàng)目成果。查布在明確任何評(píng)估系統(tǒng)的目的這一點(diǎn)上和格魯克曼意見一致。 “如果評(píng)估影響力的目的是為了向政治家展示科研貢獻(xiàn)了多少經(jīng)濟(jì)效益，那么我們就應(yīng)該接受它，”他說，“但是，如果影響力評(píng)估和基金掛鉤，那么政府要小心了。這不只是為隨大流。你不會(huì)因?yàn)?5年前有人的想法具有經(jīng)濟(jì)效益，就給一所大學(xué)撥款?！?/p>

為了更好地協(xié)調(diào)科研活動(dòng)和投資，擺脫“大流”影響，總部設(shè)在堪培拉工業(yè)部，由查布擔(dān)任主席的澳大利亞研究委員會(huì)（ARCOM），起草了一份科研投資計(jì)劃，以指導(dǎo)政府決策。該計(jì)劃于2012年11月發(fā)起。ARCOM的成員來源廣泛，包括澳大利亞研究理事會(huì)（ARC），國家健康與醫(yī)學(xué)研究委員會(huì)（NHMRC）和CSIRO的主要領(lǐng)導(dǎo)。ARCOM建議啟動(dòng)一個(gè)大學(xué)為重點(diǎn)的影響評(píng)估機(jī)制，作為ERA的補(bǔ)充。ARCOM于2013年6月發(fā)布了一份討論文件，8月截至征收意見，時(shí)間剛趕上政局變化?，F(xiàn)任自由黨不支持這個(gè)計(jì)劃。

在缺乏政府領(lǐng)導(dǎo)的情況下，一所澳洲大學(xué)已經(jīng)決定開始研究影響力評(píng)估。前任墨爾本市維多利亞大學(xué)副校長沃倫·佩恩表示，“現(xiàn)在的政治環(huán)境和以前不同，我們需要為影響力評(píng)估做好準(zhǔn)備。影響力評(píng)估可能成為ERA體系最重要的評(píng)估標(biāo)準(zhǔn)。”

維多利亞大學(xué)的研究項(xiàng)目是通過回顧性和前瞻性影響力分析來評(píng)估的，考察經(jīng)濟(jì)，社會(huì)和環(huán)境效益，同時(shí)對(duì)經(jīng)濟(jì)或社會(huì)投資人作關(guān)于其可能影響力的定性調(diào)查。該大學(xué)目前正在試用該系統(tǒng)，并引入獨(dú)立的評(píng)估機(jī)構(gòu)評(píng)估進(jìn)展情況。到目前為止，維多利亞大學(xué)社會(huì)科學(xué)和科學(xué)技術(shù)部門的11個(gè)項(xiàng)目已成功地進(jìn)行評(píng)估。評(píng)估通過等級(jí)量表評(píng)定，指標(biāo)是影響力的大小和范圍。

佩恩認(rèn)為維多利亞大學(xué)的影響力評(píng)估系統(tǒng)能有效指導(dǎo)其研究決策。但他表示，該系統(tǒng)最大的作用是把科研人員的目光聚焦在其預(yù)期成果以及是否都實(shí)現(xiàn)了目標(biāo)。并且，該系統(tǒng)具有另外一個(gè)好處，能激勵(lì)科研工作者的工作熱情，因?yàn)樗麄円庾R(shí)到自己的工作可能會(huì)對(duì)未來產(chǎn)生怎樣的影響。

群體工作

關(guān)于影響力評(píng)估最大的爭議之一是需要納入一些非傳統(tǒng)的研究。查爾斯特大學(xué)沃加沃加校區(qū)執(zhí)行校長蒂姆.韋斯說：“過去已得到廣泛應(yīng)用的工作往往被認(rèn)為很重要?！彼o出了一個(gè)對(duì)比做例子，旨在減少術(shù)后死亡率的護(hù)理流程的研究和粒子物理學(xué)的基礎(chǔ)研究。評(píng)估兩種類型研究的績效和影響力，“會(huì)讓競爭更公平”，他補(bǔ)充道。大學(xué)推廣委員會(huì)和基金申請(qǐng)?jiān)u審也可以參考這類評(píng)估信息。

“沒有任何一類指標(biāo)能同時(shí)表征績效和影響力?！?/p>

不幸的是，沒有一類指標(biāo)能同時(shí)表征研究的績效和影響力。如果沒有人把知識(shí)轉(zhuǎn)化成實(shí)踐，發(fā)表再好的文章，可能都不會(huì)產(chǎn)生學(xué)術(shù)界以外的影響。這就涉及到時(shí)間框的問題。個(gè)人或組織的研究工作完成之后幾年或幾十年可能都看不到研究帶來的社會(huì)效益。并且影響評(píng)估有怎么梳理開這個(gè)漫長過程中個(gè)人或者機(jī)構(gòu)的貢獻(xiàn)呢？

事實(shí)上，影響力評(píng)估的方法學(xué)是問題癥結(jié)所在。佩恩曾和ARC討論過維多利亞大學(xué)的影響力評(píng)估方法。ARC負(fù)責(zé)ERA評(píng)估工作的執(zhí)行，是澳大利亞最大的研究基金會(huì)（一共兩家）。 “ARC認(rèn)為，雖然我們的方法也許可以很好地應(yīng)用在一所大學(xué)里，但難以確定是否能夠大規(guī)模系統(tǒng)性實(shí)施?！彼f。另一家基金機(jī)構(gòu)NHMRC，要求基金申請(qǐng)中提到影響力，但條例沒有明確，而且隨著計(jì)劃的改變，該條例也有變動(dòng)。NHMRC首席執(zhí)行官華威安德森說，“現(xiàn)在比較重要的問題是，影響力的具體指標(biāo)是什么，哪些算是有力的影響力證據(jù)”。

到目前為止，這個(gè)討論仍然無法得到一致結(jié)論，ARCOM仍將繼續(xù)糾結(jié)這一問題?！拔也皇钦f這不對(duì)，也不是說一大堆聰明的人無法找到一種解決方法，”查布說，“主要是這個(gè)問題不能過分簡單化?！?/p>

[資料來源：Nature][責(zé)任編輯：李 輝]