杜元偉 王素素 楊 寧

(中國(guó)海洋大學(xué) 管理學(xué)院，山東 青島 266100)

基于ANP的科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)方法*

杜元偉 王素素 楊 寧

(中國(guó)海洋大學(xué) 管理學(xué)院，山東 青島 266100)

為了解決科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)在指標(biāo)體系上尚未形成統(tǒng)一規(guī)范、在評(píng)價(jià)方法上尚未考慮指標(biāo)之間作用關(guān)系對(duì)績(jī)效評(píng)價(jià)結(jié)果影響的問(wèn)題，首先從項(xiàng)目執(zhí)行情況、項(xiàng)目取得成果、成果轉(zhuǎn)化應(yīng)用、人才培養(yǎng)情況、應(yīng)用前景情況等方面構(gòu)建了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系，然后通過(guò)分析指標(biāo)之間的相互作用關(guān)系提出了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的系統(tǒng)分析結(jié)構(gòu)，在此基礎(chǔ)上采用網(wǎng)絡(luò)分析法給出了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的方法步驟，突破了傳統(tǒng)方法要求指標(biāo)之間相互獨(dú)立的條件限制。最后應(yīng)用提出方法對(duì)山東省科技計(jì)劃項(xiàng)目進(jìn)行案例模擬求解，得到了案例項(xiàng)目的績(jī)效評(píng)價(jià)排序。

科技計(jì)劃項(xiàng)目；績(jī)效評(píng)價(jià)方法；網(wǎng)絡(luò)分析法；評(píng)價(jià)指標(biāo)體系

一、引言

科技計(jì)劃項(xiàng)目是為解決當(dāng)前階段所面臨的復(fù)雜科學(xué)與技術(shù)問(wèn)題，由政府部門(mén)制定研究與試驗(yàn)工作計(jì)劃，個(gè)人或單位以項(xiàng)目形式申報(bào)承擔(dān)并在一定時(shí)間內(nèi)完成的科學(xué)技術(shù)研究開(kāi)發(fā)活動(dòng)。國(guó)家科技部、財(cái)政部和發(fā)展改革委于2016年聯(lián)合發(fā)布了《科技評(píng)估工作規(guī)定(試行)辦法》，其中明確了對(duì)科技計(jì)劃項(xiàng)目進(jìn)行績(jī)效評(píng)價(jià)的重要作用，指出績(jī)效評(píng)價(jià)能夠?yàn)榭萍加?jì)劃項(xiàng)目的滾動(dòng)實(shí)施、促進(jìn)科研成果的轉(zhuǎn)化和應(yīng)用、完善科技管理的追蹤問(wèn)責(zé)提供有力依據(jù)。對(duì)科技計(jì)劃項(xiàng)目績(jī)效進(jìn)行評(píng)價(jià)已成為“十三五”科技體制改革的重要內(nèi)容。

近年來(lái)國(guó)內(nèi)外專(zhuān)家學(xué)者圍繞著科技計(jì)劃項(xiàng)目的管理模式、評(píng)價(jià)方法、信息化等專(zhuān)題進(jìn)行了大量研究，也獲得了頗為豐碩的成果，[1-3]如在管理模式方面提出了知識(shí)資本管理模式、全過(guò)程管理平臺(tái)模式、項(xiàng)目生命周期管理等模式；在評(píng)價(jià)方法方面提出了同行評(píng)議、權(quán)威決策、行政拍板、層次分析法、目標(biāo)規(guī)劃法等定性或定量方法；在管理信息化方面提出了項(xiàng)目管理信息化、專(zhuān)家管理信息化，以及科研成果管理信息化等觀點(diǎn)。雖然上述成果對(duì)本項(xiàng)研究具有一定的借鑒意義，但是它們更多的是從項(xiàng)目立項(xiàng)和過(guò)程控制層面展開(kāi)的，無(wú)論是在評(píng)價(jià)指標(biāo)選擇方面還是在評(píng)價(jià)方法構(gòu)建方面都不能直接應(yīng)用于解決科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)問(wèn)題。[4]值得慶幸的是，近幾年開(kāi)始有學(xué)者注意到科技計(jì)劃項(xiàng)目的績(jī)效評(píng)價(jià)問(wèn)題，并從國(guó)家和地方兩個(gè)層面進(jìn)行了一定程度的探討。在國(guó)家層面上，萬(wàn)紅波、康明玉通過(guò)分析國(guó)家科技計(jì)劃項(xiàng)目的特點(diǎn)、對(duì)象和內(nèi)容，從項(xiàng)目投入、過(guò)程、產(chǎn)出、效果等方面建立了適用于國(guó)家科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的指標(biāo)體系；[5]楊道建、趙喜倉(cāng)、陳海波從人員、學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)等方面建立了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系，并指出在評(píng)價(jià)過(guò)程中應(yīng)注意靜態(tài)評(píng)價(jià)與動(dòng)態(tài)評(píng)價(jià)相結(jié)合以及建立有效反饋機(jī)制等問(wèn)題；[6]宋東林、付丙海、唐恒基于全生命周期視角從項(xiàng)目的立項(xiàng)、實(shí)施、結(jié)題驗(yàn)收、成果轉(zhuǎn)化四個(gè)階段選取指標(biāo)，建立了開(kāi)展科技計(jì)劃項(xiàng)目過(guò)程管理的評(píng)價(jià)指標(biāo)體系。[7]在地方層面上，王建國(guó)、李海波等從應(yīng)用績(jī)效、研究水平、保障能力等方面探討了用于評(píng)價(jià)山東省軟科學(xué)研究機(jī)構(gòu)運(yùn)行效率的評(píng)價(jià)指標(biāo)體系；[8]高寶森構(gòu)建了適用于內(nèi)蒙古自治區(qū)的科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系及評(píng)價(jià)方法；[9]張小菁將地方科技計(jì)劃項(xiàng)目劃分為技術(shù)開(kāi)發(fā)類(lèi)和科技支撐類(lèi)，并從效益和管理兩個(gè)方面構(gòu)建了績(jī)效評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)模型。[10]

不難發(fā)現(xiàn)，無(wú)論是在國(guó)家層面上還是地方層面上，現(xiàn)有研究成果在科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)方面眾說(shuō)紛紜、尚未形成統(tǒng)一規(guī)范，在評(píng)價(jià)方法上都假設(shè)所構(gòu)建的評(píng)價(jià)指標(biāo)之間相互獨(dú)立、尚未考慮指標(biāo)之間作用關(guān)系對(duì)績(jī)效評(píng)價(jià)結(jié)果的影響問(wèn)題。有鑒于此，本文在提出科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系的基礎(chǔ)上，基于網(wǎng)絡(luò)分析法(Analytic Network Process，ANP)構(gòu)建了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)方法。

二、科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系

考慮到科技計(jì)劃項(xiàng)目的績(jī)效評(píng)價(jià)指標(biāo)既要全面綜合地反映項(xiàng)目整體運(yùn)行情況，發(fā)揮財(cái)政宏觀調(diào)控的導(dǎo)向作用和相關(guān)政策的激勵(lì)作用，又要提升評(píng)價(jià)指標(biāo)的可操作性、降低評(píng)價(jià)成本、提高數(shù)據(jù)的可獲取性。[11-13]正因如此，科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)的選擇要遵循系統(tǒng)性、導(dǎo)向性、可操作性、數(shù)據(jù)易獲性等原則。其中，系統(tǒng)性是指設(shè)置的評(píng)價(jià)指標(biāo)要從不同視角全面而綜合地反映科技計(jì)劃項(xiàng)目績(jī)效的表現(xiàn)情況；導(dǎo)向性是指評(píng)價(jià)指標(biāo)應(yīng)有利于激勵(lì)科技計(jì)劃項(xiàng)目產(chǎn)出與政策導(dǎo)向相符的研究成果；可操作性是指評(píng)價(jià)指標(biāo)應(yīng)簡(jiǎn)單明了、內(nèi)涵清晰并易于開(kāi)展評(píng)價(jià)，數(shù)據(jù)易獲性是指評(píng)價(jià)指標(biāo)能夠在一定程度上對(duì)項(xiàng)目績(jī)效進(jìn)行有效的定量評(píng)價(jià)。[14]遵循上述指標(biāo)識(shí)別原則，在借鑒國(guó)內(nèi)外相關(guān)研究成果的基礎(chǔ)上，從項(xiàng)目執(zhí)行情況、項(xiàng)目取得成果、成果轉(zhuǎn)化應(yīng)用、人才培養(yǎng)情況、應(yīng)用前景情況進(jìn)行科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)。其中，項(xiàng)目執(zhí)行情況評(píng)價(jià)的是與項(xiàng)目立項(xiàng)時(shí)在申請(qǐng)書(shū)或任務(wù)書(shū)中制定的計(jì)劃相比，項(xiàng)目在結(jié)題時(shí)對(duì)該計(jì)劃的執(zhí)行情況；項(xiàng)目取得成果指標(biāo)評(píng)價(jià)的是項(xiàng)目中產(chǎn)出的成果的數(shù)量、質(zhì)量等相關(guān)情況；成果轉(zhuǎn)化應(yīng)用指標(biāo)評(píng)價(jià)的是項(xiàng)目產(chǎn)出成果的轉(zhuǎn)化及應(yīng)用情況；人才培養(yǎng)情況評(píng)價(jià)的是待評(píng)項(xiàng)目在對(duì)中青年學(xué)科帶頭人、出站博士后、畢業(yè)博士，以及畢業(yè)碩士的培養(yǎng)方面的貢獻(xiàn)情況；應(yīng)用前景情況評(píng)價(jià)的是待評(píng)項(xiàng)目產(chǎn)出的成果在各個(gè)方面做出貢獻(xiàn)的程度。在借鑒包括國(guó)家自然科學(xué)基金、國(guó)家社科基金績(jī)效評(píng)價(jià)等在內(nèi)的眾多國(guó)內(nèi)外相關(guān)研究成果的基礎(chǔ)上，[15-17]本文構(gòu)建的科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系具體如表1所示。

表1 科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系

三、考慮指標(biāo)間作用關(guān)系的系統(tǒng)分析結(jié)構(gòu)

科技計(jì)劃項(xiàng)目的績(jī)效評(píng)價(jià)指標(biāo)可以歸類(lèi)為項(xiàng)目執(zhí)行情況、項(xiàng)目取得成果、成果應(yīng)用轉(zhuǎn)化等五個(gè)層面的指標(biāo)集，但這些指標(biāo)集及其所含指標(biāo)之間并不是完全獨(dú)立、互不影響的，而是存在著相互影響和相互作用的關(guān)系。

項(xiàng)目執(zhí)行情況下設(shè)按計(jì)劃執(zhí)行情況與研究目標(biāo)完成情況兩個(gè)二級(jí)指標(biāo)，分別評(píng)價(jià)項(xiàng)目計(jì)劃的完成度與目標(biāo)的完成度。顯然，獲獎(jiǎng)情況、論文與專(zhuān)著、中青年學(xué)術(shù)帶頭人等其他12個(gè)二級(jí)指標(biāo)的預(yù)期目標(biāo)都應(yīng)在項(xiàng)目計(jì)劃書(shū)中有所體現(xiàn)，所以按計(jì)劃執(zhí)行情況與研究目標(biāo)完成情況對(duì)其他12個(gè)二級(jí)指標(biāo)都有影響。

項(xiàng)目取得成果下設(shè)獲獎(jiǎng)情況、論文與專(zhuān)著、學(xué)術(shù)報(bào)告三個(gè)二級(jí)指標(biāo)，主要評(píng)價(jià)項(xiàng)目產(chǎn)出的成果、成果獲獎(jiǎng)，以及因項(xiàng)目參加或舉辦學(xué)術(shù)會(huì)議而作出學(xué)術(shù)報(bào)告的情況。項(xiàng)目在這三方面取得的成果能夠體現(xiàn)項(xiàng)目部分計(jì)劃與目標(biāo)的完成情況，也有助于培養(yǎng)人才，擴(kuò)大成果影響力，促進(jìn)成果應(yīng)用轉(zhuǎn)化，提高項(xiàng)目成果在學(xué)術(shù)、經(jīng)濟(jì)、社會(huì)等方面的貢獻(xiàn)程度。另外，項(xiàng)目獲獎(jiǎng)情況對(duì)作出學(xué)術(shù)報(bào)告具有推動(dòng)作用，論文與專(zhuān)著的產(chǎn)出作為項(xiàng)目獲獎(jiǎng)的依據(jù)之一會(huì)影響項(xiàng)目的獲獎(jiǎng)情況，學(xué)術(shù)報(bào)告的水平也可能會(huì)影響項(xiàng)目獲獎(jiǎng)情況。

成果轉(zhuǎn)化應(yīng)用下設(shè)專(zhuān)利、標(biāo)準(zhǔn)、軟著，技術(shù)轉(zhuǎn)讓、技術(shù)許可，作價(jià)投資、經(jīng)濟(jì)效益三個(gè)二級(jí)指標(biāo)，主要評(píng)價(jià)項(xiàng)目成果向技術(shù)應(yīng)用和經(jīng)濟(jì)效益轉(zhuǎn)化的情況。上述三方面的成果轉(zhuǎn)化應(yīng)用情況作為項(xiàng)目計(jì)劃與目標(biāo)的一部分必然對(duì)項(xiàng)目執(zhí)行情況產(chǎn)生影響，成果轉(zhuǎn)化應(yīng)用情況的好壞作為項(xiàng)目獲獎(jiǎng)的依據(jù)之一對(duì)項(xiàng)目獲獎(jiǎng)情況也有影響，成果轉(zhuǎn)化應(yīng)用的程度對(duì)項(xiàng)目參與人員的科研能力提出了要求，并決定了項(xiàng)目在經(jīng)濟(jì)發(fā)展、社會(huì)建設(shè)方面的貢獻(xiàn)程度。另外，專(zhuān)利、標(biāo)準(zhǔn)、軟著作為技術(shù)或成果的載體影響著技術(shù)轉(zhuǎn)讓、作價(jià)投資等指標(biāo)，并且對(duì)學(xué)術(shù)研究與發(fā)展起到了促進(jìn)作用。

人才培養(yǎng)情況下設(shè)中青年學(xué)科帶頭人、出站博士后與畢業(yè)博士、畢業(yè)碩士三個(gè)二級(jí)指標(biāo)，主要評(píng)價(jià)項(xiàng)目在人才培養(yǎng)方面的貢獻(xiàn)情況。上述三方面的人才作為科技計(jì)劃項(xiàng)目的具體設(shè)計(jì)者與實(shí)施者，會(huì)對(duì)項(xiàng)目的各個(gè)方面都有影響，特別是中青年學(xué)科帶頭人一般會(huì)作為科技計(jì)劃項(xiàng)目組的負(fù)責(zé)人，對(duì)項(xiàng)目任務(wù)的分配、項(xiàng)目成果質(zhì)量的把關(guān)、項(xiàng)目創(chuàng)新性的引導(dǎo)負(fù)主要責(zé)任，從而對(duì)其領(lǐng)導(dǎo)下的博士后、博士、碩士等人才的培養(yǎng)發(fā)揮作用。

應(yīng)用前景情況下設(shè)應(yīng)用于學(xué)術(shù)研究、應(yīng)用于經(jīng)濟(jì)發(fā)展、應(yīng)用于社會(huì)建設(shè)三個(gè)二級(jí)指標(biāo)，主要評(píng)價(jià)項(xiàng)目成果在學(xué)術(shù)、經(jīng)濟(jì)、社會(huì)等方面作出貢獻(xiàn)的程度。項(xiàng)目成果在學(xué)術(shù)、經(jīng)濟(jì)、社會(huì)三個(gè)方面作出貢獻(xiàn)的程度作為項(xiàng)目計(jì)劃和目標(biāo)的一部分對(duì)項(xiàng)目執(zhí)行情況存在影響，這些應(yīng)用前景對(duì)項(xiàng)目取得成果和人才培養(yǎng)起到了一定的引導(dǎo)和促進(jìn)的作用，項(xiàng)目在經(jīng)濟(jì)、社會(huì)方面的貢獻(xiàn)程度對(duì)促進(jìn)成果應(yīng)用、轉(zhuǎn)化為經(jīng)濟(jì)效益也起到了推動(dòng)作用。另外學(xué)術(shù)、經(jīng)濟(jì)、社會(huì)本身是相互作用、相互影響的，所以項(xiàng)目在這三方面作出的貢獻(xiàn)也會(huì)相互影響。

本文根據(jù)上述指標(biāo)間作用關(guān)系構(gòu)建科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的系統(tǒng)分析結(jié)構(gòu)，具體如圖1所示。需要說(shuō)明的是，圖中單向箭頭如“A→B”表示A會(huì)對(duì)B產(chǎn)生影響，弧形箭頭表示指標(biāo)集的內(nèi)部元素之間可能會(huì)相互影響，雙向箭頭代表其連接的兩個(gè)指標(biāo)集之間會(huì)相互影響。

圖1 系統(tǒng)分析結(jié)構(gòu)圖

四、科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)方法步驟

對(duì)于科技計(jì)劃項(xiàng)目績(jī)效的評(píng)價(jià)方法，目前比較具有代表性的是層次分析法、德?tīng)栰撤ā⒅鞒煞址治龇ǖ?，其中影響較大、應(yīng)用最多的是層次分析法(Analytic Hierarchy Process，AHP)。AHP方法的特點(diǎn)是能夠處理社會(huì)經(jīng)濟(jì)系統(tǒng)用數(shù)學(xué)模型無(wú)法進(jìn)行精確描述的復(fù)雜性問(wèn)題，可以將復(fù)雜問(wèn)題按照遞階層次結(jié)構(gòu)分解成若干個(gè)簡(jiǎn)單問(wèn)題，通過(guò)計(jì)算層次單排序和層次總排序?qū)溥x方案的綜合表現(xiàn)進(jìn)行排序。[18]需要注意的是，該方法的使用必須遵從一個(gè)基本前提即評(píng)價(jià)指標(biāo)之間是相互獨(dú)立的，倘若評(píng)價(jià)指標(biāo)之間并非相互獨(dú)立而是存在相互影響關(guān)系時(shí)則不能使用AHP方法進(jìn)行求解。由前文分析可知，科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系中的各項(xiàng)指標(biāo)之間存在如圖1所示的關(guān)聯(lián)影響關(guān)系，顯然無(wú)法滿足指標(biāo)之間相互獨(dú)立的假設(shè)進(jìn)而導(dǎo)致AHP方法無(wú)法解決本文評(píng)價(jià)問(wèn)題。

ANP是Saaty教授于1996年在AHP的基礎(chǔ)上提出的一種新的評(píng)價(jià)方法，能夠基于兩兩比較思想對(duì)具有內(nèi)部依存和反饋效應(yīng)的復(fù)雜結(jié)構(gòu)進(jìn)行分析，并在充分考慮指標(biāo)之間作用影響關(guān)系的條件下求得元素(指標(biāo)或方案)的終極權(quán)重、作出更加科學(xué)的決策。正因如此，本文結(jié)合ANP方法在充分考慮指標(biāo)之間相互作用關(guān)系的基礎(chǔ)上構(gòu)建科技計(jì)劃項(xiàng)目的績(jī)效評(píng)價(jià)方法。[19-22]具體如下：

步驟1：針對(duì)該評(píng)價(jià)問(wèn)題構(gòu)建系統(tǒng)分析結(jié)構(gòu)。將項(xiàng)目執(zhí)行情況(C1)、項(xiàng)目取得成果(C2)、成果應(yīng)用轉(zhuǎn)化(C3)、人才培養(yǎng)情況(C4)、應(yīng)用前景情況(C5)等五項(xiàng)一級(jí)指標(biāo)視為元素集，與上述一級(jí)指標(biāo)對(duì)應(yīng)的二級(jí)指標(biāo)視為各元素集包含的元素，則可以根據(jù)前文對(duì)指標(biāo)之間作用關(guān)系的分析構(gòu)建出如圖1所示的系統(tǒng)分析結(jié)構(gòu)。

步驟2：根據(jù)系統(tǒng)分析結(jié)構(gòu)構(gòu)造超矩陣。由圖1所示的系統(tǒng)分析結(jié)構(gòu)可知，元素集自身內(nèi)部可能存在依存關(guān)系、元素集之間可能存在相互影響關(guān)系。按照ANP方法的基本原理，對(duì)存在內(nèi)部依存關(guān)系的元素集需要構(gòu)造內(nèi)部依存矩陣，對(duì)存在影響關(guān)系的兩個(gè)元素集需要構(gòu)造能夠反映二者之間影響關(guān)系的影響矩陣。無(wú)論是內(nèi)部依存矩陣還是影響矩陣都需要采用1-9標(biāo)度并按照兩兩比較判斷矩陣的原理進(jìn)行構(gòu)造。

對(duì)存在內(nèi)部依存關(guān)系的元素集構(gòu)造內(nèi)部依存矩陣。如：項(xiàng)目取得成果(C2)元素集存在內(nèi)部依存關(guān)系，首先分別以c21、c22、c23中的任意一個(gè)元素作為控制準(zhǔn)則，對(duì)受其影響的另外兩個(gè)元素按照影響程度的相對(duì)大小關(guān)系構(gòu)造判斷矩陣，然后對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，若一致性檢驗(yàn)通過(guò)則該矩陣最大特征根對(duì)應(yīng)的歸一化特征向量即為在相應(yīng)控制準(zhǔn)則下的權(quán)重向量，最后將通過(guò)上述過(guò)程得到的與c21、c22、c23依次對(duì)應(yīng)的權(quán)重向量進(jìn)行組合即可得到C2元素集的內(nèi)部依存矩陣W22。

對(duì)存在影響關(guān)系的兩個(gè)元素集構(gòu)造二者之間的影響矩陣。如：項(xiàng)目執(zhí)行情況(C1)元素集對(duì)項(xiàng)目取得成果(C2)元素集有影響，首先分別以隸屬于C1的元素c11、c12中任意一個(gè)為控制準(zhǔn)則，對(duì)C2中受相應(yīng)準(zhǔn)則影響的元素c21、c22、c23按照被影響程度的相對(duì)大小關(guān)系構(gòu)造判斷矩陣，然后對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，若一致性檢驗(yàn)通過(guò)則該矩陣最大特征根對(duì)應(yīng)的歸一化特征向量即為在相應(yīng)控制準(zhǔn)則下的權(quán)重向量，最后將通過(guò)上述過(guò)程得到的與c11、c12依次對(duì)應(yīng)的權(quán)重向量進(jìn)行組合即可得到元素集C1對(duì)元素集C2作用后的影響矩陣W21。

按照上述過(guò)程，對(duì)圖1中所有存在內(nèi)部依存關(guān)系的元素集構(gòu)造內(nèi)部依存矩陣，對(duì)所有存在影響關(guān)系的元素集構(gòu)造彼此之間的影響矩陣，將構(gòu)造的內(nèi)部依存矩陣和影響矩陣按照式(1)結(jié)構(gòu)進(jìn)行組合，便可得到科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的超矩陣W。

(1)

步驟3：確定元素集權(quán)重矩陣。首先將Ci(i=1,…,5)作為控制準(zhǔn)則，對(duì)元素集C1、C2、C3、C4、C5中受其影響的元素集(因內(nèi)部依存關(guān)系可視為元素集自己對(duì)自己有影響故應(yīng)包含在內(nèi))，按照影響程度的相對(duì)大小關(guān)系構(gòu)造判斷矩陣，然后對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，若一致性檢驗(yàn)通過(guò)則該矩陣最大特征根對(duì)應(yīng)的歸一化特征向量即為在相應(yīng)控制準(zhǔn)則下的各個(gè)元素集的權(quán)重向量，最后將通過(guò)上述過(guò)程得到的與C1、C2、C3、C4、C5依次對(duì)應(yīng)的權(quán)重向量進(jìn)行組合即可得到元素集權(quán)重矩陣B，具體如式(2)所示。

(2)

五、實(shí)證分析

山東省科技計(jì)劃項(xiàng)目包括軟科學(xué)研究計(jì)劃、自然科學(xué)基金、自主創(chuàng)新及成果轉(zhuǎn)化專(zhuān)項(xiàng)、農(nóng)業(yè)科技成果轉(zhuǎn)化專(zhuān)項(xiàng)、重點(diǎn)研發(fā)計(jì)劃等十余類(lèi)項(xiàng)目。在各級(jí)科技管理機(jī)構(gòu)的共同努力下，目前山東省科技計(jì)劃項(xiàng)目已經(jīng)形成了一套比較完善的評(píng)價(jià)體系和評(píng)價(jià)方法。如：《山東省軟科學(xué)研究項(xiàng)目應(yīng)用績(jī)效評(píng)審及后補(bǔ)助辦法》從研究的針對(duì)性、現(xiàn)實(shí)意義、應(yīng)用前景，成果應(yīng)用情況，成果出版、發(fā)表、引用、轉(zhuǎn)載情況，學(xué)術(shù)活動(dòng)、人才培養(yǎng)，獲獎(jiǎng)情況等五個(gè)方面對(duì)軟科學(xué)項(xiàng)目進(jìn)行績(jī)效評(píng)審，規(guī)定由3-5位專(zhuān)家按照A(優(yōu)秀)、B(合格)、C(不合格)三個(gè)等級(jí)確定軟科學(xué)項(xiàng)目績(jī)效評(píng)價(jià)結(jié)果。《山東省自主創(chuàng)新及成果轉(zhuǎn)化專(zhuān)項(xiàng)驗(yàn)收意見(jiàn)》強(qiáng)調(diào)自主創(chuàng)新項(xiàng)目成果的轉(zhuǎn)化情況，其績(jī)效評(píng)價(jià)主要從成果形式及水平、獲獎(jiǎng)情況、研發(fā)人數(shù)、標(biāo)志性技術(shù)、經(jīng)濟(jì)社會(huì)效益、知識(shí)產(chǎn)權(quán)產(chǎn)出、人才與平臺(tái)建設(shè)、產(chǎn)業(yè)與區(qū)域輻射帶動(dòng)作用、自身能力提升共九個(gè)方面進(jìn)行?！渡綎|省自然科學(xué)杰出青年基金管理暫行辦法》中規(guī)定獲資助者結(jié)題時(shí)需在論文、專(zhuān)著、人才項(xiàng)目、科技獲獎(jiǎng)方面達(dá)到事先設(shè)定的目標(biāo)，績(jī)效評(píng)價(jià)重點(diǎn)在項(xiàng)目、論文、專(zhuān)著等科研成果方面。《山東省農(nóng)業(yè)良種工程績(jī)效考評(píng)辦法》則從科研業(yè)績(jī)、課題組組織管理、財(cái)政資金使用管理共三個(gè)方面對(duì)農(nóng)業(yè)良種工程項(xiàng)目進(jìn)行績(jī)效評(píng)價(jià)，規(guī)定課題組績(jī)效得分=科研業(yè)績(jī)×50%+組織管理×25%+資金使用×25%，其中的科研業(yè)績(jī)采取目標(biāo)任務(wù)與定量打分相結(jié)合的方式進(jìn)行評(píng)價(jià)。

山東省科技計(jì)劃項(xiàng)目自實(shí)施以來(lái)對(duì)支撐山東省經(jīng)濟(jì)騰飛起到了重要作用，但也在績(jī)效評(píng)價(jià)過(guò)程中暴露出了評(píng)價(jià)指標(biāo)不統(tǒng)一、指標(biāo)權(quán)重不合理等問(wèn)題。為了解決上述問(wèn)題，山東省科技廳在軟科學(xué)研究計(jì)劃申報(bào)指南中發(fā)布了“山東省科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)研究”的重點(diǎn)項(xiàng)目需求，我們有幸申報(bào)并獲批了此項(xiàng)目。為此，本文以其中的軟科學(xué)研究計(jì)劃項(xiàng)目為例，利用本文構(gòu)建的指標(biāo)體系和評(píng)價(jià)方法開(kāi)展模擬評(píng)價(jià)。具體過(guò)程如下：在項(xiàng)目研究的過(guò)程中邀請(qǐng)了四位曾經(jīng)參與山東省軟科學(xué)項(xiàng)目評(píng)審的同行專(zhuān)家，請(qǐng)他們依據(jù)圖1所示的系統(tǒng)分析結(jié)構(gòu)，遵循前文方法的步驟2和步驟3在相互研討的基礎(chǔ)上共同構(gòu)造出超矩陣和元素集權(quán)重矩陣。根據(jù)他們給出的結(jié)果，按照方法步驟4計(jì)算了如表2所示的加權(quán)超矩陣。利用Super decisions軟件對(duì)加權(quán)超矩陣進(jìn)行極限求解，得到了如表3所示的能夠反映指標(biāo)之間作用影響關(guān)系的最終權(quán)重。

表2 加權(quán)超矩陣

表3 山東省軟科學(xué)研究項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)權(quán)重

表4 評(píng)審專(zhuān)家對(duì)待評(píng)項(xiàng)目的評(píng)分

六、結(jié)束語(yǔ)

為了解決科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)在指標(biāo)體系上尚未形成統(tǒng)一規(guī)范、在評(píng)價(jià)方法上尚未考慮指標(biāo)之間作用關(guān)系對(duì)績(jī)效評(píng)價(jià)結(jié)果影響的問(wèn)題，本文首先遵循系統(tǒng)性、導(dǎo)向性、可操作性、數(shù)據(jù)易獲性等原則，在參照相關(guān)研究成果的基礎(chǔ)上從項(xiàng)目執(zhí)行情況、項(xiàng)目取得成果、成果轉(zhuǎn)化應(yīng)用、人才培養(yǎng)情況、應(yīng)用前景情況等方面構(gòu)建了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系，然后通過(guò)分析指標(biāo)之間的相互作用關(guān)系提出了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的系統(tǒng)分析結(jié)構(gòu)，在此基礎(chǔ)上采用能夠?qū)哂袃?nèi)部依存和反饋效應(yīng)的復(fù)雜結(jié)構(gòu)進(jìn)行系統(tǒng)評(píng)價(jià)的ANP方法給出了科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)的方法步驟，最后以山東省科技計(jì)劃項(xiàng)目為例進(jìn)行案例分析演示了應(yīng)用方法進(jìn)行實(shí)例評(píng)價(jià)的具體操作過(guò)程。本文的特色之處在于：一是所構(gòu)建的科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系借鑒了包括國(guó)家自然科學(xué)基金、國(guó)家社科基金績(jī)效評(píng)價(jià)等在內(nèi)的眾多國(guó)內(nèi)外相關(guān)研究成果，能夠較為系統(tǒng)全面地反映科技計(jì)劃項(xiàng)目取得的績(jī)效情況。二是所提出的科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)方法突破了傳統(tǒng)方法要求指標(biāo)之間相互獨(dú)立的條件限制，能夠在考慮指標(biāo)之間相互作用關(guān)系的基礎(chǔ)上對(duì)科技計(jì)劃項(xiàng)目績(jī)效進(jìn)行更加科學(xué)的評(píng)價(jià)。需要說(shuō)明的是，在以山東省科技計(jì)劃項(xiàng)目為例進(jìn)行案例分析時(shí)由專(zhuān)家分析獲取的指標(biāo)權(quán)重僅適用于山東省軟科學(xué)研究項(xiàng)目，而對(duì)于其他類(lèi)型的科技計(jì)劃項(xiàng)目可以結(jié)合項(xiàng)目類(lèi)別特征參照本文方法予以確定。

[1] 宋東林, 葛蘇行. 我國(guó)科技計(jì)劃項(xiàng)目全生命周期過(guò)程管理模式研究[J]. 科學(xué)管理研究, 2010，(02):46-49.

[2] 林成剛, 黃春榮, 謝剛, 等. 科技計(jì)劃項(xiàng)目的定量評(píng)價(jià)方法優(yōu)化探討[J]. 軟科學(xué), 2012，(07):52-53.

[3] 蔡桂蘭, 陳麗麗. 省級(jí)科技計(jì)劃項(xiàng)目變更信息化管理中遇到問(wèn)題及對(duì)策研究[J]. 科技管理研究, 2016，(22):46-50.

[4] 張晨, 宋佳寧, 任文茜. 省級(jí)科技計(jì)劃項(xiàng)目管理的后評(píng)估研究——以安徽為例[J]. 科技管理研究, 2015，(22):172-175.

[5] 萬(wàn)紅波, 康明玉. 國(guó)家科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系研究[J]. 社會(huì)科學(xué)管理與評(píng)論, 2013，(02):78-82.

[6] 楊道建, 趙喜倉(cāng), 陳海波. 科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系的構(gòu)建[J]. 江蘇大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版), 2007，(02):89-92.

[7] 宋東林, 付丙海, 唐恒. 基于全生命周期的科技計(jì)劃項(xiàng)目過(guò)程管理評(píng)價(jià)體系構(gòu)建[J]. 科學(xué)管理研究, 2011,29(01):32-36.

[8] 王建國(guó), 李海波, 丁其濤, 等. 中國(guó)軟科學(xué)研究機(jī)構(gòu)評(píng)估指標(biāo)體系構(gòu)建探討[J]. 科技管理研究, 2013,33(9):71-75.

[9] 高寶森. 內(nèi)蒙古自治區(qū)財(cái)政科技項(xiàng)目支出績(jī)效評(píng)價(jià)研究[J]. 科學(xué)管理研究, 2012，(05):101-104.

[10] 張小菁. 地方科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)研究[J]. 科技管理研究, 2010，(21):201-204.

[11] 李寅秋, 孫洪武. 國(guó)際先進(jìn)農(nóng)業(yè)科技引進(jìn)類(lèi)項(xiàng)目評(píng)價(jià)的思考[J]. 科研管理, 2013，(S1):78-83.

[12] 張軍果, 任浩, 謝福泉. 項(xiàng)目后評(píng)價(jià)視角下的財(cái)政科技項(xiàng)目績(jī)效評(píng)估體系研究[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2007，(02):14-20.

[13] 田時(shí)中, 田淑英, 錢(qián)海燕. 財(cái)政科技支出項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系及方法[J]. 科研管理, 2015，(S1):365-370.

[14] 施筱勇, 云楊, 計(jì)遲, 等. 科技項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)體系研究[J]. 科技管理研究, 2016，(10):39-43, 49.

[15] 劉華海. 科研項(xiàng)目績(jī)效評(píng)價(jià)模型和指標(biāo)體系的構(gòu)建[J]. 科研管理, 2016，(S1):19-24.

[16] 魏闕, 戴磊. 吉林省區(qū)域創(chuàng)新能力評(píng)價(jià)指標(biāo)體系研究[J]. 科研管理, 2015，(S1):22-28.

[17] 駱嘉琪, 匡海波. 高?？萍紕?chuàng)新團(tuán)隊(duì)科研資源績(jī)效評(píng)價(jià)指標(biāo)體系[J]. 科研管理, 2015，(S1):116-121.

[18] 劉惠萍. 基于網(wǎng)絡(luò)層次分析法(ANP)的政府績(jī)效評(píng)估研究[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2006，(06):111-115.

[19] Chemweno P, Pintelon L, Van Horenbeek A, et al. Development of a risk assessment selection methodology for asset maintenance decision making: An analytic network process (ANP) approach[J]. International Journal of Production Economics, 2015,170, Part B:663-676.

[20] Lee J W, Kim S H. An integrated approach for interdependent information system project selection[J]. International Journal of Project Management, 2001,19(2):111-118.

[21] 杜元偉, 段萬(wàn)春, 孫永河. 基于網(wǎng)絡(luò)分析法的企業(yè)節(jié)能減排績(jī)效評(píng)價(jià)方法[J]. 經(jīng)濟(jì)問(wèn)題探索, 2012，(01):175-179.

[22] 田波, 李春好, 孫永河. 網(wǎng)絡(luò)分析法在選擇企業(yè)創(chuàng)新合作成員中的應(yīng)用[J]. 情報(bào)科學(xué), 2008，(08):1257-1260.

責(zé)任編輯：王明舜

Performance Evaluation Method of Science and Technology Plan Project Based on ANP

Du Yuanwei Wang Susu Yang Ning

(College of Management, Ocean University of China, Qingdao 266100, China)

There are two kinds of problems that a unified evaluation index system hasn't been formed and the effect on performance evaluation results by the relationship among indicators hasn't been considered in current performance evaluation method of the science and technology (S&T) plan project. In order to solve the abovementioned problems, the principles such as systematization, orientation, operability and data availability are used to construct the performance evaluation index system from the aspects of implementation, achievement, result transformation and application, talents cultivation, application prospect. Then, a system analysis structure for evaluating performances of S&T plan project is put forward by analyzing the interaction among indicators, based on which the steps of the performance evaluation method are given by using analytic network process. Finally, a case study of S&T plan project in Shandong province is taken as an example to detailedly demonstrate the operation procedure of the application method, and the performance ranking of case projects is obtained.

Science and technology plan project; performance evaluation method; analytic network process; evaluation index system

2017-05-10

國(guó)家自然科學(xué)基金項(xiàng)目“大規(guī)模協(xié)作模式下產(chǎn)品動(dòng)態(tài)連續(xù)創(chuàng)新決策方法：基于大數(shù)據(jù)驅(qū)動(dòng)視角”(71462022)；山東省軟科學(xué)研究計(jì)劃重點(diǎn)項(xiàng)目“山東省科技計(jì)劃項(xiàng)目績(jī)效評(píng)價(jià)研究”(2016RZE29001)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)“透明海洋驅(qū)動(dòng)下海洋管理模式與評(píng)價(jià)方法研究”(201762026)

杜元偉(1981- )，男，吉林白山人, 中國(guó)海洋大學(xué)管理學(xué)院教授，博士生導(dǎo)師，主要從事海洋管理、決策分析等研究。

G311

A

1672-335X(2017)04-0027-07