金勁松，汪志波，邱紀(jì)青，鄭路，金保鋒，鄭新章

1廣東中煙工業(yè)有限責(zé)任公司技術(shù)中心，廣東 廣州 510145；2中國煙草科技信息中心，河南 鄭州 450001

科技項目后評價，是指科技項目實施完成一段時間后，對項目的研究目標(biāo)、實施過程、效益、作用和影響所進(jìn)行的系統(tǒng)的、客觀的綜合分析和研究總結(jié)的一種方法。煙草科技項目在行業(yè)科技資源配置中占較大的份額，是行業(yè)科技自主創(chuàng)新的最直接載體，也是行業(yè)科技創(chuàng)新活動的最主要組織實施方式。項目的選題立項、組織實施及最終成果應(yīng)用直接影響和推動著行業(yè)科學(xué)技術(shù)進(jìn)步及經(jīng)濟(jì)社會效益的提高，特別是一些重點科技項目的組織管理、目標(biāo)實現(xiàn)程度、產(chǎn)生影響和效益已成為行業(yè)關(guān)注的焦點。盡管煙草科技項目與其他類科技項目相比，具有明顯的共性，但也有一些特殊性，即煙草科技項目是以應(yīng)用研究為目標(biāo)的，更注重成果的轉(zhuǎn)化應(yīng)用，且煙草科技項目的類別也多。進(jìn)行科技項目后評價，總結(jié)和吸取項目選題立項、組織實施以及成果應(yīng)用推廣過程中的經(jīng)驗教訓(xùn)，通過及時有效的反饋機制，一方面為科技項目今后的改進(jìn)與發(fā)展提出合理建議，促進(jìn)項目成果的轉(zhuǎn)化；另一方面有利于為煙草行業(yè)科技項目的決策、管理水平提高。有鑒于此，本文以煙草行業(yè)技術(shù)開發(fā)類科技重點項目為例，設(shè)計了后評價指標(biāo)體系，以期為行業(yè)科技項目后評價工作的開展提供借鑒。

1 相關(guān)文獻(xiàn)綜述

在科技項目后評價領(lǐng)域，國內(nèi)有關(guān)學(xué)者開展了初步研究。劉冰等[1]從產(chǎn)業(yè)鏈的角度，對國家技術(shù)創(chuàng)新項目產(chǎn)生的經(jīng)濟(jì)影響進(jìn)行了后評價研究，內(nèi)容涉及評價內(nèi)容、時間、范圍、方法、指標(biāo)等。張軍果等[2]從科技投入產(chǎn)出角度，構(gòu)建了財政科技項目的績效評估體系，并計算了科技項目的投入與科技直接產(chǎn)出、經(jīng)濟(jì)效益和社會效益等之間的投入產(chǎn)出比。劉云俠等[3]從社會發(fā)展科技項目特點著手，就技術(shù)指標(biāo)、經(jīng)濟(jì)效益、環(huán)境效益、社會發(fā)展、財務(wù)指標(biāo)

等評價內(nèi)容研究建立了后評估指標(biāo)體系。雷孝平等[4]針對科技計劃項目的專利產(chǎn)出，設(shè)計了后評估指標(biāo)體系。楊道建等[5]從人員、學(xué)術(shù)、社會和經(jīng)濟(jì)績效等方面建立了科技計劃項目的績效評價指標(biāo)體系。徐溪虹等[6]研究了安徽省省級自然科學(xué)基金項目后評價的特點及存在的問題，從學(xué)術(shù)成果、獎勵和專利、人才培養(yǎng)、誘發(fā)項目等角度研究了后評價指標(biāo)體系。周寄中等[7]對國家自然科學(xué)基金委員會管理科學(xué)部自1998年以來所資助的面上項目在結(jié)題后進(jìn)行了后評估研究，其建立的一級評價指標(biāo)分別是報告著作、學(xué)術(shù)創(chuàng)新、政策建議、效益水平、國際交流、人才培養(yǎng)等。肖人毅[8]以項目研究水平、項目研究成果及項目管理等為主要評價內(nèi)容對國家自然科學(xué)基金資助項目進(jìn)行了后評價研究。

通過以上文獻(xiàn)研究分析表明，完全針對科技項目后評價的研究工作開展較少，缺乏系統(tǒng)性。主要問題在于：（1）科技項目的后評價過多集中、局限于對科技項目的論文、論著、專利、獎勵等直接產(chǎn)出成果的量化評價，對國家、行業(yè)、學(xué)科發(fā)展等方面的影響和效果的評價不夠；（2）忽視科技項目的中長期影響，對科技項目的評價缺乏長效跟蹤機制，尤其是項目實施對承擔(dān)單位的能力提升、人才培養(yǎng)、企業(yè)和行業(yè)技術(shù)體系建設(shè)等中長期效益的重視程度不夠；（3）導(dǎo)向性不明顯，沒有充分體現(xiàn)評價與行業(yè)科技戰(zhàn)略目標(biāo)結(jié)合起來、體現(xiàn)科技政策的一致性，評價不能切實地為行業(yè)科技政策及科技戰(zhàn)略的實現(xiàn)提供有效而長遠(yuǎn)的指導(dǎo)。（4）缺乏對科技計劃項目全生命周期過程的深入研究，對科技項目的可持續(xù)性以及成果的轉(zhuǎn)化、推廣等環(huán)節(jié)存在比較薄弱和欠缺的地方。

2 科技項目全生命周期后評價概念模型

2.1 科技項目全生命周期的階段劃分

科技項目全生命周期一般劃分為五個階段：啟動、論證、實施、驗收、應(yīng)用。從識別需求、產(chǎn)生創(chuàng)新構(gòu)思開始，進(jìn)入項目選題、研究解決方案、項目論證、立項、實施、完成、轉(zhuǎn)化應(yīng)用稱為科技項目的全生命周期過程[10-11]，在全生命周期的每一階段進(jìn)行技術(shù)、知識、人才、資金、信息、時間、管理等資源要素的持續(xù)投入和耗用，保障項目按預(yù)期計劃進(jìn)行，實現(xiàn)預(yù)期研究目標(biāo)。

（1）啟動階段

作為項目下達(dá)方的中國煙草總公司科技主管部門主要針對項目產(chǎn)生階段，通過實施技術(shù)預(yù)見，了解煙草科技發(fā)展趨勢，進(jìn)行技術(shù)需求分析和識別，確定當(dāng)年資助的重點領(lǐng)域和優(yōu)先主題，然后編制與發(fā)布煙草科技項目申報指南。

（2）論證階段

煙草行業(yè)各直屬企業(yè)作為項目申報單位，成立項目團(tuán)隊，來開展具體的項目申報工作。項目團(tuán)隊找準(zhǔn)技術(shù)問題，確定項目選題，設(shè)計研究方法和技術(shù)路線，及實現(xiàn)研究目標(biāo)所需要的資源需求，撰寫項目申報書，提交項目團(tuán)隊所在單位的科技管理部門。項目下達(dá)方組織專家構(gòu)成評審主體，評審主體就項目申報書的研究內(nèi)容、研究目標(biāo)、研究思路、研究方法、技術(shù)路線、技術(shù)經(jīng)濟(jì)指標(biāo)及可行性分析報告，結(jié)合項目申報單位的研究基礎(chǔ)、技術(shù)積累，對預(yù)選項目進(jìn)行篩選。

（3）實施階段

在項目成功立項后進(jìn)入項目實施階段，項目團(tuán)隊對項目主要研究內(nèi)容進(jìn)行分解，確定各階段主要工作任務(wù)及其優(yōu)先順序，在項目進(jìn)度、人員配置、經(jīng)費使用、階段性目標(biāo)設(shè)定等方面進(jìn)行系統(tǒng)規(guī)劃，按照項目的實施方案，執(zhí)行研究內(nèi)容，確保項目在時間、經(jīng)費約束下的各階段主要研究內(nèi)容和目標(biāo)的實現(xiàn)。同時，在研究過程中，項目組根據(jù)條件和環(huán)境變化，對項目主要研究內(nèi)容、研究目標(biāo)、技術(shù)經(jīng)濟(jì)指標(biāo)、經(jīng)費、人員等進(jìn)行必要合理的調(diào)整。

(4)項目驗收

項目負(fù)責(zé)人在規(guī)定時間內(nèi)提出申請，由各直屬企業(yè)科技管理部門組織專家小組進(jìn)行驗收和評審，對項目的主要研究內(nèi)容完成情況、技術(shù)經(jīng)濟(jì)指標(biāo)實現(xiàn)程度，研究目標(biāo)的實現(xiàn)程度，項目經(jīng)費使用的合理性，研究質(zhì)量等進(jìn)行績效評價和整體評價，提出修改的意見和建議，以便于項目的持續(xù)改進(jìn)提高。

（5）應(yīng)用階段

應(yīng)用推廣是項目目標(biāo)最終能否實現(xiàn)的關(guān)鍵階段，項目實施完成之后，結(jié)合評審專家意見和建議，一方面，對成果技術(shù)、知識進(jìn)行結(jié)構(gòu)化、體系化的梳理和凝練，另一方面，進(jìn)行項目成果的配套投入，促進(jìn)成果的轉(zhuǎn)化、應(yīng)用與推廣，產(chǎn)生預(yù)期的效果、效益。

2.2 科技項目全生命周期的后評價概念模型

貫穿于整個項目生命周期的利益相關(guān)主體涉及項目下達(dá)、項目監(jiān)督管理、研發(fā)團(tuán)隊和成果轉(zhuǎn)化應(yīng)用單位等，各類主體在項目生命周期的各個階段輪流扮演著不同的角色，分別進(jìn)行計劃管理、項目實施、監(jiān)督控制、配套投入等四個相對獨立的活動，這些主體和活動在科技計劃項目的項目啟動、評審論證、項目執(zhí)行、轉(zhuǎn)化應(yīng)用等不同階段的作用和形式各有側(cè)重，推動科技計劃的目標(biāo)實現(xiàn)。根據(jù)每一階段的特點和主要任務(wù)，構(gòu)建了科技項目后評價概念模型，如圖1所示。

圖1 科技項目全生命周期的后評價概念模型

在項目全生命周期過程中，各個主體在不同階段發(fā)揮不同的作用。項目下達(dá)單位發(fā)揮項目下達(dá)主體的組織、引導(dǎo)及選擇職能，提供研發(fā)經(jīng)費等。在實施階段，項目承擔(dān)單位負(fù)責(zé)對項目實施過程中的研究進(jìn)度、經(jīng)費使用、階段性目標(biāo)、代表性成果進(jìn)行監(jiān)督管理，以保障科研主體的研發(fā)活動順利推進(jìn)，確保在規(guī)定的經(jīng)費投入和時間范圍內(nèi)達(dá)到預(yù)定目標(biāo)。項目團(tuán)隊一方面具體負(fù)責(zé)項目的研究過程，另一方面，根據(jù)內(nèi)部環(huán)境（如新知識、新成果、新技術(shù)的出現(xiàn)、人員變動等）和外部環(huán)境（如產(chǎn)業(yè)政策、社會環(huán)境，階段性創(chuàng)新重點領(lǐng)域、方向的調(diào)整等）變化的情況，適當(dāng)調(diào)整項目預(yù)定目標(biāo)和主要研究內(nèi)容，以確保項目研究及成果的價值和意義。項目完成后，成果轉(zhuǎn)化應(yīng)用單位進(jìn)行配套投入，使研究成果應(yīng)用于生產(chǎn)、科研實踐，發(fā)揮項目的價值，實現(xiàn)項目的研究目標(biāo)。

3 煙草科技項目后評價指標(biāo)體系的構(gòu)建

3.1 煙草科技項目后評價指標(biāo)體系設(shè)計原則

煙草科技項目后評價的目的和作用決定了煙草科技項目后評價的價值取向，即應(yīng)能監(jiān)測煙草科技項目的影響、效益、目標(biāo)實現(xiàn)程度、轉(zhuǎn)化應(yīng)用、可持續(xù)現(xiàn)狀，發(fā)現(xiàn)項目的選題、決策、實施過程中存在的問題，引導(dǎo)煙草企業(yè)完善科技項目管理、提高項目研究質(zhì)量。在設(shè)計后評價指標(biāo)體系時應(yīng)遵循以下原則。

（1）科學(xué)性與實用性原則。是指后評價指標(biāo)體要反映科技項目的本質(zhì)特征和科技項目后評價的內(nèi)涵，評價指標(biāo)的選擇要能夠客觀全面地反映、分析、診斷煙草科技項目全生命周期的總體情況和存在的問題。

（2）系統(tǒng)性與層次性原則。評價指標(biāo)體系是對評價要素進(jìn)行客觀描述的若干子系統(tǒng)集成，指標(biāo)要具有層次性，上層級與下層級指標(biāo)具有隸屬關(guān)系，同層級指標(biāo)之間相對獨立。

（3）完備性與精簡性原則?？萍柬椖亢笤u價包含眾多要素，涉及多個層面和維度，既要有完備性也要有精簡性，通過評價對科技項目有一個整體、全面的了解和判斷。

（4）激勵性與導(dǎo)向性原則。后評價指標(biāo)應(yīng)該充分體現(xiàn)煙草行業(yè)科技發(fā)展戰(zhàn)略、重點領(lǐng)域和方向的要求，具有引導(dǎo)行業(yè)科技項目管理工作向規(guī)范化方向發(fā)展的功能。

3.2 煙草行業(yè)技術(shù)開發(fā)類科技重點項目的特點

煙草行業(yè)技術(shù)開發(fā)類項目一般以共性技術(shù)為研究對象，目標(biāo)是解決煙草行業(yè)經(jīng)濟(jì)發(fā)展和技術(shù)進(jìn)步中出現(xiàn)的實際技術(shù)問題和技術(shù)需求，此類科技項目在戰(zhàn)略、集成、規(guī)模、影響等方面具有如下特點。

（1）戰(zhàn)略性強。煙草行業(yè)科技重點以科技活動上游和重大戰(zhàn)略需求的研究為主，側(cè)重于從行業(yè)全局、前瞻、長遠(yuǎn)的角度來制訂計劃，體現(xiàn)煙草行業(yè)整體的科技發(fā)展戰(zhàn)略意圖和意志。

（2）集成度高。煙草行業(yè)科技重點項目的集成特點主要表現(xiàn)為技術(shù)路線結(jié)構(gòu)復(fù)雜、研究過程層次多、研究內(nèi)容的綜合性強，涉及不同的學(xué)科領(lǐng)域、學(xué)科跨度較大。

（3）規(guī)模較大。煙草行業(yè)科技重點項目偏重于大型計劃項目，項目體量大、投入經(jīng)費額大、實施周期長，參與單位多、組織管理體系復(fù)雜。

（4）影響較大。煙草行業(yè)科技重點項目一般以著力解決制約行業(yè)發(fā)展的技術(shù)瓶頸等關(guān)鍵問題為主，以形成具有自主知識產(chǎn)權(quán)的核心技術(shù)和產(chǎn)生重要標(biāo)志性的技術(shù)成果為主要目標(biāo)，項目成果應(yīng)用推廣對推動行業(yè)科技進(jìn)步作用明顯。

（5）公共品屬性強。煙草行業(yè)科技重點項目一般不針對企業(yè)特定的技術(shù)需求，以共性和應(yīng)用基礎(chǔ)等行業(yè)關(guān)鍵節(jié)點技術(shù)創(chuàng)新為主，創(chuàng)新的外部溢出效應(yīng)強，具有技術(shù)公共品和基礎(chǔ)性物質(zhì)的特點。

（6）帶動性強。煙草行業(yè)科技主管部門通過引導(dǎo)行業(yè)創(chuàng)新資源向重大問題和關(guān)鍵科技領(lǐng)域聚焦，形成一系列具體的科技項目，然后帶動煙草行業(yè)內(nèi)各企業(yè)自主設(shè)立一系列衍生項目的研究開發(fā)，以促進(jìn)行業(yè)技術(shù)體系的建設(shè)和完善。

3.3 煙草行業(yè)技術(shù)開發(fā)類科技重點項目后評價指標(biāo)體系設(shè)計

煙草行業(yè)科技項目后評價指標(biāo)體系，既要反映科技項目本身的資源投入、實施過程、項目產(chǎn)出、技術(shù)水平等要素，也要體現(xiàn)科技項目目標(biāo)實現(xiàn)、影響等戰(zhàn)略層面的作用和意義。如圖2所示，從項目績效和組織管理兩個方面設(shè)計的評價指標(biāo)體系模型。

針對煙草行業(yè)技術(shù)開發(fā)類項目特點，基于科技項目全生命周期后評價概念模型和后評價指標(biāo)體系模型，結(jié)合后評價指標(biāo)體系的設(shè)計原則，建立初步的指標(biāo)體系。組織來自于行業(yè)內(nèi)外中煙工業(yè)企業(yè)、科研院所的科技項目管理、技術(shù)開發(fā)和成果推廣等人員進(jìn)行研討，結(jié)合專家意見和建議，最終設(shè)計了基于全生命周期的科技項目后評價指標(biāo)體系，如表1所示。

圖2 科技項目后評價指標(biāo)體系模型

表1 科技項目后評價指標(biāo)體系與指標(biāo)內(nèi)涵

續(xù)表1

4 煙草科技項目后評價指標(biāo)的權(quán)重和定量處理

采用層次分析法來確定指標(biāo)權(quán)重。具體計算過程如下[12]：按指標(biāo)體系中所確定的層次結(jié)構(gòu)從最高層次指標(biāo)開始建立兩兩比較判斷矩陣；將判斷矩陣兩兩比較的重要性結(jié)果量化，給判斷矩陣賦值；采用方根法計算各指標(biāo)的權(quán)重，并進(jìn)行一致性檢驗，形成每個判斷矩陣各自相對的權(quán)重；與上層指標(biāo)相對權(quán)重相乘，得到每個指標(biāo)的絕對權(quán)重。

科技項目后評價指標(biāo)體系中的定性指標(biāo)，需要進(jìn)行定量化處理，評價結(jié)果的統(tǒng)計才能夠更準(zhǔn)確。通常采用格柵獲取法對定性指標(biāo)進(jìn)行定量化處理。格柵獲取法是凱勒（kelly）1955年提出的個人結(jié)構(gòu)理論（Personal Construct Theory）中一個判別思考模型。一個格柵（Grid）是由元素（Element）和屬性（Attribute）組成，每一個元素都可以被屬性的一極或另一極描述。一個元素的屬性可以用一個線性的尺度來表述，比如，利用格柵獲取法的1～5刻度的尺度，評價等級的1、2、3、4、5分別表示評價對象所列指標(biāo)的優(yōu)秀、良好、一般、次差、最差五個等級，評價指標(biāo)體系指標(biāo)一般可采用百分制，對各指標(biāo)的測評分為5個等級，其中90～100分為優(yōu)，75～89分為良，60～74分為中，40～59分為較差，0～39分為差。

對科技項目后評價指標(biāo)體系中各指標(biāo)進(jìn)行定量化處理。聘請包括技術(shù)研發(fā)、項目管理、成果推廣等方面的專家組成評審委員會對擬進(jìn)行后評價的科技項目進(jìn)行測評。其一般程序是：在調(diào)研、討論和熟悉科技項目總體情況的基礎(chǔ)上，每位評委根據(jù)評價指標(biāo)體系給各項指標(biāo)打分，然后，根據(jù)評委對各指標(biāo)的打分，把專家對各指標(biāo)的打分乘以對應(yīng)的權(quán)重，就可計算出某一科技項目的各一級指標(biāo)及最終評價得分。

[1] 劉冰,陳治亞.基于產(chǎn)業(yè)鏈理論的國家技術(shù)創(chuàng)新項目經(jīng)濟(jì)影響后評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,(6):67-71.

[2]張軍果,任浩,謝福泉.項目后評價視角下的財政科技項目績效評估體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,(2):14-19.

[3]劉云俠,樊一陽.社會發(fā)展科技項目后評估研究[J].中國科技論壇,2007,(1):30-33.

[4]雷孝平.朱東華,周春娜.科技計劃項目后評估中的專利評價方法研究[J].科學(xué)學(xué)研究,2008,26(3):573-577.

[5]楊道建,趙喜倉,陳海波.科技計劃項目績效評價指標(biāo)體系的構(gòu)建[J].江蘇大學(xué)學(xué)報:社會科學(xué)版,2007,(2):89-92.

[6]徐溪虹,龔芳,李興國.安徽省自然科學(xué)基金項目后評價研究[J].安徽建筑工業(yè)學(xué)院學(xué)報:自然科學(xué)版,2008,16(2):69-73.

[7]周寄中,楊列勛,許治.關(guān)于國家自然科學(xué)基金管理科學(xué)部資助項目后評估的研究[J].管理評論,2007,19(3):13-19.

[8]肖人毅.基于網(wǎng)絡(luò)分析法的國家自然科學(xué)基金資助項目后評價研究[J].中國科學(xué)基金,2008,(5):312-315.

[10]王明明,魏婷.國家科技支撐計劃項目后評價研究[J].科技進(jìn)步與對策,2009,26(18):97-100

[11]宋東林,付丙海,唐恒.基于全生命周期的科技計劃項目過程管理評價體系構(gòu)建[J].科學(xué)管理研究,2011,29(1):32-36.

[12]杜棟,龐慶華,吳炎.現(xiàn)代綜合評價方法與案例精選[M].2版.北京:清華大學(xué)出版社,2008.