劉愛霞，鄒立堯，張文云，李 磊

0 引言

近幾年來(lái)，氣象行業(yè)在科學(xué)技術(shù)的投入呈現(xiàn)出項(xiàng)目多、經(jīng)費(fèi)多、類型多的特點(diǎn)，并產(chǎn)生了一定數(shù)量的具有國(guó)內(nèi)外領(lǐng)先水平的科技成果。面對(duì)前所未有的科技資源投入，氣象科技管理工作在手段、方式、程序、流程和內(nèi)容等諸多方面不能滿足需求，“管理出效益”的作用尚未充分體現(xiàn)，而且衡量氣象科技成果的社會(huì)承認(rèn)及其產(chǎn)生的經(jīng)濟(jì)效益方面尚未建立科學(xué)的評(píng)價(jià)機(jī)制和方法。而國(guó)內(nèi)許多部門和行業(yè)已建立了符合現(xiàn)代科學(xué)技術(shù)活動(dòng)規(guī)律和特點(diǎn)的科技項(xiàng)目管理系統(tǒng)。這些系統(tǒng)對(duì)完善科研管理流程，強(qiáng)化科技項(xiàng)目管理，規(guī)范科研活動(dòng)，提高管理效率，公正評(píng)價(jià)科技成果，促進(jìn)成果應(yīng)用發(fā)揮了積極的作用。為了進(jìn)一步提高氣象科技管理水平和管理效率，規(guī)范科技活動(dòng)，提高公共財(cái)政的使用效益，促進(jìn)科技項(xiàng)目成果應(yīng)用，有必要建立一套管理科學(xué)、交流順暢、評(píng)價(jià)客觀且可為氣象科技發(fā)展提供依據(jù)的氣象科技項(xiàng)目應(yīng)用效益評(píng)估系統(tǒng)。

對(duì)于指標(biāo)的測(cè)量，本研究創(chuàng)新性地將人力資源評(píng)估中的等級(jí)錨定法引入項(xiàng)目評(píng)估中，不僅解決了不同量綱的指標(biāo)的標(biāo)準(zhǔn)化，同時(shí)使定性指標(biāo)的量化更為科學(xué)。

1 評(píng)估指標(biāo)以及效度分析

對(duì)于評(píng)估指標(biāo)通常是通過借鑒已有的指標(biāo)并在此基礎(chǔ)上結(jié)合實(shí)際情況發(fā)展新指標(biāo)。課題組在閱讀和分析相關(guān)資料、文獻(xiàn)的基礎(chǔ)上進(jìn)行多次討論并征求相關(guān)專家意見，初步擬定了表1中的評(píng)估指標(biāo)，但這一指標(biāo)體系能否準(zhǔn)確地測(cè)量所要評(píng)估的內(nèi)容和領(lǐng)域尚需通過專家的經(jīng)驗(yàn)進(jìn)行判斷，為此，我們運(yùn)用專家調(diào)查法，將擬定的評(píng)估指標(biāo)體系制成咨詢問卷表，選定對(duì)氣象科技項(xiàng)目工作比較熟悉，在該領(lǐng)域具有一定權(quán)威的24位專家，這些專家中包括氣象科技項(xiàng)目的應(yīng)用與服務(wù)、氣象科技項(xiàng)目的管理以及從事氣象科技項(xiàng)目研究方面的專家，考慮到氣象項(xiàng)目的地域特征，專家主要來(lái)自北京、廣東、湖北、遼寧、陜西、上海、四川、新疆八大地區(qū)。問卷對(duì)整個(gè)指標(biāo)體系的效度進(jìn)行了征詢，同時(shí)對(duì)體系中的每一個(gè)指標(biāo)采用李克特五分量表的形式進(jìn)行了征詢,請(qǐng)各位專家對(duì)評(píng)估項(xiàng)目的恰當(dāng)性進(jìn)行打分，征詢結(jié)果列于表1中，其中效度評(píng)分就是問卷中關(guān)于有效行的賦值；效度系數(shù)是通過專家對(duì)指標(biāo)有效性的打分計(jì)算，設(shè)評(píng)估指標(biāo)集為 U={u1,?u2,?…,uk}，參加指標(biāo)體系效度打分的專家人數(shù)為n，專家 j對(duì)指標(biāo)體系效度的評(píng)分集為 Xj={x1j,?x2j,…,xkj}，專家的人數(shù)為 n ，則第 i個(gè)指標(biāo)ui的效度系數(shù)為:

其中xˉi是n個(gè)專家對(duì)評(píng)估指標(biāo)ui效度評(píng)分的平均值，即，F(xiàn)為評(píng)估指標(biāo)效度評(píng)分中的最大值（本研究因采用李科特量表，因此該值為5），整個(gè)評(píng)估指標(biāo)體系的效度定義為：

該系數(shù)絕對(duì)值越小，表明各專家對(duì)指標(biāo)效度的認(rèn)識(shí)越趨向一致，指標(biāo)體系的有效性就越高，反之，則有效性越低。

如果專家都認(rèn)為某指標(biāo)對(duì)項(xiàng)目的評(píng)估是恰當(dāng)?shù)?，那么該指?biāo)的效度平均評(píng)分必須大于3.0(對(duì)于指標(biāo)體系效度評(píng)分的常模（norm）為3（李科特量表）)，否則該指標(biāo)是一個(gè)效度較低的指標(biāo)，應(yīng)該從指標(biāo)體系中刪掉。由表1中的數(shù)據(jù)可知：所有擬定的指標(biāo)的效度平均評(píng)分均大于3，，因此這些指標(biāo)都予以保留，而且：每個(gè)一級(jí)指標(biāo)和二級(jí)指標(biāo)以及三級(jí)指標(biāo)（評(píng)估時(shí)需要考慮的方面）的效度都符合有效性的要求。

2 指標(biāo)的賦權(quán)及測(cè)量

2.1 指標(biāo)的賦權(quán)

確定指標(biāo)權(quán)重的方法有很多種，基本上可以劃分為兩大類，即主觀賦權(quán)法和客觀賦權(quán)法，主觀賦權(quán)法是指各指標(biāo)的權(quán)重依據(jù)人的主觀判斷來(lái)確定，通常是專家依據(jù)指標(biāo)的含義以及指標(biāo)所反應(yīng)的績(jī)效方面對(duì)于項(xiàng)目目標(biāo)的相對(duì)重要程度確定指標(biāo)的權(quán)重?？陀^賦權(quán)法一般是根據(jù)指標(biāo)本身的相關(guān)程度和指標(biāo)所包含的信息變異計(jì)算權(quán)重。例如，變異系數(shù)賦權(quán)法、復(fù)相關(guān)系數(shù)賦權(quán)法等。

表1 一級(jí)指標(biāo)的平均效度評(píng)分和效度系數(shù)

表2 指標(biāo)的權(quán)重

客觀賦權(quán)法雖然不受專家的主觀隨意性的影響，但由于它在賦權(quán)時(shí)只考慮了指標(biāo)之間的相關(guān)程度和指標(biāo)信息的變異，也就是說，它關(guān)注的是指標(biāo)能否有效地將各個(gè)被評(píng)估對(duì)象區(qū)分開，而項(xiàng)目評(píng)估的目的并不是為了將各個(gè)被評(píng)估項(xiàng)目拉開檔次，而是在對(duì)目前項(xiàng)目的實(shí)際效益進(jìn)行客觀評(píng)價(jià)，因此，在賦權(quán)方法的選擇上我們選擇主觀賦權(quán)法。采用如下描述的專家評(píng)分法，在編制專家征詢意見表時(shí)，為了避免出現(xiàn)邏輯混亂，首先請(qǐng)專家對(duì)指標(biāo)的重要性進(jìn)行排序，為最不重要的指標(biāo)賦值（10），然后每個(gè)指標(biāo)都與它進(jìn)行比較，如果重要性是它的2倍，則賦值為20，介于2倍與3倍之間，則賦值25，以此類推，最后每個(gè)指標(biāo)的權(quán)重（同一征詢表內(nèi)）由下式給出：

考慮到項(xiàng)目類型的差異，我們對(duì)公益性行業(yè)（氣象）科研專項(xiàng)、中國(guó)氣象局氣象新技術(shù)推廣項(xiàng)目、國(guó)家科技攻關(guān)計(jì)劃/科技支撐計(jì)劃這三類項(xiàng)目分別進(jìn)行了權(quán)重的征詢。權(quán)重征詢包括的專家與指標(biāo)效度征詢的專家相同，其中有兩份回收問卷因出現(xiàn)邏輯混亂而作廢，為保證調(diào)查結(jié)果的精度，我們又在天津局內(nèi)補(bǔ)充了兩份專家問卷。問卷的處理結(jié)果如表2。

表3 等級(jí)區(qū)間描述

2.2 指標(biāo)的測(cè)量

指標(biāo)體系中既包括定性指標(biāo)又包括定量指標(biāo)，這些指標(biāo)的量綱不同，按照一般綜合評(píng)估的程序，需要將它們進(jìn)行無(wú)量剛化處理，本研究為了簡(jiǎn)化評(píng)估程序，采用目前流行的等級(jí)錨定法（Anchored Rating Scale）對(duì)定性和定量指標(biāo)進(jìn)行無(wú)量剛化處理。已有的實(shí)踐表明，等級(jí)錨定使主體的評(píng)價(jià)更為客觀和精確。在評(píng)估中，為評(píng)估主體提供一個(gè)錨，基于被評(píng)價(jià)項(xiàng)目對(duì)指標(biāo)上指示目標(biāo)的完成程度，評(píng)價(jià)主體能夠準(zhǔn)確的找到與其所對(duì)應(yīng)的級(jí)別，保證結(jié)果的客觀性和精確性，避免人為因素對(duì)評(píng)估結(jié)果產(chǎn)生的干擾，同時(shí)，這樣的指標(biāo)的測(cè)量方式采用的是無(wú)量鋼化的標(biāo)準(zhǔn)化處理，不用再對(duì)每個(gè)指標(biāo)進(jìn)行單獨(dú)的標(biāo)準(zhǔn)化處理。

課題組在與行內(nèi)專家進(jìn)行充分溝通的基礎(chǔ)上，將所有指標(biāo)的評(píng)定分值分為四個(gè)區(qū)間（見表3），同時(shí)對(duì)于每一個(gè)指標(biāo)的相應(yīng)區(qū)間給出了測(cè)量等級(jí)的描述。這些描述只區(qū)分到二級(jí)指標(biāo)，即同一二級(jí)指標(biāo)下的三級(jí)指標(biāo)的描述相同。

3 有關(guān)說明

雖然前期已經(jīng)把需要進(jìn)行評(píng)價(jià)的項(xiàng)目分成了三個(gè)大類，但在區(qū)間描述的時(shí)候我們對(duì)所有的指標(biāo)進(jìn)行了區(qū)間描述，但每個(gè)項(xiàng)目的考核指標(biāo)各不相同，所以并非每個(gè)項(xiàng)目都包含了所有三級(jí)指標(biāo)的評(píng)估內(nèi)容，如果項(xiàng)目本身沒有此項(xiàng)指標(biāo)，則本指標(biāo)所占的權(quán)重將按比例分配到與該指標(biāo)同一個(gè)上一級(jí)指標(biāo)下的其他與該指標(biāo)同級(jí)指標(biāo)中。

比如：第1個(gè)一級(jí)指標(biāo)“主要研究成果”有6個(gè)二級(jí)指標(biāo)，其中第1個(gè)二級(jí)指標(biāo)“成果主要內(nèi)容”有3個(gè)三級(jí)指標(biāo)，3個(gè)指標(biāo)的權(quán)重分別為0.29、0.36、0.35（以“公益性行業(yè)（氣象）科研專項(xiàng)”為例），如果第1個(gè)三級(jí)指標(biāo)“制定了國(guó)家/行業(yè)標(biāo)準(zhǔn)”并不是考核指標(biāo)里所要求的內(nèi)容，則此處不打分，那么此項(xiàng)指標(biāo)的權(quán)重0.29則分配到同一個(gè)上一級(jí)指標(biāo)即二級(jí)指標(biāo)“成果主要內(nèi)容”下的另外兩個(gè)與該指標(biāo)同級(jí)的三級(jí)指標(biāo)“建立了氣象實(shí)用技術(shù)”和“建立了氣象業(yè)務(wù)系統(tǒng)”中，按權(quán)重分配比例為36:35。如果此二級(jí)指標(biāo)下的三級(jí)指標(biāo)都不是考核指標(biāo)，則該二級(jí)指標(biāo)的權(quán)重按比例分配到同一個(gè)一級(jí)指標(biāo)下的其他二級(jí)指標(biāo)中，以此類推。

[1]Joint Committeeon Standards for Educationa Evaluation.The Pro?gramme Evaluation Standards[M].CA:Sage,1994.

[2]XIX/02-Budgetary over View and Evaluation Directorate-General XIX-Budgets，European Commission.Evaluting EU Expenditure Pro?grammes:A Guide[Z].1997.

[3]李瑛.決策統(tǒng)計(jì)分析[M].天津：天津大學(xué)出版社，2009．