高學(xué)浩 馬旭玲 趙亞南 葉夢(mèng)姝 羅林明
摘 要:在總結(jié)分析國(guó)內(nèi)外培訓(xùn)效益評(píng)估理論研究與業(yè)務(wù)進(jìn)展的基礎(chǔ)上,以新一代天氣雷達(dá)培訓(xùn)效益評(píng)估為例,探索培訓(xùn)效益評(píng)估的技術(shù)與方法。
關(guān)鍵詞:培訓(xùn)效益;效益評(píng)估;雷達(dá)培訓(xùn);投資回報(bào)率;實(shí)證分析
中圖分類號(hào):G72 文獻(xiàn)標(biāo)識(shí)碼:A
一、引言
不斷提高培訓(xùn)質(zhì)量,提高廣大干部職工對(duì)培訓(xùn)作用正確認(rèn)識(shí)的一個(gè)重要途徑就是加強(qiáng)對(duì)培訓(xùn)評(píng)估理論和方法的研究與應(yīng)用,要客觀評(píng)價(jià)培訓(xùn)的效用,其中培訓(xùn)效益評(píng)估是證明培訓(xùn)價(jià)值貢獻(xiàn)的最直接的手段。
培訓(xùn)效益是指受訓(xùn)者經(jīng)培訓(xùn)提高回到工作崗位所帶來(lái)的收益與培訓(xùn)成本的差額。培訓(xùn)收益主要包括兩部分:一部分是可以通過(guò)一定途徑轉(zhuǎn)化為用貨幣表示的價(jià)值;還有一部分要么不能轉(zhuǎn)化,要么轉(zhuǎn)化成本過(guò)高,但是這部分的收益包含范圍是非常廣大的。
二、理論研究與業(yè)務(wù)進(jìn)展
(一)研究進(jìn)展
最先對(duì)培訓(xùn)效益進(jìn)行理論研究的是美國(guó)經(jīng)濟(jì)學(xué)家雅各布?明塞爾(Jacob Mincer)。1958年他發(fā)表的《人力資本投資與個(gè)人收入分配》首次建立了個(gè)人接受的培訓(xùn)量和其收入之間的數(shù)學(xué)模型,后來(lái)許多學(xué)者在雅各布?明塞爾的培訓(xùn)效益理論基礎(chǔ)上研究建立了很多數(shù)學(xué)模型和經(jīng)濟(jì)方法,其中較為著名的有三個(gè)培訓(xùn)投資收益的模型,分別是加里?S?貝克爾提出的在職培訓(xùn)的成本收益評(píng)估模型、菲利普斯的培訓(xùn)投資回報(bào)率模型及舍貝克和科恩提出的培訓(xùn)的效用公式。
在上述影響比較廣泛的培訓(xùn)效益評(píng)估理論模型中,根據(jù)ASTD(美國(guó)培訓(xùn)與發(fā)展協(xié)會(huì))的調(diào)查顯示,菲利普斯的培訓(xùn)投資回報(bào)率模型是應(yīng)用最為廣泛的模型,本文的研究也是基于該模型的基礎(chǔ)上開展的。
(二)業(yè)務(wù)進(jìn)展
ASTD的調(diào)查發(fā)現(xiàn),柯克帕特里克模型和菲利普斯模型是使用最為普遍的評(píng)估模型,五層評(píng)估包括反應(yīng)層評(píng)估(第一層),學(xué)習(xí)層評(píng)估(第二層),行為層評(píng)估(第三層),結(jié)果層評(píng)估(第四層)和投資回報(bào)率評(píng)估(第五層)。92%的調(diào)查對(duì)象說(shuō)他們至少進(jìn)行第一層評(píng)估,但是其后的每級(jí)評(píng)估的使用都急劇下降,只有少數(shù)的組織使用第五級(jí)評(píng)估-投資回報(bào)率評(píng)估。
三、氣象培訓(xùn)效益評(píng)估實(shí)證研究
2014年中國(guó)氣象局氣象干部培訓(xùn)學(xué)院(以下簡(jiǎn)稱“干部學(xué)院”)選擇新一代天氣雷達(dá)平培訓(xùn)(以下簡(jiǎn)稱“雷達(dá)培訓(xùn)”)項(xiàng)目,探索開展培訓(xùn)效益評(píng)估,之所以選擇雷達(dá)培訓(xùn)項(xiàng)目有兩個(gè)原因:一是雷達(dá)培訓(xùn)是干部學(xué)院的核心班型,自1999年起至2013年底,已舉辦相關(guān)培訓(xùn)60余期,培訓(xùn)雷達(dá)業(yè)務(wù)及管理人員3000人次,今后還將繼續(xù)開展培訓(xùn);二是通過(guò)對(duì)每期培訓(xùn)班的質(zhì)量調(diào)查發(fā)現(xiàn),學(xué)員對(duì)培訓(xùn)班的滿意度評(píng)價(jià)高,在2008年開展的培訓(xùn)后效果評(píng)估中81.5%的學(xué)員認(rèn)為培訓(xùn)對(duì)工作幫助很大,2013年的培訓(xùn)后效果評(píng)估中,93.7%的學(xué)員和92.7%的送培單位認(rèn)為雷達(dá)應(yīng)用技能提高很大或較大?;谏厦鎯蓚€(gè)原因,選擇了對(duì)雷達(dá)培訓(xùn)項(xiàng)目開展更高層級(jí)的評(píng)估——投資回報(bào)率,探索培訓(xùn)效益評(píng)估的技術(shù)方法。
(一)評(píng)估模型
雷達(dá)培訓(xùn)效益評(píng)估采用國(guó)際上廣泛應(yīng)用的Phillips的投資回報(bào)率公式來(lái)計(jì)算雷達(dá)培訓(xùn)的投資回報(bào)率,即
基于上述公式,雷達(dá)培訓(xùn)效益評(píng)估中需要解決三個(gè)關(guān)鍵問(wèn)題:(1)新一代天氣雷達(dá)產(chǎn)生多大的經(jīng)濟(jì)效益?(2)培訓(xùn)在其中有多大的貢獻(xiàn)度?(3)雷達(dá)培訓(xùn)的成本是多少?
(二)雷達(dá)培訓(xùn)的收益
1.新一代天氣雷達(dá)的經(jīng)濟(jì)效益
根據(jù)2008年國(guó)家公益性(氣象)行業(yè)科研專項(xiàng)“氣象服務(wù)評(píng)估方法與技術(shù)研究”中,計(jì)算了公共氣象服務(wù)的投入與產(chǎn)出效益比為1:63.19。雷達(dá)在增強(qiáng)災(zāi)害性天氣監(jiān)測(cè)和預(yù)警能力、增強(qiáng)國(guó)家防災(zāi)減災(zāi)能力、提升公共氣象服務(wù)水平方面發(fā)揮了重要作用,作為公共氣象服務(wù)的一種手段,其投入產(chǎn)出符合公共氣象服務(wù)的一般規(guī)律,因此,公共氣象服務(wù)的投入產(chǎn)出比即為雷達(dá)的投入產(chǎn)出比?;诖?,雷達(dá)的投資效益計(jì)算公式為:
影響雷達(dá)作用發(fā)揮因素的投資效益=影響雷達(dá)作用發(fā)揮的各因素投入/公共氣象服務(wù)投入與產(chǎn)出比 (公式2)
通過(guò)上述公式,知道影響雷達(dá)作用發(fā)揮的各因素的投入,便可計(jì)算得出影響雷達(dá)作用發(fā)揮因素的投資效益。
2.培訓(xùn)在雷達(dá)效益發(fā)揮中的貢獻(xiàn)度
培訓(xùn)的直接作用是雷達(dá)業(yè)務(wù)及管理人員素質(zhì)的提高,通過(guò)業(yè)務(wù)及管理人員在氣象業(yè)務(wù)中應(yīng)用雷達(dá)產(chǎn)品,使雷達(dá)發(fā)揮效益,但是培訓(xùn)也不是人員素質(zhì)提高的唯一影響因素,只有全面客觀區(qū)分出可以使人員素質(zhì)提高的全部手段,才有可能客觀區(qū)分出培訓(xùn)在人員素質(zhì)提高中的作用程度。同理,人員素質(zhì)不是雷達(dá)效益發(fā)揮的唯一決定因素,只有全面客觀區(qū)分影響雷達(dá)效益發(fā)揮的其他因素,才能準(zhǔn)確客觀區(qū)分出人員素質(zhì)在雷達(dá)效益發(fā)揮中的作用程度。
(1)建立指標(biāo)體系
在多次專家咨詢的基礎(chǔ)上,研究建立雷達(dá)效益發(fā)揮影響因素指標(biāo)體系,見圖1。
雷達(dá)培訓(xùn)貢獻(xiàn)度主要通過(guò)評(píng)估培訓(xùn)在提高雷達(dá)業(yè)務(wù)及管理人員素質(zhì)方面的貢獻(xiàn)度及人員素質(zhì)在雷達(dá)作用發(fā)揮上的貢獻(xiàn)度的基礎(chǔ)上,來(lái)評(píng)估培訓(xùn)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度。即:
雷達(dá)培訓(xùn)的貢獻(xiàn)度=培訓(xùn)在雷達(dá)業(yè)務(wù)及管理人員素質(zhì)提高方面的貢獻(xiàn)度*人員素質(zhì)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度 (公式3)
(2)開展問(wèn)卷調(diào)查
為獲得各要素的重要性得分,向所有參加過(guò)雷達(dá)培訓(xùn)的學(xué)員及選派過(guò)3名以上學(xué)員的送培單位領(lǐng)導(dǎo)發(fā)放了調(diào)查問(wèn)卷,了解他們對(duì)“人員素質(zhì)等各要素在雷達(dá)效益發(fā)揮的重要性程度”及“培訓(xùn)等各種手段在雷達(dá)人員素質(zhì)提高上的有效性”的認(rèn)知程度。調(diào)查對(duì)象及參與調(diào)查對(duì)象見表1。
從調(diào)查對(duì)象所屬氣象部門行政別上看,覆蓋國(guó)家級(jí)、省級(jí)、地市級(jí)、縣級(jí)四個(gè)行政級(jí)別,其中來(lái)自省級(jí)和地市級(jí)氣象部門的比重較大;從崗位分布上看,主要來(lái)自業(yè)務(wù)崗、管理崗和科研崗,調(diào)查對(duì)象的類別、來(lái)源及崗位均具有代表性。
(3)計(jì)算雷達(dá)培訓(xùn)貢獻(xiàn)度
為了客觀評(píng)價(jià)培訓(xùn)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度,采用“調(diào)查求重”和“層次分析”相結(jié)合的方法來(lái)計(jì)算雷達(dá)培訓(xùn)的貢獻(xiàn)度。
各要素指標(biāo)重要性得分的計(jì)算:
雷達(dá)效益發(fā)揮上,每一項(xiàng)要素重要性程度得分。計(jì)算公式為:
其中,P為選擇不同重要性層次的人占總?cè)藬?shù)的比例,K為不同等級(jí)分值:絕對(duì)重要的分值為K1=7,非常重要的分值為K2=6,比較重要的分值為K3=5,一般的分值為K4=4,有點(diǎn)重要的分值為K5=3,不太重要的分值為K6=2,不重要的分值為K7=1。運(yùn)用這個(gè)公式,可得出各要素在雷達(dá)作用發(fā)揮中重要性程度得分見表2。
雷達(dá)人員素質(zhì)提高方面,每一要素有效性程度得分計(jì)算方法同上,得到表3。
各要素指標(biāo)權(quán)重的計(jì)算:
在本研究中,由于主要采用了向?qū)W員及送培單位領(lǐng)導(dǎo)調(diào)查的方法,為了更好的體現(xiàn)雷達(dá)業(yè)務(wù)及管理人員意見的指導(dǎo)性,將回收的語(yǔ)詞式的意見樣本先定量化,而后再根據(jù)重要程度的得分差異對(duì)應(yīng)到Saaty的1~9標(biāo)度進(jìn)行處理,即“調(diào)查求重”與“層次分析”相結(jié)合。這種數(shù)字轉(zhuǎn)換所得的判斷于直接運(yùn)用Saaty1~9標(biāo)度得到的判斷是近似的,其有效性可以通過(guò)一致性的測(cè)試得到驗(yàn)證。
按照這一思路,將前期得到的指標(biāo)重要性程度得分進(jìn)行對(duì)應(yīng)轉(zhuǎn)化。其中影響雷達(dá)效益發(fā)揮各要素最高的得分值為6.354,最低值為5.736,將其最高值和最低值之間的得分差(即0.618)也區(qū)分為8個(gè)區(qū)間,分別與Saaty的1~9標(biāo)度值相對(duì)應(yīng),得到表4。
同理,得到影響雷達(dá)業(yè)務(wù)和管理人員素質(zhì)提高各要素指標(biāo)重要性程度差值與Saaty 1~9標(biāo)度對(duì)應(yīng)表見表5。
根據(jù)層次分析的方法,建立各判斷矩陣,按照左上角的準(zhǔn)則將左側(cè)的第一列指標(biāo)與最上行的各個(gè)指標(biāo)依次進(jìn)行比較,然后再將第二列與最上行指標(biāo)進(jìn)行比較,依此類推。其中比較的依據(jù)即為各對(duì)應(yīng)指標(biāo)之間的差值落入的“指標(biāo)重要性程度值差與Saaty1~9標(biāo)度對(duì)應(yīng)表”中相應(yīng)的標(biāo)度值。最后得到判斷矩陣。根據(jù)判斷矩陣得到其最大特征值所對(duì)應(yīng)的特征向量,歸一化處理后就得到其權(quán)重。
由于客觀事物的復(fù)雜性和人的主觀判斷的差異,每個(gè)判斷結(jié)果都無(wú)法保證完全的一致,因此為了保證評(píng)價(jià)結(jié)果的合理性,對(duì)這些矩陣的一致性進(jìn)行檢驗(yàn)。計(jì)算結(jié)果表明,判斷矩陣進(jìn)行層次單排序的結(jié)果具有較好的一致性。
在上面的計(jì)算得到了各指標(biāo)相對(duì)于上一層次的單排序權(quán)重值,利用單排序的權(quán)值結(jié)果,用上層次各指標(biāo)的組合權(quán)重加權(quán),以此來(lái)得到一級(jí)指標(biāo)人員素質(zhì)下層各指標(biāo)相對(duì)于指標(biāo)體系最高層的組合權(quán)重值,即雷達(dá)培訓(xùn)的貢獻(xiàn)度見表6。
所以, 根據(jù)公式2,得出雷達(dá)培訓(xùn)的貢獻(xiàn)度為26.4%。
3.計(jì)算雷達(dá)培訓(xùn)成本
中國(guó)氣象局在雷達(dá)建設(shè)規(guī)劃中就明確規(guī)定,每建設(shè)一部雷達(dá),都要開展相關(guān)業(yè)務(wù)及管理人員培訓(xùn),有固定的雷達(dá)培訓(xùn)經(jīng)費(fèi)投入,所以,
雷達(dá)培訓(xùn)成本=每一部雷達(dá)投入的培訓(xùn)經(jīng)費(fèi)*建設(shè)雷達(dá)總數(shù) (公式5)
4.計(jì)算雷達(dá)培訓(xùn)的投資回報(bào)率
雷達(dá)培訓(xùn)的收益即為影響雷達(dá)效益發(fā)揮因素的投資效益*雷達(dá)培訓(xùn)的貢獻(xiàn)度,因此,得出雷達(dá)培訓(xùn)效益的計(jì)算公式,即:
雷達(dá)培訓(xùn)的效益=影響雷達(dá)效益發(fā)揮因素的投資效益*雷達(dá)培訓(xùn)的貢獻(xiàn)度-雷達(dá)培訓(xùn)成本 (公式6)
根據(jù)公式(2)、公式(3)和公式(5)的計(jì)算結(jié)果,可以計(jì)算得出雷達(dá)培訓(xùn)的收益。
根據(jù)公式1,雷達(dá)培訓(xùn)的投資回報(bào)率=(雷達(dá)培訓(xùn)收益-雷達(dá)培訓(xùn)成本)/雷達(dá)培訓(xùn)成本 =91.34:1
四、結(jié)語(yǔ)
本文以雷達(dá)培訓(xùn)效益評(píng)估為例,探索了培訓(xùn)效益評(píng)估的技術(shù)方法,為將來(lái)開展培訓(xùn)效益評(píng)估積累了經(jīng)驗(yàn),并進(jìn)行了有益的嘗試。但是公共氣象服務(wù)的投入產(chǎn)出比是計(jì)算雷達(dá)培訓(xùn)效益的一個(gè)基礎(chǔ)數(shù)據(jù),為開展雷達(dá)培訓(xùn)效益評(píng)估提供了可能,其他培訓(xùn)項(xiàng)目限于難以測(cè)算相關(guān)培訓(xùn)后業(yè)務(wù)上產(chǎn)生的效益及無(wú)法令人信服地指出哪些效益直接來(lái)源于培訓(xùn),導(dǎo)致開展培訓(xùn)效益評(píng)估難度依然較大。
參考文獻(xiàn)
[1]馬旭玲等.關(guān)于氣象培訓(xùn)效益評(píng)估的思考[J].繼續(xù)教育,2014(12).
[2]肖娟.培訓(xùn)效果評(píng)估方法及其應(yīng)用研究[D].南京:南京理工大學(xué),2007.
[3]ASTD research report.Value of evaluation: making training evaluation more effective[EB/OL].http://www.astd.org/,2011-5-23.
[4]李廉水,孫健,陳云峰等.氣象服務(wù)效益評(píng)估技術(shù)與方法[M].北京:科學(xué)出版社,2013.
[5]高學(xué)浩,胡欣,李洪臣等.2006年度中國(guó)氣象局軟科學(xué)項(xiàng)目《短期天氣預(yù)報(bào)員能力評(píng)價(jià)研究報(bào)告》,2007.