張麗君 王海燕
(1.中國氣象局氣象干部培訓學院 新疆分院,新疆 烏魯木齊830013;2.新疆信息工程學校,新疆 烏魯木齊830013)
教育培訓教學質(zhì)量評估是培訓管理的一個重要環(huán)節(jié),開展教學質(zhì)量評估有助于學員了解培訓內(nèi)容,掌握培訓情況,從而調(diào)整學習過程;有助于培訓者了解學員的學習情況,對學員做出評價,發(fā)現(xiàn)培訓中存在的問題,從而調(diào)整培訓過程。 加強教學質(zhì)量評估,對于優(yōu)化培訓過程,提高教育培訓質(zhì)量,引導教育培訓機構(gòu)健康有序發(fā)展,有著重要意義。
培訓效果評估有很多方法,目前國內(nèi)外運用得最為廣泛的培訓效果評估方法仍然是“柯氏模型”。 目前,新疆分院以柯氏“四級評估模型”為導向,通過對培訓管理過程的全面系統(tǒng)分析,建立了一套滿足氣象教育培訓評估需要的評估指標體系,以促進培訓評估科學化和規(guī)范化,提高培訓的質(zhì)量和效果。
“柯氏模型”是由美國學者Kirkpatrick 于1959 年提出的“反應(yīng)”、“學習”、“行為”和“結(jié)果”的四層培訓效果評估模型,Kirkpatrick 把培訓評估分成四個層次:
反應(yīng)層評估(一級評估):是指學員對培訓項目的看法,包括對培訓設(shè)計、學習資料、授課教師、培訓環(huán)境、培訓保障等的看法。通過這個層面的評估,了解學員對本次培訓的總體反應(yīng)和感受。
學習層評估(二級評估):是目前最常見、常用到的一種評價方式。該層評估主要是測量學員對知識和技能的掌握程度。
行為層評估(三級評估):主要考察學員培訓后在實際崗位工作中行為的變化,以判斷所學知識、技能對實際工作的影響。
結(jié)果層評估(四級評估):其目的是評估學員經(jīng)過培訓后,在實際工作中由于行為的改變, 在多大程度上提高了個人績效和組織績效。這個層面評估內(nèi)容是一個部門組織培訓的最終目的。
表1 氣象教育培訓評估層次模型
由于評估指標體系不夠健全,我們在培訓效果的評估上還存在著一些問題,這主要表現(xiàn)在以下四個方面:
2.1 培訓效果評估層次選用不徹底
從評估的深度和難度來看, 柯氏培訓評估模型一共有四個層次,這四個層次實施從易到難。 在實際運用中, 怎么選用這四個層次? 該評估到哪一個層級? 由于沒有進行深入的思考研究, 導致培訓評估只停留在初級階段, 沒有做第三、 第四層次的評估, 即沒有對學員培訓后在工作崗位上行為的改變和給單位業(yè)績帶來的變化進行跟蹤。
2.2 培訓效果評估工具選用不恰當
培訓評估工作現(xiàn)在正處于探索階段, 在各個層面評估的具體工具、方法的選用上不成熟,導致培訓評估流于形式,未能真正起到改進培訓、改善績效的作用。
表2 反應(yīng)層評估指標及內(nèi)涵
2.3 培訓效果評估缺乏反饋環(huán)節(jié)
對于培訓是否滿足學員培訓需求或者滿足學員需求的程度,在哪些方面滿足了學員的培訓需求,學員還有哪些潛在需求等,沒有行之有效的措施和辦法, 培訓效果評估不能提供富有價值的反饋信息,對于改進培訓難以起到實際效果。評估往往只停留于學員對培訓的滿意度、對課程或教師授課的滿意率等表面的量化指標,缺乏深度。培訓效果的檢驗僅僅局限于培訓過程中, 沒有融入實際工作, 造成了培訓與日常工作脫節(jié)。
2.4 由于培訓考核涉及到培訓前后學員所發(fā)生的變化, 對于學員在培訓前的狀況如果沒有進行測評,很難將培訓后的變化和訓前進行對照,從而難以準確測評出學員培訓前后的變化,難以真實評估培訓效果。而且,由于教育培訓具有滯后性特點,學員培訓后的收獲可能要經(jīng)過一段時間才能在工作中得到體現(xiàn), 因而也就難以準確評估學員培訓后發(fā)生的變化。 即使在培訓前后對學員進行了測評,也很難說學員所發(fā)生的變化是由培訓所引起的。這些情況給培訓效果評估帶來一定的困難。
柯氏模型偏重于培訓評估的定性研究。在培訓實踐中有很大的局限性,比如它沒有給出具體的評估指標體系,不能對培訓效益進行定量的評估等等。 為了解決這一問題,本文以柯氏“四級評估模型”為導向,結(jié)合氣象教育培訓對人才的需求,以及被培訓對象的需求。運用科學的理論和系統(tǒng)分析的方法,從反應(yīng)層、學習層、行為層、結(jié)果層四個層面逐層進行分析和研究,來確定相應(yīng)評估方法和評估指標。 具體評估指標體系如下:
3.1 反應(yīng)層評估
反應(yīng)層評估,是指培訓部門評估學員對培訓設(shè)計與安排、授課教師、教學設(shè)備保障、餐飲服務(wù)及公寓服務(wù)等的反應(yīng)。 其目的在于,培訓部門及時了解學員對有關(guān)環(huán)節(jié)或整個培訓項目的真實感受,聽取他們的意見、建議,以彌補培訓工作中的不足,積累培訓經(jīng)驗,不斷改進培訓工作。
3.2 學習層評估
學習層評估,主要是評估學員學到了哪些知識,這些知識是如何運用到實踐中去的。通過學習內(nèi)容收獲和學習效果兩個項目來評估學員的學習效果及培訓對工作崗位和個人能力提升的幫助。
表3 學習層評估指標及內(nèi)涵
3.3 行為層評估
行為層的評估,主要是評價學員在品德、領(lǐng)導力、專業(yè)技能等方面的典型行為在培訓前后的改變。我們選取兩個時點對學員的行為進行評估:培訓前行為評估和培訓后行為評估。通過前后對照,觀測培訓結(jié)束時學員行為的改變情況。
(1)培訓前學員行為評估。 這是指在培訓前或培訓開始后不久對學員行為進行的評估。 評估的方式主要是調(diào)查問卷法。 即在培訓實施前的需求調(diào)查中,運用調(diào)查問卷法,從學員的直接領(lǐng)導、學員本人、學員下屬三個側(cè)面對學員的典型行為進行了評估。并形成典型行為評估數(shù)據(jù),這些數(shù)據(jù)既可以用于培訓需求分析,也可以用于行為評估。
(2)培訓結(jié)束后學員行為評估。 在培訓結(jié)束回到工作單位一段時間后,再次通過調(diào)查問卷法對學員行為進行評估,以獲取對比數(shù)據(jù),借此評估學員行為的改變程度。 在使用調(diào)查問卷法時,與培訓前評估典型行為使用的調(diào)查問卷相同,在完成以上評估工作后,把培訓前、培訓后學員行為評估的數(shù)據(jù)進行整理,編制出學員行為評估報告。 本文設(shè)計了工作態(tài)度、工作能力、工作效率三個指標來對學員行為的轉(zhuǎn)變程度進行評估,以判斷學員在多大程度上將培訓中所學到的內(nèi)容應(yīng)用到具體的工作中。
3.4 結(jié)果層評估
結(jié)果層的評估是培訓評估中最為重要的部分。其目的是評估學員在實際工作中由于行為的改變,在多大程度上提高了個人績效和組織績效。結(jié)果層評估要注意選擇合適的評估時間,時間間隔太短,學員可能還未熟練掌握培訓所獲;或者雖已掌握,但還未來得及運用到實際中;或是已把培訓所獲運用到實際中,但還未產(chǎn)生實際效果。時間間隔太長,影響工作績效、學員行為變化的其他因素增多,培訓在學員行為變化、工作績效提高方面的作用難以評估。一般來說,培訓項目結(jié)束后一年進行評估比較合適,主要采用深度訪談法獲取素材,訪談的對象有學員的主管領(lǐng)導、學員的同事、下屬和學員本人。
表4 行為層評估指標及內(nèi)涵
表5 結(jié)果層評估指標及內(nèi)涵
本文以柯克帕特里克模型為導向,結(jié)合氣象教育培訓特點,嘗試構(gòu)建了基于柯氏評估模型的氣象教育培訓評估指標體系。 但是,由于培訓目標的差異性,在針對某一培訓項目的專項評估工作中,還需進一步細化和調(diào)整,在具體實施過程中,還需根據(jù)實際情況,不斷調(diào)整充實評估方案。
[1]“部門行業(yè)教育培訓機構(gòu)核心能力建設(shè)研究”課題組.論教育培訓機構(gòu)的核心能力:部門行業(yè)教育培訓機構(gòu)核心能力建設(shè)研究報告[J].現(xiàn)代企業(yè)教育,2008(13).
[2]張憑博.基干AHP 模糊綜合評價法的企業(yè)培訓效果評估研究[D].大連海事大學,2008,06.
[3]柯克帕特里克,等.如何做好培訓評估:柯氏四級評估法[M].機械工業(yè)出版社,2007.
[4]李莉.KIRKPATR ICK1 培訓效果評估模型解析[J].中國電力教育,2005(4):25-281.
[5]彭劍鋒,荊小娟.員工素質(zhì)模型設(shè)計瞰[M].北京:中國人民大學出版社,2002.