劉徐迪

摘 要：構(gòu)建科學(xué)實用的職業(yè)培訓(xùn)質(zhì)量測評指標體系，對高質(zhì)量職業(yè)培訓(xùn)的進行具有重要的實踐指導(dǎo)意義。以國內(nèi)外企業(yè)培訓(xùn)中廣泛采用的柯氏評價模型為基本評價框架，采用德爾菲法構(gòu)建了職業(yè)培訓(xùn)質(zhì)量測評指標體系。該體系的評價指標包括4個一級指標，14個二級指標以及26個三級指標，并采用層次分析法確定了各個指標項的權(quán)重。該體系的構(gòu)建能夠為職業(yè)培訓(xùn)的質(zhì)量評價提供依據(jù)，對職業(yè)培訓(xùn)領(lǐng)域的發(fā)展意義重大。

關(guān)鍵詞：職業(yè)培訓(xùn);質(zhì)量測評指標;體系構(gòu)建;德爾菲法;層次分析法

職業(yè)培訓(xùn)是一種按照不同職業(yè)崗位要求，對受培訓(xùn)者進行職業(yè)知識與實際技能培養(yǎng)和訓(xùn)練的社會活動[1]。近年來，國家高度重視職業(yè)培訓(xùn)。黨的十九大報告指出，要“大規(guī)模開展職業(yè)技能培訓(xùn)，注重解決結(jié)構(gòu)性就業(yè)矛盾，鼓勵創(chuàng)業(yè)帶動就業(yè)”。國務(wù)院于2019年頒布的《國家職業(yè)教育改革實施方案》提出，要“開展高質(zhì)量職業(yè)培訓(xùn)”，鼓勵職業(yè)院校“面向在校學(xué)生和全體社會成員開展職業(yè)培訓(xùn)”。在職業(yè)培訓(xùn)快速發(fā)展的背景下，職業(yè)培訓(xùn)質(zhì)量測評作為培訓(xùn)過程中重要的一環(huán)，有助于發(fā)現(xiàn)培訓(xùn)過程中的問題與不足，有助于完善職業(yè)培訓(xùn)制度，提高培訓(xùn)質(zhì)量。目前，國內(nèi)對職業(yè)培訓(xùn)具有普適性的質(zhì)量測評研究較少，多為針對特定職業(yè)培訓(xùn)的質(zhì)量評估，缺乏統(tǒng)一的比較基礎(chǔ)。因此，研究職業(yè)培訓(xùn)質(zhì)量指標體系的構(gòu)建，對于職業(yè)培訓(xùn)領(lǐng)域的發(fā)展意義重大。

一、職業(yè)培訓(xùn)質(zhì)量測評指標建構(gòu)的模型選取

國外對培訓(xùn)質(zhì)量測評的研究起步較早，其中影響最廣泛的是唐納德·L·柯克帕特里克（Donald L.Kirkpatrick）于1959年提出的“四層次評估模型”，包括反應(yīng)層評估、學(xué)習層評估、行為層評估和結(jié)果層評估。

1.反應(yīng)層評估。反映層評估是指學(xué)員對培訓(xùn)的印象與感受，包含積極肯定的反應(yīng)與消極否定的反應(yīng)。積極肯定的反應(yīng)體現(xiàn)該培訓(xùn)項目很有可能取得預(yù)期效果，該項目在未來也會受到足夠的重視;消極否定的反應(yīng)則暴露了該培訓(xùn)項目可能存在問題。高層管理者通過了解參訓(xùn)人員的意見，對接下來的培訓(xùn)做出更合理的發(fā)展決策。如對反應(yīng)層進行評估，為了實施起來簡單有效，需要設(shè)計一份能夠量化學(xué)員反應(yīng)的表格，并盡可能多地收集學(xué)員的反饋信息。

2.學(xué)習層評估。學(xué)習層評估是指參訓(xùn)學(xué)員參加培訓(xùn)項目后，能夠在多大程度上實現(xiàn)態(tài)度轉(zhuǎn)變、知識擴充或技能提升等相應(yīng)結(jié)果[2]。這是培訓(xùn)項目要直接實現(xiàn)的三個目標，是衡量培訓(xùn)質(zhì)量高低的重要指標。對這一層級可以采用標準化測試的方式評估學(xué)員獲得的知識;采取演示的方式考察其實際操作能力;根據(jù)觀察或訪談了解學(xué)員的態(tài)度轉(zhuǎn)變。

3.行為層評估。行為層評估指學(xué)員接受培訓(xùn)后，在工作中表現(xiàn)出的態(tài)度以及對知識、技能的運用情況。對這一層級進行評估要比前兩個層級更為復(fù)雜，通常要選取適當?shù)臅r間，借助觀察、面談、調(diào)查問卷或綜合這幾種方式來弄清培訓(xùn)的基本情況。

4.結(jié)果層評估。結(jié)果層評估是指企業(yè)目標包括增加利潤、改善經(jīng)營環(huán)境、提升品牌知名度等目標的實現(xiàn)程度。這一層級關(guān)乎培訓(xùn)的根本目的，同時也是整個評估程序中最難處理的環(huán)節(jié)。在培訓(xùn)項目開始前需要找到大量數(shù)據(jù)資料，如產(chǎn)品質(zhì)量、員工離職率、客戶投訴率等，并將開始數(shù)據(jù)與項目結(jié)束后的相應(yīng)數(shù)據(jù)進行對比。此外，對于一些無法量化的指標，還應(yīng)在培訓(xùn)結(jié)束后找到一些實實在在的證據(jù)，以證明培訓(xùn)項目是否取得了預(yù)期的效果。

“反應(yīng)”“學(xué)習”“行為”和“結(jié)果”四個層次，每一個層次都是后一個層次的必要條件[3]。每一層都是極為重要的，并且對下一層具有重要影響。當評估從一層進入到下一層，程序會逐漸復(fù)雜，實施困難也會增大?？率显u估理論的形成對促進培訓(xùn)事業(yè)的交流與發(fā)展產(chǎn)生了很大的影響。在國外，威廉·H·漢姆布林（William H.Hamblin）、杰克·菲利普斯（Jack Philips）、羅杰·考夫曼（Roger Kaufman）在多年以后分別對該模型進行了修正，但總體上仍延續(xù)了柯氏“四層次評估模型”的思路與方法?？率显u估模型被引入中國以后，在教育和衛(wèi)生等眾多領(lǐng)域得到廣泛應(yīng)用。宋夕平（2006）通過舉例說明了在評估企業(yè)培訓(xùn)效果中如何更好地運用柯氏評估模型;趙德成（2009）、馬玉慧（2011）等將柯氏評估模型運用到教師培訓(xùn)項目上進行研究;張立威（2013）、黃雪燕（2018）等以柯氏評估模型為基礎(chǔ)，建立了關(guān)于全科醫(yī)師、護士的培訓(xùn)效果評估指標。柯氏評估模型在職業(yè)培訓(xùn)評估中應(yīng)用十分廣泛，常被稱為是最著名、最經(jīng)典的培訓(xùn)評估模型，故本研究選取柯氏的“四層次評估模型”作為指標建構(gòu)的理論基礎(chǔ)。

二、職業(yè)培訓(xùn)質(zhì)量測評指標體系設(shè)計

（一）評價指標體系初步設(shè)計

以柯氏模型為基本評價框架，并在廣泛查閱相關(guān)政策、文獻的基礎(chǔ)上，構(gòu)建了職業(yè)培訓(xùn)質(zhì)量測評的48項初級指標，其中，一級指標4項，二級指標13項，三級指標31項，具體如表1所示。

（二）評價指標體系修訂

為了驗證評價指標的科學(xué)性以及可行性，研究采用了德爾菲法（Delphi Method）。德爾菲法又稱專家咨詢法，是一種群體決策行為，具有匿名性、反饋性和統(tǒng)計性的特點，本質(zhì)上是建立在眾多專家的專業(yè)知識、經(jīng)驗和主觀判斷能力基礎(chǔ)上的[4]。研究通過發(fā)放專家意見征詢表的方式進行了兩輪專家咨詢，兩輪均要求專家對每項指標的“重要性”進行打分，同時請專家對初步擬定的指標體系提出意見和修改建議?！爸匾浴背潭确譃椤昂懿恢匾薄安恢匾薄耙话恪薄爸匾薄昂苤匾?個等級，賦值依次為：1、2、3、4、5。將兩次咨詢結(jié)果分別錄入SPSS 24.0與Excel 2010（專業(yè)增強版），計算各項指標的算術(shù)均數(shù)、標準差、滿分比、變異系數(shù)，并根據(jù)界值法的計算要求修訂指標。

1.第一輪專家意見征詢。第一輪共發(fā)放問卷27份，回收26份。專家工作年限在30年以上的有6人（占比23.08%）;工作20年～30年的有6人（占比23.08%）;10年～20年的有14人（占比53.85%）。專家職稱為正高級的有7人（占比26.92%）;副高級的有12人（占比46.15%）;中級的有7人（占比26.92%）。為了確保專家咨詢結(jié)果的可靠性，研究采用專家權(quán)威程度系數(shù)（Cr），對專家評分的可靠性進行分析，其量化值詳見表2。

Cr的值取決于專家熟悉程度系數(shù)值Cs和所有判斷系數(shù)和Ca，計算公式為：Cr=（Cs+Ca）/2。數(shù)值越大表明專家對咨詢內(nèi)容的權(quán)威程度越高，當Cr≥0.70時，代表專家權(quán)威程度高，結(jié)果可靠。第一輪專家咨詢熟悉程度（Cs）=0.75，判斷依據(jù)（Ca）=0.93，故權(quán)威程度（Cr）=0.84，咨詢結(jié)果相對可靠。

匯總一輪專家修改建議，得出算術(shù)平均數(shù)、滿分比、變異系數(shù)的界值分別為：3.99、0.33、0.27。算術(shù)平均數(shù)、滿分比為正項指標，數(shù)值大于界值入選。變異系數(shù)為負向指標，數(shù)值小于界值入選。規(guī)定必須同時不符合兩個及兩個以上尺度的指標才被剔除。通過査閱相關(guān)文獻、參考專家集體評判和研究者逐條分析討論，對每項建議給予相應(yīng)處理，處理類型可以概括為“增加或刪除指標”“變更指標從屬領(lǐng)域”以及“修改指標表述”三大類。具體修改情況為：刪除“1.2.3是否對接行業(yè)前沿”“1.4.4構(gòu)建理想師生關(guān)系的能力”“1.5.1培訓(xùn)資料與設(shè)備是否齊全”等16項指標。增加“1.5.1培訓(xùn)前期準備充分”“1.5.2培訓(xùn)過程進展順利”“1.5.3培訓(xùn)結(jié)束總結(jié)及時”等17項指標。將行為層評估下的二級指標“3.1參訓(xùn)人員職業(yè)態(tài)度”轉(zhuǎn)移至學(xué)習層評估，改為“2.3態(tài)度轉(zhuǎn)變”。將“2.1.1專業(yè)知識”表述改為“2.1.1專業(yè)理論知識”，將“2.2.1專業(yè)技能”表述改為“2.2.1崗位常用操作技術(shù)”。

經(jīng)過第一輪的統(tǒng)計分析，本次指標體系包括4個一級指標、14個二級指標、28個三級指標。

2.第二輪專家意見征詢。第二輪共發(fā)放問卷17份，回收15份。專家工作年限在30年以上的有2人（占比13.33%）;工作20年～30年的有3人（占比20%）;10年～20年的有10人（占比66.67%）。專家職稱為正高級的有4人（占比26.67%）;副高級的有4人（占比26.67%）;中級的有7人（占比46.67%）。第二輪專家咨詢熟悉程度（Cs）=0.78，判斷依據(jù)（Ca）=0.94，故權(quán)威程度（Cr）=0.86，咨詢結(jié)果相對可靠。

匯總第二輪專家修改建議，得出算術(shù)平均數(shù)、滿分比、變異系數(shù)的界值分別為：4.30、0.46、0.18。專家指出，三級指標“1.2.3內(nèi)容相對集中”與“3.1.1個人出勤率”設(shè)置不恰當，且得分不符合界值法要求，故予以刪除。與此同時，對各指標的具體表述進行了細致的修改，使指標的表述更加清晰且通俗易懂。最終指標體系包括4個一級指標、14個二級指標、26個三級指標，詳見表3。

三、職業(yè)培訓(xùn)質(zhì)量測評指標權(quán)重計算

本研究以層次分析法對第二輪咨詢結(jié)果進行分析整理，確定職業(yè)培訓(xùn)質(zhì)量測評各級指標權(quán)重，為職業(yè)培訓(xùn)評價工作提供客觀依據(jù)。層次分析法（Analytic Hierarchy Process，AHP）由美國運籌學(xué)家T.L.Saaty等人提出，是一種多目標決策分析方法。應(yīng)用AHP法確定評價指標的權(quán)重，就是在建立有序遞階的指標體系基礎(chǔ)上，通過比較同一層次各指標的相對重要性來綜合計算指標的權(quán)重系數(shù)[5]。

1.建立目標樹，如圖1所示。

2.建立判斷矩陣。以第二輪咨詢數(shù)據(jù)得出的各級指標重要性均數(shù)進行兩兩比較，以確定Saaty標度，詳見表4。

以反應(yīng)層評估Ⅱ級子目標層為例構(gòu)建判斷矩陣，詳見表5。

3.計算各級指標權(quán)重。權(quán)重計算過程：計算判斷矩陣每行數(shù)值乘積并開n次方根，得到初始權(quán)重系數(shù)W'i;對計算結(jié)果做歸一化處理，得到各級目標權(quán)重Wi。公式如下：

4.層次單排序及一致性檢驗。采用層次分析法計算權(quán)重時，在得出歸一化權(quán)重后，應(yīng)對其是否符合邏輯進行檢驗。一般采用一致性指標CI和一致性比率CR進行判斷檢驗，當CI<0.10時，表明計算所得權(quán)重系數(shù)符合邏輯，當CR<0.10時，表明判斷矩陣具備一致性。公式如下：

RI為平均隨機一致性指標，取值見表6。

5.結(jié)果。本項研究進行各級指標權(quán)重的計算分析，得出各級指標的判斷矩陣CI、CR值均小于0.10，表明計算所得的指標權(quán)重系數(shù)符合邏輯，指標層次單排序具備滿意一致性，結(jié)果詳見表7、表8。

四、總結(jié)

本研究以改進職業(yè)培訓(xùn)質(zhì)量為出發(fā)點，以國內(nèi)外企業(yè)培訓(xùn)中廣泛采用的柯氏評估模型為基本評價框架，采用德爾菲法構(gòu)建了職業(yè)培訓(xùn)質(zhì)量測評指標體系，該體系的評價指標包括4個一級指標，14個二級指標以及26個三級指標。本研究采用層次分析法確定各指標項的權(quán)重，通過這種方法確定的指標體系結(jié)構(gòu)清晰、層次分明，能夠為職業(yè)培訓(xùn)的質(zhì)量評價提供依據(jù)。從一級指標的權(quán)重來看，學(xué)習層評估與行為層評估的重要性較大。在二級指標中，技能成果、培訓(xùn)后學(xué)員工作結(jié)果、知識成果、培訓(xùn)后學(xué)員工作過程、態(tài)度轉(zhuǎn)變排在指標項前五位，這是進行職業(yè)培訓(xùn)質(zhì)量測評時應(yīng)重點關(guān)注的幾個方面。

整體看來，該測評工具能夠較為全面地評價職業(yè)培訓(xùn)項目中的各要素，同時也填補了我國職業(yè)培訓(xùn)在評價方面的研究缺失，對我國職業(yè)培訓(xùn)的科學(xué)評價具有重要的參考價值。同時，這種培訓(xùn)評價指標體系不局限于某一特定職業(yè)，而是面向各種職業(yè)培訓(xùn)，具有廣泛的現(xiàn)實意義和使用價值。但本研究也存在一些不足，如專家數(shù)量有限、未能開展職業(yè)培訓(xùn)試評等。接下來，為了更好地驗證評價工具的信度、效度，本研究將把評價工具應(yīng)用于實際的職業(yè)培訓(xùn)項目中進行測評，以實現(xiàn)對評價指標體系的迭代優(yōu)化，最終形成完整、成熟的職業(yè)培訓(xùn)質(zhì)量測評指標體系。

參考文獻：

[1]姜大源.職業(yè)教育：培訓(xùn)與教育辨[J].中國職業(yè)技術(shù)教育，2008（7）：1，24.

[2]唐納德L.柯克帕特里克，詹姆斯D.柯克帕特里克.如何做好培訓(xùn)評估：柯氏四級評估法[M].奚衛(wèi)華，林祝君，譯.北京：機械工業(yè)出版社，2007：17.

[3]李莉.培訓(xùn)效果評估模型解析[J].中國電力教育，2005（4）：25-28.

[4]劉偉濤，顧鴻，李春洪.基于德爾菲法的專家評估方法[J]. 計算機工程，2011，37（S1）：189-191，204.

[5]曹茂林.層次分析法確定評價指標權(quán)重及Excel計算[J]. 江蘇科技信息，2012（2）：39-40.

[責任編輯? ? 曹? ?穩(wěn)]