摘要：通過對國內(nèi)培訓(xùn)效果評估指標(biāo)體系問題進(jìn)行分析，結(jié)合要實(shí)現(xiàn)的目標(biāo)和構(gòu)建原則，建立了一套包含4維度45個指標(biāo)的效果四要素模型，并確定不同層次指標(biāo)的權(quán)重，提出省直機(jī)關(guān)干部培訓(xùn)效果評估指標(biāo)體系具體的實(shí)施步驟。

關(guān)鍵字：培訓(xùn)效果;評估指標(biāo)體系

中圖分類號：D262.3 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）22-0120-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

在當(dāng)今全球大發(fā)展的局勢下，黨和政府面臨著各種各樣新的情況和問題，對各級干部的素質(zhì)提出了更高要求，干部培訓(xùn)在培養(yǎng)高素質(zhì)合格干部中起指引和導(dǎo)向作用。2015年《干部教育培訓(xùn)工作條例》的頒布到2018年《2018-2022年全國干部教育培訓(xùn)規(guī)劃》的印發(fā)幫助安徽省直機(jī)關(guān)干部培訓(xùn)逐漸步人正規(guī)化、制度化的軌道，但在培訓(xùn)后效果的評估方面重視度還比較低，急需一套比較適用的評估指標(biāo)體系在決勝全面小康、決戰(zhàn)脫貧攻堅(jiān)、全面建設(shè)現(xiàn)代化五大發(fā)展美好安徽中發(fā)揮實(shí)效。

1 當(dāng)前國內(nèi)干部培訓(xùn)效果評估指標(biāo)體系存在問題分析

1.1 評估的覆蓋面太窄

主要從學(xué)員收集評估數(shù)據(jù)，而學(xué)員單位、培訓(xùn)組織機(jī)構(gòu)、黨校很少涵蓋或參與，最終會使整個評估工作缺乏公正性和可信度，這可能會導(dǎo)致參訓(xùn)學(xué)員對評估結(jié)果不認(rèn)同，這樣以后同一單位或者同一系統(tǒng)的參訓(xùn)學(xué)員就會以敷衍了事的態(tài)度來參加評估或者干脆不參加，導(dǎo)致評估陷入惡性循環(huán)的嚴(yán)重后果。

1.2 評估意識相對缺失

大部分學(xué)員認(rèn)為干部培訓(xùn)效果評估沒有什么必要性，與之對應(yīng)的是學(xué)員所在單位對于評估的漠視。

1.3 指標(biāo)體系設(shè)計(jì)不完善

評估指標(biāo)體系主要針對教學(xué)管理情況進(jìn)行了測評，而對于學(xué)員回到工作崗位后產(chǎn)生的變化以及單位績效上的變化卻沒有涉及，評估深度不夠，不能真正反映培訓(xùn)的效果，對今后培訓(xùn)的借鑒作用也有限。同時，由于各指標(biāo)所占權(quán)重都是相同的，不能清晰的界定評估中各個方面的重要程度。所選取的一些指標(biāo)也不具有代表性，不能很好反映需要測評的內(nèi)容，還存在對同一內(nèi)容重復(fù)評估以及區(qū)分度較低的情況。

1.4 評估方法不規(guī)范

黨校對自身的評估由于缺乏監(jiān)督，很容易出現(xiàn)評估方和被評估方是同一撥人的狀況。同時由于評估組織者相關(guān)評估知識的缺失，使得評估難以深入，而只憑經(jīng)驗(yàn)來評估又削弱了評估的有效性。

1.5 評估反饋機(jī)制不健全

目前評估的反饋缺乏相應(yīng)的溝通機(jī)制，使得評估對單位、學(xué)員自身并沒有太多直接影響。對于單位來說只要按時按量完成調(diào)學(xué)任務(wù)就可以了，而對于學(xué)員來說，其個人的考核、職級晉升、薪酬提高與培訓(xùn)效果并沒有直接聯(lián)系，因此單位、學(xué)員的積極性和參與度就會越來越低。

2 安徽省直機(jī)關(guān)干部培訓(xùn)效果評估要求

黨校作為安徽直機(jī)關(guān)培養(yǎng)干部的主渠道，依據(jù)《中國共產(chǎn)黨黨校工作條例》、《關(guān)于加強(qiáng)和改進(jìn)新形勢下黨校工作的意見》和《2018-2022年安徽省干部教育培訓(xùn)規(guī)劃》安排，目前培訓(xùn)緊緊圍繞首要任務(wù)、重點(diǎn)內(nèi)容、提升質(zhì)量這根主線，緊扣增強(qiáng)干部“八種本領(lǐng)”。要想為安徽省的后續(xù)發(fā)展提供堅(jiān)強(qiáng)保障，結(jié)合安徽省直機(jī)關(guān)干部實(shí)際情況，對黨校干部培訓(xùn)評估應(yīng)從以習(xí)近平新時代中國特色社會主義思想為中心內(nèi)容的理論教育更加深入、黨性教育更加扎實(shí)、專業(yè)化能力培訓(xùn)更加精準(zhǔn)、知識培訓(xùn)更加有效、干部素質(zhì)培養(yǎng)的系統(tǒng)性持續(xù)性針對性有效性不斷增強(qiáng)這五方面展開，同時評估要堅(jiān)持定量與定性相結(jié)合，推進(jìn)干部教育培訓(xùn)機(jī)構(gòu)辦學(xué)質(zhì)量、項(xiàng)目質(zhì)量、課程質(zhì)量評估，健全共同參與的評估機(jī)制，繼續(xù)完善激勵約束機(jī)制，將培訓(xùn)效果評估的結(jié)果納入績效考核當(dāng)中。

3 安徽省直機(jī)關(guān)干部培訓(xùn)效果評估指標(biāo)體系的構(gòu)建

3.1 評估指標(biāo)體系構(gòu)建的原則

（1）客觀性：指標(biāo)體系必須立足實(shí)際、嚴(yán)格選取相應(yīng)指標(biāo)，同時在數(shù)據(jù)的收集整理和公式的運(yùn)用上做到理論依據(jù)與實(shí)際情況相統(tǒng)一。（2）可操作：指標(biāo)體系必須具備良好的操作性，為此務(wù)必使各指標(biāo)的數(shù)據(jù)能較為方便的獲取，使評估過程完整而清晰。（3）穩(wěn)中有變：由于評估工作的開展有一定的持續(xù)性和連貫性，必須增加一定的過程動態(tài)指標(biāo)，作為衡量培訓(xùn)效果的指標(biāo)體系只有進(jìn)行同步變動才能更好地發(fā)揮其效果。（4）獨(dú)立性：主要是指各指標(biāo)間不能出現(xiàn)相互重復(fù)和代替的情況，各指標(biāo)應(yīng)包含有各自獨(dú)立的內(nèi)容。

3.2 評估指標(biāo)的模型建立和分析方法 本研究在柯氏四級評估模型[1]的基礎(chǔ)上探索建立了一套干部培訓(xùn)效果四要素模型，從反應(yīng)、學(xué)習(xí)、行為和結(jié)果等四方面來評估培訓(xùn)效果。

反應(yīng)層考察的是學(xué)員的直觀感受，從培訓(xùn)目標(biāo)、用書、培訓(xùn)內(nèi)容、培訓(xùn)方法、授課態(tài)度、授課能力、授課效果、授課環(huán)境、拓展實(shí)踐、培訓(xùn)管理等10個方面進(jìn)行測評，能夠比較好地揭示培訓(xùn)的教學(xué)管理狀況。學(xué)習(xí)層考察的是學(xué)員對相關(guān)培訓(xùn)內(nèi)容的掌握程度，重點(diǎn)分析理論、觀念、思維等三方面的變化。行為層主要從德、能、勤、績、廉等五方面來考核學(xué)員培訓(xùn)后工作表現(xiàn)和業(yè)績上發(fā)生的變化。結(jié)果層考察的是培訓(xùn)給學(xué)員所在單位部門帶來的改變，重點(diǎn)分析組織凝聚力、部門公共服務(wù)、部門組織能力、部門形象等方面發(fā)生的變化。

在干部培訓(xùn)效果四要素模型的基礎(chǔ)上，結(jié)合國內(nèi)外研究和省直機(jī)關(guān)干部培訓(xùn)實(shí)際情況，初步選擇了88個指標(biāo)作為第一輪指標(biāo)體系。由于初選的指標(biāo)可能帶有較多的主觀因素，操作起來也比較復(fù)雜，這里使用隸屬度分析、鑒別力分析、相關(guān)性分析[2]進(jìn)行篩選。

隸屬度分析是就把預(yù)選指標(biāo)作為一個集合，其中的元素就是指標(biāo)，如果有Nk張問卷勾選第K個指標(biāo)Yk，問卷數(shù)為M，那么Yk的隸屬度為Rk=Nk/M。Rk越大說明Yk被越多的專家認(rèn)可，否則Yk要被刪除。鑒別力簡單來說就是獲得識別不同對象差別的一種手段。如果不同的培訓(xùn)班次在某指標(biāo)上得分相差無幾，則顯示該指標(biāo)的鑒別力較低，無法識別出不同班次培訓(xùn)效果的高低。鑒別力一般是通過變差系數(shù)來測定的。通過上面兩輪分析后，指標(biāo)間還可能存在較大程度的關(guān)聯(lián)性，這樣會破壞評估指標(biāo)的獨(dú)立性，因此接下來就需進(jìn)行相關(guān)性分析，對關(guān)聯(lián)性高的指標(biāo)予以刪除。

為了方便進(jìn)行數(shù)據(jù)分析，本研究從省直機(jī)關(guān)黨校、省委黨校、省內(nèi)大專院校、省公務(wù)員局等單位選擇了若干名專家和進(jìn)行培訓(xùn)管理工作的領(lǐng)導(dǎo)進(jìn)行了咨詢。將預(yù)選指標(biāo)制作成問卷，要求從中選擇44個最理想指標(biāo)。共發(fā)出問卷60份，全部回收，其中有效的為57份。同時，使用分層隨機(jī)取樣法，從2017年到2019年所有主體班中選擇5個培訓(xùn)班，用電子郵件發(fā)放問卷，請他們對預(yù)選指標(biāo)進(jìn)行勾選，有效回收400份問卷。對以上數(shù)據(jù)按上述方法篩選后最終構(gòu)成一個包含21個反應(yīng)層指標(biāo)，5個學(xué)習(xí)層指標(biāo)，11個行為層指標(biāo)，8個結(jié)果層指標(biāo)、4個領(lǐng)域?qū)樱ǚ磻?yīng)層、學(xué)習(xí)層、行為層、結(jié)果層）、1個目標(biāo)層（干部教育培訓(xùn)效果評估）的最終指標(biāo)體系。

3.3 評估指標(biāo)的權(quán)重確定

（1）由于不同指標(biāo)對于培訓(xùn)效果評估的重要性不同，有必要先確定權(quán)重。這里通過構(gòu)造判斷矩陣，用1-9比例標(biāo)度f見表1），分別對同一層的指標(biāo)間進(jìn)行兩兩判斷，得出判斷矩陣R={rjk）nxn，其中rjk=1（j=k），rjk=1/rkj，共得到五個矩陣。

3.4 評估方法選擇

（1）測試比對法：測試比對法[3]主要用來評估學(xué)員對所學(xué)知識的掌握程度，通常在培訓(xùn)前后對學(xué)員進(jìn)行兩次內(nèi)容基本相同的測評。為了避免當(dāng)中非培訓(xùn)因素的影響，一般設(shè)立一個對照組，與被對照組的測評結(jié)果進(jìn)行比較，將培訓(xùn)與學(xué)員對相關(guān)知識的掌握這兩者的聯(lián)系較為清晰的體現(xiàn)出來。

（2）密切人物考察法：想了解學(xué)員在單位的表現(xiàn)，最便捷的就是選擇與學(xué)員接觸較密切的單位領(lǐng)導(dǎo)和同事。為了避免同事之間可能存在競爭從而做出不客觀的評價，有的領(lǐng)導(dǎo)根據(jù)學(xué)員一時的表現(xiàn)主觀臆斷，為此采取從領(lǐng)導(dǎo)、同事、下屬和服務(wù)對象等多方面360度考察學(xué)員工作和服務(wù)上的變化[4]

（3）目標(biāo)比對法：目標(biāo)比對法是將學(xué)員應(yīng)掌握的知識、持有的工作態(tài)度和能力、組織應(yīng)達(dá)到的目標(biāo)列入培訓(xùn)目標(biāo)中，將培訓(xùn)后學(xué)員工作和單位績效上的變化與培訓(xùn)目標(biāo)相比對，以便找出培訓(xùn)需要進(jìn)一步加強(qiáng)的地方。這需要在培訓(xùn)前進(jìn)行良好的需求分析，了解各方面的訴求，以便使評估發(fā)揮實(shí)效。 （4）問卷法：使用問卷進(jìn)行評估既可以事先擬好備選答案讓學(xué)員選擇，也可以讓學(xué)員自由發(fā)表其意見建議。由于問卷不記名，可以獲得一些較真實(shí)的想法[5]。

（5）訪談法：訪談法相對問卷法更加靈活主動，調(diào)查者可以根據(jù)需要對調(diào)查提綱隨時進(jìn)行增加和刪除，對需要重點(diǎn)關(guān)注的環(huán)節(jié)花費(fèi)較多時間交流和了解，具體可以采用引出、導(dǎo)人、商討等多種方式[6]，以便獲得盡可能多的信息。

在整個評估過程中應(yīng)盡量多種方法結(jié)合使用，最大程度做到對培訓(xùn)效果的認(rèn)知與實(shí)際情況的有機(jī)統(tǒng)一。

4 黨校干部培訓(xùn)效果評估指標(biāo)體系的實(shí)施

（1）明確評估目標(biāo)。一般是由培訓(xùn)目標(biāo)是否得到實(shí)現(xiàn)、評估過程的可操作性、評估的回報(bào)是否超過投入、各評估主體是否盡職盡責(zé)等來確定，其中最關(guān)鍵的是培訓(xùn)目標(biāo)的實(shí)現(xiàn)。這項(xiàng)工作主要由培訓(xùn)組織機(jī)構(gòu)完成。

（2）做好評估方案。主要涉及評估參與方、評估手段、評估的具體操作步驟、人財(cái)物安排、最終報(bào)告的生成與使用。這項(xiàng)工作由培訓(xùn)組織機(jī)構(gòu)、專家評估小組、黨校共同完成。

（3）獲取評估指標(biāo)數(shù)據(jù)，其中培訓(xùn)組織機(jī)構(gòu)進(jìn)行全程的監(jiān)督和指導(dǎo)。評估各主體使用文獻(xiàn)查閱、訪談、問卷、測驗(yàn)、重點(diǎn)考察等方法來獲取數(shù)據(jù)，注意數(shù)據(jù)獲取的全面性。其中，反應(yīng)層獲取數(shù)據(jù)工作是在培訓(xùn)中進(jìn)行，由黨校和專家評估小組來具體操作，可采用調(diào)查問卷、訪談來從培訓(xùn)學(xué)員獲取對培訓(xùn)的直觀感受。學(xué)習(xí)層獲取數(shù)據(jù)工作在培訓(xùn)即將結(jié)束前實(shí)施，由黨校和專家評估小組共同來實(shí)施評估，同時從管理、教學(xué)以及服務(wù)質(zhì)量等方面展開對黨校工作的自我評估。在對黨校進(jìn)行自我評估時主要由培訓(xùn)組織機(jī)構(gòu)牽頭，規(guī)范相關(guān)紀(jì)律，黨校獨(dú)立評估小組具體操作，對分管培訓(xùn)的黨校領(lǐng)導(dǎo)、辦公室、人事處、教務(wù)處、后勤部門進(jìn)行考察，力求客觀透徹。專家評估小組配合黨校工作，對當(dāng)中的難點(diǎn)重點(diǎn)調(diào)查，對黨校調(diào)查結(jié)果中的疑點(diǎn)實(shí)施重新排查。在培訓(xùn)結(jié)束后，開始由學(xué)員單位、黨校、專家評估小組展開下一步評估工作。行為層評估主要獲取體現(xiàn)學(xué)員培訓(xùn)后工作表現(xiàn)和業(yè)績上變化的數(shù)據(jù)，可以采用密切人物考察、目標(biāo)比對、問卷、座談等方式來進(jìn)行。結(jié)果層評估主要獲取體現(xiàn)培訓(xùn)給學(xué)員單位帶來改變的數(shù)據(jù)，可采用目標(biāo)比較法、重點(diǎn)訪談以及問卷等方式。為了提高獲取學(xué)員和單位相關(guān)數(shù)據(jù)的可靠度和有效性，一般會進(jìn)行兩遍評估，第一遍選擇在培訓(xùn)后一個月內(nèi)進(jìn)行，借此使學(xué)員和單位熟悉評估流程并督促其按要求開展工作，第二遍在培訓(xùn)后三到五個月內(nèi)進(jìn)行，選擇這時進(jìn)行評估既可以及時掌握培訓(xùn)對學(xué)員和單位工作產(chǎn)生的效果和相關(guān)不足之處，可以在下次培訓(xùn)開始前及時采取整改措施，同時避免離培訓(xùn)結(jié)束時間太久、各種非培訓(xùn)因素?fù)诫s而導(dǎo)致測得數(shù)據(jù)與實(shí)際培訓(xùn)效果存在較大的偏差。

（4）整理并分析評估數(shù)據(jù)。評估數(shù)據(jù)因獲取方式不同體現(xiàn)形式也會不同，必須先按類別整理，對一些復(fù)雜數(shù)據(jù)的統(tǒng)計(jì)還需要使用圖表進(jìn)行篩選，同時在這一過程中還需要剔除無效和不可信的數(shù)據(jù)，最后基于前面提到的數(shù)據(jù)分析流程進(jìn)行分析以便得出結(jié)果。這項(xiàng)工作主要由專家評估小組和黨校共同負(fù)責(zé)實(shí)施。

（5）編制評估報(bào)告。編制報(bào)告的工作要十分慎重，相關(guān)結(jié)論的認(rèn)定要有確鑿的事實(shí)和數(shù)據(jù)支撐，要充分認(rèn)識本次評估報(bào)告可能給當(dāng)前培訓(xùn)和以后培訓(xùn)帶來的各種影響。編制評估報(bào)告要涵蓋相關(guān)背景介紹、培訓(xùn)計(jì)劃和實(shí)施情況的描述、評估步驟與落實(shí)情況、評估數(shù)據(jù)的處理、培訓(xùn)實(shí)施效果與目標(biāo)的比對、整改意見或有關(guān)建議。這項(xiàng)工作主要由專家評估小組負(fù)責(zé)，黨校配合工作。

（6）調(diào)整和完善培訓(xùn)方案。依據(jù)評估報(bào)告中提出的整改意見或有關(guān)建議，漏洞和不足在下一輪培訓(xùn)計(jì)劃的制定和實(shí)施中要及時地得到修改和完善。這項(xiàng)工作主要由培訓(xùn)組織機(jī)構(gòu)、黨校、專家評估小組共同負(fù)責(zé)實(shí)施。

（7）評估的結(jié)果反饋。評估的結(jié)果反饋主要著力點(diǎn)是本次培訓(xùn)的整體評估效果，并有針對性的附上有關(guān)學(xué)員的培訓(xùn)情況。結(jié)果反饋給學(xué)員讓其認(rèn)識到自己與其他學(xué)員的差距和不足，明確日后努力的方向，同時提出進(jìn)一步的培訓(xùn)需求并反饋給培訓(xùn)組織機(jī)構(gòu)。結(jié)果反饋給學(xué)員所在單位讓其認(rèn)識到培訓(xùn)對其內(nèi)部人員考核管理、外部公眾服務(wù)等眾多方面起到推動作用，讓他們更加透徹理解培訓(xùn)的意義，今后對培訓(xùn)經(jīng)費(fèi)的使用就更有計(jì)劃性和針對性，對培訓(xùn)效果評估工作也會更加重視和支持。

5 結(jié)論

本研究力求設(shè)計(jì)出一套能滿足安徽省直機(jī)關(guān)干部培訓(xùn)效果評估指標(biāo)體系，在設(shè)計(jì)層面和執(zhí)行層面盡量避免出現(xiàn)之前評估中出現(xiàn)的問題，但是為了讓制定出的指標(biāo)體系真正發(fā)揮實(shí)效，還得在今后的實(shí)踐中加大評估理論的研究，制定配套的法律法規(guī)，健全激勵約束機(jī)制，真正地讓培訓(xùn)落到實(shí)處，為省直機(jī)關(guān)干部建設(shè)現(xiàn)代化五大發(fā)展美好安徽發(fā)揮積極作用。

參考文獻(xiàn)：

[1]徐姌，高巖，新警師徒制培訓(xùn)效果評估模型研究——基于柯氏四級評估模型[J].行政與法，2019（10）：96-103.

[2]屈小妹，付康，龍青春，基于改進(jìn)模糊層次分析法的電力需求側(cè)管理效益綜合評價[J].湖北師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，39（4）：1-9.

[3]彭冬蘭，同異反評估法在公共部門人力資源培訓(xùn)效果評估中的應(yīng)用一以廣西區(qū)**培訓(xùn)中心為案例[D].廣西大學(xué)碩士論文。2006：9，22.

[4]黃燕燕.在職培訓(xùn)有效性的模糊綜合評價模型與應(yīng)用研究[D].華東師范大學(xué)，2019.

[5]吳海霞，易濤，易恒山.中醫(yī)藥院校本科畢業(yè)生就業(yè)質(zhì)量跟蹤調(diào)查[J].學(xué)校黨建與思想教育，2019（24）：53-54.

[6]胡麗，崔連斌，羅勝飛，數(shù)據(jù)收集中訪談法與問卷調(diào)查法分別要怎么做[J].杭州金融研修學(xué)院學(xué)報(bào)，2019（8）：30-32.

【通聯(lián)編輯：李雅琪】

作者簡介：馬浩淼（1986-），安徽合肥人，工程師，碩士學(xué)位，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)及軟件工程。