劉利波 李 卉 陳春鳳

海南省干部教育培訓項目質(zhì)量評估研究

劉利波 李 卉 陳春鳳

當前，海南省各級各類干部教育培訓機構整體辦學條件參差不齊，無法開展整體辦學水平評估。應抓好培訓項目質(zhì)量評估這個“牛鼻子”，以此提升干部教育培訓工作水平。推進干部教育培訓項目評估工作，應當強化干部教育培訓評估理念，構建項目質(zhì)量評估主體，明確項目質(zhì)量評估內(nèi)容，確定項目質(zhì)量評估指標，建立項目質(zhì)量評估機制，用好項目質(zhì)量評估結果。

海南；干部培訓；項目評估

開展干部教育培訓項目質(zhì)量評估研究是落實中央和省委關于干部教育培訓工作新精神、新要求的重要舉措，是提升干部教育培訓質(zhì)量的有效手段，也是加強干部教育培訓機構自身建設的客觀需要。開展干部教育培訓項目質(zhì)量評估研究，有利于對海南省的培訓項目進行考核測評，有利于優(yōu)化培訓設計，提高干部教育培訓的針對性和實效性,進一步引導培訓機構推動教學改革、提高辦學水平、加強自身建設。

一、國內(nèi)外干部教育培訓項目評估工作概況

按照目前國內(nèi)外通用的評估做法，干部教育培訓項目質(zhì)量評估主要是對培訓項目各個環(huán)節(jié)的評估，主要包括對培訓設計、培訓實施、培訓管理、培訓效果的評估，不涉及對培訓機構硬件的測評。

（一）從國外情況來看

歐美發(fā)達國家在公務員培訓項目評估方面的制度相對成熟和完善，其中較有代表性的是美國模式、法國模式、英國模式和加拿大模式。如，美國公務員培訓把培訓項目作為一種投資，注重對培訓過程進行評估，有一套完整的系統(tǒng)量化評估表，培訓效果評估注重對培訓后業(yè)績的評估，并注重分析培訓的收益和成本。法國公務員培訓注重評估過程的完整性，每個培訓機構都通過完善的培訓評估不斷提高培訓質(zhì)量，重視對培訓結果的應用，將培訓考評的結果如實記入培訓檔案，作為職務晉升、工資和職位調(diào)整的重要依據(jù)。英國公務員培訓建立了有效的培訓評估機制，實行培訓評估主體外部化，有完整的培訓評估循環(huán)系統(tǒng)，在培訓前、培訓中、培訓后分別進行評估，各環(huán)節(jié)相互銜接，相互結合。加拿大公務員培訓將量化評估貫穿于培訓項目始終，其評估框架包括三個部分：對培訓對象的需求進行評估、課程效率評估、課程效益評估等。

（二）從國內(nèi)情況來看

干部教育培訓項目評估工作起步較晚，2003年人力資源和社會保障部印發(fā)《關于進一步加強國家公務員培訓質(zhì)量評估工作的意見》后，我國才初步確定了干部教育培訓項目評估的主體、目標原則和相對完整的評估內(nèi)容，個別省市和系統(tǒng)才開始在干部教育培訓項目評估辦法和指標體系方面有了嘗試。另外，我國在這方面系統(tǒng)性、針對性的研究甚少，相關研究大多是基于國外理論，再根據(jù)中國國情和培訓評估實踐，對國外經(jīng)典模型進行各有重點的修正。目前積極探索開展這方面工作的省市有重慶、廣西、貴州、河南、江西、天津、上海、江蘇、甘肅等地。其中，重慶、廣西的干部教育培訓評估工作走在了全國前列。如，重慶出臺了《重慶市國家公務員培訓質(zhì)量評估辦法》，規(guī)定培訓項目從培訓方案、培訓實施、培訓保障和培訓效果等4個方面進行評估，設定評估指標20個，每項評估指標分優(yōu)、良、中、差4個等級。廣西先后出臺了《關于開展在職干部全員培訓評估工作的通知》《廣西在職干部全員培訓評估方案》等指導文件，將培訓項目評估作為經(jīng)常性工作來抓，其重點抓好三方面工作：一是對教學質(zhì)量進行雙向評估,主要是在黨校建立了主體班教學質(zhì)量評估制度，學員和教師互評；二是對項目實施過程中的組織管理進行動態(tài)評估，邊評邊改；三是對學習效果進行追蹤評估。

（三）從海南情況來看

近年來一直在積極采取各種措施推動干部教育培訓項目質(zhì)量評估工作：一是不斷完善培訓評估的方式方法。省委組織部先后成立督查組對部分市縣和省直單位進行實地抽查；派出跟班管理員參與培訓項目指導培訓工作；向?qū)W員發(fā)放“評估表”進行隨機檢查；督促市縣黨委組織部、有關培訓機構提交培訓情況報告，等等。二是在境外培訓項目、干部選學和省委黨校主體班次的評估工作中嘗試構建指標體系。如，在境外培訓項目評估方面，專門設計了供學員填寫的《海南省委組織部境外培訓班項目質(zhì)量評估表》（見下表），將培訓設計、培訓實施、培訓管理和培訓效果等4項作為評估內(nèi)容，并分設了11個評估指標。5個評價等級。

海南省委組織部境外培訓班項目質(zhì)量評估指標

在干部選學評估方面，面授類課程統(tǒng)一采用省委組織部制作的《海南省干部選學工作質(zhì)量評估表》，對教學質(zhì)量和培訓機構這兩方面進行評估。對教學質(zhì)量的評估包括理論闡述、聯(lián)系實際、講課藝術、課件制作等內(nèi)容，對培訓機構的評估包括課前準備、組織教學、師資水平、學員管理等內(nèi)容，均設4個評估等級。而網(wǎng)上選學則針對課程（課件）的質(zhì)量進行評價。在省委黨校主體班次培訓項目評估方面，每個主體培訓班次結束時給學員發(fā)放《教學滿意度學員測評表》，對每個課程進行綜合滿意度測評。三是開展與評估工作相關的課題研究。2012年海南省委黨校開展了評估市縣黨校的調(diào)研工作，形成了專題調(diào)研報告，報告中提出了市縣黨校辦學水平評估指標要目、等級標準、科研成果賦分等級、結果等級標準等評估指標體系。在這套評估指標中，一級指標、二級指標和主要觀測點，及其對應的參考權重（分值）一應俱全，等級標準則分設為3個。2013年臨高縣黨委組織部自發(fā)開展了培訓效果評估問題研究，設計出《臨高縣干部教育培訓效果評估指標體系（試行）》，含5個一級指標和21個二級指標，每個二級指標設4個等級，每一等級對應相應分值，評估結論分4種。總的來說，通過近幾年的探索和實踐，海南省干部教育培訓項目評估工作取得了一定的成效，評估內(nèi)容基本涵蓋了課程設置、教師授課水平、教學管理、教學效果等方面，有效地提升了海南省干部教育培訓的質(zhì)量和效益。

二、海南省干部教育培訓項目質(zhì)量評估存在的問題

（一）評估理念較滯后

一方面，培訓機構普遍存在評估理念落后，對通過培訓項目評估促進自身辦學水平提高的重要性認識不足，評估工作組織不科學、不嚴密，對評估結果的運用重視不夠。另一方面，各單位領導、干部教育工作者、參訓學員對培訓項目評估思想不夠重視，認識不到位。如，一些干部教育工作者認為培訓的流程就是：接受上級的培訓任務—制訂培訓計劃—實施培訓—頒發(fā)畢（結）業(yè)證書，而對培訓的評估及培訓效果沒有足夠的認識；一些學員對于培訓項目評估的態(tài)度比較模糊，認為培訓項目評估與自己關系不大，參與積極性不高。問卷調(diào)查顯示，近三年來有38%的學員參加培訓時沒有對項目進行評估，對項目設計進行評估的僅有13%，對教師授課、課程設置、培訓管理、培訓效果進行評估的不足五成。

（二）評估標準不科學

調(diào)研發(fā)現(xiàn)，干部教育培訓項目評估標準存在偏差。有的培訓機構、委托辦學單位或干部教育工作者錯誤地把投入多少作為評估標準，以培訓規(guī)模大小、培訓時間長短、培訓頻率、投入經(jīng)費多少為標準來衡量培訓情況，認為時間越長，規(guī)模越大，投入經(jīng)費和人力越多，班次越多，培訓成效就越好，而并非以培訓效果、參訓學員能力素質(zhì)的提升和組織績效的提升來衡量培訓效果；有的片面地把評估認同為對教學的評估，即只是對教學內(nèi)容、教學組織、教學方式的評估，甚至只是理解為學員對教師的滿意度評估，而忽視對學員的學習收獲、工作績效的提高及對組織推動作用的評估，忽視了教學對組織需求、崗位需求、個人需求滿足程度的評估。

（三）評估主體較單一

目前我省干部教育培訓評估主體主要有三個，分別是組織部門負責干部教育培訓工作的處（科）室（如，省委組織部干部培訓處）、培訓機構（如，省委黨校）和參訓學員。除此之外，學員所在單位、教師、第三方評估機構等其他相關人員未能參與到培訓評估工作中。單一的評估主體有其難以克服的局限性。一是評估主體的專業(yè)化程度不高。無論是培訓主管部門還是培訓機構，既沒有專門的評估領導機構，也缺乏專門人員、專項經(jīng)費，時間、精力等方面受到限制，開展評估工作不夠?qū)I(yè)化。二是評估信息收集不全面，評估結果的可信度與效度不高。評估方式單向運作，缺乏學員自我評估、教師評估、培訓機構內(nèi)部評估、社會評估，因此得到的信息較為片面。三是評估結果的公平性、公正性受質(zhì)疑。培訓機構自評，既是運動員、又是裁判員；一些評估人員出于自身利益考慮，輕描評估結果的消極方面，重墨積極方面；一些學員也基于面子或者其他考慮，在評估過程中會給予教師、課程高于實際的打分。

（四）評估內(nèi)容不全面

經(jīng)調(diào)研，海南省委黨校和海南省委組織部組織實施的各類培訓項目中，普遍開展了課程評估，了解教師的教學態(tài)度、教學內(nèi)容、教學方法、教學效果等情況，但是對教學計劃設計、計劃實施的程度、教輔資料、設備設施、教學環(huán)境的評估幾近缺失。一是沒有對培訓需求調(diào)研作評估。對于是否開展了培訓需求調(diào)研工作，未納入評估范疇，調(diào)研內(nèi)容是否全面、方式是否科學更無從談及。二是沒有對培訓計劃設計作評估。好的設計是成功的一半。對于教學目標設定是否合理、課程安排是否突出針對性、培訓資料選擇是否得當、培訓方式方法選擇是否科學、學制長短是否妥當?shù)榷紱]有評估。三是沒有對培訓管理者的管理作評估。沒有對班主任、項目負責人、跟班組織員、教學教務負責人等培訓項目管理人員的工作情況作評估。四是對培訓效果評估不全面。如，在培訓中，沒有對學員的學習狀況、分組討論的效果進行評估。培訓結束后，沒有對學員所提交的心得體會、班級總結報告的質(zhì)量進行評估，沒有對學員返回工作單位后的學用結合情況進行評估。另外，也沒有對學員所在單位對學員參訓效果的評價進行評估。

（五）指標體系不完備

目前，我國尚未建立起一套適用于干部教育培訓的完整的評估指標體系。海南省開展干部教育培訓項目評估時運用的評估指標，存在兩方面的突出問題：一是評估指標操作性不強。指標體系粗放、簡單、不完整，以課堂滿意度評價為主，對培訓需求、培訓設計和培訓管理的評估缺失。指標體系無法覆蓋全部教學環(huán)節(jié)，反饋信息有限，可操作性不強。二是評估指標科學性不足。定性指標多，定量指標少，“長官意志”起重要作用，主觀色彩濃重。在權重分值設置上靠經(jīng)驗、拍腦袋，沒有運用統(tǒng)計學、模糊數(shù)學、層次分析等方法做數(shù)理支撐。

（六）評估制度不健全

科學完善的評估制度是有效開展干部教育培訓評估工作的重要保證。與國外相比，我國干部教育培訓項目質(zhì)量評估還處于探索發(fā)展階段，沒有明確的規(guī)章制度或相應的辦法文件，對評估的周期、程序、使用方法等都缺乏指導性意見。盡管《2013-2017年全國干部教育培訓規(guī)劃》《公務員法》等中央文件都對干部教育培訓評估作了規(guī)定，但都較為宏觀，不利于具體操作。以《干部教育培訓工作條例》為例，條文中分別對培訓機構評估、培訓項目評估、課堂評估的評估主體、評估內(nèi)容、結果運用等作了簡要規(guī)定，但未對評估目標、評估原則、評估對象、評估內(nèi)容、評估流程、評估方法、評估工具作相應的規(guī)范或細則說明。從海南省實踐來看，較少有地方建立干部教育培訓評估的配套規(guī)章制度，沒有相應的經(jīng)費保障制度、獎勵激勵制度，尤其是評估結果對培訓機構評優(yōu)、整改沒有直接聯(lián)系，對相關責任人的職級晉升、轉(zhuǎn)崗、薪酬待遇沒有直接聯(lián)系。

（七）評估結果運用不到位

當前，海南省干部教育培訓評估結果沒有得到很好的運用，不能有效發(fā)揮對學員、教師、培訓機構等主體的推動、督導作用。一是評估結果不分析、不反饋。沒有對評估結果進行有效分析、撰寫評估報告，也沒有選用適當?shù)男问焦?，沒有及時向干部教育培訓主管部門、教師、學員、學員所在單位進行反饋，導致干部教育培訓主管部門不能掌握培訓效果、教師不知道授課效果、學員及所在單位不知道學習效果，而是將評估結果束之高閣。二是評估結果與改進工作聯(lián)系不夠緊密。對評估中發(fā)現(xiàn)的問題，沒能在以后的培訓項目設計、教學、管理、考核和后勤保障等環(huán)節(jié)中加以改進，培訓機構沒有認真將有關評估結果作為加強和改進自身建設、提高辦學能力的依據(jù)。三是評估結果沒有與干部的激勵獎懲掛鉤。國外公務員培訓評估多將評估結果與晉升、錄用、獎懲等聯(lián)系起來。例如美國規(guī)定，公務員晉升之前必須進行兩周培訓，評估合格方可晉升。法國規(guī)定，按照學習成績排名，由學員自己選擇公職部門提供的空缺崗位。培訓項目的評估結果與干部的考核、評優(yōu)、工資待遇、晉升等人事管理脫節(jié)，會導致大家對參與評估的積極性不高，影響評估結果的真實性和有效性。

三、加強海南省干部教育培訓項目質(zhì)量評估的對策

針對以上情況，構建海南省科學、合理、有效的干部教育培訓項目質(zhì)量評估體系要著力解決“為啥評，誰來評，評什么，怎樣評，如何用”等方面的問題。

（一）強化干部教育培訓評估理念

認識是行動的基礎和先導。做好干部教育培訓項目質(zhì)量評估工作，必須要有正確的工作態(tài)度和理念，要通過培訓、會議、文件、考評等多種途徑加強和提升認識。一是要充分認識到評估工作的重要性。無論是培訓機構還是主管部門都要認識到干部教育培訓項目評估既是科學管理培訓項目的必要手段，也是提升培訓效果、適應新形勢發(fā)展的客觀要求，更是提高培訓項目質(zhì)量的重要途徑。二是要認識到開展培訓項目質(zhì)量評估的必要性。開展培訓項目質(zhì)量評估，不僅有利于干部教育培訓主管部門宏觀統(tǒng)籌培訓工作，還可以增強培訓機構的工作動力和提升學員的學習效果。各級干部教育培訓主管部門和培訓機構都應予以高度重視，將干部教育培訓項目評估落到實處。

（二）構建項目質(zhì)量評估主體

“誰來評”就是要科學界定評估的主體，要保證項目質(zhì)量評估公正、客觀，就應該構建多元的評估主體。一是構建“自評”的評估主體。培訓機構可以組建有分管領導和相關部門負責人為主體的評估工作領導小組，對照評估要求、內(nèi)容、指標開展自評，查找問題，改進不足。二是構建“他評”的評估主體。培訓機構可邀請非本地區(qū)、非本單位具有干部教育培訓評估經(jīng)驗的專家組成評估組，進行檢查評估，也可以由各級干部教育培訓主管部門邀請第三方評估機構定期或不定期對培訓項目進行評估。三是構建“上評”的評估主體。由省委組織部牽頭，邀請各級黨校、行政學院、有關培訓機構的專家成立海南省干部教育培訓項目評估工作指導委員會，負責組織、指導、協(xié)調(diào)、監(jiān)督、檢查全省干部教育培訓項目質(zhì)量評估工作。各市縣黨委組織部也可參照此做法，成立本級干部教育培訓項目評估工作指導委員會。構建多元化的評估主體，既有利于培訓機構及時查找整改問題，又有利于培訓主管部門有效地加強監(jiān)督管理。

（三）明確項目質(zhì)量評估內(nèi)容

“評什么”非常關鍵，就好像“指揮棒”“方向標”，會對培訓機構起到至關重要的指導、約束、監(jiān)督作用。從培訓項目的實際運作流程考慮，課題組認為應當按“培訓設計、培訓實施、培訓管理、培訓效果”四個大項分類來設計評估內(nèi)容，并在此基礎上設計“需求調(diào)研、培訓計劃、經(jīng)費保障、教學內(nèi)容、授課教師、培訓資料、授課方式方法、教學設施設備、學員管理、項目管理、教學信息管理、學員學習成果、學員滿意度、教師滿意度、學員所在單位滿意度”等15項評估內(nèi)容。這些評估內(nèi)容不僅覆蓋培訓的“教、學、管”全過程，而且是培訓過程中的關鍵環(huán)節(jié)，可以真實地反映培訓項目的全貌和質(zhì)量等級。

（四）確定項目質(zhì)量評估指標

指標是量化的標準，評估指標體系的設計是“評什么”的具體化，是評估的參考和依據(jù)，可以說是整個評估的重中之重。對照培訓項目要評估的內(nèi)容，可以將“培訓設計、培訓實施、培訓管理、培訓效果”作為一級評估指標，在此基礎上分解出二級評估指標，并列出各項指標評估的要點和比分權重，將指標進行分解、細化。設計整體指標時，要著重考慮培訓設計是否量身打造、合理可行，培訓實施是否規(guī)范嚴謹、組織嚴密，培訓管理是否科學有序、嚴格到位，培訓效果是否達到預期目的，等等。

（五）建立項目質(zhì)量評估機制

“怎么評”決定了培訓項目評估工作開展是否能夠正常、良性運轉(zhuǎn)，是否能夠達到預期的目標和效果。從工作機制上看，開展干部教育培訓項目評估應抓好以下幾項工作：一是正式出臺評估辦法。如，可以研究制訂《海南省干部教育培訓項目質(zhì)量評估實施辦法》，對評估目的、評估范圍、評估原則、評估時間、評估內(nèi)容、評估組織、評估實施、評估結果等要素作出詳細具體、易操作、實用性強的規(guī)定，為評估工作開展提供制度保障。二是組建評估隊伍。根據(jù)上述提到的“自評、他評、上評”不同評估主體，由各級培訓主管部門、培訓機構、委托辦班單位等組建評估團隊，培訓評估骨干，承擔評估工作。三是開發(fā)評估軟件。參照《海南干部選拔任用記實監(jiān)督系統(tǒng)》的做法，運用信息化技術創(chuàng)新評估手段，解決評估信息收集難的問題，擴大評估的覆蓋面，以便了解全省干部教育培訓有關信息，加強工作指導。四是保障評估經(jīng)費。建議各級培訓主管部門和培訓機構應該將評估工作經(jīng)費納入培訓經(jīng)費的總盤子，列入年度財政預算，予以保障。

（六）用好項目質(zhì)量評估結果

評估是手段，其目的是改進工作、確保質(zhì)量。因此，必須解決好“如何用”的問題。課題組認為，為有效運用評估結果，應建立以下幾項制度：一是結果反饋制度。無論是“自評”“他評”還是“上評”，評估結果都應該以適當?shù)姆绞皆谝欢ǚ秶鷥?nèi)反饋，必要時可以下發(fā)文件進行通報，促進培訓機構和相關部門就存在問題進行整改。二是整改幫扶制度。干部教育培訓主管部門要認真指導培訓機構研究評估結果，對好的方面予以肯定，對存在的問題要分析研究，提出整改措施。必要時可以在培訓機構之間開展結對幫扶活動，促進共同提高，提升整體培訓質(zhì)量。三是激勵約束機制。干部教育培訓主管部門可以依據(jù)評估結果，對培訓質(zhì)量較高的培訓機構給予不同等次的獎勵，此外還可以在培訓任務分配、資金劃撥、科研立項、教師培訓等方面給予優(yōu)先政策。培訓機構內(nèi)部也可以將各個培訓項目的評估結果，作為有關干部和教師年度考評、選拔任用、優(yōu)秀評比的參考依據(jù)。四是建立回評督查制度。干部教育培訓主管部門對評估中發(fā)現(xiàn)的問題，要責令培訓機構及相關部門限期整改。對評估成績較差、問題較多的培訓機構要跟蹤了解整改情況，必要時要“回頭看”，進行二次評估；對存在問題依舊不改的，可以采用“約談、督辦、通報”等方式促其加大整改力度，確實整改不到位的，采取相應的措施取消其作為干部教育培訓基地的資格。

[1]易定紅，等.干部教育培訓質(zhì)量評估研究[M].北京：科學出版社，2014.

[2]范柏乃，等.干部教育培訓績效的評估指標、影響因素及優(yōu)化路徑研究[M].杭州：浙江大學出版社，2012.

[3]人事部.關于進一步加強國家公務員培訓質(zhì)量評估工作的意見 [EB/OL].人事部網(wǎng)站，2003-04-30.

[4]劉彥琴，楊枝華，張一爾.干部教育培訓項目評估的研究和思考[J].繼續(xù)教育，2016（1）.

[5]宋今，李德，熊衛(wèi)強，吳寶金，劉根法，丁進峰.干部教育培訓項目管理存在的問題及對策研究[J].廣西社會主義學院學報，2015（4）.

[6]肖小華.建立健全干部教育培訓效果評估機制[J].探求，2013（6）.

[7]中國浦東干部學院培訓班課題組，楊建，劉彥武.努力提高干部教育培訓的針對性和實效性[J].中共四川省委省級機關黨校學報，2013（2）.

[8]陳燕軍，趙煒林.關于干部培訓評估質(zhì)量機制與績效評價的思考[J].經(jīng)濟師，2012(7).

[9]杜保友，孔祥利.國外公務員培訓質(zhì)量評估制度的經(jīng)驗借鑒與啟示：以美國、加拿大、英國、法國和新加坡五國為例 [J].湖北行政學院學報，2011(4).

[10]史昭樂.貴州省完善干部教育培訓質(zhì)量評估機制的思考[J].貴陽市委黨校學報，2011(2).

[11]陳琦.顧客滿意度在干部教育培訓績效評估中的運用[J].云南行政學院學報，2010(6).

[12]陳琦.定量分析法在干部教育培訓評估中的運用[J].繼續(xù)教育，2010(Z1).

[13]馬娟.國外公務員培訓質(zhì)量評估的主要做法及借鑒[J].當代教育理論與實踐，2010(5).

[14]周志平.干部教育培訓教學質(zhì)量評估研究[J].中國浦東干部學院學報，2009(1).

[15]王學用.我國干部教育培訓項目評估研究：以無錫新區(qū)為例[D].上海：復旦大學，2009.

[16]肖小華.建立和完善干部教育培訓的外部評估體系[J].桂海論叢，2008(5).

[17]肖小華.當前干部教育培訓評估中存在的問題及對策 [J].山東省農(nóng)業(yè)管理干部學院學報，2008（4）.

G527

A

1004-700X（2017）05-0071-06

2015年海南省哲學社會科學規(guī)劃課題“海南省干部教育培訓項目(班次)質(zhì)量評估研究”(HNSKYB15-29)階段性研究成果

(作者單位：中共海南省委黨校)