黃鐵牛?郭廣軍?潘建明?李鑫

摘 要 培訓評價組織是1+X證書制度實施的關(guān)鍵主體，當下培訓評價組織評價體系缺乏，有必要建立評價指標體系來加強對其監(jiān)督與評估。參考CIPP理論評價模式，運用文獻研究法、德爾菲法及層次分析法，構(gòu)建了由基礎(chǔ)評價、資源評價、實施評價和效果評價4個一級指標、12個二級指標、30個三級指標組成的培訓評價組織評價指標體系，并確定了指標的權(quán)重。提出加強培訓評價組織遴選、制訂評價指標體系及全面開展現(xiàn)有培訓評價組織監(jiān)管考核的培訓評價組織監(jiān)督管理策略，為職業(yè)教育培訓評價組織考核及監(jiān)督管理提供參考。

關(guān)鍵詞 1+X證書制度；培訓評價組織；評價指標體系；德爾菲法；層次分析法

中圖分類號 G717 文獻標識碼 A 文章編號 1008-3219（2023）11-0060-06

一、問題的提出

2019年1月，國務(wù)院印發(fā)《國家職業(yè)教育改革實施方案》，要求做優(yōu)培訓評價組織。隨后，教育部等四部門聯(lián)合印發(fā)的《關(guān)于在院校實施“學歷證書+若干職業(yè)技能等級證書”制度的試點方案》（以下簡稱《試點方案》）指出，培訓評價組織對1+X證書制度有效推進及成功實施起到關(guān)鍵作用。在1+X證書制度實施中，培訓評價組織承擔職業(yè)技能等級標準建設(shè)、師資隊伍建設(shè)、優(yōu)質(zhì)資源建設(shè)、證書管理體系建設(shè)等職責，是職業(yè)技能等級證書和有關(guān)標準建設(shè)的主體。

本研究的職業(yè)教育培訓評價組織是指教育部1+X證書制度試點的職業(yè)教育培訓評價組織，是“集行業(yè)組織、教育機構(gòu)及評價機構(gòu)的屬性為一體，具備凝聚行業(yè)企業(yè)、院校和考核評價機構(gòu)力量的多功能社會組織”[1]。當下培訓評價組織已成為學者們關(guān)注的熱點話題，但在1+X證書制度試點中培訓評價組織還存在一些問題，如證書標準社會認可度不高[2]、配套資源不完善[3]、組織行為不規(guī)范[4]等，究其原因是缺乏統(tǒng)一、客觀且具有針對性的培訓評價組織評價體系。眾多學者也提出，要加強培訓評價組織監(jiān)督管理[5]、制定培訓評價組織工作的績效評價細則[6]、健全培訓評價組織管理評價辦法[7]等。目前國內(nèi)有關(guān)1+X證書制度培訓評價組織的研究還存在不足：一是現(xiàn)有研究主要是采取定性研究方法，尚未對培訓評價組織的評價指標體系進行深入研究[8]；二是盡管已經(jīng)有少數(shù)的研究開始提出培訓評價組織的監(jiān)督管理及評價，但還未涉及到指標權(quán)重的定量研究。此外，從政策上看，截至目前，國家尚未出臺培訓評價組織評價指標體系。2020年6月，國家職業(yè)教育指導咨詢委員會發(fā)布的《職業(yè)教育培訓評價組織遴選與監(jiān)督管理辦法（試行）》（簡稱《管理辦法（試行）》）明確提出，要建立培訓評價組織評價指標體系。在這一背景下，如何引導培訓評價組織健康發(fā)展，如何評價培訓評價組織，評價內(nèi)容包括哪些等，成為當前1+X證書制度全面實施需要亟待解決的問題?；诖?，本研究以CIPP理論為基礎(chǔ)，運用德爾菲法和層次分析法，構(gòu)建培訓評價組織評價指標體系框架與主要指標，以期為1+X證書制度試點及正式實施提供新思路與方法。

二、研究設(shè)計與開展

（一）研究方法

1.文獻研究法

本研究依據(jù)《管理辦法（試行）》和《試點方案》等政策文件，通過中國知網(wǎng)、維普等數(shù)據(jù)庫以及相關(guān)網(wǎng)絡(luò)資源查閱國內(nèi)有關(guān)培訓評價組織的研究文獻及成果等。一方面，歸納分析相關(guān)研究文獻擬定了培訓評價組織的評價指標體系，梳理出培訓評價組織評價的基本維度，初步確定4個一級指標及相關(guān)內(nèi)容；另一方面，為調(diào)查表、訪談提綱的制訂以及指標體系的設(shè)計提供依據(jù)。

2.德爾菲法

邀請來自教育主管部門、職業(yè)院校和培訓評價組織的專家，采用電子郵件發(fā)送問卷的形式，就評價指標的選擇進行專家咨詢，確定其評價指標體系的各維度指標。

3.層次分析法

首先，采用9級評分方法，專家對每一個指標重要性進行兩兩比較評分，得出相對重要性；然后，列出兩兩比較矩陣；最后，通過軟件計算矩陣的一致性指標（CR值），如果CR<0.1，就可以判斷矩陣的層次排序有滿意的一致性[9]。本研究采用層次分析法計算指標權(quán)重。

（二）調(diào)研專家選取

本研究咨詢專家的確定需滿足三個基本條件之一：一是從事1+X證書制度試點工作的專家學者；二是主持1+X證書制度試點課題或項目的學者；三是公開發(fā)表過1+X證書制度主題論文的專家。所有專家不集中在一個單位，并能保證完成至少兩輪的咨詢。本研究按照三個基本條件，采用方便抽樣法，確定了來自長沙民政職業(yè)技術(shù)學院、永州職業(yè)技術(shù)學院和寧波職業(yè)技術(shù)學院等1+X證書制度試點職業(yè)院校的專家，江西省和遼寧省等1+X證書制度試點推進辦公室的專家，金職偉業(yè)集團有限公司和泰康珞珈（北京）科學技術(shù)研究院等培訓評價組織的負責人，共25位專家參加專家咨詢。

（三）研究過程

1.評價指標體系初步構(gòu)建

本研究參照培訓評價組織的前期相關(guān)研究成果，同時將相關(guān)政策文件要求作為重要參考，構(gòu)建出“1+X證書制度試點培訓評價組織初步評價指標”。評價指標的構(gòu)建主要基于以下三個方面考慮：一是根據(jù)培訓評價組織職能，考慮其基本要求；二是考慮培訓評價組織職業(yè)技能標準、資源建設(shè)及證書考核管理要求；三是考慮培訓評價組織助力職業(yè)院校人才培養(yǎng)和學生技能提升。課題組三次組織專家進行討論，最終確定由4個一級指標、14個二級指標和37個三級指標構(gòu)成第一輪咨詢問卷的指標體系。

2.專家咨詢

課題組問卷編制小組由6名成員組成。具有25年以上職業(yè)教育及研究經(jīng)驗的成員2人，有4名副教授和1名講師具有10年以上職業(yè)教育經(jīng)驗。問卷編制側(cè)重關(guān)注培訓評價組織在1+X證書制度實施中的職責，形成指標體系的專家咨詢問卷。

（1）第一輪專家咨詢

進行評價指標的必要性專家咨詢。本研究采用微信或電子郵件方式開展問卷咨詢，采用5級評分，一共邀請20位專家對各指標進行必要性評分，同時設(shè)置了“新增”和“刪除”二級指標項。回收有效問卷之后，對均值進行分析，保留了評分大于3的指標；對部分指標的描述進行了完善，對專家提出增加的指標進行補充。同時，對專家的熟悉程度進行5級評分，對指標評價的依據(jù)進行3級評分，依據(jù)評價來自1+X證書制度試點的實踐經(jīng)驗、邏輯推理、了解程度和直覺判斷四個方面。

（2）第二輪專家咨詢

評價指標的重要性評價。在第一輪專家咨詢基礎(chǔ)上修改評價指標，形成新的培訓評價組織評價指標體系，再次邀請22位專家，對新指標體系進行評分，采用5級評分對指標的重要性進行評價。

3.確定各級指標權(quán)重

運用層次分析法，邀請25位專家，采用兩兩比較9級進行評分，對評價指標體系的各級指標權(quán)重進行重要性評分，收集整理評分問卷，將數(shù)據(jù)導入軟件，計算各級指標的權(quán)重。

三、研究結(jié)果

（一）德爾菲法專家咨詢結(jié)果

1.專家基本情況

本研究的咨詢專家基本情況包括：性別、職稱是否參與1+X證書制度工作、從事職業(yè)教育年限及目前從事工作等。調(diào)研顯示，這些專家來自職業(yè)院校、教育主管部門和培訓評價組織，均參加了1+X證書制度試點工作，職稱為副高級及以上的占80%以上，從事職業(yè)教育20年以上的占80%以上，見表1。

2.專家咨詢表回收情況

第一輪專家咨詢發(fā)放22份問卷，剔除規(guī)律作答問卷，最終得到20份有效問卷，問卷有效回收率為90.9%；第二輪專家咨詢發(fā)放25份問卷，剔除規(guī)律作答問卷，最終得到22份有效問卷，問卷有效回收率為88%。問卷回收率可以反映出專家參與的積極程度高[10]。

3.專家權(quán)威程度

第一輪和第二輪專家判斷系數(shù)（Ca）分別為0.885和0.892，熟悉程度系數(shù)（Cs）分別為0.827和0.873，計算出專家權(quán)威系數(shù)（Cr）值是0.878和0.882，都在0.7～1.0之間，說明兩輪咨詢專家的權(quán)威程度均較高，咨詢結(jié)果可靠。

4.專家協(xié)調(diào)程度

“通過協(xié)調(diào)系數(shù)（W）來反映專家協(xié)調(diào)程度，協(xié)調(diào)系數(shù)為0～1之間，說明專家對指標重要性認知的一致性和集中程度，其值越大表示專家意見的一致性程度?！盵11]本研究兩輪專家咨詢的協(xié)調(diào)系數(shù)是0.285和0.364，檢驗P＜0.05，差異無顯著性，說明兩輪專家意見的協(xié)調(diào)程度都較好，意見趨于一致。專家協(xié)調(diào)程度見表2。

5.專家效度分析

參與本研究咨詢的專家都具有豐富的職業(yè)教育經(jīng)驗，在職業(yè)教育領(lǐng)域工作20年以上專家占80%以上，專家都對培訓評價組織非常熟悉，參與研究專家的專業(yè)水平和權(quán)威度都較高。

本研究有效問卷回收率都高于80%，說明專家參與咨詢的積極程度較高；權(quán)威系數(shù)Cr均值為0.875，說明專家咨詢結(jié)果可靠；協(xié)調(diào)系數(shù)大于0.4，說明專家意見趨于一致，咨詢結(jié)果可以使用。

（二）指標體系構(gòu)建

1.第一輪專家咨詢結(jié)果

首先，在文獻研究的基礎(chǔ)上，咨詢職業(yè)教育1+X證書制度試點相關(guān)專家，初步設(shè)定三級的培訓評價組織評價指標體系：一級指標4個、二級指標14個和三級指標37個。其次，邀請專家對初定的各項指標的重要性進行打分（1～5分）。最后，根據(jù)第一輪專家咨詢的數(shù)據(jù)統(tǒng)計對指標體系再進行部分修改：例如將“實訓條件”調(diào)整到“證書配套資源”，刪除了“協(xié)同創(chuàng)新”和“合格率”；修改了“專家團隊”評價內(nèi)容，“課程資源”評價內(nèi)容，增加了“職業(yè)教育師資培訓”。

2.第二輪專家咨詢結(jié)果

在第一輪指標的基礎(chǔ)上，將完善后的評價指標體系進行第二輪專家咨詢，經(jīng)過專家們多次溝通和修改，最終形成由4項一級指標、12項二級指標和30項三級指標組成的評價指標體系框架。

3.指標體系權(quán)重的確定

（1）建立層次結(jié)構(gòu)模型

本研究12項二級指標是指標體系的中間層要素，30個三級指標項指標體系的底層要素，以AHP分析軟件構(gòu)建評價指標的層次結(jié)構(gòu)模型，見圖1。

（2）構(gòu)建判斷矩形

通過AHP層次分析軟件導出高職院校1+X證書制度培訓評價組織評價指標的調(diào)查表，專家依據(jù)“1+X證書制度培訓評價組織評價指標體系關(guān)鍵要素解讀”說明和個人經(jīng)驗，從二級指標起逐層對各個指標進行兩兩比較，依次對相同層次中的兩個指標進行判斷并給予相對重要性的偏向。

（3）層次單排序及一致性檢驗

將22位專家的調(diào)查數(shù)據(jù)導入，使用AHP層次分析軟件自動修正后計算，先求出判斷矩陣，然后做30個指標的權(quán)重向量，矩陣CR＜0.1，符合一致性檢驗要求。

（4）層次總排序及一致性檢驗

首先滿足每一個一致性檢驗的層次的單排序完成，然后根據(jù)每一層指標的權(quán)重再計算三級指標對應(yīng)的二級指標組合權(quán)重，最后進行組合一致性檢驗。結(jié)果CR＝0.0782＜0.1，一致性檢驗符合，見表3。

（5）評價指標體系權(quán)重計算結(jié)果

通過AHP層次分析軟件計算評價指標的重要性排序，計算分配權(quán)重比和組合權(quán)重比。本研究通過德爾菲法和層次分析法構(gòu)建1+X證書制度職業(yè)教育培訓評價組織評價指標體系，具體指標及權(quán)重見表4。

四、結(jié)論與建議

（一）結(jié)論

1.評價指標體系各級指標的權(quán)重

從全局權(quán)重來看，在4個一級指標中，“基礎(chǔ)評價”所占權(quán)重最高，此結(jié)果表明，專家一致認為“基礎(chǔ)評價”在培訓評價組織評價指標體系中所起的作用最大，是培訓評價組織最重要的部分?！豆芾磙k法（試行）》指出，“優(yōu)先從合乎政策要求，且具備行業(yè)認證資質(zhì)的龍頭企業(yè)中選擇，將行業(yè)認證資質(zhì)作為其的重要遴選依據(jù)?！盵12]培訓評價組織具備組織資質(zhì)、培訓和標準開發(fā)及組織管理能力是其能否發(fā)揮職能的關(guān)鍵基礎(chǔ)。

在12個二級指標中，全局權(quán)重排在前四位的是“組織資質(zhì)”“證書標準”“培訓和標準開發(fā)”和“考核站點建設(shè)”，其中“組織資質(zhì)”所占權(quán)重最大?！豆芾磙k法（試行）》明確了培訓評價組織資質(zhì)要求，即“我國境內(nèi)依法登記注冊、有規(guī)范的管理制度、有獨立法人資質(zhì)的企業(yè)等主體”[13]。培訓評價組織必須具有相應(yīng)的資質(zhì)，得到政府授權(quán)或官方認證[14]。本研究也說明培訓評價組織的資質(zhì)、規(guī)模和資金投入是非常必要的，這是培訓評價組織開展證書制度的重要保障和前提基礎(chǔ)，在培訓評價組織遴選和培育中要作為重點基礎(chǔ)性條件考慮。其次是“證書標準”，這充分體現(xiàn)了職業(yè)技能等級標準是培訓評價的核心，是需要重視的核心指標。排在第三和第四位的是“培訓和標準開發(fā)”和“考核站點建設(shè)”?！芭嘤柡蜆藴书_發(fā)”能力是培訓評價組織的基本條件。因此，提升培訓評價組織自身的培訓和標準開發(fā)能力是1+X證書制度效力發(fā)揮的重要保障。有研究認為，“培訓評價組織的第三個職能是考核站點建設(shè)，其本身不建考核站點，而是在全國范圍內(nèi)統(tǒng)籌規(guī)劃考核站點建設(shè)”[15]。考核站點建設(shè)在一定程度上體現(xiàn)了培訓評價組織證書制度試點工作推進程度。

在30個三級指標中，從全局權(quán)重來看，排在第一位的是“登記注冊”，這與國家相關(guān)部門培訓評價組織的遴選要求一致，說明登記注冊的必要性。排在第二位的是“技能標準”，說明職業(yè)技能標準的重要性。排在第三位的是“規(guī)模資質(zhì)和資金實力”，說明規(guī)模和資金實力方面也是培訓組織的必要條件。排在第四位的是“培訓經(jīng)驗”，說明培訓評價組織應(yīng)該具有豐富的職業(yè)教育與培訓經(jīng)驗。這4個指標對應(yīng)的二級指標是“組織資質(zhì)”“證書標準”和“培訓和標準開發(fā)”，與二級指標的排序吻合。

2.評價指標體系構(gòu)建的全面性

本研究的指標體系選擇以專家訪談結(jié)果為依據(jù)，并對照《管理辦法（試行）》《試點方案》及《關(guān)于推進“1+X 證書”制度試點工作的指導意見》等相關(guān)政策的要求，所選指標包涵了培訓評價組織職責內(nèi)容，并結(jié)合證書制度試點的實踐經(jīng)驗，具有較好的覆蓋面。評價指標體系適用于教育主管部門對培訓評價組織管理和督查的綜合評價，也可用于培訓評價組織開展建設(shè)和自評，使用者可以通過對4個維度的取舍，分別對培訓評價組織具體內(nèi)容進行評價。

3.評價指標體系構(gòu)建的科學性

本研究充分考慮專家的代表性和權(quán)威性，邀請了職業(yè)院校專家、教育部門專家和培訓評價組織負責人，經(jīng)統(tǒng)計分析，專家積極系數(shù)、權(quán)威系數(shù)及協(xié)調(diào)程度均較好。在德爾菲法構(gòu)建指標體系一、二級指標中，多次討論和修改，同時也征求部分社會評價組織相關(guān)負責人意見，使構(gòu)建的指標體系客觀、科學，具有可操作性。評價指標權(quán)重系數(shù)上，通過層次分析法計算指標權(quán)重系數(shù)，并量化處理，減少了專家主觀判斷。

（二）建議

一是對照標準加強培訓評價組織遴選。一方面，加大培訓評價組織征集遴選力度。采取激勵措施和相關(guān)政策，引導、促進和支持優(yōu)質(zhì)企業(yè)、行業(yè)參與申報，為培訓評價組織遴選提供更多的優(yōu)質(zhì)選擇；另一方面，精準培訓評價組織遴選標準。對照《管理辦法（試行）》，嚴格把關(guān)培訓評價組織評價指標體系中的指標，吸收行業(yè)內(nèi)資質(zhì)優(yōu)、職業(yè)技能標準領(lǐng)先、培訓能力強的龍頭企業(yè)、代表性企業(yè)作為X證書的培訓評價組織。

二是制訂科學合理的評價指標體系。根據(jù)評價指標體系組織開展培訓評價組織的全面監(jiān)督和考核，建立健全1+X證書制度職業(yè)教育培訓評價組織定期考核制度，重點考核組織資質(zhì)、證書標準、資源建設(shè)、考核組織和師資培訓等，以確保證書制度高質(zhì)量實施。一方面，培育和評選出一批典型示范培訓評價組織，引領(lǐng)和推動培訓評價組織健康發(fā)展；另一方面，制訂培訓評價組織的退出制度，及時清退違規(guī)違紀的培訓評價組織，還要對考核不合格的培訓評價組織給予預(yù)警通報和強制清退。

三是全面開展現(xiàn)有培訓評價組織監(jiān)管考核。教育主管部門一方面要加強“遴選”和“培育”，另一方面要開展監(jiān)管和考核，規(guī)范培訓評價組織行為。組織培訓評價組織開展自評，接受有關(guān)部門及第三方評價，公布評定等級，及時清退不合格的培訓評價組織，促進職業(yè)教育培訓評價組織健康發(fā)展。

參 考 文 獻

[1]唐以志.1+X證書制度：新時代職業(yè)教育制度設(shè)計的創(chuàng)新[J].中國職業(yè)技術(shù)教育，2019（16）：5-11.

[2]張國民.1+X證書制度的價值意蘊、現(xiàn)實困境與優(yōu)化對策——基于職業(yè)教育“三個面向”的視角[J].中國高教研究，2022（4）：103-108.

[3]于進亮，魏光澤.技能型社會建設(shè)背景下1+X證書制度推進價值、問題及策略[J].職業(yè)技術(shù)教育，2021（31）：40-45.

[4]陳麗婷，李壽冰.1+X證書制度實施的意義與現(xiàn)實問題分析[J].職業(yè)技術(shù)教育，2020（27）：13-18.

[5]李壽冰，高艷芳，等.1+X證書制度試點下職業(yè)教育培訓評價組織建設(shè)與監(jiān)管[J].中國職業(yè)技術(shù)教育，2020（7）：50-53.

[6]鄧子云.1+X證書制度實施中的主要問題與對策建議[J].教育與職業(yè)，2021（5）：20-26.

[7]張曉剛.1+X證書制度試點工作存在的問題與對策[J].教育與職業(yè)，2021（15）：52-56.

[8]王偉偉，蔣世軍，等.職業(yè)教育培訓評價組織評價機制研究[J].中國職業(yè)技術(shù)教育，2022（23）：86-91.

[9]沈綺云，歐陽河，等.產(chǎn)教融合目標達成度評價指標體系構(gòu)建—基于德爾菲法和層次分析法的研究[J].高教探索，2021（12）：104-109.

[10]CIALKOWSKA M，ADAMOWSKI T，PIOTROWSKI P，et al. What is the Delphi method？ Strengths and shortcomings[J]. Psychiatria Polska，2008（1）：5-16.

[11]王媛.主題出版物傳播力評價指標體系構(gòu)建研究[J].科技與出版，2022（4）：120-125.

[12]趙堅.上海高職院校1+X證書制度試點：特點、舉措與推進思考[J].中國職業(yè)技術(shù)教育，2022（4）：75-79.

[13]劉晶，程紅艷.職業(yè)教育培訓評價組織政策價值：意蘊、偏離及回歸[J].職教論壇，2022（4）：5-12.

[14]彭振宇.技能型社會建設(shè)背景下我國職業(yè)資格證書制度改革前瞻——基于國際比較的視角[J].中國職業(yè)技術(shù)教育，2021（33）：11-16.

[15]鄒吉權(quán).基于1+X證書的“四方聯(lián)動、五鏈耦合”人才培養(yǎng)機制研究[J].成人教育，2021（4）：46-52.

Abstract? The evaluation organization of vocational education and training is the key subject of the implementation of the 1+X certificate system， and the evaluation system of training evaluation organization is lacking at present， it is necessary to establish an evaluation index system to strengthen its supervision and evaluation. With reference to the CIPP theoretical evaluation model， this study applied literature research， the Delphi method and the analytic hierarchy process， this paper constructs an evaluation index system of training evaluation organization， which is composed of 4 first-level indexes， 12 second-level indexes and 30 third-level indexes， including basic evaluation， resource evaluation， implementation evaluation and effect evaluation. This paper puts forward the supervision and management strategy of the 1+X certificate system for training evaluation， which is to strengthen the selection of training evaluation organizations according to the relevant standards， to establish a scientific and reasonable evaluation index system for training evaluation organizations， and to carry out the evaluation and evaluation of existing training evaluation organizations， and which can provide a reference for the assessment and supervision of the evaluation organization of vocational education and training.

Key words? 1+X certificate system; training evaluation organization; evaluation index system; the Delphi method; the analytic hierarchy

Author? Huang Teiniu， professor of Changsha Social Work College （Changsha 410004）; Guo Guangjun， professor of Changsha Social Work College; PhD candidate of Xiamen University; Pan Jianming， Hunan Jinganweiye Mother and Child Care Co. ， Ltd.; Li Xin， Changsha Social Work College