孫鈺林?趙益樞

摘 要 “學(xué)歷證書+若干職業(yè)技能等級(jí)證書”是我國(guó)職業(yè)教育改革的重要目標(biāo)，技能評(píng)價(jià)的效度是影響職業(yè)技能等級(jí)證書質(zhì)量的重要因素。以教育部等主辦的全國(guó)職業(yè)院校技能大賽為平臺(tái)，選擇養(yǎng)老服務(wù)技能賽項(xiàng)，運(yùn)用COMET能力測(cè)評(píng)對(duì)考生開(kāi)展技能評(píng)價(jià)后，對(duì)其就業(yè)或頂崗實(shí)習(xí)中短期內(nèi)的工作績(jī)效進(jìn)行跟蹤調(diào)查，研究發(fā)現(xiàn)：COMET能力測(cè)評(píng)成績(jī)與工作績(jī)效評(píng)估結(jié)果間的關(guān)系趨向強(qiáng)相關(guān);COMET測(cè)評(píng)三個(gè)能力層級(jí)中，過(guò)程性能力與工作績(jī)效的關(guān)聯(lián)度最高;COMET測(cè)評(píng)的八個(gè)一級(jí)指標(biāo)中，除社會(huì)接受度外，其余指標(biāo)均與工作績(jī)效呈正相關(guān)。據(jù)此建議，在研究上加強(qiáng)對(duì)X證書的能力模型和測(cè)評(píng)模型的分析;在實(shí)踐中應(yīng)以典型工作任務(wù)為依據(jù)，靈活運(yùn)用多元化的評(píng)價(jià)方式，強(qiáng)化技能評(píng)價(jià)結(jié)果與學(xué)分銀行制度的銜接。

關(guān)鍵詞 職業(yè)教育;技能評(píng)價(jià);COMET能力測(cè)評(píng);工作績(jī)效;預(yù)測(cè)效度

中圖分類號(hào) G719.2 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1008-3219（2022）13-0020-06

作者簡(jiǎn)介

孫鈺林（1981- ），男，北京社會(huì)管理職業(yè)學(xué)院副教授，民政部培訓(xùn)中心培訓(xùn)部主任，職業(yè)技術(shù)教育學(xué)博士，研究方向：職業(yè)能力測(cè)評(píng)，職業(yè)競(jìng)賽（北京，102600）;趙益樞（1999- ），女，北京師范大學(xué)教育學(xué)部碩士研究生，研究方向：職業(yè)能力測(cè)評(píng)

基金項(xiàng)目

2018年北京市職業(yè)教育教學(xué)改革項(xiàng)目“學(xué)生技能競(jìng)賽引領(lǐng)產(chǎn)教融合機(jī)制研究”（2018-135）;北京市教育科學(xué)“十三五”規(guī)劃優(yōu)先關(guān)注課題“‘1+X證書’制度建設(shè)中技能評(píng)價(jià)法研究”成果（BDEA2020009），主持人：孫鈺林

一、問(wèn)題提出

2019年1月，國(guó)務(wù)院印發(fā)《國(guó)家職業(yè)教育改革實(shí)施方案》（國(guó)發(fā)[2019]4號(hào)），提出“啟動(dòng)‘學(xué)歷證書+若干職業(yè)技能等級(jí)證書’制度試點(diǎn)（以下簡(jiǎn)稱“1+X”證書制度試點(diǎn)）工作”，這是對(duì)“學(xué)歷證書+職業(yè)資格證書”的“雙證書制度”的創(chuàng)新?！?+X”證書制度被看作是“引領(lǐng)創(chuàng)新培養(yǎng)培訓(xùn)模式和評(píng)價(jià)模式，深化教師、教材、教法改革”的手段[1]，被賦予廣泛意義。2020年10月，中共中央、國(guó)務(wù)院印發(fā)的《深化新時(shí)代教育評(píng)價(jià)改革總體方案》指出，要“完善高等職業(yè)教育‘文化素質(zhì)+職業(yè)技能’考試招生辦法”[2]。這些國(guó)家層面的制度設(shè)計(jì)為開(kāi)展學(xué)生職業(yè)技能評(píng)價(jià)提供了政策依據(jù)，同時(shí)也帶來(lái)了挑戰(zhàn)。

被市場(chǎng)和社會(huì)認(rèn)可的現(xiàn)實(shí)需求對(duì)技能評(píng)價(jià)效度提出新要求?！奥殬I(yè)技能等級(jí)證書”（以下簡(jiǎn)稱“X”證書）制度替代傳統(tǒng)“職業(yè)資格證書”，根本原因在于職業(yè)資格證書無(wú)法全面、有效地反映用人單位對(duì)技術(shù)技能人才的職業(yè)能力要求。證書頒發(fā)的依據(jù)是技能評(píng)價(jià)結(jié)果，若評(píng)價(jià)效度不高，則證書所反映的勞動(dòng)力市場(chǎng)信號(hào)便難以發(fā)揮預(yù)期的指示作用，從而面臨被詬病和淘汰的宿命。提高職業(yè)技能評(píng)價(jià)的質(zhì)量和“X”證書技能評(píng)價(jià)水平的準(zhǔn)確度，可以緩解結(jié)構(gòu)性就業(yè)矛盾。但是，當(dāng)前支持證書“技能評(píng)價(jià)模式”的系統(tǒng)性研究還很匱乏。

設(shè)計(jì)可持續(xù)發(fā)展的技能等級(jí)證書需要實(shí)證基礎(chǔ)。目前，“1+X”證書制度試點(diǎn)的推廣主要依靠行政力量的引導(dǎo)和支持，如與院校財(cái)政經(jīng)費(fèi)、“雙高計(jì)劃”的選拔指標(biāo)等掛鉤。“X”證書制度試點(diǎn)階段的各類支持政策不會(huì)無(wú)限期延續(xù)，失去扶植政策支持后該如何依托自身實(shí)現(xiàn)可持續(xù)發(fā)展，是亟待解決的難題。為提高“X”證書的認(rèn)可度，迫切需要相關(guān)研究為證實(shí)其有效性提供依據(jù)。

本研究以教育部等部門主辦的全國(guó)職業(yè)院校技能大賽為平臺(tái)，選擇養(yǎng)老服務(wù)技能賽項(xiàng)，探究COMET能力測(cè)評(píng)這一技能評(píng)價(jià)方法對(duì)被試者工作績(jī)效水平的預(yù)測(cè)效度，以期在職業(yè)院校、技能評(píng)價(jià)組織和用人單位之間建立有效的人才培養(yǎng)信號(hào)，完善“人才培養(yǎng)—考核評(píng)價(jià)—選人用人”的人才培養(yǎng)鏈。

二、研究設(shè)計(jì)

（一）研究問(wèn)題與研究假設(shè)

“X”證書的發(fā)放需要經(jīng)過(guò)技能評(píng)價(jià)，評(píng)價(jià)根據(jù)學(xué)習(xí)成果的認(rèn)定會(huì)出具相應(yīng)的結(jié)果證明。結(jié)果證明的效度，取決于結(jié)果證明與持證者未來(lái)實(shí)際工作績(jī)效的相關(guān)性。評(píng)價(jià)的預(yù)測(cè)效度決定著證書的質(zhì)量，證書的質(zhì)量是職教改革的重要問(wèn)題。當(dāng)前關(guān)于技能評(píng)價(jià)的研究中，缺少對(duì)評(píng)價(jià)方式預(yù)測(cè)效度的研究，基于此，本研究的核心問(wèn)題在于探究“技能評(píng)價(jià)的預(yù)測(cè)效度問(wèn)題”。對(duì)比應(yīng)用較為廣泛的三種職業(yè)能力測(cè)評(píng)工具（ASCOT、COMET 職業(yè)能力測(cè)評(píng)和行政職業(yè)能力測(cè)驗(yàn)）后，考慮到測(cè)試任務(wù)綜合性、領(lǐng)域特殊性等因素，選用COMET職業(yè)能力測(cè)評(píng)方案對(duì)其預(yù)測(cè)效度進(jìn)行研究。

COMET大規(guī)模職業(yè)能力測(cè)評(píng)項(xiàng)目是英文“Competence Measurement”（“職業(yè)能力測(cè)評(píng)”或“職業(yè)能力診斷”）的簡(jiǎn)稱，發(fā)源于德國(guó)，是一個(gè)職業(yè)教育的國(guó)際比較研究項(xiàng)目，在多個(gè)國(guó)家開(kāi)展了相關(guān)的測(cè)評(píng)活動(dòng)，其內(nèi)涵相當(dāng)于職業(yè)教育的PISA。它采用大規(guī)模能力診斷（large-scale diagnostics）方法，對(duì)被測(cè)試者的職業(yè)能力、職業(yè)承諾和職業(yè)認(rèn)同感發(fā)展情況進(jìn)行評(píng)價(jià)。COMET能力模型和測(cè)評(píng)模型憑借獨(dú)特的優(yōu)勢(shì)與特征得到廣泛認(rèn)同，結(jié)構(gòu)效度已得到驗(yàn)證[3][4]?；趶某鯇W(xué)者到專家的能力模型，在不同國(guó)家的不同專業(yè)開(kāi)展了測(cè)評(píng)活動(dòng)，除了針對(duì)職業(yè)教育學(xué)生的測(cè)評(píng)之外，也擴(kuò)展到了對(duì)職業(yè)教育教師職業(yè)能力的測(cè)評(píng)。

COMET能力測(cè)評(píng)充分反映了設(shè)計(jì)導(dǎo)向、工作過(guò)程知識(shí)等當(dāng)代職業(yè)教育理念，從“職業(yè)效度”的視角評(píng)價(jià)研究對(duì)象的職業(yè)能力，建構(gòu)有機(jī)綜合的能力模型，與職業(yè)教育培養(yǎng)綜合職業(yè)能力的目標(biāo)相契合。經(jīng)濟(jì)社會(huì)發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級(jí)對(duì)人才技能提出了差異化、多樣化的要求，在流水線作業(yè)的技術(shù)和生產(chǎn)組織方式下，員工的外顯性動(dòng)作技能對(duì)工作績(jī)效的影響較大;而在現(xiàn)行更加突出人性化的生產(chǎn)組織方式下，僅靠動(dòng)作能力并不能直接帶來(lái)高績(jī)效，人才的高工作績(jī)效與其綜合職業(yè)能力掛鉤，而非與某個(gè)單項(xiàng)操作的技能水平相關(guān)。綜合職業(yè)能力是個(gè)體在真實(shí)工作情境中整體化地解決綜合性專業(yè)問(wèn)題的能力，超越了職業(yè)功能性要求，強(qiáng)調(diào)綜合素質(zhì)和發(fā)展?jié)撃躘5]。綜合職業(yè)能力與“工作”息息相關(guān)，顯然，對(duì)工作績(jī)效的考察理應(yīng)蘊(yùn)含在COMET能力測(cè)評(píng)中。基于此，本研究將工作績(jī)效與COMET能力測(cè)評(píng)結(jié)果之間的相關(guān)性作為預(yù)測(cè)效度的效標(biāo)，提出核心假設(shè)：COMET能力測(cè)評(píng)成績(jī)與學(xué)習(xí)者的工作績(jī)效呈正相關(guān)。研究重點(diǎn)回應(yīng)三個(gè)問(wèn)題：一是探索COMET能力測(cè)評(píng)與工作績(jī)效之間的相關(guān)程度;二是在功能性能力、過(guò)程性能力和設(shè)計(jì)能力三個(gè)能力層級(jí)中，探究COMET能力測(cè)評(píng)中哪些能力層級(jí)與工作績(jī)效相關(guān)性更高;三是分析COMET能力測(cè)評(píng)中八個(gè)一級(jí)指標(biāo)對(duì)工作績(jī)效的預(yù)測(cè)效度。

（二）研究對(duì)象

依托2018年和2019年全國(guó)職業(yè)院校技能大賽養(yǎng)老服務(wù)技能賽項(xiàng)，采用整群抽樣的方法，對(duì)所有參賽選手（共計(jì)147名，其中2018年64名，2019年83名）進(jìn)行研究。研究對(duì)象均來(lái)自高職院校老年服務(wù)與管理專業(yè)，培養(yǎng)方案略有差異，部分研究對(duì)象擁有企業(yè)實(shí)習(xí)經(jīng)歷。

（三）數(shù)據(jù)收集

1. COMET職業(yè)能力測(cè)評(píng)

運(yùn)用非標(biāo)準(zhǔn)化作品評(píng)定法，具體流程主要包含三個(gè)方面。

第一，對(duì)相關(guān)人員進(jìn)行培訓(xùn)。在開(kāi)發(fā)測(cè)試任務(wù)前，研究者需將研究目的告知職業(yè)學(xué)校教師、企業(yè)專家等相關(guān)人員，并就COMET能力測(cè)評(píng)方案及命題要求對(duì)相關(guān)人員進(jìn)行培訓(xùn)。

第二，開(kāi)發(fā)試題并進(jìn)行測(cè)試。依據(jù)專業(yè)教學(xué)標(biāo)準(zhǔn)、職業(yè)標(biāo)準(zhǔn)和專業(yè)人員的建議，以COMET能力模型中“提高者”階段的代表性工作任務(wù)為基礎(chǔ)開(kāi)發(fā)測(cè)評(píng)任務(wù)，對(duì)研究對(duì)象進(jìn)行紙筆測(cè)試。通過(guò)開(kāi)展實(shí)踐專家研討會(huì)確定典型工作任務(wù)，并提煉完整工作過(guò)程，據(jù)此開(kāi)發(fā)次級(jí)指標(biāo)。測(cè)評(píng)題目需體現(xiàn)開(kāi)放性特征，以解題空間的方式呈現(xiàn)問(wèn)題的解決方案，部分解題空間見(jiàn)表1。區(qū)別于工業(yè)技術(shù)類職業(yè)和商業(yè)類職業(yè)，針對(duì)個(gè)人的服務(wù)類職業(yè)教育重點(diǎn)是促進(jìn)個(gè)體人格的發(fā)展與完善。因此，在對(duì)COMET測(cè)評(píng)一級(jí)指標(biāo)進(jìn)行調(diào)整時(shí)，要關(guān)注專業(yè)特殊性;在測(cè)評(píng)題目設(shè)計(jì)上，除了囊括傳統(tǒng)的生活照料和技術(shù)護(hù)理外，突出對(duì)失智老年人心理的關(guān)照。經(jīng)過(guò)三輪修改，開(kāi)發(fā)出符合COMET方案要求的平行任務(wù)后，進(jìn)行測(cè)試。

第三，評(píng)分環(huán)節(jié)。通過(guò)開(kāi)設(shè)評(píng)分培訓(xùn)會(huì)、增加評(píng)分者數(shù)量（由原定的2名評(píng)分者擴(kuò)大到7名）、試評(píng)分等手段保證評(píng)分者信度，使用Finn系數(shù)對(duì)評(píng)分者的一致性進(jìn)行考察，以提升評(píng)分者評(píng)價(jià)標(biāo)準(zhǔn)的統(tǒng)一性。

2. 360°績(jī)效問(wèn)卷

在綜合考量各類績(jī)效測(cè)評(píng)方法后，選擇使用360°績(jī)效評(píng)估考核結(jié)果作為績(jī)效的表征。360°績(jī)效評(píng)估是在人力資源領(lǐng)域開(kāi)展工作績(jī)效評(píng)估時(shí)廣泛運(yùn)用的一種方式，由加州創(chuàng)造性領(lǐng)導(dǎo)者中心在20世紀(jì)80年代中期研究提出。研究聚焦將反饋用于提升管理效能，促進(jìn)企業(yè)目標(biāo)實(shí)現(xiàn)。由于重視反饋環(huán)節(jié)，該方法也被稱為360°績(jī)效反饋、全視角評(píng)價(jià)（full-circle appraisal）、多源評(píng)估（multi-rater assessment）等，該方法從多個(gè)角度獲取組織成員行為的觀察資料，使被考評(píng)者本人及其所有利益相關(guān)方都作為績(jī)效信息來(lái)源，反饋績(jī)效信息，最終達(dá)到提高績(jī)效的目標(biāo)[6]。其核心在于通過(guò)不同評(píng)價(jià)對(duì)象全方位地對(duì)受試者的績(jī)效表現(xiàn)進(jìn)行評(píng)價(jià)而使結(jié)果接近實(shí)際，體現(xiàn)綜合績(jī)效觀。同時(shí)，用人單位、服務(wù)對(duì)象和學(xué)校等所有利益相關(guān)方的參與，也符合職業(yè)教育“產(chǎn)教融合”的要求。

運(yùn)用問(wèn)卷調(diào)查法，收集研究對(duì)象的背景信息和360°績(jī)效評(píng)估數(shù)據(jù)?？?jī)效問(wèn)卷模型在醫(yī)院規(guī)培醫(yī)生360°評(píng)價(jià)問(wèn)卷的基礎(chǔ)上開(kāi)發(fā)[7]，同時(shí)針對(duì)老年服務(wù)與管理專業(yè)學(xué)生的專業(yè)特征、年級(jí)階段、工作學(xué)習(xí)特點(diǎn)，對(duì)測(cè)評(píng)主體、測(cè)評(píng)問(wèn)卷的項(xiàng)目等進(jìn)行針對(duì)性修改。在征求行業(yè)專家和一線工作者意見(jiàn)后，形成4個(gè)維度的問(wèn)卷，分別是上級(jí)評(píng)價(jià)問(wèn)卷、服務(wù)對(duì)象評(píng)價(jià)問(wèn)卷、同級(jí)評(píng)價(jià)問(wèn)卷和本人評(píng)價(jià)問(wèn)卷。每種問(wèn)卷有不同數(shù)量的項(xiàng)目，如本人評(píng)價(jià)問(wèn)卷共設(shè)置15個(gè)評(píng)分項(xiàng)，見(jiàn)表2。問(wèn)卷題目采用Likert五點(diǎn)式量表作答方式，從“偶爾”“較少”“有時(shí)”“經(jīng)?！钡健翱偸恰?，依次記作1～5分。通過(guò)增加評(píng)分者數(shù)量等方式保障評(píng)分者信度，最終根據(jù)問(wèn)卷結(jié)果，確定每位研究對(duì)象的績(jī)效總成績(jī)。

（四）數(shù)據(jù)分析

對(duì)相應(yīng)的研究數(shù)據(jù)進(jìn)行轉(zhuǎn)換。按照COMET測(cè)評(píng)的級(jí)別劃分方式，將三個(gè)能力層級(jí)、8個(gè)一級(jí)指標(biāo)和40個(gè)評(píng)分點(diǎn)的得分分別轉(zhuǎn)化為百分制量綱。通過(guò)三個(gè)能力層級(jí)與COMET測(cè)評(píng)總分來(lái)測(cè)定內(nèi)部一致性信度，得出Cronbach'sα系數(shù)為0.858，說(shuō)明COMET測(cè)評(píng)的信度符合要求。為將工作績(jī)效量綱與COMET測(cè)評(píng)進(jìn)行統(tǒng)一，將績(jī)效評(píng)價(jià)結(jié)果依照一定權(quán)重進(jìn)行數(shù)據(jù)轉(zhuǎn)換，使其轉(zhuǎn)化為百分制量綱。針對(duì)四種評(píng)價(jià)主體，通過(guò)德?tīng)柗品ù_定排序。對(duì)工作績(jī)效進(jìn)行隨機(jī)分布后的折半信度進(jìn)行計(jì)算，得到的折半信度系數(shù)為0.903，屬可接受的范圍。

數(shù)據(jù)轉(zhuǎn)換完成后，篩除1人份無(wú)效數(shù)據(jù)（實(shí)操考試否定項(xiàng)，未納入分析），有效數(shù)據(jù)共146人份，以選手姓名作為對(duì)應(yīng)項(xiàng)，輸入相關(guān)數(shù)據(jù)建立二維表后，納入SPSS 26.0軟件中進(jìn)行分析。經(jīng)過(guò)上述操作后，兩種變量（COMET能力測(cè)評(píng)成績(jī)、360°績(jī)效評(píng)價(jià)結(jié)果）的性質(zhì)均為連續(xù)分?jǐn)?shù)變量，相關(guān)指標(biāo)具有可比性，從而可以采用積矩相關(guān)系數(shù)（Pearson）進(jìn)行相關(guān)分析。

三、研究結(jié)果

（一）COMET測(cè)評(píng)結(jié)果與工作績(jī)效的相關(guān)性分析

將COMET能力測(cè)評(píng)成績(jī)與360°績(jī)效評(píng)價(jià)結(jié)果這兩個(gè)非確定性關(guān)系變量的數(shù)據(jù)對(duì)應(yīng)列出，得到的散點(diǎn)圖顯示二者呈現(xiàn)正相關(guān)趨勢(shì)，相關(guān)性統(tǒng)計(jì)結(jié)果也證實(shí)了上述結(jié)論，如表3所示。COMET能力測(cè)評(píng)成績(jī)與績(jī)效成績(jī)的相關(guān)系數(shù)為0.460，達(dá)到了顯著相關(guān)水平。這說(shuō)明，COMET能力測(cè)評(píng)成績(jī)可以預(yù)測(cè)實(shí)際工作績(jī)效，初步證實(shí)了研究假設(shè)。

分析COMET測(cè)評(píng)成績(jī)對(duì)工作績(jī)效預(yù)測(cè)效果較好的原因可能是：一是COMET能力測(cè)評(píng)的理念是職業(yè)導(dǎo)向而非課程導(dǎo)向，工作績(jī)效考察職業(yè)活動(dòng)中的實(shí)際表現(xiàn)，兩者在理念上相通，均面向職業(yè)要求，區(qū)別在于前者測(cè)量被試在校期間的潛力，后者則側(cè)重考察被試在實(shí)際工作中的表現(xiàn);二是COMET能力測(cè)評(píng)考察的能力涵蓋較全面，從功能性能力、過(guò)程性能力到設(shè)計(jì)能力，為良好工作績(jī)效打下基礎(chǔ);三是COMET能力測(cè)評(píng)基于完整的工作過(guò)程和典型工作任務(wù)，通過(guò)獲取信息、控制到評(píng)價(jià)等一系列過(guò)程，形成完整的反饋體系，對(duì)提升工作績(jī)效大有裨益。

COMET能力測(cè)評(píng)對(duì)技能的評(píng)價(jià)與教育學(xué)對(duì)評(píng)價(jià)的理解相契合，能夠探查被試者的潛力，從多元智能理論的角度出發(fā)，發(fā)現(xiàn)個(gè)體不同方面智力的不同水平。依據(jù)信息經(jīng)濟(jì)學(xué)中的信號(hào)理論，能力測(cè)評(píng)結(jié)果對(duì)工作績(jī)效的預(yù)測(cè)可以幫助雇主判斷雇員的生產(chǎn)力水平。證書作評(píng)價(jià)結(jié)果的證明，為勞動(dòng)力市場(chǎng)提供質(zhì)量信號(hào)，易于對(duì)高技能水平勞動(dòng)者與低技能水平勞動(dòng)者進(jìn)行區(qū)分。評(píng)價(jià)方式的研究，有助于促進(jìn)行業(yè)企業(yè)對(duì)學(xué)生完成職業(yè)崗位典型工作任務(wù)的勝任力的了解，提高企業(yè)選拔人才的效率和“X”證書的市場(chǎng)認(rèn)可度[8];也有利于鼓勵(lì)勞動(dòng)者進(jìn)行人力資本投資，形成對(duì)人才的激勵(lì)機(jī)制，緩解人才與勞動(dòng)力市場(chǎng)之間結(jié)構(gòu)性失調(diào)的矛盾。

（二）COMET測(cè)評(píng)各能力層級(jí)與工作績(jī)效的相關(guān)分析

針對(duì)COMET能力測(cè)評(píng)分項(xiàng)的各一級(jí)指標(biāo)，分別就研究對(duì)象在COMET能力測(cè)評(píng)中三個(gè)能力層級(jí)的得分與工作績(jī)效評(píng)估的分值進(jìn)行相關(guān)分析，結(jié)果見(jiàn)圖1。

分析發(fā)現(xiàn)，三個(gè)層級(jí)的能力值與工作績(jī)效分值均呈現(xiàn)顯著相關(guān)關(guān)系，說(shuō)明COMET能力測(cè)評(píng)各層級(jí)能力對(duì)工作績(jī)效均存在預(yù)測(cè)效果。其中，過(guò)程性能力與工作績(jī)效的相關(guān)程度最高，相關(guān)系數(shù)達(dá)到0.439。這說(shuō)明工作過(guò)程知識(shí)隱含于實(shí)際工作中，在工作者解決復(fù)雜問(wèn)題的工作過(guò)程中被建構(gòu)，與工作績(jī)效緊密相關(guān)。工作過(guò)程知識(shí)是主觀知識(shí)與客觀知識(shí)的結(jié)合，包括存在于工作組織和其他工作者中的難以言明的知識(shí)，乃至工作者的生活經(jīng)驗(yàn)[9]。面對(duì)現(xiàn)代社會(huì)高度復(fù)雜和專業(yè)化的生產(chǎn)條件，限于考察外顯職業(yè)行動(dòng)能力的實(shí)操考試顯然無(wú)法對(duì)工作過(guò)程知識(shí)進(jìn)行全面準(zhǔn)確的考察?？梢?jiàn)，實(shí)操考試考察的職業(yè)行動(dòng)能力是高工作績(jī)效的必要條件，而非充分條件。設(shè)計(jì)能力與工作績(jī)效之間的相關(guān)系數(shù)為0.412，也呈現(xiàn)出顯著相關(guān)水平。功能性能力與工作績(jī)效之間的相關(guān)系數(shù)為0.391，超過(guò)0.30，達(dá)到了預(yù)測(cè)效度的要求。

（三）COMET測(cè)評(píng)一級(jí)指標(biāo)與工作績(jī)效的相關(guān)性

為了分析COMET能力測(cè)評(píng)結(jié)果在工作績(jī)效預(yù)測(cè)過(guò)程中的影響因素，分別就COMET能力測(cè)評(píng)8個(gè)一級(jí)指標(biāo)的得分與工作績(jī)效評(píng)估的分值進(jìn)行分析，結(jié)果見(jiàn)圖2。

除K6（社會(huì)接受度）指標(biāo)外，其余7個(gè)一級(jí)指標(biāo)均在0.01水平（雙側(cè)）上與工作績(jī)效分值呈現(xiàn)顯著相關(guān)關(guān)系。其中，K1（直觀性和展示）、K2（功能性）、K4（經(jīng)濟(jì)性和效益）、K7（家庭、社會(huì)與文化環(huán)境）四項(xiàng)指標(biāo)與工作績(jī)效的相關(guān)系數(shù)均超過(guò)了0.4;K3（使用價(jià)值和可持續(xù)性）、K5（工作過(guò)程和企業(yè)生產(chǎn)流程導(dǎo)向）、K8（創(chuàng)造性）三項(xiàng)指標(biāo)的相關(guān)系數(shù)均超過(guò)0.35。

K6（社會(huì)接受度）指標(biāo)不涉及具體操作，考查的是受試者對(duì)職業(yè)活動(dòng)的整體理解和職業(yè)認(rèn)同，需要有系統(tǒng)化的知識(shí)作為支撐?；貧w分析結(jié)果顯示，K6指標(biāo)與績(jī)效幾乎不相關(guān)，出現(xiàn)變異現(xiàn)象。這可能是由于用人單位（包括領(lǐng)導(dǎo)、服務(wù)對(duì)象等）在現(xiàn)實(shí)中有降低成本的重要訴求，對(duì)該指標(biāo)的認(rèn)知和要求與社會(huì)的要求存在差異，造成不同主體對(duì)社會(huì)接受度的重視程度具有差異，且績(jī)效評(píng)價(jià)中對(duì)于這類問(wèn)題的體現(xiàn)不充分。變異現(xiàn)象側(cè)面證明了COMET能力測(cè)評(píng)在不同指標(biāo)的測(cè)量上具有更為精細(xì)的顆粒度，即各指標(biāo)所反映的能力都有其獨(dú)特價(jià)值，可以為被試者提升相應(yīng)職業(yè)能力提供更為清晰的指導(dǎo)方向。

對(duì)每一級(jí)指標(biāo)進(jìn)行橫向比較發(fā)現(xiàn)，K4（經(jīng)濟(jì)性和效益）指標(biāo)和工作績(jī)效的相關(guān)系數(shù)最高，達(dá)到0.456，該指標(biāo)與工作績(jī)效中考核內(nèi)容的相關(guān)性更強(qiáng)，體現(xiàn)了被試者在解答測(cè)試題目時(shí)考慮到經(jīng)濟(jì)性等指標(biāo)，區(qū)別于在傳統(tǒng)的學(xué)校教學(xué)中學(xué)到的限于專業(yè)性和功能性的解決方案，說(shuō)明被試者已經(jīng)初步掌握職業(yè)工作的理念。K1（直觀性和展示）和K2（功能性）指標(biāo)與工作績(jī)效的相關(guān)系數(shù)分別達(dá)到0.412、0.409，再次印證了達(dá)到功能性能力水平的任務(wù)解決方案，已經(jīng)涵蓋了職業(yè)和企業(yè)亟需的多數(shù)能力[10]。

從專業(yè)特殊性層面分析發(fā)現(xiàn)，K7（家庭、社會(huì)與文化環(huán)境）指標(biāo)相關(guān)系數(shù)排名第二，達(dá)到了0.434。作為高層次能力維度的指標(biāo)之一，這一結(jié)果超出研究預(yù)期。從初始假設(shè)出發(fā)，功能性能力和過(guò)程性能力對(duì)應(yīng)的相關(guān)指標(biāo)更直接地反映到工作績(jī)效中，而設(shè)計(jì)能力屬于潛力的范疇，并非直接反映在當(dāng)期工作績(jī)效中。由此可知，受專業(yè)特征的影響，老年服務(wù)與管理專業(yè)更加關(guān)注家庭和社會(huì)文化，如很多養(yǎng)老機(jī)構(gòu)都會(huì)提出“替兒女盡孝”等宣傳口號(hào)，在一定程度上反映出養(yǎng)老機(jī)構(gòu)的宗旨和使命，也反映出績(jī)效考核時(shí)的導(dǎo)向。此外，屬于設(shè)計(jì)能力層級(jí)的K8（創(chuàng)造性）指標(biāo)與工作績(jī)效的相關(guān)系數(shù)達(dá)到0.387，超過(guò)過(guò)程性能力層級(jí)的K3、K5指標(biāo)，反映出與人交互的專業(yè)在工作中需要更多創(chuàng)造性，而非像傳統(tǒng)工科類或者以物為工作對(duì)象的專業(yè)一樣，更加關(guān)注使用價(jià)值、可持續(xù)性、工作過(guò)程和企業(yè)生產(chǎn)流程導(dǎo)向。K3、K5指標(biāo)對(duì)重復(fù)性要求較高，而老年服務(wù)與管理專業(yè)開(kāi)展工作的過(guò)程若僅僅是簡(jiǎn)單重復(fù)的勞動(dòng)，將無(wú)法滿足服務(wù)對(duì)象的多樣化需求。

四、結(jié)論與建議

（一）研究結(jié)論

研究發(fā)現(xiàn)，COMET能力測(cè)評(píng)的成績(jī)與360°績(jī)效評(píng)估測(cè)得績(jī)效的相關(guān)性較高，COMET能力測(cè)評(píng)方案8個(gè)一級(jí)指標(biāo)中有7個(gè)均與360°績(jī)效評(píng)估顯著相關(guān)。因此，COMET能力測(cè)評(píng)方法對(duì)工作績(jī)效有較高的預(yù)測(cè)效度，可作為技能評(píng)價(jià)的有效工具。鑒于COMET能力測(cè)評(píng)采用紙筆作答形式，成本低廉，未來(lái)可大規(guī)模開(kāi)展?！癤”證書發(fā)證的核心在于技能評(píng)價(jià)，發(fā)證的依據(jù)是技能評(píng)價(jià)的結(jié)果，競(jìng)賽的核心環(huán)節(jié)也是技能評(píng)價(jià)，在競(jìng)賽中得到實(shí)證驗(yàn)證的技能評(píng)價(jià)方式可以推廣到“X”證書的技能評(píng)價(jià)活動(dòng)中?；诖?，可在“1+X”證書技能評(píng)價(jià)制度建設(shè)中引入COMET能力測(cè)評(píng)方案，形成高預(yù)測(cè)效度的技能評(píng)價(jià)方法，并對(duì)現(xiàn)有的標(biāo)準(zhǔn)化實(shí)操考試進(jìn)行改進(jìn)。

（二）相關(guān)建議

1. 應(yīng)對(duì)現(xiàn)有“X”證書中技能評(píng)價(jià)的能力模型和測(cè)評(píng)模型進(jìn)行效度分析

目前，“1+X”證書制度在有關(guān)部委的強(qiáng)勢(shì)推動(dòng)下，伴隨著大量財(cái)政資源的投入，各省市的職業(yè)院校乃至應(yīng)用型本科院校都積極參與其中，但“1+X”證書制度并非天然就具備“職業(yè)效度”，要保證其培養(yǎng)培訓(xùn)模式和測(cè)評(píng)模式能夠達(dá)到制度設(shè)計(jì)的初衷，需要研究為其提供實(shí)證基礎(chǔ)。缺乏相應(yīng)的研究，沒(méi)有科學(xué)合理的能力模型以及在此基礎(chǔ)上開(kāi)發(fā)的測(cè)評(píng)模型，不能開(kāi)發(fā)出科學(xué)的測(cè)評(píng)工具。測(cè)評(píng)工具不科學(xué)，可能導(dǎo)致預(yù)測(cè)效度低，致使證書在預(yù)測(cè)工作績(jī)效或者工作潛力方面效度不高，將會(huì)浪費(fèi)大量的物質(zhì)和時(shí)間成本。按照教育學(xué)的觀點(diǎn)，科學(xué)的能力測(cè)評(píng)的基礎(chǔ)是在教育學(xué)理論基礎(chǔ)之上建立的能經(jīng)過(guò)實(shí)證檢驗(yàn)的能力模型和測(cè)評(píng)模型[11]。這就要求在審定相關(guān)發(fā)證機(jī)構(gòu)的條件時(shí)，除了需要考察基本的軟硬件條件外，還應(yīng)該對(duì)其測(cè)評(píng)體系、測(cè)評(píng)試題、支持測(cè)評(píng)工作的理論模型進(jìn)行實(shí)證研究，深入分析證書的效度，以期獲得預(yù)期效果。證書的含金量受社會(huì)認(rèn)可度的影響，而社會(huì)認(rèn)可度與測(cè)評(píng)結(jié)果的效度、測(cè)評(píng)模型的科學(xué)性息息相關(guān)，可見(jiàn)技能評(píng)價(jià)工作的實(shí)施需要大量實(shí)證研究予以驗(yàn)證。

2. 技能評(píng)價(jià)與“X”證書的頒發(fā)應(yīng)以典型工作任務(wù)為依據(jù)

本研究表明，來(lái)源于真實(shí)工作世界的標(biāo)準(zhǔn)化案例性任務(wù)，即研究中確立的典型工作任務(wù)，可以用于觀察和確立被測(cè)試者的技能發(fā)展水平。完成典型工作任務(wù)不僅需要理論知識(shí)和外在的動(dòng)作技能，還需要蘊(yùn)含其中抽象化和普適化的解決問(wèn)題的方式，這是最關(guān)鍵的可以遷移的技能[12]，以此為依據(jù)進(jìn)行的技能評(píng)價(jià)和頒發(fā)的技能等級(jí)證書才會(huì)有實(shí)際意義?；诖?，技能評(píng)價(jià)的測(cè)試題目應(yīng)當(dāng)盡量符合情境性測(cè)試題目的要求，即讓被試者在真實(shí)工作條件下進(jìn)行工作，通過(guò)對(duì)其工作行為、工作成果的觀察和必要時(shí)對(duì)特殊工作環(huán)節(jié)的解釋，評(píng)價(jià)其職業(yè)能力發(fā)展水平，通過(guò)解決（或未成功解決）問(wèn)題的方式，揭示實(shí)際問(wèn)題解決策略[13]。

3. 將多元化的評(píng)價(jià)方式應(yīng)用于各類技能評(píng)價(jià)工作

不同評(píng)價(jià)方式各有優(yōu)勢(shì)和不足，在具體的評(píng)價(jià)實(shí)踐中，應(yīng)具體問(wèn)題具體分析，統(tǒng)籌評(píng)價(jià)對(duì)象、評(píng)價(jià)內(nèi)容、評(píng)價(jià)實(shí)踐等要素，確定相應(yīng)的評(píng)價(jià)方式。COMET能力測(cè)評(píng)對(duì)職業(yè)能力可以作出較為全面、有效的評(píng)價(jià)，不但可以診斷職業(yè)能力的水平高低及特征輪廓，而且能夠有效預(yù)測(cè)未來(lái)的工作績(jī)效。對(duì)于較高層級(jí)的技能等級(jí)考試，可重點(diǎn)采用COMET能力測(cè)評(píng)強(qiáng)化開(kāi)放性和情境性評(píng)價(jià);而對(duì)于較低層級(jí)的技能等級(jí)考試，能夠考察功能性能力的實(shí)操考試就可以滿足基本需求。這種組合式設(shè)計(jì)可以降低學(xué)生求職成本和用人單位的招聘成本，在社會(huì)急缺技能領(lǐng)域如養(yǎng)老服務(wù)和實(shí)操考試成本高昂的工科類專業(yè)具有重要意義。此外，不同專業(yè)（職業(yè)）可考慮采用不同的技能評(píng)價(jià)方式，如認(rèn)知能力要求高而對(duì)動(dòng)手能力和技巧要求不高的專業(yè)，可主要采用COMET能力測(cè)評(píng)進(jìn)行技能評(píng)價(jià);但對(duì)操作能力要求較高的專業(yè)，還要關(guān)注行動(dòng)導(dǎo)向的實(shí)操考試。

4. 技能評(píng)價(jià)結(jié)果應(yīng)與學(xué)分銀行相銜接

通過(guò)“1+X”證書的學(xué)分轉(zhuǎn)換機(jī)制與職業(yè)教育國(guó)家“學(xué)分銀行”銜接，可以促進(jìn)學(xué)歷職業(yè)教育與相關(guān)職業(yè)技能等級(jí)證書建設(shè)的融合，實(shí)現(xiàn)復(fù)合型技術(shù)技能人才培養(yǎng)的推進(jìn)[14]。這種銜接和轉(zhuǎn)換需要對(duì)學(xué)歷證書和職業(yè)技能等級(jí)證書所體現(xiàn)的技能進(jìn)行登記、儲(chǔ)存，進(jìn)而開(kāi)展學(xué)分認(rèn)定、積累和轉(zhuǎn)換工作，縮短修業(yè)年限，提升人才培養(yǎng)效率?；ネ?、轉(zhuǎn)化的基礎(chǔ)除了硬件方面的登記、存儲(chǔ)、轉(zhuǎn)換以外，最核心的是二者在內(nèi)核上具備相互轉(zhuǎn)換的基礎(chǔ)，使各級(jí)各類人才培養(yǎng)具有可比性的“出口標(biāo)準(zhǔn)”。目前學(xué)分銀行中不同主體之間的轉(zhuǎn)換暫未形成科學(xué)依據(jù)，現(xiàn)有的基礎(chǔ)研究不足以支持轉(zhuǎn)換的完成。若二者的課程體系、評(píng)價(jià)體系有共同的理論基礎(chǔ)，比如均在產(chǎn)教融合、校企合作理念的指導(dǎo)下，以典型工作任務(wù)作為“1”和“X”的共同內(nèi)核，則可以將兩個(gè)證書體系分別涵蓋的典型工作任務(wù)作為轉(zhuǎn)換的依據(jù)。此外，要重視不同部門之間在資歷認(rèn)證上的互通，使學(xué)分銀行形成跨越教育部、人力資源和社會(huì)保障部等部門的有效機(jī)制。

參 考 文 獻(xiàn)

[1]國(guó)務(wù)院關(guān)于印發(fā)國(guó)家職業(yè)教育改革實(shí)施方案的通知[Z].國(guó)發(fā)[2019]4號(hào)，2019-01-24.

[2]中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》[EB/OL].（2020-10-13）[2022-01-26].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[3][10][11]趙志群，菲利克斯·勞耐爾. COMET職業(yè)能力測(cè)評(píng)方法手冊(cè)[M].北京：高等教育出版社，2018：54-138.

[4]周瑛儀.大規(guī)模職業(yè)能力測(cè)評(píng)的預(yù)測(cè)效度——基于COMET方案在汽修、數(shù)控與電氣專業(yè)領(lǐng)域的研究[D].北京：北京師范大學(xué)，2015：127.

[5][9]趙志群.職業(yè)教育學(xué)習(xí)新概念[M].北京：北京師范大學(xué)出版社，2021：9-23.

[6]孫健.360度績(jī)效考評(píng)[M].北京：企業(yè)管理出版社，2003：27.

[7]何明宇.規(guī)培醫(yī)師醫(yī)學(xué)人文素養(yǎng)的360度評(píng)價(jià)研究[D].重慶：第三軍醫(yī)大學(xué)，2017：15.

[8]賴紅，李欽，譚旭.1+X證書制度實(shí)施的現(xiàn)狀分析與改進(jìn)建議——基于培訓(xùn)評(píng)價(jià)組織參與的視角[J].職業(yè)技術(shù)教育，2021（30）：47-51.

[12]HACKER， W. Knowledge diagnosis winfried hacker[C]//RAUNER， F.， MACLEAN， R.Eds. Handbook of technical and vocational education and training research. Dordrecht： Springer， 2008：656-660.

[13]趙志群，孫鈺林，羅喜娜.“1+X”證書制度建設(shè)對(duì)技術(shù)技能人才評(píng)價(jià)的挑戰(zhàn)——世界技能大賽試題的啟發(fā)[J].中國(guó)電化教育，2020（2）：8-14.

[14]吳南中.基于學(xué)分銀行的1+X證書成果學(xué)分轉(zhuǎn)換：價(jià)值意蘊(yùn)與推進(jìn)路徑[J].成人教育，2021（10）：51-56.

Research on the Skills Evaluation Modes in the Reform of Vocational Education

——Taking the Predictive Validity of COMET Skills Evaluation Method on Job Performance as the Case

Sun Yulin， Zhao Yishu

Abstract? The validity of skills evaluation is an important factor affecting the quality of vocational skills level certificate. Taking the National Vocational College Skills Competition sponsored by the Ministry of Education as a platform， select the elderly care service skills competition， and use the COMET to evaluate the skills of the candidates， and then conduct performance evaluation of their employment or post-job practice in the short and medium term. The follow-up investigation is expected to provide an empirical basis for the development of skills evaluation work. The study found that the relationship between the COMET results and the job performance assessment results tends to be strongly correlated; among the three competency levels of the COMET， the processual competence has the highest correlation with job performance; among the eight first-level indicators in the COMET， except for social acceptance， the rest of the indicators are positively correlated with job performance. Based on this， it is suggested to improve the analysis of competence model and evaluation model; in practice， it should be based on professional tasks， flexibly use a variety of evaluation methods， and strengthen the link between skills evaluation and credit bank system.

Key words? vocational education; skills evaluation; COMET competence evaluation; job performance; predictive validity

Author? Sun Yulin， associate professor of Beijing Social Management Vocational College （Beijing 102600）; Zhao Yishu， master candidate of Faculty of Education of Beijing Normal University