何興國?趙志群?何壯

摘 要 德國COMET評分量表是職業(yè)能力測評的重要評價(jià)工具，其蘊(yùn)含著設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力的人才培養(yǎng)目標(biāo)，對我國職業(yè)教育評價(jià)及改革都具有重要借鑒意義。運(yùn)用項(xiàng)目反應(yīng)理論之多面Rasch模型，對COMET評分量表在我國學(xué)生職業(yè)能力測評中的適用性進(jìn)行了分析。結(jié)果表明：COMET評分量表總體區(qū)分度較高，能夠有效地區(qū)分我國職業(yè)教育背景下的學(xué)生職業(yè)能力水平；我國學(xué)生對COMET評分量表部分項(xiàng)目存在著不適應(yīng)現(xiàn)象，部分學(xué)生答題行為內(nèi)部一致性較差；我國教師對COMET評分量表寬嚴(yán)尺度把握內(nèi)部一致性較好，但不同評分教師個(gè)體之間的寬嚴(yán)程度還存在差異；評分教師與評分項(xiàng)目交互作用也存在一些顯著偏差。

關(guān)鍵詞 COMET評分量表；多面Rasch模型；項(xiàng)目分析；職業(yè)能力測評；職業(yè)院校

中圖分類號 G719.516 文獻(xiàn)標(biāo)識碼 A 文章編號 1008-3219（2016）25-0069-06

一、問題的提出

起源于德國的職業(yè)教育學(xué)生職業(yè)能力測評國際研究項(xiàng)目（Competence Development and Assessment in TVET，COMET），對職業(yè)能力的理解超越了行為主義和一般個(gè)性特征的能力觀，將其理解為專業(yè)能力、方法能力和社會能力相統(tǒng)一，行動過程和行動結(jié)果相統(tǒng)一的綜合職業(yè)能力，其以設(shè)計(jì)導(dǎo)向職業(yè)教育思想、行動導(dǎo)向教學(xué)、工作過程知識等先進(jìn)的職業(yè)教育理論為基礎(chǔ)，構(gòu)建了跨職業(yè)領(lǐng)域的職業(yè)能力測評模型[1]。COMET項(xiàng)目于2008年對德國不萊梅州和黑森州9所職業(yè)學(xué)校700名學(xué)生進(jìn)行了大規(guī)模標(biāo)準(zhǔn)化職業(yè)能力測評，為職業(yè)院校學(xué)生職業(yè)能力測評提供了新的視角和方法，被認(rèn)為是職業(yè)教育領(lǐng)域的“PISA”項(xiàng)目，得到了國際社會的廣泛關(guān)注[2]。2009年以來，北京師范大學(xué)在國際合作項(xiàng)目中引入COMET測評方案，在北京、廣州、重慶等地多次開展學(xué)生職業(yè)能力測評實(shí)踐，為我國職業(yè)院校學(xué)生職業(yè)能力評估提供了新的方法，也為我國職業(yè)教育質(zhì)量保障提供了有效的工具[3]。

COMET評分量表是職業(yè)能力測評的重要評價(jià)工具，其蘊(yùn)含和體現(xiàn)了德國設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力的人才培養(yǎng)目標(biāo)。即培養(yǎng)的職業(yè)人才不僅要具有技術(shù)適應(yīng)能力，而且更重要的是應(yīng)對能力，本著對社會、經(jīng)濟(jì)和環(huán)境負(fù)責(zé)的態(tài)度，參與設(shè)計(jì)和創(chuàng)造未來的技術(shù)和勞動世界；具有專業(yè)能力、方法能力和社會能力相統(tǒng)一的整體性綜合職業(yè)能力，即在復(fù)雜的職業(yè)情境中做出判斷并采取行動的職業(yè)能力。正是以此思想為指導(dǎo)和目標(biāo)，COMET評分量表建立了八個(gè)評價(jià)維度的評價(jià)體系，以評估學(xué)生職業(yè)能力輪廓和職業(yè)能力水平。一是“直觀性與可展示性”，即通過語言或文字描述，利用圖紙條理清晰、結(jié)構(gòu)合理地向委托方展示解決方案以及完成工作任務(wù)后的結(jié)果。二是“功能性”，即工具性的專業(yè)能力、與具體情境無關(guān)的學(xué)科知識以及專業(yè)技能。三是“使用價(jià)值導(dǎo)向”，即以職業(yè)為導(dǎo)向，除滿足用戶直接使用要求外，還要考慮后期保養(yǎng)和維修的便利性。四是“經(jīng)濟(jì)性”，即在工作行動中，需要估算經(jīng)濟(jì)性并考慮各種成本因素，并考慮未來可能產(chǎn)生的使用成本。五是“生產(chǎn)流程與工作過程導(dǎo)向”，即考慮企業(yè)的上下級結(jié)構(gòu)以及不同生產(chǎn)部門之間的銜接，考慮跨越每個(gè)人工作領(lǐng)域的部門間合作。六是“社會接受度”，即人性化的工作設(shè)計(jì)與組織、健康保護(hù)以及其他超越工作本身的社會因素，例如委托方、客戶和社會的不同利益。七是“環(huán)保性”，即不僅指一般的環(huán)保意識，而且針對生產(chǎn)過程和生產(chǎn)結(jié)果提出的特定要求，使用了對環(huán)境無害的材料，以及完成工作的計(jì)劃多大程度上符合環(huán)保要求。八是“創(chuàng)造性”，即在特定情境下為完成任務(wù)預(yù)留的高度設(shè)計(jì)空間，解決方案在滿足創(chuàng)造性要求的同時(shí)要有助于目標(biāo)的實(shí)現(xiàn)。COMET評分量表的八個(gè)評價(jià)維度充分體現(xiàn)了設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力目標(biāo)，并進(jìn)一步細(xì)化為39個(gè)評分項(xiàng)目，見表1，每個(gè)項(xiàng)目評分采用0～3分的李克特四級計(jì)分，依次為“完全不符合”“基本不符合”“基本符合”“完全符合”[4]。

COMET評分量表是在德國職業(yè)教育文化中開發(fā)出來并得到實(shí)證檢驗(yàn)，引進(jìn)COMET評分量表對我國開展學(xué)生職業(yè)能力測評和教學(xué)改革都具有重要的現(xiàn)實(shí)意義。然而，基于不同的職業(yè)教育理念和文化背景，COMET評分量表在我國應(yīng)用中的適應(yīng)性還有待研究。本研究將通過COMET測評方案下的我國職業(yè)院校學(xué)生職業(yè)能力測評實(shí)踐，探討COMET評分量表在我國的適用性，具體包括COMET評分量表的區(qū)分性、學(xué)生答題行為一致性、評分教師之間的一致性、評分教師內(nèi)部一致性、評分教師與評分項(xiàng)目的交互作用等問題。

二、研究方法

（一）數(shù)據(jù)來源

本次研究所使用的是重慶市2014年6月中等職業(yè)學(xué)校汽車運(yùn)用與維修專業(yè)學(xué)生職業(yè)能力監(jiān)測數(shù)據(jù)。測評工作由重慶市教育評估院統(tǒng)一組織實(shí)施，共抽取25所學(xué)校的786名2012級在校學(xué)生參與測評。選擇2012級學(xué)生，原因在于2012級學(xué)生經(jīng)過兩年的專業(yè)學(xué)習(xí)，處于職業(yè)能力發(fā)展的關(guān)鍵時(shí)期，了解其職業(yè)能力現(xiàn)狀對檢驗(yàn)教學(xué)效果及進(jìn)一步改進(jìn)教學(xué)均具有重要的現(xiàn)實(shí)意義。

根據(jù)COMET測評方案，本次測評開發(fā)并使用了基于該專業(yè)典型工作任務(wù)的綜合測評工具：“發(fā)動機(jī)水溫高排故”。共有16位教師參與評分，每份試卷由隨機(jī)2位教師評定。評分教師接受了評分培訓(xùn)，根據(jù)COMET評分量表的39個(gè)項(xiàng)目進(jìn)行評分。

（二）研究工具

多面Rasch模型（Many-Faceted Rasch Model， MFRM）是項(xiàng)目反應(yīng)理論模型之一，可以將學(xué)生職業(yè)能力、評分教師寬嚴(yán)程度、評分項(xiàng)目難度、評分等級梯難度等放在同一等距水平的Logit標(biāo)尺上進(jìn)行精確度量，計(jì)算每個(gè)度量值的估算誤差、擬合程度以及各層面的交互作用，為評分量表以及測驗(yàn)質(zhì)量分析提供了更加客觀的視角。因此，研究選取該模型進(jìn)行參數(shù)估計(jì)，建立了以下分析模型：

其中，Pnijk是學(xué)生n由評分員j在項(xiàng)目i上評為k分的概率，Pnij（k-1）為其他條件相同情況下該學(xué)生被評為k-1分的概率。這一概率受到考生能力Bn、評分項(xiàng)目難度Di、評分教師寬嚴(yán)程度Cj和評分量表中各得分梯難度Fk的影響（由K-1到K的相對難度）。

本研究采用SPSS 22對收集到的原始數(shù)據(jù)進(jìn)行管理，使用Facets 3.70軟件，選擇多面Rasch模型（Many-Facet Rasch Model， MFRM）進(jìn)行參數(shù)估計(jì)，結(jié)果主要包括學(xué)生職業(yè)能力、測量誤差、擬合指數(shù)、項(xiàng)目難度、等級量表梯難度、各面之間的交互作用等。

三、結(jié)果與討論

（一）總體分析

圖1顯示了各層面的總體分布情況。圖左側(cè)第一列為Rasch量尺，以Logit為單位。分析中將評分項(xiàng)目的平均難度設(shè)定為Rasch量尺的零點(diǎn)。第二列至第五列分別為學(xué)生面、評分項(xiàng)目面、評分教師面和評分量表等級面。

從學(xué)生面來看，學(xué)生職業(yè)能力跨度為5.38個(gè)Logit單位，職業(yè)能力最高值為1.02，最低值為-4.26。學(xué)生職業(yè)能力集中在[-1，0]區(qū)間內(nèi)，占總?cè)藬?shù)的71.5%。學(xué)生職業(yè)能力平均值為-1.13，低于評分項(xiàng)目平均難度值0。

從評分教師面來看，16名評分教師中評分最嚴(yán)格的是5號教師，評分最寬松的是11號教師。教師評分的寬嚴(yán)程度相差在1.26個(gè)Logit單位以內(nèi)。

從評分項(xiàng)目面來看，評分項(xiàng)目難度的跨度為5.7個(gè)Logit單位，評分項(xiàng)目難度分布合理，“環(huán)保性”的評分項(xiàng)目32（考慮到環(huán)境友好的工作設(shè)計(jì)）難度值最高，這表明該項(xiàng)目的完成對學(xué)生職業(yè)能力要求高，只有職業(yè)能力值達(dá)到該項(xiàng)目難度（3.22）的學(xué)生才可能勝任該項(xiàng)目?！爸庇^性與可展示性”的評分項(xiàng)目2（恰當(dāng)表述解決方案）、“功能性”的評分項(xiàng)目6（解決方案滿足功能性要求）難度值最低，這表明該項(xiàng)目的完成對學(xué)生職業(yè)能力要求最低，只要職業(yè)能力達(dá)到對應(yīng)難度的學(xué)生就可以勝任該項(xiàng)目。

從評分量表等級面來看，在分值使用方面，各分值與臨近分值之間的界限清楚，且相鄰幾個(gè)等級區(qū)間的寬度分布比較均勻，見圖2，不存在等級倒置（disorder[5]）的現(xiàn)象。

（二）分層面分析

1.學(xué)生面

Rasch模型中以分隔系數(shù)（Separation）和分隔信度（Reliability）來衡量某一層面?zhèn)€體之間的差異是否大于測量誤差[6]。分隔系數(shù)大于2時(shí)說明個(gè)體之間存在較大差異，分隔系數(shù)越大則個(gè)體間差異越顯著。學(xué)生面分析結(jié)果顯示，分隔系數(shù)為3.06、分隔信度為0.90、卡方值為7770.7（p<0.01），這說明學(xué)生職業(yè)能力存在顯著差異。分隔指數(shù)（Strata ）代表了量表將該層面內(nèi)個(gè)體分成有顯著差異的等級數(shù)，可根據(jù)分隔信度計(jì)算得到，計(jì)算公式為（4·Separation+1）/3[7]。經(jīng)計(jì)算可得學(xué)生層面的分隔指數(shù)為4.41，即學(xué)生職業(yè)能力可分為5個(gè)顯著不同的層次，這表明COMET評分量表可以有效區(qū)分不同職業(yè)能力水平的學(xué)生。

Rasch模型中最常用的擬合參數(shù)為加權(quán)均方差（Infit MNSQ）和未加權(quán)均方差（Outfit MNSQ）。兩個(gè)參數(shù)取值范圍在[0，+∞]之間，理想值為1。擬合參數(shù)大于1稱為不擬合（underfit），即數(shù)據(jù)的實(shí)際變異大于模型的預(yù)期，當(dāng)高能力學(xué)生答錯(cuò)了簡單項(xiàng)目或低能力學(xué)生答對了高難度項(xiàng)目時(shí)會出現(xiàn)不擬合的情況。擬合參數(shù)小于1稱為過度擬合（overfit），即數(shù)據(jù)的實(shí)際變異小于模型的預(yù)期[8]。當(dāng)項(xiàng)目難度分布太偏向兩個(gè)極端，即項(xiàng)目分為太難和太容易的兩大類，中等能力的學(xué)生全部答對了簡單題目，全部答不出難的題目時(shí)就會出現(xiàn)過度擬合。擬合參數(shù)的取值一般在[0.7，1.3]之間[9]，每個(gè)面中不擬合的個(gè)體數(shù)量一般應(yīng)在5%以下[10]。從此次測評的學(xué)生擬合參數(shù)來看，Infit MNSQ值大于1.3的比例為16%，Outfit MNSQ的相應(yīng)比例為17%，明顯高于5%的要求。這說明部分學(xué)生答題行為內(nèi)部一致性較差，進(jìn)一步調(diào)查發(fā)現(xiàn)，當(dāng)前中職課程教學(xué)活動中教育者更多關(guān)注技術(shù)的功能性傳授，缺乏對技術(shù)所涉及的社會和環(huán)境問題的關(guān)注，這可能導(dǎo)致學(xué)生在難度中等的技術(shù)的功能性、經(jīng)濟(jì)性評分項(xiàng)目表現(xiàn)較好，而在難度較低的直觀性與可展示性評分項(xiàng)目，以及難度較高的環(huán)保性、社會接受度評分項(xiàng)目上表現(xiàn)過低。這就是中國職業(yè)教育理念下學(xué)生對COMET評分量表部分項(xiàng)目存在的不適應(yīng)現(xiàn)象。

2.評分教師面

評分教師面的分析結(jié)果顯示，分隔系數(shù)為8.57、分隔信度為0.99、卡方值為1177.4（p<0.01），說明教師之間的寬嚴(yán)程度存在著顯著差異。計(jì)算可得教師面的分隔指數(shù)為11.76，亦即教師之間打分的寬嚴(yán)程度可以分為12個(gè)顯著不同的層次，這說明評分教師外部一致性不佳。

從擬合參數(shù)來看，僅有5號教師出現(xiàn)不擬合，其Outfit MNSQ值為1.31，非常接近1.3的擬合標(biāo)準(zhǔn)，這表明教師在評分時(shí)都能保持較高的內(nèi)部一致性?？傮w來說評分教師個(gè)體評分素質(zhì)較高、經(jīng)驗(yàn)豐富，經(jīng)過評分培訓(xùn)，能夠保持較高的內(nèi)部一致性。但是不同教師之間，對COMET評分量表的整體理解和把握還存在著一定的差異，特別是表現(xiàn)在評分過程中不同評分教師個(gè)體之間的寬嚴(yán)程度存在較大差異。

3.評分項(xiàng)目面

評分項(xiàng)目面分析結(jié)果顯示，分隔系數(shù)為7.17、分隔信度為0.98、卡方值為26361.3（p<0.001），說明評分項(xiàng)目之間的難度存在著顯著差異。計(jì)算可得分隔指數(shù)為9.89，亦即項(xiàng)目難度可以分為10個(gè)顯著不同的層次。這也充分表明COMET評分量表區(qū)分度較高，能夠有效地區(qū)分不同能力水平的學(xué)生。從擬合參數(shù)估計(jì)結(jié)果可以看出，大多數(shù)項(xiàng)目的Outfit MNSQ和Infit MNSQ參數(shù)都在0.7～1.3的可接受范圍之內(nèi)，擬合效果良好，僅“直觀性與可展示性”的評分項(xiàng)目1（方案表述適合與委托方溝通）和“環(huán)保性”的評分項(xiàng)目31（考慮到所用材料符合環(huán)境可持續(xù)發(fā)展的要求）出現(xiàn)不擬合的情況，其Outfit MNSQ和Infit MNSQ參數(shù)分別為1.46、1.45和1.42、1.19，即在這兩個(gè)評分項(xiàng)目上，出現(xiàn)了高能力學(xué)生得低分，或低能力學(xué)生得高分的現(xiàn)象。原因可能在于，我國職業(yè)教育理念下的學(xué)生對于這兩個(gè)評分項(xiàng)目的敏感性不強(qiáng)，在答題過程中無意或潛意識行為較多，因而出現(xiàn)了不擬合現(xiàn)象，這也說明這兩個(gè)評分項(xiàng)目不能有效區(qū)分我國職業(yè)教育背景下的學(xué)生職業(yè)能力。

4.評分等級面

圖2為各評分等級的概率曲線圖，圖中每條曲線對應(yīng)一個(gè)分值。從左至右依次為0、1、2、3。橫軸為能力量尺，縱軸為概率。圖中相鄰兩個(gè)分?jǐn)?shù)的交點(diǎn)就是量表的閾值（Thresholds）。從左至右三個(gè)交點(diǎn)分別對應(yīng)三個(gè)閾值：-3.48、-0.07和3.54。由于能力越高的學(xué)生獲得高分?jǐn)?shù)的概率應(yīng)當(dāng)更大，所以梯難度應(yīng)當(dāng)呈遞增趨勢。數(shù)據(jù)分析結(jié)果表明，COMET評分量表不存在低分梯難度高于高分梯難度的等級倒置現(xiàn)象[11]。同時(shí)三個(gè)閾值將整個(gè)Rasch能力量尺劃分為四個(gè)能力區(qū)間，每個(gè)能力區(qū)間對應(yīng)一條概率曲線的峰值，在此能力區(qū)間內(nèi)的學(xué)生最容易得相應(yīng)得分值。例如代表1分的概率曲線峰值對應(yīng)的能力區(qū)間為[-3.48，-0.07]，所以能力在此區(qū)間內(nèi)的學(xué)生得1分的可能性最高。兩端的區(qū)間可以延伸到無窮大或無窮小，中間兩個(gè)區(qū)間的跨度為3.41和3.61。Rasch理論認(rèn)為，這一區(qū)間的理想寬度為1個(gè)Logit，最大不超過4個(gè)Logit單位[12]。本次研究中COMET評分量表的兩個(gè)區(qū)間分布比較平均，寬度都在4 Logit以內(nèi)，沒有出現(xiàn)某一區(qū)間過大或過小的現(xiàn)象。此外，四個(gè)分?jǐn)?shù)等級的擬合參數(shù)在[0.9，1.2]之間，不存在不擬合或過度擬合。綜合評分等級面的統(tǒng)計(jì)結(jié)果，說明COMET測評的評分等級方案設(shè)計(jì)合理，可以有效區(qū)分不同能力水平的我國職校學(xué)生。

5.教師與評分項(xiàng)目交互作用的偏差分析

評分教師的Infit和Outfit參數(shù)表明了教師評分的自身一致性程度。對教師與評分項(xiàng)目的交互作用分析，可以進(jìn)一步了解中國教師在特定評分項(xiàng)目上的一致性程度。多面Rasch模型中以Z值的大小來判定交互作用的大小，一般認(rèn)為|Z|>2時(shí)存在顯著偏差，顯著偏差占項(xiàng)目比例在5%以內(nèi)為可接受范圍。當(dāng)Z值大于2時(shí)說明該教師對此學(xué)生打分顯著嚴(yán)格；相反，當(dāng)Z值小于-2時(shí)說明該教師對此學(xué)生打分顯著寬松。

教師與評分項(xiàng)目的交互分析表明，實(shí)驗(yàn)偏差項(xiàng)目共有624個(gè)，其中顯著偏差項(xiàng)目272個(gè)，占43.59%。其中，偏差超過10個(gè)的評分項(xiàng)目有“直觀性與可展示性”的評分項(xiàng)目1（方案表述適合與委托方溝通），“功能性”的評分項(xiàng)目7（考慮到當(dāng)前先進(jìn)技術(shù)）、項(xiàng)目9（從職業(yè)活動角度說明解決方案）和項(xiàng)目10（所表述和解釋的方案正確），“使用價(jià)值導(dǎo)向性”的評分項(xiàng)目12（方案考慮到使用的持久性和功能擴(kuò)展的可能性）。這表明評分教師在評價(jià)這些項(xiàng)目時(shí)與其他項(xiàng)目的尺度不一致，其原因一方面在于教師自身偏好等因素，另一方面也在于這些項(xiàng)目內(nèi)涵難以把握，例如界定方案表述的適合性，從職業(yè)活動的角度說明方案，使用價(jià)值的持久性和功能的可擴(kuò)展性等。這也提示應(yīng)增進(jìn)和統(tǒng)一評分教師對這些項(xiàng)目在我國職業(yè)教育背景下內(nèi)涵的理解，特別應(yīng)進(jìn)一步貫徹“職業(yè)教育的學(xué)習(xí)內(nèi)容是工作”的職業(yè)教育理念，增進(jìn)教師對職業(yè)教育內(nèi)容的“職業(yè)性”理解，而不僅僅是從狹義的“技術(shù)”角度理解學(xué)習(xí)內(nèi)容。

四、結(jié)論

運(yùn)用現(xiàn)代教育測量項(xiàng)目反應(yīng)理論的多面Rasch模型分析，對COMET評分量表在中國的適用性研究有以下發(fā)現(xiàn)：

COMET評分量表總體區(qū)分度較高，能夠有效地區(qū)分我國職業(yè)教育背景下的學(xué)生職業(yè)能力水平。評分項(xiàng)目難度差異顯著，區(qū)分性強(qiáng)；評分等級設(shè)置合理，不存在低分閾值高于高分閾值的等級倒置現(xiàn)象。

我國職業(yè)院校學(xué)生對COMET評分量表的個(gè)別項(xiàng)目還存在不適應(yīng)現(xiàn)象，部分學(xué)生答題行為存在內(nèi)部一致性較差現(xiàn)象，主要表現(xiàn)在“直觀性與可展示性”的評分項(xiàng)目1（方案表述適合與委托方溝通）和“環(huán)保性”的評分項(xiàng)目31（考慮到所用材料符合環(huán)境可持續(xù)發(fā)展的要求）等方面。其原因在于我國職業(yè)教育實(shí)踐界多持行為主義職業(yè)能力觀，重視技術(shù)的功能性教學(xué)，而忽視了技術(shù)的環(huán)保性、社會接受度和顧客導(dǎo)向等方面的培養(yǎng)，學(xué)生對這些評分項(xiàng)目的敏感性不強(qiáng)。這提示我國職業(yè)教育應(yīng)進(jìn)一步建立設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力目標(biāo)，不僅要培養(yǎng)學(xué)生對技術(shù)的功能性意識與能力，還要培養(yǎng)學(xué)生對于技術(shù)的環(huán)保性、社會授受度和顧客導(dǎo)向等的意識和能力，也就是對技術(shù)的社會性設(shè)計(jì)的能力。

我國職業(yè)教育教師對COMET評分量表寬嚴(yán)尺度把握內(nèi)部一致性較好，但不同評分教師個(gè)體之間的寬嚴(yán)程度還存在著較大差異。交互作用分析發(fā)現(xiàn)，教師個(gè)體之間的評分寬嚴(yán)程度差異突出表現(xiàn)在“直觀性與可展示性”的評分項(xiàng)目1（方案表述適合與委托方溝通），“功能性”的評分項(xiàng)目7（考慮到當(dāng)前先進(jìn)技術(shù)）、項(xiàng)目9（從職業(yè)活動角度說明解決方案）和項(xiàng)目10（所表述和解釋的方案正確），“使用價(jià)值導(dǎo)向性”的評分項(xiàng)目12（方案考慮到使用的持久性和功能擴(kuò)展的可能性）等方面。這也表明，應(yīng)加強(qiáng)我國教師對職業(yè)教育本質(zhì)內(nèi)涵的理解：職業(yè)教育的學(xué)習(xí)內(nèi)容是工作，而不僅僅是從狹義的無任何社會關(guān)聯(lián)的“技術(shù)”，進(jìn)一步增進(jìn)和統(tǒng)一評分教師對項(xiàng)目評價(jià)尺度的把握。

參 考 文 獻(xiàn)

[1][4]Rauner F， Maurer L H A. Competence Development and Assessment in TVET （COMET）[M]. Springer， 2013：47-50.

[2]Fischer M， Rauner F， Zhao Z. Kompetenzdiagnostik in der Beruflichen Bildung-Methoden zum Erfassen und Entwickeln beruflicher Kompetenz： COMET auf dem Prüfstand[M]. Muenster： LIT， 2014：2.

[3]趙志群，莊榕霞.職業(yè)院校學(xué)生職業(yè)能力測評研究[J].職教論壇，2013（3）：4-7.

[5]Linacre J M. Optimizing Rating Scale Category Effectiveness[J]. J Appl Meas， 2002，3（1）：85-106.

[6]Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many-facet Rasch Measurement： Part I[J]. Journal of Applied Measurement， 2003， 4（4）： 386-422.

[7]Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many-facet Rasch Measurement： Part II[J]. Journal of Applied Measurement， 2004， 5（2）： 189-227.

[8]晏子.心理科學(xué)領(lǐng)域內(nèi)的客觀測量——Rasch模型之特點(diǎn)及發(fā)展趨勢[J].心理科學(xué)進(jìn)展，2010（8）：1298-1305.

[9]Mok M M C， Cheong C Y， Moore P J， et al. The Development and Validation of the Self-directed Learning Scales （SLS）.[J]. Journal of Applied Measurement， 2006，7（4）：418-449.

[10]張潔. PETS三級口語考試評分誤差研究——結(jié)合定量統(tǒng)計(jì)和定性描述的方法[J]. 外語測試與教學(xué)，2012（2）：33-42.

[11]何壯，趙守盈.技能評分項(xiàng)目裁判員評分結(jié)果的多面Rasch模型分析——項(xiàng)目反應(yīng)理論在體育運(yùn)動領(lǐng)域的應(yīng)用[J].成都體育學(xué)院學(xué)報(bào)，2014（3）：43-48.

[12]Linacre J M. Investigating Rating Scale Category Utility[J]. Journal of Outcome Measurement， 1999，3（2）：103-122

Analysis of Application of German COMET Score Scale in China Context with the Many-Faceted Rasch Model

He Xingguo， Zhao Zhiqun， He Zhuang

Abstract German COMET score scale based the guideline of design orientation and comprehensive professional competence is an important evaluation tool for professional competence evaluation， and it is of great significance to the evaluation and reform of Vocational Education in our country. The applicability of German COMET score scale was analyzed in the context of Chinese students' professional competence evaluation with the Many-Facet Rasch Model. The results showed that the COMET score scale had higher differential validity， and could differentiate Chinese students' professional competence； there was the question of adaption of some items on Chinese students； some students answers had poor internal consistency； Chinese teachers had good internal consistency on the COMET score scale， but there was significant difference between teacher individual， and some biases also existed in the interaction between teachers and items.

Key words COMET score scale； Many-Faceted Rasch Model； item analysis； professional competence evaluation； vocational colleges

Author He Xingguo， PhD student of Beijing Normal University（Beijing 100875）； Zhao Zhiqun， professor of Beijing Normal University； He Zhuang， Beijing Normal University