摘 要 評估標準建構是實施元評估的重要基礎。為建構職業(yè)教育學習評價元評估的標準體系，整合國際通行的實用性、可行性、合理性和準確性尺度和中國學習評價的公平性尺度，綜合運用問卷法、訪談法和元分析法，對149名職業(yè)教育學生進行了實證調(diào)查。研究發(fā)現(xiàn)：國際通用的教育元評估標準與中國學習評價的公平性尺度具有內(nèi)在一致性;職業(yè)教育學習評價元評估體系是以“過程-結構”為基礎，在過程上包括了評估過程的評價設計、評價實施和評價結果三個環(huán)節(jié)，在結構上包含了不同環(huán)節(jié)的不同標準。實證分析發(fā)現(xiàn)，基于國際標準與本土尺度整合的職業(yè)教育學習評價元評估常模具有良好的測量學特征，可以用于學習評價的元評估。

關鍵詞 職業(yè)教育;學習評價;元評估;評價標準

中圖分類號 G719.2 文獻標識碼 A 文章編號 1008-3219（2020）01-0006-07

一、問題提出

學習評價改革是辦好類型特色職業(yè)教育的重要問題之一。2018年全國教育大會指出，“扭轉不科學的教育評價導向，堅決克服唯分數(shù)、唯升學、唯文憑、唯論文、唯帽子的頑瘴痼疾，從根本上解決教育評價指揮棒問題。”[1]對于職業(yè)教育學習評價來說，最重要的尺度就是評價過程的公平，以及評價結果能夠促進學生的發(fā)展[2]。然而，如何判斷職業(yè)教育學習評價是公平的、促進發(fā)展的？這就是對學習評價的評估，即元評估（meta-evaluation）。元評估是對評價的評價（the evaluation of evaluation），是人類的一種“自我參照”，通過對評價的再評價，在“指揮棒”和“參照系”[3]中引導初始評價朝著科學評價的方向發(fā)展。因此，對學習評價進行元評估有利于保障職業(yè)教育學習評價的科學性，維護職業(yè)教育學習評價的過程公平，實現(xiàn)“以評價促進發(fā)展”的目標。但是，實踐證明，實施職業(yè)教育學習評價的元評估，建構標準體系是其基礎性工作。從國內(nèi)外的實踐經(jīng)驗來看，制定學習評價元評估評價標準的方法有多種，不同的方法有不同的依據(jù)、價值選擇與方法論，也有不同的實施程序[4]。盡管職業(yè)教育學習元評估標準的編制程序各有不同，但元評估的標準卻是相同的。理想的元評估標準體系必須具備滿足以下條件：有具體的、完整的評價觀測點;有細致的、準確的評價尺度;有良好的信度和效度;有合理的、權變的權重指標;有公正的、清晰的結果等級[5]。因此，參照教育元評估標準的理想表征，本研究整合國際通行的實用性、可行性、合理性和準確性元評估尺度和中國學習評價的公平性標準，運用元分析、訪談法等多種研究方法開發(fā)編制職業(yè)教育學習評價元評估標準。

二、研究設計

評價標準的開發(fā)需要有先進而科學的理論基礎、豐富和詳實的數(shù)據(jù)支撐以及必要的數(shù)理統(tǒng)計分析。在特定的研究目標指引下，依托合理的研究假設，運用多重研究方法論證指標體系的來源、結構與合理性?；诖耍殬I(yè)教育學習評價元評估標準的開發(fā)設計思路如下。

（一）研究目標

學習元評估是多功能性的評價，常見的功能有：通過信息收集、價值判斷為政策制定、課程設計以及學生學習提供支持;通過文本資料分析助推教育政策制定與改革;通過獲取、描述、分析初始評價信息的全過程，指導評價活動改進[6]。元評估也是價值判斷和事實判斷，要實現(xiàn)元評估的功能屬性，需要一定的參照標準。因此，本研究的目標是建構職業(yè)教育學習評價元評估的評價標準。具體而言，結合國內(nèi)外現(xiàn)有的學習元評估標準體系與職業(yè)教育學習評價的自身規(guī)律，分析并建構有信度、有效度的職業(yè)教育學習評價元評估標準。

（二）研究假設

國際上通行的元評估標準是美國教育評價標準聯(lián)合委員會（JCSEE）開發(fā)的實用性、可行性、合理性和準確性四個指標尺度[7]。國內(nèi)學習元評估的標準主要有高考公平指數(shù)[8]和義務教育督導評估公平指數(shù)[9]。盡管東西方學習元評估的標準尺度在形式上略有差異，但在本質(zhì)上有著良好的內(nèi)部一致性，見圖1。

西方學習元評估的實用性、可行性、合理性、準確性標準與我國學習元評估的公平指數(shù)在本質(zhì)上是一致的。經(jīng)濟視角的公平是最終的效益分配與共享，這是實用性標準;法律視角的公平是評價程序的公正和參與，這是可行性標準;倫理學視角的公平強調(diào)評價制度的無傷害和道德性，這是合理性標準;技術哲學視角的公平衡量評價制度的科學與效率，這是準確性標準。因此，職業(yè)教育學習評價的元評估既可以從實用性、可行性、合理性、準確性四個維度衡量，也可以從評價制度的公平性去衡量?；诖?，本研究把中西方學習元評估標準進行整合，建立新的元評估體系。

（三）研究方法

在整個職業(yè)教育學習評價制度元評估的過程中，為準確探究職業(yè)教育學習評價制度運行的現(xiàn)狀，保障研究結果的信度與效度，本文綜合采用了問卷調(diào)查法、內(nèi)容分析法、德爾菲法和層次分析法等方法。

1.元分析法

借助國內(nèi)外學習評價相關文獻和元評估文獻，分析職業(yè)教育學習評價的過程結構，整理國內(nèi)外現(xiàn)存的學習評價元評估標準體系，建構中西整合的職業(yè)教育學習評價元評估標準框架。

2.訪談法

職業(yè)教育學習評價元評估還通過訪談方法收集學習評價實施的相關質(zhì)性資料，以此為基礎，分析職業(yè)教育學習評價元評估的具體評估要點和觀測點。

3.德爾菲法

職業(yè)教育學習評價元評估標準還要基于專家的經(jīng)驗判斷，確定評估維度以及評估體系的信度效度。同時，還要根據(jù)專家經(jīng)驗區(qū)分各維度之間的權重維度。

三、研究過程與結果

職業(yè)教育學習評價元評估標準的設計與開發(fā)有三個核心工作：一是選擇合理的指標觀測點，二是建構不同指標之間的穩(wěn)定性結構，三是測度整個體系結構的質(zhì)量水平。在國內(nèi)尺度與國際標準相整合的理念下，職業(yè)教育學習評價元評估標準的開發(fā)過程與結果如下。

（一）元評估觀測點的選擇

元評估的根本是基于信息收集與分析做出事實判斷與價值判斷，所以評價的關鍵還是收集什么樣的信息。建構職業(yè)教育學習評價元評估的評價標準，首先必須確立元評估信息收集的內(nèi)容標準，明確元評估標準的內(nèi)容觀測點。職業(yè)教育學習評價元評估標準的觀測點來自兩個方面：一是從國內(nèi)外經(jīng)典元評估模型中汲取精華;二是實踐觀察，用實踐經(jīng)驗進一步補充完善觀測體系。

1.文獻中的元評估觀測點

斯塔弗爾比姆（Stufflebeam， D.L.）主張考究評價主體是否得當、評價對象是否準確、評價過程是否科學合理、評價目的是否達到[10]。斯凱瑞文（Scriven， M.）認為完整的元評估主要包括：檢查或重新實施數(shù)據(jù)收集，重新檢測信度效度，評價原來的設計，檢查數(shù)據(jù)分析方法與過程，分析原來的結論[11]?？露鞑┛疲↘eun-bok， K.）和陳谷（Chan-goo， Y.）從元評估的評價范式、評價資源、評價過程、評價績效、評價結果的應用建構了三階元評估內(nèi)容框架[12]。阿勒武（Aleu， F.G）和凱瑟利（Keathley， H.）則設計了元評估的“環(huán)境—資源—過程—績效—應用”內(nèi)容框架[13]。在研究JCSEE和AEA元評估制度基礎上，借鑒國內(nèi)《學習元評估檢核表》[14]的學習元評估問卷項目，整合形成國內(nèi)外經(jīng)典的元評估內(nèi)容框架，見表1。

從歸納結果來看，斯塔弗爾比姆、斯凱瑞文、柯恩博科、陳谷的元評估模型所關注的評價內(nèi)容觀測點主要為評價目標5次、評價標準5次、評價工具4次、評價主體5次、評價程序3次、評價組織2次、評價技術4次、評價監(jiān)控2次、結果形式1次、結果質(zhì)量4次、結果應用3次。實際上，評價環(huán)境、評價資源、評價方案等內(nèi)容之間相互聯(lián)系、相互包含，幾乎所有的元評估模型都要對初始評價的評價目標、評價方案、評價工具、評價主體、評價程序、評價組織、評價技術、評價監(jiān)控、結果形式等實施再評價。

2.實踐中的元評估觀測點

2016年3月至6月，研究者作為北碚X職業(yè)教育學?！秾W前教育研究方法》代課教師，通過學生訪談和作業(yè)問答掌握學生們對職業(yè)教育學習評價的認知，通過開放式問答表收集了第一批資料。同時，研究者于2016年6月，在Y校對部分學生和教師進行了相同的開放式訪談，收集了第二批初始資料。整理所有初始探索的訪談對象，基本情況見表2。

通過對兩所學校的多次實地訪談和調(diào)研分析發(fā)現(xiàn)，學生與教師對職業(yè)教育學習評價的評價目的、評價方式、評價標準、評價頻次、評價過程、評價結果形式、評價結果應用等非常關心。對兩期訪談的文檔進行編碼整理，最終得到實踐中的學習元評估觀測點，見表3。

3.職業(yè)教育學習評價元評估觀測點

以斯塔弗爾比姆的評價過程分析為理論支點，結合元分析的結果和實地訪談中所形成的問題項目，進一步歸納編碼職業(yè)教育學習評價的元評估主要內(nèi)容，可以把評價目標、評價方案、評價工具等12個內(nèi)容觀測點聚類為評價設計、評價實施和評價結果三個二階維度，見圖2。

職業(yè)教育學習評價元評估內(nèi)容的二階模型，在設計的元評估環(huán)節(jié)，主要評價初始評價的目標定位、評價方式選擇與設計、評價工具或評價標準開發(fā);在評價實施環(huán)節(jié)，主要評價主體的參與、程序的推進、技術支撐和評價調(diào)控措施;在評價結果環(huán)節(jié)，主要評價結果的表達、結果的質(zhì)量、結果的反饋以及結果的應用。

（二）元評估尺度標準設計

尺度標準是元評估對評價內(nèi)容、評價對象的信息作出價值判斷的依據(jù)，不同的制度往往會得出不同的結論，評價尺度一般具有哲學意義上的普遍性與穩(wěn)定性，而且必須有客觀的公信力。因此，職業(yè)教育學習評價元評估尺度必須從經(jīng)典文獻與成熟體系中尋找答案。

1.國際標準的元評估尺度

目前，國際上比較通用的學習元評估標準尺度是1981年美國教育評價標準聯(lián)合委員會（JCSEE）開發(fā)的元評估標準尺度，見表4。

JCSEE從實用性、可行性、合理性和準確性四個一級維度，對元評估的標準進行了系統(tǒng)性規(guī)定。也巴亓（Yarbrough， D.B.）和蘇拉哈（Shulha， L.M.）等人基于JCSEE的元評估標準開發(fā)了五個維度的元評估標準尺度，分別是效用性標準（performance standard）、可行性標準（feasibility criterion）、適切性標準（practical standard）、精確性標準（accuracy standard）以及問責標準（accountability standards）[15]。此外，比較通用的標準還有美國評價協(xié)會（American Evaluation Association， AEA）開發(fā)的55條元評估標準[16]，這套標準尺度按照元評估的流程來設計的不同階段的不同標準將元評估分為“規(guī)劃與協(xié)商—結構與設計—數(shù)據(jù)搜集與準備—資料分析與解釋—溝通與公布—結果運用”六大模塊流程，并在不同階段設置相應的評價標準。

2.國際元評估標準的啟示

從國際通用的元評估標準可以看出：第一，元評估最核心的標準是可實用性、可行性、合理性和準確性四個基礎性標準[17];第二，不同評價環(huán)節(jié)的元評估標準可能會有所不同，因此可以借鑒AEA的元評估標準尺度，在不同階段設置相應的評價標準;第三，評價標準不宜過于細化，因為過分精致化的元評估標準往往會淡化對現(xiàn)實評價活動的意義作更深層次的思考，阻礙了對評價本身的“價值”作“元”層次的不斷追問[18]。因此，職業(yè)教育學習評價的元評估標準建構必須以此為基準。首先，要在根本上實現(xiàn)評價效用“保障公平、促進發(fā)展”的目標。其次，以公平與發(fā)展的基本尺度為基準，整合JCSEE的實用性、可行性、合理性以及準確性標準和AEA等其他評價指標體系的尺度標準。最后，所有職業(yè)教育學習評價元評估的尺度標準根據(jù)不同環(huán)節(jié)設定相應的評價標準。

3.職業(yè)教育學習評價元評估的標準尺度

通過對國際學習元評估標準的梳理與反思，結合Stufflebeam學習元評估的過程分析和AEA分流程設計標準的原則，建構職業(yè)教育學習評價元評估的標準尺度體系框架，見圖3。

職業(yè)教育學習評價元評估的標準體系框架以“公平和發(fā)展”為基準，將元評估標準分解為實用性、可行性、合理性以及準確性四個二階維度。但是，四個二階維度并不是按照JCSEE評價標準體系進行組合，而是根據(jù)元評估的具體流程，可以分為評價設計的元評估標準、評價實施的元評估標準和評價結果的元評估標準。

（三）元評估標準體系的質(zhì)量分析

元評估標準體系在本質(zhì)上就是元評估的評分問卷。元評估標準體系的內(nèi)容觀測就是評分問卷的具體項目，項目關系之和就是維度。因此，元評估標準體系的質(zhì)量分析就是職業(yè)教育學習評價元評估初始評分問卷的質(zhì)量分析。

1.初始問卷：元評估標準體系成型

首先，維度與內(nèi)容設計。職業(yè)教育學習評價元評估的初始評分問卷設計整合了學習元評估的評價內(nèi)容與評價標準，其中，基本維度的設計主要依據(jù)初始評價的各個環(huán)節(jié)，分為評價設計元評估、評價實施元評估和評價結果元評估三個二階維度，然后根據(jù)評價內(nèi)容觀測點分配到三階維度。

其次，項目評分標準選擇。根據(jù)“不同評價環(huán)節(jié)采用不同評價指標”[19]的原則，集合初始評價目標定位、評價方式選擇、評價工具、評價標準、評價主體、評價程序、技術支撐、評價調(diào)控措施、評價結果表達、結果質(zhì)量、結果的應用選擇對應評價標準。

最后，項目評分等級。評價體系的最后一級指標確定后，還必須確定評價的等級數(shù)量和標度[20]。職業(yè)教育學習評價元評估部分的所有問題都采用封閉式作答，每個項目的評分用李克特量表（Likert scale）的五級評分模式，其中，5分為最高分，代表“非常好”，依次為4分（比較好）、3分（一般）、2分（比較差）和1分（非常差）。因此，整合初始框架與初始項目，得到初始問卷結構，見表5。

2.問卷預測：元評估標準體系調(diào)試

初始問卷編成之后，研究者征集了2位教育學專家、2位教育評價專家、2位教育統(tǒng)計與測評博士研究生和1位一線教師的意見，根據(jù)7人對問卷的審讀和修改意見，對初始問卷的項目進行了第一輪刪減和優(yōu)化。根據(jù)專家意見，刪掉意思重復、意見集中的項目25、30、32、47，對表達模糊、不易理解的28、49進行了重新陳述，形成了初始問卷。

3.元評估標準體系的質(zhì)量：信度與效度分析

評價的實質(zhì)就是評價主體把評價對象的價值結構映射成一種數(shù)學結構[21]，因此，倘若評價工具質(zhì)量不好，可能會影響主體判斷的準確性，所以必須驗證并保證評價工具的質(zhì)量。

首先，采用隨機抽樣的方法，在X、Y、Z三所學校學生中實施預調(diào)研，發(fā)放學生問卷156份，回收問卷154份，有效問卷149份，有效回收率為95.51%。對問卷進行信度分析，結果見表6。

問卷的各個因子和總問卷的信度都在0.681～0.819之間，最低水平的評價過程維度信度為0.681。根據(jù)問卷設計的質(zhì)量水平，問卷信度的最低水平維度也達到了“尚可”的標準，其余因子和總問卷都在“佳”和“甚佳”之間。盡管沒有因子達到“非常理想”的信度，但是，問卷的內(nèi)部一致性水平都在“尚可”之上，因此，職業(yè)教育學習評價元評估標準體系具有良好的內(nèi)在信度。

在信度分析的基礎上，對職業(yè)教育學習評價元評估標準問卷進行效度檢驗。由于職業(yè)教育學習評價元評估標準的結構維度是“強理論驅動”的結構模型，因此，探索性因素分析的“強數(shù)據(jù)驅動”模型可以省略。直接對信度檢驗之后的問卷進行效度分析：首先，《學習元評估調(diào)查問卷》的項目源于成熟文獻和訪談觀察整理后的結果，并請了教育評價專家和一線教師對問卷的項目進行了評判，均認為本問卷基本能夠代表要測量的問題，量表內(nèi)容效度良好。其次，《學習元評估調(diào)查問卷》由3個因子構成，各因子之間的區(qū)分度與調(diào)查點明晰，基于“學習評價設計——學習評價實施——學習評價結果”的二階三因子模式的驗證性因子分析，得到結果見圖4。職業(yè)教育學習評價元評估標準模型的χ2=116.037，χ2/df=1.253，顯著性概率值p=0.06>0.05，接受虛無假設，因此理論模型與數(shù)據(jù)之間具有較好的擬合度。在重要參考的絕對擬合指數(shù)中，RMSEA=0.052<0.08，AGFI=0.963>0.9，檢驗結果都達到了較好及其以上水準;在增值適配度指數(shù)中，CFI、NFI、IFI、TLI、RFI等判斷結果都為好。所以，問卷的結構效度可以接受。

四、討論與結論

公平與發(fā)展是我國自科舉制度以來就在堅持的評價尺度，但是西方國家卻在教育評價中有著更細致的操作性原則。整合中西方教育評價的基本尺度，開發(fā)中國職業(yè)教育學習評價元評估的標準體系，通過文獻分析、訪談編碼和實證驗證，得到以下結論：

（一）職業(yè)教育學習評價元評估堅持實用性、可行性、合理性、準確性與公平尺度

文獻元分析發(fā)現(xiàn)，國際通用的教育元評估標準包括了實用性、可行性、合理性和準確性等四個尺度，而我國最關心的是學習評價過程的公平與否。但是，在本質(zhì)上，國際通用的實用性、可行性、合理性和準確性標準與我國學習評價的公平性尺度具有內(nèi)在一致性。從經(jīng)濟學、法學、倫理學和技術哲學來看，職業(yè)教育學習評價元評估的國際標準與我國堅持的公平尺度在價值取向、分配原則、道德正義和主觀感受方面都具有一致性，因此，職業(yè)教育學習評價元評估需要堅持實用性、可行性、合理性、準確性與公平尺度。

（二）職業(yè)教育學習評價元評估標準體系以評價的“過程—結構”為框架基礎

職業(yè)教育學習評價是復雜的、多樣的。但是根據(jù)斯塔弗爾比姆的評價過程分析理論，結合文獻回顧的學習評價元評估觀測點和質(zhì)性訪談的觀測點可以發(fā)現(xiàn)，職業(yè)教育學習評價元評估體系是以“過程-結構”為基礎，在過程上包括了評估過程的評價設計、評價實施和評價結果三個環(huán)節(jié)。在結構上包含了不同環(huán)節(jié)的不同標準，而根據(jù)“不同評價環(huán)節(jié)采用不同評價指標”的原則，集合初始評價觀測點包含了目標定位、評價方式選擇、評價工具、評價標準、評價主體、評價程序、技術支撐、評價調(diào)控措施、評價結果表達、結果質(zhì)量、結果應用等不同標準，但是，“過程—結構”框架的職業(yè)教育學習評價元評估標準在觀測點上是我國尺度與西方尺度相整合的結果。

（三）整合性職業(yè)教育學習評價元評估標準體系具有良好的測量學性能和推廣可能

根據(jù)五級量表的質(zhì)量分析結果發(fā)現(xiàn)，國際標準和本土尺度相整合的職業(yè)教育學習評價元評估標準體系具有較好的測量學性能。首先，前測數(shù)據(jù)顯示，整合性職業(yè)教育學習評價元評估標準體系在評價設計維度的α系數(shù)為0.819，分半系數(shù)為0.817;評價過程維度的α系數(shù)為0.745，分半系數(shù)為0.681;評價結果維度的α系數(shù)為768，分半系數(shù)為0.724。其次，信度檢測發(fā)現(xiàn)，整合性職業(yè)教育學習評價元評估標準體系內(nèi)容效度良好。最后，《學習元評估調(diào)查問卷》由3個因子構成，各因子之間的區(qū)分度與調(diào)查點明晰，問卷的結構效度可以接受。因此，基于國際標準與本土尺度的整合性職業(yè)教育學習評價元評估標準具有良好的測量學特征，可以用于學習評價的元評估。

參 考 文 獻

[1]習近平.堅持中國特色社會主義教育發(fā)展道路 培養(yǎng)德智體美勞全面發(fā)展的社會主義建設者和接班人[EB/OL].（2018-09-10）[2018-09-15].http：//politics.people.com.cn/n1/2018/0910/c1024-30284579.html.

[2]李鵬.職業(yè)教育學習評價效用的制度分析[D].重慶：西南大學，2018：132.

[3]Swaffield， S.Assessment： Servant or Dictator？[J].Forum， 2003， 45（2）： 222-7.

[4]Stufflebeam， D.L.Meta-evaluation[J].Journal of Multidisciplinary Evaluation， 2011， 7（2）： 99-158.

[5]Nyirenda， S.Assessing Highly Accomplished Teaching： Developing a Meta-evaluation Criteria Framework for Performance-assessment Systems for National Certification of Teachers[J].Journal of Personnel Evaluation in Education， 1994， 8（3）： 313-327.

[6]Stufflebeam， D.L.The Meta-evaluation Imperative[J].American Journal of Evaluation， 2001， 22（2）： 183-209.

[7]Stufflebeam， D.L.Standards for Evaluations of Educational Programs， Projects， and Materials[M].New York， NY： McGraw-Hill Book Co.， 1981： 186.

[8]張和生，余軍民，鄭岱.高考公平指數(shù)的建構與測評——以湖南省為例[J].北京大學教育評論，2013（1）：29-42.

[9]李鵬，朱德全.公平與發(fā)展：中國義務教育督導績效的實證研究[J].教育學報，2016（2）：49-57.

[10]Stufflebeam， D.L.The Meta-evaluation[J].American Journal of Evaluation， 2001， 22（2）： 66-69.

[11]Scriven， M.Meta-evaluation Revisited[J].Journal of Multi Disciplinary Evaluation， 2009， 6（11）： iii-viii.

[12]Keun-bok， K.& Chan-goo， Y.A Design of the Meta-evaluation Model[R].Montréal： Canadian Evaluation Society， 2000-05-16.

[13]Aleu， F.G.& Keathley， H.Design and Application of a Meta-evaluation Framework[M].Iie Conference & Expo， 2015： 2640-2651.

[14]嚴芳.教育元評估的理論與實踐研究[D].上海：華東師范大學，2010：120-123.

[15]Yarbrough， D.B.& Shulha， L.M.， et al.The Program Evaluation Standards： A Guide for Evaluators and Evaluation Users（3rd Ed.）[EB/OL].[2013-10-29].http：//www.eval.org/p/cm/ld/fid=103.

[16][19]Wingate， L.A.The Program Evaluation Standards Applied for Meta-evaluation Purposes： Investigating Interrater Reliability and Implications for Use[R].Proquest Llc， 2009： 181.

[17]Speer， S.Peer Evaluation and Its Blurred Boundaries： Results from a Meta-evaluation in Initial Vocational Education and Training[J].Evaluation， 2010， 16（4）： 413-430.

[18]閻光才.教育評價的正當性與批判性評價[J].北京師范大學學報：社會科學版，2003（2）：124-131.

[20]張宏，林先成，李世強.荒漠化評價指標體系的等級系統(tǒng)研究[J].四川師范大學學報：自然科學版，2005（3）：358-361.

[21]錢存陽，李丹青，潘嵐.課堂教學質(zhì)量評價元評估中的效度和信度分析[J].中國計量學院學報，2004（2）：164-167.