□吳志華　趙仲博

比利時弗蘭德斯職業(yè)學校效能的評價研究

□吳志華趙仲博

2007年，比利時弗蘭德斯政府對弗蘭德斯地區(qū)的中等技術(shù)和職業(yè)學校開展了歷時三年的大規(guī)模的效能實證研究。目的就是探尋學校質(zhì)量績效和什么在教育中起作用，尋求一種探索影響效能因素及相關(guān)作用的有效方法。結(jié)果顯示，學校間效能存在較大差異，但同一所學校效能可保持一定的連續(xù)性；效能評估的多變量模型中的兩種方法結(jié)合更加有效、合理。弗蘭德斯職業(yè)學校效能的評價在評價理念和評價方法上對我國職業(yè)學校評價改革有重要的啟示。

比利時；職業(yè)學校；效能評價

在過去的數(shù)十年中，國內(nèi)外關(guān)于教育效能的研究呈指數(shù)般增長。Scheerens（2000）對學校效能的的本質(zhì)做了精確地概括：“學校效能是學校根據(jù)學生的接受程度，通過自身實施特定的條件或是學校真實的情況，達到其目標的程度?！保?］學校效能的研究是對影響學校達到其目標程度可塑性因素的探求，分析究竟是什么在教育中起作用，尋求處在不同教師、班級、學校、甚至教育系統(tǒng)水平的相關(guān)因素之間的關(guān)系或是相互作用。學校目標就是因變量，通常被標記為“效能標準”或“輸出測度”［2］。以往的研究是把效能標準作為單一變量來評估，近些年有學者對單一變量研究方法提出質(zhì)疑，并嘗試研究多種效能標準［3］。本文呈現(xiàn)的是比利時弗蘭德斯地區(qū)職業(yè)學校效能評價采用的多標準研究的案例，以期對我們職業(yè)學校評價以借鑒。

一、背景

比利時作為歐洲經(jīng)濟體的一員，與德國、荷蘭一樣，非常重視職業(yè)技術(shù)教育。比利時的中等教育為6年，包括普通中等教育、技術(shù)中等教育（TSE）、職業(yè)中等教育（VSE）三種教育形式。中等職業(yè)技術(shù)教育可以與高等職業(yè)教育、高等教育實現(xiàn)對接。上世紀末，隨著全球化知識經(jīng)濟的到來，歐洲經(jīng)濟社會的發(fā)展更加緊密的依賴于勞動力市場，每3-5年就有約50%的職業(yè)技能需要更新，這就要求職業(yè)教育匹配性發(fā)展。為此，歐洲許多國家進行了中等教育改革，強調(diào)專業(yè)能力和職業(yè)能力的培養(yǎng)。同德國、荷蘭相比，比利時中等教育改革力度不大，明顯漸趨減弱。2003年的一項國際中學生知識水平調(diào)查顯示，比利時學生的科學、計算和語文水平都落后于歐洲許多國家。比利時社會要求提高學生成就標準的呼聲頓時高漲，希望教育能培養(yǎng)出更多高素質(zhì)的人才。

弗蘭德斯地區(qū)是比利時的最大語言區(qū)（包括今比利時的東佛蘭德省和西佛蘭德省、法國的加來海峽省和北方省、荷蘭的澤蘭?。?。2004年，弗蘭德斯政府實施一項 “弗蘭德斯行動起來”（Flandersin action）的計劃［4］，對中等普通教育和職業(yè)技術(shù)教育進行改革，致力于“全面加強能力培養(yǎng)，提高公民素質(zhì)”。政府制訂了中等教育“學習與工作相結(jié)合”的實訓內(nèi)容，并協(xié)調(diào)不同培訓機構(gòu)職業(yè)技術(shù)課程的訓練。新的職業(yè)技術(shù)課程將針對市場基本能力需求具體規(guī)劃，以減少資源浪費。2005年，弗蘭德斯政府和企業(yè)、教育工會、學生組織共同簽署《教育戰(zhàn)略合同》，制定了2013年前應達到的基本目標:提高閱讀能力、計算及科學知識水平，提出要在2013年前徹底改革教育體制，用新評價機制取代以成績?yōu)槲ㄒ粯藴实姆至黧w制，改革職業(yè)教育模式［5］。弗蘭德斯各界成立“教育戰(zhàn)略委員會”，對各類職業(yè)教育學校和培訓機構(gòu)全面評估，每年公布學校排名，以作為考量學?？冃ж熑蔚囊环N機制。但由于以往的排名只關(guān)注學生原始考試成績的結(jié)果，沒有考慮學校的背景及學生入學特征，單純以學生成績對學校排名對于社會選擇性程度低的學校來說顯然不公平，因而受到了廣泛的批評。同時，政治的原因及教育領(lǐng)域市場機制的引入也要求提高學校、地方教育當局的績效責任，因此，建立新的評價體系迫在眉睫，以加強對學校的績效評價。在這樣的背景下，效能評價逐步興起。

二、弗蘭德斯區(qū)職業(yè)學校效能的評價研究

2007年，弗蘭德斯政府委托比利時安特衛(wèi)普大學（UniversiteitAntwerpen）對弗蘭德斯地區(qū)的技術(shù)和職業(yè)中等學校（TSE和VSE）進行大規(guī)模的效能實證研究［6］（Flandersschooleffectivenessassessment），簡稱FSEA。該項研究由著名教育統(tǒng)計專家SvenDeMaeyer率領(lǐng)的團隊歷時三年完成。

（一）樣本及信息收集

FSEA的學生樣本信息來自弗蘭德斯地區(qū)95所職業(yè)技術(shù)學校的六年級（17-18歲）學生。95所學校包含58所中等職業(yè)學校和37所中等技術(shù)學校。學生信息收集使用了測試和問卷。共收集5114名學生信息，2007年、2008年、2009年分別為1703、1698和1713名學生；同時，學校因素信息是每所學校每年隨機選取30名教師完成問卷和訪談調(diào)查。

（二）變量

在學校效能的研究中，效能標準的應用不僅是中立的角色，而且是與教學目標聯(lián)系在一起。效能標準與研究者期望使用以比較學校的標準或準則有關(guān)，反映了教育職能和目標的觀點，因此，需要對使用的效能標準作出選擇。從方法論的角度看，這個問題可以表述為關(guān)于學校效能的結(jié)構(gòu)效度問題。當學校因素對多個輸出測度存在影響時，學校才具有普遍的效能促進作用。一般效能評價是把效能標準作為單一輸出測度去衡量，這可能對效能的進一步歸因分析帶來不便。此次FSEA使用不同的輸出測度來確定有關(guān)學校在認知方面的效能。由于不同學校課程差異較大，F(xiàn)SEA最終從所有中等職業(yè)和技術(shù)教育選出共有的、對認知輸出測度最具共性的課程——數(shù)學和閱讀成績作為學校效能輸出標準。

FSEA把學校因素分為兩類：學校政策與組織特征，就業(yè)市場指向。學校政策和組織因素包括學校氛圍、教育政策、管理才能、學習方向、評估水平、鼓勵自主學習、理論和實踐課的結(jié)合以及學生討論8項指標；就業(yè)市場指向包括就業(yè)方向、技術(shù)和材料、學習指導、課程管理教師、課程指導教師、商界參與度、教育政策的實施、商界支持8項指標。學生因素包括：性別、智商 （IQ）、社會經(jīng)濟地位（SES）、語言種族背景（LEB）、亞文化、與父母關(guān)系、家庭教育狀況、課程變化（是否有從一門課程到另一門的改變）和復讀（是否有）［7］。各指標均通過有效性檢驗。

（三）模型的選擇及方法

效能評價最大的難題就是尋找一個有效的數(shù)據(jù)處理方法，它對效能評價和解釋學校間的績效差異也是至關(guān)重要的。當輸出測度為多個時，可采用兩類統(tǒng)計模型：單變量分析和多變量模型。單變量模型分析就是對每一個因變量（效能標準）都設(shè)置一個獨立的解釋模型，SvenDeMaeyer等2003年對5所職業(yè)學校效能分析使用的就是單變量分析［8］。其不足在于單一變量存在一個暗含的假設(shè)，不同的變量不相關(guān)或在所有研究水平?jīng)]有顯示出中間的關(guān)系。顯然，這一假設(shè)會導致I型錯誤（發(fā)現(xiàn)了并不真實存在的影響）產(chǎn)生，且因變量間的相關(guān)性越大，罹患I型錯誤的風險越大［9］。多變量模型意味著在一個模型中解釋不同的因變量。當不同因變量之間有一定關(guān)系時，多變量分析將具有更高的“統(tǒng)計功效”［10］。為了探討學校因素研究與多變量分析模型中學生表現(xiàn)具有怎樣的關(guān)系，考查學校因素產(chǎn)生普遍影響的程度，以及對兩個因變量是否具有相同強度的影響，此次FSEA采用多變量測度評估模型以降低I型錯誤的風險。

多變量研究設(shè)計又含兩種不同模型方法：普遍影響模型（themodelwithgeneraleffects，MGE）和特殊影響模型（themodelwithspecificeffects，MSE）。MGE是假設(shè)有關(guān)學校因素的影響在所有應用的效能標準中是一致的，并且對每個輸出測度的影響程度是相等的；MSE是評估某一學校因素對不同效能標準，即因變量的分別影響。此次，F(xiàn)SEA采用了學校特征分數(shù)矢量乘以虛擬變量的特殊影響來分析。兩種多變量模型均包括三個層次：變量層、學生層和學校層，潛在的假設(shè)是輸出測度 （因變量，層1）嵌入學生（層2）中，層2又嵌入學校（層3）中。FSEA在建立模型時，按照專業(yè)類型和屆級組合把樣本數(shù)據(jù)分成六組：中等職業(yè)教育07、08和09年的六年級學生，中等技術(shù)教育07、08和09年的六年級學生。在此基礎(chǔ)上，估算在學生和學校層的自變量。為了確定MGE和MSE那個是最佳選擇，以及兩者在評估結(jié)果上有何不同，F(xiàn)SEA進行了對數(shù)似然比例檢定，并對兩種分析結(jié)果進行比較和解釋。

三、結(jié)果及分析

把收集的三年信息放入多變量模型中，結(jié)果顯示：

（一）學校間效能存在較大差異，但同一所學校效能保持一定的連續(xù)性

FSEA采用兩種多變量模型方法對收集數(shù)據(jù)估算，分析出2007、2008和2009年95所學校的效能。設(shè)平均值為0，得分在0值以下的表明其學校效能在統(tǒng)計意義上低于平均水平，得分在0值以上的表明其學校效能高于平均水平。統(tǒng)計顯示，兩種多變量模型方法評估的學校效能排名基本一致，僅是效能在平均值范圍的學校數(shù)略有不同。MGE估算的效能在平均值的學校數(shù)少于MSE的估算，如MGE分析的2008年有9所學校效能與平均值無顯著差異，而MSE估算是11所。連續(xù)三年的評估，學校排名順序保持一致的有77%，另21%所學校有3所名次變化10-13名，其余相差1-3名。說明雖然學校間效能差異較大，但學校的效能水平發(fā)展有一定的連續(xù)性。

（二）兩個效能標準有一定相關(guān)性，但受學校因素影響不同

多變量模型估算結(jié)果顯示，在控制了學生特征之后，無論是在學生層還是學校層，學生數(shù)學成績和閱讀能力分數(shù)間均顯現(xiàn)出相關(guān)性。也就是說，無論學生的社會背景、智商、性別以及所屬的年級組和課程類型如何，獲得高的數(shù)學分成績學生，也將獲得高的閱讀分數(shù)。學校層也如此，如果一所學校的數(shù)學成績普遍較好，那么其閱讀成績也往往較好。這也說明，建立多變量模型確實有意義，忽略因變量間的關(guān)系會存在分析結(jié)果有偏差的風險。

表1　學校因素普遍影響和特殊影響的固定部分參數(shù)估計表（顯著估計以**表示）

兩個模型統(tǒng)計結(jié)果比較見表1。在MGE分析中，16項學校指標中的學校氛圍、學習方向、課程指導教師等八個因素對數(shù)學和閱讀存在顯著影響，其中課程指導教師的影響最大，教育政策的實施影響最小，但不能確定這些因素對數(shù)學和閱讀能力的影響程度是否一致。而另一些因素，如管理才能、教育政策、評估水平等則對兩種效能標準影響不顯著。MSE結(jié)果顯示：MGE分析中的八個學校因素對數(shù)學成績有顯著作用，而其中只有教育政策和理論與實踐課目的結(jié)合兩個因素對閱讀有顯著影響，其余學校因素對閱讀成績影響均不顯著，也可以說閱讀成績受學校因素影響較少。但在分析學生因素影響時，MSE顯示閱讀成績受學生因素影響較大，除了課程變化和復讀外，其它因素對閱讀成績都有顯著影響；而其中對數(shù)學能力影響的只有智商、社會經(jīng)濟地位和家庭教育狀況。這也表明學校因素對兩個認知效能標準不存在普遍而對等的影響。

（三）普遍和特殊影響模型兩者結(jié)合使用更加有效、合理

為了評價兩個模型哪個更適合效能統(tǒng)計，F(xiàn)SEA運用了對數(shù)似然比率檢定。結(jié)果表明，兩個模型間的差異不顯著（Chi=26.5；df=16；p＞0.05）。換句話說，特殊影響模型并不比普遍影響模型更有優(yōu)勢。原因在于MSE需要兩倍的無關(guān)參數(shù)估計（對兩個效能標準都沒有影響的學校因素的獨立影響），這降低了數(shù)據(jù)模型的準確率。但從影響效能標準因素看，MGE假設(shè)學校因素對所有效能標準影響一致是不存在的。FSEA研究顯示，MSE分析方法具有更高的統(tǒng)計學效力并且降低了I型錯誤的風險，但由于其存在無關(guān)參數(shù)多的問題，需要MGE的補充，因此，兩個模型結(jié)合運用更合理［11］，與SvenDeMaeyer2003年單變量研究比較，多變量模型中還出現(xiàn)一些在單變量分析中沒有出現(xiàn)的新的影響因素：鼓勵自主學習、教育政策的實施和商界支持。這說明多變量分析能觀測到更小的顯著影響因素，能更加精細夠解釋這三個因素的影響。TalitaGroenendijk認為多變量模型可以推廣到所有效能領(lǐng)域的教育研究中［12］。

（四）學校效能的持續(xù)改進是可能的

不同模型的分析結(jié)果顯示，所有學校的原始成績（即沒有經(jīng)過任何處理的學生單純成績）均有明顯提升，2008、2009分別比上一年提高1.23和0.98個點。統(tǒng)計還顯示，三年95所學校效能標準平均分值逐漸提高，平均提升2.7個點。對于提升原因，SvenDeMaeyer認為還需進一步分析和探討，不能簡單把結(jié)果歸因于效能的評價方式［13］。可見，學校效能的持續(xù)改進是可能的。盡管每所學校改進率有所不同，甚至個別學校在某一年會出現(xiàn)輕微的下降現(xiàn)象，但從學校效能整體變化趨勢看，效能值和原始成績值呈現(xiàn)明顯改進趨勢。

四、弗蘭德斯職業(yè)學校效能的評價對我國職業(yè)學校評價改革的啟示及思考

弗蘭德斯職業(yè)學校效能評價項目是通過學校效能評價的反饋，幫助學校進行自我評估，以改善學校教育現(xiàn)狀，提高中等教育水平和競爭力。這種效能評價開拓了學校評價的思路，對我國職業(yè)學校評價改革有重要的借鑒作用。

（一）FSEA效能評估對我們的影響更在于其評價理念

效能評價關(guān)注的是全體學生，關(guān)注學生的起點和背景，評價的目的不是選擇個體，而是改進教育、發(fā)揮評價對教育的促進作用。這對我國切實落實評價公平及促進教育改進有積極的意義。我國應盡快將增值評價指標合理地納入教育評價、問責系統(tǒng)中。此外，增值評價指標對我國教育評價體系的建設(shè)也有重要的參考價值。

（二）教育的科學評測應當建立專業(yè)化的評估機構(gòu)

教育的科學評測需要復雜的和多元化的思考與設(shè)計，如指標的確立、設(shè)計及有效性問題，尤其是評估模型的程序設(shè)計，需要教育學、心理學以及統(tǒng)計與計算機軟件等多個專業(yè)人員共同參與。FSEA項目就是由獨立于政府的專業(yè)化的評估機構(gòu)和團隊完成的，包括負責組織學生的統(tǒng)一考試，并有配套的學生成績追蹤軟件，學生學業(yè)成績數(shù)據(jù)保存比較完整。目前，我國教育評價還屬于起步和探索階段，專業(yè)化的、第三方的獨立評估機構(gòu)十分缺乏。學生考試成績由各個學校和教育行政部門保存和管理，想要采用這些數(shù)據(jù)需要管理部門批準，這給公平、客觀的評價帶來一些困難。因此，必須建立健全學生成績數(shù)據(jù)采集機制，設(shè)法將全部學生成績進入數(shù)據(jù)庫，鼓勵成立第三方專業(yè)化的評估機構(gòu)，避免行政的干擾，以最大發(fā)揮評價功能。

（三）評價方法應綜合化、多元化

學校教育評價的根本目的在于促進學生和學校的健康發(fā)展。但那種方法是高效的、能促進學校和人發(fā)展的評價方法卻是莫衷一是。弗蘭德斯評價嘗試多種評價模式方法對學校進行評價，多個角度的思考和評價值得我們借鑒。每一種評價方法都有其優(yōu)勢和不足，以多水平分析為主的量化統(tǒng)計技術(shù)可以客觀地反映學校的某一方面，但也有其局限性?？陀^地說，定量性的評價只是提高教學質(zhì)量的一種輔助手段，只有和其他評價（如教師、學生和家長的各種評價）聯(lián)系起來才會發(fā)揮作用。因此，在對學校教育結(jié)果進行評價時，應把定性和定量、靜態(tài)和動態(tài)、多個途徑、方法結(jié)合起來。

由于歷史原因、經(jīng)濟基礎(chǔ)、文化等方而的差異，F(xiàn)SEA研究成果并不一定完全適合我國的實際，但我們可以借鑒其效能評估方法，并進行實踐嘗試，以探索效能評價在我國實現(xiàn)的可能途徑。此外，F(xiàn)SEA沒有探討在效能研究中更復雜的因果模型的使用和它們對結(jié)果的影響。未來的研究應當關(guān)注使用包含不同變量間更復雜關(guān)系模型的影響。鑒于在未來幾年像多層結(jié)構(gòu)方程模型這樣的技術(shù)會越來越可行，這種分析方法在未來教育效能研究議程中是極有可能的議題。

［1］Scheerens， J. Improving school effectiveness ［M］.Paris: UNESCO-International Institute for Educational Planning.2000:3.

［2］張厚粲，徐建平.現(xiàn)代心理與教育統(tǒng)計學［M］.北京師范大學出版社，2009.

［3］Seidel， T.， & Shavelson， R. J. Teaching effectiveness research in the last decade: Role of theory and research design in disentangling meta-analysis results ［ J ］ . Review of Educational Research ，2007，1（2）:454-499.

［4］［5］Hostens， G.， Bollen， M.， Boomgaert， W.， Peeters，D. & Persoons， M. （Eds.）. National report 2008 of the Flemish Community （Belgium） - “Education and Training 2010” ［DB/OL］.http://ec.europa. eu/education/policies/2010/natreport07/benl_en.pdf.

［6］Sven De Maeyer， Rita Rymenans， Peter Van Petegem，Huub van den Bergh， Gert Rijlaarsdam. Educational leadership and pupil achievement:The choice of a valid conceptual model to test effectsin school effectiveness research［J］. School Effectiveness Effectiveness and School Improvement， 2007， 18 （2）:125-145.

［7］De Maeyer S， van den Bergh H， Rymenans R， etal. Effectiveness criteria in school effectiveness studies: Further research on the choice for a multivariate model ［J］. Educational Research Review，2010， 5（1）: 81-96.

［8］De Maeyer， S.， Rymenans， R.， Daems， Fr.， Van Petegem， P.， & Van den Bergh， H. （2003）. Effectiviteitvan tso - en bso -scholen in Vlaanderen.Een onderzoek naar de effecten van schoolkenmerken op de prestaties en het welbevinden op school van tso- en bso-leerlingen. ［Effectiveness of technical and vocational secondary education in Flanders. A research on the effects of school characteristics on the performance and well -being of pupils in technical and vocational secondary education.］［J］.Leuven/Leusden: Acco.

［9］王星.大數(shù)據(jù)分析：方法與應用［M］.北京：清華大學出版社，2013:142-145.

［10］Hox， J. Multilevel analysis: Techniques and applications ［M］ .Mahwah， New Jersey / London :Lawrence Earlbaum Associates Publishers.2002: 30.

［11］Vanhoof J， De Maeyer S， Van Petegem P. Variation in the conduct and the quality of self-evaluations:a multi-level path analysis ［J］.Educational Studies， 2011， 37（3）: 277-287.

［12］Talita Groenendijk，Tanja Janssen，Gert Rijlaarsdam，Huub van den Bergh.The effect of observational learning on students’ performance， processes，and motivation in two creative domains［J］.British Journal of Educational Psychology， 2011，83 （1）:49-55.

［13］Kim Schildkamp， Jan Vanhoof， Peter van Petegem，Adrie Visscher.The use of school self-evaluation results in the Netherlands and Flanders［J］. British Educational Research Journal， 2012，38 （1）:125-152.

責任編輯吳學仕

吳志華（1962-），女，遼寧大連人，遼寧師范大學基礎(chǔ)教育課程研究中心教授，教育學博士，研究方向為課程評價；趙仲博（1989-），女，遼寧沈陽人，遼寧師范大學生命科學學院在讀碩士，研究方向為課程質(zhì)量評價。

教育部人文社會科學研究規(guī)劃基金項目“高等職業(yè)教育實踐課程效能評價的研究與實踐”（編號：09YJA880062），主持人：吳志華。

G710

A

1001－7518（2015）06-0087-05