王嘉銘 江寶宜 王夢瑤

摘? ? ? 要? 美國課后服務(wù)項目評估以促進青少年正向成長為價值導(dǎo)向，通過規(guī)范評估流程、強化問責(zé)認證、實施循證教育建立了質(zhì)量保障機制。質(zhì)量評估以持續(xù)改進為基本理念，以評估模型建構(gòu)將概念具體化，在形成對評估質(zhì)量維度的基本共識基礎(chǔ)上開發(fā)多樣化的評估測量工具，實現(xiàn)對課后服務(wù)項目的循證評估。其中，APT評估工具在項目質(zhì)量評估中通過注重頂層設(shè)計、質(zhì)量標(biāo)準(zhǔn)建構(gòu)、測量精度把控、反饋循證效果等具體操作實現(xiàn)質(zhì)量評估。借鑒美國循證質(zhì)量評估的有益經(jīng)驗將對提升我國中小學(xué)課后服務(wù)的質(zhì)量建設(shè)具有積極意義。

關(guān) 鍵 詞? 課后服務(wù)? 循證評估? 評估工具

引用格式? 王嘉銘，江寶宜，王夢瑤.美國課后服務(wù)循證質(zhì)量評估的經(jīng)驗及其啟示[J].教學(xué)與管理，2023（31）：70-76.

20世紀(jì)末，美國國會首次提出“綜合改革驗證模式”，將實驗控制與標(biāo)準(zhǔn)化測驗作為評價教育改革成效檢驗的重要指標(biāo)參考。相繼頒布的《不讓一個孩子掉隊法案》（NCLB）和《每一位學(xué)生成功法案》（ESSA）都強化了循證研究產(chǎn)生的有說服力的顯性證據(jù)對教育改革和實踐的指導(dǎo)作用，并通過法律將學(xué)生學(xué)習(xí)成就、政府財政撥款、學(xué)校質(zhì)量改進等與之掛鉤，形成強有力的問責(zé)評估機制。課后服務(wù)作為K12教育的重要延伸，已經(jīng)納入美國循證教育的質(zhì)量評估范疇，國內(nèi)學(xué)者已經(jīng)注意到美國課外教育質(zhì)量在保障機制建設(shè)上的具體做法[1]，以及開展循證評估需要經(jīng)歷的大致流程[2]，但對于如何有效開展和實施具體的課后服務(wù)項目評估，以及運用何種測量工具開展評估尚缺少實質(zhì)探討。隨著“雙減”政策深入實施，課后服務(wù)的高質(zhì)量發(fā)展也迫切需要解決質(zhì)量評估的現(xiàn)實問題，因此有必要從宏觀和微觀的角度深入研究課后服務(wù)的循證評估問題。

一、美國課后服務(wù)循證質(zhì)量評估的價值意蘊

1.促進正向成長

美國中小學(xué)課后服務(wù)從解決美國婦女參與社會工作后引起的青少年放學(xué)后監(jiān)管難題入手，旨在解決美國青少年普遍面臨的肥胖問題、學(xué)業(yè)問題和風(fēng)險行為等社會問題的同時，促進青少年積極健康成長。課后服務(wù)項目作為教育的延伸手段，其根本目的在于創(chuàng)設(shè)有利于少年兒童自我意識成熟的內(nèi)外部環(huán)境，發(fā)揮家庭、學(xué)校、社會育人的合力，縮小因教育差距導(dǎo)致的種族和階層不公。當(dāng)前，對于正向成長教育的探討分為理論假設(shè)與實證檢驗兩種觀點。理論層面，埃里克森發(fā)展心理學(xué)提出的自我實現(xiàn)的觀點認為，信任、自主性、主動性、勤奮、同一性、親密等屬性是促進青少年健康成長的關(guān)鍵，也有學(xué)者將正向發(fā)展歸結(jié)為“5C”，即勝任力（competencies）、自信心（confidence）、關(guān)聯(lián)性（connection）、品性（character）、仁愛（compassion）等[3]。實踐層面，社區(qū)項目實踐者和課后服務(wù)研究者通過大量的學(xué)校課后服務(wù)項目、青年俱樂部、青年發(fā)展項目或非學(xué)校課內(nèi)或校外項目實踐，提出基于“致力于學(xué)習(xí)，積極向上的價值觀，社會能力（包括規(guī)劃能力以及人際和文化交往能力），積極的身份認同，利用時間的承諾，以及自主和責(zé)任”在內(nèi)的促進教育福祉的質(zhì)量發(fā)展觀[4]。美國社區(qū)青少年項目委員會將基于社區(qū)的課后服務(wù)項目發(fā)展描述為促進青少年正向成長的四個方面：生理發(fā)育、智力發(fā)展、心理和情緒發(fā)展，社會發(fā)展等。理論和實踐的雙重研究表明，促進青少年正向成長不僅取決于其個體發(fā)展的生理和心理因素，也取決于社區(qū)服務(wù)項目是否能提供促進正向發(fā)展的外部氛圍，包括身心安全感建構(gòu)、正向支持的關(guān)系、平等交往的機會、符合社會規(guī)范的價值導(dǎo)向、充分學(xué)習(xí)的機會，以及家庭、學(xué)校、社會共同體建設(shè)等。因此，能在客觀上滿足個體發(fā)展需要與兼顧課后服務(wù)發(fā)展良性外部環(huán)境的課后服務(wù)項目成為課后服務(wù)質(zhì)量評估的首選要素。

2.強化問責(zé)認證

在總結(jié)NCLB教育改革經(jīng)驗的基礎(chǔ)上，ESSA弱化了對考試成績和畢業(yè)率的片面關(guān)注，通過強調(diào)全面問責(zé)的重要性，從學(xué)業(yè)成績以外更廣闊的角度看待學(xué)生和學(xué)校的成功，將教育政策實施的一致性、教育過程中的投入與參與、教育產(chǎn)生的實際效果等作為評估的參考指標(biāo)[5]。此外，ESSA規(guī)定各州要建立系統(tǒng)的評估方法，使所有學(xué)生有平等的機會，為上大學(xué)和職業(yè)生涯做好準(zhǔn)備。21世紀(jì)社區(qū)學(xué)習(xí)中心項目（21st Century Community Learning Centers，21st CCLC）明確提出項目改進和提供學(xué)術(shù)有效性證據(jù)的雙重評估建議，包括課后服務(wù)項目需求的數(shù)據(jù)，拓展高質(zhì)量課外服務(wù)學(xué)習(xí)機會的數(shù)據(jù)，以及滿足學(xué)術(shù)標(biāo)準(zhǔn)要求達成度的數(shù)據(jù)[6]。美國分權(quán)教育體系的特殊性決定市場機制參與課后服務(wù)項目運作的程度更高、范圍更廣，包括基金會、社區(qū)和學(xué)校等多重利益相關(guān)者也迫切需要了解課后服務(wù)項目的運行狀況和對學(xué)生正向成長的激勵作用。為此，非營利組織、專業(yè)行會、基金會和高校，以及準(zhǔn)政府機構(gòu)紛紛提出基于共同參考標(biāo)準(zhǔn)的認證體系，從而實現(xiàn)對課后服務(wù)項目的認證評估。20世紀(jì)末，美國課后學(xué)校聯(lián)合會（National After-school Association，NAA）開始研制學(xué)校照護服務(wù)質(zhì)量標(biāo)準(zhǔn)，此后30個州陸續(xù)出臺課后服務(wù)質(zhì)量標(biāo)準(zhǔn)，并研制特定的測評工具用于課后服務(wù)質(zhì)量評估[7]。作為面向社會的外部評價，基于對課后服務(wù)質(zhì)量標(biāo)準(zhǔn)和評估流程的管理，認證成為對教育行政問責(zé)的有益補充，也具有相當(dāng)?shù)墓帕?。問?zé)和認證在促進課后服務(wù)質(zhì)量建設(shè)的整體理念上都秉持“質(zhì)量改進”的思想，旨在根據(jù)學(xué)校循證教學(xué)的策略和因地制宜的舉措實現(xiàn)課后服務(wù)的持續(xù)改善。

3.實施循證教育

基于科學(xué)研究指導(dǎo)改進教育實踐是美國當(dāng)前教育改革的重要指導(dǎo)性原則。2001年以來，聯(lián)邦政府頒布的《不讓一個孩子掉隊法案》（No Child Left Behind Act，NCLB）和聯(lián)邦K-12助學(xué)金項目倡導(dǎo)教育從業(yè)者使用“基于科學(xué)的研究”來指導(dǎo)教育改進。2003年的循證教育指導(dǎo)手冊對于強證據(jù)的教育實踐需要以隨機對照實驗和兩次以上的實驗檢驗作為驗證，弱證據(jù)的教育實踐需要以有限的隨機對照實驗和實驗組和對照組在學(xué)業(yè)成就，人口統(tǒng)計和其他特征上較為接近的變化為驗證[8]。2015年，《每個孩子成功法案》（The Every Student Succeeds Act，ESSA）再次確立地方教育行政機構(gòu)要以循證方式進行教育評估。ESSA法案循證教育框架將循證教育定義為“在提高學(xué)生成績或其他相關(guān)結(jié)果方面具有統(tǒng)計學(xué)上的顯著效果，或者基于高質(zhì)量的提高學(xué)生學(xué)習(xí)結(jié)果或其他相關(guān)結(jié)果的積極的評估活動、策略或?qū)嶒灲Y(jié)果驗證的理論”[9]。對于證據(jù)的可靠性又細分為基于設(shè)計良好、有效實施的實驗研究強證據(jù)，對標(biāo)實驗變量的因果關(guān)系解釋；基于設(shè)計良好和有效實施的準(zhǔn)實驗研究基本證據(jù)，對標(biāo)一定程度的學(xué)習(xí)成果改善；基于設(shè)計良好和有效實施的相關(guān)研究期望數(shù)據(jù)等，對標(biāo)大樣本受教育對象廣義上的有效性。為促進循證教育結(jié)果的有效傳播，美國教育部還通過設(shè)立教育科學(xué)研究院作為專門從事循證教育元研究的機構(gòu)，該機構(gòu)按照循證研究標(biāo)準(zhǔn)定期發(fā)布對有效循證教育干預(yù)的評級報告，從而促進循證研究對教育實踐的持續(xù)改進和反饋政策制定。

二、美國課后服務(wù)循證質(zhì)量評估的特征

高質(zhì)量的課后服務(wù)評估需要對質(zhì)量標(biāo)準(zhǔn)進行科學(xué)界定，并通過定性和定量的評估工具收集循證數(shù)據(jù)。由于課后服務(wù)質(zhì)量大多涉及活動參與程度，參與狀態(tài)、興趣與關(guān)注點、脫離活動或分散注意力的行為以及與他人的積極互動等顯性指標(biāo)點的直接觀察，因此學(xué)校觀察評估既可以用于學(xué)校基于質(zhì)量改進的項目自評，也可以用于參與外部行業(yè)認證，并將評估結(jié)果與質(zhì)量問責(zé)關(guān)聯(lián)，及時向社會反饋項目整體質(zhì)量，從而為管理者和實踐者從主客觀方面提供有效的后續(xù)決策依據(jù)[10]。

1.圍繞“持續(xù)改進”開展評估

持續(xù)改進作為一種教育質(zhì)量改進的理念對美國課后服務(wù)項目具有明確的指導(dǎo)意義。一是持續(xù)改進是一個漸進變革的協(xié)同創(chuàng)新過程，需要不斷嘗試和共同努力。二是持續(xù)改進需要以評促改，基于問題導(dǎo)向，通過實證調(diào)研指導(dǎo)改進，在改進中不斷強化組織糾錯學(xué)習(xí)。三是注重先行先試，堅持改革由小規(guī)模試點向大規(guī)模應(yīng)用逐漸過渡[11]。持續(xù)改進的理念反應(yīng)了教育質(zhì)量問責(zé)由強化外部質(zhì)量標(biāo)準(zhǔn)適應(yīng)向內(nèi)部質(zhì)量保障機制生成的邏輯轉(zhuǎn)變，從強調(diào)學(xué)業(yè)成績提升的單一維度向促進青少年健康成長、學(xué)業(yè)提升和就業(yè)準(zhǔn)備的積極正向發(fā)展觀的轉(zhuǎn)變。

學(xué)校課后服務(wù)項目需要通過基于具體情境進行評估、改進和再評估，逐漸實現(xiàn)由量變向質(zhì)變的轉(zhuǎn)化。從持續(xù)改進的根本目的看，需要滿足項目自評的質(zhì)量改進與第三方評估的監(jiān)測認證，前者是通過評估工具測量一定標(biāo)準(zhǔn)下的質(zhì)量表現(xiàn)，后者是通過認證機構(gòu)的評價實現(xiàn)質(zhì)量認可的合法性授權(quán)。其中，觀察評估工具的使用主要測量學(xué)生參與課后服務(wù)活動的質(zhì)量和成效，從而吸引家長優(yōu)先選擇特定課后服務(wù)項目。服務(wù)項目的質(zhì)量評估主要取決于教師的教、學(xué)生的學(xué)、服務(wù)開展的內(nèi)容以及學(xué)生獲得的學(xué)習(xí)體驗。服務(wù)項目的成效評估包括學(xué)生參與課后活動后獲得的技能提升以及在身心發(fā)展、學(xué)業(yè)提升和職業(yè)準(zhǔn)備方面獲得的長期影響。為確保課后服務(wù)項目形成持續(xù)改進的機制，項目評估需要明確項目負責(zé)人的權(quán)責(zé)、運用評估工具開展評價反饋、常態(tài)化進行專業(yè)發(fā)展培訓(xùn)、形成利益相關(guān)者多元參與的評估模式。

2.圍繞“邏輯模型”優(yōu)化評估

質(zhì)量評估需要建立目標(biāo)導(dǎo)向的愿景，基于課后服務(wù)的具體情境，形成一套有效測量學(xué)習(xí)過程和學(xué)習(xí)成果的實施方案，這一方案將明確評估的過程、策略或?qū)嵺`活動，以及最終評估的呈現(xiàn)方式，因此也被稱為評估的“邏輯模型或評估框架”[11]。研究表明，成功的課后服務(wù)項目取決于高素質(zhì)教職員工、人際溝通技能提升和穩(wěn)定的資源投入、良好的師生溝通等因素[12]。因此，有學(xué)者提出“質(zhì)量—參與—技能—遷移”邏輯模型（The Quality， Engagement，Skills，Transfer model，QuEST）（見圖1）[13]，該模型將高質(zhì)量課后服務(wù)評估歸結(jié)為彼此關(guān)聯(lián)的整體，包括學(xué)習(xí)內(nèi)容和學(xué)習(xí)體驗的質(zhì)量，激發(fā)學(xué)生學(xué)習(xí)和動機的學(xué)習(xí)機會，反復(fù)學(xué)習(xí)對技能和認知的提升（過程性目標(biāo)），以及最終在學(xué)校教育中表現(xiàn)的學(xué)習(xí)成就（結(jié)果性目標(biāo)）。具體而言，建構(gòu)邏輯模型有助于將評估落地實施，形成便于操作化的執(zhí)行方案。一是理清項目的目標(biāo)，明確評估目的。評估目標(biāo)設(shè)定包括參與課后服務(wù)所獲得的知、情、意、行方面的短期提升，以及在家庭、學(xué)校、社會成長的各個方面所獲得的長效影響。二是開展評估的情景分析，識別與項目目標(biāo)關(guān)聯(lián)的條件要素和因果關(guān)系。評估情景分析旨在梳理項目開展的資源投入、主題活動和受益對象的特征，為選擇評估重點和測量工具提供思路。三是規(guī)劃課后服務(wù)項目評估的中觀和微觀策略，以及具體對標(biāo)評估指標(biāo)點，確保評估具有可操作性。具體指標(biāo)點的測量需要考慮觀察評估形成性評價的適用性，重點對青少年活動參與、人際關(guān)系、師生關(guān)系、教學(xué)策略、教學(xué)活動、教學(xué)內(nèi)容與結(jié)構(gòu)等不便于進行問卷量表調(diào)查的指標(biāo)進行實地觀察。

3.圍繞“質(zhì)量認證”推進評估

質(zhì)量認證是課后服務(wù)機構(gòu)獲得外部質(zhì)量評價的捷徑，獲得項目認證將為參與課后服務(wù)的教師提供更好的專業(yè)發(fā)展機會，也為項目發(fā)展獲得更多的物力資源支持。認證需要兼顧內(nèi)部評估和外部評估，過程評估和結(jié)果評估，并通過改進問題提升質(zhì)量從而完成認證。內(nèi)部評估是針對一定質(zhì)量標(biāo)準(zhǔn)或評估工具開展的項目自評，需要對標(biāo)認證標(biāo)準(zhǔn)客觀收集質(zhì)量數(shù)據(jù)，反饋真實問題。外部評估是由評估教練、評估專家或認證代表等對課后服務(wù)項目進行的實地考察和現(xiàn)場交流，驗證自評數(shù)據(jù)的準(zhǔn)確性。

課后服務(wù)的評估認證一般由非政府組織的第三方機構(gòu)開展，其中美國認證委員會（Council on America，COA）作為獨立的、非營利性的全國性認證組織，專注于青少年發(fā)展項目的評估認證。其通過與美國課后學(xué)校聯(lián)合會等專業(yè)行會合作發(fā)布課后服務(wù)質(zhì)量標(biāo)準(zhǔn)，并將循證評估工具應(yīng)用于項目評估。評估事項分為行政管理、服務(wù)管理和服務(wù)技術(shù)管理三類分項標(biāo)準(zhǔn)，既可用于對同伴人際關(guān)系、師生關(guān)系、活動參與、家庭與社會銜接等服務(wù)通用指標(biāo)點的評估，也可用于對藝術(shù)、健康、學(xué)業(yè)等特色課后服務(wù)項目的指標(biāo)點評估。為此，美國課后學(xué)校聯(lián)合會（NAA）、國家校外時間研究所（National Institute on Out-of-School Time，NIOST）、紐約州放學(xué)后網(wǎng)絡(luò)（The New York State After-school Network，NYSAN）等分別開發(fā)了基于質(zhì)量標(biāo)準(zhǔn)的評估工具，便于課后服務(wù)項目開展自評和他評。相關(guān)研究表明，美國共有十項課后服務(wù)評估觀察工具得到實踐廣泛認可，包括課后項目實踐評估工具（Assessing After-school Program Practices Tool，APT）、社區(qū)組織資源促進學(xué)習(xí)觀察工具（Communities Organizing Resources to Advance Learning Observation Tool，CORAL）、校外時間觀察工具（Out-of-School Time Observation Tool，OST）、項目觀察工具（Program Observation Tool，POT）、項目質(zhì)量觀察量表（Program Quality Observation Scale，PQO）、項目質(zhì)量自評工具（Program Quality Self-Assessment Tool，QSA）、實踐評定量表（Promising Practices Rating Scale，PPRS）、質(zhì)量保障系統(tǒng)（Quality Assurance System，QAS）、學(xué)齡保育環(huán)境評定量表（School-Age Care Environment Rating Scale，SACERS）、青少年項目質(zhì)量評估（Youth Program Quality Assessment，YPQA）[14]。這些工具根據(jù)可比較的、基于研究導(dǎo)向的指標(biāo)點定義具體的質(zhì)量評估，相關(guān)課后服務(wù)項目可以根據(jù)服務(wù)的定位和需求，選擇相對應(yīng)的評估工具，并在評估專業(yè)人員的指導(dǎo)下完成自評與認證?？傮w而言，認證作為確保課后服務(wù)質(zhì)量的重要手段，由行業(yè)協(xié)會和第三方機構(gòu)確定總體評估認證框架和標(biāo)準(zhǔn)，再由基金會、社會組織和行業(yè)協(xié)會參與不同地域、不同形式的認證評估，最終地方教育主管部門認可質(zhì)量評估結(jié)果，并向社會和公眾發(fā)布信息。

4.圍繞“共同標(biāo)準(zhǔn)”設(shè)計評估

對具體課后服務(wù)評估工具的設(shè)計需要考慮四個先決條件：一是工具要聚焦項目整體質(zhì)量評估，看是否可以實現(xiàn)對課后服務(wù)項目的全方位實踐評估；二是工具設(shè)計要具有較好的適用性，工具的使用要滿足課后服務(wù)項目的兼容性和代表性；三是工具的數(shù)據(jù)收集要具有互動性，滿足在項目實施過程中包括參與系統(tǒng)性和臨時性活動的數(shù)據(jù)收集功能；四是觀察工具的設(shè)計要符合促進青少年正向發(fā)展的研究目的，遵循評估設(shè)計的規(guī)范和循證教育的基本規(guī)律。基于上述條件，不同的評估工具都遵循質(zhì)量標(biāo)準(zhǔn)內(nèi)容選擇上的廣泛共識，這些共識既是課后服務(wù)的質(zhì)量標(biāo)準(zhǔn)，也是數(shù)據(jù)收集的指標(biāo)參照維度。綜合考慮不同測量工具在質(zhì)量標(biāo)準(zhǔn)選擇上的差異，使用不同工具進行觀測都需要處理好人際關(guān)系、項目環(huán)境、投入程度、社會規(guī)范、技能訓(xùn)練機會、制度或結(jié)構(gòu)等要素之間的相互關(guān)系（見圖2）[15]。

課后服務(wù)的質(zhì)量評估需要解決服務(wù)項目本身的教學(xué)有效性和活動參與問題，也需要面對項目發(fā)展的結(jié)構(gòu)化運營和管理問題。一是關(guān)于成人與兒童互動的質(zhì)量標(biāo)準(zhǔn)。好的課后服務(wù)需要建立良好有效的溝通，包括青少年如何體驗項目，項目實施者或教師如何與青少年進行溝通互動，這是觀察和評判課后服務(wù)質(zhì)量的重要證據(jù)來源。二是關(guān)于學(xué)科內(nèi)容中立的質(zhì)量標(biāo)準(zhǔn)。大多數(shù)課后服務(wù)項目質(zhì)量標(biāo)準(zhǔn)是基于“學(xué)科內(nèi)容中立”的偏好，即好的課后服務(wù)實踐可以與學(xué)科內(nèi)容或主題無關(guān)，因為課后服務(wù)更需要關(guān)注兒童和青少年的興趣，并開展與社區(qū)廣泛關(guān)聯(lián)性的社會知識融合的活動，使課后服務(wù)具有優(yōu)化學(xué)校教育的獨特性和補充性優(yōu)勢。三是關(guān)于課后服務(wù)的自我管理質(zhì)量標(biāo)準(zhǔn)。任何課后服務(wù)項目的實踐都需要進行自我評估，建立一套基于持續(xù)改進的自適應(yīng)質(zhì)量標(biāo)準(zhǔn)，進而從關(guān)注項目整體發(fā)展、項目運營外部環(huán)境變化到建設(shè)內(nèi)部質(zhì)量文化。

三、美國課后服務(wù)循證質(zhì)量評估的工具

美國教育和心理測量標(biāo)準(zhǔn)將用于特定領(lǐng)域內(nèi)評估系統(tǒng)性樣本行為的評分或評估過程都定義為評估工具。觀察評估以其實踐靈活性、情境適用性、因果直接性等優(yōu)勢被廣泛應(yīng)用于項目評估過程。相較于行為評分量表工具，課后服務(wù)項目的觀察工具提供了一種客觀測量教育環(huán)境中發(fā)生行為和事件的方法，觀察資料有較好的外部效度，因為其對行為實際發(fā)生狀況的度量是源于外部評價者，和評價對象之間沒有直接利害關(guān)聯(lián)。就數(shù)據(jù)信息而言，行為評分量表提供的是有關(guān)頻率和等次的信息，而觀察數(shù)據(jù)則可以提供關(guān)于某一特定行為的目的或原因的信息，可以在觀察目標(biāo)行為的過程中評價行為發(fā)生的前因后果。正如有學(xué)者所言，如果沒有對學(xué)?；蛘n堂上實際發(fā)生的事情的直接觀察，就很難在項目實踐和結(jié)果之間建立聯(lián)系[16]。

早在20世紀(jì)70年代，美國國家校外時間研究所（National Institute on Out-of-School Time，NIOST）就是課后服務(wù)評估的重要參與者和領(lǐng)導(dǎo)者。2005年，馬薩諸塞州中小學(xué)教育部及其課外研究團隊和NIOST共同開發(fā)完成項目實踐評估工具（Assessment of Program Practices Tool，APT）。NOST將APT評估工具應(yīng)用于21世紀(jì)社區(qū)學(xué)習(xí)中心計劃，目前APT在全美33個州及加拿大得到廣泛應(yīng)用，超過600個課后服務(wù)項目運用該工具開展項目評估。為了滿足課后服務(wù)項目多樣化的評估需求，NIOST還開發(fā)了項目評估系統(tǒng)（After Program Assessment System， APAS），將APT現(xiàn)場觀察評估和評估問卷兩種評估工具整合，專業(yè)人員可以就項目質(zhì)量、參與程度、學(xué)習(xí)成果和長期影響進行測量。

1.漸進優(yōu)化的頂層設(shè)計

課后服務(wù)質(zhì)量評估需要納入質(zhì)量標(biāo)準(zhǔn)，提升教師專業(yè)發(fā)展，建立質(zhì)量自評體系和接受外部專家評估。為此，需要對針對評估的具體情景對評估進程進行頂層設(shè)計。NIOST基于持續(xù)改進理念提出課后服務(wù)質(zhì)量評估方案（After-school Quality Process， ASQ），該方案將評估設(shè)定為社群準(zhǔn)備、團隊組建、信息收集、行動方案制定、改進實施五個階段，明確描述評估需求與目的、主要行動者、收集數(shù)據(jù)工具、問題解決、人財物資源配置等具體評估事項[17]。持續(xù)改進的評估方案一旦確定，就需要學(xué)校、家長、學(xué)生等不同利益主體參與，從而為課后服務(wù)項目提供系統(tǒng)有序的項目評估安排，并為評估認證做好長期準(zhǔn)備。

ASQ評估方案在兼顧持續(xù)改進理念的同時體現(xiàn)需求導(dǎo)向、漸進變革和多元評估的舉措。首先是將社區(qū)對課后服務(wù)項目的特定需求作為目標(biāo)設(shè)定的首選要素，考慮家長和學(xué)生提供的需求信息作為基礎(chǔ)數(shù)據(jù)，確定不同利益相關(guān)者感興趣的指標(biāo)?；谛枨笤u估和邏輯模型開發(fā)整合資源和服務(wù)，形成評估的多維目標(biāo)。其次是將評估視為漸進的行動反思過程，統(tǒng)籌考慮自上而下的計劃變革與自下而上的自發(fā)變革的策略，充分發(fā)揮自評和他評的作用。自評過程需要項目形成有力的領(lǐng)導(dǎo)核心回應(yīng)和解決在頂層設(shè)計方面需要關(guān)注的發(fā)展目標(biāo)、使命和愿景，以及在操作層面需要關(guān)注的教學(xué)行為、教師反思和育人環(huán)境等具體問題。他評過程需要外部評估專家指導(dǎo)項目教學(xué)人員開展專項培訓(xùn)與聯(lián)合調(diào)研，發(fā)現(xiàn)和解決課后服務(wù)運行中存在的問題，客觀反饋改進的情況。最后是在評估方案計劃中充分考慮因地制宜和項目評估差異，為評估提供必選項和可選項，差異化定制評估指標(biāo)和使用工具?？傊珹SQ作為評估的起點，為項目評估提供可參照可選擇的評估框架引導(dǎo)體系，輔助項目運營團隊和教師做好評估的統(tǒng)籌規(guī)劃。

2.靈活權(quán)變的質(zhì)量標(biāo)準(zhǔn)

APT評估工具強調(diào)從質(zhì)量過程入手開展評估，分為觀察評估和量表評估，質(zhì)量標(biāo)準(zhǔn)覆蓋三大領(lǐng)域和12項指標(biāo)點（見表1），每一項指標(biāo)點通過觀察評估確定為真實程度遞減的4個等級（符合、基本符合、比較符合、不符合）進行評價。評估遵循課后服務(wù)開展的業(yè)務(wù)流程，從服務(wù)介入、學(xué)業(yè)指導(dǎo)、活動組織、課后作業(yè)、事后評價等方面進行全方位循證數(shù)據(jù)收集。觀察評估側(cè)重考察課后服務(wù)在實現(xiàn)目標(biāo)的行動力和執(zhí)行力過程中的實際狀況，量表評估注重不能觀測的結(jié)構(gòu)化評價反饋，包括青少年參與課后服務(wù)后獲得的經(jīng)歷、體驗和感悟等。

評估實施分為四個部分：第一部分是“活動和時間段評級”，包括到校時間、加餐時間、任務(wù)過渡時間、家長接送時間和家庭作業(yè)時間等的評級；第二部分是“有針對性的技能建設(shè)”，重點關(guān)注與技能提升和學(xué)習(xí)成果相關(guān)的實踐，這些實踐活動因課后服務(wù)不同而差異較大，體現(xiàn)課后服務(wù)的特色和針對性，比如評估問卷關(guān)注學(xué)生參與課后服務(wù)過程中的任務(wù)挑戰(zhàn)度、滿意度、投入度、自主性、教師支持以及社會情感技能提升程度等具體指標(biāo)，并以此反映課后服務(wù)所期望的結(jié)果；第三部分是“總體項目評級”，包括物理環(huán)境、課后服務(wù)進度、師生關(guān)系和社會情感環(huán)境的評級。最終，APT還需要觀察員反饋對項目運行的總體印象，并從項目實際運營和管理方收集訪談和文件佐證信息。因此，運用APT開展項目評估不追求大而全的標(biāo)準(zhǔn)體系，允許不同的課后服務(wù)機構(gòu)根據(jù)自身項目特點組合運用觀察評估與量表評估逐步完善質(zhì)量保障體系建設(shè)。

3.精準(zhǔn)有效的評估測量

觀察評估的最大優(yōu)勢在于能評估課后服務(wù)的實施過程，兼顧項目整體發(fā)展與項目實施具體步驟的信息差，與問卷、訪談、文件查閱等形成循證證據(jù)反饋的連續(xù)體，客觀反映項目質(zhì)量。然而，觀察評估工具需要從評估的內(nèi)部一致性和評分者一致性角度確保測量精度。工具的內(nèi)部一致性指工具指標(biāo)項在評估中既彼此區(qū)別又相互關(guān)聯(lián)，能較好地反映評估指標(biāo)項和整體項目質(zhì)量的關(guān)聯(lián)度。比如，課后服務(wù)質(zhì)量中反應(yīng)教學(xué)人員對學(xué)生的服務(wù)態(tài)度需要關(guān)注彼此關(guān)聯(lián)的不同問題：教師是否保持微笑服務(wù)，教師是否聽從學(xué)生的建議，教師是否有嚴(yán)厲的言語批評。如果這些分項問題與整體質(zhì)量具有彼此關(guān)聯(lián)的一致性則說明工具的內(nèi)部一致性較好，可以用于觀測項目的實施過程，且對項目質(zhì)量評估具有可靠性，所以觀察評估也會采用問卷或訪談的方式多維度驗證評估工具的內(nèi)部一致性。評分者一致性指不同的評分者對同一目標(biāo)行為的評價是否一致。一般而言，評分者一致性誤差可能由于效標(biāo)結(jié)構(gòu)效度不嚴(yán)謹或標(biāo)準(zhǔn)參照不清晰導(dǎo)致評估誤差，也可能因為評分者理解偏差導(dǎo)致評估誤差。為此，觀察評估需要明確目標(biāo)行為和觀察評估事項的具體指標(biāo)，并針對指標(biāo)進行標(biāo)準(zhǔn)參照檢驗，再進行模擬觀察，從而盡量避免誤差。對評分者一致性的把握需要通過崗前培訓(xùn)和考試的方式盡量降低理解偏差。比如APT觀察評估工具的評分者培訓(xùn)包括以下四個步驟：①對觀察指標(biāo)點進行指標(biāo)建構(gòu)和標(biāo)準(zhǔn)描述的學(xué)習(xí)；②通過在線視頻學(xué)習(xí)詳細了解如何評分；③進行現(xiàn)場實地模擬培訓(xùn)；④接受反饋性評價后的標(biāo)準(zhǔn)觀察評分[19]（如圖3）。

4.科學(xué)有序的循證反饋

APT工具在評估實踐中的充分應(yīng)用，為課后服務(wù)項目開展基于證據(jù)的質(zhì)量提升提供便利條件。首先是APT工具為開展項目自評提供人員培訓(xùn)和技術(shù)支持。通過開發(fā)因地制宜的項目評估方案和人員培訓(xùn)，結(jié)合現(xiàn)場觀察與問卷評估，APT評估工具能有效測量整體課程安排和教學(xué)活動質(zhì)量，及時發(fā)現(xiàn)教師在特定服務(wù)中的行為表現(xiàn)不足和學(xué)生投入上的差距。評估問卷的便利性使APT工具成為反饋課后服務(wù)教學(xué)信息的主要工具，被廣泛應(yīng)用于超過3個月以上課后服務(wù)活動的評估，基于同一項目的問卷前后測量將直接反饋學(xué)生在相關(guān)技能和學(xué)習(xí)成果方面的提升是否達到預(yù)期表現(xiàn)。其次是APT工具為開展評估決策診斷提供數(shù)據(jù)支撐。APT評估工具被廣泛用于第三方外部評估，通過對服務(wù)質(zhì)量的監(jiān)測評判課后服務(wù)的達標(biāo)情況，向利益相關(guān)者反饋包括教師資質(zhì)、薪酬待遇、參與程度、學(xué)習(xí)成果等具體項目信息，為持續(xù)改進和參與認證提供決策信息。

循證教育改革是指教育政策制定者和教育實踐者基于循證教育研究的證據(jù)結(jié)果，尤其是利用嚴(yán)格實驗研究方法開展的高質(zhì)量效果評估研究的結(jié)果，決策和實施“被證據(jù)證實”的教育項目、產(chǎn)品或服務(wù)的教育改革政策與實踐[20]。一項關(guān)于應(yīng)用APT評估工具的研究表明，在應(yīng)用APT觀察和問卷評估工具的28項課后服務(wù)評估項目中，有超過六成的項目參與者認為相關(guān)評估和工具在項目目標(biāo)設(shè)定、課程改進等方面有效提升了項目質(zhì)量，超四成項目認為APT有助于發(fā)現(xiàn)教師專業(yè)能力的不足[21]。另一項應(yīng)用APT評估工具在馬薩諸薩州開展的針對78項課后服務(wù)項目的評估研究表明，課后服務(wù)項目需要在兩方面提高質(zhì)量：一是課后服務(wù)活動的周期短，與育人目標(biāo)銜接不緊密，多數(shù)課后服務(wù)項目與課程主題沒有明確的聯(lián)系，對兒童和青少年批判性思維的開發(fā)沒有有效的干預(yù)；二是在促進少年兒童的學(xué)習(xí)自主、領(lǐng)導(dǎo)力和同伴學(xué)習(xí)策略方面也缺乏有效的實踐[22]?？梢姡ㄟ^問卷和觀察工具的交替使用，可以為課后服務(wù)項目在課程教學(xué)和組織管理提供充分的證據(jù)信息和決策依據(jù)。

四、對提高我國課后服務(wù)質(zhì)量的啟示

1.基于立德樹人建立質(zhì)量標(biāo)準(zhǔn)

“雙減”政策實施以來，線下校外培訓(xùn)機構(gòu)壓減率達94%，學(xué)校普遍提供課后服務(wù)。課后服務(wù)按類別大致分為學(xué)科類學(xué)業(yè)指導(dǎo)和非學(xué)科類實踐活動兩種類型，其中輔導(dǎo)完成作業(yè)（83.6%）、開展興趣小組活動（48.3%）、組織課外閱讀（31.1%）成為線下課后服務(wù)的主要內(nèi)容[23]，追求更高質(zhì)量的教育供給已經(jīng)成為減量提質(zhì)、促進學(xué)生全面發(fā)展的必然要求。然而，教育質(zhì)量改進的關(guān)鍵是衡量特定目標(biāo)在人才培養(yǎng)過程中達成預(yù)期的程度，需要通過對質(zhì)量概念的具體化將立德樹人的育人目標(biāo)融入課后服務(wù)質(zhì)量概念的指標(biāo)體系，建構(gòu)具有高度共識的、可評價測量的質(zhì)量框架，為質(zhì)量評估提供參照。

借鑒美國課后服務(wù)學(xué)生質(zhì)量評估的經(jīng)驗，我國課后服務(wù)的質(zhì)量標(biāo)準(zhǔn)需要堅持五育并舉的育人導(dǎo)向，不僅強調(diào)培養(yǎng)學(xué)生德智體美勞的健全人格，也要倡導(dǎo)培養(yǎng)學(xué)生具有家國情懷的社會責(zé)任感與使命感，將課后服務(wù)與核心素養(yǎng)提出的育人目標(biāo)對接，促進學(xué)生全面成長，真正發(fā)揮課后服務(wù)教育的育人功能，避免簡單的將課后服務(wù)變?yōu)橥泄馨?、延點班，或是變相的作業(yè)輔導(dǎo)班、補習(xí)班。

2.基于促進公平開展認證評估

當(dāng)前我國課后服務(wù)以家庭投入為主，學(xué)校成為提供課后服務(wù)產(chǎn)品的主要渠道，教師成為承擔(dān)課后服務(wù)的主體。然而，由于我國基礎(chǔ)教育發(fā)展不均衡，城鄉(xiāng)、區(qū)域和校際之間在資源投入、師資配備和政策配套支持上差異較大，如何確保基本公共服務(wù)在課后服務(wù)供給中實現(xiàn)起點公平是值得關(guān)注的問題，否則開展課后服務(wù)將有可能加劇城鄉(xiāng)和校際間優(yōu)勝劣汰的馬太效應(yīng)，導(dǎo)致新的教育不公。

課后服務(wù)主要面對中小學(xué)生，特別是義務(wù)教育階段的少年兒童。從美國課后服務(wù)的供給和質(zhì)量評估的經(jīng)驗分析，課后服務(wù)供給應(yīng)發(fā)揮政府在提供基本公共服務(wù)中的兜底作用，通過發(fā)展政府資助的課后服務(wù)項目，向弱勢群體和偏遠地區(qū)傾斜，并建立一套行之有效的認證與資源投入銜接的機制，通過委托第三方評估機構(gòu)開展對課后服務(wù)項目的認證評估，促使學(xué)校課后服務(wù)在自評基礎(chǔ)上持續(xù)改進質(zhì)量，從而實現(xiàn)課后服務(wù)以點帶面的均衡發(fā)展。

3.基于創(chuàng)新發(fā)展深化循證研究

通過提供課后服務(wù)將教育向課后延伸，有助于打破應(yīng)試教育與影子教育之間的資本鏈條，形成家庭、社區(qū)、學(xué)校共同參與教育創(chuàng)新和治理的局面，在一定程度上緩解了社會的教育隱憂和部分家長的過度焦慮，也有利于推動教育由應(yīng)試向育人轉(zhuǎn)變。但是，有效的教育改革絕不是單一的供給側(cè)調(diào)整，而是通過供給與需求之間的梯次動態(tài)調(diào)整，從而實現(xiàn)教育體系層面的協(xié)同效應(yīng)。

參考文獻

[1] 黃芳，李太平.美國中小學(xué)課外教育質(zhì)量保障機制與啟示[J].比較教育研究，2013，35（04）：43-48.

[2] 楊文登.美國課后服務(wù)循證評估研究[J].比較教育研究，2021，43（08）：64-70+112.

[3] Lerner，J.V.，Phelps，E.，F(xiàn)orman，Y.，& Bowers，E.P.Positive Youth

Development[M].//M.Lerner & L.Steinberg，Handbook of Adolescent Psychology：Individual Bases of Adolescent Development.New York：John Wiley & Sons，2009，524-558.

[4] Institute of Medicine. Community Programs to Promote Youth?Development[R].Washington，D C：The National Academies Press，2002：71.

[5] Perrin B.Towards a new view of accountability[M].Making?Accountability Work. Routledge，2017：41-59.

[6] After-school Alliance.21ST CCLC is a Critical Source of Funding for Many Local After-school and Summer Learning Programs[EB/OL].[2023-01-10][20230110].http：//www.afterschoolalliance.org/policy21stcclc.cfm.

[7] National After-School Association.The State of After-school Quality：Why After-school Quality Matters[EB/OL].National After-School Association.[2023-01-10].https：//naaweb.org/images/Final_NAA_1E_.pdf.

[8] U.S.Department of Education， Institute of Education Sciences，?National Center for Education Evaluation and Regional Assistance. Identifying and Implementing Educational Practicces Supported by Rigorious Evidence：A User Friendly Guide[R].Washington，DC：The Council for Exelence in Government， 2003：V.

[9] Neild，R.C.，Wilson，S.J.，&McClanahan，W.After-school Programs：A Review of Evidence Under the Every Student Succeeds Act[R].Philadelphia：Research for Action，2019：13.

[10] Briesch，A.M.，Volpe，R.J.，& Floyd，R.G.School-based Observation：A Practical Guide to Assessing Student Behavior[M].New York：Guilford Publications，2018：4-71.

[11] Karen Shakman；Sheila M.Rodriguez. Logic Models for Program Design，Implementation，and Evaluation：Workshop toolkit[R].National Center for Education Evaluation and Regional Assistance， 2015：3-30.

[12] Wilson-Ahlstrom A，Yohalem N，DuBois D，et al.From Soft Skills to Hard Data： Measuring Youth Program Outcomes[C].Washington， DC： Forum for Youth Investment，2014， II.

[13] Smith，C.，Akiva，T.，McGovern，G.，& Peck，S.C.After-school?Quality[J].New Directions for Youth Development，2014（144）， 31-44.

[14] Briesch，A.M.，Volpe，R.J.，& Floyd，R.G. School-based? Observation：A Practical Guide to Assessing Student Behavior[M].New York：Guilford Publications，2018：4-71.

[15] Tracy，A.，Charmaraman，L.，Ceder，I.，Richer，A.，& Surr，W.Measuring Program Quality：Evidence of the Scientific Validity of the Assessment of Program Practices Tool[J]. After-school Matters，2016，24：3-11.

[16] Scott-Little，C.，Hamann，M.S.，& Jurs，S. G. Evaluations? of? Afterschool Programs：A Meta-evaluation of Methodologies and Narrative Synthesis of Findings[J].？American Journal of Evaluation， 2002， 23（4）： 387-419.

[17] National Institute on Out-of-School Time. After school Quality：The Process of Program Improvement [EB/OL].Wellesley Centers for Women.2023-02-11[2023-02-11]https：//www.niost.org/pdf/ASQ/ASQ_Guide.pdf

[18] Tracy，A.，Surr，W.， & Richer，A.The Assessment of After-school?Program Practices Tool（APT）： Findings from the APT Validation Study[R]. Wellesley Centers for Women，2012，2.

[19] National After-School Association.The State of After-school?Quality：Identifying and Improving Quality Programs [EB/OL]. National After-School Association.[2023-02-11]https：//naaweb.org/images/final_NAA_2F.pdf

[20] 鄧峰.教育政策演進與教育評估轉(zhuǎn)型：美國提高基礎(chǔ)教育質(zhì)量的經(jīng)驗與啟示[J].北京大學(xué)教育評論，2013，11（01）：181-188.

[21] Stavsky，S & Dennehy，J，M.M.Does Coaching Lead to Better Quality Programs？Findings from the APAS Pilot[EB/OL].Wellesley Centers for Women.[2023-02-11].https：//www.wcwonline.org/vmfiles/APASResearchBrief_final.pdf.

[22] Miller，B.M.Pathways to Success for Youth：What Counts in Afterschool[R].Massachusetts After-school Research Study（MARS） Report.Intercultural Center for Research in Education（INCRE）， National Institute on Out-of School Time （NIOST） Wellesley Centers for Women.Wellesley College，United Way of Massachusetts Bay，2005： 30.

[23] 姚喜雙.中小學(xué)生課后服務(wù)研究[M].成都：四川大學(xué)出版社，2020：27-75.