劉五駒

研究成果是否成立的一個重要前提是研究本身的有效性如何。美國聯(lián)邦政府教育部于2002年成立了有效教育策略資料中心（What Works Clearinghouse，簡稱WWC），旨在對教育研究證據(jù)的科學(xué)化進(jìn)行審核。WWC的工作已經(jīng)引起我國海峽兩岸有關(guān)人士的注意。[1]了解WWC的工作情況及其評審標(biāo)準(zhǔn)，對我國教育研究的科學(xué)化有借鑒意義。

一、WWC簡介

WWC是美國聯(lián)邦教育部所屬美國教育科學(xué)院（InstituteofEducationSciences，IES）的一個評估中心。WWC通過審核和綜合科學(xué)證據(jù)，部分地承擔(dān)起美國教育科學(xué)院進(jìn)行嚴(yán)謹(jǐn)?shù)膶?shí)質(zhì)性（relevant）調(diào)查、評估與統(tǒng)計(jì)國家教育系統(tǒng)的使命，其目的是為教育工作者、政策決定者、研究人員及社會大眾提供一個關(guān)于有效教育研究值得信賴的科學(xué)證據(jù)資料中心。為了幫助所有的學(xué)生和學(xué)校達(dá)到高的教育標(biāo)準(zhǔn)，教育工作者需要獲得什么是有效教育的更多證據(jù)，WWC稱，它的工作就是為了幫助教育工作者做出明智的決定，同時(shí)提供可信和可靠的證據(jù)。

依據(jù)與聯(lián)邦教育部的合同，現(xiàn)由美國數(shù)學(xué)政策研究公司（MathematicaPolicyResearch，Inc.）負(fù)責(zé)管理WWC。

WWC評審的顯著特點(diǎn)是，它不是直接評估現(xiàn)有研究成果的方案、策略或做法，而是對已經(jīng)存在的研究本身發(fā)現(xiàn)的情況進(jìn)行審核（review）和報(bào)告（report）。例如，它審核研究中實(shí)驗(yàn)組與對照組之間的詳細(xì)數(shù)據(jù)來判斷研究是否有充分的證據(jù)；通過公布某一主題領(lǐng)域中的一組研究成果，并采用不同的標(biāo)準(zhǔn)來比較它們的特點(diǎn)，從而實(shí)際上形成了對這組研究成果質(zhì)量的評估。只有在審核中滿足特定標(biāo)準(zhǔn)的基礎(chǔ)上，WWC才會撰寫報(bào)告，說明該項(xiàng)教育研究中的有關(guān)程序、策略或做法是否是有成效的。這些在研究中的有關(guān)程序、策略或做法可統(tǒng)稱為“介入”（intervention）。

教育工作者想要知道一個“介入”（教育研究中采用的教育程序、策略或做法）是否是有效的，可以由閱讀WWC的相關(guān)報(bào)告可知。通過報(bào)告研究者可以了解對介入研究文獻(xiàn)的審核所表明的特征，以及對該研究提供的證據(jù)鑒別評估的結(jié)果，從而清晰地了解該策略或方法最終的效用程度。只有當(dāng)一項(xiàng)研究符合WWC審核標(biāo)準(zhǔn)時(shí)，WWC的報(bào)告才會包括研究結(jié)果的細(xì)節(jié)和總結(jié)，否則說明該研究缺乏符合WWC審核標(biāo)準(zhǔn)的證據(jù)。如果該研究沒能提供符合WWC審核標(biāo)準(zhǔn)的有效證據(jù)，并不意味著這個研究的介入是無效的，只是說明它缺少明確的證據(jù)來證明其有效性，也就是存疑。

WWC有多種工作成果形式，包括介入評估報(bào)告、主題報(bào)告、快速審核、實(shí)踐指南。介入評估報(bào)告（Intervention reports）是依據(jù)各等級的WWC證據(jù)標(biāo)準(zhǔn)，對主題領(lǐng)域內(nèi)有關(guān)介入的所有研究細(xì)節(jié)進(jìn)行評估的。主題報(bào)告（Topicreports）匯編了一個地區(qū)關(guān)于該專題研究的眾多介入評估報(bào)告的信息，使WWC的使用者方便地比較這些介入的有效程度和影響大小?？焖賹徍耍╓WCquickreviews）的目的是為教育工作者和決策者及時(shí)地、客觀地提供對近期相關(guān)研究論文和報(bào)告的研究證據(jù)的質(zhì)量評估結(jié)果。實(shí)踐指南（practiceguides）為教育工作者在教室和學(xué)校中面臨的挑戰(zhàn)提供實(shí)用的建議。

WWC的審核有確定的主題領(lǐng)域，并逐步擴(kuò)大，目前審核的主題領(lǐng)域包括以下11個部分。

（1）青少年讀寫介入（Adolescent Literacy Interventions）。它是針對4至12年級的學(xué)生，提高他們英文字母拼寫技能、閱讀流暢性、理解能力和一般讀寫成績的教學(xué)策略。

（2）開始閱讀介入（BeginningReadingInterventions）。它是針對5至8歲兒童，提高他們英文字母技能（音素意識、語音意識、字體意識和拼音）、閱讀流暢、理解或一般的閱讀成績的教育策略。

（3）兒童早期教育介入（EarlyChildhoodEducationInterventions）。它是為3至5歲且沒有進(jìn)入過幼兒園的兒童設(shè)置的，重點(diǎn)在于為兒童提供入學(xué)做準(zhǔn)備的認(rèn)知和語言能力的教育策略。

（4）殘疾幼兒教育介入（EarlyChildhoodEducationInterventionsforChildrenwithDisabilities）。它主要針對3至5歲沒有上過幼兒園或?qū)W前教育的殘疾兒童，并為其為入學(xué)做準(zhǔn)備提供教育策略。

（5）小學(xué)數(shù)學(xué)介入（Elementary School MathematicsInterventions）。它的重點(diǎn)是為幼兒園至5年級的學(xué)生，提供能提高他們數(shù)學(xué)成績的教學(xué)策略。

（6）英語學(xué)習(xí)者的介入（English Language LearnersInterventions）。它旨在提高小學(xué)生英語使用能力和學(xué)習(xí)成績的教學(xué)策略。

（7）高中數(shù)學(xué)介入（High School Mathematics Interventions）。它針對9至12年級的學(xué)生，提高他們代數(shù)、幾何、三角和微積分的學(xué)習(xí)成績的教學(xué)策略。

（8）中學(xué)數(shù)學(xué)介入（MiddleSchoolMathematics Interventions）。它旨在讓學(xué)生了解并掌握數(shù)學(xué)理論的概況，包括教學(xué)計(jì)劃、教學(xué)內(nèi)容，以及評估要求。

（9）學(xué)生的學(xué)習(xí)障礙（Students with Learning Disabilities）。介入的目的在于提高幼兒園至12年級（約5至18歲）有學(xué)習(xí)障礙的學(xué)生的學(xué)習(xí)成績。

（10）品格教育介入（CharacterEducationInterventions）。介入的目的在于發(fā)展學(xué)生的品格特征和綜合素質(zhì)的教育。

（11）預(yù)防輟學(xué)介入（Dropout Prevention Interventions）。它針對初中或高中的學(xué)生，主要是為了促使他們完成直到高中的學(xué)業(yè)。

許多單位和專家參與了WWC的工作，包括著名的蘭德公司、阿肯色大學(xué)、威斯康星大學(xué)、通訊發(fā)展公司等企業(yè)與學(xué)校。

WWC的研究組織是按主題領(lǐng)域來構(gòu)建的。一旦確定一個主題領(lǐng)域，就相應(yīng)地建立一個審查組（ReviewTeam）。審查組由一名首席研究員，以及副首席研究員、內(nèi)容專家、項(xiàng)目協(xié)調(diào)員和審稿組成。此外，WWC還擁有由經(jīng)驗(yàn)豐富的研究人員構(gòu)成的統(tǒng)計(jì)和技術(shù)分析組（Statistical，Technical，and Analysis Team），以及質(zhì)量評審組（Quality ReviewTeam）。

鑒于WWC工作涉及多方利益的重要性，美國聯(lián)邦教育部所屬的教育評價(jià)和區(qū)域促進(jìn)國家中心（National Center for Education Evaluation and RegionalAssistance，NCEERA）針對實(shí)際或可能發(fā)生的利益沖突制定了具體的指導(dǎo)方針，既保障WWC審核的高品質(zhì)和公正性，也允許合理的質(zhì)疑。

WWC的工作是一種開放式的。WWC建有網(wǎng)站，[2]公布審核的專題領(lǐng)域、審核的程序和標(biāo)準(zhǔn)手冊、目前的審核項(xiàng)目及活動、審核的結(jié)果和報(bào)告，以及申請服務(wù)的電子郵箱地址和詳細(xì)的聯(lián)系方法。這種開放式的工作形式既保障了審核的質(zhì)量和公正性，也有利于審核結(jié)果的廣泛影響和應(yīng)用。

二、WWC程序和標(biāo)準(zhǔn)手冊

WWC于2008年5月發(fā)布了經(jīng)修訂的“WWC標(biāo)準(zhǔn)（1.0版）”[3]，并于同年12月又發(fā)布了WWC程序和標(biāo)準(zhǔn)手冊（2.0版）”。[4]

WWC程序和標(biāo)準(zhǔn)手冊的正文除了前言共包括四個部分。

（一）主題領(lǐng)域和審核者

這部分內(nèi)容主要介紹了WWC目前開展的各主題領(lǐng)域，以及WWC的組織結(jié)構(gòu)和審核隊(duì)伍的情況。

（二）確定主題領(lǐng)域范圍、研究和介入措施

這一部分主要闡述WWC工作的主要程序。首先是確定審核的主題領(lǐng)域，旨在選擇那些介入成果具有廣泛影響的教育領(lǐng)域。其次是確定審核的范圍，包括主題領(lǐng)域的重點(diǎn)、主題領(lǐng)域中常用術(shù)語的概念、一般性標(biāo)準(zhǔn)、特定主題的參數(shù)和文獻(xiàn)檢索方法，這些都包括在WWC的協(xié)議中。第三是文獻(xiàn)檢索，WWC的工作人員常用的方法有：電子數(shù)據(jù)庫、網(wǎng)站搜索、廣泛征求專家和組織的建議、公眾意見。第四是資格篩選，在每個主題領(lǐng)域中，WWC廣泛收集發(fā)表和未發(fā)表的與主題具有潛在關(guān)聯(lián)的研究，然后進(jìn)行篩選。篩選的一般性標(biāo)準(zhǔn)有三個：（1）論文發(fā)表的時(shí)限，以20年為限；（2）介入影響的初步分析，能否提供影響的有效證據(jù)；（3）研究的設(shè)計(jì)是否合格，重點(diǎn)在證據(jù)是否有科學(xué)性。在具體的不同研究中，篩選的標(biāo)準(zhǔn)有所不同。最后是經(jīng)過審核后各種介入的排序，即同一主題領(lǐng)域內(nèi)的各項(xiàng)介入性研究，依據(jù)WWC審核的等級結(jié)果進(jìn)行列表排序，排序的結(jié)果可以在WWC的網(wǎng)站查到。

（三）審核過程和證據(jù)標(biāo)準(zhǔn)

審核過程之初，每一個未經(jīng)審核的研究分配給兩個小組進(jìn)行獨(dú)立地審核。在審核完成后，舉行WWC審核協(xié)調(diào)會議，評論并研究兩組間的分歧和遺留問題。會議后形成一個綜述反映會議的研究決定。審核和協(xié)調(diào)過程通常在一兩個星期內(nèi)完成。

證據(jù)標(biāo)準(zhǔn)有不同的程度等級，用以確定研究是否提供了有力的證據(jù)。目前，只有精心設(shè)計(jì)和實(shí)施的隨機(jī)對照試驗(yàn)（RCTs）被認(rèn)為是提供了有力的證據(jù)可以符合證據(jù)標(biāo)準(zhǔn)；較弱的證據(jù)可以符合有保留的證據(jù)標(biāo)準(zhǔn)；證據(jù)不足時(shí)則不能符合證據(jù)標(biāo)準(zhǔn)。一個準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)（QEDs）只有等值時(shí)才能符合有保留的證據(jù)標(biāo)準(zhǔn)。

下圖是WWC程序和標(biāo)準(zhǔn)手冊的審核過程，一項(xiàng)研究的評價(jià)等級受三個因素的影響。

隨機(jī)（Randomization）是指研究設(shè)計(jì)采用隨機(jī)對照試驗(yàn)，隨機(jī)地分配兩組的研究對象。

自然減員（Attrition）是指隨機(jī)化的設(shè)計(jì)，原則上會使組間等值，但是隨著自然減員會造成組間的差異。大幅度的自然減員對介入組與對照組的初步等值容易產(chǎn)生不利影響。

等值（Equivalence）是指WWC要求具有高自然減員的隨機(jī)對照研究和所有的準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，介入組與對照組應(yīng)是相等的。

WWC程序和標(biāo)準(zhǔn)手冊的審核過程圖

確定分析樣品的等值時(shí)，WWC常采用以下標(biāo)準(zhǔn)：（1）對特征差異性的報(bào)告，其標(biāo)準(zhǔn)差應(yīng)小于0.25；（2）特征的基線（baseline）差異的標(biāo)準(zhǔn)差大于0.05時(shí)，必須進(jìn)行統(tǒng)計(jì)學(xué)的調(diào)整。

（四）審核的總結(jié)

WWC程序和標(biāo)準(zhǔn)手冊第四部分包括5方面內(nèi)容：（1）介入報(bào)告的類型；（2）報(bào)告的編寫，由報(bào)告的草案、確保質(zhì)量的審核、教育科學(xué)院與外部同行的審核、報(bào)告的制定與發(fā)布四個部分組成；（3）報(bào)告由首頁、機(jī)構(gòu)報(bào)告和附錄三個部分組成；（4）介入評級制度，由六個正負(fù)面不同影響的等級構(gòu)成；（5）匯總與結(jié)果呈現(xiàn)，因?yàn)橛械慕槿肟赡苌婕岸鄠€主題領(lǐng)域，所以每個領(lǐng)域都有一個介入報(bào)告。

手冊除了上述主體部分，還包括一個參考文獻(xiàn)部分和7個附錄。這7個附錄闡述了WWC審核中采用的技術(shù)方法和規(guī)范，它包括：附錄A——評估自然損耗偏差，給出了具體的界定和詳細(xì)的計(jì)算方法與公式；附錄B——效果大小計(jì)算，包括學(xué)生水平分析和群體水平分析兩個部分，并都給出詳細(xì)的計(jì)算方法和公式；附錄C——聚類校正，包括了針對介入效果的統(tǒng)計(jì)分析與評估的意義不匹配時(shí)的校正方法；附錄D——Benjamini-Hochberg校正，它主要針對研究者在同時(shí)執(zhí)行多個假設(shè)檢驗(yàn)時(shí)可能發(fā)生的偏差，此方法是由Benjamini&Hochberg于1995年提出的；附錄E——介入評級制度，其定義了符合標(biāo)準(zhǔn)證據(jù)的強(qiáng)與弱不同設(shè)計(jì)的標(biāo)準(zhǔn)和研究影響的特征；附錄F——指數(shù)計(jì)算的改進(jìn)，它有助于讀者判斷介入效果的實(shí)際重要性；附錄G——證據(jù)的程度分類，其目的在于告訴讀者，介入的等級是在怎樣的證據(jù)基礎(chǔ)上做出的。

三、對WWC工作的評析

與我國常見的對教育科學(xué)研究項(xiàng)目的評價(jià)相比，WWC的工作呈現(xiàn)出明顯的中西方文化差異。我國教育研究往往側(cè)重于采用整體的、綜合的、理性推導(dǎo)的方法來分析、評價(jià)，并習(xí)慣使用枚舉法來佐證。西方學(xué)者則習(xí)慣于用分析的方法、實(shí)證的方法形而上地進(jìn)行分析、評價(jià)。兩者并無絕對的對錯之分，而是互補(bǔ)為上。我們必須看到，各種復(fù)雜教育現(xiàn)象并不是都可以通過實(shí)證的方法來驗(yàn)明其價(jià)值的。

對教育研究的評價(jià)直接涉及到學(xué)校、教育機(jī)構(gòu)、出版商、教育工作者的各方面的利益與聲譽(yù)，且教育現(xiàn)象錯綜復(fù)雜，不是一時(shí)一事就可以斷言其優(yōu)劣是非的，需要極其慎重和長期的觀察。美國大大小小的教育改革不可勝數(shù)，它們既直接影響著美國教育的發(fā)展，又牽扯著眾多利益關(guān)系，需要權(quán)威性的引導(dǎo)。如果由政府出面直接進(jìn)行評價(jià)，一旦有錯，不僅會產(chǎn)生重大失誤，而且會抑制教育工作者教育改革創(chuàng)新的意愿，WWC的做法則比較好地解決了這一問題。它以美國聯(lián)邦教育部所屬教育科學(xué)院為權(quán)威，并不對研究本身直接做出價(jià)值判斷，而是對研究過程方法的科學(xué)性與證據(jù)的充分性，以及研究成果的影響程度做出客觀的評析，為教育工作者提供參考。

WWC的評審方式及審核標(biāo)準(zhǔn)在一定程度上促進(jìn)了美國教育研究的科學(xué)化進(jìn)程，同時(shí)也對其提出了更高的要求。眾多的教育改革思想、觀念及由此形成的教育方法策略，究竟有什么樣的效果？在多大程度上有效？以往廣大的教育工作者所能面對的主要是研究者的著述，如何取舍完全取決于每位教育工作者自己的主觀判斷，WWC的工作則為這種取舍提供了一定的客觀依據(jù)。以1989年開始的“觀念導(dǎo)向閱讀教學(xué)”（Concept Oriented Reading Instruction）為例，該項(xiàng)目至今已經(jīng)發(fā)表了超過49篇學(xué)術(shù)研究報(bào)告，但是這項(xiàng)課程研究沒有能符合WWC的審核標(biāo)準(zhǔn)，原因是實(shí)驗(yàn)研究缺乏對照組、多項(xiàng)干擾因子介入、研究對象年齡不符，以及后續(xù)研究與文獻(xiàn)不合規(guī)范等。

不過，上述情況也有其值得注意的一面，且已經(jīng)引起了我國臺灣地區(qū)教育界有關(guān)人士的注意，他們認(rèn)為WWC的標(biāo)準(zhǔn)嚴(yán)格，多數(shù)學(xué)術(shù)研究因經(jīng)費(fèi)或規(guī)模所限，無法過關(guān)，易出現(xiàn)學(xué)術(shù)研究與政策制定上的落差。[5]

WWC從項(xiàng)目的申請、工作的程序和審核的標(biāo)準(zhǔn)，以及審核的詳細(xì)結(jié)果都充分采用了現(xiàn)代信息技術(shù)，并在網(wǎng)頁上公諸于眾。這樣的做法在一定程度上提高了審核的公開性、透明度，以及審核處理的速度。它不僅方便了廣大教育工作者的參與，同時(shí)也大大擴(kuò)大了這些研究成果的影響力，特別是這種開放性的審核方法，大大擴(kuò)展了研究者在主題領(lǐng)域內(nèi)審核的視野，使同一領(lǐng)域中的各種各樣的研究都有機(jī)會在國家級的評估舞臺上展現(xiàn)。

四、借鑒

1．我國教育科研管理的重心應(yīng)向研究后期階段移動。目前我國教育科研的管理重點(diǎn)主要在項(xiàng)目的申報(bào)與審核上，而最后的研究成果究竟價(jià)值幾何？現(xiàn)實(shí)影響作用有多大？研究過程是否科學(xué)、規(guī)范，是否有充分的證據(jù)？這一系列后續(xù)研究成果的科學(xué)性與推廣性有待驗(yàn)證，我們也缺少有效的評價(jià)機(jī)制。這并不利于真正有價(jià)值的研究成果得到確認(rèn)，也不能產(chǎn)生廣泛的效用。WWC的做法是值得借鑒的，我國也可以在中央和省一級相關(guān)機(jī)構(gòu)中成立類似的評估中心，相應(yīng)地放低教育科研的門檻，激勵教育工作者廣泛地參與教育科研，特別是為那些有潛在價(jià)值的，具有獨(dú)到創(chuàng)新思想的研究提供生存發(fā)展的空間，為那些確有價(jià)值的研究提付更充分的依據(jù)以獲得社會多種資源的支持。

2．改變我國教育科研中偏重理性思考、追求完美和理想化的結(jié)果、習(xí)慣于枚舉法求證的研究現(xiàn)象，把教育科研的重點(diǎn)放在教育實(shí)踐中的問題，更多地采用實(shí)證的研究方法對論據(jù)進(jìn)行統(tǒng)計(jì)學(xué)分析，以求教育科學(xué)研究的科學(xué)化和規(guī)范化。這不是要弱化理論研究，而是要強(qiáng)化那些根植于教育實(shí)際生活土壤之中的理論研究，減少那些表面精致而無實(shí)際價(jià)值的虛假研究。

3．充分運(yùn)用現(xiàn)代信息技術(shù)，使教育科研從立項(xiàng)到研究過程和結(jié)果的審核，以及審核的標(biāo)準(zhǔn)及程序做到公開化、透明化，讓處理過程、相關(guān)信息的傳播更快速化。WWC的工作為我們改變評估科研成果時(shí)主要依賴發(fā)表論文及論著數(shù)量的片面性，提供了一種新的途徑。

4．對我國基礎(chǔ)教育界中處于一線的教育工作者來說，對研究數(shù)據(jù)過高的統(tǒng)計(jì)學(xué)要求，以及對研究程序和文本的過分精致化要求使得研究者從促進(jìn)科研素養(yǎng)的提高，逐漸異化為妨礙他們潛心于實(shí)際教育問題的深入觀察和分析研究，這種惡化現(xiàn)象大大影響了研究的科學(xué)化，也一定程度上浪費(fèi)了研究者的時(shí)間與精力。教育工作者在研究中充分關(guān)注科學(xué)性、規(guī)范性的同時(shí)，可以把大量統(tǒng)計(jì)學(xué)分析工作交由類似WWC的機(jī)構(gòu)中，由專業(yè)統(tǒng)計(jì)人員協(xié)助完成統(tǒng)計(jì)程序。

［1］張曉菁．美國有效教育研究審核（WWC Review）簡介（臺灣駐美文化組）［EB/OL]．http://3w.mioerar.edu.tw/education/educationList.jsp，2009-05-31．

［2］中美教育質(zhì)量評價(jià)高級研修班．應(yīng)試異化［N］.中國科技日報(bào)，2004-09-14．

［3］WWC．WhatWorksClearinghouseEvidenceStandards for Reviewing Studies［EB/OL］．http//ies.ed.gov/ncee/wwc/pdf/study_standardsfinal，2014-04-19．

［4］WWC．What Works Clearinghouse Procedures and Standards Handbook （Version2.0）［EB/OL］．http://ies.ed.gov/ncee/wwc/pdf/wwc_procedures_v2_standards_handbook，2014-04-19．

［5］林建妤．美國教育研究審核標(biāo)準(zhǔn)嚴(yán)格閱讀教學(xué)法之研究報(bào)告難過關(guān)（臺灣駐美文化組）［EB/OL］．http://3w.nioerar.edu.tw/education/educationList.jsp，2010-08-12．