畢國濤 丁 凱
(1.中共中國海洋石油集團有限公司黨校,北京 102209;2.中國人民大學(xué) 國家發(fā)展與戰(zhàn)略研究院,北京 100872)
大學(xué)教師發(fā)展(Faculty Development, 簡稱FD)被視為是提高高等教育質(zhì)量的有效舉措。在針對FD的研究中,關(guān)于實施效果的關(guān)注較為匱乏。FD在多大程度上提升了教師表現(xiàn)、哪些項目有效以及教師對FD的評價如何等基本問題并未得到明確的回答。這在很大程度上阻礙了FD的深入實踐和普遍推廣?!按髮W(xué)教師發(fā)展需要提供有力的證據(jù)證明自己的價值和作用,以表明投資于此的努力具有豐厚的回報”[1]。這就需要調(diào)查和評價FD的過程與效果,即實施有效的大學(xué)教師發(fā)展評估(Faculty Development Evaluation, 簡稱FDE)。從國內(nèi)情況來看,當(dāng)下FD的主要目標(biāo)是增加項目種類、擴大參與規(guī)模,而對項目效果的關(guān)注及相應(yīng)的改進并不是重點,甚至根本未曾執(zhí)行任何評估。反觀國際經(jīng)驗,大學(xué)教師發(fā)展中心普遍重視FDE,不斷調(diào)整評估模式,且將其視為革新和優(yōu)化FD的關(guān)鍵機制。因此,非常有必要對FDE進行專門研究,從理論和實踐角度構(gòu)建FDE的有效框架。由此,首先從分析FD的基本屬性入手,論證實施FDE的必要性依據(jù);進而推導(dǎo)和總結(jié)FDE的主要內(nèi)容構(gòu)成;在結(jié)合案例分析基礎(chǔ)上,歸納實施FDE的有效經(jīng)驗。
FD具有管理、服務(wù)、學(xué)術(shù)和實踐等四種基本屬性,每一種屬性都對評估提出了相應(yīng)的要求,可以說,實施FDE是FD屬性的本質(zhì)要求。
第一,F(xiàn)D的管理屬性決定必須實施FDE。FD已經(jīng)成為高校體制機制的重要組成部分,高校普遍設(shè)有FD專門機構(gòu)和FD專項經(jīng)費;在FD視野下,教師在職業(yè)領(lǐng)域的發(fā)展不再僅是教師的個人事務(wù),而是高校應(yīng)對競爭與達成使命的重要措施。FD需要通過評估,向校方回饋資源使用的結(jié)果和效率,F(xiàn)D對學(xué)校問題的呼應(yīng)和解決程度等信息,與此同時,擴大組織影響,爭取更多組織資源。
第二,F(xiàn)D的服務(wù)屬性決定了必須實施FDE。大學(xué)教師的職業(yè)屬性決定了有效的FD不是強制灌輸,而是提供具有輔助性、針對性的專業(yè)化服務(wù)。FD需要通過評估收集參與教師的體驗,了解教師參與前后的變化,以及探尋和滿足教師的多樣需求。與此同時,評估本身也是“顧客導(dǎo)向”的服務(wù)屬性體現(xiàn)。
第三,F(xiàn)D的學(xué)術(shù)屬性決定了必須實施FDE。FD已經(jīng)成為涵蓋教育學(xué)、心理學(xué)、社會學(xué)和管理學(xué)等在內(nèi)的綜合性研究領(lǐng)域。有效FD項目的開發(fā)、實施和改進FD愈發(fā)依賴學(xué)術(shù)和理論支撐。FD需要通過評估,收集可靠數(shù)據(jù),探尋教師的變化,研究FD干預(yù)同教師變化間的相關(guān)關(guān)系,而FD研究成果的發(fā)表,也可擴大學(xué)術(shù)共同體的關(guān)注。
第四,F(xiàn)D的實踐屬性決定了必須實施FDE。高校在類型、規(guī)模、目標(biāo)等方面的多樣性,教師在專業(yè)、職級和需求方面的差異性,決定了FD并無統(tǒng)一模式,而是依據(jù)具體情形進行靈活調(diào)整。FD需要進行評估,研判項目是否以及在多大程度上匹配組織的資源條件和使命目標(biāo),解決組織與教師的現(xiàn)實問題,滿足各級各類教師的差異性需求等。
FD基本屬性在很大程度上決定了FDE的主要內(nèi)容。例如,管理屬性下FDE關(guān)注資金使用的規(guī)模和效率、項目規(guī)劃和實施情況、參與的規(guī)模和頻率等;服務(wù)屬性下FDE關(guān)注FD參與者需求的滿足程度,對項目的感受和評價等;學(xué)術(shù)屬性下關(guān)注施加FD作用后教師和組織發(fā)生的變化,以及其中的相關(guān)性;實踐屬性下關(guān)注項目在滿足現(xiàn)實需求和解決實際問題方面的匹配性等。本節(jié)在此基礎(chǔ)上結(jié)合相關(guān)研究,總結(jié)五種FDE的主要內(nèi)容(見表1)。
滿意度評估關(guān)注參與者對項目的評價,關(guān)注其對自身需求被滿足程度的感受。滿意度評估既可以是對項目整體的評價,也可以是針對內(nèi)容、形式和過程等方面的評價。在方法上,主要使用以李克特量表(Likert Scale)為代表的多級量表進行打分;除了調(diào)查問卷以外,部分評估還會通過訪談的形式,詢問教師對項目的感受。在數(shù)據(jù)來源上,滿意度評估所采用的數(shù)據(jù)帶有強烈的主觀性,但也有部分評估采用參與率和再次參與率等客觀數(shù)據(jù)進行相關(guān)的佐證。滿意度評估多在項目結(jié)束后進行,不同項目間的滿意度得分可以進行橫向比較,從而為FD項目的選擇和評價提供依據(jù)。滿意度評估適用面廣,操作相對簡易,是最為常見的FDE內(nèi)容[2]。
產(chǎn)出評估主要回答“做了什么”這一問題,關(guān)注FD以何種方式開展以及實施FD后產(chǎn)生的直接后果,具體包括資金的配置和使用、項目內(nèi)容和種類、教師參與的規(guī)模和頻率等。產(chǎn)出評估的主要目的在于反饋FD對資源的使用,為FD政策的調(diào)整提供依據(jù)。在方法上,主要使用文本分析法,搜集和整理項目實施方案、參與人數(shù)統(tǒng)計、階段執(zhí)行報告、財務(wù)報告、終期報告等文本中的相關(guān)信息。這些記錄項目實施的文本是產(chǎn)出評估的主要信息來源,所以產(chǎn)出評估主要在項目結(jié)束后實施。
成果評估主要回答“有何改變”這一問題,關(guān)注FD最終結(jié)果和深遠影響,在探究實施FD后,教師、學(xué)生、管理者、組織制度和組織文化等在多個維度發(fā)生了何種切實的改變。成果評估在證明FD有效性方面最具說服力。成果的表現(xiàn)形式較為復(fù)雜,測量相對困難,受具體情境和個體差異影響較大,所以成果評估在方法選擇上較為多樣,通常使用多種評估方法綜合性的描述FD成果,且定性評估更適用于探尋教師發(fā)生的深層次變化。從施加FD影響到發(fā)生變化通常具有一定的遲滯性,所以成果評估需要增加評估的次數(shù),實踐中的有效措施是在FD項目結(jié)束一段時間再次進行評估,有條件的高校還可以采用跟蹤評估和對照組評估。
效率評估主要回答“哪個項目更劃算”這一問題,是基于成本收益的考慮對項目“生產(chǎn)率”的關(guān)注。對項目產(chǎn)出和成果有了較為準(zhǔn)確的把握后,衡量FD項目的效率成為可能。效率評估可以劃分為:針對教師的效率評估,多采用定性評估,直接詢問教師哪些項目對其而言在達成特定目標(biāo)上更有效率;針對項目的效率評估,多將項目收益賦予一定貨幣價值,對比投入項目的資金、時間和其他成本,獲得項目的“投資回報率”。效率評估不僅依賴其他評估的結(jié)果,還需要參與者和評估者對項目進行較為完善的審視,所以通常是在項目結(jié)束后進行。
適用性評估關(guān)注兩個方面內(nèi)容:一是FD對教師的適用性,包括FD是否滿足教師需求、解決教師困難、匹配教師的興趣與能力等;二是FD對組織的適用性,包括FD在設(shè)計和實施過程中是否匹配組織資源條件、直面組織發(fā)展挑戰(zhàn)、呼應(yīng)組織使命目標(biāo)等。適用性評估的結(jié)果通常超越了是或否的二元選擇,而可視為對FD的總結(jié)性評價。一方面對數(shù)據(jù)信息的全面性要求較高,需要采用多種評估方式,使用包括前述四種內(nèi)容在內(nèi)的多種信息進行佐證;另一方面,要求評估者對組織的現(xiàn)狀和使命、師資建設(shè)的挑戰(zhàn)和目標(biāo)等有較為深刻的把握,在實踐中主要采用訪談法,獲取高層管理者和相關(guān)專家的意見。
FDE既符合高等教育評估的普遍規(guī)律,也具有一定特殊性。在明確FDE的主要內(nèi)容后,如何進行具體操作成為下一個問題。美國在20世紀(jì)70年代掀起大學(xué)教師發(fā)展運動,早在那時便已開始探索對大學(xué)教師發(fā)展進行評估[3]。近年來,南達科他大學(xué)(University of South Dakota)的教學(xué)和學(xué)習(xí)中心(Center for Teaching and Learning, 簡稱CTL)實施并逐步完善了本校的FDE框架,積累了較為豐富的實踐經(jīng)驗。本節(jié)以該中心為例,并結(jié)合前文探討實施FDE的經(jīng)驗。
CTL面向教師提供個人咨詢、校內(nèi)工作坊和專題研討、經(jīng)費支持、課程再設(shè)計研討會和資源支持等五種主要的服務(wù)項目;尤其強調(diào)通過教育技術(shù)來提升教師教學(xué)水平和學(xué)生學(xué)習(xí)成績(見表1)。
表1 CTL主要大學(xué)教師發(fā)展項目類型和內(nèi)容
CTL在成立初期便針對其開設(shè)的FD項目實施評估。早期的評估在形式上體現(xiàn)為年度報告,CTL主管會在報告中詳細列舉本年度中心開展FD項目的種類和內(nèi)容、各項目的參與規(guī)模、參與人員對項目的滿意度情況等。年度報告除了用于回饋學(xué)校管理層和進行宣傳以外,還是CTL制訂下一年工作計劃的重要參考。CTL會將本年度數(shù)據(jù)同上年進行比較,如果出現(xiàn)某類項目參與人數(shù)下降、滿意度下降等問題時,該類項目明年就有可能被裁撤。
可見,CTL采用的是一種以產(chǎn)出評估為主的評估形式(Output-Based Evaluation),以項目開展情況、參與情況和滿意度為主要內(nèi)容。該評估模式有利于掌握CTL項目的實施情況,初步形成了評估體系,但CTL逐漸發(fā)現(xiàn),這種評估模式并不能提供FD是否有效的充分證據(jù),未能反映項目實施的完整信息,也不利于FD的優(yōu)化改進。于是自2010年起,CTL開始關(guān)注FD對教師產(chǎn)生的影響,關(guān)注教師參與FD后在態(tài)度、行為等方面發(fā)生的變化,并著手開發(fā)相應(yīng)的評估框架。
CTL對原有評估模式進行了兩個方面的改進:第一,明確各FD項目的目標(biāo),將其細化為若干可度量、可實現(xiàn)的子目標(biāo),并用這些目標(biāo)指引FDE的規(guī)劃和實施;第二,引入“教學(xué)發(fā)展和有效性評估模型”(Instructional Development and Effectiveness Assessment, IDEA)①,將其作為主要的評估工具。在此基礎(chǔ)上,CTL針對每一項目開發(fā)了基于成果的評估框架(Outcome-Based Evaluation)。此處以個人咨詢和校內(nèi)工作坊為例進行具體說明(見表2)。
表2 個人咨詢和校內(nèi)工作坊的評估框架
1. 個人咨詢。CTL將該項目的目標(biāo)確定為“教師在參與個人咨詢項目后,會在參與咨詢的學(xué)期或下一學(xué)期,表現(xiàn)出教學(xué)上的進步”。以此目標(biāo)為指引,CTL確立了評估框架設(shè)計的兩個重點:第一,教學(xué)上的進步不是單一維度的改變,需要從多個角度進行綜合衡量,評估需要為此提供充足的數(shù)據(jù)支持;第二,從參與FD到教學(xué)水平的提升通常需要一段時間,評估需要延長測評區(qū)間,以確保教學(xué)提升的證據(jù)得以體現(xiàn)以及衡量教學(xué)提升的持續(xù)性。
依據(jù)目標(biāo)和評估重點,CTL確立了具體的評估方法:首先,使用IDEA的四個評估模塊,即“教學(xué)目標(biāo)的改進”“杰出的教學(xué)者”“杰出的課程”“對教學(xué)的總體感受”,從多個評估角度進行打分,衡量教學(xué)和教師發(fā)生的變化;其次,將評估期間延長至四個學(xué)期,連續(xù)觀測教師在教學(xué)方面發(fā)生的變化。根據(jù)上述評估框架,教師在四個評估模塊上的得分,在連續(xù)的四個學(xué)期中呈現(xiàn)出增長的趨勢,較為充分地證明了個人咨詢項目的有效性。
2. 校內(nèi)工作坊。CTL確立了該項目的兩個目標(biāo):第一,參與教師會更加充分利用教育技術(shù)來促進學(xué)生的學(xué)習(xí);第二,參與教師明確表示工作坊能夠幫助其提升教學(xué),并肯定工作坊的有效性。以此目標(biāo)為指引,第一個目標(biāo)的評估重點在于衡量行為的變化,即評估教學(xué)行為發(fā)生的具體改變;第二個目標(biāo)的評估重點在于衡量項目對教師產(chǎn)生的積極影響。
針對行為的評估,CTL采用IEDA指標(biāo)中的“教師使用教育技術(shù)來促進學(xué)習(xí)”模塊對所有教師進行評估,并依據(jù)參與FD項目的次數(shù)將教師進行分組比較。針對影響的評估,CTL一方面通過李克特五級量表,調(diào)查參與教師對工作坊有效性的評價;另一方面,通過電話訪談,不僅詢問教師在多大程度上愿意嘗試在工作坊中學(xué)到的知識技能,還詢問教師因為參與工作坊,在教學(xué)中發(fā)生了哪些具體的、可辨識的改變。
根據(jù)上述評估框架,CTL發(fā)現(xiàn)參與工作坊的教師與不參與的教師相比,在使用教育技術(shù)促進學(xué)生學(xué)習(xí)方面的得分明顯要高,且參與工作坊的次數(shù)與得分之間成正比。在有效性評價方面,參與訪談的教師能夠明確表達自己因為參與工作坊,在教學(xué)中發(fā)生的若干具體的變化。這與調(diào)查問卷的結(jié)果相一致,定量評估和定性評估共同證明了工作坊的有效性。
在不斷完善基于成果的評估的同時,CTL下一步的目標(biāo)是實現(xiàn)“基于過程的評估(Process-Based Evaluation)”,即在“基于設(shè)計的研究(Design-Based Research)”理念指導(dǎo)下,在實踐情境中通過迭代循環(huán)與過程研究,完善相關(guān)理論、作用機制和實踐操作,最終促進FD取得更好效果。
提升大學(xué)教師發(fā)展組織建設(shè)的科學(xué)化,需要加強對組織績效的問責(zé),對資源投入及使用情況展開定期的評估[4]。從CTL的案例可見,評估框架需要不斷革新,有效的FDE需要突破以產(chǎn)出和滿意度評估為主的初級階段,向以成果評估為主的綜合性、系統(tǒng)性和科學(xué)性的評估模式發(fā)展。中國的FDE工作尚處于起步階段,理論研究和實踐探索均較為薄弱,CTL的經(jīng)驗為中國FDE今后的發(fā)展提供了有益的借鑒。
大學(xué)教師發(fā)展中心成立初期通常采用擴大項目規(guī)模和參與規(guī)模,增加各類資源投入的“粗放式發(fā)展”方式,對FDE的認知水平和重視程度均較低。隨著FD工作的深入,提高FD實施質(zhì)量和效率成為新的目標(biāo)。FDE在其中發(fā)揮了不可替代的作用:FDE是優(yōu)化和改進現(xiàn)有項目的重要方法,是擴大學(xué)術(shù)影響力、吸引更多學(xué)者關(guān)注FD的有效途徑,也是FD向“集約式發(fā)展”轉(zhuǎn)變的根本路徑。因此,必須重視FDE的關(guān)鍵作用,提升FDE的地位。具體表現(xiàn)為“在FD的規(guī)劃中增加評估環(huán)節(jié),在施行FDE時不斷提高其科學(xué)性和嚴謹性,將FDE的結(jié)果作為制定和修改現(xiàn)有政策的重要依據(jù),增強針對FDE的專項研究”等。
FD在多大程度上達成預(yù)期目標(biāo)是FDE需要回答的重要問題。很多評估并不以FD目標(biāo)為導(dǎo)向,反而用盡可能詳細的信息描述項目過程和產(chǎn)出,這既導(dǎo)致了評估在內(nèi)容和方法選擇上的混亂,也降低了評估結(jié)果的解釋力。CTL對原有評估模式進行改進的第一步,就是確立、審視和細化FD的目標(biāo),并以此為導(dǎo)向開展評估活動。FDE的規(guī)劃和實施應(yīng)當(dāng)以FD的目標(biāo)為指引,具體表現(xiàn)在:第一,審視和細化FD目標(biāo),并將其轉(zhuǎn)化為若干可實現(xiàn)、可度量的分目標(biāo);第二,明確完成各個目標(biāo)的具體標(biāo)準(zhǔn)和時間期限;第三,依據(jù)目標(biāo)確定評估的內(nèi)容、方法和工具;第四,對比FD目標(biāo)展現(xiàn)FDE結(jié)果。
僅描述FD以何種方式實施并不能證明其效用,對參與教師喜好態(tài)度的反饋并不能表明FD所帶來的轉(zhuǎn)變,且“過于依賴教師的主觀評價使數(shù)據(jù)存在偏見和夸大的風(fēng)險”[5],因此,CTL才致力于開發(fā)基于成果評估的框架。有效的FDE應(yīng)當(dāng)一方面堅持以成果評估為主,探尋FD作用下高校組織、高校教學(xué)和高校教師等發(fā)生的改變,發(fā)掘FD的內(nèi)在作用規(guī)律;另一方面,堅持綜合性的評估模式,將多種評估內(nèi)容有機結(jié)合起來。例如,以滿意度評估和部分產(chǎn)出評估來佐證成果評估;在產(chǎn)出和成果評估后,進一步利用已有數(shù)據(jù)實施效率評估;從滿意度、成果和效率等角度綜合評估FD對組織的適用性等。
系統(tǒng)性要求FDE各要素通過合理的作用方式,共同構(gòu)成一個有機的評估整體。具體包括:合理規(guī)劃評估方案,明確評估的目標(biāo)、重點和標(biāo)準(zhǔn);關(guān)注評估內(nèi)容之間、評估方法之間以及內(nèi)容與方法之間的相互作用;形成性和總結(jié)性評估有機結(jié)合等??茖W(xué)性要求FDE符合規(guī)范,采用專業(yè)化和學(xué)術(shù)化的評估方法,提升評估的解釋力。具體包括:依據(jù)目標(biāo)選擇合理評估方法;定性與定量評估相結(jié)合,多種評估方法相結(jié)合;延長評估區(qū)間和增加評估頻率;采用對照組評估;關(guān)注教師群體內(nèi)部差異性等。
注釋:
① IDEA模型由堪薩斯州立大學(xué)于1968年開發(fā),1975年成立了獨立的IDEA中心。IDEA由若干模塊構(gòu)成,以學(xué)生打分為主要方式。參見:Dan Li, Stephen L. Benton, etc. Analysis of IDEA Student Ratings of Instruction System 2015 Pilot Data (IDEA Technical Report No. 19). https://www.ideaedu.org/Portals/0/Uploads/Documents/Technical-Reports/IDEA_Technical_Report_No_19.pdf。