王 茜 卞 慧 趙松立 湯勇明

(東南大學 黨委教師工作部(教師教學發(fā)展中心),南京 210096)

中共中央國務院印發(fā)的《深化新時代教育評價改革總體方案》指出要把認真履行教育教學職責作為評價教師的基本要求,引導教師上好每一節(jié)課、關(guān)愛每一個學生。教育部等六部門關(guān)于加強新時代高校教師隊伍建設(shè)改革的指導意見中指出要完善教學質(zhì)量評價制度,多維度考評教學規(guī)范、教學運行、課堂教學效果、教學改革與研究、教學獲獎等教學工作實績。有效及時的課堂教學評價對于教學單位和授課教師獲取課堂教學效果反饋信息,推動課堂教學質(zhì)量改進具有至關(guān)重要的意義[1]。

對于課堂教學評價,國內(nèi)在近十幾年的研究與應用基礎(chǔ)上基本形成了一種包括學生評價、同行評價、督導評價、教師自評在內(nèi)的課堂教學評價辦法。在上述常見評價手段中,學生評價是唯一可實現(xiàn)全員參與、全過程感受、全覆蓋評價的評價辦法[2]。但絕大多數(shù)高校在實踐中,都把學生評教用作對教師進行總結(jié)性評價的工具,以加強對教師的人事管理和控制,而非形成性評價的工具,以幫助教師改善其教績[3]。各高校在實行學生評教后,都不同程度地出現(xiàn)了持續(xù)的學生課程分數(shù)的膨脹,同時引起了教師普遍的焦慮[4]。

隨著高校“智慧校園”“信息化平臺”的建設(shè),網(wǎng)上評教成為數(shù)據(jù)收集的主流方式。大數(shù)據(jù)回收后,讓數(shù)據(jù)“開口說話”,挖掘數(shù)據(jù)背后的價值[5],利用大數(shù)據(jù)分析來幫助學校進行科學評估與決策,是當前學生評教工作發(fā)展的重要趨勢。當前我國的教學評價主要是“學評教”的傳統(tǒng)模式,這種單一方式存在主觀性強、缺乏學習數(shù)據(jù)支撐等問題,不能完整地對教學質(zhì)量進行客觀評價[6]。通過優(yōu)化調(diào)整調(diào)查手段,在數(shù)據(jù)源頭埋下數(shù)據(jù)挖掘線索,可為數(shù)據(jù)處理分析提供更多參考與依據(jù)?；诖髷?shù)據(jù)庫信息,實現(xiàn)數(shù)據(jù)結(jié)果的標準化和可比較化,為學生評教制度的持續(xù)改進提供量化依據(jù)。

本文基于D大學學生評教客觀數(shù)據(jù)默認值設(shè)置這一措施,對措施實施以來四學期評價數(shù)據(jù)進行分析,與未設(shè)置默認值獲取的評價結(jié)果進行比較分析,研究此方法的優(yōu)化效果及存在問題。

1 學生評教的問題分析

學生評教是一種面向全體上課學生的全覆蓋式評價?；诋斍俺Ｒ姷膶W生評教組織形式,學生評教最終結(jié)果通常以評價總分、指標均分、評價排名及主觀評語組成。該評價結(jié)果被運用于教師職稱評定、績效考核、課程管理、質(zhì)量監(jiān)控等活動和程序中[7]。而由于學生評教能力匱乏[8],且在認知能力、評教動機、課程興趣、學習態(tài)度及評教態(tài)度等心理特征上存在差異,學生個體在做出價值判斷時容易出現(xiàn)評判標準認知和教學事實感知上的偏離,導致學生評教這一模式面臨著評教結(jié)果失真的問題[9]。

1.1 評價結(jié)果虛高,缺乏區(qū)分度

李克特量表以受訪者感受為中心的表達方式適用于面向?qū)W生、非專業(yè)性受訪者進行的調(diào)查,但5度劃分對更精確的感受表達產(chǎn)生了一定限制。學生評教時由于受到考試成績、師生關(guān)系、是否匿名等不確定因素的制約,存在一定感情上的傾向或心理上的顧忌,傾向于默認選擇最高分項,導致分數(shù)膨脹,使得分數(shù)的分布向高分段集中[10],分數(shù)之間缺乏區(qū)分度。如表1、圖1和圖2所示對D大學2017學年至2019學年四個學期的學生評教原始數(shù)據(jù)進行統(tǒng)計,四個學期共對11024個教學班課程進行評價,學期均分分布于89.15～95.00之間(滿分100分),學期總體方差均分分布于11.26～18.39之間,中位數(shù)均在89分以上,65%以上課程評價達90分,近99%的課程評價均在80分以上。

圖1 全校均值及方差分布

圖2 全校各分數(shù)段統(tǒng)計分布

表1 各學期評價結(jié)果

1.2 評價標準不一,存在個體化差異

學生評教問卷的客觀題部分通常以“以學生為中心”的問題導向,引導學生從立德樹人、教學組織、課堂互動、收獲體驗等維度表達自身感受,對教師課堂教學進行評價。表達方式通常為李克特量表的“十分滿意、滿意、一般、不滿意、十分不滿意”,或采用“十分制”:以10分表示最滿意,以1分表示最不滿意進行評價。但無論是李克特量表的“滿意”,或是十分制評價中的“8分”“10分”,均無法體現(xiàn)“好”“壞”“一般”的標準。由于個體化差異,學生依據(jù)個人感受進行評價時,對于“好”“壞”“一般”的標準難于統(tǒng)一,“好”是以7分還是9分進行表達,學生之間亦存在隱形差異,由此產(chǎn)生了評價主體的客觀標準差異,對最終評價結(jié)果產(chǎn)生影響。

1.3 學生應付評教,結(jié)果可信度不足

當前高校的評教多為對課程評教或?qū)處熢u教。在期末集中評教中,學生通常需要一次性或分批次完成所有評教問卷。以每個問卷10題客觀題,1題主觀題計,學生認真完成一份問卷需要3 min。以D大學2020-2021學年1學期為例,16 247名學生共收到203 740份問卷,平均每人收到問卷12.54份。50%以上的學生收到問卷數(shù)量在9～13份之間(如圖3所示),平均一個學生完成全部評教的時間大約為37.5 min,學生在耗時較長的情況下,答題一致性較差,且延長答題時間會降低學生的滿意度[11]。

圖3 問卷數(shù)量人次統(tǒng)計

當前雖提倡以學生為中心的評教,但是更多的學生評教結(jié)果對學生的意義并未能讓學生感知。為提升評教率常見的督促方式有管理式,如綁定成績查看、選課等;鼓勵式,如組織學生評教員、設(shè)置評教完成獎等[12],但這并不能從根本上改變學生應付評教的心態(tài),學生仍處于被動評教而非主動評教的心態(tài)。為快速完成評教而產(chǎn)生的應付評教,其評價結(jié)果可信度存疑,且難以通過技術(shù)手段甄別。

1.4 僅有評價分數(shù),評教信息量有限

學生評教結(jié)果通常由評價總分、指標均分、評價排名及主觀評語組成,最常用的處理方法是按絕對分值進行排名。而擁有高評教分數(shù)即可擁有高評價排名的導向,使得教師會采用放寬課程要求、給更高的課程分數(shù)等方式“討好”學生,以換取高評教分數(shù),使得評教“失靈”?；谟邢扌畔⒌脑u價結(jié)果的應用,可能存在應用失當與路徑依賴等問題[13]。

2 默認值設(shè)置的合理性及有效性分析

為提高學生評教源頭數(shù)據(jù)準確性及評價結(jié)果科學性,D大學自2019-2020學年3學期起,對學生評教組織形式、評價對象、問卷內(nèi)容、統(tǒng)計方式等進行系列調(diào)整,通過授課學時區(qū)分評價對象為課程或教師,對不同類型的課程評價指標進行關(guān)聯(lián)性梳理,對客觀評價指標設(shè)置默認值,在結(jié)果統(tǒng)計時去除離散學生評價等,以提高最終評價結(jié)果的科學性和合理性。其中客觀評價指標默認值設(shè)置是在問卷客觀題設(shè)置時,將每個分項指標設(shè)置為8分,評價方可依據(jù)自身感受選擇進行調(diào)整或默認提交。

2.1 提高評教效率,降低學生評教負擔

通過設(shè)置默認值,學生對于認為無特殊評價意見的教師可以一鍵提交問卷,將主要精力分配于愿意主動對其進行評價的教師或課程。對于設(shè)置了默認值且學生無分數(shù)調(diào)整意愿問卷,學生可在30 s內(nèi)完成問卷提交,大大提高了學生的評教效率,減輕學生評教負擔。

設(shè)置默認值后,可以通過問卷是否均進行缺省值調(diào)整,判斷學生是否在評教過程中進行了主動判斷,將學生分為主動評教學生、應付評教學生與未評教學生。以D大學2020-2021學年1學期評教數(shù)據(jù)為例,全校共有13 114名學生參與評教,共回收165 269條針對教師/課程的評教數(shù)據(jù)。其中共有11 508名學生對個人名下的問卷進行了分數(shù)調(diào)整,占總?cè)藬?shù)的87.75%,可見絕大部分學生在給出評價時經(jīng)過思考,并非全然默認。

如圖4所示,對D大學實行默認值評價以來的四個學期,學生非默認提交的比例進行觀測統(tǒng)計,各學期非默認提交學生比例均在85%以上,僅10～15%的學生評價結(jié)果均按默認值進行提交,學生主動評教積極性狀況良好。

圖4 非默認提交學生比例

2.2 統(tǒng)一打分基準,凸顯評價區(qū)分度

學生評教問卷的客觀評價部分,本質(zhì)為學生對于相應指標的滿意度、收獲感表達。通過默認值設(shè)置給到學生心理合格線相應的分值,可以在一定程度上統(tǒng)一學生對滿意的表達標準差異。同時將分數(shù)細化,有利于學生更加準確表達自身感受?？梢詮膬r值邏輯和技術(shù)邏輯兩方面突破現(xiàn)有限制,從而更充分地助推學生評教自下而上的作用發(fā)揮,發(fā)揮學生評教本身龐大的數(shù)據(jù)優(yōu)勢[14]。

如表2、表3和圖5所示,對D大學在2019-2020學年3學期至2021-2022學年1學期采用設(shè)置默認值問卷的學生評教結(jié)果進行統(tǒng)計。全校5%分位值與95%分位值較未采用設(shè)置默認值的評價方式均降低了4分左右,有效改善了評價分數(shù)虛高情況;95%分位值與5%分位值分差均值為13.79,四學期均值與未設(shè)置默認值相比擴大了2.75分,四學期方差均值21.74與未設(shè)置默認值相比提高了7.42,分數(shù)密集現(xiàn)象也得到了一定的改善。

圖5 學期評價結(jié)果變化趨勢

表2 未設(shè)置默認值學期評價結(jié)果

表3 設(shè)置默認值學期評價結(jié)果

2.3 新增標準分界線,補充評教信息量

設(shè)置默認值后,學生打開問卷可依據(jù)自身的感受,對各項指標分數(shù)進行調(diào)整。以默認值為一般水平標準,若感受為正向,則將分數(shù)調(diào)高,反之則調(diào)低。最終統(tǒng)計結(jié)果中,若教師/課程評價高于默認值,說明學生整體對教師正向評價,對于最終教學效果表示認可;若教師/課程評價低于默認值,則學生整體對教師負向評價,對于最終教學結(jié)果表示一定程度不認可。這個正負向評價信息是原有的評教數(shù)據(jù)所不具備的內(nèi)容,對于教學質(zhì)量評價有非常重要的參考作用。

如圖6所示,以D大學2020-2021學年1學期學生評價結(jié)果為例,共有4 303個教學班學生評教均分為80分(含)以上,占教學班總數(shù)的96.24%,其結(jié)果表明學生對教師/課程表示正向認可。

圖6 班級均分所屬分數(shù)段統(tǒng)計

如圖7、圖8所示,對D大學實行默認值評價以來四個學期學生評價分數(shù)段與未實行默認值評價前四個學期學生評價分數(shù)段分別進行統(tǒng)計。設(shè)置默認值前,課程評價均分集中于90分及以上,課程數(shù)量累計占比61.84%,設(shè)置默認值后,課程評價均分集中于80～90分,課程數(shù)量累計占比68.06%。評價集中分數(shù)段由90～100分變?yōu)?0～89分,分數(shù)段分布得到優(yōu)化。

圖7 班級均分分數(shù)段變化統(tǒng)計

圖8 班級均分分數(shù)段分布統(tǒng)計

2.4 增加評教認真度和差異度的判斷信息

未設(shè)置默認值時,僅能通過學生是否參與評教獲知學生評教主動性信息,將學生分為評教學生與未評教學生,且由于評教動機可能受管理手段或激勵手段影響,評教信息真實性有待核實。設(shè)置默認值后,若一名學生某學期所有問卷中有1份問卷進行了分數(shù)調(diào)整,即認為該學生的所有問卷為主動評價問卷。主動評價問卷信息的客觀性和真實性有更加明確的體現(xiàn)。

如圖9所示,通過對D大學2019-2020學年3學期至2021-2022學年1學期共計四個學期期末學生評教回收的評教記錄的評價一致性進行分析,80%以上人次對于分項評價指標的均分與總體評價分差<0.5分,95%以上人次對于分項評價指標的均分與總體評價分差<1分。絕大多數(shù)學生未因評教便利隨意打分,能夠依據(jù)課程實際情況給予客觀公正的評價。

(a)2019-2020學年3學期期末

3 默認值設(shè)置存在問題及優(yōu)化空間

由于系統(tǒng)中已設(shè)置默認值,學生可以選擇打開問卷提交,對不得不參與評教的學生,可以通過全部提交默認值問卷完成評教,不會對教師授課進行認真評價,此類行為習慣可能會在提高評教率的同時,提高了無效數(shù)據(jù)的比例。在未來統(tǒng)計中,可通過關(guān)聯(lián)性分析,將提供“無效評價信息”的學生甄別出,考慮調(diào)整主動評教學生與被動評教學生的分數(shù)權(quán)重,提高主動評教學生的話語權(quán),提高教師獲得評價結(jié)果的客觀性與真實性。

對于提供“無效評價信息”的學生,從評價主體角度,可以通過強化界面提醒、優(yōu)化評價反饋等正向引導,強化其主動評價意愿。從客觀操作層面,可以通過分類評價,縮減其待評價課程/教師數(shù)量,提高評價對象精準度的同時,進一步減輕學生心理負擔,增強其主動評價意愿。

4 結(jié)語

綜上,基于D大學設(shè)置默認值的評教結(jié)果比較分析發(fā)現(xiàn),默認值設(shè)置在降低學生評教負擔、提高評教效率的同時,保障了學生評教的總體數(shù)據(jù)可信度,獲取了學生評教認真度信息。默認值的設(shè)置引導了學生對于評價基準的認知,減少了個體分數(shù)差異,同時有效緩解了學生評教中的分數(shù)膨脹現(xiàn)象,提高了評價結(jié)果的區(qū)分度,使評價結(jié)果更趨近于正態(tài)分布。而且增加了學生正負向評價信息、主被動評價判斷依據(jù),為進一步開展數(shù)據(jù)分析,完善綜合評價算法,優(yōu)化課程評價結(jié)果提供更豐富的信息。