[摘 要] 基于云南省S區(qū)構建的學科測試和相關因素指標的增值評價模型,對區(qū)域54所初中學校開展增值評價研究。研究發(fā)現(xiàn):在關注學生學科成績增值時,更要關注學生相關因素指標的增值;增值評價應與起點評價相結合,避免學校出現(xiàn)輕起點重結果現(xiàn)象;關注增值評價結果的同時,也要關注增值趨勢;學習負擔的評價應始終貫穿于學業(yè)增值評價中,減輕教育內卷現(xiàn)象。提出推進區(qū)域增值評價的策略:組建專家團隊,不斷完善和優(yōu)化增值評價的方法;開展增值評價相關培訓,讓一線教師易于接受和理解增值評價的結果;建立增值評價結果的改進機制,助力學校持續(xù)成長。
[關鍵詞] 初中學校;增值評價;學科測試;相關因素
[中圖分類號] G424.74 [文獻標識碼] A
[文章編號] 1673—1654(2024)06—051—010
一、問題的提出
2020年中共中央、國務院印發(fā)《深化新時代教育評價改革總體方案》,提出要改進結果評價,強化過程評價,探索增值評價,健全綜合評價,進而扭轉“五唯”不科學不合理的局面,尤其提到要探索增值評價[1]。2021年教育部等六部門制定了《義務教育質量評價指南》,指出要注重結果評價與增值評價相結合。國家頒布的這些文件,明確了教育評價改革的方向和任務,對增值評價的探索是落實國家政策文件要求的有效工具。在新時代教育評價體系中,增值評價是一種較為新型的評價手段,不論國家層面或是省域、區(qū)域層面,都在探索適合自身的增值評價模式。
增值評價于20世紀80年代開始在我國教育評價領域興起,通過中國知網(wǎng)檢索“增值評價”的發(fā)表年度趨勢圖發(fā)現(xiàn),自2020年起增值評價的研究量呈逐年增加趨勢。增值評價關注學生的成長程度、教師的付出程度、學校的努力程度等,它對實現(xiàn)學生個性特長最大化發(fā)展、促進薄弱學校改造、推動教育公平與優(yōu)質均衡發(fā)展等有著重要的意義。
梳理現(xiàn)有研究發(fā)現(xiàn),目前對增值評價的研究主要涉及模型構建層面的理論研究和實證研究兩方面,而大部分增值評價的實證研究更多是基于學科成績開展的[2-4],這種只關注學科成績增值的評價會忽視學生其他方面的成長,不利于學生綜合素質的發(fā)展。本研究從區(qū)域實際教育發(fā)展情況出發(fā),從學科成績和相關因素指標兩個層面分別構建增值評價模型并進行區(qū)域實踐。
二、區(qū)域增值評價模型簡介
如圖1所示,從學科測試的增值、相關因素指標的增值兩個層面構建了區(qū)域增值評價模型。
(一)學科測試增值評價模型
學科測試增值評價主要依靠區(qū)域學業(yè)質量監(jiān)測中學生各學科的測評原始成績,本研究采用徐路明提出的簡易百分等級成長模型作為區(qū)域學科測試中增值評價的基礎模型。這種增值模型有效地解決了不同水平學生成長空間不一致的問題[5]。學校簡易百分等級成長模型的計算原理如下:
1.將前測學生的測試成績從高到低進行排序,計算每個學生的百分等級PR=100-(100R-50)/N(式中R為某分數(shù)在按大小排列的數(shù)列中的名次,N是分數(shù)的總次數(shù)或個數(shù))。為了便于操作,將百分等級進行四舍五入取整處理。
2.根據(jù)前測取整后的百分等級(0~100),將同等級的學生視為一個群體,即可化為101個群體。這樣做的目的是將具有相似起始水平的學生進行比較,有助于公平地評估整體中每個學生的進步。
3.利用后測成績計算每個群體中學生的百分等級作為后測百分等級結果,計算方法同步驟1,通過比較所有學生后測百分等級的大小即可判斷出每個學生的進步程度,百分等級越大,表示學生進步程度越大。
4.根據(jù)學生前后測的進步程度,取學校內所有學生成長百分等級的中位數(shù),即可得到學校成長等級。
5.增值程度判斷依據(jù):根據(jù)美國科羅拉多州成長百分等級模型的標準,成長等級在65及以上為正增值,成長等級在35及以下為負增值,成長等級在35~65之間為零增值。
例如:X學校的A、B兩名學生,前測中A生得了90分,百分等級為90;B生得了60分,百分等級為40。對于A生來說,前測中百分等級同為90的有30人。A生在后測中得了98分,位于群體第2名,代入公式PR=100-(100R-50)/N=100-(100*2-50)/30=95,可得A生后測百分等級為95。對于B生來說,前測中百分等級同為40的有60人。B生在后測中得了70分,位于群體第3名,代入公式PR=100-(100R-50)/N=100-(100*3-50)/60≈95.83,四舍五入后可得B生的后測百分等級為96。A生和B生分別用自己的后測百分等級與自己的前測百分等級進行比較,可知B生進步程度比A生更大。依此方法1,可得到這所學校所有學生的后測百分等級。假設計算得到學生百分等級的中位數(shù)為70,即X學校的成長等級是70;Y校按照同樣的方法,得到學校成長等級為50??芍琗校為正增值,Y校為零增值。
(二)相關因素指標增值評價模型
相關因素指標增值評價主要依靠區(qū)域學業(yè)質量監(jiān)測中影響學生學業(yè)成績的各項關鍵因素的測評結果,采用指標得分差值法和統(tǒng)計學中的差異檢驗法來構建增值模型,計算原理如下:
1.將相關因素指標題目選項進行賦分,計算出學生前測與后測中各指標的實際得分,后測得分(S2)減去前測得分(S1)的值即為指標增值。
2.采用t檢驗方法將所有學生前測和后測的相關指標得分進行差異檢驗,以檢驗結果作為增值程度的評價標準,檢驗結果顯著,則說明在此項指標上出現(xiàn)了增值,即S2-S1lt;0為負增值、S2-S1gt;0為正增值;檢驗結果不顯著,則說明沒有出現(xiàn)增值,即零增值。
三、區(qū)域學校增值評價的實證分析
(一)研究設計
1.研究對象
選取云南省S區(qū)54所學校的4023名2023屆初中學生作為研究對象,其中男生2149人,占53.42%,女生1874人,占46.58%。從市級和區(qū)級義務教育質量監(jiān)測系統(tǒng)中調取學生監(jiān)測數(shù)據(jù),以2023屆學生參加市級七年級監(jiān)測的結果為前測數(shù)據(jù),以參加區(qū)級八年級學期末的診斷性測試的結果為后測數(shù)據(jù),通過學生學籍號在兩次數(shù)據(jù)間建立聯(lián)結。因前后兩次測試科目不完全相同,故研究只選取語文、數(shù)學、地理三個學科來建立增值模型;同時,因相關因素問卷測評前后兩次維度不完全一致,故只對相同指標進行增值評價。
2.研究工具
(1)學科測試卷
區(qū)域教研員帶領學科團隊依據(jù)課程標準,通過研制藍圖指導學科測試工具的研制,藍圖中包含內容領域、知識領域、關鍵能力領域和核心素養(yǎng)領域等多個維度,按照易、中、難分別為7:2:1的難度來設計試題,各學科滿分為100分。
語文、數(shù)學及地理3個學科在前測與后測兩次測試中的信度均在0.83以上,效度均在0.3以上,達到測量理論的要求。
(2)相關因素問卷
相關因素問卷的測試分為學生問卷、教師問卷和校長問卷,由區(qū)域監(jiān)測中心教研員帶領團隊共同研制。增值評價數(shù)據(jù)均來源于學生問卷,涉及學生背景信息、家庭氛圍、學習品質、心理狀態(tài)、學業(yè)負擔、勞動品質、人際關系等維度。每次測試會從中選取某幾項指標來監(jiān)測,為了進行增值評價,每次測試會保留部分指標進行跟蹤監(jiān)測。
跟蹤性指標有學習興趣、學習積極性、學習習慣、一般學習效能、生生關系和師生關系六個指標,屬于學習品質、學習效能、人際關系三個維度下的二級指標(見表1),所有指標均采用李克特四點計分,“非常同意”賦4分,“同意”賦3分,“有點同意”賦2分,“不同意”賦1分——得分越高,表明指標表現(xiàn)越好。
由表2可知,學習品質、學校效能及人際關系3個一級維度和6個二級指標的內部一致性系數(shù)均高于0.69,表明量表具有較好的信度。KMO 和巴特利特球形檢驗結果顯示,KMO值為 0.967,大于 0.7,且巴特利特球形檢驗值為 0.000,小于 0.01,表明相關因素問卷效度較好。
3.統(tǒng)計方法
根據(jù)簡易百分等級的原理,使用R語言開發(fā)計算代碼,并結合SPSS和Excel來實現(xiàn)基本的檢驗及數(shù)據(jù)統(tǒng)計分析。
(二)研究結果
1.學科成績增值表現(xiàn)情況
(1)學校增值總體情況
54所初中學校中,語文學科實現(xiàn)正增值的有8所,負增值的有6所,零增值的有40所;數(shù)學學科實現(xiàn)正增值的有1所,負增值的有2所,零增值的有51所;地理學科實現(xiàn)正增值的有1所,負增值的有5所,零增值的有48所;從3科總分來看,實現(xiàn)正增值的有12所,負增值的有8所,零增值的有34所。表明本次學校增值評價中,大部分學校的成長都處于零增值,具體原因需進一步深入挖掘。
(2)不同類別學校增值情況
根據(jù)學校所處地理位置的不同,將S區(qū)54所初中學校劃分為城區(qū)學校、城鎮(zhèn)學校和農村學校三類。表3的數(shù)據(jù)顯示,語文學科中,城區(qū)學校的增值最大(54),農村學校的增值最?。?9);數(shù)學學科中,城區(qū)學校的增值最大(53);地理學科中,農村學校的增值最大(53)。根據(jù)學校辦學主體的不同,將S區(qū)54所初中學校劃分為公辦和民辦兩類。表4數(shù)據(jù)顯示,公民辦學校在3個學科中增值差異不大,極差在1~5之間,公辦學校的增值,除數(shù)學學科外,均高于民辦學校。上述增值結果說明,不同類別學校在不同學科中的增值較為均衡,這一增值結果可以讓薄弱學校的努力被看見,也可以促使優(yōu)質學校產(chǎn)生危機感。
(3)前測不同水平學生的增值情況
對前測學生的學業(yè)表現(xiàn)做4等級劃分,劃分依據(jù)如下:優(yōu)秀水平是指學生成績在85分及以上,良好水平是指學生成績在75分及以上且85分以下,中等水平是指學生成績在60分及以上且75分以下,待提高水平是指學生成績在60分以下。表5數(shù)據(jù)顯示,各等級水平下,學生在3個學科的增值程度不存在明顯差異,即4個等級水平的學生都以相同的成長速率取得學習的進步。這也提示教師,在日常教學過程中,不能只關注優(yōu)秀的學生,要兼顧所有學生的進步與發(fā)展。
2.相關因素指標增值表現(xiàn)情況
表6結果顯示,S區(qū)學生在相關因素指標的增值表現(xiàn)除了生生關系外,其余指標均為負增值,負增值的指標從增值程度大小排序依次是學習效能(-0.4)、師生關系(-0.31)、學習積極性(-0.28)、學習習慣(-0.25)、學習興趣(-0.17)。這在一定程度上可以推斷,生生關系指標在前測時學生處于七年級,即初中入口階段,學生之間尚處于相互認識、了解階段,還沒有充分建立良好的生生關系,而后測是經(jīng)過一年之后的再測數(shù)據(jù),學生間建立了自己的伙伴圈子,使生生關系呈現(xiàn)正增值;而其他指標出現(xiàn)負增值的原因,需要學校、科任教師、學生共同去挖掘。
3.起點成績與增值表現(xiàn)的相關分析
如果僅僅對學校進行增值評價,會造成學校不重視前測結果,過分追求后測結果來提升增值程度。因此,有必要對前測學生的學業(yè)表現(xiàn)與增值表現(xiàn)作進一步分析。將學校前測表現(xiàn)與增值表現(xiàn)的關系劃分為6種情況,用6宮格的形式呈現(xiàn):(1)起點低、進步慢;(2)起點高、進步慢;(3)起點低、進步快;(4)起點高、進步快;(5)起點低、進步一般;(6)起點高、進步一般。圖2至圖4(圖中橫坐標是學校起點成績,縱坐標是增值情況)的結果顯示,大部分學校都處于起點高、進步一般的區(qū)域內,說明這部分學校的努力程度還不夠;另有少數(shù)學校處于起點高、進步慢的區(qū)域,出現(xiàn)這種情況,背后反映的可能是學校本身的起點較高,生源較好,學生在短期內表現(xiàn)為學業(yè)成績較好,但學校、教師在后續(xù)過程中的投入明顯不足,以致出現(xiàn)增值程度小的情況。
4.增值表現(xiàn)顯著學校的挖掘與分析
若想要找到學校提升增值程度的優(yōu)勢與劣勢,就需要將增值評價結果做進一步的深入挖掘與分析,本研究主要分四類情況:
第一類:將總分為負增值的學校進行學科間對比分析
總分的增值能反映一段時期內學校成績的總體變化情況,但不能反映各學科在這個過程中的貢獻度,因此,總分的增值評價結果需與學科增值結果相結合。表7的數(shù)據(jù)顯示,54所學校中有8所處于負增值,負增值的原因需通過分析各學科的增值來做內部分析。例如,3??偡痔幱谪撛鲋担饕鞘艿乩韺W科的影響,在今后的學校教學管理中,3校要更加關注地理學科的教學,并從學科內部找出負增值的原因。
第二類:關注學科成績?yōu)檎鲋?、相關因素指標為負增值的學校
對于學校學科成績增值程度的變化,除了探究學科內部的原因,還需要通過相關因素指標來進行外部因素的分析。表8的結果顯示,以語文學科為例,在正增值的8所學校中,9校、20校、22校和52校四所學校在學生學習興趣、學習效能、學習積極性、學習習慣、師生關系和生生關系指標上均為負增值,這在一定程度說明,這些學校過于追求學科成績的增值,而忽視了學生其他方面的發(fā)展,造成相關因素指標增值不大。這從教育的長遠性來說,是不利于學生的全面發(fā)展的。
第三類:關注學科成績?yōu)樨撛鲋?、相關因素指標為正增值的學校
表9的結果顯示,以語文學科為例,S區(qū)負增值的6所學校中,學校代碼為14的學校學生在學習興趣、學習效能、學習積極性、學習習慣、師生關系和生生關系6個指標均為正增值;36校的學生在學習效能、學習積極性、學習習慣、師生關系和生生關系5個指標均為正增值,這一結果值得教師深思,影響學科成績增值的外部因素保障了,學科內部因素如何改進。有大量的研究顯示[6-8],相關因素指標對學生成績的影響作用具有統(tǒng)計學意義的顯著性,如果其發(fā)生較大的增值,卻對學業(yè)成績的增值影響不大,可能是這所學校還存在其他沒有關注到的因素影響了學生的增值,這需要進一步進行指標全覆蓋的調研。
第四類:關注學科成績和相關因素指標都獲得正增值的學校
本研究涉及的54所增值評價的學校中,沒有學科成績和相關因素指標都獲得正增值的學校,但這類學校是教育追求的目標,真正能夠體現(xiàn)學生的全面發(fā)展。要積極總結和分析經(jīng)驗,在區(qū)域內進行推廣。
四、研究啟示
(一)關注學生學科成績增值的同時,更要關注學生相關因素指標的增值
在進行區(qū)域增值評價實踐的過程中,既要關注學科成績?yōu)檎鲋?、相關因素指標為負增值的學校,也要關注學科成績?yōu)樨撛鲋?、相關因素指標為正增值的學校。由此提示我們,在開展區(qū)域增值評價時,評價的指標需要同時兼顧學科成績和相關影響因素,避免造成二者發(fā)展的不平衡。
(二)增值評價應與起點評價相結合,避免學校出現(xiàn)輕起點、重結果現(xiàn)象
學校前測表現(xiàn)與增值表現(xiàn)的關系會出現(xiàn)6種情況,而每一種情況背后都反映了教育教學過程中的一些問題。如果將增值評價孤立出來,作為區(qū)域教育評價的唯一手段,會使得學校不重視前測,僅過度關注后測的結果,從而使這段時期內的增值抬高,造成學校的增值結果不真實,干擾后續(xù)的決策和管理。
(三)關注增值評價結果的同時,也要放眼去看增值趨勢
增值評價的作用在于激勵學校去改變,改變的程度需要通過持續(xù)性的增值評價來發(fā)現(xiàn),通過描繪學校的增值趨勢來觀察學校的成長速率。這可以為區(qū)域教育管理或學校教學改進提供一定的依據(jù)和參考。同時,能夠讓學校不因一次正增值而停止進步,也不因一次負增值而從此懈怠。
(四)學習負擔的評價應始終貫穿于學業(yè)增值評價中,減輕教育內卷現(xiàn)象
增值評價在發(fā)揮其優(yōu)勢和價值的過程中,關注的是評價對象在一段時間內的成長程度,這勢必會造成學校為了得到較高的增值分,而給學生增加額外的學業(yè)負擔,這將破壞增值評價的效果,違背教育評價改革的要求,因此,在進行增值評價時,務必要將學生的學業(yè)負擔納入評價指標一同評價,減輕教育內卷現(xiàn)象。
五、增值評價推進策略
目前,在我國教育領域,增值評價的研究還處于探索階段,并且每個區(qū)域的教育發(fā)展情況也不盡相同,尚未形成比較成熟的增值評價模式,這需要各區(qū)域在研究和實踐中從教育發(fā)展觀、質量觀、人才觀出發(fā),改變思想,更新理念,積極探索適合本區(qū)域的增值評價方式和方法,并不斷優(yōu)化,持續(xù)推進,為完整構建增值評價體系奠定基礎?;诖?,本研究提出以下持續(xù)推進增值評價的策略:
(一)組建專家團隊,不斷完善和優(yōu)化增值評價的方法
從教育評價改革的大背景來看,增值評價是一種需要長期推進的評價方法,但囿于增值評價技術、人力等方面的限制,目前增值評價的方式難以根據(jù)區(qū)域教育發(fā)展變化而優(yōu)化。因此,有必要組建一支專業(yè)團隊加強增值評價方法、技術、應用、推廣等方面的研究。在組建團隊時,首先,要考慮人員專業(yè)背景,使其發(fā)揮各自優(yōu)勢保障增值評價技術和方法的更新,團隊應包括教育學、心理學、統(tǒng)計學、信息技術、測量評價等方面的專業(yè)人員;其次,要考慮團隊人員層次以保障增值評價結果的應用和推廣,應涵蓋區(qū)域教育管理者、質量監(jiān)測評價員、學校校長、教務主任、各學科教師,以便形成合力,助力增值評價的持續(xù)探索和推進。
(二)開展增值評價相關培訓,讓一線教師易于接受和理解增值評價的結果
如何基于增值評價結果進行教育教學的改進,關鍵的落腳點在學校、在一線教師,因此,有必要讓一線教師接受和理解增值評價。首先可以通過學時驅動的方式,組織區(qū)域內所有教師以線上+線下相融合的方式學習增值評價發(fā)展歷程、概念、價值及意義等,打破傳統(tǒng)以原始分、排名、升學率等定輸贏的理念;同時開展增值統(tǒng)計模型及方法、對增值結果的合理解釋和意義挖掘能力的培訓,學習期滿時對參訓教師進行考核,考核合格者給予一定學分。其次,以任務驅動的方式促使學校理解增值評價,要求所有學校在校級層面探索實踐增值評價,并在規(guī)定期限向上級教育管理部門提交增值評價報告以及實踐過程中面臨的困難,以便為后續(xù)培訓難度、內容等方面的設計提供參考。
(三)建立增值評價結果的改進機制,助力學校持續(xù)成長
增值評價的目的一是為了激勵學校成長,二是要幫助學校在成長過程中發(fā)現(xiàn)教育教學問題,進而改進。因此,區(qū)域教科研部門首先要定期向學校發(fā)布并解讀增值評價報告,找到影響學校增值的因素,制定整改方案,明確改進期限,整改完成后由教研部門對其改進效果進行監(jiān)測和評價。其次,區(qū)域進行相關因素指標增值評價時,充分考慮每所學校的特點,無需所有學校都以相同的指標來監(jiān)測評價。例如,A校學生學業(yè)負擔重,那么可以持續(xù)監(jiān)測這項指標做增值評價;B校學習習慣待提高,那么就可以持續(xù)監(jiān)測學習習慣這項指標做增值評價——即以建立差異化評價機制助力學校特色發(fā)展。
參考文獻:
[1] 深化新時代教育評價改革總體方案[EB/OL].(2020-10-13).https://www.gov.cn/zhengce/2020-10/13/content_5551032.htm.
[2] 陳科武.基于初中學生成長百分等級模型的增值評價實踐探索[J].考試研究,2023,19(03):42-50.
[3] 劉亞梅.基于區(qū)域數(shù)據(jù)初中數(shù)學增值評價的實證研究[J].上海教育科研,2022,(08):34-39.DOI:10.16194/j.cnki.31-1059/g4.2022.08.015.
[4] 王曉華.基于PISA數(shù)據(jù)的學校增值評價研究[J].教育發(fā)展研究,2021,41(10):8-17.DOI:10.14121/j.cnki.1008-3855.2021.10.004.
[5] 徐路明.基于簡易式百分等級成長模型的學業(yè)增值評價[J].中國考試,2021,(03):9-14.DOI:10.19360/j.cnki.11-3303/g4.2021.03.002.
[6] 孟雯娉,李杏,楊丹.影響中小學生學業(yè)成績的外界環(huán)境因素分析[J].教育實踐與研究(C),2023,(Z1):60-62.DOI:10.14160/j.cnki.13-1259/g4-c.2023.z1.038.
[7] 于飛飛,馮杰.影響初中生學業(yè)成績的個體與學校因素探究——基于S市義務教育學業(yè)質量監(jiān)測數(shù)據(jù)的HLM分析[J].現(xiàn)代中小學教育,2022,38(12):46-51.DOI:10.16165/j.cnki.22-1096/g4.2022.12.011.
[8] 王潔.城鄉(xiāng)學校學業(yè)成績影響因素多水平模型分析[J].考試研究,2022,(05):44-57.
Empirical Study on Value-added Evaluation of Regional Junior High Schools
Liu Mengqi1" Xiao Xuanting2
1 Kunming Academy of Education Science,Kunming,Yunnan,650032
2 Kunming Guandu District Teachers' Training School,Kunming,Yunnan,650228
Abstract:Based on the value-added evaluation model constructed with subject tests and related factor indicators in S District of Yunnan Province,this study conducts a practical research on the value-added evaluation of 54 junior high schools in the region. The findings reveal the following:when focusing on the value-added of students' subject scores,it is even more important to pay attention to the value-added of related factor indicators;value-added evaluation should be combined with starting-point evaluation to prevent schools from neglecting the starting point and focusing only on the outcome;while paying attention to the results of value-added evaluation,it is also necessary to look at the trend of value-added;the evaluation of learning burden should always be integrated into the academic value-added evaluation to alleviate the phenomenon of educational involution. Strategies are proposed to promote regional value-added evaluation as following:establishing a team of experts to continuously improve and optimize the methods of value-added evaluation;conducting training related to value-added evaluation to make it easier for front-line teachers to accept and understand the results of value-added evaluation;establishing a mechanism for improving the results of value-added evaluation to assist schools in their continuous growth.
Key words:Junior High School,Value-added Evaluation,Subject Test,Related Factors
(責任編輯:吳茳、陳暢)
作者簡介 劉夢琦,一級教師,教研員,昆明市教育科學研究院。云南昆明,650032。肖選婷,一級教師,昆明市官渡區(qū)教師進修學校。云南昆明,650228。
項目基金 本文是2022年云南省教育科學規(guī)劃基礎教育專項項目“區(qū)域義務教育質量監(jiān)測增值評價模型的構建與實踐研究”(BFJC22030)階段性成果。
1 注釋:在統(tǒng)計學中,百分等級是一個連續(xù)的統(tǒng)計量,它考慮了分數(shù)分布的整個范圍,從而建立起測試分數(shù)與百分等級之間的一一對應關系。因此,在不同規(guī)模的群體中計算個體百分等級時,并不依賴于群體的具體規(guī)?;蚍謹?shù)分布的具體形狀,因為百分等級本身就是一個相對位置的度量,它直接反映了學生在其所在群體中的相對表現(xiàn)水平。