中圖分類號:G642 文獻(xiàn)標(biāo)志碼:A 文章編號:1005-2909(2025)04-0143-16
土木工程專業(yè)旨在培養(yǎng)具備建筑、交通、水利、環(huán)保等行業(yè)所需的設(shè)計、施工、管理及科研能力的高級專門人才,它在大學(xué)專業(yè)體系中占據(jù)著至關(guān)重要的位置。一方面,學(xué)生培養(yǎng)需注重理論知識和實踐技能的綜合應(yīng)用,為有效提升土木工程專業(yè)的教學(xué)水平,亟需建立科學(xué)合理的教學(xué)效果評價體系,以發(fā)現(xiàn)教學(xué)過程中存在的不足[]。另一方面,課程建設(shè)作為高等學(xué)校人才培養(yǎng)中的基礎(chǔ)性系統(tǒng)工程,需基于整體思維和系統(tǒng)學(xué)視角對教學(xué)目標(biāo)、教學(xué)內(nèi)容和教學(xué)效果評價進(jìn)行合理規(guī)劃[2-4]。因此,教學(xué)效果評價在土木工程專業(yè)的課程教學(xué)與建設(shè)中有著舉足輕重的作用。
有關(guān)教學(xué)效果評價方面的研究較多,比如,楊冰清和劉美鳳5基于文獻(xiàn)資料海量分析,發(fā)現(xiàn)分層教學(xué)評價需圍繞學(xué)生的學(xué)業(yè)成績、心理發(fā)展,以及同伴和教師的社交展開;陳明等基于深層次學(xué)習(xí)理論構(gòu)建了由課前(教學(xué)設(shè)計)、課中(在線學(xué)習(xí)、課堂教學(xué))和課后(成績與教學(xué)成果、教學(xué)研究)構(gòu)成的翻轉(zhuǎn)課堂發(fā)展性評價體系;丁雪梅等[7通過調(diào)查學(xué)生人學(xué)以來的學(xué)習(xí)成績,采用客觀與主觀評價相結(jié)合的方式,將傳統(tǒng)教學(xué)與翻轉(zhuǎn)課堂的教學(xué)效果評價結(jié)果進(jìn)行對比,研究翻轉(zhuǎn)課堂教學(xué)對不同綜合素質(zhì)學(xué)生的教學(xué)效果;BERGFJORD和HEGGERNES8基于翻轉(zhuǎn)課堂實踐構(gòu)建了以學(xué)生體驗、學(xué)習(xí)成果和考試成績?yōu)樵u價標(biāo)準(zhǔn)的框架;董慶華和王成偉[9基于馬爾科夫鏈穩(wěn)定性理論,建立學(xué)習(xí)“進(jìn)步程度\"對學(xué)生群體進(jìn)行形成性評價的數(shù)學(xué)模型,以“考試成績”為指標(biāo)來衡量學(xué)生的進(jìn)步,對不同教學(xué)模式下兩個學(xué)生群體在數(shù)學(xué)課程中的未來學(xué)術(shù)表現(xiàn)進(jìn)行預(yù)測。
綜上所述,教學(xué)效果評價主要是對學(xué)生學(xué)習(xí)效果和教師教學(xué)工作過程的評價,是土木工程專業(yè)課程建設(shè)的重要環(huán)節(jié),而測試成績代表學(xué)生學(xué)習(xí)真相,是教學(xué)效果評價的重要指標(biāo)[10-11]。被試者的考試成績與能力水平、題目難度密切相關(guān),而考試成績?nèi)Q定于考生自身能力水平和題目難度[2]。測試成績的終極目標(biāo)是合理反映被試者的能力水平,比如:相同測試成績,題目難度越大,表明被試者能力水平越高;同等題目難度時,被試者分?jǐn)?shù)越高,表明能力水平越高。
試題難度一般用難度系數(shù)來表示,值越大表示試題越難[13]。楊曉冬和于玲[14]提出將每個學(xué)生每道試題的成績標(biāo)準(zhǔn)化計算題目的難度系數(shù)。王明蘭等[15]則根據(jù)專家給定的難度系數(shù)與考試中實際計算的難度系數(shù),認(rèn)為兩者之間存在線性關(guān)系。艾小偉和王有遠(yuǎn)[16]將題目難度系數(shù)分為理論難度系數(shù)和樣本難度系數(shù),隨著考試次數(shù)的增加,理論難度系數(shù)會收斂于定值常數(shù),而樣本難度系數(shù)由考生的失分情況計算得出。因此,試題難度可根據(jù)考生測試之后的測試成績分布來衡量,也就是根據(jù)試題\"難度系數(shù)\"來衡量。
但是,根據(jù)卷面成績來衡量被試者知識掌握程度的差異存在諸多不盡合理之處[17]。比如:被測試者正確完成分?jǐn)?shù)相同但難度不同的題目,題目難度越大,表明被測試者的能力水平越高,在被測試者能力水平相同的情況下,題目難度越大教學(xué)效果越好,土木工程專業(yè)課更是如此。因此,考試成績作為土木工程專業(yè)課教學(xué)效果評價的重要指標(biāo),應(yīng)充分體現(xiàn)這一特點。為此,提出基于試題難度的測試成績計算方法,旨在解決傳統(tǒng)卷面成績計分方法的不合理之處,并將該方法應(yīng)用于土木工程專業(yè)核心課程建筑結(jié)構(gòu)設(shè)計,所得結(jié)論可供有關(guān)人員參考。
一、試題及試卷難度系數(shù)
土木工程專業(yè)課程測試大都以試卷形式出現(xiàn),一套試卷由多個單獨的試題組成,試卷的難度由所有組成該試卷的試題難度分布決定。因此,要確定試卷的難度,其關(guān)鍵在于確定單個獨立試題的難度系數(shù)[18]。為便于敘述,該文所稱的試題是指試卷中的單個題目,而試卷由一個個試題組成,即試題是個體,試卷是總體。
(一)試題難度系數(shù)
從理論上講,特定試題的難易程度是確定的,與測試對象無關(guān)。但是,由于試題難度的標(biāo)準(zhǔn)難以建立,使得試題難度系數(shù)的確定變得非常復(fù)雜。對學(xué)生每道試題的成績進(jìn)行標(biāo)準(zhǔn)化處理,并采用基于失分率確定的難度系數(shù),實際上反映的是樣本難度系數(shù)。這種方法并未考慮考生個人能力水平的差異,也就是說,難度系數(shù)實際上受到了考生能力水平的影響。比如,對某一特定的測試題,被測試對象都能答對,不代表該試題沒有難度,也許被試者能力水平都非常高;反之,被試者都答錯,不代表該試題難度很大,也許被測試者能力水平都非常低。
為解決上述問題,我們提出將試題難度分為客觀難度和樣本難度兩部分。試題客觀難度,可理解為給定能力水平被測試者作答試題時,被測試對象的平均失分率;試題樣本難度,根據(jù)被測試對象作答該試題的平均失分率確定。試題客觀難度系數(shù)的確定方法:方法一,聘請有經(jīng)驗的試題專家進(jìn)行評分確定;方法二,將該試題提請具有給定標(biāo)準(zhǔn)能力水平的測試對象進(jìn)行測試,采用平均失分率確定。顯然,方法一主觀性較強(qiáng)。方法二面臨的問題:如何明確設(shè)定標(biāo)準(zhǔn)能力水平、如何確定參與測試的人數(shù)、如何確保試題的保密性等,這些都使得實施起來頗具挑戰(zhàn)。鑒于客觀難度的確定不屬于該文研究的重點,在此不進(jìn)行詳細(xì)論述。
試題樣本難度系數(shù)根據(jù)被試者的實際卷面得分,采用平均失分率的辦法確定,計算公式如下[19]:
式中: Gs,i 為第 i 題的樣本難度系數(shù); Xji 為第 j 名測試對象第 i 題得分; n 為測試對象人數(shù); Mi 為第 i 題滿分值。
試題客觀難度和樣本難度系數(shù)確定后,按下式計算試題難度系數(shù):
Gi=G0B,i+(1-G0B,i)Gs,i,
式中: Gi 為第 i 題的難度系數(shù); G0B,i 第 i 題的客觀難度系數(shù)。
試題客觀難度系數(shù)、試題樣本難度系數(shù)和試題難度系數(shù)取值均在 0~1 之間,試題難度系數(shù)在客觀難度系數(shù) G0B,i 和1之間,難度系數(shù)取值越大試題越難。
(二)試卷難度系數(shù)
顯然,試題的難度分布決定整套試卷的難度。關(guān)于試卷難度系數(shù)的計算方法,可采用以下兩種方法進(jìn)行計算。
方法I:按類似于試題難度系數(shù)的計算方法,把試卷難度分為客觀難度和樣本難度兩部分。試卷客觀難度,可理解為給定能力水平被測試者作答該套試卷時,被測試對象的平均失分率;試卷樣本難度,按被測試對象作答該試卷的平均失分率確定。
方法ⅡI:整套試卷的難度系數(shù)由試題的難度系數(shù)和試題的分值共同決定,分值越高、難度越大在整體難度中的占比越大。
方法I由于試卷客觀難度難以確定,實際應(yīng)用較為困難,文中采用方法 II 確定試卷難度系數(shù),計算公式如下:
式中: G 為試卷難度系數(shù); m 為試題題目個數(shù)。
二、基于題目難度的測試成績計算方法
(一)考慮試題難度的卷面分?jǐn)?shù)換算值
如上所述,合理的成績計算方法應(yīng)能反映如下需求:相同測試分?jǐn)?shù),題目難度越大,表明被試者能力水平越高;同等題目難度時,分?jǐn)?shù)越高,表明被試者能力水平越高。
為體現(xiàn)上述特點,我們提出測試分?jǐn)?shù)當(dāng)量值的概念。試題測試分?jǐn)?shù)當(dāng)量值為試題難度系數(shù)與
試題得分的乘積,試題分?jǐn)?shù)當(dāng)量值之和便為卷面分?jǐn)?shù)換算值,可以表示為:
dji=GiXji,
式中: dji 為第j名學(xué)生第i題的測試分?jǐn)?shù)當(dāng)量值; Dj 為第 j 名學(xué)生考慮題目難度的卷面分?jǐn)?shù)換算值。
(二)基于試題難度的成績計算
卷面分?jǐn)?shù)的換算值能夠反映試題難度對考生分?jǐn)?shù)的影響,這無疑是合理的。然而,由于試題難度系數(shù)總是小于1的數(shù)值,因此換算后的分?jǐn)?shù)會低于原始的卷面分?jǐn)?shù)。為了得到考生的最終成績,必須依據(jù)這些換算值進(jìn)行計算。在考慮試題難度時,最終成績的計算原則是確保難度調(diào)整后的分?jǐn)?shù)與卷面分?jǐn)?shù)的最低分和最高分保持一致,而中間的分?jǐn)?shù)則通過線性插值的方法來處理。令:
考慮難度系數(shù)的成績分?jǐn)?shù)按下式計算:
式中: Xj 為第j名學(xué)生的卷面分?jǐn)?shù); Xmax,Xmin 分別為卷面分?jǐn)?shù)最高分和最低分; Dmax,Dmin 分別為卷面分?jǐn)?shù)換算值的最大值和最小值; Sj 為第 j 名學(xué)生考慮題目難度的測試成績。
(三)基本流程
首先,給定試題客觀難度系數(shù),統(tǒng)計被試者每一試題所得分?jǐn)?shù),以此為基礎(chǔ)計算試題樣本難度系數(shù),進(jìn)而計算試題難度系數(shù)和試卷難度系數(shù)。然后,根據(jù)被測試者每一試題所得分?jǐn)?shù)和試題難度系數(shù),計算被試者每一試題測試分?jǐn)?shù)當(dāng)量值及卷面分?jǐn)?shù)換算值。最后,根據(jù)測試者的卷面分?jǐn)?shù)及卷面分?jǐn)?shù)換算值計算最終分?jǐn)?shù)。圖1為基于題目難度的測試成績計算方法(簡稱難度計分法)基本流程。
被測試者每道試題得分 ?Xji 試題滿分值M 計算試卷難度系數(shù)G√
計算試題樣本難度系數(shù) Gs,i 試題客觀難度系數(shù)GoB.i√
計算試題難度系數(shù)Gi
計算卷面分?jǐn)?shù)換算值 Dj 被測試者卷面分?jǐn)?shù)Xj↓被測試者最終分?jǐn)?shù)Sj
步驟I:根據(jù)被測試者每道試題得分 Xji 和試題滿分值 Mi ,按式(1)計算試題樣本難度系數(shù) Gs,i° 步驟II:根據(jù)試題樣本難度系數(shù) Gs,i 和給定的試題客觀難度系數(shù) GoB,i ,按式(2)計算試題難度系 數(shù) Gi° 步驟III:根據(jù)試題難度系數(shù) Gi 和試題滿分值 Mi ,按式(3)計算試卷難度系數(shù) G 步驟IV:根據(jù)被測試者每道試題得分 Xji 和試題難度系數(shù) Gi ,按式(5)計算卷面分?jǐn)?shù)換算值 Dj° 步驟V:根據(jù)卷面分?jǐn)?shù) Xj 和卷面分?jǐn)?shù)換算值 Dj ,按式(6)一式(10)計算考慮難度系數(shù)的最終分?jǐn)?shù)。
三、難度計分法在土木工程專業(yè)課中的應(yīng)用
以筆者所負(fù)責(zé)的土木工程專業(yè)核心課程建筑結(jié)構(gòu)設(shè)計期末考試成績?yōu)槔f明難度計分法在土木工程專業(yè)課中的具體應(yīng)用,并深人分析試題的客觀難度、試卷整體難度,以及多教學(xué)班合并與單獨計算對最終分?jǐn)?shù)產(chǎn)生的不同影響。
(一)課程情況
建筑結(jié)構(gòu)設(shè)計是西南交通大學(xué)土木工程專業(yè)建筑工程方向的專業(yè)核心課,為大學(xué)三年級第(2)學(xué)期課程,最近4年的選課人數(shù)及開班情況如表1所示。各學(xué)期期末考試試卷試題分布及卷面得分情況如下。
2017—2018(2)學(xué)期:選擇題30個,每題1分,共30分;填空題8個,每題2分,共16分;簡答題4個,每題3分,共12分;計算題4個(6分1個,12分3個),共42分。1個教學(xué)班,卷面成績最高分99分,最低分23分。
2018—2019(2)學(xué)期:選擇題30個,每題1分,共30分;填空題8個,每題2分,共16分;簡答題4個,每題3分,共12分;計算題4個(8分3題,9分2題),共42分。1個教學(xué)班,卷面成績最高分97分,最低分37分。
2019—2020(2)學(xué)期:選擇題30個,每題1分,共30分;填空題15個,每題1分,共15分;名詞解釋10個,每題2分,共20分;計算題3個(10分2題,15分1題),共35分。2個教學(xué)班,A班卷面成績最高分100分,最低分11分;B班卷面成績最高分93分,最低分39分。
2020—2021(2)學(xué)期:選擇題30個,每題1分,共30分;填空題15個,每題1分,共15分;名詞解釋5個,每題2分,共10分;計算題4個(10分2題,12分1題,13分1題),共45分。2個教學(xué)班,A班卷面成績最高分93分,最低分31分;B班卷面成績最高分90分,最低分26分。
(二)因素影響分析
1.試題客觀難度系數(shù)
從理論上講,試卷中每道試題的客觀難度是不一樣的,難度系數(shù)取值也不一樣。鑒于客觀難度系數(shù)取值的復(fù)雜性,文中暫未考慮這種影響,而是將所有試題的客觀難度系數(shù)取為相同的數(shù)值。
表2—表7為各教學(xué)班不同試題客觀難度系數(shù)取值時的分?jǐn)?shù)統(tǒng)計參數(shù)值(均值、上四分位數(shù)、中位數(shù)、下四分位數(shù)、偏度、峰度),圖2為各教學(xué)班統(tǒng)計參數(shù)隨客觀難度系數(shù)的變化。試題客觀難度系數(shù)取1時,按難度計分法得到的分?jǐn)?shù)和卷面分?jǐn)?shù)相同。分?jǐn)?shù)統(tǒng)計參數(shù)具體如下。
(1)均值。分?jǐn)?shù)均值隨著試題客觀難度系數(shù)取值減小而減小,對均值影響幅度最小為 3.5% ,最大為 17.7% 。試題客觀難度系數(shù)由1減小為0時,2017—2018(2)學(xué)期A班由75.76減小為70.26,減小幅度為 7.2% ;2018-2019(2)學(xué)期A班由70.35減小為64.33,減小幅度為 8.6% ;2019—2020(2)學(xué)期
A班由74.33減小為61.17,減小幅度為 17.7% ;2019—2020(2)學(xué)期B班由67.58減小為62.36,減小幅 度為 7.7% ;2020—2021(2)學(xué)期A班由62.10減小為59.91,減小幅度為 3.5% ;2020—2021(2)學(xué)期B班 由59.06減小為56.75,減小幅度為 3.9% 。
(2)下四分位數(shù)。下四分位數(shù)隨著試題客觀難系數(shù)的減小而減小,對下四分位數(shù)的影響幅度最 小為 8.5% ,最大為 38.2% 。試題客觀難度系數(shù)由1減小為0時,2017—2018(2)學(xué)期A班由65.5減小為
58.75,減小幅度為 10.3% ;2018—2019(2)學(xué)期A班由63.00減小為53.03,減小幅度為 15.8% ;2019— 2020(2)學(xué)期A班由62.75減小為38.78,減小幅度為 38.2% ;2019-2020(2)學(xué)期B班由59.75減小為 53.54,減小幅度為 10.4% ;2020—2021(2)學(xué)期A班由47減小為43.01,減小幅度為 8.5% ;2020—2021 (2)學(xué)期B班由48減小為43.35,減小幅度為 9.7% 。
(3)中位數(shù)。中位數(shù)隨著試題客觀難度系數(shù)的減小而減小,對中位數(shù)的影響幅度最小為 2.8% , 最大為 18.8% 。試題客觀難度系數(shù)由1減小為0時,2017—2018(2)學(xué)期A班由80減小為73.7,減小 幅度為 7.9% ;2018—2019(2)學(xué)期A班由71.0減小為62.63,減小幅度為 11.8% ;2019—2020(2)學(xué)期A 班由75.50減小為61.27,減小幅度為 18.8% ;2019—2020(2)學(xué)期B班由69.0減小為61.74,減小幅度 為 10.5% ;2020—2021(2)學(xué)期A班由63.5減小為59.87,減小幅度為 3.63% ;2020—2021(2)學(xué)期B班 由57減小為55.38,減小幅度為 2.8% 。
(4)上四分位數(shù)。上四分位數(shù)隨著試題客觀難度系數(shù)的減小而減小,對上四位數(shù)的影響幅度最小為 1% ,最大為 10.5% 。試題客觀難度系數(shù)由1減小為0時,2017—2018(2)學(xué)期A班由90減小為
85.02,減小幅度為 5.5% ;2018—2019(2)學(xué)期A班由78.5減小為72.19,減小幅度為 8.0% ;2019—2020 (2)學(xué)期A班由90減小為86.34,減小幅度為 4.1% ;2019—2020(2)學(xué)期B班由75.25減小為69.98,減 小幅度為 10.5% ;2020—2021(2)學(xué)期A班由76.0減小為76.17,基本保持不變;2020—2021(2)學(xué)期B 班由69.5減小為68.81,減小幅度為 1.0% 。
(5)偏度系數(shù)。無論初始成績偏度系數(shù)是正數(shù)還是負(fù)數(shù),計算偏度系數(shù)都是隨著試題客觀難度 系數(shù)的減小而增大。試題客觀難度系數(shù)由1減小為0時,2017—2018(2)學(xué)期A班由-1.08增加為 -0.72;2018—2019(2)學(xué)期A班由-0.23增加為0.32;2019—2020(2)學(xué)期A班由-0.92增加為-0.13; 2019—2020(2)學(xué)期B班由-0.07增加為0.39;2020—2021(2)學(xué)期A班由0增加為0.16;2020—2021 (2)學(xué)期B班由0.16增加為0.28。
(6)峰度系數(shù)。不同班級分?jǐn)?shù)峰度系數(shù)隨試題客觀難度系數(shù)的變化規(guī)律是特定的,即要么隨試 題客觀難度系數(shù)減小而增加,要么隨試題客觀難度系數(shù)減小而減小。從四個學(xué)期6個教學(xué)班的數(shù)據(jù) 來看,5個班的峰度系數(shù)試題客觀難度系數(shù)減小而減小,僅2019—2020(2)學(xué)期B班是增加的,說明 該班級學(xué)生對基礎(chǔ)知識的掌握程度較為接近,對難點部分掌握程度差異較大。試題客觀難度系數(shù) 由1減小為0時,2017—2018(2)學(xué)期A班由1.15減小為0.11;2018—2019(2)學(xué)期A班由0.06減小為 -0.20;2019—2020(2)學(xué)期A班由1.25減小為-1.15;2019—2020(2)學(xué)期B班由0.02增加為0.30; 2020—2021(2)學(xué)期A班由-1.04減小為-1.18;2020—2021(2)學(xué)期B班由-0.39減小為-0.68。
上述結(jié)果表明,試題客觀難度系數(shù)取值對均值、下四分位數(shù)、中位數(shù)、上四分位數(shù)的影響程度從大到小依次為,下四分位數(shù)、均值、中位數(shù)和上四分位數(shù),即對卷面分?jǐn)?shù)高分段影響小對低分段影響大,原因在于卷面分?jǐn)?shù)較低的學(xué)生能作答正確的試題大都是難度系數(shù)相對較低的。偏度系數(shù)均隨著試題客觀難度系數(shù)的減小而增大,說明難度系數(shù)減小,低分?jǐn)?shù)會更多,反之亦然;峰度系數(shù)隨客觀難度系數(shù)的減小而減小,說明客觀難度系數(shù)越小,分?jǐn)?shù)越分散。
2.卷面分值
為分析考慮難度系數(shù)測試成績計算方法對不同卷面分?jǐn)?shù)的影響,定義分?jǐn)?shù)變化率如下:
式中: λ 為考慮難度系數(shù)計分分?jǐn)?shù)相對于卷面分?jǐn)?shù)的變化率; s 為考慮難度系數(shù)計分分?jǐn)?shù); X 為卷面分?jǐn)?shù)。
同時,為分析分?jǐn)?shù)變化率最大絕對值所出現(xiàn)的位置,定義位置系數(shù)如下:
式中: X0 為成績變化率最大絕對值所對應(yīng)的卷面分?jǐn)?shù)。
表8為各教學(xué)班位置系數(shù)及分?jǐn)?shù)變化率最大值統(tǒng)計結(jié)果,圖3為不同試題客觀難度系數(shù)取值時,成績變化率隨卷面分?jǐn)?shù)變化的變化情況。具體如下:
(1)2017—2018(2)學(xué)期A班:除客觀難度系數(shù)取0.7,卷面成績?yōu)?6分時成績變化率為正值外,其余情況均為負(fù)值;卷面分?jǐn)?shù)為47分(位置系數(shù) μ 為0.32)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為 -18.8% -3.9% 和 -1.9% 。
(2)2018—2019(2)學(xué)期A班:除客觀難度系數(shù)取0.7,卷面成績?yōu)?7、50和69分時成績變化率為正值外,其余情況均為負(fù)值;卷面分?jǐn)?shù)為59分(位置系數(shù) μ 為0.37)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為 -23.5% -7.0% 和 -2.8% 。
(3)2019—2020(2)學(xué)期A班:成績變化率均為負(fù)值;卷面分?jǐn)?shù)為41分(位置系數(shù) 為0.34)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為 -55.4%,-11.7% 和 -5.7% 。(4)2019—2020(2)學(xué)期B班:成績變化率均為負(fù)值;卷面分?jǐn)?shù)為55分(位置系數(shù)
為0.30)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為- 15.8% -4.7% 和- .2.5% 。(5)2020—2021(2)學(xué)期A班:成績變化率有正有負(fù),負(fù)值居多;卷面分?jǐn)?shù)為38分(位置系數(shù) μ 為0.11)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為 19.9% ,4.8% 和 2.5% 0
(6)2020—2021(2)學(xué)期B班:成績變化率有正有負(fù),負(fù)值居多;卷面分?jǐn)?shù)為51分(位置系數(shù) μ 為0.39)時,成績變化率絕對值最大,客觀難度系數(shù)取0、0.5和0.7時,成績變化率最大分別為 19.4% ,6.1% 和 3.2% 。
從4個學(xué)期6個教學(xué)班的分析可知:成績變化率有正有負(fù),負(fù)值居多,即考慮難度系數(shù)后的分?jǐn)?shù)大多比卷面分?jǐn)?shù)要低;客觀難度系數(shù)取值對分?jǐn)?shù)變化率的影響較大,客觀難度系數(shù)為0時的變化率最大,最大為 -55.4% ,最小為 -15.% ,為0.5時的變化率最大為 -11.7% ,最小為 -3.9% ,為0.7時的變化率最大為 -5.7% ,最小為 ±2.5% ;實際應(yīng)用時客觀難度系數(shù)建議取值范圍為 0.5~0.7 ;變化率絕對最大值出現(xiàn)在最低分?jǐn)?shù)和最高分?jǐn)?shù)之間,偏向最低分一側(cè),位置系數(shù)除2020-2021(2)學(xué)期A班為0.11外,其余在 0.30~0.39 之間,說明卷面分?jǐn)?shù)越低受影響越大;卷面分?jǐn)?shù)越接近最高分或最低分,變化率絕對值越小,即受影響越小。
3.多教學(xué)班分合并計算
選擇土木工程專業(yè)課的人數(shù)每年都有變化,從而導(dǎo)致同一門課程在不同學(xué)期或?qū)W年的開課班數(shù)會有所變化。根據(jù)課程教學(xué)班的數(shù)量,土木工程專業(yè)課的教學(xué)存在兩種情況:(1)同一門課程僅有1個教學(xué)班;(2)針對同一課程開設(shè)多個平行教學(xué)班的情況,探討難度計分法應(yīng)采用分班計算還是合并計算的合理性問題。選取2019—2020學(xué)年第二學(xué)期和2020—2021學(xué)年第二學(xué)期兩個學(xué)期(均包含2個平行教學(xué)班)的期末考試成績作為分析樣本,從試題題目難度系數(shù)差異;試卷難度系數(shù)和分?jǐn)?shù)變化率三個維度展開對比研究。
圖4為試題客觀難度系數(shù)分別為0.5和0.7時,試題題目難度系數(shù)變化曲線,圖5為試卷難度系數(shù)隨試題客觀難度系數(shù)的變化曲線。從中可以看出,當(dāng)教學(xué)班級為兩個時,采用單班級分別計算和兩班級合并計算對試題題目難度系數(shù)和試卷難度系數(shù)影響不大。AB班合并計算后的試題題目難度系數(shù)和試卷難度系數(shù)處于A班和B班單獨計算結(jié)果之間,整體影響較小。
圖6為2019—2020(2)學(xué)期、2020—2021(2)學(xué)期分別采用各教學(xué)班單獨計算和多班合并計算分?jǐn)?shù)的對比情況。2019—2020(2)學(xué)期:A班,當(dāng)客觀難度系數(shù)為0.5和0.7時,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 ±3% 以內(nèi);B班,當(dāng)客觀難度系數(shù)為0.5,單獨計算和多班合并計算分?jǐn)?shù)的偏差在-10%~+2% 以內(nèi),當(dāng)客觀難度系數(shù)為0.7,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 -4%~+2% 以內(nèi)。2020—2021(2)學(xué)期,當(dāng)客觀難度系數(shù)為0.5和0.7時,A、B班單獨計算和多班合并計算分?jǐn)?shù)的偏差均在 ±3% 以內(nèi)。
從2019—2020(2)和2020—2021(2)兩個學(xué)期的對比分析可以看出,當(dāng)客觀難度系數(shù)為0.5時,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 -10%~+3% 以內(nèi);當(dāng)客觀難度系數(shù)為0.7時,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 -4%~+3% 以內(nèi)。客觀難度系數(shù)取值越小,單獨計算和多班合并計算分?jǐn)?shù)的偏差越大,反之亦然??紤]客觀難度系數(shù)取值較大時,單獨計算和多班合并的偏差并不大。同一門土木工程專業(yè)課存在多個教學(xué)班時,當(dāng)客觀難度系數(shù)取不大于0.6時,建議多班合并計算,大于0.6時,各教學(xué)班可單獨計算。圖7為客觀難度系數(shù)取0.6時,兩個學(xué)期單獨計算與合并計算的對比,當(dāng)客觀難度系數(shù)取為0.6時,單獨計算與合并計算分?jǐn)?shù)及偏差率的差別較小。
4.試卷難度系數(shù)
試題難度系數(shù)僅僅是反應(yīng)單個題目的難度,而試卷難度系數(shù)反應(yīng)了整個試卷的難易程度。試題難度系數(shù)由試題客觀難度系數(shù)和主觀難度系數(shù)組成,主觀難度系數(shù)系根據(jù)教學(xué)班卷面考試成績統(tǒng)計得出,而客觀難度系數(shù)的確定卻十分復(fù)雜,需要進(jìn)一步研究。表9為不同學(xué)期,根據(jù)各教學(xué)班卷面考試成績計算得到的試卷難度系數(shù)隨試題客觀難度系數(shù),圖8為試卷難度系數(shù)隨試題客觀難度系數(shù)變化。從中可以看出,試卷難度系數(shù)值隨試題客觀難度系數(shù)取值的增大而增大,試題客觀難度系數(shù)取值越小,不同學(xué)期教學(xué)班試卷難度系數(shù)的差別越大。
(三)難度計分法計算結(jié)果
圖9為教學(xué)班采用文中所提出的考慮試題難度的計算分?jǐn)?shù)與卷面分?jǐn)?shù)對比
(1)試題客觀難度難度系數(shù)取0.5時,2017—2018(2)學(xué)期A班,難度計分法計算分?jǐn)?shù)與卷面分 數(shù)的偏差在 -3%~1% 之間;2018—2019(2)學(xué)期A班,偏差在 -7%~1% 之間;2019—2020(2)學(xué)期A 班,偏差在 -12%~1% 之間;2019—2020(2)學(xué)期B班,偏差在 -5%~1% 之間;2020—2021(2)學(xué)期A 班,偏差在 -6%~5% 之間;2020-2021(2)學(xué)期B班,偏差在 -6%~5% 之間。
(2)試題客觀難度難度系數(shù)分別取0.6時,2017-2018(2)學(xué)期A班,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)的偏差在 -3%~1% 之間;2018-2019(2)學(xué)期A班,偏差在 -5%~1% 之間;2019—2020(2)學(xué)期A班,偏差在 -9%~1% 之間;2019—2020(2)學(xué)期B班,偏差在 -3%~1% 之間;2020—2021(2)學(xué)期A班,偏差在 -4%~5% 之間;2020-2021(2)學(xué)期B班,偏差在 -4%~5% 之間。
(3)試題客觀難度難度系數(shù)分別取0.7時,2017—2018(2)學(xué)期A班,難度計分法計算分?jǐn)?shù)與卷 面分?jǐn)?shù)的偏差在 -3%~1% 之間;2018—2019(2)學(xué)期A班,偏差在 -4%~1% 之間;2019-2020(2)
學(xué)期A班,偏差在 -7%~1% 之間;2019-2020(2)學(xué)期B班,偏差在 -3%~1% 之間;2020—2021(2)學(xué)期A班,偏差在 -3%~5% 之間;2020—2021(2)學(xué)期B班,偏差在 -3%~5% 之間。
根據(jù)4個學(xué)期6個教學(xué)班的計算結(jié)果可知:試題客觀難度難度系數(shù)越大,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)之間的偏差越小;試題客觀難度難度系數(shù)分別取0.5時,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)的偏差在 -12%~5% 之間;試題客觀難度難度系數(shù)分別取0.6時,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)的偏差在 -9%~5% 之間;試題客觀難度難度系數(shù)分別取0.6時,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)的偏差在 -9%~5% 之間。
四、總結(jié)
測試成績作為土木工程專業(yè)課教學(xué)效果評價的重要指標(biāo),傳統(tǒng)意義上卷面得分法存在不能完全反映被測試者測試得分和能力水平之間的關(guān)系。就此,文中提出考慮試題題目難度的測試成績計算方法,并以建筑結(jié)構(gòu)設(shè)計為例分析其在土木工程專業(yè)課中的具體應(yīng)用,主要結(jié)論如下。
(1)試題客觀難度系數(shù)取值對教學(xué)班計算分?jǐn)?shù)的影響由小到大依次為上四分位數(shù)、中位數(shù)、均值和下四分位數(shù),對卷面分?jǐn)?shù)高分段影響小,對低分段影響大。
(2)客觀難度系數(shù)取值越小,難度計分法計算分?jǐn)?shù)與卷面分?jǐn)?shù)之間的偏差越大,低分?jǐn)?shù)會更多,分?jǐn)?shù)越分散,單獨計算和多班合并計算分?jǐn)?shù)的偏差越大,客觀難度系數(shù)為0.5時,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 -10%~+3% 以內(nèi),當(dāng)客觀難度系數(shù)為0.7時,單獨計算和多班合并計算分?jǐn)?shù)的偏差在 -4%~+3% 以內(nèi)。
(3)分?jǐn)?shù)變化率絕對最大值在卷面最低分和最高分之間,偏向最低分一側(cè),卷面分?jǐn)?shù)越低受影響越大,卷面分?jǐn)?shù)越接近最高分或最低分,受影響越小,客觀難度系數(shù)取0時的分?jǐn)?shù)變化率最大,在-55.4%~-15.0% 之間,客觀難度系數(shù)取0.5時,在 -11.7%~-3.9% 之間,客觀難度系數(shù)取0.7時,在-5.7%~2.5% 之間。
(4)試卷難度系數(shù)值隨試題客觀難度系數(shù)取值的增大而增大,試題客觀難度系數(shù)取值越小,不同學(xué)期教學(xué)班試卷難度系數(shù)的差別越大。
(5)考慮試題難度的測試成績計分方法,能合理反映分?jǐn)?shù)和被測試者能力水平間的關(guān)系,客觀難度系數(shù)建議取0.5\~0.7,同一門土木工程專業(yè)課存在多個教學(xué)班時,當(dāng)客觀難度系數(shù)取不大于0.6時,建議合班計算;大于0.6時,可采用教學(xué)班單獨計算。
參考文獻(xiàn):
[1]程海根.土木工程專業(yè)教學(xué)效果的模糊綜合評價[J].西南師范大學(xué)學(xué)報(自然科學(xué)版),2017,42(1):163-167.
[2]李楠,李正良.新時代課程建設(shè)與教師教學(xué)評價研究[J].中國大學(xué)教學(xué),2019(10):91-96.
[3]劉志軍,徐彬.我國課堂教學(xué)評價研究40年:回顧與展望[J].課程.教材.教法,2018,38(7):12-20.
[4]周玉容.大學(xué)教學(xué)評價標(biāo)準(zhǔn)的雙重困境與破解之道[J].高等教育研究,2019,40(10):75-81.
[5]楊冰清,劉美鳳.分層教學(xué)的教學(xué)效果評價維度研究——基于2000—2020年中、外文文獻(xiàn)的系統(tǒng)性文獻(xiàn)分析[J].現(xiàn)代教育技術(shù),2021,31(11):28-36.
[6]陳明,陸建峰,牛浩.基于深層次學(xué)習(xí)理論的翻轉(zhuǎn)課堂發(fā)展性評價體系的構(gòu)建[J].現(xiàn)代遠(yuǎn)距離教育,2017(6):20-26.
[7]丁雪梅,張蓼紅,于子陽,等.基于SPSS軟件的教學(xué)效果評價分析[J].黑龍江畜牧獸醫(yī),2016(7):271-272.
[8]BergfjordOJ,HeggeresT.Evaluationofa\"flippedclasroom\"approachinmanagementeducationJ].Jouralofuiversi-ty teachingamp; learning practice,2016(5):1-13.
[9]董慶華,王成偉.馬爾科夫鏈在高等數(shù)學(xué)教學(xué)效果評價中的應(yīng)用[J].數(shù)學(xué)的實踐與認(rèn)識,2018,48(8):314-320.
[10]楊開城,盧韻.一種教學(xué)評價新思路:用教學(xué)過程證明教學(xué)自身[J].現(xiàn)代遠(yuǎn)程教育研究,2021,33(6):49-54.
[11]宋丹,劉洞波,豐霞.基于多源數(shù)據(jù)分析的課程成績預(yù)測與課程預(yù)警研究[J].高等工程教育研究,2020(1):189-194.
[12」張金勇,何妃霞.教育測驗中學(xué)生能力水平與測驗項目難度的Rasch模型分析——個體能力與題目難度之間的對應(yīng)關(guān)系[J].當(dāng)代教育科學(xué),2012(12):11-14.
[13]張葵.基于離散化誤差補(bǔ)償?shù)脑囶}難度題量控制方法[J].計算機(jī)科學(xué),2012,39(S1):515-518.
[14]楊曉冬,于玲.關(guān)于試題難度系數(shù)的方差分析法[J].工業(yè)技術(shù)經(jīng)濟(jì),2002,21(6):87-88.
[15]王明蘭,葉恒青.評估試題難度的檢驗[J].華南師范大學(xué)學(xué)報(自然科學(xué)版),2001,33(2):55-58.
[16]艾小偉,王有遠(yuǎn).基于統(tǒng)計學(xué)習(xí)的試題難度系數(shù)修正算法[J].計算機(jī)工程與應(yīng)用,2008,44(36):227-229.
[17]朱高峰.中國的工程教育——成績、問題和對策[J].高等工程教育研究,2007(4):1-7.
[18]潘璋榮.試題難度的客觀標(biāo)準(zhǔn)探索[J].教學(xué)與管理,2013(19):83-84.
[19]程書肖.教育評價方法技術(shù)[M].北京:北京師范大學(xué)出版社,2004.
Calculation method of test scores based on the difficulty of test questions: taking the course of architectural structure design as an example
LIN Yongjun, ZHANG Zengpeng, ZHANG Jing, LU Liheng (School of Civil Engineering, Southwest Jiaotong University,Chengdu 6loo31,P.R.China)
Abstract: Asan essential indicator of teaching efect evaluation,test scores can reasonably reflectthe ability level of the examinees.However,the paper scores in the traditional sense cannot fully reflectthe relationship between the test scores and the ability level of the examinees.Therefore,this paper proposes a test score calculation method that adjusts the test scores according to the dificulty of the testquestions andanalyzes its specific application by taking the civil engineering course architectural structure design asan example.The results show that thevalue of theobjective difficultycoefficient of the test questions has litle influence on the high-score section of the test paper but has a significant influence on the low-score section; The maximum absolute value of the score change rate is between the lowestscore and the highest score,which is biased toward the lowest scoreside.The closer the score is to the highestor lowest score,the lessit willbe affected.When the objective difficulty coefficient is taken as O, the score change rate is between - 55.4% to- 15.0% ; When it is taken as O.5, the rate is between - 11.7% to- 3.9% ;When it is takenas O.7, the rate isbetween - 5.7% to 2.5% The smallerthe objective difficultycoeffcientis,the greater thedeviationbetween thecalculated score and the paper score.The more dispersed the score is,the greater the difference between the test paper difculty coefficients of different teaching classes is,and the more significant the difference between the scores calculated by the teaching class aloneandbythe combined calculationof multipleclasses is.When the objective difficultycoefficient is O.5,the deviation between thescores calculated bythe teaching class alone and by the combined calculation of multiple classes is within - 10% to + 3% ,and whenit is O.7, the deviation is within - 4% to . The test score calculation method considering the difficulty of the test questions can reasonably reflect therelationship between the scoresand the ability level of the examinees.The objective diffculty coefficient is recommended tobe O.5 to O.7.When there are multiple teaching classes in the same civil engineering professional course,when the objective diffculty coefficient is not greater than O.6,it is recommended that multiple classes be calculated together.Each teaching classcan be calculated separately when it is greater than 0.6.
Key words: teaching effect; civil engineering; professional course; test score; difficulty coefficient
(責(zé)任編輯 梁遠(yuǎn)華)