鄭州大學公共衛(wèi)生學院衛(wèi)生統(tǒng)計學教研室 (450001)
楊永利 程志偉 杜玉慧 李琳琳 盧 潔 施學忠△
?
預防醫(yī)學專業(yè)《衛(wèi)生統(tǒng)計學》試卷質量評價*
鄭州大學公共衛(wèi)生學院衛(wèi)生統(tǒng)計學教研室 (450001)
楊永利程志偉杜玉慧李琳琳盧潔施學忠△
【提要】目的分析鄭州大學自命題試卷和某985院校自命題試卷用于鄭州大學預防醫(yī)學專業(yè)《衛(wèi)生統(tǒng)計學》考試后試卷質量,以便了解教學效果,提高試卷命題質量。方法鄭州大學2011級預防醫(yī)學專業(yè)共有106名學生,隨機選取單號學生采用自命題試卷,雙號學生采用985高校自命題試卷。對試卷的信度、效度、難度和區(qū)分度進行分析。結果使用鄭州大學自命題試卷和985高校自命題試卷的學生卷面原始成績分別為(76.08±11.58)和(78.21±13.37)分,差異無統(tǒng)計學意義,t=0.878,P=0.382。自命題試卷和985高校命題試卷的知識覆蓋率分別為89.5%和63.2%;信度系數(shù)分別為0.71和0.61;效度系數(shù)分別為0.84和0.78;難度系數(shù)分別為0.24和0.22;區(qū)分度系數(shù)分別為0.29和0.32。結論鄭州大學自命題試卷的試卷覆蓋面廣,信度效度較好,達到水平測試的要求,但名詞解釋和單項選擇題需改進以提高其區(qū)分度。高等院校實行教考分離時,不宜直接照搬其它學校命題的試卷。
衛(wèi)生統(tǒng)計學信度效度難易度區(qū)分度
考試工作是高校教學工作的重要組成部分,考試管理質量直接關系到高校教風、學風、考風建設和教學質量的提高。為加強考試管理,鄭州大學教務處根據(jù)學校會議精神,對2014-2015學年第二學期部分科目的期末考試實行教考分離。2011級預防醫(yī)學專業(yè)《衛(wèi)生統(tǒng)計學》是被抽中的科目之一,在進行期末考試時,根據(jù)學號的單雙號分成兩組,一組使用985高校命題的試卷,一組使用本校教師命題的試卷。該研究分析了學生的考試成績,比較了兩套試卷的質量,找出命題中存在的問題,一方面可以了解學生對統(tǒng)計知識的掌握情況,為改進教學工作、提高教學質量提供參考依據(jù);另一方面可以反饋試卷命題質量,以便為日后修改或篩選考試試題,建立試題庫做準備。
1.課程安排
鄭州大學2011級預防醫(yī)學專業(yè)學生衛(wèi)生統(tǒng)計學課程使用教材為《衛(wèi)生統(tǒng)計學》第7版。該教材共20個章節(jié),除meta分析一章節(jié)沒有講授外,其余19個章節(jié)均在講授范疇。課程總學時數(shù)97學時,理論課64學時,實習課33學時。
2.考試分組
2014-2015學年第二學期,共有106名2011級預防醫(yī)學專業(yè)學生參加《衛(wèi)生統(tǒng)計學》考試??荚嚽?,按照學生學號的單雙號分成兩組,隨機選取單號學生使用鄭州大學教師自命題試卷,雙號學生使用某985高校自命題試卷,使用兩種試卷的考生人數(shù)均為53人。
3.評分方法
共有4名教師參與閱卷,閱卷教師具有副高級或高級職稱。閱卷教師根據(jù)標準答案和評卷細則密封閱卷,為確保試卷評分尺度統(tǒng)一,每個教師只評閱一個題型。
4.試卷質量分析方法
(4)區(qū)分度:將全體考生的成績按降序的方式排列,前27%的學生為高分組,后27%的學生為低分組,計算高分組得分的平均值PH和低分組得分的平均值PL,采用公式D=(PH-PL)/F計算區(qū)分度。D≥0.4表示區(qū)分度很好;0.3≤D<0.4表示區(qū)分度良好,若能修改更好;0.20≤D<0.3表示區(qū)分度尚可,必須要進行修改;D<0.19表示區(qū)分度劣[4]。
(5)統(tǒng)計軟件:用EXCEL 2007錄入數(shù)據(jù),用SPSS 19.0進行統(tǒng)計分析。檢驗水準α=0.05。
1.題型和知識點覆蓋面
自命題試卷由名詞解釋(5個,共15分)、單項選擇題(12個,共24分)、簡答題(4個,共32分)和綜合應用題(3個,共29分)4種題型組成;知識點覆蓋17個章節(jié),章節(jié)知識覆蓋率為89.5%。985高校命題試卷由單項選擇題(10個,共20分)、簡答題(2個,共20分)、計算分析題(2個,共30分)和論述題(2個,共30分)4種題型組成;知識點覆蓋12個章節(jié),章節(jié)知識點覆蓋率為63.2%。
2.成績分布
使用自命題試卷學生的卷面原始成績服從正態(tài)分布(S-W=0.965,P=0.123),使用985高校命題試卷的學生原始卷面成績不滿足正態(tài)分布(S-W=0.901,P<0.001)。使用兩種試卷的學生成績分別為(76.08±11.58)分和(78.21±13.37)分,差異無統(tǒng)計學意義,t=0.878,P=0.382。各分數(shù)段人數(shù)見表1。
表1 學生考試成績分布 n(%)
3.試卷質量分析
(1)信度
自命題試卷信度系數(shù)為0.71,試卷信度較好。985高校命題試卷信度系數(shù)為0.61,試卷信度尚可。
(2)效度
自命題試卷和985高校命題試卷的效度系數(shù)分別為0.84和0.78,試卷效度均較好。但是985高校試卷的內容效度較差。如論述題“論述統(tǒng)計分析的一般過程和各方法的優(yōu)缺點”(15分),該題措辭不準,導致標準答案和評分標準無法統(tǒng)一。關于“統(tǒng)計分析的一般過程”:可以理解為統(tǒng)計工作的一般步驟,包括統(tǒng)計設計、資料搜集、資料整理和統(tǒng)計分析;也可以理解為統(tǒng)計描述和統(tǒng)計推斷;還可以理解為假設檢驗的步驟,即建立假設和確定檢驗水準、計算統(tǒng)計量和P值,得出統(tǒng)計結論。關于“各方法的優(yōu)缺點”,本身提法就不妥:首先,統(tǒng)計方法本身并無好壞之分,每種統(tǒng)計方法都有其特定的適用范圍;其次,“優(yōu)缺點”是相對的,只有與其它方法相比較的時候才會有優(yōu)缺點。如與參數(shù)檢驗相比,非參數(shù)檢驗的優(yōu)缺點是什么?另外,985高校命題試卷中如選擇題“在多元線性回歸分析中,發(fā)現(xiàn)自變量有多重共線性問題時,解決的方法是”(2分),該題有4個選項:A刪除具有多重共線性的變量,B主成分分析產生新的綜合變量再分析,C兩者均可以,D兩者均不可以。標準答案B存在爭議,當自變量有多重共線性問題時,A和B兩種方法均是常用的方法,但需要依據(jù)數(shù)據(jù)的特征和專業(yè)知識來判斷哪種方法更合適,不能一概而論。
(3)難度
自命題試卷和985高校命題試卷整體上難度偏易,見表2。
表2 兩套試卷難易度分析
(4)區(qū)分度
自命題試卷區(qū)分度一般,985高校命題試卷區(qū)分度良好,見表3。
表3 兩套試卷區(qū)分度分析
試卷質量分析是教育統(tǒng)計中一個重要組成部分,也是教育部各項評估中一個關鍵性的指標。一套好的試卷,無論由何種題型組成,既能符合教學大綱的要求、準確、科學,還應具有較高的信度、效度和區(qū)分度,難易度適中,覆蓋面較廣,學生考試成績呈正態(tài)分布[2,5]。本研究以鄭州大學2011級預防專業(yè)學生為對象,對比分析了鄭州大學自命題試卷和985高校命題試卷《衛(wèi)生統(tǒng)計學》的試卷質量,發(fā)現(xiàn)試卷命題中存在的問題,為我們今后提高命題水平,不斷完善和提高教學質量提供了有益的參考。
從題型分布看,自命題試卷由名詞解釋、單項選擇題、簡答題和綜合應用題組成,前3種題型重在測評學生對統(tǒng)計基本知識的掌握情況,綜合應用題重在考核學生綜合分析問題的能力;985高校命題試卷有單項選擇題、簡答題、計算分析題和論述題4種題型。從知識點覆蓋面看,自命題的試卷章節(jié)知識覆蓋率(89.5%)高于985高校命題試卷(63.2%),說明自命題試卷能更全面測評學生對統(tǒng)計知識的掌握能力。自命題的試卷嚴格參照本學校教學大綱的要求出題,盡可能包括所講授的各個章節(jié);985高校命題的試卷在出題范圍上,主要考慮的是他們學校的教材、學時數(shù)和教學大綱。提示在用其它學校試卷對自己學校的學生考試時,一定要考慮試卷來源學校的教材、學時數(shù)和教學大綱,不能直接照搬其它學校命題的試卷。
自命題試卷和985高校命題試卷信度系數(shù)分別為0.71和0.61,分別處于“較好”和“尚可”的等級,說明自命題的試卷能夠達到水平測試的要求,考試結果可真實反映學生對統(tǒng)計知識的掌握水平。985高校命題的試卷信度系數(shù)略低于自命題試卷,可能與題量少、分值大,知識覆蓋面低有一定關系[5]。兩套試卷的效度系數(shù)分別為0.84和0.78,效度等級為“較好”,說明兩套試卷與要考察的內容比較吻合。針對985高校命題試卷某些試題措辭不準導致標準答案和評分標準無法統(tǒng)一、標準答案有爭議以及知識點覆蓋面低這些問題,提醒教師在命題時,一定要反復斟酌卷面用詞,避免出現(xiàn)讓人產生歧義的問題。建議由3個或以上教師組成命題小組,反復斟酌每道題的措辭和標準答案,確保每一道試題的科學性、語言表達的準確性和標準答案的正確性,同時還要避免知識點之間的重疊,提高知識點覆蓋面。通過這些完善措施,可以促進試卷信度和效度的提高。
兩套試卷整體上難度偏易,這與學校的考試目的有關,期末考試主要目的在于測試學生的知識水平,因此應有較高的及格率,使絕大多數(shù)學生可以通過考試從而順利拿到畢業(yè)證和學位證。但是,為了激發(fā)學生的學習熱情和積極性,讓學得好與學得差的學生在課程考試的成績中得以體現(xiàn),選拔成績優(yōu)秀的學生參與評優(yōu)評先活動和碩士研究生免推資格評選,試卷還必須有一定區(qū)分度。從不同題型的區(qū)分度看:兩套試卷的單項選擇題區(qū)分度“尚可”,必須進一步改進,自命題試卷的名詞解釋若能改進更好。分析原因,可能是由于這兩類型題目主要考察學生單個記憶性知識點,有研究顯示,學生對記憶性知識點掌握程度的區(qū)別不大[6]。自命題試卷的簡答題和綜合應用題很好,尤其是綜合應用題,區(qū)分度系數(shù)為0.48,是所有題型中區(qū)分度最大的,985高校命題試卷的簡單題和計算分析題區(qū)分度系數(shù)也較其他題型高,說明學生對多個知識點綜合應用能力水平區(qū)別比較大。
綜上,通過對預防專業(yè)《衛(wèi)生統(tǒng)計學》試卷質量的對比分析,發(fā)現(xiàn)鄭州大學自命題試卷的試卷覆蓋面廣,信度效度較好,綜合應用題題型設置合理,學生成績服從正態(tài)分布,達到水平測試的要求。但離“好試卷”的標準還有一定差距,名詞解釋和單項選擇題需改進且其所占分值適當降低,同時提高簡答題和綜合應用題的分值,以便提高整套試卷的區(qū)分度;難題的比例和試卷的難度系數(shù)需適當增加以利于優(yōu)秀學生的選拔。
[1]方積乾.主編.《衛(wèi)生統(tǒng)計學》第7版.北京:人民衛(wèi)生出版社,2012:271
[2]馬勝梅,趙軍富.基于概率論與數(shù)理統(tǒng)計的試卷質量分析評價研究.中國冶金教育,2014(3):25-27
[3]丁琨,肖永峰,張元鐸,等.基于統(tǒng)計方法的高等數(shù)學試卷分析.數(shù)學學習與研究,2013,17:15-17.
[4]徐琳,張巖波,鄭建中.醫(yī)學統(tǒng)計學位課程考試項目分析.中國衛(wèi)生統(tǒng)計,2011,1:84-86,88.
[5]趙珂.試卷質量指標分析.新疆教育學院學報,2001,17(4):134-136.
[6]梁雅麗,袁慧,石瑋,等.預防醫(yī)學專業(yè)《衛(wèi)生統(tǒng)計學》課程試卷分析.安徽醫(yī)藥,2015,9(19):1832-1834.
(責任編輯:劉壯)
鄭州大學研究生核心學位課程(編號:YJSXWKC201516);河南省研究生教育優(yōu)質課程。
施學忠,E-mail:xzshi@126.com