趙紅波　張海濤　黃生健　司慧迎　曹志勇

摘要：對試卷進行分析是教學效果評價與考核的主要依據(jù)和內(nèi)容。基于經(jīng)典教育測量原理的評價指標和試卷分析方法，設計并開發(fā)實現(xiàn)了相應的評價系統(tǒng)軟件。實踐結果表明，這種基于網(wǎng)絡動態(tài)數(shù)據(jù)庫設計的評價系統(tǒng)，穩(wěn)定可靠，方便快捷，信息易于共享，可對試卷進行科學的分析，對指導教學、準確評價，提高教學質(zhì)量，具有重要意義。

關鍵詞：教學效果；試卷分析；評價指標；系統(tǒng)設計；系統(tǒng)實現(xiàn)

[中圖分類號] G202 [ 文獻標識碼] A

0 引 言

教育是一個復雜的系統(tǒng)工程，教學是這個系統(tǒng)工程中的重要環(huán)節(jié)，是引導教育培養(yǎng)高素質(zhì)人才、幫助社會充分利用教育成果和促進教育健康發(fā)展的保障。教學和質(zhì)量保障體系運行的有效度是教育部最新的高校本科教學評估核心之一，教學效果的好壞將直接影響教育的質(zhì)量。保障教育質(zhì)量的主要方式是對教師和學生進行監(jiān)控和管理，關注點集中在教學的環(huán)節(jié)上]。教學效果的測試手段主要是考試，試卷是教學內(nèi)容、考試要求和學生知識應用的綜合載體，整個試卷是否基本反映了大綱的規(guī)定和要求，能否正確地反映考生對教學內(nèi)容和應掌握知識的吸收運用能力及教師對教學內(nèi)容的把握和熟練程度，因此只有質(zhì)量合格的考試才能有效地檢測教學效果。對教學效果的評價最直接的方式就是利用現(xiàn)代的教育統(tǒng)計學、教育測量學，通過對試卷分析，得到具體的數(shù)量指標來檢測考試的質(zhì)量。教育測量技術的科學性和準確性取決于測量規(guī)則和測量工具。測驗或者考試、測試是教育測量的基礎工具，它們都是通過試卷來實現(xiàn)的。

1 開發(fā)評價系統(tǒng)的目標

考試是教學評價的重要手段，為認識教與學過程中的各種因素提供依據(jù)。教學是否達到預期效果，就需要對試卷進行科學的分析與評價。目前考試成績絕大多數(shù)用于檢測學生的學習效果，卻很少用于對教師教學效果的反饋，這主要因為試卷分析是建立在統(tǒng)計量之上，公式繁雜，數(shù)據(jù)繁多，計算量大，絕大多數(shù)老師都難以用科學的方法對試卷做出細致地分析，并難以得到一個對教學效果的基本評價。地方普通高等學校對教學評價往往采用教學督導對課堂教學進行評價，并根據(jù)反饋的評價信息進行綜合評定教學效果。教學評分來自教學督導員對課堂教學評價依據(jù)的客觀標準的把握和對授課教師授課水平的主觀認定，因此存在教學督導員評分差異和教學評價權威性的問題。

評價教學效果采用對試卷質(zhì)量進行分析，應真實反映教師的教和學生的學兩個方面，并且應具有客觀的評價方法和指標。試卷分析是對學生的考試試卷進行定量與定性分析，以試卷的評估、考試結果和對試題的分析結果作為依據(jù)，對試卷進行系統(tǒng)而科學的分析。試卷分析中對試題的評估包括試卷信度和考試效度；而對試題的分析包括了試題的難度和區(qū)分度等指標；考試結果的數(shù)據(jù)即為學生考試成績統(tǒng)計。試卷分析的結果能夠反映出考試是否真正檢查出學生的知識水平與能力，也可以將此結果作為評價教學過程是否成功的依據(jù)。王云利用SPSS對網(wǎng)絡環(huán)境下適應性考試進行分析，驗證了可行性和實用性。王鐵等人使用了Web技術對試卷分數(shù)進行了分數(shù)段的可視化?，F(xiàn)在很多試卷分析都以微軟的Execl或者使用單機版軟件在本地實現(xiàn)，基本無法對教師的信息處理結果進行匯總，所以學校也就缺乏對教學效果的客觀衡量依據(jù)。趙永華等對100多篇高校試卷分析相關論文進行分析后認為目前的應用主要是針對單一課程試卷的分析，信息利用率不高，并且沒有廣泛開展試卷分析，因而未能為教學過程提供足夠的反饋控制信息。要改變這一現(xiàn)狀，一方面離不開相關試卷分析觀念的轉變、相關管理制度的確立及教師自身試卷分析素質(zhì)的提高，另一方面也離不開相關理論及易于使用的專用試卷分析軟件的支持。

目前各高校都建立了各類型教學教務系統(tǒng)，多數(shù)情況下各教學業(yè)務科室站在各自角度對數(shù)據(jù)的理解和定義，都有自己的數(shù)據(jù)規(guī)范，往往會出現(xiàn)相同的業(yè)務、用戶有不同的定義。當需要進行跨業(yè)務的數(shù)據(jù)合作時，往往會發(fā)現(xiàn)數(shù)據(jù)邏輯上的孤立，溝通成本極高。這種數(shù)據(jù)孤島現(xiàn)象是普遍存在的，高校教學效果評價需要大量數(shù)據(jù)，急需消除各系統(tǒng)之間的數(shù)據(jù)孤島現(xiàn)象，對數(shù)據(jù)大集中，發(fā)展和創(chuàng)造出各種渠道、模式讓數(shù)據(jù)協(xié)作得更好，從而發(fā)揮數(shù)據(jù)自身的價值。利用現(xiàn)代信息技術手段將數(shù)據(jù)庫技術、Web技術等開發(fā)技術集合起來，認證分析當前系統(tǒng)模型，開發(fā)基于B/S模式的效果評價系統(tǒng)，可以很好地針對高校試卷分析的具體需求（主要對考試試卷做出各項指標的分析，得出分析結果），并能有效地利用校園網(wǎng)的軟硬件資源，為高校的教學效果評價提供一種交互、開放、易用的全新環(huán)境。建立基于校園網(wǎng)的試卷分析系統(tǒng)網(wǎng)絡動態(tài)數(shù)據(jù)庫，可以提供一個共享平臺，使學校的各個部門之間共享教學效果評價中的不同指標信息，諸如學生的各科成績、試題的難易程序等均可以通過網(wǎng)絡一目了然。一方面可以使試卷信息的管理工作更加快捷、方便；另一方面可以實現(xiàn)學校各級教學部門的試卷協(xié)調(diào)工作在網(wǎng)絡上的自然完成，可以避免由于學校各級部門之間由于信息不流通所掌握的學生情況不一致，造成對學生成績信息的管理十分不便。因此，建立基于試卷分析的完整的高校教學效果評價系統(tǒng)及網(wǎng)絡動態(tài)數(shù)據(jù)庫是十分必要的。

2 關鍵評價指標

教學效果評價系統(tǒng)的關鍵評價指標可以劃分為3個方面：學生成績評價指標、試題評價指標和試卷評價指標。

2.1 學生成績評價指標

學生成績評價指標就是對具體參加某科目考試的所有學生的統(tǒng)計結果，主要包括學生的成績統(tǒng)計指標和成績分布曲線指標。

成績統(tǒng)計指標包括試卷的平均分、最高分、最低分；各分數(shù)段學生人數(shù)及其所占的比例、及格率、不及格率、優(yōu)秀率。通過成績統(tǒng)計指標可以清楚地知道考生在這次考試中的答題情況，各分數(shù)段的人數(shù)和百分比，也可以從中方便地看出該次考試的及格率、不及格率、優(yōu)秀率等指標。通過最高分，最低分這兩個極端指標可以知道試卷出題是否超過了哪個極端，或者幫助教師發(fā)現(xiàn)該班級中存在的個別學生。平均分體現(xiàn)了該班級考生在這次考試中的平均答題水平，一定程度上代表了該班級考生對該試卷學科知識的掌握程度。

成績分布曲線指標可以清晰地顯示出學生考試成績分布是否合理。根據(jù)經(jīng)典測量理論，在正常情況下，如果試卷的考試成績呈正態(tài)分布，則試卷的質(zhì)量較高，否則較低。通過對各分數(shù)段學生人數(shù)及其所占的比例統(tǒng)計建立一個曲線圖，對學生成績分布曲線進行評價是最形象直接的方法。

2.2 試題評價指標

2.2.1 試題難度

主要檢測試題對于考察的學生來說究竟是偏難還是偏容易，試題難度過大或過小，易造成全部學生得高分或得低分現(xiàn)象，從而不能區(qū)分學生水平，也影響試卷的信度和效度。

難度總是在0到1之間變化的，難度值愈大，試題愈容易；難度值愈小，試題愈難。一般認為，選拔性考試試題難度值在0.3到0.7之間為宜。P值大于0.7的題目約占30%，P值為0.3～0.7的題目約占60%，P值小于0.3的題目約占10%。

2.2.2 試題區(qū)分度

試題區(qū)分度是指試題對學生實際水平的區(qū)分程度或鑒別能力。區(qū)分度高的試題能對不同知識水平和能力的學生加以區(qū)分，使能力高的學生得高分，能力低的學生得低分；區(qū)分度低的試題則不能對學生的能力進行很好的鑒別，使水平高和水平低的學生得分相差不大或沒有規(guī)律可循。

客觀性試題：將試題分數(shù)從高到低排列，分為兩段，各取25%為高分組和低分組，PH和PL分別為高分組和低分組在該題上的通過率。則該題區(qū)分度D為

2.3 試卷評價指標

2.3.1 試卷信度

試卷質(zhì)量分析主要評價試卷信度， 試卷信度只在試題數(shù)至少為2才有效。試卷信度是針對試卷所反映出的考分穩(wěn)定性的評估，即考試結果的穩(wěn)定性和可靠程度，是衡量考分與考生真實水平的指標。采用克隆巴赫（信度）系數(shù)（Cronbach's alpha），設K代表題目總數(shù)， 代表考試總分方差， 代表第j題得分的方差，則試卷信度R為：

影響信度的因素：影響信度的因素很多，比如測驗內(nèi)容、考試的環(huán)境、考生的狀況等，都能導致測驗分數(shù)的不一致，從而降低信度值。試題過易或過難都會影響信度。一般題目多，信度就會高；區(qū)分能力強的題目越多信度也會越高；考生能力的差異越大，信度越高。通?？荚嚨脑嚲硇哦戎笜艘笤?.6以上，而大規(guī)模標準化考試信度要求在0.7以上。

2.3.2 試卷難度

主要檢測試卷對于被考查的學生來說究竟是偏難還是偏容易，無論是太容易還是太難都認為這份試卷是失敗的。試題難度過大或過小，宜造成全部學生得高分或得低分現(xiàn)象，從而不能區(qū)分學生水平，也影響試卷的信度和效度。試卷難度的測定是建立在試題難度的基礎上，以試題難度為變量，以試題滿分值為權數(shù)的加權平均值。選拔性測試P=0.5左右為宜，通常期末考試為目標參照性考試，P可適當偏高，全卷平均難度以0.7左右為宜，0.6～0.8為正常。難度適中能更客觀地反映出學生的學習效果。

2.3.3 試卷區(qū)分度

指試卷區(qū)分考生水平差異的程度。區(qū)分度越高，說明試卷區(qū)分考生水平差異的能力越強，反之，區(qū)分能力就越差。采用試題區(qū)分度的加權平均計算得到。一般以0.4～0.6為宜。

3 評價系統(tǒng)的實現(xiàn)

3.1 概念模型

概念模型如圖1所示。

3.3 程序設計實現(xiàn)

使用ASP.NET的內(nèi)置對象、組件和ADO組件開發(fā)出功能強大的Web數(shù)據(jù)庫應用程序，并將系統(tǒng)數(shù)據(jù)信息存儲在SQL SERVER進行訪問，很好地解決了全校各級教學部門的數(shù)據(jù)信息共享問題，構建較完善的網(wǎng)絡數(shù)據(jù)庫管理系統(tǒng)。通過該開發(fā)平臺開發(fā)的試卷分析平臺可以很直觀地體現(xiàn)出學生的學習狀態(tài)、學習成績的分布、試題區(qū)分度等指標。

系統(tǒng)與學校的教務管理系統(tǒng)進行無縫連接，成為教務系統(tǒng)的一部分。每個使用者以一個唯一用戶名登錄，可進行創(chuàng)建一個新的試卷分析記錄或編輯使用原有試卷分析記錄兩種操作。第一步，在線填寫考試的基本信息；第二步，填寫考卷中題型和大題、小題數(shù)量；第三步，系統(tǒng)分層抽樣自動得到學生名單，按學生名單在線填寫或導入分數(shù)；第四步，評價系統(tǒng)生成各項指標，由教師根據(jù)評價指標進行補充說明。試卷分析結果以圖形和表格形式表現(xiàn)，給出各項指標、文字分析結果。內(nèi)容包括：考試基本信息、成績分布圖、試卷信度、區(qū)分度、難度等，如圖3所示。

3.4 實例分析

實例1：168人參加考試，試卷難度0.789，試卷區(qū)分度0.397，試卷信度-1.973。該試卷的試卷難度和試卷區(qū)分度較理想，卻出現(xiàn)了信度不達標，無法對教學效果進行評價。究其原因發(fā)現(xiàn)在80～90分數(shù)段集中了接近70%的學生，而在總分相近的情況下，各大題和小題得分差異卻很大，所以就出現(xiàn)了試卷難度區(qū)分度尚可，信度指標是負數(shù)。針對以上情況建議教師在以后試卷中增加題量，這樣可使每個題目上的隨機誤差相互抵消，從而提高信度；在一個測試中避免安排許多性質(zhì)不同的內(nèi)容，這樣會降低一致性，影響信度。

實例2：65人參加考試，試卷難度0.768，試卷區(qū)分度0.36，試卷信度0.917。由于考試屬目標性檢測，對區(qū)分度要求不是太高，故并不影響本試卷的可靠性。對于難度較低的問題，我們分析了每道試題的難度，題目中超過70分的試題難度指標在0.83以上，相應題目的區(qū)分度指標也就很差，導致了高分段考生人數(shù)偏多。針對以上情況建議教師改進題目的質(zhì)量，將試題難度控制在中等，區(qū)分度要大。

實例3：99人參加考試，試卷難度0.631，試卷區(qū)分度0.622，試卷信度0.929，優(yōu)7人，良21人，中22人，及格20人，及格以下29人。此次考試為統(tǒng)一命題，試卷題目質(zhì)量較高，難易程度合理。統(tǒng)一閱卷，流水作業(yè)，降低了個人行為的誤差。擔任此教學班教學任務的教師教齡超過20年，具備豐富的教學經(jīng)驗。可見評價指標很好地對教學效果進行了反映。

4 結 語

教學效果評價對改進教學過程提供了必要的反饋信息，這是教學效果評價直接的、主要的功能；對學生學習成績優(yōu)劣、好壞的區(qū)別，與教師和學生的動機有緊密的聯(lián)系，因而很重要，也是調(diào)控教學過程所需要的信息。認識到這一點，有助于我們積極、主動地利用和開發(fā)教學效果評價系統(tǒng)的全部功能，提高教學的質(zhì)量和效率。

在實際應用中，完全符合高校情況，采用無紙化試卷分析，化簡煩瑣的工作模式，使得教師們從復雜的日常工作中解放出來，節(jié)省了大量的人力和物力，避免了重復性的工作。系統(tǒng)上線以來，共有1確100多名教師做了32 000余份分析報告，受到教師的高度評價。教師進行定性分析、教學反思等環(huán)節(jié)結合教學效果評價系統(tǒng)中定量數(shù)據(jù)找出教學中存在的問題，總結教學經(jīng)驗，不斷改進教學，提高教學質(zhì)量。豐富的評價數(shù)據(jù)結合相關數(shù)據(jù)挖掘方法在教育學中的應用，可進一步進行數(shù)據(jù)分析，發(fā)現(xiàn)重要的數(shù)據(jù)模式，對教學研究做出更多貢獻。

主要參考文獻

[1]教育部.普通高等學校本科教學工作審核評估方案[EB/OL].http：//www moe edu cn/publicfiles/business/htmlfiles/moe/s7168/201312/160919，html.

[2]李明.整合策略，切實改進高校質(zhì)量保障體系[J].中國高等教育.2011（11）：40-42.

[3]徐美.高校教學督導員課堂教學評價的權威性：問題與對策.[J].教育理論與實踐，2014（3）：6-8.

[4]王云，楊芳.相關系數(shù)法在適應性考試試卷分析中的應用研究[J].教育理論與實踐，2015（27）：52-54.

[5]王鐵，劉婧姝，耿春明.基于Web技術的試卷分析系統(tǒng)的設計與實現(xiàn)[J].齊齊哈爾大學學報，哲學社會科學版2009（2）：178-180.

[6]趙永華，李海櫻.高校試卷分析研究的內(nèi)容分析[J].考試周刊，2011（87）：3-4.

[7]張敏強.教育測量學[M].北京：人民教育出版社，1998.

[8]王松桂，程維虎，等.概率論與數(shù)理統(tǒng)計[M].北京：科學出版社，2000.

[9]楊毅.數(shù)據(jù)庫系統(tǒng)原理及應用[M].北京：科學出版社，2004.

[10]耿玉清，張春生一種試卷分析及數(shù)據(jù)挖掘系統(tǒng)的開發(fā)[J].計算機技術與發(fā)展，2010（10）：241-245.