摘要：通過對(duì)大規(guī)模教育考試目標(biāo)和性質(zhì)的闡述，指出了影響考試信度和效度的根本性因素，提出了在當(dāng)前的新環(huán)境和新情況下，對(duì)于高信度考試的評(píng)卷及其控制方面需要進(jìn)一步研究和解決的問題。通過對(duì)評(píng)卷流程的分析和評(píng)卷業(yè)務(wù)的邏輯重組，構(gòu)建了新的網(wǎng)上評(píng)卷系統(tǒng)模型；分析了評(píng)卷系統(tǒng)技術(shù)平臺(tái)、評(píng)卷系統(tǒng)體系結(jié)構(gòu)和評(píng)卷系統(tǒng)軟件結(jié)構(gòu)的設(shè)計(jì)；對(duì)評(píng)卷系統(tǒng)的技術(shù)理論、業(yè)務(wù)需求、系統(tǒng)架構(gòu)、信息安全等方面進(jìn)行了探討。

關(guān)鍵詞：評(píng)卷誤差；質(zhì)量評(píng)價(jià)；網(wǎng)上評(píng)卷；評(píng)卷系統(tǒng)

0 引言

1989年教育部考試中心確立了《關(guān)于高考實(shí)施標(biāo)準(zhǔn)化考試的規(guī)劃》，定義標(biāo)準(zhǔn)化考試為應(yīng)用現(xiàn)代考試測(cè)評(píng)理論，采用計(jì)算機(jī)技術(shù)，以降低評(píng)卷誤差，達(dá)到準(zhǔn)確公正的目的。

標(biāo)準(zhǔn)化考試只是使用OMR技術(shù)解決了客觀題的評(píng)卷誤差問題。但是對(duì)主觀題的評(píng)卷繼續(xù)采用人工評(píng)卷方式，由于評(píng)卷員的觀點(diǎn)、經(jīng)驗(yàn)、看法不同，對(duì)同樣的答題，可能會(huì)產(chǎn)生給分的分歧，對(duì)考生的評(píng)分就不可避免地存在誤差。這里所說的評(píng)卷誤差，是指因評(píng)卷員掌握評(píng)分標(biāo)準(zhǔn)的差異而導(dǎo)致自己與其他人員不一致或者自己在不同時(shí)間段不一致所產(chǎn)生的評(píng)分偏差或者由于其他原因造成的偏差。產(chǎn)生評(píng)卷誤差的原因是多種多樣的，但它是客觀存在的，只能控制，不能完全消除。現(xiàn)用的紙張?jiān)u卷方式在誤差監(jiān)控上缺乏有效的手段，為了更好地做到有效地控制誤差，提出了網(wǎng)上評(píng)卷的模式。

“網(wǎng)上評(píng)卷”就是通過掃描設(shè)備，把考生的紙質(zhì)答卷掃描后變成數(shù)據(jù)流的電子答卷，評(píng)卷員分別在自己的計(jì)算機(jī)上評(píng)閱答卷，不會(huì)受到其他評(píng)卷員的打分結(jié)果的影響，可以完全做到獨(dú)立根據(jù)評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分。利用相關(guān)的計(jì)算機(jī)技術(shù)和手段，能夠及時(shí)發(fā)現(xiàn)評(píng)分誤差并采取相應(yīng)的措施，達(dá)到控制評(píng)分誤差、保證評(píng)卷準(zhǔn)確性的目的。

1 評(píng)卷誤差及其產(chǎn)生的原由

大規(guī)模教育考試的目標(biāo)是為了對(duì)考生進(jìn)行教育決策提供決策依據(jù)，因此，大規(guī)模教育考試都是高信度考試，與考生及考生家庭甚至學(xué)校的利益密切相關(guān)。

大規(guī)模教育考試的目標(biāo)和性質(zhì)決定了考試結(jié)果誤差必須盡可能少，具有高度的可靠性——信度；這里可以將考試結(jié)果解釋為考生學(xué)科素質(zhì)的標(biāo)志，以考試分?jǐn)?shù)為依據(jù)對(duì)考生進(jìn)行決策，所以要求大規(guī)模教育考試的結(jié)果必須具有高度的信度和效度。

考試的信度和效度取決于很多因素，如考試的測(cè)量目標(biāo)是否準(zhǔn)確、測(cè)量目標(biāo)的行為目標(biāo)及其表現(xiàn)水平標(biāo)準(zhǔn)是否明確；試卷的長(zhǎng)度及試卷的結(jié)構(gòu)；考試試題的類型、試題的難度、試題撰寫的質(zhì)量等。

由于我國(guó)的大規(guī)模教育考試一般都是高利害考試，因此考試的效度和信度是教育考試最重要的質(zhì)量指標(biāo)，而對(duì)考試效度和信度威脅最大的是三種來源的測(cè)量誤差，它們是：

(1)對(duì)所要測(cè)量的考生知識(shí)與技能、方法與能力內(nèi)涵及其與之相關(guān)的行為目標(biāo)的定義方面的誤差；

(2)在所要測(cè)量的考生的知識(shí)與技能、方法與能力及其行為目標(biāo)確定的條件下，試題的設(shè)問、應(yīng)答與要測(cè)量的行為目標(biāo)相關(guān)程度方面的誤差；

(3)評(píng)分標(biāo)準(zhǔn)以及評(píng)卷員對(duì)評(píng)分標(biāo)準(zhǔn)各種不同的理解和使用方面的誤差。

第一個(gè)方面的誤差主要在考試的設(shè)計(jì)階段對(duì)其進(jìn)行控制，第二個(gè)方面的誤差主要是在命題階段加以控制，而第三個(gè)方面的誤差主要在評(píng)分階段進(jìn)行控制。

可見，評(píng)分階段對(duì)誤差的控制是保證考試結(jié)果信度以及考試結(jié)果解釋和使用效度極其重要的一環(huán)，必須對(duì)評(píng)分進(jìn)行科學(xué)的組織和管理，對(duì)評(píng)分誤差進(jìn)行有效的控制。

評(píng)分階段的誤差主要來源于主觀題評(píng)分。主要有兩個(gè)方面：一個(gè)方面是由于每個(gè)評(píng)卷員對(duì)評(píng)分標(biāo)準(zhǔn)的理解和掌握不可能完全一致；另一個(gè)是評(píng)卷期間同一評(píng)卷員不能始終如一地應(yīng)用評(píng)分標(biāo)準(zhǔn)所形成的評(píng)分誤差。

2 網(wǎng)上評(píng)卷需要進(jìn)一步研究解決的問題

大規(guī)模教育考試的網(wǎng)上評(píng)卷作為新生事物發(fā)展到現(xiàn)在，已在全國(guó)二十多個(gè)省市自治區(qū)得到推廣，從發(fā)展方向和趨勢(shì)看，已得到社會(huì)各界的肯定，但無論是在理論上還是在流程和方法上都需要進(jìn)一步的研究和實(shí)踐。如何根據(jù)網(wǎng)上評(píng)卷的特點(diǎn)進(jìn)一步在大規(guī)模教育考試中發(fā)揮優(yōu)勢(shì)，并在系統(tǒng)和軟件設(shè)計(jì)上進(jìn)一步提高和完善，是一個(gè)需要長(zhǎng)期研究的課題。

網(wǎng)上評(píng)卷需要繼續(xù)研究解決的問題主要有：

(1)評(píng)卷模式

現(xiàn)有網(wǎng)上評(píng)卷的評(píng)卷模式起源于廣西考試院對(duì)英語、語文兩門文科科目作文的評(píng)分，隨機(jī)分發(fā)機(jī)制對(duì)解決文科科目作文評(píng)卷員“背對(duì)背”引起的主觀誤差問題起到了較好的效果。 但是，隨著全國(guó)各省高考網(wǎng)上評(píng)卷全科目的推廣，特別是理科學(xué)科，只有評(píng)卷員評(píng)分的客觀差錯(cuò)，而沒有也不應(yīng)該出現(xiàn)主觀誤差，這樣就導(dǎo)致目前的隨機(jī)分發(fā)機(jī)制出現(xiàn)了不適應(yīng)。尋求新的評(píng)卷模式和質(zhì)量控制模式，是網(wǎng)上評(píng)卷今后要重點(diǎn)解決的問題。

(2)評(píng)卷組織結(jié)構(gòu)

傳統(tǒng)的考試評(píng)價(jià)已形成一套行之有效的組織管理體系，在評(píng)卷領(lǐng)導(dǎo)小組領(lǐng)導(dǎo)下的學(xué)科組組織分為：學(xué)科組長(zhǎng)、專家組、質(zhì)檢組、題組長(zhǎng)(包括大題組長(zhǎng)、小題組長(zhǎng))、評(píng)卷員五層結(jié)構(gòu)。但目前的網(wǎng)上評(píng)卷系統(tǒng)基本上只設(shè)置了三層，即大題組長(zhǎng)、小題組長(zhǎng)、評(píng)卷員，并將學(xué)科組長(zhǎng)、專家組和質(zhì)檢組的部分功能混雜在大題組長(zhǎng)和小題組長(zhǎng)中。這樣就使得學(xué)科組長(zhǎng)、專家組和質(zhì)檢組不能充分有效地干預(yù)評(píng)卷進(jìn)程，也無法實(shí)時(shí)發(fā)現(xiàn)評(píng)卷過程中存在的問題。

(3)評(píng)卷流程

第一，挑選樣卷的流程是網(wǎng)上評(píng)卷前期的重要過程，目前的網(wǎng)上評(píng)卷系統(tǒng)沒有充分了解評(píng)卷學(xué)科組的需求。第二，試評(píng)階段非常重要，要重點(diǎn)研發(fā)，因?yàn)樵囋u(píng)階段涉及評(píng)分標(biāo)準(zhǔn)制定的是否合理、評(píng)卷員對(duì)評(píng)分標(biāo)準(zhǔn)的理解和掌握，評(píng)分標(biāo)準(zhǔn)的修正，所以應(yīng)有各項(xiàng)統(tǒng)計(jì)數(shù)據(jù)，特別是對(duì)評(píng)卷員應(yīng)有初步評(píng)價(jià)，以便正式評(píng)卷時(shí)對(duì)可能有問題的評(píng)卷員重點(diǎn)監(jiān)控。目前的網(wǎng)上評(píng)卷系統(tǒng)必須加強(qiáng)試評(píng)的功能要求，并在無評(píng)卷員提問題后再開始正評(píng)。第三，目前的網(wǎng)上評(píng)卷系統(tǒng)基本上不能提供完整的成績(jī)統(tǒng)計(jì)與分析報(bào)表。第四，目前的網(wǎng)上評(píng)卷系統(tǒng)基本上不能提供有效的評(píng)卷員綜合評(píng)價(jià)報(bào)表，不利于學(xué)科組對(duì)評(píng)卷員的評(píng)價(jià)管理。

(4)評(píng)卷參數(shù)的設(shè)置

目前的網(wǎng)上評(píng)卷系統(tǒng)不能夠很好地針對(duì)不同的學(xué)科和題目設(shè)定不同的評(píng)卷模式和給分模式，不能夠合理恰當(dāng)?shù)卦O(shè)置評(píng)卷參數(shù)，及時(shí)有效地監(jiān)控評(píng)卷質(zhì)量和進(jìn)度。

3 網(wǎng)上評(píng)卷系統(tǒng)的質(zhì)量評(píng)價(jià)指標(biāo)

3.1 網(wǎng)上評(píng)卷系統(tǒng)主要的質(zhì)量評(píng)價(jià)指標(biāo)

(1)統(tǒng)計(jì)指標(biāo)。統(tǒng)計(jì)指標(biāo)主要有“平均分”和“標(biāo)準(zhǔn)差”。平均分可以顯示出評(píng)卷者給分有沒有偏高或偏低的問題；標(biāo)準(zhǔn)差顯示給分的離散程度。統(tǒng)計(jì)指標(biāo)主要用于評(píng)卷質(zhì)量的監(jiān)測(cè)。

(2)一致性評(píng)價(jià)指標(biāo)。一致性評(píng)價(jià)的目的是評(píng)價(jià)評(píng)卷員的評(píng)分標(biāo)準(zhǔn)是否與專家一致(專家一致性)、與題組總體一致(總體一致性)、與自己前后評(píng)分一致(個(gè)人一致性)。通常采用相關(guān)系數(shù)法進(jìn)行一致性評(píng)價(jià)。

(3)趨中性評(píng)價(jià)指標(biāo)。趨中性評(píng)價(jià)即判斷評(píng)卷員是否給“保險(xiǎn)分”。主要適用主觀性較強(qiáng)的科目如語文、外語，特別是作文。評(píng)價(jià)指標(biāo)包括標(biāo)準(zhǔn)差系數(shù)和保險(xiǎn)分系數(shù)。

(4)綜合評(píng)價(jià)指標(biāo)。綜合評(píng)價(jià)指標(biāo)用于單位時(shí)間內(nèi)的有效評(píng)卷次數(shù)給分與最終結(jié)果分的分差的絕對(duì)值小于或者等于控制誤差值的一半時(shí)，計(jì)為一次有效評(píng)卷。

顯然，當(dāng)評(píng)卷員有效率高，評(píng)卷時(shí)間少，評(píng)卷總量大，其綜合評(píng)價(jià)指標(biāo)就高。但該指標(biāo)不能明顯區(qū)別“慢而好”與“差而快”，因此，也是一個(gè)相對(duì)指標(biāo)。

3.2 主觀題評(píng)分的質(zhì)量評(píng)價(jià)指標(biāo)確定原則

(1)主觀性較強(qiáng)的科目，如語文、外語、歷史、地理、文科綜合，多人評(píng)分能使誤差控制在最小范圍之內(nèi)，所以，應(yīng)盡量采取多人評(píng)分。包括指定三評(píng)、組長(zhǎng)仲裁、專家組討論等形式，上述評(píng)價(jià)指標(biāo)可全部采用。

(2)主觀性較弱的科目，如數(shù)學(xué)、物理、化學(xué)、生物、理科綜合，多評(píng)并不能顯著提高評(píng)卷質(zhì)量，反而增加工作量及管理復(fù)雜性。趨中性評(píng)價(jià)指標(biāo)的實(shí)際控制作用不大，可不采用，只用一致性及綜合評(píng)價(jià)指標(biāo)，但須加強(qiáng)評(píng)卷質(zhì)量抽查的力度。

(3)上述評(píng)價(jià)指標(biāo)只能是相對(duì)指標(biāo)，具體評(píng)卷員的評(píng)卷質(zhì)量還需結(jié)合抽查評(píng)卷員的評(píng)卷過程進(jìn)行認(rèn)定。

4 網(wǎng)上評(píng)卷系統(tǒng)的技術(shù)架構(gòu)

4.1 網(wǎng)上評(píng)卷系統(tǒng)技術(shù)平臺(tái)

網(wǎng)上評(píng)卷系統(tǒng)平臺(tái)產(chǎn)品應(yīng)按照大規(guī)模教育考試和網(wǎng)上評(píng)卷的相關(guān)工作流程，通過對(duì)評(píng)卷的業(yè)務(wù)邏輯重組，利用計(jì)算機(jī)網(wǎng)絡(luò)信息系統(tǒng)集成技術(shù)、TCP／IP技術(shù)、數(shù)據(jù)庫技術(shù)、中間件技術(shù)、XML技術(shù)、信息安全技術(shù)等來構(gòu)建。

在這個(gè)平臺(tái)上將實(shí)現(xiàn)：

①基于Internet／Intranet、異構(gòu)計(jì)算機(jī)和操作系統(tǒng)平臺(tái)的網(wǎng)上評(píng)卷系統(tǒng)產(chǎn)品；②網(wǎng)上評(píng)卷信息化標(biāo)準(zhǔn)與數(shù)據(jù)接口規(guī)范；⑨網(wǎng)上評(píng)卷的組織與權(quán)限管理模型；④網(wǎng)上評(píng)卷的質(zhì)量與進(jìn)度監(jiān)控模型；⑤網(wǎng)上評(píng)卷的成績(jī)核查模型；⑥網(wǎng)上評(píng)卷的評(píng)卷員評(píng)價(jià)模型；⑦網(wǎng)上評(píng)卷的成績(jī)統(tǒng)計(jì)與分析模型；⑧網(wǎng)上評(píng)卷信息安全模型。

4.2 網(wǎng)上評(píng)卷系統(tǒng)的體系結(jié)構(gòu)

為了滿足網(wǎng)上評(píng)卷及其不斷增加的相關(guān)新業(yè)務(wù)需求，要求網(wǎng)上評(píng)卷系統(tǒng)采用分布式應(yīng)用的多層體系結(jié)構(gòu)，使得系統(tǒng)在體系結(jié)構(gòu)上能保持良好的可擴(kuò)展性、高可用性和技術(shù)先進(jìn)性。

分布式應(yīng)用的三層體系結(jié)構(gòu)如圖1所示。

其中：第一層是表示層，主要完成向用戶展現(xiàn)各種數(shù)據(jù)以及收集用戶提交的各種數(shù)據(jù)，并進(jìn)行簡(jiǎn)單的數(shù)據(jù)檢查工作。第二層是商業(yè)邏輯層，主要完成對(duì)數(shù)據(jù)的商業(yè)邏輯運(yùn)算。第三層是數(shù)據(jù)庫層，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)、訪問及優(yōu)化。

三層體系結(jié)構(gòu)的優(yōu)勢(shì)在于：首先，通過將整個(gè)系統(tǒng)分為不同的邏輯塊，客戶端和應(yīng)用服務(wù)器、應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器之間的通訊、異構(gòu)平臺(tái)之間的數(shù)據(jù)交換等都可以通過中間件來實(shí)現(xiàn)。當(dāng)業(yè)務(wù)邏輯改變時(shí)，客戶端并不需要改變，可以大大提高系統(tǒng)模塊的復(fù)用性，縮短開發(fā)周期，降低維護(hù)費(fèi)用。其次，大大增強(qiáng)了系統(tǒng)的擴(kuò)展性。由于系統(tǒng)功能模塊化，既可以將系統(tǒng)更完善地升級(jí)，又可以適當(dāng)增加系統(tǒng)的其他應(yīng)用。

網(wǎng)上評(píng)卷系統(tǒng)分布應(yīng)用的多層體系架構(gòu)如圖2所示。

4.3 網(wǎng)上評(píng)卷系統(tǒng)的功能層次

(1)數(shù)據(jù)層：由一系列數(shù)據(jù)庫服務(wù)器構(gòu)成了網(wǎng)上評(píng)卷系統(tǒng)的數(shù)據(jù)中心。

(2)系統(tǒng)核心服務(wù)層：由業(yè)務(wù)中間件集構(gòu)成與評(píng)卷業(yè)務(wù)邏輯相關(guān)的服務(wù)，同時(shí)提供支持各子系統(tǒng)協(xié)同的基于消息中間件集的服務(wù)。這些服務(wù)在統(tǒng)一的服務(wù)控制策略管理下運(yùn)行，更改服務(wù)控制策略，可以重構(gòu)不同的業(yè)務(wù)流程。系統(tǒng)核心服務(wù)由一個(gè)系統(tǒng)管理工具來配置與管理。

(3)數(shù)據(jù)通訊層：本層完成兩項(xiàng)功能，第一，通過內(nèi)容管理為應(yīng)用系統(tǒng)提供應(yīng)用邏輯的數(shù)據(jù)視圖以及數(shù)據(jù)訪問；第二，提供和其它系統(tǒng)進(jìn)行數(shù)據(jù)交換的網(wǎng)關(guān)，比如和網(wǎng)上報(bào)名、網(wǎng)上填報(bào)志愿和網(wǎng)上錄取系統(tǒng)之間進(jìn)行數(shù)據(jù)交換的網(wǎng)關(guān)等。

(4)信息安全層：在本層中通過身份認(rèn)證以及其它一些信息安全策略對(duì)系統(tǒng)提供信息保護(hù)。

(5)應(yīng)用層：實(shí)現(xiàn)網(wǎng)上評(píng)卷系統(tǒng)的權(quán)限管理、掃描與數(shù)據(jù)處理、主客觀題評(píng)卷、質(zhì)量與進(jìn)度監(jiān)控、成績(jī)核查、評(píng)卷員評(píng)價(jià)、成績(jī)統(tǒng)計(jì)與分析等子系統(tǒng)的功能。

4.3 網(wǎng)上評(píng)卷系統(tǒng)的軟件結(jié)構(gòu)

為了滿足網(wǎng)上評(píng)卷系統(tǒng)的可擴(kuò)展性以及可維護(hù)性的要求，系統(tǒng)的軟件實(shí)現(xiàn)一般劃分為以下幾個(gè)部分：用戶管理、界面處理、業(yè)務(wù)提取、業(yè)務(wù)處理和業(yè)務(wù)代理，如圖3所示。

4.5 網(wǎng)上評(píng)卷系統(tǒng)的信息安全

網(wǎng)上評(píng)卷系統(tǒng)的安全極為重要。系統(tǒng)的所有服務(wù)器，應(yīng)設(shè)置于教育考試機(jī)構(gòu)規(guī)劃的網(wǎng)絡(luò)中，并由教育考試機(jī)構(gòu)在相應(yīng)的網(wǎng)絡(luò)節(jié)點(diǎn)上設(shè)置各種防火墻以及相應(yīng)的路由設(shè)備，通過防火墻和路由器屏蔽掉不必要的或惡意的信息；通過SSL加密或CA中心實(shí)現(xiàn)客戶身份認(rèn)證，并保證數(shù)據(jù)傳輸?shù)陌踩?；?duì)掃描的圖像進(jìn)行局部水印處理，只要對(duì)圖像有任何改動(dòng)就能破壞水印，防止圖像文件被篡改；通過條型碼加密、數(shù)據(jù)庫和密碼設(shè)定專人管理、數(shù)據(jù)定期備份刻錄盤等措施，加強(qiáng)數(shù)據(jù)的安全管理。