任子朝 程力 陳昂

計算機(jī)化考試的試題編擬與命題管理

任子朝 程力 陳昂

計算機(jī)化考試（CBT）具有高效、快捷的優(yōu)點(diǎn)，不僅帶來了試題編擬、存儲、組卷和試題呈現(xiàn)方式的革命，更帶來了命題思想、觀念的革命。在命制試題時，需要利用計算機(jī)考試的特點(diǎn)，創(chuàng)設(shè)新穎的情境；組卷時，線性動態(tài)考試系統(tǒng)（LOFT）建立了自動組卷的新模式；命題管理系統(tǒng)也借助題庫系統(tǒng)將參與命題的人員進(jìn)行了分類管理。研究CBT有助于命題人員更新命題理念，創(chuàng)新題型設(shè)計，優(yōu)化組卷方式。

計算機(jī)化考試；命題；組卷系統(tǒng)；題庫管理系統(tǒng)

1 引言

隨著計算機(jī)和信息技術(shù)的發(fā)展，計算機(jī)化考試（Computer-based Test，CBT）逐漸應(yīng)用于考試實(shí)踐中，越來越多的考試機(jī)構(gòu)開始使用計算機(jī)化考試取代傳統(tǒng)的紙筆考試。在過去的三十多年里，相繼開發(fā)出的一些高水平的大型計算機(jī)化測試，宣告了世界測量已進(jìn)入一個高科技時代。甚至有研究者預(yù)言“所有的考試總有一天都會采用某種計算機(jī)化測試形式”[1]。一般認(rèn)為，利用計算機(jī)進(jìn)行題目命制、考試實(shí)施、評分、試卷分析及成績反饋的各類測試均可稱為計算機(jī)化測試[2]。CBT省去了試卷印刷、發(fā)送等工作環(huán)節(jié)，更具有高效、快捷的優(yōu)點(diǎn)，并由此帶來了試題編擬、組卷、管理等一系列的革命，因此CBT不僅是技術(shù)革命，更是命題管理的革命。本文將從試題情境設(shè)計、組卷系統(tǒng)、命題管理等幾個方面討論基于CBT的試題命制以及帶給我們的啟示。

2 試題情境設(shè)計

試題的立意、情境和設(shè)問是編制試題的三個要素。在明確試題考查目的之后，如何選取合適的素材，設(shè)計恰當(dāng)?shù)那榫硜韺?shí)現(xiàn)考核目的是試題命制的重點(diǎn)之一。利用計算機(jī)獨(dú)特的功能，如多媒體、互動方式等，可以開發(fā)出更優(yōu)質(zhì)的創(chuàng)新試題（Innova?tive Items），創(chuàng)設(shè)出更新穎的情境，從而提高考查效度。在CBT試題編制的設(shè)計中，需要注意以下因素：

2.1 利用計算機(jī)技術(shù)的創(chuàng)新

隨著多媒體技術(shù)的發(fā)展，CBT不僅可以呈現(xiàn)文字、圖像、表格等文本信息，而且可以包含音頻、視頻、動畫等多種形式的媒體，能夠呈現(xiàn)各種復(fù)雜的、動態(tài)的信息，能夠模擬考生生活或工作中的真實(shí)場景，擴(kuò)大了考試的內(nèi)容范圍，更新試題呈現(xiàn)方式。[3]另外，考生可以通過點(diǎn)擊鼠標(biāo)、鍵盤輸入、對著麥克風(fēng)說話等行為作答，使得測量的渠道更為多元、更為互動、更為直觀。這些技術(shù)創(chuàng)新拓展了命題設(shè)問的空間。

在進(jìn)行試題情境的創(chuàng)設(shè)時，可以根據(jù)試題的考查目標(biāo)和考查內(nèi)容，整合貼近考生的文字、圖像、表格、視頻、音頻、動畫等素材，合理地設(shè)計試題呈現(xiàn)的內(nèi)容，將多種形式信息合理地組織利用起來。例如，一類新題型：熱點(diǎn)題，在屏幕上提供試題情境，讓考生通過點(diǎn)擊鼠標(biāo)，點(diǎn)擊不同區(qū)域作答。例如在計算機(jī)屏幕上呈現(xiàn)太陽系，要求考生將太陽系的八大行星拖拽到正確的屏幕位置?；蛟谄聊簧辖o出太陽的影像，要求考生在圖上標(biāo)注出太陽耀斑最強(qiáng)烈的地方。

2.2 能力要求的創(chuàng)新

CBT創(chuàng)新試題具有素材來源廣泛、呈現(xiàn)形式多樣、信息量豐富、情境真實(shí)、設(shè)問角度靈活的特點(diǎn)。這些特點(diǎn)使得CBT能夠考查傳統(tǒng)紙筆考試所不能考查的新能力。例如數(shù)據(jù)處理能力、綜合推理能力等。數(shù)據(jù)處理能力是：從龐大的數(shù)據(jù)中排除次要信息，分析、整合并提煉出重要信息的能力。這個能力對今后的學(xué)習(xí)至關(guān)重要，也是職場上所必不可少的技能。在對數(shù)據(jù)處理能力進(jìn)行考查時，考生可以利用計算機(jī)獨(dú)特的排序等功能對呈現(xiàn)的數(shù)據(jù)進(jìn)行編輯，挖掘數(shù)據(jù)背后的規(guī)律，發(fā)現(xiàn)解題的路徑，展現(xiàn)推理能力。綜合推理能力是：考生需要綜合各種不同的信息，選擇合適的方法、路徑進(jìn)行推理論證。例如GMAT最近推出的綜合推理題型（Integrate Reasoning），考生在回答問題時，需要運(yùn)用表格分析、圖表解讀、統(tǒng)計推斷等方法，綜合分析多種形式、多種來源的輸入信息，評估可能的結(jié)果后，探索可以選擇的決策，尋求最恰當(dāng)?shù)目尚蟹桨?。試題考查了考生分析綜合、評估、批判性思維等更高層級的認(rèn)知技能。

還有一些傳統(tǒng)紙筆考試中無法考查的能力，在CBT中也有不同的考查形式和內(nèi)涵。例如，實(shí)驗(yàn)?zāi)芰κ亲匀豢茖W(xué)研究中的一項(xiàng)重要能力，然而在傳統(tǒng)的自然科學(xué)考試中，實(shí)驗(yàn)?zāi)芰Φ目疾橥荒茉诩埳线M(jìn)行。借助計算機(jī)，通過模擬真實(shí)的實(shí)驗(yàn)情境，CBT的試題可以考查考生實(shí)際動手操作的能力，特別是設(shè)計實(shí)驗(yàn)的能力。這些試題提供大量的實(shí)驗(yàn)器材，要求考生根據(jù)實(shí)驗(yàn)?zāi)康?，設(shè)計原理和步驟，挑選適當(dāng)?shù)膶?shí)驗(yàn)器材，在仿真的實(shí)驗(yàn)環(huán)境中，獲取實(shí)驗(yàn)數(shù)據(jù)，分析和處理實(shí)驗(yàn)結(jié)果等，實(shí)現(xiàn)對考生實(shí)驗(yàn)?zāi)芰Φ目疾椤?/p>

2.3 為考生提供多種選擇

每個考生的個性是不同的，傳統(tǒng)的紙筆考生往往難以照顧到這點(diǎn)，而計算機(jī)化的考試可以方便地按照一定的方式分發(fā)試題，CBT呈現(xiàn)的試題情境可以根據(jù)考生回答的情況變化，從而有效地區(qū)分各類考生群體，使考試更加個性化。例如，在模擬的實(shí)際辦公情境中，假設(shè)你是一名員工，需要與客戶聯(lián)系，你可以選擇電話、E-mail等方式。如果選擇電話，屏幕上呈現(xiàn)電話場景的試題；如果選擇E-mail，屏幕上呈現(xiàn)一封實(shí)際的E-mail，你需要給客戶發(fā)一封電子郵件。這種非線性的呈現(xiàn)試題的方式，體現(xiàn)了考生的自主選擇性，有利于激發(fā)考生的真實(shí)的反應(yīng)行為。

2.4 利于考后的評價

值得注意的是，CBT試題進(jìn)行創(chuàng)新的同時，評價細(xì)則也同樣進(jìn)行創(chuàng)新。一般來說，評價細(xì)則應(yīng)與思維量相匹配，具有可操作性，以方便后期的數(shù)據(jù)統(tǒng)計分析。如GMAT推出的綜合推理題型，每一道試題的分值相同，且都有2至3道子題?？忌饘θ孔宇}得1分，否則得0分，降低了考生猜測的因素。另一種賦分方式是每一道子題1分，考生的得分為答對子題的個數(shù)。另外每個試題需要考生作答的量較小，這樣閱卷的工作量也就相對較小。

最近，采用人工智能進(jìn)行評分成為CBT測試發(fā)展的新方向，更多科學(xué)技術(shù)被運(yùn)用到評價中來。例如：人工智能在CBT中的應(yīng)用主要體現(xiàn)在：利用自動語音識別技術(shù)進(jìn)行口語評分，以及利用統(tǒng)計、自然語言處理和人工智能實(shí)現(xiàn)寫作自動評分[4]。

2.5 促進(jìn)考生充分發(fā)揮真實(shí)水平

創(chuàng)新題型的情境復(fù)雜，信息量大，思維容量大，呈現(xiàn)方式多樣，對考生的思維能力要求較高?？忌笤?～3分鐘內(nèi)完成一道試題，因此需要集中注意力，激發(fā)全部的潛能，綜合分析屏幕的多個信息才能完成解答。

試題情境的創(chuàng)設(shè)力求對所有考生都是公平的，不出現(xiàn)試題功能性偏差。試題的情境和設(shè)問具有一定的挑戰(zhàn)性，能夠讓不同層級的考生發(fā)揮自身的水平，能夠在更高層級的思維水平上區(qū)分考生。

3 組卷系統(tǒng)

單個的試題命制完成后，需要組拼成一個集合，即一套試卷。傳統(tǒng)組卷方式是在考試開始前就組成一套固定的試卷，所有考生使用的試卷是完全一樣的。而CBT中的線性動態(tài)考試系統(tǒng)（Linear onthe-fly Testing，LOFT）則是在此基礎(chǔ)上進(jìn)行了改進(jìn)，與傳統(tǒng)的組卷方式不同，LOFT是在考前為每位考生臨時組拼一套試卷，進(jìn)而組拼成多套平行試卷用于考試，并且考試的內(nèi)容和統(tǒng)計指標(biāo)嚴(yán)格受控。

3.1 線性動態(tài)考試系統(tǒng)（LOFT）介紹

線性動態(tài)考試系統(tǒng)以題庫為依托，在每位考生坐到計算機(jī)前，題庫就為其組拼了一套試卷。組拼試卷具體的指標(biāo)主要包括以下內(nèi)容。

（1）內(nèi)容結(jié)構(gòu)（Content Structure）。首先將題庫中考試科目的考試內(nèi)容分為若干部分，分別存儲。在組卷之前確定試卷中每部分內(nèi)容試題的數(shù)量。每部分題目的數(shù)量=本部分內(nèi)容在大綱中的比例×試卷題目數(shù)量。同時，根據(jù)考查重點(diǎn)內(nèi)容的題目在本部分內(nèi)容中的比例，決定考查重點(diǎn)題目數(shù)量。在組卷過程中，注意避免“敵對題”的出現(xiàn)，所謂“敵對題”就是相互之間有提示影響的試題。

（2）試題曝光率（Item Exposure Rate）。因?yàn)轭}庫中的試題是重復(fù)使用的，所以要控制每道試題的曝光率，使每道試題被抽到的概率大體相同。避免統(tǒng)計數(shù)據(jù)較好的試題曝光率過高。

（3）試卷之間題目重疊率（Form Overlapping Rate）。因?yàn)槊總€考生的試卷既不是完全相同，也不是完全不同，每張試卷之間都可能有部分相同的題目，必須控制試卷間相同試題的數(shù)量，或者說相同試題的比例。這個比例根據(jù)題庫中試題的數(shù)量、考生人數(shù)、考試次數(shù)、試題難度等因素綜合考慮確定。

（4）試卷難度區(qū)間（Form Overall Difficulty Range）。在考試中，為保證公平，要保證每張試卷的難度是等值的，所以每張試卷的整體難度要控制在一個基本相同的區(qū)間。因此每張試卷難度的估計區(qū)間不能過大，以便使不同試卷等值。

（5）信度（Rasch Reliability）。為保證考試的穩(wěn)定性和可靠性，也要控制試卷的信度區(qū)間，使考生的成績穩(wěn)定、可靠。

3.2 線性動態(tài)考試系統(tǒng)的基礎(chǔ)

LOFT的設(shè)計和使用是以題庫為基礎(chǔ)的，為了保證考生的成績等值、可信，要采取多項(xiàng)措施，一是全面規(guī)劃題庫中試題的數(shù)量，二是實(shí)施共同題等值，三是進(jìn)行大規(guī)模的試測，分析考試試測數(shù)據(jù)，使每個試題都有一整套數(shù)據(jù)指標(biāo)。這樣就使考生能力水平在每次考試間具有可比性，考試數(shù)據(jù)年度間具有可比性。另外LOFT更適用于標(biāo)準(zhǔn)參照測驗(yàn)，因?yàn)闃?biāo)準(zhǔn)參照測驗(yàn)主要測試考生的知識、技能和表現(xiàn)，一般不進(jìn)行考生個人之間的比較，考生通過與否是關(guān)鍵，因此可以實(shí)行窄全距的難度分布，在標(biāo)準(zhǔn)附近多設(shè)計試題，以測試考生是否達(dá)到了規(guī)定的標(biāo)準(zhǔn)。

3.3 LOFT特點(diǎn)分析

線性動態(tài)考試系統(tǒng)和固定試卷相比有三個優(yōu)點(diǎn)：一是提高考試安全性，因?yàn)槊總€考生使用的試卷中的題目不完全相同，降低因?yàn)榭忌荚嚭蠡ハ鄬︻}而產(chǎn)生的潛在漏題風(fēng)險。二是減少因?yàn)樵囶}僅僅使用一次，所以命制大量試題而增加的研發(fā)的費(fèi)用。三是提高題庫試題的利用率。

4 命題管理

CBT不僅改變了試題的呈現(xiàn)形式，而且對命題管理也帶來了巨大的變化，特別是對基于題庫命題的考試項(xiàng)目。利用題庫管理系統(tǒng)，可以將參與命題的人員分成幾類，例如項(xiàng)目管理者、試題編寫者、審題專家等。

項(xiàng)目的管理者在題庫建立伊始就要規(guī)劃和設(shè)計好考試項(xiàng)目的管理流程，從而設(shè)定不同的用戶。借助計算機(jī)的功能，項(xiàng)目管理者可以增減用戶、限定不同用戶的權(quán)限、記錄用戶的登錄記錄等。這些不同用戶之間的權(quán)限有所不同，例如，審題專家有權(quán)限看到已經(jīng)編寫完成的試題，而無法看到已經(jīng)進(jìn)入題庫中的試題。

基于題庫命題管理后，項(xiàng)目管理者可以不用再把試題編寫者聚集到一起進(jìn)行面對面的討論，而是可以借助計算機(jī)和互聯(lián)網(wǎng)實(shí)現(xiàn)遠(yuǎn)程管理。項(xiàng)目管理者利用題庫軟件的功能，甚至可以回溯試題編寫者的命題過程，這樣能更好地從命題的立意、材料的選取、方法的使用等多個角度來審定和處理試題。試題編寫者也可以根據(jù)自己的時間來安排工作，當(dāng)試題編寫者登錄到題庫系統(tǒng)后，他能夠明確知道自己所需要編寫的試題內(nèi)容、題型、數(shù)量、難易度等要求。項(xiàng)目管理者能隨時從命題藍(lán)圖中掌握試題編寫進(jìn)度（見表1）。

當(dāng)試題編寫者完成試題編寫后，項(xiàng)目管理者可以把這些試題發(fā)送給其他的試題編寫者進(jìn)行審校，或者是發(fā)給審題專家進(jìn)行裁決。這些反饋意見都可以通過計算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程傳輸，并最終體現(xiàn)在題庫管理系統(tǒng)中（見表2）。

表1 命題藍(lán)圖

5 思考與啟示

（1）計算機(jī)化考試不但是試題呈現(xiàn)方式的變革，而且是試題情境設(shè)計、組卷和統(tǒng)計方式的變革，命題人員要勇于面對挑戰(zhàn)，開拓思路，積極研究CBT的特點(diǎn)，善于應(yīng)用計算機(jī)技術(shù)，設(shè)計適應(yīng)CBT的試題。可以選擇一些科目或一些科目的部分試題實(shí)行CBT，總結(jié)經(jīng)驗(yàn)，逐步推廣。

（2）應(yīng)用技術(shù)手段是為了更好地實(shí)現(xiàn)考試目的，要恰如其分地使用技術(shù)手段，不能機(jī)械地為使用而使用，要充分發(fā)揮其獨(dú)特的作用，為實(shí)現(xiàn)考試目的服務(wù)。在試題情境的開發(fā)中，應(yīng)合理使用多媒體技術(shù)，要根據(jù)測量目的，挑選最適合計算機(jī)呈現(xiàn)的、適合作答的情境和呈現(xiàn)形式，而不能本末倒置，由于濫用多媒體技術(shù)而影響了考試目標(biāo)的實(shí)現(xiàn)。

（3）LOFT組卷系統(tǒng)既不同于傳統(tǒng)的固定試卷，也不同于計算機(jī)自適應(yīng)測驗(yàn)，而是根據(jù)考試需要開發(fā)的組卷系統(tǒng)。這就啟示我們，在題庫的建設(shè)過程中要本著實(shí)事求是的原則，不能教條主義、本本主義，以單題形式存儲的是題庫，以試卷形式存儲的也是題庫，只要能靈活、快捷、高效完成考試任務(wù)，全面、準(zhǔn)確、完整實(shí)現(xiàn)考試目的就是好的題庫。

表2 試題編寫者的管理

（4）CBT改變了試題的命制方式，也同時改變了命題管理，如何利用新的技術(shù)、新的管理平臺完成命題工作是命題人員需要研究和實(shí)踐的任務(wù)。命題人員要總結(jié)出題庫管理的經(jīng)驗(yàn)和特點(diǎn)，結(jié)合不同的科目形成具有學(xué)科特點(diǎn)的管理流程和經(jīng)驗(yàn)。

[1]Bennett，R.E.Inexorable and evitable:The continuing story of tech?nology and assessment[J].Journal of Technology,Learning,and Assessment，2002,1(1).

[2]Davis，A.,et al.Dictionary of Language Testing[M].Cambridge:Cambridge University Press，1999：28.

[3]曾用強(qiáng).對計算機(jī)化考試的幾點(diǎn)思考[J].外語電化教學(xué),2010（1）：52-55.

[4]程蒙蒙.計算機(jī)化語言測試的歷史與我國的實(shí)施條件和研究方向[J].北京師范大學(xué)學(xué)報（社會科學(xué)版）,2012（增）：65-69.

Cogitation upon Item Writing and Management Which Based on Computer-based Test

REN Zizhao，CHENG Li and CHEN Ang

Computer-based test（CBT）enjoys the advantage of being an effective and efficient testing method.It brings a revolution in test design,storage,editing,and presentation.It also brings a revolution in the philosophy and concept of testing design.When designing a test on CBT,we should adopt innovative scenario to appeal to the feature of CBT.In test editing,we should take advantage of the LOFT system to enable a new model of automatic test editing.Using the item pool system,the test design management system arranges test design personnel based on categories.Research on CBT enables test design personnel to adopt new concepts for test design,new test item format,and to upgrade test editing methods.

CBT；Item Writing；Component System；Item Banking Management System

G405

A

1005-8427(2014)03-0003-6

本文系全國教育科學(xué)規(guī)劃教育部重點(diǎn)課題“高考能力考查與內(nèi)容改革創(chuàng)新研究”（GFA111006）。

任子朝，男，教育部考試中心，研究員（北京 100084）

程 力，男，教育部考試中心，助理研究員（北京 100084）

陳 昂，男，教育部考試中心，助理研究員（北京 100084）