徐彩云

摘要：自適應(yīng)考試系統(tǒng)能有效測出應(yīng)試者的真實(shí)能力水平，但題庫質(zhì)量要求高，試題參數(shù)計(jì)算復(fù)雜，系統(tǒng)實(shí)現(xiàn)有一定難度。具有自適應(yīng)特征的在線考試系統(tǒng)能夠以知識點(diǎn)相關(guān)聯(lián)，融合兩種考試方式的優(yōu)點(diǎn)，實(shí)現(xiàn)對應(yīng)試者真實(shí)能力水平的考查。文章對初始選題、自適應(yīng)選題策略、終止規(guī)則等關(guān)鍵技術(shù)進(jìn)行了研究，實(shí)驗(yàn)表明該系統(tǒng)測試效果較好。

關(guān)鍵詞：自適應(yīng)考試；在線考試；在線組卷；選題策略

中圖分類號：TP311

文獻(xiàn)標(biāo)志碼：A

文章編號：1006-8228（2017）01-30-04

0.引言

在線考試系統(tǒng)憑借評閱準(zhǔn)確及時、人為干擾少、公平性強(qiáng)等特點(diǎn)，已經(jīng)逐步替代紙質(zhì)考試。但大部分在線考試系統(tǒng)只是利用計(jì)算機(jī)對考試過程進(jìn)行管理與控制，實(shí)現(xiàn)自動閱卷，無法突破經(jīng)典測量理論（classic Test Theory，簡稱CCT）。

項(xiàng)目反應(yīng)理論（Item Response Theory，簡稱IRT）出現(xiàn)后，以IRT為基礎(chǔ)的計(jì)算機(jī)自適應(yīng)測試系統(tǒng)（computerized Adaptive Testing，簡稱CAT）采用“因人施測”的基本思想，每個應(yīng)試者都能接受一組符合自身能力水平的試題進(jìn)行測試。

與傳統(tǒng)考試相比，CAT具有對應(yīng)試者的能力評估準(zhǔn)確、測試效率高、評估方法公正科學(xué)等優(yōu)點(diǎn)。CAT雖然優(yōu)點(diǎn)多，但社會認(rèn)同度較低，除了試題參數(shù)計(jì)算復(fù)雜，題庫質(zhì)量要求高之外，以能力值表示的考試結(jié)果認(rèn)同度低也是重要原因。

本文以知識點(diǎn)關(guān)聯(lián)為基礎(chǔ)，實(shí)現(xiàn)一個具有自適應(yīng)特征的在線考試系統(tǒng)AFOMS（Online ExaminationSystem with Adaptive Features，簡稱AFOMS），避免自適應(yīng)考試系統(tǒng)的缺點(diǎn)的同時，達(dá)到測試應(yīng)試者真實(shí)知識水平的目的。

在設(shè)計(jì)AFOMS之前，參照CAT通用考試過程模型，設(shè)計(jì)了自適應(yīng)性在線考試模型SAFM（SelfAdaptive Features Model，簡稱SAFM）。

1.SAFM的設(shè)計(jì)

CAT的工作過程如下：系統(tǒng)在測試初始探查階段獲取應(yīng)試者能力值之后，在考試過程中根據(jù)答題情況動態(tài)地評估應(yīng)試者的能力值，選取最接近應(yīng)試者能力值的試題進(jìn)行施測，直至考試結(jié)束。

SAFM的設(shè)計(jì)思路：設(shè)有初始探查階段，自適應(yīng)選題施測階段以及測試終止階段。在選題策略方面，以知識點(diǎn)關(guān)聯(lián)關(guān)系，根據(jù)答題情況選取試題進(jìn)行施測，達(dá)到測試目的。

1.1初始探測選題

由教師用戶選定考查的知識點(diǎn)后，設(shè)置各題型試題數(shù)量，整體難易度后，系統(tǒng)自動生成一組試題進(jìn)行施測。在第一部分測試結(jié)束之后，系統(tǒng)自動對第一部分答題情況進(jìn)行分析統(tǒng)計(jì)。

1.2自適應(yīng)選題策略

基本思想是：分析第一部分考試結(jié)果后，根據(jù)之前某個知識點(diǎn)的試題答題情況，按照難度等級遞增或者遞減的原則來隨機(jī)選取下一道關(guān)聯(lián)這個知識點(diǎn)的試題施測，直至考查結(jié)束，實(shí)現(xiàn)考查知識點(diǎn)的全覆蓋。在本階段，關(guān)于某個知識點(diǎn)的試題至多只有兩道。

自適應(yīng)特征選題工作流程如圖1所示。

由圖1可知，第一道題與第二道題的選題策略是保證考試質(zhì)量的核心。

假設(shè)第一部分考試中出現(xiàn)的知識點(diǎn)為T（a₁，a₂，a₃......a_x），某個知識點(diǎn)考查的試題為M（M₁，M₂，M₃，M_x），試題對應(yīng)的難易度為P（P₁，p₂）2，P_x）。

對于某個知識點(diǎn)a_i，關(guān)于知識點(diǎn)a_i的試題集合M，自適應(yīng)特征考試第一題選題策略如圖2所示。

第一道試題選擇策略簡述如下。

（1）若全部答對，且試題M中存在某一試題M_i難度等級為難，則該知識點(diǎn)考查結(jié)束，考查下一個知識點(diǎn)。

（2）若全部答對，且試題M中不存在試題難度等級為難的試題，選取集合P中的等級最高值P_i，抽取一道關(guān)于知識點(diǎn)a_i難度等級為（p₁+1）的試題進(jìn)行測試。

（3）若全部答錯，則選取一道關(guān)于知識點(diǎn)ai的難度等級為容易的試題進(jìn)行測試。

（4）若答錯和答對都有，則記錄答錯題的最高難度等級Pi，選取一道難度等級為（P_i-1）的試題進(jìn)行測試。

第二道試題選擇策略簡述如下。

（1）若答對N，且R為難，則知識點(diǎn)a_i考查結(jié)束。

（2）若答對N，且R不為難，則選取一道難度等級為（R+1）的試題繼續(xù)測試。

（3）若答錯N，且R不為容易，則選取一道難度等級為（R—1）的試題繼續(xù)測試。

（4）若答錯N，且R為容易，則知識點(diǎn)鞏考查結(jié)束。

1.3終止規(guī)則

過多的測試題目容易導(dǎo)致測試時間過長，測試效率不高。SAFM采用終止策略是：在自適應(yīng)特征考試部分，關(guān)于某個知識點(diǎn)的試題達(dá)到一定數(shù)量即終止考查，考查下一個知識點(diǎn)。

2.AFOMS的設(shè)計(jì)

2.1 AFOMS的總體結(jié)構(gòu)

AFOMS的系統(tǒng)模型結(jié)構(gòu)如圖4所示。

2.2數(shù)據(jù)庫設(shè)計(jì)

采用Oracle 10g作為數(shù)據(jù)庫管理系統(tǒng)，設(shè)計(jì)了—個考試數(shù)據(jù)庫，共建了27個數(shù)據(jù)表。其中主要的數(shù)據(jù)庫表為15個，分別是學(xué)生信息表（命名為“STUDENT”）、課程信息表（命名為“LESSON”）、知識點(diǎn)信息表（命名為“KNOWLEDGE”）、題目信息表（命名為“QUESTION”）、考試配置表（命名為“TESTCONFIG”）、試卷難易度表（命名為“NYDTEST”）、第一部分考試知識點(diǎn)表（命名為“PRE_KNOW”）、第一部分考試答題信息表（命名為“PRE_PAPER”）、第一部分考試成績表（命名為“PRE_SCORE”）、第一部分考試分析表（命名為“PRE_RESULT”）、自適應(yīng)特征考試知識點(diǎn)表（命名為“TEST_KNOW”）、自適應(yīng)特征考試答題信息表（命名為“PAPER”）、自適應(yīng)特征考試成績表（命名為“SCORE”）、自適應(yīng)特征考試分析表（命名為“F_RESULT”）、第一部分考試和自適應(yīng)特征分析表（命名為“F_RESULT_ALL”）。

主要數(shù)據(jù)表之間的關(guān)系如圖5所示，其中pk表示主鍵，fk表示外鍵。

3.系統(tǒng)測試與分析

系統(tǒng)初步搭建后，兩位考生完成了考試。兩位考生的考試情況如表1所示。對比數(shù)據(jù)來看，第一部分考試答對的試題越多，自適應(yīng)特征考試的時間相應(yīng)縮短，收斂速度較快?？紤]到考生心理因素及其他因素，由兩部分考試的答題情況來評定最終成績比較合理。因此考試成績能反映出應(yīng)試者的知識水平，具有一定的實(shí)用性。

4.總結(jié)

為考查應(yīng)試者知識掌握水平，避免cAT的缺點(diǎn)，設(shè)計(jì)了以知識點(diǎn)為關(guān)聯(lián)的具有自適應(yīng)特征的在線考試系統(tǒng)。實(shí)驗(yàn)證明，具有自適應(yīng)特征的在線考試系統(tǒng)能夠?qū)崿F(xiàn)應(yīng)試者初始能力評估、自適應(yīng)選題測試以及知識點(diǎn)的全覆蓋考查。考試結(jié)果能夠反映應(yīng)試者的知識掌握水平。

我們將在未來繼續(xù)對選題策略、題庫結(jié)構(gòu)、知識點(diǎn)體系結(jié)構(gòu)的布局等展開研究。如在題庫中加入主觀題后，存儲結(jié)構(gòu)如何發(fā)生變化；主觀題的評判結(jié)果是否準(zhǔn)確及是否會影響選題策略；選題策略如何調(diào)整等。