杜向然，吳樹錦，王文清

(天津海運職業(yè)學院，天津　300350)

智能化考試系統(tǒng)組卷評估研究*

杜向然，吳樹錦，王文清

(天津海運職業(yè)學院，天津300350)

摘要：組卷功能是計算機考試系統(tǒng)的核心功能之一。它是以組卷評估函數(shù)為導向，通過組卷算法從試題庫中抽取出滿足用戶要求的試題。組卷評估函數(shù)的好壞直接決定了系統(tǒng)組卷質(zhì)量的優(yōu)劣。目前，雖然市場上的考試系統(tǒng)很多，但是組卷質(zhì)量問題和試題庫的后期更新和維護仍是制約著系統(tǒng)進一步發(fā)展的主要障礙之一。本文提出了組卷評估函數(shù)智能化的方法，它不僅可以節(jié)省大量的人力和物力，更重要的是它可以在沒有教育專家干預的情況下，通過“自身”學習不斷完善評估函數(shù)的準確性。

關(guān)鍵詞：考試系統(tǒng)；組卷模型；機器學習；評估函數(shù)

一、引言

計算機考試系統(tǒng)是計算機輔助教學的重要部分之一，它的出現(xiàn)不僅有效地提高了出卷的效率和考試的公平性，而且避免了傳統(tǒng)考試所花費巨大的人力和物力。一套完整的考試系統(tǒng)主要包括五個部分：試題庫模塊、試卷庫模塊、組卷模塊、考試模塊和試卷分析模塊，其中最重要的部分，也是最體現(xiàn)考試系統(tǒng)智能的部分是組卷模塊。組卷模塊的主要功能是通過組卷算法從試題庫中，以評估函數(shù)為導向快速和準確地抽取出滿足用戶要求的試題集，它是決定試卷合理與否的關(guān)鍵部分。

計算機考試系統(tǒng)的智能化不僅可以使考試系統(tǒng)可以根據(jù)考生的實際情況動態(tài)地調(diào)整考試內(nèi)容和考試難度，而且系統(tǒng)可以通過分析考試結(jié)果不斷調(diào)整試題中的相應(yīng)參數(shù)，從而實現(xiàn)系統(tǒng)的“自身”完善。目前，智能考試系統(tǒng)的主要集中于組卷算法的研究，如：2009年王鳳蕊實現(xiàn)了基于差分差分進化算法的智能組卷系統(tǒng)；2014年南京航空航天大學的王友仁和他的研究團隊提出用免疫遺傳算法實現(xiàn)智能組卷；2011年袁桂霞提出用遺傳算法對多目標的組卷問題實現(xiàn)求解等。考試系統(tǒng)評估函數(shù)智能化的研究，目前還處于起步階段。

計算機考試系統(tǒng)評估函數(shù)是通過試題和考試的相關(guān)參數(shù)對試卷進行評估。如果評估函數(shù)不準確很可能導致組卷算法抽取不出理想的試卷，從而使考試結(jié)果不能反映出考生的真實水平。傳統(tǒng)考試系統(tǒng)中試卷參數(shù)都是由教育專家給出的，如果沒有一個強大的教育團隊支持的話，考試系統(tǒng)是很難準確地評估每張試卷的，而且這種方式產(chǎn)生的試卷很容易受到人為主觀意識的影響。考試系統(tǒng)的評估函數(shù)的智能化可以減少系統(tǒng)開發(fā)對于教育專家的依賴，從而節(jié)省系統(tǒng)開發(fā)的高額費用，降低系統(tǒng)的維護和更新成本。

本文提出用粒子群算法和遺傳算法對評估函數(shù)進行優(yōu)化。借助于機器學習的算法，考試系統(tǒng)在沒有人為干預的情況下不斷完善試題庫中每道試題的屬性，以使評估函數(shù)可以更好地引導組卷算法抽取出合理的試卷。

二、組卷評估

組卷是多目標、多約束的優(yōu)化問題，它的數(shù)學描述：假設(shè)在試題庫有n個候選試題Q1,Q2, …Qn，組卷要求從試題庫中找出滿足m個約束條件C1C2…Cm，使得目標函數(shù)的值最大。

組卷問題的(數(shù)學)模型的建立涉及到試卷的目標(評價)函數(shù)，試題的相關(guān)屬性、屬性的約束條件或范圍和變量說明等等。

(一)組卷目標

組卷目標是從試題庫中抽取出滿足約束條件的試題集。這些約束條件是由出卷人(教師或?qū)＜?指定的，如試題類型、難度系數(shù)、考點、答題時間、分值等。組卷目標(T)包括信度(R)、效度(V)、試題難度(Dif)和試題區(qū)分度(Dis)，公式表示如下：

T=w1R+w2V+w3Dif+w4Dis

(1)

其中wi是權(quán)重參數(shù)，它表示每個分量的重要程度。

信度主要考察試卷能夠在多大程度上真實地反映出應(yīng)試者能力，也可以理解為試卷的可信程度。信度的測試最常見的是重新測試法。重新測試法是指在不同的時間和不同的地點對同一批測試者進行多次測試，測試結(jié)果之間的比值是試卷的信度。比值在0.9到1之間，表示試卷信度在合理范圍內(nèi)，否則認為試卷信度不合理。

試卷效度是判斷試卷內(nèi)容符合教學大綱要求的程度，它的計算公式如公式(2)所示。

(2)

其中vij和xij分別表示題庫中第i種題型的第j道題是否滿足教學大綱要求和是否包含在試卷中，TN表示試卷中的題量。

試卷效度的取值范圍是0到1之間，當效度值趨向0時，表示試卷符合教學大綱的程度較低；當效度值趨向1時，試卷符合教學大綱內(nèi)容的程度較高。效度取值是由出題人給出的，合理的取值范圍是在0.8到0.95之間。

試卷難度表示試題的難易程度，它常常用試題的難度系數(shù)與試題分數(shù)之積表示。常見的試題難度分為易、較易、中等、較難和難5個等級，相關(guān)的系數(shù)分別用d1、d2、d3、d4和d5表示。試卷難度可以表示為試題難度之和與試卷總分數(shù)之商，其計算公式如(3)所示。

(3)

試卷區(qū)分度是試卷區(qū)分應(yīng)試者實際能力的程度，它是試卷中包含的所有試題的區(qū)分度之和。試卷區(qū)分度和試卷難度之間沒有直接關(guān)系，它是評價試卷合理性的重要指標之一。試題區(qū)分度的計算方法是該試題高分數(shù)平均值與低分數(shù)段平均值之差，它的初始值是由專家給出的。試卷區(qū)分度是試卷中所有試題的區(qū)分度之和，計算公式如下。

(4)

其中fij表示第i種題型的第j道試題的區(qū)分度。一般情況下，區(qū)分度分成三個等級，區(qū)分等級為k的試題在試卷中的百分比FPk可以通過下式計算出。

(5)

(二)組卷約束條件

組卷約束條件是決策變量的取值范圍，它是組卷質(zhì)量的重要保證。常見的約束條件包括：題量、總分數(shù)、章節(jié)(項目)、考試時間、知識點和能力層次等等。這些條件的具體要求如下：

1.題量分布。題量(TN)的計算公式如公式(6)所示，其中TN表示題量。

(6)

變量xij表示第i種題型的第j道題是否被選中，當xij=1時，表示該題被選中；當xij=0時，表示該題未被選中。

2.總分數(shù)的分布。試卷總分數(shù)(TS)的計算公式用公式(7)表示：

(7)

(8)

6.知識點分布是根據(jù)教學大綱的內(nèi)容劃分的。對于一份合理的試卷，知識點的覆蓋面不僅要廣，而且要詳略得當。知識點的具體比例是由出題人員給出。題庫中的知識點由矩陣K表示，其中kij表示第i章第j題屬于的知識點數(shù)。如kij=1表示第i章第j題屬于第一個知識點。公式(8)表示試卷中第e個知識點Ke的值。

(9)

7.能力層次分布是把教學內(nèi)容按照不同的能力要求劃分成不同的層次，常見的層次劃分是：了解、(熟悉)理解、掌握和靈活運用四個層次。矩陣P表示不同章節(jié)不同試題的能力層次，Pij取值范圍是從1到4的整數(shù)，分別表示了解、(熟悉)理解、掌握和靈活運用。

不同能力層次的試題在試卷中的比例是由出題人給定的，計算公式如(9)所示。

(10)

8.曝光度約束

試題曝光度是指試題使用的次數(shù)，它是衡量試題有效性和保密性的重要指標。試題的曝光度越小證明該試題越少被使用，這樣的試題更能考察出學生的真實水平。試卷的曝光度是試題曝光度之和，常用公式(13)表示。

(11)

其中eij第i種題型的第j道試題的曝光度。

9.約束條件中的試卷難度和試卷區(qū)分度與目標函數(shù)中的概念和數(shù)學表示相同，限定條件也是有出題人或教育專家給定的。

三、智能優(yōu)化算法

考試系統(tǒng)的試卷評估模塊的需要在(上面提到)9個因素的限定下，通過目標函數(shù)對試卷的優(yōu)劣進行評價。評估系統(tǒng)中涉及到大量的參數(shù)，這些參數(shù)的初始化一般都是由教育專家憑借自身經(jīng)驗給出的，而且它們往往是靜態(tài)的，一旦設(shè)定就不會改變。智能化的評估模塊可以借助人工智能的優(yōu)化算法，通過系統(tǒng)本身的不斷學習，自動地調(diào)整相應(yīng)的參數(shù)。粒子群算法和遺傳算法是優(yōu)化算法中的佼佼者，它們已經(jīng)被成功地應(yīng)用到很多實際領(lǐng)域中。

(一)粒子群算法

粒子群算法是高效的優(yōu)化算法之一，它模擬鳥群的捕食活動實現(xiàn)目標優(yōu)化。粒子群算法的研究工作起步較晚，但其憑借自身的特點，它已經(jīng)成功地應(yīng)用到很多實際項目中，成為優(yōu)化問題的研究新熱點。

粒子群算法優(yōu)化時，每個粒子代表一組需要優(yōu)化的參數(shù)，由多個粒子組成的粒子群表示優(yōu)化問題的解空間集合。粒子群算法的最終目的是在解空間中找到適應(yīng)度最高的粒子，將其作為優(yōu)化問題的最優(yōu)解。粒子群中的每個粒子包括兩部分信息：位置信息和優(yōu)化速度信息。位置信息由n維向量表示，它表示需要優(yōu)化的參數(shù)。

對于考試系統(tǒng)而言，位置信息表示組卷約束條件的參數(shù)。每個粒子的速度與相應(yīng)的位置信息相對應(yīng)，它用于調(diào)節(jié)每個粒子的優(yōu)化速度，避免相應(yīng)屬性陷入局部極值。粒子群位置信息和速度信息的更新是通過下列公式實現(xiàn)的。

S(t+1)=w·S(t)+C1·rand·(LBest-S(t))+C2·rand·(GLBest-S(t))

(12)

L(t+1)=L(t)+S(t+1)

(13)

其中S(t+1)和L(t+1)分別表示第t+1代的粒子位置信息速度信息。LBest是每個粒子全局極值，它是粒子在更新過程中遇到的位置信息最優(yōu)值。GLBest代表粒子群中最優(yōu)粒子位置信息。參數(shù)C1、C2和rand控制優(yōu)化的速度和方向，這些參數(shù)一般都是靠試驗給出答案。

(二)遺傳算法

遺傳算法是一種學習算法，它模擬人類的進化過程，通過選擇、交叉和變異等操作在假設(shè)空間中尋找最優(yōu)解。算法中每個染色體代表一組需要優(yōu)化的參數(shù)，常用N維向量表示。多個染色體構(gòu)成群體。染色體常用二進制的編碼方式表示。每一代進化完成時，適應(yīng)度較高的染色體會被直接進入到下一代，而適應(yīng)度較低的染色體會被淘汰掉。遺傳算法還會通過遺傳算子決定進行交叉和變異的染色體，從而產(chǎn)生下一代的染色體。圖1給出了遺傳算法的標準優(yōu)化過程。

圖1　遺傳算法流程圖

遺傳算法優(yōu)化組卷評估函數(shù)時，每個染色體表示一組組卷約束條件的參數(shù)。每個染色體的適應(yīng)度通過組卷目標函數(shù)計算。優(yōu)化過程中需要的遺傳算子則需要通過實驗得出。如果現(xiàn)有的遺傳算子的無法滿足組卷評估的要求，則可以根據(jù)組卷的特點對遺傳算子進行改進。種群中交叉和變異的概率也是需要通過實驗得出的。

除了遺傳算法和粒子群算法的以外，還有很多有效的優(yōu)化算法，如蟻群算法、魚群算法等。至于哪個算法能更加貼近考試系統(tǒng)的特點，需要進一步的研究給出答案。

四、總結(jié)

考試系統(tǒng)評估模塊的智能化不僅可以擺脫系統(tǒng)維護對教育專家的依賴，而且可以使考試系統(tǒng)在沒有人為干預的情況下，通過對考試結(jié)果的分析實現(xiàn)系統(tǒng)進化。本文從理論上提出用粒子群算法和遺傳算法等優(yōu)化算法實現(xiàn)考試系統(tǒng)評估函數(shù)智能化的方法，詳細地給出了組卷評估函數(shù)所需要考慮的各項限定因素和組卷目標函數(shù)。該方法的建立為考試系統(tǒng)的智能化指明了方向，對系統(tǒng)智能化的實現(xiàn)起到指導和促進作用。目前，考試系統(tǒng)評估模塊的智能化研究還處于探索階段，至于哪個優(yōu)化算法可以更好的提高評估函數(shù)的精度還需要進一步研究。

參考文獻：

[1]杜向然，吳樹錦，王文清.計算機組卷算法分析[J].天津職業(yè)學院聯(lián)合學報，2015，(05).

[2]應(yīng)繼儒,胡立新,龍毅等.試題庫隨機選題數(shù)學模型的構(gòu)建及實現(xiàn)[J].計算機應(yīng)用,2000,(01).

[3]王鳳蕊,王文宏,潘全科.基于差分進化算法的智能組卷研究[J].計算機工程與設(shè)計,2009,(08).

[4]王友仁,張砦,崔江,姚睿,儲劍波.智能組卷系統(tǒng)的建模與算法研究[J].系統(tǒng)工程理論與實踐，2014，(09).

[5]袁桂霞.自動組卷的建模和仿真研究[J].計算機仿真，2011，(11).

[6]王萌,唐培和,李春貴.基于改進遺傳算法的智能組卷研究[J].計算機應(yīng)用與軟件,2008,(02).

[7]張志堯,陳欣,張彤.評估考試質(zhì)量的數(shù)學模型[J].天津醫(yī)科大學學報,2001,(02).

[8]王亞敏，冀俊忠.基于粒子群優(yōu)化的考試時間安排問題的求解算法[J].計算機應(yīng)用，2009,(06).

[9]袁桂霞.自動組卷的建模和仿真研究[J].計算機仿真,2011，(11).

[10]朱明,王俊普.一種智能組卷方法的研究與實現(xiàn)[J].微小型計算機開發(fā)與應(yīng)用，1997，(05).

[11]羅毅.基于知識點-難度比例的組卷算法研究[J].武漢理工大學學報，2009，(10).

Research on Test Paper Organizing Evaluation of Intelligent Examination System

DU Xiang-ran, WU Shu-jin, WANG Wen-qing

(TianjinMaritimeCollege,Tianjin, 300350)

Abstract:Test paper organizing function is one of core functions of computer-based examination system. With test paper organizing evaluation function as orientation, and through test paper organizing algorithm, it is to extract the question items meeting the user requirements from the question bank. The test paper organizing function directly determines the test paper organizing quality of system. Currently, although there are many examination systems in the market, the test paper quality problem and the later upgrading and maintenance of question bank are still the main barriers which restrict the further development of systems. This paper presents the method to intelligentize the test paper organizing evaluation function. It can save lots of manpower and material resources, and more importantly, it is able to continuously perfect the accuracy of evaluation function through “self” learning without the interference of education specialists.

Key words:examination system; test paper organizing model; machine learning; evaluation function

收稿日期：2015-10-30

作者簡介：杜向然(1982-)，男，天津人，天津海運職業(yè)學院信息工程系講師，碩士研究生，主要研究方向是人工智能、機器學習與機器博弈。

中圖分類號：TP391

文獻標識碼：A

文章編號：1673-582X(2016)05-0059-06

*天津海運職業(yè)學院教育教學改革研究項目《基于J2EE體系結(jié)構(gòu)的智能組卷系統(tǒng)的設(shè)計與實現(xiàn)》，項目編號201305。