呂 嵐

(陜西鐵路工程職業(yè)技術學院機電工程系，陜西 渭南 714000)

1 計算機自適應考試的背景及意義

隨著計算機和網絡技術的迅速發(fā)展，將計算機和網絡技術應用于教育已經成為一種趨勢?；赪eb的在線考試是教育研究的一項重要組成，在線考試取代傳統(tǒng)考試，教師從出卷、考試、閱卷、登記成績、分析考試結果等大量的重復勞動中解放出來，降低了人為因素對考試結果的影響。

傳統(tǒng)考試在實踐過程中已經暴露出很多的缺點及不足，如未考慮到考生的個體差異性，如果試題難度太高，對一些中等或水平低的考生，容易通過猜題獲取答案;而對于水平高的考生，如果測驗的試題太簡單，則難以準確地測試其真實水平，影響考試的公正性、公平性和有效性，也容易打擊學生的學習積極性、不易培養(yǎng)學生主觀能動學習，因此，探索一種新的考試形式對現代教育教學有著積極的意義。計算機化自適應考試(Computerized Adaptive Test，CAT)建構在20世紀50年代發(fā)展起來的現代測驗理論——項目反應理論(Item Response Theory，IRT)的基礎之上，同時也是近年來將計算機技術應用于教育測量學并取得重大進展的考試方法[1]。在自適應考試中，每個考生首先會通過一組基本測試項目確定其所對應的能力水平，然后測驗系統(tǒng)會選擇一組最適合于考生個體特質水平的項目對其進行測驗，使測試結果能最大限度地真實、客觀反映被測試者的能力水平。自適應考試和傳統(tǒng)考試相比，其測驗時間可大大縮短，做到因人施測，可以解決傳統(tǒng)考試中存在的諸多問題。

2 項目反應理論介紹

2.1 項目反應理論概念

項目反應理論[2]也稱潛在特質理論或潛在特質模型，是一種現代心理測量理論。Hambleton和Swami Nathan對項目反應理論作了如下定義[3]:在測驗情景中，通過定義被測試者的特征，即特質或能力，估計被測試者在這些特質上的得分(稱作能力值)，并運用這些分數預測或解釋項目以及答題情況，來解釋和預測被測試者的作答。

2.2 項目反應理論模型

IRT模型按照項目特征曲線的數學形式以及項目反應的評分方式分為三類:二元評分IRT模型、多級評分IRT模型、連續(xù)評分IRT模型[4]，如表1所示。

表1 IRT模型分類表

在IRT中應用最廣泛的是二元評分模型中的Logistic系列模型，分別是單參數Logistic模型(One-Parameter Logistic Module，1PL)、雙參數 Logistic 模型(Two-Parameter Logistic Module，2PL)、三參數 Logistic 模型(Three-Parameter Logistic Module，3PL)，模型公式如下[5]:

單參數模型

雙參數模型

三參數模型

其中:i=1，2，3，…，n;θ表示考生的能力水平;Pi(θ)表示能力水平為θ的考生答對試題i的概率;D=1.7表示量表因子;ai代表示試題i的區(qū)分度;bi表示試題i的難度;ci表示試題i的猜測參數。僅當猜測參數ci=0時，即為雙參數邏輯斯蒂模型[6];當ci=0且ai=1時，即為單參數邏輯斯蒂模型。

3 自適應考試系統(tǒng)的設計

3.1 系統(tǒng)功能模塊

本系統(tǒng)可以分為用戶管理模塊、試題庫管理模塊、考試管理模塊。系統(tǒng)功能如圖1所示。

這些模塊可以實現下列功能:

(1)用戶管理模塊:實現教師信息管理、學生信息管理、用戶權限管理。教師信息管理對教師信息進行查詢、添加、刪除、修改;學生信息管理對學生信息進行查詢，設置學生所在系部、專業(yè)和班級信息;用戶權限管理實現對教師、學生權限進行設置，實現數據備份、還原，系統(tǒng)配置等操作。

(2)試題庫管理模塊:實現瀏覽、查詢試題，設置題干、答案、項目參數等屬性，試題的錄入、更新、刪除操作，試題項目、知識點統(tǒng)計及分析。

圖1 系統(tǒng)功能模塊圖

(3)考試管理模塊:從不同課程，各種題型在知識點、數量、難度等方面對某份試卷生成組卷規(guī)則，按照項目反應理論逐步生成考題;學生正確登錄系統(tǒng)、完成考試、順利提交試卷;自動完成抽題、能力估計及自動終止考試，能夠自動評分;對題庫進行導入/導出操作、查詢科目知識點及題庫相關信息;查看考生的考試成績，進行成績統(tǒng)計，分析知識點及項目的相關信息，包括考試人數、最高分、最低分、平均分以及各分數段得分人數等，對信息進行維護。

3.2 UML 建模

在本系統(tǒng)中，使用UML建模對考試系統(tǒng)進行了分析。根據功能需求，本系統(tǒng)共設計出14個類，能實現系統(tǒng)的所有信息管理及相關操作。CUserGroup類(用戶分組類)、CUser類(用戶管理及操作類)、CGroupRight類(用戶權限管理類)、CSubject類(科目管理及操作類)、CStyle類(試題分類及管理類)、Subject-Styles類(科目與試題題型關聯(lián)類)、CAnswer類(試題答案及管理類)、CSubjectiveQuestion類(主觀試題題目及管理類)CObjectiveQuestion類(客觀試題題目及管理類)、CTestingTopic類(記錄正在測試試題信息及管理類)、CProjectList類(對考生所有測試過的項目進行管理)、CStudent類(考生信息及狀態(tài)管理類)、CMessagebox類(實現信息顯示類)、CTimer類(計時與定時管理類)。系統(tǒng)中的類圖如圖2所示。

3.3 系統(tǒng)開發(fā)關鍵技術

3.3.1 能力值初始化

本系統(tǒng)在自適應考試的測驗開始采用的方法是:如果考生參加過測驗，則根據歷史記錄確定考生的初始能力值，以此為依據，選擇測驗的起始題目;對于沒有參加過測驗的考生，本系統(tǒng)選擇一道中等難度的試題開始測試，根據測量理論，如果考生所測試的項目難度恰好為該考生答對概率為0.5左右，那么該項目對考生的測量精度最大[7]。

3.3.2 選題策略

本系統(tǒng)對最大信息量選題法進行改進，按a值遞增，同時考慮被測項目的均衡性，算法如下:

(1)根據a值大小將題庫分為k層，第一層具有最小a值，第k層的題目(項目)具有最大a值;

(2)將自適應考試分為m個階段;

(3)第n階段時在第y層題庫中選ny項目，1≤n≤m，1≤y≤k;求取所選項目的信息函數及能力估計值;并對ny項目的章節(jié)進行標記計數，設為參數值z;

(4)計算y+1層下所有項目的信息函數值，選取最大信息量對應項目，并計算新的;若選取的項目參數標記z出現的次數超過2次，則選取第二大的信息量的項目，可以確保抽題不會總集中在某一個章節(jié)上，降低了試題曝光率;

(5)重復(4)，對n=1，2，…，m;直到m值達到考試的長度，終止考試。

3.3.3 終止條件

首先設定最大允許測試長度，如果在最大測試項目長度內，滿足了信息量控制法就結束測試，否則在達到最大允許項目長度時結束測試。

圖2 系統(tǒng)類圖

4 總結與展望

本系統(tǒng)可以使試題管理者不斷改善測試項目，教師可以根據測試結果更好地運用于教學，學生則可以對所學知識有一個較全面的認識，對學習活動適當的調整，提高學習效率。

當然，本系統(tǒng)還有很多需要完善之處:

(1)試題庫中項目參數的確定:建立一個科學、合理的試題庫必須要對測試項目的參數a，b，c進行較準確的估計，同時也要考慮試題章節(jié)分布的合理和全面，本系統(tǒng)中試題參數的設置由于受樣本等因素限制，還沒有找到一個精確估計項目參數的方法。

(2)選題策略:選題策略是CAT中最核心的問題，目前對自適應考試系統(tǒng)也研究出了很多選題策略，但這些策略在實際應用中也出現了一些缺陷，如過度依賴高區(qū)分度的試題或某種特定的數學模型，導致不能客觀地對被測試者能力值進行估計。因此要深入研究選題策略，對其不斷改進。

(3)CAT安全設置:在CAT應用中出現過盜題現象，如何有效防止惡意盜題行為，提高系統(tǒng)的安全性，也是CAT研究的熱點。

在CAT測驗發(fā)展過程中提出了多種測驗安全控制方法，主要有:①SH條件概率法及其變式;②項目合格方法;③多重最大曝光率法;④a分層法及其變式。由于本系統(tǒng)選題策略使用的是a分層最大信息量選題法，所以對題庫曝光率的控制則采用a分層法及其變式來解決。主要思路是每一個測試項目有一個章節(jié)參數，當在ki層選取了一道測試項目np后，在ki+1層根據新的能力估計值選擇難度b和它最接近的題目nq，如果nq和np同屬一個章節(jié)，則另外選擇一個難度次接近并且和np不在同一章節(jié)的題目。通過這種方法，既保持了a分層最大信息量選題法的優(yōu)勢，也很好的解決了試題曝光率的問題。

隨著CAT越來越廣泛的應用和研究的不斷深入，上述問題會逐步解決。

[1]唐寧玉.三種心理側量理論的信度觀[J].心理科學，1994(1):33-34.

[2]顧海根.心理與教育測量[M].北京:北京大學出版社，2008:73.

[3]巫華芳.基于.NET的計算機化自適應測驗系統(tǒng)的設計與實現[D].上海:華東師范大學，2009.

[4]余嘉元.項目反應理論及其應用[M].南京:江蘇教育出版社，1992.

[5]薛榮.從經典測量理論到項目反應理論:談語音測試的兩種數學模型[J].外語研究，2007(4):60-64.

[6]Chang Qian Z.A-stratified multistage CAT with b-blocking Applied Psychological Measurement[J].Advanced Learning echnologies，2003(6):333-341.

[7]Wang Feng-hsu .Application of Componential IRT Model for Diagnostic Test in a standard Conformant Learning System[J].Advanced Learning Technologies，2006(4):237-241.