楊建原 柏檜 趙守盈

計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)開發(fā)的程序研究

楊建原 柏檜 趙守盈

計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)（Computerized Adaptive Testing，CAT），是基于項(xiàng)目反應(yīng)理論（IRT）建立題庫(kù)，由計(jì)算機(jī)根據(jù)被試能力自動(dòng)選擇試題，最終對(duì)被試能力做出估計(jì)的一種新的測(cè)驗(yàn)形式。CAT因人選題，項(xiàng)目針對(duì)性強(qiáng)，用較少的題目較精確地估計(jì)被試的能力。CAT雖好，但不能盲目進(jìn)行。從構(gòu)思到使用，一個(gè)完整的CAT一般需要經(jīng)歷四個(gè)階段：CAT可行性、適用性的考察研究，建設(shè)題庫(kù)，確定CAT的算法及參數(shù)，投入使用和維護(hù)。每一階段對(duì)CAT的有效性都至關(guān)重要。

項(xiàng)目反應(yīng)理論；計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)；模擬

計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)（Computerized Adaptive Testing，CAT），是基于項(xiàng)目反應(yīng)理論（IRT）建立題庫(kù)，并由計(jì)算機(jī)根據(jù)被試能力自動(dòng)選擇試題，最終對(duì)被試能力做出估計(jì)的一種新的測(cè)驗(yàn)形式[1]。計(jì)算機(jī)通過在題庫(kù)中調(diào)用與被試能力匹配的項(xiàng)目，來不斷修正對(duì)被試能力的估計(jì)，如果被試答對(duì)了當(dāng)前的項(xiàng)目，一個(gè)更難的項(xiàng)目就會(huì)被調(diào)用，反之亦然。當(dāng)測(cè)驗(yàn)達(dá)到所需標(biāo)準(zhǔn)時(shí)，計(jì)算機(jī)停止調(diào)用題目，測(cè)試停止。傳統(tǒng)測(cè)驗(yàn)中，測(cè)驗(yàn)長(zhǎng)度固定，但測(cè)驗(yàn)精確度是變化的。一般來說，傳統(tǒng)測(cè)驗(yàn)的大部分項(xiàng)目是中等難度，因此對(duì)中等能力被試的估計(jì)誤差較小。但CAT因人選題，項(xiàng)目針對(duì)性強(qiáng)，用較少的題目較精確地估計(jì)被試的能力。

CAT雖好，但不能盲目運(yùn)用。一個(gè)完整的CAT從構(gòu)思到使用，一般需要經(jīng)歷四個(gè)階段：CAT可行性、適用性的考察研究，建設(shè)題庫(kù)，確定CAT的算法及參數(shù)，投入使用和維護(hù)。每一階段對(duì)CAT的有效性都至關(guān)重要。CAT開發(fā)過程中如果沒有針對(duì)各階段內(nèi)容的充分研究，會(huì)使開發(fā)的CAT低效，甚至無效。因此了解CAT開發(fā)各階段的內(nèi)容是至關(guān)重要的。

1 確定CAT測(cè)驗(yàn)的可行性、適用性研究

開發(fā)CAT測(cè)驗(yàn)的第一個(gè)步驟就是要看有沒有必要和能不能開發(fā)想要的自適應(yīng)測(cè)驗(yàn)。

為了解決這個(gè)問題，首先必須進(jìn)行模擬分析?；贗RT，通過給定的θ值和項(xiàng)目參數(shù)值，來模擬被試對(duì)項(xiàng)目正確作答的精確概率。如一個(gè)中等水平的被試B（θ=0.0），能正確作答項(xiàng)目A的概率是0.55。要保證這個(gè)正確作答概率，計(jì)算機(jī)會(huì)隨機(jī)生成一個(gè)數(shù)字，這個(gè)數(shù)字在0～1內(nèi)均勻分布。如果隨機(jī)數(shù)字大于0.55，計(jì)算機(jī)模擬被試的反應(yīng)是錯(cuò)誤，如果隨機(jī)數(shù)字小于或者等于0.55，計(jì)算機(jī)的模擬反應(yīng)是正確。被試θ值和項(xiàng)目參數(shù)值可以是真實(shí)的，也可以是按要求隨機(jī)生成的。模擬的執(zhí)行過程和真實(shí)被試的反應(yīng)過程一致，CAT選出一個(gè)符合要求的項(xiàng)目，然后根據(jù)θ值，在應(yīng)答數(shù)據(jù)集中進(jìn)行選擇。這樣，通過模擬我們可以在一個(gè)測(cè)驗(yàn)產(chǎn)生之前知道平均測(cè)驗(yàn)長(zhǎng)度、測(cè)驗(yàn)精確度、題目所需要的曝光率以及題目庫(kù)的大小。

模擬類型有三種：Post-hoc模擬、Hybrid模擬和Monte-carlo模擬。Post-hoc模擬是基于對(duì)真實(shí)數(shù)據(jù)的模擬，即要求計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)項(xiàng)目庫(kù)中的項(xiàng)目參數(shù)已明確，并且有真實(shí)被試對(duì)題庫(kù)中所有項(xiàng)目的作答結(jié)果矩陣。Post-hoc模擬一般用于CAT正式實(shí)施前的最后一步，診斷項(xiàng)目庫(kù)是否能夠正常運(yùn)行和怎樣運(yùn)行；也可用于由經(jīng)典測(cè)驗(yàn)理論得出的項(xiàng)目反應(yīng)數(shù)據(jù)，以考查如果將測(cè)驗(yàn)以CAT方式實(shí)施會(huì)使測(cè)驗(yàn)長(zhǎng)度降低多少。

Mont-carlo模擬通常是沒有任何可用數(shù)據(jù)的情況下分析CAT的各種特征，按需要隨意改變被試能力的分布狀態(tài)和項(xiàng)目參數(shù)的分布狀態(tài)，就可以知道假定狀態(tài)下不同能力的被試對(duì)不同參數(shù)項(xiàng)目的模擬反應(yīng)；生成既定條件下完整的Monter-carlo反應(yīng)矩陣后，就可通過Post-hoc模擬進(jìn)行分析。

Hybrid模擬（Nydick&Weiss,2009）[2]是 對(duì)Post-hoc模擬和Mont-carlo模擬的綜合，該種模擬同樣是用于項(xiàng)目參數(shù)已經(jīng)得出的項(xiàng)目庫(kù)，但是不需要被試對(duì)題庫(kù)中的所有項(xiàng)目的完整作答結(jié)果矩陣。Hybrid模擬，通過每個(gè)被試的項(xiàng)目反應(yīng)結(jié)果估計(jì)其θ值，沒有施測(cè)或未回答的項(xiàng)目不參與估計(jì)。運(yùn)用得到的θ值及恰當(dāng)?shù)腎RT模型，通過Monte-carlo模擬方法模擬缺失的作答結(jié)果。這樣，這一完整項(xiàng)目作答結(jié)果矩陣便可用于Post-hoc模擬分析。

模擬結(jié)果用來評(píng)估CAT的可行性。比如，現(xiàn)在有四套卷子，各有100道題目，每個(gè)卷子中有20個(gè)共同的題目，用來做測(cè)驗(yàn)等值。即現(xiàn)在有一個(gè)340題的題庫(kù)，模擬顯示，如果要達(dá)到現(xiàn)在測(cè)驗(yàn)的精確度，要有500道題目的CAT題庫(kù)，每個(gè)被試平均做55道題目。那么我們要考慮的是每個(gè)被試少做45道題節(jié)省的時(shí)間，CAT增加的安全性（每個(gè)被試所做的題目不同），能否抵消開發(fā)160個(gè)新項(xiàng)目、完成所需的CAT研究以及啟動(dòng)CAT測(cè)驗(yàn)的成本，也就是CAT的可行性。

2 題庫(kù)的建設(shè)

經(jīng)過第一步的研究，如果確定CAT開發(fā)是可行的，就開始第二步——建設(shè)題庫(kù)。在這一步中，模擬也很重要。通過模擬，改變題庫(kù)難度的范圍、偏態(tài)、題目區(qū)分度，可以知道題庫(kù)所需要的題目數(shù)、題目的參數(shù)分布、題目的內(nèi)容分布以及項(xiàng)目曝光率。根據(jù)模擬結(jié)果制定編題計(jì)劃，采用雙向細(xì)目表保證項(xiàng)目的代表性，最后組織專家命題或者在相關(guān)資料中選題。為了保持測(cè)驗(yàn)的連續(xù)性和減少開發(fā)題目的數(shù)量，很多情況下要利用已有的題庫(kù)去建設(shè)CAT題庫(kù)——把已有的題庫(kù)和新開發(fā)的題庫(kù)進(jìn)行連接和混合。

建設(shè)題庫(kù)時(shí)要注意測(cè)驗(yàn)信息函數(shù)要和測(cè)驗(yàn)?zāi)康钠ヅ洹y(cè)驗(yàn)信息函數(shù)表示能力估計(jì)的精確程度。它被定義為測(cè)量誤差平方[SE（θ）2]的倒數(shù)。測(cè)驗(yàn)信息量越高則對(duì)被試相應(yīng)能力估計(jì)精確度越高。如果測(cè)驗(yàn)是標(biāo)準(zhǔn)參照測(cè)驗(yàn)，根據(jù)某個(gè)分?jǐn)?shù)把被試分成及格和不及格，那么要在劃界分?jǐn)?shù)點(diǎn)處能較精確地區(qū)分被試的能力，即在劃界線處需要更多的信息量，對(duì)兩端被試θ值的估計(jì)精度不做要求。相反，如果測(cè)驗(yàn)要求對(duì)所有被試能力有精確的估計(jì)，那么題庫(kù)中應(yīng)該有相當(dāng)數(shù)量的適合高能力、低能力被試的題目。

題庫(kù)初步確定后，對(duì)項(xiàng)目進(jìn)行預(yù)試，預(yù)試的目的是把被試的反應(yīng)、被試的能力、項(xiàng)目的參數(shù)聯(lián)系起來。預(yù)試所需要的樣本量根據(jù)IRT模型而定。Baker和Kim（2004）綜合前人研究成果，認(rèn)為對(duì)二參數(shù)Logistic模型（2PLM）估計(jì)未知項(xiàng)目參數(shù)和被試能力值,至少要30個(gè)項(xiàng)目500個(gè)被試；而對(duì)于三參數(shù)Logistic模型（3PLM）則至少要60個(gè)項(xiàng)目1000被試[3]。一般來說，預(yù)試的方法有三種：（1）如果項(xiàng)目是全新的，計(jì)算機(jī)可以簡(jiǎn)單調(diào)用項(xiàng)目。（2）如果題目是新舊混合的，新項(xiàng)目應(yīng)該植入（Seeding）到原測(cè)驗(yàn)中。例如還是上面的例子，160道新題目，340道舊題目?？紤]到舊題目中可能有些不盡如人意，預(yù)試200道新題目。受試者已經(jīng)做過了100個(gè)題的固定形式測(cè)驗(yàn)（fixed-form test），再做所有的200個(gè)新題目，就是原來測(cè)驗(yàn)長(zhǎng)度的三倍了，這樣占用受試者太多的時(shí)間。200個(gè)新項(xiàng)目，有四個(gè)測(cè)驗(yàn)，給每個(gè)被試做50個(gè)新項(xiàng)目是比較合理的。這50個(gè)項(xiàng)目可以隨機(jī)選擇或者用不同的方法預(yù)先定義。（3）Wainer等8位專家學(xué)者（2000）提出了在線校準(zhǔn)的方法，在正式實(shí)施CAT時(shí),對(duì)每個(gè)參加CAT的被試隨機(jī)指派固定數(shù)量的新項(xiàng)目，新項(xiàng)目沒有項(xiàng)目參數(shù)，得分記入成績(jī)也不參與能力估計(jì)。每種預(yù)試方法都要保證每個(gè)題目的作答達(dá)到一定的次數(shù)[4]。

預(yù)試之后做項(xiàng)目參數(shù)估計(jì)。為了保證所有的項(xiàng)目參數(shù)有同樣的標(biāo)準(zhǔn)，要對(duì)題庫(kù)項(xiàng)目進(jìn)行連接。連接的方法有很多種，它們之間主要的區(qū)別是把新項(xiàng)目放在一個(gè)已存在的尺度上，還是建立一個(gè)新的尺度。顯然，如果題庫(kù)是全新的，建立一個(gè)新的尺度比較合適，如果題庫(kù)是新舊混合的，就需要把新題目參數(shù)用已有的尺度估計(jì)。校準(zhǔn)階段根據(jù)項(xiàng)目參數(shù)（難度、區(qū)分度、猜測(cè)系數(shù)等）來決定項(xiàng)目是不是要?jiǎng)h除、校正、再次進(jìn)行預(yù)試。對(duì)于區(qū)分度低和猜測(cè)系數(shù)大的項(xiàng)目一般考慮刪除，如果項(xiàng)目難度分布和測(cè)驗(yàn)?zāi)康牟环獙?duì)項(xiàng)目加以調(diào)整。在校準(zhǔn)階段需要知道的另一個(gè)統(tǒng)計(jì)信息是模型擬合指數(shù)，根據(jù)擬合指數(shù)可以了解數(shù)據(jù)和校準(zhǔn)所用的IRT模型是否匹配。例如，測(cè)驗(yàn)編制者試圖用Logistic模型，則可分別用單參數(shù)、雙參數(shù)、三參數(shù)模型進(jìn)行檢驗(yàn)，擬合度常用卡方檢驗(yàn)，如果卡方檢驗(yàn)值比較小，即P值足夠大（大于0.05）則說明數(shù)據(jù)——模型擬合度比較高[5]。漢布爾頓和斯沃米納塞（1985）認(rèn)為模型擬合要看四個(gè)方面：模型單維性（多維IRT模型不考慮），等區(qū)分度檢驗(yàn)（單參Logistic模型時(shí)），最小猜測(cè)假設(shè)檢驗(yàn)，非速度性檢驗(yàn)。[6]

3 確定CAT算法及參數(shù)

執(zhí)行一個(gè)完整的CAT需要確定五個(gè)部分。題庫(kù)及項(xiàng)目參數(shù)、起始點(diǎn)、項(xiàng)目選擇的算法、得分的算法、結(jié)束的標(biāo)準(zhǔn)。

起始點(diǎn)，也就是CAT開始執(zhí)行時(shí)假定的被試初始能力值（θ值）。最常用的方法有：（1）假定所有被試有相同的初始θ值，一般來說會(huì)提供一個(gè)和平均分?jǐn)?shù)相匹配的θ值，也就是0.0。但是給所有的被試分配相同的初始θ值會(huì)使與之對(duì)應(yīng)題目的曝光率大大增加，CAT的保密性受到威脅。（2）在某個(gè)范圍內(nèi)，隨機(jī)選擇被試的初始θ值解決了上面的問題。比如初始θ值可以在-0.5到0.5之間隨機(jī)選擇。以上兩種方法都是用在對(duì)被試一無所知的情況下，能力高和能力低的被試的測(cè)驗(yàn)長(zhǎng)度一般較長(zhǎng)。CAT的目的是使測(cè)驗(yàn)盡可能的適合每個(gè)被試。（3）把被試上一次的測(cè)驗(yàn)分?jǐn)?shù)作為下一次測(cè)試的初始θ值。（4）也可以根據(jù)外部信息計(jì)算被試的能力。Castro，Suarez和Chirinos(2010)認(rèn)為，外部信息可以是動(dòng)機(jī)、社會(huì)經(jīng)濟(jì)地位[7]。（5）在某些情況下也可以讓被試自己選擇能力的初始值。

項(xiàng)目選擇的算法用來決定呈現(xiàn)給被試的項(xiàng)目是什么。一般基于項(xiàng)目信息進(jìn)行項(xiàng)目選擇，從項(xiàng)目信息可以看出哪些題目更適合某個(gè)被試。比如給高能力的學(xué)生做很容易的項(xiàng)目是沒有意義的，這些項(xiàng)目不能把他們的能力水平進(jìn)行劃分。測(cè)驗(yàn)?zāi)康牟煌鄳?yīng)的項(xiàng)目選擇的算法不同。如果測(cè)驗(yàn)是為了得到準(zhǔn)確的θ值，那么應(yīng)該選擇所有在當(dāng)前能力值下能提供最大信息的項(xiàng)目。然而，如果測(cè)驗(yàn)的目的是在一個(gè)分界線上對(duì)被試進(jìn)行分類，那么選擇在分界能力值上能提供最大信息的項(xiàng)目。

在項(xiàng)目選擇時(shí)要同時(shí)考慮到一些實(shí)際的約束問題。最主要的三類問題是項(xiàng)目曝光、內(nèi)容平衡和項(xiàng)目對(duì)立。項(xiàng)目曝光是指題庫(kù)中每個(gè)項(xiàng)目呈現(xiàn)頻率。在“高風(fēng)險(xiǎn)測(cè)驗(yàn)”中曝光頻率的控制非常重要，因?yàn)轭}目可能因?yàn)槠毓廨^多而被泄露。根據(jù)測(cè)驗(yàn)要求，所有的題目最大曝光率可以相同，也可以不同。當(dāng)單維測(cè)驗(yàn)中包含多項(xiàng)內(nèi)容的時(shí)候，按需要進(jìn)行項(xiàng)目?jī)?nèi)容平衡。比如數(shù)學(xué)測(cè)驗(yàn)中要求一個(gè)被試同時(shí)接受代數(shù)、幾何、概率項(xiàng)目的測(cè)試，每個(gè)內(nèi)容所占的比率可以按需要進(jìn)行設(shè)定。對(duì)立項(xiàng)目是幾個(gè)項(xiàng)目中包含相互提示的信息，對(duì)同一個(gè)被試，CAT只能呈現(xiàn)其中一個(gè)項(xiàng)目。

θ值估計(jì)算法用來估計(jì)被試的能力。常用的θ值估計(jì)算法有各種最大似然值估計(jì)、貝葉斯估計(jì)、加權(quán)最大似然值估計(jì)。最大似然值估計(jì)是無偏的，但是只能用在混合應(yīng)答模式中（至少有一個(gè)正確和錯(cuò)誤的回答）。

CAT終止標(biāo)準(zhǔn)有兩種情況：CAT測(cè)驗(yàn)長(zhǎng)度是變化的，CAT測(cè)驗(yàn)長(zhǎng)度是固定的。當(dāng)CAT的長(zhǎng)度是變化的時(shí)候，有幾種方法可以選擇：（1）θ估計(jì)的標(biāo)準(zhǔn)誤達(dá)到等于某個(gè)值的時(shí)候。（2）θ估計(jì)標(biāo)準(zhǔn)誤的變化小于或等于某個(gè)值的時(shí)候。（3）θ估計(jì)值的變化小于某個(gè)值的時(shí)候。（4）θ標(biāo)準(zhǔn)誤的增加大于某個(gè)值的時(shí)候。（5）最小項(xiàng)目信息標(biāo)準(zhǔn)，如果題庫(kù)中再?zèng)]有項(xiàng)目能提供最低限度（按需要制定）信息，測(cè)驗(yàn)就可以終止了。固定長(zhǎng)度的測(cè)驗(yàn)可以是當(dāng)被試完成固定數(shù)量題目時(shí)終止（題目的選擇是自適應(yīng)的），也可以是做完所有題目時(shí)終止。項(xiàng)目終止同樣受到曝光率的約束。

4 投入使用和維護(hù)

當(dāng)所有必需的內(nèi)容參數(shù)以及算法確定后，CAT就可以投入使用了。如果已經(jīng)有測(cè)試開發(fā)和交付的軟件（例如，已經(jīng)購(gòu)買了一個(gè)系統(tǒng)或者有權(quán)使用一個(gè)系統(tǒng)），這一步就幾乎沒有困難。在常用的CAT施測(cè)系統(tǒng)中（比如Fast Test Pro,CADATS）,選中相應(yīng)的單選框或者復(fù)選框來選擇不同的算法。

維護(hù)CAT需要另外的研究。也許最重要的是檢查使用后CAT的結(jié)果是否與模擬的CAT的預(yù)期結(jié)果相匹配。例如，Post-hoc模擬預(yù)測(cè)被試平均做47道試題達(dá)到0.25的最低標(biāo)準(zhǔn)誤差，使用時(shí)實(shí)際情況是否如此呢？

另一個(gè)重要的問題是維護(hù)試題庫(kù)，有時(shí)稱做“更新”（refreshing）。因?yàn)樵诖罅康臏y(cè)試中試題可能曝光過多，曝光率過高的試題應(yīng)該逐漸撤出或暫時(shí)屏蔽，同時(shí)新的試題應(yīng)該逐漸添加進(jìn)去，增加的項(xiàng)目要與題庫(kù)進(jìn)行連接。一般方法是向庫(kù)里添加預(yù)試的試題，這些試題校準(zhǔn)之后轉(zhuǎn)移到計(jì)分題目中去。在線校準(zhǔn)后試題可以立刻被校準(zhǔn)并投入試題庫(kù)中去。劉麗平、王文杰等人（2006）提出題庫(kù)新增、刪除或屏蔽都可能影響題庫(kù)中參數(shù)的分布，為了參數(shù)不合理時(shí)及時(shí)調(diào)整題庫(kù)的參數(shù)，可設(shè)計(jì)信息統(tǒng)計(jì)模塊，當(dāng)題目參數(shù)和知識(shí)點(diǎn)參數(shù)的分布不合理時(shí)，信息統(tǒng)計(jì)模塊會(huì)給出警告信息。[8]

5 結(jié)語

隨著CAT的研究越來越深入，CAT開發(fā)和使用問題也日益受到關(guān)注。正確開發(fā)和使用CAT對(duì)于測(cè)驗(yàn)的有效性是非常重要的，本文簡(jiǎn)單探討了CAT的開發(fā)和維護(hù)必須研究的問題，盡管比較簡(jiǎn)略，并且可能不全面，但是每個(gè)CAT開發(fā)必須注意的。

[1][5]顧海根.一種新的測(cè)驗(yàn)形式——計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)[J].上海教育科研,1999(5):31-33.

[2]Nydick S,Weiss D.A hybrid simulation procedure for the develop?ment of CATs.In D.J.Weiss(Ed.),Proceedings of the 2009 GMAC Conference on Computerized Adaptive Testing,2009.

[3]Baker F B,Kim,S.H.Item Response Theory:Parameter estima?tion techniques(2nd eds.).New York,Marcel Dekker,2004.

[4]Wainer H,Dorans N J,Eignor D,Flangher R,Green B F,Mis?levy R.J,Steinberg L,Thissen D.Computerized adaptive testing：A Primer,(2nd ed.).Lawrence Erlbaum Associates,Publishers,2000,85-86,121-122,161-185.

[6]余嘉元.項(xiàng)目反應(yīng)理論及其應(yīng)用[M].南京：江蘇教育出版社.1992(9):187-197.

[7]Castro F,Suarez,J,Chirinos,R..Competence's initial estimation in computer adaptive testing.Pap resented at the first annual con?ference of the International Association for Computerized Adaptive Testing.The Netherlands.2010.

[8]劉麗平,王文杰,郭世寧.計(jì)算機(jī)自適應(yīng)考試(CAT)系統(tǒng)題庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2006(3):10-16.

A Study on the Procedure of Computerized Adaptive Testing Development

YANG Jianyuan，BAI Hui and ZHAO Shouying

Computerized Adaptive Testing(CAT)is a new method that item bank is based on response theory(IRT),computer automatically selects items according to the ability of each examinee,and ultimately estimate precise ability of each examinee.The option of CAT’s item differs from person to person with a highly targeted,which estimates the ability of examinees by fewer subjects with a good accuracy.CAT is good,but can’t blindly used.From design to publish,generally go through four stages:feasibility and applicability studies,item bank development,CAT algorithm and parameters,publish and maintenance.The effectiveness of each stage of the CAT is essential.

Item Response Theory；Computerized Adaptive Tests；Simulation

G405

A

1005-8427(2012)03-0003-5

本研究為貴州省高等學(xué)校教學(xué)質(zhì)量與教學(xué)改革工程重點(diǎn)項(xiàng)目“基于PBL理論改進(jìn)心理教育測(cè)量教學(xué)改革研究”（項(xiàng)目批準(zhǔn)號(hào)：黔高教發(fā)[2011]28-1）、貴州師范大學(xué)精品課程“心理測(cè)量”建設(shè)項(xiàng)目階段性成果。

貴州師范大學(xué)