劉 鋒,張皓博,向洪波,尹衍林,李曉艷,包貴鑫(黑龍江工業(yè)學(xué)院,黑龍江 雞西 158100)
?
計(jì)算機(jī)自適應(yīng)測試模型研究
劉 鋒,張皓博,向洪波,尹衍林,李曉艷,包貴鑫
(黑龍江工業(yè)學(xué)院,黑龍江 雞西 158100)
摘 要:文章針對傳統(tǒng)測試過程中存在的問題,在項(xiàng)目反應(yīng)理論研究基礎(chǔ)上,主要對二參數(shù)和三參數(shù)Logistic模型進(jìn)行對比研究,通過研究提出了一種改進(jìn)的計(jì)算機(jī)自適應(yīng)測試模型,從而實(shí)現(xiàn)了因人施測,并通過測試結(jié)構(gòu)有效的對被測試者的能力水平進(jìn)行估計(jì)。
關(guān)鍵詞:項(xiàng)目反應(yīng)理論;計(jì)算機(jī)自適應(yīng)測試;Logistic模型
隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,考試形式也從傳統(tǒng)的筆試考試逐漸向計(jì)算機(jī)輔助化進(jìn)行轉(zhuǎn)變,計(jì)算機(jī)自適應(yīng)測試(Computer Adaptive Testing,簡稱CAT)是在傳統(tǒng)考試固定試卷基礎(chǔ)上提出的一種新型的考試模式,考核過程中并不是提供固定的試卷,而是針對測試者的具體情況在試題的難度和試題的數(shù)量上自動適應(yīng)考生,即在測試的過程中不斷地從已經(jīng)建立的試題數(shù)據(jù)庫中選取與測試者實(shí)際水平和實(shí)際能力相當(dāng)?shù)念}目進(jìn)行測試,并對被測試者的能力水平進(jìn)行實(shí)施實(shí)時(shí)評估,根據(jù)測試精度從而判斷被測試者的真實(shí)能力水平。
經(jīng)典的測試中所有被測試者不論能力水平的高低都使用了相同的測試項(xiàng)目進(jìn)行測試。這種測試方法有兩種基本類型:所有試題(項(xiàng)目)難度相同,即所謂“尖峰”型測試。這種情況下,當(dāng)被試水平與題目難度接近時(shí),具有較高的測試精度,兩者偏離越大,測試精度越低;第二種類型為所謂“平矩”型測試,試題中有較難、難度中等、較易等不同難度的題目,因此在多數(shù)水平上能提供相對均等的測試精度,但整體精度卻相對較低。從上述分析不難看出,經(jīng)典的測試難以很好兼顧到測試的精度和精度的跨度問題。
因此,計(jì)算機(jī)自適應(yīng)測試與傳統(tǒng)的測試方式相比具有明顯的優(yōu)勢。第一,測試試題是變化不固定的,試題選取的范圍是在被測試者的能力范圍附近上下浮動,所以自適應(yīng)測試更容易測出考生真實(shí)能力值,從而可以縮短測試時(shí)間;第二,通過測試結(jié)果能夠更加準(zhǔn)確的反映被測試者的實(shí)際水平,從而可以提高測量精度;第三,測試的方式靈活,不必選取集中的時(shí)間和相同的地點(diǎn)進(jìn)行測試,采用計(jì)算機(jī)進(jìn)行評分,避免人為因素,使測試結(jié)果更加真實(shí)可靠。
被測試者的能力水平是一個(gè)連續(xù)變化的數(shù)值,這里用θ來表示,該值與能力水平成正比關(guān)系,也就是值越大能力水平也就越高;被測試者能否準(zhǔn)確在回答測試問題存在一定的隨機(jī)性與偶然性,所以,這里引入了P()θ函數(shù),用于表示被測試者準(zhǔn)確回答測試問題的概率,函數(shù)的值越大被測試者準(zhǔn)確回答問題的可能性就越高;用a和b來表示難度參數(shù)與區(qū)分度參數(shù)。項(xiàng)目反應(yīng)理論的模型有多種,我們分別用二參數(shù)和三參數(shù)Logistic模型來進(jìn)行說明。
三參數(shù)Logistic模型中增加了一個(gè)猜測參數(shù)c,因?yàn)樵跍y試者回答問題的過程中,由于能力水平比較低,不能夠準(zhǔn)確的回答測試的問題,被測試者通過經(jīng)驗(yàn)進(jìn)行猜測問題的答案,該參數(shù)則反映了被測試者正確猜測回答的概率,引入?yún)?shù)c的模型為:
如果分別利用P2和P3來表示二參數(shù)模型和三參數(shù)模型,通過計(jì)算可以得到P2與P之間存在特定的關(guān)系:3在P3的表達(dá)式中P2表示二參數(shù)模型中被測試者準(zhǔn)確回答的概率,c(1?P2)可以理解為被測試者對項(xiàng)目不太清晰而通過猜測得到的準(zhǔn)確回答的概率。
當(dāng)被測試者回答一個(gè)問題后,回答的結(jié)果能給我們帶來什么信息,被測試者能力水平的精準(zhǔn)度判別有多高,計(jì)算機(jī)自適應(yīng)測試系統(tǒng)根據(jù)該信息如何給被測試者列舉下一個(gè)測試問題。為了解決這一系列問題,在項(xiàng)目反應(yīng)理論引入了一個(gè)項(xiàng)目測試信息函數(shù),通過計(jì)算可以獲得項(xiàng)目測試信息函數(shù):
根據(jù)得到的項(xiàng)目測試信息函數(shù),當(dāng)θ一定時(shí),信息量由項(xiàng)目參數(shù)所決定。為了驗(yàn)證將一些數(shù)值代入到公式中進(jìn)行分析。測試數(shù)據(jù)1(θ= 1,b=0.921,c=0.25)表明項(xiàng)目測試信息函數(shù)值與項(xiàng)目區(qū)分度參數(shù)a成正比;測試數(shù)據(jù)2(θ= 1,b=0.815,a=1.8)表明猜測參數(shù)c越大,項(xiàng)目信息函數(shù)就越??;測試數(shù)據(jù)3(a=1.8,b=0.815,c=0.25)表明同一個(gè)測試項(xiàng)目針對被測試者層次不同時(shí),所反映出來的信息量是有區(qū)別的,如果能力水平與項(xiàng)目難度參數(shù)非常接近時(shí),信息函數(shù)的值最大。通過上面的分析,可以計(jì)算出信息函數(shù)最大時(shí)的能力參數(shù)為:
計(jì)算機(jī)自適應(yīng)測試技術(shù)已經(jīng)在國外得到了廣泛的應(yīng)用,與常規(guī)測試相比,自適應(yīng)測試具有明顯的優(yōu)點(diǎn),它能兼顧測試的測量跨度和精度,提高了測試的效率與準(zhǔn)確性,同時(shí)對能力水平高、低的應(yīng)試者也能對其能力水平進(jìn)行精確的估計(jì),具有較高的信度和效度。
參考文獻(xiàn):
[1]劉鋒.基于項(xiàng)目反應(yīng)理論的計(jì)算機(jī)自適應(yīng)測試算法的研究與實(shí)現(xiàn)[J].軟件,2014(07).
[2]郭維威.基于技能空間理論的計(jì)算機(jī)自適應(yīng)測試組卷策略研究[J].曲阜師范大學(xué)學(xué)報(bào),2015(01).
[3]劉艷花.基于擴(kuò)展知識空間理論的技能自適應(yīng)測試過程[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010(07).
[4]劉鋒.試題組卷算法的研究與應(yīng)用[J].雞西大學(xué)學(xué)報(bào),2008(06).
項(xiàng)目:本文系2014年黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目“基于擴(kuò)展知識空間的計(jì)算機(jī)自適應(yīng)測試方法的研究”的階段成果,項(xiàng)目編號:12543049;2014年黑龍江省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目201411445009階段成果。
DOI:10.16640/j.cnki.37-1222/t.2016.02.120