張國(guó)瑞 沈陽(yáng)體育學(xué)院

計(jì)算機(jī)應(yīng)用基礎(chǔ)課是各類高校均開設(shè)的一門重要的公共基礎(chǔ)課程，其教學(xué)內(nèi)容包括計(jì)算機(jī)基礎(chǔ)知識(shí)、Word文字處理、Excel電子表格和PowerPoint演示文稿。結(jié)課后采用無(wú)紙化考試的方式對(duì)學(xué)生Word、Excel、PowerPoint等軟件的操作能力進(jìn)行考核，本研究對(duì)其中的Excel考試試題質(zhì)量進(jìn)行分析，國(guó)內(nèi)進(jìn)行試題質(zhì)量分析大多是在經(jīng)典測(cè)試?yán)碚摚╟lassical testing theory，CCT）的基礎(chǔ)上進(jìn)行分析，這種方法計(jì)算簡(jiǎn)單但存在一些局限性，對(duì)抽樣質(zhì)量要求過(guò)高、測(cè)量出的信度也存在一定的不準(zhǔn)確[1]，也無(wú)法分析出學(xué)生的能力水平。而項(xiàng)目反應(yīng)理論（item response theory，IRT）可以有效彌補(bǔ)CTT的不足。該理論中的Rasch模型目前應(yīng)用也比較廣泛，這是一種利用數(shù)據(jù)擬合模型的分析方法，當(dāng)數(shù)據(jù)擬合度差的時(shí)候可以根據(jù)模型需求對(duì)數(shù)據(jù)進(jìn)行修改以便得到合理的模型，這個(gè)過(guò)程正好適合對(duì)考試試題做分析，不理想的試題可以根據(jù)模型理論進(jìn)行修改[2]。因此本研究將Rasch模型引入到Excel考試的質(zhì)量分析中，通過(guò)科學(xué)的定量分析，驗(yàn)證試題的難易度以及學(xué)生的能力水平，為了日后修訂試題庫(kù)，提高試題質(zhì)量提供理論依據(jù)。

一、研究對(duì)象與方法

（一）研究對(duì)象

本研究為了分析體育類專業(yè)學(xué)生Excel試題質(zhì)量，隨機(jī)抽取體育教育、運(yùn)動(dòng)訓(xùn)練、社會(huì)體育指導(dǎo)員等專業(yè)289名學(xué)生的Excel考試成績(jī)，學(xué)生考試過(guò)程采用計(jì)算機(jī)無(wú)紙化考試系統(tǒng)，全部試卷由系統(tǒng)自動(dòng)判分，極大地避免了人為判卷中可能出現(xiàn)的誤差。本次考試Excel共有22道題，每題答對(duì)計(jì)1分，答錯(cuò)計(jì)0分。

（二）研究方法

使用WINSTEPS 5.1.5.2軟件對(duì)所得數(shù)據(jù)進(jìn)行Rasch分析，主要研究分析的內(nèi)容為：總體擬合情況、單維度檢驗(yàn)、題目與個(gè)體分析、懷特圖、氣泡圖等，通過(guò)上述分析研究試題質(zhì)量并提出修改建議。

二、研究結(jié)果

（一）整體質(zhì)量檢測(cè)

將考試數(shù)據(jù)導(dǎo)入Winsteps 5.1.5.2進(jìn)行分析，試題的整體質(zhì)量一般用擬合指數(shù)MNSQ（包括IMNSQ和OMNSQ）來(lái)表示。本次考試中學(xué)生和題目的擬合值數(shù)MNSQ（包括IMNSQ和OMNSQ）均接近理想值1，表明考試成績(jī)與Rasch模型的擬合度比較高。學(xué)生的分離度（PSI）為2.33，高于臨界值2，信度（PR）為0.84，高于臨界值0.8，綜合這兩個(gè)指標(biāo)說(shuō)明參與本次考試的學(xué)生樣本能力分布比較合理。試題的分離度（ISI）為5.69，高于臨界值2，信度（IR）為0.97，高于臨界值0.8，綜合這兩個(gè)指標(biāo)說(shuō)明試題的區(qū)分度比較理想。

（二）單維性檢驗(yàn)

單維性是Rasch模型使用的前提條件之一，試題滿足單維性是指該試題考查學(xué)生某種單一能力或潛在特質(zhì)。本研究利用Winsteps 5.1.5.2對(duì)殘差進(jìn)行主成分分析（PCA），這樣可以將相關(guān)項(xiàng)目轉(zhuǎn)換為主成分，由此計(jì)算出來(lái)的解釋方差可以衡量模型的單維性，這里通常要求通過(guò)測(cè)量解釋的原始方差應(yīng)大于50%，第一次對(duì)比未解釋的方差應(yīng)小于3.0，本次考試成績(jī)殘差主成分分析結(jié)果，通過(guò)測(cè)量解釋的原始方差為58%，第一次對(duì)比未解釋的方差為2.76。說(shuō)明本次考試數(shù)據(jù)滿足單維性的要求，適合做Rasch模型分析。

（三）各試題擬合度分析及誤差統(tǒng)計(jì)

應(yīng)用Rasch模型分析實(shí)際數(shù)據(jù)時(shí)，還需要對(duì)該數(shù)據(jù)進(jìn)行模型擬合度檢驗(yàn)。該檢驗(yàn)可以分析數(shù)據(jù)與模型的擬合情況，只有擬合情況符合要求時(shí)對(duì)實(shí)際數(shù)據(jù)進(jìn)行Rasch分析才具有實(shí)際意義。Rasch擬合度分析中常用的指標(biāo)是INFIT MNSQ和OUTFIT MNSQ，INFIT MNSQ是加權(quán)后的殘差均方，用來(lái)分析試題難度與所對(duì)應(yīng)的學(xué)生能力水平是否相符。OUTFIT MNSQ是標(biāo)準(zhǔn)殘差的均方，用來(lái)分析異常數(shù)據(jù)。通常情況下這兩個(gè)MNSQ值介于0.5到1.5之間時(shí)，數(shù)據(jù)與模型的擬合程度可以接受，當(dāng)該值為1時(shí)，數(shù)據(jù)與模型完全擬合。此外該值大于1.5時(shí)表示學(xué)生在答題時(shí)，作答方式與模型設(shè)定的方式不一致，即數(shù)據(jù)與模型不擬合[2]。該值小于0.5時(shí)，表示學(xué)生對(duì)某題的答題結(jié)果差異很小或者說(shuō)這道題無(wú)法區(qū)分學(xué)生之間能力水平上的差異，即數(shù)據(jù)與模型過(guò)度擬合[1]。在對(duì)數(shù)據(jù)進(jìn)行擬合度檢驗(yàn)時(shí)可能出現(xiàn)INFIT MNSQ和OUTFIT MNSQ的結(jié)果不一致的情況，此時(shí)我們一般以INFIT MNSQ為準(zhǔn)[1]。

本次考試各試題擬合度及誤差統(tǒng)計(jì)中題目Q1的INFIT MNSQ和OUTFIT MNSQ均大于1.5，說(shuō)明該題目在測(cè)量學(xué)生與之相對(duì)應(yīng)的能力時(shí)存在一些干擾因素。題目Q2的INFIT MNSQ和OUTFIT MNSQ均過(guò)小而無(wú)法測(cè)量，該題目回答的正確率為100%，無(wú)論能力水平高低，全部學(xué)生均答對(duì)了這道題，該題目區(qū)分度極差。其余題目INFIT MNSQ都在合理范圍內(nèi)，數(shù)據(jù)擬合度良好。

（四）試題難度與學(xué)生能力水平分析

為了直觀的展示題目難度與學(xué)生能力、各題目難度、各學(xué)生能力之間的關(guān)系，本研究采用Rasch模型中的懷特圖，見圖1。懷特圖可以將Rasch模型中根據(jù)原始數(shù)據(jù)轉(zhuǎn)換成等距的logit值，將試題難度和學(xué)生能力放到同一量尺中進(jìn)行標(biāo)定，從而直接比較題目難度與學(xué)生能力、各題目難度、各學(xué)生能力之間的差異。

圖1 學(xué)生能力與試題難度關(guān)系懷特圖

圖1中，中線是logit刻度尺，中線左側(cè)表示學(xué)生的能力，中線右側(cè)表示試題的難度。圖中M表示平均水平，S是距離平均值一個(gè)標(biāo)準(zhǔn)差的距離，T是距離平均值兩個(gè)標(biāo)準(zhǔn)差的距離。刻度尺由上往下表示學(xué)生能力和試題難度的逐漸降低。中線左側(cè)的每一個(gè)“#”代表4名學(xué)生，每一個(gè)“.”代表1至3名學(xué)生。從圖1中可以看出本次考試學(xué)生能力的均值比試題難度均值高出將近2個(gè)logit的值，說(shuō)明本次考試試題整體難度過(guò)低。其中，題目Q2、Q3、Q4、Q5難度都低于學(xué)生平均能力兩個(gè)標(biāo)準(zhǔn)差以上，對(duì)大部分學(xué)生而言這四道題沒有什么區(qū)分度。同時(shí)有25名以上的學(xué)生能力水平比難度最大的題目Q15的難度高了將近1個(gè)logit，說(shuō)明對(duì)這一部分學(xué)生沒有能夠與之相匹配的題目。同樣在學(xué)生能力均值附近僅有1個(gè)題目Q21，在這一水平附近的學(xué)生人數(shù)最多，需要比較多的同等難度的題目來(lái)對(duì)學(xué)生進(jìn)行測(cè)試，本次考試中僅有1道題顯然不夠。

三、結(jié)論與建議

本研究使用Rasch模型分析體育專業(yè)學(xué)生Excel考試的試題質(zhì)量，通過(guò)分析可以認(rèn)為Rasch可以很好地對(duì)本次考試進(jìn)行分析。本次考試試題整體質(zhì)量比較高，與Rasch模型擬合度比較高，整體區(qū)分度也比較理想，但是整體的難度比較低。本次考試Excel試題是從2018年建立的試題庫(kù)中隨機(jī)抽取的，試題難度是按當(dāng)時(shí)學(xué)生的一般水平編寫的。2018年以來(lái)對(duì)體育類學(xué)生《計(jì)算機(jī)應(yīng)用基礎(chǔ)》課進(jìn)行了不斷地教學(xué)改革，從以教師為中心逐步轉(zhuǎn)變?yōu)橐詫W(xué)生為中心，從單一的線下授課轉(zhuǎn)變?yōu)榫€上線下混合式的教學(xué)，在提升學(xué)生自主學(xué)習(xí)能力的同時(shí)也在不斷地提升學(xué)生對(duì)于Excel操作的水平。從本次考試的Rasch模型分析結(jié)果中可以看到，學(xué)生的能力水平已經(jīng)高出試題難度將近2個(gè)logit，這個(gè)差距已經(jīng)非常明顯的說(shuō)明了學(xué)生能力有了顯著的提升。由此可見本課程Excel試題庫(kù)應(yīng)該根據(jù)學(xué)生現(xiàn)有能力水平進(jìn)行大范圍修訂。

此外，由于本次考試整體難度比較低，其余題目雖然在Rasch模型分析中未發(fā)現(xiàn)問題，為了提高試題整體難度，在試題修訂中也應(yīng)在原題要求基礎(chǔ)上適當(dāng)增加題目難度。與此同時(shí)，建議調(diào)整教學(xué)大綱，增加一些學(xué)習(xí)難度比較大的Excel操作知識(shí)。