王詩 吳瑤 王春瑩 朱笑瑩

摘? ?要：在高等院校的教學(xué)中，針對學(xué)生不同的學(xué)習(xí)階段和不同的教學(xué)目的，教師需要在不同情況下布置難度不同的習(xí)題以滿足教學(xué)期望。文章通過開發(fā)自定義習(xí)題生成系統(tǒng)，設(shè)計了相應(yīng)的實(shí)驗(yàn)過程，通過對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行相關(guān)性檢驗(yàn)，得到抄襲因素對正確率影響的理性判斷。排除抄襲因素影響后，通過對題目正確率、學(xué)生能力進(jìn)行相關(guān)性檢驗(yàn)，結(jié)合學(xué)生能力因素，建立二元回歸分析模型，構(gòu)建出習(xí)題難度的預(yù)測模型，從而精確預(yù)測習(xí)題預(yù)期正確率。此外，文章的研究方法及研究流程具有普遍性和適用性，文中涉及的自定義習(xí)題生成系統(tǒng)和習(xí)題難度預(yù)測模型，可以推廣運(yùn)用在高等院校電子與通信技術(shù)學(xué)科、物理學(xué)學(xué)科、數(shù)學(xué)相關(guān)科目的習(xí)題布置中。

關(guān)鍵詞：教育;回歸模型;難度預(yù)測;抄襲率;學(xué)生能力

中圖分類號：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2019）23-0022-06

一、引言

在高等院校的教學(xué)中，習(xí)題布置是幫助學(xué)生鞏固課堂教授的知識點(diǎn)、考察學(xué)生對知識點(diǎn)的掌握程度的重要手段，是一種被廣泛使用的教學(xué)評價方法。針對學(xué)生不同的學(xué)習(xí)階段和不同的教學(xué)目的，教師需要在不同情況下布置難度不同的習(xí)題以滿足教學(xué)期望。因此，對題目難度進(jìn)行量化分級對于教育的改革發(fā)展有著重要幫助。合理把握題目難度可以幫助教師有針對性地命題，使題目難度達(dá)到預(yù)設(shè)效果，使教師能夠更好地規(guī)范其對概念、方法及其關(guān)系的教學(xué)，幫助教師更加科學(xué)地在教學(xué)的不同階段進(jìn)行相應(yīng)難度題目的布置，從而提高教學(xué)質(zhì)量。同時，難度量化分級可以使學(xué)生對題目的難易程度有更為直觀的判斷，根據(jù)所做題目的難度，更客觀地了解自身學(xué)習(xí)水平?！峨姶艌雠c電磁波》是一門內(nèi)容概念抽象、公式繁多、課程體系嚴(yán)謹(jǐn)且對電子與通信技術(shù)學(xué)科極為重要的科目[1]。所以對《電磁場與電磁波》這門科目進(jìn)行難度量化分級有著重要意義。

經(jīng)典測量理論（Classic Test Theory，CTT）采用通過率法表示題目難度;項(xiàng)目反應(yīng)理論（Item Response Theory，IRT）用項(xiàng)目特征曲線的拐點(diǎn)位置反映該題的難度。CTT或IRT框架下的難度參數(shù)，都需要通過實(shí)際測試考生獲得，這種預(yù)測方式的實(shí)施具有一定的局限性[2]。這種局限性主要體現(xiàn)在獲取大規(guī)模樣本存在極大的操作難度。因此早期的難度預(yù)估主要依賴專家主觀經(jīng)驗(yàn)直接判斷題目難度，這種方法是比較傳統(tǒng)并廣泛使用的一種難度預(yù)估方法。近年來，隨著信息技術(shù)的普及和深入，數(shù)據(jù)分析在教育領(lǐng)域的應(yīng)用也越來越普遍，測試樣本收集導(dǎo)致的局限性不再明顯，通過被測樣本數(shù)據(jù)進(jìn)行難度量化分級在現(xiàn)實(shí)情景中應(yīng)用的可操作性逐步提升。

然而，實(shí)踐中對于題目難度的預(yù)估往往不能盡如人意，其根本原因在于各因素對難度的影響是十分復(fù)雜的。2006 年，LEONG? See? Cheng 總結(jié)了四個影響試卷難度的因素：內(nèi)容方面，主要指知識量;材料方面，指詞匯和信息呈現(xiàn)方式等難度;被試者因素，主要指被試者的心理和生理等素質(zhì);命題者的決策，指命題者對考試所期望的難易程度[3]。王希年提出難度設(shè)計與預(yù)測應(yīng)結(jié)合題目本質(zhì)難度與考生狀況進(jìn)行，題目的得分率與其難度因素和考生學(xué)業(yè)水平二元相關(guān)[4]。通過文獻(xiàn)分析得知，考慮抄襲因素和學(xué)生能力對難度分級影響的研究相對較少，但抄襲因素和學(xué)生能力是難度分級研究中不可忽視的影響因素，故本研究為難度量化分級提供了更為完善的理論依據(jù)，做出了如下貢獻(xiàn)：

（1）在教學(xué)實(shí)踐中，布置習(xí)題作業(yè)后收到的結(jié)果，受多方面因素影響，使得習(xí)題的情況往往無法客觀準(zhǔn)確地反映教學(xué)效果的好壞。這些因素包括：①習(xí)題相對固定，難以避免抄襲;②頻繁更新習(xí)題，質(zhì)量難保證;③使用多樣化的題組，難度難以統(tǒng)一把握。針對上述問題，筆者設(shè)計開發(fā)了自定義習(xí)題系統(tǒng)，可以定制題干相同但題目內(nèi)具體數(shù)值不相同的多套習(xí)題。

（2）通過正確率客觀量化題目難度，排除人為量化題目難度時專家經(jīng)驗(yàn)、情感等個人主觀因素的影響，客觀量化題目難度。同時剔除了抄襲因素對實(shí)驗(yàn)數(shù)據(jù)的影響，通過對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行卡方檢驗(yàn)，得到抄襲因素對正確率影響的理性判斷。

（3）探究學(xué)生能力因素對習(xí)題對錯的影響，作者根據(jù)《電磁場與電磁波》科目特征，對相關(guān)科目進(jìn)行相關(guān)性檢驗(yàn)，得到針對《電磁場與電磁波》可以代表學(xué)生能力因素的科目。

（4）綜合考慮抄襲因素對實(shí)驗(yàn)數(shù)據(jù)正確率的影響和學(xué)生能力因素對題目對錯的影響，通過對各影響因素和題目對錯進(jìn)行回歸性分析，成功建立《電磁場與電磁波》題目難度預(yù)測模型。

通過剔除抄襲因素，使被測樣本數(shù)據(jù)的代表性得到保障。同時，考慮學(xué)生能力對難度分級的影響，使難度預(yù)測模型更為完善。本文希望通過以對《電磁場與電磁波》科目難度預(yù)測模型的建立為例，給出剔除抄襲因素并考慮學(xué)生能力對難度分級影響的更為完善的建模方法。

二、通過正確率反映題目難度

1.題目難度的概念

《教育測量與評價》一書中將題目的難度定義為被測試者完成題目（項(xiàng)目）時所遇到的困難程度[5]。難度具有雙重特性：一是客觀性，難度由其本身的復(fù)雜程度所決定;二是相對性，難度除了與測試內(nèi)容本身的難易程度有關(guān)外，還與被測者的知識經(jīng)驗(yàn)和測驗(yàn)的編制技術(shù)有關(guān)。

2.難度的表示方式

反映題目難度的指標(biāo)稱為題目的難度系數(shù)，也簡稱為題目難度。問題解決者在解決問題的過程中所花費(fèi)的時間越長、正確率越低，說明問題越難，反之，則說明問題相對容易[6]。在經(jīng)典測量理論中，通常以通過率作為難度指標(biāo)，表示為：

P=R/N

P表示難度系數(shù)，N為全體被測人數(shù)，R為答對或通過該項(xiàng)目的人數(shù)。難度系數(shù)可以理解為“正確率”。故本文中對難度的定義如下：正確率數(shù)值越大，可以認(rèn)為題目總體越容易，反之，正確率數(shù)值越小，則表示題目難度越大。

三、自定義習(xí)題生成系統(tǒng)

自定義習(xí)題系統(tǒng)是利用python語言生成所需的LaTeX源碼，進(jìn)而利用LaTeX組卷排版生成可定制組數(shù)且各組題型相同、題目中數(shù)值不同的n組試卷，其中n為定制組數(shù)。該系統(tǒng)可以實(shí)現(xiàn)多種功能：①同時定制題干相同但題目內(nèi)具體數(shù)值不相同的多套習(xí)題;②自動生成規(guī)范示意圖;③自動計算參考答案;④自動排版。通過該套系統(tǒng)，在避免學(xué)生作業(yè)抄襲的同時，也大幅提高了教師的命題效率，并形成標(biāo)準(zhǔn)化的批閱流程和客觀評價指標(biāo)。

四、研究方法和步驟

筆者使用正確率描述題目難度，相關(guān)科目成績描述學(xué)生能力，假設(shè)通過難度和學(xué)生能力可以判斷學(xué)生能否做對相關(guān)習(xí)題。

在研究開始，筆者通過開發(fā)的自定義習(xí)題系統(tǒng)定制題干相同但題目內(nèi)具體數(shù)值不相同的多套習(xí)題，將該套習(xí)題和傳統(tǒng)習(xí)題分發(fā)給知識水平相近的兩組學(xué)生完成，得到作業(yè)評估數(shù)據(jù)的對錯結(jié)果。

如圖1所示，通過自定義習(xí)題系統(tǒng)生成三道習(xí)題A1、A2、A3，三道習(xí)題題型、題干相同，但題目內(nèi)具體數(shù)值不相同。

本次課程中，一共進(jìn)行了兩次關(guān)于剔除抄襲因素影響的實(shí)驗(yàn)。試驗(yàn)中學(xué)生分組按照教授該課程教師的不同進(jìn)行分組，每組學(xué)生該課程的授課教師相同。

（1）第一次實(shí)驗(yàn)，一組學(xué)生使用傳統(tǒng)的習(xí)題布置方式;另一組學(xué)生使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式。

（2）第二次實(shí)驗(yàn)，一組學(xué)生（第一次試驗(yàn)使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式）使用傳統(tǒng)的習(xí)題布置方式;另一組（第一次試驗(yàn)使用傳統(tǒng)的習(xí)題布置方式）學(xué)生使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式。

下文將做“題干相同但題目內(nèi)數(shù)值不同”題目的學(xué)生組稱為甲組、做傳統(tǒng)題目的學(xué)生組稱為乙組。

1.抄襲因素的統(tǒng)計檢驗(yàn)與排除

本文將以量化分析和統(tǒng)計檢驗(yàn)的研究方法，分析甲組數(shù)據(jù)和乙組數(shù)據(jù)的統(tǒng)計特征，檢驗(yàn)抄襲因素是否真正對習(xí)題正確率產(chǎn)生顯著影響，如果有影響，在接下來的難度估計模型建模中，只使用剔除抄襲因素影響的數(shù)據(jù)。徐敏在論文中調(diào)查了學(xué)生獨(dú)立完成作業(yè)的情況，并結(jié)合習(xí)題正確率，指出當(dāng)存在抄襲情況時，習(xí)題正確率會提高[7]。本文以量化分析和統(tǒng)計檢驗(yàn)的研究方法，分析甲組數(shù)據(jù)和乙組數(shù)據(jù)的統(tǒng)計特征，檢驗(yàn)抄襲因素是否真正對習(xí)題正確率產(chǎn)生顯著影響。在檢驗(yàn)開始，筆者首先提出以下假設(shè)：①如果存在抄襲，會使得正確率與不存在抄襲不同;②甲組習(xí)題每題的數(shù)值不同，筆者因此假設(shè)甲組不存在抄襲;③如果甲組和乙組經(jīng)檢驗(yàn)來自于不同總體，且乙組正確率較甲組高，認(rèn)為乙組存在抄襲行為。

確立了統(tǒng)計檢驗(yàn)的前提條件后，筆者對兩組樣本進(jìn)行卡方檢驗(yàn)，判斷兩組樣本是否來自同一總體，操作過程如下：①確立卡方檢驗(yàn)的檢驗(yàn)水準(zhǔn)和檢驗(yàn)假設(shè);②對檢驗(yàn)統(tǒng)計量和概率值進(jìn)行求解，并將概率值和檢驗(yàn)水準(zhǔn)進(jìn)行比較，從而對兩組樣本是否來自同一總體做出判斷。具體實(shí)現(xiàn)的理論和方法如下：

（1）建立檢驗(yàn)假設(shè)，確立檢驗(yàn)水準(zhǔn)

本文中，運(yùn)用卡方檢驗(yàn)的檢驗(yàn)方法，分析兩組樣本數(shù)據(jù)的關(guān)聯(lián)性，判斷兩組樣本數(shù)據(jù)是否來自同一整體。檢驗(yàn)開始，首先要確立檢驗(yàn)假設(shè)和檢驗(yàn)水準(zhǔn)。

以四格表資料為例，見表1，該表統(tǒng)計了某道題的對錯情況，判斷甲組和乙組的正確率是否有差異。其中a、b、c、d是兩個樣本率比較的基本數(shù)據(jù)，R1、R2、C1、C2是R行、C列邊緣合計數(shù)據(jù)。

提出假設(shè)H0和H1，并確定檢驗(yàn)水準(zhǔn)為α。令兩組總體的正確率分別為π1和π2，假設(shè)兩組的總體正確率相同，檢驗(yàn)兩組樣本率是否由于抽樣誤差引起的檢驗(yàn)水準(zhǔn)為0.05。其統(tǒng)計學(xué)符號表示為：

H0：π1=π2（甲組和乙組總體正確率相等）

H1：π1≠π2（甲組和乙組總體正確率不等）

α=0.05

如果假設(shè)H0成立，則兩組總體正確率相等;如果假設(shè)H1成立，則兩組總體正確率不等。

（2）計算檢驗(yàn)統(tǒng)計量和概率

假設(shè)和檢驗(yàn)水準(zhǔn)確立后，需要對具體的檢驗(yàn)統(tǒng)計量和概率P值進(jìn)行求解。通過四格表數(shù)據(jù)計算得出γ2的大小，結(jié)合自由度ν，從而確定概率P。最后將概率P值和檢驗(yàn)水準(zhǔn)α進(jìn)行比較，從而對總體做出判斷。

對于四格表資料，計算統(tǒng)計量χ2的四格表專用公式為：

χ2=

四格表的自由度為：ν=（R-1）（C-1）=（2-1）（2-1）=1，式中R為行數(shù)，C為列數(shù)。

根據(jù)χ2，在ν=1的卡方分布曲線下找到比χ2更極端的尾部面積，即為P值。在四格表的χ2檢驗(yàn)中，其自由度為1，常用的χ2界值是χ2

0.05，1=3.84。

將概率P值與α進(jìn)行比較，P≤α則拒絕H0，得出兩樣本來自不同總體的結(jié)論;P>α，則不拒絕H0，認(rèn)為兩樣本來自同一整體。

2.難度預(yù)測模型的建立

選取典型的《電磁場與電磁波》習(xí)題作為相關(guān)性分析的對象，將電子與通信技術(shù)學(xué)科學(xué)生部分科目的成績與《電磁場與電磁波》習(xí)題的答題情況進(jìn)行量化分析，得到與習(xí)題之間的聯(lián)系有統(tǒng)計學(xué)意義的科目。最后對這些數(shù)據(jù)進(jìn)行l(wèi)ogistics回歸分析，得到相應(yīng)的回歸系數(shù)，從而建立《電磁場與電磁波》習(xí)題難度估計模型。本文通過二項(xiàng)分類logistic回歸算法，用logistic函數(shù)預(yù)測一個樣本屬于正樣本的概率值，從而建立難度預(yù)測模型。模型建立的過程如下：①作者首先通過單變量分析從眾多變量中篩掉一些可能無意義的變量，再將剩余變量構(gòu)建logistic回歸模型。②模型建立后，作者通過似然比檢驗(yàn)的算法，對回歸模型進(jìn)行全局性檢驗(yàn)，從而判斷整個模型的擬合情況。③最后根據(jù)logistic回歸參數(shù)估計方法，用最大似然估計方法去求模型具體的參數(shù)數(shù)值，從而建立難度估計模型。具體實(shí)現(xiàn)的理論與方法如下：

（1）單變量分析

考慮到《電磁場與電磁波》科目的內(nèi)容和特點(diǎn)，筆者選取了一些科目的成績作為能夠代表學(xué)生能力量化指標(biāo)的樣本數(shù)據(jù)。在進(jìn)行l(wèi)ogistic回歸前，由于變量較多，筆者先通過單變量分析（卡方檢驗(yàn)）考慮所有自變量和應(yīng)變量之間的關(guān)系，篩掉一些可能無意義的變量。為了避免遺漏某些重要科目，在分析時，作者將P值放寬，定為0.1?？ǚ綑z驗(yàn)中，采用有與無一個自變量的-2LL改變量作為卡方統(tǒng)計量，具體操作步驟與上文抄襲因素的統(tǒng)計檢驗(yàn)相同。

（2）回歸模型的全局性檢驗(yàn)

回歸模型建立后，需要對整個模型的擬合情況做出判斷。以單變量分析篩選后的各科成績及《電磁場與電磁波》習(xí)題難度作為自變量，《電磁場與電磁波》習(xí)題對錯作為應(yīng)變量。在logistic回歸模型擬合中，可采用似然比檢驗(yàn)進(jìn)行全局性假設(shè)檢驗(yàn)。