盧俊瑋+陳杰

摘要：利用計(jì)算機(jī)建立試題庫，實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)選題組卷，是計(jì)算機(jī)輔助教學(xué)（Computer Aided Instruction，CAI）的重要組成部分，也是實(shí)現(xiàn)考試規(guī)范化、科學(xué)化的重要措施，更是實(shí)現(xiàn)教考分離的一個(gè)重要手段。但是，計(jì)算機(jī)的組卷過程是機(jī)器行為，試卷質(zhì)量怎樣進(jìn)行量化和優(yōu)化是必須解決的重要a問題。該文對(duì)考試中的自動(dòng)組卷生成的試卷進(jìn)行了研究，通過建立相關(guān)的數(shù)學(xué)建模來檢測(cè)該試卷的合理性，采用層次分析法對(duì)試卷質(zhì)量進(jìn)行量化評(píng)價(jià)。從而，使考試更加標(biāo)準(zhǔn)化，客觀、真實(shí)、全面地反映教學(xué)的實(shí)際效果，有利于促進(jìn)教學(xué)質(zhì)量的提高。

關(guān)鍵詞：自動(dòng)組卷；質(zhì)量評(píng)價(jià)；數(shù)學(xué)建模

中圖分類號(hào)：TP301.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）19-4457-03

Research on Test Paper Auto-production of Quality Evaluation Modeling Based on Analytic Hierarchy Process（AHP）

LU Jun-wei， CHEN Jie

（Orient Science & Technology College， Hunan Agricultural University， Changsha 410128， China）

Abstract： An important part of Computer aided instruction to that building database and test paper auto-production. Separation of teaching and testing by scientific and standardized course tests. But test paper auto-production process have an important problem must be solved that how assures quantify and optimization by machine. In this paper， the correctness of detecting on the basis of the math model， and the quality evaluation by analytic hierarchy process. So then make the examination more standardized， objective， authentic， comprehensive to reflect the actual effect of teaching， and promote the improvement of teaching quality.

Key words： test paper auto-production； quality evaluation； math modeling

在教育領(lǐng)域中，考試是整個(gè)教學(xué)過程中的重要環(huán)節(jié)，它是對(duì)學(xué)生所學(xué)知識(shí)和能力的一種評(píng)價(jià)，也是衡量教師教學(xué)效果優(yōu)劣的一種教育測(cè)量手段。隨著計(jì)算機(jī)科學(xué)的迅速發(fā)展和廣泛應(yīng)用，計(jì)算機(jī)技術(shù)己進(jìn)入現(xiàn)代教育領(lǐng)域并形成一門新興的邊緣科學(xué)――計(jì)算機(jī)輔助教學(xué)。目前，計(jì)算機(jī)在自動(dòng)組卷方面的應(yīng)用已經(jīng)十分廣泛了，很多高校已經(jīng)建立了龐大的試題庫，并且采用各種數(shù)學(xué)算法利用計(jì)算機(jī)完成自動(dòng)生成試卷和計(jì)算機(jī)的閱卷工作，不僅能節(jié)省教師的寶貴時(shí)間，提高工作效率，而且能消除出卷人主觀意志的影響，尤其是對(duì)于客觀題更加方便。但是，自動(dòng)組成的試卷是否能真實(shí)地反映出教師的教學(xué)水平以及學(xué)生對(duì)知識(shí)技能的掌握程度，需要我們對(duì)試卷質(zhì)量進(jìn)行質(zhì)量評(píng)價(jià)。

由于在前期的自動(dòng)組卷過程中，題庫中的信息是預(yù)先設(shè)定的，并不一定能夠客觀地描述該題的屬性，而且對(duì)于不同的考核對(duì)象，該題目的屬性值會(huì)不一樣，這些都要通過計(jì)算機(jī)自動(dòng)閱卷，統(tǒng)計(jì)之后通過相應(yīng)的模型和算法來評(píng)估。這一評(píng)估可以反映計(jì)算機(jī)自動(dòng)組卷算法的優(yōu)劣，也可以為下一次自動(dòng)組卷提供借鑒。因此，可以在自動(dòng)組卷的基礎(chǔ)之上增加一個(gè)統(tǒng)計(jì)分析模型，讓計(jì)算機(jī)自動(dòng)地對(duì)結(jié)果進(jìn)行分析，同時(shí)對(duì)考試的結(jié)果做出合理的修正。

1 模型建立

測(cè)量試卷的主要檢驗(yàn)指標(biāo)是：難度、信度、區(qū)分度和覆蓋度。假設(shè)我們考察M份試卷的考試結(jié)果（假設(shè)這M份試卷的結(jié)果符合或近似符合正態(tài)分布），自動(dòng)生成的試卷由n道題目組成，每道題目的總分為[Ai]，樣本值為[Xj]，各題的實(shí)際得分為[Xij（i=1，2，3…n，j=1，2，3…M）]。很容易得出試卷的如下信息：

[Xj=i=1nXij第i道題的平均得分Xi=1Mj=1nXij]

[第i道題的方差Si=1Mj=1n（Xij-Xi）2]

1.1 試卷的難度系數(shù)

題目的難度是衡量題目難易水平的數(shù)量指標(biāo)，通常以題目的答錯(cuò)比率Pj 來表示：

[Pi=1-XiAi]

于是，整套試卷的難度系數(shù)為：

[P=1Ni=1nAiPi]

[其中，N=i=1nAi，表示整套試卷的總分。]

1.2 試卷的區(qū)分度

題目的區(qū)分度也叫題目的鑒別力，它是衡量題目對(duì)不同水平被測(cè)試者的心理特質(zhì)的區(qū)分程度的指標(biāo)。區(qū)分度的取值范圍于0-1之間，值越大，區(qū)分的效果越佳。一般0.4-0.6 為佳。

我們定義區(qū)分度為該題目的高分組平均得分與低分組平均得分之差在該題目滿分中的比例，由于我們只考慮組卷中的客觀題，故而對(duì)于第i道題目的區(qū)分度，

[δi=1MNj=1nXij]

從而，整套試卷的區(qū)分度

[δ=1Ni=1nAiδi]endprint

1.3 試卷的可信度

可信度指測(cè)量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個(gè)重要指標(biāo)。信度一般規(guī)定是真分?jǐn)?shù)的方差在總體方差S （M個(gè)學(xué)生總分的方差） 中所占的比例。測(cè)量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評(píng)測(cè)標(biāo)準(zhǔn)：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識(shí)廣度的重要指標(biāo)，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識(shí)點(diǎn)。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評(píng)價(jià)

在上述的統(tǒng)計(jì)的基礎(chǔ)之上，我們對(duì)試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評(píng)價(jià)，但是對(duì)試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因?yàn)槊總€(gè)因素對(duì)整體的影響的比重是不一樣的。為了客觀公正地評(píng)價(jià)一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評(píng)分

前面對(duì)各個(gè)單因素的評(píng)價(jià)是基于統(tǒng)計(jì)與計(jì)算得出的結(jié)果，具有很好的直觀比較性。但是對(duì)于數(shù)學(xué)模型分析卻很不方便，在不影響對(duì)試卷評(píng)估結(jié)果的前提下，結(jié)合試卷評(píng)價(jià)自身的特點(diǎn)，我們對(duì)各個(gè)因素進(jìn)行重新評(píng)分。

表1 對(duì)試卷的難度系數(shù)的評(píng)分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對(duì)試卷的區(qū)分度的評(píng)分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對(duì)試卷的可信度的評(píng)分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對(duì)于試題的相關(guān)性的評(píng)分需要對(duì)相關(guān)性矩陣作分析，然后合理評(píng)分。不妨假設(shè)對(duì)上述四個(gè)因素的評(píng)分結(jié)果分別為[ω1，，ω2，ω3，ω4。分?jǐn)?shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個(gè)要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個(gè)要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評(píng)分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對(duì)試卷的四個(gè)方面的評(píng)價(jià)，均是在對(duì)考試結(jié)果的統(tǒng)計(jì)的基礎(chǔ)之上，對(duì)數(shù)據(jù)的相應(yīng)計(jì)算，并建立模型來評(píng)價(jià)自動(dòng)生成的試卷。能夠在一定的程度上反映出自動(dòng)組卷算法的優(yōu)劣，同時(shí)，通過開發(fā)技術(shù)手段實(shí)現(xiàn)試題庫中各試題的綜合系數(shù)的自動(dòng)更新，對(duì)今后的組卷過程的優(yōu)化具有很強(qiáng)的指導(dǎo)意義。

參考文獻(xiàn)：

[1] 曾一，冉忠，郭永林.試題庫中自動(dòng)組卷的算法及試卷測(cè)評(píng)策略[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計(jì)教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint

1.3 試卷的可信度

可信度指測(cè)量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個(gè)重要指標(biāo)。信度一般規(guī)定是真分?jǐn)?shù)的方差在總體方差S （M個(gè)學(xué)生總分的方差） 中所占的比例。測(cè)量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評(píng)測(cè)標(biāo)準(zhǔn)：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識(shí)廣度的重要指標(biāo)，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識(shí)點(diǎn)。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評(píng)價(jià)

在上述的統(tǒng)計(jì)的基礎(chǔ)之上，我們對(duì)試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評(píng)價(jià)，但是對(duì)試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因?yàn)槊總€(gè)因素對(duì)整體的影響的比重是不一樣的。為了客觀公正地評(píng)價(jià)一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評(píng)分

前面對(duì)各個(gè)單因素的評(píng)價(jià)是基于統(tǒng)計(jì)與計(jì)算得出的結(jié)果，具有很好的直觀比較性。但是對(duì)于數(shù)學(xué)模型分析卻很不方便，在不影響對(duì)試卷評(píng)估結(jié)果的前提下，結(jié)合試卷評(píng)價(jià)自身的特點(diǎn)，我們對(duì)各個(gè)因素進(jìn)行重新評(píng)分。

表1 對(duì)試卷的難度系數(shù)的評(píng)分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對(duì)試卷的區(qū)分度的評(píng)分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對(duì)試卷的可信度的評(píng)分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對(duì)于試題的相關(guān)性的評(píng)分需要對(duì)相關(guān)性矩陣作分析，然后合理評(píng)分。不妨假設(shè)對(duì)上述四個(gè)因素的評(píng)分結(jié)果分別為[ω1，，ω2，ω3，ω4。分?jǐn)?shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個(gè)要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個(gè)要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評(píng)分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對(duì)試卷的四個(gè)方面的評(píng)價(jià)，均是在對(duì)考試結(jié)果的統(tǒng)計(jì)的基礎(chǔ)之上，對(duì)數(shù)據(jù)的相應(yīng)計(jì)算，并建立模型來評(píng)價(jià)自動(dòng)生成的試卷。能夠在一定的程度上反映出自動(dòng)組卷算法的優(yōu)劣，同時(shí)，通過開發(fā)技術(shù)手段實(shí)現(xiàn)試題庫中各試題的綜合系數(shù)的自動(dòng)更新，對(duì)今后的組卷過程的優(yōu)化具有很強(qiáng)的指導(dǎo)意義。

參考文獻(xiàn)：

[1] 曾一，冉忠，郭永林.試題庫中自動(dòng)組卷的算法及試卷測(cè)評(píng)策略[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計(jì)教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint

1.3 試卷的可信度

可信度指測(cè)量數(shù)據(jù)和結(jié)論的可靠性程度，它是表明考試質(zhì)量的穩(wěn)定性和可靠性的一個(gè)重要指標(biāo)。信度一般規(guī)定是真分?jǐn)?shù)的方差在總體方差S （M個(gè)學(xué)生總分的方差） 中所占的比例。測(cè)量信度系數(shù)的方法較多，這里采用[α]系數(shù)法[1]（該公式由克朗巴赫提出）。

[α=MM-1（1-S1+S2+…+SnS）]

[其中，S表示總分的方差，Si表示第i道題目的方差。]

評(píng)測(cè)標(biāo)準(zhǔn)：0.9以上：好；0.8-0.9：較好；0.6-0.8：一般；0.6 以下：較差。

1.4 試題的相關(guān)性

反映學(xué)生掌握知識(shí)廣度的重要指標(biāo)，也就是我們常說的試題應(yīng)盡量多的反映該門課的知識(shí)點(diǎn)。一般用各題的相關(guān)系數(shù)矩陣表示：

[R=（Rij）n×n]

[其中，Rij表示第i道題目的得分與j得分的相關(guān)關(guān)系。]

[Rij=Xij-XiXij-XjSiSj（i，j=1，2，3…n）]

1.5 試卷的整體評(píng)價(jià)

在上述的統(tǒng)計(jì)的基礎(chǔ)之上，我們對(duì)試卷的難度系數(shù)、試卷的區(qū)分度、試卷的可信度、試題的相關(guān)性做了評(píng)價(jià)，但是對(duì)試卷的整體分析并不只是這些基本因素的簡單代數(shù)之和，因?yàn)槊總€(gè)因素對(duì)整體的影響的比重是不一樣的。為了客觀公正地評(píng)價(jià)一套試卷，我們采用了一種很重要且十分常用的分析方法——層次分析法[3]。

1.5.1 因素的評(píng)分

前面對(duì)各個(gè)單因素的評(píng)價(jià)是基于統(tǒng)計(jì)與計(jì)算得出的結(jié)果，具有很好的直觀比較性。但是對(duì)于數(shù)學(xué)模型分析卻很不方便，在不影響對(duì)試卷評(píng)估結(jié)果的前提下，結(jié)合試卷評(píng)價(jià)自身的特點(diǎn)，我們對(duì)各個(gè)因素進(jìn)行重新評(píng)分。

表1 對(duì)試卷的難度系數(shù)的評(píng)分

[試卷難度系數(shù)＼&0-0.2＼&0.2-0.4＼&0.4-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.35＼&0.5＼&0.7＼&0.85＼&0.7＼&0.4＼&]

表2 對(duì)試卷的區(qū)分度的評(píng)分

[試卷區(qū)分度＼&0-0.2＼&0.2-0.4＼&0.4-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.1＼&0.45＼&0.8＼&0.85＼&0.9＼&0.95＼&]

表3 對(duì)試卷的可信度的評(píng)分

[試卷可信度＼&0-0.3＼&0.3-0.5＼&0.5-0.6＼&0.6-0.8＼&0.8-0.9＼&0.9-1＼&評(píng)分（滿分為1）＼&0.15＼&0.5＼&0.6＼&0.7＼&0.8＼&0.9＼&]

對(duì)于試題的相關(guān)性的評(píng)分需要對(duì)相關(guān)性矩陣作分析，然后合理評(píng)分。不妨假設(shè)對(duì)上述四個(gè)因素的評(píng)分結(jié)果分別為[ω1，，ω2，ω3，ω4。分?jǐn)?shù)向量為：]

[ω=ω1，，ω2，ω3，ω4]

[四個(gè)要素分別用A試卷的難度系數(shù)、B試卷的區(qū)分度、C試卷的可信度、][D（試題的相關(guān)性）表示，]而四個(gè)要素在整體中的比重的影響因子分別為3、5、9、2。于是我們考慮到比分矩陣為

[J=33353932539355955999529223252922]

利用迭代法[3]可以求出[J]的權(quán)向量為[α=0.1689，0.2765，0.4983，0.1246T]。

則，試卷的整體評(píng)分為

[ω?α=0.1689ω1，+0.2765ω2+0.4983ω3+0.1246ω4]

2 結(jié)束語

上述的對(duì)試卷的四個(gè)方面的評(píng)價(jià)，均是在對(duì)考試結(jié)果的統(tǒng)計(jì)的基礎(chǔ)之上，對(duì)數(shù)據(jù)的相應(yīng)計(jì)算，并建立模型來評(píng)價(jià)自動(dòng)生成的試卷。能夠在一定的程度上反映出自動(dòng)組卷算法的優(yōu)劣，同時(shí)，通過開發(fā)技術(shù)手段實(shí)現(xiàn)試題庫中各試題的綜合系數(shù)的自動(dòng)更新，對(duì)今后的組卷過程的優(yōu)化具有很強(qiáng)的指導(dǎo)意義。

參考文獻(xiàn)：

[1] 曾一，冉忠，郭永林.試題庫中自動(dòng)組卷的算法及試卷測(cè)評(píng)策略[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（16）：3024-3027.

[2] 魏宗舒.概率論與數(shù)理統(tǒng)計(jì)教程[M].北京：高等教育出版社，2008.

[3] 王樹禾.數(shù)學(xué)模型選講[M].北京：科學(xué)教育出版社，2008.endprint