董曉睿，商 凱，崔 健，邸文華

（1.中國石油大學(xué)勝利學(xué)院，山東東營 257000；2.山東天元信息技術(shù)有限公司，山東濟(jì)南 250100）

0 引言

考試是檢測學(xué)生學(xué)習(xí)水平和教師教學(xué)效果的重要手段。2020年以來，由于新型冠狀病毒的影響，在線教育迎來首次全國大規(guī)模推廣應(yīng)用落地，絕大部分高校將期末考試形式由集中紙筆考試調(diào)整為居家在線考試，智能公平高效合理的在線考試系統(tǒng)成了研究熱點(diǎn)［1］。無論是傳統(tǒng)紙筆考試，還是當(dāng)前在線考試，試卷通常都是由命題人組卷，組卷過程［2］極易受到命題人的主觀因素影響，導(dǎo)致最終生成的試卷難度無法把控，無法達(dá)到對學(xué)生學(xué)習(xí)水平理想的檢測效果。如何充分利用信息技術(shù)，建立公平合理的組卷策略，是當(dāng)前亟待解決的問題之一［3］。

針對這一問題，本文提出了一種基于信息熵的在線考試組卷方法，該方法可以基于歷史試卷作答數(shù)據(jù)，為每道題賦予合理的試題難度評分，避免了隨機(jī)抽題過程中忽視試題難度或者人工制定試題難度時的不合理情況。同時，本課題基于這種組卷方法，以“數(shù)據(jù)結(jié)構(gòu)”課程為研究對象，建立了在線考試系統(tǒng)，讓任課老師有更多的精力去思考題庫建設(shè)工作，命題老師只需指定考查知識點(diǎn)、試卷整體難度等約束，組卷過程由計算機(jī)自動完成，極大地節(jié)約了人力和財力，提升了考試過程的工作效率。

1 題庫設(shè)計

本方法以計算機(jī)類基礎(chǔ)課“數(shù)據(jù)結(jié)構(gòu)”為研究對象，設(shè)計題型包括單項選擇題、填空題和編程題。其中，單選題由題干、4 個備選項和1 個正確答案組成；填空題由題干和正確答案組成，若題干中包含多個待填項，則填寫正確答案時使用中文分號對多個答案進(jìn)行間隔；編程題包括題干、樣例輸入、樣例輸出和編譯語言組成。單選題和填空題采用比對作答內(nèi)容和正確答案的方式進(jìn)行閱卷，編程題的閱卷過程集成online judge 平臺進(jìn)行代碼檢測，每道編程題均有10個測試用例，按照正確的測試用例個數(shù)給予評分。系統(tǒng)根據(jù)考察章節(jié)、知識點(diǎn)和試卷整體難度（均值與方差）等約束，從選擇題、填空題和編程題題庫中抽取試題，組成試卷。題庫所涉及的具體數(shù)據(jù)庫設(shè)計細(xì)節(jié)如圖1 所示，其中，粗體為必填字段，非粗體為可空字段。

2 試題難度系數(shù)計算

本課題運(yùn)用信息熵理論，基于往屆學(xué)生作答的歷史試卷數(shù)據(jù)，計算每道題目的試題難度系數(shù)。信息熵理論［4］由Shannon 在1948年提出，現(xiàn)常被用來作為一個系統(tǒng)的信息含量的量化指標(biāo)，用來作為系統(tǒng)方程優(yōu)化的目標(biāo)或者參數(shù)選擇的判據(jù)。信息熵可視為是描述變量不確定性的指標(biāo)，采用離散的概率分布進(jìn)行表示，分布越廣表示系統(tǒng)越不穩(wěn)定，越集中表示系統(tǒng)越穩(wěn)定［5］。傳統(tǒng)方法一般不考慮題目的難度或者由命題人主動評價題目難度，這是不合理的，本課題通過分析數(shù)據(jù)本身的離散性，來對試題難度進(jìn)行客觀賦權(quán)，降低個人主觀因素影響，保證組卷的難度均衡。

定義某試題的歷史作答記錄X，X包含n條記錄，有m項指標(biāo)。試題類型為選擇題時，m=4；試題類型為填空題時，m為填空個數(shù)（即分隔符個數(shù)+1）；試題類型為編程題時，m=10。不同試題類型的計算過程類似，后續(xù)部分以選擇題為例介紹。定義xij為第i條記錄的第j項指標(biāo)的數(shù)值，其中i=1，…，n，j=1，…，m，其值為：

對數(shù)據(jù)進(jìn)行歸一化處理，為了保證歸一化的計算過程中分母不為零，對X進(jìn)行處理，處理過程為：

定義歸一化后的數(shù)據(jù)為x′ij，其值為：

則第j項指標(biāo)的熵值ej為：

定義各項指標(biāo)的熵權(quán)值為wj，其值為：

定義該題的正確答案的選項索引為correct_index，難度系數(shù)為di，熵權(quán)值方差為D（w），則難度系數(shù)的計算公式為：

di越大，表示該題正確率越低，難度越大，越可能是知識盲點(diǎn)。當(dāng)di＞0.5時，D（w）越大，代表學(xué)生對該知識點(diǎn)有錯誤的理解；D（w）越小，代表學(xué)生對該知識點(diǎn)了解較少，存在教學(xué)盲點(diǎn)。

3 組卷策略

教師在組卷時，需要根據(jù)考試大綱選取章節(jié)、知識點(diǎn)、題型、題數(shù)、分值、試卷難度、必選題型等約束，使得生成的試卷質(zhì)量有所保證。組卷策略能夠在各種約束條件規(guī)定下實現(xiàn)組卷，既要檢驗學(xué)生對知識點(diǎn)的掌握情況，又要有所區(qū)分度，對試卷整體難度要有一定的把握。整個組卷策略包括預(yù)處理過程和組卷過程，預(yù)處理過程需要遍歷計算更新試題庫中各試題的試題難度，組卷過程在保證約束條件的前提下完成試卷的生成，組卷過程可以通過運(yùn)行多次來實現(xiàn)隨機(jī)組卷。預(yù)處理過程的輸入為試題庫和歷史作答記錄，輸出為題庫中的試題難度系數(shù)和熵權(quán)方差，算法主要是遍歷題庫過程中對歷史作答記錄進(jìn)行分析，如公式（1）、（2）建立該試題歷史作答記錄矩陣X，如公式（3）完成歸一化處理，如公式（4）計算樣本比重和指標(biāo)熵值，如公式（5）計算指標(biāo)熵權(quán)值，如公式（6）計算難度系數(shù)和熵權(quán)方差，最后更新試題的試題難度信息和熵權(quán)方差信息。

圖1 題庫涉及的數(shù)據(jù)庫設(shè)計

為了提高系統(tǒng)響應(yīng)效率，組卷過程不直接使用浮點(diǎn)數(shù)的試題難度系數(shù)進(jìn)行計算，而是將難度值劃分為五檔，分別定義區(qū)間［0，0.2）、［0.2，0.4）、［0.4，0.6）、［0.6，0.8）、［0.8，1.0］來表示簡單、較簡單、中等、較困難、困難，用離散整數(shù)（1，2，3，4，5）來取代浮點(diǎn)數(shù)來表示試題難度，以減輕隨機(jī)抽題過程的服務(wù)器運(yùn)算負(fù)載。

組卷過程［6］既要滿足教師設(shè)置的對試卷各要素的約束，又要保證抽題過程的隨機(jī)性，以達(dá)到隨機(jī)組卷的要求。主要思路為根據(jù)題型、題數(shù)和難度的約束，逐次在未被抽取到的題目范圍內(nèi)隨機(jī)抽題，直到該章節(jié)、知識點(diǎn)、題型和題數(shù)約束的題目全部抽取完畢，隨機(jī)抽題過程需要保證，越接近難度約束的試題越容易被抽到，但難度偏離較大的題目也有被抽到的概率。為了進(jìn)一步預(yù)防都是難度偏離大的題目被抽到，在每次抽取完畢后，會更新局部難度約束。組卷過程的算法如表1所示。

表1 組卷過程算法

4 結(jié)語

本課題基于信息熵理論提出了一種在線考試組卷方法，一定程度上降低了命題人組卷過程的主觀因素干擾，同時也為隨機(jī)組卷方式提供了難度平衡策略。組卷策略使得命題老師只需指定考查知識點(diǎn)、試卷整體難度等約束，組卷過程由計算機(jī)自動完成，試題難度系數(shù)由計算機(jī)根據(jù)歷史答卷數(shù)據(jù)進(jìn)行自動確定，極大地節(jié)約了人力和財力，提升了考試過程的工作效率和公平性。本課題案例采用“數(shù)據(jù)結(jié)構(gòu)”課程為研究對象，本算法對相關(guān)系統(tǒng)的設(shè)計和實現(xiàn)具有一定的參考意義。