周洲 侯開(kāi)虎 姚洪發(fā)

摘? 要： 隨著計(jì)算機(jī)輔助教學(xué)，多媒體處理以及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展與成熟，目前已經(jīng)有許多考試都采用無(wú)紙化考試，即機(jī)考的形式進(jìn)行。采取電子化考試的優(yōu)點(diǎn)在于考試可監(jiān)控性強(qiáng)，考試效率高，考試標(biāo)準(zhǔn)化和程序化。并且對(duì)于選擇題判斷題這樣的客觀題自動(dòng)化批改技術(shù)已經(jīng)十分成熟，極大的縮減了改卷時(shí)間，提高了改卷效率。但是，由于受到自然語(yǔ)言理解的限制，至今沒(méi)有比較完善的主觀題自動(dòng)批改系統(tǒng)對(duì)主觀題進(jìn)行批改和評(píng)分。本文采用TF-IDF及LSI兩種模型作為文本分析模型，使用jieba中文分詞工具進(jìn)行文本預(yù)處理，使用Python語(yǔ)言實(shí)現(xiàn)該系統(tǒng)。通過(guò)考生答案與標(biāo)準(zhǔn)答案的語(yǔ)義相似度分析，對(duì)考生作答的主觀題進(jìn)行批改和評(píng)分。之后隨機(jī)抽取5份大學(xué)考試中的考生試卷，使用該主觀題自動(dòng)評(píng)分系統(tǒng)進(jìn)行測(cè)試，與改卷老師所給出的評(píng)分進(jìn)行對(duì)比分析和說(shuō)明。實(shí)驗(yàn)結(jié)果表明，本文所提出的主觀題自動(dòng)評(píng)分系統(tǒng)在一般情況下可以滿足主觀題自動(dòng)評(píng)分的功能，是一種值得繼續(xù)深入研究的可行方法。

關(guān)鍵詞： 無(wú)紙化考試;主觀題;自動(dòng)評(píng)分;Python;TF-IDF;LSI

【Abstract】： With the development and maturity of computer aided instruction， multimedia processing and computer network technology， many examinations have been conducted in the form of paperless tests， that is， computer tests. The advantage of electronic examination is that it can be monitored well， the efficiency of examination is high， the examination is standardized and programmed. And for the multiple choice judgment questions such as automatic marking technology has been very mature， greatly reduced the time to correct the paper， improve the efficiency of paper correction. However， due to the limitation of natural language understanding， there is no perfect automatic subjective question marking system. In this paper， TF-IDF and LSI models are used as text analysis models， jieba Chinese word segmentation tools are used for text preprocessing， and Python language is used to implement the system. By analyzing the semantic similarity between the test answers and the standard answers， the subjective questions are corrected and graded. Then 5 college examination papers were randomly selected and compared with the real scores of teachers. The experimental results show that the automatic scoring system of subjective questions proposed in this paper can meet the function of automatic scoring of subjective questions under general circumstances and is a feasible method worthy of further study.

【Key words】： Paperless test; Subjective questions; Automatic scoring; Python; TF-IDF; LSI

0? 引言

主觀題自動(dòng)評(píng)分系統(tǒng)，是指使計(jì)算機(jī)能夠“理解”人類自然語(yǔ)言，在此基礎(chǔ)上，對(duì)自然語(yǔ)言構(gòu)成的句子，段落進(jìn)行評(píng)價(jià)，評(píng)分的系統(tǒng)。雖然近幾年人工智能、大數(shù)據(jù)等技術(shù)日益成熟，但是國(guó)內(nèi)應(yīng)用計(jì)算機(jī)技術(shù)進(jìn)行的考試還停留在只有選擇題可以進(jìn)行自動(dòng)評(píng)分的程度，對(duì)于填空、簡(jiǎn)答、論述等題目尚未出現(xiàn)比較實(shí)用可靠的自動(dòng)評(píng)分技術(shù)，而在一般情況下，批改試卷的老師往往需要在極短的時(shí)間下對(duì)一份試卷中的一個(gè)或幾個(gè)題目進(jìn)行打分。因此在試卷數(shù)量多達(dá)成千上萬(wàn)份的時(shí)候，不僅會(huì)使得人工評(píng)分因?yàn)樵u(píng)分老師的主觀因素（包括情緒，生理等方面）的影響，造成評(píng)分的誤差和不公平性?；谝陨蠁?wèn)題，研究如何通過(guò)利用現(xiàn)有的計(jì)算機(jī)技術(shù)，對(duì)填空、簡(jiǎn)答等主觀類型的問(wèn)題實(shí)現(xiàn)自動(dòng)評(píng)分，是一個(gè)值得我們研究的問(wèn)題。

早在20世紀(jì)60年代，世界上第一個(gè)自動(dòng)評(píng)分系統(tǒng)PEG（Project Essay Grader）被研發(fā)出來(lái)，用于作文評(píng)分。之后，IEA，IntelliMetric，E-rater，BETSY等作文評(píng)分系統(tǒng)被提出，并且都投入到了實(shí)際使? ?用中[1]。

近幾年來(lái)，對(duì)于主觀題自動(dòng)評(píng)分技術(shù)的研究主要集中在考生答案與標(biāo)準(zhǔn)答案之間的相似度比較上。如南鉉國(guó)通過(guò)提出新的相似度計(jì)算公式，實(shí)現(xiàn)考生答案與標(biāo)準(zhǔn)答案之間的比較，設(shè)定得分閥值。從而自動(dòng)得出評(píng)分[2]。吳巧玲采用改進(jìn)的匈牙利算法完成考生答案與標(biāo)準(zhǔn)答案之間的語(yǔ)義相似度計(jì)算，從而實(shí)現(xiàn)自動(dòng)評(píng)分[3]。袁軍使用計(jì)算字符串之間的單向貼近度方法對(duì)考生答案與標(biāo)準(zhǔn)答案進(jìn)行對(duì)比，從而實(shí)現(xiàn)自動(dòng)評(píng)分[4]。查衛(wèi)亮使用最大正向匹配法將考生答案的句子切分然后與標(biāo)準(zhǔn)答案進(jìn)行比較，從而自動(dòng)得出評(píng)分[5]。

以上不同系統(tǒng)所使用的算法都各有優(yōu)勢(shì)，比如南鉉國(guó)通過(guò)提出新的相似度計(jì)算公式所設(shè)計(jì)的自動(dòng)評(píng)分系統(tǒng)把基于詞表面信息的相似度和基于語(yǔ)義信息的相似度計(jì)算很好的結(jié)合在了一起，充分發(fā)揮了采用詞性和詞義方法的長(zhǎng)處。而查衛(wèi)亮使用的基于最大正向匹配法所設(shè)計(jì)的系統(tǒng)可以根據(jù)調(diào)整相似度閥值得到最優(yōu)的評(píng)分結(jié)果。當(dāng)然，各個(gè)系統(tǒng)也存在一定的局限性和不足之處需要改進(jìn)和完善。

本文通過(guò)對(duì)前人研究結(jié)果的學(xué)習(xí)總結(jié)，提出一種基于TF-IDF與LSI模型的主觀題自動(dòng)評(píng)分系統(tǒng)。使用Python工具實(shí)現(xiàn)該系統(tǒng)，其中界面部分使用PyQt5進(jìn)行設(shè)計(jì)，分詞部分選擇jieba中文分詞技術(shù)，設(shè)計(jì)出適合的主觀題自動(dòng)評(píng)分系統(tǒng)。

首先，使用jieba中文分詞工具將待測(cè)文本進(jìn)行分詞，再通過(guò)關(guān)鍵詞和核心詞抽取模型、使用TF-IDF及LSI模型對(duì)待測(cè)文本與標(biāo)準(zhǔn)文本之間進(jìn)行相似度度量計(jì)算，最后將之前通過(guò)模型計(jì)算得到的文本相似度與該題分值相乘得到待測(cè)文本的最后得分。

1? Jieba分詞技術(shù)

jieba分詞一開(kāi)始是國(guó)外比較常見(jiàn)的一種英語(yǔ)分詞技術(shù)，因其原理較容易理解，分詞效果適用于一般情況。因此隨后被開(kāi)發(fā)成可以進(jìn)行中文分詞的技術(shù)。jieba分詞技術(shù)目前支持3種分詞模式：精確分詞模式、全分詞模式和搜索引擎分詞模式。精確分詞模式適合拆分單句，比較適用于文本分析;全分詞模式可以把文本中所有可能成為詞的詞語(yǔ)都掃描出來(lái)，速度快，但是會(huì)出現(xiàn)歧義詞的問(wèn)題;搜索引擎分詞模式是在精確分詞模式的基礎(chǔ)上對(duì)長(zhǎng)詞再次進(jìn)行切分，相對(duì)于精確分詞模式，區(qū)別在于提高了召回率，適用于搜索引擎模式。

2? TF-IDF及LSI模型相似度計(jì)算

2.1? TF-IDF模型

TF-IDF模型是文本相似度度量方法中最具有代表性的方法之一，TF-IDF方法一開(kāi)始應(yīng)用于信息檢索領(lǐng)域，隨著數(shù)據(jù)挖掘的發(fā)展，現(xiàn)在也經(jīng)常應(yīng)用于文本數(shù)據(jù)挖掘中。一般情況下來(lái)說(shuō)，文本在計(jì)算機(jī)中的表示是將其轉(zhuǎn)化為文本向量，從而實(shí)現(xiàn)將無(wú)法量化的文本轉(zhuǎn)化為可量化計(jì)算指標(biāo)的問(wèn)題。而文本向量的計(jì)算則是由在文本中出現(xiàn)（標(biāo)注）的N個(gè)加權(quán)詞項(xiàng)所計(jì)算得來(lái)的。而TF-IDF模型是建立在這樣一個(gè)假設(shè)上提出的：如果一個(gè)詞或字與文本主題的相關(guān)性越強(qiáng)，那么該詞在這個(gè)文本中出現(xiàn)的頻率就會(huì)越高，因此在數(shù)量上就會(huì)顯示出其重要性，所以詞與文本主題兩者之間的關(guān)系成正相關(guān)，這種關(guān)系就將其稱作詞頻（Term Frequency，簡(jiǎn)稱TF）。如果某個(gè)詞或字在語(yǔ)料庫(kù)中出現(xiàn)的頻率越大，那么就說(shuō)明它們的區(qū)分能力越差，兩者成負(fù)相關(guān)，這種關(guān)系就將其稱作逆文本頻率（Inverse Document Frequency，簡(jiǎn)稱IDF）。通過(guò)上述基本思想得出計(jì)算某一個(gè)詞項(xiàng)TF-IDF的值，通常情況下會(huì)采用公式（1）及（2）。

2.2? LSI模型

LSI是基于文檔和詞共現(xiàn)關(guān)系以及奇異值分解（SVD）方法來(lái)得到文本主題的一種模型，LSI的基本原理是利用矩陣的奇異值分解，把高維空間中

的詞和文檔向量投影到更低維的空間使之降維并更易于得到兩者之間的關(guān)系，將在高維空間中沒(méi)有關(guān)系的文本（高維度文本向量不重合），在沒(méi)有相同的詞的情況下也可以用同樣的向量進(jìn)行表達(dá)。LSI模型主要有3個(gè)步驟：

（1）模型構(gòu)建與優(yōu)化

LSI模型首先需要用詞-文檔矩陣（Term- Document Matrix）來(lái)表示整個(gè)文本庫(kù)，詞-文檔矩陣是指由不同詞在不同文本中的數(shù)量構(gòu)成的矩陣。在中，m表示文本庫(kù)中不同詞的數(shù)量，中的每一行對(duì)應(yīng)一個(gè)詞;n表示文本庫(kù)中的文本總數(shù)量，中的每一列則對(duì)應(yīng)一個(gè)文本。則根據(jù)以上定義，矩陣中的某個(gè)元素就表示第i個(gè)詞在第j個(gè)文本中出現(xiàn)的次數(shù)。但是因?yàn)榈臄?shù)量級(jí)可能會(huì)很大，也有可能為“0”，所以并不能采用的原始值，需要對(duì)其進(jìn)行優(yōu)化以后，再采用其值。對(duì)于優(yōu)化值，本文使用局部權(quán)值計(jì)算函數(shù)和全局權(quán)值計(jì)算函數(shù)的乘積來(lái)表示。

3? 主觀題自動(dòng)評(píng)分系統(tǒng)設(shè)計(jì)

本文分三個(gè)階段對(duì)基于TF-IDF模型及LSI模型的主觀題自動(dòng)評(píng)分系統(tǒng)進(jìn)行設(shè)計(jì)，各個(gè)階段的內(nèi)容歸納并為3個(gè)模塊，分別是輸入模塊、文本處理模塊、輸出模塊，如圖2所示。

系統(tǒng)的輸入部分由題目分值、標(biāo)準(zhǔn)答案文本、模型權(quán)重、關(guān)鍵詞權(quán)重、核心詞權(quán)重與待檢測(cè)文本構(gòu)成，在輸入部分，首先需要對(duì)模型的權(quán)重參數(shù)進(jìn)行設(shè)置，然后再根據(jù)實(shí)際情況和需要設(shè)置所有關(guān)鍵詞與核心詞的權(quán)重值，但是在設(shè)置時(shí)每個(gè)關(guān)鍵詞或核心詞的權(quán)重之和必須為1。

而在文本處理部分由分詞算法、關(guān)鍵詞抽取、核心詞抽取、關(guān)鍵詞相似度計(jì)算。核心詞相似度計(jì)算。詞語(yǔ)相似度計(jì)算與句子相似度計(jì)算構(gòu)成。通過(guò)jieba分詞之后，待處理文本去除掉停用詞，包括標(biāo)點(diǎn)符號(hào)、數(shù)量詞、代詞、助詞和介詞等。

在輸出部分，通過(guò)模型進(jìn)行標(biāo)準(zhǔn)答案與待測(cè)文本的文本相似度計(jì)算，所得到的文本相似度值取整并與本題總分值相乘就可以輸出本題得分了。系統(tǒng)中還加入了一個(gè)小功能，即當(dāng)待測(cè)文本與標(biāo)準(zhǔn)答案之間的相似度達(dá)到95%以上時(shí)，計(jì)算結(jié)果會(huì)變?yōu)榧t色并提示“疑似作弊”。

4? 實(shí)驗(yàn)結(jié)果及分析

在完成基于TF-IDF及LSI的主觀題自動(dòng)評(píng)分系統(tǒng)后，為更好地測(cè)試該系統(tǒng)的評(píng)分性能。從某學(xué)科考試的試題中隨機(jī)抽取5個(gè)主觀類型的題目，最后抽取了2個(gè)名詞解釋題，5分一題，共10分;3個(gè)簡(jiǎn)答題，第一題8分、第二題10分、第三題10分。再?gòu)膶W(xué)習(xí)過(guò)該門課程的學(xué)生中隨機(jī)抽取30名學(xué)生，采用標(biāo)準(zhǔn)考試的方式作答抽取到的題目，完成之后由授課老師對(duì)30名學(xué)生的答案進(jìn)行打分。

在30名學(xué)生的答卷中隨機(jī)抽取5份試卷，輸入系統(tǒng)讓系統(tǒng)對(duì)這5份試卷進(jìn)行評(píng)分。系統(tǒng)的參數(shù)設(shè)置參考改卷老師的評(píng)分方式進(jìn)行設(shè)置。

最后用教師評(píng)分與系統(tǒng)評(píng)分進(jìn)行對(duì)比計(jì)算，得出兩種評(píng)分之間差值的絕對(duì)值，以此為依據(jù)分析自動(dòng)評(píng)分系統(tǒng)評(píng)分結(jié)果的可靠性與誤差。

4.1? 評(píng)分結(jié)果

從圖3、4中可以看出，TF-IDF模型的自動(dòng)評(píng)分系統(tǒng)所計(jì)算得到的分?jǐn)?shù)與教師評(píng)分的擬合度較高，與真實(shí)情況更加接近。但LSI模型的自動(dòng)評(píng)分系統(tǒng)最后輸出得到的分?jǐn)?shù)與真實(shí)評(píng)分偏差較大，與真實(shí)情況存在一定的出入。實(shí)驗(yàn)結(jié)果說(shuō)明同種參數(shù)設(shè)置和實(shí)驗(yàn)環(huán)境條件下，TF-IDF算法模型計(jì)算得到的評(píng)分更接近真實(shí)評(píng)分，且評(píng)分的準(zhǔn)確率較高，因此TF-IDF相對(duì)于LSI模型是一個(gè)更優(yōu)的算法模型。

5? 結(jié)論

本文利用TF-IDF模型和LSI模型，通過(guò)Python程序設(shè)計(jì)語(yǔ)言實(shí)現(xiàn)了一種新的主觀題自動(dòng)評(píng)分系統(tǒng)。其次，設(shè)計(jì)了對(duì)應(yīng)的驗(yàn)證方法和措施來(lái)證明所設(shè)計(jì)的自動(dòng)評(píng)分系統(tǒng)的有效性。完成之后請(qǐng)授課老師人工評(píng)分，再與本文提出的系統(tǒng)計(jì)算得到的評(píng)分進(jìn)行對(duì)比的實(shí)驗(yàn)，對(duì)本文所提出的系統(tǒng)進(jìn)行了驗(yàn)證。通過(guò)對(duì)結(jié)果的對(duì)比分析，得出采用TF-IDF模型設(shè)計(jì)的自動(dòng)評(píng)分系統(tǒng)相比采用LSI模型設(shè)計(jì)的自動(dòng)評(píng)分系統(tǒng)更加有效真實(shí)，且準(zhǔn)確率更高的結(jié)果。本文主要得出以下結(jié)論：

（1）本文所設(shè)計(jì)實(shí)現(xiàn)的主觀題評(píng)分系統(tǒng)可以根據(jù)實(shí)際情況調(diào)整設(shè)置不同的關(guān)鍵詞權(quán)重與模型權(quán)重。適用于不同的評(píng)分要求和情況，具有較強(qiáng)的泛化能力;

（2）本文分別通過(guò)TF-IDF算法模型與LSI算法模型實(shí)現(xiàn)了主觀題自動(dòng)評(píng)分，并且將兩個(gè)模型算法的輸出結(jié)果與真實(shí)評(píng)分進(jìn)行了對(duì)比，并進(jìn)行了分析說(shuō)明。得到了TF-IDF模型比LSI模型得到的評(píng)分更加接近實(shí)際評(píng)分的結(jié)論;

（3）TF-IDF模型的自動(dòng)評(píng)分系統(tǒng)所輸出的評(píng)分結(jié)果與實(shí)際評(píng)分的擬合度是較高的，因此在實(shí)際應(yīng)用該系統(tǒng)時(shí)，可以有效防止人為打分時(shí)因?yàn)樾睦砘蛏淼葪l件的影響而錯(cuò)誤打分的情況出現(xiàn)，規(guī)避了人為主觀因素對(duì)于評(píng)分的影響。

6? 結(jié)束語(yǔ)

本文提出、設(shè)計(jì)實(shí)現(xiàn)并分析驗(yàn)證了基于TF-IDF

及LSI模型的主觀題自動(dòng)評(píng)分系統(tǒng)。通過(guò)對(duì)系統(tǒng)的理論分析、過(guò)程說(shuō)明和實(shí)驗(yàn)設(shè)計(jì)，說(shuō)明了本文所提出的主觀題自動(dòng)評(píng)分系統(tǒng)是具有理論意義和實(shí)際使用價(jià)值的，是值得推廣和繼續(xù)深入研究的問(wèn)題。

參考文獻(xiàn)

王金銓， 朱周曄. 近五十年來(lái)國(guó)內(nèi)外翻譯自動(dòng)評(píng)分系統(tǒng)的發(fā)展與應(yīng)用[J]. 揚(yáng)州大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版）， 2016， 20（02）： 123-128.

吳巧玲. 主觀題自動(dòng)評(píng)分系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 數(shù)字技術(shù)與應(yīng)用， 2012（01）： 113-114.

袁軍. 網(wǎng)絡(luò)主觀題評(píng)分系統(tǒng)的算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 職業(yè)時(shí)空， 2011， 7（10）： 145-146.

查衛(wèi)亮. 主觀題自動(dòng)評(píng)分算法分析與實(shí)現(xiàn)[J]. 軟件導(dǎo)刊， 2011， 10（09）： 43-44.

南鉉國(guó). 基于語(yǔ)句相似度計(jì)算的主觀題自動(dòng)評(píng)分技術(shù)研究[D]. 延邊大學(xué)， 2007.

Foltz P W. Using latent semantic indexing for information filtering[C]//Proc. of ACM Conference on Office Information Systems. 1990： 40-47.

魯松， 李曉黎， 白碩. 文檔中詞語(yǔ)權(quán)重計(jì)算方法的改進(jìn)[J]. 中文信息學(xué)報(bào)， 2000， 14（6）： 8-13.

林鴻飛， 李業(yè)麗. 中英文雙語(yǔ)交叉過(guò)濾的邏輯模型[J]. 計(jì)算機(jī)工程與應(yīng)用， 2000， 36（8）： 48-50.

林鴻飛， 高仁璟. 基于潛在語(yǔ)義索引的文本摘要方法[J]. 大連理工大學(xué)學(xué)報(bào)， 2001， 41（6）： 744-748.

任紀(jì)生， 王作英. 一種新的潛在語(yǔ)義分析語(yǔ)言模型[J]. 高技術(shù)通訊， 2005， 15（8）： 1-5.

牛偉霞， 張永奎. 潛在語(yǔ)義索引方法在信息過(guò)濾中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用， 2001， 37（9）： 57-60.

高思丹， 袁春風(fēng). 主觀試題的計(jì)算機(jī)自動(dòng)批改技術(shù)研究[J]. 計(jì)算機(jī)應(yīng)用研究， 2004， 21（2）： 181-185.

李彬， 劉挺， 秦兵， 等. 基于語(yǔ)義依存的漢語(yǔ)句子相似度計(jì)算[J]. 計(jì)算機(jī)應(yīng)用研究， 2003， 20（12）： 15-17.

烏慶敏， 楊思春. 概念向量空間模型在智能答疑系統(tǒng)中的應(yīng)用[J]. 安徽工業(yè)大學(xué)學(xué)報(bào)（自科版）， 2008， 25（2）： 193-196.

丁振國(guó)， 陳海霞. 一種基于知網(wǎng)的主觀題閱卷算法[J]. 微電子學(xué)與計(jì)算機(jī)， 2008， 25（5）： 108-109.