吳曉萍

（閩江學院，福建 福州 350108）

網絡作文自動評分系統的評述和發(fā)展

吳曉萍

（閩江學院，福建 福州 350108）

基于計算機網絡的作文自動評分系統能夠在一定程度上解決教師作文評閱負擔重和人工評分存在主觀影響的問題。本文對國內外出現的作文自動評分系統及相關研究現狀做了評述，認為依靠計算機系統評閱作文的信度和效度還有待進一步證實。

作文自動評分系統 英語寫作 作文自動評閱 人工評分

1.引言

寫作是語言學習的四大技能之一。在語言測試中，作文常常作為檢測學習者綜合應用能力的手段。英語寫作和評閱是我國高校英語寫作教學中的重要環(huán)節(jié)，然而，大量英語教師反映作文評閱是最費時費力的工作。另外，由于作文評閱帶有極大的主觀性，即在作文評閱過程中分數的給定依靠評閱人的主觀判斷。而大規(guī)模評閱過程中評閱人個人因素可能會影響對作文質量的客觀評價，從而影響作文得分。近幾十年來，隨著計算機技術的快速發(fā)展，自然語言處理技術得到了很好的發(fā)展，國內外相繼開發(fā)出了一些作文自動評分系統，使長期困擾英語教師的作文評閱難題有望得到解決。

2.作文自動評分系統的簡介

作文自動評價系統 （AEAS，Automated Essay Assessment System）是一個通過計算機和網絡實現對書面作文進行評估打分并提出改善建議的應用軟件，主要應用于大規(guī)模作文測試評分。該系統的應用大大改善了教師批改作文耗時耗力的狀況，具有快捷、省力等優(yōu)勢。而且，計算機評分不存在人為因素的干擾，評閱結果更具客觀性。近年來，國外許多考試研發(fā)機構均已將計算機自動評閱系統應用于作文評分過程。一些大規(guī)模國際化英語考試，如托福、GMAT等也已開始廣泛應用計算機自動作文評閱系統。目前，國內出現了一些依托網絡的英語作文自動評閱系統，比較知名的有“冰果智能作文評閱系統”和“句酷批改網”等。這些系統不僅可以為學生的作文評分，還能利用計算機智能識別技術，快速找出作文中的錯誤，并通過網絡實時反饋給學生。

3.自動作文評價系統的研究綜述

3.1 國外研究現狀

自動作文評價系統在上個世紀60年代就已經在國外開始研發(fā)。目前國外已經成功研發(fā)出了如PEG，IEA，E-rater，IntelliMetric，Jess等多種作文自動評分系統。梁茂成和文秋芳對國外最具代表性的三種作文自動評分系統：PEG（Pmjeet Essay Grade）、IEA（Intelligent Essay Assessor）和E-rater進行了述評。PEG是資格最老的作文自動評分軟件，PEG基于淺層的語法特征，主要對作文形式進行分析，其不足在于只衡量作文的語言質量，并未涉及作文內容和篇章結構。而IEA注重對作文內容的分析，能合理客觀地分析作文內容的質量，不足的是其未顧及作文的語言質量，對文章的篇章結構也不做分析。在用GMAT作文所做的一次試驗中，IEA與人工閱卷的基本一致性在85%到91%之間［1］。然而，對作文進行評分一般要從語言、內容和篇章結構三個主要方面對作文的整體質量加以衡量。以上兩種系統的評分效度受到較多質疑。E-rater是ETS（Educational Testing Service）開發(fā)的一套作文自動評分系統，從1999年開始已被應用于GMAT的作文評分環(huán)節(jié)。E-rater采用的是整體評分方式，而非傳統的分析性評分方式。由于綜合使用了統計方法和自然語言處理技術，E-rater提取的反映作文質量的語言特征更符合人工評分標準。據稱，E-rater應用于GMAT的寫作評分時，與人工評分的一致性高于97%［2］。相對于PEG和IEA，E-later既注重形式又注重內容，考慮到了更多的作文評分要素，因而更符合寫作測試的要求。梁茂成、文秋芳認為雖然這些評分系統在訓練及作文人工評分方法和機器評分效度等方面存在一些問題，但不可否認的是這些作文自動評分系統為我國自主開發(fā)作文自動評分系統提供了借鑒［3］。

3.2 國內研究現狀

我國對基于計算機的自動作文評價系統的研究起步較晚。最早涉足自動作文評分領域的是梁茂成。他開發(fā)的“大規(guī)模考試英語作文自動評分系統”已于2005年申請了國家專利，并得到了很多知名學者的肯定。他的研究采用220篇已評分的作文樣本，以其中120篇樣本作文為基礎得到評分模型后，再通過另外100篇作文樣本對該模型的可信度進行了交叉驗證［4］。梁茂成的建模方法兼顧了PEG和lEA的長處，取得了較高的評分準確率，與人工評分相關系數高。但由于作文樣本來源數量少，范圍窄，且提取的特征主要是文本淺層特征，未涉及文章的句法結構及搭配和詞塊的使用，因而有待于進一步驗證與加強。

國內一些企業(yè)開發(fā)了適用于高校的英語作文自動評分系統。2009年，浙江大學外語學院與杭州一家網絡科技公司聯合開發(fā)了一款名為“冰果英語智能作文評閱系統”的計算機自動評閱系統。據稱該智能評閱系統的準確率可達到95%。但部分使用該系統的老師表示電腦打分與人工打分有出入，而學生則反映電腦無法指出作文錯誤所在。由于該系統側重作文整體評分，只給出總體得分和評語，而沒有指出單詞拼寫、語法和篇章結構等方面的錯誤，因此該系統還需進一步改進。

目前各高校正在推廣的另一款作文自動評閱系統叫句酷批改網（www.pigai.org），是一項基于語料庫和云計算的在線英語作文自動評改系統。該系統的原理是比較學生作文和標準語料庫之間的差距，并通過固定的算法得出分數和評語。對于每篇作文，該系統除了生成總分外，還可得出詞匯、句子、篇章和內容四個方面的分數。同時，對文章生成總體的評語，還能通過比對語料庫生成信息，對拼寫錯誤、語法錯誤、中式英語、高分句型和易混詞匯等做出點評和提出修改建議。學生可以根據這些反饋信息對自己的作文進行多次修改，在不斷修改的過程中提高作文水平。因此，該系統在減輕教師批改英語作文工作量的同時還能提高學生的英語寫作能力。此外，教師還可以在自動評閱的基礎上對機器生成的分數和評語進行人工修改和補充，做到機器智能和人工智能互補。

目前，對以句酷網為代表的在線寫作自動評分系統的使用，國內一些語言研究者如石曉玲、顧成華等做了相關實證研究，通過實驗和問卷調查發(fā)現該系統在使用過程中的一些問題。例如，石曉玲認為，在線寫作自動評改系統的實時反饋能力有效激發(fā)了學生的寫作興趣，增加了作文的修改頻次，達到了以評促學的目的。但由于系統自身的技術特點，僅在詞匯和語法層面給予學生幫助，在篇章結構、內容邏輯性和連貫性層面的優(yōu)勢并不明顯［5］。顧成華認為，為了降低網上批改不恰當的點評對學生帶來的不良影響，教師必須添加人工批閱意見，需要花費很多時間在電腦上錄入，反而增加了教師的工作量［6］。

4.作文自動評分系統存在的問題及未來發(fā)展

基于計算機網絡的作文自動評閱系統雖然對減輕教師評估作文負擔和避免人工評分的主觀性有很大幫助，然而，短時內在線自動評閱仍無法完全替代人工評閱。目前，自動評分系統只能針對學生的語法、詞匯難度及句法進行基本評價考核，而對學生作文的語義、內容與主題的關聯度，以及作文是否符合任務要求等卻無法判斷。因此，作文自動評閱系統的評分只是對作文語言質量的一個大概評估，無法全面評估學生的英文寫作水平。

梁茂成等認為，作文自動評分系統在對評分模型進行訓練時，應該最大限度地模擬人工評分過程，使用分析型評分方法以提高作文評分信度。分析型評分雖然耗時費力，但若組織為數不多的幾名資深評分員采用分析型評分方法對訓練集作文進行精細評分，考慮作文的語言質量、內容質量和篇章結構質量等評分要素，以相對較小的投入對計算機評分模型加以訓練，換取大規(guī)模考試中較高的評分信度，理所當然是值得的［3］。

盡管現行開發(fā)的電子評閱系統與人工評分已有較高的相關系數，但依靠計算機系統評閱作文的信度和效度還有待進一步證實。如何將計算機客觀評價學生作文與教師主觀評價巧妙結合起來，在省時省力的同時兼顧作文評分的信度和效度，是未來語言教育者需要解決的問題。

［1］Valenti，S.，F.Neri&A.Cucchiarelli.An Overview of Current Research on Automated Essay Scoring［J］.Journal of Information Technology Education，2003（2）：319-330.

［2］Burstein，J.The E-rater scoring engine：Automated essay scoring with natural language processing［C］.M.D.Shermis &J.Burstein.Automated Essay Scoring：A Cross-disciplinary Perspective.Mahwah，NJ：Lawrence Edbaum Associates，2003：113-122.

［3］梁茂成，文秋芳.國外作文自動評分系統評述及啟示［J］.外語電化教學，2007（5）：18-24.

［4］梁茂成.中國學生英語作文自動評分模型的構建［D］.南京：南京大學博士論文，2005.

［5］石曉玲.在線寫作自動評改系統在大學英語寫作教學中的應用研究——以句酷批改網為例［J］.現代教育技術，2012（10）：67-71.

［6］顧成華.基于句酷批改網的大學英語寫作教學實證研究［J］.云南社會主義學院學報，2012（3）：213-214.