宋毅寧

[摘 要]將自動(dòng)作文評(píng)分系統(tǒng)與寫(xiě)作教學(xué)進(jìn)行整合是大學(xué)英語(yǔ)教學(xué)改革的一大著力點(diǎn)與突破口，通過(guò)實(shí)證研究探討以批改網(wǎng)為代表的本土化自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生寫(xiě)作能力的影響。教學(xué)實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)不僅能從整體上提高大學(xué)生的寫(xiě)作水平，還能對(duì)除篇章結(jié)構(gòu)之外的三個(gè)分項(xiàng)維度產(chǎn)生積極影響，尤其是詞匯和句子的分項(xiàng)成績(jī)提高極為顯著，而其影響程度與大學(xué)生的英語(yǔ)水平成負(fù)相關(guān)。

[關(guān)鍵詞]自動(dòng)作文評(píng)分系統(tǒng);大學(xué)英語(yǔ)寫(xiě)作教學(xué);寫(xiě)作能力;實(shí)證研究

[中圖分類(lèi)號(hào)] H319 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 2095-3437（2019）10-0132-03

大學(xué)英語(yǔ)作為大學(xué)生的一門(mén)必修基礎(chǔ)課程是我國(guó)高等教育的一個(gè)重要組成部分，隨著“互聯(lián)網(wǎng)+”理念的深入人心和人工智能及云技術(shù)的普及，傳統(tǒng)的大學(xué)英語(yǔ)教學(xué)模式已越來(lái)越無(wú)法適應(yīng)和滿(mǎn)足“數(shù)字化原生代”學(xué)生的學(xué)習(xí)需求。在英語(yǔ)聽(tīng)、說(shuō)、讀、寫(xiě)、譯五項(xiàng)基本技能中，寫(xiě)作存在的問(wèn)題尤為突出。很多院校不僅沒(méi)有開(kāi)設(shè)獨(dú)立的寫(xiě)作課，沒(méi)有專(zhuān)門(mén)的寫(xiě)作教材，缺乏開(kāi)展寫(xiě)作訓(xùn)練的軟硬件條件，師生比例也極為懸殊。教師教學(xué)任務(wù)過(guò)于繁重必然會(huì)導(dǎo)致寫(xiě)作訓(xùn)練不足。教師反饋不及時(shí)、不充分等問(wèn)題，會(huì)挫傷學(xué)生的寫(xiě)作積極性，影響學(xué)生寫(xiě)作能力的發(fā)展。國(guó)家教育部2007年公布的《大學(xué)英語(yǔ)課程教學(xué)要求（試行）》中明確提出高等學(xué)校應(yīng)當(dāng)充分利用多媒體、網(wǎng)絡(luò)技術(shù)發(fā)展帶來(lái)的契機(jī)，改進(jìn)原來(lái)的以教師講授為主的單一課堂教學(xué)模式。新的教學(xué)模式應(yīng)以現(xiàn)代信息技術(shù)特別是網(wǎng)絡(luò)技術(shù)為支撐，使英語(yǔ)教學(xué)朝著個(gè)性化學(xué)習(xí)、不受時(shí)間和地點(diǎn)限制的學(xué)習(xí)、主動(dòng)學(xué)習(xí)的方向發(fā)展。

在大數(shù)據(jù)時(shí)代的背景下，將現(xiàn)代信息技術(shù)與寫(xiě)作教學(xué)進(jìn)行有機(jī)整合成為大學(xué)英語(yǔ)教學(xué)改革的著力點(diǎn)和突破口， 將自動(dòng)作文評(píng)分系統(tǒng)融入寫(xiě)作教學(xué)成為新的研究趨勢(shì)。

一、自動(dòng)作文評(píng)分系統(tǒng)概述

自動(dòng)作文評(píng)分系統(tǒng) （Automated Essay Scoring System， AESS）是建立在建構(gòu)主義理論、形成性評(píng)價(jià)理論和過(guò)程寫(xiě)作法理論之上的利用計(jì)算機(jī)技術(shù)對(duì)作文進(jìn)行評(píng)估和計(jì)分的系統(tǒng) （Shermis & Burstein， 2003）。國(guó)外自動(dòng)作文評(píng)分系統(tǒng)的發(fā)展主要經(jīng)歷了兩個(gè)階段：第一階段從20世紀(jì)60年代到20世紀(jì)末，主要用于大規(guī)模水平考試的作文評(píng)分，典型代表有Page Essay Grade （PEG），Intelligent Essay Assessor （IEA），Electronic Essay Rater （E-rater），Criterion，Intellimetric，Bayesian Essay Test Scoring System （BETSS）等。第二階段始于21世紀(jì)初，自動(dòng)作文評(píng)分系統(tǒng)被逐漸應(yīng)用于課程的形成性評(píng)價(jià)之中，除了自動(dòng)評(píng)分之外，還具備了對(duì)作文進(jìn)行錯(cuò)誤分析﹑維度分析﹑個(gè)性化反饋﹑寫(xiě)作輔助等功能，主要代表有My Access！， Criterion， Writing Roadmap （WRM）等（唐錦蘭、吳一安，2012）。

國(guó)外的自動(dòng)作文評(píng)分系統(tǒng)主要針對(duì)英語(yǔ)本族語(yǔ)使用者，并不適用于以英語(yǔ)為外語(yǔ)的學(xué)習(xí)者。近幾年來(lái)以梁茂成（2005），李亞男（2006），曹亦薇、楊晨（2007），葛詩(shī)利、陳瀟瀟（2007），蔣學(xué)清、蔡靜、唐錦蘭（2011）等為代表的國(guó)內(nèi)學(xué)者對(duì)自動(dòng)作文評(píng)分系統(tǒng)進(jìn)行了研究，部分學(xué)者甚至對(duì)研制適合于中國(guó)英語(yǔ)學(xué)習(xí)者實(shí)際情況的自動(dòng)作文評(píng)分系統(tǒng)進(jìn)行了有益的嘗試。目前國(guó)內(nèi)自主研發(fā)的本土化自動(dòng)作文評(píng)分系統(tǒng)主要有高等教育出版社和清華大學(xué)開(kāi)發(fā)的體驗(yàn)英語(yǔ)寫(xiě)作教學(xué)資源平臺(tái)，北京詞網(wǎng)科技有限公司開(kāi)發(fā)的批改網(wǎng)，杭州增慧網(wǎng)絡(luò)科技有限公司旗下的冰果網(wǎng)等。

本研究所依托的自動(dòng)作文評(píng)分系統(tǒng)批改網(wǎng)基于語(yǔ)料庫(kù)語(yǔ)言學(xué)、人工智能和計(jì)算機(jī)云技術(shù)，其運(yùn)作理念是將作文從詞匯、句子、篇章結(jié)構(gòu)、內(nèi)容相關(guān)四個(gè)維度與批改網(wǎng)建立的英語(yǔ)本族語(yǔ)語(yǔ)料庫(kù)做對(duì)比，通過(guò)一定的算法形成分?jǐn)?shù)和評(píng)語(yǔ)。在學(xué)生界面上，學(xué)生提交作文后系統(tǒng)會(huì)給出整體評(píng)分、分項(xiàng)評(píng)分、綜合評(píng)語(yǔ)、按句點(diǎn)評(píng)和詳盡的體檢報(bào)告。除了完成教師發(fā)布的寫(xiě)作任務(wù)外，學(xué)生還可以進(jìn)行作文自測(cè)，參與作文PK，登錄寫(xiě)作聯(lián)盟、寫(xiě)作論壇等板塊進(jìn)行自主學(xué)習(xí)。在教師界面上，教師可以進(jìn)行班級(jí)管理，發(fā)布寫(xiě)作任務(wù)。寫(xiě)作任務(wù)完成后可以得到包括分?jǐn)?shù)分布、錯(cuò)誤統(tǒng)計(jì)、數(shù)據(jù)比對(duì)、維度分析、薄弱點(diǎn)分析等的診斷報(bào)告，還可以推薦優(yōu)秀作文供學(xué)生學(xué)習(xí)鑒賞。學(xué)生提交的作文達(dá)到一定數(shù)量后教師還可以開(kāi)通個(gè)人網(wǎng)站，上傳各類(lèi)寫(xiě)作資源供學(xué)生瀏覽下載。

二、研究設(shè)計(jì)

（一）研究目的和研究問(wèn)題

本研究是將自動(dòng)作文評(píng)分系統(tǒng)融入大學(xué)英語(yǔ)寫(xiě)作教學(xué)的一項(xiàng)實(shí)證研究，具體研究問(wèn)題包括：自動(dòng)作文評(píng)分系統(tǒng)在寫(xiě)作教學(xué)中的應(yīng)用對(duì)大學(xué)生的整體寫(xiě)作能力有何影響？自動(dòng)作文評(píng)分系統(tǒng)在寫(xiě)作教學(xué)中的應(yīng)用對(duì)大學(xué)生的分項(xiàng)寫(xiě)作能力有何影響？自動(dòng)作文評(píng)分系統(tǒng)在寫(xiě)作教學(xué)中的應(yīng)用對(duì)不同英語(yǔ)水平的大學(xué)生在寫(xiě)作能力上的影響有何差異？

（二）研究對(duì)象

本研究的研究對(duì)象是華北地區(qū)某高校非英語(yǔ)專(zhuān)業(yè)一年級(jí)隨機(jī)抽樣的某個(gè)自然班的38名學(xué)生，其中男生24人，女生14人。為了探究自動(dòng)作文評(píng)分系統(tǒng)對(duì)不同水平的大學(xué)生的影響，研究者依據(jù)學(xué)生的高考英語(yǔ)成績(jī)、大學(xué)英語(yǔ)一次期末考試成績(jī)及一次英語(yǔ)寫(xiě)作測(cè)驗(yàn)成績(jī)這3項(xiàng)成績(jī)均值，進(jìn)一步將該班學(xué)生按英語(yǔ)水平分為高、中、低3組，其中高分組12人，中分組13人，低分組13人。該班學(xué)生由研究者本人授課，教學(xué)實(shí)驗(yàn)歷時(shí)5個(gè)月。

（三）研究的方法和工具

根據(jù)研究問(wèn)題的實(shí)際情況，本研究主要采用了基于教學(xué)實(shí)驗(yàn)的量化研究方法，主要的研究工具包括在批改網(wǎng)上完成的實(shí)驗(yàn)的前后兩次測(cè)試成績(jī)和數(shù)據(jù)分析軟件SPSS17.0。

（四）數(shù)據(jù)收集

本次教學(xué)實(shí)驗(yàn)采用量化研究中的準(zhǔn)實(shí)驗(yàn)研究設(shè)計(jì)，共分為以下3個(gè)階段。

1.前測(cè)階段

在師生注冊(cè)并生成班級(jí)信息之后，研究者組織學(xué)生在計(jì)算機(jī)房進(jìn)行了本次實(shí)驗(yàn)的前測(cè)。要求學(xué)生以My View on Online Shopping為題在40分鐘內(nèi)完成一篇120至150詞的議論文，滿(mǎn)分15分，打分公式為大學(xué)英語(yǔ)四級(jí)打分公式。同時(shí)教師開(kāi)啟相似度檢驗(yàn)，禁止粘貼、百寶箱、顯示排名等功能。

2.實(shí)驗(yàn)階段

實(shí)驗(yàn)期間研究者每3到4周向參與實(shí)驗(yàn)的學(xué)生發(fā)布一次寫(xiě)作任務(wù)，作文題目都是從學(xué)生正在學(xué)習(xí)的《新標(biāo)準(zhǔn)大學(xué)英語(yǔ)2》中每單元的主題提煉而來(lái)，寫(xiě)作要求與前測(cè)保持一致，限期1周完成。

正式寫(xiě)作前，研究者在課堂上組織學(xué)生進(jìn)行寫(xiě)前準(zhǔn)備，采用頭腦風(fēng)暴、提問(wèn)法、擬提綱等方法幫助學(xué)生積極投入寫(xiě)作活動(dòng)。正式寫(xiě)作時(shí)，學(xué)生可根據(jù)系統(tǒng)提供的反饋信息反復(fù)修改并多次提交。研究者在作文提交時(shí)間截止后登錄批改網(wǎng)查看提交情況，適當(dāng)添加人工評(píng)閱意見(jiàn)，并根據(jù)系統(tǒng)提供的診斷報(bào)告對(duì)作文整體情況進(jìn)行講評(píng)。

3.后測(cè)階段

4次寫(xiě)作練習(xí)結(jié)束后，在計(jì)算機(jī)房進(jìn)行了本次實(shí)驗(yàn)的后測(cè)，要求學(xué)生在40分鐘內(nèi)就“Never go out there to see what happens，go out there to make something happen.”這句名言展開(kāi)論述，具體寫(xiě)作要求仍然與前測(cè)保持一致。為了減少多次寫(xiě)作練習(xí)后學(xué)生寫(xiě)作成績(jī)自然提高所造成的影響，后測(cè)的作文難度要稍大于前測(cè)的。

三、研究結(jié)果及其分析

（一）自動(dòng)作文評(píng)分系統(tǒng)的應(yīng)用對(duì)大學(xué)生整體和分項(xiàng)的寫(xiě)作能力的影響

批改網(wǎng)評(píng)分采用整體評(píng)分和分項(xiàng)評(píng)分相結(jié)合的混合評(píng)分方法，分項(xiàng)評(píng)分分別從詞匯﹑句子﹑篇章結(jié)構(gòu)﹑內(nèi)容相關(guān)4個(gè)維度來(lái)進(jìn)行，各個(gè)維度的得分加權(quán)后構(gòu)成整體評(píng)分。為了回答前2個(gè)研究問(wèn)題，研究者運(yùn)用SPSS17.0對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析和獨(dú)立樣本T檢驗(yàn)，縱向比較實(shí)驗(yàn)前后測(cè)的總分及各維度分?jǐn)?shù)。

由表2數(shù)據(jù)可知，參與實(shí)驗(yàn)的學(xué)生后測(cè)成績(jī)均值比前測(cè)提高了1.316，達(dá)到了統(tǒng)計(jì)意義上的非常顯著性差異（P<.01），這說(shuō)明自動(dòng)作文評(píng)分系統(tǒng)融入教學(xué)有效提高了大學(xué)生的整體寫(xiě)作水平。

表3數(shù)據(jù)顯示，4個(gè)分項(xiàng)維度中有3個(gè)維度的前后測(cè)結(jié)果達(dá)到了統(tǒng)計(jì)學(xué)意義上的非常顯著性差異（P<.01），其中成績(jī)提高幅度最大的是句子層面，其次是詞匯層面、內(nèi)容相關(guān)層面，篇章結(jié)構(gòu)層面不但沒(méi)有提高反而出現(xiàn)了小幅下降。

據(jù)研究者分析，學(xué)生在句子和詞匯層面的顯著進(jìn)步主要是由于以下幾方面的原因：一是系統(tǒng)自帶語(yǔ)法和詞匯檢測(cè)功能，在按句點(diǎn)評(píng)中會(huì)通過(guò)各類(lèi)標(biāo)簽有針對(duì)性地指出句子中的語(yǔ)法錯(cuò)誤、拼寫(xiě)錯(cuò)誤、標(biāo)點(diǎn)符號(hào)錯(cuò)誤、中式英語(yǔ)等，以便于學(xué)生在修改過(guò)程中有的放矢、穩(wěn)步提高，也會(huì)鞭策學(xué)生在寫(xiě)作中更加注意表層語(yǔ)言的精準(zhǔn)表達(dá)。二是學(xué)生在批改網(wǎng)寫(xiě)作時(shí)可借助系統(tǒng)自帶的類(lèi)似在線(xiàn)詞典的“百寶箱”功能查看單詞拼寫(xiě)、釋義、同義詞、例句等，這種方便快捷的寫(xiě)作輔助工具對(duì)于單詞量匱乏且沒(méi)有養(yǎng)成查閱紙質(zhì)詞典習(xí)慣的學(xué)生大有裨益。

研究數(shù)據(jù)中令研究者頗為訝異的是學(xué)生在內(nèi)容相關(guān)維度取得了極高的分?jǐn)?shù)，有些甚至達(dá)到了滿(mǎn)分。研究者嘗試聯(lián)系批改網(wǎng)的技術(shù)人員以了解該項(xiàng)維度的評(píng)分機(jī)制，但相關(guān)人員以?xún)?nèi)部機(jī)密為由未能予以確切說(shuō)明。研究者轉(zhuǎn)而從其他功能著手分析，發(fā)現(xiàn)批改網(wǎng)于2016年下半年新增了跑題檢驗(yàn)功能，該功能是通過(guò)關(guān)鍵詞匹配法，抽取教師上傳范文中或者相同題目下學(xué)生作文中的關(guān)鍵詞，計(jì)算出與學(xué)生作文中的關(guān)鍵詞的匹配度，從而判斷作文有沒(méi)有跑題。跑題與內(nèi)容相關(guān)是一組相反的概念，據(jù)研究者推測(cè)內(nèi)容相關(guān)維度極有可能是遵循同樣的原理，但僅憑關(guān)鍵詞來(lái)判斷作文內(nèi)容是否切題未免有失偏頗，該項(xiàng)評(píng)判標(biāo)準(zhǔn)的信度和效度尚待科學(xué)驗(yàn)證。

篇章結(jié)構(gòu)層面是4個(gè)維度中唯一不升反降的，雖然其下降幅度沒(méi)有達(dá)到顯著水平（P>.01），但也說(shuō)明了自動(dòng)評(píng)分系統(tǒng)在提高學(xué)生謀篇布局能力上的不足。一方面，批改網(wǎng)對(duì)作文的反饋重于遣詞造句方面，對(duì)篇章結(jié)構(gòu)的反饋極少且十分寬泛;另一方面，后測(cè)作文在難度上要稍高于前幾次，這導(dǎo)致很多學(xué)生作文結(jié)構(gòu)松散，條理不清，分?jǐn)?shù)偏低。

（二）自動(dòng)作文評(píng)分系統(tǒng)的應(yīng)用對(duì)不同英語(yǔ)水平的大學(xué)生寫(xiě)作能力的影響

為了進(jìn)一步判定自動(dòng)作文評(píng)分系統(tǒng)對(duì)英語(yǔ)水平高、中、低3組的影響程度，研究者運(yùn)用SPSS17.0分別對(duì)這3組的前后測(cè)成績(jī)進(jìn)行獨(dú)立樣本T檢驗(yàn)。

表4數(shù)據(jù)說(shuō)明，這3組的后測(cè)成績(jī)與前測(cè)成績(jī)相比均有不同程度的提高，其中低分組在3個(gè)組中進(jìn)步最大，后測(cè)比前測(cè)均值高出1.577，達(dá)到統(tǒng)計(jì)學(xué)意義上的非常顯著（P<.01）;中分組進(jìn)步幅度次之，均值提高了1.346，達(dá)到了非常顯著性差異（P<.01）;高分組后測(cè)比前測(cè)均值只高出0.625，雖然進(jìn)步幅度達(dá)到了顯著性差異（P<.05），但在3個(gè)組中差異最小。由此可以得出初步結(jié)論，自動(dòng)作文評(píng)分系統(tǒng)應(yīng)用于寫(xiě)作教學(xué)對(duì)不同英語(yǔ)水平大學(xué)生的寫(xiě)作能力都有積極影響，寫(xiě)作成績(jī)提高幅度低分組>中分組>高分組，這說(shuō)明其影響程度與大學(xué)生的英語(yǔ)水平呈負(fù)相關(guān)。究其原因，研究者認(rèn)為主要是由于低分組學(xué)生在詞匯和句子層面犯的錯(cuò)誤較多，易于被系統(tǒng)識(shí)別反饋，從而做出有效修改;而高分組學(xué)生的表層語(yǔ)言錯(cuò)誤較少，作文思想內(nèi)容和篇章結(jié)構(gòu)本身就難以在短期內(nèi)提高，系統(tǒng)提供的幫助也較少。而且低分組學(xué)生往往字跡潦草，卷面凌亂，在線(xiàn)寫(xiě)作則能有效規(guī)避此類(lèi)問(wèn)題引起的失分。

四、結(jié)語(yǔ)

本研究是對(duì)自動(dòng)作文評(píng)分系統(tǒng)介入大學(xué)英語(yǔ)寫(xiě)作教學(xué)進(jìn)行的初步探索。與以往偏重于組間對(duì)比實(shí)驗(yàn)的研究不同的是，本研究著重探討系統(tǒng)對(duì)學(xué)生分項(xiàng)寫(xiě)作能力的影響以及對(duì)不同英語(yǔ)水平學(xué)生影響的差異，這也是本研究的創(chuàng)新之處。在量化研究基礎(chǔ)上，本研究發(fā)現(xiàn)該系統(tǒng)能從整體和分項(xiàng)維度上提高大學(xué)生的寫(xiě)作水平，尤其是在詞匯和句子維度提高顯著，而對(duì)學(xué)生的影響程度與其英語(yǔ)水平成負(fù)相關(guān)。由于研究周期較短，實(shí)驗(yàn)對(duì)象數(shù)量較少，本研究還存在許多有待完善的地方。如何將該研究繼續(xù)向縱深推進(jìn)，建立一個(gè)個(gè)性化、智能化、交互式、數(shù)字化的寫(xiě)作平臺(tái)，最終服務(wù)于提升大學(xué)生寫(xiě)作興趣和寫(xiě)作水平的終極目標(biāo)將是研究者下一步的研究課題。

[ 參 考 文 獻(xiàn) ]

[1] 吳一安，唐錦蘭.融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語(yǔ)寫(xiě)作實(shí)驗(yàn)教學(xué)對(duì)高校英語(yǔ)教師的影響研究[J]. 外語(yǔ)電化教學(xué)，2012（2）：3-10.

[2] 梁茂成. 中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[M]. 北京： 外語(yǔ)教學(xué)與研究出版社，2011.

[3] 梁茂成，文秋芳. 國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J]. 外語(yǔ)電化教學(xué)，2007（5）： 18-24.

[4] 李亞男. 漢語(yǔ)作為第二語(yǔ)言測(cè)試的作文自動(dòng)評(píng)分研究[D]. 北京：北京語(yǔ)言大學(xué)， 2006.

[5] 曹亦薇，楊晨. 使用潛語(yǔ)義分析的漢語(yǔ)作文自動(dòng)評(píng)分研究[J]. 考試研究，2007（1）：63-71.

[6] 葛詩(shī)利，陳瀟瀟. 國(guó)外自動(dòng)作文評(píng)分技術(shù)研究[J].外語(yǔ)電化教學(xué)， 2007（5）：25-29.

[7] 蔣學(xué)清，蔡靜，唐錦蘭. 探析自動(dòng)作文評(píng)價(jià)系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響[J]. 山東外語(yǔ)教學(xué)，2011（6）： 36-43.

[8] 莫函蓓. 新媒體時(shí)代大學(xué)生應(yīng)用寫(xiě)作行為的嬗變及策略[J].大學(xué)教育，2017（6）： 103-104+108.

[9] 孫宏兵. 動(dòng)態(tài)評(píng)價(jià)理論在非專(zhuān)業(yè)大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用[J]. 大學(xué)教育，2018（4）： 100-101+118.

[責(zé)任編輯：龐丹丹]