王建

【摘要】本文回顧了國(guó)內(nèi)作文自動(dòng)評(píng)價(jià)系統(tǒng)的應(yīng)用研究成果，指出了該領(lǐng)域存在的不足及未來(lái)的研究方向。

【關(guān)鍵詞】作文自動(dòng)評(píng)分系統(tǒng) 寫(xiě)作水平 認(rèn)知研究 自動(dòng)反饋

國(guó)外自動(dòng)寫(xiě)作評(píng)價(jià)系統(tǒng)（Automated Writing Evaluation）如Criterion不僅提供及時(shí)評(píng)分，還從內(nèi)容、組織結(jié)構(gòu)、詞匯及語(yǔ)法方面提供詳細(xì)的反饋與指導(dǎo)（Dikli，2006），因而被不斷應(yīng)用到課堂寫(xiě)作教學(xué)中。國(guó)內(nèi)AWE的應(yīng)用相對(duì)較晚，近年國(guó)內(nèi)有也少數(shù)的AWE系統(tǒng)如句酷批改網(wǎng)等被開(kāi)發(fā)出來(lái)輔助高校英語(yǔ)教師寫(xiě)作教學(xué)。本文對(duì)國(guó)內(nèi)AWE研究進(jìn)行梳理、評(píng)述，并指出該領(lǐng)域未來(lái)的研究方向。

作者將關(guān)鍵詞“在線(xiàn)評(píng)估”、“自動(dòng)作文評(píng)價(jià)系統(tǒng)”、“寫(xiě)作教學(xué)”及“應(yīng)用研究”輸入“中國(guó)期刊網(wǎng)”，結(jié)合手工檢索篩選出的外語(yǔ)類(lèi)中文類(lèi)核心期刊論文主要涉及三個(gè)研究方向：1）AWE的使用與學(xué)生寫(xiě)作水平的關(guān)系；2）使用者如何利用AWE及其認(rèn)知與態(tài)度；3）自動(dòng)反饋（Automated Feedback）研究。

一、AWE的使用與寫(xiě)作水平的關(guān)系

此類(lèi)研究將受試分成實(shí)驗(yàn)組與對(duì)照組，并利用前測(cè)后測(cè)來(lái)解釋這一關(guān)系。周穎（2011）以43名英語(yǔ)專(zhuān)業(yè)二年級(jí)學(xué)生為受試，利用WRM 2.0進(jìn)行了為期一學(xué)年的實(shí)驗(yàn)教學(xué)。前測(cè)顯示實(shí)驗(yàn)組與對(duì)照組在總分與各維度（內(nèi)容、結(jié)構(gòu)等）的成績(jī)無(wú)顯著差異，后測(cè)實(shí)驗(yàn)組在各緯度的分?jǐn)?shù)顯著高于對(duì)照組，得出結(jié)論AWE融入寫(xiě)作教學(xué)能提高學(xué)生的寫(xiě)作水平。此外該研究還指出物理環(huán)境（網(wǎng)速慢等）、學(xué)術(shù)環(huán)境（課程繁忙等）和管理環(huán)境（缺乏網(wǎng)絡(luò)教育理念等）三方面的因素可能會(huì)影響在線(xiàn)寫(xiě)作水平的發(fā)揮。蔣學(xué)清等（2011）指出實(shí)驗(yàn)組與對(duì)照組前測(cè)無(wú)顯著差異，經(jīng)過(guò)一學(xué)年的學(xué)習(xí)，兩組受試英語(yǔ)寫(xiě)作水平均有顯著提高，后測(cè)顯示實(shí)驗(yàn)組受試在結(jié)構(gòu)、語(yǔ)法、規(guī)范及總分維度上顯著高于對(duì)照組，這說(shuō)明AWE的融入對(duì)提高學(xué)生寫(xiě)作能力可以發(fā)揮積極的作用。但該研究同時(shí)發(fā)現(xiàn)WRM 2.0對(duì)作文的思想內(nèi)容、語(yǔ)體、選詞和句式變化方面的指導(dǎo)遠(yuǎn)遠(yuǎn)不足。唐錦蘭、吳一安（2012）將460名受試分為5個(gè)實(shí)驗(yàn)組和5個(gè)對(duì)照組，結(jié)果顯示實(shí)驗(yàn)組在各維度的分?jǐn)?shù)顯著高于對(duì)照組。于莉等（2012）以大一非英語(yǔ)專(zhuān)業(yè)學(xué)生為受試，采用干預(yù)式教學(xué)方法，即每次在線(xiàn)寫(xiě)作任務(wù)完成后教師就詳解系統(tǒng)提供的反饋；前后測(cè)使用同一個(gè)寫(xiě)作任務(wù)。研究表明受試在結(jié)構(gòu)、流暢度、語(yǔ)體和規(guī)范方面有較大提高，但在詞匯、思想內(nèi)容方面提高不多。

顧成華、王麗（2012）利用句酷批改網(wǎng)，以114名非英語(yǔ)專(zhuān)業(yè)學(xué)生為研究對(duì)象進(jìn)行歷時(shí)一學(xué)期的研究。后測(cè)顯示實(shí)驗(yàn)組成績(jī)顯著高于對(duì)照組，批改網(wǎng)的使用有助于提高學(xué)生寫(xiě)作水平。

魯艷輝等（2010）對(duì)80名大二學(xué)生進(jìn)行了為期10周的研究，以冰果自動(dòng)評(píng)分系統(tǒng)為工具。受試被分為男、女生組及高、低分組。研究者從10次寫(xiě)作文任務(wù)中抽取第1.5.10次作文進(jìn)行對(duì)比分析，發(fā)現(xiàn)所有受試整體成績(jī)有所提高，該系統(tǒng)對(duì)于改變學(xué)習(xí)者的寫(xiě)作策略有一定的促進(jìn)作用。經(jīng)過(guò)訓(xùn)練，男女生組寫(xiě)作成績(jī)無(wú)顯著差異，低分組寫(xiě)作水平顯著提高。受試在寫(xiě)作篇幅、錯(cuò)誤、語(yǔ)言表達(dá)、句法、邏輯銜接等方面均有所提高。不足的是該研究沒(méi)有設(shè)置對(duì)照組，這就很難說(shuō)明成績(jī)的提高與AWE的輔助有關(guān)。

上述研究結(jié)果均較為積極，即AWE的融入有利于提高學(xué)生的寫(xiě)作成績(jī)。但該類(lèi)研究在設(shè)計(jì)上還存在以下不足。第一，前后測(cè)的實(shí)施方式有待商榷。若實(shí)驗(yàn)組和對(duì)照組前后測(cè)任務(wù)均為在線(xiàn)寫(xiě)作，與寫(xiě)作構(gòu)念（writing construct）不相關(guān)的因素就有可能影響寫(xiě)作成績(jī)，特別是后測(cè)的成績(jī)。實(shí)驗(yàn)組因受長(zhǎng)期訓(xùn)練必定能克服此類(lèi)障礙，而對(duì)照組利用電腦寫(xiě)作次數(shù)少，因此在完成與實(shí)驗(yàn)組相同的寫(xiě)作任務(wù)時(shí)會(huì)處于不利因素，成績(jī)可能會(huì)較實(shí)驗(yàn)組低。第二，研究設(shè)計(jì)中控制變量的闡述不詳，如兩組受試是否接受同樣的教師課堂講解，寫(xiě)作任務(wù)訓(xùn)練的次數(shù)是否相等都不得而知。

二、師生對(duì)AWE的認(rèn)知研究

學(xué)生對(duì)AWE與寫(xiě)作水平關(guān)系的認(rèn)知。多數(shù)受試認(rèn)為AWE提供及時(shí)的反饋、增加修改次數(shù)、增長(zhǎng)作文的篇幅，有助于英語(yǔ)寫(xiě)作水平的提高。同時(shí)認(rèn)為AWE的反饋與教師反饋相結(jié)合更有助于寫(xiě)作水平的提高?，F(xiàn)階段的在線(xiàn)寫(xiě)作評(píng)價(jià)系統(tǒng)允許教師增加反饋并對(duì)系統(tǒng)的反饋錯(cuò)誤進(jìn)行糾正，任課教師若能增加適當(dāng)?shù)姆答?，就能提高反饋的效度，?duì)學(xué)生作文提供更準(zhǔn)確的指導(dǎo)。

學(xué)生對(duì)評(píng)價(jià)系統(tǒng)優(yōu)缺點(diǎn)的認(rèn)知。問(wèn)卷和訪談結(jié)果顯示AWE在文章結(jié)構(gòu)、詞匯以及規(guī)范方面提供有效指導(dǎo)，評(píng)語(yǔ)具有一定參考價(jià)值，具有自主性、診斷性、快捷性等特點(diǎn)。學(xué)生普遍接受AWE融入英語(yǔ)課堂教學(xué)。

同時(shí)也指出了AWE的許多缺點(diǎn)。第一，在思想內(nèi)容、邏輯連貫、文章結(jié)構(gòu)以及遣詞造句等方面AWE無(wú)法提供有效反饋。需要教師進(jìn)行在線(xiàn)寫(xiě)作指導(dǎo)，增加遣詞造句、思想內(nèi)容等反饋彌補(bǔ)系統(tǒng)反饋的不足。第二，系統(tǒng)提供的評(píng)語(yǔ)流于形式，反饋多為提示性，不夠具體，且不能進(jìn)行個(gè)性化反饋，教師應(yīng)為學(xué)生清楚解讀在線(xiàn)評(píng)價(jià)系統(tǒng)的評(píng)分標(biāo)準(zhǔn)。第三，AWE沒(méi)能提供相應(yīng)的參考范文。在傳統(tǒng)寫(xiě)作教學(xué)中，教師往往會(huì)提供優(yōu)秀范文供學(xué)生欣賞、模仿，讓學(xué)生發(fā)現(xiàn)自己作文不足之處。第四，AWE無(wú)法準(zhǔn)確評(píng)分。

教師對(duì)評(píng)價(jià)系統(tǒng)的認(rèn)知。教師們普遍贊賞AWE反饋的及時(shí)性并能促進(jìn)學(xué)生對(duì)作文的不斷修改，但同時(shí)指出AWE在內(nèi)容、語(yǔ)體及謀篇布局上的反饋過(guò)泛。他們認(rèn)為在結(jié)合AWE的寫(xiě)作過(guò)程中，教學(xué)應(yīng)盡量彌補(bǔ)其缺陷，利用AWE進(jìn)行針對(duì)性教學(xué)活動(dòng)。其次，應(yīng)為學(xué)生清晰解讀寫(xiě)作標(biāo)準(zhǔn)滿(mǎn)足學(xué)生的要求。此外，寫(xiě)作教學(xué)融入AWE應(yīng)使評(píng)價(jià)主體朝著“系統(tǒng)評(píng)估+教師評(píng)估+同伴評(píng)估”三位一體方向發(fā)展。AWE的融入應(yīng)使教師的角色更加多元化，從唯一的講解者和評(píng)價(jià)者轉(zhuǎn)為學(xué)生的引導(dǎo)者和支持者、教學(xué)過(guò)程的組織者和協(xié)調(diào)者等等。這表明AWE的融入使教師對(duì)寫(xiě)作教學(xué)的觀念發(fā)生了根本的變化，對(duì)寫(xiě)作教學(xué)有了新的認(rèn)識(shí)。

以上研究主要采用問(wèn)卷調(diào)查和訪談的形式，涉及師生對(duì)AWE及其使用的認(rèn)知、情感與態(tài)度。不足之處在于問(wèn)卷的設(shè)計(jì)是否科學(xué)、是否具有較高信度，目前這方面缺少一個(gè)標(biāo)準(zhǔn)的量表測(cè)驗(yàn)師生對(duì)AWE的認(rèn)知態(tài)度。

三、自動(dòng)反饋研究

近年來(lái)少數(shù)學(xué)者開(kāi)始關(guān)注自動(dòng)反饋（Automated Feedback），對(duì)比教師反饋、自動(dòng)反饋與同儕反饋對(duì)學(xué)生寫(xiě)作水平的影響，學(xué)生對(duì)三類(lèi)反饋的認(rèn)知態(tài)度，學(xué)生如何使用自動(dòng)反饋，自動(dòng)反饋的類(lèi)型、精確度等。值得一提的是Bai&Hu（2016）的研究。該研究不僅統(tǒng)計(jì)了句酷批改網(wǎng)系統(tǒng)反饋的類(lèi)型、精確度、學(xué)生對(duì)反饋的認(rèn)知，還關(guān)注受試如何領(lǐng)會(huì)（take up）系統(tǒng)反饋修改作文。但該領(lǐng)域還缺乏歷時(shí)的個(gè)案研究，學(xué)生利用自動(dòng)反饋時(shí)的認(rèn)知過(guò)程及心理狀態(tài)也尚處空白，需要研究者的關(guān)注。

四、結(jié)語(yǔ)及未來(lái)研究方向

本文對(duì)AWE國(guó)內(nèi)應(yīng)用研究進(jìn)行了綜述，指出了研究中存在的不足。未來(lái)研究可從以下幾方面入手。

第一，研究不同寫(xiě)作能力的學(xué)生利用在線(xiàn)評(píng)價(jià)系統(tǒng)的過(guò)程，揭示其使用AWE存在的差異。第二，教師是否充分地挖掘和利用AWE功用，是否存在個(gè)體差異等。第三，面對(duì)學(xué)生質(zhì)疑機(jī)器打分的不可靠性，未來(lái)研究應(yīng)對(duì)AWE的評(píng)分效度進(jìn)行全面報(bào)道，高效度是AWE融入課堂教學(xué)的基礎(chǔ)。目前國(guó)外有認(rèn)可度高的效度論證框架（Elliot & Williamson，2013），但尚未受到國(guó)內(nèi)研究者足夠的重視。

參考文獻(xiàn)：

[1]Bai L.F.& Hu G.W.（2016）：In the face of fallible AWE feedback：how do students respond？，Educational Psychology，DOI： 10.1080/01443410.2016.1223275.

[2]Dikli，S.Automated Essay Scoring[J].Online Submission， 2006，（1）：49-62.

[3]Elliot，N.，D.M.Williamson.Assessing writing special issue： Assessing writing with automated essay scoringt[J].Assessing Writing，2013（18）：1-6.

[4]顧成華，王麗.基于句酷批改網(wǎng)的大學(xué)英語(yǔ)寫(xiě)作教學(xué)實(shí)證研究[J].揚(yáng)州大學(xué)學(xué)報(bào)（高教研究版），2012，（4）：92-96.

[5]蔣學(xué)清，蔡靜，唐錦蘭.探析自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響[J].山東外語(yǔ)教學(xué)，201l，（6）：36-43.

[6]魯艷輝，譚福民，彭舜.現(xiàn)代教育技術(shù)智能寫(xiě)作評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作中的實(shí)證研究[J].現(xiàn)代教育技術(shù)，2010，（6）：56-58.

[7]唐錦蘭，吳一安.寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用研究[J].外語(yǔ)與外語(yǔ)教學(xué)，2012，（4）：53-58.

[8]于莉，齊品，郭平建.應(yīng)用數(shù)字化寫(xiě)作平臺(tái)干預(yù)大學(xué)英語(yǔ)寫(xiě)作教學(xué)的研究[J].外語(yǔ)電化教學(xué)，2012，（146）：17-21.

[9]周穎.在線(xiàn)形成性評(píng)價(jià)工具在英語(yǔ)寫(xiě)作中的應(yīng)用—困難及對(duì)策探究[J].現(xiàn)代教育技術(shù)，2011，（9）：88-93.