蔣旭 陳茜

摘 要：寫作自動評價系統(tǒng)（AWE）的發(fā)展為寫作教學帶來了便捷與活力，也為學生提供了自主練習的平臺。為進一步探究AWE如何影響用戶自主寫作修改行為， 文章基于第二寫作過程理論，以iWrite 2.0系統(tǒng)為實驗平臺，通過定量與定性研究，發(fā)現(xiàn)系統(tǒng)能有效幫助用戶提高寫作修改意識、發(fā)展錯誤分析策略、提高寫作語言水平與切題度、建立自我評分體系?？傮w而言，長期使用AWE對大學生寫作修改行為能產(chǎn)生積極效用，但仍需教師結(jié)合線上練習與線下課堂，最大程度地發(fā)揮其效用。

關鍵詞：寫作自動評價系統(tǒng);糾正性反饋;第二寫作過程;大學英語寫作

中圖分類號： TP274? ? ? ? 文獻標志碼：A? ? ? ? ? ?文章編號：1673-8454（2021）04-0058-05

一、引言

長期以來，寫作是大學英語教學的一大難點，于教師而言，為眾多學生提供及時且有針對性的反饋煞費精力;于外語學習者而言，滯后且模糊的反饋會減低寫作者的信心與熱情。教師有限的精力與學習者對有效反饋的需求之間存在矛盾，導致大學英語寫作教學呈現(xiàn)低效現(xiàn)狀。寫作自動評價系統(tǒng)（Automated Writing Evaluation，簡稱AWE）綜合了計算機與互聯(lián)網(wǎng)信息技術，為寫作教學活動注入了新鮮的血液，相關的研究與應用日益增多。自動評價系統(tǒng)的優(yōu)勢在于實時批改和在線反饋?！凹m正性反饋”的概念由Chaudron[1]首次提出，指當外語學習者口頭或書面用語錯誤時，收到的來自他人提示錯誤的反饋信息。傳統(tǒng)的糾正性反饋在課堂實際教學中通常表現(xiàn)為教師口頭評價、教師紅筆批注和同伴互評。近年來，信息技術的融合使得糾正性反饋彌補了傳統(tǒng)形式的缺陷，煥發(fā)了新的生機與活力。

本研究利用iWrite2.0英語寫作教學與評閱系統(tǒng)，以第二寫作過程為理論框架，采用前后測實驗、問卷調(diào)查、半開放性訪談等研究方法，探索了寫作自動評價系統(tǒng)糾正性反饋對大學生英語寫作修改行為的影響。

二、研究現(xiàn)狀

1.寫作自動評價系統(tǒng)

寫作自動評價系統(tǒng)的發(fā)展大致經(jīng)歷了三個階段[2][3]：第一階段發(fā)生在上世紀60年代，美國杜克大學的Ellis Page教授等開發(fā)了Page Essay Grade （PEG）系統(tǒng)，該系統(tǒng)能對文章進行淺層分析，由于技術限制，僅限于語言層面。第二階段在上世紀90年代，E-rater和Intellimetric系統(tǒng)通過加入潛在語義分析技術，開始著眼于文章的內(nèi)容與篇章結(jié)構(gòu)，分析日趨多元化。第三階段發(fā)生在本世紀初，My Access！、Criterion、Holt Online Essay Scoring、Writing Roadmap等系統(tǒng)在保留以往功能優(yōu)勢的基礎上，新增主題相關度判別技術。經(jīng)對比發(fā)現(xiàn)，這些系統(tǒng)各有千秋，也各存缺陷[4]，尤其體現(xiàn)在非英語母語使用者的適應性問題上。近年來，國內(nèi)也陸續(xù)研發(fā)了句酷批改網(wǎng)、iWrite等系統(tǒng)，這些系統(tǒng)均采用母語界面，更貼合我國本土學習者的學習習慣[5]。

國內(nèi)外學者對自動評價系統(tǒng)的應用效果持不同觀點：Bleyle和Dikli[6]認為，在線反饋變革了課堂結(jié)構(gòu)，激發(fā)了學習動機，比傳統(tǒng)教師反饋更為高效及時。然而，也有學者認為反饋評語存在問題，如Hegelheimer等[7]指出，自動反饋既模糊又刻板，千篇一律的評語會催生學生的寫作厭倦情緒;魯艷輝等[8]認為，部分評語過于泛化，阻礙了學生批判性思維能力的養(yǎng)成。另外，評價的啟發(fā)效果也因人而異，且局限于寫作的微觀層面，如詞匯、語法、拼寫等[9][10]，對于低水平學生而言更是收效甚微[11]。何旭良[12]指出，從信度上看，在線評分高于教師評分，尚不能反映學生真實水平;從效度上看，學生雖在寫作水平上稍有提升，但在文章內(nèi)容、篇章結(jié)構(gòu)、邏輯和連貫性上依舊欠缺，因此在線系統(tǒng)智能性仍需通過與其他教學手段結(jié)合獲得提升。由此可見，在線反饋并不能完全替代人力反饋，只是有效補充，尚需從理論和實踐兩方面進行深入探討。

2.理論框架：第二寫作過程

認知過程寫作理論認為，寫作應當是重過程而非重結(jié)果的活動[13]。寫作活動可簡單地劃分為兩個階段：第一階段為“第一寫作過程”（First Writing Process，簡稱FWP），教師布置任務，學生根據(jù)指令完成文章。在第二階段，教師將作文發(fā)回，學生根據(jù)收到的反饋進行修改，這個過程稱為第二寫作過程（Second Writing Process，簡稱SWP）。該理論提倡以遞歸的非線性過程教育取代傳統(tǒng)的結(jié)果教育法[14]，反復的修改和評價有助于培養(yǎng)學生良好的寫作習慣并逐步提高寫作興趣[15]。

Flower與Hayes[13]將寫作活動分為“規(guī)劃、轉(zhuǎn)譯、復查”三個步驟;趙曉丹[14]提出“寫初稿、同伴互評、修改、自我糾錯、多稿反復寫作、最終稿”六步法;何萬貫[16]提出第二寫作過程四步驟，即“發(fā)現(xiàn)問題”“分析問題”“修改文章”“完成文章、檢驗成效”。

與FWP相比，有關SWP的研究相對較少，且有關學習者如何利用寫作自動評價系統(tǒng)實現(xiàn)SWP的探討仍然鮮見。鑒于此，本文將利用SWP的理論框架，借助上述何萬貫的四大寫作步驟，探究在線寫作自動評價系統(tǒng)對使用者英語寫作修改行為的影響。

三、實驗設計

1.研究問題

（1）發(fā)現(xiàn)問題

寫作自動評價系統(tǒng)能否精準發(fā)現(xiàn)用戶寫作中存在的問題并提高問題發(fā)現(xiàn)意識？

（2）分析問題

用戶對系統(tǒng)糾正性反饋的采納度如何？在其幫助下，用戶能否熟悉常見錯誤類型并發(fā)展修改策略？

（3）修改文章

在在線反饋的幫助下，用戶能否多角度修改文章？

（4）完成文章、檢驗成效

經(jīng)長期使用，用戶能否有效修改文章并形成個人寫作評價體系？

2.實驗過程和研究方法

（1）研究過程

實驗包含六大步驟，具體流程如圖1所示：

整個實驗為期一個學期，共有84位浙江理工大學非英語專業(yè)大一學生參與，其中文科生41位，理工科生43位，59.52%為男性，40.48%為女性。參與者在iWrite 2.0系統(tǒng)里提交作文總計8篇，教師不參與反饋，由參與者根據(jù)系統(tǒng)提示獨立修改。這8篇作文均采用大學英語四級考試模擬題。

（2）研究方法

①問卷調(diào)查

所有參與者在完成8次寫作后，筆者對其進行了問卷調(diào)查。為保證數(shù)據(jù)的有效性，筆者在發(fā)放問卷前向參與者解釋了問卷中的專業(yè)術語，并要求參與者按真實想法填寫。在收回的84份答卷中，83份為有效答卷。筆者使用問卷星數(shù)據(jù)處理系統(tǒng)和Excel統(tǒng)計實驗數(shù)據(jù)。

②前后測

前后測分別設置在學期初與學期末，對4位參與者進行個案研究（下文使用P1、P2、P3、P4來代表4位實驗參與者）。前測中參與者根據(jù)iWrite系統(tǒng)的寫作要求完成一篇話題作文并提交評分。系統(tǒng)評分基于語言、內(nèi)容、篇章結(jié)構(gòu)和技術規(guī)范四個維度。獲得系統(tǒng)反饋后，參與者可在無教師干預狀態(tài)下反復修改并多次提交系統(tǒng)評分直至定稿。筆者觀測其中4位參與者（兩位文科生、兩位理工科生，兩位男性、兩位女性）的修改軌跡作為本研究前測和前測修改數(shù)據(jù)。學期末，這4位參與者參加紙質(zhì)寫作測試，筆者收集并保留原始答卷中的錯誤和修改痕跡輸入iWrite系統(tǒng)獲得機閱評分，作為后測數(shù)據(jù)。所有實驗數(shù)據(jù)通過Excel進行整理和分析，詳細評分呈現(xiàn)如圖2-5所示。

③半開放式訪談

在前測與后測結(jié)束后，筆者分別對4位參與者進行了一對一的半開放式訪談。訪談全程錄音，筆者將其整理成文字。

四、結(jié)果與討論

本章節(jié)結(jié)合問卷調(diào)查、前后測和訪談三項實驗數(shù)據(jù)，根據(jù)SWP四個步驟，分析在線寫作自動評價系統(tǒng)糾正性反饋對大學生英語寫作修改行為的影響。

1.發(fā)現(xiàn)問題階段

（1）系統(tǒng)反饋的準確度和全面性

問卷結(jié)果顯示，用戶認為系統(tǒng)平均能發(fā)現(xiàn)73.1%的寫作問題，且大部分的反饋準確有效。然而，由于現(xiàn)存系統(tǒng)的局限性，iWrite在某些情況下仍會產(chǎn)生誤判。50%的參與者認為系統(tǒng)反饋準確，15.48%認為非常準確，而僅有1.19%認為非常不準確，另外33.33%表示不清楚。在前后測實驗中所得信息與上述問卷結(jié)果大致相符。通過比較發(fā)現(xiàn)，盡管iWrite可用于偵測拼寫錯誤和標點誤用，但卻很難識別復雜句和高級語法問題，如例1中P1的一段作文節(jié)選：

在這個例子中，系統(tǒng)糾正性反饋提示P1“seemed know”存在語法錯誤。但是實際上，間接引語的用法也存在錯誤，iWrite卻無法通過聯(lián)系語境進行識別。有趣的是，P1自己發(fā)現(xiàn)了這個問題并進行了修改。在半開放式訪談中，P1說“iWrite反饋比我預想得要更全面具體，但有時它還是會反饋錯誤信息”。另外，在訪談中還得到iWrite存在“奇怪的詞語搭配”“反饋提示刪掉一些我認為很好的表達”等評價。

（2）用戶發(fā)現(xiàn)問題意識的提高

在例1中，由于系統(tǒng)未能全面識別寫作錯誤，P1嘗試自己發(fā)現(xiàn)問題。同樣，在對P2和P3的訪談中，他們表示會在使用系統(tǒng)的過程中利用自己的經(jīng)驗和判斷修改作文。P2稱，在使用iWrite修改后，她仍會通過自我復查判斷是否還有遺留問題。P3稱，在通過iWrite修改后，會根據(jù)日常積累增添一些華麗的辭藻。只有P4由于外在干擾因素沒有采取iWrite以外的措施修改作文。

在第二次訪談中，談及在后測中是否嘗試主動發(fā)現(xiàn)問題時，P1和P2認為，即使測試有時間限制，他們?nèi)匀粐L試關注文章銜接問題。就連前測中修改較為敷衍的P4也稱，自己嘗試著去進行詞語修改。這表明，在自主使用寫作自動評價系統(tǒng)的過程中，用戶發(fā)現(xiàn)問題的意識逐漸提高。

綜上所述，iWrite系統(tǒng)的糾正性反饋可幫助用戶發(fā)現(xiàn)文章中的大部分問題。然而，系統(tǒng)錯誤的分析也會造成誤導。因此，初稿完成后，用戶可借鑒但不能完全依賴iWrite系統(tǒng)反饋。這樣既能利用在線系統(tǒng)發(fā)現(xiàn)問題，也能提高自主發(fā)現(xiàn)問題的意識并養(yǎng)成寫作修改的好習慣。

2.分析問題階段

（1）反饋有效性與用戶對糾正性反饋的接受度

有77.38%的參與者認為“技術規(guī)范”層面的分析最有效，“語言”以72.62%位居第二?！捌陆Y(jié)構(gòu)”和“內(nèi)容”分別以38.1%和26.19%位居第3、第4。在無效反饋中，誤導性反饋是iWrite系統(tǒng)的一大缺陷，詳情可見例2。

例2展現(xiàn)了iWrite系統(tǒng)對P2作文的一個誤導性反饋。從例子中可以看出，盡管系統(tǒng)發(fā)現(xiàn)句子存在問題，但是對問題的判斷并不準確。在句子“In the meantime...the relationship a lot”中，由于定語從句沒有緊跟其真正的先行詞“conversation”（原文中此單詞拼寫有誤，且應該為復數(shù)形式），從而帶來語義模糊。由于iWrite系統(tǒng)無法鑒別真正的先行詞，誤把“roommates”當成系動詞“is”的主語，從而錯誤提示P1進行無效修改。

問卷第6題探究了參與者對iWrite系統(tǒng)反饋的采納度。27.38%的參與者采用了將近80%的iWrite反饋，13.1% 的參與者接受了60%，只有3.57%認為系統(tǒng)反饋并無價值。通過計算發(fā)現(xiàn)，iWrite系統(tǒng)反饋的平均采納率為69.4%。這意味著超過一半的系統(tǒng)糾正性反饋對用戶是有價值的。

（2）自我分析能力和策略發(fā)展

訪談中，所有參與者都認為iWrite系統(tǒng)的糾正性反饋可以幫助他們修改詞匯，尤其是高級詞匯的替換。系統(tǒng)還具備逐句分析功能，以這種方式，用戶逐漸養(yǎng)成逐句修改和逐段修改的習慣，開始采取“點、線、面”多維度潤色文章。P1提及，“剛開始使用iWrite的時候，我一個字一個字地修改，以防自己忘記。但是幾次修改后，我開始在修改前三思而行，并且一步到位”。在訪談中，P2還表示“當系統(tǒng)反饋與我的判斷相左時，我還是會堅持己見”。也就是說，在使用iWrite系統(tǒng)一段時間后，一些用戶已經(jīng)發(fā)展出自己的分析標準，不再完全依靠外界工具。

3.修改寫作階段

（1）修改建議來源和修改對象

修改過程是第二寫作過程的核心階段。問卷調(diào)查發(fā)現(xiàn)，在修改作文時，iWrite系統(tǒng)提供的反饋是參與者的首選參考來源，很少有參與者使用字典或同伴建議這些傳統(tǒng)方式。對詞語和詞組修改最為頻繁，其次是對標點和語法的修改。極少有參與者關注文章的內(nèi)容、主題和連貫銜接問題。

（2）四個評分維度寫作水平的變化

P1、P2、P3、P4作文四個維度的評分在iWrite系統(tǒng)后臺可見，前測的初稿、終稿和后測分數(shù)分別呈現(xiàn)在圖2-5中。折線圖清晰地反映了參與者四個維度寫作水平的變化。每個折線圖里都有兩組變量控制組，分別對比前測修改前后和前后測。前測修改前后的對比反映了iWrite系統(tǒng)的短期使用影響，而前后測對比反映了較長期使用系統(tǒng)的影響。

實驗發(fā)現(xiàn)，在第一組控制組中，技術規(guī)范和篇章結(jié)構(gòu)提升迅速，內(nèi)容和語言也有些許進步。然而，在第二個控制組中，除了P3，大部分參與者在語言上有進步。能在短短一個學期內(nèi)取得語言上的進步，效果是非常顯著的，這表明在線自動反饋可潛移默化地影響用戶語言水平。同時，內(nèi)容維度的評分也大幅上升。相較而言，篇章結(jié)構(gòu)和技術規(guī)范維度評分無提升甚至略有下降。總體而言，iWrite能通過及時反饋幫助用戶從各個方面修改作文，但從較長期實驗來看，它只在語言、內(nèi)容兩個維度上產(chǎn)生積極影響，在篇章結(jié)構(gòu)和技術規(guī)范維度并不顯著。

4.完成文章、檢驗成效階段

問卷第9、10題探究參與者根據(jù)系統(tǒng)反饋進行修改后對文章的滿意度以及寫作自動評價系統(tǒng)的優(yōu)勢，結(jié)果表明，大部分參與者對根據(jù)系統(tǒng)反饋進行修改后的文章表示滿意或非常滿意。相較于教師反饋和同伴反饋等傳統(tǒng)反饋形式，他們認為系統(tǒng)的優(yōu)勢在于“沒有提交次數(shù)限制”“自己檢測文章沒有壓力和尷尬”“反饋及時”等。簡而言之，正是系統(tǒng)給予用戶的自主性和自由度使得他們享受練習英語寫作的過程，逐漸養(yǎng)成反復自我檢驗的習慣。在與P2的訪談中得知，iWrite系統(tǒng)還具有激勵作用。P2反映，“由于系統(tǒng)反饋中顯示班級排名，如果排名落后或是分數(shù)低，我就會不停地修改提交直至在班上取得較好名次”。事實上，在前測中P1、P2、P3、P4也都積極進行修改，分別提交4、14、11、4次。

綜上所述，iWrite系統(tǒng)給用戶提供了一個自由無干預的環(huán)境，潛移默化地影響用戶對作文進行反復修改。在這個過程中，參與者慢慢了解創(chuàng)作一篇優(yōu)秀作文的關鍵點，逐漸建立起他們自己的評分機制。另外，班級排名功能使得用戶在學習小組內(nèi)良性競爭，創(chuàng)造出適合語言學習的良性氛圍。

五、結(jié)語

基于以上相關實驗數(shù)據(jù)，本研究得出以下結(jié)論：①寫作自動評價系統(tǒng)（AWE）糾正性反饋能夠激發(fā)用戶發(fā)現(xiàn)問題的意識并提高敏感度，但由于系統(tǒng)無法識別復雜問題，用戶不能過度依賴系統(tǒng)，而應培養(yǎng)自主發(fā)現(xiàn)問題的能力;②用戶能養(yǎng)成主動分析問題的習慣，并且發(fā)展對應的修改策略，但長期來看，僅限于語言和內(nèi)容層面;③通過在線糾正性反饋的幫助，用戶嘗試多角度修改文章，并積極向外界尋求反饋;④得到系統(tǒng)幫助后，用戶根據(jù)自己的經(jīng)驗和判斷，在無壓力且零尷尬的環(huán)境下，于定稿前反復修改，建立個人評分體系。

總體來說，通過較長時間的應用，寫作自動評價系統(tǒng)能夠?qū)τ脩粲⒄Z寫作水平產(chǎn)生影響，但由于技術限制，還無法徹底取代人工反饋。未來，研究者應更多地考慮怎樣將信息技術與線下課堂更大程度地融合，充分發(fā)揮其對英語寫作教學的積極影響。

參考文獻：

[1]Chaudron C.A descriptive model of discourse in the corrective treatment of learners' error[J].Language Learning，1977，27（1）：29-46.

[2]梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學，2007（5）：18-24.

[3]張威，蔡文育.大數(shù)據(jù)時代基于在線自動評改的英語寫作反饋研究[J].教書育人（高教論壇），2019（12）：102-103.

[4]鄒思琦，鐘家寶.國內(nèi)作文自動評估系統(tǒng)的研究綜述[J].海外英語，2018（12）：53-54.

[5]宋毅寧.自動作文評分系統(tǒng)對大學生英語寫作能力的影響實證研究[J].大學教育，2019（10）：132-134.

[6]Bleyle S， Dikli S.Automated essay scoring feedback for second language writers： How does it compare to instructor feedback [J].Assessing Writing，2014（22）：1-17.

[7]Hegelheimer V， Li J， Link S.Rethinking the role of automated writing evaluation （AWE） Feedback in ESL writing instruction [J].Journal of Second Language Writing，2015（27）：1-18.

[8]魯艷輝，譚福民，彭舜.智能寫作評分系統(tǒng)在大學英語寫作中的實證研究[J].現(xiàn)代教育技術，2010，20（6）：56-58.

[9]楊曉瓊，戴運財.基于批改網(wǎng)的大學英語自主寫作教學模式實踐研究[J].外語電化教學，2015（2）：17-23.

[10]胡學文.在線作文自我修改對大學生英語寫作結(jié)果的影響[J].外語電化教學，2015（3）：45-49.

[11]楊玲.作文自動評價系統(tǒng)在高水平學生英語寫作學習中的應用[J].現(xiàn)代教育技術，2013，23（5）：73-77.

[12]何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究[J].現(xiàn)代教育技術，2013，23（5）：64-67.

[13]Flower L， Hayes R.Identifying the organization of writing processes[A].In：Gregg L W.Cognitive Processes in Writing[C].Hillsdale N J.：Lawrence Erlbaum Associates，1980：3-30.

[14]趙曉丹.過程教學法在大學英語寫作教學中的應用模式構(gòu)建[J].教育現(xiàn)代化，2019，6（72）：216-218+228.

[15]趙鐳.寫作自動評改系統(tǒng)在研究生英語實用寫作教學中的實踐[J].玉溪師范學院學報，2018，34（2）：64-70.

[16]何萬貫.第二寫作過程研究[J].現(xiàn)代外語，2007（4）：375-386+437.? （編輯：李曉萍）