黃 瑞

(洛陽理工學(xué)院外國語學(xué)院，河南洛陽471023)

兩種在線英語寫作測評系統(tǒng)的反饋成效性對比研究

黃 瑞

(洛陽理工學(xué)院外國語學(xué)院，河南洛陽471023)

通過問卷調(diào)查、訪談、對作文分數(shù)的統(tǒng)計學(xué)分析以及批改樣本分析，就批改網(wǎng)和外教社課程中心作文批改系統(tǒng)在反饋內(nèi)容、側(cè)重點、效果以及學(xué)生評價等方面的情況進行對比研究，多角度剖析兩種在線寫作測評系統(tǒng)的成效性。分析了兩種在線寫作反饋方式各自的優(yōu)缺點，給出了提高其成效性的一些建議。在大學(xué)英語寫作教學(xué)中，若能使寫作測評系統(tǒng)的在線反饋、基于系統(tǒng)平臺的同伴反饋、教師反饋相輔相成，形成一個動態(tài)的多元綜合評價系統(tǒng)，將提高作文教學(xué)的效率，彌補單一反饋的不足。

在線寫作測評系統(tǒng)；寫作反饋；形成性評價；終結(jié)性評價

寫作教學(xué)中的反饋是指讀者對作者的評價，目的是為作者修改文章提供信息[1]。按照反饋形式劃分，主要包括關(guān)注寫作結(jié)果的終結(jié)性反饋、關(guān)注寫作過程的形成性反饋以及反映學(xué)生現(xiàn)有寫作能力的診斷性反饋[2]。按照反饋內(nèi)容劃分，主要有直接反饋、間接反饋、糾錯性反饋和非糾錯性反饋[3]。按照反饋來源劃分，主要有教師反饋、同伴反饋和電子反饋等。近年來，在互聯(lián)網(wǎng)信息技術(shù)迅速發(fā)展的浪潮下，各種在線英語寫作自動測評系統(tǒng)層出不窮，相關(guān)研究隨之涌現(xiàn)。有的研究在線寫作測評系統(tǒng)的技術(shù)特點[4，5]；有的研究批改網(wǎng)使用與培養(yǎng)學(xué)生自主學(xué)習(xí)能力的關(guān)系[6]；有的研究以實驗前后測試成績、百詞錯誤率、文章長度變化為依據(jù)，檢驗在線寫作測評系統(tǒng)能否使寫作水平顯著提高[7]；有的以社會文化活動理論為框架，研究如何搭建寫作過程模型[8]。筆者將就批改網(wǎng)(www.pigai.org)、外教社課程中心(course.sflep.com)作文批改系統(tǒng)的優(yōu)缺點以及在線測評系統(tǒng)與教師反饋的差異進行對比研究。

一、 研究設(shè)計

(一) 研究問題

本研究旨在探討批改網(wǎng)和外教社課程中心兩種在線寫作測評系統(tǒng)對提高英語寫作能力的成效性。具體研究以下問題：① 兩種在線寫作測評系統(tǒng)的一致性如何？② 兩種反饋形式各有哪些優(yōu)缺點？針對其局限，有何改進措施？③ 在線測評系統(tǒng)與教師反饋有哪些差異？

(二)研究對象

本研究選取某高校同一教學(xué)年級的3個合班的159名非英語專業(yè)大一學(xué)生為研究對象。筆者隨機將學(xué)生分為實驗組A、實驗組B和對照組C，每組53人，進行了為期1學(xué)年的教學(xué)實驗。實驗組A的初稿采用批改網(wǎng)反饋，修改稿由教師反饋；實驗組B的初稿采用外教社課程中心作文批改系統(tǒng)反饋，修改稿由教師反饋。對照組C的初稿和修改稿均采用教師反饋方式。所有學(xué)生1學(xué)年內(nèi)需提交10篇作文，均為大學(xué)英語四級考試模擬作文題，要求也與四級考試相同。

(三)研究工具

本研究采用問卷調(diào)查、訪談、作文樣本分析等研究方法收集分析數(shù)據(jù)。① 問卷調(diào)查針對實驗組A、實驗組B的學(xué)生，內(nèi)容包括對兩種寫作測評系統(tǒng)的使用體驗和優(yōu)缺點評價、反饋結(jié)果接納態(tài)度等。選擇題采用李克特量表(Likert Scale)形式，問答題是開放性的。② 本研究對5名不同教齡的大學(xué)英語教師和10名學(xué)生(A組3名，B組3名，C組4名)進行了半結(jié)構(gòu)式訪談，以深入了解師生對寫作測評系統(tǒng)的評價和教學(xué)中可能出現(xiàn)的問題。③ 本研究以抽樣方式選取了10篇作文樣本，提交給教師、兩種在線測評系統(tǒng)分別評閱，分析3種反饋方式在批改成績、評語、內(nèi)容等方面的異同。

二、 研究結(jié)果與討論

(一)兩種在線作文測評系統(tǒng)的評分相關(guān)度分析

批改網(wǎng)基于語料庫和云計算，將英語作文和語料庫進行對比分析，在線即時給出作文分數(shù)、評語、按句點評，具有相似性檢測功能。外教社課程中心作文批改系統(tǒng)可對作文進行自動打分及點評，支持雷同檢測。

為檢測兩種測評系統(tǒng)作文總體評分的相關(guān)度及其是否達到顯著性水平，本研究采取了以下步驟：將159名學(xué)生撰寫的同一命題作文，分別提交兩種作文測評系統(tǒng)，得出兩組總體評分；去除因抄襲得零分的3名學(xué)生的無效分數(shù)后，再將156名學(xué)生的兩組分數(shù)分別輸入SPSS 17.0系統(tǒng)，用斯皮爾曼相關(guān)分析計算出兩種系統(tǒng)評分的相關(guān)系數(shù)。結(jié)果如表1所示。

表1 兩種在線作文測評系統(tǒng)評分的斯皮爾曼相關(guān)系數(shù)表

注:**意即按雙尾檢驗,其顯著性水平為0.01.

結(jié)果顯示，顯著性p=0.000<0.01，說明該相關(guān)系數(shù)具有統(tǒng)計學(xué)意義。批改網(wǎng)和外教社課程中心評分的斯皮爾曼相關(guān)系數(shù)為0.514，0.5≤∣r∣<0.8，屬于顯著(中度)相關(guān)，說明兩者在評判作文時評分還是比較趨于一致的。

(二)學(xué)生對兩種在線寫作測評系統(tǒng)的評價

本研究對實驗組A、實驗組B的學(xué)生進行了問卷調(diào)查，旨在統(tǒng)計學(xué)生對兩種在線寫作測評系統(tǒng)優(yōu)缺點的評價及其對反饋結(jié)果的接納程度，以期為在線寫作測評系統(tǒng)的有效利用提供啟示。調(diào)查對象當(dāng)場提交了問卷，回收率100%。

針對問卷中“外教社課程中心的在線作文反饋的優(yōu)缺點有哪些”這一問題，學(xué)生認為其優(yōu)點主要有兩個方面：① 整體思路總結(jié)得不錯，優(yōu)缺點都羅列了，提出的建議很好。② 評價中肯，反饋迅速，效率很高。學(xué)生認為其缺點有以下方面：① 在反饋形式方面，超過半數(shù)的學(xué)生認為其批改不夠細致，有的學(xué)生認為該作文測評系統(tǒng)只給出分數(shù)和籠統(tǒng)的總體評價，對認識習(xí)作中出現(xiàn)的錯誤、提高寫作水平幫助不大。② 在評語內(nèi)容方面，35%的學(xué)生認為，該系統(tǒng)沒有具體修改意見，無法獲悉作文哪里有誤以及錯誤類型；17%的學(xué)生認為評價過于寬泛，固定模式批改，評語太機械；有的學(xué)生認為評語只注重形式，不注重內(nèi)容，忽視了作文的思想性。③ 在對反饋結(jié)果的接納程度方面，12%的學(xué)生認為批改結(jié)果不夠準(zhǔn)確，不公平；有的學(xué)生反映，修改稿若字數(shù)增加，分數(shù)一般就會提高，而內(nèi)容修改卻顯得影響不大，懷疑網(wǎng)絡(luò)批改的準(zhǔn)確性。

針對問卷中“批改網(wǎng)作文在線反饋效果的優(yōu)缺點有哪些”這一問題，學(xué)生認為其優(yōu)點主要有兩個方面：① 在反饋形式方面，67%的學(xué)生認為批改網(wǎng)反饋細致、實用，能指出很多不足；標(biāo)點、大小寫、詞匯、語法等錯誤都能指出，并提出修改意見；針對詞匯和語法的錯誤警示明確；網(wǎng)站設(shè)計人性化，便于修改和記錄，避免以后出現(xiàn)類似錯誤。② 在反饋內(nèi)容方面，學(xué)生認為利用該系統(tǒng)的學(xué)習(xí)提示、推薦表達、詞匯辨析等功能，可學(xué)到很多新單詞和常用搭配，便于積累詞匯量；批改較為全面，既指出了作文的不足，又指出了長處；19%的學(xué)生提到，喜歡批改網(wǎng)的“推薦表達”功能，其有助于將樸實無華的句子修改得地道、出彩。學(xué)生認為其缺點有以下四個方面：① 在反饋內(nèi)容方面，13%的學(xué)生認為修改意見有時看不懂，所提問題找不到具體位置，不明白哪里不恰當(dāng)。② 在對反饋結(jié)果的接納程度方面，6%的學(xué)生認為評價結(jié)果不準(zhǔn)確，一些正確的句子會被判為語句錯誤或中式英語。③ 在分數(shù)方面，3%的學(xué)生認為，有時根據(jù)意見提交修改稿后，分數(shù)反而更低。④ 在網(wǎng)站設(shè)置方面，有學(xué)生認為修改不夠方便，需要重寫再提交，若能在個別處直接修改就好了；網(wǎng)站經(jīng)常很卡，有時多次提交不上，顯示系統(tǒng)繁忙。

(三)作文反饋樣本對比分析

外教社課程中心網(wǎng)站對于作文的反饋包括作文得分、作文統(tǒng)計(包括平均句長、句子數(shù)量、拼寫錯誤數(shù)目、四六級詞匯數(shù)量)和系統(tǒng)評價等內(nèi)容，沒有逐句分析，只有整體概括性評價，提交次數(shù)有限，屬于關(guān)注寫作結(jié)果的終結(jié)性反饋。批改網(wǎng)提供錯誤提示、推薦表達、詞匯辨析及擴展短語，允許無限次提交和批改，屬于關(guān)注寫作過程的形成性反饋。實驗選用的教師反饋是訪談中多數(shù)教師習(xí)慣采取的“直接錯誤糾正反饋”方式，并給出評語。筆者從10篇作文樣本中抽取一篇題為“The Importance of Oral English”的作文，由批改網(wǎng)、外教社課程中心、教師反饋分別給出總體評價，結(jié)果如表2所示。

表2 批改網(wǎng)、外教社課程中心和教師對同一樣本的總體評價

從表2可以看出，無論是批改網(wǎng)還是外教社課程中心，都給出了涵蓋詞匯、句法、銜接與連貫等方面的全方位評價，并且都包含肯定性評語，這與石曉玲[4]提出的寫作測評系統(tǒng)評價集中于詞匯和語法層面，無法準(zhǔn)確評估作文內(nèi)部邏輯性與關(guān)聯(lián)性，以及陳鳳[9]提出的測評系統(tǒng)較少涉及篇章結(jié)構(gòu)和連貫性方面的研究結(jié)論明顯不同。這說明在線作文測評系統(tǒng)的反饋功能智能化日漸改善，準(zhǔn)確度不斷提升，作文分析趨于全面化、系統(tǒng)化。然而，與教師反饋相比，兩種在線反饋系統(tǒng)均未涉及邏輯是否合理、論據(jù)是否充分。在線寫作測評系統(tǒng)畢竟是機器反饋，對于靈活而不斷發(fā)展的語言文字，必然有無法識別的遺漏，其定位還應(yīng)是輔助教學(xué)。正如蔣艷[5]所指出的，在寫作教學(xué)中，教師仍應(yīng)是主導(dǎo)。就分數(shù)而言，兩種在線測評系統(tǒng)所給分數(shù)恰巧相同，均為67分，而教師反饋則給了等級分數(shù)“A-”，因教師顧慮低分可能會打擊學(xué)生的自信心和積極性。

除給出總體評分和評語外，批改網(wǎng)還有一個按句點評功能。這篇題目為“The Importance of Oral English”的作文，由批改網(wǎng)反饋和由教師反饋的實際內(nèi)容，如表3所示。

表3 批改網(wǎng)按句分析與教師反饋樣本對比

續(xù)表

作文原句批改網(wǎng)反饋內(nèi)容教師反饋內(nèi)容⑨Butinfact,spokenEnglishisnotdiffcultanditisveryimportantinourlife.[詞語錯誤]請檢查diffcult,確認拼寫正確[標(biāo)點警示]英文標(biāo)點符號之后通常須加空格[推薦表達]very:morethan[近義詞表達學(xué)習(xí)]infact的同義表達有inreality/actually/virtually[推薦表達]very:overwhelmingly/intensely/exceedingly/extremely 建議把下畫線部分改為thatdifficult⑩Sowhynot?[句子錯誤]本句語法不規(guī)范,請檢查[句子錯誤]請檢查句中謂語動詞[句子警示]英文標(biāo)點符號之前無須空格[推薦表達]so:therefore/thus/consequently/accordingly/asaresult/forthatreason/hence/that'swhy 下畫線部分句子成分不全,建議后接trytoim-proveyouroralEnglish?

由表3可見，批改網(wǎng)反饋內(nèi)容比教師反饋更為豐富，然而經(jīng)逐條分析可知，其部分修改建議的準(zhǔn)確性和意義有待商榷。如句 ① “拓展辨析”中“people”與“person”的區(qū)別，筆者認為可有可無，因為學(xué)生并未用錯。句 ② “搭配錯誤”一項，錯誤原因不是“behave 一般是不及物動詞”，而是語義錯誤?！癰ehave oneself”作為一個固定短語，含義是“使行為規(guī)矩”，與原文語境不符，應(yīng)改為“express oneself”，意為“表達自己的觀點”。句 ② “拓展辨析”提到“use … language”的出現(xiàn)次數(shù)，與潤色文章無關(guān)，屬于無用信息?！巴扑]表達”里的“utilise”，意為“利用”，若替換原文“use”，搭配“different languages”并不恰當(dāng)。句 ④ 批改網(wǎng)“推薦表達”中“help：do sb a favor”這一用法往往以人為主語，而非以物為主語。顯然原文主語“it”指代的是“oral English”，使用該推薦表達不合適?！皏ery”作為一般強調(diào)用詞，改為推薦的語氣較強的“more than”不妥。最后一個分句邏輯混亂，語義模糊，批改網(wǎng)未能識別。句 ⑤ “拓展辨析”里提到“use…talk”在語料庫中出現(xiàn)41次，并不能證明該用法是否準(zhǔn)確和恰當(dāng)，事實上該用法并不地道。另外，句 ⑤ 中的“meet with England”雖無語法錯誤，但有語義偏差，應(yīng)改為英國人“an Englishman”。句 ⑥ 中的“writing English”有語義錯誤，但未被指出，應(yīng)改為“written English”。批改網(wǎng)多次未能識別語義錯誤，這與蔣艷[5]指出的批改網(wǎng)無法判斷內(nèi)容錯誤的結(jié)論一致。句 ⑧ “推薦表達”中“not actually into the way … are”句型若替代“not like oral English”不恰當(dāng)，尤其是“the way … are”這部分，可改為“Some students are not actually into oral English”?！癰ecause”一詞的“推薦表達”內(nèi)容豐富，有助于詞匯拓展，但并非全都適合替換原句。最后一小分句用詞不當(dāng)，且有歧義，批改網(wǎng)未能判別出來。句 ⑨ “推薦表達”仍提出用“more than”替換“very”，與前幾處出現(xiàn)“very”時的提示相同，顯得非常機械。

教師書面反饋采取直接錯誤糾正形式，和批改網(wǎng)的“警示”“提示”“推薦”相比，顯得直截了當(dāng)，淺顯易懂；批改網(wǎng)指出問題但并未直接給出正確形式，在促進學(xué)生積極思考、自主修改、推動其自主學(xué)習(xí)能力發(fā)展方面有積極意義。在訪談中，受訪教師被問及為何多采取直接錯誤糾正的反饋形式時，其中的4名教師談到如果使用間接反饋，則擔(dān)心學(xué)生不能理解。比如只標(biāo)明錯誤位置，會擔(dān)心學(xué)生能否看出錯誤，附上文字解釋又過于繁瑣，使用錯誤代碼唯恐基礎(chǔ)較差的學(xué)生看不懂，干脆直接在原文糾正。根據(jù)對10名學(xué)生代表的訪談，多數(shù)學(xué)生表示教師反饋必不可少，教師反饋側(cè)重語言形式和內(nèi)容，兼顧邏輯和思想性。他們還肯定了教師采用的簡單明了的作文反饋形式，即直接錯誤糾正反饋，并表示非常信賴教師反饋。

三、結(jié) 語

總體來看，與外教社課程中心的終結(jié)性反饋相比，批改網(wǎng)作為關(guān)注寫作過程的形成性反饋更受學(xué)生青睞。兩者在批改總分上顯著(中度)相關(guān)，比較趨于一致。外教社課程中心作文反饋內(nèi)容只有籠統(tǒng)的總體評分和評語，未能提供針對具體錯誤的修改意見，是其最大的不足。批改網(wǎng)反饋內(nèi)容詳細，卻常出現(xiàn)謬誤，例如語義錯誤有時判別不出；拓展辨析功能提供的信息有時顯得多余；推薦表達提供的近義詞和句型，可豐富學(xué)生詞匯量，拓寬知識面，但未必順應(yīng)原文語境，不適合替換原有詞匯。然而，瑕不掩瑜，批改網(wǎng)細致的按句點評、中肯的修改意見、豐富的詞匯句型拓展，使其能為寫作教學(xué)起到較好的輔助作用。

如何彌補批改網(wǎng)的不足，使之更好地輔助寫作教學(xué)呢？批改網(wǎng)本身具有學(xué)習(xí)功能，通過每則評語下面有針對反饋內(nèi)容的“報錯”鍵，用戶提交的反饋意見可被上報并記錄在系統(tǒng)里，避免以后出現(xiàn)類似的批改錯誤。教師可在線通過“點評”功能對習(xí)作分句點評，指出批改網(wǎng)未發(fā)現(xiàn)的錯誤、修正不恰當(dāng)?shù)呐慕ㄗh。但大學(xué)英語教師工作量巨大，若逐一核對批改網(wǎng)按句點評的正確性，將錯誤上報批改網(wǎng)，并在線點評，則比傳統(tǒng)書面反饋更為費時耗力，違背了使用批改網(wǎng)的初衷。因此，筆者建議批改網(wǎng)增設(shè)“提問”功能，即讓學(xué)生對批改網(wǎng)評語有異議或不理解的情況進行標(biāo)注，發(fā)出提問信息，使同學(xué)和老師可以在線看到，同學(xué)之間可進行同伴反饋互助，提供同伴互助者可給予平時成績加分。若仍不能解決，可標(biāo)注疑難問題，在批改網(wǎng)上發(fā)消息給教師，由教師用在線反饋的方式解答。這樣一來，多角色參與到作文動態(tài)評價當(dāng)中，創(chuàng)建了多元的最近發(fā)展區(qū)，提供了多元的進步空間[10]，學(xué)生的主體性將進一步發(fā)揮，作文反饋效果會進一步增強。

在大學(xué)英語寫作教學(xué)中，若能使自動評改系統(tǒng)、基于系統(tǒng)平臺的同伴反饋、教師反饋相輔相成，形成一個動態(tài)的多元的綜合評價系統(tǒng)，將提高作文教學(xué)的效率，彌補單一反饋的不足。

[1] Claudia L. A Design for a Process-approach Writing Course[J]. English Teaching Forum, 1990(1): 10-12.

[2] 王淑雯.如何利用Writing Roadmap 2.0進行在線英語寫作反饋[J].現(xiàn)代教育技術(shù),2011(3):76-81.

[3] 李競.英語寫作教學(xué)中教師書面反饋效果的案例研究[J].外語界,2013(2):87-95.

[4] 石曉玲.在線寫作自動評改系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012(10):67-71.

[5] 蔣艷.中國英語寫作教學(xué)智能導(dǎo)師系統(tǒng):成就與挑戰(zhàn)——以句酷批改網(wǎng)為例[J].電化教育研究, 2013(7):76-81.

[6] 顏李萍.大學(xué)生英語寫作能力培養(yǎng)探討——基于手機移動網(wǎng)絡(luò)與句酷批改網(wǎng)[J].重慶科技學(xué)院學(xué)報(社會科學(xué)版),2015(2):119-124.

[7] 劉榮君,張虹,王娜.信息技術(shù)支持的大學(xué)生英語寫作能力培養(yǎng)的實證研究[J].電化教育研究,2014(5):83-86.

[8] 盧鹿.基于自動評價系統(tǒng)的第二寫作過程研究[J].外語界, 2016(2):88-96.

[9] 陳鳳.一項關(guān)于句酷批改網(wǎng)在大學(xué)英語寫作教學(xué)中的應(yīng)用研究[J].東華理工大學(xué)學(xué)報(社會科學(xué)版),2014(6):173-177.

[10] 邵春燕.社會文化視角下英語專業(yè)寫作教學(xué)的多角色參與模式[J].外語界,2016(2):79-87.

(責(zé)任編輯 王治濤)

A Comparative Research on the Efficacy of Feedback Given by Two Online Essay Evaluation System

HUANG Rui

(School of Foreign Languages, Luoyang Institute of Science & Technology, Luoyang 471023, China)

This paper, by adopting questionnaire surveys, interviews, statistical analysis of writing scores and sample analysis of feedback, conducts a multi-angle analysis of the efficacy of two online essay evaluation systems in comparison to pigai.org with course.sflep.com in terms of contents, emphases, effectiveness and students′ evaluation. The paper puts forward some suggestions for raising the efficacy of online essay evaluation systems after analyzing the merits and shortcomings of the feedback collected from the two essay evaluation systems. During the process of teaching college English writing, the efficiency of English writing teaching can be upgraded and the insufficient feedback from a single source can be compensated in case that a dynamic multi-evaluation system is formed and that the online feedback retrieved from the automatic essay evaluation system can complement one another to the peer feedback of online platform and to the teachers′ feedback.

online essay evaluation system; writing feedback; formative assessment; summative assessment

2017-03-28

黃 瑞(1984-),女,河南洛陽人,碩士,講師,主要從事外語教學(xué)法和應(yīng)用語言學(xué)研究.

河南省教育廳人文社會科學(xué)研究青年項目“英文寫作動態(tài)評價中不同反饋方式對學(xué)習(xí)者影響的對比研究”(編號:2016-QN-154)、洛陽理工學(xué)院校內(nèi)青年基金項目“基于支架理論的英語寫作動態(tài)評價中在線自動評價系統(tǒng)與同伴反饋對比研究”(編號:2013QR04)的部分成果.

10.3969/j.issn.1674-5035.2017.04.004

H085

A

1674-5035(2017)04-0018-07