甘麗華，趙幫華

(順德職業(yè)技術(shù)學(xué)院外語(yǔ)學(xué)院，廣東 佛山 528333；重慶廣播電視大學(xué)文法學(xué)院，重慶 400052)

?

網(wǎng)絡(luò)自動(dòng)評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作中的應(yīng)用研究
——以順德職業(yè)技術(shù)學(xué)院為例

甘麗華，趙幫華

(順德職業(yè)技術(shù)學(xué)院外語(yǔ)學(xué)院，廣東 佛山 528333；重慶廣播電視大學(xué)文法學(xué)院，重慶 400052)

寫(xiě)作反饋是英語(yǔ)寫(xiě)作教學(xué)的重要環(huán)節(jié)，對(duì)提高學(xué)生的英語(yǔ)寫(xiě)作能力起著不可低估的作用。調(diào)查研究發(fā)現(xiàn)，過(guò)半的學(xué)生傾向于使用句酷批改網(wǎng)，并會(huì)根據(jù)修改意見(jiàn)和分?jǐn)?shù)多次修改自己的文章，直至得到滿意的分?jǐn)?shù)，學(xué)生的寫(xiě)作能力也會(huì)在這個(gè)過(guò)程中逐步得到提高。但句酷批改平臺(tái)應(yīng)及時(shí)更新語(yǔ)料庫(kù)，逐步提高智能化水平，并提供高水平的人工服務(wù)，以提高評(píng)閱的信度。

網(wǎng)絡(luò)自動(dòng)評(píng)分系統(tǒng)；英語(yǔ)寫(xiě)作教學(xué)；反饋

一 引言

寫(xiě)作是一種重要的語(yǔ)言輸出形式，能客觀全面地顯示學(xué)習(xí)者的語(yǔ)言綜合應(yīng)用能力和認(rèn)知水平。然而，在外語(yǔ)學(xué)習(xí)的聽(tīng)、說(shuō)、讀、寫(xiě)、譯五項(xiàng)基本能力中，寫(xiě)是較難培養(yǎng)的能力之一。一直以來(lái)我國(guó)大學(xué)英語(yǔ)寫(xiě)作教學(xué)現(xiàn)狀不容樂(lè)觀，有研究者統(tǒng)計(jì)，歷年四、六級(jí)考試中，寫(xiě)作成績(jī)普遍偏低[1]。重要原因之一是缺乏對(duì)學(xué)生所寫(xiě)內(nèi)容的即時(shí)有效的反饋。目前在我國(guó)英語(yǔ)寫(xiě)作教學(xué)中，學(xué)生作文的反饋形式主要是來(lái)自教師的終結(jié)性書(shū)面反饋。緩慢且籠統(tǒng)的評(píng)價(jià)難以給學(xué)生提供可用于改進(jìn)的診斷性信息，不利于學(xué)生寫(xiě)作水平的提高。

隨著文字語(yǔ)言處理技術(shù)的興起和發(fā)展，寫(xiě)作自動(dòng)評(píng)分系統(tǒng)得到研制和采用。應(yīng)用寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)研究起源于美國(guó)，到目前為止，美國(guó)已有AutoScore，Bookette，CRASETM，E-rater，Intelligent Essay Assessor，IntelliMetric， Light-SIDE，Lexile，Project Essay Grade( PEG) 9種英語(yǔ)寫(xiě)作自動(dòng)評(píng)分系統(tǒng)。國(guó)外調(diào)查研究表明，學(xué)習(xí)者希望他們的作文能得到即時(shí)反饋，然后由他們自己嘗試運(yùn)用各種策略加以改正[2-7]。國(guó)內(nèi)對(duì)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的研究與國(guó)外相比起步較晚。近年來(lái)的研究發(fā)現(xiàn)，即時(shí)全面的寫(xiě)作反饋有助于提高學(xué)生的語(yǔ)言正確率和寫(xiě)作水平[8][9-11]。國(guó)內(nèi)一些學(xué)者對(duì)適合中國(guó)學(xué)生的英語(yǔ)寫(xiě)作自動(dòng)評(píng)分系統(tǒng)做了有益探索[11-13]。他們研制的英語(yǔ)考試作文自動(dòng)評(píng)分系統(tǒng)是基于人工評(píng)判的大量中國(guó)大學(xué)生作文語(yǔ)料庫(kù)建立的評(píng)分模型，從語(yǔ)言、內(nèi)容和組織結(jié)構(gòu)三方面對(duì)作文進(jìn)行評(píng)價(jià)。本文在前人的研究基礎(chǔ)上，就大數(shù)據(jù)背景下采用句酷批改平臺(tái)對(duì)大學(xué)非英語(yǔ)專業(yè)學(xué)生的寫(xiě)作動(dòng)機(jī)和能力的影響進(jìn)行實(shí)踐與理論方面探討和研究。

二 研究設(shè)計(jì)

(一)研究問(wèn)題

本研究旨在探討網(wǎng)絡(luò)自動(dòng)評(píng)分系統(tǒng)對(duì)大學(xué)非英語(yǔ)專業(yè)學(xué)生英語(yǔ)寫(xiě)作動(dòng)機(jī)和能力發(fā)展的影響。鑒于此，研究問(wèn)題包括：(1)在線寫(xiě)作反饋對(duì)學(xué)生英語(yǔ)寫(xiě)作能力的發(fā)展有何影響？(2)在線寫(xiě)作反饋是否影響學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)動(dòng)機(jī)？(3)人工批改與在線工具批改具有什么明顯差異？

(二)研究對(duì)象

本研究選取了順德職業(yè)技術(shù)學(xué)院非英語(yǔ)專業(yè)一年級(jí)的學(xué)生118人為實(shí)驗(yàn)對(duì)象，其中男生58人，女生60人。實(shí)驗(yàn)組學(xué)生每周在線提交一篇作文，由批改網(wǎng)提供反饋意見(jiàn)與評(píng)分，第二周根據(jù)句酷批改網(wǎng)提供的反饋意見(jiàn)修改上一周提交的作文，并再次上傳句酷網(wǎng)進(jìn)行機(jī)器評(píng)分。

(三)研究工具

針對(duì)研究問(wèn)題，本研究采用了樣本分析、問(wèn)卷調(diào)查和訪談等研究工具。

1.樣本分析

在實(shí)驗(yàn)對(duì)象的作文中隨機(jī)抽取50篇，分別進(jìn)行機(jī)器批改和人工批改，對(duì)比分析兩者在批改能力方面的差異。

2.問(wèn)卷調(diào)查

學(xué)生在進(jìn)行為期36周的句酷網(wǎng)寫(xiě)作訓(xùn)練之后接受此問(wèn)卷調(diào)查。該問(wèn)卷共有8個(gè)大題，主要涵蓋兩個(gè)方面的內(nèi)容：①實(shí)驗(yàn)組學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)動(dòng)機(jī)和理念的變化；②在線寫(xiě)作反饋對(duì)學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響。

3.訪談

項(xiàng)目組分別對(duì)教師和學(xué)生進(jìn)行半結(jié)構(gòu)性訪談，進(jìn)一步摸清教師和學(xué)生對(duì)句酷網(wǎng)的使用感受以及在使用過(guò)程中出現(xiàn)的各種問(wèn)題。接受訪談的教師是實(shí)驗(yàn)班的任課教師；學(xué)生為每個(gè)班的在句酷網(wǎng)評(píng)閱系統(tǒng)中成績(jī)記載為高分、中等、低分的各2名，共計(jì)18名。

(四)研究結(jié)果

1. 問(wèn)卷調(diào)查的結(jié)果

(1)在線寫(xiě)作對(duì)學(xué)生英語(yǔ)寫(xiě)作動(dòng)機(jī)的影響

表1 在線寫(xiě)作反饋對(duì)學(xué)生英語(yǔ)寫(xiě)作學(xué)習(xí)動(dòng)機(jī)的影響

在參加網(wǎng)絡(luò)寫(xiě)作活動(dòng)之前，22.9%的學(xué)生喜歡英語(yǔ)寫(xiě)作，一半以上的學(xué)生覺(jué)得興趣一般，17%的學(xué)生對(duì)英語(yǔ)寫(xiě)作表示反感。實(shí)驗(yàn)結(jié)束后，我們?cè)俅芜M(jìn)行了調(diào)查，發(fā)現(xiàn)有56.8%的學(xué)生認(rèn)為英語(yǔ)寫(xiě)作的興趣有不同程度的提高，興趣一般和反感的同學(xué)比例則有所下降(見(jiàn)表1)。

(2)學(xué)生心目中的最佳批改方式

在回答喜歡老師批改還是網(wǎng)絡(luò)批改時(shí)，118份有效問(wèn)卷中，絕大多數(shù)學(xué)生喜歡句酷平臺(tái)的網(wǎng)絡(luò)批改，主要原因是相對(duì)于教師批改來(lái)說(shuō)，周期較短。在選擇教師批改的18位同學(xué)中，72.2% 的學(xué)生喜歡教師詳評(píng)語(yǔ)法錯(cuò)誤，16.7%的學(xué)生希望教師指出其布局謀篇問(wèn)題，而剩下11.1%的學(xué)生則喜歡教師寫(xiě)出分?jǐn)?shù)或等級(jí)(見(jiàn)表2)。

表2 學(xué)生心目中的最佳批改方式

(3)在線寫(xiě)作平臺(tái)的優(yōu)點(diǎn)與缺陷

從表3可以看出，被試學(xué)生認(rèn)為，批改網(wǎng)最大的優(yōu)勢(shì)首先是批閱周期較短，讓學(xué)生能夠在短時(shí)間內(nèi)得到反饋。其次是每句話都提供修改意見(jiàn)，再次就是提供相關(guān)詞匯(同義詞和易混淆詞匯等)，增強(qiáng)學(xué)生對(duì)詞匯使用的敏感度。參與調(diào)查的學(xué)生們認(rèn)為，批改網(wǎng)最大的問(wèn)題是人機(jī)交互感受不到與教師近距離交流的親近感。其次便是句酷批改網(wǎng)提供的語(yǔ)法方面的修改意見(jiàn)較多，但關(guān)于文章的謀篇布局和邏輯性等方面提供的修改意見(jiàn)較少。

超過(guò)一半的學(xué)生(52.5%)喜歡句酷批改網(wǎng)；超過(guò)三分之一的學(xué)生(35.6%)會(huì)根據(jù)句酷平臺(tái)提出的修改意見(jiàn)反復(fù)修改自己的作文，直至得到滿意的分?jǐn)?shù)；大多數(shù)學(xué)生(79.7%)認(rèn)為句酷批改網(wǎng)對(duì)作文中的詞匯和語(yǔ)法水平提高幫助最大，對(duì)文章的內(nèi)在邏輯性、連貫性等方面幫助較小(見(jiàn)表4)。

2.隨機(jī)抽樣分析結(jié)果

(4)學(xué)生對(duì)在線寫(xiě)作平臺(tái)的評(píng)價(jià)及使用的效果

表4 學(xué)生對(duì)在線寫(xiě)作平臺(tái)的評(píng)價(jià)

表5 教師批改反饋與在線自動(dòng)評(píng)改系統(tǒng)

通過(guò)對(duì)人工批閱與機(jī)器批閱進(jìn)行定量和定性分析，我們將更徹底地了解句酷批改網(wǎng)的優(yōu)勢(shì)與缺陷。首先，我們按錯(cuò)誤類型對(duì)50篇文章進(jìn)行了統(tǒng)計(jì)分析，具體包括以下幾個(gè)考查項(xiàng)：1)基本錯(cuò)誤(大小寫(xiě)、標(biāo)點(diǎn)、拼寫(xiě)等)；2)用詞(用詞是否正確、是否符合語(yǔ)境)；3)語(yǔ)法(各種搭配是否正確)；4)銜接與連貫(連詞運(yùn)用是否得當(dāng))；5)文章結(jié)構(gòu)(結(jié)構(gòu)是否完整)；6)文章立意(是否偏題跑題)。根據(jù)的錯(cuò)誤性質(zhì)不同，這些考查項(xiàng)予以不同的加權(quán)，有的是1個(gè)錯(cuò)算1個(gè)百分點(diǎn)：1=1%，有的是2個(gè)錯(cuò)算1個(gè)百分點(diǎn)：2= 1%。統(tǒng)計(jì)結(jié)果見(jiàn)表5。

另外，通過(guò)對(duì)學(xué)生的文章樣本做細(xì)致的定性分析，發(fā)現(xiàn)：1)句酷批改網(wǎng)經(jīng)常指出標(biāo)點(diǎn)符號(hào)后缺空格，但由于書(shū)寫(xiě)原因，教師一般只會(huì)指出標(biāo)點(diǎn)運(yùn)用是否得當(dāng)；2)機(jī)器批閱對(duì)錯(cuò)誤拼寫(xiě)的單詞識(shí)別率高于教師批改；3)句酷網(wǎng)在“學(xué)習(xí)提示”中經(jīng)常給出易混淆的詞語(yǔ)，教師一般不會(huì)這樣做；4)句酷網(wǎng)通過(guò)語(yǔ)料庫(kù)比對(duì)判定學(xué)生的語(yǔ)法搭配是否規(guī)范，用詞是否地道，這種方式容易產(chǎn)生誤判，而教師批閱中很少出現(xiàn)這樣的問(wèn)題。例如，針對(duì)學(xué)生作文中的錯(cuò)誤句子“The first,AI can automatically adjust the room tempereture,automatic switch lamp”，兩者的反饋信息各有側(cè)重(見(jiàn)表 6)。

表6 句酷批改網(wǎng)與教師提供的反饋信息對(duì)比

(五)分析與討論

從統(tǒng)計(jì)結(jié)果可以看出，大部分學(xué)生(85.0%)選擇句酷批改網(wǎng)評(píng)閱自己的作文，一方面它能夠詳細(xì)指出語(yǔ)法錯(cuò)誤，另一方面，批改用時(shí)較短。相比之下，教師認(rèn)真批改每一份作文則耗時(shí)較長(zhǎng)。過(guò)半的學(xué)生會(huì)根據(jù)修改意見(jiàn)和分?jǐn)?shù)多次修改自己的文章，直至得到滿意的分?jǐn)?shù)。學(xué)生的寫(xiě)作能力也會(huì)在這個(gè)過(guò)程中逐步得到提高。

但是，目前以句酷網(wǎng)為代表的機(jī)器評(píng)閱系統(tǒng)對(duì)學(xué)生作文的修改意見(jiàn)主要集中在詞匯層面和基本的語(yǔ)法分析，對(duì)于詞匯搭配和選取的修改意見(jiàn)則來(lái)源于語(yǔ)料庫(kù)的比對(duì)。因而，機(jī)器評(píng)閱系統(tǒng)不能非常準(zhǔn)確地評(píng)估作文的內(nèi)在質(zhì)量，如寫(xiě)作的銜接與連貫性、內(nèi)在的邏輯性和關(guān)聯(lián)性等。

受限于科技的發(fā)展水平，目前無(wú)法徹底解決這一問(wèn)題，但可以從以下幾個(gè)方面來(lái)彌補(bǔ)。第一，句酷批改網(wǎng)應(yīng)該不斷豐富、及時(shí)更新語(yǔ)料庫(kù)，認(rèn)真審視教師和學(xué)生提出的誤判案例，優(yōu)化批閱平臺(tái)。第二，計(jì)算機(jī)技術(shù)人員與語(yǔ)言研究者通力合作，繼續(xù)提升批改網(wǎng)的智能化水平，讓智能平臺(tái)既可以評(píng)閱詞匯語(yǔ)法，也可以評(píng)閱篇章結(jié)構(gòu)。此舉不僅能提高智能批改的水平，也能提高機(jī)器翻譯的水平。第三，提供有效的人工服務(wù)，方便學(xué)生及時(shí)解決疑難問(wèn)題。

三 結(jié)語(yǔ)

本研究采取定性加定量的研究方法，以順德職業(yè)技術(shù)學(xué)院2015級(jí)非英語(yǔ)專業(yè)一年級(jí)的118名學(xué)生為研究對(duì)象，探討了網(wǎng)絡(luò)自動(dòng)評(píng)分系統(tǒng)對(duì)學(xué)生英語(yǔ)寫(xiě)作的影響。研究發(fā)現(xiàn)：(1) 通過(guò)在線寫(xiě)作的訓(xùn)練，學(xué)生對(duì)英語(yǔ)寫(xiě)作的興趣有顯著提高，對(duì)英語(yǔ)科目的學(xué)習(xí)興趣也有所提高；(2) 以句酷網(wǎng)為代表的在線批閱平臺(tái)對(duì)語(yǔ)法和詞匯的批閱能力較強(qiáng)，但對(duì)篇章結(jié)構(gòu)的批閱能力與人工相比則相差甚遠(yuǎn)。因此，在線批閱平臺(tái)應(yīng)及時(shí)更新語(yǔ)料庫(kù)，逐步提高智能化水平，并提供高水平的人工服務(wù)，以提高評(píng)閱的信度。

本研究以大學(xué)非英語(yǔ)專業(yè)學(xué)生為實(shí)驗(yàn)對(duì)象，通過(guò)一年多的調(diào)查研究，剖析在線寫(xiě)作反饋對(duì)英語(yǔ)寫(xiě)作動(dòng)機(jī)和能力的影響，研究結(jié)果可為大學(xué)英語(yǔ)寫(xiě)作教學(xué)改革提供指導(dǎo)和借鑒。

[1][8]陳鳳.一項(xiàng)關(guān)于句酷批改網(wǎng)在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中的應(yīng)用研究[J].東華理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)，2014，(2).

[2]Ferris D R. The case for grammar correction in L2 writing classes: A response to Truscott[J].Journal of Second Language Writing，1999，(1).

[3]Kubota M. Error correction strategies used by learners of Japanese when revising a writing task[J].System, 2001，( 4)．

[4]Lee I. L2 writing teachers’ perspectives，practices and problems regarding error feedback[J].Assessing Writing，2003，( 3)．

[5]Grimes D.Assessing automated assessment: Essay evaluation software in the classroom[EB/OL].ftp://ftp.ics.uci.edu/pub/grimesd/AutoAssessment.pdf.

[6]Shermis M D，Hamner B.Contrasting state of the art automated scoring of essays[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[7]Weigle S C.English as a second language writingand automated essay evaluation[A].M D Shermis，J Burstein.Handbook of automated essay evalution[C].New York: Routledge，2013．

[9]郭翠紅,秦曉晴. 國(guó)外二語(yǔ)學(xué)習(xí)者作文書(shū)面反饋研究——研究的視角及對(duì)大學(xué)英語(yǔ)作文評(píng)改的啟示[J]. 解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2006，(5).

[10]葛詩(shī)利,陳瀟瀟.中國(guó)EFL學(xué)習(xí)者自動(dòng)作文評(píng)分探索[J].外語(yǔ)界，2007，(5).

[11]李金輝.使用潛伏語(yǔ)義分析理論研究計(jì)算機(jī)改中國(guó)學(xué)生英語(yǔ)作文[D].廣州：廣東外語(yǔ)外貿(mào)大學(xué)博士學(xué)位論文，2009.

[12]梁茂成.中國(guó)學(xué)生英語(yǔ)作文自動(dòng)評(píng)分模型的構(gòu)建[M].北京：外語(yǔ)教學(xué)與研究出版社，2010.

[13]梁茂成.大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的研制[M].北京：高等教育出版社，2011.

(責(zé)任編校：簡(jiǎn)小烜)

Application of Online Automatic Scoring System in College English Writing

GAN Lihua, ZHAO Banghua

(Department of Foreign Languages, Shunde Polytechnic, Foshan Guangdong 528333, China; School of Arts and Law, Chongqing Radio and TV University, Chongqing 400052, China)

Writing feedback is an important part of English writing teaching, which plays an important role in improving students’ English writing ability. It is found in the investigation that more than half of the students tend to use Pigaiwang (http://www.pigai.org) and repeatedly modify their articles based on the revision comments and scores until they get satisfactory results. Students’ writing ability is gradually developed in this process. However, the corpus should be updated in time on Pigaiwang, the level of intelligence should be gradually enhanced and high level of human services should be provided in order to improve the reliability of evaluation.

online automatic scoring system; English writing teaching; feedback

2016-08-22

教育部職業(yè)院校外語(yǔ)類專業(yè)教學(xué)指導(dǎo)委員會(huì)項(xiàng)目“基于大數(shù)據(jù)的高職英語(yǔ)寫(xiě)作反饋研究”，編號(hào)：GZGZ5414-49。

甘麗華(1975— ) ，女，廣東翁源人，順德職業(yè)技術(shù)學(xué)院外語(yǔ)學(xué)院教授，碩士。研究方向：應(yīng)用語(yǔ)言學(xué)及英語(yǔ)教學(xué)法。趙幫華(1984— )，男，安徽阜陽(yáng)人，重慶廣播電視大學(xué)文法學(xué)院講師，碩士。研究方向：心理語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)。

G642.0

A

1008-4681(2016)06-0157-04