張雙祥

(惠州學院 外語系，廣東 惠州516007)

英語寫作教學一直是國內(nèi)大學英語教學的一個薄弱環(huán)節(jié)，大學生的英語寫作能力亟待提高［1］。一方面，學生覺得英語寫作很難，對寫作有畏難情緒，另一方面，寫作教師覺得教學效果不佳，費力教學很長一段時間卻看不到學生水平的提高，尤其是作文批改成了他們最頭痛的事情。由于學生多，作文批改量大，批改周期長，使得學生英語寫作機會相應減少，反過來又制約著學生寫作水平的提高［2-3］。在這種背景下，在線寫作自動評價(Automated Writing Evaluation;Automated Essay Scoring)系統(tǒng)就應運而生，它的出現(xiàn)大大減輕了教師批閱作文的負擔，增加了學生英語寫作的機會，受到了廣大師生的青睞。

寫作自動評價系統(tǒng)進入實際應用階段至今已有十多年的歷史，盡管國內(nèi)有學者也使用自動評價系統(tǒng)Writing Roadmap 等進行寫作研究［4-5］，梁茂成也研制了大規(guī)模英語考試作文自動評分系統(tǒng)EFL Essay Evaluator (EEE)1．0［6］，但目前國內(nèi)使用較多的還是句酷英語作文批改網(wǎng)和冰果英語智能作文評閱系統(tǒng)。

關于寫作自動評價系統(tǒng)在大學英語寫作中的研究在國內(nèi)并不多見。唐錦蘭等對該類研究做了述評，發(fā)現(xiàn)國內(nèi)這一研究剛起步，偏重于介紹性、探討性［3］。對于該類系統(tǒng)在課堂教學中的應用和效果的研究比較少見。葛詩利等探討了大學英語作文自動評分研究中的問題及對策［7］;蔣學清等使用在線英語寫作自動評價系統(tǒng)Writing Roadmap 2．0 研究了自動作文評分系統(tǒng)對大學生英語寫作能力發(fā)展的影響，發(fā)現(xiàn)形成性評價方式和具有自動反饋功能的在線寫作工具在發(fā)展非母語英語學習者的寫作能力方面可以發(fā)揮積極的作用［5］;石曉玲以句酷批改網(wǎng)為例研究了在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用，著重探析了在線寫作自動評改系統(tǒng)的有效性［8］;吳一安等研究了融入自動評價系統(tǒng)的英語寫作實驗教學對高校英語教師的影響，重點關注參與教師在寫作教學中融入自動評價系統(tǒng)Writing Roadmap 的體驗［4］。本文擬以冰果英語智能作文評閱系統(tǒng)(以下簡稱冰果系統(tǒng))為例，研究自動評價系統(tǒng)在寫作教學中的應用及其效果。冰果系統(tǒng)目前已在國內(nèi)幾百所高校使用。研究者所在學校已經(jīng)推廣使用一年多，發(fā)現(xiàn)它具有在線寫作評價系統(tǒng)使用便利、反饋及時、抄襲檢測、個性化反饋等功能外，還存在著一些問題。本研究就是為了找出問題，更好地為師生提供服務。

1 研究設計

1．1 研究問題

本研究探討冰果系統(tǒng)在大學英語寫作教學中的應用效果，具體的研究問題是:1)學生對冰果系統(tǒng)的接受程度;2)冰果系統(tǒng)在學生英語寫作中應用效果;在哪些方面幫助最大;3)該系統(tǒng)的優(yōu)點和缺陷;4)冰果系統(tǒng)評閱與教師評閱作文的區(qū)別。

1．2 研究對象

本研究選取某大學非英語專業(yè)二年級4 個班共計122 名學生參與。要求這些學生每一周完成一篇作文提交冰果系統(tǒng)評閱。

1．3 研究工具

問卷調(diào)查。在學生進行了為期16 周的冰果系統(tǒng)寫作評閱后發(fā)放問卷給學生，共回收有效問卷116 份。該問卷共有28 個問題，涵蓋了以下四個方面的內(nèi)容:1)對自己寫作水平的總體評價;2)對冰果系統(tǒng)的接受程度;3)對學生英語寫作水平提高的效果;4)該系統(tǒng)的優(yōu)點和缺陷。

訪談。訪談提綱結(jié)合研究問題制定，圍繞問卷結(jié)果進行。訪談是半開放式的，主要有以下幾個問題:你作文中的主要問題是什么;你是否喜歡使用冰果系統(tǒng);你覺得冰果系統(tǒng)對你寫作的幫助有多大;冰果系統(tǒng)與傳統(tǒng)的教師批閱相比有哪些優(yōu)點;你覺得冰果系統(tǒng)還有哪些需要改進的地方等等。研究者對每個班按作文成績優(yōu)、中、差三類分別隨機抽取3 名學生共12 名學生進行。

作文樣本。為了回答第四個問題，研究者在第十篇作文后每個班隨機抽取3 篇任課教師評閱作文稿和相對應的系統(tǒng)評閱作文稿，然后將兩者對比，主要對比了評分情況、評閱的側(cè)重點和評語。

2 研究結(jié)果

2．1 問卷調(diào)查結(jié)果

關于學生對自己作文水平的評價(表1)，斯科特量表均值是2．69，說明絕大多數(shù)學生對自己的英語寫作水平的評價是一般及以下，他們對自己的寫作水平缺乏信心。其中只有4 人(3．4%)認為自己的寫作水平好，有29 人(25%)認為自己的寫作水平差或很差。

表1 學生對自己英語寫作水平的評價(N=116)

關于英語寫作中的主要問題(多選題)，116 人中有71．6%的學生認為自己的作文中語法錯誤較多，75．9%的學生認為自己的作文詞匯是主要問題，相對來說，只有54．3%和49．1%的學生認為作文的結(jié)構(gòu)不合理或思想內(nèi)容有問題，遠不如語法詞匯方面的問題嚴重。

關于學生對冰果系統(tǒng)的接受程度(表2)，斯科特量表均值是3．16，說明絕大多數(shù)學生(87．1%)對此持一般或喜歡的態(tài)度，其中29．3%的學生非常喜歡或喜歡該系統(tǒng)，有12．9%的學生持完全否定的態(tài)度，另外還有57．8%的學生態(tài)度為一般，說明他們對系統(tǒng)的效果持觀望態(tài)度，對系統(tǒng)能否給自己提供真正有效的幫助缺乏信心。

表2 學生對冰果系統(tǒng)的接受程度(N=116)

關于冰果系統(tǒng)效果的評價(表3)，學生的態(tài)度與接受程度基本一致，斯科特量表均值為3．18，說明絕大多數(shù)學生(87．0%)持一般或肯定的態(tài)度，有13．0%的學生持否定的態(tài)度。

表3 學生對冰果系統(tǒng)的效果評價(N=116)

關于冰果系統(tǒng)評閱作文的優(yōu)點(多選題)，76．7%的學生認為冰果系統(tǒng)的評分比較準確，84．5%的學生認為它批改及時，46．6%的學生認可冰果的評語，尤其值得一提的是67．2%的學生認為冰果能夠提供同伴的多種版本的范文供自己模仿是其一大亮點。對于冰果系統(tǒng)的最大問題，絕大多數(shù)學生(70．7%)認為，冰果提供的反饋比較籠統(tǒng)不夠詳細明確是最大問題，只有29．3%的學生認為上網(wǎng)不便、不習慣網(wǎng)上寫作、費時麻煩或者評分不準確等是其最大問題。

2．2 訪談結(jié)果

在受訪的12 位學生中，只有2 位作文低分的學生不接受冰果系統(tǒng)并不認可其寫作中的效果，他們的理由是冰果系統(tǒng)沒有詳盡的語法和詞匯用法錯誤的分析和解釋。對于這一點，其他受訪學生也不滿意，但他們之所以支持冰果系統(tǒng)是因為他們非?？粗厮容^準確的評分和系統(tǒng)，增加了他們寫作訓練的機會，“我們一學期可以寫十五六篇作文，這在以前是不可能的!”另外，他們覺得以同學的優(yōu)秀作文為范文也使他們有了學習的榜樣，更加容易接受?！翱吹轿疑嵊训淖魑某闪朔段模矣X得我也可以!”尤其是4 名作文優(yōu)秀的受訪學生說他們非?？粗亟處煱阉麄兊淖魑漠斪鞣段慕o同學，這提升了他們的學習信心，每次作文都很用心，所以成績有了穩(wěn)定提高。所有12 名學生對該系統(tǒng)反饋中基本不指出語法和詞匯的錯誤不能接受，這也印證了問卷調(diào)查的結(jié)果。

訪談中作文成績中或差的學生普遍認為語法和詞匯問題是他們作文中的主要問題，但他們對內(nèi)容和結(jié)構(gòu)不以為然，他們認為自己關鍵是缺乏英語語言的積累，而他們自信自己的中文的作文還不錯。而四位優(yōu)秀作文學生認為他們的作文仍然不能避免語法和詞匯問題，但他們有時候作文不能得高分是結(jié)構(gòu)不合理或內(nèi)容不佳造成的。

教師評閱和冰果系統(tǒng)相比較，他們覺得前者的劣勢是周期長，評語簡單籠統(tǒng)，一般只標出錯誤，所以效果不明顯;而后者的優(yōu)勢是評分較準確，周期短，評語詳盡，有拼寫抄襲檢查，可以增加寫作訓練的機會，但最大缺陷是較少涉及語法和詞匯問題。他們認為最好的評閱方式應該是教師當面評改，雖然他們知道這并不現(xiàn)實。他們建議先用冰果系統(tǒng)，然后再由教師人工點評或評閱，如果系統(tǒng)可以做到的話，建議增加學生相互評改的環(huán)節(jié)，如何把三者有效地結(jié)合可能是教師應該考慮的問題。

2．3 作文樣本分析

對照12 篇作文的教師批改稿和冰果系統(tǒng)評閱稿，我們發(fā)現(xiàn)教師評閱多對錯誤做出標記，評語也較簡單，多為鼓勵性的話語，評分基本與系統(tǒng)一致。系統(tǒng)主要標出拼寫錯誤，有涉及詞匯、結(jié)構(gòu)、內(nèi)容等多方面的評語。例如，有同一篇作文，系統(tǒng)打分是12．5 分(作文滿分15 分)，給出的評語是“Good job． The language you use in your writing is generally accurate． What I can say is congratulations on a job nicely done with big words and good sentence structures．The topic is very well developed in your essay．”而教師的打分是12 分，給出的評語是“Well done． Keep going like this!”

3 分析與討論

從上述結(jié)果可以看出，學生對自己的作文水平普遍缺乏信心，而且以語法和詞匯問題為多。這與前人的研究結(jié)果相似［1］［2］［8］。對于冰果系統(tǒng)的接受程度，研究表明盡管只有少數(shù)學生持否定態(tài)度，但也只有29．3%的學生持肯定態(tài)度，大多數(shù)學生還是持保留觀望態(tài)度，這主要是因為該系統(tǒng)的反饋不夠清晰，尤其是缺乏詞匯和語法的詳細反饋所致，當然，還有學生不習慣電腦寫作、學校沒有提供自主學習中心所以不方便上網(wǎng)等原因。寫作自動評價系統(tǒng)“內(nèi)容太泛，不夠具體”而使得學生對系統(tǒng)持保留態(tài)度前人研究中也有提及［9］。受試者對于冰果系統(tǒng)的優(yōu)點的一致觀點是批改及時，評分較準確，這也是所有寫作自動評價系統(tǒng)的普遍優(yōu)點，正是這些優(yōu)點激發(fā)了學生的寫作興趣，滿足了過程學習的需求，達到了“以評促學”的目的［5］。還有一點值得教師重視，那就是學生對于系統(tǒng)提供的多種版本的同伴優(yōu)秀范文很感興趣，它可以使學生學有榜樣，趕有目標。此外，冰果系統(tǒng)的較詳盡的評語也是其一大亮點。

從訪談中可以看出，學生還是普遍認為系統(tǒng)評閱不能代替教師，還是應以系統(tǒng)評閱結(jié)合教師評閱為佳［8］。綜合起來，研究認為今后冰果系統(tǒng)評閱作文需要從三個方面加強:一是產(chǎn)品開發(fā)技術(shù)人員以及語言專家應進一步優(yōu)化系統(tǒng)，特別是增加較詳盡的語法和詞匯糾錯功能，繼續(xù)提高系統(tǒng)的信度。二是在結(jié)合系統(tǒng)評閱和教師人工評閱方面提供更加人性化友好的操作界面，教師重點把握文章的內(nèi)容和結(jié)構(gòu)，避免系統(tǒng)明顯的評分失誤。三是增加在線評價中同伴評價的功能或模式，形成更加開放的、多種反饋結(jié)合的評價機制。

總之，冰果智能評價系統(tǒng)總體而言為多數(shù)學生所接受且有較好的效果，但仍然有許多需要完善的不如人意的地方。產(chǎn)品開發(fā)方應進一步完善優(yōu)化系統(tǒng)，教師也應該發(fā)揮自己的主導作用，創(chuàng)造性地運用系統(tǒng)，通過結(jié)合系統(tǒng)評閱、教師評閱以及學生同伴評閱來提升評改效果。

［1］金 艷．標準化語言測試的教學評價功能［C］．在北京交通大學“與專家面對面”活動上的講座，2010．

［2］張雪梅．大學英語寫作教學現(xiàn)狀之調(diào)查［J］．外語界，2006(5):28 -32．

［3］唐錦蘭，吳一安．在線英語寫作自動評價系統(tǒng)應用研究述評［J］．外語教學與研究，2011(2):273 -282．

［4］吳一安，唐錦蘭．融入自動評價系統(tǒng)的英語寫作實驗教學對高校英語教師的影響研究［J］． 外語電化教學，2012(7):3 -10．

［5］蔣學清，蔡 靜，唐錦蘭． 探析自動作文評分系統(tǒng)對大學生英語寫作能力發(fā)展的影響［J］． 山東外語教學，2011(6):36 -43．

［6］梁茂成．大規(guī)模考試英語作文自動評分系統(tǒng)的研制［M］．北京:高等教育出版社，2011．

［7］葛詩利，陳瀟瀟．大學英語作文自動評分研究中的問題及對策［J］．山東外語教學，2009(3):21 -26．

［8］石曉玲．在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究——以句酷批改網(wǎng)為例［J］．現(xiàn)代教育技術(shù)，2012(10):67 -71．

［9］Chen E，Cheng E．Beyond the design of automated writing evaluation:Pedagogical practices and perceived learning effectiveness in EFL writing classes［J］． Language Learning ＆Technology，2008 (12):94 -112．