鄧元

摘 ? 要： 本文通過大學(xué)英語寫作課堂自動評分和同伴評分的對比研究，得出以下發(fā)現(xiàn)：寫作自動評分和同伴評分的評分結(jié)果存在顯著差異，自動評分分?jǐn)?shù)整體偏高;教師和學(xué)生均對自動評分和同伴評分持有積極的態(tài)度，兩種評分模式具有可行性。自動評分和同伴評分各有優(yōu)劣，結(jié)合教師有效的課堂干預(yù)和評分組織，是大學(xué)英語寫作教學(xué)中較為理想的評分模式。

關(guān)鍵詞： 大學(xué)英語寫作 ? 自動評分 ? 同伴評分 ? 對比研究

1. 引言

英語寫作教學(xué)是大學(xué)英語教學(xué)的重要組成部分，一直是我國大學(xué)英語教學(xué)中的薄弱環(huán)節(jié)（甘小亞，孟艷琴，2013）。對于大學(xué)英語教師而言，由于教學(xué)對象眾多，教學(xué)計劃安排緊張，大學(xué)英語寫作教學(xué)的實施和反饋難度較大，其中最突出的是寫作評分的操作問題。常規(guī)的教師評分耗時耗力，教師作文批改負(fù)擔(dān)過重，易導(dǎo)致學(xué)生寫作訓(xùn)練不足，學(xué)生寫作水平提升緩慢，教學(xué)效果欠佳（葛詩利、陳瀟瀟，2009）。基于已有文獻，本研究旨在對比寫作自動評分和同伴評分，探討大學(xué)英語寫作課堂采用自動評分和同伴評分的可行性問題。

2.研究現(xiàn)狀

眾多學(xué)者對自動評分系統(tǒng)進行了研究評述（白麗芳，2017;葛詩利，陳瀟瀟，2007;梁茂成，文秋芳，2007;唐錦蘭，吳一安，2011），概述了國內(nèi)外英語寫作自動評分系統(tǒng)的相關(guān)應(yīng)用成果。

隨著信息技術(shù)的發(fā)展，作文自動評分系統(tǒng)（Automated Essay Scoring，AES）相繼問世，發(fā)展迅猛。最早的AES系統(tǒng)是美國Ellis Page教授等在二十世紀(jì)六十年代開發(fā)的Project Essay Grade（PEG）系統(tǒng)，基于文章表面語言特征的分析評估作文的水平。之后，Landauer等基于統(tǒng)計技術(shù)中的潛在語義分析技術(shù)開發(fā)了Intelligent Essay Assessor （IEA）系統(tǒng)。美國教育考試中心 ETS開發(fā)了Electronic Essay Rater （E-rater），用于評估GMAT考試的作文質(zhì)量。與PEG重語言形式、IEA重內(nèi)容不同，E-rater是一個包含話語（篇章）、句法、內(nèi)容三個模塊結(jié)構(gòu)的混合評分系統(tǒng)。到二十一世紀(jì)初，在已有系統(tǒng)的開發(fā)基礎(chǔ)上，更多的寫作自動評分系統(tǒng)如My Access！、 Criterion等投入使用。在國外AES技術(shù)的影響下，國內(nèi)AES系統(tǒng)逐步發(fā)展。2015年，梁茂成教授及研究團隊和外語教學(xué)與研究出版社合作，開發(fā)了iWrite英語寫作教學(xué)與評閱系統(tǒng)2.0。商業(yè)性AES系統(tǒng)，如句酷批改網(wǎng)、冰果英語智能作文評閱系統(tǒng)等在各大高校推廣應(yīng)用。

何旭良（2013）對句酷批改網(wǎng)英語作文評分進行了研究，指出批改網(wǎng)評分的一致性比教師人工評分高，但前者的評分顯著高于后者，尚不能反映學(xué)生英語作文的真實水平。李艷玲和田夏春（2018）進行了作文自動評分的信度研究，通過對645篇作文的機評、人評總分的一致性計算，認(rèn)為iWrite2.0的寫作評分效度非常理想。鄒申、陳煒（2010）指出，評分效度是考試效度之一，在需要人工評分的考試項目，如寫作中，評分效度是考試效度的根本保證，計算機輔助評分可以有效提高人工評分的準(zhǔn)確性和公正性。

另外，同伴互評能夠提高大學(xué)生寫作自主性（莫俊華，2007），在大學(xué)英語寫作教學(xué)課堂得到了廣泛應(yīng)用。本研究中的同伴評分，是指評閱者依據(jù)一定標(biāo)準(zhǔn)，給同伴的作業(yè)、學(xué)習(xí)成果、課堂活動表現(xiàn)等打分（Topping 1998; Falchikov & Goldfinch 2000）。

劉興華和紀(jì)小凌（2018）進行了大學(xué)英語寫作同伴評分的可行性和有效性研究，指出學(xué)生普遍認(rèn)可并接受同伴評分活動，同伴評分具有可行性;學(xué)生整體式評分兼具良好的信度和效度，分項式評分總體信度和效度不高。

學(xué)者們對大學(xué)英語寫作反饋方式進行了大量的對比研究（蔡基剛，2011;吳雪峰，周靜，2017;周一書，2013等）。其中，蔡基剛跟蹤調(diào)查網(wǎng)絡(luò)環(huán)境下61名大學(xué)生英語寫作的同伴反饋和教師反饋，指出在線同伴反饋寫作可以明顯激發(fā)學(xué)生的寫作熱情、豐富作文內(nèi)容和提高語言質(zhì)量。相關(guān)研究提出，教師評分質(zhì)量明顯高于學(xué)生評分質(zhì)量，整體來說兩類評分結(jié)果具有較好的一致性，同伴互評可以作為重要的輔助性手段參與寫作教學(xué)與評估（吳雪峰，周靜，2017）。

綜上可見，已有研究中自動評分和同伴評分的對比研究較少，較多研究從教師評分和自動評分的角度入手?？紤]教師評分的實施難度，在大學(xué)英語課堂寫作教學(xué)實踐中，筆者同時引入基于句酷批改網(wǎng)的自動評分和同伴評分兩種評分方式，通過對寫作自動評分和同伴評分的實施效果的對比研究，探索大學(xué)英語寫作教學(xué)中評分模式的應(yīng)用。

3.研究設(shè)計

3.1研究問題

本研究通過在大學(xué)英語寫作課堂中實施同伴評分，結(jié)合句酷批改網(wǎng)的自動評分，具體回答如下問題：

（1）自動評分和同伴評分的寫作評分結(jié)果是否具有顯著差異？

（2）寫作課堂上自動評分、同伴評分等非常規(guī)評分模式的可行性如何？

3.2研究對象

本研究選取了華中地區(qū)某高校兩個平行班的大二非英語專業(yè)學(xué)生，全程完成同伴評分并填寫問卷接受訪談的學(xué)生共計117人，平均年齡20歲，其中男生23人（19.7%），女生94人（80.3%）。

受試學(xué)生的英語寫作課由同一英語教師授課，該教師大一、大二均任教該批學(xué)生，了解全體學(xué)生的學(xué)習(xí)情況，具有較豐富的教學(xué)經(jīng)驗。

3.3研究過程

寫作課前一周，老師布置了寫作話題“Where would you like to work after graduation， in a big city or in a small town？”，要求學(xué)生線上提交作文。自動評分系統(tǒng)采用句酷批改網(wǎng)（簡稱批改網(wǎng)），是基于語料庫和云計算的英語作文自動批改在線服務(wù)，通過計算學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，即時生成作文的得分和評語及內(nèi)容分析結(jié)果。學(xué)生上課前已提交作文并獲得了批改網(wǎng)的評分（滿分100）。

寫作課上，老師進一步講解作文的寫作思路，分發(fā)學(xué)生作文紙質(zhì)稿，并對學(xué)生進行評分培訓(xùn)、講解示例，要求學(xué)生采取分項式評分，從內(nèi)容主題、篇章結(jié)構(gòu)、語言表達、語意連貫四個方面綜合評判同伴的作文，打出總分（滿分100），并從四個角度給出作文批閱的整體建議。

課后，請任課老師收集批改網(wǎng)的評閱分?jǐn)?shù)和同伴評分的分?jǐn)?shù)，這是本研究的定量分析數(shù)據(jù)。同時，筆者對任課老師和部分學(xué)生代表進行訪談，詢問師生對于自動評分、同伴評分可行性的看法和態(tài)度，獲取定性分析數(shù)據(jù)。

本研究使用SPSS21.0進行數(shù)據(jù)分析，并結(jié)合定性分析回答兩個研究問題。

4.結(jié)果與討論

4.1自動評分和同伴評分的對比

自動評分和同伴評分的獨立樣本T檢驗的結(jié)果顯示p=.000，表明本次實驗中寫作自動評分和同伴評分的評分結(jié)果存在顯著差異。描述性統(tǒng)計數(shù)據(jù)顯示：117名學(xué)生的批改網(wǎng)自動評分平均值79.24分，同伴評分平均值75.47分。

AES系統(tǒng)自動評分分?jǐn)?shù)整體偏高，是部分教師使用者在批改網(wǎng)使用過程中發(fā)現(xiàn)的一個問題，同時是學(xué)生提交作文后多次修改刷分的結(jié)果。

筆者選取某受試學(xué)生的作文仔細(xì)審閱，按照分項式評分的標(biāo)準(zhǔn)，任課教師和筆者獨立打分，分別只給出80分和82分的成績。該作文在批改網(wǎng)上得到了88分的成績，排名自動評分第一，同伴評分得分79分。以下是批改網(wǎng)對該篇作文的評語：“語句間的銜接成分用得不錯，同時文章中的過程性詞匯很豐富;作者詞匯基礎(chǔ)扎實，拼寫也很棒;作者在句法層面做得很棒?！?/p>

這些評語都是模板性的評語，系統(tǒng)根據(jù)文章高、中、低三個檔次，隨機匹配每檔次的三條評語之一，無法完全體現(xiàn)學(xué)生的真實寫作水平。前文也提到，批改網(wǎng)計算的是學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離，其實細(xì)看本篇作文，學(xué)生多處地方對于句子主語的把握出錯，語法概念不清楚，列舉簡單，思維深度有待加強，都是批改網(wǎng)已有的標(biāo)準(zhǔn)語料庫難以識別和判斷的。

葛詩利、陳瀟瀟（2009）的研究指出，將作文自動評分系統(tǒng)引入大學(xué)英語寫作教學(xué)時面臨的難題包括如何確定形式化的評分標(biāo)準(zhǔn)、如何研發(fā)適應(yīng)通用的有關(guān)語言使用的自動作文評分模型，體現(xiàn)了目前我們使用的自動評分系統(tǒng)存在的漏洞和缺陷，需要在今后開發(fā)中進一步加以改進，才能逐漸改變自動評分“虛高”的現(xiàn)象。

同伴評分的結(jié)果偏低也是意料之中的。一方面，任課教師在一年多的任教過程中并沒有經(jīng)常培訓(xùn)學(xué)生進行同伴評分，本次實驗前的培訓(xùn)也只是進行了細(xì)致講解和示范，沒有給學(xué)生留足操練時間，要求學(xué)生評分達到專家教師評分的精度和準(zhǔn)確度是不太可能的。另一方面，結(jié)合學(xué)生訪談結(jié)果，我們發(fā)現(xiàn)，少數(shù)學(xué)生對于同伴評分的信心不足，害怕自己評分過高產(chǎn)生不良影響，故打分相對保守;出于保全同伴的面子的心理，對于寫作水平偏低的文章未完全打低分?jǐn)?shù)。這些因素導(dǎo)致同伴評分的作文高低水平區(qū)分不明顯，同伴評分結(jié)果比自動評分結(jié)果偏低，兩者出現(xiàn)了顯著差異。充分說明了反饋培訓(xùn)和合理組織評分是開展有效同伴評價的先決條件和重要保障（Stanley 1992; Zhu 1995; Min 2005）。

4.2自動評分和同伴評分的可行性

關(guān)于大學(xué)英語寫作課堂采用自動評分和同伴評分的可行性問題，對任課教師和部分學(xué)生代表進行的訪談結(jié)果如下：

從受訪教師的角度來說，教師對于自動評分和同伴評分抱有積極的態(tài)度，認(rèn)為目前自動評分系統(tǒng)“很大程度上減輕教師評閱、反饋作文的壓力”，同伴評分能夠“融入更多學(xué)生參與寫作的思考過程，提高學(xué)生上課的積極性和主動性”。

受訪教師認(rèn)為，自動評分系統(tǒng)的反饋過于呆板，比如對作文內(nèi)容和連貫性的判斷差強人意，主要還是對單詞拼寫和句子結(jié)構(gòu)方面的判斷，少數(shù)判斷也是比較模糊的，并沒有提供改正方法，諸如“疑似句子不完整”這種反饋。對于學(xué)生使用者來說是存在挑戰(zhàn)的，水平較低的學(xué)生無法獲得真正的作文反饋輔導(dǎo)，兼顧學(xué)生水平差異的話，需要教師的人工干預(yù)。同伴評分的實施挑戰(zhàn)在于教師無法監(jiān)管同伴評分的所有過程，若評分培訓(xùn)不到位，則學(xué)生的同伴評分容易走過場，打保守分，造成評分效度問題。筆者認(rèn)為，寫作課堂中采用自動評分或同伴評分或兩者結(jié)合使用時，以教師評分為標(biāo)桿，教師實施有效的課堂干預(yù)，能夠有效確保評分的效度和信度。

關(guān)于自動評分系統(tǒng)的問題，如以往研究（葛詩利，陳瀟瀟，2009）提出的，我們應(yīng)考慮開發(fā)具有針對性的、面向大學(xué)英語寫作教學(xué)的自動評分，研究中國大學(xué)生英語作文的寫作特點，然后廣泛參考自動作文評分研究中的各種技術(shù)手段，最后根據(jù)自然語言處理發(fā)展的狀況確定最適合的自動評分方法。

從學(xué)生訪談結(jié)果來看，絕大多數(shù)學(xué)生對于自動評分和同伴評分表示認(rèn)可，傾向于兩者結(jié)合使用。學(xué)生認(rèn)為自動評分“給予更多的寫作自主性”“即時反饋非常不錯”“使用方便，不受時空限制”“反饋的建議有助于提高寫作水平”“能夠修改刷分?jǐn)?shù)，提高寫作自信”。對于同伴評分，學(xué)生提出“給同學(xué)作文打分感覺很有意思”“能夠?qū)W習(xí)同學(xué)的寫作思路，好詞好句”“發(fā)現(xiàn)我們有類似的語言錯誤”“能從老師的角度理解寫作的要求和評分標(biāo)準(zhǔn)”。這和前人發(fā)現(xiàn)是一致的，劉興華等（2018）提出學(xué)生普遍認(rèn)可并接受同伴評分活動，同伴評分具有可行性。莫俊華（2007）的研究提出同伴互評能夠代替部分教師批改，絕大多數(shù)學(xué)生喜歡獲得同伴反饋，能夠激發(fā)自我修改。

就存在的問題而言，學(xué)生認(rèn)為自動評分的“反饋比較單一，評語不夠真實”“部分修改意見無從下手”“分?jǐn)?shù)感覺比自己實際水平偏高”“文章有點跑題分?jǐn)?shù)也還行”“缺乏教師監(jiān)管，容易應(yīng)付”;同伴評分“缺乏老師監(jiān)管，感覺不可信”“礙于情面不好打低分”“挺費時間學(xué)習(xí)評分標(biāo)準(zhǔn)的”。結(jié)合前人發(fā)現(xiàn)（莫俊華，2007），學(xué)生在同伴互評中易于關(guān)注文章表面錯誤，少數(shù)學(xué)生在沒有教師監(jiān)控教學(xué)的情況下，并未認(rèn)真對待同伴互評。教師監(jiān)管在自動評分實施過程中是一個問題，學(xué)生用不相關(guān)的文本也可以獲得較好的評分，學(xué)生容易滋生懶惰學(xué)習(xí)（唐芳等，2017）。呼應(yīng)了之前的研究發(fā)現(xiàn)，即批改網(wǎng)在某些情況下不能考查文章內(nèi)部的邏輯性和關(guān)聯(lián)性（何旭良，2013）。

5.結(jié)語

大學(xué)英語課堂的寫作評分模式探索是一個重要的教學(xué)問題。從統(tǒng)計學(xué)意義來說，本研究發(fā)現(xiàn)寫作自動評分的結(jié)果顯著高于同伴評分的結(jié)果，教師和學(xué)生均肯定了兩種方式對于課堂寫作的積極意義，也提出了相應(yīng)的問題亟待解決。自動評分和同伴評分各有優(yōu)劣，結(jié)合教師有效的課堂干預(yù)和評分組織，在大學(xué)英語寫作教學(xué)中運用兩者具有可行性，有助于大學(xué)英語寫作課堂的良性發(fā)展。

參考文獻：

[1]Falchikov N & Goldfinch J. tudent Peer Assessment in Higher Education： A Meta-Analysis Comparing Peer and Teacher Marks[J]. Review of Educational Research， 2000，70（3）： 287-322.

[2]Landauer T K， Laham D， Foltz P W. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A]. In M D Shermis and J Burstein （ed.）， Automated Essay Scoring： A Cross Disciplinary Perspective[C]. Mahwah， NJ： Lawrence Erlbaum Associates， 2003： 87-112.

[3]Min H T. Training Students to Become Successful Peer Reviewer [J]. System， 2005，33（2）： 293-308.

[4]Page E B. Grading Essays by Computer： Progress Report [A]. In Educational Testing Service （Ed.）， Proceedings of the Invitational Conference on Testing Problems[C]. New York City： Princeton， N J： Educational Testing Service， 1967： 87-100.

[5]Stanley J. Coaching Student Writers to be Effective Peer Evaluators[J]. Journal of Second Language Writing， 1992，1（3）： 217-233.

[6]Topping K. Peer Assessment Between Students in Colleges and Universities[J]. Review of Educational Research， 1998（68）：249-276.

[7]Zhu W. Effects of Training for Peer Response on Students Comments and Interaction[J]. Written Communication，1995，12（4）：492-528.

[8]白麗芳. 國內(nèi)外作文自動批改系統(tǒng)效度研究概述[J]. 教育現(xiàn)代化， 2017，4（40）：191-193.

[9]蔡基剛. 中國大學(xué)生英語寫作在線同伴反饋和教師反饋對比研究[J]. 外語界，2011（2）：65-72.

[10]甘小亞， 孟艷琴. 國內(nèi)大學(xué)英語寫作教學(xué)中的同伴互評研究現(xiàn)狀分析[J]. 齊齊哈爾大學(xué)學(xué)報， 2013（5）：168-171.

[11]葛詩利， 陳瀟瀟. 國外自動作文評分技術(shù)研究[J]. 外語電化教學(xué)， 2007（5）：25-29.

[12]葛詩利， 陳瀟瀟. 大學(xué)英語作文自動評分研究中的問題及對策[J].山東外語教學(xué)， 2009（3）： 21-26.

[13]何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù)， 2013（5）：64-67.

[14]梁茂成， 文秋芳.國外作文自動評分系統(tǒng)評述及啟示[ J] .外語電化教學(xué)， 2007 （5）： 18-24.

[15]劉興華， 紀(jì)小凌. 大學(xué)英語寫作通版評分的可行性和有效性研究[J]. 外語界，2018 （5） ： 63-70.

[16]莫俊華. 同伴互評：提高大學(xué)生寫作自主性[J]. 解放軍外國語學(xué)院學(xué)報， 2007 （3） ： 35-39.

[17]唐芳， 莊翠娟， 鞏藝超. 作文自動評分系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用——以句酷批改網(wǎng)為例[J]. 海外英語， 2017 （20） ： 48-49， 51.

[18]唐錦蘭， 吳一安. 在線英語寫作自動評價系統(tǒng)應(yīng)用研究述評[J]. 外語教學(xué)與研究， 2011 （2）： 273-282.

[19]吳雪峰， 周靜. 基于多層面Rasch模型的英語寫作教師評分與同伴互評對比研究[J]. 重慶第二師范學(xué)院學(xué)報， 2017 （6） ： 85-90.

[20]周一書. 大學(xué)英語寫作反饋方式的對比研究[J]. 外語界， 2013 （3）： 87-96.

[21]鄒申， 陳煒. TEM4 評分效度與計算機輔助評卷[J].外語電化教學(xué)， 2010 （131）： 56-60.

本研究系湖南省教育廳課題“虛擬仿真實驗教學(xué)環(huán)境下英語專業(yè)學(xué)生跨文化交際能力測評研究”的初期研究成果（課題編號19C1173）。