劉寧

摘要隨著大數(shù)據(jù)發(fā)展的瞬息萬變，基于語料庫的寫作軟件已經(jīng)開始顛覆了傳統(tǒng)寫作的教學(xué)模式。本研究的重點(diǎn)是一種通用的作文自動(dòng)評(píng)分系統(tǒng)，叫作“作文自動(dòng)評(píng)分”（Automated Essay Scoring，簡寫AES），它是基于語料庫進(jìn)行寫作的機(jī)器評(píng)分，已經(jīng)被國內(nèi)眾多高校采用。本研究將側(cè)重于商務(wù)英語寫作教學(xué)中教師評(píng)分與機(jī)器反饋的比較，同時(shí)，詳細(xì)分析了國內(nèi)外關(guān)于AES的一些研究，目的是調(diào)查高職院校商務(wù)英語寫作課使用AES評(píng)分錯(cuò)誤與教師評(píng)分錯(cuò)誤是否存在差異，是否會(huì)呈現(xiàn)具體差異；學(xué)生對(duì)教師評(píng)分使用AES的態(tài)度和意見。

關(guān)鍵詞 大數(shù)據(jù) 商務(wù)英語寫作 機(jī)器評(píng)分

中圖分類號(hào)：G642.47文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.16400/j.cnki.kjdk.2021.17.013

An Empirical Study on Manual and Machine Scoring of Business English Writing in the Context of Big Data

LIU Ning

（Guangzhou City Construction College， Guangzhou， Guangdong 510925）

AbstractWith the rapid development of big data， corpus based writing software has begun to subvert the traditional teaching mode of writing. The focus of this study is a general composition automatic scoring system， called "automated essay scoring" （abbreviated AES）， which is a corpus based machine scoring system and has been adopted by many domestic universities. This study will focus on the comparison of teacher scoring and machine feedback in Business English writing teaching. Meanwhile， it analyzes some domestic and foreign studies on AES in detail. The purpose is toinvestigate whetherthereis anydifferencebetween the errorsofAESscoring andteacherscoringinBusiness English writing class in higher vocational colleges， and whether there will be specific differences； Students’ attitudes and opinions on the use of AES in teacher scoring.

Keywordsbig data； business English writing； machine scoring

寫作是將交際能力和語言知識(shí)與某些文化維度、認(rèn)知和知識(shí)社會(huì)學(xué)相結(jié)合的過程。[1]商務(wù)英語專業(yè)作為高職院校的一門常見專業(yè)，是專業(yè)英語的一種，它要求學(xué)生能夠掌握接近于以英語為母語的人的英語書面和口頭技能進(jìn)行商務(wù)和外貿(mào)工作。商務(wù)英語寫作作為專業(yè)基礎(chǔ)課之一，其寫作形式和表達(dá)方式具有獨(dú)特的特點(diǎn)，其教學(xué)方法提出了有別于普通寫作課更高的要求。學(xué)生需要能夠獨(dú)立處理各種外貿(mào)突發(fā)事件相關(guān)的函電，處理外貿(mào)訂單和發(fā)貨等工作。在真實(shí)的商務(wù)和外貿(mào)場景中，商務(wù)英語寫作將是與同事和客戶溝通的一種極其重要的手段。如何引導(dǎo)學(xué)生掌握商務(wù)英語寫作的專業(yè)格式和表達(dá)方式，以及學(xué)會(huì)避免寫作中因文化差異引起的一些誤解，是商務(wù)英語寫作課程教學(xué)的重點(diǎn)。高職院校商務(wù)英語專業(yè)的大部分學(xué)生對(duì)自己的專業(yè)充滿熱情，但是由于學(xué)生英語基礎(chǔ)薄弱，他們尤其害怕做英語寫作任務(wù)，往往選擇被動(dòng)地對(duì)待寫作。同時(shí)，教師有批改作文的壓力，評(píng)價(jià)反饋時(shí)差大。

1理論基礎(chǔ)

1.1自動(dòng)作文評(píng)分（AES）

自動(dòng)作文評(píng)分（AES）是一個(gè)大規(guī)模的基于語料庫的計(jì)算機(jī)化系統(tǒng)，可以立即糾正所寫的文章，提供即時(shí)反饋，并對(duì)反饋進(jìn)行分類。AES是指通過計(jì)算機(jī)評(píng)分產(chǎn)生的書寫反饋，是一種根據(jù)人工智能、正常語言模塊、語言處理和計(jì)算機(jī)技術(shù)相關(guān)語義分析產(chǎn)生評(píng)分的評(píng)分工具。[1]一個(gè)完善的AES系統(tǒng)可以為大規(guī)模評(píng)分提供許多好處，如特異性、寫作質(zhì)量的提高、可管理性、一致性、評(píng)分報(bào)告和評(píng)分速度；節(jié)省成本，操作方便。[2]作為我國語言智力評(píng)估關(guān)鍵技術(shù)和應(yīng)用的代表，Pigai被廣泛應(yīng)用于大學(xué)、高職院校、中小學(xué)等教育機(jī)構(gòu)。Pigai的處理原理是比較學(xué)生作文與標(biāo)準(zhǔn)語料庫之間的距離，通過一定的算法以數(shù)字和注釋的形式計(jì)算錯(cuò)誤。該技術(shù)已獲得國內(nèi)發(fā)明專利（專利號(hào)：ZL2012 10049982.4）。根據(jù)Pigai （www. com）主頁上的數(shù)據(jù)，AES已對(duì)超過5億篇文章進(jìn)行了評(píng)分，采用AES機(jī)器評(píng)分法、教師修正評(píng)分法和同伴評(píng)分法三種方式進(jìn)行評(píng)價(jià)。

1.2商務(wù)英語寫作教學(xué)的理論框架

過程教學(xué)法是一種以學(xué)生為中心，教師輔助的教學(xué)方法。在商務(wù)英語寫作中，由于商務(wù)英語的詞匯和句型比普通英語知識(shí)更難，學(xué)生的學(xué)習(xí)要求需要教師的幫助來提高。過程寫作法可以讓學(xué)生在不斷深入挖掘?qū)懽鲉栴}的同時(shí)，提高英語思維能力和寫作能力。寫作過程和寫作內(nèi)容一樣重要，寫作的有效性取決于寫作的過程。注意寫作過程可以幫助學(xué)生養(yǎng)成自我糾錯(cuò)的寫作習(xí)慣，遵循語言習(xí)得的規(guī)律。一篇好的作文是在寫作的過程中產(chǎn)生的，這意味著錯(cuò)誤是不斷被修改的。教師對(duì)寫作過程進(jìn)行指導(dǎo)，學(xué)生合作完成任務(wù)；過程教學(xué)法將在今后的寫作教學(xué)中發(fā)揮重要作用。[3]

1.3 AES評(píng)分的研究背景

AES的實(shí)施可以是一種有效的輔助教學(xué)方式，根據(jù)對(duì)比初步數(shù)據(jù)與教師單獨(dú)的評(píng)價(jià)指導(dǎo)相比，AES可以提高寫作能力。[4]AES評(píng)閱的處理速度取決于AES服務(wù)器與語料庫的接觸頻率，在網(wǎng)上提交論文時(shí)，分?jǐn)?shù)反饋的時(shí)間大約是2分鐘，這是一個(gè)令人印象深刻的原始處理速度。AES評(píng)分服務(wù)器每秒可以處理三篇論文；教師評(píng)分的校正水平高于AES評(píng)分。[5]另外，從整個(gè)作文的反饋及其性質(zhì)來看，AES的評(píng)分與教師的評(píng)分相同或更高。即時(shí)反饋和評(píng)分一致性是AES評(píng)分相對(duì)于人工評(píng)分的兩個(gè)優(yōu)點(diǎn)；AES評(píng)分反饋的準(zhǔn)確性和有效性并不總是能令人滿意的。[6]從表1國內(nèi)關(guān)于AES評(píng)分的研究示例可以看出，AES評(píng)分應(yīng)用在大學(xué)英語課程應(yīng)用較多。在尋找前人研究的過程中，以商務(wù)英語課程為基礎(chǔ)的AES研究較少。盡管AES評(píng)分有其優(yōu)點(diǎn)，但AES評(píng)分存在的缺點(diǎn)是AES技術(shù)的一個(gè)真正的困境。AES的準(zhǔn)確性和流暢性似乎是該系統(tǒng)的代表性特征；相反，AES評(píng)分不能評(píng)價(jià)文章的結(jié)構(gòu)和內(nèi)容是否與主題相關(guān)，因?yàn)樗荒芫哂信c人類相同的思維方式。AES系統(tǒng)可以與文章的長度密切相關(guān)，而不是提供有效的修辭控制的內(nèi)容；AES的算法需要比現(xiàn)有的更關(guān)注重要的語言標(biāo)記，以確保AES評(píng)分適合于分析評(píng)分，從而使語法特征和用法的評(píng)分更加可靠。[7]教師在課堂AES整合中起著核心作用，評(píng)價(jià)AES的屬性或考慮AES體系對(duì)學(xué)生寫作的影響應(yīng)考慮教學(xué)環(huán)境；為保證AES的有效性，教師應(yīng)考慮教學(xué)方法，AES評(píng)分的使用應(yīng)與教師的寫作指導(dǎo)相結(jié)合。AES得分出現(xiàn)低于老師評(píng)分，由AES和教師評(píng)分呈現(xiàn)出顯著差異的詳細(xì)得分，這些發(fā)現(xiàn)表明，教師老師評(píng)分的得分高于AES得分。[8]崔總結(jié)了在英語寫作中實(shí)施AES評(píng)分的三點(diǎn)。首先，教師需要對(duì)AES評(píng)分持開放的態(tài)度，技術(shù)的更新會(huì)為教學(xué)帶來方便；其次，教師積極引導(dǎo)學(xué)生也是很重要的，教師應(yīng)鼓勵(lì)學(xué)生在寫作中使用AES評(píng)分；再次，教師需要熟練掌握AES評(píng)分的具體功能，教師可以參與其他教師的培訓(xùn)或?qū)W習(xí)。[9]AES評(píng)分?jǐn)?shù)據(jù)庫可以連續(xù)積累簡單的表達(dá)方式和句型，但商務(wù)英語寫作的表達(dá)是基于真實(shí)的商務(wù)情境，這是AES評(píng)分的難點(diǎn)。另一方面，中國與其他國家的文化差異和表達(dá)方式的不同是ASE在處理商務(wù)交際寫作時(shí)遇到的兩個(gè)障礙，錯(cuò)誤的信息或不一致的表達(dá)會(huì)引起溝通者之間的誤解和矛盾，會(huì)影響商務(wù)活動(dòng)的正常進(jìn)行。

2研究設(shè)計(jì)

2.1研究問題

（1）AES系統(tǒng)評(píng)分中的作文錯(cuò)誤與商務(wù)英語寫作老師評(píng)分中的作文錯(cuò)誤是否有區(qū)別？如果有，這些錯(cuò)誤之間的具體區(qū)別是什么？

（2）使用AES評(píng)分法的商務(wù)英語學(xué)生和使用傳統(tǒng)的教師評(píng)分法的商務(wù)英語學(xué)生對(duì)AES評(píng)分的態(tài)度和觀點(diǎn)是怎樣的？

2.2研究對(duì)象

本研究選取了我國某高職院校商務(wù)英語專業(yè)的一年級(jí)學(xué)生160名，均有十年英語學(xué)習(xí)經(jīng)驗(yàn)。參與者的平均年齡約為19歲，英語水平為中級(jí)英語學(xué)習(xí)者。老師會(huì)根據(jù)分班測試的結(jié)果將受試者分成兩組，實(shí)驗(yàn)組80人，對(duì)照組80人。實(shí)驗(yàn)組選擇AES作為計(jì)算機(jī)寫作輔助評(píng)分，對(duì)照組選擇傳統(tǒng)論文寫作和教師評(píng)分。兩組商務(wù)英語寫作的授課老師是一樣的，教學(xué)內(nèi)容和教學(xué)過程的設(shè)計(jì)也是一樣的。

2.3實(shí)驗(yàn)過程

實(shí)驗(yàn)組和對(duì)照組的教學(xué)過程和教學(xué)內(nèi)容會(huì)保持一致，之后進(jìn)行語言分班測試、寫作測試和問卷調(diào)查。參與者將參加英語統(tǒng)一分班考試，并根據(jù)分班考試安排上課。為保證分班英語考試的效度和信度，教師將選擇中國權(quán)威的國家英語考試作為考試內(nèi)容，如2018年大學(xué)英語四級(jí)考試真題。在寫作測試后，所有研究對(duì)象將會(huì)填寫一份問卷。

在商務(wù)英語寫作課上，實(shí)驗(yàn)組將使用AES作為每一篇寫作和評(píng)分工具，對(duì)照組將使用傳統(tǒng)的紙筆寫作和老師評(píng)分的方式。在10周的商務(wù)英語寫作教學(xué)后，將進(jìn)行寫作測試。在本研究的寫作測試之初，教師將設(shè)計(jì)一個(gè)常見的商務(wù)情境，用過程寫作的方法學(xué)習(xí)如何在現(xiàn)實(shí)生活和商務(wù)世界的正式場合維護(hù)個(gè)人和集體利益進(jìn)行投訴。老師將用一篇新聞作為導(dǎo)入，一位消費(fèi)者花了66萬元買了一輛梅賽德斯-奔馳，不幸的是，汽車發(fā)動(dòng)機(jī)出現(xiàn)了漏油現(xiàn)象。老師將介紹商務(wù)情境下的投訴信的例子，并分析其格式和有用的表達(dá)。最后，老師將安排本研究商務(wù)情境下投訴信的寫作測試，寫作背景如下。

你是藍(lán)天公司的市場部經(jīng)理周曉娜，你的公司收到一批500箱黃色純棉t恤的貨物，但貨物上有各種不同的污漬。經(jīng)你方詳細(xì)檢查，損壞是由于賣方的不當(dāng)包裝造成，你方損失慘重。現(xiàn)寫一封120到150字的投訴信給快樂服裝公司的銷售經(jīng)理凱西·格林，要求對(duì)方調(diào)查此事，并盡快解決這起事故。

實(shí)驗(yàn)組將使用AES系統(tǒng)- pigai進(jìn)行數(shù)字化寫作。在寫作過程中，參與者不能使用AES的修改工具，寫作完成后立即提交。教師登錄AES導(dǎo)出作文錯(cuò)誤分析的原始數(shù)據(jù)。對(duì)照組采用傳統(tǒng)的紙筆方式進(jìn)行寫作測試，由老師對(duì)作文進(jìn)行評(píng)分，并對(duì)錯(cuò)誤和分?jǐn)?shù)進(jìn)行分類和分析。寫作測試完成后，參與者將回答一份問卷。自變量為AES系統(tǒng)評(píng)分中的作文錯(cuò)誤和商務(wù)英語寫作教師評(píng)分中的作文錯(cuò)誤，因變量為這兩種評(píng)分方法的差異。研究測試后，教師將收集160篇商務(wù)英語寫作的論文修改錯(cuò)誤并進(jìn)行分析，80篇論文采用AES分析功能進(jìn)行評(píng)分，80篇作文將由教師評(píng)分。同時(shí)，問卷調(diào)查采用問卷星（https：//www.wjx.cn/）進(jìn)行，使用SPSS進(jìn)行頻率分析，總結(jié)實(shí)驗(yàn)組和對(duì)照組對(duì)AES和傳統(tǒng)寫作的看法和意見。

3結(jié)果與分析

根據(jù)評(píng)分?jǐn)?shù)據(jù)比較結(jié)果（表2），AES評(píng)分是高于教師評(píng)分，兩種方法之間是具備相關(guān)性的。根據(jù)問卷的結(jié)果，可以預(yù)期AES的優(yōu)點(diǎn)是評(píng)分速度快，評(píng)分和更正錯(cuò)誤會(huì)在幾秒鐘內(nèi)呈現(xiàn)出來。學(xué)生可以根據(jù)這樣的優(yōu)勢及時(shí)對(duì)寫作進(jìn)行批改，并在批改過程中加強(qiáng)寫作。教師評(píng)分讓學(xué)生在寫作的真實(shí)環(huán)境中得到批改，但批改的時(shí)間無疑是不可能在幾秒鐘內(nèi)做到的，這被稱為教師評(píng)分的最大困難。

通過對(duì)AES和教師評(píng)分的誤差分析，得出教師評(píng)分和AES評(píng)分之間的相關(guān)性和差異；具體評(píng)分細(xì)節(jié)分析結(jié)果如表3所示，表3中列出的錯(cuò)誤類型是商務(wù)英語寫作糾正中常見的錯(cuò)誤評(píng)分維度。

從調(diào)查問卷的分析結(jié)果可得知，實(shí)驗(yàn)組對(duì)AES持積極態(tài)度，AES可以在幾秒鐘內(nèi)完成作文評(píng)分，89%的被試表示AES加強(qiáng)了商務(wù)英語寫作的個(gè)人積極意愿，78%的被試更喜歡AES的糾正功能，他們可以多次糾正寫作以獲得高分。對(duì)照組對(duì)老師的評(píng)分有積極的態(tài)度，教師評(píng)分可能可以激發(fā)81%的參與者對(duì)商務(wù)英語寫作的興趣，80%的參與者可能已經(jīng)很好地掌握了商務(wù)英語寫作的格式。因此，采取AES與教師評(píng)分相結(jié)合的教學(xué)方式是比較妥當(dāng)?shù)模ū?）。

4結(jié)論

AES不能代替教師，它是教師的“智能助手”。根據(jù)前人的研究綜述，可以預(yù)計(jì)AES的錯(cuò)誤可能與教師評(píng)分的錯(cuò)誤有顯著差異。在商務(wù)英語寫作課程中，當(dāng)使用AES進(jìn)行論文修改時(shí)，教師需要結(jié)合自己的反饋來調(diào)整機(jī)器反饋。AES的優(yōu)點(diǎn)是毋庸置疑的，但是由于商務(wù)英語課程的特殊性，教師需要對(duì)機(jī)器評(píng)測進(jìn)行一些糾錯(cuò)和指導(dǎo)。AES評(píng)分是一個(gè)“冰冷的”人機(jī)互動(dòng)的過程，當(dāng)AES結(jié)束評(píng)分時(shí)，錯(cuò)誤只會(huì)以字母的形式顯示在計(jì)算機(jī)屏幕上，并要求學(xué)生修改，不需要溝通。教師評(píng)分是老師和學(xué)生在課堂上面對(duì)面、融入感情的交流，教師反饋的鼓勵(lì)詞可以幫助學(xué)生提高商務(wù)英語寫作的有效性。在進(jìn)一步的研究中，本研究將繼續(xù)對(duì)寫作課的觀察，融合了學(xué)生寫作態(tài)度的寫作也是商務(wù)英語寫作教學(xué)的重要組成部分。

參考文獻(xiàn)

[1]Stevenson，M. A critical interpretative synthesis： The integration of automatedwritingevaluationintoclassroomwritinginstruction[J]. Computers and Composition，2016（42）：1-16.

[2]Elliot， N.， & Williamson， D. M. Assessing writing special issue： Assessing writing with automated scoring systems[J].Assessing Writing，2013（18）：1-6.

[3]Graham， S.， & Sandmel， K.The process writing approach： A metaanalysis [J]. The Journal of Educational Research， 2011 （104）： 396-407.

[4]Palermo，C.，& Thomson， M. M. Teacher implementation of self-regulated strategy development with an automated writing evaluation system： Effects on the argumentative writing performance of middle school students[J].Contemporary Educational Psychology，2018（54）： 255-270.

[5]Shermis，M.D.，Mzumara， H.R.，Olson， J.， &Harrington，S.On-line grading of student essays： PEG goes on the world wide web[J].Assessment & Evaluation in Higher Education， 2001（26）： 247-259.

[6]Liu， S.， & Kunnan， A. J. Investigating the application of automated writing evaluation to Chinese undergraduate English majors： A case study of Write To Learn[J].Calico Journal，2016（33）：71.

[7]Weigle，S.C.Englishlanguagelearnersandautomatedscoringofes- says： Critical considerations[J].Assessing Writing， 2013（18）： 85-99.

[8]Stevenson， M. A critical interpretative synthesis： The integration of automated writing evaluation into classroom writing instruction[J]. Computers and Composition，2016（42）：1-16.

[9]Choi，J.The impactofautomated essay scoring（AES）forimproving english language learner’s essay writing[J].ProQuest Dissertations Publishing，2010.

[10]江穎，金躍強(qiáng)，王茜.大數(shù)據(jù)方法對(duì)非英語專業(yè)學(xué)生英語寫作動(dòng)機(jī)及水平的影響研究——以“句酷批改網(wǎng)”為例[J].當(dāng)代教育理論與實(shí)踐，2019，011（002）：142-146.

[11]鐘歆.基于作文自動(dòng)評(píng)分系統(tǒng)的高職學(xué)生英語寫作自我效能感研究[J].長沙通信職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，016（004）：64-67

[12]陳艷.句酷批改網(wǎng)對(duì)不同水平高職英語學(xué)習(xí)者寫作能力的影響研究[J].長沙航空職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2017，017（004）：34-39.

[13]李霞，鐘蘭鳳.作文自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語寫作教學(xué)中的實(shí)證研究——以句酷批改網(wǎng)為例[J].教學(xué)研究，2017，040（001）：57-61.