牟曉青，于志濤

(山東理工大學(xué) 外國語學(xué)院，山東 淄博 255000)

一、引言

自動(dòng)寫作評(píng)分與評(píng)價(jià)(Automated Essay Scoring and Evaluation，AESE)技術(shù)，在教學(xué)與考試中逐漸得到應(yīng)用。該技術(shù)可識(shí)別和評(píng)價(jià)寫作中的語言屬性和存在的問題，為學(xué)生寫作提供及時(shí)反饋，亦使教師可以籍助計(jì)算機(jī)網(wǎng)絡(luò)的高效功能，布置寫作任務(wù)，進(jìn)行跟蹤、監(jiān)督，提供個(gè)性化指導(dǎo)。國際上，AESE已成為一個(gè)重要研究領(lǐng)域[1]27。

與國際相比，國內(nèi)相關(guān)研究文獻(xiàn)相對(duì)較少。在中國知網(wǎng)期刊庫中，根據(jù)主題進(jìn)行檢索，共獲得1349條文獻(xiàn)記錄。根據(jù)論文標(biāo)題和摘要，逐一進(jìn)行人工判別，最終獲得研究文獻(xiàn)280條，其中核心期刊、CSSCI期刊論文僅有69條。運(yùn)用CiteSpace 2.2.R9[2]359[3]5303進(jìn)行主題知識(shí)圖譜分析，結(jié)果見圖1。

根據(jù)圖1，結(jié)合文獻(xiàn)主題判別，可將國內(nèi)AESE領(lǐng)域的研究熱點(diǎn)分為英語寫作與教學(xué)、自動(dòng)評(píng)分、反饋、批改網(wǎng)、效度、語料庫6個(gè)亞類。國內(nèi)AESE研究主要聚焦英語這一語種的寫作與教學(xué)，自動(dòng)評(píng)分、反饋(即自動(dòng)寫作評(píng)價(jià))、效度、語料庫皆為AESE的核心技術(shù)，自然成為研究學(xué)者的關(guān)注點(diǎn)。而在實(shí)踐中，批改網(wǎng)已成為應(yīng)用較為廣泛的英語寫作與教學(xué)載體，遂成研究熱點(diǎn)。根據(jù)中國知網(wǎng)檢索，對(duì)批改網(wǎng)的研究主要集中在實(shí)踐教學(xué)模式、對(duì)寫作能力的影響、評(píng)分信度與效度等方面，研究方法主要為實(shí)驗(yàn)法、問卷調(diào)查法、數(shù)理統(tǒng)計(jì)法。

本研究擬采集BBS語料，對(duì)批改網(wǎng)應(yīng)用進(jìn)行可視化分析。網(wǎng)絡(luò)BBS具有匿名性，意見表達(dá)相對(duì)自由真實(shí)[4]41?；贐BS語料，可更客觀地對(duì)批改網(wǎng)應(yīng)用進(jìn)行分析和反思。

二、 批改網(wǎng)網(wǎng)絡(luò)關(guān)注熱度與地域分布

百度為全球最大中文搜索引擎，以互聯(lián)網(wǎng)用戶的百度搜索量為基礎(chǔ)加權(quán)計(jì)算的搜索指數(shù)，可作為用戶群體的關(guān)注熱度衡量指標(biāo)，對(duì)搜索詞人群屬性的聚類分析，亦可獲得地域分布相關(guān)特征。以“批改網(wǎng)”為關(guān)鍵詞，使用百度指數(shù)統(tǒng)計(jì)分析平臺(tái)(http://index.baidu.com)，采集計(jì)算每月的日均搜索指數(shù)作為每月搜索指數(shù)，以○與□分別標(biāo)示年度最高點(diǎn)與最低點(diǎn)，結(jié)果見圖2，地域分布見圖3。

圖1 國內(nèi)自動(dòng)寫作評(píng)分與評(píng)估領(lǐng)域主題知識(shí)圖譜分析

圖2 “批改網(wǎng)”百度搜索指數(shù)統(tǒng)計(jì)圖

圖3 “批改網(wǎng)”關(guān)注人群地域分布統(tǒng)計(jì)圖

1．網(wǎng)絡(luò)關(guān)注熱度分析

借助搜索引擎優(yōu)化分析技術(shù)(Search Engine Optimization，SEO)，對(duì)批改網(wǎng)進(jìn)行綜合分析可知，該域名創(chuàng)建于2010年5月18日。批改網(wǎng)百度搜索指數(shù)，自2011年1月起開始有統(tǒng)計(jì)數(shù)據(jù)，9月指數(shù)達(dá)到788，開始具有穩(wěn)定的關(guān)注群體。根據(jù)趨勢(shì)預(yù)測(cè)計(jì)算，搜索指數(shù)總體呈現(xiàn)明顯增長(zhǎng)趨勢(shì)， 2016年5月達(dá)到21774，月平均搜索指數(shù)達(dá)到4220.7867(2011年1月至2017年3月16日)，這說明愈來愈多的用戶關(guān)注使用批改網(wǎng)。但在圖2中可看到搜索指數(shù)具有明顯的起伏周期，高峰與低谷恰與學(xué)校的學(xué)期和寒暑假設(shè)置相吻合。這說明，學(xué)生對(duì)批改網(wǎng)的使用，還主要依賴于教師的主導(dǎo)式教學(xué)安排，自主學(xué)習(xí)的主動(dòng)性尚待提高。

2．網(wǎng)絡(luò)關(guān)注地域分布分析

根據(jù)圖3可知，“批改網(wǎng)”搜索詞關(guān)注人群中，數(shù)量最多的省份為廣東、北京、四川、江蘇、山東。關(guān)注度主要集中在華東、華北、華南。從我國東部、中部與西部的地區(qū)劃分來看，批改網(wǎng)的網(wǎng)絡(luò)關(guān)注主要來自東部地區(qū)，中西部明顯偏少。這間接反映出中西部對(duì)批改網(wǎng)的應(yīng)用，尚不廣泛。在一定程度上說明，中西部地區(qū)信息化教學(xué)支持體系建設(shè)相對(duì)薄弱，其英語寫作教學(xué)的信息化發(fā)展相對(duì)緩慢。這可能與我國地區(qū)間存在數(shù)字鴻溝有關(guān)。東部地區(qū)網(wǎng)絡(luò)社會(huì)發(fā)展水平與數(shù)字生活發(fā)展水平明顯居于優(yōu)勢(shì)，東西部絕對(duì)差距仍然較大[5]。

三、基于BBS語料的批改網(wǎng)應(yīng)用

(一)數(shù)據(jù)來源

本研究采用網(wǎng)頁數(shù)據(jù)采集程序，對(duì)百度貼吧“批改網(wǎng)吧”(http://tieba.baidu.com/f?kw=%C5%FA%B8%C4%CD%F8&fr=ala0&tpl=5)，以及批改網(wǎng)論壇(http://bbs.pigai.org/forum.php)“批改網(wǎng)師生報(bào)錯(cuò)專區(qū)”“批改網(wǎng)使用幫助”“用戶意見反饋”三大板塊發(fā)帖內(nèi)容進(jìn)行采集。采集時(shí)間自2017年2月25日至2月28日，歷時(shí)4天。去重處理后，共獲得“批改網(wǎng)吧”發(fā)帖數(shù)據(jù)256條(時(shí)間長(zhǎng)度：2013-05-02至2017-02-05；數(shù)據(jù)總長(zhǎng)度67038字符)，“批改網(wǎng)師生報(bào)錯(cuò)專區(qū)”發(fā)帖數(shù)據(jù)29802條(時(shí)間長(zhǎng)度：2013-12-30至2017-02-28；數(shù)據(jù)總長(zhǎng)度7142227字符)，“批改網(wǎng)使用幫助”1284(時(shí)間長(zhǎng)度：2011-12-21至2017-02-26；數(shù)據(jù)總長(zhǎng)度401981字符)，“用戶意見反饋”268條(時(shí)間長(zhǎng)度：2012-10-11至2017-02-27；數(shù)據(jù)總長(zhǎng)度63780字符)。所有樣本數(shù)據(jù)，均做預(yù)處理：進(jìn)行分詞，去除停用詞，提取行特征。

(二)寫作報(bào)錯(cuò)類型分析

在“批改網(wǎng)師生報(bào)錯(cuò)專區(qū)”，用戶主要依據(jù)批改網(wǎng)給出的報(bào)錯(cuò)提示進(jìn)行發(fā)帖，反映了用戶群體關(guān)注的報(bào)錯(cuò)類型，也反映了用戶群體寫作過程中存在的主要錯(cuò)誤類型。發(fā)帖主要涉及提示類(學(xué)習(xí)提示、搭配統(tǒng)計(jì)、批改提示等)、錯(cuò)誤類、警示類(低頻、中式英語等)，也有少數(shù)發(fā)帖對(duì)批改網(wǎng)提示提出了疑問。通過主題判別，刪除灌水帖19條，獲得有效發(fā)帖29783條，抽取批改網(wǎng)報(bào)錯(cuò)提示的表述語句，用于主題命名，獲得88類主題。提取報(bào)錯(cuò)主題，對(duì)頻次屬性進(jìn)行可視化分析，結(jié)果見表1。

在表1中可以看到，批改網(wǎng)中有的報(bào)錯(cuò)提示表述進(jìn)行了程度區(qū)分。其中，語法類提示，區(qū)分為語法檢查、語法不規(guī)范、語法錯(cuò)誤。批改網(wǎng)在語料庫中沒有發(fā)現(xiàn)相同表述，尋找不到相近表述提供修改建議時(shí)，會(huì)給出“語法檢查”建議；無相同表述，但尋找到相近表述能夠提供修改建議時(shí)，給出“語法不規(guī)范”提示；根據(jù)詞語搭配，確認(rèn)存在錯(cuò)誤時(shí)，會(huì)給出“語法錯(cuò)誤”提示。但有的錯(cuò)誤類型，例如，主謂不一致、主語錯(cuò)誤、句子不完整、句首字母小寫等，則皆以“句子錯(cuò)誤”給出提示，可進(jìn)一步細(xì)化，提供有針對(duì)性的修改建議。

根據(jù)表1，用戶群體中占最大比例的錯(cuò)誤類型是疑似中式英語。有的中式英語比較生硬，錯(cuò)誤比較明顯；更多的則在語法上完全正確，但不合乎英語國家使用習(xí)慣，仍屬漢語思維范疇。在寫作教學(xué)中，對(duì)學(xué)生加強(qiáng)引導(dǎo)，除中國特色表述難以避免中式英語之外，應(yīng)以標(biāo)準(zhǔn)英語為規(guī)范。

其他比例超過2%的錯(cuò)誤類型有語法不規(guī)范、動(dòng)詞錯(cuò)誤、拼寫錯(cuò)誤、名詞錯(cuò)誤、搭配錯(cuò)誤、語法檢查、標(biāo)點(diǎn)符號(hào)錯(cuò)誤、詞性錯(cuò)誤(批改提示是對(duì)寫作中常出現(xiàn)詞匯、短語的總結(jié)和歸類，不屬錯(cuò)誤類型)。由此可以看出，詞匯與語法基礎(chǔ)知識(shí)的掌握，依然是英語寫作教學(xué)中的一個(gè)重要關(guān)鍵點(diǎn)。

表1“批改網(wǎng)師生報(bào)錯(cuò)專區(qū)”發(fā)帖主題統(tǒng)計(jì)列表

在發(fā)帖主題中，存在改錯(cuò)和作文精批求助。批改網(wǎng)的智能批改，更多是一種建議提示，有時(shí)無修改指示，使一部分基礎(chǔ)薄弱的學(xué)生無所適從。在智能批改的基礎(chǔ)上，仍需人工評(píng)閱的有機(jī)配合，方可實(shí)現(xiàn)寫作教學(xué)的最終目的。

在發(fā)帖中，有用戶提出批改網(wǎng)存在提示矛盾、按照提示越改越差的問題；還有用戶以BBC原文進(jìn)行評(píng)分測(cè)試，批改網(wǎng)給出了76.5的較低分?jǐn)?shù)，并指出兩個(gè)語法錯(cuò)誤與許多中式英語用法；也有用戶指出，將六級(jí)滿分作文的一段話摻入自己的作文，可迅速拉高評(píng)分。評(píng)分技術(shù)、語料庫建設(shè)、改錯(cuò)提示技術(shù)等，是批改網(wǎng)未來建設(shè)的重要方向。

(三)反饋意見分析

1.主題分析

百度貼吧“批改網(wǎng)吧”、批改網(wǎng)論壇 “批改網(wǎng)使用幫助”與“用戶意見反饋”發(fā)帖內(nèi)容主要是就批改網(wǎng)使用的相關(guān)問題進(jìn)行提問，反饋使用意見。對(duì)三部分內(nèi)容進(jìn)行合并，可視作批改網(wǎng)使用反饋意見。對(duì)反饋意見，轉(zhuǎn)化為ANSI編碼格式，抽取行特征詞，進(jìn)行一級(jí)主題命名。對(duì)一級(jí)主題，根據(jù)共詞關(guān)系，進(jìn)行二級(jí)主題命名，作為主題分類。最終去除69條無關(guān)發(fā)帖，獲得主題分類61個(gè)，有效發(fā)帖1739條，結(jié)果見表2。

根據(jù)表2可知，求助類發(fā)帖最多，占61.2421%，其中修改求助發(fā)帖達(dá)到1048條，占60.2645%。用戶在獲得批改網(wǎng)提示后，由于英語能力受限，卻不知如何修改，這就需要人工幫助加以配合，才能達(dá)到作文批改的最終目的；另一方面，在一定程度上也反映了批改網(wǎng)的修改提示需要作進(jìn)一步的明確和細(xì)化；這與人工批改主題發(fā)帖、存疑類發(fā)帖、修改建議機(jī)械/不明確主題發(fā)帖相一致。其他求助發(fā)帖主要涉及有關(guān)詞匯、方法、知識(shí)的提問。

數(shù)量位居第二的為操作類發(fā)帖，共108條，占6.2105%，主要涉及批改網(wǎng)各菜單、功能的使用方法、相關(guān)故障。目前批改網(wǎng)已提供了使用指南，有簡(jiǎn)明的快速入門文檔，也配有視頻教程。但指南放置的位置并不醒目，不易引起用戶的關(guān)注，導(dǎo)致部分用戶不知如何具體操作，故發(fā)帖詢問。

許多用戶對(duì)批改網(wǎng)的評(píng)分標(biāo)準(zhǔn)、計(jì)算方式提出了疑問(占3.6228%)，認(rèn)為根據(jù)提示越改越差，詢問為何0分、不及格、同作文不同分?jǐn)?shù)、難以獲得滿分，建議修改為15分制等多種形式以對(duì)接各類不同考試形式，存在亂寫得分、再次打開時(shí)會(huì)出現(xiàn)分?jǐn)?shù)下降現(xiàn)象，求教高分方法。測(cè)試類發(fā)帖(0.1725%)中，用戶使用考研作文、英語國家原文進(jìn)行評(píng)分測(cè)試，亦反映了這一問題。

修改類發(fā)帖，主要涉及各類信息和操作的修改提問。關(guān)于教師一次修改與多次修改的預(yù)設(shè)置存在爭(zhēng)議，從學(xué)生自主學(xué)習(xí)的角度，應(yīng)允許教師批改后學(xué)生仍可修改，但從成績(jī)?cè)u(píng)定的公平性來看，則應(yīng)采取雙界面的形式，使教師能夠看到自己當(dāng)時(shí)的評(píng)定信息，便于成績(jī)認(rèn)定；使教師同時(shí)能夠看到學(xué)生的再修改界面，有利于學(xué)生的再學(xué)習(xí)和提高。寫作修改軌跡，有用戶以涉及個(gè)人隱私為由，提出不應(yīng)呈現(xiàn)，反映出學(xué)生的法律意識(shí)和自尊。從尊重和保護(hù)學(xué)生的角度，批改網(wǎng)可呈現(xiàn)修改次數(shù)，將修改軌跡是否呈現(xiàn)交由用戶自行決定。

內(nèi)容相關(guān)性與相似度檢測(cè)，亦是用戶的重要關(guān)注點(diǎn)。內(nèi)容相關(guān)性涉及語義分析，亦是作文智能批改的難點(diǎn)。在實(shí)際操作中，批改網(wǎng)將其分為內(nèi)相關(guān)與外相關(guān)。前者指“作文用到的關(guān)鍵詞內(nèi)部之間的相關(guān)性”，后者指“本篇作文和相同題目作文之間的相關(guān)性”。相似度檢測(cè)，其比對(duì)對(duì)象則局限于批改網(wǎng)內(nèi)部所有作文，對(duì)于抄襲網(wǎng)絡(luò)資源等無法檢測(cè)。這與通常意義上的內(nèi)容相關(guān)性、相似度檢測(cè)，仍有一段距離。

在發(fā)帖中，也有用戶提出了正確使用批改網(wǎng)的態(tài)度，認(rèn)為“盡信書則不如無書”，以批改網(wǎng)智能批改為基礎(chǔ)，與教師批改有機(jī)結(jié)合，方是正確方法，可以有效改善“學(xué)生苦老師累”的狀況。

2.情感分析

本研究將大連理工大學(xué)情感詞匯本體庫(徐琳宏等, 2008)[6] 180和中國知網(wǎng)情感分析用詞語集(beta版)合并，作為情感極性詞匯庫，對(duì)1739條發(fā)帖進(jìn)行分句、分詞處理，確定詞匯極性，計(jì)算情感評(píng)分發(fā)現(xiàn)，批改網(wǎng)反饋意見發(fā)帖中，以中性情緒與積極情緒為主，分別為39.44%、39.22%，消極情緒僅占21.34%。總體來看，發(fā)帖內(nèi)容敘述客觀，對(duì)批改網(wǎng)應(yīng)用持贊成態(tài)度。

四、反思與啟示

從1966年E. Page提出第一個(gè)自動(dòng)評(píng)分系統(tǒng)PEG(Project Essay Grade)[7]238至今，已經(jīng)有五十余年。目前應(yīng)用成熟的系統(tǒng)有PEG、E-rater[8]55、Intelligent Essay Assessor (IEA)[9]68(P.W. Foltz等, 2013)、IntelliMetric[10]89(M.T. Schultz, 2013)。時(shí)至今日，囿限于技術(shù)的發(fā)展水平，自動(dòng)寫作評(píng)分/評(píng)價(jià)的弱點(diǎn)十分明顯：主要側(cè)重于詞匯和文本的語法，以及有限地考慮文本語義[11]118。但在手工評(píng)閱費(fèi)時(shí)費(fèi)力這一事實(shí)面前，自動(dòng)寫作評(píng)分/評(píng)價(jià)成為實(shí)際可行的解決方案。

表2批改網(wǎng)反饋意見發(fā)帖主題分類統(tǒng)計(jì)列表

根據(jù)Blood I.(2011)[12]40的研究，識(shí)別偽劣作文、增強(qiáng)反饋的豐富性亦是自動(dòng)寫作評(píng)分/評(píng)價(jià)領(lǐng)域的難題。機(jī)器評(píng)分會(huì)導(dǎo)致學(xué)生過多地考慮評(píng)分維度，使用所謂高分詞匯、句型等技巧，從而獲得高分。但這卻并非寫作能力的真正提高。如何識(shí)別惡意獲取高分的行為，培養(yǎng)真正的語言產(chǎn)出性行為，是自動(dòng)寫作評(píng)分/評(píng)價(jià)領(lǐng)域的一個(gè)重任。再者，從自主學(xué)習(xí)的角度來看，僅僅獲得一個(gè)評(píng)分，顯然不能成為最終目的。能夠提供有意義的、有建設(shè)性的反饋，以供學(xué)生修改提高，這才是寫作教學(xué)的期望。

通過網(wǎng)絡(luò)關(guān)注度和地域分布分析，可以看出批改網(wǎng)在國內(nèi)的應(yīng)用非常廣泛，已成為寫作教學(xué)實(shí)施的重要方式之一。作為國內(nèi)唯一基于語料庫的自動(dòng)批改系統(tǒng)，批改網(wǎng)已逐漸得到認(rèn)可，在降低測(cè)試成本、快速提供成績(jī)報(bào)告、減輕教師工作量、實(shí)現(xiàn)大量學(xué)生的大數(shù)量寫作方面，具有明顯優(yōu)勢(shì)。其自動(dòng)反饋的匿名性、即時(shí)性和改進(jìn)的可重復(fù)性，已成為學(xué)生多寫多練的有效激勵(lì)方式。

根據(jù)用戶學(xué)習(xí)關(guān)注點(diǎn)和批改網(wǎng)反饋意見的分析，批改網(wǎng)可進(jìn)一步完善各項(xiàng)功能，加強(qiáng)語義分析研究，進(jìn)一步提高評(píng)分的可靠性，建設(shè)細(xì)化具體的反饋系統(tǒng)等，以更好地滿足用戶寫作練習(xí)的需求。同時(shí)，進(jìn)一步加強(qiáng)機(jī)改系統(tǒng)對(duì)各種終端的兼容性，尤其是平板電腦、手機(jī)系統(tǒng)，以利于真正實(shí)現(xiàn)寫作的泛在學(xué)習(xí)。

從本研究的分析來看，眾多用戶對(duì)批改網(wǎng)提出的意見建議，許多屬于功能進(jìn)一步完善的范疇，需要批改網(wǎng)服務(wù)的進(jìn)一步細(xì)化；但有一些則屬于自動(dòng)寫作評(píng)分/評(píng)價(jià)領(lǐng)域共同面臨的難題，期待未來眾多研究學(xué)者的共同攻關(guān)克難。我們對(duì)待包括批改網(wǎng)在內(nèi)的自動(dòng)寫作評(píng)分/評(píng)價(jià)系統(tǒng)，均應(yīng)該具有正確的使用態(tài)度，正確認(rèn)識(shí)其角色作用，對(duì)其求大求全，至少在目前，皆不現(xiàn)實(shí)。自動(dòng)寫作評(píng)分/評(píng)價(jià)系統(tǒng)可以提供幫助，而不是替代教師的作用。