西南交通大學(xué) 王 建

隨著自然語言處理技術(shù)的蓬勃發(fā)展，自動作文評分(Automated Writing Evaluation， AWE)系統(tǒng)應(yīng)運而生，這些在線評估工具可以大規(guī)模地、即時地評分并提供寫作反饋，在一定程度上緩解了英語教師的作文批改壓力。大部分AWE系統(tǒng)首先利用自然語言處理等技術(shù)統(tǒng)計作文在詞匯、句法和語篇等層面的量化特征值，然后建立回歸模型計算文章得分。國內(nèi)自主研發(fā)的AWE系統(tǒng)，如批改網(wǎng)、iWrite和冰果作文智能評閱系統(tǒng)等，已廣泛應(yīng)用于高校英語寫作教學(xué)中。然而鮮有國內(nèi)AWE系統(tǒng)開發(fā)者對系統(tǒng)打分模型的建立及量化指標的選取進行詳細的闡述，機器打分是否“考慮”語篇銜接不得而知。因此，本文將利用語料庫研究工具計算中國英語學(xué)習(xí)者作文在語篇銜接方面的量化特征值，探究其對機器分數(shù)的預(yù)測能力。

1. 語篇銜接與自動作文評分系統(tǒng)相關(guān)研究

為探究語篇銜接量化特征值與機器評分間的關(guān)系，本節(jié)對語篇銜接概念、相關(guān)研究及AWE系統(tǒng)研究的現(xiàn)狀進行概括性的梳理。

1.1 語篇銜接研究

(一)語篇銜接與語篇連貫

語篇是一個完整的語義單位，是由顯性的或隱性的銜接手段連接而成，自然的銜接是形成語篇的重要手段。(王志文 1994)Halliday & Hasan(1976)認為，語篇銜接指文本中某些語言線索的顯現(xiàn)或缺失，是使讀者對語篇中的觀點建立連接的淺層語言特征。相比，語篇連貫指讀者對文本的理解，是讀者大腦中對文本的心理表征，取決于銜接線索等語言因素及已有知識、閱讀技能等非語言因素。(O’reilly & McNamara 2007；Kim & Crossley 2018)王彩麗(2003：20)將連貫比喻為一種“無形的網(wǎng)絡(luò)”，存在于語篇的底層，通過邏輯推理達到語篇中語義的連接，而銜接是一種“有形的網(wǎng)絡(luò)”，通過語篇的表層結(jié)構(gòu)來體現(xiàn)，并通過一定的語法詞匯手段實現(xiàn)結(jié)構(gòu)上和語義上的銜接。語篇中有效的銜接可以更好地幫助讀者建立更連貫的心理表征。

Halliday & Hasan(1976)將語篇銜接定義為句子層面以上的非結(jié)構(gòu)關(guān)系，包括所指、替換、省略、連接詞和詞匯銜接(包括詞匯重述、同義、上下義及搭配)5大類。Crossleyetal.(2016)提出了3類銜接手段：句子層面的局部銜接(local cohesion)、段落層面的整體銜接(global cohesion)及整個語篇層面的銜接(text cohesion)。局部銜接包括句子間詞匯和概念的重合以及because、therefore或consequently等顯性的連接詞；整體銜接包括語篇中段落間詞匯語義的重疊，即某個段落中的詞匯或概念在其他段落中復(fù)現(xiàn)；此外，讀者還可以通過計算某些詞匯在整個語篇層面的復(fù)現(xiàn)及指稱情況等來判斷文本的銜接程度?？傮w而言，整體及語篇層面的銜接更為隱性。

(二)語篇銜接與寫作質(zhì)量的關(guān)系

哪些文本內(nèi)部特征可以區(qū)分高質(zhì)量與低質(zhì)量的作文？為回答此問題，寫作實證研究多采取量化文本錯誤和句法特征的方法，表明高質(zhì)量作文錯誤往往更少，句法結(jié)構(gòu)更為復(fù)雜。然而大多數(shù)研究忽略了銜接性等句法以外的重要文本特征。寫作是篇章的建構(gòu)過程，是一個復(fù)雜的語言心理學(xué)概念，寫作研究領(lǐng)域?qū)τ⒄Z母語(L1)及二語(L2)寫作者在建構(gòu)文本過程中利用何種詞匯語義特征產(chǎn)出銜接的篇章關(guān)注已久，但語篇銜接手段與作文質(zhì)量間的關(guān)系仍撲朔迷離，研究結(jié)果各異，甚至大相徑庭。(Crossleyetal. 2016)

早期的研究主要針對L1寫作者，發(fā)現(xiàn)局部的銜接手段對文章質(zhì)量的預(yù)測力不強(Evolaetal. 1980)，高水平者比低水平者使用更多的指稱銜接詞與連接詞。(Witte & Faigley 1981) 盡管特定的銜接手段(如同義詞和上義詞)與作文質(zhì)量相關(guān)，段落銜接可以區(qū)分高、低分作文，但銜接手段總數(shù)無法判別作文的質(zhì)量好壞。(McCulley 1985；Neuner 1987)近年來，隨著語料庫語言學(xué)、計算語言學(xué)及自然語言處理等技術(shù)的發(fā)展，許多自動文本分析工具用于該領(lǐng)域的研究中，表明L1寫作者局部語篇銜接手段的運用與寫作質(zhì)量不相關(guān)或負相關(guān)(McNamaraetal. 2010)，整體銜接與寫作質(zhì)量呈正相關(guān)。(Crossleyetal. 2011)

早期針對L2寫作者的研究表明，局部與語篇層面的銜接與作文質(zhì)量呈正相關(guān)。Jafarpur(1991)發(fā)現(xiàn)意大利本科英語學(xué)習(xí)者的作文分數(shù)與語篇銜接手段數(shù)量相關(guān)。Liu & Braine(2005)研究了局部銜接手段，表明中國本科階段L2學(xué)習(xí)者的作文分數(shù)與銜接手段數(shù)量中等相關(guān)，詞匯銜接手段數(shù)量與寫作質(zhì)量高度相關(guān)。Yang & Sun(2012)亦發(fā)現(xiàn)中國英語學(xué)習(xí)者議論文中正確使用的銜接手段與作文質(zhì)量高度相關(guān)。后期利用計算工具的研究表明局部銜接(相鄰句子實詞重疊、肯定邏輯連詞及相鄰句子語義相似度等)和語篇層面銜接(如體重復(fù)，aspect repetition)與作文質(zhì)量呈負相關(guān)(Crossley & McNamara 2012；Guoetal. 2013)，與整體銜接呈正相關(guān)。(Crossley & McNamara 2014；Jungetal. 2005)另一方面，Guoetal.(2013)發(fā)現(xiàn)局部銜接(如相鄰句子語義相似度)與基于閱讀材料(source-based)的寫作任務(wù)作文分數(shù)呈正相關(guān)，因為閱讀材料的融入可能對局部銜接要求更高；Crossleyetal.(2016)也發(fā)現(xiàn)局部銜接與L2說明文質(zhì)量呈正相關(guān)。

國內(nèi)發(fā)表的此類研究較少，而且結(jié)果也不一致。如徐玉臣(2000)分析了50篇英語專業(yè)學(xué)生作文的各類詞匯銜接手段與寫作質(zhì)量的關(guān)系。研究表明，詞匯銜接尤其是同義詞、反義詞和同現(xiàn)關(guān)系詞與寫作質(zhì)量有本質(zhì)聯(lián)系，對寫作質(zhì)量貢獻顯著，有50.28%的預(yù)測能力。趙芝英(2004)基于Halliday & Hasan(1976)的語篇銜接理論，比較了41名非英語專業(yè)學(xué)生優(yōu)劣作文的語篇銜接特點，并探討了銜接手段與寫作質(zhì)量間的關(guān)系。結(jié)果顯示： 5大類銜接手段并未對作文質(zhì)量產(chǎn)生足夠的影響，并發(fā)現(xiàn)詞匯的簡單重復(fù)是導(dǎo)致作文質(zhì)量差異的主要因素。梁茂成(2006)發(fā)現(xiàn)5項測量局部銜接性和4項測量整體銜接性的Coh-Metrix指標與EFL作文成績顯著相關(guān)，且高分作文整體銜接手段運用較好，而低分作文更多地依賴局部銜接性手段。該研究還發(fā)現(xiàn),由于學(xué)生過多地使用人稱代詞與連接詞等銜接手段，影響了連貫文本的建構(gòu)。杜慧穎、蔡金亭(2013)利用Coh-Metrix文本分析器探究了影響中國英語專業(yè)大學(xué)生議論文寫作質(zhì)量的語言特征，回歸分析顯示相鄰句子詞干重疊能解釋17%的分數(shù)差異。

1.2 自動作文評分系統(tǒng)相關(guān)研究

自動作文評分系統(tǒng)的研究可追溯到20世紀60年代，最初旨在解決大規(guī)?？荚囎魑脑u分，因此被稱為AES(Automated Essay Scoring)系統(tǒng)，后來發(fā)展為AWE系統(tǒng)被應(yīng)用到寫作課堂，不僅能提供及時評分，也可形成自動反饋，作為課堂教學(xué)的補充。到目前為止國外相關(guān)的研究主要涉及以下幾個方面：1)介紹及述評系統(tǒng)的原理；2)打分模型的建立過程說明；3)機器評分的效度研究及影響評分的因素；4)使用者對機器評分的認知研究；5)自動反饋研究，包括反饋的質(zhì)量、反饋對寫作結(jié)果的影響、對寫作過程的影響及使用者的看法。(白麗芳、王建 2018，2019)國內(nèi)此領(lǐng)域的研究仍處于起步階段，各方面研究都有所涉及，但受到的關(guān)注不夠，AWE系統(tǒng)在國內(nèi)方興未艾并大量運用到英語課堂教學(xué)中，一線教師甚至直接將機器分數(shù)納入期末成績，未來也有應(yīng)用到大規(guī)模外語測試的趨勢，但國內(nèi)鮮有研究者或開發(fā)者詳盡報道系統(tǒng)建立所選取的語言特征，機器評分的“神秘面紗”還未完全揭開。

目前，語篇銜接與機器評分的關(guān)系目前還未受到廣泛關(guān)注。白麗芳、王建(2018)進行了有益探索，該研究利用Coh-Metrix分析了300篇“中國學(xué)習(xí)者英語語料庫”中大學(xué)英語四、六級考試作文在詞匯、句法、語篇和錯誤等4類語言類定量特征對人工和機器評分的影響。結(jié)果顯示，相鄰句子詞干重疊、相鄰段落潛在語義重疊、相鄰句子論元重疊及代詞總數(shù)能夠預(yù)測四、六級人工分數(shù)，相鄰句子詞干及論元重疊、相鄰段落潛在語義重疊、連詞及代詞總數(shù)能預(yù)測四、六級機器分數(shù)。但該研究僅涉及5項語篇銜接量化指標，并不全面，研究的可推廣性有待商榷。為此，本研究將納入更多的語篇銜接量化指標，以進一步探討語篇銜接量化特征與作文機器分數(shù)的關(guān)系。

2. 研究過程

2.1 語料選擇

本研究的研究語料來自西南某應(yīng)用型大學(xué)本科二年級3個教學(xué)班于國內(nèi)某自動評分系統(tǒng)提交的一次作業(yè)，所有作文均為不限時作文，共計121篇。系統(tǒng)以100分制公式進行打分。

2.2 語篇銜接量化特征的選取

本研究基于Coh-Metrix分析器計算的語篇銜接資源考察銜接性量化特征與機器評分的關(guān)系。Coh-Metrix是由美國孟菲斯大學(xué)McNamara等人研發(fā)的基于網(wǎng)絡(luò)的文本分析工具，該工具以心理語言學(xué)、計算語言學(xué)、語料庫語言學(xué)、自然語言處理及語篇分析等方面的長足發(fā)展為基礎(chǔ)，可對文本的淺層及深層特征進行量化分析，能夠分析上百種包括詞匯、句法和語篇銜接的語言量化特征。該工具使用潛勢語義分析(Latent Semantic Analysis)技術(shù)，有效地分析文本的銜接性，主要包括3個維度及27項指標：指稱銜接、連接詞及潛勢語義分析。為避免Coh-Metrix誤判拼寫錯誤的單詞，影響研究結(jié)果，筆者對詞匯拼寫錯誤進行人工核對并一一糾正，然后將利用Coh-Metrix分析無單詞拼寫錯誤的作文，詳細的銜接指標見表1。

表1 語篇銜接量化指標

2.3 統(tǒng)計分析及結(jié)果

本研究以121篇作文語篇銜接3個維度的所有量化特征值為自變量，機器分數(shù)為因變量，采用SPSS 18.0進行多元逐步回歸分析，p值設(shè)為<.05水平。逐步回歸統(tǒng)計分析共得到兩個回歸模型(見表2)，進入回歸模型的自變量與作文機器分數(shù)的相關(guān)性見表3。模型1僅引入一個自變量：相鄰段落語義相似度平均數(shù)，可以解釋10.2%的分數(shù)差異(調(diào)整R2=.102，F(xiàn)<1，119>=21.725，p=.000)，機器打分模型為：機器分數(shù)=70.258+45.831×相鄰段落語義相似度平均數(shù)(LSAPP1)。模型2在模型1的基礎(chǔ)上增加一個自變量：轉(zhuǎn)折連詞比(CNCADC)，兩個自變量不存在共線性問題，對機器分數(shù)有14.5%的預(yù)測力(調(diào)整R2=.145，F(xiàn)<1，118>=14.444，p=.009)，新進入模型的預(yù)測變量有4.3%的貢獻，打分模型為：機器評分=67.541+45.097×相鄰段落語義相似度平均數(shù)+0.266×轉(zhuǎn)折連詞比。相關(guān)分析顯示，機器分數(shù)與兩項指標呈顯著弱相關(guān)，皮爾遜相關(guān)系數(shù)分別為.331(p=.000)和.231(p=.011)。其他25項語篇銜接量化指標對機器分數(shù)不具有預(yù)測力，因此未能進入回歸方程。

表2 作文機器分數(shù)預(yù)測模型匯總

表3 作文機器分數(shù)與自變量相關(guān)分析

為分析語篇銜接量化特征對機器高、低分作文是否存在不同的預(yù)測力，本研究以所有作文機器分數(shù)的中位數(shù)(74.5分)為分界線，將121篇作文分為59篇高分檔(High-quality Group，簡稱H組)和62篇低分檔作文(Low-quality Group，簡稱L組)。T檢驗顯示，兩組作文分數(shù)存在顯著差異(t=21.293，p<.001)見表4。

表4 高分作文與低分作文均值比較

然后分別以高、低分組作文分數(shù)為因變量，語篇銜接量化特征為自變量進行多元線性回歸分析。統(tǒng)計分析得到一個高分組機器分數(shù)的預(yù)測模型(見表5)，并且只有一個自變量進入回歸方程：相鄰句子語義相似度平均數(shù)(LSASS1)，下頁表6顯示該自變量與機器分數(shù)呈負相關(guān)(r=-0.124)，能解釋5%的方差(調(diào)整R2=0.050，F(xiàn)<1，57>=4.037，p=.049)?；貧w方程為：H組機器分數(shù)=84.775-9.784×相鄰句子語義相似度平均數(shù)。但該指標與作文分數(shù)未達到統(tǒng)計學(xué)上的顯著性(p=.350>.005)

表5 H組機器分數(shù)預(yù)測模型匯總

表6 H組機器分數(shù)與自變量相關(guān)分析

表7顯示，回歸分析共得到兩個L組機器分數(shù)預(yù)測模型。只有附加連詞比進入第一個模型，共解釋8.7%的分數(shù)差異(調(diào)整R2=8.7%，F(xiàn)<1，60>=6.823，p=.011)，自變量與機器分數(shù)的相關(guān)系數(shù)較低(r=.320，p=.011，見表8)，回歸方程為：L組機器分數(shù)=58.277+0.142×附加連接詞比(CNCAdd)。第二個回歸模型包含兩個自變量：相鄰段落語義相似度平均數(shù)和轉(zhuǎn)折連接詞比，共能解釋14.9%的分數(shù)差異(調(diào)整R2=.149，F(xiàn)<2，59>=6.332，p=.024)，兩個自變量與機器分數(shù)的相關(guān)系數(shù)分別為.304(p=.016)和.245(p=.009)，回歸方程為：L組機器分=55.001+0.123×轉(zhuǎn)折連詞比+12.517×相鄰段落語義相似度平均數(shù)。

表7 L組機器分數(shù)預(yù)測模型匯總

表8 作文機器分數(shù)與自變量相關(guān)分析

3. 討論

本研究發(fā)現(xiàn)只有相鄰段落語義相似度平均數(shù)及轉(zhuǎn)折連詞比能夠預(yù)測整體作文的機器分數(shù)，進入回歸方程的自變量能解釋14.9%的方差。總體而言，機器在打分時，如果發(fā)現(xiàn)相鄰段落語義越相似，轉(zhuǎn)折連詞越多，作文的質(zhì)量越高。概念相似度是深層的銜接手段，利用LSA技術(shù)可以很好地反映文本的語義連貫性，(杜慧穎、蔡金亭 2013)可以判斷作文的中心思想是否連續(xù)、語義是否連貫，通過文本中相鄰段落的用詞重疊統(tǒng)計來計算相鄰段落之間的語義距離，從而得出文章是否緊扣主題。(胡珀 2005)轉(zhuǎn)折連詞的使用可以起到承上啟下的作用，使文章尤其是議論文的層次更加分明。根據(jù)筆者參加近幾年全國大學(xué)生英語四級作文閱卷的經(jīng)驗，中國EFL學(xué)習(xí)者在行文中偏愛使用諸如but、yet、while等轉(zhuǎn)折連詞來暗示前后文的關(guān)系，使邏輯層次一目了然。但值得一提的是，轉(zhuǎn)折連詞用得多有時并不能使文章層次更清晰，反而會讓文章邏輯混亂，使文章意思不連貫，造成讀者的理解困難。不過，本研究發(fā)現(xiàn)，相鄰段落語義相似度及轉(zhuǎn)折連詞比兩個自變量與機器分數(shù)的相關(guān)系數(shù)雖然有統(tǒng)計學(xué)上的顯著性，但相關(guān)程度并不高，因此對分數(shù)的預(yù)測力十分有限。

本研究與白麗芳、王建(2018)的結(jié)果存在差異，后者發(fā)現(xiàn)相鄰段落潛在語義重疊(即語義相似度)、相鄰句子詞干及論元重疊、連詞及代詞總數(shù)方面對大學(xué)英語四、六級作文機器分數(shù)具有解釋力，高分作文需要具備更深層的語言特征如并非詞匯的簡單重復(fù)、上下文語義層次鮮明、利用代詞指稱避免概念的重復(fù)等。但該研究并未報道語篇銜接手段與機器分數(shù)的相關(guān)性程度。兩項研究結(jié)果的差異可能是因為二者研究語料為中國EFL學(xué)習(xí)者在不同寫作環(huán)境中產(chǎn)出的文本，本研究語料為非限時、低風(fēng)險課后練習(xí)作業(yè)，而白麗芳、王建(2018)選取的是“中國學(xué)習(xí)者英語語料庫”中限時、高風(fēng)險的現(xiàn)場作文。此外，兩項研究所采用的銜接性量化指標亦存在差異，本研究選取了Coh-Metrix中指稱銜接、連接詞及潛勢語義分析3大維度的所有指標，而后者僅選取了5項指標。

本研究還發(fā)現(xiàn)，語篇銜接量化特征對AWE系統(tǒng)判斷的高、低分作文的解釋力存在差異，語篇銜接主要預(yù)測機器判斷的低分作文。機器高分作文評分模型中僅包含相鄰句子語義相似度平均數(shù)這一項銜接指標，該指標與機器分數(shù)呈負相關(guān)但并未達到統(tǒng)計學(xué)意義上的顯著性，對分數(shù)的機器分數(shù)的解釋力十分有限；附加連詞比、相鄰段落語義相似度平均數(shù)及轉(zhuǎn)折連詞比分別進入低分檔機器分數(shù)的兩個回歸方程中，最高能解釋14.9%的分數(shù)差異。除相鄰段落語義相似度及轉(zhuǎn)折連詞比，附加連接詞對低分作文有預(yù)測力，因為這些銜接詞可以表達遞進作用。低水平寫作者限于詞匯及句法知識的欠缺，往往利用較為機械的連接詞如and、moreover、besides等串聯(lián)文章，使文章的層次分明。同轉(zhuǎn)折連詞的情況類似，并非附加或遞進的銜接詞用得越多，文章的銜接性就越好、語篇越連貫。有些作者過多地使用and和but等連接性詞匯，其文章意思仍然不連貫，從一個觀點到另一個觀點跳躍太大，過渡太突然。(王彩麗 2003)同樣，進入低分組作文機器評分模型的3大預(yù)測變量與機器分數(shù)間的相關(guān)系數(shù)仍然較低，預(yù)測力不大。

總之，本研究發(fā)現(xiàn)大部分預(yù)測變量未進入回歸方程，語篇銜接量化特征對機器分數(shù)預(yù)測力很小。這可能是因為一篇文章之所以優(yōu)秀可能是因其詞匯準確、復(fù)雜多樣，或是句法準確、復(fù)雜多變，或是結(jié)構(gòu)清晰，或是銜接連貫，或是觀點新穎，或是論證充分，或是所有特征的組合。(白麗芳、戴春燕 2013)而語篇銜接只是反映文章質(zhì)量的一小部分，是表征語篇連貫性的一個手段，因此優(yōu)秀作文甚至可能跟語篇銜接量化特征并不存在顯著關(guān)系。

有研究表明，人、機評分過程存在巨大的差異，機器評分更多地依賴淺層的量化值，對于復(fù)雜的語義、結(jié)構(gòu)等無能為力，自動評分關(guān)注的只是細節(jié)，如連詞數(shù)量、復(fù)雜詞比例、主題詞數(shù)量、句子平均長度等，并且將所有的指標量化，再根據(jù)權(quán)重計算文章得分。(白麗芳、王建 2018)然而本研究27項量化特征值多數(shù)無法預(yù)測機器分數(shù)，由此可以推斷，國內(nèi)該AWE系統(tǒng)在建立評分模型時較少考慮語篇銜接作為衡量寫作質(zhì)量的一大維度。為解釋語篇銜接指標對機器分數(shù)預(yù)測力較小這一現(xiàn)象，本研究對該AWE系統(tǒng)的質(zhì)性反饋和寫作文本進行了仔細研究，結(jié)果發(fā)現(xiàn)該系統(tǒng)總體反饋均比較機械(如例<1>和例<2>)；如例(1)和例(2)相對應(yīng)的高、低分作文中主要使用了eventually、but和so等淺層連接詞，甚至高分作文的主體部分中出現(xiàn)additionally一詞3次，然而具體的按句子進行的點評中并未涉及任何有關(guān)語篇銜接的反饋，由此可以推斷系統(tǒng)不注重語篇銜接手段使用的恰當性。本研究還發(fā)現(xiàn)機器反饋中主要包括文章的寫作規(guī)范(如大小寫、拼寫及標點等)、詞匯和簡單句法的錯誤使用，以及詞匯的辨析，很少涉及語篇的銜接及連貫方面的指導(dǎo)。

(1)文章用詞靈活多樣，高級詞匯使用也比較準確；采用了適當?shù)你暯邮址?，層次清晰；作者在句法層面做得很棒?90分作文)

(2)作者詞匯表達較多樣靈活，也能較準確地使用高級詞匯；增加一些從句的使用，文章會更不錯；銜接詞較不錯，但文章結(jié)構(gòu)不嚴謹。(66.5分作文)

語篇銜接是實現(xiàn)語篇連貫的重要手段，但自動反饋并未體現(xiàn)，AWE系統(tǒng)只會從淺層的語言特征來進行反饋，深層次反饋如語義的銜接等方面的指導(dǎo)較為欠缺。因此，本研究結(jié)果對AWE系統(tǒng)未來的開發(fā)與完善有一定的啟示。隨著自然語言處理等技術(shù)的不斷發(fā)展，未來的系統(tǒng)開發(fā)者應(yīng)注重針對銜接等語篇層面的深層次特征進行評分及提供更詳盡的、更深層次的反饋，包括語篇銜接、詞匯搭配、內(nèi)容完善等各個方面，以更有效地提高學(xué)生的寫作能力。

此外，本研究對寫作教學(xué)也有一定的啟示。首先，機器評分的效度目前仍然不高(白麗芳、王建 2018)，因此一線教師應(yīng)謹慎將機器分數(shù)融入形成性考核中。因為與寫作質(zhì)量不相關(guān)的概念也可能會影響機器評分，如有研究表明寫作長度與機器分數(shù)相關(guān)度較高(Deane 2013)，即文章越長，機器分數(shù)越高。為了迎合AWE系統(tǒng)，學(xué)生可能會故意將文章寫長，而不注重文章的詞匯、句法及篇章銜接的質(zhì)量。其次，寫作教學(xué)中教師不應(yīng)完全依賴AWE系統(tǒng)，因為機器無法像人工評閱者那樣讀懂文章，無法更加全面地指導(dǎo)學(xué)生寫作。有研究曾指出一篇作文在機器面前就是一包文字的簡單堆積，作文和機器之間的關(guān)系是簡單的刺激-反應(yīng)的關(guān)系，機器只能對程序中已經(jīng)設(shè)定的刺激做出反應(yīng)。(Ericsson & Haswell 2006；白麗芳、王建 2018)AWE系統(tǒng)主要依賴淺層的量化特征，因此教師在教學(xué)過程中可以結(jié)合系統(tǒng)進行教學(xué)，文章的淺層錯誤如寫作規(guī)范和詞匯辨析等可以交由機器來處理，但深層次的語義、篇章的銜接與連貫、內(nèi)容的展開等還需任課教師悉心指導(dǎo)。

4. 結(jié)語

本研究以非英語專業(yè)學(xué)生的一次非限時寫作文本為研究語料，探究了語篇銜接相關(guān)的量化特征與機器評分的關(guān)系。研究表明，這些指標很少進入回歸模型，對機器高、低分作文的解釋力存在差異。總之，銜接性指標對作文的機器分數(shù)預(yù)測力較小，這也可以從AWE反饋的內(nèi)容中得到印證。

本研究對未來AWE系統(tǒng)的開發(fā)與完善以及中國EFL寫作教學(xué)有一定的啟示作用。但值得一提的是，本研究僅利用Coh-Metrix中詞匯銜接、連接詞及潛勢語義分析3個維度的27項語篇銜接指標作為自變量，并未考慮其他文本分析工具(如TAACO，The Tool for the Automatic Analysis of Text Cohesion)計算的其他銜接性指標；其次，本研究僅關(guān)注了語篇銜接的量化特征，并未探討這些特征的質(zhì)性特征(如語篇銜接手段使用的恰當性)能否預(yù)測機器分數(shù)，這也是語篇銜接研究領(lǐng)域中的一大空白。此外，本研究選取的作文樣本為非英語專業(yè)學(xué)生產(chǎn)出的非限時議論文，未來研究者可針對不同學(xué)生群體在不同寫作環(huán)境中(限時及非限時)產(chǎn)出的不同體裁的作文展開進一步的廣泛研究。