楊 洪, 潘崇堃

(北京化工大學 文法學院, 北京 100029)

英語寫作教學中的反饋與評價受到學術界和一線教師持續(xù)關注。教師評價由于其權威性常被賦予重要角色,但單一的教師評價,特別是終結性教師評價已無法滿足形成性評價和促學評價等評價理論對教學實踐的要求。因此,符合形成性評價理念的過程教學法已成為英語寫作教學的主流。作為過程教學法的重要環(huán)節(jié),同伴評價一直是研究熱點。同伴評價為學生提供就近發(fā)展區(qū),促進學生在多方面提升自己,包括寫作水平、讀者意識、思辨能力。隨著教育技術的進步和應用,特別是寫作自動評價系統(tǒng)AWE(Automatic Writing Evaluation)的發(fā)展,機器評價憑借高效性已融入越來越多的寫作課堂。不同于教師評價、同伴評價、機器評價等他者評價,自我評價是一種相對主動的評價方式,能激發(fā)學生對學習過程和學習成果的反思,從而引發(fā)研究者濃厚興趣。為實現(xiàn)評價促學效果最大化,一些學者開始嘗試在寫作課堂構建多元評價體系,把教師評價、同伴評價、機器評價和自我評價融入其中。作為學習主體,學生對多元評價體系的認知和情感對評價體系的實施效果必然會產(chǎn)生重要影響,值得深入研究。

一、 文獻綜述

1. 機器評價

機器評價往往依靠寫作自動評價系統(tǒng)完成。寫作自動評價系統(tǒng)是一種基于網(wǎng)絡平臺的教育技術,其主要功能是對作文進行評價和打分。在國內(nèi)為數(shù)不多的寫作自動評價系統(tǒng)中,中國外語教育研究中心和外語教學與研究出版社推出的iWrite英語寫作教學與評閱系統(tǒng)得到了業(yè)界的認可。實證研究發(fā)現(xiàn),iWrite的信度和效度可以媲美人工閱卷[1-2],已經(jīng)達到可推廣水平,可以在考試及日常寫作教學中使用[3]。對寫作自動評價系統(tǒng)的應用研究發(fā)現(xiàn),iWrite在提升學生學習主體性和自主學習方面發(fā)揮了重要作用[4]。

2. 自我評價

自我評價基于建構主義、自主學習等理論,體現(xiàn)了從總結性評價到形成性評價的轉(zhuǎn)變,反映以評促學的學習評價理念。在評價過程中,學生依據(jù)學習目標或標準對學習過程和學習成果進行反思和評價。其目的并不是要證明學習者對某一科目的掌握情況,而是收集足夠的關于自我學習方面的知識、技能、信念、動機、目標、策略、效果等信息,利用這些信息,找出最適合自己的學習方式,提高學習能力[5]。在寫作教學實踐中,自我評價常常采用反思日志、評價表等形式。學生根據(jù)事先制定的寫作要求和標準找出存在的優(yōu)缺點,強化對寫作標準的認識和理解,并對作文進行相應修改。

多項研究表明,自我評價在英語寫作學習中產(chǎn)生了積極影響。首先,自我評價有助于提高學生對寫作技巧的意識,加深學生對寫作任務的理解[6],提高學生寫作能力和綜合英語水平[7]。其次,自我評價有助于培養(yǎng)學生的元認知能力,幫助學生明確寫作發(fā)展階段[8],促進自主學習能力的發(fā)展。最后,相對于教師評價,自我評價大大減少了評價給學生造成的壓迫感[9],能起到促進自我效能提升的作用。

3. 多元評價實踐

鑒于機器評價和自我評價的促學屬性,一些學者開始嘗試將這類評價融入寫作教學。例如:高滿滿等[10]以促學評價理論為指導,將多元評價引入寫作課程。其課程形成性評價包括機器評價、學生互評、教師評價及自我評價,權重分別為10%、10%、50%和30%。不過對于學生如何看待多元評價,特別是學生是否接受各類型評價的權重,文章中并未詳述。作為學習主體,學生對教學活動的認知和情感往往直接影響其成效,也可為教學效果進一步提升提供思路,需認真對待。此外,多元評價是否適用于其他英語課程的寫作環(huán)節(jié),也值得進一步探究。

二、 研究設計

1. 研究問題

本研究試圖從學生視角探討英語寫作多元評價在非寫作課的接受度,回答下列兩個問題:①對于非寫作課采用寫作多元評價,學生的接受度如何;②有哪些因素影響學生對寫作多元評價的接受度。

2. 研究對象

研究對象為北京市某理工院校英語專業(yè)77名大一學生和76名大三學生,共153人。該專業(yè)大一學生的《綜合英語》和大三學生的《高級英語閱讀》為綜合課程,教學大綱均包含寫作訓練,寫作成績占課程總成績的5%～10%。經(jīng)授課教師同意,研究人員針對這兩門課開展了寫作多元評價。

3. 多元評價體系構建與實施

參與研究項目教學工作的有三名教師,均擁有超過10年的英語教學經(jīng)歷,在項目初期小組焦點訪談中均表示對多元評價的支持。教師A和教師B講授《綜合英語》,教師C講授《高級英語閱讀》。在他們看來,機器評價能給學生作文提供及時反饋,替代教師提供比較科學合理的反饋和分數(shù),大大降低課程作業(yè)批改量。同時,采用自動評閱系統(tǒng)也可緩解既想給學生創(chuàng)造更多寫作訓練機會,又怕無法完成批閱、及時反饋的狀況。學生自我評價與機器評價是互補關系,這種主觀評價結合客觀評價的方式更全面。自我評價也能幫助學生更好地了解優(yōu)秀作文標準。三位教師均不認同加入同伴評價,認為在現(xiàn)有作業(yè)量基礎上增加比自我評價更加費時費力的同伴評價可能會引起學生的反感,影響多元評價效果。至于各類評價類型的比重,三名教師同意將機器評價和自我評價分別設定為70%和30%,其主要原因在于機器評價的相對客觀性和自我評價的相對主觀性和功利心。

按照研究計劃,每結束一個學習單元,授課教師布置一次命題作文,學生在提交作文終稿前需自行完成機器評價和自我評價。機器評價由學生在iWrite 2.0英語寫作與評閱系統(tǒng)上完成。在作文提交時間截止前,學生在iWrite上進行多次提交,完成評價與修改,作文最終成績?yōu)樗刑峤话姹局凶罡叻帧Ｗ晕以u價是學生對終稿的評價,由學生在學校在線學習平臺上根據(jù)自我評價表完成。自我評價表基于Andrade等編制的評價表[11]進行了適當調(diào)整,涉及內(nèi)容、語言和格式各方面。學生根據(jù)每項標準描述對自己的作文完成情況進行打分。

4. 數(shù)據(jù)搜集與分析方法

本研究為定量和定性相結合的混合式研究。定量研究以問卷調(diào)查為主,旨在發(fā)現(xiàn)研究對象對寫作多元評價的接受程度。定性研究獲取研究對象反思日志文本,通過文本分析得出研究對象對寫作多元評價的接受程度,其結果可與問卷調(diào)查結果相互印證,同時挖掘影響接受度的潛在因素。

調(diào)查問卷旨在發(fā)現(xiàn)研究對象對非寫作課程寫作多元評價體系的認識和態(tài)度。調(diào)查問卷包含三部分:調(diào)查對象個人信息、多元評價體系接受度、各類型評價權重接受度與理想占比。其中,多元評價體系接受度包含三個問題:分別調(diào)查學生對現(xiàn)有多元評價體系、機器評價、同伴評價的接受度。各類型評價權重接受度與理想占比包含如下問題:分別了解學生對現(xiàn)有評價體系中兩種評價類型權重的總體接受度,對現(xiàn)有評價體系中機器評價占比的意見及其理想占比,對現(xiàn)有評價體系中自我評價占比的意見及其理想占比,對現(xiàn)有評價體系中增加同伴評價的意愿及其理想占比。調(diào)查問卷大部分問題采用李克特五級量表,要求研究對象根據(jù)所給陳述作出判斷選擇,1表示完全不同意,5表示完全同意。

調(diào)查問卷在學生完成第三次寫作任務后通過在線問卷平臺發(fā)布,共回收問卷128份,回收率為83.7%?；厥諉柧砗?問卷數(shù)據(jù)先經(jīng)過在線問卷平臺完成描述性統(tǒng)計分析,然后使用SPSS 20.0進行推斷性統(tǒng)計分析,借以探討學生學習經(jīng)歷和寫作水平對多元評價接受度的影響。

反思日志由研究對象在完成第三次寫作任務后,通過在線學習平臺自愿提交。要求研究對象回顧經(jīng)歷的三次機器評價和自我評價,并如實匯報對多元評價的認識與感受,最終收到反思日志41份。獲得反思日志文本后,兩名研究人員分別進行初步文本分析。經(jīng)過反復閱讀反思日志文本、商討文本分析初步結果,提煉出多個一級編碼和二級編碼,最終合并成為五個三級編碼----主題編碼,包括多元評價體系總體評價、機器評分必要性、自我評分必要性、評價類型增加、iWrite使用問題。

三、 結果與討論

1. 多元評價體系接受度

調(diào)查問卷結果顯示,92%的學生對多元評價體系表示認可或不排斥。41%的學生建議在現(xiàn)有評價體系中增加同伴評價,34%的學生反對增加,其他學生持中立態(tài)度。80%以上的學生認為有必要或不排斥把機器評分和自我評分納入寫作成績。

問卷調(diào)查結果與反思日志分析結果基本一致。反思日志表明,98%的學生表示對多元評價體系認可,98%的學生認為有必要把機器評分納入寫作成績,66%的學生認為有必要把自我評分納入寫作成績。關于是否增加評價類型的問題,超過一半的學生在反思日志中建議增加同伴評價,與問卷調(diào)查結果相當。值得注意的是,關于增加評價類型的結果與研究項目參與教師的預期有一定差距。三位教師并不看好同伴評價,擔心增加學生作業(yè)量,但研究結果表明反對增加評價類型的學生只占少數(shù)。相對于同伴評價需付出的額外時間和精力,學生可能更看重反饋多樣性和真實讀者視角。

2. 各類型評分權重接受度與理想占比

調(diào)查問卷結果顯示,62%的學生認為多元評價體系中的iWrite評分和自我評分各自比重合理,31%的學生對各類型占比持中立態(tài)度。總體而言,大部分學生接受或不排斥當前各類型評分的權重分配。

41%的學生認為當前iWrite評分占比(70%)偏高,iWrite評分理想占比平均值為60%。74%的學生對當前自我評分占比(30%)無異議,自我評分理想占比平均值為32%,與當前自我評分權重并無明顯差異。如果在現(xiàn)有多元評價體系中增加同伴評價,學生認為iWrite評分理想權重平均值為46%,自我評分理想權重平均值為26%,同伴評分理想權重平均值為16%。由此可見,學生最認可iWrite評價,其次是自我評價,最后是同伴評價。

3. 多元評價接受度影響因素

(1) 接受多元評價的主要原因。根據(jù)反思日志,對多元評價的認可主要源于評價體系在公正性、自主學習、客觀高效、自我效能等方面的綜合優(yōu)勢。不少學生認為多元評價融合客觀評價和主觀評價,評價結果比較公正。例如:學生S1表示,“這兩種評價方式相結合的評價模式較單一評價來講,較為客觀公正……若使用單一的iWrite系統(tǒng)評價,則評價模式過于客觀、死板,機械的評分事實上并不能反映出學生所投入的時間精力及用心程度。”分開來看,學生認為機器評價能夠增加課后寫作學習機會,促進自主學習;iWrite知名度高、打分公平、效率高;機器評價是發(fā)展趨勢,應該順應這一潮流。

學生S2: “對于我們平時鍛煉寫作有一個更直接方便的途徑,因為除了寫作課之外,好像尋求別人的評價和幫助的途徑很少。”

學生S3: “系統(tǒng)評價比較客觀,對待每一個同學都是以一樣的標準,這樣有利于評分的公平。”

學生S4: “隨著科技的不斷進步,很多官方考試都由人評變成了機評,機評將成為一種時代趨勢?！?/p>

即使在機器評價出現(xiàn)誤差時,不少學生仍然抓住了自主學習機會。雖然有個別學生為了迎合機器反饋以提高作文分數(shù),但更多的學生對于機器反饋并未全盤接受,而是以批判的眼光,通過查閱字典等參考資料驗證機器反饋的合理性。學生S5就表現(xiàn)出較好的批判意識,他表示,“我就相應問題通過字典和其他途徑進行查證。在確認自己表達無誤后我選擇對iWrite系統(tǒng)提出的意見置之不理?！?/p>

對于自我評價,除了督促反思、促進自主學習的作用,學生還強調(diào)自我評分能激發(fā)責任感,體現(xiàn)自我肯定,彌補機器評分的不足。

學生S6: “自我評價也讓從多維度進行自我反思成為可能。學生可以看到自己哪里存在不足,下次可以進行改進?！?/p>

學生S7: “將自我評分納入最終成績會給學生帶來一種責任感與使命感,因為這時,學生要開始以某種特定的標準來客觀地看待和衡量自己的作品。”

學生S8: “機器評分比較死板……對那些結構新穎且優(yōu)秀的文章可能會產(chǎn)生誤判,給出一個低于學生們預期的分數(shù)。增加自我評價可以彌補學生心理的落差。”

學生S9: “這是學生基于一定客觀事實給出的自我評價,是學生對自己認可度的一個體現(xiàn)?！?/p>

由此可見,學生清楚地認識到自我評價可以對學習投入進行評價、提升自我效能。自我評價是學生的自然訴求,學生學習的動力和意義不僅在于知識的增長和智慧的錘煉,更在于通過有效的學習發(fā)現(xiàn)自我、評價自我、強化自我[12]。

從上述研究結果也可發(fā)現(xiàn),無論是機器評價還是自我評價,學生都能從中抓住評價提供的自主學習機會。這一發(fā)現(xiàn)也印證了前人的研究結果。在對印度尼西亞學生的一項研究中發(fā)現(xiàn),自我評價讓學生清楚認識到寫作標準,學會如何獨立完成作文修改,養(yǎng)成學習責任感,進而更加積極主動地投入寫作學習[13]。

另外,學生認為增加同伴評價能夠更好地發(fā)揮多元評價的作用。同伴評價可以增加反饋視角,更重要的是同伴評價能提供真實的讀者視角。如學生S10所說:“作文是非常主觀的一個作品,雖然機器評價確實有它的評分標準,但作文面向的是讀者,而不是機器。如果我的作文是給機器看的,我會喪失一點寫作文的熱情?！?/p>

(2) 質(zhì)疑多元評價的主要原因。盡管學生對多元評價的總體接受度比較高,但也存在質(zhì)疑。反思日志顯示,他們的質(zhì)疑并非針對多元評價這一概念,而是針對構成多元評價體系的機器評價和自我評價在實操層面的問題。具體而言,學生認為機器評價在評價準確性、針對性等方面還存在不足,自我評價的問題主要體現(xiàn)在主觀性、功利心、評價表等方面。

首先,機器評價存在評語籠統(tǒng)、缺乏針對性的問題。學生S11表示,“系統(tǒng)評語會顯示語句不夠流暢,但是卻沒有給出任何修改意見。這種只說你寫得不好,卻又不告訴怎么提升的建議是極其不負責任的?！鳖愃频臋C器評價恐怕會大大影響學生對寫作任務的行為投入和情感投入。正如學生S12所說:“如果我不能收獲評價者及時、用心、有價值的反饋,我完成這項任務的熱情與擬投入的時間、精力都會隨之下降。”

機器評價更嚴重的問題是錯誤的反饋意見,影響機器評價的可信度。46%的學生反映機器評價脫離語境,提供錯誤的反饋意見,有時候錯誤還比較明顯。例如:學生S13在使用iWrite過程中發(fā)現(xiàn),“機器批改時經(jīng)?！當嗾氯×x’?！眎Write對該學生作文某處的反饋是介詞錯用,指出“of建議改為for……for good表示‘永久地,永遠地’”。但在學生作文中,“making them extraordinary candidates of good husbands”這個短語中的“of good”跟“永久地,永遠地”語義不符,機器評價實為誤判。

其次,機器評分不夠準確,一個主要原因是機器評分標準失衡,詞匯、語法權重過高。學生S14表示,“iWrite系統(tǒng)對于語法簡單但內(nèi)容深刻的文章較不友好,評分占比過于注重結構、長短等,對于內(nèi)容的思辨性、深刻性考慮較少?！?學生S15也反映了相似感受,“看過一些其他同學的文章,有道翻譯得挺明顯的,但是語法錯誤很少,分數(shù)反而很高,對于真正寫的有思想的文章,分數(shù)卻沒有傾斜?！?/p>

學生對自我評價的質(zhì)疑可歸納為主觀和客觀兩個層面。主觀層面主要是對評價態(tài)度和評價能力兩方面的質(zhì)疑。有些學生對自己的評價能力持懷疑態(tài)度,而更多學生指出評價主觀性和功利心的負面影響。

學生S16: “以我為例,我并不覺得自己有能力評判一篇文章的好壞,也看不出其中的區(qū)別?！?/p>

學生S17: “不同的學生對優(yōu)秀、良好和一般的標準認定也是不同的,因此自我評價有時候也是有點主觀了。”

學生S18: “為了追求評分,同學們有盲打滿分的傾向,這使得自評這一個環(huán)節(jié)變了味?！?/p>

在客觀條件層面,自我評價還存在一些問題。有的學生反映,評價表有些標準的描述不夠清楚;有的學生反映,自己不能完全理解評價標準。例如:學生S19表示,“怎樣才算是有好的連貫性,詞匯怎樣才算使用恰當……這些問題僅靠自我評價很難做到客觀。”

學生提出的上述自評問題應得到教師的充分重視。關于自評信心問題,教師可在自我評價開始前通過培訓等形式降低學生的焦慮感,增強自評熟悉度,逐步提升學生自信心。針對評價表標準描述的問題,教師可以通過課堂講解的方式讓學生熟悉評價表的每一項標準描述;帶領學生一起依照評價表討論多篇學生習作,幫助學生積累評價經(jīng)驗。教師還可嘗試讓學生加入評價標準的制定,形成大家都理解和認可的評價標準[14]。研究發(fā)現(xiàn),學生不僅愿意參與到評價標準制定中,而且樂于把此標準應用到自我評價中[15]。最后,為抵消評價主觀性和功利心導致的負面影響,可增加書面反思環(huán)節(jié),或用書面反思替換自評打分。教師根據(jù)反思內(nèi)容的用心程度和論述充分性進行打分。

(3) 學習經(jīng)歷和寫作水平對多元評價接受度的影響。研究對象所在專業(yè)于大二開設了專門的英文寫作課,采用多稿制、多元評價,給予學生系統(tǒng)化寫作訓練和指導。參與本研究的大三學生已修過寫作課,而大一學生還未選修該課程。大三學生在英文寫作課上的體驗可能會影響他們對非寫作課多元評價的感受。為探究兩組學生英語寫作學習經(jīng)歷和寫作水平對多元評價接收度的影響,本研究對相關問卷結果進行了推斷性統(tǒng)計分析。

大一學生和大三學生多元評價接受度兩組數(shù)據(jù)為非正態(tài)分布,因此,選擇非參數(shù)檢驗方法“Mann-Whitney U”以考察兩個年級對多元評價的接受度是否存在顯著差異。檢驗結果表明,p值為0.84,說明兩組數(shù)據(jù)之間的差異有84%的可能性由抽樣誤差導致,即大一學生和大三學生在多元評價接受度方面不存在顯著差異。

研究對象在回答調(diào)查問卷時,對自己的英語寫作水平進行了評價,分為低、中、高三組。三組接受度數(shù)據(jù)均為非正態(tài)分布,因此,選擇非參數(shù)檢驗方法“Kruskal-Wallis H”以考察不同寫作水平的三組對多元評價的接受度是否存在顯著差異。檢驗結果表明,p值為0.81,說明三組數(shù)據(jù)之間的差異有81%的可能性由抽樣誤差導致,即不同寫作水平的三組在多元評價接受度方面不存在顯著差異。

由此可見,不管學生是否有過多元評價的學習經(jīng)歷,對這種評價體系的接受度都比較高。在本研究中,寫作水平由研究對象自己評判,并未參考他們的寫作考試成績,評判結果不一定符合實際情況。雖然本研究發(fā)現(xiàn)研究對象寫作水平自評等級對多元評價接受度并無顯著影響,但學生寫作水平對多元評價接受度的影響仍需進一步驗證。

四、 結 語

通過分析調(diào)查問卷和反思日志,發(fā)現(xiàn)大部分研究對象對機器評價和自我評價構成的多元評價體系表示認可。建議增加其他評價類型的人數(shù)多于反對的人數(shù);研究對象同意把機器評分和自我評分納入寫作成績,認為機器評分的比重應大于自我評分。研究對象還認為,多元評價具備公正、客觀、高效等特點,能夠提供多元讀者視角、促進自主學習和提升自我效能。同時,研究對象表達了對機器評價反饋效用等方面的質(zhì)疑,也指出評價表設計等客觀條件及學生主觀性和功利心等主觀原因引發(fā)的自我評價問題。因此,當前的多元評價體系還存在較大提升空間。此外,研究還發(fā)現(xiàn)研究對象過去是否參與多元評價及寫作水平高低對多元評價體系接受度并無顯著影響。

研究發(fā)現(xiàn)對非寫作課寫作多元評價體系構建具有以下幾點啟示。首先,多元評價體系可在不同年級實施,應盡可能涵蓋各種評價類型,以發(fā)揮各類評價的作用。每一種評價類型的設置都應該遵循促學原則。其次,雖然自動評價系統(tǒng)近些年發(fā)展迅猛,但仍存在不可忽視的技術問題。教師在課堂應用機器評價時仍需謹慎,不能因噎廢食,亦不能盲目信任;應鼓勵學生利用好機器評價失誤時的自主學習機會,培養(yǎng)批判思維,鞏固語言知識和寫作知識。再次,為避免自我評價的弊端,教師可在自我評價啟動前對學生進行相關培訓,幫助學生樹立自評信心、熟悉評價標準,也可鼓勵學生加入評價標準制定,亦可用反思日志替代評價表。最后,多元評價體系中各類評分權重可設置為“機器評價>自我評價>同伴評價”,還可以結合學生認知、情感和學習經(jīng)歷等實際情況進行靈活調(diào)整。