摘 要：線上教學(xué)對(duì)大學(xué)英語(yǔ)作文訓(xùn)練提出了重大挑戰(zhàn)，作文自動(dòng)評(píng)分系統(tǒng)重要性日益突顯。本研究聚焦阿里釘釘學(xué)習(xí)圈中的“英語(yǔ)作業(yè)”功能，邀請(qǐng)5名大學(xué)英語(yǔ)學(xué)生開(kāi)展小范圍的實(shí)證研究，嘗試回答：1）“英語(yǔ)作業(yè)”功能的賦分是否可信;2）如何理解點(diǎn)評(píng)內(nèi)容兩個(gè)問(wèn)題。研究結(jié)果顯示，和人工得分相比，釘釘?shù)梅譄o(wú)顯著差異。釘釘評(píng)語(yǔ)詳盡，層次分明，學(xué)生可以先關(guān)注錯(cuò)誤、再關(guān)注警示性點(diǎn)評(píng)、“學(xué)習(xí)提示”和“推薦表達(dá)”，最后關(guān)注“近義詞表達(dá)學(xué)習(xí)”和“拓展辨析”，有步驟地提升自己。

關(guān)鍵詞：釘釘;“英語(yǔ)作業(yè)”;作文自動(dòng)評(píng)分

1 引言

近年來(lái)，大學(xué)英語(yǔ)線上教學(xué)蓬勃發(fā)展，也遭遇了諸多挑戰(zhàn)。大學(xué)英語(yǔ)教學(xué)無(wú)法回避寫作訓(xùn)練，詳盡的反饋是學(xué)生提高寫作能力的根本保證，但教師人工反饋的成本極高，網(wǎng)絡(luò)授課更加劇了這種情況。作文自動(dòng)評(píng)分（Automated Essay Scoring，AES）系統(tǒng)除自動(dòng)評(píng)分外，還具備了錯(cuò)誤分析、維度分析、個(gè)性化反饋、寫作輔助等功能，十分適合信息化時(shí)代大學(xué)英語(yǔ)的教學(xué)要求。因此，找到可靠的AES系統(tǒng)就成了化解這個(gè)突出矛盾的關(guān)鍵。釘釘?shù)摹坝⒄Z(yǔ)作業(yè)”功能就具備自動(dòng)評(píng)閱功能，極大方便了師生，但它的可靠性有待檢驗(yàn)。

2 “英語(yǔ)作業(yè)”簡(jiǎn)介

釘釘使用了“分類建群”的思想，不同類型的群配備不同的群應(yīng)用。“英語(yǔ)學(xué)習(xí)”程序內(nèi)置于釘釘培訓(xùn)群中，需手工添加，提供“老師布置作業(yè)，學(xué)員提交作業(yè)，老師點(diǎn)評(píng)等功能”。它允許老師設(shè)置批改方式、學(xué)生修改次數(shù)，還能設(shè)置批改公式，適應(yīng)不同考試培訓(xùn)需求，它的主要功能是批閱文字中的詞匯和語(yǔ)法，十分適合大學(xué)外語(yǔ)教學(xué)的需要。教師點(diǎn)擊任務(wù)，就可以設(shè)置作文的標(biāo)題、字?jǐn)?shù)、具體要求、提交時(shí)間等內(nèi)容并發(fā)布到學(xué)生群。面對(duì)新技術(shù)，雖然師生主觀上覺(jué)得它是好工具，但對(duì)評(píng)分的信任度以及如何運(yùn)用它來(lái)輔助教學(xué)仍不清楚。本文設(shè)計(jì)了小規(guī)模實(shí)驗(yàn)，探討以下兩個(gè)研究問(wèn)題：1）“英語(yǔ)作業(yè)”功能的賦分是否可信？2）如何理解點(diǎn)評(píng)內(nèi)容？

3 實(shí)驗(yàn)設(shè)計(jì)

研究隨機(jī)選取了5名大學(xué)英語(yǔ)學(xué)生作為被試，外語(yǔ)成績(jī)不做要求但必須自愿。被試均未通過(guò)四級(jí)考試或渴望刷分，十分愿意接受測(cè)試，因此可以排除被試消極應(yīng)付實(shí)驗(yàn)的可能。

研究利用四級(jí)訓(xùn)練課完成，教師在“英語(yǔ)學(xué)習(xí)”程序中發(fā)布一個(gè)模擬測(cè)試題，被試在教室當(dāng)堂線下寫作，限時(shí)30分鐘，寫作期間不得使用手機(jī)，以排除被試求助線上資源的可能。寫作完成后，被試需在釘釘里提交電子版，并上交紙質(zhì)版，教師核驗(yàn)兩個(gè)版本完全一致后，實(shí)驗(yàn)方可結(jié)束。釘釘會(huì)自動(dòng)批閱，顯示分?jǐn)?shù)和評(píng)語(yǔ)。

實(shí)驗(yàn)邀請(qǐng)2名教師獨(dú)自人工判分，按照0-15分給分，允許保留小數(shù)點(diǎn)后一位。由于釘釘主要反饋的是學(xué)生的語(yǔ)言表述，因此教師人工判分的內(nèi)容主要也是語(yǔ)言表述。當(dāng)分差≥2分時(shí)，需第三位教師干預(yù)。所有評(píng)分人的算術(shù)平均分記為該被試的人工得分。使用獨(dú)立樣本T檢驗(yàn)檢查釘釘?shù)梅趾腿斯さ梅质欠翊嬖陲@著性差異，同時(shí)分類統(tǒng)計(jì)評(píng)語(yǔ)，探究其內(nèi)在邏輯，分析評(píng)語(yǔ)的內(nèi)在價(jià)值。

4 討論

4.1 獨(dú)立樣本T檢驗(yàn)

被試的人工評(píng)閱得分分別為12.25，12.5，11.25，12.75和13，均值12.35，方差0.456。釘釘?shù)梅譃?2.2，12.4，11.6，13.1和13.5，均值12.56，方差0.536。

使用Excel進(jìn)行F檢驗(yàn)-雙樣本方差，驗(yàn)證方差齊性。當(dāng)α=0.05時(shí)，P（F≤f）=0.422，因此認(rèn)為兩組數(shù)據(jù)的方差沒(méi)有明顯差異，可以進(jìn)行T檢驗(yàn)。T檢驗(yàn)結(jié)果顯示，當(dāng)α=0.05時(shí)，P（T≤t）=0.327，因此認(rèn)為兩組數(shù)據(jù)也沒(méi)有明顯差異。

T檢驗(yàn)的結(jié)果不支持兩種評(píng)分具有顯著差異的假設(shè)，因此認(rèn)為釘釘判分是可靠的。當(dāng)然，任何AES系統(tǒng)都是基于人類評(píng)分員訓(xùn)練出來(lái)的，因此該結(jié)果也在情理之中。

4.2 點(diǎn)評(píng)內(nèi)容

“英語(yǔ)作業(yè)”提供逐句點(diǎn)評(píng)功能，點(diǎn)評(píng)看似復(fù)雜，卻均由三部分組成：

[序號(hào)] [類型] [評(píng)語(yǔ)]

5篇作文共123條點(diǎn)評(píng)，以紅、黃、綠三色呈現(xiàn)。整理后發(fā)現(xiàn)紅色代表錯(cuò)誤，綠色代表表?yè)P(yáng)，黃色可以歸納為警告或提示。這種分類剛好和交通規(guī)則相匹配，大大提高了評(píng)語(yǔ)的辨識(shí)度。

每種顏色的評(píng)語(yǔ)又細(xì)分出許多子類型。紅色評(píng)語(yǔ)共23處，7個(gè)子類型，都是明確的語(yǔ)法錯(cuò)誤，如“動(dòng)詞錯(cuò)誤”、“名詞錯(cuò)誤”等，顯然學(xué)習(xí)者應(yīng)優(yōu)先關(guān)注錯(cuò)誤的內(nèi)容。綠色評(píng)語(yǔ)共6處，分為“精彩句型”和“閃光短語(yǔ)”，它們類似語(yǔ)文學(xué)習(xí)中的好詞好句，釘釘發(fā)現(xiàn)后提出表?yè)P(yáng)而已。因此對(duì)于學(xué)生提高語(yǔ)言技能的幫助不是很大，倒不必過(guò)多關(guān)注。

黃色評(píng)語(yǔ)最多且看起來(lái)都比較雷同，容易導(dǎo)致學(xué)生不想看。其中警示性內(nèi)容最多，這類評(píng)語(yǔ)的描述和紅色的錯(cuò)誤幾乎一樣，但多了“疑似”、“是否”等表述，這體現(xiàn)了釘釘評(píng)語(yǔ)的嚴(yán)謹(jǐn)性，可以當(dāng)作是疑似錯(cuò)誤，學(xué)習(xí)者可以向教師請(qǐng)教是否存在錯(cuò)誤并改正。其余點(diǎn)評(píng)都是擴(kuò)展性內(nèi)容，意在引導(dǎo)學(xué)生開(kāi)拓視野。“學(xué)習(xí)提示”側(cè)重漢語(yǔ)和英語(yǔ)表述一對(duì)多的情況，提示學(xué)生加以辨析，因此可以理解為易錯(cuò)詞。比如漢語(yǔ)的學(xué)院/大學(xué)，對(duì)應(yīng)英語(yǔ)中多個(gè)單詞，很容易用錯(cuò)?！巴扑]表達(dá)”則提醒學(xué)生使用高級(jí)表達(dá)，暗示原文表述不夠好。而“近義詞表達(dá)學(xué)習(xí)”則是希望學(xué)習(xí)者頻繁更換表述，增加語(yǔ)言美感?！巴卣贡嫖觥本劢箖蓚€(gè)詞之間的差異，也會(huì)頻繁提示語(yǔ)料庫(kù)中的頻次，不過(guò)這個(gè)功能對(duì)于學(xué)生提高語(yǔ)言能力，幫助不大，可以忽略。

5 結(jié)語(yǔ)

本次小規(guī)模實(shí)驗(yàn)的結(jié)果顯示，釘釘判分大致可靠，而且點(diǎn)評(píng)及時(shí)，評(píng)語(yǔ)詳盡，能有效化解人工反饋的巨大成本矛盾。釘釘評(píng)語(yǔ)類型劃分合理，邏輯清晰，在提高學(xué)生英語(yǔ)語(yǔ)言表述方面具有重要的參考意義。學(xué)生可以按照重要性逐一消化，首先關(guān)注錯(cuò)誤、其次關(guān)注警示性點(diǎn)評(píng)、“學(xué)習(xí)提示”和“推薦表達(dá)”，最后可以關(guān)注“近義詞表達(dá)學(xué)習(xí)”和“拓展辨析”。

參考文獻(xiàn)

[1]翰寧.幾個(gè)英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)的原理與評(píng)述[J].中國(guó)考試，1994：38-44.

[2]宋毅寧.自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫作能力的影響實(shí)證研究[J].大學(xué)教育，2019：132-134.

[3]唐錦蘭，吳一安.寫作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用研究[J].外語(yǔ)與外語(yǔ)教學(xué)，2012（4）：53-59.

[4]王勃然，金檀，趙雯.自動(dòng)寫作評(píng)價(jià)研究與實(shí)踐五十年—從單一、合作到交互[J].外語(yǔ)研究，2015（5）：50-56.

[5]葛詩(shī)利，陳瀟瀟.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中的問(wèn)題及對(duì)策[J].山東外語(yǔ)教學(xué)，2009：21-26.

作者簡(jiǎn)介

李晨輝（1991-），男，漢族，浙江嘉興人，碩士，助教，研究方向：大學(xué)英語(yǔ)教學(xué)。