王爾東

（陜西職業(yè)技術(shù)學(xué)院 陜西 西安 710100）

電子軟件評(píng)估在英語(yǔ)寫(xiě)作中的設(shè)計(jì)及應(yīng)用

王爾東

（陜西職業(yè)技術(shù)學(xué)院 陜西 西安 710100）

在英語(yǔ)寫(xiě)作評(píng)估中，人工評(píng)估主要用于大規(guī)模寫(xiě)作測(cè)試和半機(jī)械性測(cè)試中，然而由于人工評(píng)估面臨著很多不可避免的可信度問(wèn)題，因此電子軟件評(píng)估就逐漸發(fā)展開(kāi)來(lái)。本文概括了電子軟件評(píng)估在英語(yǔ)專業(yè)寫(xiě)作中的應(yīng)用，探討電子軟件評(píng)估代提人工評(píng)估的可能性，發(fā)現(xiàn)，電子評(píng)估系統(tǒng)與人工評(píng)估在分析測(cè)評(píng)方面存在相關(guān)性。皮爾遜相關(guān)系數(shù)0.324和定量分析相關(guān)系數(shù)0.7證明了電子軟件評(píng)估與人工評(píng)估之間具有相關(guān)性，不可代替人工評(píng)估。

電子軟件評(píng)估；應(yīng)用分析；人工評(píng)估；皮爾遜相關(guān)系數(shù)

隨著計(jì)算機(jī)技術(shù)的應(yīng)用發(fā)展，廣大教師在教學(xué)手段以及方法上都在逐漸使用電子軟件來(lái)進(jìn)行改革，也取得了很大成就，我國(guó)傳統(tǒng)英語(yǔ)寫(xiě)作評(píng)估采取人工評(píng)估，由于疲勞因素等原因，造成成績(jī)可信度存在很多問(wèn)題，因此電子軟件評(píng)估應(yīng)運(yùn)而生，本文主要探討電子軟件評(píng)估在英文寫(xiě)作中的可靠性。

1 研究背景

本實(shí)驗(yàn)?zāi)康氖菫榱搜芯吭谟⑽膶?xiě)作中電子軟件評(píng)估的可靠性。試驗(yàn)時(shí)間在2012年至2013年第二學(xué)期，使用工具包括電子評(píng)估軟件、電子軟件寫(xiě)作評(píng)估標(biāo)準(zhǔn)。在活動(dòng)中，先對(duì)學(xué)生進(jìn)行一星期的軟件培訓(xùn)，在學(xué)生完全會(huì)使用軟件測(cè)試的操作時(shí)，在進(jìn)行下面的測(cè)試，測(cè)試期間，學(xué)生每周寫(xiě)一篇英文文章，英文教師每月為學(xué)生布置一大篇作文，內(nèi)容主要是敘事文、議論文以及讀后感等。

2 試驗(yàn)內(nèi)容

章的不同花費(fèi)1～6 min進(jìn)行整體的評(píng)分。網(wǎng)上作文旨在促進(jìn)學(xué)生的寫(xiě)作訓(xùn)練，另一方面也能指出學(xué)生常犯的錯(cuò)數(shù)，提高學(xué)生的寫(xiě)作水平。文中所參選的寫(xiě)作評(píng)分標(biāo)準(zhǔn)是電子軟件本身自帶的表尊，在評(píng)估過(guò)程中教師只需要給出學(xué)生的總體分?jǐn)?shù)以及各級(jí)評(píng)語(yǔ)。

學(xué)生的寫(xiě)作任務(wù)包括每周的小作文，以及每學(xué)期的三篇大作文，類型主要是敘事性、讀后感以及議論文，寫(xiě)作目的是從各方面提高學(xué)生的寫(xiě)作能力，使學(xué)生能夠形成比較清晰的寫(xiě)作思路。本文對(duì)學(xué)生的寫(xiě)作成果采取定性分析和定量分析兩種測(cè)評(píng)方式，共收集書(shū)面寫(xiě)作157份、電子文檔980份。作文的定性分析是指包括語(yǔ)法、寫(xiě)作風(fēng)格、結(jié)構(gòu)、用法以及篇謀等文本分析。定性分析主要是為了測(cè)定電子評(píng)估軟件在英語(yǔ)寫(xiě)作中的可靠性。

3 結(jié)果與討論

3.1 定量分析結(jié)果與討論

為測(cè)定電子軟件評(píng)估在英文寫(xiě)作中的應(yīng)用可靠性，設(shè)定若是電子軟件評(píng)估與人工評(píng)估相關(guān)系數(shù)在-1.00（負(fù)相關(guān)）～1.00（正相關(guān)）之間，就表示這兩種評(píng)估方法勸相關(guān)性，也就是說(shuō)，從數(shù)據(jù)上說(shuō)明電子軟件評(píng)估與人工評(píng)估具有相關(guān)性，不可替代人工評(píng)估。

試驗(yàn)內(nèi)容主要包括網(wǎng)上電子寫(xiě)作任務(wù)、大作文寫(xiě)作任務(wù)以及數(shù)據(jù)的收集。電子評(píng)估軟件是為減輕教師在評(píng)測(cè)過(guò)程中的負(fù)擔(dān)而設(shè)計(jì)出的一種實(shí)時(shí)網(wǎng)上寫(xiě)作測(cè)評(píng)軟件。學(xué)生將寫(xiě)好的文章輸入到軟件系統(tǒng)中，在提交完成后，系統(tǒng)會(huì)根據(jù)文

本文比較分子了學(xué)生電子文章10篇的平均成績(jī)與3篇大作文的平均成績(jī)，更好的說(shuō)明電子軟件評(píng)估與人工評(píng)估兩者逐漸的相關(guān)系數(shù)，同時(shí)為了保證文章評(píng)估數(shù)據(jù)的有效性和可靠性，本文提出了所有為完成寫(xiě)作任務(wù)的學(xué)生寫(xiě)作的文章，挑選出85名全額完成寫(xiě)作的學(xué)生作業(yè)來(lái)作為數(shù)據(jù)分析，運(yùn)用SPSS數(shù)據(jù)統(tǒng)計(jì)軟件結(jié)果如下表1所示。

表1電子軟件評(píng)估與人工評(píng)估相關(guān)性研究Tab.1 Electronic software assessment and evaluation of artificial correlation studies

從表1的數(shù)據(jù)中可以看出電子軟件評(píng)估與人工評(píng)估具有很高的相關(guān)性，由于統(tǒng)計(jì)學(xué)認(rèn)為平均數(shù)相對(duì)于中值來(lái)說(shuō)更加具有可靠性，因此本文以下研究選取平均值來(lái)作為指標(biāo)。表1中的平均分差別小于1，因此可以認(rèn)為兩種評(píng)估方法制件存在相關(guān)性。在統(tǒng)計(jì)學(xué)中，需要采用皮爾遜相關(guān)系數(shù)來(lái)研究學(xué)僧成績(jī)的成績(jī)序列，只要對(duì)于0.01，就認(rèn)為存在相關(guān)性，并且數(shù)值越大，相關(guān)性越強(qiáng)，可以看出本文數(shù)據(jù)具有明顯的相關(guān)性。在相關(guān)系數(shù)中，認(rèn)為只要在0.8附近，就代表寫(xiě)作測(cè)試結(jié)果達(dá)到滿意標(biāo)準(zhǔn)，因此本文數(shù)據(jù)可以認(rèn)為兩種評(píng)估方法具有相關(guān)性。綜合以上各種數(shù)據(jù)，可以看出電子軟件評(píng)估與人工評(píng)估之間具有相關(guān)性，不可代替人工評(píng)估。

3.2 定性分析結(jié)果與討論

經(jīng)過(guò)包括語(yǔ)法、寫(xiě)作風(fēng)格、結(jié)構(gòu)、用法以及篇謀等文本分析，發(fā)現(xiàn)電子評(píng)估軟件在檢測(cè)語(yǔ)法錯(cuò)誤中不如人工檢測(cè)全面。具體而言電子評(píng)估軟件檢測(cè)主要傾向于主語(yǔ)、謂語(yǔ)、集成名詞、復(fù)合名詞以及分散短語(yǔ)等出現(xiàn)的錯(cuò)誤之處，如句子“It is reported that the northem Europe countries has used……”中，電子軟件在檢測(cè)所有格的錯(cuò)誤時(shí)，往往會(huì)將一些句子的所有格與縮寫(xiě)形式相混淆，如上述句子的“It is”與“It、s”，其次在矯正句子錯(cuò)誤中，電子軟件也不能好好的檢測(cè)出句子的漏詞、詞語(yǔ)錯(cuò)誤以及填詞等錯(cuò)誤形式。在識(shí)別詞匯的用法中電子評(píng)估軟件同樣存在一些缺陷，很多情況下，電子評(píng)估軟件只能指出一些錯(cuò)誤的地方，卻不能說(shuō)明錯(cuò)在何因，其次對(duì)于一些容易混淆的詞匯，電力評(píng)估軟件常常難以區(qū)分出來(lái)，也就不能提出改正意見(jiàn)。如表2是指電子軟件評(píng)估與人工評(píng)估在語(yǔ)法檢測(cè)中的區(qū)別，表3是指詞匯構(gòu)成法評(píng)估的不同之處。

表2電子軟件評(píng)估與人工評(píng)估在單詞用法中的區(qū)別Tab.2 Electronic software assessment and evaluation of artificial differences in word usage

表3電子軟件評(píng)估與人工評(píng)估在詞匯構(gòu)成法中的區(qū)別Tab.3 Electronic software assessment and artificial assessment in vocabulary differences in composition method

表4電子軟件評(píng)估與人工評(píng)估在寫(xiě)作風(fēng)格中的區(qū)別Tab.4 Electronic software assessment and evaluation of artificial differences in writing style

以上定性分析中是電子評(píng)估軟件所存在的缺陷，在英語(yǔ)寫(xiě)作中，同樣電子評(píng)估軟件具有極大的優(yōu)勢(shì)，首先電子評(píng)估軟件能夠輕易地之處句子中的拼音、人名、地名以及化學(xué)元素等錯(cuò)誤之處，其次在漏寫(xiě)逗號(hào)方面，電子評(píng)估軟件也具有非常大的優(yōu)勢(shì)，但是在一些特殊情況下，顯得不夠靈活，如“For example the economy by 2%this year”中，電子評(píng)估軟件仍然認(rèn)為在句子“For example”后應(yīng)加逗號(hào)。電子評(píng)估軟件在檢查句號(hào)的漏寫(xiě)時(shí)，人們對(duì)于軟件的規(guī)定是“問(wèn)句后應(yīng)加上句號(hào)”，因此在處理文章時(shí)，靈活性不夠強(qiáng)，如在句子“What/s more,the local people is insisted their lifestyles.”中認(rèn)為“What/s more”短語(yǔ)后應(yīng)是問(wèn)好，顯然不合時(shí)。電子評(píng)估軟件在檢查句子的完整性時(shí)，具有非常大的優(yōu)勢(shì)，表4是兩種評(píng)估方法在寫(xiě)作風(fēng)格上的評(píng)估區(qū)別[6]。

電子軟件評(píng)估與人工評(píng)估在評(píng)估寫(xiě)作風(fēng)格中都存在缺陷，如對(duì)于被動(dòng)句型，電子評(píng)估軟件認(rèn)為所有句子都應(yīng)為主動(dòng)句型，顯然不合適，在人工評(píng)估中則是認(rèn)為被動(dòng)語(yǔ)句會(huì)使得文章質(zhì)量下降。在評(píng)估文章的導(dǎo)演、論題以及結(jié)語(yǔ)方面，兩種評(píng)估方法存在一些不同之處，電子軟件評(píng)估在結(jié)語(yǔ)評(píng)估中不及人工評(píng)估。

4 結(jié)束語(yǔ)

綜上所述，文中先概括了電子軟件評(píng)估在英語(yǔ)專業(yè)寫(xiě)作中的應(yīng)用，探討電子軟件評(píng)估代提人工評(píng)估的可能性，發(fā)現(xiàn)，電子評(píng)估系統(tǒng)與人工評(píng)估在分析測(cè)評(píng)方面存在相關(guān)性。皮爾遜相關(guān)系數(shù)0.324和定量分析相關(guān)系數(shù)0.7證明了電子軟件評(píng)估與人工評(píng)估之間具有相關(guān)性，不可代替人工評(píng)估，但是在評(píng)語(yǔ)反饋等方面，仍然有很大的不足之處。

[1]萬(wàn)鵬杰.電子軟件評(píng)估系統(tǒng)測(cè)試大學(xué)英語(yǔ)寫(xiě)作的研究報(bào)告[J].外語(yǔ)電化教學(xué),2005(3):11-13，31.

WAN Peng-jie.Electronic software evaluation system test study of college English writing [J].Foreign Language Audiovisual Education,2005,(3):11-13，31.

[2]律 原,丁興富.網(wǎng)絡(luò)教學(xué)中影響在線協(xié)作學(xué)習(xí)的因素初探[J].中國(guó)電化教育,2003(11):24-26.

LV Yuan,DING Xing-fu.The influencing factors of online collaborative learning in network teaching[J].China Audio-Visual Education,2003(11):24-26.

[3]陸鑫,廖建明.基于模糊集理論的軟件質(zhì)量評(píng)估研究[J].電子科技大學(xué)學(xué)報(bào),2007(3):652-655.

LU Xin,LIAO Jian-ming.Software quality evaluation based on fuzzy set theory research [J].Journal of University of Electronic Science and Technology,2007(3):652-655.

[4]孫博,李青,王俊芹,等.論英文寫(xiě)作教學(xué)中網(wǎng)絡(luò)資源的運(yùn)用[J].山東省青年管理干部學(xué)院學(xué)報(bào),2006(5):112-114.

SUN Bo,LI Qing,WANG Jun-qin,et al.Theory of English writing teaching in the use of network resources[J].Journal of Shandong Youth Management Cadre Institute,2006(5):112-114.

[5]蘇航，楊磊.結(jié)果教學(xué)法與過(guò)程教學(xué)法—談?dòng)⒄Z(yǔ)寫(xiě)作教學(xué)改革[J].北京第二外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2011(5):154-157.

SU Hang,YANG Lei.The teaching method and process-talk about English writing teaching reform[J].Journal of Beijing Second Foreign Languages Institute,2011(5):154-157.

[6]成燕,江建慧,樓俊鋼.電子商務(wù)軟件負(fù)載能力評(píng)估的實(shí)例分析[J].北京化工大學(xué)學(xué)報(bào)：自然科學(xué)版,2007(A01):68-72.

CHENG Yan,JIANG Jian-hui,LOU Jun-gang.E-commerce software load capability assessment example analysis[J].Journal of Beijing University of Chemical Industry:Natural Science,2007(A01):68-72.

Electronic software evaluation design and its application in english writing

WANG Er-dong
（Shaanxi Vocational&Technical College，Xi’an 710100，China）

In foreign language writing assessment field，human rater been predominantil used to writing samples both in largescale test and classroom test.But human rater is facing a lot of credibility problem，English writeing is applied in fore ign languagew riting assessmen.This article summarizes the research report carried out in the English Department by using eratersoftw are to d iscuss the possib ility of replacing human rater，English writeing and human rater in evaluation of correlationanalysis.Pearson correlation coefficient of 0.324 and a quantitative analysis of correlation coefficient 0.7 showed that electronic software evaluation have more reliability than the human rater.

electronic software evaluation;application analysis;human rater；Pearson correlation coefficient

TN99

A

1674-6236（2014）17-042-02

2014-02-21 稿件編號(hào)：201402132

王爾東（1984—），男，陜西咸陽(yáng)人，助教。研究方向：英語(yǔ)教學(xué)。