亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大學(xué)英語寫作自動評分與同伴評分的對比研究

        2020-04-12 11:27:08鄧元
        文教資料 2020年28期
        關(guān)鍵詞:大學(xué)英語寫作對比研究

        鄧元

        摘 ? 要: 本文通過大學(xué)英語寫作課堂自動評分和同伴評分的對比研究,得出以下發(fā)現(xiàn):寫作自動評分和同伴評分的評分結(jié)果存在顯著差異,自動評分分?jǐn)?shù)整體偏高;教師和學(xué)生均對自動評分和同伴評分持有積極的態(tài)度,兩種評分模式具有可行性。自動評分和同伴評分各有優(yōu)劣,結(jié)合教師有效的課堂干預(yù)和評分組織,是大學(xué)英語寫作教學(xué)中較為理想的評分模式。

        關(guān)鍵詞: 大學(xué)英語寫作 ? 自動評分 ? 同伴評分 ? 對比研究

        1. 引言

        英語寫作教學(xué)是大學(xué)英語教學(xué)的重要組成部分,一直是我國大學(xué)英語教學(xué)中的薄弱環(huán)節(jié)(甘小亞,孟艷琴,2013)。對于大學(xué)英語教師而言,由于教學(xué)對象眾多,教學(xué)計劃安排緊張,大學(xué)英語寫作教學(xué)的實施和反饋難度較大,其中最突出的是寫作評分的操作問題。常規(guī)的教師評分耗時耗力,教師作文批改負(fù)擔(dān)過重,易導(dǎo)致學(xué)生寫作訓(xùn)練不足,學(xué)生寫作水平提升緩慢,教學(xué)效果欠佳(葛詩利、陳瀟瀟,2009)。基于已有文獻,本研究旨在對比寫作自動評分和同伴評分,探討大學(xué)英語寫作課堂采用自動評分和同伴評分的可行性問題。

        2.研究現(xiàn)狀

        眾多學(xué)者對自動評分系統(tǒng)進行了研究評述(白麗芳,2017;葛詩利,陳瀟瀟,2007;梁茂成,文秋芳,2007;唐錦蘭,吳一安,2011),概述了國內(nèi)外英語寫作自動評分系統(tǒng)的相關(guān)應(yīng)用成果。

        隨著信息技術(shù)的發(fā)展,作文自動評分系統(tǒng)(Automated Essay Scoring,AES)相繼問世,發(fā)展迅猛。最早的AES系統(tǒng)是美國Ellis Page教授等在二十世紀(jì)六十年代開發(fā)的Project Essay Grade(PEG)系統(tǒng),基于文章表面語言特征的分析評估作文的水平。之后,Landauer等基于統(tǒng)計技術(shù)中的潛在語義分析技術(shù)開發(fā)了Intelligent Essay Assessor (IEA)系統(tǒng)。美國教育考試中心 ETS開發(fā)了Electronic Essay Rater (E-rater),用于評估GMAT考試的作文質(zhì)量。與PEG重語言形式、IEA重內(nèi)容不同,E-rater是一個包含話語(篇章)、句法、內(nèi)容三個模塊結(jié)構(gòu)的混合評分系統(tǒng)。到二十一世紀(jì)初,在已有系統(tǒng)的開發(fā)基礎(chǔ)上,更多的寫作自動評分系統(tǒng)如My Access!、 Criterion等投入使用。在國外AES技術(shù)的影響下,國內(nèi)AES系統(tǒng)逐步發(fā)展。2015年,梁茂成教授及研究團隊和外語教學(xué)與研究出版社合作,開發(fā)了iWrite英語寫作教學(xué)與評閱系統(tǒng)2.0。商業(yè)性AES系統(tǒng),如句酷批改網(wǎng)、冰果英語智能作文評閱系統(tǒng)等在各大高校推廣應(yīng)用。

        何旭良(2013)對句酷批改網(wǎng)英語作文評分進行了研究,指出批改網(wǎng)評分的一致性比教師人工評分高,但前者的評分顯著高于后者,尚不能反映學(xué)生英語作文的真實水平。李艷玲和田夏春(2018)進行了作文自動評分的信度研究,通過對645篇作文的機評、人評總分的一致性計算,認(rèn)為iWrite2.0的寫作評分效度非常理想。鄒申、陳煒(2010)指出,評分效度是考試效度之一,在需要人工評分的考試項目,如寫作中,評分效度是考試效度的根本保證,計算機輔助評分可以有效提高人工評分的準(zhǔn)確性和公正性。

        另外,同伴互評能夠提高大學(xué)生寫作自主性(莫俊華,2007),在大學(xué)英語寫作教學(xué)課堂得到了廣泛應(yīng)用。本研究中的同伴評分,是指評閱者依據(jù)一定標(biāo)準(zhǔn),給同伴的作業(yè)、學(xué)習(xí)成果、課堂活動表現(xiàn)等打分(Topping 1998; Falchikov & Goldfinch 2000)。

        劉興華和紀(jì)小凌(2018)進行了大學(xué)英語寫作同伴評分的可行性和有效性研究,指出學(xué)生普遍認(rèn)可并接受同伴評分活動,同伴評分具有可行性;學(xué)生整體式評分兼具良好的信度和效度,分項式評分總體信度和效度不高。

        學(xué)者們對大學(xué)英語寫作反饋方式進行了大量的對比研究(蔡基剛,2011;吳雪峰,周靜,2017;周一書,2013等)。其中,蔡基剛跟蹤調(diào)查網(wǎng)絡(luò)環(huán)境下61名大學(xué)生英語寫作的同伴反饋和教師反饋,指出在線同伴反饋寫作可以明顯激發(fā)學(xué)生的寫作熱情、豐富作文內(nèi)容和提高語言質(zhì)量。相關(guān)研究提出,教師評分質(zhì)量明顯高于學(xué)生評分質(zhì)量,整體來說兩類評分結(jié)果具有較好的一致性,同伴互評可以作為重要的輔助性手段參與寫作教學(xué)與評估(吳雪峰,周靜,2017)。

        綜上可見,已有研究中自動評分和同伴評分的對比研究較少,較多研究從教師評分和自動評分的角度入手??紤]教師評分的實施難度,在大學(xué)英語課堂寫作教學(xué)實踐中,筆者同時引入基于句酷批改網(wǎng)的自動評分和同伴評分兩種評分方式,通過對寫作自動評分和同伴評分的實施效果的對比研究,探索大學(xué)英語寫作教學(xué)中評分模式的應(yīng)用。

        3.研究設(shè)計

        3.1研究問題

        本研究通過在大學(xué)英語寫作課堂中實施同伴評分,結(jié)合句酷批改網(wǎng)的自動評分,具體回答如下問題:

        (1)自動評分和同伴評分的寫作評分結(jié)果是否具有顯著差異?

        (2)寫作課堂上自動評分、同伴評分等非常規(guī)評分模式的可行性如何?

        3.2研究對象

        本研究選取了華中地區(qū)某高校兩個平行班的大二非英語專業(yè)學(xué)生,全程完成同伴評分并填寫問卷接受訪談的學(xué)生共計117人,平均年齡20歲,其中男生23人(19.7%),女生94人(80.3%)。

        受試學(xué)生的英語寫作課由同一英語教師授課,該教師大一、大二均任教該批學(xué)生,了解全體學(xué)生的學(xué)習(xí)情況,具有較豐富的教學(xué)經(jīng)驗。

        3.3研究過程

        寫作課前一周,老師布置了寫作話題“Where would you like to work after graduation, in a big city or in a small town?”,要求學(xué)生線上提交作文。自動評分系統(tǒng)采用句酷批改網(wǎng)(簡稱批改網(wǎng)),是基于語料庫和云計算的英語作文自動批改在線服務(wù),通過計算學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離,即時生成作文的得分和評語及內(nèi)容分析結(jié)果。學(xué)生上課前已提交作文并獲得了批改網(wǎng)的評分(滿分100)。

        寫作課上,老師進一步講解作文的寫作思路,分發(fā)學(xué)生作文紙質(zhì)稿,并對學(xué)生進行評分培訓(xùn)、講解示例,要求學(xué)生采取分項式評分,從內(nèi)容主題、篇章結(jié)構(gòu)、語言表達、語意連貫四個方面綜合評判同伴的作文,打出總分(滿分100),并從四個角度給出作文批閱的整體建議。

        課后,請任課老師收集批改網(wǎng)的評閱分?jǐn)?shù)和同伴評分的分?jǐn)?shù),這是本研究的定量分析數(shù)據(jù)。同時,筆者對任課老師和部分學(xué)生代表進行訪談,詢問師生對于自動評分、同伴評分可行性的看法和態(tài)度,獲取定性分析數(shù)據(jù)。

        本研究使用SPSS21.0進行數(shù)據(jù)分析,并結(jié)合定性分析回答兩個研究問題。

        4.結(jié)果與討論

        4.1自動評分和同伴評分的對比

        自動評分和同伴評分的獨立樣本T檢驗的結(jié)果顯示p=.000,表明本次實驗中寫作自動評分和同伴評分的評分結(jié)果存在顯著差異。描述性統(tǒng)計數(shù)據(jù)顯示:117名學(xué)生的批改網(wǎng)自動評分平均值79.24分,同伴評分平均值75.47分。

        AES系統(tǒng)自動評分分?jǐn)?shù)整體偏高,是部分教師使用者在批改網(wǎng)使用過程中發(fā)現(xiàn)的一個問題,同時是學(xué)生提交作文后多次修改刷分的結(jié)果。

        筆者選取某受試學(xué)生的作文仔細(xì)審閱,按照分項式評分的標(biāo)準(zhǔn),任課教師和筆者獨立打分,分別只給出80分和82分的成績。該作文在批改網(wǎng)上得到了88分的成績,排名自動評分第一,同伴評分得分79分。以下是批改網(wǎng)對該篇作文的評語:“語句間的銜接成分用得不錯,同時文章中的過程性詞匯很豐富;作者詞匯基礎(chǔ)扎實,拼寫也很棒;作者在句法層面做得很棒?!?/p>

        這些評語都是模板性的評語,系統(tǒng)根據(jù)文章高、中、低三個檔次,隨機匹配每檔次的三條評語之一,無法完全體現(xiàn)學(xué)生的真實寫作水平。前文也提到,批改網(wǎng)計算的是學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離,其實細(xì)看本篇作文,學(xué)生多處地方對于句子主語的把握出錯,語法概念不清楚,列舉簡單,思維深度有待加強,都是批改網(wǎng)已有的標(biāo)準(zhǔn)語料庫難以識別和判斷的。

        葛詩利、陳瀟瀟(2009)的研究指出,將作文自動評分系統(tǒng)引入大學(xué)英語寫作教學(xué)時面臨的難題包括如何確定形式化的評分標(biāo)準(zhǔn)、如何研發(fā)適應(yīng)通用的有關(guān)語言使用的自動作文評分模型,體現(xiàn)了目前我們使用的自動評分系統(tǒng)存在的漏洞和缺陷,需要在今后開發(fā)中進一步加以改進,才能逐漸改變自動評分“虛高”的現(xiàn)象。

        同伴評分的結(jié)果偏低也是意料之中的。一方面,任課教師在一年多的任教過程中并沒有經(jīng)常培訓(xùn)學(xué)生進行同伴評分,本次實驗前的培訓(xùn)也只是進行了細(xì)致講解和示范,沒有給學(xué)生留足操練時間,要求學(xué)生評分達到專家教師評分的精度和準(zhǔn)確度是不太可能的。另一方面,結(jié)合學(xué)生訪談結(jié)果,我們發(fā)現(xiàn),少數(shù)學(xué)生對于同伴評分的信心不足,害怕自己評分過高產(chǎn)生不良影響,故打分相對保守;出于保全同伴的面子的心理,對于寫作水平偏低的文章未完全打低分?jǐn)?shù)。這些因素導(dǎo)致同伴評分的作文高低水平區(qū)分不明顯,同伴評分結(jié)果比自動評分結(jié)果偏低,兩者出現(xiàn)了顯著差異。充分說明了反饋培訓(xùn)和合理組織評分是開展有效同伴評價的先決條件和重要保障(Stanley 1992; Zhu 1995; Min 2005)。

        4.2自動評分和同伴評分的可行性

        關(guān)于大學(xué)英語寫作課堂采用自動評分和同伴評分的可行性問題,對任課教師和部分學(xué)生代表進行的訪談結(jié)果如下:

        從受訪教師的角度來說,教師對于自動評分和同伴評分抱有積極的態(tài)度,認(rèn)為目前自動評分系統(tǒng)“很大程度上減輕教師評閱、反饋作文的壓力”,同伴評分能夠“融入更多學(xué)生參與寫作的思考過程,提高學(xué)生上課的積極性和主動性”。

        受訪教師認(rèn)為,自動評分系統(tǒng)的反饋過于呆板,比如對作文內(nèi)容和連貫性的判斷差強人意,主要還是對單詞拼寫和句子結(jié)構(gòu)方面的判斷,少數(shù)判斷也是比較模糊的,并沒有提供改正方法,諸如“疑似句子不完整”這種反饋。對于學(xué)生使用者來說是存在挑戰(zhàn)的,水平較低的學(xué)生無法獲得真正的作文反饋輔導(dǎo),兼顧學(xué)生水平差異的話,需要教師的人工干預(yù)。同伴評分的實施挑戰(zhàn)在于教師無法監(jiān)管同伴評分的所有過程,若評分培訓(xùn)不到位,則學(xué)生的同伴評分容易走過場,打保守分,造成評分效度問題。筆者認(rèn)為,寫作課堂中采用自動評分或同伴評分或兩者結(jié)合使用時,以教師評分為標(biāo)桿,教師實施有效的課堂干預(yù),能夠有效確保評分的效度和信度。

        關(guān)于自動評分系統(tǒng)的問題,如以往研究(葛詩利,陳瀟瀟,2009)提出的,我們應(yīng)考慮開發(fā)具有針對性的、面向大學(xué)英語寫作教學(xué)的自動評分,研究中國大學(xué)生英語作文的寫作特點,然后廣泛參考自動作文評分研究中的各種技術(shù)手段,最后根據(jù)自然語言處理發(fā)展的狀況確定最適合的自動評分方法。

        從學(xué)生訪談結(jié)果來看,絕大多數(shù)學(xué)生對于自動評分和同伴評分表示認(rèn)可,傾向于兩者結(jié)合使用。學(xué)生認(rèn)為自動評分“給予更多的寫作自主性”“即時反饋非常不錯”“使用方便,不受時空限制”“反饋的建議有助于提高寫作水平”“能夠修改刷分?jǐn)?shù),提高寫作自信”。對于同伴評分,學(xué)生提出“給同學(xué)作文打分感覺很有意思”“能夠?qū)W習(xí)同學(xué)的寫作思路,好詞好句”“發(fā)現(xiàn)我們有類似的語言錯誤”“能從老師的角度理解寫作的要求和評分標(biāo)準(zhǔn)”。這和前人發(fā)現(xiàn)是一致的,劉興華等(2018)提出學(xué)生普遍認(rèn)可并接受同伴評分活動,同伴評分具有可行性。莫俊華(2007)的研究提出同伴互評能夠代替部分教師批改,絕大多數(shù)學(xué)生喜歡獲得同伴反饋,能夠激發(fā)自我修改。

        就存在的問題而言,學(xué)生認(rèn)為自動評分的“反饋比較單一,評語不夠真實”“部分修改意見無從下手”“分?jǐn)?shù)感覺比自己實際水平偏高”“文章有點跑題分?jǐn)?shù)也還行”“缺乏教師監(jiān)管,容易應(yīng)付”;同伴評分“缺乏老師監(jiān)管,感覺不可信”“礙于情面不好打低分”“挺費時間學(xué)習(xí)評分標(biāo)準(zhǔn)的”。結(jié)合前人發(fā)現(xiàn)(莫俊華,2007),學(xué)生在同伴互評中易于關(guān)注文章表面錯誤,少數(shù)學(xué)生在沒有教師監(jiān)控教學(xué)的情況下,并未認(rèn)真對待同伴互評。教師監(jiān)管在自動評分實施過程中是一個問題,學(xué)生用不相關(guān)的文本也可以獲得較好的評分,學(xué)生容易滋生懶惰學(xué)習(xí)(唐芳等,2017)。呼應(yīng)了之前的研究發(fā)現(xiàn),即批改網(wǎng)在某些情況下不能考查文章內(nèi)部的邏輯性和關(guān)聯(lián)性(何旭良,2013)。

        5.結(jié)語

        大學(xué)英語課堂的寫作評分模式探索是一個重要的教學(xué)問題。從統(tǒng)計學(xué)意義來說,本研究發(fā)現(xiàn)寫作自動評分的結(jié)果顯著高于同伴評分的結(jié)果,教師和學(xué)生均肯定了兩種方式對于課堂寫作的積極意義,也提出了相應(yīng)的問題亟待解決。自動評分和同伴評分各有優(yōu)劣,結(jié)合教師有效的課堂干預(yù)和評分組織,在大學(xué)英語寫作教學(xué)中運用兩者具有可行性,有助于大學(xué)英語寫作課堂的良性發(fā)展。

        參考文獻:

        [1]Falchikov N & Goldfinch J. tudent Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks[J]. Review of Educational Research, 2000,70(3): 287-322.

        [2]Landauer T K, Laham D, Foltz P W. Automated Essay Scoring and Annotation of Essays with the Intelligent Essay Assessor[A]. In M D Shermis and J Burstein (ed.), Automated Essay Scoring: A Cross Disciplinary Perspective[C]. Mahwah, NJ: Lawrence Erlbaum Associates, 2003: 87-112.

        [3]Min H T. Training Students to Become Successful Peer Reviewer [J]. System, 2005,33(2): 293-308.

        [4]Page E B. Grading Essays by Computer: Progress Report [A]. In Educational Testing Service (Ed.), Proceedings of the Invitational Conference on Testing Problems[C]. New York City: Princeton, N J: Educational Testing Service, 1967: 87-100.

        [5]Stanley J. Coaching Student Writers to be Effective Peer Evaluators[J]. Journal of Second Language Writing, 1992,1(3): 217-233.

        [6]Topping K. Peer Assessment Between Students in Colleges and Universities[J]. Review of Educational Research, 1998(68):249-276.

        [7]Zhu W. Effects of Training for Peer Response on Students Comments and Interaction[J]. Written Communication,1995,12(4):492-528.

        [8]白麗芳. 國內(nèi)外作文自動批改系統(tǒng)效度研究概述[J]. 教育現(xiàn)代化, 2017,4(40):191-193.

        [9]蔡基剛. 中國大學(xué)生英語寫作在線同伴反饋和教師反饋對比研究[J]. 外語界,2011(2):65-72.

        [10]甘小亞, 孟艷琴. 國內(nèi)大學(xué)英語寫作教學(xué)中的同伴互評研究現(xiàn)狀分析[J]. 齊齊哈爾大學(xué)學(xué)報, 2013(5):168-171.

        [11]葛詩利, 陳瀟瀟. 國外自動作文評分技術(shù)研究[J]. 外語電化教學(xué), 2007(5):25-29.

        [12]葛詩利, 陳瀟瀟. 大學(xué)英語作文自動評分研究中的問題及對策[J].山東外語教學(xué), 2009(3): 21-26.

        [13]何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù), 2013(5):64-67.

        [14]梁茂成, 文秋芳.國外作文自動評分系統(tǒng)評述及啟示[ J] .外語電化教學(xué), 2007 (5): 18-24.

        [15]劉興華, 紀(jì)小凌. 大學(xué)英語寫作通版評分的可行性和有效性研究[J]. 外語界,2018 (5) : 63-70.

        [16]莫俊華. 同伴互評:提高大學(xué)生寫作自主性[J]. 解放軍外國語學(xué)院學(xué)報, 2007 (3) : 35-39.

        [17]唐芳, 莊翠娟, 鞏藝超. 作文自動評分系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用——以句酷批改網(wǎng)為例[J]. 海外英語, 2017 (20) : 48-49, 51.

        [18]唐錦蘭, 吳一安. 在線英語寫作自動評價系統(tǒng)應(yīng)用研究述評[J]. 外語教學(xué)與研究, 2011 (2): 273-282.

        [19]吳雪峰, 周靜. 基于多層面Rasch模型的英語寫作教師評分與同伴互評對比研究[J]. 重慶第二師范學(xué)院學(xué)報, 2017 (6) : 85-90.

        [20]周一書. 大學(xué)英語寫作反饋方式的對比研究[J]. 外語界, 2013 (3): 87-96.

        [21]鄒申, 陳煒. TEM4 評分效度與計算機輔助評卷[J].外語電化教學(xué), 2010 (131): 56-60.

        本研究系湖南省教育廳課題“虛擬仿真實驗教學(xué)環(huán)境下英語專業(yè)學(xué)生跨文化交際能力測評研究”的初期研究成果(課題編號19C1173)。

        猜你喜歡
        大學(xué)英語寫作對比研究
        改進大學(xué)英語寫作教學(xué)的對策
        大學(xué)英語寫作教學(xué)的現(xiàn)狀分析與改革探索
        青春歲月(2016年22期)2016-12-23 15:28:39
        母語負(fù)遷移對大學(xué)英語寫作的影響及對策
        考試周刊(2016年95期)2016-12-21 01:02:38
        大學(xué)英語寫作課程中線上同學(xué)評價對學(xué)習(xí)者閱讀能力的促進作用
        科技視界(2016年26期)2016-12-17 20:07:02
        非英語專業(yè)學(xué)生大學(xué)英語寫作課程中批判性思維能力培養(yǎng)
        考試周刊(2016年89期)2016-12-01 12:57:56
        中外應(yīng)用技術(shù)類高校產(chǎn)學(xué)研合作模式對比研究
        商情(2016年39期)2016-11-21 09:32:30
        不同梅毒血清學(xué)檢測方法敏感度和特異度比較觀察
        今日健康(2016年12期)2016-11-17 19:25:13
        翻轉(zhuǎn)課堂教學(xué)模式給大學(xué)英語寫作課帶來的新思考
        詩歌里的低訴,蒼涼中的守望
        人間(2016年28期)2016-11-10 21:51:46
        模因論視角下的英漢網(wǎng)絡(luò)語言對比研究
        文教資料(2016年19期)2016-11-07 07:06:19
        国产精品九九久久一区hh| 亚洲av一二三四区四色婷婷| 国产美女在线精品免费观看| 欧美成人小视频| 亚洲精品一品二品av| 日本视频一中文有码中文| 日本阿v片在线播放免费| 嫩草影院未满十八岁禁止入内| 欧美日韩综合在线视频免费看| 亚洲中文字幕在线第六区| 亚洲三区在线观看内射后入| 国产福利酱国产一区二区| 欧美乱人伦中文字幕在线不卡| 国产午夜激情视频在线看| 极品少妇xxxx精品少妇偷拍| 中文人妻无码一区二区三区在线| 无码一区二区三区不卡AV| 丝袜美腿亚洲综合一区| 亚洲av永久无码精品古装片| 久久久久久久久888| 在线看亚洲十八禁网站| 草逼视频污的网站免费| 日本少妇高潮喷水xxxxxxx| 亚洲精品无码久久毛片| 国产不卡在线免费视频| 丰满人妻中文字幕一区三区| 消息称老熟妇乱视频一区二区 | 国产乱子伦农村叉叉叉| 亚洲熟妇乱子伦在线| 日本中文字幕官网亚洲| 成年美女黄的视频网站| 国产无套护士在线观看| 亚洲AV日韩AV高潮喷潮无码| 久久这里都是精品99| 色avav色av爱avav亚洲色拍| 欧美在线资源| 亚洲一区二区三区最新视频| 亚洲av无码一区东京热久久| 亚洲欧美综合在线天堂| 亚洲av综合色区久久精品天堂| 精品国产成人av久久|