張倩葦 羅 馨

（1.華南師范大學(xué) 教育信息技術(shù)學(xué)院，廣東 廣州，510631；2.廣東環(huán)境保護(hù)工程職業(yè)學(xué)院 食品工程系，廣東 佛山，528216）

隨著在線開放課程和混合式教學(xué)的興起，在線同伴互評成為高等教育教學(xué)中一種重要的評價(jià)方式。它作為一種有效的在線評價(jià)方式，是在線學(xué)習(xí)活動的重要組成部分（李菲茗，2018）?；诹恳?guī)的同伴互評在解決大規(guī)模學(xué)生評價(jià)的問題以及促進(jìn)學(xué)習(xí)者評價(jià)與反思能力提升方面具有優(yōu)勢，可有效促進(jìn)互評活動的實(shí)施（梁云真，2018）。本研究將量規(guī)引入在線同伴互評，結(jié)合H大學(xué)“信息素養(yǎng)”通識課，開發(fā)用于在線同伴互評的評價(jià)量規(guī)，設(shè)計(jì)并實(shí)施了兩輪基于量規(guī)的在線同伴互評，探索其可行性和有效性。

一、基于量規(guī)的在線同伴互評研究綜述

（一）概念界定

量規(guī)是對學(xué)習(xí)者的作品進(jìn)行結(jié)構(gòu)化評價(jià)的標(biāo)準(zhǔn)，它描述了作品完成質(zhì)量的級別。

同伴互評是指課程的在線學(xué)習(xí)中，學(xué)習(xí)者在教師的督促和指導(dǎo)下，對同伴提交的在線作業(yè)進(jìn)行定量評分和定性反饋的過程。其目的是利用同伴的反饋，促進(jìn)學(xué)習(xí)者改進(jìn)學(xué)習(xí)并反思，提高學(xué)習(xí)效果。同時(shí)，在評價(jià)和交流的過程中，提升學(xué)習(xí)者的能力。

（二）量規(guī)的相關(guān)研究

1. 量規(guī)的可靠性與有效性

國外對量規(guī)的研究和應(yīng)用隨著表現(xiàn)性評價(jià)的發(fā)展而成熟起來。英國全國大學(xué)生和研究生評估參與調(diào)查相關(guān)報(bào)告發(fā)現(xiàn)，學(xué)生對評估和反饋過程的滿意度的分?jǐn)?shù)較低（Boud & Molloy, 2012）。作為一種指導(dǎo)學(xué)習(xí)者完成作業(yè)和評價(jià)的工具，量規(guī)具有評價(jià)標(biāo)準(zhǔn)明確、評價(jià)方式靈活以及評價(jià)效果有效等優(yōu)勢，因而其可靠性也是教師及學(xué)習(xí)者共同關(guān)注的重點(diǎn)。Christie（2015）使用對比方法來統(tǒng)計(jì)分析、評估一系列課程的標(biāo)準(zhǔn)化量規(guī)的評價(jià)者之間的可靠性以及量規(guī)本身的評分項(xiàng)目的可靠性。研究表明，評估者使用量規(guī)評分的可靠性很高（G=0.85）。

使用量規(guī)對提高學(xué)習(xí)者在自我評估、自我調(diào)節(jié)、理解能力以及評估標(biāo)準(zhǔn)清晰度方面的技能都可以提供幫助。馬炅（2011）設(shè)計(jì)并應(yīng)用了多媒體作品評價(jià)量規(guī)，研究發(fā)現(xiàn)量規(guī)可以提升學(xué)習(xí)者作品的質(zhì)量（作品的藝術(shù)性和技術(shù)性），還可提高學(xué)習(xí)者參與相關(guān)學(xué)習(xí)與競賽活動的積極性。該研究表明量規(guī)不僅可以運(yùn)用到教師評價(jià)中，還在自評與互評中發(fā)揮著重要作用。彭熠（2014）認(rèn)為，量規(guī)可以激發(fā)學(xué)習(xí)者的學(xué)習(xí)潛力，是引導(dǎo)學(xué)習(xí)者探索知識的指南針。這些研究表明，使用量規(guī)可以促進(jìn)學(xué)生的學(xué)習(xí)，而且加入量規(guī)的評價(jià)方式，在學(xué)生對課程的滿意度方面也產(chǎn)生了積極影響。

綜上所述，量規(guī)是可靠且有效的。一方面，它可以幫助教師明確作業(yè)標(biāo)準(zhǔn)并以一種清晰明了的方式呈現(xiàn)給學(xué)習(xí)者，有助于學(xué)習(xí)者更好地理解任務(wù)要求，從而降低完成作業(yè)的難度，為學(xué)習(xí)者完成任務(wù)提供指導(dǎo)；另一方面，量規(guī)在互評和自評中使用，可以降低評價(jià)結(jié)果的主觀性與隨意性，保證了評價(jià)結(jié)果的客觀性和可信度。

2. 量規(guī)在教學(xué)評價(jià)中的應(yīng)用

在傳統(tǒng)教學(xué)中，量規(guī)的應(yīng)用主要集中在學(xué)習(xí)者自評或基于協(xié)作的同伴互評活動中，例如：唐玉霞和馬蘭（2011）設(shè)計(jì)的教學(xué)評估量規(guī)。此外，量規(guī)可以作為教師培訓(xùn)評價(jià)工具，幫助培訓(xùn)教師對參培教師的教學(xué)計(jì)劃、學(xué)習(xí)資源和作品進(jìn)行評價(jià)，如祝智庭（2000）在教師教育網(wǎng)絡(luò)課程中的評價(jià)量規(guī)。量規(guī)也越來越多地應(yīng)用于在線學(xué)習(xí)評價(jià)中，徐春華（2005）開發(fā)了一個基于網(wǎng)絡(luò)的應(yīng)用量規(guī)的在線評價(jià)平臺，驗(yàn)證在教學(xué)評價(jià)中加入評價(jià)量規(guī)的有效性。

關(guān)于量規(guī)在教學(xué)評價(jià)中的應(yīng)用效果，Barney（2012）比較了使用量規(guī)和教師口頭反饋工程學(xué)習(xí)者的作業(yè)，發(fā)現(xiàn)這兩種形式的反饋都會讓學(xué)習(xí)者的分?jǐn)?shù)增加。因此，這兩種方法都可以提高學(xué)習(xí)者的成績。同時(shí)，該研究還發(fā)現(xiàn)一個有趣結(jié)果，對學(xué)習(xí)結(jié)果給予反饋后學(xué)習(xí)者的投訴和關(guān)于成績的問題顯著減少。

（三）基于量規(guī)的在線同伴互評相關(guān)研究

1. 基于量規(guī)的同伴互評活動設(shè)計(jì)

隨著網(wǎng)絡(luò)的普及，很多歐美國家的學(xué)校在學(xué)習(xí)過程中利用在線評價(jià)量規(guī)這種方式來促進(jìn)教與學(xué)（Muirhead, 2002）。以慕課為代表的在線課程開始運(yùn)用“同伴互評”對學(xué)習(xí)者提交的作業(yè)進(jìn)行評價(jià)（馬志強(qiáng)，2014）。Chen 和 Tsai（2009）開發(fā)了一套在線同伴互評程序，評價(jià)者采用課程提供的量規(guī)來評定論文的等級，同時(shí)要求評價(jià)者給出量化評價(jià)和反饋。Hwang、Hung和Chen（2013）提出一套基于同伴互評的游戲開發(fā)方法，采用定量與定性結(jié)合的互評方式。

2. 基于量規(guī)的在線同伴互評的可靠性研究

大部分研究者關(guān)注慕課環(huán)境下同伴互評的可行性與可靠性，并探索不同的方法來提高同伴互評的精確性。有研究者嘗試通過構(gòu)建模型來評估并校正評價(jià)過程中的偏差（Piech, 2014）；還有研究者對評價(jià)量規(guī)進(jìn)行了設(shè)計(jì)和應(yīng)用，發(fā)現(xiàn)在同伴互評的過程中提供量規(guī)指導(dǎo)，能有效提升評價(jià)效果（孫力，2014）。這說明，在進(jìn)行同伴互評時(shí)，采用量規(guī)有助于提高同伴互評活動的信度和效度，幫助學(xué)習(xí)者明確教師的任務(wù)要求。

針對在面授課堂中使用同伴互評的有效性研究發(fā)現(xiàn)，同伴評分和教師評分高度相關(guān)且沒有顯著差異（Falchikov, 2000）。研究在線課程中使用在線同伴互評的有效性時(shí)發(fā)現(xiàn)，同伴評分與教師評分同樣是高度相關(guān)的（Robinson, 2014）。然而，在討論是否在課程中應(yīng)用同伴互評時(shí)，有教師和學(xué)習(xí)者會對互評結(jié)果的可靠性表示懷疑。有研究探究影響同伴互評的準(zhǔn)確性和可靠性的因素，主要是學(xué)習(xí)者的學(xué)習(xí)態(tài)度、參與度、評價(jià)標(biāo)準(zhǔn)、評價(jià)者的能力等（Bouzidi,2009）。

3. 基于量規(guī)的在線同伴互評有效性研究

評價(jià)是檢測和糾正錯誤的過程，糾錯是通過持續(xù)的探究、反思和批評或自我批評過程產(chǎn)生的，可以幫助學(xué)習(xí)者更新他們的知識，從而改善他們的學(xué)習(xí)（Yousef, 2014）。那么，在互評時(shí)加入量規(guī)是否能提高評價(jià)效果？Menendez（2016）發(fā)現(xiàn)量規(guī)的評分減輕了學(xué)習(xí)者和教師對于打分主觀性的擔(dān)憂。Polston（2014）調(diào)查了評估者和被評估者之間使用評估標(biāo)準(zhǔn)對互評有效性的影響，有209名本科生參加了此項(xiàng)調(diào)查研究。其中一半?yún)⑴c者使用量規(guī)評估了同伴的概念圖，而另一半沒有使用量規(guī)。發(fā)現(xiàn)使用量規(guī)的學(xué)生的評價(jià)結(jié)果更有效。但該研究也發(fā)現(xiàn)，使用量規(guī)時(shí)，評估者和被評估者之間的友誼更容易導(dǎo)致更多的過度評分。

除了研究評分效果，也有研究者驗(yàn)證了使用量規(guī)對學(xué)習(xí)者自我調(diào)節(jié)方面的影響，使用量規(guī)的學(xué)習(xí)者在成績、自我評估的準(zhǔn)確性和更高的自我調(diào)節(jié)三個方面均優(yōu)于沒有使用量規(guī)的學(xué)習(xí)者（Panadero & Romero,2014）。

已有研究驗(yàn)證了將規(guī)范、科學(xué)的量規(guī)運(yùn)用于同伴互評中的作用，多集中于量規(guī)應(yīng)用于在線同伴互評中的有效性研究，但對基于量規(guī)的在線同伴互評的實(shí)踐研究欠缺具體的設(shè)計(jì)、開發(fā)及應(yīng)用流程。因此有必要對在線同伴互評中量規(guī)進(jìn)行設(shè)計(jì)與開發(fā)，設(shè)計(jì)并實(shí)施基于量規(guī)的同伴互評活動，從而驗(yàn)證這類評價(jià)活動的可行性和有效性。

二、基于量規(guī)的在線同伴互評設(shè)計(jì)

（一）理論基礎(chǔ)

基于量規(guī)的在線同伴互評研究主要以建構(gòu)主義學(xué)習(xí)理論和多元智能理論為指導(dǎo)。建構(gòu)主義學(xué)習(xí)理論認(rèn)為學(xué)習(xí)活動必須有利于學(xué)習(xí)者對所學(xué)內(nèi)容的意義建構(gòu)，評價(jià)任務(wù)的設(shè)計(jì)要考慮有利于學(xué)習(xí)者意義建構(gòu)的情境的創(chuàng)設(shè)；任務(wù)內(nèi)容應(yīng)該符合學(xué)習(xí)者的最近發(fā)展區(qū)，在線同伴互評中，評價(jià)標(biāo)準(zhǔn)量規(guī)的設(shè)計(jì)就是提供給學(xué)習(xí)者的支架。多元智能理論倡導(dǎo)多元主體、多維內(nèi)容、多種形式的真實(shí)性評價(jià)，以評價(jià)促發(fā)展，教學(xué)需要設(shè)計(jì)豐富的、基于能力提升的學(xué)習(xí)活動。

本研究在文獻(xiàn)綜述的基礎(chǔ)上，提出了量規(guī)的設(shè)計(jì)原則，包括與教學(xué)目標(biāo)保持一致、學(xué)習(xí)者參與、避免重復(fù)并易于操作?；诹恳?guī)的在線同伴互評的設(shè)計(jì)原則包括評價(jià)標(biāo)準(zhǔn)明確、及時(shí)性、評價(jià)主體多元化、可操作性、定量與定性相結(jié)合。

（二）量規(guī)的設(shè)計(jì)

評價(jià)量規(guī)一般由評價(jià)要素、評價(jià)指標(biāo)、評分標(biāo)準(zhǔn)、指標(biāo)權(quán)重以及評語反饋組成。

1. 量規(guī)的設(shè)計(jì)流程

1）量規(guī)的初步設(shè)計(jì)

根據(jù)量規(guī)的設(shè)計(jì)原則、參考評價(jià)任務(wù)內(nèi)容與目標(biāo)，對量規(guī)的組成要素進(jìn)行設(shè)計(jì)，然后根據(jù)在線學(xué)習(xí)平臺的要求，重新調(diào)整量規(guī)的結(jié)構(gòu)。

（1）評價(jià)要素設(shè)計(jì)

評價(jià)要素是量規(guī)設(shè)計(jì)中最重要的一環(huán)，一個有效的量規(guī)應(yīng)包含評價(jià)該任務(wù)的所有重要元素（Jonsson,2014）。為了使評價(jià)量規(guī)更加清晰明確，需要對任務(wù)內(nèi)容進(jìn)行分析（高凌飚，2004）。根據(jù)教學(xué)目標(biāo)和作業(yè)要求確定影響任務(wù)質(zhì)量的要素有哪些，并從中選擇最主要的要素作為評價(jià)要素。

（2）評價(jià)指標(biāo)設(shè)計(jì)

評價(jià)指標(biāo)既是對評價(jià)要素的分解，也是對評分標(biāo)準(zhǔn)的概括，因此要明確具體，不能籠統(tǒng)空泛。一個有效的量規(guī)的評價(jià)指標(biāo)應(yīng)與教學(xué)目標(biāo)對應(yīng)，且容易區(qū)分，不能出現(xiàn)多個評價(jià)指標(biāo)重疊或模棱兩可的情況。

（3）評分標(biāo)準(zhǔn)的設(shè)計(jì)

評分標(biāo)準(zhǔn)需采用具體、可操作的語言對評價(jià)指標(biāo)進(jìn)行描述，盡可能使用清晰、完整的句子來表達(dá)。教師還可根據(jù)量規(guī)中的評價(jià)標(biāo)準(zhǔn)提供參考范例，幫助學(xué)習(xí)者更好地理解指標(biāo)項(xiàng)。

本研究將評價(jià)量規(guī)的具體標(biāo)準(zhǔn)分為三種類型：是否型標(biāo)準(zhǔn)、限制型標(biāo)準(zhǔn)和驗(yàn)證型標(biāo)準(zhǔn)。是/否型標(biāo)準(zhǔn)可以簡單地回答“是”或“否”；限制型標(biāo)準(zhǔn)是指要求評價(jià)者對某一具體方面進(jìn)行限定；驗(yàn)證型標(biāo)準(zhǔn)需要評價(jià)者從作業(yè)中尋找特定特性的條件，表1給出了三種標(biāo)準(zhǔn)的示例。

表1 評分標(biāo)準(zhǔn)類型及案例

（4）權(quán)重設(shè)計(jì)

在分析學(xué)習(xí)目標(biāo)和側(cè)重點(diǎn)的基礎(chǔ)上，對每個評價(jià)要素及一級指標(biāo)進(jìn)行綜合分析，為每個一級指標(biāo)分配權(quán)重，再將該一級指標(biāo)權(quán)重合理分配至相應(yīng)的下一級指標(biāo)。在設(shè)置等級和權(quán)重時(shí)，需考慮所用平臺的在線互評活動的量規(guī)的實(shí)際設(shè)計(jì)模式。量規(guī)的權(quán)重設(shè)置還要在具體實(shí)踐中不斷完善。本研究的量規(guī)權(quán)重由任課教師根據(jù)教學(xué)目標(biāo)與任務(wù)目標(biāo)進(jìn)行賦值，同時(shí)參考了專家、助教以及學(xué)習(xí)者的意見確定最終權(quán)重。

（5）評論區(qū)設(shè)計(jì)

設(shè)計(jì)評論區(qū)的目的是為了得到評價(jià)者的評分反饋，但由于現(xiàn)有的在線學(xué)習(xí)平臺對于評論反饋還未足夠重視，不能設(shè)置為評價(jià)者必做任務(wù)，因此設(shè)置評論區(qū)得到的效果也往往不盡人意。這次進(jìn)行的兩輪研究中的在線同伴互評量規(guī)采用了三種說明方式，其效果也有較大差異。

第一種，僅提供“評論區(qū)”，不做任何要求說明。

第二種，評論區(qū)添加說明（如“請?jiān)u價(jià)者在此處詳細(xì)說明評分原因及改進(jìn)意見”）。

第三種，在第二種說明的基礎(chǔ)上，對評論內(nèi)容做出了詳細(xì)要求（如“字?jǐn)?shù)不少于25字，不能為堆砌字?jǐn)?shù)而用重復(fù)的字詞作為評語”）。

將三種說明方式應(yīng)用于三次基于量規(guī)的在線同伴互評中得到的效果見表2。第一種方式，雖然給出了評論區(qū)，但是提供評語的人數(shù)較少，而且有效評語較少（26條，占31.1%），此處的有效評語的評定標(biāo)準(zhǔn)是，評語反饋不是隨意堆砌，能說明扣分原因或提供了改進(jìn)意見的評語。第二種說明方式雖然在評語總數(shù)上有了大幅增加，但是有效評語的占比卻相對下降（72條，占22.2%）。第三種說明方式則是相對較好的方式（194條，67.4%），在一定的程度上保證了評語的有效性。

表2 評語反饋情況

2.量規(guī)的修改和測試

通過專家、教師和學(xué)習(xí)者對量規(guī)進(jìn)行評價(jià)以獲得修改完善的建議，反思量規(guī)的有效性，調(diào)整并修訂基本要素、等級標(biāo)準(zhǔn)，形成正式使用的量規(guī)。

為提高在線同伴互評量規(guī)的質(zhì)量，可通過在具體情境下進(jìn)行測試，收集相關(guān)數(shù)據(jù)并分析，提出修改完善意見，確定哪些類型的標(biāo)準(zhǔn)和量規(guī)更有價(jià)值，從而形成合適的量規(guī)，以提高同伴互評的可靠性。

（三）在線同伴互評活動設(shè)計(jì)

在線同伴互評設(shè)計(jì)包括前期分析、量規(guī)設(shè)計(jì)、互評設(shè)計(jì)和互評實(shí)施四個階段。首先從學(xué)習(xí)者、任務(wù)目標(biāo)、在線學(xué)習(xí)平臺條件三個方面進(jìn)行前期分析，其次對量規(guī)進(jìn)行初步設(shè)計(jì)、修改和完善，然后根據(jù)分析結(jié)果圍繞不同的任務(wù)對評價(jià)的方式、評價(jià)要求、評價(jià)時(shí)間等進(jìn)行設(shè)計(jì)，最后是對互評實(shí)施流程進(jìn)行設(shè)計(jì)。實(shí)施流程需要教師和學(xué)習(xí)者共同完成，包括提交階段、評估階段、成績公布階段以及作業(yè)修改階段，每一輪互評以此流程為基礎(chǔ)循環(huán)實(shí)施?；诹恳?guī)的在線同伴互評的具體設(shè)計(jì)流程見圖1。

圖1 基于量規(guī)的在線同伴互評設(shè)計(jì)流程

三、研究應(yīng)用與實(shí)施

（一）研究問題

結(jié)合H大學(xué)的“信息素養(yǎng)”課程相關(guān)學(xué)習(xí)任務(wù)，開展了兩輪基于量規(guī)的在線同伴互評研究，先后在校內(nèi)在線平臺和開放在線平臺上實(shí)施。研究問題如下：①基于量規(guī)的在線同伴互評的可行性如何？②基于量規(guī)的在線同伴互評實(shí)施效果如何，對學(xué)習(xí)者的學(xué)習(xí)產(chǎn)生了什么影響？第一輪研究探索了基于量規(guī)的在線同伴互評的可行性以及學(xué)習(xí)者的反應(yīng)，驗(yàn)證了量規(guī)在同伴互評活動中的作用。第二輪研究則主要是從學(xué)習(xí)者學(xué)習(xí)和能力兩個方面，檢驗(yàn)基于量規(guī)的在線同伴互評的實(shí)施效果。

（二）研究對象及數(shù)據(jù)來源

第一輪的研究對象為H大學(xué)“礪儒云”（校內(nèi)在線學(xué)習(xí)）平臺“信息素養(yǎng)”通識課中二、三年級本科生，總?cè)藬?shù)為60人，時(shí)間為2017年3至5月，開展了一次主題為“紙質(zhì)文獻(xiàn)和網(wǎng)絡(luò)資源的檢索與利用”的在線同伴互評。第二輪研究以中國大學(xué)慕課平臺“信息素養(yǎng)”課程的在線學(xué)習(xí)者作為研究對象，時(shí)間為2018年9至11月，開展了四次在線同伴互評，包括“選題的確定（第二周）”“中文數(shù)據(jù)庫的檢索方法與技巧（第五周）”“撰寫文獻(xiàn)綜述大綱（第八周）”和“撰寫文獻(xiàn)綜述初稿（第十周）”。

數(shù)據(jù)收集工具主要是調(diào)查問卷和訪談提綱，在參考國內(nèi)外驗(yàn)證過的相關(guān)量表和問卷的基礎(chǔ)上進(jìn)行設(shè)計(jì)，然后結(jié)合基于量規(guī)的在線同伴互評的特點(diǎn)加以修改?；谛?nèi)在線學(xué)習(xí)平臺和中國大學(xué)慕課平臺收集學(xué)習(xí)者在同伴互評活動中的活動數(shù)據(jù)以及互評活動實(shí)施情況和效果數(shù)據(jù)。

（三）研究流程

基于量規(guī)的在線同伴互評的設(shè)計(jì)應(yīng)用于教學(xué)中，實(shí)施了第一輪研究，具體安排如圖2所示。

圖2 第一輪研究流程安排

針對第一輪研究收集的反饋信息，提出如下改進(jìn)建議。

第一，量規(guī)。量規(guī)的設(shè)計(jì)需更詳細(xì)、明確，針對主觀題添加評分指導(dǎo)；在指標(biāo)項(xiàng)描述時(shí)添加案例幫助理解標(biāo)準(zhǔn)；將評價(jià)過程中的評價(jià)情況（是否出現(xiàn)惡意、粗魯評分、隨意撰寫評語）納入評價(jià)框架。

第二，自評。增加自評，要求每位學(xué)習(xí)者在互評完同伴作業(yè)后按照量規(guī)對自己的作業(yè)進(jìn)行評價(jià)。

第三，教師的反饋。適當(dāng)增加教師的指導(dǎo)；對于互評分?jǐn)?shù)差異較大的作業(yè)，需要教師再次進(jìn)行評價(jià)并分析原因；活動結(jié)束后，教師需要進(jìn)行總結(jié)并提供活動反饋。

第四，答疑的及時(shí)性。在課程討論區(qū)設(shè)置互評答疑區(qū)；在微信和QQ群有專門的助教負(fù)責(zé)答疑。

根據(jù)第一輪研究發(fā)現(xiàn)的問題和收集的修改意見，對互評流程進(jìn)行了修改，在中國大學(xué)慕課平臺實(shí)施了第二輪研究活動。修改后的流程如圖3所示：

圖3 第二輪研究流程安排

針對第二輪研究收集的信息，提出如下修改建議。

第一，評論反饋。說明評價(jià)方式和反饋類型，規(guī)范評語反饋區(qū)的要求；在平臺公告欄中提醒學(xué)習(xí)者評價(jià)時(shí)必須提交分?jǐn)?shù)和評語；在評論反饋區(qū)設(shè)計(jì)合適的評價(jià)指引。

第二，互評流程的熟悉度。第一次互評開始前幫助學(xué)習(xí)者熟悉量規(guī)以及同伴互評流程；每次互評時(shí)，發(fā)布任務(wù)的同時(shí)就發(fā)布量規(guī)和操作指引。

第三，時(shí)間通知。強(qiáng)調(diào)互評活動的時(shí)間特殊性，要求學(xué)習(xí)者按時(shí)完成；在每一個任務(wù)的時(shí)間節(jié)點(diǎn)發(fā)布通知。

第四，特殊情況。對因故未能按時(shí)提交互評作業(yè)的學(xué)習(xí)者，增加作業(yè)補(bǔ)交通道。

四、研究結(jié)果

（一）基于量規(guī)的在線同伴互評的可行性分析

在線同伴互評是開放在線課程中常采用的評價(jià)學(xué)習(xí)者作業(yè)的方法之一，但在線同伴互評結(jié)果的準(zhǔn)確性和可靠性因?qū)W習(xí)者知識水平程度差異、學(xué)習(xí)者評價(jià)能力差異等原因而遭質(zhì)疑。那么通過使用評價(jià)量規(guī)能否解決這些問題？基于量規(guī)的在線同伴互評是否可行？為了驗(yàn)證其可行性，研究從學(xué)習(xí)者關(guān)注的一致性和公平性來探究其是否可以將量規(guī)應(yīng)用于在線課程中。

1. 一致性——同伴互評成績是否有效

同伴互評成績的一致性一方面可通過評估者之間的可靠性來衡量評估者之間的一致程度，作為提高評分準(zhǔn)確性的可能解決方案，即通過衡量評分者間信度來說明。評估者間信度可以使用作業(yè)的評分標(biāo)準(zhǔn)差均值表示，即表示每個作業(yè)上同伴給出分?jǐn)?shù)的一致性程度，也可以用來表示同伴互評分?jǐn)?shù)的可靠性（范逸洲，2018）。其次可以通過分析同伴分?jǐn)?shù)和教師分?jǐn)?shù)的的一致性，即聚合效度（Bouzidi, 2009）來判定。研究同伴評分與教師評分之間的相關(guān)性，可以用來判斷參與互評的學(xué)習(xí)者是否具有一定的評價(jià)能力。

1）評分者之間一致性

在第一輪互評活動研究中，共有57人提交了互評作業(yè)，每份作業(yè)至少被互評了3～5次，因此每份作業(yè)的得分記錄包括3～5位同伴評價(jià)的分?jǐn)?shù)。通過計(jì)算這些得分的標(biāo)準(zhǔn)差就可以得到本輪互評作業(yè)得分的標(biāo)準(zhǔn)差。即互評作業(yè)的得分情況將由一個包含57個標(biāo)準(zhǔn)差的數(shù)列組成。該數(shù)列可以代表同伴互評者評分的穩(wěn)定性，計(jì)算其均值即可得到該互評作業(yè)的評分者間評分差。

如表3所示，作業(yè)共57份，通過計(jì)算每份作業(yè)同伴評分的標(biāo)準(zhǔn)差，得到了每一份作業(yè)互評者間的評分差。其中最小評分差為0.65，最大評分差為2.14。對57個評分標(biāo)準(zhǔn)差求平均值，最后該互評作業(yè)的評分者間評分差為0.82。這表示在本輪互評中互評作業(yè)的整體評分差距為0.82（＜1），評分者間的評分差異較小，評分者間信度以及評分穩(wěn)定性較高。由此可知，同伴間互評具有一定的一致性。

2）同伴和教師評分的一致性

在本研究中假設(shè)教師評分是這份作業(yè)可能獲得的成績，將同伴互評結(jié)果與教師評價(jià)結(jié)果進(jìn)行配對樣本檢驗(yàn)，即可分析兩種評分結(jié)果之間的相關(guān)性與差異性。因此，以教師評價(jià)分?jǐn)?shù)作為標(biāo)準(zhǔn)結(jié)果，來考察同伴互評結(jié)果與教師評價(jià)結(jié)果的相關(guān)程度，同伴互評評分越接近教師評分則認(rèn)為其評價(jià)結(jié)果越有效、互評結(jié)果可信度越高。研究者對教師評分與同伴評分的平均數(shù)與標(biāo)準(zhǔn)差進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表4所示。

當(dāng)使用評價(jià)量規(guī)對學(xué)習(xí)者的作業(yè)進(jìn)行評分時(shí)，教師與同伴評分平均分相差1.7分。為了觀察評分之間的差異是否顯著，研究者進(jìn)一步計(jì)算了兩者評分的皮爾遜相關(guān)系數(shù)，對教師評分和同伴評分的相關(guān)性進(jìn)行檢驗(yàn)，結(jié)果見表5。教師與同伴評分之間的皮爾遜相關(guān)系數(shù)為0.87，Sig值為0.001＜0.01，在0.01水平（雙側(cè)）上呈顯著相關(guān)。這說明評分者的一致性很高，同伴評分與教師評分之間具有相關(guān)性，且同伴評分結(jié)果是有效的，學(xué)習(xí)者具備一定的評價(jià)同伴作業(yè)的能力。

表5 教師與同伴使用量規(guī)評分的皮爾遜相關(guān)系數(shù)

2. 公平性——評分過程是否公正

通過第一輪研究前測調(diào)查問卷可知，學(xué)習(xí)者對于同伴的互評能力存在一定的質(zhì)疑。第一輪試驗(yàn)之后學(xué)習(xí)者的看法是否發(fā)生變化？本研究在后測問卷中設(shè)置了四道李克特5級量表題對學(xué)習(xí)者的態(tài)度進(jìn)行了調(diào)查。

學(xué)習(xí)者對于自己是否按照量規(guī)評價(jià)同伴作業(yè)以及撰寫評語的平均值分別是4.25與4.75，處于同意與非常同意（見表6）范圍。這表明大多數(shù)學(xué)習(xí)者都能公平公正地對同伴進(jìn)行評價(jià)，尤其是在給同伴撰寫評語方面。

表6 自我評價(jià)的公平性

從表7來看，學(xué)習(xí)者對于同伴的評分（M=4.01）與評語(M=4.34)的評價(jià)皆達(dá)到了4分以上，說明學(xué)習(xí)者對同伴互評結(jié)果還是認(rèn)可的，對其公平性的質(zhì)疑相較前測調(diào)查結(jié)果來看，有所降低。

表7 同伴評價(jià)的公平性

同時(shí)從訪談題“你是否按量規(guī)評價(jià)給同伴評分和撰寫評語？評價(jià)是否公正？”“你認(rèn)為同伴是否按量規(guī)評價(jià)你的作業(yè)，評價(jià)是否公正？”的結(jié)果也可看出學(xué)習(xí)者對于基于量規(guī)的在線同伴互評的公平性的看法。

參與訪談的8位學(xué)習(xí)者，皆認(rèn)為自己在評分過程中是按照量規(guī)評價(jià)的要求對同伴的作品進(jìn)行評分，有7位學(xué)習(xí)者在互評時(shí)寫出了扣分的原因和改進(jìn)意見，有6位學(xué)習(xí)者表示自己得到的分?jǐn)?shù)還是十分公正的。

訪談中學(xué)習(xí)者反饋“雖然可以看到被評者的名字，但是我也不認(rèn)識我評的具體是哪個人，所以能夠減少一些情感因素在里面”“我希望自己很認(rèn)真的評價(jià)別人也能得到同等的回應(yīng)”“大家都根據(jù)量規(guī)來評價(jià)，這樣也能保證公平性” 還有學(xué)習(xí)者認(rèn)為“此次活動所有環(huán)節(jié)設(shè)置得比較恰當(dāng)合適，評價(jià)標(biāo)準(zhǔn)量化，有助于調(diào)動大家學(xué)習(xí)的積極性，而且同一個學(xué)習(xí)者的作品被三個學(xué)習(xí)者評分也彰顯了公平性。”

綜上，學(xué)習(xí)者對同伴互評過程及結(jié)果的公平性還是持滿意態(tài)度的，加入量規(guī)，保證了評分和評語的公平與有效。

（二）量規(guī)的有效性分析

已有研究表明，量規(guī)在完成同伴互評時(shí)提供了明確的指導(dǎo)方針，為解決一些同伴互評時(shí)存在的問題提供了可能的解決方案。量規(guī)可以提高學(xué)習(xí)者的表現(xiàn)，可以促進(jìn)其自我評估和自我調(diào)節(jié)，從而提高學(xué)習(xí)者理解和利用反饋的能力。本研究主要是從學(xué)習(xí)者對于在線同伴互評中使用量規(guī)評價(jià)的滿意度以及量規(guī)作為評價(jià)工具的有用性兩個方面來考察量規(guī)的有效性。

1. 學(xué)習(xí)者對量規(guī)的滿意度

后測問卷中設(shè)置了3個項(xiàng)目調(diào)查量規(guī)的被認(rèn)可程度（見表8），包括“我喜歡使用量規(guī)評價(jià)同伴的作業(yè)”（M=4.59），“我喜歡根據(jù)量規(guī)要求完成作業(yè)”（M=4.33），“我希望老師能提供量規(guī)”（M=4.15）。

表8 對量規(guī)的滿意度

2. 量規(guī)的作用

同伴互評活動中引入量規(guī)能夠解決幫助學(xué)習(xí)者明確作業(yè)要求等問題，在指導(dǎo)學(xué)習(xí)者學(xué)習(xí)過程中起到重要作用。同時(shí)，將量規(guī)應(yīng)用于同伴互評，在實(shí)現(xiàn)評分公平方面發(fā)揮了一定的積極作用。從下頁表9可知，量規(guī)在幫助明確作業(yè)要求的均值為4.06，引導(dǎo)修改和完善作業(yè)的均值為4.09，規(guī)范作業(yè)評分要求，促進(jìn)評分公平的均值為4.09。但學(xué)習(xí)者對于如何利用量規(guī)來評價(jià)同伴作業(yè)的均值為3.78，這方面還有待改進(jìn)。

表9 量規(guī)的有效性

從問卷和訪談結(jié)果來看，學(xué)習(xí)者對量規(guī)的作用持認(rèn)可態(tài)度，尤其是量規(guī)在幫助學(xué)習(xí)者完成和完善作業(yè)方面發(fā)揮了重要作用。結(jié)合訪談題“你認(rèn)為使用量規(guī)進(jìn)行作業(yè)評價(jià)對自己評價(jià)他人作業(yè)有幫助嗎？”“你認(rèn)為使用量規(guī)進(jìn)行作業(yè)評價(jià)對反思自己作業(yè)完成情況有幫助嗎？”摘取了部分被訪談學(xué)習(xí)者對于將量規(guī)應(yīng)用于互評活動中的態(tài)度和看法。受訪者A表示：“量規(guī)能夠?qū)⒆鳂I(yè)要求用數(shù)值體現(xiàn)出來，更客觀。然后根據(jù)賦值高低，就可以看出那些點(diǎn)比較重要?！笔茉L者B表示：“可以更加了解答案的細(xì)節(jié)，學(xué)會從多個角度去評價(jià)作業(yè)。”受訪者C表示：“更加認(rèn)真對待作業(yè)了吧，評分的規(guī)則很詳細(xì)，自己知道如何完善作業(yè)?！?/p>

（三）基于量規(guī)的在線同伴互評的應(yīng)用效果分析

1.對學(xué)習(xí)者作品質(zhì)量的作用

在第二輪課程中，學(xué)習(xí)者形成的最直接的成果是文獻(xiàn)綜述。作業(yè)包括文獻(xiàn)綜述初稿和文獻(xiàn)綜述修改稿，初稿代表了學(xué)習(xí)者個人按照對任務(wù)的先前理解所完成的成果，修改稿便是學(xué)習(xí)者經(jīng)過同伴互評活動后，在同伴的反饋意見“協(xié)助”下修改后的成果。

文獻(xiàn)綜述作為本輪研究重要的評價(jià)任務(wù)之一，其變化程度對研究者分析同伴互評對學(xué)習(xí)者的學(xué)習(xí)效果的影響差異具有重要的意義。為此，研究首先分析學(xué)習(xí)者在參與同伴互評活動后，其完成任務(wù)的質(zhì)量是否有所提升。表10是學(xué)習(xí)者兩次提交作業(yè)質(zhì)量的對比情況。

表10 作業(yè)質(zhì)量對比分析

從表10可見，學(xué)習(xí)者在該同伴互評活動中提交了兩個作業(yè)。兩次作業(yè)的成績存在顯著性差異（P=0.000＜0.001），而且第二次作業(yè)成績相比第一次作業(yè)成績有顯著提高。

后期訪談?wù){(diào)查收集學(xué)習(xí)者對基于量規(guī)的同伴互評活動的看法。部分被訪談?wù)弑硎緟⑴c活動可以幫助他們提高作品質(zhì)量。被訪者A表示：“我認(rèn)為通過評價(jià)對方的作品，能夠更快抓住作業(yè)任務(wù)中的要點(diǎn)并掌握，并且互評能夠幫助我了解其他學(xué)習(xí)者的學(xué)習(xí)水平，對自身的作業(yè)進(jìn)行調(diào)整。”被訪者B表示：“這門課程的互評要求是設(shè)計(jì)得非常細(xì)致的，有利于我更好地完成作業(yè)，其他同學(xué)的評語能幫助我快速查缺補(bǔ)漏?！北辉L者C表示：“通過互評可以加深對知識點(diǎn)的理解，看到自身不足的地方?！北辉L者D表示：“互評時(shí)可以進(jìn)一步了解作業(yè)要求，在評價(jià)同學(xué)們的作業(yè)過程中拓展思路、開闊視野?！?/p>

2. 對課程學(xué)習(xí)的作用

從表11可看出，參與基于量規(guī)的在線同伴互評可以提高學(xué)習(xí)者的學(xué)習(xí)積極性（M=4.28），幫助其監(jiān)控自己的學(xué)習(xí)情況（M=4.45）。

表11 基于量規(guī)的同伴互評對課程學(xué)習(xí)的作用

從中期調(diào)查和后測問卷中的開放性問題 “參與基于量規(guī)的在線同伴互評活動中有哪些收獲？”的回答結(jié)果來看，在慕課中使用基于量規(guī)的在線同伴互評對于學(xué)習(xí)者的課程學(xué)習(xí)有著積極影響。

學(xué)習(xí)者1：“互評作業(yè)可以看到大家很有意思的想法，碰撞出思維火花。” 學(xué)習(xí)者2：“互評能夠幫助我了解其他學(xué)習(xí)者的學(xué)習(xí)水平對自身的學(xué)習(xí)狀況進(jìn)行調(diào)整?！?學(xué)習(xí)者3：“加深了對課程知識點(diǎn)的理解，同時(shí)給他人評分讓自己有成就感，學(xué)習(xí)的動力更加充足了?！?/p>

3. 提升學(xué)習(xí)者能力的作用

在第二輪研究中，通過問卷調(diào)查學(xué)習(xí)者參加互評活動對他們的能力產(chǎn)生的影響。從下頁表12可以看出，同伴互評在提高學(xué)習(xí)者的“自我反思能力”“學(xué)習(xí)能力”和“分析評價(jià)能力”方面效果突出，均值在4.5以上。

表12 基于量規(guī)的同伴互評對學(xué)習(xí)者能力的作用

有學(xué)習(xí)者在訪談中指出：印象最深刻的是互評作業(yè)，了解到其他同學(xué)的作答情況，與自身相比可以發(fā)現(xiàn)自己的不足從而改進(jìn)。

五、結(jié)論與反思

（一）結(jié)論

1. 基于量規(guī)的在線同伴互評應(yīng)用于在線課程是可行的

第一輪研究結(jié)果表明，同伴互評的作業(yè)的平均分?jǐn)?shù)與教師批改該作業(yè)所給出的分?jǐn)?shù)較為接近，同伴對同一份作業(yè)給出的分?jǐn)?shù)之間也具有較高的一致性，而且在公平性和有效性方面也得到了學(xué)習(xí)者的認(rèn)可。因此，在線課程中實(shí)施基于量規(guī)的在線同伴互評是可行的。

2. 量規(guī)在一定程度上提高了同伴互評的有效性

量規(guī)可以讓評分者在給同伴評分的過程中發(fā)現(xiàn)自己作品的不足，在促進(jìn)學(xué)習(xí)者學(xué)習(xí)和提高互評活動的客觀性和公平性方面起到了重要作用。同時(shí)，量規(guī)在互評中也發(fā)揮了作業(yè)標(biāo)準(zhǔn)的作用，可以幫助學(xué)習(xí)者理解任務(wù)，更好地完成作業(yè)。

3. 基于量規(guī)的在線同伴互評是一種有效的評價(jià)方式，可以促進(jìn)學(xué)習(xí)者學(xué)習(xí)，提高學(xué)習(xí)者的學(xué)習(xí)參與

對學(xué)習(xí)者學(xué)習(xí)效果進(jìn)行分析，主要是學(xué)習(xí)成績與課程學(xué)習(xí)。在第二輪研究中針對第四次互評作業(yè)“文獻(xiàn)綜述”展開分析，教師要求學(xué)習(xí)者收到同伴的反饋意見后修改作業(yè)再次提交。其中第一次作業(yè)評價(jià)方式為同伴互評，第二次的評價(jià)方式是教師評價(jià)。通過對比兩次作業(yè)提交結(jié)果發(fā)現(xiàn)，第二次提交的作業(yè)成績得分遠(yuǎn)遠(yuǎn)高于第一次作業(yè)成績得分。兩輪研究的學(xué)習(xí)者訪談顯示，無論是在校內(nèi)在線學(xué)習(xí)平臺還是在中國大學(xué)慕課平臺，大部分學(xué)習(xí)者認(rèn)為參與基于量規(guī)的在線同伴互評活動可以幫助自己堅(jiān)持課程學(xué)習(xí)，提高了學(xué)習(xí)積極性。

4. 基于量規(guī)的在線同伴互評提高了學(xué)習(xí)者的能力，包括分析評價(jià)能力、學(xué)習(xí)能力和自我反思能力

對基于量規(guī)的在線同伴互評的實(shí)施效果分析，學(xué)習(xí)者認(rèn)為該評價(jià)方式促進(jìn)了學(xué)習(xí)者能力的提升。進(jìn)行評價(jià)時(shí)，學(xué)習(xí)者不僅要參考量規(guī)的標(biāo)準(zhǔn)來判斷同伴或自己作業(yè)的質(zhì)量并進(jìn)行評分，而且還要對評分做出解釋并提供反饋建議。在這個過程中，發(fā)展了學(xué)習(xí)者的“分析評價(jià)能力”“學(xué)習(xí)能力”和“自我反思能力”。對比兩輪研究（第一輪1次，第二輪4次），學(xué)習(xí)者參與活動的次數(shù)越多，他們的能力提升越明顯。

（二）討論與反思

1. 在線同伴互評的參與率

高輟學(xué)率和低結(jié)課率一直是慕課課程存在的突出問題，而學(xué)習(xí)者的高輟學(xué)率不利于在線同伴互評活動的開展。訪談發(fā)現(xiàn)，其原因一是學(xué)習(xí)者認(rèn)為參與同伴評價(jià)對評價(jià)者自身能力有較高要求，評分前需花時(shí)間仔細(xì)閱讀量規(guī)并評價(jià)同伴的作品。收到反饋后，要重新修改自己的作業(yè)也會給學(xué)習(xí)者帶來負(fù)擔(dān)。其次，在線同伴互評需要學(xué)習(xí)者從課程伊始便參與進(jìn)來，每一個步驟都有時(shí)間限定，如果錯過其中任意一個步驟，都不能完成互評活動。部分學(xué)習(xí)者會因?yàn)殄e過一次互評影響課程成績從而選擇終止學(xué)習(xí)。今后的研究可以進(jìn)一步探究如何留住在線學(xué)習(xí)者、如何保證學(xué)習(xí)者在線同伴互評活動中的參與率。

2. 同伴反饋的使用效率

在線同伴互評中及時(shí)提供有關(guān)學(xué)習(xí)者作業(yè)的形成性和總結(jié)性反饋對于學(xué)習(xí)者來說至關(guān)重要。一是能提高反饋的質(zhì)量。首先用量規(guī)來明確“優(yōu)秀作業(yè)”的標(biāo)準(zhǔn)，保證評價(jià)者和被評價(jià)者對于“優(yōu)秀的答案”產(chǎn)生共識，然后再明確同伴反饋的要求，加強(qiáng)對評語反饋質(zhì)量的監(jiān)督。二是通過互評的迭代可以促進(jìn)學(xué)習(xí)者對同伴反饋建議的使用，即要求學(xué)習(xí)者根據(jù)反饋意見重新修改并再次提交；如有需要，可就修改提交作業(yè)再次開展互評。在第二輪研究的第四次互評活動中，綜述作業(yè)的修改稿相比初稿的質(zhì)量得到提升，大多數(shù)學(xué)習(xí)者反映會在修改自己作業(yè)的過程中參考并使用自己提供給同伴的反饋意見。

3. 在線同伴互評的信度與效度

本研究分析學(xué)習(xí)者互評分?jǐn)?shù)的穩(wěn)定性和一致性后發(fā)現(xiàn)，盡管部分評分之間存在較大差異，但整體來說評分者之間信度較好。這表明學(xué)習(xí)者也可以成為可信的評分者，在線同伴互評的結(jié)果是可靠的。量規(guī)的加入在一定程度上提高了互評結(jié)果的可信度，前提是教師與學(xué)習(xí)者能夠?qū)α恳?guī)中的標(biāo)準(zhǔn)達(dá)成共識。edX和Coursera等國際在線學(xué)習(xí)平臺采用模擬訓(xùn)練的方式幫助學(xué)習(xí)者熟悉量規(guī)，其中edX還規(guī)定只有通過模擬評分的學(xué)習(xí)者才可參加互評。但由于互評本身就費(fèi)時(shí)較多，加入互評訓(xùn)練是否會增加學(xué)習(xí)者負(fù)擔(dān)還需進(jìn)一步研究。在互評的效度方面，除了學(xué)習(xí)者在互評時(shí)應(yīng)該具有一定專業(yè)知識和評價(jià)技能以外，教師的指導(dǎo)可以保證同伴評價(jià)活動的有效性。

4. 時(shí)間

時(shí)間是影響學(xué)習(xí)者參與互評活動的重要因素之一。在同伴互評中，學(xué)習(xí)者需要花費(fèi)較多的時(shí)間來仔細(xì)思考、分析同伴的作業(yè)并提出改進(jìn)建議，但學(xué)習(xí)者獲得的收獲也將更多，且學(xué)習(xí)者需要足夠的時(shí)間來思考如何更完善地作業(yè)。再就是，學(xué)習(xí)者容易錯過任務(wù)完成的時(shí)間節(jié)點(diǎn)。在第二輪研究的第一次互評中，許多學(xué)習(xí)者因?yàn)殄e過提交互評作業(yè)而導(dǎo)致不能參與后續(xù)流程，最后只能通過修改活動時(shí)間以及開設(shè)補(bǔ)交作業(yè)通道解決該問題。為避免這種情況的發(fā)生，需在互評任務(wù)的每一個時(shí)間節(jié)點(diǎn)多渠道發(fā)布通知，提醒學(xué)習(xí)者及時(shí)參與。為減輕學(xué)習(xí)者的負(fù)擔(dān)，后續(xù)將四次互評作業(yè)改為三次。