周 玲

（韶關(guān)學(xué)院 教育學(xué)院，廣東 韶關(guān) 512005）

國(guó)內(nèi)外在線同伴評(píng)價(jià)有效性的對(duì)比研究

周 玲

（韶關(guān)學(xué)院 教育學(xué)院，廣東 韶關(guān) 512005）

本研究在特諾里奧等的在線同伴評(píng)價(jià)有效性的研究基礎(chǔ)上，通過(guò)系統(tǒng)文獻(xiàn)分析法對(duì)國(guó)外2014-2016年和國(guó)內(nèi)2004-2016年在線同伴評(píng)價(jià)的文獻(xiàn)進(jìn)行梳理，進(jìn)一步完善特諾里奧等的結(jié)論。通過(guò)國(guó)內(nèi)外對(duì)比分析，指出國(guó)內(nèi)在線同伴評(píng)價(jià)研究的局限：應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏在線同伴評(píng)價(jià)實(shí)踐研究等問(wèn)題。預(yù)測(cè)基于大樣本的在線同伴評(píng)價(jià)實(shí)證研究趨勢(shì)。最后，提出側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)；以大樣本、實(shí)證性研究為主的評(píng)價(jià)系統(tǒng)優(yōu)化路徑；以機(jī)器學(xué)習(xí)為代表的技術(shù)支持下的評(píng)價(jià)量規(guī)優(yōu)化路徑和教師引導(dǎo)下的可控性在線同伴評(píng)價(jià)實(shí)施優(yōu)化路徑。

在線教育；同伴評(píng)價(jià)；游戲化；機(jī)器學(xué)習(xí)

同伴評(píng)價(jià)是學(xué)習(xí)者對(duì)具有相同水平的學(xué)習(xí)同伴的學(xué)習(xí)作品或成果的評(píng)價(jià)，評(píng)價(jià)依據(jù)同伴作品完成的數(shù)量、水平、價(jià)值、作用、質(zhì)量等。1998年，托平（Topping）通過(guò)系統(tǒng)文獻(xiàn)綜述法證明同伴評(píng)價(jià)在高等教育的很多學(xué)科應(yīng)用，且信、效度水平均在可接受的范圍內(nèi)［1］。我國(guó)遠(yuǎn)程教育領(lǐng)域研究者很早就開始應(yīng)用并推廣同伴評(píng)價(jià)。2012年“MOOC元年”至今，由于參與學(xué)習(xí)人數(shù)龐大，給教師和助教團(tuán)隊(duì)帶來(lái)很大負(fù)擔(dān)。在線課程平臺(tái)中參與網(wǎng)絡(luò)課程的人數(shù)激增，為快速有效地對(duì)眾多學(xué)習(xí)者的課程作業(yè)進(jìn)行評(píng)估，自評(píng)、互評(píng)和機(jī)器批閱均被應(yīng)用于 MOOC 平臺(tái)中［2］。由于實(shí)施同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的要求更高，開展活動(dòng)難度更大，學(xué)習(xí)者的動(dòng)機(jī)弱，怨言很多。到目前為止，沒(méi)有研究明確指出在線同伴評(píng)價(jià)的優(yōu)、劣勢(shì)所在，即在線同伴評(píng)價(jià)的有效性亟待驗(yàn)證。特諾里奧等（T.Tenorio et al.）通過(guò)對(duì)2004-2014年，與主題“在線同伴評(píng)價(jià)”密切相關(guān)的44篇英文文獻(xiàn)進(jìn)行文獻(xiàn)分析，試圖證明在線同伴評(píng)價(jià)的有效性，該文發(fā)表在2016年《Computers in Human Behavior》雜志上［3］。本研究在此基礎(chǔ)上，對(duì)國(guó)外2015-2016年和國(guó)內(nèi)2004-2016年的文獻(xiàn)進(jìn)行梳理，以期進(jìn)一步完善特諾里奧等的研究結(jié)論。通過(guò)國(guó)內(nèi)外相關(guān)研究的對(duì)比分析，探索提高在線同伴評(píng)價(jià)有效性的路徑。

一、研究問(wèn)題及方法

在線同伴評(píng)價(jià)有效性的證明，最重要的是找到在線環(huán)境下，同伴評(píng)價(jià)提升教學(xué)效果的證據(jù)。主要研究?jī)?nèi)容如下：

（1）在線同伴評(píng)價(jià)應(yīng)用在什么樣的領(lǐng)域和教學(xué)層次？

（2）使用在線同伴評(píng)價(jià)的目的？

（3）是否有證據(jù)表明在線同伴評(píng)價(jià)的使用提高了學(xué)習(xí)效果？

（4）是否有證據(jù)表明在線同伴評(píng)價(jià)的使用對(duì)老師有幫助？

（5）在線學(xué)習(xí)環(huán)境下使用同伴評(píng)價(jià)是否有困難？

針對(duì)以上五個(gè)問(wèn)題，在特諾里奧等研究的基礎(chǔ)上，本文通過(guò)文獻(xiàn)分析法對(duì)2004-2016年國(guó)內(nèi)外文獻(xiàn)進(jìn)行統(tǒng)計(jì)分析，試圖找到以上五個(gè)問(wèn)題的答案。檢索國(guó)外數(shù)據(jù)庫(kù)（ACM Digital Library、IEEE Xplore、Science Direct、Springer Link、SCI），與主題緊密相關(guān)的2015-2016年文獻(xiàn)共15篇。見(jiàn)表1檢索中國(guó)知網(wǎng)2004-2016年與主題緊密相關(guān)的文獻(xiàn)共18篇。

表1 檢索文獻(xiàn)關(guān)鍵詞

二、國(guó)內(nèi)外在線同伴評(píng)價(jià)的有效性對(duì)比分析

針對(duì)以上五個(gè)問(wèn)題，下文在特諾里奧等研究數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步補(bǔ)充國(guó)際2015-2016年9月的文獻(xiàn)。國(guó)內(nèi)文獻(xiàn)統(tǒng)計(jì)數(shù)據(jù)分布為2004-2016年9月。下文將特諾里奧等的研究結(jié)論簡(jiǎn)稱T結(jié)論。

（一） 問(wèn)題一：在線同伴評(píng)價(jià)應(yīng)用在什么樣的領(lǐng)域和教學(xué)層次

T結(jié)論：同伴評(píng)價(jià)更多應(yīng)用于高校在線課程。在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域，2015年前局限于高校和工業(yè)，之后擴(kuò)展到教師培訓(xùn)領(lǐng)域，可查的第一個(gè)教師培訓(xùn)項(xiàng)目是香港開展的基于wiki職前教師自主學(xué)習(xí)項(xiàng)目［4］。2015之后的18篇文獻(xiàn)中有11篇是高校教學(xué)，見(jiàn)表2。國(guó)際研究側(cè)重在線同伴評(píng)價(jià)在高校教學(xué)中的應(yīng)用推廣。同伴評(píng)價(jià)為課程中成千上萬(wàn)學(xué)生復(fù)雜的作業(yè)評(píng)分提供了有前途的解決方案，這正是以MOOC為代表的在線大學(xué)課程面臨的問(wèn)題。與T結(jié)論相比，國(guó)際在線同伴評(píng)價(jià)的學(xué)術(shù)背景仍然是高校，但應(yīng)用領(lǐng)域逐漸擴(kuò)展。

表2 在線同伴評(píng)價(jià)應(yīng)用領(lǐng)域（2004-2016）①

國(guó)內(nèi)在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次均以高校為主。以高校（72.2%）為主，與國(guó)外（72.8%）基本一致。但在線同伴評(píng)價(jià)在其他領(lǐng)域的應(yīng)用研究基本沒(méi)有，與國(guó)外工業(yè)領(lǐng)域（8.5%）相比，國(guó)內(nèi)在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域相對(duì)狹隘。在線同伴評(píng)價(jià)的應(yīng)用教學(xué)層次方面，側(cè)重在高校（61.1%）高于國(guó)外高校（44.1%）。然而相關(guān)研究在中學(xué)和專業(yè)培訓(xùn)等方面的應(yīng)用基本沒(méi)有，遠(yuǎn)低于國(guó)外中學(xué)（11.9%）和專業(yè)培訓(xùn)（3.4%）見(jiàn)表3。國(guó)內(nèi)外在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次上的側(cè)重點(diǎn)一致，但國(guó)內(nèi)應(yīng)用領(lǐng)域和教學(xué)層次相對(duì)單一，局限于高校和外語(yǔ)教學(xué)。結(jié)論：國(guó)內(nèi)外在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次大致相同，均以高校為主，近兩年應(yīng)用領(lǐng)域逐漸擴(kuò)展；與國(guó)外研究相比，國(guó)內(nèi)在線同伴評(píng)價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次相對(duì)單一。

表3 在線同伴評(píng)價(jià)應(yīng)用的教學(xué)層次（2004-2016）

（二） 問(wèn)題二：使用在線同伴評(píng)價(jià)的目的

T結(jié)論：組建高效的工作團(tuán)隊(duì)和建構(gòu)同伴評(píng)價(jià)系統(tǒng)。在線同伴評(píng)價(jià)使用（見(jiàn)表4）2015年之后的研究開始關(guān)注同伴評(píng)價(jià)策略（5%）。使用同伴評(píng)價(jià)的動(dòng)機(jī)有很多種，不同動(dòng)機(jī)支配下的結(jié)果也有所不同［5］。在線學(xué)習(xí)環(huán)境下如何使用同伴評(píng)價(jià)達(dá)到最科學(xué)的評(píng)價(jià)結(jié)果。在線同伴評(píng)價(jià)的信、效度，在線同伴評(píng)價(jià)分?jǐn)?shù)和等級(jí)算法的優(yōu)化是進(jìn)一步完善在線同伴評(píng)價(jià)的科學(xué)路徑。寫作文本（16.9%）和課程活動(dòng)（28.8%）依然是主要研究?jī)?nèi)容。2015年之后的國(guó)外文獻(xiàn)開始側(cè)重在線同伴評(píng)價(jià)體系（10.1%）見(jiàn)表4。與T結(jié)論相比，國(guó)際在線同伴評(píng)價(jià)的目的從組建高效的工作團(tuán)隊(duì)和建構(gòu)同伴評(píng)價(jià)系統(tǒng)轉(zhuǎn)向提高工作小組技能和同伴評(píng)價(jià)的科學(xué)性轉(zhuǎn)變，研究逐漸深入。

表4 在線同伴評(píng)價(jià)的應(yīng)用目的（2004-2016）

國(guó)內(nèi)在線同伴評(píng)價(jià)的目的集中在課程內(nèi)容評(píng)價(jià)（寫作文本22.2%和課程活動(dòng)16.7%）和提高同伴評(píng)價(jià)的科學(xué)性（評(píng)價(jià)策略16.7%和評(píng)價(jià)系統(tǒng)27.7%），側(cè)重點(diǎn)與國(guó)外基本一致。然而，國(guó)內(nèi)研究在教師創(chuàng)建在線課程和提高工作小組技能方面基本沒(méi)有。實(shí)踐與研究沒(méi)有同步，出現(xiàn)這一現(xiàn)狀的原因與我國(guó)開展在線同伴評(píng)價(jià)實(shí)踐較少，對(duì)同伴評(píng)價(jià)的重視度不夠有關(guān)。國(guó)內(nèi)在線同伴評(píng)價(jià)的目的與國(guó)外側(cè)重點(diǎn)基本一致，但其基于實(shí)踐需求的研究相對(duì)缺失。結(jié)論：國(guó)內(nèi)外在線同伴評(píng)價(jià)的目的側(cè)重點(diǎn)大致相同，均以提高工作小組技能和同伴評(píng)價(jià)的科學(xué)性為主；與國(guó)外研究相比，國(guó)內(nèi)在線同伴評(píng)價(jià)基于實(shí)踐需求的研究相對(duì)缺失。

（三） 問(wèn)題三：是否有證據(jù)表明同伴評(píng)價(jià)使用提高了學(xué)習(xí)效果

T結(jié)論：超過(guò)60%的文獻(xiàn)證明同伴評(píng)價(jià)提高了在線學(xué)習(xí)環(huán)境下的學(xué)習(xí)效果。在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的影響（見(jiàn)表5）方面，國(guó)外2015年之后的研究更加注重實(shí)證研究（15篇文獻(xiàn)中有13篇是實(shí)證研究）。較之T結(jié)論同伴評(píng)價(jià)提高學(xué)習(xí)效果的文獻(xiàn)比率從60%升至71.1%（有實(shí)證的積極評(píng)價(jià)54.2%+沒(méi)有實(shí)證的積極評(píng)價(jià)16.9%）。從這一結(jié)果來(lái)看，在線同伴評(píng)價(jià)的實(shí)施對(duì)提高學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)的作用是正面的，這一結(jié)論為以后在線同伴評(píng)價(jià)的應(yīng)用推廣提供了充分的理論依據(jù)。國(guó)際在線同伴評(píng)價(jià)與T結(jié)論一致，且進(jìn)一步證明其結(jié)論的科學(xué)性（比率從60%提高至70.1%），見(jiàn)表5。

表5 在線同伴評(píng)價(jià)應(yīng)用對(duì)學(xué)習(xí)者的影響（2004-2016）

國(guó)內(nèi)使用在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用全是正面的（見(jiàn)表5），持正面觀點(diǎn)的文獻(xiàn)比率達(dá)到90%（有實(shí)證的積極評(píng)價(jià)55.6%+沒(méi)有實(shí)證的積極評(píng)價(jià)33.3%）。這一結(jié)論與國(guó)外研究總體趨勢(shì)一致，且有實(shí)證的積極評(píng)價(jià)研究（55.6%）與國(guó)外（54.2%）基本一致。然而，沒(méi)有實(shí)證的積極評(píng)價(jià)研究（33.3%）則遠(yuǎn)高于國(guó)外（16.9%），說(shuō)明國(guó)內(nèi)有較大一部分研究處于理論分析階段。進(jìn)一步梳理國(guó)內(nèi)文獻(xiàn)，值得一提的是馬志強(qiáng)等人的研究。從可查的18篇文獻(xiàn)中有3篇來(lái)自于馬志強(qiáng)等人。從2014年的文獻(xiàn)綜述，到網(wǎng)絡(luò)同伴評(píng)價(jià)的學(xué)習(xí)活動(dòng)設(shè)計(jì)與應(yīng)用，再到2016年的網(wǎng)絡(luò)同伴互評(píng)中反饋評(píng)語(yǔ)的類型與效果分析。馬志強(qiáng)等人的研究均以實(shí)證性為主，逐步深入，形成完善的系統(tǒng)理論，對(duì)我們?cè)诰€同伴評(píng)價(jià)的發(fā)展意義重大。結(jié)論：國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用是一致的，至少有70%的研究文獻(xiàn)證明同伴評(píng)價(jià)提高在線學(xué)習(xí)效果；與國(guó)外研究相比，國(guó)內(nèi)在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用的實(shí)證性稍顯不足。

（四） 問(wèn)題四：是否有證據(jù)表明使用同伴評(píng)價(jià)對(duì)老師有幫助

T結(jié)論：至少34.09%的研究表明在線同伴評(píng)價(jià)可以幫助教師。國(guó)外2015年之后與之前的研究基本沒(méi)有變化，即至少有35.6%（有實(shí)證的積極評(píng)價(jià)11.9%+沒(méi)有實(shí)證評(píng)價(jià)的積極評(píng)價(jià)23.7%）的研究持積極觀點(diǎn)。國(guó)內(nèi)文獻(xiàn)對(duì)在線同伴評(píng)價(jià)對(duì)教師的積極作用的比率為27.8%，低于國(guó)外文獻(xiàn)的比率?？傮w來(lái)看，國(guó)內(nèi)外對(duì)這一方面的關(guān)注度都不高。國(guó)內(nèi)這一方面的研究全部沒(méi)有實(shí)證，低于國(guó)外實(shí)證研究的比率（11.9%），見(jiàn)表6。這一現(xiàn)象與在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的影響方面的情況類似。以上數(shù)據(jù)說(shuō)明國(guó)內(nèi)在在線同伴評(píng)價(jià)對(duì)教師的影響國(guó)外側(cè)觀點(diǎn)一致，國(guó)內(nèi)在實(shí)證性研究方面稍落后于國(guó)外。結(jié)論：國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評(píng)價(jià)對(duì)教師的工作有幫助；與國(guó)外研究相比，國(guó)內(nèi)在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用的實(shí)證性研究落后于國(guó)外。

表6 在線同伴評(píng)價(jià)應(yīng)用對(duì)教師的影響（2004-2016）

（五） 問(wèn)題五：在線學(xué)習(xí)環(huán)境下使用同伴評(píng)價(jià)是否有困難

T結(jié)論：至少有30%的研究表明在線同伴評(píng)價(jià)應(yīng)用存在困難。國(guó)外2015年之后與之前的研究基本一致，至少有38.9%（有實(shí)證的積極評(píng)價(jià)0+沒(méi)有實(shí)證評(píng)價(jià)的積極評(píng)價(jià)38.9%）的研究持積極觀點(diǎn)，見(jiàn)表7。國(guó)內(nèi)文獻(xiàn)對(duì)在線同伴評(píng)價(jià)的實(shí)施困難持積極觀點(diǎn)的比率為44.4%，國(guó)內(nèi)外研究基本一致。總體來(lái)看，國(guó)內(nèi)外對(duì)這一方面的關(guān)注度都不高，且都沒(méi)有實(shí)證性的研究。實(shí)施在線同伴評(píng)價(jià)的困難包括以下幾方面：在采用問(wèn)卷調(diào)查時(shí)教師需要采用標(biāo)準(zhǔn)，仔細(xì)設(shè)計(jì)問(wèn)卷；設(shè)計(jì)優(yōu)秀反饋；充分的準(zhǔn)備和指導(dǎo)要領(lǐng)是成功的關(guān)鍵［6］。結(jié)論：國(guó)內(nèi)外在線同伴評(píng)價(jià)實(shí)施困難主要表現(xiàn)在評(píng)價(jià)量規(guī)及活動(dòng)指導(dǎo)。

表7 在線同伴評(píng)價(jià)的實(shí)施困難（2004-2016）

根據(jù)以上分析，國(guó)際在線同伴評(píng)價(jià)主要在高校教學(xué)中應(yīng)用，其應(yīng)用領(lǐng)域在逐漸擴(kuò)寬；主要以提高小組技能和同伴評(píng)價(jià)的科學(xué)性為目的；國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用是一致的，即至少有70%研究文獻(xiàn)證明同伴評(píng)價(jià)提高了在線學(xué)習(xí)環(huán)境下學(xué)生的學(xué)習(xí)表現(xiàn)；國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)教師的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評(píng)價(jià)對(duì)教師的工作有幫助；在線同伴評(píng)價(jià)能夠提高學(xué)習(xí)者的學(xué)習(xí)效果已是沒(méi)有爭(zhēng)議的事實(shí)，然而此結(jié)論主要適用于高校教學(xué)，較少涉及到中學(xué)和教師培訓(xùn)領(lǐng)域。雖然實(shí)證研究（54.2%）的比率較高，但大部分的研究是基于小樣本開展實(shí)驗(yàn)得出的結(jié)論，是否適合大規(guī)模的在線課程則是有待進(jìn)一步證明的問(wèn)題。除此之外，在具體實(shí)踐中的實(shí)踐困難分析（0）和對(duì)教師的影響（11.9%）均缺乏足夠的實(shí)證研究。隨著在線課程的大規(guī)模使用，預(yù)測(cè)未來(lái)建立在大樣本基礎(chǔ)上的在線同伴評(píng)價(jià)實(shí)證研究將會(huì)越來(lái)越多。

與國(guó)外在線同伴評(píng)價(jià)研究相比，國(guó)內(nèi)研究整體與國(guó)際趨勢(shì)保持一致。但國(guó)內(nèi)對(duì)這一領(lǐng)域的關(guān)注度不高，研究的起步和發(fā)展落后于國(guó)外。與國(guó)外研究相比國(guó)內(nèi)研究存在應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏以在線同伴評(píng)價(jià)實(shí)踐需求出發(fā)而開展的研究等問(wèn)題。

三、提高在線同伴評(píng)價(jià)有效性的優(yōu)化路徑分析

筆者在借鑒前人研究成果的基礎(chǔ)上，將在線同伴評(píng)價(jià)分為主體（學(xué)習(xí)者）包括學(xué)習(xí)者的心理機(jī)制和學(xué)習(xí)者樣本、主導(dǎo)（教師）包括教學(xué)設(shè)計(jì)和教學(xué)管理和評(píng)價(jià)方法（評(píng)價(jià)量規(guī)）包括評(píng)價(jià)系統(tǒng)和技術(shù)三個(gè)方面?；趪?guó)內(nèi)外在線同伴評(píng)價(jià)有效性的對(duì)比結(jié)果，提出四條在線同伴評(píng)價(jià)有效性的優(yōu)化路徑。

（一） 對(duì)象：側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)提高其有效性

同伴評(píng)價(jià)的心理出發(fā)點(diǎn)是利用人類比較判斷的能力。與單獨(dú)的刺激物相比，刺激物相對(duì)應(yīng)其它刺激物時(shí)，人類能進(jìn)行更好的判斷。比較條件沒(méi)有提高學(xué)生做出每個(gè)判斷的能力，而是開發(fā)了人類做準(zhǔn)確比較的能力［5］。同伴評(píng)價(jià)的心理出發(fā)點(diǎn)首先是動(dòng)機(jī)。學(xué)生可能沒(méi)有足夠的知識(shí)來(lái)評(píng)閱同行的工作，給出一個(gè)公正的評(píng)價(jià)。由此造成組織同伴評(píng)價(jià)過(guò)程中學(xué)習(xí)者缺乏自信［7］。學(xué)生給出的評(píng)價(jià)帶著明顯的自我的優(yōu)缺點(diǎn)，同時(shí)影響著學(xué)習(xí)者的下個(gè)學(xué)習(xí)過(guò)程［8］。其次，是年齡等特征。開展在線同伴評(píng)價(jià)的前提條件要求學(xué)習(xí)者的具有較高的知識(shí)儲(chǔ)備、合作能力和元認(rèn)知能力等。一般情況下，大學(xué)生是相對(duì)成熟的人群較適合開展在線同伴評(píng)價(jià)。最后，人際關(guān)系等其他特征。大學(xué)生是能動(dòng)的個(gè)性獨(dú)立個(gè)體，其人際關(guān)系等其他特征也影響著著在線同伴評(píng)價(jià)的學(xué)習(xí)效果。

深入分析在線同伴評(píng)價(jià)模型與在線游戲模型相似度極高。游戲化是使用機(jī)械、思想和美學(xué)游戲（內(nèi)容、快速反饋、競(jìng)爭(zhēng)、階級(jí)、成果和分?jǐn)?shù)等）、吸引人們、激勵(lì)措施、促進(jìn)學(xué)習(xí)和解決問(wèn)題。在線同伴評(píng)價(jià)過(guò)程同樣存在游戲化的幾個(gè)基本步驟，首先是反饋，在線同伴評(píng)價(jià)過(guò)程中，學(xué)生通過(guò)彼此間接收和給出反饋來(lái)學(xué)習(xí)［9］；其次是競(jìng)爭(zhēng)，當(dāng)參與在線同伴評(píng)價(jià)的學(xué)習(xí)者來(lái)自不同學(xué)校時(shí)，其結(jié)果存在明顯的競(jìng)爭(zhēng)效應(yīng)，即學(xué)習(xí)者傾向于給同校學(xué)習(xí)者更高分?jǐn)?shù)而給外校學(xué)習(xí)者的要求則更嚴(yán)格［10］。最后是階級(jí)、成果和分?jǐn)?shù)等，游戲化的元素應(yīng)用在教學(xué)模型中積極影響學(xué)生的狀態(tài)，鼓勵(lì)他們參與教學(xué)過(guò)程，獲得獎(jiǎng)勵(lì)（績(jī)點(diǎn)、晉級(jí)和戰(zhàn)利品）。研究證明基于游戲的在線同伴評(píng)價(jià)模型將參與學(xué)習(xí)活動(dòng)的學(xué)習(xí)參與度提高到64.28%，作業(yè)提交量增加了10.53%，且隨著活動(dòng)的進(jìn)行，每份作業(yè)的數(shù)量和質(zhì)量都有所提高［9］。筆者認(rèn)為側(cè)重學(xué)習(xí)者心理機(jī)制，以游戲模型為主的教學(xué)設(shè)計(jì)是提高在線同伴評(píng)價(jià)有效性的可選路徑。

（二） 目的：以大樣本、實(shí)證性研究為主的評(píng)價(jià)系統(tǒng)提高其有效性

國(guó)內(nèi)外在線同伴評(píng)價(jià)的目的側(cè)重點(diǎn)均以提高工作小組技能和同伴評(píng)價(jià)的科學(xué)性為主；與國(guó)外研究相比，國(guó)內(nèi)基于實(shí)踐需求的研究相對(duì)缺失。同伴評(píng)價(jià)適用于合作學(xué)習(xí)和形成性評(píng)價(jià)過(guò)程。同伴評(píng)價(jià)被證明作為評(píng)價(jià)工具和學(xué)習(xí)工具，對(duì)評(píng)價(jià)者、被評(píng)價(jià)者有利［11］。這一方法廣泛使用在大規(guī)模在線課程時(shí)，以MOOC為例，學(xué)習(xí)者來(lái)自不同地域、不同語(yǔ)言背景、甚至不同教育水平和不同學(xué)習(xí)動(dòng)機(jī)等問(wèn)題，那么其信、效度等問(wèn)題則需要進(jìn)一步證明。雖然同伴互評(píng)機(jī)制的設(shè)立使得主觀類試題得到有效評(píng)價(jià)，但學(xué)習(xí)者對(duì)同伴評(píng)價(jià)的準(zhǔn)確性和權(quán)威性表示懷疑。調(diào)查發(fā)現(xiàn)，94%的學(xué)生更喜歡老師評(píng)語(yǔ)［6］。

以大樣本為主的在線同伴評(píng)價(jià)實(shí)施的第一步要解決的是新型評(píng)價(jià)系統(tǒng)的設(shè)計(jì)。大樣本在線同伴評(píng)價(jià)系統(tǒng)的設(shè)計(jì)和實(shí)施的科學(xué)性是制約目前在線同伴評(píng)價(jià)實(shí)踐的主要因素之一。在線同伴評(píng)價(jià)參與者的知識(shí)背景、互評(píng)經(jīng)驗(yàn)、作業(yè)相似度、客觀題得分、擔(dān)任評(píng)閱者的意愿等因素影響著同伴評(píng)價(jià)的效果［2］。科學(xué)的信、效度是在線同伴評(píng)價(jià)應(yīng)用于大規(guī)模在線課程的前提條件。研究者努力改進(jìn)評(píng)價(jià)系統(tǒng)內(nèi)部評(píng)定成績(jī)的算法，提高評(píng)判復(fù)雜任務(wù)有效得分的大規(guī)模制導(dǎo)系統(tǒng)［12］；如果每個(gè)作業(yè)有足夠大的數(shù)量，正確的等級(jí)可以近似于計(jì)算均值或者中位數(shù)；文本作業(yè)采用新型模糊同伴評(píng)價(jià)方法。從大樣本的在線同伴評(píng)價(jià)的實(shí)踐出發(fā)，以實(shí)證性研究推動(dòng)在線評(píng)價(jià)的信、效度的提高，從而提高在線同伴的科學(xué)性，是提高在線同伴評(píng)價(jià)有效性的必然路徑。

（三）提高學(xué)習(xí)效果：以機(jī)器學(xué)習(xí)為代表的技術(shù)支持評(píng)價(jià)量規(guī)優(yōu)化提高其有效性

國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用是一致的，至少有70%的研究文獻(xiàn)證明同伴評(píng)價(jià)提高在線學(xué)習(xí)效果。如何設(shè)計(jì)在線同伴評(píng)價(jià)量規(guī)，才能做到科學(xué)規(guī)范，技術(shù)在其科學(xué)統(tǒng)計(jì)的過(guò)程中占據(jù)重要地位。特別是目前以MOOC為代表的大型開放性在線課程的廣泛使用，技術(shù)顯得更加重要。清晰的評(píng)價(jià)量規(guī)夠有效提高同伴評(píng)價(jià)的有效性與可靠性［13］。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等新技術(shù)在評(píng)價(jià)量規(guī)的優(yōu)化過(guò)程扮演著重要角色，在線評(píng)價(jià)模板和成績(jī)計(jì)算也依賴于深度學(xué)習(xí)和機(jī)械學(xué)習(xí)。例如，通過(guò)匹配算法將學(xué)習(xí)者的答案與模板匹配計(jì)算成績(jī)，通過(guò)機(jī)器學(xué)習(xí)將幾個(gè)理想的答案與學(xué)生的答案相對(duì)比，形成一個(gè)正確答案的子集作為模板。然而也有研究指出如果評(píng)價(jià)安排和傳遞仔細(xì)合理，在沒(méi)有評(píng)價(jià)標(biāo)準(zhǔn)的情況下也可以達(dá)到較好的學(xué)習(xí)效果［14］。

當(dāng)同伴評(píng)價(jià)應(yīng)用于大規(guī)模在線課程時(shí)，遇到評(píng)定內(nèi)容的復(fù)雜性，參與者知識(shí)、技術(shù)背景不同，參與學(xué)習(xí)的意愿不同等眾多情況。與此同時(shí)，在線同伴評(píng)價(jià)適用于大規(guī)模在線課程時(shí)，遭遇了學(xué)習(xí)者在使用同伴評(píng)價(jià)過(guò)程中缺乏自信的情況等。以機(jī)器學(xué)習(xí)、深度學(xué)習(xí)為代表的技術(shù)為依托，優(yōu)化在線同伴評(píng)價(jià)量規(guī)是大規(guī)模在線同伴評(píng)價(jià)目前要解決的主要問(wèn)題之一。

（四）實(shí)施困難：教師引導(dǎo)下可控性在線同伴評(píng)價(jià)實(shí)踐提高其有效性

國(guó)內(nèi)外在線同伴評(píng)價(jià)對(duì)學(xué)習(xí)者的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評(píng)價(jià)對(duì)教師的工作有幫助，國(guó)內(nèi)外在線同伴評(píng)價(jià)實(shí)施困難主要表現(xiàn)在評(píng)價(jià)量規(guī)及活動(dòng)指導(dǎo)。同伴評(píng)價(jià)的設(shè)計(jì)、開展、組織和實(shí)施都是由教師在執(zhí)行，因此教師在同伴評(píng)價(jià)過(guò)程中的作用很重要。然而，在可查的文獻(xiàn)中，國(guó)內(nèi)外很少有研究確切分析教師在開展在線同伴評(píng)價(jià)活動(dòng)中該如何操作。然而事實(shí)證明，一個(gè)成功的在線同伴評(píng)價(jià)活動(dòng)的開展與教師密切相關(guān)。教師負(fù)責(zé)在線同伴評(píng)價(jià)學(xué)習(xí)活動(dòng)的開展，活動(dòng)內(nèi)容的設(shè)計(jì)，評(píng)價(jià)模板的設(shè)計(jì)和評(píng)價(jià)結(jié)果的分析。教師的作用是決不能忽視，應(yīng)分發(fā)揮教師的引導(dǎo)和教學(xué)管理的作用。例如，被學(xué)習(xí)者所詬病的“在線同伴評(píng)價(jià)花費(fèi)太多時(shí)間”的問(wèn)題，可以通過(guò)教師的組織和管理，盡量縮短活動(dòng)開展的時(shí)間。學(xué)生參與在線同伴評(píng)價(jià)的積極性與教師的管理有很大關(guān)系，學(xué)習(xí)者更喜愛(ài)教師參與度較高的學(xué)習(xí)活動(dòng)。教師應(yīng)提出反饋及指導(dǎo)促進(jìn)深度的知識(shí)建構(gòu)［15］，在以文本交流為主的論壇，話題的設(shè)置、及時(shí)回復(fù)、話題的引導(dǎo)等均可以在教師的參與下達(dá)到更好的效果。

四、總結(jié)

通過(guò)國(guó)內(nèi)外在線同伴評(píng)價(jià)有效性的對(duì)比分析，能夠充分認(rèn)識(shí)國(guó)內(nèi)在線同伴評(píng)價(jià)研究的局限性，即存在應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏以在線同伴評(píng)價(jià)實(shí)踐需求出發(fā)而開展的研究等問(wèn)題。針對(duì)以上問(wèn)題，從學(xué)習(xí)者、評(píng)價(jià)量規(guī)和教師三個(gè)方面提出側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)、以大樣本、實(shí)證性研究為主的評(píng)價(jià)系統(tǒng)優(yōu)化路徑、以深度學(xué)習(xí)為代表的技術(shù)支持下的評(píng)價(jià)量規(guī)優(yōu)化路徑；教師引導(dǎo)下的可控性在線同伴評(píng)價(jià)實(shí)施優(yōu)化路徑。力圖為我國(guó)在線同伴評(píng)價(jià)的發(fā)展和應(yīng)用指明方向。

參考文獻(xiàn):

［1］TOPPING K. Peer Assessment between Students in Colleges and Universities［J］.Review of Educational Research， 1998（3）: 49-76.

［2］許云紅， 王如. MOOC背景下基于推薦機(jī)制的提高同伴互評(píng)效果的研究［J］.現(xiàn)代遠(yuǎn)距離教育， 2014（5）: 17-21.

［3］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. Does peer assessment in on-line learning environments work? A systematic review of the literature［J］.Computers in Human Behavior， 2016（11）: 94-107.

［4］NG E M W. Fostering pre-service teachers’ self-regulated learning through self- and peer assessment of wiki projects［J］. Computers & Education， 2016（98）:80-91.

［5］JONES I， WHEADON C. Peer assessment using comparative and absolute judgement［J］.Studies in Educational Evaluation，2015（47）:93-101.

［6］孫力， 鐘斯陶. MOOC評(píng)價(jià)系統(tǒng)中同伴互評(píng)概率模型研究［J］.開放教育研究， 2014（5）: 83-90.

［7］HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback: An investigation of the quality of peer feedback among secondary school students［J］.Computers & Education， 2014（2）: 33-52.

［8］GIELEN M， WEVER B D. Structuring peer assessment: Comparing the impact of the degree of structure on peer feedback content［J］.Computers in Human Behavior， 2015 （52）:15-25.

［9］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. A gamified peer assessment model for on-line learning environments in a competitive context［J］.Computers in Human Behavior， 2016（64）:47-63.

［10］NGUEZ C， JAIME A， NCHEZ A， et al. A comparative analysis of the consistency and difference among online self-， peer-，external- and instructor-assessments［J］.Computers in Human Behavior， 2016（3）: 12-20.

［11］EVANS C.Making Sense of Assessment Feedback in Higher Education［J］.Review of Educational Research，2013（1）: 7-12.

［12］VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments: Developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review［J］. Assessing Writing， 2015（24）:1-15.

［13］馬玉慧， 趙樂(lè)， 劉晴. 在線同伴評(píng)價(jià)的影響因素及其促進(jìn)策略研究［J］.電化教育研究， 2016（3）: 8-14.

［14］JONES I，ALCOCK L. Peer assessment without assessment criteria［J］.Studies in Higher Education， 2014（10）: 74-87.

［15］馬志強(qiáng)， 王雪嬌， 龍琴琴. 基于同儕互評(píng)的在線學(xué)習(xí)評(píng)價(jià)研究綜述［J］.遠(yuǎn)程教育雜志， 2014（4）: 86-92.

A Comparative Study on the Effectiveness of Online Peer Evaluation in China and Abroad

ZHOU Ling
（School of Education， Shaoguan University， Shaoguan 512005， Guangdong，China）

The research takes the theme "the effectiveness of online peer assessment" based on Tenorio et al.， research through Systematic literature research .The aim to improve the conclusion of Tenorio and point out that the limitations of the domes tic online peer review of the research through comparative analysis of the domestic and international. And forecast the trend of online peer assessment based on large sample. Finally， point out four Optimized path.

online education； peer evaluation； gamification； machine learning

G40-057

A

1007-5348（2017）07-0100-06

（責(zé)任編輯：廖筱萍）

2017-05-08

2016年廣東省高等教育教學(xué)改革項(xiàng)目“普通高校學(xué)生在線學(xué)習(xí)質(zhì)量監(jiān)控研究與實(shí)踐”（467）

周玲（1986-），女，河南信陽(yáng)人，韶關(guān)學(xué)院教育學(xué)院講師，碩士；研究方向：遠(yuǎn)程教育、教育信息化。

①2004-2014年為T結(jié)論，2015-2016年為筆者梳理文獻(xiàn)。如表2中的國(guó)際文獻(xiàn)總量“32+11”，“32”表示2004-2016年T結(jié)論，“11”表示筆者整理文獻(xiàn)。下表均同。