周 玲

（韶關(guān)學(xué)院 教育學(xué)院，廣東 韶關(guān) 512005）

國內(nèi)外在線同伴評價(jià)有效性的對比研究

周 玲

（韶關(guān)學(xué)院 教育學(xué)院，廣東 韶關(guān) 512005）

本研究在特諾里奧等的在線同伴評價(jià)有效性的研究基礎(chǔ)上，通過系統(tǒng)文獻(xiàn)分析法對國外2014-2016年和國內(nèi)2004-2016年在線同伴評價(jià)的文獻(xiàn)進(jìn)行梳理，進(jìn)一步完善特諾里奧等的結(jié)論。通過國內(nèi)外對比分析，指出國內(nèi)在線同伴評價(jià)研究的局限：應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏在線同伴評價(jià)實(shí)踐研究等問題。預(yù)測基于大樣本的在線同伴評價(jià)實(shí)證研究趨勢。最后，提出側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)；以大樣本、實(shí)證性研究為主的評價(jià)系統(tǒng)優(yōu)化路徑；以機(jī)器學(xué)習(xí)為代表的技術(shù)支持下的評價(jià)量規(guī)優(yōu)化路徑和教師引導(dǎo)下的可控性在線同伴評價(jià)實(shí)施優(yōu)化路徑。

在線教育；同伴評價(jià)；游戲化；機(jī)器學(xué)習(xí)

同伴評價(jià)是學(xué)習(xí)者對具有相同水平的學(xué)習(xí)同伴的學(xué)習(xí)作品或成果的評價(jià)，評價(jià)依據(jù)同伴作品完成的數(shù)量、水平、價(jià)值、作用、質(zhì)量等。1998年，托平（Topping）通過系統(tǒng)文獻(xiàn)綜述法證明同伴評價(jià)在高等教育的很多學(xué)科應(yīng)用，且信、效度水平均在可接受的范圍內(nèi)［1］。我國遠(yuǎn)程教育領(lǐng)域研究者很早就開始應(yīng)用并推廣同伴評價(jià)。2012年“MOOC元年”至今，由于參與學(xué)習(xí)人數(shù)龐大，給教師和助教團(tuán)隊(duì)帶來很大負(fù)擔(dān)。在線課程平臺中參與網(wǎng)絡(luò)課程的人數(shù)激增，為快速有效地對眾多學(xué)習(xí)者的課程作業(yè)進(jìn)行評估，自評、互評和機(jī)器批閱均被應(yīng)用于 MOOC 平臺中［2］。由于實(shí)施同伴評價(jià)對學(xué)習(xí)者的要求更高，開展活動難度更大，學(xué)習(xí)者的動機(jī)弱，怨言很多。到目前為止，沒有研究明確指出在線同伴評價(jià)的優(yōu)、劣勢所在，即在線同伴評價(jià)的有效性亟待驗(yàn)證。特諾里奧等（T.Tenorio et al.）通過對2004-2014年，與主題“在線同伴評價(jià)”密切相關(guān)的44篇英文文獻(xiàn)進(jìn)行文獻(xiàn)分析，試圖證明在線同伴評價(jià)的有效性，該文發(fā)表在2016年《Computers in Human Behavior》雜志上［3］。本研究在此基礎(chǔ)上，對國外2015-2016年和國內(nèi)2004-2016年的文獻(xiàn)進(jìn)行梳理，以期進(jìn)一步完善特諾里奧等的研究結(jié)論。通過國內(nèi)外相關(guān)研究的對比分析，探索提高在線同伴評價(jià)有效性的路徑。

一、研究問題及方法

在線同伴評價(jià)有效性的證明，最重要的是找到在線環(huán)境下，同伴評價(jià)提升教學(xué)效果的證據(jù)。主要研究內(nèi)容如下：

（1）在線同伴評價(jià)應(yīng)用在什么樣的領(lǐng)域和教學(xué)層次？

（2）使用在線同伴評價(jià)的目的？

（3）是否有證據(jù)表明在線同伴評價(jià)的使用提高了學(xué)習(xí)效果？

（4）是否有證據(jù)表明在線同伴評價(jià)的使用對老師有幫助？

（5）在線學(xué)習(xí)環(huán)境下使用同伴評價(jià)是否有困難？

針對以上五個問題，在特諾里奧等研究的基礎(chǔ)上，本文通過文獻(xiàn)分析法對2004-2016年國內(nèi)外文獻(xiàn)進(jìn)行統(tǒng)計(jì)分析，試圖找到以上五個問題的答案。檢索國外數(shù)據(jù)庫（ACM Digital Library、IEEE Xplore、Science Direct、Springer Link、SCI），與主題緊密相關(guān)的2015-2016年文獻(xiàn)共15篇。見表1檢索中國知網(wǎng)2004-2016年與主題緊密相關(guān)的文獻(xiàn)共18篇。

表1 檢索文獻(xiàn)關(guān)鍵詞

二、國內(nèi)外在線同伴評價(jià)的有效性對比分析

針對以上五個問題，下文在特諾里奧等研究數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步補(bǔ)充國際2015-2016年9月的文獻(xiàn)。國內(nèi)文獻(xiàn)統(tǒng)計(jì)數(shù)據(jù)分布為2004-2016年9月。下文將特諾里奧等的研究結(jié)論簡稱T結(jié)論。

（一） 問題一：在線同伴評價(jià)應(yīng)用在什么樣的領(lǐng)域和教學(xué)層次

T結(jié)論：同伴評價(jià)更多應(yīng)用于高校在線課程。在線同伴評價(jià)的應(yīng)用領(lǐng)域，2015年前局限于高校和工業(yè)，之后擴(kuò)展到教師培訓(xùn)領(lǐng)域，可查的第一個教師培訓(xùn)項(xiàng)目是香港開展的基于wiki職前教師自主學(xué)習(xí)項(xiàng)目［4］。2015之后的18篇文獻(xiàn)中有11篇是高校教學(xué)，見表2。國際研究側(cè)重在線同伴評價(jià)在高校教學(xué)中的應(yīng)用推廣。同伴評價(jià)為課程中成千上萬學(xué)生復(fù)雜的作業(yè)評分提供了有前途的解決方案，這正是以MOOC為代表的在線大學(xué)課程面臨的問題。與T結(jié)論相比，國際在線同伴評價(jià)的學(xué)術(shù)背景仍然是高校，但應(yīng)用領(lǐng)域逐漸擴(kuò)展。

表2 在線同伴評價(jià)應(yīng)用領(lǐng)域（2004-2016）①

國內(nèi)在線同伴評價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次均以高校為主。以高校（72.2%）為主，與國外（72.8%）基本一致。但在線同伴評價(jià)在其他領(lǐng)域的應(yīng)用研究基本沒有，與國外工業(yè)領(lǐng)域（8.5%）相比，國內(nèi)在線同伴評價(jià)的應(yīng)用領(lǐng)域相對狹隘。在線同伴評價(jià)的應(yīng)用教學(xué)層次方面，側(cè)重在高校（61.1%）高于國外高校（44.1%）。然而相關(guān)研究在中學(xué)和專業(yè)培訓(xùn)等方面的應(yīng)用基本沒有，遠(yuǎn)低于國外中學(xué)（11.9%）和專業(yè)培訓(xùn)（3.4%）見表3。國內(nèi)外在線同伴評價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次上的側(cè)重點(diǎn)一致，但國內(nèi)應(yīng)用領(lǐng)域和教學(xué)層次相對單一，局限于高校和外語教學(xué)。結(jié)論：國內(nèi)外在線同伴評價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次大致相同，均以高校為主，近兩年應(yīng)用領(lǐng)域逐漸擴(kuò)展；與國外研究相比，國內(nèi)在線同伴評價(jià)的應(yīng)用領(lǐng)域和教學(xué)層次相對單一。

表3 在線同伴評價(jià)應(yīng)用的教學(xué)層次（2004-2016）

（二） 問題二：使用在線同伴評價(jià)的目的

T結(jié)論：組建高效的工作團(tuán)隊(duì)和建構(gòu)同伴評價(jià)系統(tǒng)。在線同伴評價(jià)使用（見表4）2015年之后的研究開始關(guān)注同伴評價(jià)策略（5%）。使用同伴評價(jià)的動機(jī)有很多種，不同動機(jī)支配下的結(jié)果也有所不同［5］。在線學(xué)習(xí)環(huán)境下如何使用同伴評價(jià)達(dá)到最科學(xué)的評價(jià)結(jié)果。在線同伴評價(jià)的信、效度，在線同伴評價(jià)分?jǐn)?shù)和等級算法的優(yōu)化是進(jìn)一步完善在線同伴評價(jià)的科學(xué)路徑。寫作文本（16.9%）和課程活動（28.8%）依然是主要研究內(nèi)容。2015年之后的國外文獻(xiàn)開始側(cè)重在線同伴評價(jià)體系（10.1%）見表4。與T結(jié)論相比，國際在線同伴評價(jià)的目的從組建高效的工作團(tuán)隊(duì)和建構(gòu)同伴評價(jià)系統(tǒng)轉(zhuǎn)向提高工作小組技能和同伴評價(jià)的科學(xué)性轉(zhuǎn)變，研究逐漸深入。

表4 在線同伴評價(jià)的應(yīng)用目的（2004-2016）

國內(nèi)在線同伴評價(jià)的目的集中在課程內(nèi)容評價(jià)（寫作文本22.2%和課程活動16.7%）和提高同伴評價(jià)的科學(xué)性（評價(jià)策略16.7%和評價(jià)系統(tǒng)27.7%），側(cè)重點(diǎn)與國外基本一致。然而，國內(nèi)研究在教師創(chuàng)建在線課程和提高工作小組技能方面基本沒有。實(shí)踐與研究沒有同步，出現(xiàn)這一現(xiàn)狀的原因與我國開展在線同伴評價(jià)實(shí)踐較少，對同伴評價(jià)的重視度不夠有關(guān)。國內(nèi)在線同伴評價(jià)的目的與國外側(cè)重點(diǎn)基本一致，但其基于實(shí)踐需求的研究相對缺失。結(jié)論：國內(nèi)外在線同伴評價(jià)的目的側(cè)重點(diǎn)大致相同，均以提高工作小組技能和同伴評價(jià)的科學(xué)性為主；與國外研究相比，國內(nèi)在線同伴評價(jià)基于實(shí)踐需求的研究相對缺失。

（三） 問題三：是否有證據(jù)表明同伴評價(jià)使用提高了學(xué)習(xí)效果

T結(jié)論：超過60%的文獻(xiàn)證明同伴評價(jià)提高了在線學(xué)習(xí)環(huán)境下的學(xué)習(xí)效果。在線同伴評價(jià)對學(xué)習(xí)者的影響（見表5）方面，國外2015年之后的研究更加注重實(shí)證研究（15篇文獻(xiàn)中有13篇是實(shí)證研究）。較之T結(jié)論同伴評價(jià)提高學(xué)習(xí)效果的文獻(xiàn)比率從60%升至71.1%（有實(shí)證的積極評價(jià)54.2%+沒有實(shí)證的積極評價(jià)16.9%）。從這一結(jié)果來看，在線同伴評價(jià)的實(shí)施對提高學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)的作用是正面的，這一結(jié)論為以后在線同伴評價(jià)的應(yīng)用推廣提供了充分的理論依據(jù)。國際在線同伴評價(jià)與T結(jié)論一致，且進(jìn)一步證明其結(jié)論的科學(xué)性（比率從60%提高至70.1%），見表5。

表5 在線同伴評價(jià)應(yīng)用對學(xué)習(xí)者的影響（2004-2016）

國內(nèi)使用在線同伴評價(jià)對學(xué)習(xí)者的積極作用全是正面的（見表5），持正面觀點(diǎn)的文獻(xiàn)比率達(dá)到90%（有實(shí)證的積極評價(jià)55.6%+沒有實(shí)證的積極評價(jià)33.3%）。這一結(jié)論與國外研究總體趨勢一致，且有實(shí)證的積極評價(jià)研究（55.6%）與國外（54.2%）基本一致。然而，沒有實(shí)證的積極評價(jià)研究（33.3%）則遠(yuǎn)高于國外（16.9%），說明國內(nèi)有較大一部分研究處于理論分析階段。進(jìn)一步梳理國內(nèi)文獻(xiàn)，值得一提的是馬志強(qiáng)等人的研究。從可查的18篇文獻(xiàn)中有3篇來自于馬志強(qiáng)等人。從2014年的文獻(xiàn)綜述，到網(wǎng)絡(luò)同伴評價(jià)的學(xué)習(xí)活動設(shè)計(jì)與應(yīng)用，再到2016年的網(wǎng)絡(luò)同伴互評中反饋評語的類型與效果分析。馬志強(qiáng)等人的研究均以實(shí)證性為主，逐步深入，形成完善的系統(tǒng)理論，對我們在線同伴評價(jià)的發(fā)展意義重大。結(jié)論：國內(nèi)外在線同伴評價(jià)對學(xué)習(xí)者的積極作用是一致的，至少有70%的研究文獻(xiàn)證明同伴評價(jià)提高在線學(xué)習(xí)效果；與國外研究相比，國內(nèi)在線同伴評價(jià)對學(xué)習(xí)者的積極作用的實(shí)證性稍顯不足。

（四） 問題四：是否有證據(jù)表明使用同伴評價(jià)對老師有幫助

T結(jié)論：至少34.09%的研究表明在線同伴評價(jià)可以幫助教師。國外2015年之后與之前的研究基本沒有變化，即至少有35.6%（有實(shí)證的積極評價(jià)11.9%+沒有實(shí)證評價(jià)的積極評價(jià)23.7%）的研究持積極觀點(diǎn)。國內(nèi)文獻(xiàn)對在線同伴評價(jià)對教師的積極作用的比率為27.8%，低于國外文獻(xiàn)的比率。總體來看，國內(nèi)外對這一方面的關(guān)注度都不高。國內(nèi)這一方面的研究全部沒有實(shí)證，低于國外實(shí)證研究的比率（11.9%），見表6。這一現(xiàn)象與在線同伴評價(jià)對學(xué)習(xí)者的影響方面的情況類似。以上數(shù)據(jù)說明國內(nèi)在在線同伴評價(jià)對教師的影響國外側(cè)觀點(diǎn)一致，國內(nèi)在實(shí)證性研究方面稍落后于國外。結(jié)論：國內(nèi)外在線同伴評價(jià)對學(xué)習(xí)者的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評價(jià)對教師的工作有幫助；與國外研究相比，國內(nèi)在線同伴評價(jià)對學(xué)習(xí)者的積極作用的實(shí)證性研究落后于國外。

表6 在線同伴評價(jià)應(yīng)用對教師的影響（2004-2016）

（五） 問題五：在線學(xué)習(xí)環(huán)境下使用同伴評價(jià)是否有困難

T結(jié)論：至少有30%的研究表明在線同伴評價(jià)應(yīng)用存在困難。國外2015年之后與之前的研究基本一致，至少有38.9%（有實(shí)證的積極評價(jià)0+沒有實(shí)證評價(jià)的積極評價(jià)38.9%）的研究持積極觀點(diǎn)，見表7。國內(nèi)文獻(xiàn)對在線同伴評價(jià)的實(shí)施困難持積極觀點(diǎn)的比率為44.4%，國內(nèi)外研究基本一致?？傮w來看，國內(nèi)外對這一方面的關(guān)注度都不高，且都沒有實(shí)證性的研究。實(shí)施在線同伴評價(jià)的困難包括以下幾方面：在采用問卷調(diào)查時(shí)教師需要采用標(biāo)準(zhǔn)，仔細(xì)設(shè)計(jì)問卷；設(shè)計(jì)優(yōu)秀反饋；充分的準(zhǔn)備和指導(dǎo)要領(lǐng)是成功的關(guān)鍵［6］。結(jié)論：國內(nèi)外在線同伴評價(jià)實(shí)施困難主要表現(xiàn)在評價(jià)量規(guī)及活動指導(dǎo)。

表7 在線同伴評價(jià)的實(shí)施困難（2004-2016）

根據(jù)以上分析，國際在線同伴評價(jià)主要在高校教學(xué)中應(yīng)用，其應(yīng)用領(lǐng)域在逐漸擴(kuò)寬；主要以提高小組技能和同伴評價(jià)的科學(xué)性為目的；國內(nèi)外在線同伴評價(jià)對學(xué)習(xí)者的積極作用是一致的，即至少有70%研究文獻(xiàn)證明同伴評價(jià)提高了在線學(xué)習(xí)環(huán)境下學(xué)生的學(xué)習(xí)表現(xiàn)；國內(nèi)外在線同伴評價(jià)對教師的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評價(jià)對教師的工作有幫助；在線同伴評價(jià)能夠提高學(xué)習(xí)者的學(xué)習(xí)效果已是沒有爭議的事實(shí)，然而此結(jié)論主要適用于高校教學(xué)，較少涉及到中學(xué)和教師培訓(xùn)領(lǐng)域。雖然實(shí)證研究（54.2%）的比率較高，但大部分的研究是基于小樣本開展實(shí)驗(yàn)得出的結(jié)論，是否適合大規(guī)模的在線課程則是有待進(jìn)一步證明的問題。除此之外，在具體實(shí)踐中的實(shí)踐困難分析（0）和對教師的影響（11.9%）均缺乏足夠的實(shí)證研究。隨著在線課程的大規(guī)模使用，預(yù)測未來建立在大樣本基礎(chǔ)上的在線同伴評價(jià)實(shí)證研究將會越來越多。

與國外在線同伴評價(jià)研究相比，國內(nèi)研究整體與國際趨勢保持一致。但國內(nèi)對這一領(lǐng)域的關(guān)注度不高，研究的起步和發(fā)展落后于國外。與國外研究相比國內(nèi)研究存在應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏以在線同伴評價(jià)實(shí)踐需求出發(fā)而開展的研究等問題。

三、提高在線同伴評價(jià)有效性的優(yōu)化路徑分析

筆者在借鑒前人研究成果的基礎(chǔ)上，將在線同伴評價(jià)分為主體（學(xué)習(xí)者）包括學(xué)習(xí)者的心理機(jī)制和學(xué)習(xí)者樣本、主導(dǎo)（教師）包括教學(xué)設(shè)計(jì)和教學(xué)管理和評價(jià)方法（評價(jià)量規(guī)）包括評價(jià)系統(tǒng)和技術(shù)三個方面?；趪鴥?nèi)外在線同伴評價(jià)有效性的對比結(jié)果，提出四條在線同伴評價(jià)有效性的優(yōu)化路徑。

（一） 對象：側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)提高其有效性

同伴評價(jià)的心理出發(fā)點(diǎn)是利用人類比較判斷的能力。與單獨(dú)的刺激物相比，刺激物相對應(yīng)其它刺激物時(shí)，人類能進(jìn)行更好的判斷。比較條件沒有提高學(xué)生做出每個判斷的能力，而是開發(fā)了人類做準(zhǔn)確比較的能力［5］。同伴評價(jià)的心理出發(fā)點(diǎn)首先是動機(jī)。學(xué)生可能沒有足夠的知識來評閱同行的工作，給出一個公正的評價(jià)。由此造成組織同伴評價(jià)過程中學(xué)習(xí)者缺乏自信［7］。學(xué)生給出的評價(jià)帶著明顯的自我的優(yōu)缺點(diǎn)，同時(shí)影響著學(xué)習(xí)者的下個學(xué)習(xí)過程［8］。其次，是年齡等特征。開展在線同伴評價(jià)的前提條件要求學(xué)習(xí)者的具有較高的知識儲備、合作能力和元認(rèn)知能力等。一般情況下，大學(xué)生是相對成熟的人群較適合開展在線同伴評價(jià)。最后，人際關(guān)系等其他特征。大學(xué)生是能動的個性獨(dú)立個體，其人際關(guān)系等其他特征也影響著著在線同伴評價(jià)的學(xué)習(xí)效果。

深入分析在線同伴評價(jià)模型與在線游戲模型相似度極高。游戲化是使用機(jī)械、思想和美學(xué)游戲（內(nèi)容、快速反饋、競爭、階級、成果和分?jǐn)?shù)等）、吸引人們、激勵措施、促進(jìn)學(xué)習(xí)和解決問題。在線同伴評價(jià)過程同樣存在游戲化的幾個基本步驟，首先是反饋，在線同伴評價(jià)過程中，學(xué)生通過彼此間接收和給出反饋來學(xué)習(xí)［9］；其次是競爭，當(dāng)參與在線同伴評價(jià)的學(xué)習(xí)者來自不同學(xué)校時(shí)，其結(jié)果存在明顯的競爭效應(yīng)，即學(xué)習(xí)者傾向于給同校學(xué)習(xí)者更高分?jǐn)?shù)而給外校學(xué)習(xí)者的要求則更嚴(yán)格［10］。最后是階級、成果和分?jǐn)?shù)等，游戲化的元素應(yīng)用在教學(xué)模型中積極影響學(xué)生的狀態(tài)，鼓勵他們參與教學(xué)過程，獲得獎勵（績點(diǎn)、晉級和戰(zhàn)利品）。研究證明基于游戲的在線同伴評價(jià)模型將參與學(xué)習(xí)活動的學(xué)習(xí)參與度提高到64.28%，作業(yè)提交量增加了10.53%，且隨著活動的進(jìn)行，每份作業(yè)的數(shù)量和質(zhì)量都有所提高［9］。筆者認(rèn)為側(cè)重學(xué)習(xí)者心理機(jī)制，以游戲模型為主的教學(xué)設(shè)計(jì)是提高在線同伴評價(jià)有效性的可選路徑。

（二） 目的：以大樣本、實(shí)證性研究為主的評價(jià)系統(tǒng)提高其有效性

國內(nèi)外在線同伴評價(jià)的目的側(cè)重點(diǎn)均以提高工作小組技能和同伴評價(jià)的科學(xué)性為主；與國外研究相比，國內(nèi)基于實(shí)踐需求的研究相對缺失。同伴評價(jià)適用于合作學(xué)習(xí)和形成性評價(jià)過程。同伴評價(jià)被證明作為評價(jià)工具和學(xué)習(xí)工具，對評價(jià)者、被評價(jià)者有利［11］。這一方法廣泛使用在大規(guī)模在線課程時(shí)，以MOOC為例，學(xué)習(xí)者來自不同地域、不同語言背景、甚至不同教育水平和不同學(xué)習(xí)動機(jī)等問題，那么其信、效度等問題則需要進(jìn)一步證明。雖然同伴互評機(jī)制的設(shè)立使得主觀類試題得到有效評價(jià)，但學(xué)習(xí)者對同伴評價(jià)的準(zhǔn)確性和權(quán)威性表示懷疑。調(diào)查發(fā)現(xiàn)，94%的學(xué)生更喜歡老師評語［6］。

以大樣本為主的在線同伴評價(jià)實(shí)施的第一步要解決的是新型評價(jià)系統(tǒng)的設(shè)計(jì)。大樣本在線同伴評價(jià)系統(tǒng)的設(shè)計(jì)和實(shí)施的科學(xué)性是制約目前在線同伴評價(jià)實(shí)踐的主要因素之一。在線同伴評價(jià)參與者的知識背景、互評經(jīng)驗(yàn)、作業(yè)相似度、客觀題得分、擔(dān)任評閱者的意愿等因素影響著同伴評價(jià)的效果［2］?？茖W(xué)的信、效度是在線同伴評價(jià)應(yīng)用于大規(guī)模在線課程的前提條件。研究者努力改進(jìn)評價(jià)系統(tǒng)內(nèi)部評定成績的算法，提高評判復(fù)雜任務(wù)有效得分的大規(guī)模制導(dǎo)系統(tǒng)［12］；如果每個作業(yè)有足夠大的數(shù)量，正確的等級可以近似于計(jì)算均值或者中位數(shù)；文本作業(yè)采用新型模糊同伴評價(jià)方法。從大樣本的在線同伴評價(jià)的實(shí)踐出發(fā)，以實(shí)證性研究推動在線評價(jià)的信、效度的提高，從而提高在線同伴的科學(xué)性，是提高在線同伴評價(jià)有效性的必然路徑。

（三）提高學(xué)習(xí)效果：以機(jī)器學(xué)習(xí)為代表的技術(shù)支持評價(jià)量規(guī)優(yōu)化提高其有效性

國內(nèi)外在線同伴評價(jià)對學(xué)習(xí)者的積極作用是一致的，至少有70%的研究文獻(xiàn)證明同伴評價(jià)提高在線學(xué)習(xí)效果。如何設(shè)計(jì)在線同伴評價(jià)量規(guī)，才能做到科學(xué)規(guī)范，技術(shù)在其科學(xué)統(tǒng)計(jì)的過程中占據(jù)重要地位。特別是目前以MOOC為代表的大型開放性在線課程的廣泛使用，技術(shù)顯得更加重要。清晰的評價(jià)量規(guī)夠有效提高同伴評價(jià)的有效性與可靠性［13］。機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等新技術(shù)在評價(jià)量規(guī)的優(yōu)化過程扮演著重要角色，在線評價(jià)模板和成績計(jì)算也依賴于深度學(xué)習(xí)和機(jī)械學(xué)習(xí)。例如，通過匹配算法將學(xué)習(xí)者的答案與模板匹配計(jì)算成績，通過機(jī)器學(xué)習(xí)將幾個理想的答案與學(xué)生的答案相對比，形成一個正確答案的子集作為模板。然而也有研究指出如果評價(jià)安排和傳遞仔細(xì)合理，在沒有評價(jià)標(biāo)準(zhǔn)的情況下也可以達(dá)到較好的學(xué)習(xí)效果［14］。

當(dāng)同伴評價(jià)應(yīng)用于大規(guī)模在線課程時(shí)，遇到評定內(nèi)容的復(fù)雜性，參與者知識、技術(shù)背景不同，參與學(xué)習(xí)的意愿不同等眾多情況。與此同時(shí)，在線同伴評價(jià)適用于大規(guī)模在線課程時(shí)，遭遇了學(xué)習(xí)者在使用同伴評價(jià)過程中缺乏自信的情況等。以機(jī)器學(xué)習(xí)、深度學(xué)習(xí)為代表的技術(shù)為依托，優(yōu)化在線同伴評價(jià)量規(guī)是大規(guī)模在線同伴評價(jià)目前要解決的主要問題之一。

（四）實(shí)施困難：教師引導(dǎo)下可控性在線同伴評價(jià)實(shí)踐提高其有效性

國內(nèi)外在線同伴評價(jià)對學(xué)習(xí)者的積極作用是一致的，即至少有35.6%研究文獻(xiàn)證明在線同伴評價(jià)對教師的工作有幫助，國內(nèi)外在線同伴評價(jià)實(shí)施困難主要表現(xiàn)在評價(jià)量規(guī)及活動指導(dǎo)。同伴評價(jià)的設(shè)計(jì)、開展、組織和實(shí)施都是由教師在執(zhí)行，因此教師在同伴評價(jià)過程中的作用很重要。然而，在可查的文獻(xiàn)中，國內(nèi)外很少有研究確切分析教師在開展在線同伴評價(jià)活動中該如何操作。然而事實(shí)證明，一個成功的在線同伴評價(jià)活動的開展與教師密切相關(guān)。教師負(fù)責(zé)在線同伴評價(jià)學(xué)習(xí)活動的開展，活動內(nèi)容的設(shè)計(jì)，評價(jià)模板的設(shè)計(jì)和評價(jià)結(jié)果的分析。教師的作用是決不能忽視，應(yīng)分發(fā)揮教師的引導(dǎo)和教學(xué)管理的作用。例如，被學(xué)習(xí)者所詬病的“在線同伴評價(jià)花費(fèi)太多時(shí)間”的問題，可以通過教師的組織和管理，盡量縮短活動開展的時(shí)間。學(xué)生參與在線同伴評價(jià)的積極性與教師的管理有很大關(guān)系，學(xué)習(xí)者更喜愛教師參與度較高的學(xué)習(xí)活動。教師應(yīng)提出反饋及指導(dǎo)促進(jìn)深度的知識建構(gòu)［15］，在以文本交流為主的論壇，話題的設(shè)置、及時(shí)回復(fù)、話題的引導(dǎo)等均可以在教師的參與下達(dá)到更好的效果。

四、總結(jié)

通過國內(nèi)外在線同伴評價(jià)有效性的對比分析，能夠充分認(rèn)識國內(nèi)在線同伴評價(jià)研究的局限性，即存在應(yīng)用領(lǐng)域局限、實(shí)證性研究不足、缺乏以在線同伴評價(jià)實(shí)踐需求出發(fā)而開展的研究等問題。針對以上問題，從學(xué)習(xí)者、評價(jià)量規(guī)和教師三個方面提出側(cè)重心理機(jī)制，提倡以游戲模型為主的教學(xué)設(shè)計(jì)、以大樣本、實(shí)證性研究為主的評價(jià)系統(tǒng)優(yōu)化路徑、以深度學(xué)習(xí)為代表的技術(shù)支持下的評價(jià)量規(guī)優(yōu)化路徑；教師引導(dǎo)下的可控性在線同伴評價(jià)實(shí)施優(yōu)化路徑。力圖為我國在線同伴評價(jià)的發(fā)展和應(yīng)用指明方向。

參考文獻(xiàn):

［1］TOPPING K. Peer Assessment between Students in Colleges and Universities［J］.Review of Educational Research， 1998（3）: 49-76.

［2］許云紅， 王如. MOOC背景下基于推薦機(jī)制的提高同伴互評效果的研究［J］.現(xiàn)代遠(yuǎn)距離教育， 2014（5）: 17-21.

［3］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. Does peer assessment in on-line learning environments work? A systematic review of the literature［J］.Computers in Human Behavior， 2016（11）: 94-107.

［4］NG E M W. Fostering pre-service teachers’ self-regulated learning through self- and peer assessment of wiki projects［J］. Computers & Education， 2016（98）:80-91.

［5］JONES I， WHEADON C. Peer assessment using comparative and absolute judgement［J］.Studies in Educational Evaluation，2015（47）:93-101.

［6］孫力， 鐘斯陶. MOOC評價(jià)系統(tǒng)中同伴互評概率模型研究［J］.開放教育研究， 2014（5）: 83-90.

［7］HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback: An investigation of the quality of peer feedback among secondary school students［J］.Computers & Education， 2014（2）: 33-52.

［8］GIELEN M， WEVER B D. Structuring peer assessment: Comparing the impact of the degree of structure on peer feedback content［J］.Computers in Human Behavior， 2015 （52）:15-25.

［9］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. A gamified peer assessment model for on-line learning environments in a competitive context［J］.Computers in Human Behavior， 2016（64）:47-63.

［10］NGUEZ C， JAIME A， NCHEZ A， et al. A comparative analysis of the consistency and difference among online self-， peer-，external- and instructor-assessments［J］.Computers in Human Behavior， 2016（3）: 12-20.

［11］EVANS C.Making Sense of Assessment Feedback in Higher Education［J］.Review of Educational Research，2013（1）: 7-12.

［12］VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments: Developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review［J］. Assessing Writing， 2015（24）:1-15.

［13］馬玉慧， 趙樂， 劉晴. 在線同伴評價(jià)的影響因素及其促進(jìn)策略研究［J］.電化教育研究， 2016（3）: 8-14.

［14］JONES I，ALCOCK L. Peer assessment without assessment criteria［J］.Studies in Higher Education， 2014（10）: 74-87.

［15］馬志強(qiáng)， 王雪嬌， 龍琴琴. 基于同儕互評的在線學(xué)習(xí)評價(jià)研究綜述［J］.遠(yuǎn)程教育雜志， 2014（4）: 86-92.

A Comparative Study on the Effectiveness of Online Peer Evaluation in China and Abroad

ZHOU Ling
（School of Education， Shaoguan University， Shaoguan 512005， Guangdong，China）

The research takes the theme "the effectiveness of online peer assessment" based on Tenorio et al.， research through Systematic literature research .The aim to improve the conclusion of Tenorio and point out that the limitations of the domes tic online peer review of the research through comparative analysis of the domestic and international. And forecast the trend of online peer assessment based on large sample. Finally， point out four Optimized path.

online education； peer evaluation； gamification； machine learning

G40-057

A

1007-5348（2017）07-0100-06

（責(zé)任編輯：廖筱萍）

2017-05-08

2016年廣東省高等教育教學(xué)改革項(xiàng)目“普通高校學(xué)生在線學(xué)習(xí)質(zhì)量監(jiān)控研究與實(shí)踐”（467）

周玲（1986-），女，河南信陽人，韶關(guān)學(xué)院教育學(xué)院講師，碩士；研究方向：遠(yuǎn)程教育、教育信息化。

①2004-2014年為T結(jié)論，2015-2016年為筆者梳理文獻(xiàn)。如表2中的國際文獻(xiàn)總量“32+11”，“32”表示2004-2016年T結(jié)論，“11”表示筆者整理文獻(xiàn)。下表均同。