曹陽 顧問

（三江學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇南京 210012）

1 引言

同伴互評(píng)是在線學(xué)習(xí)中的一種互助學(xué)習(xí)形式，指學(xué)習(xí)者根據(jù)特定的評(píng)價(jià)標(biāo)準(zhǔn)對(duì)其他學(xué)習(xí)者的作業(yè)進(jìn)行評(píng)價(jià)，并提供反饋意見。同伴互評(píng)不僅可以提高大規(guī)模在線學(xué)習(xí)中的作業(yè)評(píng)價(jià)效率，減輕教師的教學(xué)負(fù)擔(dān)，而且能夠使學(xué)習(xí)者在互評(píng)過程中得到交流、思考的機(jī)會(huì)，提高學(xué)習(xí)參與度和高階認(rèn)知能力。因此，同伴互評(píng)已經(jīng)成為廣大學(xué)習(xí)者所認(rèn)可的在線學(xué)習(xí)方式，諸多慕課平臺(tái)也廣泛支持同伴互評(píng)機(jī)制[1]。

同伴互評(píng)的有效性主要體現(xiàn)在以下兩方面：（1）保證評(píng)價(jià)結(jié)果具有較高的信效度，即提供可靠和精確的評(píng)價(jià)；（2）促進(jìn)學(xué)習(xí)者在互評(píng)過程中進(jìn)行知識(shí)和觀點(diǎn)的交流與創(chuàng)新[2]。圍繞以上兩點(diǎn)，在線學(xué)習(xí)的研究者與實(shí)踐者對(duì)于如何優(yōu)化同伴互評(píng)過程，提高同伴互評(píng)效果進(jìn)行了深入研究。其中，評(píng)閱人的匹配及推薦是研究的中心問題之一。許云紅提出了一種同伴互評(píng)推薦模型，根據(jù)學(xué)習(xí)者特征與作業(yè)特征生成互評(píng)配對(duì)列表[3]，但其采用的特征屬性難于統(tǒng)計(jì)和量化，在實(shí)踐中不易操作。何升提出了基于二分圖最優(yōu)匹配的方法進(jìn)行互評(píng)推薦[4]，探索了采用經(jīng)典算法實(shí)現(xiàn)推薦匹配的可行性。這類方案給出了具體的匹配算法，但往往算法中對(duì)各參數(shù)的假設(shè)依賴較多，不能實(shí)現(xiàn)作業(yè)的完全匹配。因此，僅根據(jù)學(xué)習(xí)者及作業(yè)具備的初始特征，構(gòu)建同伴互評(píng)推薦模型具有較大的不確定性，推薦策略中各種假設(shè)因素過于復(fù)雜，實(shí)際操作時(shí)具有較大難度，并且在推薦過程中沒有考慮到“同伴互評(píng)不僅僅是為了評(píng)價(jià)而評(píng)價(jià)”[5]，還要促使不同類型、不同背景的學(xué)習(xí)者進(jìn)行學(xué)習(xí)交流，借鑒彼此的做題思路，在互評(píng)過程中實(shí)現(xiàn)再學(xué)習(xí)。

本研究通過在互評(píng)過程前引入互評(píng)訓(xùn)練環(huán)節(jié)，分析學(xué)習(xí)者在訓(xùn)練中產(chǎn)生的評(píng)價(jià)數(shù)據(jù)，對(duì)學(xué)習(xí)者進(jìn)行分組，根據(jù)學(xué)習(xí)組內(nèi)部成員及學(xué)習(xí)組之間的相似度進(jìn)行互評(píng)匹配，實(shí)現(xiàn)自動(dòng)推薦評(píng)閱人機(jī)制。設(shè)計(jì)的同伴互評(píng)推薦策略在保證評(píng)價(jià)信效度的情況下，能夠使不同知識(shí)背景、不同學(xué)習(xí)觀念、不同思考方式的學(xué)習(xí)者互相學(xué)習(xí)借鑒，在互評(píng)過程中獲得滿意的互評(píng)體驗(yàn)和學(xué)習(xí)效果。

2 互評(píng)訓(xùn)練的意義

互評(píng)訓(xùn)練是在正式互評(píng)之前，為了提高學(xué)習(xí)者的評(píng)閱能力，針對(duì)訓(xùn)練題目所開展的模擬評(píng)價(jià)過程。在互評(píng)訓(xùn)練中，學(xué)習(xí)者根據(jù)提供的評(píng)價(jià)標(biāo)準(zhǔn)或評(píng)分范例對(duì)訓(xùn)練題目進(jìn)行互評(píng)，教師根據(jù)學(xué)習(xí)者的互評(píng)訓(xùn)練結(jié)果提供反饋信息?；ピu(píng)訓(xùn)練能夠使學(xué)習(xí)者盡快熟悉互評(píng)規(guī)則及操作流程，并且根據(jù)反饋意見發(fā)現(xiàn)自己評(píng)分的不足，加以改進(jìn)。實(shí)踐證明，互評(píng)訓(xùn)練對(duì)學(xué)習(xí)者評(píng)分準(zhǔn)確性的提高有十分關(guān)鍵的作用[6]。

引入互評(píng)訓(xùn)練的同伴互評(píng)一般過程如圖1所示。教師首先設(shè)計(jì)互評(píng)訓(xùn)練題目以及對(duì)應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)，學(xué)習(xí)者根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)或評(píng)分范例進(jìn)行互評(píng)訓(xùn)練。完成訓(xùn)練環(huán)節(jié)后，教師發(fā)布正式作業(yè)，組織學(xué)習(xí)者開展互評(píng)，并在互評(píng)結(jié)束后發(fā)布本次作業(yè)的評(píng)價(jià)結(jié)果。多次作業(yè)的互評(píng)結(jié)果按照課程預(yù)先設(shè)定的計(jì)分規(guī)則加權(quán)計(jì)算后得到該課程的作業(yè)總成績(jī)。

圖1 同伴互評(píng)的一般過程

在此過程中，互評(píng)訓(xùn)練僅僅作為開展互評(píng)前的一個(gè)獨(dú)立環(huán)節(jié)，旨在提高學(xué)習(xí)者的評(píng)閱能力，而訓(xùn)練結(jié)果與后續(xù)互評(píng)過程中的評(píng)閱匹配并無關(guān)聯(lián)。而事實(shí)上，學(xué)習(xí)者的每一次評(píng)閱結(jié)果都能夠反映出其自身的專業(yè)能力、學(xué)習(xí)風(fēng)格及認(rèn)知水平[7]。本研究認(rèn)為在互評(píng)訓(xùn)練的過程中，產(chǎn)生的作業(yè)評(píng)分能夠在一定程度上描述學(xué)習(xí)者的評(píng)價(jià)特征，可以根據(jù)學(xué)習(xí)者評(píng)價(jià)特征的相似度，對(duì)學(xué)習(xí)者進(jìn)行分組，設(shè)計(jì)后續(xù)同伴互評(píng)環(huán)節(jié)中的評(píng)閱人自動(dòng)推薦策略。

3 基于訓(xùn)練的同伴互評(píng)推薦模型

個(gè)性化推薦機(jī)制通過分析用戶行為中產(chǎn)生的數(shù)據(jù)，能夠?qū)崿F(xiàn)用戶需求與所需數(shù)據(jù)的快速匹配，其推薦效果已經(jīng)在以電子商務(wù)為典型代表的各類互聯(lián)網(wǎng)應(yīng)用中得到廣泛認(rèn)同[8]。本研究將推薦機(jī)制應(yīng)用于同伴互評(píng)環(huán)節(jié)，利用互評(píng)訓(xùn)練及正式互評(píng)產(chǎn)生的數(shù)據(jù)對(duì)學(xué)習(xí)者進(jìn)行分組，采用組內(nèi)與組間互評(píng)相結(jié)合的策略進(jìn)行評(píng)閱人與作業(yè)的匹配，達(dá)到提高同伴互評(píng)效果的目的。具體模型設(shè)計(jì)如圖2所示。

圖2 基于訓(xùn)練的同伴互評(píng)推薦模型

（1）互評(píng)訓(xùn)練設(shè)計(jì)及訓(xùn)練結(jié)果分析

采用同伴互評(píng)方式進(jìn)行評(píng)價(jià)的作業(yè)大多為主觀題，因此，互評(píng)訓(xùn)練的題目設(shè)計(jì)要與互評(píng)作業(yè)任務(wù)類型相匹配，并制定詳細(xì)的評(píng)價(jià)量規(guī)[9]?；ピu(píng)訓(xùn)練題目的數(shù)量可以參照一門課程中互評(píng)作業(yè)類型的數(shù)量來確定，但不宜過多，避免使學(xué)習(xí)者感到過重的訓(xùn)練壓力而降低訓(xùn)練質(zhì)量。

在互評(píng)訓(xùn)練中，學(xué)習(xí)者的評(píng)價(jià)對(duì)象需要保持一致，才能更準(zhǔn)確地反映學(xué)習(xí)者的特征。因此，學(xué)習(xí)者無需自己完成訓(xùn)練題目，只需要對(duì)預(yù)設(shè)的答案范例進(jìn)行評(píng)價(jià)，并給出評(píng)分?；ピu(píng)訓(xùn)練完成后，對(duì)評(píng)價(jià)結(jié)果進(jìn)行分析。若有N名學(xué)習(xí)者參加了訓(xùn)練，每位學(xué)習(xí)者在訓(xùn)練中給出的評(píng)分可以用一個(gè)評(píng)分向量S={s1,s2,…,sn}表示，其中n為互評(píng)訓(xùn)練中的題目數(shù)量，sn表示該學(xué)習(xí)者對(duì)第n個(gè)題目答案的評(píng)分，則訓(xùn)練結(jié)果可以表示為Sresult={S1,S2,…,SN}。

（2）學(xué)習(xí)者分組

根據(jù)學(xué)習(xí)者的評(píng)分向量，分析學(xué)習(xí)者特征，將特征相似度較高的學(xué)習(xí)者歸為一組。特征相似度采用皮爾遜相關(guān)系數(shù)進(jìn)行計(jì)算，其取值范圍為[-1,1]，具體方法如下：

式中x，y分別表示兩個(gè)不同的學(xué)習(xí)者在互評(píng)訓(xùn)練中的評(píng)分向量，為兩個(gè)學(xué)習(xí)者各自的評(píng)分均值。計(jì)算出的sim(x,y)值越接近1，表示相關(guān)性越強(qiáng)，反之相關(guān)性越弱。采用皮爾遜相關(guān)系數(shù)進(jìn)行相似度計(jì)算，能夠避免評(píng)分向量維度中存在數(shù)據(jù)缺失的問題，如某個(gè)學(xué)習(xí)者遺漏了一道訓(xùn)練題目。

將經(jīng)過互評(píng)訓(xùn)練的學(xué)習(xí)者兩兩比較，進(jìn)行相似度計(jì)算，把相關(guān)性較高的學(xué)習(xí)者分為一組，表示該組內(nèi)的學(xué)習(xí)者在訓(xùn)練中表現(xiàn)出的學(xué)習(xí)認(rèn)知較為接近。

（3）生成推薦列表及開展同伴互評(píng)

同伴互評(píng)屬于一種過程性的學(xué)習(xí)評(píng)價(jià)方式，其目的不僅僅是獲得較為準(zhǔn)確的評(píng)定成績(jī)，還要促進(jìn)學(xué)習(xí)者之間的交流借鑒。因此，通過互評(píng)訓(xùn)練完成對(duì)學(xué)習(xí)者的分組后，采用組內(nèi)推薦和組間推薦組合的方式生成同伴互評(píng)推薦列表。

組內(nèi)推薦是將學(xué)習(xí)者的作業(yè)推薦給其同組的學(xué)習(xí)者進(jìn)行評(píng)閱?；ピu(píng)訓(xùn)練結(jié)束后，分在同一組的學(xué)習(xí)者具有相似的做題思路及判斷能力，其對(duì)同類型學(xué)習(xí)者的學(xué)習(xí)成果更加熟悉。因此，組內(nèi)推薦能夠使學(xué)習(xí)者的作業(yè)被同組的學(xué)習(xí)者更加合理地評(píng)閱，并給出相對(duì)準(zhǔn)確的評(píng)分。

組間推薦是指把學(xué)習(xí)者的作業(yè)推薦給不同組的學(xué)習(xí)者進(jìn)行評(píng)閱。通過互評(píng)訓(xùn)練后，分到不同組的學(xué)習(xí)者表示他們具有不同的認(rèn)知理解和思維方式。在解答問題時(shí)，不同組的學(xué)習(xí)者往往風(fēng)格迥異，因此他們互相評(píng)價(jià)對(duì)方的學(xué)生成果時(shí)，能夠彼此學(xué)習(xí)對(duì)方的解題思路，拓展自身的知識(shí)面。

在開展同伴互評(píng)時(shí)，每份作業(yè)都會(huì)被推薦給若干個(gè)學(xué)習(xí)者進(jìn)行評(píng)閱。推薦的評(píng)閱人名單中應(yīng)當(dāng)包括與被評(píng)閱人同組的學(xué)習(xí)者，以及不同組的學(xué)習(xí)者。為了保證互評(píng)結(jié)果的信效度，一般組內(nèi)推薦的數(shù)量略高于組間推薦。目前，在大部分在線課程平臺(tái)中，每份作業(yè)會(huì)分配給五個(gè)評(píng)閱人[10]。因此，可以由組內(nèi)推薦三個(gè)評(píng)閱者，組間推薦兩個(gè)評(píng)閱者，生成同伴互評(píng)推薦列表。

4 同伴互評(píng)推薦策略的應(yīng)用

在軟件工程專業(yè)2018級(jí)的軟件測(cè)試課程中對(duì)所設(shè)計(jì)的基于互評(píng)訓(xùn)練的同伴互評(píng)推薦策略進(jìn)行應(yīng)用驗(yàn)證。軟件測(cè)試課程采用混合式教學(xué)模式，共有328人選課。在互評(píng)訓(xùn)練中，設(shè)計(jì)了6道題目，全部為主觀題，并提供了詳細(xì)的評(píng)分標(biāo)準(zhǔn)及供學(xué)習(xí)者評(píng)價(jià)的范例答案，范例答案由教師按照不同評(píng)分標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)。

組織學(xué)習(xí)者完成互評(píng)訓(xùn)練后，根據(jù)每個(gè)人的評(píng)分向量進(jìn)行相似度計(jì)算，完成學(xué)習(xí)者分組，并進(jìn)行正式作業(yè)的互評(píng)，評(píng)閱人依據(jù)本研究設(shè)計(jì)的同伴互評(píng)推薦策略自動(dòng)生成。每位學(xué)習(xí)者均需要評(píng)價(jià)5份作業(yè)，每份作業(yè)的評(píng)閱人由3名與答題者同組的學(xué)習(xí)者及2位其他組的學(xué)習(xí)者組成，作業(yè)成績(jī)?yōu)?位評(píng)閱者的平均評(píng)分。為了減小在互評(píng)過程中的情感影響因素，被評(píng)者及評(píng)閱人均采用匿名方式。

在同伴互評(píng)結(jié)束后，由教師對(duì)每份作業(yè)進(jìn)行評(píng)閱，以教師的評(píng)閱成績(jī)?yōu)闃?biāo)準(zhǔn)與互評(píng)成績(jī)比較，驗(yàn)證互評(píng)質(zhì)量，結(jié)果如圖3所示。從圖中可以看到，互評(píng)成績(jī)與教師評(píng)定成績(jī)誤差不超過10%的作業(yè)有167份，占比為51%，誤差在20%以內(nèi)的作業(yè)共有256份，占比接近80%，說明大部分作業(yè)的評(píng)分結(jié)果較為準(zhǔn)確。此外，有8%的作業(yè)評(píng)分誤差大于30%，主要原因是少量學(xué)生未評(píng)滿5份作業(yè)，導(dǎo)致計(jì)算單個(gè)作業(yè)的評(píng)分均值時(shí)產(chǎn)生了較大誤差。

圖3 同伴互評(píng)結(jié)果分析

為了檢驗(yàn)學(xué)生在同伴互評(píng)過程中是否進(jìn)行了有效學(xué)習(xí)，教師進(jìn)行了問卷調(diào)查，收集到有效反饋313份。問卷中包含了兩個(gè)核心問題：是否能夠根據(jù)評(píng)閱標(biāo)準(zhǔn)順利對(duì)所分配的作業(yè)進(jìn)行評(píng)價(jià)、是否在評(píng)閱他人作業(yè)過程中獲得了啟發(fā)。學(xué)生對(duì)兩個(gè)核心問題的反饋結(jié)果如圖4所示。

圖4 問卷調(diào)查結(jié)果

調(diào)查表明，絕大部分學(xué)生都能夠順利完成互評(píng)任務(wù)，對(duì)評(píng)閱標(biāo)準(zhǔn)、分配的作業(yè)有較清晰的理解，極少數(shù)學(xué)生認(rèn)為評(píng)閱存在一定難度。通過進(jìn)一步深入了解，這種情況與學(xué)生自身的專業(yè)水平有一定關(guān)聯(lián)。在促進(jìn)學(xué)習(xí)方面，90%的學(xué)生認(rèn)為在互評(píng)過程中，接觸到了多樣化的答題思路，有助于自身知識(shí)面和思維的拓展。實(shí)踐結(jié)果表明，基于訓(xùn)練的同伴互評(píng)推薦策略能夠保證評(píng)價(jià)結(jié)果的有效性和可靠性，促進(jìn)學(xué)生進(jìn)行學(xué)習(xí)交流及思考。

5 結(jié)語

同伴互評(píng)是互聯(lián)網(wǎng)時(shí)代下教育信息化發(fā)展的一種新型評(píng)價(jià)方式，在以慕課為代表的線上課程中得以廣泛應(yīng)用。提升互評(píng)結(jié)果的精確度以及促進(jìn)學(xué)習(xí)者進(jìn)行學(xué)習(xí)反思是同伴互評(píng)能否順利開展的關(guān)鍵問題。同伴互評(píng)的影響因素眾多，其中學(xué)習(xí)者作為學(xué)習(xí)過程的主體，其學(xué)習(xí)行為產(chǎn)生的數(shù)據(jù)是如何開展同伴互評(píng)的核心因素。因此，如何強(qiáng)化對(duì)在線學(xué)習(xí)行為數(shù)據(jù)的深度分析，是提高同伴互評(píng)信效度、推進(jìn)學(xué)習(xí)者在互評(píng)過程中進(jìn)行學(xué)習(xí)內(nèi)省的研究趨勢(shì)。

本研究充分發(fā)揮互評(píng)訓(xùn)練在正式互評(píng)前的作用，根據(jù)訓(xùn)練情況進(jìn)行學(xué)習(xí)特征分析及學(xué)習(xí)者分組，采用組內(nèi)推薦與組間推薦結(jié)合的方式生成同伴互評(píng)推薦列表，通過在具體課程中的實(shí)踐檢驗(yàn)了設(shè)計(jì)的推薦策略具有良好的應(yīng)用效果，為基于學(xué)習(xí)行為數(shù)據(jù)構(gòu)造在線同伴互評(píng)模型提供了設(shè)計(jì)思路。