王燕青 龔少英 姜甜甜 吳亞男

情感代理能否提高多媒體學(xué)習(xí)的效果？*

王燕青 龔少英 姜甜甜 吳亞男

(青少年網(wǎng)絡(luò)心理與行為教育部重點(diǎn)實(shí)驗(yàn)室, 華中師范大學(xué)心理學(xué)院, 武漢 430079)

近年來(lái), 情感代理如何影響學(xué)習(xí)受到了研究者們的高度重視。情感代理是一種能夠通過(guò)言語(yǔ)、面部表情和肢體動(dòng)作等多種方式激發(fā)學(xué)習(xí)者情感體驗(yàn)的教學(xué)代理。已有大多數(shù)研究發(fā)現(xiàn)情感代理能夠有效地喚起學(xué)習(xí)者的積極情緒(積極情緒= 0.45), 提高內(nèi)部動(dòng)機(jī)(內(nèi)部動(dòng)機(jī)= 0.52), 但對(duì)學(xué)習(xí)效果的促進(jìn)作用較為微弱(保持= 0.18,理解= 0.32,遷移=0.14,聯(lián)合=0.32)。研究者們從情緒感染理論、情緒反應(yīng)理論、多媒體學(xué)習(xí)認(rèn)知情感理論、認(rèn)知負(fù)荷理論以及干擾理論等不同的角度對(duì)情感代理的效果進(jìn)行了解釋。未來(lái)研究仍需要從實(shí)驗(yàn)操縱、邊界條件、內(nèi)部機(jī)制等方面進(jìn)一步考察情感代理的作用。

情感代理, 積極情緒, 內(nèi)部動(dòng)機(jī), 學(xué)習(xí)成績(jī), 多媒體學(xué)習(xí)

1 引言

教學(xué)視頻的流行引發(fā)了教育工作者們關(guān)于“如何設(shè)計(jì)視頻以優(yōu)化學(xué)習(xí)”的思考(Beege et al., 2017; de Koning et al., 2018; Merkt et al., 2020)。以往的研究往往聚焦于視頻設(shè)計(jì)背后的認(rèn)知加工過(guò)程(如：選擇、組織和整合加工)。近年來(lái), 情感加工過(guò)程(如：情緒和動(dòng)機(jī))在學(xué)習(xí)中的作用也逐漸引起了研究者的關(guān)注(龔少英等, 2017; Endres et al., 2020; Lawson et al., 2021; Oker et al., 2020; Park et al., 2015; Plass et al., 2014; Uzun & Y?ld?r?m, 2018; Um et al., 2012; Shangguan et al., 2020)。那么如何通過(guò)教學(xué)設(shè)計(jì)以促進(jìn)情感加工過(guò)程呢？其中一種方法即在視頻學(xué)習(xí)界面加入一個(gè)情感教學(xué)代理(Affective Pedagogical Agent, APA)。作為對(duì)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中交互特征進(jìn)行情緒設(shè)計(jì)的一部分, 情感代理即將某些情緒設(shè)計(jì)的元素(如：快樂(lè)的面部表情)應(yīng)用到教學(xué)代理身上, 旨在喚起學(xué)習(xí)者的積極情緒, 增加學(xué)習(xí)動(dòng)機(jī)進(jìn)而提高學(xué)習(xí)效果(Guo & Goh, 2015)。已有大量的實(shí)證研究在科學(xué)知識(shí)學(xué)習(xí)(Horovitz & Mayer, 2021; Schneider et al., 2022)、信息素養(yǎng)游戲(Guo et al., 2015)、網(wǎng)絡(luò)軟件使用(Baylor & Kim, 2009)等不同的學(xué)習(xí)領(lǐng)域考察了情感代理的效果。本文基于多媒體學(xué)習(xí)中情感代理的最新研究進(jìn)展, 詳細(xì)闡述了情感代理的概念及其實(shí)驗(yàn)操縱, 探討了情感代理對(duì)學(xué)習(xí)過(guò)程和學(xué)習(xí)結(jié)果影響的理論基礎(chǔ), 并全面整理了情感代理促進(jìn)或是阻礙學(xué)習(xí)的實(shí)證研究, 以期為情感代理的教學(xué)價(jià)值研究提供一定的借鑒。

2 情感代理的概念及其操縱

情感代理即通過(guò)面部表情、聲音、肢體動(dòng)作和言語(yǔ)信息等影響學(xué)習(xí)者情感體驗(yàn)的教學(xué)代理(Guo & Goh, 2015)。綜述以往研究, 目前情感代理的類型主要分為兩類：表達(dá)型情感代理和移情型情感代理。表達(dá)型情感代理是僅通過(guò)自身的情緒表達(dá)(如：使用微笑的面部表情和熱情的聲音)以影響學(xué)習(xí)者情緒體驗(yàn)的代理(Beege et al., 2020; Lawson et al., 2021; Liew et al., 2017)。移情型情感代理則是能根據(jù)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)或情緒狀態(tài)給予情感反饋(如：點(diǎn)頭、鼓勵(lì)和共情)的代理, 其目的是為了調(diào)節(jié)學(xué)習(xí)者的情緒、激勵(lì)其繼續(xù)努力(Ba et al., 2021; Guo et al., 2014, 2015)。雖然不同的研究者對(duì)情感代理的具體操作有所不同, 但無(wú)論哪種類型的情感代理都存在兩個(gè)重要的共同特點(diǎn)：(1)情感代理是計(jì)算機(jī)屏幕上呈現(xiàn)的具有情緒表達(dá)能力的代理; (2)加入情感代理的目的是增加學(xué)習(xí)者的積極情緒, 提高內(nèi)部動(dòng)機(jī), 最終促進(jìn)學(xué)習(xí)。

在實(shí)證研究中, 研究者對(duì)表達(dá)型情感代理和移情型情感代理的設(shè)計(jì)方式有所不同。關(guān)于表達(dá)型情感代理的設(shè)計(jì), 研究者主要是對(duì)代理的面部表情、聲音和姿態(tài)(手勢(shì))等特征進(jìn)行操縱, 使其展現(xiàn)出微笑的面部表情、熱情的聲音和高水平的身體動(dòng)作等。例如, Liew等(2017)的研究中積極代理組的大學(xué)生在一名帶有微笑面部表情和熱情聲音代理的引導(dǎo)下進(jìn)行學(xué)習(xí), 而中性代理組則由一名具有中性面部表情和聲音的代理進(jìn)行講授。Horovitz和Mayer (2021)的研究中積極代理被賦予快樂(lè)的面部表情、聲音、手勢(shì)和身體站姿。而無(wú)聊代理組則使用無(wú)聊的面部表情、聲音、手勢(shì)和身體站姿等。

關(guān)于移情型情感代理的操縱, 研究者們主要通過(guò)平行移情或是反應(yīng)移情的方式對(duì)其進(jìn)行設(shè)計(jì)。平行移情即代理模仿學(xué)習(xí)者的情緒。例如, 當(dāng)代理覺(jué)察到學(xué)習(xí)者愉快的情緒時(shí), 也會(huì)展現(xiàn)出愉快的面部表情(Arroyo et al., 2009)。反應(yīng)移情即代理通過(guò)言語(yǔ)和非言語(yǔ)線索(如言語(yǔ)鼓勵(lì)、鼓掌、點(diǎn)頭或是拍手)對(duì)學(xué)習(xí)者的情緒或行為進(jìn)行反饋。例如, Terzis等(2012)通過(guò)Facereader和人工檢測(cè)的方法實(shí)時(shí)檢測(cè)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的情緒狀態(tài), 情感代理則會(huì)根據(jù)學(xué)習(xí)者的情緒展現(xiàn)出相同的情緒并提供具體的反饋。例如, 當(dāng)檢測(cè)到學(xué)習(xí)者的表情為開(kāi)心時(shí), 情感代理也會(huì)表現(xiàn)出開(kāi)心的表情, 并同時(shí)呈現(xiàn)“這個(gè)測(cè)驗(yàn)讓你很開(kāi)心, 繼續(xù)加油哦”這一類文本信息給予情緒支持。Guo和Goh (2016)讓學(xué)習(xí)者學(xué)習(xí)一款信息素養(yǎng)的游戲, 積極代理組在學(xué)習(xí)者答錯(cuò)時(shí), 會(huì)展現(xiàn)一個(gè)鼓勵(lì)性的微笑, 并鼓勵(lì)他們“不要?dú)怵H, 仔細(xì)閱讀一遍問(wèn)題”。而在中性代理的條件下, 代理在整個(gè)游戲過(guò)程中僅保持中性的面部表情以及不包含情感鼓勵(lì)的反饋(如：“是的, 這是正確的”)。

綜上, 目前關(guān)于情感代理的操縱主要是通過(guò)對(duì)嵌入視頻材料中的教學(xué)代理進(jìn)行情緒設(shè)計(jì)得以實(shí)現(xiàn)。盡管相對(duì)全面地考慮了情感代理的設(shè)計(jì)方式, 但目前的操縱仍存在一些值得思考的問(wèn)題。首先, 大量研究在進(jìn)行情感代理設(shè)計(jì)時(shí)忽略了代理類型的影響。例如, Horovitz和Mayer (2021)的研究中使用了真人代理和虛擬代理, 而Guo和Goh (2016)使用了幽靈形狀的代理。Lawson等(2021)在探究學(xué)習(xí)者能否識(shí)別情感代理表達(dá)的情緒時(shí)發(fā)現(xiàn), 在某些高喚醒的情緒上(快樂(lè)和沮喪), 真人教師展示的情緒相較于虛擬代理更加形象生動(dòng)且更容易被學(xué)習(xí)者識(shí)別。因此, 代理類型的不同可能會(huì)影響情感代理的操縱效果乃至最終的研究結(jié)果。其次, 研究者們對(duì)情感代理的設(shè)計(jì)水平并沒(méi)有進(jìn)行嚴(yán)格的控制。部分研究使用單一的情緒線索(如：微笑) (Liew et al., 2016), 而另一些研究則使用多種情緒線索(如, 微笑、聲音和手勢(shì)等) (Ba et al., 2021), 具體哪種水平的情緒線索最為有效, 目前的研究并未給出答案。

3 情感代理能否喚起學(xué)習(xí)者的積極情緒？

在探究情感代理對(duì)學(xué)習(xí)者情緒的影響之前, 一個(gè)值得關(guān)注的問(wèn)題是學(xué)習(xí)者能否識(shí)別出代理所表達(dá)的情緒？從理論視角來(lái)看, 多媒體學(xué)習(xí)認(rèn)知情感理論(Cognitive-Affective Theory of Learning with Media, CATLM; Moreno & Mayer, 2007)認(rèn)為當(dāng)教學(xué)視頻中呈現(xiàn)一個(gè)情感代理時(shí), 學(xué)習(xí)過(guò)程中的首要關(guān)鍵步驟即學(xué)習(xí)者需要識(shí)別出代理所展示的情緒狀態(tài)(積極、中性或消極)。對(duì)教學(xué)代理情緒的識(shí)別不僅是情感代理操縱成功與否的重要檢驗(yàn), 更是研究者們考察情感代理作用的重要切入點(diǎn)。

Lawson等(2021)考察了大學(xué)生在觀看一個(gè)教師講授二項(xiàng)概率分布的數(shù)學(xué)課程時(shí), 能否識(shí)別代理所表現(xiàn)出的快樂(lè)、滿足、沮喪或無(wú)聊的情緒。結(jié)果發(fā)現(xiàn), 當(dāng)學(xué)習(xí)者觀看快樂(lè)代理的視頻時(shí), 在快樂(lè)情緒上的評(píng)分要顯著高于沮喪和無(wú)聊, 但是在與滿意情緒的區(qū)分上效果并不理想。而當(dāng)觀看滿意、沮喪或無(wú)聊代理的視頻時(shí), 學(xué)習(xí)者可以較好地區(qū)分代理所表達(dá)的不同情緒。Chen等(2012)發(fā)現(xiàn)在計(jì)算機(jī)輔助學(xué)習(xí)環(huán)境下學(xué)習(xí)者能較好地識(shí)別代理所表達(dá)的憤怒、悲傷、驚訝、快樂(lè)和中性的情緒, 但是對(duì)害怕、擔(dān)憂和厭惡情緒的識(shí)別并不準(zhǔn)確。由此可見(jiàn), 學(xué)習(xí)者并非均能成功地識(shí)別出代理所表達(dá)的情緒, 因此在正式實(shí)驗(yàn)前對(duì)代理情緒識(shí)別的檢驗(yàn)十分必要。

學(xué)習(xí)者對(duì)代理情緒的識(shí)別僅是檢驗(yàn)情感代理效果的第一步, 而加入情感代理最重要的目的之一是考察這一教學(xué)設(shè)計(jì)是否會(huì)影響學(xué)習(xí)者的情緒。根據(jù)情緒感染理論(Emotional Contagion Theory), 一個(gè)人的情緒狀態(tài)容易受到另一個(gè)人情緒表達(dá)的影響(Hatfield et al., 1994)。在社會(huì)交往中, 人們會(huì)不自覺(jué)地通過(guò)面部表情、肢體動(dòng)作和姿勢(shì)等非言語(yǔ)信息來(lái)表達(dá)自己的情緒, 并感知他人所傳達(dá)的這些信號(hào)。研究表明情緒感染也有可能發(fā)生在人機(jī)交互的過(guò)程中(Tsai et al., 2012), 具體而言, 界面代理的情緒會(huì)直接影響學(xué)習(xí)者的情緒(封曉偉, 2020; Kr?mer et al., 2013; Ku et al., 2005; Liew et al., 2016)。另外, 情緒反應(yīng)理論(Emotional Response Theory)認(rèn)為教師熱情的言語(yǔ)和非言語(yǔ)線索與學(xué)習(xí)者的情感反應(yīng)之間存在著密切的關(guān)系(Horan et al., 2012)。根據(jù)情緒反應(yīng)理論, 教學(xué)代理積極的言語(yǔ)和非言語(yǔ)線索能誘發(fā)學(xué)習(xí)者積極的情緒體驗(yàn)。相似地, CATLM指出當(dāng)學(xué)習(xí)者識(shí)別出教學(xué)代理的積極情緒后, 也會(huì)表現(xiàn)出與代理相同的情緒(例如, 看到快樂(lè)的代理, 學(xué)生也會(huì)變得快樂(lè))。

為了更清晰地展示情感代理的效果, 本文計(jì)算了相關(guān)實(shí)證研究的效應(yīng)量Cohen’s d (詳見(jiàn)表1), 并借鑒Fiorella和Mayer (2015)計(jì)算效應(yīng)量中值(median effect size)的方法對(duì)情感代理的效果進(jìn)行量化呈現(xiàn), 以期在一定程度上克服單純的綜述難以評(píng)價(jià)效應(yīng)大小的缺陷。文獻(xiàn)匯總的標(biāo)準(zhǔn)如下：(1)研究需為實(shí)證; (2)研究主要對(duì)比情感代理與非情感代理(中性)和無(wú)情感代理的差異, 但有1項(xiàng)研究對(duì)比的是積極情感代理和無(wú)聊情感代理的差異(Horovitz & Mayer, 2021)。(3)研究中報(bào)告了詳細(xì)的因變量指標(biāo)(情緒、動(dòng)機(jī)、認(rèn)知負(fù)荷和學(xué)習(xí)結(jié)果)。從表1匯總的結(jié)果發(fā)現(xiàn), 明確報(bào)告了學(xué)習(xí)者情緒狀態(tài)的16項(xiàng)研究中, 10項(xiàng)研究發(fā)現(xiàn)教學(xué)代理的情緒同步喚起了學(xué)習(xí)者的積極情緒。例如, Liew等(2017)發(fā)現(xiàn)相比于中性代理組, 熱情代理組的學(xué)習(xí)者報(bào)告了更多的積極情緒。Wang等(2019)同樣發(fā)現(xiàn)具有豐富面部表情的代理喚起了學(xué)習(xí)者更高水平的情緒。另外, 5項(xiàng)研究沒(méi)有發(fā)現(xiàn)情感代理對(duì)學(xué)習(xí)者情緒的影響(van der Meij, 2013; Beege et al., 2020), 1項(xiàng)研究發(fā)現(xiàn)情感代理降低了學(xué)習(xí)者的積極情緒(Liew et al., 2016)。

綜上, 大部分研究支持了情感代理對(duì)學(xué)習(xí)者積極情緒的作用, 通過(guò)計(jì)算情感代理在學(xué)習(xí)者積極情緒上的效應(yīng)量, 發(fā)現(xiàn)產(chǎn)生的效應(yīng)量中值為積極情緒= 0.45。值得注意的是, 以往部分研究忽視了學(xué)習(xí)者對(duì)代理情緒識(shí)別的檢驗(yàn), 因此那些未發(fā)現(xiàn)情感代理對(duì)情緒存在積極影響的研究, 到底是由于情感代理操縱不成功, 還是情感代理本身無(wú)效？還需要未來(lái)的研究繼續(xù)探討。

4 情感代理對(duì)學(xué)習(xí)者的主觀感受是否有影響？

如果情感代理能喚起學(xué)習(xí)者的積極情緒, 那這些積極情緒會(huì)對(duì)學(xué)習(xí)過(guò)程中的學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷等主觀感受產(chǎn)生怎樣的影響？學(xué)習(xí)者對(duì)自己學(xué)習(xí)過(guò)程中動(dòng)機(jī)水平和認(rèn)知負(fù)荷程度等主觀體驗(yàn)的感知往往與后期學(xué)習(xí)效果密切相關(guān), 因此對(duì)學(xué)習(xí)者主觀體驗(yàn)的考察通常也是檢驗(yàn)情感代理是否有效的重要方面。

根據(jù)情緒反應(yīng)理論, 教師的言語(yǔ)和非言語(yǔ)線索所誘發(fā)的積極情緒, 能增加學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī), 進(jìn)而使他們產(chǎn)生趨近學(xué)習(xí)的行為。CATLM (Moreno & Mayer, 2007)認(rèn)為當(dāng)情感代理喚起了學(xué)習(xí)者的積極情緒后, 學(xué)習(xí)者情緒的變化會(huì)提高動(dòng)機(jī)水平。通過(guò)表1的整理可以發(fā)現(xiàn), 17項(xiàng)報(bào)告了學(xué)習(xí)動(dòng)機(jī)的研究中, 16項(xiàng)發(fā)現(xiàn)情感代理提高了學(xué)習(xí)者的動(dòng)機(jī)水平(Baylor & Ryu, 2003; Saerbeck et al., 2010; Horovitz & Mayer, 2021; van der Meij, 2013)。例如, van der Meij (2013)在考察移情型代理對(duì)軟件教程學(xué)習(xí)的影響時(shí), 發(fā)現(xiàn)情感代理組的學(xué)習(xí)者在訓(xùn)練過(guò)程中更容易獲得心流體驗(yàn), 并報(bào)告了更高的動(dòng)機(jī)水平。Horovitz和Mayer (2021)發(fā)現(xiàn)無(wú)論是快樂(lè)的真人代理還是虛擬代理均提高了學(xué)習(xí)者的內(nèi)部動(dòng)機(jī)。1項(xiàng)研究發(fā)現(xiàn)當(dāng)學(xué)習(xí)者與面帶微笑的代理進(jìn)行學(xué)習(xí)時(shí), 學(xué)習(xí)動(dòng)機(jī)反而存在降低的趨勢(shì)(Liew et al., 2016)。原因可能是學(xué)習(xí)者認(rèn)為代理的微笑是虛假的(fake smiles)而不是真誠(chéng)的(genuine smiles), 因此影響了他們對(duì)代理的信任程度, 進(jìn)而降低了動(dòng)機(jī)水平。從總體上看, 盡管不同的研究中情感代理的設(shè)計(jì)方式略有不同, 但絕大多數(shù)研究都證明了情感代理在增加學(xué)習(xí)者動(dòng)機(jī)方面的相對(duì)優(yōu)勢(shì), 效應(yīng)量中值為內(nèi)部動(dòng)機(jī)= 0.52。

認(rèn)知負(fù)荷理論(cognitive load theory, CLT)提出了三種類型的認(rèn)知負(fù)荷(Sweller, 2005)：內(nèi)部認(rèn)知負(fù)荷(intrinsic cognitive load, ICL)、外部認(rèn)知負(fù)荷(extraneous cognitive load, ECL)和相關(guān)認(rèn)知負(fù)荷(germane cognitive load, GCL)。ICL通常與學(xué)習(xí)材料本身的復(fù)雜程度相關(guān), 而ECL主要由非優(yōu)化的教學(xué)設(shè)計(jì)引起。在學(xué)習(xí)過(guò)程中這兩種認(rèn)知負(fù)荷水平較高, 學(xué)習(xí)效果可能較差。GCL是指學(xué)習(xí)者在理解學(xué)習(xí)內(nèi)容時(shí)用于圖式建構(gòu)和生成性加工的認(rèn)知負(fù)荷, 較高的GCL有利于學(xué)習(xí)。為了避免認(rèn)知負(fù)荷超載, 教學(xué)設(shè)計(jì)者要盡力降低ECL, 增加GCL, 合理利用有限的認(rèn)知資源, 幫助學(xué)習(xí)者達(dá)到最好的學(xué)習(xí)效果。根據(jù)認(rèn)知負(fù)荷理論, 將教學(xué)代理納入多媒體學(xué)習(xí)環(huán)境可能會(huì)增加外部認(rèn)知負(fù)荷, 因?yàn)閷W(xué)習(xí)者需要處理額外的(與學(xué)習(xí)無(wú)關(guān)的)信息。在探究情感代理和認(rèn)知負(fù)荷之間關(guān)系的實(shí)證研究中, 8項(xiàng)測(cè)量了內(nèi)部認(rèn)知負(fù)荷的研究均未發(fā)現(xiàn)情感代理對(duì)學(xué)習(xí)者內(nèi)部認(rèn)知負(fù)荷的影響, 效應(yīng)量中值為內(nèi)部認(rèn)知負(fù)荷= ?0.01。內(nèi)部認(rèn)知負(fù)荷是由學(xué)習(xí)材料本身的復(fù)雜程度和學(xué)習(xí)者自身的知識(shí)經(jīng)驗(yàn)決定, 較難通過(guò)教學(xué)設(shè)計(jì)進(jìn)行改善, 因此不難理解情感代理在內(nèi)部認(rèn)知負(fù)荷上出現(xiàn)的“零”結(jié)果。在8項(xiàng)報(bào)告了外部認(rèn)知負(fù)荷的研究中, 7項(xiàng)研究發(fā)現(xiàn)情感代理并不會(huì)帶來(lái)額外的認(rèn)知負(fù)荷。僅1項(xiàng)研究發(fā)現(xiàn)當(dāng)學(xué)習(xí)者處于高心理負(fù)荷條件下, 情感代理才會(huì)增加外部認(rèn)知負(fù)荷(Beege et al., 2020, Exp, 1a), 對(duì)效應(yīng)量中值的計(jì)算得出外部認(rèn)知負(fù)荷= 0.09。在7項(xiàng)報(bào)告了相關(guān)認(rèn)知負(fù)荷的研究中, 3項(xiàng)研究顯示情感代理提高了學(xué)習(xí)者的相關(guān)認(rèn)知負(fù)荷(封曉偉, 2020, Exp.2; 謝科, 2020, Exp.1; Beege et al., 2020), 引導(dǎo)學(xué)習(xí)者投入較多的心理資源到理解學(xué)習(xí)材料中; 3項(xiàng)沒(méi)有發(fā)現(xiàn)情感代理和中性代理在相關(guān)認(rèn)知負(fù)荷上的差異。但有1項(xiàng)研究在以非母語(yǔ)大學(xué)生為研究對(duì)象探究代理熱情聲音的作用時(shí), 發(fā)現(xiàn)代理若賦有韻律較強(qiáng)的熱情聲音時(shí)反而降低了學(xué)習(xí)者的相關(guān)認(rèn)知負(fù)荷(Liew et al., 2020), 這說(shuō)明非母語(yǔ)的學(xué)習(xí)者可能在韻律較為平緩的聲音條件下更能投入到學(xué)習(xí)中(Davis et al., 2019), 計(jì)算發(fā)現(xiàn)情感代理在相關(guān)認(rèn)知負(fù)荷上產(chǎn)生的效應(yīng)量中值為相關(guān)認(rèn)知負(fù)荷0.08。從目前的研究現(xiàn)狀來(lái)看, 情感代理在降低外部認(rèn)知負(fù)荷和增加相關(guān)認(rèn)知負(fù)荷上的作用不太明顯, 但這一結(jié)果也從側(cè)面表明在視頻學(xué)習(xí)中加入情感代理可能并不會(huì)增加學(xué)習(xí)者的外部認(rèn)知負(fù)荷。

盡管研究者們對(duì)情感代理對(duì)學(xué)習(xí)者主觀感受的影響進(jìn)行了探究, 然而目前在情感代理研究背景下對(duì)學(xué)習(xí)者主觀感受的考察仍然十分有限, 主要集中在學(xué)習(xí)動(dòng)機(jī)和認(rèn)知負(fù)荷兩個(gè)方面, 未來(lái)從更廣泛的角度對(duì)情感代理帶來(lái)的主觀感受進(jìn)行測(cè)量(例如, 學(xué)習(xí)滿意度、學(xué)習(xí)興趣、成就感等)并探究其與學(xué)習(xí)效果之間的因果關(guān)系, 或許可以更加全面地了解情感代理起作用的內(nèi)部原因。

5 情感代理能促進(jìn)學(xué)習(xí)效果嗎？

盡管在視頻學(xué)習(xí)中加入情感代理可能喚起了學(xué)習(xí)者的積極情緒, 對(duì)學(xué)習(xí)動(dòng)機(jī)等主觀感受有一定的積極作用, 但是考慮到實(shí)際的教學(xué)實(shí)踐, 研究者們更加關(guān)注情感代理在學(xué)習(xí)效果上的作用。根據(jù)情緒反應(yīng)理論和CATLM理論, 情感代理能通過(guò)影響學(xué)習(xí)者的趨近學(xué)習(xí)行為或動(dòng)機(jī)水平進(jìn)而促進(jìn)學(xué)習(xí)結(jié)果。但是基于干擾理論(interference theory, Moreno et al., 2001), 情感代理是與學(xué)習(xí)內(nèi)容無(wú)關(guān)的材料, 在信息加工過(guò)程中, 情感代理的面部表情、手勢(shì)等信息會(huì)吸引學(xué)習(xí)者的注意, 從而減少學(xué)習(xí)者對(duì)學(xué)習(xí)內(nèi)容的注意和加工, 最終干擾學(xué)習(xí)結(jié)果。綜合以往的文獻(xiàn)發(fā)現(xiàn), 研究者們主要通過(guò)四個(gè)指標(biāo)來(lái)衡量情感代理對(duì)學(xué)習(xí)效果的影響, 分別是：保持測(cè)驗(yàn)、理解測(cè)驗(yàn)、遷移測(cè)驗(yàn)和聯(lián)合測(cè)驗(yàn)。保持測(cè)驗(yàn)主要考察學(xué)習(xí)者對(duì)學(xué)習(xí)材料的回憶或識(shí)記效果, 測(cè)驗(yàn)答案往往在學(xué)習(xí)材料中可以直接找到(Mayer, 2009)。理解測(cè)驗(yàn)通常用于檢驗(yàn)學(xué)習(xí)者對(duì)學(xué)習(xí)材料中重要信息的理解效果(Um et al., 2012)。遷移測(cè)驗(yàn)則主要考察學(xué)習(xí)者利用所學(xué)知識(shí)解決新問(wèn)題的能力(Mayer, 2009)。聯(lián)合測(cè)驗(yàn)用來(lái)測(cè)量學(xué)習(xí)者總體的學(xué)習(xí)效果(如：保持測(cè)驗(yàn)、理解測(cè)驗(yàn)和遷移測(cè)驗(yàn)之和)。

從表1匯總的32項(xiàng)報(bào)告了學(xué)習(xí)結(jié)果的實(shí)證研究來(lái)看, 14項(xiàng)研究發(fā)現(xiàn)在視頻學(xué)習(xí)中加入情感代理能夠促進(jìn)學(xué)習(xí)。例如, Liew等(2017)設(shè)計(jì)了兩個(gè)3D的教學(xué)代理講授編程相關(guān)的知識(shí), 其中一個(gè)代理傳達(dá)熱情的言語(yǔ)和非言語(yǔ)行為, 另一個(gè)則展現(xiàn)出中性的行為。結(jié)果發(fā)現(xiàn)大學(xué)生在熱情代理?xiàng)l件下的學(xué)習(xí)成績(jī)更好。Bringula等(2018)同樣發(fā)現(xiàn)通過(guò)面部表情對(duì)學(xué)習(xí)者行為進(jìn)行反饋的代理顯著提高了7年級(jí)學(xué)生的數(shù)學(xué)成績(jī)。van der Meij (2013)的研究讓小學(xué)生分別在有或無(wú)情感代理?xiàng)l件下學(xué)習(xí)計(jì)算機(jī)相關(guān)的知識(shí), 結(jié)果發(fā)現(xiàn)情感代理組的學(xué)習(xí)者在學(xué)習(xí)后測(cè)上表現(xiàn)更好。然而也有17項(xiàng)研究表明情感代理組和對(duì)照組在學(xué)習(xí)效果上不存在顯著的差異。例如, Horovitz和Mayer (2021)的研究發(fā)現(xiàn)觀看快樂(lè)代理的大學(xué)生在“二項(xiàng)概率”知識(shí)的學(xué)習(xí)中并沒(méi)有比無(wú)聊代理組的學(xué)習(xí)者表現(xiàn)更好。Guo等人也沒(méi)有發(fā)現(xiàn)情感代理在學(xué)習(xí)效果上的積極作用(Guo et al., 2015; Guo & Goh, 2016)。甚至有1項(xiàng)研究表明在視頻學(xué)習(xí)中加入一個(gè)具有面部表情的代理反而阻礙了學(xué)習(xí)者對(duì)知識(shí)的理解(Frechette & Moreno, 2010)。通過(guò)計(jì)算情感代理在學(xué)習(xí)效果上的效應(yīng)量中值得出,保持=0.18,理解=0.32,遷移= 0.14,聯(lián)合=0.32。

從以上的文獻(xiàn)整理, 結(jié)合表1的匯總結(jié)果不難看出, 情感代理在學(xué)習(xí)效果上的作用并不穩(wěn)健。出現(xiàn)不穩(wěn)定結(jié)果的原因可能是情感代理的作用受到某些調(diào)節(jié)變量的影響。首先, 學(xué)習(xí)者的個(gè)體特征與情感代理的效果有密切聯(lián)系。例如, (1)學(xué)習(xí)者的工作記憶容量。人們?cè)诠ぷ饔洃浿锌赏瑫r(shí)處理信息的數(shù)量是有限的, 當(dāng)接收信息的數(shù)量超過(guò)一定的限度可能會(huì)干擾學(xué)習(xí)效果(Mayer, 2014, 2020)。例如, Beege等(2020)發(fā)現(xiàn), 當(dāng)學(xué)習(xí)者工作記憶容量較小時(shí), 情感代理會(huì)增加學(xué)習(xí)者的額外認(rèn)知負(fù)荷從而干擾他們對(duì)關(guān)鍵信息的加工, 進(jìn)而阻礙學(xué)習(xí)。而當(dāng)學(xué)習(xí)者工作記憶容量較大時(shí), 情感代理則會(huì)促進(jìn)學(xué)習(xí)。(2)學(xué)習(xí)者的年級(jí)水平。Hernández等(2009)通過(guò)四個(gè)系列的實(shí)驗(yàn)檢驗(yàn)智能導(dǎo)學(xué)環(huán)境中情感代理的作用, 結(jié)果發(fā)現(xiàn)情感代理對(duì)低年級(jí)學(xué)習(xí)者更加有效, 而對(duì)高年級(jí)學(xué)習(xí)者的理解成績(jī)沒(méi)有促進(jìn)作用。其次, 情感代理的類型也是導(dǎo)致以往研究結(jié)果不一致的原因。例如, Liew等(2016)研究發(fā)現(xiàn)具有微笑表情的表達(dá)型情感代理對(duì)學(xué)習(xí)者的情緒、動(dòng)機(jī)和學(xué)習(xí)結(jié)果均沒(méi)有促進(jìn)作用; 但Liew等(2017)對(duì)代理進(jìn)行改進(jìn), 使用一個(gè)具有微笑表情、頭部動(dòng)作和熱情評(píng)論的移情型情感代理, 結(jié)果發(fā)現(xiàn)了情感代理的積極作用。此外, 任務(wù)類型也可能對(duì)情感代理的效果起調(diào)節(jié)作用。有研究發(fā)現(xiàn)在線性代數(shù)等學(xué)習(xí)任務(wù)中, 情感代理提高了學(xué)習(xí)成績(jī)(Bringula et al., 2018); 而在信息素養(yǎng)教育游戲等非典型學(xué)習(xí)任務(wù)中, 情感代理在學(xué)習(xí)效果上的積極作用卻消失了(Guo & Goh, 2016)。最后, 有研究認(rèn)為測(cè)驗(yàn)的時(shí)間也可能會(huì)影響情感代理的效果, 情感代理的有效性更有可能在延遲測(cè)驗(yàn)上展現(xiàn)出來(lái)(Horovitz & Mayer, 2021)。未來(lái)對(duì)這些潛在調(diào)節(jié)變量的考察或許是繼續(xù)挖掘情感代理效果的重要突破口。

6 總結(jié)與展望

通過(guò)以上論述, 結(jié)合表1中相關(guān)的結(jié)果, 可知, 以往大部分研究者發(fā)現(xiàn)在視頻學(xué)習(xí)中加入一個(gè)情感教學(xué)代理能夠喚起學(xué)習(xí)者的積極情緒(積極情緒= 0.45), 提高其動(dòng)機(jī)水平(內(nèi)部動(dòng)機(jī)= 0.52)。但情感代理在認(rèn)知負(fù)荷(內(nèi)部認(rèn)知負(fù)荷= ?0.01;外部認(rèn)知負(fù)荷= 0.09;相關(guān)認(rèn)知負(fù)荷= 0.08)上的作用十分微弱, 在學(xué)習(xí)結(jié)果(保持= 0.18;理解= 0.32;遷移= 0.14;聯(lián)合= 0.32)上的效果則較為微弱。關(guān)于情感代理的潛在作用, 研究者們從情緒感染理論, 情緒反應(yīng)理論, 多媒體學(xué)習(xí)認(rèn)知情感理論等不同的角度對(duì)其進(jìn)行解釋, 即情感代理可能通過(guò)影響學(xué)習(xí)者的情緒和動(dòng)機(jī)(或趨近行為), 進(jìn)而提高學(xué)習(xí)效果(見(jiàn)圖1)。少數(shù)發(fā)現(xiàn)情感代理阻礙學(xué)習(xí)的研究為干擾理論提供了支持, 即教學(xué)代理豐富的面部表情和手勢(shì)動(dòng)作可能會(huì)吸引學(xué)習(xí)者的注意力, 減少對(duì)關(guān)鍵信息的注意, 因此干擾學(xué)習(xí)效果。不過(guò), 仍有較多的研究沒(méi)有發(fā)現(xiàn)情感代理和非情感代理在學(xué)習(xí)效果上的差異, 這也啟示我們, 情感代理在學(xué)習(xí)結(jié)果上的穩(wěn)健性仍需要繼續(xù)檢驗(yàn)?？傊? 在上述不同理論的指導(dǎo)下, 研究者們對(duì)能否將情感代理應(yīng)用于教學(xué)實(shí)踐進(jìn)行了嘗試, 盡管研究結(jié)果存在不一致, 但整體而言, 在積極情感代理?xiàng)l件下, 學(xué)習(xí)者更加快樂(lè), 更有動(dòng)力。因此, 在教育實(shí)踐中, 教學(xué)設(shè)計(jì)者可以考慮為學(xué)習(xí)者呈現(xiàn)一個(gè)積極的教學(xué)代理以幫助他們更加快樂(lè)地學(xué)習(xí)。

圖1 基于情緒感染理論、情緒反應(yīng)理論和CATLM視角下情感代理促進(jìn)學(xué)習(xí)的加工過(guò)程(注：箭頭表示可能的因果關(guān)系方向)

注：參考Hatfield et al., 1994; Horan et al., 2012; Horovitz & Mayer, 2021; Lawson et al., 2021; Moreno & Mayer, 2007制作

未來(lái)研究可以從以下不同的方面對(duì)情感代理的作用及其機(jī)制開(kāi)展更加系統(tǒng)的探究：

第一, 關(guān)注情感代理的操縱和評(píng)定方法。為了檢驗(yàn)情感代理的有效性, 早期的研究比較了使用不同設(shè)計(jì)元素(面部表情、聲音、言語(yǔ)反饋和身體動(dòng)作等)的情感代理和中性代理在學(xué)習(xí)效果上的差異。但具體哪一種或者哪幾種元素相結(jié)合的效果最好？是不是情緒設(shè)計(jì)的元素越多越有效？未來(lái)的研究可以對(duì)此進(jìn)行更加詳細(xì)地探究。另外, 目前關(guān)于情感代理的評(píng)定方法仍存在局限。部分研究者采用主觀報(bào)告的方法對(duì)情感代理的設(shè)計(jì)效果進(jìn)行了評(píng)估, 但是這種主觀報(bào)告法的有效性仍值得商榷。甚至有部分研究并未檢驗(yàn)學(xué)習(xí)者能否成功識(shí)別代理的情緒(Baylor & Kim, 2009; Guo et al., 2015; Liew et al., 2017)。未來(lái)需要加強(qiáng)對(duì)情感代理設(shè)計(jì)效果的評(píng)估, 比如在學(xué)習(xí)結(jié)束后加入一些問(wèn)題：“你認(rèn)為情感代理的積極面部表情是否明顯且可識(shí)別？” (1?十分不明顯, 5?十分明顯)、“你認(rèn)為情感代理的聲音是否熱情” (1?很不熱情, 5?很熱情)等。并采用多種評(píng)定方法(主觀報(bào)告+客觀測(cè)量)檢驗(yàn)情感代理設(shè)計(jì)的有效性。

第二, 考察影響情感代理效果的邊界條件。綜述以往研究發(fā)現(xiàn)情感代理的有效性可能受到潛在調(diào)節(jié)變量的影響, 如情感代理類型(Liew et al., 2016; 2017), 學(xué)習(xí)者工作記憶的容量(Beege et al., 2020), 學(xué)習(xí)者年級(jí)水平(Hernández et al., 2009)等。除了以上提到的變量外, 其他諸如學(xué)習(xí)者的先前知識(shí)經(jīng)驗(yàn)和情緒狀態(tài)、學(xué)習(xí)材料難度、學(xué)習(xí)時(shí)長(zhǎng)等因素的作用還尚未被探討。值得一提的是, 學(xué)習(xí)者在學(xué)習(xí)過(guò)程中經(jīng)歷各種各樣的情緒狀態(tài), 不僅包括積極情緒, 也可能體驗(yàn)到消極情緒, 而具有高情緒調(diào)節(jié)能力的學(xué)習(xí)者能夠有效地調(diào)節(jié)學(xué)習(xí)過(guò)程中消極的情緒體驗(yàn), 保持最佳的學(xué)習(xí)狀態(tài); 低情緒調(diào)節(jié)能力者則在情緒調(diào)節(jié)方面存在困難, 在學(xué)習(xí)中更容易體驗(yàn)到負(fù)面的情緒(Graziano et al., 2007)。從這一角度出發(fā), 加入一個(gè)積極的情感代理可能更有利于低情緒調(diào)節(jié)能力者。因此, 未來(lái)對(duì)學(xué)習(xí)者情緒調(diào)節(jié)能力這一重要調(diào)節(jié)變量的考察也是一個(gè)不容忽視的方面。

第三, 探究情感代理背后的影響機(jī)制。隨著教育神經(jīng)科學(xué)的興起, 越來(lái)越多的研究者使用眼動(dòng)、功能性近紅外光譜腦成像(functional near- infrared spectroscopy, fNIRS)等技術(shù)揭示學(xué)習(xí)現(xiàn)象背后的認(rèn)知機(jī)制。有研究發(fā)現(xiàn)眼動(dòng)測(cè)量中的瞳孔擴(kuò)張可能是反映學(xué)習(xí)過(guò)程中認(rèn)知負(fù)荷高低的指標(biāo)(Lee et al., 2020)。未來(lái)的研究者可以借鑒此方法考察情感代理所引發(fā)的額外認(rèn)知負(fù)荷是否能引起瞳孔的變化, 而瞳孔變化又與學(xué)習(xí)效果之間存在怎樣的聯(lián)系？另外, 以往的研究基于現(xiàn)有理論推測(cè)情感代理可能作為與學(xué)習(xí)內(nèi)容無(wú)關(guān)的裝飾性材料干擾學(xué)習(xí)者對(duì)關(guān)鍵信息的注意, 未來(lái)的研究可以采用直接的眼動(dòng)測(cè)量指標(biāo)(如：對(duì)興趣區(qū)的注視點(diǎn), 注視時(shí)間和注視次數(shù)等)檢驗(yàn)情感代理到底是作為引導(dǎo)注意的指導(dǎo)者, 還是分散注意的干擾物, 進(jìn)而深入了解學(xué)習(xí)者在學(xué)習(xí)過(guò)程中對(duì)情感代理的注意模式。除此之外, 未來(lái)的研究也可以采用fNIRS或腦電等技術(shù)探討不同類型的教學(xué)代理(如：積極情感代理, 中性代理)對(duì)學(xué)習(xí)者大腦活動(dòng)的影響, 考察哪些腦區(qū)的激活與情感代理促進(jìn)或是阻礙學(xué)習(xí)效果有關(guān)？從而幫助揭示情感代理效果背后的神經(jīng)機(jī)制。例如, 最近的一項(xiàng)研究表明在視頻學(xué)習(xí)中學(xué)習(xí)者對(duì)學(xué)習(xí)材料的積極加工可能與額葉(frontal cortex)和中央皮層(central cortex)更高的θ波震蕩有關(guān)(Pi et al., 2021), 那么情感代理是否能夠引起額葉與中央皮層的θ波震蕩呢？未來(lái)可以借助腦電掃描技術(shù)(EEG)深入探討。

第四, 關(guān)注理論本身的完善。盡管情感代理的促進(jìn)理論和阻礙理論均得到了不同程度的支持, 然而需要注意的是, 對(duì)于情感代理既沒(méi)有促進(jìn)學(xué)習(xí)也未阻礙學(xué)習(xí)的現(xiàn)象, 兩種假設(shè)均不能給出合理的解釋。通過(guò)匯總以往研究發(fā)現(xiàn), 部分研究并沒(méi)有發(fā)現(xiàn)情感代理組和控制組(中性代理或無(wú)聊代理)在學(xué)習(xí)效果上的差異(Guo et al., 2015; Kim et al., 2007), 以往研究將“零”結(jié)果歸因于潛在的邊界條件, 未來(lái)如何將這些調(diào)節(jié)變量考慮到理論框架內(nèi)以提高情感代理相關(guān)理論的解釋力度也是研究者們需要考慮的問(wèn)題。另外, 目前關(guān)于情感代理對(duì)學(xué)習(xí)效果影響的內(nèi)部機(jī)制, 研究者們均是基于理論推測(cè), 缺乏對(duì)情緒、動(dòng)機(jī)等內(nèi)部主觀變量和學(xué)習(xí)效果之間關(guān)系的考察, 特別是部分研究發(fā)現(xiàn)情感代理喚起了學(xué)習(xí)者的情緒和動(dòng)機(jī), 但是并沒(méi)有提高學(xué)習(xí)效果(Horovitz & Mayer, 2021)。未來(lái)研究可以通過(guò)建構(gòu)中介效應(yīng)模型來(lái)揭示情感代理如何通過(guò)過(guò)程變量(情緒、動(dòng)機(jī)、情境興趣等)影響學(xué)習(xí)結(jié)果來(lái)驗(yàn)證以往的理論假設(shè)以及尋求新的理論證據(jù)。

第五, 從不同的方面挖掘情感代理的效果。以往關(guān)于情感代理的研究主要關(guān)注情感代理對(duì)學(xué)習(xí)者積極的情感狀態(tài)、動(dòng)機(jī)和學(xué)習(xí)效果的直接影響(Beege et al., 2020; Liew et al., 2017), 在一定程度上忽略了情感代理其他方面的效果, 例如情感代理能否幫助學(xué)習(xí)者免受負(fù)面影響。在學(xué)習(xí)過(guò)程中學(xué)習(xí)者需要對(duì)自己的內(nèi)在加工過(guò)程進(jìn)行調(diào)節(jié), 成功的自我調(diào)節(jié)可以幫助他們適應(yīng)環(huán)境的挑戰(zhàn), 然而失敗的調(diào)節(jié)可能導(dǎo)致自我損耗(ego depletion), 進(jìn)而干擾學(xué)習(xí)效果(Baumeister, 2014)。那么加入情感代理能否減弱自我損耗對(duì)學(xué)習(xí)成績(jī)的損害呢？另外, 在真實(shí)的學(xué)習(xí)環(huán)境中, 學(xué)習(xí)者不僅能體驗(yàn)到積極的情緒, 也可能存在消極的情緒。在視頻學(xué)習(xí)中加入一個(gè)積極的情感代理能否降低學(xué)習(xí)者的消極情緒？未來(lái)研究可以對(duì)此進(jìn)行更加全面地探究。

第六, 同時(shí)考慮情感加工過(guò)程和認(rèn)知加工過(guò)程。情緒和認(rèn)知在學(xué)習(xí)過(guò)程中同等重要, 因此在教學(xué)實(shí)踐中, 教師應(yīng)該考慮如何同時(shí)喚起學(xué)習(xí)者的情緒狀態(tài), 并且引導(dǎo)學(xué)習(xí)者進(jìn)行積極的認(rèn)知加工。Fiorella和Mayer (2015)年整理了8種學(xué)習(xí)過(guò)程中常用的生成性加工策略(如：自我生成繪圖、自我生成解釋), 并呼吁將有效的教學(xué)設(shè)計(jì)和恰當(dāng)?shù)纳尚詫W(xué)習(xí)策略相結(jié)合以實(shí)現(xiàn)最優(yōu)的教學(xué)效果(Fiorella et al., 2020)?；诖? 研究者們可以嘗試探究將情感代理和學(xué)習(xí)者生成性加工策略相結(jié)合是否能更好地促進(jìn)學(xué)習(xí)？此外, 教學(xué)代理不僅可以提供情緒反饋, 還可以給予認(rèn)知支持, 但目前僅謝科(2020)將情緒反饋和認(rèn)知反饋相結(jié)合探究情感代理的效果, 未來(lái)研究可以借鑒此思路, 采用Facereader面部表情識(shí)別技術(shù)結(jié)合出聲思維的方式深入探查學(xué)習(xí)過(guò)程中情緒和認(rèn)知之間的動(dòng)態(tài)關(guān)系, 從而促進(jìn)學(xué)習(xí)者更愉快、更高效地學(xué)習(xí)。

第七, 考察情感代理的生態(tài)效應(yīng), 將情感代理推廣到現(xiàn)實(shí)的教學(xué)環(huán)境中。目前關(guān)于情感代理的研究大都以方便取樣的原則選取大學(xué)生作為被試, 使用短時(shí)長(zhǎng)的學(xué)習(xí)材料(小于10 min), 且在控制嚴(yán)格的實(shí)驗(yàn)室環(huán)境下進(jìn)行。未來(lái)研究可以在更加真實(shí)的教學(xué)情境中以小學(xué)生或中學(xué)生為被試, 使用更長(zhǎng)時(shí)長(zhǎng)的學(xué)習(xí)材料(如：30 min)檢驗(yàn)情感代理的效果, 從而推進(jìn)實(shí)驗(yàn)研究向現(xiàn)實(shí)教學(xué)的有效過(guò)渡。

封曉偉. (2020).(碩士論文). 華中師范大學(xué), 武漢.

龔少英, 上官晨雨, 翟奎虎, 郭雅薇. (2017). 情緒設(shè)計(jì)對(duì)多媒體學(xué)習(xí)的影響.(6), 771–782.

謝科. (2020).(碩士論文). 華中師范大學(xué), 武漢.

Arroyo, I., Woolf, B. P., Royer, J. M., & Tai, M. (2009). Affective gendered learning companions. In Dimitrova, V. et al., (Eds.).(pp.41–48). IOS Press.

Ba, S., Stein, D., Liu, Q., Long, T., Xie, K., & Wu, L. (2021). Examining the effects of a pedagogical agent with dual-channel emotional cues on learner emotions, cognitive load, and knowledge transfer performance.. https://doi. org/10.1177/0735633121992421

Baumeister, R. F. (2014). Self-regulation, ego depletion, and inhibition., 313–319.

Baylor, A. L., & Kim, S. (2009). Designing nonverbal communication for pedagogical agents: When less is more.,(2), 450–457.

Baylor, A. L., & Ryu, J. (2003). The effects of image and animation in enhancing pedagogical agent persona.(4), 373– 394.

Beege, M., Schneider, S., Nebel, S., & Rey, G. D. (2017). Look into my eyes! Exploring the effect of addressing in educational videos.113–120.

Beege, M., Schneider, S., Nebel, S., & Rey, G. D. (2020). Does the effect of enthusiasm in a pedagogical agent's voice depend on mental load in the learner's working memory?.,, 106483. https://doi.org/10.1016/j.chb.2020.106483

Bringula, R. P., Fosgate Jr, I. C. O., Garcia, N. P. R., & Yorobe, J. L. M. (2018). Effects of pedagogical agents on students’ mathematics performance: A comparison between two versions.,(5), 701–722.

Chen, G.-D., Lee, J.-H., Wang, C.-Y., Chao, P.-Y., Li, L.-Y., & Lee, T.-Y. (2012). An empathic avatar in a computer-aided learning program to encourage and persuade learners.(2), 62–72.

Davis, R. O., Vincent, J., & Park, T. (2019). Reconsidering the voice principle with non-native language speakers.,, 103605.https://doi.org/10. 1016/j.compedu.2019.103605

de Koning, B., Hoogerheide, V., & Boucheix, J.-M. (2018). Developments and trends in learning with instructional video.395–398.

Endres, T., Weyreter, S., Renkl, A., & Eitel, A. (2020). When and why does emotional design foster learning? Evidence for situational interest as a mediator of increased persistence.,(4), 514–525.

Fiorella, L., & Mayer, R. E. (2015).. New York, NY:Cambridge University Press.

Fiorella, L., Stull, A. T., Kuhlmann, S., & Mayer, R. E. (2020). Fostering generative learning from video lessons: Benefits of instructor-generated drawings and learner- generated explanations.,(5), 895–906.

Frechette, C., & Moreno, R. (2010). The roles of animated pedagogical agents’ presence and nonverbal communication in multimedia learning environments.(2), 61–72.

Graziano, P. A., Reavis, R. D., Keane, S. P., & Calkins, S. D. (2007). The role of emotion regulation and children's early academic success.,(1), 3–19.

Guo, Y. R., & Goh, D. H.-L. (2015). Affect in embodied pedagogical agents: Meta-analytic review.,(1), 124–149.

Guo, Y. R., & Goh, D. H.-L. (2016). Evaluation of affective embodied agents in an information literacy game.,, 59–75.

Guo, Y. R., Goh, D. H.-L., & Luyt, B. (2014).Paper presented at the Digital Libraries, London.

Guo, Y. R., Goh, D. H.-L., Luyt, B., Sin, S.-C. J., & Ang, R. P. (2015). The effectiveness and acceptance of an affective information literacy tutorial.,, 368–384.

Hatfield, E., Cacioppo, J. T., & Rapson, R. L. (1994).Cambridge, UK: Cambridge University Press.

Hernández, Y., Sucar, L. E., & Conati, C. (2009).Paper presented at the FLAIRS Conference, Sanibel Island, Florida.

Horan, S. M., Martin, M. M., & Weber, K. (2012). Understanding emotional response theory: The role of instructor power and justice messages.,(2), 210–233.

Horovitz, T., & Mayer, R. E. (2021). Learning with human and virtual instructors who display happy or bored emotions in video lectures.,, 106724.https://doi.org/10.1016/j.chb.2021.106724

Jaques, P. A., Lehmann, M., & Pesty, S. (2009). Evaluating the affective tactics of an emotional pedagogical agent.(pp. 104–109). New York: ACM Press.

Kim, Y., Baylor, A. L., & Shen, E. (2007). Pedagogical agents as learning companions: The impact of agent emotion and gender.,(3), 220–234.

Kr?mer, N., Kopp, S., Becker-Asano, C., & Sommer, N. (2013). Smile and the world will smile with you—The effects of a virtual agent’s smile on users’ evaluation and behavior.,(3), 335–349.

Ku, J., Jang, H. J., Kim, K. U., Kim, J. H., Park, S. H., Lee, J. H., ... Kim, S. I. (2005). Experimental results of affective valence and arousal to avatar's facial expressions.(5), 493–503.

Lawson, A. P., Mayer, R. E., Adamo-Villani, N., Benes, B., Lei, X., & Cheng, J. (2021). Recognizing the emotional state of human and virtual instructors.,, 106554.https://doi.org/10.1016/ j.chb.2020.106554

Lee, J. Y., Donkers, J., Jarodzka, H., Sellenraad, G., & van Merrienboer, J. J. (2020). Different effects of pausing on cognitive load in a medical simulation game.,, 106385.

Liew, T. W., Tan, S.-M., Tan, T. M., & Kew, S. N. (2020). Does speaker’s voice enthusiasm affect social cue, cognitive load and transfer in multimedia learning?.(3), 117–135.

Liew, T. W., Zin, N. A. M., & Sahari, N. (2017). Exploring the affective, motivational and cognitive effects of pedagogical agent enthusiasm in a multimedia learning environment.,(1), 1–21.

Liew, T. W., Zin, N. A. M., Sahari, N., & Tan, S.-M. (2016). The effects of a pedagogical agent’s smiling expression on the learner’s emotions and motivation in a virtual learning environment.,(5), 249–266.

Mayer, R. E. (2009).(2nd ed). New York: Cambridge University Press.

Mayer, R. E. (Ed.), (2014).(2nd ed.). New York, NY: Cambridge University Press.

Mayer, R. E. (2020). Cognitive theory of multimedia learning. In R. E. Mayer & L. Fiorella (Eds.),(3rd ed.). New York, NY: Cambridge University Press.

Merkt, M., Lux, S., Hoogerheide, V., van Gog, T., & Schwan, S. (2020). A change of scenery: Does the setting of an instructional video affect learning?.,(6), 1273–1283.

Moreno, R., & Mayer, R. E. (2007). Interactive multimodal learning environments.(3), 309–326.

Moreno, R., Mayer, R. E., Spires, H. A., & Lester, J. C. (2001). The case for social agency in computer-based teaching: Do students learn more deeply when they interact with animated pedagogical agents?(2)177–213.

Oker, A., Pecune, F., & Declercq, C. (2020). Virtual tutor and pupil interaction: A study of empathic feedback as extrinsic motivation for learning.s,, 3643–3658.

Park, B., Kn?rzer, L., Plass, J. L., & Brünken, R. (2015). Emotional design and positive emotions in multimedia learning: An eyetracking study on the use of anthropomorphisms.,, 30–42.

Pi, Z., Zhang, Y., Zhou, W., Xu, K., Chen, Y., Yang, J., & Zhao, Q. (2021). Learning by explaining to oneself and a peer enhances learners’ theta and alpha oscillations while watching video lectures.(2), 659–679.

Plass, J. L., Heidig, S., Hayward, E. O., Homer, B. D., & Um, E. (2014). Emotional design in multimedia learning: Effects of shape and color on affect and learning.,, 128–140.

Roselyn Lee, J.-E., Nass, C., Brave, S. B., Morishima, Y., Nakajima, H., & Yamada, R. (2007). The case for caring colearners: The effects of a computer-mediated colearner agent on trust and learning.,(2), 183–204.

Saerbeck, M., Schut, T., Bartneck, C., & Janse, M. D. (2010, April). Expressive robots in education: Varying the degree of social supportive behavior of a robotic tutor. In(pp. 1613–1622). Atlanta, GA.

Schneider, S., Krieglstein, F., Beege, M., & Rey, G. D. (2022). The impact of video lecturers’ nonverbal communication on learning–An experiment on gestures and facial expressions of pedagogical agents.,104350.https://doi.org/10.1016/j. compedu.2021.104350

Shangguan, C., Gong, S., Guo, Y., Wang, X., & Lu, J. (2020). The effects of emotional design on middle school students’ multimedia learning: The role of learners’ prior knowledge.,(9), 1076–1093.

Sweller, J. (2005). Implications of cognitive load theory for multimedia learning. In R. E. Mayer (Ed.),(pp. 19–30). New York: Cambridge University Press.

Terzis, V., Moridis, C. N., & Economides, A. A. (2012). The effect of emotional feedback on behavioral intention to use computer-based assessment.,(2), 710–721.

Tsai, J., Bowring, E., Marsella, S., Wood, W., & Tambe, M. (2012). A study of emotional contagion with virtual characters. In Y. Nakano, M. Neff, A. Paiva, & M. Walker (Eds.),(pp. 81–88). Berlin Heidelberg: Springer.

Um, E. R., Plass, J. L., Hayward, E. O., & Homer, B. D. (2012). Emotional design in multimedia learning.,(2), 485–498.

Uzun, A. M., & Y?ld?r?m, Z. (2018). Exploring the effect of using different levels of emotional design features in multimedia science learning.,, 112–128.

van der Meij, H. (2013). Motivating agents in software tutorials.,(3), 845–857.

van der Meij, H., van der Meij, J., & Harmsen, R. (2015). Animated pedagogical agents effects on enhancing student motivation and learning in a science inquiry learning environment.,(3), 381–403.

Veletsianos, G. (2009). The impact and implications of virtual character expressiveness on learning and agent-learner interactions.(4), 345–357.

Wang, Y., Liu, Q., Chen, W., Wang, Q., & Stein, D. (2019). Effects of instructor's facial expressions on students' learning with video lectures.,(3), 1381–1395.

Can affective pedagogical agent facilitate multimedia learning?

WANG Yanqing, GONG Shaoying, JIANG Tiantian, Wu Yanan

(Key Laboratory of Adolescent Cyberpsychology and Behavior, Ministry of Education; School of Psychology, Central China Normal University, Wuhan 430079, China)

Recently, educational psychologists have paid much attention to whether adding an affective pedagogical agent to the computer screen can induce learners’ positive emotions, increase intrinsic motivation and facilitate cognitive processes and learning. Affective pedagogical agents are lifelike characters designed to elicit certain affective experiences in learners through multiple modalities such as facial expressions, voices, and body movements. Previous research has examined the role of affective pedagogical agents in multimedia learning. Most empirical studies found that affective pedagogical agents positively affect the learner’s emotional (positiveemotions= 0.45) and motivational state (intrinsicmotivation= 0.52). Nevertheless, affective pedagogical agents have weak effects on learning performance (d = 0.18,comprehension0.32,transfer0.14,unite0.32). Five theories were used to explain the effects of affective pedagogical agents: Emotional contagion theory, emotional response theory, cognitive-affective theory of learning with media, cognitive load theory, and interference theory. Further research should focus on the manipulation, boundary conditions, and underlying mechanisms, etc.

affective agent, positive emotions, intrinsic motivation, learning performance, multimedia learning

B849: G44

2021-08-24

*國(guó)家自然科學(xué)基金面上項(xiàng)目(#61877025), 青少年網(wǎng)絡(luò)心理與行為教育部重點(diǎn)實(shí)驗(yàn)室/人的發(fā)展與心理健康湖北省重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題(#2019B04)。

龔少英, E-mail: gongsy@ccnu.edu.cn