孫崇勇

（1吉林師范大學(xué)教育科學(xué)學(xué)院，四平　136099）?。?吉林師范大學(xué)心理研究所，四平　136099）

英語(yǔ)多媒體學(xué)習(xí)中言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)認(rèn)知負(fù)荷的影響*

孫崇勇1，2

（1吉林師范大學(xué)教育科學(xué)學(xué)院，四平136099）（2吉林師范大學(xué)心理研究所，四平136099）

為了探討英語(yǔ)多媒體學(xué)習(xí)中言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)認(rèn)知負(fù)荷及學(xué)習(xí)成績(jī)的影響，采用2×2被試間實(shí)驗(yàn)設(shè)計(jì)。結(jié)果發(fā)現(xiàn)：該手勢(shì)對(duì)認(rèn)知負(fù)荷影響的主效應(yīng)不顯著，但與英語(yǔ)語(yǔ)言技能水平之間存在交互作用，當(dāng)學(xué)生語(yǔ)言技能水平低時(shí)，手勢(shì)增加了認(rèn)知負(fù)荷，反之，則降低認(rèn)知負(fù)荷；該手勢(shì)對(duì)句子轉(zhuǎn)換的成績(jī)沒有明顯影響，但在學(xué)生語(yǔ)言技能高時(shí)能提升理解能力的成績(jī)。本研究結(jié)果提示，言語(yǔ)關(guān)聯(lián)手勢(shì)的運(yùn)用有明顯作用，它能提高或降低認(rèn)知負(fù)荷，并對(duì)理解能力的成績(jī)產(chǎn)生影響，但其大小和方向依賴于學(xué)生英語(yǔ)語(yǔ)言技能水平。

言語(yǔ)關(guān)聯(lián)手勢(shì)，認(rèn)知負(fù)荷，多媒體學(xué)習(xí)，教學(xué)設(shè)計(jì)。

1　引言

目前，多媒體的技術(shù)與設(shè)備在教學(xué)中得到了廣泛的運(yùn)用，但它們對(duì)于學(xué)習(xí)者來說并不總是有效的，因?yàn)榻虒W(xué)信息的呈現(xiàn)帶有很多的不確定性。多媒體技術(shù)的運(yùn)用必然帶來教學(xué)信息與材料的豐富性，教學(xué)中一些信息呈現(xiàn)了，然后又消失了，學(xué)習(xí)者要充分理解后面的信息必須把剛剛呈現(xiàn)的信息保存在工作記憶中，而人的工作記憶容量是有限的。根據(jù)認(rèn)知負(fù)荷理論，這必然會(huì)產(chǎn)生比較高的認(rèn)知負(fù)荷（Sweller，1988；Sweller，Van Merrienboer，&Paas，1998）。在學(xué)習(xí)中，學(xué)習(xí)者至少會(huì)產(chǎn)生三種認(rèn)知負(fù)荷：（1）內(nèi)在認(rèn)知負(fù)荷，主要受學(xué)習(xí)者以往知識(shí)經(jīng)驗(yàn)和學(xué)習(xí)材料難度的影響；（2）外在認(rèn)知負(fù)荷，也稱無(wú)效的認(rèn)知負(fù)荷，主要與教學(xué)設(shè)計(jì)中學(xué)習(xí)材料的呈現(xiàn)與組織方式有關(guān)；（3）相關(guān)認(rèn)知負(fù)荷，也稱有效的認(rèn)知負(fù)荷，即學(xué)習(xí)者在完成某一任務(wù)過程中，把剩余的心理資源用到與學(xué)習(xí)直接相關(guān)的認(rèn)知加工活動(dòng)時(shí)產(chǎn)生的認(rèn)知負(fù)荷 （Sweller，1994；Paas，Renkl，&Sweller，2003）。三種認(rèn)知負(fù)荷相加就是認(rèn)知負(fù)荷總量，即總的認(rèn)知負(fù)荷。如果教學(xué)設(shè)計(jì)得當(dāng)，學(xué)習(xí)者的剩余認(rèn)知資源多，就會(huì)產(chǎn)生更多的相關(guān)認(rèn)知負(fù)荷?？梢?，相關(guān)認(rèn)知負(fù)荷也可以由教學(xué)設(shè)計(jì)引起，但它對(duì)學(xué)習(xí)是有利的。有研究表明，在多媒體動(dòng)畫學(xué)習(xí)中，通過給予不同方式的提示就可以抵消動(dòng)畫呈現(xiàn)時(shí)間過短帶來的負(fù)面影響，從而使學(xué)習(xí)者對(duì)動(dòng)畫的學(xué)習(xí)更為有效 （De Koning，Tabbers，Rikers，& Pass，2009，2010a）。Spanjers等人 （2012）的研究也發(fā)現(xiàn)，動(dòng)畫的分塊呈現(xiàn)而不是連續(xù)呈現(xiàn)，會(huì)給予學(xué)習(xí)者額外的時(shí)間來進(jìn)行必要的認(rèn)知加工，因而對(duì)初學(xué)者的學(xué)習(xí)和認(rèn)知負(fù)荷帶來有利的影響。段朝輝等人 （2013）認(rèn)為，當(dāng)動(dòng)畫呈現(xiàn)速度較慢時(shí)，單位信息量分配的加工資源更多，學(xué)習(xí)者的認(rèn)知負(fù)荷更低，知識(shí)的加工程度更深，對(duì)知識(shí)的理解更好。與單一的形式相比，多媒體雖然能提供豐富多樣的信息呈現(xiàn)方式，但這同時(shí)也會(huì)占用更多的認(rèn)知資源，因此就有可能造成認(rèn)知超負(fù)荷，最終對(duì)學(xué)習(xí)效果產(chǎn)生負(fù)面影響 （趙立影，2011）。由此看來，外在認(rèn)知負(fù)荷和相關(guān)認(rèn)知負(fù)荷的高低都可以由教學(xué)設(shè)計(jì)的不同而改變，依賴于教學(xué)設(shè)計(jì)所采用的形式。

言語(yǔ)關(guān)聯(lián)手勢(shì) （speech-associated gestures）是伴隨著語(yǔ)言而發(fā)出的手勢(shì) （本研究中的手勢(shì)均指言語(yǔ)關(guān)聯(lián)手勢(shì)），它是人類交流的普遍特征之一。通過日常觀察我們可以發(fā)現(xiàn)，教師在教學(xué)中會(huì)有意識(shí)或無(wú)意識(shí)頻繁地使用手勢(shì)。Goldin-Meadow等人（1993）發(fā)現(xiàn)，教師在向?qū)W生講授問題解決的有關(guān)策略時(shí)，手勢(shì)語(yǔ)大概占了40%。Flevares和Perry（2001）的研究表明，數(shù)學(xué)教師平均每10秒鐘使用1次手勢(shì)，在1分鐘之內(nèi)大約使用5～7個(gè)手勢(shì)。白學(xué)軍等人 （2009）對(duì)青年教師在教學(xué)中手勢(shì)使用的調(diào)查表明，優(yōu)秀教師使用手勢(shì)的頻率高于一般教師或獲獎(jiǎng)等級(jí)更低的教師。手勢(shì)對(duì)信息交流與教學(xué)發(fā)揮著重要的作用，聽話者可以直接從動(dòng)作行為中獲取有用的交流信息，說話者可以減輕言語(yǔ)傳遞信息的負(fù)擔(dān)，彌補(bǔ)言語(yǔ)表達(dá)的不足。所以，手勢(shì)傳遞的動(dòng)作信息可以使交流的雙方都為之獲益。朱明泉和張智君 （2007）曾回顧了手部運(yùn)動(dòng)與言語(yǔ)的關(guān)系研究，認(rèn)為伴隨著言語(yǔ)產(chǎn)生的有意義手勢(shì)可促進(jìn)詞匯的提取及其言語(yǔ)的加工。Ping和Goldin-Meadow（2008）的研究發(fā)現(xiàn)，在學(xué)習(xí)皮亞杰的守恒任務(wù)時(shí)，那些可以觀察到導(dǎo)航手勢(shì)的學(xué)生比那些沒有觀察到手勢(shì)的學(xué)生成績(jī)更高。Skipper等人 （2007）的研究表明，手勢(shì)呈現(xiàn)了豐富的視覺信息，從而減少了人們對(duì)聽覺信息的提取與語(yǔ)義的選擇，更加有利于雙方的信息交流。多媒體學(xué)習(xí)材料的呈現(xiàn)方式是影響認(rèn)知負(fù)荷的重要因素之一，它決定了學(xué)習(xí)材料的外部認(rèn)知負(fù)荷，會(huì)極大地影響學(xué)習(xí)者的學(xué)習(xí)效果 （段朝輝等，2013）。手勢(shì)作為學(xué)習(xí)材料呈現(xiàn)的要素之一，必然會(huì)對(duì)認(rèn)知負(fù)荷與學(xué)習(xí)效果造成影響。李智曄 （2013）認(rèn)為，現(xiàn)代多媒體學(xué)習(xí)過程中的信息加工逐漸呈現(xiàn)多通道加工的趨勢(shì)，即在雙通道 （聽覺通道與視覺通道）的基礎(chǔ)上還應(yīng)增加交互通道，也就是通過手勢(shì)、觸摸、表情、眼神等交互行為獲得信息的通道。這三個(gè)通道雖然相對(duì)獨(dú)立，在傳遞信息時(shí)如果能形成有機(jī)的整體，則能賦予學(xué)習(xí)者認(rèn)知過程中的主觀能動(dòng)性，減輕其內(nèi)部工作記憶中的認(rèn)知負(fù)荷。在有關(guān)的數(shù)學(xué)問題解決研究中，手勢(shì)還能有效降低認(rèn)知負(fù)荷，從而促進(jìn)數(shù)學(xué)的學(xué)習(xí) （Goldin-Meadow，Nusbaum，Kelly，&Wagner，2001）。而在Goldin-Meadow和Butcher（2003）的另一項(xiàng)研究中發(fā)現(xiàn)，手勢(shì)的運(yùn)用會(huì)給學(xué)習(xí)者帶來處理與計(jì)劃的負(fù)荷，任務(wù)越難，手勢(shì)越多，學(xué)習(xí)者的認(rèn)知負(fù)荷則越高。根據(jù)認(rèn)知負(fù)荷理論，任務(wù)的難度和認(rèn)知負(fù)荷關(guān)系密切，它會(huì)直接影響學(xué)習(xí)者的內(nèi)在認(rèn)知負(fù)荷。Yoshioka和Kellerman（2006）曾研究過不同語(yǔ)言水平的瑞典語(yǔ)、法語(yǔ)和荷蘭語(yǔ)的學(xué)習(xí)者，發(fā)現(xiàn)手勢(shì)在不同語(yǔ)言文化背景下對(duì)認(rèn)知負(fù)荷的影響是有差異的。手勢(shì)的發(fā)展可能不是線性的，而是如同語(yǔ)言發(fā)展一樣是復(fù)雜多層的 （楊曉瓊，2011）。另外，Barbieri等人 （2009）的系列實(shí)驗(yàn)研究表明，手勢(shì)和言語(yǔ)共享同一個(gè)交流系統(tǒng)，其相互作用的基礎(chǔ)是語(yǔ)義一致性。有了這個(gè)基礎(chǔ)，手勢(shì)就能作為言語(yǔ)表達(dá)的輔助及補(bǔ)償工具，激活詞匯通道，幫助詞匯提取。在這個(gè)問題上也有不同的觀點(diǎn)，如陳樺等 （2013）認(rèn)為，手勢(shì)與言語(yǔ)雖然共享同一個(gè)認(rèn)知源，但手勢(shì)并非總是附屬和補(bǔ)償于言語(yǔ)?？梢姡謩?shì)對(duì)學(xué)習(xí)者的影響是比較復(fù)雜的，可能因人而異，也可能和學(xué)習(xí)材料的復(fù)雜性和類別有關(guān)。

目前在國(guó)外，關(guān)于教學(xué)動(dòng)畫的研究主要集中于以下領(lǐng)域：生物學(xué)研究，如心臟是怎樣工作的 （De Koning，Tabbers，Rikers，&Pass，2010b）；自然學(xué)，如閃電是怎樣形成的 （Mayer&Moreno，1998）；機(jī)械工程學(xué)，如鋼琴是怎樣工作的 （Boucheix&Lowe，2010）；運(yùn)動(dòng)人體學(xué)，如折紙手工 （Wong，Marcus，&Ayres，et al.，2009）；問題解決程序，如概率計(jì)算（Spanjers，Van Gog，&Wouters et al.，2012）。上述這些研究主要是運(yùn)用第一語(yǔ)言獲取教學(xué)動(dòng)畫信息，而很少有研究考慮運(yùn)用第二語(yǔ)言及手勢(shì)的輔助作用來獲取教學(xué)動(dòng)畫中的抽象概念等信息，如語(yǔ)法規(guī)則。通過對(duì)以往相關(guān)文獻(xiàn)的回顧與梳理，我們認(rèn)為手勢(shì)能激發(fā)運(yùn)動(dòng)系統(tǒng)，降低無(wú)效的認(rèn)知負(fù)荷，提高語(yǔ)法動(dòng)畫學(xué)習(xí)的有效性。但是，我們還注意到，手勢(shì)的這種積極影響并不一定是針對(duì)所有的處于不同語(yǔ)言技能水平的學(xué)生。至少有這樣兩種可能性存在，即教學(xué)動(dòng)畫中手勢(shì)的運(yùn)用也許對(duì)語(yǔ)言技能水平低的學(xué)生更為有效，或也許對(duì)語(yǔ)言技能水平高的學(xué)生更為有效。因?yàn)槟壳霸谶@個(gè)領(lǐng)域還沒有先前的研究，我們很難對(duì)語(yǔ)言技能水平的影響方向與大小做出判斷，但有一點(diǎn)是明確的，即語(yǔ)言技能水平在未來的研究中應(yīng)該作為一個(gè)重要的變量進(jìn)行考察。

綜上所述，本研究將在英語(yǔ)多媒體學(xué)習(xí)中探討手勢(shì)的運(yùn)用對(duì)認(rèn)知負(fù)荷與學(xué)習(xí)成績(jī)的影響，以多媒體呈現(xiàn)條件 （有無(wú)手勢(shì)呈現(xiàn)）和英語(yǔ)語(yǔ)言技能水平為自變量，以認(rèn)知負(fù)荷和學(xué)習(xí)成績(jī)?yōu)橐蜃兞?，研究假設(shè)如下： （1）手勢(shì)的運(yùn)用會(huì)降低認(rèn)知負(fù)荷，提高學(xué)習(xí)成績(jī)；（2）手勢(shì)的運(yùn)用效果與學(xué)生的英語(yǔ)語(yǔ)言技能水平之間產(chǎn)生交互作用，即手勢(shì)的運(yùn)用對(duì)于英語(yǔ)語(yǔ)言技能水平不同的學(xué)生來說，效果有所不同。

2　研究方法

2.1被試

選取吉林某中學(xué)初三兩個(gè)平行班共120人，按近三次英語(yǔ)期末考試的平均成績(jī)由低到高排列，分別選擇排在前27%和后27%的學(xué)生作為語(yǔ)言技能低水平組 （n=32）和語(yǔ)言技能高水平組 （n=32），兩組成績(jī)差異顯著 （t=12.47，df=62，p＜0.01）。分別把語(yǔ)言技能高水平組、低水平組隨機(jī)分成兩半，再把兩組的一半合為實(shí)驗(yàn)組即手勢(shì)組 （n=32），另一半合為控制組即非手勢(shì)組 （n=32）。根據(jù)被試所在的組別給每名被試隨機(jī)編號(hào)。實(shí)驗(yàn)組男生15名，女生17名，控制組男生14，女生18名。卡方檢驗(yàn)的結(jié)果表明，各組之間性別分布的差異不顯著 （χ2（3）=0.63，p＞0.05）。被試年齡均在14～16歲之間，平均年齡為（15.23±0.75）歲。所有被試視力 （或矯正視力）正常，均為右利手，且均為自愿參加。

2.2實(shí)驗(yàn)材料

實(shí)驗(yàn)材料包括學(xué)習(xí)材料與測(cè)試材料兩類。

2.2.1學(xué)習(xí)材料

學(xué)習(xí)材料為英語(yǔ)語(yǔ)法學(xué)習(xí)中主動(dòng)語(yǔ)態(tài)與被動(dòng)語(yǔ)態(tài)互相轉(zhuǎn)換，時(shí)態(tài)包括一般現(xiàn)在時(shí)與現(xiàn)在進(jìn)行時(shí)。

2.2.2測(cè)試材料

測(cè)試材料包括前測(cè)與后測(cè)試題、認(rèn)知負(fù)荷測(cè)量量表。

前測(cè)的目的主要是考察可能影響被試學(xué)習(xí)主動(dòng)語(yǔ)態(tài)與被動(dòng)語(yǔ)態(tài)句子互相轉(zhuǎn)換中認(rèn)知負(fù)荷及學(xué)習(xí)成績(jī)的因素情況，包括被試的興趣、求知欲、自信心及對(duì)其有用性、難度、理解性的自我評(píng)估等6個(gè)方面。測(cè)試的題目均為陳述句，采用7點(diǎn)量表的形式，讓被試根據(jù)自己的實(shí)際情況選擇1～7中的一個(gè)數(shù)，其中，1—最小程度，4—中等程度，7—最大程度。比如 “你對(duì)英語(yǔ)中主動(dòng)語(yǔ)態(tài)與被動(dòng)語(yǔ)態(tài)句子互相轉(zhuǎn)換的興趣是________”。

認(rèn)知負(fù)荷測(cè)量量表采用Paas等人編制的心理努力自我評(píng)定量表（Paas&Van Merrienboer，1993）。量表實(shí)行9級(jí)評(píng)分制，從 “1—最少努力”到 “9—最大努力”，心理努力的程度依次遞增，目的是測(cè)量被試學(xué)習(xí)過程中認(rèn)知負(fù)荷的大小。該量表的信度較高，內(nèi)部一致性信度系數(shù)α=0.74。

后測(cè)試題主要考察被試的主、被動(dòng)語(yǔ)態(tài)句子轉(zhuǎn)換與理解能力。句子轉(zhuǎn)化的測(cè)試題主要包括把主動(dòng)語(yǔ)態(tài)的語(yǔ)句變成被動(dòng)語(yǔ)態(tài)和把被動(dòng)語(yǔ)態(tài)的句子變成主動(dòng)語(yǔ)態(tài)。如“Many students study English”，“He is often asked a question by the teacher”，“They are holding a sports meeting now”，“The room is being painted by some workers now”等。理解能力主要測(cè)試被試對(duì)句子結(jié)構(gòu)、轉(zhuǎn)換邏輯程序的理解，如 “這個(gè)句子的主語(yǔ)是什么”， “當(dāng)你把主動(dòng)語(yǔ)態(tài)句子轉(zhuǎn)換成被動(dòng)語(yǔ)態(tài)時(shí)，應(yīng)該怎么做”，“當(dāng)一個(gè)句子變?yōu)楸粍?dòng)語(yǔ)態(tài)后，原句子的主語(yǔ)則變成了新句子的什么成分”等。句子轉(zhuǎn)換與理解能力測(cè)試題均為10小題，每小題1分，最后取平均成績(jī)作為被試句子轉(zhuǎn)換與理解能力的成績(jī)。

2.3實(shí)驗(yàn)設(shè)計(jì)

采用2×2的被試間實(shí)驗(yàn)設(shè)計(jì)。自變量有兩個(gè)，第一個(gè)是英語(yǔ)語(yǔ)言技能水平，包括高與低兩個(gè)水平；第二個(gè)是多媒體呈現(xiàn)條件，包括有手勢(shì)呈現(xiàn)與無(wú)手勢(shì)呈現(xiàn)兩個(gè)水平。兩個(gè)自變量均為被試間因素。因變量是測(cè)量的各項(xiàng)指標(biāo)，包括前測(cè)成績(jī)、認(rèn)知負(fù)荷測(cè)量指標(biāo)與后測(cè)成績(jī)。

實(shí)驗(yàn)在該校的微機(jī)室進(jìn)行，每名被試隨機(jī)選擇一臺(tái)電腦，輸入自己的編號(hào)進(jìn)入實(shí)驗(yàn)程序。實(shí)驗(yàn)開始前，主試向被試介紹注意事項(xiàng)，要求被試按照指導(dǎo)語(yǔ)完成實(shí)驗(yàn)。指導(dǎo)語(yǔ)在電腦上呈現(xiàn)，被試在完全理解指導(dǎo)語(yǔ)后按Enter鍵開始實(shí)驗(yàn)。實(shí)驗(yàn)共分三個(gè)階段，第一階段為前測(cè)，第二階段為材料學(xué)習(xí)與認(rèn)知負(fù)荷測(cè)量，第三階段為后測(cè)。前測(cè)試題利用E-prime 2.0心理實(shí)驗(yàn)專用軟件呈現(xiàn)，各小題的呈現(xiàn)順序隨機(jī)，呈現(xiàn)時(shí)間均為30秒，被試根據(jù)自己的實(shí)際情況按1～7鍵中的某個(gè)鍵。前測(cè)完畢后，休息30秒后進(jìn)入第二階段。

學(xué)習(xí)材料采用PPT幻燈片的形式呈現(xiàn)，一共有4張幻燈片，每張呈現(xiàn)時(shí)間為90秒。其中，前面兩張呈現(xiàn)英語(yǔ)教學(xué)中一個(gè)陳述句怎樣由主動(dòng)語(yǔ)態(tài)變成被動(dòng)語(yǔ)態(tài)，后面兩張則呈現(xiàn)怎樣由被動(dòng)語(yǔ)態(tài)變成主動(dòng)語(yǔ)態(tài)。每張幻燈片都伴有轉(zhuǎn)換步驟的語(yǔ)音解說。在手勢(shì)組，幻燈片中都可以看見一只手。手的位置是動(dòng)態(tài)的，隨解說的內(nèi)容變化而做相應(yīng)的移動(dòng)。在非手勢(shì)組，除了不顯示手勢(shì)之外，其他條件和手勢(shì)組一樣。兩個(gè)組分別有一半的被試先呈現(xiàn)前面兩張幻燈片，再呈現(xiàn)后面兩張；另一半的被試呈現(xiàn)順序則相反。在每張幻燈片呈現(xiàn)后，要求被試做認(rèn)知負(fù)荷測(cè)量，量表為紙質(zhì)材料，指導(dǎo)語(yǔ)為 “在剛剛的幻燈片學(xué)習(xí)過程中，你投入了多少心理努力？”。被試一共做4次測(cè)量，其平均成績(jī)作為認(rèn)知負(fù)荷測(cè)量指標(biāo)。該階段測(cè)試完畢后，休息60秒，進(jìn)入第三階段。

后測(cè)試題也由E-prime 2.0軟件呈現(xiàn)，順序也是隨機(jī)的，每小題的呈現(xiàn)時(shí)間均為60秒。題目呈現(xiàn)后，要求被試把答案寫在事先準(zhǔn)備的空白紙上。整個(gè)實(shí)驗(yàn)過程大約30分鐘。全部測(cè)試完成后，被試將獲得一份小禮品。

3　結(jié)果

3.1前測(cè)結(jié)果

對(duì)前測(cè)中手勢(shì)組與非手勢(shì)組的影響因素進(jìn)行分析，描述性結(jié)果如表1所示。

以多媒體呈現(xiàn)條件與英語(yǔ)語(yǔ)言技能水平為自變量，分別以各影響因素為因變量，作二因素方差分析。結(jié)果顯示，多媒體呈現(xiàn)條件與英語(yǔ)語(yǔ)言技能水平 （難度除外）的主效應(yīng)及其交互效應(yīng)均不顯著 （p＞0.05）。

3.2認(rèn)知負(fù)荷與學(xué)習(xí)成績(jī)測(cè)量結(jié)果

對(duì)各組被試的認(rèn)知負(fù)荷與學(xué)習(xí)成績(jī)進(jìn)行分析，描述性結(jié)果如表2所示。

表2　各組認(rèn)知負(fù)荷與學(xué)習(xí)成績(jī)測(cè)量的描述性結(jié)果 （M±SD）

以英語(yǔ)語(yǔ)言技能水平和多媒體呈現(xiàn)條件為自變量，以認(rèn)知負(fù)荷為因變量，進(jìn)行二因素方差分析（表3）。結(jié)果顯示，英語(yǔ)語(yǔ)言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）=104.07，p＜0.001，η2=0.63；多媒體呈現(xiàn)條件的主效應(yīng)不顯著 （p＞0.05）；兩者的交互效應(yīng)顯著，F(xiàn)（1，60）=16.08，p＜0.001，η2=0.21。

表3　認(rèn)知負(fù)荷的二因素方差分析結(jié)果

二因素交互效應(yīng)分析的結(jié)果表明 （表4），多媒體呈現(xiàn)條件的處理效應(yīng)在英語(yǔ)語(yǔ)言技能兩個(gè)水平上的差異均顯著，F(xiàn)低（1，30）=8.60，p＜0.01，η2=0.22，手勢(shì)組 （4.15±0.62）顯著高于非手勢(shì)組 （3.56±0.51）；F高（1，30）=7.49，p＜0.05，η2=0.20，手勢(shì)組 （2.26± 0.45）顯著低于非手勢(shì)組 （2.74±0.55）。

表4　多媒體呈現(xiàn)條件在英語(yǔ)語(yǔ)言技能兩個(gè)水平上的認(rèn)知負(fù)荷簡(jiǎn)單效應(yīng)檢驗(yàn)

以英語(yǔ)語(yǔ)言技能水平和多媒體呈現(xiàn)條件為自變量，分別以句子轉(zhuǎn)換和理解能力的成績(jī)?yōu)橐蜃兞?，進(jìn)行二因素方差分析。結(jié)果表明，在句子轉(zhuǎn)換成績(jī)上，英語(yǔ)語(yǔ)言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）= 32.59，p＜0.001，η2=0.35，高水平組 （7.84±1.08）顯著高于低水平組 （6.31±1.06）；多媒體呈現(xiàn)條件的主效應(yīng)與交互效應(yīng)均不顯著 （p＞0.05）。在理解能力成績(jī)上，英語(yǔ)語(yǔ)言技能水平的主效應(yīng)顯著，F(xiàn)（1，60）=17.55，p＜0.001，η2=0.23；多媒體呈現(xiàn)條件的主效應(yīng)不顯著 （p＞0.05）；兩者的交互效應(yīng)顯著，F(xiàn)（1，60）=7.35，p＜0.01，η2=0.11。簡(jiǎn)單效應(yīng)檢驗(yàn)的結(jié)果表明，多媒體呈現(xiàn)條件的處理效應(yīng)只在高水平組有顯著差異，F(xiàn)高（1，30）=4.85，η2=0.12，p＜0.05，手勢(shì)組 （7.94±1.18）顯著高于非手勢(shì)組（7.06± 1.06）；在低水平組上的差異不顯著（p＞0.05）。

4　討論

4.1言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)認(rèn)知負(fù)荷的影響分析

本項(xiàng)研究考察了在英語(yǔ)多媒體學(xué)習(xí)環(huán)境下言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)學(xué)生認(rèn)知負(fù)荷及其學(xué)習(xí)效果的影響，從前測(cè)的結(jié)果來看，英語(yǔ)語(yǔ)言技能水平高低兩組因?yàn)榧寄芩奖旧淼牟町悾陔y度估計(jì)上相應(yīng)地也表現(xiàn)出差異，但與多媒體呈現(xiàn)條件之間并沒有產(chǎn)生交互效應(yīng)?？偟膩碚f，手勢(shì)組與非手勢(shì)組的認(rèn)知負(fù)荷與學(xué)習(xí)結(jié)果沒有受到學(xué)生的興趣、求知欲等因素的影響，或?qū)蓚€(gè)組的影響趨于相等。從認(rèn)知負(fù)荷的測(cè)量結(jié)果來看，手勢(shì)對(duì)認(rèn)知負(fù)荷影響的主效應(yīng)不顯著，但這并不意味著手勢(shì)對(duì)認(rèn)知負(fù)荷就一定沒有影響。根據(jù)統(tǒng)計(jì)學(xué)原理，當(dāng)某個(gè)自變量的主效應(yīng)不顯著時(shí)，有可能是受到了交互效應(yīng)的影響，交互效應(yīng)可能會(huì)掩蓋或歪曲該自變量的效應(yīng)。果不其然，手勢(shì)與英語(yǔ)語(yǔ)言技能水平之間的確存在交互作用。進(jìn)一步的簡(jiǎn)單效應(yīng)檢驗(yàn)發(fā)現(xiàn)，當(dāng)學(xué)生英語(yǔ)語(yǔ)言技能水平低時(shí)，手勢(shì)增加了認(rèn)知負(fù)荷；當(dāng)學(xué)生英語(yǔ)語(yǔ)言技能水平高時(shí)，手勢(shì)降低了認(rèn)知負(fù)荷。從這一點(diǎn)看，只是部分地驗(yàn)證了前面的研究假設(shè)。

在英語(yǔ)多媒體學(xué)習(xí)中，學(xué)生往往是在聽著聲音解說的同時(shí)，還要看著幻燈片中的內(nèi)容。本研究中，手勢(shì)組的學(xué)生除了要觀看句子轉(zhuǎn)換的文本內(nèi)容外，還得觀察隨著解說與文本內(nèi)容而不斷變化的手勢(shì)，這可能使他們投入了更多的注意資源，但也可能分散他們的注意力。根據(jù)認(rèn)知負(fù)荷理論，外在認(rèn)知負(fù)荷主要與學(xué)習(xí)材料的組織與呈現(xiàn)有關(guān)。所以，幻燈片中手勢(shì)的出現(xiàn)會(huì)導(dǎo)致外在認(rèn)知負(fù)荷的增加。增加的外在認(rèn)知負(fù)荷需要占據(jù)人的工作記憶容量，但對(duì)于英語(yǔ)語(yǔ)言技能水平高的學(xué)生而言，他們可能有著相對(duì)充足的工作記憶容量，單位信息量分配的加工資源更多，能夠用于對(duì)知識(shí)的加工與理解，使之在一定程度上降低了問題的難度，認(rèn)知負(fù)荷也就隨之減少。另外，本研究中的手勢(shì)包含著一些語(yǔ)法規(guī)則的程序信息，能夠幫助學(xué)習(xí)者加工處理問題，這與Goldin-Meadow等人 （2001）關(guān)于數(shù)學(xué)問題解決研究的結(jié)果是一致的。有研究還發(fā)現(xiàn)，多媒體動(dòng)畫通過呈現(xiàn)手勢(shì)或讓學(xué)習(xí)者做出各種手勢(shì)能激活人的鏡像神經(jīng)元 （mirror neurons），從而促進(jìn)學(xué)習(xí)，即使是對(duì)非動(dòng)作任務(wù)，如數(shù)學(xué)或語(yǔ)法任務(wù)也是這樣的 （De Koning&Tabbers，2011）。鏡像神經(jīng)元于20世紀(jì)末才被發(fā)現(xiàn)，一般認(rèn)為人腦中存在的鏡像神經(jīng)元具有直覺和視覺思維的本質(zhì)特征，它的功能與人類的認(rèn)知能力、模仿能力密切相關(guān)。那些語(yǔ)言技能水平高的學(xué)生學(xué)習(xí)語(yǔ)法技能時(shí)，他們有足夠的認(rèn)知資源用于手勢(shì)與言語(yǔ)之間的交流，并能有效激活鏡像神經(jīng)元，從而在一定程度上會(huì)降低學(xué)習(xí)材料的難度與復(fù)雜性，這就降低了內(nèi)在認(rèn)知負(fù)荷，也就降低了總的認(rèn)知負(fù)荷。而目前的測(cè)量技術(shù)還很難把三種認(rèn)知負(fù)荷區(qū)分開來，一般認(rèn)為PAAS自評(píng)量表測(cè)量的結(jié)果是總的認(rèn)知負(fù)荷。但對(duì)于英語(yǔ)語(yǔ)言技能水平低的學(xué)生而言，他們的工作記憶容量相對(duì)較少，則容易產(chǎn)生 “冗余效應(yīng)”。一方面，對(duì)手勢(shì)的加工提取需要心理努力和占據(jù)著他們相對(duì)較少的認(rèn)知資源，這會(huì)干擾新圖式的構(gòu)建與強(qiáng)化，引發(fā)額外的認(rèn)知負(fù)荷；另一方面，手勢(shì)運(yùn)用者很難保證每一個(gè)單獨(dú)的手勢(shì)都是有意義的，這樣則容易造成視覺通道的資源競(jìng)爭(zhēng)，因此產(chǎn)生較高的認(rèn)知負(fù)荷。

4.2言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)學(xué)習(xí)成績(jī)的影響分析

從英語(yǔ)多媒體學(xué)習(xí)效果的測(cè)量結(jié)果來看，手勢(shì)對(duì)句子轉(zhuǎn)換的成績(jī)沒有顯著影響。這與本研究最初的假設(shè)不相符，也與以往研究有所不同。Kelly等人 （2008）從認(rèn)知神經(jīng)科學(xué)、發(fā)展心理學(xué)與教育學(xué)的多維視角分析，認(rèn)為手勢(shì)對(duì)于語(yǔ)言學(xué)習(xí)很有益處，可以幫助學(xué)生理解抽象概念的含義，評(píng)估學(xué)生所掌握的知識(shí)；手勢(shì)對(duì)語(yǔ)法教學(xué)亦有顯著效果（Churchill et al.，2010）。本研究中，句子轉(zhuǎn)換的測(cè)試題內(nèi)容雖然不能直接從學(xué)習(xí)材料中找到現(xiàn)成的答案，即使學(xué)習(xí)者有個(gè)別地方不太懂，但他們完全可以通過模仿而獲知答案，它們不需要學(xué)習(xí)者進(jìn)行深層次的認(rèn)知加工。據(jù)此做出推測(cè)，手勢(shì)可能只對(duì)需要深層次加工的知識(shí)起作用，而對(duì)表層知識(shí)并沒有太大的幫助。所以，手勢(shì)對(duì)句子轉(zhuǎn)換的成績(jī)沒有顯著影響，但對(duì)學(xué)習(xí)者需要掌握原理性內(nèi)容的理解能力成績(jī)有一定的影響。

在對(duì)理解能力成績(jī)的影響上，手勢(shì)與英語(yǔ)語(yǔ)言技能存在交互作用，當(dāng)英語(yǔ)語(yǔ)言技能高時(shí)手勢(shì)能提高理解能力的成績(jī)，但在英語(yǔ)語(yǔ)言技能低時(shí)影響不明顯，這和前面的研究假設(shè)基本相符。對(duì)于英語(yǔ)語(yǔ)言技能水平高的學(xué)生而言，手勢(shì)的運(yùn)用降低了認(rèn)知負(fù)荷，使他們有足夠的認(rèn)知資源用于手勢(shì)與言語(yǔ)之間的交流以及詞匯的提取；同時(shí)，他們還能充分發(fā)揮自己的主觀能動(dòng)性，把當(dāng)前的學(xué)習(xí)內(nèi)容與已有的認(rèn)知結(jié)構(gòu)或圖式相結(jié)合，從而提高了學(xué)習(xí)者的英語(yǔ)語(yǔ)法理解能力的成績(jī)。本研究中，英語(yǔ)語(yǔ)法理解能力主要是測(cè)試被試對(duì)句子結(jié)構(gòu)、轉(zhuǎn)換邏輯程序的理解，基于理解能力，學(xué)習(xí)者還可以觸類旁通、舉一反三，發(fā)生學(xué)習(xí)的遷移功效，因此學(xué)生理解能力的成績(jī)與遷移成績(jī)是密切相關(guān)的。Deleeuw和Mayer（2008）認(rèn)為，遷移成績(jī)的高低可以作為相關(guān)認(rèn)知負(fù)荷的指標(biāo)。另外，由于手勢(shì)對(duì)語(yǔ)言技能水平高的學(xué)生來說降低了認(rèn)知負(fù)荷，從而使他們有可能對(duì)學(xué)習(xí)本身的內(nèi)容投入更多的注意力。Cierniak等人（2009）和Kalyuaga（2011）都強(qiáng)調(diào)，注意力水平的高低也是與相關(guān)認(rèn)知負(fù)荷密切相關(guān)的?？梢?，由于自身具備了較為豐富的先前知識(shí)經(jīng)驗(yàn)以及手勢(shì)的輔助作用，語(yǔ)言技能水平高的學(xué)生內(nèi)在認(rèn)知負(fù)荷與外在認(rèn)知相對(duì)較低，相關(guān)認(rèn)知負(fù)荷則相對(duì)較高。而根據(jù)認(rèn)知負(fù)荷理論，相關(guān)認(rèn)知負(fù)荷是有效的認(rèn)知負(fù)荷，是對(duì)學(xué)習(xí)有利的。對(duì)語(yǔ)言技能水平低的學(xué)生來說，手勢(shì)的運(yùn)用增加了他們的認(rèn)知負(fù)荷，從理論上來說這會(huì)損害他們的學(xué)習(xí)。但在本研究中，手勢(shì)對(duì)英語(yǔ)語(yǔ)言技能水平低的學(xué)生理解能力成績(jī)的影響不明顯，這可能是由于理解能力測(cè)試的題目對(duì)于他們來說還不太難，增加的認(rèn)知負(fù)荷還沒有造成他們的較高負(fù)荷或超負(fù)荷，也就是說，雖然手勢(shì)提高了他們的認(rèn)知負(fù)荷，但還沒有達(dá)到影響他們理解能力成績(jī)的程度。

當(dāng)然，關(guān)于手勢(shì)對(duì)句子轉(zhuǎn)換與理解能力成績(jī)影響不一致的原因除了以上分析的因素之外，還可能受到了學(xué)習(xí)材料的類型影響，如前人有研究發(fā)現(xiàn)，動(dòng)畫材料的不同會(huì)影響學(xué)習(xí)者的知覺模式 （Morrison，Tversky，&Betrancourt，2000）；或者還有其他的原因，這些都需要進(jìn)一步的研究證實(shí)。

5　結(jié)論

本研究探討了言語(yǔ)關(guān)聯(lián)手勢(shì)對(duì)英語(yǔ)多媒體學(xué)習(xí)環(huán)境中的認(rèn)知負(fù)荷與學(xué)習(xí)效果的影響，在本實(shí)驗(yàn)條件下得出以下結(jié)論：該手勢(shì)的運(yùn)用有明顯作用，它能提高或降低認(rèn)知負(fù)荷，并對(duì)理解能力的成績(jī)產(chǎn)生影響，但這些影響的大小和方向依賴于學(xué)生英語(yǔ)語(yǔ)言技能的不同水平。

白學(xué)軍，梁菲菲，張濤，田麗娟，文宇翔，陳宗陽(yáng).（2009）.不同獲獎(jiǎng)等級(jí)青年教師手勢(shì)語(yǔ)的量化研究.寧波大學(xué)學(xué)報(bào)（教育科學(xué)版），31（4），48-53.

陳樺，顧琰，左瀚.（2013）.手勢(shì)與言語(yǔ)的關(guān)系論.外國(guó)語(yǔ)，36（5），50-58.

段朝輝，顏志強(qiáng)，王福興，周宗奎.（2013）.動(dòng)畫呈現(xiàn)速度對(duì)多媒體學(xué)習(xí)效果影響的眼動(dòng)研究.心理發(fā)展與教育，29（1），46-53.

李智曄.（2013）.多媒體學(xué)習(xí)的認(rèn)知—傳播模型及其基本特征.教育研究，35（8），112-116.

楊曉瓊.（2011）.國(guó)外手勢(shì)與二語(yǔ)習(xí)得研究的進(jìn)展.外國(guó)語(yǔ)文，27（3），89-93.

趙立影.（2011）.基于工作記憶的多媒體學(xué)習(xí)設(shè)計(jì).電化教育研究，32（8），98-102.

朱明泉，張智君.（2007）.言語(yǔ)與手部運(yùn)動(dòng)關(guān)系的研究回顧.心理科學(xué)進(jìn)展，15（1），88-93.

Barbieri，F(xiàn).，Buonocore，A.，Volta，R.D.，&Gentilucci，M.（2009）. How symbolic gestures and words interact with each other. Brain and Language，110（1），1-11.

Boucheix，S.C.，&Lowe，R.K.（2010）.An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations.Learning and Instruction，20（2），123-135.

Churchill，E.，Okada，H.，Nishino，T.，&Atkinson，D.（2010）. Symbiotic gesture and the sociocognitive visibility of grammar in second language acquisition.The Modern Language Journal，94（2），234-253.

Cierniak，G.，Scheiter，K.，&Gerjiets，P.（2009）.Explaining the split-attention effect：Is the reduction of extraneous cognitive load accompanied by an increase in germane cognitive load？. Computers in Human Behavior，25（2），315-324.

De Koning，B.B.，&Tabbers，H.K.（2011）.Facilitating understanding of movements in dynamic visualizations：An embodied perspective.Educational Psychology Review，23（4），501-521.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2009）.Towards a framework for attention cueing in instructional animations：Guidelines for research and design.Educational Psychology Review，21（2），113-140.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2010a）.Learning by generating vs.Receiving instructional explanations：Two approaches to enhance attention cueing in animations.Computers&Education，55（2），681-691.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F(xiàn).（2010b）.Attention guidance in learning from a complex animation：Seeing is understanding？.Learning and instruction，20（2），111-122.

DeLeeuw，K.E.，&Mayer，R.E.（2008）.A comparison of three measures of cognitive load，evidence for separable measures of intrinsic，extraneous，and germane load.Journal of Educational Psychology，100（1），223-234.

Flevares，L.M.，&Perry，M.（2001）.How many do you see？The use of nonspoken representations in first grade mathematics lessons.Journal of Educational Psychology，93（2），330–345.

Goldin-Meadow，S.，&Butcher，C.（2003）.Pointing:Where language，culture，and cognition meet.In S.Kita，Pointing toward two word speech in young children（pp.85-107）.Hillsdale，NJ：Lawrence Erlbaum Associates.

Goldin-Meadow，S.，Nusbaum，H.，Garber，P.，&Church，R.B.（1993）.Transitions in learning：Evidence for simultaneously activated strategies.Journal of Experimental Psychology:Human Perception and Performance，19（1），91-107.

Goldin-Meadow，S.，Nusbaum，H.，Kelly，S.D.，&Wagner，S.（2001）.Explaining math：Gesturing lightens the load.Psychological Science，12（6），516-522.

Kalyuaga，S.（2011）.Cognitive load theory：How many types of load does it really need？.Educational Psychology Review，23（1），1-19.

Kelly，S.D.，Manning，S.M.，&Rodak，S.（2008）.Gesture gives a handtolanguageandlearning，Perspectivesfromcognitive neuroscience，developmentalpsychologyandeducation.Language and Linguistics Compass，2（4），569-588.

Mayer，R.E.，&Moreno，R.（1998）.A split-attention effect in multimedia learning：Evidence for dual processing systems in working memory.Journal of Educational Psychology，90（2），312-330.

Morrison，J.B.，Tversky，B.，&Betrancourt，M.（2000）.Animation: Does it facilitate learning.Paper presented at the 2000 AAAI Spring Symposia，Palo Alto，California.

Paas，F(xiàn).，&Van Merrienboer，J.J.G.（1993）.The efficiency of instructional conditions：An approach to combine mental effort and performance measures.Human Factors，35（4），737-743.

Paas，F(xiàn).，Renkl，A.，&Sweller，J.（2003）.Cognitive load theory andinstructionaldesign：Recentdevelopments.Educational Psychologist，38（1），1-4.

Ping，R.M.，&Goldin-Meadow，S.（2008）.Hands in the air：Using ungrounded iconic gestures to teach children conservation of quantity.Development Psychology，44（5），1277-1287.

Skipper，J.I.，Goldin-Meadow，S.，Nusbaum，H.C.，&Small，S.L.（2007）.Speech-associated gestures，Broca′s area，and the human mirror system.Brain and Language，101（3），260-277.

Spanjers，I.A.E.，Van Gog，T.，Wouters，P.，&Van Merrienboer，J.J.G.（2012）.Explaining the segmentation effect in learning from animations：The role of pausing and temporal cueing. Computer&Education，59（2），274-280.

Sweller，J.（1994）.Cognitive load theory，learning difficulty，an instructional design.Learning and Instruction，4（4），295-312.

Sweller，J.（1988）.Cognitive load during problem solving，effects on learning.Cognitive Science，12（2），257-285.

Sweller，J.，Van Merrienboer，J.J.G.，&Paas，F(xiàn).（1998）.Cognitive architecture and instructional design.Educational Psychology Review，10（3），251-296.

Wong，A.，Marcus，N.，Ayres，P.，Smith，L.，Copper，G.A.，&Paas，F(xiàn).，et al.（2009）.Instruction animations can be superior to statics when learning human motor skills.Computers in Human Behavior，25（2），339-347.

Yoshioka，K.，&Kellerman，E.（2006）.Gesture Introduction of Ground Reference in L2 Narrative Discourse.International Review of Applied Linguistics，44（2），171-193.

To explore the influence of speech-associated gestures on cognitive load and performance in English multimedia learning，the research used a 2×2 design with two between-subjects factors being level of English language skills and multimedia presentation of language learning material.The results showed that：1）there was no main effect of speech-associated gestures on cognitive load，but there was interaction effect between the gestures and the level of English language skills.When the level of English language skills was high，the gestures decreased cognitive load；otherwise，they increased it.2）The speech-associated gestures had no significant influence on the performance of sentence transformation，but they could increase that of comprehension ability when the level of English language skills was high.The findings suggest that the utilization of speech-associated gestures has an obvious effect in English multimedia learning，which can increase or decrease cognitive load of learners，and has an influence on their performance of comprehension ability.However，degree and direction of the effect depend on the level of learners′English language skills.

The Influence of Speech-Associated Gestures on Cognitive Load in English Multimedia Learning

Sun Chongyong1，2
（1 School of Educational Sciences，JiLin Normal University，Siping136099；2 Institute of Psychology，JiLin Normal University，Siping136099）

speech-associated gesture，cognitive load，multimedia learning，instructional design.

B842

2015-1-1

教育部人文社會(huì)科學(xué)研究規(guī)劃基金項(xiàng)目 （15YJA880056）。

孫崇勇，E-mail：scyjlnu@aliyun.com。