盛仁澤 衛(wèi) 茜 寶建東 劉曉林

（重慶三峽學(xué)院外國(guó)語學(xué)院，重慶萬州 404100）

“在聽力教學(xué)中使用視聽材料使聲音和圖像相結(jié)合，視覺和聽覺相結(jié)合，語言和情景相結(jié)合，對(duì)視覺型、聽覺型、感受型等各類學(xué)習(xí)風(fēng)格的學(xué)生都是有益的。”[1]基于此，筆者在聽力教學(xué)中引入多模態(tài)學(xué)習(xí)模式，通過視覺、聽覺和觸覺與網(wǎng)絡(luò)環(huán)境下的多媒體聽力學(xué)習(xí)資源（音頻、視頻及其錄音轉(zhuǎn)寫文字）以互動(dòng)方式學(xué)習(xí)聽力，即學(xué)生與外部環(huán)境進(jìn)行互動(dòng)，大腦對(duì)接受的信息進(jìn)行處理，然后通過外部行為表現(xiàn)來提高自己的聽力能力。因此，本文擬就探討多模態(tài)對(duì)聽力理解和附帶詞匯習(xí)得的作用。

一、研究綜述

（一）多模態(tài)及其作用

多模態(tài)指人類通過三個(gè)及其以上感官跟外部環(huán)境之間的互動(dòng)方式。[2]自20世紀(jì)90年代起就有人將該理論引入了話語分析領(lǐng)域，朱永生認(rèn)為話語分析不應(yīng)局限于語言本身，應(yīng)注意到圖像、聲音、顏色等其他意義表現(xiàn)形式。[3]Weyers認(rèn)為受視、聽覺的雙重刺激，學(xué)習(xí)者能顯著提高對(duì)目標(biāo)語內(nèi)容的理解。[8]周光磊和楊世登（2004）則發(fā)現(xiàn)視頻輔助對(duì)學(xué)習(xí)者能產(chǎn)生積極影響，語言水平較低者作用尤甚。[4]Guichon和McLornan在以BBC視頻新聞和音頻新聞為對(duì)比研究工具的一項(xiàng)實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)視頻形象和語言信息相關(guān)時(shí)，聽力理解得到了提高；視頻圖像和語音信息不一致時(shí)，受試有認(rèn)知負(fù)荷超載的表現(xiàn)。他們由此認(rèn)為，與語音信息無直接關(guān)聯(lián)的視屏圖像會(huì)干擾學(xué)生的注意力，造成注意力分裂效應(yīng)。[8]多模態(tài)對(duì)詞匯習(xí)得的影響，因視聽材料的不同而效果各異。Snyder和Colon（1988）的研究表明視覺輸入能提高詞匯理解和記憶。[9]周光磊和楊世登則認(rèn)為視頻功能對(duì)幫助學(xué)習(xí)者理解生詞及與無涉畫面的具體信息作用不彰。[4]

（二）附帶詞匯習(xí)得

Nagy、Herman和Anderson1985年首次提出了附帶詞匯習(xí)得（incidental vocabulary acquisition，以下簡(jiǎn)稱IVA）概念，即在聽說讀寫時(shí)自然附帶習(xí)得詞匯，視詞匯學(xué)習(xí)為完成活動(dòng)之手段，而非目的。IVA研究方興未艾，Pulido（2003）考察了話語熟悉程度、英語閱讀能力以及視覺詞匯量對(duì)IVA的影響，[10]Laufer和 Hulstijn（2001）則研究了寫作中的 IVA。[11]目前，國(guó)內(nèi)的IVA研究才起步，介紹性文章較多（蓋淑華2003a；粱端俊2005），[5][6]實(shí)證研究相對(duì)較少（蓋淑華，2003b），且多聚焦于閱讀而忽略了聽說寫領(lǐng)域。[7]

二、實(shí)驗(yàn)研究

（一）研究設(shè)計(jì)和研究問題

研究的自變量是視聽組，研究的因變量是產(chǎn)出性詞匯即時(shí)習(xí)得和接收性詞匯即時(shí)習(xí)得以及產(chǎn)出性詞匯延時(shí)記憶和接收性詞匯延時(shí)記憶。聽力輸入被當(dāng)作控制變量。

本文研究的主要問題：第一，多模態(tài)學(xué)習(xí)模式對(duì)聽力理解和附帶詞匯習(xí)得作用如何？第二，視聽組比聽音組是否更能促進(jìn)聽力理解和附帶詞匯習(xí)得？

（二）研究對(duì)象

受試者是本校一年級(jí)非英語專業(yè)本科生，由同一教師任課，他們被分為兩組，即視聽組（29人）采用多模態(tài)教學(xué)模式，聽音組（29人）采用傳統(tǒng)聽音教學(xué)法。兩組受試期末考試成績(jī)方差分析顯示沒有顯著差異：F（1，56）＝1.12，p＝0.349（p＜0.05）。問卷顯示受試的年齡為17～20歲，學(xué)習(xí)英語的時(shí)間均為7～8年。實(shí)驗(yàn)研究時(shí)間為一年（2008年9月至2009年9月）。

（三）研究工具

研究工具為聽力測(cè)試卷及詞匯測(cè)試卷。

1.聽力測(cè)試卷

聽力測(cè)試材料是介紹水資源的科教紀(jì)錄片。該片語言清晰，語速適中，并配有相關(guān)圖像。聲音和圖像有利于視覺輸入和聽力輸入的相互影響。文章已知詞匯覆蓋率為文內(nèi)標(biāo)記的97.94%，列出20個(gè)提示詞（10個(gè)目標(biāo)詞和10個(gè)干擾詞），其發(fā)音、詞形、詞義和漢語意思也一并列出，在聽前發(fā)放給受試者，目的是確保受試者準(zhǔn)確理解文意并能使用目標(biāo)詞。聽力測(cè)試卷要求受試獨(dú)立聽兩遍，視聽組還觀看與聽力材料配套的視頻圖像。然后完成聽力理解測(cè)試題（10分），對(duì)10個(gè)句子作正誤判斷，10個(gè)句子都與文章內(nèi)容相關(guān)，其中有五個(gè)句子與視頻信息相關(guān)，句中無目標(biāo)詞。

2.詞匯測(cè)試

試卷包括前測(cè)卷和后測(cè)卷。前測(cè)在受試前進(jìn)行，目的是檢測(cè)受試者對(duì)目標(biāo)詞的熟悉程度，要求受試者寫出20個(gè)英語單詞（10個(gè)目標(biāo)詞和10個(gè)干擾詞）的漢語意思。后測(cè)在聽后進(jìn)行，用于檢測(cè)受試者對(duì)目標(biāo)詞的附帶習(xí)得情況，由接受和產(chǎn)出測(cè)試組成，每項(xiàng)測(cè)試各10道題，每題計(jì)1分。接受測(cè)試檢測(cè)受試者是否能夠識(shí)別目標(biāo)詞的意義，要求受試者從右欄中選出與左欄的目標(biāo)詞對(duì)應(yīng)的同義詞或定義進(jìn)行匹配。產(chǎn)出測(cè)試檢測(cè)受試者應(yīng)用目標(biāo)詞的能力，從聽力材料中挑出含有目標(biāo)詞的10個(gè)原句并把目標(biāo)詞去掉，留有首字母，要求受試者填空。為了降低測(cè)試效應(yīng)，產(chǎn)出性測(cè)試皆先于接收性測(cè)試。

（四）多模態(tài)學(xué)習(xí)模式訓(xùn)練內(nèi)容

視聽組采用三個(gè)環(huán)節(jié)來設(shè)計(jì)多模態(tài)教學(xué)活動(dòng)。1.聽前階段：提供聽力材料背景信息和相關(guān)圖片。2.聽時(shí)階段：為學(xué)生提供多模態(tài)教學(xué)材料。此階段是聽力材料的信息獲取和意義建構(gòu)階段。參照朱永生（2007）視覺符號(hào)語義三層面分析方法。（1）在概念意義層面上，探討圖像本身的意義。（2）在人際意義層面上，從三個(gè)角度來探討：①圖像中參與者的社會(huì)關(guān)系；②明確圖像設(shè)計(jì)者的交際目的；③圖像解釋讀者本身對(duì)圖像內(nèi)容的介人程度。（3）在語篇層面上，根據(jù)圖像所處的相對(duì)位等版面安排，分析多模態(tài)話語的信息分布，確認(rèn)已知信息和新信息。[7]3.聽后階段：提出問題，進(jìn)行討論。具體做法：（1）復(fù)述，（2）角色扮演，（3）寫摘要。

（五）實(shí)驗(yàn)測(cè)試步驟

實(shí)驗(yàn)一年后，持續(xù)進(jìn)行了五周測(cè)試。第一周，詞匯前測(cè)，無任何準(zhǔn)備的受試時(shí)限10分鐘完成。最后受試接受測(cè)前任務(wù)訓(xùn)練。第二周，四組受試在完成各自任務(wù)后立即進(jìn)行聽力理解測(cè)試和詞匯后測(cè)1。第三、四、五周則分別完成詞匯后測(cè)2、3和4。

（六）數(shù)據(jù)分析

本研究使用SPSS 17.0進(jìn)行統(tǒng)計(jì)分析。運(yùn)用單向方差分析檢驗(yàn)兩組受試的聽力理解和詞匯習(xí)得是否存在顯著差異。

三、結(jié)果分析與討論

（一）結(jié)果分析

1.視聽組對(duì)聽力理解的作用

視聽組聽力理解成績(jī)的平均分（視聽組平均值為7.90）均高于聽音組（聽音組平均值為5.83）。單方差分析顯示，兩組受試的聽力理解成績(jī)之間存在顯著性差異，P為0.02，小于0.05，表明視聽組的聽力理解能力比聽音組顯著要好。

2.視聽組對(duì)產(chǎn)出性詞匯習(xí)得的作用

如表1所示，視聽組的4次產(chǎn)出性測(cè)試平均分都稍高于聽音組。單向方差分析顯示（表 2），兩組受試后三次產(chǎn)出性詞匯后測(cè)都沒有顯著性差異，P大于0.05，表明它們沒有導(dǎo)致顯著不同的產(chǎn)出性詞匯習(xí)得。

表1 兩組方式的產(chǎn)出性平均分分布表（n=29）

表2 兩組方式的產(chǎn)出性測(cè)試成績(jī)ANOVA（單因素）方差分析表（P＜0.05）

3.視聽組對(duì)接收性詞匯習(xí)得的作用

如表3所示，視聽組的四次接收性詞匯后測(cè)得分稍高于聽音組。單向方差分析顯示（表4），兩組受試的四次接收性后測(cè)都沒有顯著性差異，P大于 0.05表明它們沒有導(dǎo)致顯著不同的接受性詞匯習(xí)得。

表3 兩組方式的接受性平均分分布表（n=29）

表4 兩組方式的接受性測(cè)試成績(jī)的ANOVA（單因素）方差分析表（P＜0.05）

（二）討論

關(guān)于視聽組與聽音組對(duì)聽力理解和附帶詞匯習(xí)得的作用，本研究發(fā)現(xiàn)：第一，視聽組的聽力理解成績(jī)比聽音組顯著要好；第二，視聽組與聽音組的產(chǎn)出性和接受性詞匯習(xí)得沒有顯著差異，但前者的詞匯測(cè)試平均分高于后者，這表明前者的附帶詞匯習(xí)得優(yōu)于后者。視聽組的聽力成績(jī)平均分高于聽音組，且具有顯著性的差異。該結(jié)果和Secules etal（1992）和Weyers（1999）的研究結(jié)果相一致。[8][12]用認(rèn)知負(fù)荷理論來解釋其原因：第一，結(jié)合視聽兩種模式的信息輸入可以將學(xué)習(xí)者的工作記憶最大化，從而提高聽力理解。第二，由于視聽材料的呈現(xiàn)要求學(xué)習(xí)者在多種離散的信息源之間分配注意資源則干擾了學(xué)習(xí)。學(xué)習(xí)者注意資源的有限性使他無法以語言系統(tǒng)和圖像系統(tǒng)同時(shí)去辨認(rèn)、加工和儲(chǔ)存信息。相反，他只能以相應(yīng)的最佳的認(rèn)知系統(tǒng)，圖像系統(tǒng)去儲(chǔ)存信息，即視頻模式來儲(chǔ)存聽力材料。此時(shí)，學(xué)習(xí)者更傾向于借助圖像視覺信息來理解內(nèi)容而不是用語言形式來理解（VanPattern，1990）。[13]因此，視聽中的超語言特點(diǎn)可以為理解內(nèi)容提供線索，語言水平和任務(wù)的難易度能起到協(xié)調(diào)作用。

視頻組與聽音組的產(chǎn)出性和接收性詞匯習(xí)得的沒有顯著差異，但前者的詞匯測(cè)試平均分高于后者，這表明前者的附帶詞匯習(xí)得優(yōu)于后者。第一，視頻中的非語言信息對(duì)詞匯的短期和長(zhǎng)期記憶有干擾作用，對(duì)語言水平低的學(xué)習(xí)者來說影響較大。對(duì)于沒有圖像對(duì)應(yīng)的詞匯，視聽組明顯受圖像信息的干擾。因?yàn)橐曨l圖像占據(jù)了大部分工作記憶空間，詞匯注意和解碼的注意力空間就降低了，詞匯習(xí)得也就減少了，而聽音組學(xué)生的瞬間記憶較好，選擇原詞的準(zhǔn)確率較高。第二，視聽組對(duì)有具體圖像的實(shí)義詞的記憶有所提高，伴有圖像的詞匯有助于學(xué)生對(duì)詞匯的短期記憶和習(xí)得。由于學(xué)生能夠在圖片和詞匯語音信息之間建立關(guān)聯(lián)，語音信息不會(huì)完全被圖像所代替。從測(cè)試結(jié)果看，視頻輔助功能對(duì)詞匯題及與畫面無關(guān)的具體信息題的影響最小，對(duì)總體信息題、與畫面相關(guān)的具體信息題均有顯著影響。這說明視頻輔助功能對(duì)不同語言水平的學(xué)生所起的作用不同，語言水平較低的學(xué)生受其影響較大。

四、結(jié)論

本文對(duì)多模態(tài)教學(xué)模式在大學(xué)英語聽力教學(xué)中的作用進(jìn)行了實(shí)證研究，結(jié)果表明，視聽組比聽音組更能提高學(xué)生聽力理解能力，視聽組與聽音組之間的附帶詞匯習(xí)得沒有顯著性差異，但視聽組的平均值和標(biāo)準(zhǔn)差要高于聽音組。這說明視頻輔助功能對(duì)詞匯題及與畫面無關(guān)的具體信息題的影響最小，對(duì)總體信息題、與畫面相關(guān)的具體信息題均有顯著影響。視頻輔助功能對(duì)不同語言水平的學(xué)生所起的作用不同，語言水平較低的學(xué)生受其影響較大。由于學(xué)生的產(chǎn)出性詞匯的習(xí)得落后于接收性詞匯習(xí)得。為了有效提升附帶詞匯習(xí)得，師生均應(yīng)重視單詞的產(chǎn)出性運(yùn)用。教師應(yīng)選擇具有真實(shí)情景且原汁原味的聽力材料，讓學(xué)生充分發(fā)揮主觀能動(dòng)性來解決各種問題，以促進(jìn)聽力理解和詞形詞義的附帶習(xí)得。在課堂上為學(xué)生提供角色扮演和話題討論機(jī)會(huì)。再次，聽力材料難易適度，學(xué)生不能完全依靠視覺信息理解內(nèi)容而忽視對(duì)語言形式的學(xué)習(xí)。

[1]王守元，苗興偉.英語聽力教學(xué)的理論與方法[J].外語電化教學(xué)，2003（4）.

[2]顧日國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析仁[J].外語電化教學(xué)，2007（2）.

[3]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007（5）.

[4]周光磊，楊世登.視頻輔助功能對(duì)英語專業(yè)學(xué)生聽力理解的影響[J].解放軍外國(guó)語學(xué)院學(xué)報(bào)，2004（3）.

[5]蓋淑華.詞匯附帶習(xí)得研究概述[J].解放軍外國(guó)語學(xué)院學(xué)報(bào)，2003a（2）.

[6]蓋淑華.英語專業(yè)學(xué)生詞匯附帶習(xí)得研究[J].外語教學(xué)與研究，2003b（4）.

[7]粱端俊.L2/FL閱讀中詞匯附帶習(xí)得縱觀[J].國(guó)外外語教學(xué)，2005（4）.

[8]Weyers,J.R. The effect of authentic video on communities competence [J].The Modern Language Journal, 1999（3）.

[9]Snyder & Colon, I. Foreign language learning and audiovisual aids [J]. Foreign Language Annals, 1988（21）.

[10]Pulido,D. Modeling the role of second language proficiency and topic familiarity in second language incidental vocabulary acquisition through reading[J].Language learning,2003（53）.

[11]Laufer B., Hulstijn J.Incidental vocabulary acquisition in a second language: The construct of task induced involvement [J].Applied Linguistics,2001（1）.

[12]Secules, Teresa, Carol H. and Michael Tomasello. Thee ffect of context on foreign language learning[J].TheMod2ern Language Journal,1992（4）.

[13]VanPattern, B. Attending to form and content in second language acquisition: An experiment in consciousness [J].Studies in Second Language Acquisition, 1990（3）.