林文娟，劉 煒

湖北醫(yī)藥學院人文社科學院， 湖北 十堰 442000

多模態(tài)在英語聽力教學中的效果研究

林文娟，劉 煒

湖北醫(yī)藥學院人文社科學院， 湖北 十堰 442000

隨著網(wǎng)絡和計算機技術的發(fā)展，多模態(tài)教學模式逐漸成為大學英語教學的發(fā)展趨勢。該文通過實驗，研究了不同聽力模態(tài)對大學生聽力理解能力的影響。研究顯示：多模態(tài)教學的綜合運用能夠促進學生的聽力理解和詞匯習得，當視頻和音頻內(nèi)容相匹配時效果更為顯著；合理運用字幕有利于提高學生的聽力理解能力。

多模態(tài)；聽力理解；字幕；效果

多元文化的相互滲透和信息技術的快速發(fā)展，使得傳統(tǒng)的讀寫認知能力已不再適合當今社會，信息交流的多模態(tài)性是現(xiàn)代社會信息交流的基本特征。多模態(tài)是指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象[1]。目前，多媒體教學軟件、網(wǎng)絡信息技術大量地運用到英語教學中，教學媒介的多模態(tài)性決定了教學過程中的多模態(tài)信息傳遞。在教學中運用多模態(tài)形式，能夠調動學習者的多個感官系統(tǒng)參與學習，有利于學習者對信息的加工和記憶，產(chǎn)生良好的學習效果。文章通過小樣本的實驗研究，調查了多模態(tài)對大學生英語聽力理解的影響，嘗試分析不同聽力模態(tài)在教學中的優(yōu)勢和不足。

1 理論基礎和相關研究

國內(nèi)外關于多模態(tài)教學應用的實證研究取得了很多頗具價值的成果，同時研究者們對多模態(tài)對聽力材料理解的促進作用做出了大量研究。Lambert等[2]在實驗中發(fā)現(xiàn)，使用母語配音與二語字幕被試組的聽力理解效果最好，使用二語配音和二語字幕得分次之，二語配音與母語字幕模式效果最差。Price等[3]也就二語字幕對內(nèi)容理解和記憶的作用方面進行了研究。Barron和Atkins[4]的研究側重于關鍵詞字幕、全字幕和無字幕視頻在學習者知識點理解方面的不同作用。Guillory[5]把關鍵詞字幕放入二語教學中進行實驗，結果發(fā)現(xiàn)關鍵詞字幕和全字幕組明顯優(yōu)于無字幕組，肯定了字幕對加強聽力理解方面的作用。Danan[6]指出二語字幕能夠促進目標生詞的使用，并加強目標生詞形式和意義的回憶。Guichon和Mclornan[7]通過實驗證實了多模態(tài)組合有助于學生理解語料，且在其聽力學習中二語字幕優(yōu)于母語字幕。

國內(nèi)的相關研究起步較晚，研究相對較少。汪徽[8]通過實驗研究，認為字幕對二語學習者的偶然性詞匯習得有幫助，提倡教師最大地發(fā)揮字幕的作用，找到適合學生的方法。任開興[9]認為，基于SRT格式的靈活性字幕能夠成為聽力教學與訓練的得力助手。陳麗芳[10]做了輸入文本模態(tài)選擇對聽力理解的實證研究，發(fā)現(xiàn)輸入文本的模態(tài)差異對不同層次學生的聽力理解均有不同影響。

總的來說，盡管上述研究在多模態(tài)應用方面取得了豐碩成果，卻很少關注不同模態(tài)對聽力理解影響的差異。因此，該研究嘗試探討多模態(tài)在聽力教學中的效用問題，以分析不同聽力模態(tài)對學生聽力材料理解的影響和差異。

2 研究設計與實驗過程

2.1 研究問題

在外語學習環(huán)境中，學習者的聽覺語言處理能力通常低于其視覺語言處理能力，聽力理解不及閱讀理解強[11]。字幕常常作為一種補救措施以彌補對聽力材料理解能力的不足。該研究試圖探討多模態(tài)在聽力教學中的4WH 效用問題：①多模態(tài)聽力模式是否有助于大學生聽力理解能力的提高？②視頻或圖像的呈現(xiàn)是否對聽力理解有所促進？③二語字幕和母語字幕在聽力中對學生理解能力有何影響？④二語字幕和母語字幕在聽力教學中有何優(yōu)勢與不足？

2.2 研究對象和研究方法

該研究選取湖北醫(yī)藥學院臨床專業(yè)120名學生為研究對象，120名學生來自同一級別教學班級，根據(jù)一年級下學期的英語期末成績作為前測，分兩組進行成績分析，均值和標準差分別為(72.5±6.20)和(72.9±7.05)，水平相當，差異無統(tǒng)計學意義(F=0.080,P=0.991)。同一組別的學生授課教師相同，教學大綱、教材等后測條件也相同，基本等質。在聽力教學實驗中，120名學生隨機分成4組，每組30名，各組被試對象采用不同方式播放聽力材料。對照組為音頻組(聽覺模態(tài))；實驗組1為音頻、視頻組(聽覺、視覺模態(tài))，實驗組2為音頻、視頻附母語字幕組(聽覺、視覺模態(tài))，實驗組3為音頻、視頻附二語字幕組(聽覺、視覺模態(tài))。

研究視頻選取學生熟悉的話題，涉及到家庭生活、社會現(xiàn)象、健康知識、自然災害，等。大學英語四級聽力要求為平均語速每分鐘130詞，語料選取了一段時長為3分23秒(約435詞)的ABC新聞視頻，主題為手機的使用問題，主要講述了手機的使用是否存在健康隱患。根據(jù)研究需要預先對視頻進行技術處理，將視頻分別處理為無字幕、母語字幕和二語字幕格式備用，純音頻組只播放錄音。

實驗中，4組學生同一時間進行測試，教師分別用以上不同形式向學生播放聽力材料，聽力材料播放3次。該研究的變量來自于聽力材料的不同呈現(xiàn)方式，分別為純音頻、音頻+視頻、音頻+視頻附漢語字幕、音頻+視頻附英文字幕。具體的步驟為：教師首先清楚告知學生測試要求、測試過程及注意事項。聽力材料播放第一、二遍后，學生各用5 min記錄筆記；第三遍播放完畢，要求學生在20 min內(nèi)寫出英文概要，檢查并提交試卷。

2.3 數(shù)據(jù)統(tǒng)計和分析

實驗前，4位資深英語教師和2位英語為母語的外教閱讀聽力文本，劃定語義單位或關鍵詞。經(jīng)過多次討論之后，確定了36個語義單位，包含新聞的主題(手機的使用)，內(nèi)容(手機的使用是否有害于健康)及其影響，等。為了測定不同變量對學生聽力理解的影響，我們用學生實驗后寫的英文概要做分析材料，每個語義單位1分，共計36分。這樣有助于分析聽力理解過程中不同模態(tài)對學生聽力理解的影響以及字幕的作用，發(fā)現(xiàn)不同聽力模態(tài)的利弊。

實驗數(shù)據(jù)主要來自于學生所提交的英文概要中所包括的語義單位或關鍵詞的數(shù)量，語法不準確在實驗結果中忽略不計，即只要概要中包含各語義單位或關鍵詞，就被認定為已理解該語義單位或關鍵詞。每組寫出各語義單位或關鍵詞的學生人數(shù)作為該組的單項語義單位成績。為了考查不同聽力模態(tài)對學生聽力理解能力的影響是否有統(tǒng)計學意義，數(shù)據(jù)的分析和處理使用統(tǒng)計軟件SPSS 16.0，采用單因素方差分析對學生的聽力成績進行了分析，并用Post Hoc進行事后多重檢驗，統(tǒng)計分析的檢驗水準設定為0.05。

3 結果

學生聽力概要的成績數(shù)據(jù)分析結果如表1所示。

表1 不同聽力模態(tài)對學生聽力理解的影響的分析結果

*用Post Hoc進行事后多重檢驗，實驗組3分值最高，與實驗組1、2及對照組相比，P=0.000<0.05；實驗組2高于實驗組1，P=0.012<0.05;實驗組1與對照組的差異不顯著，P=0.186>0.05。

實驗結果表明，不同的聽力模態(tài)對學生聽力理解能力的影響有統(tǒng)計學意義(F=29.271，P<0.001)?？傮w來看，實驗組3(音頻+視頻+英文字幕)的分值最高(24.65±2.807，與實驗組1、2及對照組比較P=0.000)，實驗組2(音頻+視頻+中文字幕)的分值次之，實驗組1(音頻+視頻)和對照組(純音頻)之間差別無統(tǒng)計學意義(平均值分別為17.83±3.567和18.86±3.912，P=0.186)。結果顯示了4個被試組之間的聽力理解成績的差異，直觀地呈現(xiàn)了不同聽力模態(tài)對學生聽力理解能力的影響，實驗組3(音頻+視頻附英文字幕)對學生的聽力理解有著較好的促進作用，實驗組2(音頻+視頻附漢語字幕)次之，實驗組1(音頻+視頻無字幕)的作用第三，而對照組(純音頻)的效果最小。

4 討論

長期以來，音頻一直作為主要媒介應用于聽力課堂教學中，起到了積極的作用。隨著網(wǎng)絡和計算機教學技術的發(fā)展，多模態(tài)教學模式逐漸成為英語教學的發(fā)展趨勢。研究表明，視覺信息(圖像、字幕，等)能促進學生詞匯學習、聽力理解和內(nèi)容掌握。Tschirner[12]提出，當某個生詞能夠和具體的物體形象聯(lián)系起來或者獲得相應的視覺線索支撐時，詞義習得將更加容易。Doughty[13]指出，二語字幕能夠促進詞匯習得，促進詞匯形與義的匹配，幫助學生更加精確地記憶單詞和詞組。該研究結果也證實了上述觀點。

該實驗研究結果表明，綜合運用多模態(tài)教學與單一的音頻聽力模態(tài)相比具有明顯的優(yōu)勢，尤其是當視頻和音頻內(nèi)容相匹配時。例如：第7個語義單位“treat your phone like a racquetball”和第14個語義單位“ext- ended exposure to cell phone radiation”都是以直觀的視頻畫面呈現(xiàn)出來的，與音頻信息的內(nèi)容相匹配。實驗結果顯示，實驗組準確寫出語義單位或關鍵詞的學生人數(shù)高于對照組(P=0.000<0.05)。對照組寫出第7個語義單位的學生人數(shù)為12人(40%)，實驗組1、2、3寫出第7個語義單位的學生人數(shù)分別為17人(56%), 19人(63%)和23人(76%)。對照組寫出第14個語義單位的學生人數(shù)為19人(63%)，實驗組1、2、3寫出第14個語義單位的學生人數(shù)分別為22人(73%)，24人(80%)和25人(83%)。

視頻模態(tài)并不一定在任何情況下都能促進學生的詞匯記憶和聽力材料理解。例如：第16個語義單位包含the United States,Sweden,Denmark,Switzerland,UK等5個國家名，但是實驗組1(音頻+視頻)中寫出該語義單位的學生反不及對照組多，分別為19人(63%)和22人(73%)。原因可能在于視頻中并沒有出現(xiàn)與這幾個國家相關的畫面，而視頻反而分散了學生的注意力，干擾了學生對于語音的識別和記憶，使學生偏離了音頻中的語言。這也說明視頻內(nèi)容與音頻內(nèi)容不匹配時，視覺信息對學生聽力理解能力的促進不明顯，甚至造成干擾。實驗組2和實驗組3表現(xiàn)得較好，寫出該語義單位的人數(shù)分別是25人(83%)和26人(86%)，證明了無字幕的視頻會讓學生錯過許多語言信息，合理配用字幕使學生能夠兼顧語言和圖像信息，對學生的聽力理解能力有促進作用[14]。

該實驗還證實，在聽力材料相同且被試對象英語水平無明顯差異的情況下，相比漢語字幕，英語字幕更能促進學生對聽力材料的理解。這主要因為母語的負遷移在語義、詞匯和語法層面影響了學生對于聽力材料的理解。例如：第2個語義單位“cell phone sub- scriptions”一詞，漢語字幕為“手機用戶”，實驗組2的學生表述該語義單位時大部分使用了“cell phone users”。而第27個語義單位“the WHO being a cauti- ous body”中“cautious body”所配的漢語字幕為“預警組織”，實驗組2的學生無一例外地使用了“warning”一詞。這充分說明了漢語字幕在很大程度上影響了學生對聽力材料的加工和輸出。

綜上所述，多模態(tài)聽力教學優(yōu)于單一模態(tài)的聽力教學，對學生聽力理解能力的提高有顯著的促進作用，尤其以視頻和音頻內(nèi)容相匹配時為最佳。合理運用字幕有利于提高學生的聽力理解能力，英語字幕比漢語字幕更能發(fā)揮積極的作用。漢語字幕會對學生的語義理解形成負遷移。

該研究只是有關多模態(tài)聽力教學對學生聽力理解影響的初步探索，只是基于一個學校的樣本進行的分析和討論，存在著局限性，由于參加的學生人數(shù)少，所選用的視頻類型單一且內(nèi)容長度較短，研究結論還有待于選取不同聽力水平的學生進行更大規(guī)模的多模態(tài)實驗來進一步地證實。該研究提示我們，在英語教學中，教師在設計聽力教學方案時，要充分考慮到聽力材料的呈現(xiàn)方式，模態(tài)選擇要以增加正效應為原則[15]，應指導學生通過各種不同的模態(tài)來獲取和處理信息，培養(yǎng)學生的多元識讀能力，提高英語學習效果。同時，教師應注意到母語負遷移的問題，培養(yǎng)學生英漢對比分析能力，增強學生的跨文化意識。

[1]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009a(1):24-30

[2]Lambert W E,Boehler I & Sidoti N.Choosing the language of subtitles and spoken dialogues for media presentations:Impli- cations for second language education[J].Applied Psycholin- guistics,1981(2):133-144

[3]Price K.Closed-captioned TV:An untapped resource[J].MA- TSOL Newsletter,1983(12):7-8

[4]Barron & Atkins.Audio instruction in multimedia education:Is textual redundancy important?[J].J of Edu Multimedia and Hypermedia,1994,3(3/4):295-306

[5]Guillory H G.The effects of keyword captions to authentic Fr- ench video on learner comprehension[J].CALICO J,1998,15(1-3):89-108

[6]Danan M.Captioning and subtitling:undervalued language lea- rning strategies[J].META,2004(1):67-76

[7]Guichon N & Mclornan S.The effects of multimodality on L2 learners:Implications for CALL resource design[J].System,2008(1):85-93

[8]汪徽.字幕對伴隨性詞匯習得的影響[J].外語電化教學，2005(2):47-52

[9]任開興.基于靈活字幕的英語聽力教學探討[J].現(xiàn)代教育技術，2009(10):69-72

[10]陳麗芳.輸入文本模態(tài)選擇對聽力理解影響的實證研究[J].莆田學院學報，2011(6)：96-100

[11]戴勁.影視字幕與外語教學[J].外語電化教學，2005(3):18-22

[12]Tschirner E.language acquisition in the classroom:The role of digital video[J].Comp Assisted Language Learning,2001(3)-(4):305-319

[13]Doughty C J.Effect of instruction on learning a second lan- guage:A critique of instructed SLA research[A].In VanPat- ten,B,J.Williams & S.Rott.(eds.),Form-Meaning Connec- tions in second Language Acquisition[C].Mahwah,NJ:Lawrence Erlbaum,2004:65-86

[14]董劍橋，周迓菁，劉桂如.英語多媒體視頻閱聽過程中知覺負載與選擇性注意—以視頻字幕呈現(xiàn)量對閱聽理解的影響為例[J].外語電化教學，2013(5):57-64

[15]張德祿.多模態(tài)話語理論與媒體技術在外語教學中的應用[J].外語教學，2009b(4):15-20

Effects of multimodality on English listening teaching

LinWenjuan,LiuWei

SchoolofHumanitiesandSocialSciences,HubeiCollegeofMedicine,Shiyan442000,China

Multimodality teaching mode has gradually become the development trend of college English teaching with the rapid development of network- and computer-assisted teaching technology. By conducting experiments, we investigated the effects of different listening modalities upon listening compreh- ension of college students. The results showed that multimodality listening teaching can greatly improve students' listening comprehension and lexical acquisition, especially when visual information matches audio information. In addition, proper use of subtitles is conducive to improving listening comprehension.

multimodality; listening comprehension; subtitle; effect

湖北省教育科學規(guī)劃“十二五”2011年度課題“英語教學中多模態(tài)識讀能力的培養(yǎng)”(2011B342)；湖北醫(yī)藥學院2011年度教研項目“英語教學中多模態(tài)識讀能力的培養(yǎng)”(2011022)的研究成果。

2015-05-11

林文娟(1971-)，女，廣東揭陽人，碩士，副教授，主要研究方向：英語教學和教育技術。

劉煒(1972-)，男，湖北十堰人，碩士，副教授，主要研究方向：英語教學和英語語言學。 電話：13872799212：E-mail:87217973@qq.com

G434

A

1004-5287(2015)05-0538-03

：10.13566/j.cnki.cmet.cn61-1317/g4.201505018