胡　璐

(成都信息工程大學(xué) 外國語學(xué)院,成都 610000)

0　引　言

多模態(tài)需要聽覺、視覺等不同感官的參與，需要利用語言、圖像、聲音等不同手段。在計算機(jī)網(wǎng)絡(luò)等教學(xué)技術(shù)的不斷發(fā)展和多模態(tài)話語分析理論不斷完善的新環(huán)境下，計算機(jī)輔助教學(xué)越來越廣泛。把多模態(tài)應(yīng)用于教學(xué)，可以讓學(xué)習(xí)者充分利用自己的感官來學(xué)習(xí)。如果學(xué)習(xí)者大腦皮層相應(yīng)的機(jī)能區(qū)受到多渠道信息共同刺激時，反應(yīng)要比受到單一渠道信息刺激時劇烈，正效應(yīng)條件更有助于學(xué)習(xí)者加工、記憶信息，從而增強(qiáng)學(xué)習(xí)效果[1]?？墒嵌嗄B(tài)學(xué)習(xí)具有雙重作用，如果不能恰當(dāng)處理會使學(xué)習(xí)者的注意力被分散，知識點(diǎn)記憶容易被干擾。大腦的工作記憶容量有限，因此人們幾乎無法對各個渠道的信息進(jìn)行同時加工。為了防止工作記憶負(fù)荷的負(fù)效應(yīng)產(chǎn)生，需專門處理一下材料的表現(xiàn)方式的。本實驗通過分析英語專業(yè)聽力教學(xué)多模態(tài)功能，旨在為英語聽力教學(xué)提供參考。

1　相關(guān)研究回顧

對聽力教學(xué)中多模態(tài)應(yīng)用的實驗分析在國內(nèi)外都取得了一定的成績。國外方面的成績主要有： Lambert等[2]的相關(guān)實驗證明，學(xué)習(xí)者運(yùn)用的學(xué)習(xí)材料和得分有很大關(guān)系，若采用母語配音結(jié)合二語字幕的聽力材料，學(xué)習(xí)者的得分居第一位，若采用二語配音結(jié)合二語字幕的聽力材料學(xué)習(xí)中得分居第二位，而二語配音結(jié)合母語字幕的聽力材料對學(xué)習(xí)者的聽力理解幾乎沒有幫助。Baltova[3]的實驗發(fā)現(xiàn)，在進(jìn)行聽力教學(xué)時，當(dāng)視頻被結(jié)合有二語字幕的時候，學(xué)生記憶聽力材料的效果最好。Malisz等[4]的實驗表明，多模態(tài)組合對學(xué)生理解聽力材料有很大的促進(jìn)作用，與母語字幕相比，二語字幕對學(xué)習(xí)者聽力學(xué)習(xí)效果更佳。Dominguez等[5]的實驗同樣證明，在學(xué)生理解聽力材料時，多模態(tài)模式有著積極的影響，可是模態(tài)不同期作用方式也就不一樣。國內(nèi)方面的成績有：龍宇飛等[6]對元認(rèn)知策略和多模態(tài)交互作用在聽力中的作用進(jìn)行實驗。李欣等[7]研究了多模態(tài)自主聽力教學(xué)模式的有效性，研究證明多模態(tài)能使學(xué)生的聽力水平、多元識讀能力都有很大的效果。

這些研究較少對在聽力理解中，各個多模態(tài)組合的作用程度進(jìn)行相關(guān)分析，對各個模態(tài)在英語專業(yè)聽力教學(xué)中具體應(yīng)用效果也關(guān)注較少。本實驗主要對英語專業(yè)聽力教學(xué)多模態(tài)功能進(jìn)行分析。

2　實驗設(shè)計

2.1　實驗問題

英語專業(yè)聽力教學(xué)多模態(tài)功能，主要實驗問題：①在英語專業(yè)聽力教學(xué)中多模態(tài)對學(xué)生理解聽力材料的能力有無效果？②在聽力理解中視頻、圖像的優(yōu)勢與缺陷是什么？③在聽力理解中漢語及英語字幕有怎樣的優(yōu)勢？④在聽力理解中漢語及英語字幕的影響達(dá)到怎樣的程度？

2.2　實驗對象

本實驗選取我校英語專業(yè)二年級4個班級的學(xué)生。在各班隨機(jī)分別選擇40名學(xué)生，分為4組。參與實驗的學(xué)生在二年級上學(xué)期期中、期末考試中的成績單因素方差分析結(jié)果是，4組學(xué)生之間沒有顯著差異(F=0.002 9，P=0.882>0.05；F=0.076，P=0.895>0.05)，也就是說4組參與實驗的學(xué)生英語水平在總體上無明顯差異。在實驗過程中，每組學(xué)生的聽力材料都用不同的方式進(jìn)行播放。把聽力材料是音頻(聽覺模態(tài))形式的作為對照組，把聽力材料是音頻、視頻但沒有字幕(聽覺、視覺模態(tài))的作為實驗一組，把聽力材料是音頻、視頻并配有漢語字幕(聽覺、視覺模態(tài))的作為實驗二組，把聽力材料是音頻、視頻但是配有英語字幕(聽覺、視覺模態(tài))的作為實驗三組。

2.3　實驗聽力材料、方法、步驟

所使用的聽力材料是一段5 min左右(415個詞)的美國之音新聞視頻，介紹的是華盛頓特區(qū)的國家肖像畫廊。在畫廊墻上貼的是在美國西部發(fā)展過程中有著重要影響的人物、事跡，例如刺繩的發(fā)明者Joseph Glidden[8]，牛仔褲的發(fā)明者Levi Strauss[9]，國家公園、國家森林的主建筑者Theodore Roosevelt[10]，還有作家Samuel Clemens[11]這位第一次把西部人的心聲帶到美國文壇的人等。這一畫廊把美國西部80多年間的重大歷史事件都完整的呈現(xiàn)出來。此外，依據(jù)本實驗要求，特殊處理了這段視頻。

只運(yùn)用音頻； 同時運(yùn)用音頻、視頻但沒有字幕；同時運(yùn)用音頻、視頻但字幕是漢語；同時使用音頻、視頻但字幕是英語，這4種聽力材料的播放方式是這次實驗的變量。把學(xué)生所做的聽力大綱作為研究的依據(jù)。

用不同的方式向4組學(xué)生播放聽力材料。每次實驗都同時進(jìn)行，并嚴(yán)格按照實驗步驟進(jìn)行。實驗步驟為：首先教師把本次實驗的過程、目標(biāo)以及注意事項介紹給學(xué)生，接著首次進(jìn)行聽力材料的播放，在聽的過程中學(xué)生需要做漢語或者英語筆記，當(dāng)首次播完后，學(xué)生要在6 min的時間之內(nèi)檢查好做的大綱，接著再次播放聽力材料，這次依然需要寫大綱且自我檢查，最后再給學(xué)生20 min的時間對大綱完善整理[12]。

2.4　收集、分析數(shù)據(jù)

進(jìn)行數(shù)據(jù)分析的依據(jù)是學(xué)生的英語大綱所含語義單位個數(shù)。邀請5位教齡超過7年的英語專業(yè)教師、3位英語外教成立專門小組，聽力材料的語義單位進(jìn)行統(tǒng)計。最終把聽力材料分成41個語義單位。語義單位有新聞主題、內(nèi)容、主要人物以及事件等。依據(jù)學(xué)生的聽力概要進(jìn)行4種聽力材料播放方式在學(xué)生聽力理解中的作用研究，有助于對在聽力過程中各種模態(tài)在學(xué)生認(rèn)知中的作用，漢語、英語字幕的作用進(jìn)行有效分析，從而得出每種模態(tài)的優(yōu)缺點(diǎn)[13]。

在統(tǒng)計語義單位數(shù)量時，對于只把與語義有一定聯(lián)系的單詞、短語、句子寫出來的情況，縱使他們的語法不確切，仍然視作掌握這一語義單位信息，要把這些統(tǒng)計進(jìn)去。各組的單項語義單位成績是各組寫出語義單位的學(xué)生數(shù)。用統(tǒng)計軟件SPSS19.0進(jìn)行數(shù)據(jù)分析和統(tǒng)計處理，進(jìn)行單因素方差分析以及Post Hoc事后多重檢驗，同時參考對實驗組學(xué)生進(jìn)行隨訪的結(jié)果。把0.05作為顯著性水平標(biāo)準(zhǔn)。

3　結(jié)果分析

3.1　在聽力理解中不同模態(tài)的影響

運(yùn)用單因素方差分析統(tǒng)計分析學(xué)生的成績，來研究在聽力理解中不同模態(tài)的影響有無明顯差異(見表1)。

表1　在聽力理解中不同模態(tài)的影響

從表1中可以看到，在聽力理解中不同模態(tài)的播放方式之間具有具有明顯差異(F=28.994，P=0.000<0.05)。實驗三組的多模態(tài)在學(xué)生的聽力理解中作用最大，實驗二組的作用是第二，實驗一組的作用是第三，對照組的作用最小。運(yùn)用Post Hoc進(jìn)行事后多重檢查(見表2)。

表2　Post Hoc事后多重檢查

從表2中的同等條件下的規(guī)律對比情況,我們可以得出:實驗三組的分值比其他組高,實驗二組的分值比實驗一組高。也就是說在學(xué)生聽力理解中，有英語字幕的聽覺、視覺模態(tài)功能最強(qiáng)，然后有漢語字幕的聽覺、視覺模態(tài)功能第二，無字幕的聽覺視覺模態(tài)功能第三，單獨(dú)的聽覺模態(tài)功能最弱。

3.2　各模態(tài)的作用程度、利弊

3.2.1音頻

當(dāng)前音頻已經(jīng)被廣泛應(yīng)用于英語專業(yè)聽力教學(xué)中，成為學(xué)生進(jìn)行聽力理解的主要媒介，并發(fā)揮著積極的影響。但是大量研究表明，單獨(dú)使用聽覺模態(tài)的教學(xué)效果與多種模態(tài)相比效果較差。隨著計算機(jī)網(wǎng)絡(luò)技術(shù)、多模態(tài)理論的不斷發(fā)展，多模態(tài)在英語聽力教學(xué)的功能發(fā)揮一定會更加完善。

3.2.2視頻

國內(nèi)外的大量實驗表明，對短期記憶而言，視覺信息效果較好。在聽力理解中，當(dāng)各感官共同參與時，聽力信息就會通過不同的途徑向大腦傳播，然后大腦把獲取的這些信息進(jìn)行整理完善，最終形成感覺統(tǒng)合，這樣聽者對信息的理解認(rèn)識效果更好[14]。本研中綜合運(yùn)用多模態(tài)要不只是用聽覺模態(tài)更能促進(jìn)學(xué)生對聽力材料的理解。但視覺模態(tài)并不是在所有的情況下都會促進(jìn)聽力材料的理解。

3.2.3字幕

在聽力理解中，特別是當(dāng)聽力材料中存在容易讓聽者產(chǎn)生誤解的信息時，字幕則發(fā)揮這重要的作用。本實驗表明，當(dāng)聽力材料相同，學(xué)習(xí)者的英語水平不存在較大差別時，如果使用英語字幕，那么學(xué)習(xí)者更容易獲取聽力信息。究其原因，主要是用漢語字幕來展示英文材料會出現(xiàn)語義理解發(fā)生偏差的問題。

4　實驗討論與體會

本實驗與有的實驗結(jié)論存在差異，可能主要是下面幾方面的因素引起的：①研究對象的文化背景知識不同。在本實驗的聽力理解中，當(dāng)學(xué)生遇到與西方文化有關(guān)的語義信息單位時，對其理解較為困難，特別是對那些包含人名、地名等術(shù)語的聽力材料，大多學(xué)生必須通過英語字幕才能獲取所需要的信息。②研究對象的英語水平不同。本實驗的參與者是我校英語專業(yè)大二學(xué)生，他們都具備一定聽力基礎(chǔ)。而有的實驗參與者是非英語專業(yè)的學(xué)生，而且聽力基礎(chǔ)比較薄弱。所以，在進(jìn)行多模態(tài)英語聽力教學(xué)的時候，要依據(jù)教學(xué)內(nèi)容所涉及的領(lǐng)域，學(xué)生的知識能力結(jié)構(gòu)、興趣等來選擇聽力材料的播放方式。

如果學(xué)生一直處于動態(tài)的認(rèn)知過程中，并且以自己已經(jīng)掌握的知識為依據(jù)去進(jìn)行假設(shè)、檢驗，那么學(xué)生的聽力理解能力就會增強(qiáng)。就像本實驗中，在聽力理解過程中，視覺模態(tài)通過提供和聽覺信息相應(yīng)的背景知識，使學(xué)生的認(rèn)知水平提高，使學(xué)生的聽力能力增強(qiáng)。然而，當(dāng)視覺信息和聽覺信息無法相適應(yīng)時，就會出現(xiàn)學(xué)生無法正確認(rèn)識，并且注意力分散的狀況，學(xué)生也無法獲取有效的聽力信息。對此，在英語專業(yè)聽力教學(xué)中，教師一定要把各個模態(tài)之間的協(xié)同、強(qiáng)化、互補(bǔ)關(guān)系理解透徹，從而使其真正促進(jìn)教學(xué)效果的提高。當(dāng)各個模態(tài)之間相互矛盾、相互無關(guān)或者互不銜接時，會阻礙教學(xué)效果。因此，所選擇的模態(tài)一定是擁有正效應(yīng)的。

當(dāng)發(fā)生母語負(fù)遷移時，學(xué)生對聽力材料中的語音、詞匯、語法等的加工與輸出必將受到嚴(yán)重阻礙。所以，在英語專業(yè)聽力教學(xué)中，學(xué)生既要接受必要的聽力基本能力訓(xùn)練，又要不斷充實自己的英語基礎(chǔ)知識，提升自己的英漢對比能力，增強(qiáng)自己的跨文化意識，夯實自己的跨文化交際能力，最終使母語的負(fù)遷移對自己的影響達(dá)到最低[15]。

另外，當(dāng)不同來源的信息同時向?qū)W習(xí)者襲來時，學(xué)習(xí)者通常會因為信息量太大，而不知到怎樣才能有效加工、輸出信息。所以，教師要幫助學(xué)生形成利用不同模態(tài)去接收、處理信息的能力，要多進(jìn)行多元讀寫訓(xùn)練，最終使學(xué)生的英語學(xué)習(xí)水平不斷提高。

本實驗充分證明了多模態(tài)組合在英語專業(yè)聽力教學(xué)中的功能，所以，在具體的英語專業(yè)聽力教學(xué)中，教師要做好以下幾方面的內(nèi)容：①以學(xué)生為主體，破除傳統(tǒng)的聽力教學(xué)模式。運(yùn)用多模態(tài)的聽力教學(xué)方式，能在一定程度上提高學(xué)生的學(xué)習(xí)熱情。本實驗中聽力材料以4種不同的方式播放，學(xué)生需要自行檢查自己縮寫的英語提綱，都有助于提高學(xué)生的學(xué)習(xí)興趣。在實際英語聽力教學(xué)中，教師可以讓學(xué)生自己搜集聽力資料，內(nèi)容可以是當(dāng)前國內(nèi)外的時政熱點(diǎn)，可以是經(jīng)典的英語電影，可以是具有權(quán)威性的英語新聞，這樣當(dāng)教師在播放聽力材料的時候?qū)W生就會更加的專注，從而也有助于學(xué)生獲取聽力信息。學(xué)生也會由過去的厭倦聽力到熱愛聽力，教師甚至可以在學(xué)生聽力訓(xùn)練之后設(shè)計一些諸如猜詞、填詞等小游戲，并給予在游戲中表現(xiàn)優(yōu)異的學(xué)生一定的獎勵，使學(xué)生在輕松愉快的課堂氣氛中運(yùn)用自己的視覺、聽覺等感官系統(tǒng)，對剛才的聽力材料進(jìn)行深入的了解。②教師要發(fā)揮其主導(dǎo)作用。多模態(tài)聽力教學(xué)模式對教師提出了新的要求，學(xué)生搜集的聽力資料多種多樣，教師需要不斷學(xué)習(xí)，進(jìn)而能夠了解當(dāng)前的時事政治、熱門話題等，能夠有效評價學(xué)生在多模態(tài)教學(xué)模式下的聽力訓(xùn)練結(jié)果、游戲環(huán)節(jié)表現(xiàn)等。聽力理解是一個復(fù)雜的過程，涉及的文化等知識很多，所以教師要在多模態(tài)聽力教學(xué)模式下，對學(xué)生進(jìn)行必要的理論指導(dǎo)，從而提高學(xué)生獲取信息的能力。③不能把多模態(tài)聽力教學(xué)模式等同于傳統(tǒng)的視聽說教學(xué)模式。多模態(tài)聽力教學(xué)模式是不同感官系統(tǒng)共同參與，學(xué)生大腦皮層相應(yīng)的機(jī)能區(qū)受到多渠道信息共同刺激，通過信息整合獲得所需要的信息，在實際的課堂教學(xué)中，學(xué)生會積極主動的參與到整個教學(xué)過程中，既調(diào)動了學(xué)生進(jìn)行聽力理解的興趣，還有助于獲得所需要的信息。傳統(tǒng)的視聽說教學(xué)模式學(xué)生被動接受，各種模態(tài)沒有主次，最終導(dǎo)致顧此失彼。在英語專業(yè)聽力教學(xué)中運(yùn)用多模態(tài)，不只是增強(qiáng)學(xué)生的聽力理解能力，還使學(xué)生逐漸形成自主學(xué)習(xí)的習(xí)慣。在本實驗中我們認(rèn)識到了多模態(tài)在英語聽力理解中的功能，所以教師在教學(xué)過程中，要以學(xué)生為主體，從學(xué)生的實際出發(fā)，充分利用多模態(tài)在聽力教學(xué)中的重要作用，恰當(dāng)?shù)睦枚嗄B(tài)聽力教學(xué)模式，真正提高學(xué)生的英語聽力理解能力。

5　結(jié)　語

本實驗證明，在英語專業(yè)聽力教學(xué)中運(yùn)用多模態(tài)可以極大地增強(qiáng)學(xué)習(xí)者的聽力能力；只要把視覺信息、聽覺信息對應(yīng)起來，就會產(chǎn)生正面作用；與漢語字幕相比，英語字幕對英語聽力理解效果更佳，原因是漢語字幕會產(chǎn)生更多的詞匯干擾。

本實驗分析的只是依據(jù)一個樣本的結(jié)果，加之參與的學(xué)生都具備一定的聽力基礎(chǔ)，實驗存在一定的局限性。以后會以聽力能力較差的學(xué)生為對象進(jìn)行實驗，從而進(jìn)一步分析多模態(tài)對不同對象英語專業(yè)聽力學(xué)習(xí)效果的影響。

參考文獻(xiàn)(References)：

[1]張長頡. 基于多模態(tài)隱喻構(gòu)建飛行專業(yè)英語聽力教學(xué)策略的效力分析[J]. 牡丹江教育學(xué)院學(xué)報,2013(2):105-107.

[2]Michael J. Lambert. Bergin and Garfield’s handbook of psychotherapy and behavior change.[M]. Wiley, 2004.

[3]Iva Baltova. The effect of subtitled and staged video input on the learning and retention of content and vocabulary in a second language [microform][J]. Collectionscanada. gc.ca. 1999, 6(1, article 3):1-9.

[5]Dominguez C, Boelens R, Bonvin A M. HADDOCK: A protein-protein docking approach based on biochemical or biophysical information.[J]. Journal of the American Chemical Society, 2003, 125(7):1731.

[6]龍宇飛, 趙璞. 大學(xué)英語聽力教學(xué)中元認(rèn)知策略與多模態(tài)交互研究[J]. 外語電化教學(xué), 2009(4):58-62.

[7]李欣,李玫瑛,王佳子. 多模態(tài)自主聽力教學(xué)模式有效性的實證研究[J]. 解放軍外國語學(xué)院學(xué)報,2012(6):59-64,126.

[8]Mangum Wyatt.Past pieces: The first bellowed smoken produced by A.I. root[J].Bee Culture,2003,131(7):47-49.

[9]Levistrauss C. Guillaume Lecointe & Herve Le Guyader, Classification phylogenetique du vivant[J]. Homme Revue Fran?aise Dantropologie, 2002: pgs. 309-311.

[10]Anderson G L. Ten years of leafy spurge biological control attheodore roosevelt national park, medora, north dakota(abstract)[C].//Proceedings of the 20th Biennial Workshop on Aerial Photography,Videography,and High Resolution Digital Imagery for Resource Assessment. Biological Control, 2005.

[11]Richard Lederer.The word and Mr. clemens[J].USA Today,2010,139(Nov. TN.2786):82.

[12]楊曉瑜.CET-4改革下的新聞聽力教學(xué)現(xiàn)狀及策略探索[J].廣西科技師范學(xué)院學(xué)報,2017(5):35-37,45.

[13]甘時源.認(rèn)知視角下英語新聞聽力理解的策略研究 --針對非英語專業(yè)英語學(xué)習(xí)者的實證[J].長春大學(xué)學(xué)報(自然科學(xué)版),2017(5):91-94.

[14]沈麗萍.初中英語教學(xué)中分層教學(xué)法的應(yīng)用探索[J].校園英語(下旬),2017(10):169.

[15]王蕾.淺議英語專業(yè)學(xué)生口語發(fā)音對聽力的影響[J].海外英語(上),2017(10):50-51.