胡 璐
(成都信息工程大學(xué) 外國語學(xué)院,成都 610000)
多模態(tài)需要聽覺、視覺等不同感官的參與,需要利用語言、圖像、聲音等不同手段。在計算機(jī)網(wǎng)絡(luò)等教學(xué)技術(shù)的不斷發(fā)展和多模態(tài)話語分析理論不斷完善的新環(huán)境下,計算機(jī)輔助教學(xué)越來越廣泛。把多模態(tài)應(yīng)用于教學(xué),可以讓學(xué)習(xí)者充分利用自己的感官來學(xué)習(xí)。如果學(xué)習(xí)者大腦皮層相應(yīng)的機(jī)能區(qū)受到多渠道信息共同刺激時,反應(yīng)要比受到單一渠道信息刺激時劇烈,正效應(yīng)條件更有助于學(xué)習(xí)者加工、記憶信息,從而增強(qiáng)學(xué)習(xí)效果[1]??墒嵌嗄B(tài)學(xué)習(xí)具有雙重作用,如果不能恰當(dāng)處理會使學(xué)習(xí)者的注意力被分散,知識點(diǎn)記憶容易被干擾。大腦的工作記憶容量有限,因此人們幾乎無法對各個渠道的信息進(jìn)行同時加工。為了防止工作記憶負(fù)荷的負(fù)效應(yīng)產(chǎn)生,需專門處理一下材料的表現(xiàn)方式的。本實驗通過分析英語專業(yè)聽力教學(xué)多模態(tài)功能,旨在為英語聽力教學(xué)提供參考。
對聽力教學(xué)中多模態(tài)應(yīng)用的實驗分析在國內(nèi)外都取得了一定的成績。國外方面的成績主要有: Lambert等[2]的相關(guān)實驗證明,學(xué)習(xí)者運(yùn)用的學(xué)習(xí)材料和得分有很大關(guān)系,若采用母語配音結(jié)合二語字幕的聽力材料,學(xué)習(xí)者的得分居第一位,若采用二語配音結(jié)合二語字幕的聽力材料學(xué)習(xí)中得分居第二位,而二語配音結(jié)合母語字幕的聽力材料對學(xué)習(xí)者的聽力理解幾乎沒有幫助。Baltova[3]的實驗發(fā)現(xiàn),在進(jìn)行聽力教學(xué)時,當(dāng)視頻被結(jié)合有二語字幕的時候,學(xué)生記憶聽力材料的效果最好。Malisz等[4]的實驗表明,多模態(tài)組合對學(xué)生理解聽力材料有很大的促進(jìn)作用,與母語字幕相比,二語字幕對學(xué)習(xí)者聽力學(xué)習(xí)效果更佳。Dominguez等[5]的實驗同樣證明,在學(xué)生理解聽力材料時,多模態(tài)模式有著積極的影響,可是模態(tài)不同期作用方式也就不一樣。國內(nèi)方面的成績有:龍宇飛等[6]對元認(rèn)知策略和多模態(tài)交互作用在聽力中的作用進(jìn)行實驗。李欣等[7]研究了多模態(tài)自主聽力教學(xué)模式的有效性,研究證明多模態(tài)能使學(xué)生的聽力水平、多元識讀能力都有很大的效果。
這些研究較少對在聽力理解中,各個多模態(tài)組合的作用程度進(jìn)行相關(guān)分析,對各個模態(tài)在英語專業(yè)聽力教學(xué)中具體應(yīng)用效果也關(guān)注較少。本實驗主要對英語專業(yè)聽力教學(xué)多模態(tài)功能進(jìn)行分析。
英語專業(yè)聽力教學(xué)多模態(tài)功能,主要實驗問題:①在英語專業(yè)聽力教學(xué)中多模態(tài)對學(xué)生理解聽力材料的能力有無效果?②在聽力理解中視頻、圖像的優(yōu)勢與缺陷是什么?③在聽力理解中漢語及英語字幕有怎樣的優(yōu)勢?④在聽力理解中漢語及英語字幕的影響達(dá)到怎樣的程度?
本實驗選取我校英語專業(yè)二年級4個班級的學(xué)生。在各班隨機(jī)分別選擇40名學(xué)生,分為4組。參與實驗的學(xué)生在二年級上學(xué)期期中、期末考試中的成績單因素方差分析結(jié)果是,4組學(xué)生之間沒有顯著差異(F=0.002 9,P=0.882>0.05;F=0.076,P=0.895>0.05),也就是說4組參與實驗的學(xué)生英語水平在總體上無明顯差異。在實驗過程中,每組學(xué)生的聽力材料都用不同的方式進(jìn)行播放。把聽力材料是音頻(聽覺模態(tài))形式的作為對照組,把聽力材料是音頻、視頻但沒有字幕(聽覺、視覺模態(tài))的作為實驗一組,把聽力材料是音頻、視頻并配有漢語字幕(聽覺、視覺模態(tài))的作為實驗二組,把聽力材料是音頻、視頻但是配有英語字幕(聽覺、視覺模態(tài))的作為實驗三組。
所使用的聽力材料是一段5 min左右(415個詞)的美國之音新聞視頻,介紹的是華盛頓特區(qū)的國家肖像畫廊。在畫廊墻上貼的是在美國西部發(fā)展過程中有著重要影響的人物、事跡,例如刺繩的發(fā)明者Joseph Glidden[8],牛仔褲的發(fā)明者Levi Strauss[9],國家公園、國家森林的主建筑者Theodore Roosevelt[10],還有作家Samuel Clemens[11]這位第一次把西部人的心聲帶到美國文壇的人等。這一畫廊把美國西部80多年間的重大歷史事件都完整的呈現(xiàn)出來。此外,依據(jù)本實驗要求,特殊處理了這段視頻。
只運(yùn)用音頻; 同時運(yùn)用音頻、視頻但沒有字幕;同時運(yùn)用音頻、視頻但字幕是漢語;同時使用音頻、視頻但字幕是英語,這4種聽力材料的播放方式是這次實驗的變量。把學(xué)生所做的聽力大綱作為研究的依據(jù)。
用不同的方式向4組學(xué)生播放聽力材料。每次實驗都同時進(jìn)行,并嚴(yán)格按照實驗步驟進(jìn)行。實驗步驟為:首先教師把本次實驗的過程、目標(biāo)以及注意事項介紹給學(xué)生,接著首次進(jìn)行聽力材料的播放,在聽的過程中學(xué)生需要做漢語或者英語筆記,當(dāng)首次播完后,學(xué)生要在6 min的時間之內(nèi)檢查好做的大綱,接著再次播放聽力材料,這次依然需要寫大綱且自我檢查,最后再給學(xué)生20 min的時間對大綱完善整理[12]。
進(jìn)行數(shù)據(jù)分析的依據(jù)是學(xué)生的英語大綱所含語義單位個數(shù)。邀請5位教齡超過7年的英語專業(yè)教師、3位英語外教成立專門小組,聽力材料的語義單位進(jìn)行統(tǒng)計。最終把聽力材料分成41個語義單位。語義單位有新聞主題、內(nèi)容、主要人物以及事件等。依據(jù)學(xué)生的聽力概要進(jìn)行4種聽力材料播放方式在學(xué)生聽力理解中的作用研究,有助于對在聽力過程中各種模態(tài)在學(xué)生認(rèn)知中的作用,漢語、英語字幕的作用進(jìn)行有效分析,從而得出每種模態(tài)的優(yōu)缺點(diǎn)[13]。
在統(tǒng)計語義單位數(shù)量時,對于只把與語義有一定聯(lián)系的單詞、短語、句子寫出來的情況,縱使他們的語法不確切,仍然視作掌握這一語義單位信息,要把這些統(tǒng)計進(jìn)去。各組的單項語義單位成績是各組寫出語義單位的學(xué)生數(shù)。用統(tǒng)計軟件SPSS19.0進(jìn)行數(shù)據(jù)分析和統(tǒng)計處理,進(jìn)行單因素方差分析以及Post Hoc事后多重檢驗,同時參考對實驗組學(xué)生進(jìn)行隨訪的結(jié)果。把0.05作為顯著性水平標(biāo)準(zhǔn)。
運(yùn)用單因素方差分析統(tǒng)計分析學(xué)生的成績,來研究在聽力理解中不同模態(tài)的影響有無明顯差異(見表1)。
表1 在聽力理解中不同模態(tài)的影響
從表1中可以看到,在聽力理解中不同模態(tài)的播放方式之間具有具有明顯差異(F=28.994,P=0.000<0.05)。實驗三組的多模態(tài)在學(xué)生的聽力理解中作用最大,實驗二組的作用是第二,實驗一組的作用是第三,對照組的作用最小。運(yùn)用Post Hoc進(jìn)行事后多重檢查(見表2)。
表2 Post Hoc事后多重檢查
從表2中的同等條件下的規(guī)律對比情況,我們可以得出:實驗三組的分值比其他組高,實驗二組的分值比實驗一組高。也就是說在學(xué)生聽力理解中,有英語字幕的聽覺、視覺模態(tài)功能最強(qiáng),然后有漢語字幕的聽覺、視覺模態(tài)功能第二,無字幕的聽覺視覺模態(tài)功能第三,單獨(dú)的聽覺模態(tài)功能最弱。
3.2.1音頻
當(dāng)前音頻已經(jīng)被廣泛應(yīng)用于英語專業(yè)聽力教學(xué)中,成為學(xué)生進(jìn)行聽力理解的主要媒介,并發(fā)揮著積極的影響。但是大量研究表明,單獨(dú)使用聽覺模態(tài)的教學(xué)效果與多種模態(tài)相比效果較差。隨著計算機(jī)網(wǎng)絡(luò)技術(shù)、多模態(tài)理論的不斷發(fā)展,多模態(tài)在英語聽力教學(xué)的功能發(fā)揮一定會更加完善。
3.2.2視頻
國內(nèi)外的大量實驗表明,對短期記憶而言,視覺信息效果較好。在聽力理解中,當(dāng)各感官共同參與時,聽力信息就會通過不同的途徑向大腦傳播,然后大腦把獲取的這些信息進(jìn)行整理完善,最終形成感覺統(tǒng)合,這樣聽者對信息的理解認(rèn)識效果更好[14]。本研中綜合運(yùn)用多模態(tài)要不只是用聽覺模態(tài)更能促進(jìn)學(xué)生對聽力材料的理解。但視覺模態(tài)并不是在所有的情況下都會促進(jìn)聽力材料的理解。
3.2.3字幕
在聽力理解中,特別是當(dāng)聽力材料中存在容易讓聽者產(chǎn)生誤解的信息時,字幕則發(fā)揮這重要的作用。本實驗表明,當(dāng)聽力材料相同,學(xué)習(xí)者的英語水平不存在較大差別時,如果使用英語字幕,那么學(xué)習(xí)者更容易獲取聽力信息。究其原因,主要是用漢語字幕來展示英文材料會出現(xiàn)語義理解發(fā)生偏差的問題。
本實驗與有的實驗結(jié)論存在差異,可能主要是下面幾方面的因素引起的:①研究對象的文化背景知識不同。在本實驗的聽力理解中,當(dāng)學(xué)生遇到與西方文化有關(guān)的語義信息單位時,對其理解較為困難,特別是對那些包含人名、地名等術(shù)語的聽力材料,大多學(xué)生必須通過英語字幕才能獲取所需要的信息。②研究對象的英語水平不同。本實驗的參與者是我校英語專業(yè)大二學(xué)生,他們都具備一定聽力基礎(chǔ)。而有的實驗參與者是非英語專業(yè)的學(xué)生,而且聽力基礎(chǔ)比較薄弱。所以,在進(jìn)行多模態(tài)英語聽力教學(xué)的時候,要依據(jù)教學(xué)內(nèi)容所涉及的領(lǐng)域,學(xué)生的知識能力結(jié)構(gòu)、興趣等來選擇聽力材料的播放方式。
如果學(xué)生一直處于動態(tài)的認(rèn)知過程中,并且以自己已經(jīng)掌握的知識為依據(jù)去進(jìn)行假設(shè)、檢驗,那么學(xué)生的聽力理解能力就會增強(qiáng)。就像本實驗中,在聽力理解過程中,視覺模態(tài)通過提供和聽覺信息相應(yīng)的背景知識,使學(xué)生的認(rèn)知水平提高,使學(xué)生的聽力能力增強(qiáng)。然而,當(dāng)視覺信息和聽覺信息無法相適應(yīng)時,就會出現(xiàn)學(xué)生無法正確認(rèn)識,并且注意力分散的狀況,學(xué)生也無法獲取有效的聽力信息。對此,在英語專業(yè)聽力教學(xué)中,教師一定要把各個模態(tài)之間的協(xié)同、強(qiáng)化、互補(bǔ)關(guān)系理解透徹,從而使其真正促進(jìn)教學(xué)效果的提高。當(dāng)各個模態(tài)之間相互矛盾、相互無關(guān)或者互不銜接時,會阻礙教學(xué)效果。因此,所選擇的模態(tài)一定是擁有正效應(yīng)的。
當(dāng)發(fā)生母語負(fù)遷移時,學(xué)生對聽力材料中的語音、詞匯、語法等的加工與輸出必將受到嚴(yán)重阻礙。所以,在英語專業(yè)聽力教學(xué)中,學(xué)生既要接受必要的聽力基本能力訓(xùn)練,又要不斷充實自己的英語基礎(chǔ)知識,提升自己的英漢對比能力,增強(qiáng)自己的跨文化意識,夯實自己的跨文化交際能力,最終使母語的負(fù)遷移對自己的影響達(dá)到最低[15]。
另外,當(dāng)不同來源的信息同時向?qū)W習(xí)者襲來時,學(xué)習(xí)者通常會因為信息量太大,而不知到怎樣才能有效加工、輸出信息。所以,教師要幫助學(xué)生形成利用不同模態(tài)去接收、處理信息的能力,要多進(jìn)行多元讀寫訓(xùn)練,最終使學(xué)生的英語學(xué)習(xí)水平不斷提高。
本實驗充分證明了多模態(tài)組合在英語專業(yè)聽力教學(xué)中的功能,所以,在具體的英語專業(yè)聽力教學(xué)中,教師要做好以下幾方面的內(nèi)容:①以學(xué)生為主體,破除傳統(tǒng)的聽力教學(xué)模式。運(yùn)用多模態(tài)的聽力教學(xué)方式,能在一定程度上提高學(xué)生的學(xué)習(xí)熱情。本實驗中聽力材料以4種不同的方式播放,學(xué)生需要自行檢查自己縮寫的英語提綱,都有助于提高學(xué)生的學(xué)習(xí)興趣。在實際英語聽力教學(xué)中,教師可以讓學(xué)生自己搜集聽力資料,內(nèi)容可以是當(dāng)前國內(nèi)外的時政熱點(diǎn),可以是經(jīng)典的英語電影,可以是具有權(quán)威性的英語新聞,這樣當(dāng)教師在播放聽力材料的時候?qū)W生就會更加的專注,從而也有助于學(xué)生獲取聽力信息。學(xué)生也會由過去的厭倦聽力到熱愛聽力,教師甚至可以在學(xué)生聽力訓(xùn)練之后設(shè)計一些諸如猜詞、填詞等小游戲,并給予在游戲中表現(xiàn)優(yōu)異的學(xué)生一定的獎勵,使學(xué)生在輕松愉快的課堂氣氛中運(yùn)用自己的視覺、聽覺等感官系統(tǒng),對剛才的聽力材料進(jìn)行深入的了解。②教師要發(fā)揮其主導(dǎo)作用。多模態(tài)聽力教學(xué)模式對教師提出了新的要求,學(xué)生搜集的聽力資料多種多樣,教師需要不斷學(xué)習(xí),進(jìn)而能夠了解當(dāng)前的時事政治、熱門話題等,能夠有效評價學(xué)生在多模態(tài)教學(xué)模式下的聽力訓(xùn)練結(jié)果、游戲環(huán)節(jié)表現(xiàn)等。聽力理解是一個復(fù)雜的過程,涉及的文化等知識很多,所以教師要在多模態(tài)聽力教學(xué)模式下,對學(xué)生進(jìn)行必要的理論指導(dǎo),從而提高學(xué)生獲取信息的能力。③不能把多模態(tài)聽力教學(xué)模式等同于傳統(tǒng)的視聽說教學(xué)模式。多模態(tài)聽力教學(xué)模式是不同感官系統(tǒng)共同參與,學(xué)生大腦皮層相應(yīng)的機(jī)能區(qū)受到多渠道信息共同刺激,通過信息整合獲得所需要的信息,在實際的課堂教學(xué)中,學(xué)生會積極主動的參與到整個教學(xué)過程中,既調(diào)動了學(xué)生進(jìn)行聽力理解的興趣,還有助于獲得所需要的信息。傳統(tǒng)的視聽說教學(xué)模式學(xué)生被動接受,各種模態(tài)沒有主次,最終導(dǎo)致顧此失彼。在英語專業(yè)聽力教學(xué)中運(yùn)用多模態(tài),不只是增強(qiáng)學(xué)生的聽力理解能力,還使學(xué)生逐漸形成自主學(xué)習(xí)的習(xí)慣。在本實驗中我們認(rèn)識到了多模態(tài)在英語聽力理解中的功能,所以教師在教學(xué)過程中,要以學(xué)生為主體,從學(xué)生的實際出發(fā),充分利用多模態(tài)在聽力教學(xué)中的重要作用,恰當(dāng)?shù)睦枚嗄B(tài)聽力教學(xué)模式,真正提高學(xué)生的英語聽力理解能力。
本實驗證明,在英語專業(yè)聽力教學(xué)中運(yùn)用多模態(tài)可以極大地增強(qiáng)學(xué)習(xí)者的聽力能力;只要把視覺信息、聽覺信息對應(yīng)起來,就會產(chǎn)生正面作用;與漢語字幕相比,英語字幕對英語聽力理解效果更佳,原因是漢語字幕會產(chǎn)生更多的詞匯干擾。
本實驗分析的只是依據(jù)一個樣本的結(jié)果,加之參與的學(xué)生都具備一定的聽力基礎(chǔ),實驗存在一定的局限性。以后會以聽力能力較差的學(xué)生為對象進(jìn)行實驗,從而進(jìn)一步分析多模態(tài)對不同對象英語專業(yè)聽力學(xué)習(xí)效果的影響。
參考文獻(xiàn)(References):
[1]張長頡. 基于多模態(tài)隱喻構(gòu)建飛行專業(yè)英語聽力教學(xué)策略的效力分析[J]. 牡丹江教育學(xué)院學(xué)報,2013(2):105-107.
[2]Michael J. Lambert. Bergin and Garfield’s handbook of psychotherapy and behavior change.[M]. Wiley, 2004.
[3]Iva Baltova. The effect of subtitled and staged video input on the learning and retention of content and vocabulary in a second language [microform][J]. Collectionscanada. gc.ca. 1999, 6(1, article 3):1-9.
[5]Dominguez C, Boelens R, Bonvin A M. HADDOCK: A protein-protein docking approach based on biochemical or biophysical information.[J]. Journal of the American Chemical Society, 2003, 125(7):1731.
[6]龍宇飛, 趙璞. 大學(xué)英語聽力教學(xué)中元認(rèn)知策略與多模態(tài)交互研究[J]. 外語電化教學(xué), 2009(4):58-62.
[7]李欣,李玫瑛,王佳子. 多模態(tài)自主聽力教學(xué)模式有效性的實證研究[J]. 解放軍外國語學(xué)院學(xué)報,2012(6):59-64,126.
[8]Mangum Wyatt.Past pieces: The first bellowed smoken produced by A.I. root[J].Bee Culture,2003,131(7):47-49.
[9]Levistrauss C. Guillaume Lecointe & Herve Le Guyader, Classification phylogenetique du vivant[J]. Homme Revue Fran?aise Dantropologie, 2002: pgs. 309-311.
[10]Anderson G L. Ten years of leafy spurge biological control attheodore roosevelt national park, medora, north dakota(abstract)[C].//Proceedings of the 20th Biennial Workshop on Aerial Photography,Videography,and High Resolution Digital Imagery for Resource Assessment. Biological Control, 2005.
[11]Richard Lederer.The word and Mr. clemens[J].USA Today,2010,139(Nov. TN.2786):82.
[12]楊曉瑜.CET-4改革下的新聞聽力教學(xué)現(xiàn)狀及策略探索[J].廣西科技師范學(xué)院學(xué)報,2017(5):35-37,45.
[13]甘時源.認(rèn)知視角下英語新聞聽力理解的策略研究 --針對非英語專業(yè)英語學(xué)習(xí)者的實證[J].長春大學(xué)學(xué)報(自然科學(xué)版),2017(5):91-94.
[14]沈麗萍.初中英語教學(xué)中分層教學(xué)法的應(yīng)用探索[J].校園英語(下旬),2017(10):169.
[15]王蕾.淺議英語專業(yè)學(xué)生口語發(fā)音對聽力的影響[J].海外英語(上),2017(10):50-51.