董劍橋,劉乃嘉

(江南大學 外國語學院，江蘇 無錫　214211)

?

視覺文本信息對應關系對EFL聽力理解的影響

董劍橋,劉乃嘉

(江南大學 外國語學院，江蘇 無錫214211)

[摘要]文章整理分析了有關視頻對聽力理解影響的實證研究以及視頻分類、視覺—文本信息關系的相關研究，將內(nèi)容性視頻分為兩類：內(nèi)容直接相關視頻、內(nèi)容間接相關視頻。通過視頻組與音頻組的對比實證研究，發(fā)現(xiàn)兩類視頻的視頻組均分均顯著高于音頻組。文章還對各類視頻與不同聽力題型的關系進行分析，發(fā)現(xiàn)兩類視頻與細節(jié)辨認題上呈顯著性相關，內(nèi)容直接相關視頻在詞義推測上更有顯著幫助。

[關鍵詞]內(nèi)容性視頻；視覺信息；圖文關系；聽力理解

一、研究背景

計算機、網(wǎng)絡時代，多媒體在大學英語教學的應用隨處可見，多模態(tài)技術也日益強大，隨之出現(xiàn)了眾多關于多媒體多模態(tài)的應用和研究，如CALL(計算機輔助學習)，知識可視化等。關于視頻在二語聽力上的應用已成為不可忽視的重要研究領域。

然而，雖然大多數(shù)研究支持看圖、視頻聽力，一些大型外語考試如TOEFL也采用看圖聽力模式，但并非所有圖片、視頻都適用于聽力測試，這也是有些研究認為視頻并不適合作聽力測試材料的原因。[1]不過，不論支持與否，現(xiàn)有的共識是畫面效應受到各種因素影響，如聽力任務、視覺信息、視頻材料類型以及學習者特質(zhì)等。[2]Coniam也在文中承認，雖然視頻和音頻聽力水平?jīng)]有顯著性差異，但可能是視頻文本本身的性質(zhì)造成了這種結果。[1]

因為視頻有不同的類型，所給予的畫面線索則就不同，有的主要提供情景畫面，而有的注重畫面與文字的對應和互補。對于不同的視覺信息、視頻類型，學習者的大腦識別、認知機制也是不同的。[3]不過，角度不同，分類標準也不一，不少有關視頻的實驗研究并沒有太多關注視頻類型對聽力的影響。直到2002年Ginther通過對TOEFL聽力測試題的研究，將視覺信息分為較基礎的兩大類：內(nèi)容性畫面和情境性畫面，[2]此后，國內(nèi)一些有建設性的研究都用到此分類，[3-4]杜冰在此分類的基礎上，對情境性視頻作了更為細致的類型研究，將其分為強語境、弱語境和零語境視頻，結果表明視頻所提供的語境信息越全面學習者越容易理解。[5]但是關于內(nèi)容性視頻，目前國內(nèi)還沒做具體的研究。

在國外，Cross通過對新聞的研究，從不同的視覺與文本信息相關程度出發(fā)，利用Walma van der Molen 的新編碼系統(tǒng)，[6]將新聞中的視覺信息分為了頭部特寫、直接相關視覺信息、間接相關視覺信息和語義分歧視覺信息，并將直接相關視覺信息細分為計算機合成動畫和計算機合成文本。間接相關視覺信息最典型的代表為“標準場景”，其只能顯示文本信息的主題，卻很少載入更多的內(nèi)容信息。結果發(fā)現(xiàn)，雖然CGA與文本信息顯著相關，但是由于學習者要同時協(xié)調(diào)他們的注意力、進行信息解碼、整合，超出了他們的認知資源，所以CGA并非完全有幫助性。而CGT，大多數(shù)學習者認為其很有幫助，因為此類型的視覺信息相當于字幕。[7]關于字幕對聽力影響，大多數(shù)研究認為，字幕對聽力理解有一定的輔助作用，[8-9]不過，這要取決于在學習者語言水平和輸入難度之間的差距，否則會從聽力轉(zhuǎn)為閱讀。[10]間接相關視覺信息提供相關主題、情境信息，畫面中的人物肢體語言有一定的幫助作用。語義分歧視覺信息則會對聽力理解造成干擾。但有趣的是，雖然Cross將不少視覺信息歸到了語義分歧類，但是受試者的對話中很少提到語義分歧視覺信息。Cross分析可能在聽力過程中，受試根據(jù)視覺以及文本信息已經(jīng)形成了暫定的認知框架，所以沒有受到顯著影響。

這與Gruba在1999年的所建立視覺元素在聽力理解各個階段的作用如出一轍。Gruba以建構主義學習理論為基礎，將視覺信息在聽力各個階段的作用分為五大類：識別文本類別、建立初步宏觀框架、生成框架、確定假設以及縮小解讀范圍。[11]

Mayer在其對多媒體學習的一系列研究中也指出，學生的學習行為并不是被動、單純地接受知識，而是主動地選擇、組織以及整合所接受到的視覺、言語的相關信息。[12]

綜上所述，本文旨在從認知角度，參照Walma van der Molen的新編碼系統(tǒng)，更進一步將含有內(nèi)容性視覺信息的內(nèi)容視頻進行分類，將Gruba的視覺信息角色初步框架以及Mayer的多媒體學習的認知理論作為此次研究的理論框架，把內(nèi)容視頻分為直接相關內(nèi)容視頻——絕大部分的視覺信息與語言文本信息語義高度一致和間接相關內(nèi)容視頻——大部分的視覺信息與語言文本信息在語義上部分重合，同時也包含直接相關視覺信息、頭部特寫甚至語義分歧視覺信息。分析不同類型的內(nèi)容視頻中，在其不同的視覺和文本信息相關程度下，學習者是如何利用和受視覺信息影響的，不同類型的內(nèi)容視頻又適于什么樣的聽力題型。

二、研究設計

(一)研究問題

(1)視頻視覺與文本信息的相關關系程度是否對EFL聽力理解有顯著性影響？

(2)不同的內(nèi)容視頻在不同的聽力題型上對聽力理解有何異同？分別有怎樣的影響？

(二)被試

正式實驗之前，有113名某大學英語專業(yè)三年級學生參加聽力水平能力測試，除去得分最高和最低的同學，共95名學生參加正式實驗。95名學生被分為兩組：視頻組49名，音頻組46名。兩組聽力水平一致。

(三)實驗步驟

本實驗先進行聽力水平能力測驗，測試前，先找水平相當?shù)?13名以外的6名學生做先導測驗，對聽力試題做了相應的修改。

通過篩選，共有95名被試參加正式實驗，實驗之前，有6名以外的水平相當?shù)膶W生做先導實驗。主要測試材料難度、熟悉度、題目設置以及做題時間等。聽力測驗結束后留下10名視頻組的學生做視頻聽力訪談，5名主要針對直接相關內(nèi)容視頻(DCV)，另外5名則針對間接相關內(nèi)容視頻(ICV)。雖然視頻組的被試做的是同樣的材料，由于短時記憶的限制，為了得到有關訪談內(nèi)容的更清晰的信息，聽力材料的順序有所不同，如表1：

表1　視頻材料聽力順序

(四)正式實驗

1. 實驗材料

本實驗選取兩篇聽力材料，分別代表直接相關內(nèi)容視頻(DCV)和間接相關內(nèi)容視頻(ICV)。

DCV選用的是有關經(jīng)濟學的知識，畫面生動有趣，并且大部分視覺信息和語音文本信息直接相關。全篇381個詞，時長2分08秒，去除停頓的時間，語速約為165.24wpm。

ICV選用的是有關日本東京旅游所必然去的幾個地方，主持人一邊展示當?shù)氐娘L景人文，一邊進行講解，材料囊括了直接相關、間接相關視覺信息以及頭部特寫等，符合ICV的定義。全篇654個詞，時長3分42秒，去除只有畫面和停頓的時間，語速約為173.3wmp。

被試均稱沒有看過和聽過此材料，也不熟悉此類話題，則去除背景專業(yè)知識對聽力理解的過多影響。

2.實驗任務與過程

本實驗將被試分為兩組——視頻組和音頻組。兩組聽的材料相同——DCV和ICV，區(qū)別為視頻組的聽力材料為視頻，音頻組為視頻的語音版。其中為了便于得到更清晰的訪談信息，視頻組又被分為所聽材料順序不同的兩組。在看完或聽完每篇聽力材料之后，則會有相應的單項選擇題和單詞填空題，被試可以像平時聽力測驗一樣做題。DCV共6題，ICV共7題。關于題目的類型，胡英等通過對四級閱讀理解題型的研究，將題目分為主旨類；細節(jié)類，包括細節(jié)辨認類和細節(jié)推斷類；作者態(tài)度觀點類；詞義推測類和指代類。[13]根據(jù)國內(nèi)考試如四六級、專四專八的聽力特征，本文將聽力題型分為主旨推斷、細節(jié)辨認、細節(jié)推斷和詞義推測四大類。除了DCV的詞義推測為詞義填空外，其余都為單項選擇題。具體設置如表2：

表2　聽力題型設置

做完聽力測試后，從視頻組的DCV和ICV分別留下5人，做相應的訪談任務，來探知受試在聽力過程中所受視頻信息的影響，視覺信息在理解形成的哪個階段最有幫助等問題。聽力理解成績用SPSS處理。

三、研究結果與分析

(一)問題一：視頻視覺與文本信息的相關程度是否對EFL聽力理解有顯著性影響？

1.直接相關內(nèi)容視頻

表3　DCV視頻與音頻聽力成績對比

由獨立樣本T檢驗得知，F(xiàn)=1.012，P=.036< 0.05，表明DCV視頻組的聽力成績顯著高于音頻組的成績。

從整體上看，DCV視頻對聽力理解有幫助作用。在邱東林等對內(nèi)容視頻對詞匯記憶影響的研究中，發(fā)現(xiàn)在對沒有對應圖片的單詞記憶時，分數(shù)相對較低，而對于有對應圖片記憶時，記憶率相對提高。[3]本實驗的結果也支持了視覺信息與文本信息直接相關時，對聽力理解有幫助作用的這種觀點。根據(jù)雙重編碼理論，此現(xiàn)象這可解釋為，畫面對文本內(nèi)容補足作用，當學習者無法通過語言通道獲取信息時，視覺畫面對視覺通道的使用降低語言通道的認知負荷，增加記憶容量，并且由于兩種不同模態(tài)、媒體的信息高度一致，學習者更加容易將語言和視覺認知模型結合起來。

從對學生的訪談得知，5位被試有4位表示視頻畫面對她們的語篇理解的形成過程一直有影響。根據(jù)Gruba的視覺信息角色初步框架，視覺信息在框架中的5個階段都扮演了不可忽視的角色。

這似乎更加肯定了視覺信息和文本信息高度相關時，對聽力理解的積極作用，但有一位受訪者稱畫面對她一開始的理解起到作用“因為一開始就聽不大懂，所以只能依靠畫面，而由于一直聽不懂，畫面也就沒有起到很大的作用?！睆乃慕忉屢部梢钥闯鲈诼犃θ蝿罩?，視覺信息只能起輔助作用，聽覺一直占主導地位。我們再看平均分，6分視頻組也只得了1.8分左右，由于題材偏難，口音為英式英語，所以分數(shù)普遍低，這更加證明了聽力水平的決定性。下文的題型解釋中也會說明DVC的作用受制于聽力水平。

2.間接相關內(nèi)容視頻

表4　ICV視頻與音頻聽力成績對比

獨立樣本T檢驗得知，F(xiàn)=2.792，P=.005<0.05，表明ICV視頻組的聽力成績顯著高于音頻組的成績。

整體上看，ICV對聽力理解也有幫助作用。從對5位同學的訪談得知，畫面每一個場景與敘述一致，能夠更容易在大腦中形成概念形象。Cross在對Indirect Category的研究也發(fā)現(xiàn)標準場景的重要性。畫面提供與文本相關的主題、場景信息，便于學生激活認知圖像。[7]除了大多數(shù)的間接相關畫面，此視頻還包括一些直接相關畫面、頭部特寫、景區(qū)出現(xiàn)時的名稱字幕，更加便于學生的理解。此外雖然此篇的語速較快，但是內(nèi)容較為簡單、遣詞造句也并不復雜，這也是ICV均分較高的原因之一。

(二)問題二：不同的內(nèi)容視頻在不同的聽力題型上對聽力理解有何異同？分別有怎樣的影響？

本實驗分別將兩組在兩類內(nèi)容視頻的不同題型得分表現(xiàn)作了進一步分析。由于各類題型數(shù)目不同，本分析將只設有1題的題型用卡方檢驗測量，兩題及兩題以上的則用獨立樣本T檢驗。

1.直接相關內(nèi)容視頻

表5　DCV—主旨推斷題與細節(jié)推斷題檢測報告

表6　DCV—詞義推測題與細節(jié)推斷題答對百分比

根據(jù)獨立樣本T檢驗，主旨推斷：F=.697，P=.559> 0.05，兩組得分沒有顯著性差異。但是和總體成績相反，視頻組均分小于音頻組均分，這是始料不及的；細節(jié)推斷：F= .132，P= .556> 0.05，兩組得分沒有顯著性差異，視頻組均分大于音頻組均分。根據(jù)卡方檢驗，詞義推測：P= .003< 0.05，視頻組答對人數(shù)顯著高于音頻組；細節(jié)辨認：P= .011< 0.05，視頻組答對人數(shù)顯著高于音頻組。

從結果來看，DCV最有助于細節(jié)辨認和詞義推測的解題。對于主旨和細節(jié)推斷類，都沒有顯著影響，甚至視頻組的主旨類均分低于音頻組。根據(jù)胡英對細節(jié)辨認題的定義，此題型只需簡單識別、判斷就能找出正確答案。[13]而本材料的問題是“為什么菲利普斯曲線在20世紀70年代不起作用”。文本有一句“But they forgot that the workers could also see the effects of the curve.”為解題的關鍵，同時，視頻也出現(xiàn)了員工邊工作邊看到此曲線的畫面?？赡軆深愋畔⑼瑫r進入兩種信道，增加了工作記憶容量，相較音頻組，有了視覺心理模型，聽者能夠更快地理解并作出反應。同樣，詞義推測題也有相應的視覺信息作輔助，有受訪者也回憶道，印象最深的就是曲線圖，讓她猜出來詞組的詞義。由于題目是按照材料內(nèi)容呈現(xiàn)順序出的，此題相當于測量DCV對詞匯短時記憶的作用。邱東林等指出，當實義詞伴有具體圖像時，詞匯的記憶率則會相對提高。[3]但本題的詞匯題為“What does ‘took the bend out of ’ Phillips’s curve mean”，相較于抽象，要根據(jù)上下文才能理解。此現(xiàn)象可解釋為視覺信息的輔助使抽象詞匯有較為具體的模型，同時也說明上下文語境的重要性。

但為什么主旨推斷題和細節(jié)推斷題沒有顯著性效果，視頻組甚至在主旨推斷題落后于音頻組？

這可由視覺信息的顯著性和強調(diào)作用來解釋。在詞義推測題中，其相對應的視覺信息只在屏幕中顯示曲線從坐標軸離開的動作，動作、意義尤為明顯。受訪者也有提出，關于這條曲線的記憶尤為清晰。這就說明了視覺信息可能有指引和分配注意力的作用。[3]這也符合Mayer的強調(diào)原則。[12]那么再回看主旨推斷題和細節(jié)推斷，根據(jù)對這兩種題型的定義，此兩類題型都要做出歸納、判斷和推理，不是單單聽到或看到了有用信息就能立即做出。[13]此兩類題型需要動用更多的認知資源以及占據(jù)了過多的工作記憶，由題型本身造成的認知負荷使學習者沒有足夠的認知資源去接受、加工新進的語音、視覺信息。再者，雖然視頻的大部分畫面與語音文本信息一致，但有受訪者稱，畫面過于抽象又很生動。Findahl和Hoijer指出，伴隨著具體圖像的事件、地點和原理比原因和結果更容易被記憶。[14]換句話說，視覺信息過于分散，沒有突出重點，而此題型需要更為復雜的邏輯運算，這使得學習者要動用更多的認知資源去尋找和分析相關信息，造成認知冗余。[15]最后，本篇材料可能過于專業(yè)，學生沒有相應的背景知識，還要利用語言知識來加工二語信息，相對于熟練的一語學習者，視覺與文本信息簡單的一致運用在二語聽力時則會更復雜。[16]

2.間接相關內(nèi)容視頻

表7　ICV—細節(jié)辨認題檢測報告

表8　ICV—主旨推斷、細節(jié)推斷與詞義推測題答對百分比

由表7得知，根據(jù)獨立樣本T檢驗，細節(jié)辨認：F=.445，P= .013< 0.05，視頻組在細節(jié)辨認題上得分顯著大于音頻組。由表8得知，三類題的P值均大于0.05，視頻組與音頻組在這三類題型的差異不顯著，不過視頻組的答對百分比均大于音頻組。

與三、(二)1的細節(jié)辨認題一樣，可能有對應的視覺信息，再加上容易尋找、辨認，所以此類視頻的視覺信息更利于細節(jié)辨認類的解題。

關于其他三類題型，我們仔細看答對人數(shù)，發(fā)現(xiàn)視頻組和音頻答對人數(shù)相較DCV材料都較高，此現(xiàn)象也已在三、(一)2給出相應解釋。推斷推測類的復雜性也在三、(二)1給予相應解釋。

在訪談中，受訪者均表示畫面和語音較容易理解，其中有一位稱每講解一個地方對應一個場景，幾乎每個場景又與題目對應。筆者對受訪者關于ICV所提供的效應評價做了總結：

(1)開頭的字幕與標志性場所(建立初步宏觀框架)；(2)畫面的導向作用(生成初步宏觀框架)；(3)通過畫面實物對語音信息的確認(確定假設)與補足；(4)對圖式的激活。

四、結語

本文將直接相關視覺信息和間接相關視覺信息運用到視頻中，分析直接相關內(nèi)容視頻和間接相關內(nèi)容視頻對聽力理解的影響，結果發(fā)現(xiàn)：

1． DCV和ICV的視頻組的整體均分均顯著大于音頻組。主要可能是視覺信息和文本信息相關，減少了語言信道的負荷，使聽者更加容易激活認知圖像和圖式，便于較快地將兩類信息整合。

2． DCV和ICV的視頻組在細節(jié)辨認題的表現(xiàn)顯著高于音頻組；DCV的視頻組在詞匯辨認上的表現(xiàn)顯著高于視頻組；關于其他題型，視頻組與音頻組沒有顯著差異。DCV的視頻組在主旨推斷題的均分甚至小于音頻組。

最主要原因是，聽力理解主要取決于聽力水平，語言信息起決定性的主導作用，視覺信息終究只能起輔助、導向作用，只有當理解達到一定限度是，視頻才能發(fā)揮作用。[10]在DCV中，視覺與文本信息直接相關并不完全帶來積極的效果，原因可能是，畫面過于抽象，聽力材料較難，聽者在理解語音信息的同時，還要搜尋和理解與語音信息相關的視覺信息，造成冗余，換句話說，本文所選視頻雖然符合視覺信息和文本信息直接相關的要求，但同時也一定程度上違背了Mayer的強調(diào)性原則。兩類內(nèi)容視頻在推斷類題型表現(xiàn)不突出說明視頻的視覺信息只能作指引和強調(diào)，卻在更深層次的推理判斷上沒有太大的幫助。

關于內(nèi)容視頻的研究，還有待于進一步探討，此研究結果表明在選材上最好不要選取太專業(yè)難以理解的材料，視頻畫面不需要過于豐富；本文是用單選題的形式進行比較的，在其他任務的表現(xiàn)如自由回憶等還有待進一步研究。

[參考文獻]

[1] Coniam，D. The Use of Audio and Video Comprehension as an Assessment Instrument in the Certification of English Language Teachers：A Case Study [J]. System，2001，(1).

[2] Ginther，A . Context and Content Visuals and Performance on Listening Comprehension Stimuli [J]. Language Testing，2002，(2).

[3]邱東林，李紅葉.多種輸人模式對聽力理解和詞匯記憶的影響[J].外界，2010，(l).

[4]孔文，王淑瓊，周蕓，陳艷艷. 視頻信息對EFL聽力理解影響的實證研究[J].外語電化教學，2011，(141).

[5]杜冰.CALL環(huán)境下情境性視屏對英語聽力理解的效用性研究[D].無錫：江南大學外國語學院，2010.

[6] Walma van der Molen，J. Assessing Text-picture Correspondence inTelevision News：The development of a new coding scheme [J]. Journal of Broadcasting and Electronic Media，2001，(3).

[7] Cross，J. Comprehending News Videotexts：the Influence of the Visual Content [J]. Language Learning & technology，2011，(2).

[8] Chung，J. M. The Effects of Using Video Texts Supported with Advance Organizers and Captions on Chinese College Students' Listening Comprehension：An Empirical Study [J]. Foreign Language Annals，1999，(3).

[9] 劉桂如.字幕呈現(xiàn)方式對中國英語學習者聽力理解的影響[D].無錫：江南大學外國語學院，2012.

[10] 顧琦一，陳瑜之.視覺輔助對外語聽力語篇內(nèi)容理解的影響[J].解放軍外國語學院學報，2014，(3).

[11] Gruba，P. A. The Role of Digital Video Media in Second Language Listening Comprehension [D]. Melbourne：University of Melbourne，1999.

[12] Mayer，R. E. Multimedia Learning [M]. Cambridge： Cambridge University Press，2009.

[13]胡英，楊云安，劉興，李文輝.四級閱讀測試題型與對策 [J].太原理工大學學報，2002，(4).

[14] Findahl，O. & Hoijer，B. Some Characteristics of News Memory and Comprehension [J]. Journal of Broadcasting and Electronic Media，1985，(29).

[15] Ozcelik，E.，Arslan-Ari，I. & Cagiltay，K. Why does Signaling Enhance Multimedia Learning? Evidence from eye Movements [J]. 2010，(26).

[16] Meinhof，U. Language Learning in the Age of Satellite Television [M]. Oxford：Oxford University Press，1998.

責任編輯：思動

Effect of the Correspondence Between Visual and Verbal Information on EFL Listening Comprehension

DONG Jian-Qiao，LIU Nai-Jia

(Jiangnan University，Wuxi 214211，China)

Abstract：Through the review and analysis on the empirical studies about the effect of videos on EFL listening comprehension，the taxonomies of videos and the relations between verbal and visual information，the present study divides content videos into two categories——direct content video and indirect content video. Through the comparison for the video group and audio group，it is found that the total means get by video group is significantly higher than that from audio group. It is also found that video group significantly outperform audio group in questions of identifying details，and the direct content video has significant positive effect on word inference.

Key words：content video；visual information；verbal-visual relations；listening comprehension

[中圖分類號]H319.9

[文獻標識碼]A

doi：10.3969/j.issn.1004-5856.2015.12.015

[文章編號]1004—5856(2015)12—0077—07

[作者簡介]董劍橋(1953 -)，男，江蘇南通人，教授，研究生導師，主要從事應用語言學、多媒體輔助教學研究；劉乃嘉(1988-)，女，江蘇淮安人，2012級碩士研究生，主要從事多媒體輔助教學研究。

[收稿日期]2014-12-19