王佳娣

（湖南第一師范學(xué)院 外國(guó)語(yǔ)學(xué)院，湖南 長(zhǎng)沙 410205）

引言

隨著媒介技術(shù)的不斷發(fā)展，人類交際的多模態(tài)化現(xiàn)象越來(lái)越凸顯，文字、圖像、語(yǔ)音、動(dòng)畫等多模態(tài)話語(yǔ)呈現(xiàn)模式不斷涌現(xiàn)。因此，語(yǔ)篇的意義生成不再單純地依賴語(yǔ)言符號(hào)，而是多種符號(hào)系統(tǒng)融合后，共同構(gòu)建出語(yǔ)篇的意義?！耙饬x的構(gòu)建需要多種符號(hào)的協(xié)同作用?！盵1]在多模態(tài)語(yǔ)篇中，圖和文是最常見的兩種符號(hào)，他們的組合往往呈現(xiàn)出一加一大于二的效果。在英語(yǔ)閱讀教學(xué)中，培養(yǎng)學(xué)生的多模態(tài)語(yǔ)篇閱讀能力的關(guān)鍵就在于圖文識(shí)解能力的培養(yǎng)。

一、研究綜述

“多模態(tài)話語(yǔ)”的概念來(lái)自系統(tǒng)功能語(yǔ)言學(xué)的社會(huì)符號(hào)學(xué)。1994年，新倫敦小組提出了“多元識(shí)讀”的概念，開創(chuàng)了多元讀寫能力培養(yǎng)研究的先河。1996年，Kress和van Leeuwen首次提出“多模態(tài)話語(yǔ)”的概念，創(chuàng)建視覺語(yǔ)法分析框架，為多模態(tài)話語(yǔ)分析的發(fā)展奠定了基礎(chǔ)。二人認(rèn)為語(yǔ)言和圖像都可以用來(lái)實(shí)現(xiàn)人類蘊(yùn)含文化元素的基本意義系統(tǒng)，二者具有自己特有的表達(dá)方式[2]。Van Leeuwen后來(lái)撰文表達(dá)在很多交際場(chǎng)合，圖與文各有分工，文本負(fù)責(zé)提供事實(shí)，而圖像負(fù)責(zé)對(duì)文本的解讀[3]。Royce認(rèn)為，在圖文結(jié)合的語(yǔ)篇中，從概念意義上講，圖文關(guān)系與語(yǔ)言本身的關(guān)系相類似，但從交際意義上講，語(yǔ)言表達(dá)的意義更加確定，而圖像的意義需要借助文本來(lái)確定[4]。Martinec總結(jié)出4種圖文關(guān)系：即相互獨(dú)立、相互補(bǔ)充、以文為主、以圖為主[5]。Wignell在對(duì)6個(gè)不同年齡組的繪本進(jìn)行系統(tǒng)分析的基礎(chǔ)上，提出圖文關(guān)系隨著目標(biāo)讀者年齡的變化而發(fā)生變化。隨著目標(biāo)讀者年齡的增加，文本對(duì)圖像的依賴性在變小，概念功能及語(yǔ)篇功能逐漸超越人際功能[6]。

在胡壯麟[7]、朱永生[8]、顧曰國(guó)[9]、張德祿[10]等中國(guó)學(xué)者的推介下，國(guó)內(nèi)多模態(tài)話語(yǔ)研究開始發(fā)展起來(lái)，并應(yīng)用于語(yǔ)言教學(xué)研究。朱永生意識(shí)到中國(guó)在多元讀寫研究和多元讀寫能力培養(yǎng)方面已落后于其他國(guó)家[11]。汪燕華指出，圖像和文本的關(guān)系問(wèn)題是“多模態(tài)話語(yǔ)分析中存在的瓶頸問(wèn)題?！盵12]耿敬北等統(tǒng)計(jì)了2007—2013年間國(guó)內(nèi)外語(yǔ)類核心期刊發(fā)表的134篇多模態(tài)話語(yǔ)和多模態(tài)外語(yǔ)教學(xué)研究文章，提出多元讀寫能力的培養(yǎng)仍需結(jié)合中國(guó)文化區(qū)別對(duì)待，外語(yǔ)教學(xué)各個(gè)環(huán)節(jié)的研究可以與認(rèn)知理論結(jié)合，多做本體研究，多種研究方法結(jié)合并用將成為多模態(tài)外語(yǔ)教學(xué)實(shí)證研究的趨勢(shì)[13]。國(guó)防運(yùn)用觀察法比較分析了中美兒童與成人閱讀英文繪本過(guò)程中對(duì)圖文關(guān)系識(shí)解的異同，揭示語(yǔ)言水平及年齡對(duì)多模態(tài)語(yǔ)篇圖文關(guān)系識(shí)解的影響，該文是國(guó)內(nèi)少有的關(guān)于圖文關(guān)系的文章[14]。雷茜、張德祿運(yùn)用實(shí)證研究的方法，對(duì)英語(yǔ)模態(tài)寫作中的學(xué)習(xí)者身份認(rèn)同問(wèn)題進(jìn)行了研究[15]。韓穎則從多元讀寫理論的視角，通過(guò)定量和定性分析，研究媒介讀寫能力培養(yǎng)[16]。

綜上所述，多模態(tài)理論應(yīng)用于教學(xué)研究經(jīng)歷了20世紀(jì)末期的萌發(fā)、20世紀(jì)初期10年的發(fā)展后，在第二個(gè)10年呈現(xiàn)出繁榮的趨勢(shì)。在研究漸趨成熟之時(shí)，研究?jī)?nèi)容呈現(xiàn)多樣性、研究方法更趨科學(xué)性、研究目標(biāo)越發(fā)關(guān)注實(shí)踐性。在這種發(fā)展趨勢(shì)下，本文關(guān)注多模態(tài)英語(yǔ)閱讀活動(dòng)中學(xué)習(xí)者的圖文關(guān)系識(shí)解能力問(wèn)題，通過(guò)定量與定性相結(jié)合的研究方法，分析英語(yǔ)學(xué)習(xí)者的圖文識(shí)解過(guò)程、對(duì)圖文關(guān)系的認(rèn)知以及圖文識(shí)解能力對(duì)閱讀理解的影響，對(duì)英語(yǔ)學(xué)習(xí)者圖文識(shí)解能力提出建議。

二、實(shí)驗(yàn)研究

（一）實(shí)驗(yàn)?zāi)康?/h3>

實(shí)驗(yàn)擬驗(yàn)證多模態(tài)英語(yǔ)語(yǔ)篇閱讀中，閱讀者圖文關(guān)系識(shí)解的動(dòng)機(jī)、過(guò)程和效果，厘清影響閱讀者圖文關(guān)系識(shí)解能力的因素，為多模態(tài)英語(yǔ)語(yǔ)篇閱讀教學(xué)提供依據(jù)和策略。實(shí)驗(yàn)擬提出以下問(wèn)題：多模態(tài)英語(yǔ)語(yǔ)篇閱讀中，圖片對(duì)文本理解的影響是否顯著？閱讀者處理圖文關(guān)系時(shí)有何特征？效果如何？

（二）實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)對(duì)象是湖南省某高校2018級(jí)英語(yǔ)專業(yè)學(xué)生，共90人。實(shí)驗(yàn)對(duì)象分為實(shí)驗(yàn)組和控制組，每組45人。從學(xué)生第二學(xué)期英語(yǔ)閱讀課程期末考試成績(jī)?yōu)閰⒖?，?shí)驗(yàn)組和控制組的閱讀能力和水平之間不存在顯著差異。

（三）測(cè)量工具

實(shí)驗(yàn)的測(cè)量工具是語(yǔ)言測(cè)試與調(diào)查問(wèn)卷。語(yǔ)言測(cè)試主要測(cè)試學(xué)生在多模態(tài)英語(yǔ)閱讀中對(duì)信息觀測(cè)點(diǎn)的理解情況，并記錄閱讀過(guò)程。再通過(guò)調(diào)查問(wèn)卷的形式了解學(xué)生對(duì)圖文關(guān)系的處理情況。實(shí)驗(yàn)組與控制組均參加了語(yǔ)言測(cè)試，語(yǔ)言測(cè)試采用英語(yǔ)閱讀的形式，材料選自中國(guó)日?qǐng)?bào)網(wǎng)站的文章《18個(gè)事實(shí)告訴你：歷史真的不是你想的那樣》，從中選取10組圖片及文本作為語(yǔ)言測(cè)試的內(nèi)容。實(shí)驗(yàn)組在語(yǔ)言測(cè)試后還接受了測(cè)試者編制的問(wèn)卷調(diào)查。

（四）實(shí)驗(yàn)過(guò)程

控制組與實(shí)驗(yàn)組同時(shí)進(jìn)行閱讀測(cè)試。實(shí)驗(yàn)組的閱讀材料是彩色打印圖文版，包含10個(gè)長(zhǎng)句，每個(gè)句子中設(shè)置一個(gè)信息觀測(cè)點(diǎn)，每個(gè)長(zhǎng)句后配了一幅與文本內(nèi)容相關(guān)的圖片。要求學(xué)生在30分鐘內(nèi)完成閱讀，并用中文寫出句子大意。此處并不要求學(xué)生嚴(yán)格按照翻譯的標(biāo)準(zhǔn)來(lái)寫，而是著重將文本中的重要信息點(diǎn)呈現(xiàn)出來(lái)?？刂平M獲取的閱讀材料是黑白打印純文本版，其余要求與實(shí)驗(yàn)組相同。

實(shí)驗(yàn)組在閱讀測(cè)試后，完成問(wèn)卷調(diào)查，用時(shí)大約10分鐘。

（五）結(jié)果及討論

實(shí)驗(yàn)結(jié)束后，研究者依據(jù)語(yǔ)言測(cè)試和問(wèn)卷調(diào)查結(jié)果、現(xiàn)場(chǎng)記錄及記憶，對(duì)整個(gè)實(shí)驗(yàn)過(guò)程的數(shù)據(jù)進(jìn)行整理、統(tǒng)計(jì)與分析。

1.圖文關(guān)系識(shí)解過(guò)程分析

圖文關(guān)系識(shí)解過(guò)程呈現(xiàn)的是被試者在閱讀過(guò)程中對(duì)圖片和文字信息的處理方式，以此可以觀測(cè)出被試者的閱讀習(xí)慣和閱讀心理。

從表1可以看出，絕大多數(shù)被試者選擇文本作為閱讀起點(diǎn)，是選擇圖片人數(shù)的兩倍。選擇文本作為起點(diǎn)也就直接影響了圖文切換點(diǎn)的調(diào)查結(jié)果，絕大多數(shù)選擇在文本閱讀中和閱讀后切換圖片。調(diào)查顯示被試者的圖文切換頻次較低，以1-2次為主。同時(shí)，被試者在文本上停留的時(shí)間也比圖片要長(zhǎng)。

表1 實(shí)驗(yàn)組圖文關(guān)系識(shí)解過(guò)程調(diào)查結(jié)果

該調(diào)查結(jié)果顯示出被試者的閱讀習(xí)慣仍以文字為主，對(duì)圖片信息的關(guān)注度不夠，對(duì)圖文關(guān)系的理解有待提高。從閱讀起點(diǎn)和圖文停留時(shí)間的調(diào)查結(jié)果可以明顯看出被試者的閱讀習(xí)慣仍較為傳統(tǒng)，可能受到測(cè)試環(huán)境——課堂的影響，同時(shí)，傳統(tǒng)的教材形式也是以文本為主，這些因素都影響了被試者的閱讀習(xí)慣養(yǎng)成。近一半的被試者是在文本閱讀后才切換到圖片，且切換頻次較低，這也說(shuō)明被試者常常忽視圖片提供的信息，未意識(shí)到圖片與文本實(shí)為一體，二者相結(jié)合可以提高閱讀速度和理解能力。

2.對(duì)圖文關(guān)系的認(rèn)識(shí)分析

對(duì)圖文關(guān)系的認(rèn)識(shí)分析可以了解被試者對(duì)圖片和文本提供的信息的基本認(rèn)識(shí)，是被試者的主觀判斷，可與圖文識(shí)解過(guò)程的調(diào)查結(jié)果進(jìn)行比對(duì)，發(fā)現(xiàn)問(wèn)題。

表2顯示有三分之二的被試者認(rèn)為文本與圖像的關(guān)系是文本為主、圖像為輔，其余的三分之一則認(rèn)為圖文同等重要、互為補(bǔ)充。在考察圖片對(duì)文的理解的重要性時(shí)，絕大部分被試者選擇了較為持中的重要和一般重要，選擇很重要的僅有7人。調(diào)查結(jié)果顯示圖片切換的原因涉及到多個(gè)方面，所有被試均選了主動(dòng)尋求與文本相關(guān)的信息，大部分選擇了在文本理解遇到困難時(shí)尋求圖片信息的幫助，這也從側(cè)面印證了表1中圖文切換的頻次。

表2 實(shí)驗(yàn)組圖文關(guān)系認(rèn)識(shí)調(diào)查結(jié)果

將表2與表1的結(jié)果進(jìn)行對(duì)比，我們可以發(fā)現(xiàn)一種矛盾的現(xiàn)象。即絕大多數(shù)被試者認(rèn)為圖片與文本的關(guān)系非?；蛘弑容^密切，圖片信息對(duì)于理解文本有幫助或重要幫助，但從實(shí)際的過(guò)程來(lái)看，他們對(duì)文本的關(guān)注度卻遠(yuǎn)遠(yuǎn)地高于對(duì)圖片的關(guān)注度。這說(shuō)明在英語(yǔ)閱讀活動(dòng)中，學(xué)習(xí)者的閱讀意識(shí)與閱讀行為之間存在著偏差。主觀上，他們樂(lè)意接受多模態(tài)的閱讀方式，并且承認(rèn)多模態(tài)閱讀的優(yōu)勢(shì)，但行為上依然不自覺地偏向傳統(tǒng)的文本閱讀。這其中的原因是多方面的也是復(fù)雜的，但如何引導(dǎo)學(xué)生從自覺意識(shí)走向自覺行為，對(duì)于學(xué)習(xí)者的圖文關(guān)系識(shí)解能力培養(yǎng)來(lái)說(shuō)有著重要的思考價(jià)值，留給閱讀教學(xué)很大的探索空間。

3.圖文關(guān)系識(shí)解能力分析

實(shí)驗(yàn)組與控制組的語(yǔ)言測(cè)試結(jié)果可以看出兩組被試的閱讀理解情況，從中可以分析出圖片對(duì)文本理解的影響是否顯著。對(duì)實(shí)驗(yàn)組測(cè)試結(jié)果的單獨(dú)分析還可以看出被試者的圖文識(shí)解能力。

根據(jù)對(duì)比分析實(shí)驗(yàn)組與控制組語(yǔ)言測(cè)試結(jié)果，采用兩獨(dú)立樣本T檢驗(yàn)比較差異，可以發(fā)現(xiàn)在最低值上兩組沒有差別，最高值相差3分，在平均值上實(shí)驗(yàn)組明顯高于控制組。P＜0.001，實(shí)驗(yàn)組和控制組在總分上存在顯著的差異。由此可見實(shí)驗(yàn)組與控制組在語(yǔ)言測(cè)試環(huán)節(jié)的差異較明顯，即圖片信息對(duì)文本信息的理解產(chǎn)生較顯著的影響。

表3 實(shí)驗(yàn)組與控制組語(yǔ)言測(cè)試結(jié)果對(duì)比

從表4可以看出兩組在各小題的回答上的差異。差異性較顯著的有第1、2、6、10觀測(cè)點(diǎn)，在這幾個(gè)觀測(cè)點(diǎn)上，實(shí)驗(yàn)組的正確率要明顯高于控制組的正確率，其他觀測(cè)點(diǎn)的差異性表現(xiàn)不明顯。觀測(cè)點(diǎn)1原文的5英尺6英寸對(duì)于被試來(lái)說(shuō)是陌生信息，但圖片（圖1）上提供了英尺與米的對(duì)照信息，相當(dāng)于1.67米，從圖片上看約等于1.7米。實(shí)驗(yàn)組的部分被試注意到了圖片信息，并利用了圖片信息，將陌生信息轉(zhuǎn)化為可知信息，達(dá)到深度理解的目的。而控制組的被試在這一點(diǎn)上全軍覆沒，仍然停留在5英尺6英寸的陌生信息層次，理解沒有深入下去。另一比較典型的例子是觀測(cè)點(diǎn)6，大部分控制組的被試將其理解為范圍，而實(shí)驗(yàn)組在圖片（圖2）信息的幫助下，可以更清楚地看到兩幅畫作的尺寸的差異，因此理解正確的人數(shù)明顯高出控制組。

從語(yǔ)言測(cè)試的結(jié)果，可以看出以下兩點(diǎn)。第一，圖片信息與文本信息之間關(guān)系非常密切，圖片信息的解讀直接影響文本信息的理解。從實(shí)驗(yàn)組和控制組對(duì)觀測(cè)點(diǎn)的理解程度就可以看出較明顯的差異，總體上，實(shí)驗(yàn)組的理解力要高于控制組。第二，學(xué)生的多模態(tài)圖文識(shí)解能力仍有待提高。在一些觀測(cè)點(diǎn)上，實(shí)驗(yàn)組與控制組的理解水平相當(dāng)，實(shí)驗(yàn)組并沒有體現(xiàn)圖片輔助的作用。就實(shí)驗(yàn)組本身的測(cè)試結(jié)果來(lái)看，并非所有的觀測(cè)點(diǎn)都達(dá)到了較好的理解效果。

表4 重要觀測(cè)點(diǎn)測(cè)試結(jié)果統(tǒng)計(jì)

圖1 觀測(cè)點(diǎn)1配圖

圖2 觀測(cè)點(diǎn)6配圖

結(jié)語(yǔ)

課題組對(duì)兩組學(xué)生進(jìn)行了語(yǔ)言測(cè)試和問(wèn)卷調(diào)查，結(jié)果表明學(xué)生具有一定的圖文識(shí)解意識(shí)，但在具體的閱讀活動(dòng)中，仍以傳統(tǒng)的文本閱讀為主，忽視了多模態(tài)篇章的特點(diǎn)，沒有在閱讀活動(dòng)中將圖片信息與文本信息進(jìn)行整合，圖文識(shí)解能力有待提高。該調(diào)查結(jié)果為英語(yǔ)閱讀教學(xué)帶來(lái)了以下幾個(gè)方面的啟發(fā)：第一，英語(yǔ)閱讀教學(xué)中要有意識(shí)地培養(yǎng)學(xué)生多模態(tài)閱讀的能力。隨著信息技術(shù)的發(fā)展，閱讀的渠道和方式都在發(fā)生著變化，傳統(tǒng)的閱讀方式已逐漸被多元化的閱讀方式所取代，因此培養(yǎng)學(xué)生的多模態(tài)閱讀能力應(yīng)該成為英語(yǔ)閱讀課程的重點(diǎn)之一。第二，英語(yǔ)閱讀內(nèi)容要實(shí)現(xiàn)多模態(tài)化?，F(xiàn)有的教材均以文本為主，缺少多模態(tài)的信息呈現(xiàn)方式，是限制學(xué)生閱讀習(xí)慣的重要因素。在改良教材的同時(shí)，要引導(dǎo)學(xué)生主動(dòng)尋求多模態(tài)的閱讀內(nèi)容，如網(wǎng)絡(luò)新聞等應(yīng)用文體。第三，英語(yǔ)閱讀要培養(yǎng)學(xué)生全面關(guān)注信息的習(xí)慣。語(yǔ)言的信息并非都是以文本的形式呈現(xiàn)，插圖、美工、頁(yè)眉、頁(yè)腳都可能為閱讀理解提供有效信息，值得閱讀者注意。本研究對(duì)大學(xué)生多模態(tài)英語(yǔ)語(yǔ)篇圖文關(guān)系識(shí)解能力的現(xiàn)狀進(jìn)行了調(diào)查分析，旨在為閱讀者圖文識(shí)解能力的培養(yǎng)和提高提供參考。