榮盈盈，戴培興，阮 瑾，吳蘇蘇

（東華大學 外語學院，上海 201620）

隨著數(shù)字化信息技術(shù)的飛速發(fā)展，一場革命已經(jīng)在教育、文化、傳播等領域里悄然發(fā)生，其結(jié)果就是在公共交流中，語言和文字的傳統(tǒng)地位已經(jīng)被撼動了，一種全新的多模態(tài)的話語形式已經(jīng)深入到人們生活的方方面面［1］，甚至越來越多地處于突出的地位。

一、多模態(tài)話語

多模態(tài)話語是人類的生物性特征的表現(xiàn)，它涉及到多種感官的應用。人類可以通過不同的感官實現(xiàn)多重模態(tài)的交際：視覺模態(tài)（眼）、聽覺模態(tài)（耳）、味覺模態(tài)（舌）、嗅覺模態(tài)（鼻）和觸覺模態(tài)（皮膚）。從技術(shù)的意義上來說，多模態(tài)可解釋為專指融合兩種以上“傳播手段、方式或載體”的、人機交互式的信息交流和傳播的媒體。從符號學的意義上來說，多模態(tài)是指在交流活動中不同符號模態(tài)（semiotic mode）的混合體［2］，同時也可以表示不同的符號資源（semiotic resource）被調(diào)動起來，在一個特定的組合中共同構(gòu)建意義的各種方式［3］。也有符號學者認為，判斷多模態(tài)的標準有兩條：一是看話語中涉及的模態(tài)種類有多少；二是看話語中涉及的符號系統(tǒng)有多少。雖然視覺模態(tài)只涉及了一種模態(tài)，但是其中所使用到的符號系統(tǒng)常常包括了文字和圖像兩種。因此，這種“圖文并茂”的話語通常也被稱為多模態(tài)話語［4］。在現(xiàn)實生活中，語言符號與非語言符號，如標志、圖像、手勢、表情和顏色等，一起形成一種更為寬泛的符號資源，它們具有相同的地位，共同參與意義建構(gòu)。

二、話語多模態(tài)與認知心理

話語多模態(tài)是人類交流或人際交流的自然形態(tài)。實驗心理學家Treicher的實驗證明：人類獲取外部世界的信息途徑，83%來自視覺，11%來自聽覺，還有6%來自嗅覺、觸覺和味覺［5］。來自不同途徑的信息都會刺激大腦的認知。認知有許多組成部分，如感覺、知覺、注意、記憶、動作、思維、學習、語言等，它們相互依賴、相互影響［6］。認知心理學認為，認知是指通過心理活動獲取知識或經(jīng)驗，這是人類最基本的心理過程。人腦接受外界輸入的信息，經(jīng)過大腦的加工處理后，轉(zhuǎn)換成內(nèi)在的認識活動和意向活動，即從感知覺和思維轉(zhuǎn)到欲念、動機、意圖、情緒、意志等。這種轉(zhuǎn)換過程就是人類的認知過程或信息加工過程。話語多模態(tài)為人際交流提供了最優(yōu)的信息輸入方式和最佳的信息輸出方式，滿足了人類個體的認知活動的需要和實際應用的需要。

三、視覺多模態(tài)的符號間性

視覺系統(tǒng)是人類獲取外部世界信息的主要方式，“視覺多模態(tài)指的是除了文本之外，還帶有圖像、圖表等的復合話語……”［7］，或 “超出文字語言符號以上的多種符號語篇”［8］的話語。所以，它們之間應有某種相互作用的功能或特性：

（一）語義互補性

功能語言學家Halliday［9］認為，現(xiàn)實世界是由各種過程組成的，其中有物質(zhì)過程、心理過程、關系過程、行為過程、話語過程和存在過程。圖像不具備表現(xiàn)所有過程的能力，它難以甚至不能表現(xiàn)心理過程和關系過程等，對圖像來說更容易表達的是物質(zhì)過程、言語過程和存在過程。而文字卻擅長于描述心理過程、行為過程和關系過程。因此，視覺多模態(tài)可以彌補對方的不足或缺陷，使它們兩相呼應，互為補充［10］。

（二）語境協(xié)同性

從系統(tǒng)功能語法的角度來看，如果將整個靜態(tài)的“圖文并茂”的視覺多模態(tài)看成是一個語篇，那么圖像就是文字的語境。反之，文字就是圖像的語境。二者互為語境，在意義的現(xiàn)實化過程中互相作用，相互修剪無關的意義衍生，更加明確地限定了語篇的意義范圍，從而幫助讀者篩選出恰當?shù)囊饬x潛勢。二者之間的關系是兩相獨立卻又相互協(xié)同的。

（三）形式獨立性

盡管視覺多模態(tài)中的文字和圖像是在共建同一主題和語篇，實現(xiàn)相同的交際目的，但由于它們是不同的模態(tài)，兩者有不同的表達意義的形式機制。圖像模態(tài)以視覺語法表達意義，使語篇產(chǎn)生具象和情景的特點。而文本模態(tài)以功能語法表達意義和生成意境。它們在建構(gòu)語篇整體意義上都各有自己特殊的貢獻。

（四）色彩沖擊性

視覺多模態(tài)不僅僅包括語言和非語言符號的形態(tài)，也包括這些符號本身的色彩。色彩是一種自然屬性，人的視覺對于色彩有特殊的敏感性，俗話說“遠看色彩近看花，先看顏色后看花，七分顏色三分花”。這就說明，色彩對人的視覺有強烈的沖擊性。色彩是與人的感覺（外界的刺激）和人的知覺（記憶、聯(lián)想、對比……）聯(lián)系在一起的。當人在不同顏色的環(huán)境中，他（她）的脈搏、血壓、情緒和腦電波都會有明顯的不同，這是因為人的生理會產(chǎn)生電化反應。色彩心理學家認為，在自然欣賞和社會活動方面，色彩在客觀上是物質(zhì)世界的反映，但在主觀上又是一種心理感受和行為反饋，色彩感覺總是存在于色彩知覺之中。

四、認知功效的對比實驗

鑒于視覺多模態(tài)話語在認知理論方面的諸多優(yōu)勢，作者精心設計了下列實驗，以揭示它對學生的認知產(chǎn)生的實際效應。

（一）實驗方法

參加本實驗的對象為上海某高?！按髮W英語”課程二級起點的兩個小班的學生，共62人，其中一班32人，另一班30人。其課本為《新視野大學英語（2）》。由于他們的英語分級測試成績基本在同一水平，所以這兩個班的學生分別代表了實驗組和對照組。

本次研究為定性與定量分析相結(jié)合，具體方法如下：（1）閱讀理解測試；（2）詞匯測試；（3）關于物理動作與心理活動的問卷調(diào)查（15項）。其中，閱讀材料來源于《全新版大學英語綜合教程（3）》，內(nèi)容為學生熟悉程度不高的科技型題材以確保測試結(jié)果不受學生背景知識差異的影響，全文共1 333個單詞，其中生詞41個左右（約占3．1%），生詞量很接近常規(guī)比例 （3%）；閱讀理解測試題大都源于該閱讀材料中的課后練習，并改編成選擇題，方便學生作答；問卷調(diào)查由三部分組成，即“對測試材料的認可反應”，“閱讀測試中的物理動作”和“閱讀測試中的心理活動”。前兩個部分直接采用了美國著名應用語言學家Oxford的語言策略量表（Strategy Inventory for Language Learning，SILL）中的部分問卷。此表分類框架具體完整，包含了其他研究者對外語學習策略分類框架的主要內(nèi)容和特點，因此在外語學習策略研究領域有代表性和較大的影響力。第三部分直接采用認知行為量表（Cognitive Behavior Rating Scale，CBRC）中的部分問卷。此表涉及認知行為的9個具體方面，是認知學和心理學領域公認的最具權(quán)威性的問卷調(diào)查之一。

根據(jù)本研究設計，提供給實驗組學生的閱讀材料為多媒體網(wǎng)絡課件，其中包括彩色圖片18個，藍色標記詞6個。實驗組的學生借助語言實驗室的電腦閱讀此課件，他們可以點擊課件中的超鏈接，欣賞不同的畫面，感受豐富的色彩等；而提供給對照組學生的只是傳統(tǒng)的白紙黑字的閱讀材料。

（二）實驗過程

在學生知識背景和測試要求基本相同的條件下，兩組實驗分別按下列程序進行：

步驟一：在做實驗時，要求實驗組和對照組的學生分別在30分鐘內(nèi)完成閱讀與理解測試題（10個）；

步驟二：上述閱讀與理解測試進行過后，在兩組學生都無法再接觸到閱讀材料的情況下，要求他們在5分鐘內(nèi)完成詞匯短期記憶測試（35個詞）和關于物理動作與心理活動的問卷調(diào)查；

步驟三：上述調(diào)查結(jié)束后，再過10分鐘，分別要求這兩組測試者在5分鐘內(nèi)完成詞匯長期記憶測試（35個詞）。

上述實驗完成后，將所有數(shù)據(jù)輸入計算機，用SPSS進行分析，統(tǒng)計平均值、標準差、On－way ANOVA、以及其他相關系數(shù)。

事后，作者又以同樣的步驟補充了另一組實驗，共有39名學生參加，其英語水平與前兩組相同。此實驗組（非限制組）在閱讀與理解測試的時間和任務兩個方面不受限制。實驗結(jié)果用來與實驗組和對照組分別進行對比。

（三）實驗結(jié)果分析

表1中所顯示的實驗數(shù)據(jù)反映了部分的認知功效。在對測試材料相關內(nèi)容熟悉程度和興趣度無明顯偏差的情況下（區(qū)分度①區(qū)分度以0．05為分界點，0．05以下為大，0．05以上為小。分別為0．971和0．308），實驗組和對照組的認知結(jié)果對比如下：

表1 實驗組與對照組認知功效對照

續(xù) 表

（1）在閱讀注意力跨度方面，實驗組與對照組之間存在十分顯著的差異，區(qū)分度為0．000；

（2）在新詞詞義的短期記憶方面，實驗組明顯好于對照組，區(qū)分度為0．025；

（3）在新知識點的長期記憶方面，實驗組也好于對照組，區(qū)分度為0．049；

（4）在文章與詞匯的綜合理解方面，實驗組明顯優(yōu)于對照組，區(qū)分度為0．036；

（5）在文章、詞匯和問答的綜合測試方面，實驗組也明顯優(yōu)于對照組，區(qū)分度為0．045。

（四）討論

對比測試的結(jié)果表明：視覺多模態(tài)的閱讀方式，在有時間限制的條件下，比單模態(tài)更具優(yōu)勢，它能非常明顯地延長讀者的注意力跨度，顯著提高讀者對文章和詞匯的理解水平，尤其能很明顯地促進讀者對新詞詞義的記憶。然而，在深入研究多模態(tài)話語的認知功效時，我們還需要認真思考以下幾個關系。

1．多模態(tài)信息輸入與時間壓力的關系

實驗結(jié)果明確顯示，由于受到30分鐘的時間限制，實驗組成員不能充分地“點擊”圖片，也不能充分地利用多模態(tài)來增強理解和記憶（點擊數(shù)為平均22．97次／30 min）?？墒?，在無時間限制的情況下，非限制組成員對圖片和其他超鏈接的“點擊”就遠遠超過有時間限制的實驗組，點擊數(shù)為平均31．90次／45 min（平均用時），區(qū)分度為0．025（表2）。因此，多模態(tài)閱讀并不節(jié)省工序。

表2 實驗組與非限制組 “點擊鼠標數(shù)量”對照

2．多模態(tài)信息輸入與任務壓力的關系

任務壓力與時間壓力往往是交織在一起的。有時間限制的實驗組成員迫于時間壓力，從而忙于測試任務的完成（平均完成量為96．09%），無法盡興地閱讀各種圖片和其他拓展類信息。相反，沒有任務壓力的非限制組成員則能更多地享用多模態(tài)閱讀，但是，他們完成任務的比例就明顯地降低了，按每人平均用時45分鐘計算，他們完成了91．41%的任務，可是，如果按比例折算，在30分鐘的時間內(nèi)，他們僅完成了60．94%的任務。相反，對照組成員在30分鐘的時間內(nèi)卻完成了97．23%的測試任務（正確率和記憶量除外），因為他們只能進行單模態(tài)閱讀，無法拓展信息。這就表明多模態(tài)閱讀并不省工時。

3．多模態(tài)閱讀與疲勞度的關系

在疲勞度方面，三組相比有顯著性差異（表3），有時間限制的實驗組的疲勞感最強，平均值為3．03；而對照組的疲勞感最弱，平均值為2．50；非限制組居中，平均值為2．62；三組區(qū)分度為0．048。這就說明多模態(tài)閱讀是最累人的。

表3 三組“疲勞度”對照（ANOVA）

五、結(jié)論

正如Norris所說，現(xiàn)實生活中“所有的交際都是多模態(tài)的，并且已漸漸遠離了在交際中總是語言起中心作用的狀況”［11］。視覺多模態(tài)以其文字、圖像、色彩的天然和綜合的優(yōu)勢，在閱讀中強化了學生的認知活動。這是由于在意義創(chuàng)建的過程中，“靜態(tài)圖文”視覺多模態(tài)相互依存、相互協(xié)調(diào)、互為依托。圖像的視覺語法和文本的功能語法共同構(gòu)建了視覺多模態(tài)話語的完整的語篇、語境和語義。同時，由于多彩的視覺多模態(tài)本身具有強大的吸引力，并對讀者的視覺具有強大的沖擊力和對記憶產(chǎn)生持久的滲透力，其認知功效得到更充分的顯現(xiàn)。但是人們的大腦在信息處理的過程中，不可避免地受到時間壓力和任務壓力的影響，這就使人們的大腦在認知過程中所消耗的能量明顯加大。因此，作者認為：多模態(tài)話語的認知功效是相對的，它是以時間為做工成本的，以精力耗費為代價的。然而，由于視覺多模態(tài)具有天然的吸引力和沖擊力，這種成本和代價以及由此而引起的疲勞常常被忽略。如果我們充分認識到話語多模態(tài)對認知的積極作用，同時也充分認識到提高認知功效的相關條件，那么多模態(tài)英語教學就會開展得更趨合理和更加有效。

［1］Kress，Gunther．Multimodality［A］．Cope and kalantzis．（ed．）Multiliteracies［C］．London：Routledge，2000：182－202．

［2］Leeuwen，J．van（2005，June 7）．SciencefortheInformationAge．Delft，ICT Congress 2005：281．

［3］Baldry ＆ Thibault．Multi－modal Transcription and Text Analysis［M］．London and Oakville：Equinox，2006：21．

［4］朱永生．多模態(tài)話語分析的理論基礎與研究方法［J］．外語學刊，2007，（5）：82－86．

［5］高定國，肖曉云．認知心理學［M］．上海：華東師范大學出版社，2004：120－121．

［6］唐孝威．統(tǒng)一框架下的心理學與認知理論［M］．上海人民出版社，2007：209－215．

［7］李戰(zhàn)子．多模式話語的符號學分析［J］．外語研究，2003，（5）：1－8．

［8］曾蕾．動態(tài)多符號語篇的整體意義構(gòu)建［J］．外語藝術(shù)教育研究，2006，（3）：42－48．

［9］Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1994：106－107．

［10］Kress，G ＆ Van Leeuven，T．ReadingImages：theGrammarofVisualDesign［M］．London：Routledge，1996：16．

［11］Norris，S．Analyzing Multimodal Discourse：A Methodological Framework［M］．London：Routledge，2004：3．