莫川川

（廣州番禺職業(yè)技術(shù)學(xué)院外語(yǔ)外貿(mào)學(xué)院，廣東廣州511400）

新媒體技術(shù)的發(fā)展為教學(xué)提供了現(xiàn)代化教學(xué)手段，豐富了教學(xué)材料，使得學(xué)習(xí)環(huán)境呈多模態(tài)化，培養(yǎng)學(xué)生的多元識(shí)讀能力（Multiliteracy）成為教育界的共識(shí).多元識(shí)讀是長(zhǎng)期致力于語(yǔ)言讀寫(xiě)能力研究的新倫敦團(tuán)體（New London Group)于1996年首次提出［1］.多元識(shí)讀理論有兩個(gè)重要原則，一是讀寫(xiě)教育要考慮文化和語(yǔ)言的多樣性；二是文本的構(gòu)成不應(yīng)僅限于書(shū)面的文字，也要考慮信息與多媒體技術(shù).除了文字模之外，意義系統(tǒng)還應(yīng)包括非語(yǔ)言模態(tài)，如聲音、圖像、空間位置、手勢(shì)和視頻信號(hào)等信息.多元識(shí)讀理論一經(jīng)提出，即得到語(yǔ)言學(xué)研究者和語(yǔ)言教師的認(rèn)同，與之配套的相關(guān)理論研究和實(shí)證研究也層出不窮，產(chǎn)生了豐富的研究成果.但多元識(shí)讀理論的發(fā)展也存在短板——缺乏詳實(shí)的課堂研究［2］.研究基于多模態(tài)下的圖像語(yǔ)法和認(rèn)知心理學(xué)分層加工理論，以2014年第十四屆全國(guó)多媒體課件大賽英語(yǔ)課獲獎(jiǎng)?wù)n件為例，對(duì)優(yōu)質(zhì)課件中文字與圖像的呈現(xiàn)特點(diǎn)和交互作用展開(kāi)分析，希望為廣大英語(yǔ)教學(xué)與研究者提供指導(dǎo)和借鑒.

1 多模態(tài)下的圖像語(yǔ)法與分層加工

1.1 圖像語(yǔ)法

模態(tài)意義構(gòu)建意識(shí)是多元識(shí)讀能力發(fā)展的前提［3］.最具代表性的就是Kress G和Van L T提出的圖像語(yǔ)法.將韓禮德的功能語(yǔ)法理論用來(lái)分析圖像，建立以“再現(xiàn)意義”、“互動(dòng)意義”和“構(gòu)圖意義”為中心的圖像語(yǔ)法理論框架.口語(yǔ)語(yǔ)法是建立在對(duì)句法、動(dòng)詞和名詞的固定使用上；而圖像語(yǔ)法則產(chǎn)生于構(gòu)圖角度、空間維度和視角的使用習(xí)慣［4］.此理論適用于多模態(tài)文本的分析，網(wǎng)絡(luò)傳媒和紙質(zhì)傳媒均使用，如學(xué)校的教材、網(wǎng)頁(yè)和雜志等，多媒體課件就是圖像語(yǔ)法應(yīng)用的典型.

傳統(tǒng)語(yǔ)法研究是語(yǔ)言單位（如單詞、短語(yǔ)或分句等）的使用模式.圖像也是一種意義符號(hào)，它們的使用模式就是圖像語(yǔ)法［5］.圖像語(yǔ)法以圖像的“再現(xiàn)意義”、“互動(dòng)意義”和“構(gòu)圖意義”為分析對(duì)象，解釋一定社會(huì)文化背景下，人們建構(gòu)圖像意義背后的心理機(jī)制.“再現(xiàn)意義”是圖像在現(xiàn)實(shí)世界中的映射，如紅十字標(biāo)志在現(xiàn)實(shí)世界中對(duì)應(yīng)人道主義援助；“互動(dòng)意義”是指作者希望借由圖像對(duì)其與觀眾之間的人際關(guān)系進(jìn)行主動(dòng)調(diào)節(jié)，即作者希望通過(guò)圖像建立積極的人際關(guān)系.“構(gòu)圖意義”指整體圖像上的不同位置體現(xiàn)不同的信息值和顯著性.研究表明，新信息和公認(rèn)信息的信息值高；舊信息和有爭(zhēng)議的信息值低.信息的顯著性則可通過(guò)多種途徑實(shí)現(xiàn)，如位置（居中為顯著信息）、大小、顏色、重合來(lái)表現(xiàn).為了判斷圖像成分的信息價(jià)值的輕重，Kress和Leeuwen認(rèn)為，根據(jù)從左到右和從上到下的閱讀習(xí)慣，把頁(yè)面分為4個(gè)象限（見(jiàn)圖1）［4］.上下的區(qū)分是與本體判斷相關(guān)（理想與現(xiàn)實(shí)之間的區(qū)別），左右之分則是與信息的狀態(tài)相聯(lián)系.圖像語(yǔ)法是基于大量西方繪畫(huà)作品分析得出的對(duì)人類(lèi)集體無(wú)意識(shí)呈現(xiàn)畫(huà)面信息布局的規(guī)律，依據(jù)人們普遍的審美和認(rèn)知加工習(xí)慣而展開(kāi)，符合語(yǔ)法的圖像，觀眾看起來(lái)更舒服，容易識(shí)記且符合人們的主觀期望，在一定社會(huì)文化條件下具有科學(xué)性和普適性.

1.2 分層加工理論

傳統(tǒng)語(yǔ)法教學(xué)中，英語(yǔ)詞匯的學(xué)習(xí)主要通過(guò)機(jī)械復(fù)述方式實(shí)現(xiàn)，學(xué)生的記憶效果差，效率低下，實(shí)踐證明詞匯直接教學(xué)法的教學(xué)效果有缺陷.分層加工理論認(rèn)為記憶的保持不在于復(fù)述時(shí)間的長(zhǎng)短，而在于加工方式的差異.加工層次越深，記憶效果越好［6］.詞匯的加工有兩層，第一層是形式加工，即單詞的拼寫(xiě)和讀音；第二層是語(yǔ)義加工，即單詞的橫組合關(guān)系和縱聚合關(guān)系.橫組合關(guān)系即詞的搭配，如目標(biāo)詞為名詞，則要找出與之形成搭配關(guān)系的動(dòng)詞或形容詞.縱聚合關(guān)系有3種，即同義關(guān)系、上下義關(guān)系和語(yǔ)義場(chǎng)關(guān)系.同義關(guān)系指近同義詞；上下義關(guān)系為詞義內(nèi)包關(guān)系，被包含的詞是“下義詞”，相對(duì)意義較概括的詞為“上義詞”，如apple是fruit的下義詞.語(yǔ)義場(chǎng)關(guān)系表示某一事物或某一部分生活經(jīng)驗(yàn)的詞聚合，如pink，yellow，white，orange，blue等一起構(gòu)成顏色語(yǔ)義場(chǎng).形式加工是淺層次加工；語(yǔ)義加工是深層次加工.學(xué)習(xí)者對(duì)新單詞加工層次越深，保持效果越好.對(duì)于語(yǔ)義的加工最好是產(chǎn)出性加工，即要使學(xué)習(xí)者自己產(chǎn)出含有目標(biāo)詞的句子，這樣比教師給出含有目標(biāo)詞的句子對(duì)長(zhǎng)期記憶更有幫助.學(xué)習(xí)要善于激活和利用已有知識(shí)對(duì)新信息進(jìn)行主動(dòng)建構(gòu)，才會(huì)記憶深刻［7］.滿足認(rèn)知加工要求的詞匯呈現(xiàn)至少應(yīng)該包含4個(gè)層面：拼寫(xiě)、讀音、搭配詞和近義詞，其他的語(yǔ)法范疇和語(yǔ)境意義也可以幫助豐富單詞呈現(xiàn)的面貌.

圖1 圖像語(yǔ)法的頁(yè)面象限圖

2 案例分析

以2014年第十四屆全國(guó)多媒體課件大賽高中英語(yǔ)獲獎(jiǎng)?wù)n件Unit 5 Feeling Excited中的兩類(lèi)典型為例，分析它在多模態(tài)單詞呈現(xiàn)形式和多層認(rèn)識(shí)加工設(shè)計(jì)方面的特點(diǎn)，以透析圖像和文字的交互作用.

2.1 幻燈片1

（1）圖像語(yǔ)法層面.圖2的再現(xiàn)意義準(zhǔn)確—女孩的表情準(zhǔn)確再現(xiàn)了目標(biāo)單詞shy的意義；互動(dòng)意義也很生動(dòng)，迎合中學(xué)生興趣品味的動(dòng)漫人物形象，能成功吸引學(xué)生的注意力，激發(fā)他們的學(xué)習(xí)興趣，但在構(gòu)圖意義上則出現(xiàn)了兩個(gè)失誤.首先，看圖猜詞練習(xí)的工作程序是先看圖后猜詞，且人們的閱讀習(xí)慣也是先上后下，圖片和文字的呈現(xiàn)順序應(yīng)以圖在上，字在下為妥.其次，淺色（作者原圖為紅色）為亮色，用來(lái)突顯新信息或重要信息；深色（作者原圖為黑色）為默認(rèn)色，是已知信息的常用顏色.在圖中目標(biāo)詞shy應(yīng)該以淺色顯示為佳，因?yàn)樗菍W(xué)生學(xué)習(xí)活動(dòng)所要尋找的新信息；而句子本身應(yīng)以深色呈現(xiàn)，以襯托目標(biāo)單詞的重要性，其他同樣的方式呈現(xiàn)的6個(gè)情感形容詞（angry，sad，frightened，lonely，nervous和 disappointed） 均可采取同樣的修改方式，依據(jù)圖像語(yǔ)法的要求對(duì)幻燈片一進(jìn)行修改后的頁(yè)面見(jiàn)圖3.

圖2 幻燈片一

（2）分層加工層面.以形容詞系列幻燈片組成的詞匯直接教學(xué)設(shè)計(jì)較好的呈現(xiàn)了深層次加工要求的詞匯橫組合和縱聚合知識(shí).在此例中，詞匯橫組合知識(shí)是指在水平方向上作為形容詞的shy可以和系動(dòng)詞（be動(dòng)詞，感觀動(dòng)詞）組成系表結(jié)構(gòu)，充當(dāng)句子的謂語(yǔ)成分（藍(lán)色部分）.縱聚合知識(shí)是指在垂直方向上除了shy之外，可以充當(dāng)補(bǔ)語(yǔ)的其它常見(jiàn)情感形容詞還有 frightened，sad，angry，lonely，nervous，disappointed 等.橫組合知識(shí)在一張幻燈片上呈現(xiàn)，而縱聚合知識(shí)是通過(guò)連續(xù)多張同類(lèi)幻燈片呈現(xiàn)，示例見(jiàn)圖4.

圖3 幻燈片一的修改建議

圖4 常見(jiàn)情感形容詞

圖5 猜詞練習(xí)

盡管這部分練習(xí)在詞匯深層知識(shí)層面的呈現(xiàn)效果不錯(cuò)，但在詞匯淺層知識(shí)的呈現(xiàn)方面有所欠缺.圖4的7個(gè)單詞都是學(xué)生們已經(jīng)習(xí)得的舊單詞，在針對(duì)它們進(jìn)行詞匯練習(xí)前，也應(yīng)當(dāng)對(duì)舊知識(shí)進(jìn)行適當(dāng)?shù)募せ睿@有助于學(xué)生完成新舊知識(shí)的交替轉(zhuǎn)換.反之，如果7個(gè)目標(biāo)詞匯為本單元要學(xué)習(xí)的新單詞，這樣不遵守由淺入深的學(xué)習(xí)規(guī)律，無(wú)異于凌空建高樓，不利于獲得最佳的教學(xué)效果.根據(jù)學(xué)習(xí)的心理認(rèn)知規(guī)律，建議該教師進(jìn)行猜詞練習(xí)前，先向?qū)W生呈現(xiàn)目標(biāo)單詞的淺層知識(shí)，如一個(gè)詞形和詞義的連線練習(xí)（見(jiàn)圖5），以調(diào)動(dòng)學(xué)生的詞形和詞義知識(shí)，在向老師匯報(bào)練習(xí)結(jié)果時(shí)，又可以調(diào)動(dòng)詞匯的語(yǔ)音知識(shí).加入這樣的組合，該猜詞練習(xí)才能成功呈現(xiàn)四層詞匯基本認(rèn)知加工層次.

2.2 幻燈片二

（1）圖像語(yǔ)法層面.此幻燈片位于知識(shí)講授部分.頁(yè)面上各部分內(nèi)容的播放順序以中文數(shù)字標(biāo)注，它的主圖位于頁(yè)面右下角（見(jiàn)圖6），以年輕的女學(xué)生做演講關(guān)聯(lián)目標(biāo)單詞speech和nervous的學(xué)習(xí)，再現(xiàn)和互動(dòng)意義明顯.（如果這里換上名人演講的照片則不妥，因?yàn)槊搜葜v不會(huì)讓人產(chǎn)生“緊張”的聯(lián)想）.圖片的女孩與學(xué)生們年齡相仿，容易使大家產(chǎn)生共鳴，展開(kāi)聯(lián)想.需要學(xué)生進(jìn)行認(rèn)知加工的圖片屬于新信息，位于右邊；天使圖像的信息New words屬于舊信息，位于頁(yè)面的左邊，整個(gè)頁(yè)面圖像布局清晰，符合圖像語(yǔ)法的要求.

圖6 幻燈片二

圖7 幻燈片二修改

（2）詞匯分層加工層面.幻燈片二與一不同，它進(jìn)行了明確的詞匯淺層知識(shí)呈現(xiàn)—目標(biāo)單詞speech和nervous的拼寫(xiě)和音標(biāo)都在頁(yè)面顯著位置標(biāo)出，而且speech的詞義也做了注釋.在詞匯深層知識(shí)方面，該幻燈片呈現(xiàn)了目標(biāo)單詞的橫組合知識(shí)：“giving a speech”，并用紅色凸顯這一慣用搭配的習(xí)得價(jià)值.同樣，另一目標(biāo)單詞nervous只呈現(xiàn)了橫組合知識(shí)“be feeling nervous”的常用法.然而兩個(gè)單詞的縱聚合知識(shí)都沒(méi)有得到呈現(xiàn).當(dāng)然，這種在一個(gè)頁(yè)面上同時(shí)呈現(xiàn)兩個(gè)目標(biāo)單詞的做法本身就值得商榷，一個(gè)頁(yè)面聚焦一個(gè)單詞的教學(xué)比較理想.如前文所說(shuō)，對(duì)縱聚合知識(shí)的呈現(xiàn)一般從同義關(guān)系、上下義關(guān)系和語(yǔ)義場(chǎng)關(guān)系著手.幻燈片一中的縱聚合呈現(xiàn)的是同屬于“情緒語(yǔ)義場(chǎng)”的7個(gè)單詞.在幻燈片二中，筆者建議可以考慮從同義關(guān)系入手，增加speech一詞的縱聚合知識(shí)呈現(xiàn)形式.對(duì)幻燈片進(jìn)行修改（見(jiàn)圖7）：刪除問(wèn)題how is she feeling now及其回答，取代之以選擇填空題—“從下列單詞中選擇合適的詞替代上句中的“speech”.要正確回答這一問(wèn)題，學(xué)生們需要對(duì)speech的詞義、使用語(yǔ)境和語(yǔ)法要求有充分認(rèn)識(shí)，這樣才能準(zhǔn)確找出speech語(yǔ)境下的近義詞“l(fā)ecture”.

2.3 幻燈片1和2共性

學(xué)者Lessing聚焦文字與圖像間的交互作用，指出文字是一種時(shí)間的延伸；而圖像是空間的擴(kuò)展.也有學(xué)者強(qiáng)調(diào)兩者的相似處以模糊兩者的區(qū)別［8］.他們認(rèn)為文字和圖像是相互交織在一起，各以使用符號(hào)和象征手法表現(xiàn)人類(lèi)經(jīng)驗(yàn)的獨(dú)特方式［9］.多模態(tài)意義建構(gòu)角度下的圖像和文字以不同的交互作用方式對(duì)學(xué)習(xí)者的理解產(chǎn)生重大影響.Holtzman將文字與圖像的關(guān)系總結(jié)如下：一是鏡像關(guān)系，如圣經(jīng)故事與根據(jù)該故事繪制的畫(huà)作［10］.兩者描述相同的故事內(nèi)容，但由不同作者在不同的時(shí)間完成；二是類(lèi)比關(guān)系，如用向上的箭頭和向上生長(zhǎng)的樹(shù)木代表數(shù)量的上升；三是補(bǔ)充說(shuō)明關(guān)系，如兒童繪本中的故事與插圖.鏡像關(guān)系中，圖像內(nèi)容忠實(shí)體現(xiàn)文字內(nèi)容，信息不多不少，也不延伸文字的意義邊緣.這類(lèi)圖像的理解最簡(jiǎn)單，對(duì)觀眾的常識(shí)水平和背景知識(shí)不作要求.相比之下，類(lèi)比關(guān)系和補(bǔ)充說(shuō)明關(guān)系中的圖像理解比較復(fù)雜.前者要觀眾具備一定的常識(shí)，能快速判斷圖像和文字中的相似成分而定，以理解類(lèi)比關(guān)系的形成；而后者要求觀眾對(duì)文字表述的內(nèi)容具備一定背景知識(shí)，以了解圖像信息是如何對(duì)文字信息進(jìn)行補(bǔ)充和說(shuō)明.在選例中，教師全部選擇了與文字內(nèi)容呈鏡像關(guān)系的圖片來(lái)輔助文字信息的呈現(xiàn)，突顯學(xué)習(xí)目標(biāo)，這充分說(shuō)明了鏡像圖片在教學(xué)中的首選地位.正因?yàn)樗睦斫庾顬楹?jiǎn)單、直觀，不需要復(fù)雜的認(rèn)知加工過(guò)程，使學(xué)習(xí)者可以將注意力和時(shí)間集中于文字內(nèi)容的理解上.通常，只有在教學(xué)對(duì)象的意義過(guò)于抽象，很難找到對(duì)應(yīng)的鏡像圖像的情況下，才會(huì)考慮選擇類(lèi)比圖像，以便抽象概念的具體化.

3 結(jié)語(yǔ)

多媒體課件是具有多模態(tài)意義表述的產(chǎn)品，它的制作除了貼切的教學(xué)內(nèi)容選擇外，尤為重要的是對(duì)內(nèi)容的呈現(xiàn)方式要符合人們的多模態(tài)意義構(gòu)建習(xí)慣和認(rèn)知加工規(guī)律.忽視科學(xué)規(guī)律，將會(huì)使教學(xué)內(nèi)容的呈現(xiàn)變成雜亂無(wú)序的材料的堆積，造成學(xué)習(xí)者邏輯的混亂.以英語(yǔ)單詞直接教學(xué)為例，新單詞在多媒體教學(xué)課件中的呈現(xiàn)需要進(jìn)行形式和內(nèi)容兩方面的加工.在形式加工層面，可以按照?qǐng)D像語(yǔ)法的要求，選擇合適的圖片，并對(duì)圖片在整個(gè)頁(yè)面中的布局進(jìn)行相應(yīng)的設(shè)計(jì).在內(nèi)容加工層面，應(yīng)該遵循認(rèn)知心理學(xué)分層加工理論，對(duì)詞匯和淺層知識(shí)（拼寫(xiě)、讀音和意義）和深層知識(shí)（橫組合與縱聚合）都應(yīng)有適當(dāng)?shù)某尸F(xiàn).當(dāng)然這種多模態(tài)、多層次的單詞呈現(xiàn)方式的使用要遵從課程標(biāo)準(zhǔn)的要求.一般來(lái)說(shuō)只適合于高中以上的學(xué)生.對(duì)初級(jí)英語(yǔ)水平的學(xué)生過(guò)多的呈現(xiàn)單詞的深層知識(shí)可能會(huì)造成學(xué)生很大的理解和記憶負(fù)擔(dān)，引發(fā)他們對(duì)詞匯學(xué)習(xí)的反感［11］.

［1］Group N L.A Pedagogy of Multiliteracies：Designing Social Futures[J].Harvard Educational Review，1996，15（6）:61-83.

［2］PrainV.Mult(national)literacies and globalising discourses[J].Discourse:Studiesin theculturalpolitics of education，1997，18(3):453-467.

［3］韋琴紅.視覺(jué)環(huán)境下的多模態(tài)化與多模態(tài)話語(yǔ)研究[M].北京:北京科學(xué)出版社，2009.

［4］Kress G，Van L T.Reading Images:the Grammar of Visual Design[M].London:Routledge，1996.

［5］Jewitt C.Technology，Literacy and Learning——A Multimodal Approach[M].London:Routledge，2006.

［6］Craik F I M，Tulving E.Depth of Processing and the Retention of Words in Episodic Memory[J].Journal of Experimental Psychology，1975，3（104）:268-294.

［7］張宗慶，吳喜燕.認(rèn)知加工層次與外語(yǔ)詞匯學(xué)——詞匯認(rèn)知直接學(xué)習(xí)法[J].現(xiàn)代外語(yǔ)，2002，10（2）:176-186.

［8］Lessing G H.Laocoon[M].London:Oxford University Press，1965.

［9］Bal M.Reading Rembrandt:Beyond the word-image opposition[M].Cambridge:Cambridge University Press，1991.

［10］Holtzman A.Literature and the Visual Arts[M].Tel Aviv:Hakibbutz Hameuchad，1997.

［11］鄭煥華.例談高中英語(yǔ)詞匯教學(xué)中的問(wèn)題及對(duì)策[J].中小學(xué)外語(yǔ)教學(xué)（中學(xué)篇），2013，12（4）:56-58.